Open
add qos configuration #151
wuxingyiAdd on Nov 5, 2024
add qos configuration #151
Open
wuxingyiAdd on Nov 5, 2024
Merged fromqosintomaster
Total: 2 files changed+43-1
@@ -0,0 +1,41 @@
1+本文介绍如何配置fastblock块设备的qos配置,因为fastblock导出的块设备本质上一个spdk bdev,所以可以利用spdk bdev的qos机制来设置qos来限制块设备的iops和带宽。从导出的接口来看,fastblock的块设备主要是通过fastblock-vhost和fastblock-nvmf-tgt两种方式导出,这两个进程都会导出一个socket,可通过这个socket进行qos参数的配置,下面以fastblock-nvmf-tgt为例进行介绍。
2+ 
3+使用方法:
4+# 1 部署fastblock集群
5+部署fastblock方法参考[vhost对接qemu测试](./qemu_vhost_test.md "vhost对接"),这里不再重复。
6+ 
7+# 2 启动fastblock-nvmf-tgt及linux initiator
8+配置、启动fastblock-nvmf-tgt的方法以及启动linux nvmf initiator参考[nvmf对接测试](./nvmf_tgt.md "nvmf对接"),这里不再重复。
9+ 
10+# 3 配置fastblock bdev qos参数以及fio验证qos参数是否生效
11+使用下面命令行进行qos参数配置:
12+```
13+spdk/scripts/rpc.py -s /var/tmp/fastblock_nvmf_tgt1406627.sock bdev_set_qos_limit --rw-ios-per-sec 200000 fbdev
14+```
15+再使用fio验证qos是否生效:
16+```
17+taskset -c 12,13,14,15 fio -direct=1 -iodepth=32 -thread -rw=randwrite -bs=4096 -numjobs=4 -runtime=360000 -group_reporting -name=test -filename=/dev/nvme12n1 -ioengine=libaio -time_based
18+```
19+使用taskset避免fio跟fastblock-nvmf-tgt跑在同一个核上。
20+ 
21+另外,通过bdev_set_qos_limit还可以进行读写带宽的qos参数配置,通过帮助信息即可, 此处不再赘述。
22+```
23+# spdk/scripts/rpc.py bdev_set_qos_limit --help
24+usage: rpc.py [options] bdev_set_qos_limit [-h] [--rw-ios-per-sec RW_IOS_PER_SEC] [--rw-mbytes-per-sec RW_MBYTES_PER_SEC] [--r-mbytes-per-sec R_MBYTES_PER_SEC]
25+ [--w-mbytes-per-sec W_MBYTES_PER_SEC]
26+ name
27+ 
28+positional arguments:
29+ name Blockdev name to set QoS. Example: Malloc0
30+ 
31+optional arguments:
32+ -h, --help show this help message and exit
33+ --rw-ios-per-sec RW_IOS_PER_SEC
34+ R/W IOs per second limit (>=1000, example: 20000). 0 means unlimited.
35+ --rw-mbytes-per-sec RW_MBYTES_PER_SEC
36+ R/W megabytes per second limit (>=1, example: 100). 0 means unlimited.
37+ --r-mbytes-per-sec R_MBYTES_PER_SEC
38+ Read megabytes per second limit (>=1, example: 100). 0 means unlimited.
39+ --w-mbytes-per-sec W_MBYTES_PER_SEC
40+ Write megabytes per second limit (>=1, example: 100). 0 means unlimited.
41+```
@@ -11,6 +11,7 @@
11#pragma once11#pragma once
12 12 
13#include <cstdint>13#include <cstdint>
14+#include <optional>
14 15 
15namespace utils {16namespace utils {
16 17 
@@ -23,4 +24,4 @@ std::optional<std::string> get_core_mask(uint64_t num);
23void unclaim_cores();24void unclaim_cores();
24 25 
25int get_numa_node();26int get_numa_node();
26-}27+}