Open
add qos configuration #151
wuxingyiAdd on Nov 5, 2024
add qos configuration #151
Open
Total: 2 files changed+43-1
| @@ -0,0 +1,41 @@ | |||
| 1 | +本文介绍如何配置fastblock块设备的qos配置,因为fastblock导出的块设备本质上一个spdk bdev,所以可以利用spdk bdev的qos机制来设置qos来限制块设备的iops和带宽。从导出的接口来看,fastblock的块设备主要是通过fastblock-vhost和fastblock-nvmf-tgt两种方式导出,这两个进程都会导出一个socket,可通过这个socket进行qos参数的配置,下面以fastblock-nvmf-tgt为例进行介绍。 | ||
| 2 | + | ||
| 3 | +使用方法: | ||
| 4 | +# 1 部署fastblock集群 | ||
| 5 | +部署fastblock方法参考[vhost对接qemu测试](./qemu_vhost_test.md "vhost对接"),这里不再重复。 | ||
| 6 | + | ||
| 7 | +# 2 启动fastblock-nvmf-tgt及linux initiator | ||
| 8 | +配置、启动fastblock-nvmf-tgt的方法以及启动linux nvmf initiator参考[nvmf对接测试](./nvmf_tgt.md "nvmf对接"),这里不再重复。 | ||
| 9 | + | ||
| 10 | +# 3 配置fastblock bdev qos参数以及fio验证qos参数是否生效 | ||
| 11 | +使用下面命令行进行qos参数配置: | ||
| 12 | +``` | ||
| 13 | +spdk/scripts/rpc.py -s /var/tmp/fastblock_nvmf_tgt1406627.sock bdev_set_qos_limit --rw-ios-per-sec 200000 fbdev | ||
| 14 | +``` | ||
| 15 | +再使用fio验证qos是否生效: | ||
| 16 | +``` | ||
| 17 | +taskset -c 12,13,14,15 fio -direct=1 -iodepth=32 -thread -rw=randwrite -bs=4096 -numjobs=4 -runtime=360000 -group_reporting -name=test -filename=/dev/nvme12n1 -ioengine=libaio -time_based | ||
| 18 | +``` | ||
| 19 | +使用taskset避免fio跟fastblock-nvmf-tgt跑在同一个核上。 | ||
| 20 | + | ||
| 21 | +另外,通过bdev_set_qos_limit还可以进行读写带宽的qos参数配置,通过帮助信息即可, 此处不再赘述。 | ||
| 22 | +``` | ||
| 23 | +# spdk/scripts/rpc.py bdev_set_qos_limit --help | ||
| 24 | +usage: rpc.py [options] bdev_set_qos_limit [-h] [--rw-ios-per-sec RW_IOS_PER_SEC] [--rw-mbytes-per-sec RW_MBYTES_PER_SEC] [--r-mbytes-per-sec R_MBYTES_PER_SEC] | ||
| 25 | + [--w-mbytes-per-sec W_MBYTES_PER_SEC] | ||
| 26 | + name | ||
| 27 | + | ||
| 28 | +positional arguments: | ||
| 29 | + name Blockdev name to set QoS. Example: Malloc0 | ||
| 30 | + | ||
| 31 | +optional arguments: | ||
| 32 | + -h, --help show this help message and exit | ||
| 33 | + --rw-ios-per-sec RW_IOS_PER_SEC | ||
| 34 | + R/W IOs per second limit (>=1000, example: 20000). 0 means unlimited. | ||
| 35 | + --rw-mbytes-per-sec RW_MBYTES_PER_SEC | ||
| 36 | + R/W megabytes per second limit (>=1, example: 100). 0 means unlimited. | ||
| 37 | + --r-mbytes-per-sec R_MBYTES_PER_SEC | ||
| 38 | + Read megabytes per second limit (>=1, example: 100). 0 means unlimited. | ||
| 39 | + --w-mbytes-per-sec W_MBYTES_PER_SEC | ||
| 40 | + Write megabytes per second limit (>=1, example: 100). 0 means unlimited. | ||
| 41 | +``` | ||
| @@ -11,6 +11,7 @@ | |||
| 11 | #pragma once | 11 | #pragma once |
| 12 | 12 | ||
| 13 | #include <cstdint> | 13 | #include <cstdint> |
| 14 | +#include <optional> | ||
| 14 | 15 | ||
| 15 | namespace utils { | 16 | namespace utils { |
| 16 | 17 | ||
| @@ -23,4 +24,4 @@ std::optional<std::string> get_core_mask(uint64_t num); | |||
| 23 | void unclaim_cores(); | 24 | void unclaim_cores(); |
| 24 | 25 | ||
| 25 | int get_numa_node(); | 26 | int get_numa_node(); |
| 26 | -} | 27 | +} |