Open
rpc的多核优化 #8
AtomGit-BotAdd on  Sep 25, 2024
A
AtomGit-Bot
Sep 25, 2024 Create

需求:
vhost、客户端、osd上可以绑定多核,每个osd上的每个核包含的pg数量是均衡的,osd收到客户端、vhost和其它osd的数据时,rpc收到这个数据的核和这个数据所属pg在osd上的核是不同的,这样就需要跨核操作,而跨核操作比较耗时间,所以需要尽量避免这个跨核操作。

方案:
为了减少osd上处理数据时的跨核操作,指定如下方案:
1 所有的osd使用相同数量的cpu核,osd在mkfs后,使用的核数就固定下来,之后不能变更。
2 monitor在为pg分配osd时,需要考虑osd的cpu核,让osd上每个核分配到的pg数量均衡,同时单个pg上的所有osd分配到的cpu核的相对序号(osd内部cpu核的相对序号)相同。
3 osd上每个核都要与其它osd建立一个网络连接,确保网络连接两端所属的cpu核相对序号相同,发送pg数据时,使用它占用的核上的网络连接发送/接收,这样保证了rpc收到数据的核和这个数据的pg占用的核相同,就不需要跨核操作。

需要完成的工作:
1 保证所有的osd使用相同数量的cpu核,osd在mkfs后,使用的核数就固定下来,之后不能变更。
2 monitor在为pg分配osd时,需要考虑osd的cpu核,让osd上每个核分配到的pg数量均衡,同时单个pg上的所有osd分配到的cpu核的相对序号(osd内部cpu核的相对序号)相同。
3 心跳合并时,合并的粒度是osd的核。
4 osd的每个核与其它osd建立连接时,作为服务端的osd在收到连接请求是在第0个核,需要客户端osd建立连接后把自己的cpu核相对序号发送给服务端osd,服务端osd收到后把这个连接迁移到这个相对序号对应的cpu核上,确保连接两端的cpu核相对序号一致。
5 去除osd数据处理流程上的一些跨核操作。

likedislike
AAtomGit-Bot
Sep 25, 2024 创建了任务
openeuler-ci-botopeneuler-ci-botCollaborators
Sep 25, 2024 添加了   sig/sig-SDS 标签
WwuxingyiCollaborators
Sep 25, 2024 将任务状态从 待办的 修改为进行中