Open
引入 URMA 统一资源框架,接入社区独占实现并支持共享资源池与有序收发 #41
引入 URMA 统一资源框架,接入社区独占实现并支持共享资源池与有序收发 #41
Open
CarbonadoRainAdd on 2 days ago
CarbonadoRain
CarbonadoRainCollaborators
2 days ago

连接独占 URMA 队列时,连接数增加会带来硬件队列及相关资源的线性增长。本 PR 增加进程级注册内存池、共享 JFS/JFR 及其完成事件处理,通过报文中的 SocketId 和序号完成逻辑连接路由与有序交付,并整合收发路径优化。

引入 URMA 统一资源框架,将社区连接独占实现与共享池化实现纳入同一套 Endpoint、握手及资源接口,通过启动参数 urma_resource_mode=exclusive|pooled 选择后端,默认保留社区独占模式。

关联上游 issue #23:https://atomgit.com/boostkit/brpc/issues/23。本次覆盖共享资源池与双边 SEND 路径,尚未覆盖该 issue 的全部方案。

主要改动

  • URMA 统一资源框架:通过 UrmaResourceProvider 与 UrmaConnectionResource 统一资源创建、对端绑定、发送、可写等待、完成回调和关闭生命周期。Endpoint 负责握手与传输状态,资源后端负责独占或共享队列;通过 ReceiveAdapter 对接 Socket 路由和解析交付。连接资源在发布后保持稳定绑定,收发热路径借助 Socket 生命周期保护直接访问资源,减少逐分片资源锁和共享引用计数操作。
  • 社区独占实现接入框架:将社区 master 的连接独占 Jetty/JFR/JFC、收发环和完成处理适配为 exclusive 后端,保留独占资源拓扑、event/polling 处理及所属 Socket 的 butex 唤醒语义。与 pooled 后端共用上层接口和握手入口,无需复制两套完整 transport;资源模式不匹配时协商回退 TCP。
  • 注册内存池:分离 64B header 池、4KiB CTP 池和默认 8KiB IOBuf 数据池。4KiB 块用于接收 body,扣除 IOBuf 块头后仍能容纳 4032B;多 SGE 发送直接引用已注册 IOBuf,包括 8KiB 数据块和收到的 4KiB CTP 块,保留零拷贝。提供独立的内存池工厂、分片分配/回收、地址归属与 segment 查询接口,并处理 DMA、内存注销及应用引用的生命周期。
  • JFS/JFR 共享:多个逻辑连接共用进程级队列,每个 slot 独立持有 JFC/JFCE;按 EID、UASID、JFR ID 缓存对端导入资源。保留接收上下文复用、共享 SQ 等待者登记与唤醒修复。连接级 JFS affinity 默认开启,以 SocketId 哈希选择稳定首选队列;首选无空位时有限抽样备选队列。每个 JFS 使用 MPSC 请求队列和单 owner 提交,固定上下文登记表替代逐 WR 的 pending 集合,等待者按首选 JFS 登记并限制唤醒数量。
  • 建链与收发:支持二进制 v2 / Protobuf v3 握手编码,共享队列协议使用实现版本 2,完成协商和导入后发布连接状态。CTP 单片总长不超过 4096B,其中 header 为 64B、body 最多 4032B。池化路径只保留 header 加一个或多个 body SGE 的发送路径,按 SGE 上限或 body 长度上限收集数据;删除 single SGE 模式及相关宏。发送支持 WR 链,默认每批最多 8 个 WR,可配置范围为 1–32,收集已发布请求而不等待凑满;处理部分提交、提前到达的 CQE 及关闭时的引用回收。
  • 接收与交付:池化连接资源维护接收顺序,顺序到达走直接交付快速路径,乱序分片进入重排 map;使用 IOBuf movable 转移引用。按一次 CQ poll 的结果合并同一连接的解析调用,解析批次的 Socket 容量与 poll CQE 上限统一使用同一宏。完成 CQ 事件交接并释放相关锁后,整个交付范围至多一条消息在当前 bthread 执行;此行为固定启用,删除 urma_inline_last 开关。
  • 构建与测试:支持 CMake、Make 和 Bazel 的 URMA 构建配置;真实 provider 与 mock 构建相互隔离,保留上游 mock 并增加池化测试支持;tcmalloc 为可选依赖。保留 connection_stress、URMA 单元测试、ub_test 及矩阵/打包脚本。
  • 文档:按当前实现核对传输选择、资源组织、三类内存池、数据通路、并发退出及运行参数。

提交组织

历史优化与修复均并入对应功能模块,共 11 个提交:3 个统一框架/独占适配提交,以及 8 个池化功能提交。

提交 内容
76f724e2 统一资源接口与社区独占实现适配
0caa8372 独占资源所有权与生命周期测试
894c7a31 独占资源适配文档
5ae8846e 注册数据池、4KiB CTP 池与 header 池
6b83c12e JFS/JFR 共享资源、发送队列与生命周期
4041c501 池化后端适配、建链、有序收发及交付优化
bf77bbff provider 构建选择与可选内存分配器
18b3232a connection_stress
a71fb757 独占/池化握手、mock 与共享资源单元测试
b99fa32c multi-SGE ub_test 与矩阵/打包脚本
2b5a93e3 统一资源框架、独占与池化后端文档

编译与功能验证

验证版本为 2b5a93e368d1f5da4ad8efe36ec0ae1551266f1c。

  • Linux AArch64、CMake Release,真实 provider / mock 构建均通过;使用 WITH_TCMALLOC=OFF 验证可选分配器构建。
  • 池化 mock 单元测试 75/75 通过;独占 event 模式 40 项通过、2 项条件跳过,独占 polling 模式 41 项通过、1 项条件跳过。
  • 稳定资源绑定、关闭后迟到接收、失败队首和部分提交提前完成等 4 项并发回归连续 20 轮通过。
  • ub_test client/server 真实 provider 构建通过,git diff --check 通过。
  • 本轮没有重新进行性能测试、跨节点收发或 4 万连接压力测试;上述单元测试不能代替这些验证。编译机未安装 Bazel,本轮未实际执行 Bazel 构建。

当前范围

独占与池化保留各自的 URMA 数据线协议;新握手协商资源模式,两端模式不匹配时回退 TCP,不表示不同数据线协议可以直接互通,也不保证任意历史池化版本均支持该回退。池化路径支持非 bonding 设备、事件驱动模式和 baidu_std 协议,大于 CTP 单片上限的消息继续分片 SEND;独占后端保留社区实现的相应行为。

64KiB 注册内存池、大包单边 READ/WRITE 路径及端到端 credit/ACK 流控尚未包含。当前内存池初始化后不自动扩容。

likedislike
Merge blocked
CarbonadoRainCarbonadoRainCollaborators
2 days ago Created pull request, commit 7082ff97
CarbonadoRainCarbonadoRainCollaborators
2 days ago Associated issue: UrmaTransport 池化演进:共享 JFR/JFS 资源池、大包单边路径与万级连接扩展
atomgit-bot
atomgit-bot
2 days ago Comments:

🤖 AI Code Review

⚠️ 审查未能完成

本次代码审查未能完成,可能是临时性故障。

你可以在评论区输入 /ai summary 重新发起审查。若多次失败,请联系管理员并附上下方追踪 ID。

追踪 ID: task-499155

likedislike
Incorrect?
atomgit-bot
atomgit-bot
2 days ago Comments:

🤖 AI Code Review

⚠️ 审查未能完成

本次代码审查未能完成,可能是临时性故障。

你可以在评论区输入 /ai review 重新发起审查。若多次失败,请联系管理员并附上下方追踪 ID。

追踪 ID: task-499156

likedislike
Incorrect?
BBoostKit-botCollaborators
2 days ago Set huang-xiaoquan,lauyarn,weihongye,Sirus_L,fan-zhenhao,wd-gitcode,seekdwh as approver
BBoostKit-botCollaborators
2 days ago Added label: sig/BoostCore
BoostKit-botCollaborators
2 days ago Comments:

欢迎来到 BoostKit 社区

Hey @CarbonadoRain , 感谢你对社区的贡献.

机器人使用手册

有关指令的使用,可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。您可以自助配置此仓库的 PR 合并规则,更多详情,请参阅此处。

联系指引

有疑问可以联系 SIG: BoostCore ,
维护者是: @Sirus_L, @fan-zhenhao, @huang-xiaoquan, @lauyarn, @seekdwh, @wd-gitcode, @weihongye ,
优秀贡献者是: @Sirus_L, @gcw_NiLAcrhi, @guangsen, @seekdwh, @wenmingyang .

likedislike
BBoostKit-botCollaborators
2 days ago Added label: stat/needs-squashneed-doc-sig-review
BBoostKit-botCollaborators
2 days ago Added label: boostkit-cla/yes
BoostKit-botCollaborators
2 days ago Comments:

This pull request involves documentation changes. Please contact doc sig maintainers: @FlussGold, @gengxueping.
Command: /lgtm or /review-by-doc-sig

likedislike
BoostKit-botCollaborators
2 days ago Comments:

CLA 签署成功

CarbonadoRain, 感谢您的代码贡献。 所有的代码贡献者都已完成了 CLA 签署。 👍

likedislike
boostkit-ci-botCollaborators
2 days ago Comments:

BoostKit docs pipeline is running...

likedislike
Bboostkit-ci-botCollaborators
2 days ago Added label: docs-ci-pipeline-running
boostkit-ci-botCollaborators
2 days ago Comments:

❌ 文档门禁未通过!

检查项 检查结果 详情
markdownlint ❌ 未通过 查看详情
link-validity-check ✅ 已通过 查看详情
resource-existence-check ✅ 已通过 查看详情
tag-closed-check ✅ 已通过 查看详情

💡 本次检查出 3 项错误,详情内容如下:

序号 错误详情
1 [文件路径]:docs/cn/urma_resources.md
[检查类型]:markdownlint
[错误位置]:第 67 行
[错误信息]:MD012:文档中有多余的空行,请删除多余的空行。期望:1;当前:2
2 [文件路径]:docs/cn/urma_validation/pooled_receive_ordering.md
[检查类型]:markdownlint
[错误位置]:第 15 行
[错误信息]:MD012:文档中有多余的空行,请删除多余的空行。期望:1;当前:2
3 [文件路径]:docs/cn/urma_validation/pooled_receive_ordering.md
[检查类型]:markdownlint
[错误位置]:第 20 行
[错误信息]:MD012:文档中有多余的空行,请删除多余的空行。期望:1;当前:2
likedislike
Bboostkit-ci-botCollaborators
2 days ago Removed label: docs-ci-pipeline-running
Bboostkit-ci-botCollaborators
2 days ago Added label: docs-ci-pipeline-failed
CarbonadoRainCarbonadoRainCollaborators
1 day ago virtual merging failed, update merge request[project_id: 9721068, iid: 41, target_commit_sha: 2c54734e3aaed735db678ca846f9f4b2b260d488], message: Conflict detected