Open
UrmaTransport 池化演进:共享 JFR/JFS 资源池、大包单边路径与万级连接扩展 #23
zhangfangzuoAdd on 18 days ago
18 days ago changed 领域 from [] to [boost-core]
Zzhangfangzuo
18 days ago Change title to "UrmaTransport 池化演进:共享 JFR/JFS 资源池、大包单边路径与万级连接扩展", originally titled "UrmaTransport 池化演进:共享 JFR/JFS 资源池与万级连接扩展".
18 days ago Change title to "UrmaTransport 池化演进:共享 JFR/JFS 资源池、大包单边路径与万级连接扩展", originally titled "UrmaTransport 池化演进:共享 JFR/JFS 资源池与万级连接扩展".
16 days ago Modify description of issue
16 days ago Modify description of issue
16 days ago Modify description of issue
16 days ago Modify description of issue
13 days ago Associated pull request
2 days ago Associated pull request
1 day ago Associated pull request
Is your feature request related to a problem?
当前 UrmaTransport(#3401)沿用 RDMA 的 per-connection 资源模型:每条连接独占 1 个 Jetty(内含 JFS)+ 1 个 JFR + 1 个 JFC。在 URMA/UB 设备上,单 FE 可创建的 jetty/jfs/jfr/jfc 数量存在硬件上限(可通过
urma_query_device查询),节点内多进程部署时每进程配额进一步缩小。按该模型,单进程可支撑的连接数上限只有数百量级,无法满足超节点场景下单进程万级长连接的目标。本提案给出资源池化的完整设计,并逐章标注对当前社区实现的改造要求。1. 背景与动机
1.1 当前社区实现的连接模型
#3401 落地的 UrmaTransport 采用与
RdmaTransport对称的两层结构:UrmaResource_remote_rq_window_size(对端 RQ 深度)+_sq_window_size(本地 SQ 深度),credit 通过空 payloadSEND_IMM的 imm_data 批量回填urma_register_seg,切 8KB buffer,劫持blockmem_allocate1.2 per-connection 模型的资源爆炸问题
URMA 设备单 FE 的 jetty/jfs/jfr/jfc 资源存在硬件上限。以典型设备为例(量级参考,实际以
urma_query_device返回为准):节点内多进程部署时(示例:每节点 P=96 个服务进程),每进程配额 = 设备总量 / P:
per-connection 模型下,若每条连接独占 1 个 IO jetty + 1 个 FC jetty:
即使只算 JFS/JFR 同样超限。
更关键的是预注册内存随连接数线性增长。URMA 要求收发 buffer 必须预注册(
urma_register_seg),且每条连接的 RQ 接收 buffer 被提前放置、独占占用、无法跨连接复用——对端随时可发送,本端必须常备该连接的接收队列。因此社区方案的 recv 预注册内存 = rq_size × buffer_size × W,随连接数 W 严格线性增长,内存同比例膨胀,进程内存底噪完全失控。硬件配额还有上限约束可查可估,而这种线性内存增长是持续性的成本,是 per-connection 模型更根本的扩展性障碍。结论:在 FE 资源受限的 URMA 设备上,per-connection 模型无法支撑万级链路,必须做 JFR/JFS 池化——per 进程维护一组共享 JFR 池 + 共享 JFS 池,多条连接复用同一组资源,把资源消耗与连接数解耦。
1.3 本提案的目标
2. 设计目标与约束
2.1 部署目标(示例形态)
2.2 负载特征:海量连接,活跃稀疏
本提案面向的数据中心 RPC 负载有一个关键特征:连接规模海量,但任一时刻的活跃连接是稀疏的——万级长连接常态在线,同时刻有数据在途的只是少数。这一特征已被业界系统论文广泛验证并作为设计前提:
对本方案的含义:既然活跃连接稀疏,为全部 W 条连接常驻预注册 per-connection 接收缓冲(对端随时可发的最坏假设)就是按最坏情况买单、按平均情况浪费——这正是 §1.2 所述线性内存增长的负载侧根源。正确模型是:接收缓冲与 JFR/JFS 池化为一组固定规模的共享资源,活跃连接按需取用(§5),连接数与活跃度的解耦交给上层机制,使资源消耗由"活跃连接数 × 峰值在途量"决定,而非"总连接数 × 常驻配额"。
2.3 设备资源约束
目标设备每节点 FE 数量有限(示例:2 个)。单 FE 资源上限通过
urma_query_device查询,每进程配额按下式推导:2.4 传输模式约束:CTP
目标设备当前使用 CTP 传输模式(
URMA_CTP,URMA 公开 API 语义)。CTP 带来三个通用约束,方案设计不依赖特定设备:2.5 池化引入的核心难题
池化后 JFCE(完成队列事件)共享,CQE 上来只知道来自哪个 JFS/JFR,不知道是哪条连接。必须解决:
3. 方案优势:内存资源与连接数解耦
3.1 核心优势:内存消耗不随连接数线性增长
社区现有 per-connection 模型(#3401 当前实现)中,每条连接独占一个 JFR,每个 JFR 独占一组接收资源:RQ 深度 × recv buffer 的接收缓冲、JFC/CQE ring、驱动上下文。这些资源必须为每条连接提前放置且不可跨连接复用(对端随时可发送,RQ 中在途 WR 的 buffer 被该连接独占),因此内存随连接数 W 线性增长,O(W)。
本方案把 JFR/JFS 池化为进程级固定规模资源池:一条连接只是"池上的一条记录"(绑定一个 jetty_id 与发送窗口状态的
UrmaEndpoint),接收缓冲由 M_io × rx_depth 个共享 recv WR 组成。内存消耗 O(池规模),与 W 无关——这正是线性增长与常数驻留的本质区别。W 级连接(W = 10,000)理论内存消耗对比(社区方案取默认参数
urma_sq_size=128、urma_rq_size=128、urma_buffer_size=8192;CQE 按 64B 估算):结论:
3.2 次级优势
3.3 单边 READ 在大包场景的性能优势
大包路径采用单边 READ(§7),相对双边 SEND 切片有四方面优势:
4. CQE 路由:64B Header Seg
4.1 TX CQE vs RX CQE
TX CQE(发送完成):发送方 post WR 时
user_ctx(64 位,发送方自管)即可携带路由/回收上下文,池化不影响。RX CQE(接收完成):需要知道消息来自哪条连接才能路由到对应 UrmaEndpoint,这是池化路由的真正难题。
4.2 可用路由信息载体
user_data(JFR 级,jetty 创建时绑定):per-jetty,池化后一个 JFR 被多连接共享,无法区分连接。此路不通。4.3 定案方案:独立 header seg
核心机制:发送方 SGE[0] 单独放 64B header 携带完整路由标识,接收方 SGE[0] 固定 64B 切走 header。利用 URMA 的 SGE 不对称特性——发送方与接收方 SGE 划分可以不同,数据按字节流连续拼接后按接收方 SGE 大小切分。
header 大小固定 64B,不可更改,无需建链协商:预留 reserved 字段供扩展,两端硬编码。
SGE 布局(受设备
max_jfs_sge/max_jfr_sge约束):字节流切分对齐:
对齐前提:① header 固定 64B;② header 是发送方 SGE[0];③ 接收方 SGE[0] 也是 64B。满足后接收方无需知道发送方 SGE 划分。
header 内容:
struct UrmaMsgHeader { uint32_t magic; // 魔数校验 SocketId src_socket_id; // 64 bit,接收方据此路由 uint16_t seq; // 保序 + 大包匹配 uint8_t type; // 消息类型 uint8_t reserved1; uint32_t data_size; // data SGE 总字节数 uint32_t data_sge_count; // data SGE 个数(校验用) uint8_t reserved2[32]; // 预留扩展,凑齐 64B }; // 固定 64 字节,不可更改完整路由链路:
路由时序图:

权衡:
5. JFR/JFS 池化设计
5.1 池化模型总览
JFS(发送)与 JFR(接收)各自独立创建、互不绑定。本 issue 聚焦数据通道池化;流控通道(FC)的池化与 IO/FC 通道隔离随流控方案另行提案(§9.2 合入计划批次 4):
池化架构图:
5.2 JFR 的组织方式(不用 jetty group)
每个 JFR 独立创建并对外暴露独立 jetty_id。不用 jetty group:jetty group 内部自动路由到具体 JFR,发送方与流控方无法知道报文落到哪个 JFR,per-JFR 的 credit 流控无法工作。建链时 round-robin 选定具体 JFR,把 jetty_id 交换给对端,连接 → JFR 映射明确。
5.3 建链时 round-robin 选 JFR
每条连接的 UrmaEndpoint 记录:
struct UrmaEndpoint { SocketId self_socket_id; // 本端 SocketId(放进 header 给对端) uint32_t remote_jetty_id; // 对端共享 JFR 的 jetty_id // ... };5.4 JFS 池使用模型(优先复用统一 JFS + 原子计数)
JFS 池不借用不归还——始终在池中,谁都可以随时取。
urma_post_jfs_wr为线程安全 API,多 bthread 并发 post 同一 JFS 无需加锁。每个 JFS 维护原子计数器:struct SharedJfs { urma_jfs_t* jfs; std::atomic<uint32_t> sq_inflight; // 当前在途 WR 数 uint32_t sq_depth; // SQ 总容量 };选取策略:优先复用统一 JFS,而非 round-robin 分散。进程内维护一个当前优先 JFS 指针(如
preferred_idx),发送时优先在同一 JFS 上 CAS 抢 slot,该 JFS 尚有余量就持续复用它;只有当前 JFS 满时才推进指针切换到下一个 JFS。这样把负载集中而不是摊开:// 发送:优先复用当前 JFS;满了才切换下一个 bool postIoWr(urma_wr_t& wr) { while (true) { SharedJfs* jfs = &jfs_io_pool_[preferred_idx]; uint32_t cur = jfs->sq_inflight.load(relaxed); if (cur < jfs->sq_depth && jfs->sq_inflight.compare_exchange_weak(cur, cur + 1, acquire)) { if (urma_post_jfs_wr(jfs->jfs, &wr) == 0) return true; jfs->sq_inflight.fetch_sub(1, release); // post 失败归还 continue; // post 失败重试同槽 } // 当前 JFS 满,推进指针切换下一个(可加重试上限, // 超限则挂 pending 队列等 CQE 归还后唤醒) preferred_idx = (preferred_idx + 1) % N_io; } } // TX CQE:fetch_sub 归还 slot,回收 header buffer为什么优先复用优于 round-robin 分散:
urma_poll_jfc批次命中率高、轮询开销低优先复用本质上是自然的工作集中(work consolidation):低负载 → 自动收敛到少数 JFS,收益是集中轮询与热缓存;高负载 → JFS 依次打满自动扇开,容量上限与 round-robin 完全一致。两种策略共享同一套
sq_inflightCAS 与"满则切换"逻辑,差别仅在指针推进时机,实现与验证成本低。特点:post 前保证有 slot;全程无 mutex;低活跃集中复用、高活跃自动扇开;极端情况(全部 JFS 满)加重试上限,超过则挂 pending 队列等 CQE 归还后唤醒。
5.5 完整发送流程
5.6 资源配额与示例配置
示例配置(按示例配额 ~1365 与 200MB 预算推导,实际按设备配额公式计算):
6. 内存池设计:4K / 8K / 64K / 64B 四池
6.1 设计目标
UB 需要先把内存注册(
urma_register_seg)才能 RDMA 访问,注册操作耗时,因此预先注册大块内存作为池,block 粒度只做切分与回收。池化设计需要四种独立 block 大小:blockmem_allocateIOBufAsZeroCopyOutputStream暴露给网卡写入,收完后 block 作为 IOBuf BlockRef 零拷贝交给 brpc。blockmem_allocate(从 block_pool 分配会被 IOBuf 当普通 block 管理导致生命周期冲突)。四池结构图:
6.2 核心数据结构
struct UrmaRegion { uintptr_t start; // 内存起始地址 size_t size; uint32_t token_id; // urma_register_seg 返回的 token uint8_t eid[16]; uint32_t uasid; uint64_t va; }; enum BlockType : uint32_t { BLOCK_4K = 0, // RQ recv buffer BLOCK_8K = 1, // IOBuf block(可配置 8K/16K/32K) BLOCK_64K = 2, // 大 body 连续 IOBuf block BLOCK_64B = 3, // header seg buffer }; struct UrmaBlockPool { std::vector<IdleNode*> idle_list[4]; // 4 种 block × buckets 个桶 std::vector<butil::Mutex*> lock[4]; std::vector<size_t> idle_size[4]; int region_num[4]; butil::Mutex extend_lock; // 扩容全局锁 }; static const size_t BLOCK_SIZES[4] = {4096, 8192, 65536, 64};6.3 分配接口与初始化
// IOBuf 池:按请求 block_size 选择 8K 或 64K 池 void* UrmaBlockAllocate(size_t size); void UrmaBlockDeallocate(void* buf); // 4K 池:RQ 预投专用 void* AllocRqBuffer(); void FreeRqBuffer(void* buf); // 64B 池:header seg 专用 void* AllocHeaderBuffer(); void FreeHeaderBuffer(void* buf);6.4 Region 查找与 RQ 预投
// 发送/READ 构造 SGE 时按地址反查 token_id static int GetUrmaRegionId(void* buf, uint32_t* token_id) { // 按 [start, start+size) 扫描四种 block 池的 Region 列表 }6.5 接收侧零拷贝对接 IOBuf
block 生命周期通过 IOBuf
nshared引用计数管理:上层消费完 → nshared=0 → block 回 4K 池。6.6 内存预算
64K region 的 block 数量按最大并发大消息和每消息所需 block 数确定,不适用"总量 ≤ 200MB"的接收队列口径。
7. 大包单边 READ 设计(PULL_MEM / FREE)
7.1 范围与字节流语义
大包采用 READ 单边读取,控制流程使用 PULL_MEM / FREE。传输层向 brpc 提供连续、有序字节流;seq 标识字节流中的数据分片(不等于一条 RPC)。小包 SEND 数据、控制包内联数据、READ 完成数据统一按 seq 重排后交付。header+meta 与 body 可用独立 seq;header+meta 可先交付,brpc 等待 body 补齐消息。首期覆盖无 attachment、无压缩 PB 的大包路径,其余另行确定。
7.2 硬件约束与路径选择
READ 源 seg 上限为 1,多个不连续 BlockRef 不能拼成一个远端地址段。64K region 让较大 body 直接序列化进单个连续 block,减少 READ 数量。
7.3 body 序列化与 block 选择
序列化前通过
message.ByteSizeLong()获取 body 大小 B:8K/64K 是 block 总大小,选择与拆分按扣除管理头后的有效容量计算。典型布局:
BlockRef 0 = [协议 header + meta],BlockRef 1 = [连续 body]。7.4 数据分片与 seq
先按实际连续区间、目标容量和单次 READ 长度规划分片,再为每个数据分片分配连续 seq;控制消息本身不占数据 seq。
7.5 PULL_MEM / FREE 控制消息
沿用 64B
UrmaMsgHeader,type区分PULL_MEM/FREE,走数据通道(共享 JFS 池)SEND:PULL_MEM携带一批{seq, src_addr, length, memory_info}READ 源描述;FREE携带一批已完成读取的源分片标识。总长受限:header+meta 放得下时随 PULL_MEM 内联(独立 seq),否则作为 READ 描述;描述过多拆多条控制消息;一条控制消息可触发多个 READ。7.6 READ 正常流程
7.7 按 seq 重排与完成路由
控制消息到达不代表其描述的数据已完成,不能据此推进数据 seq;多个 READ CQE 可乱序,只有前序 seq 连续就绪才能交付。
READ 完成上下文至少关联:本端 SocketId、数据 seq、所用 JFS、源分片标识、目标 IOBuf。
7.8 buffer 生命周期(正常路径)
失败、取消、断链场景下仍可能被 DMA 访问的 buffer 生命周期单独设计(见 §10 讨论点)。
8. 建链与协议兼容
8.1 单轮 Hello 资源交换
不执行独立的"阶段 1 协商":协议标识、版本校验与本端资源信息放在同一条 Hello;版本匹配后直接导入对端资源,再以 ACK 确认。握手在独立 bthread 中通过已有 TCP fd 执行。
版本不匹配时不继续资源导入,连接回到 TCP 路径;不发送空 body 的 NegotiateMsg。
8.2 Hello 消息结构
URMA)或 protobuf Hello(URM3)v2 使用
HelloMessage固定前缀 + 尾部SEG1扩展(内存池列表、大包能力);v3 使用UrmaHello的segments字段。64K region 作为独立注册段通告,远端按地址范围和 token 选择对应 segment。8.3 版本校验、TCP 降级与 ACK 时机
urma_import_seg/urma_import_jfr;不兼容一律降级 TCP,不做字段猜测。jfr_id;流控通道的 JFR 标识随流控提案扩展。socket_id;消息级控制包仍携带目标 SocketId 用于每消息路由,两者不互相替代。9. 改造点总览与落地计划
9.1 对当前社区实现的影响总览
max_sge≥2;header 池;收发路径 header 填充/解析/回收;user_ctx承载发送上下文UrmaResource→ 进程级共享池;JFCE/JFC 共享化;sq_inflight原子计数;建链 round-robin 选 JFR;共享 CQE 分发socket_id、segments扩展段、共享 JFR 标识;状态机/降级/ACK 已对齐兼容性说明:新握手字段全部放在扩展段/新增字段,旧版本收到不认识的协议标识或版本号按现有逻辑降级 TCP,双向兼容。
9.2 合入计划
性能优化部分与主线开发同步合入(不设独立长分支),按以下四批交付,每批独立可测、可回退:
10. 待社区讨论的问题
socket_id/segments放 v2 扩展尾段还是仅 v3 protobuf?建议 v3 优先,v2 保持只读兼容。magic取值与现有URMA/URM3magic 区分。欢迎 @chenBright @wwbmmm 及各位社区同学评审讨论。