sig-ub-enable职能仓库,用于存放UB使能相关的文档、讨论等。
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 个月前 | ||
| 1 个月前 |
sig-ub-enable
UB Enable SIG 旨在构建一个开放、高效的面向UB超节点的AI云原生使能体系。本SIG聚焦UB超节点K8s资源调度增强、应用场景加速、开发者工具链三大领域,针对UB超节点的高速通信、资源池化等关键能力,探索资源利用率和业务性能提升方面新的技术范式,推动社区在该领域的技术演进。
工作范围
- 基于超节点的K8s资源调度增强:构建模块化、高性能、K8s生态兼容的云原生组件,使能容器业务可以使用UB超节点能力。
- 基于超节点的应用场景加速:针对关键应用场景,探索基于UB超节点的创新架构和优化范式,带来性能和效率大幅度提升。
- 超节点专用开发工具链:提供UB超节点开发者全生命周期使能服务,做到在开发者机器上实现UB亲和开发/编译/测试/性能定性分析。
技术协同
与openFuyao其他SIG能力协同
- 资源调度使能:协同容器编排引擎SIG,扩展K8s调度组件能力,感知UB超节点的共享拓扑关系,进行相关Pod的调度选择。
- 基于超节点的应用场景加速:协同AI推理SIG、大数据SIG、容器编排引擎SIG,探索UB应用加速创新范式。
- 超节点专用开发工具链:协同基础设施SIG,针对UB超节点使能场景,持续优化开发者工具链和软件工程能力。
与业界开源技术方案协同
- 基于超节点的K8s资源调度增强:Kubernetes原生的多样化资源管理与调度方案。
- 基于超节点的应用场景加速:协同CXL、UALink总线,协同各场景应用上游社区等。
- 超节点专用开发工具链:基于开源项目QEMU构建UB超节点仿真能力;基于Lmbench内存测试项目增加UB支持等。
2026年规划
1、基于超节点的K8s资源调度增强
-
KT1:容器集群释放UB高带宽/低时延能力
- (2026 Q1)UB CNI插件(Villus 2.0):基于URMA语言通信和UB网络硬件,构建UB网卡和DPU网卡的CNI插件,连接容器网络与UB网络,实现低时延高性能通信。
- (2026 Q2)UB CSI插件:通过灵衢UB平等互联架构SSU直通,构建SSU存储的CSI插件,容器存储动态分配和挂载。
-
KT2:基于UB增强K8s调度,提升资源利用率
- (2026 Q1)容器热迁移:基于UB大带宽/内存池化和内核态CRIK能力,叠加K8s拓扑感知调度,Pod迁移中断时间小于0.5s。
- (2026 Q2)拓扑感知调度:池化资源度量和指标采集,基于负载拓扑感知调度、装箱优化等多种亲和调度算法,均衡系统资源。
- (2026 Q2)Remote-Fork:基于UB共享内存实现的Remote-Fork快速拉起容器,实现百毫秒级容器冷启动,提升系统可用性、弹性效率和资源利用率。
2、基于超节点的应用场景加速
-
KT1:UB内存池化和通信提升分布式KVCache性能,带来AI推理TTFT优化。
- (2026 Q1)KVCache mooncake高可用,提升稳定性;基于UB内存池化优化缓存机制,TTFT降低20%。
- (2026 Q1)提供指标高性能订阅-发布数据流转,关键指标时延< 100ms,提升观测/决策/实施端到端效率。
- (2026 Q2)主流推理框架对接和兼容,融入mooncake Transfer Engine的共享内存架构(待规划)。
- (2026 Q2)分发加速:权重、镜像、数据硬件使能加速。
-
KT2:UB内存池化技术提升大数据Spark性能。
- 构建Spark Shuffle、HDFS RW性能提升,计算任务端到端性能提升xx%+,计算资源约节省xx%(技术评估中)。
-
KT3:UB分布式池化架构,带来云原生数据库多主架构(类似:阿里PloarDB @ CXL)。
-
KT4:UB大容量KVCache和RPC,提升E2E广告推荐时延。
-
KT5:UB内存语义带来低时延高速通信,替代传统通信网络。
-
其他的应用场景。
- 超大内存虚机和内存超分。
- 点对点数据直通、分布式锁。
- ...
3、超节点专用开发工具链
- 2026 Q1:支持个人本地UB应用开发、编译,可体验UB仿真服务。
-
(2026.01)提供个人开发者UB应用开发环境快速安装方案。
- 提供UB开发镜像(openEuler + UB开发包)。
- 提供VSCode+UB开发镜像的远程开发方案。
- 支持UB应用本地编译(ARM->ARM、x86->ARM)。
- 支持UB应用云端编译和代码检查(openFuyao社区流水线)。
-
(2026.03)提供云端UB仿真服务(Beta),支持个人开发者远程接入仿真服务,导入UB应用二进制,在线进行功能测试验证。
-
- 2026 Q2:支持UB仿真服务,发布UB DT框架。
- 提供云端UB仿真服务能力,支持个人开发者一键申请UB仿真服务,进行UB应用测试。
- 提供轻量级UB DT框架(Beta),支持高频UB API接口的Mock能力。
- 2026 Q3:UB仿真服务体验优化,支持UB性能分析,AI启发式编程体验。
- 提供UB仿真组网增强能力,支持个人开发者灵活组网,节点灵活扩缩容。
- 提供UB DT框架增强能力,支持通用场景一键Mock。
- 提供UB性能工程能力(Beta),支持UB应用的性能测试和分析。
- 基于CodeArts提供AI启发式变成(Beta),提供UB API推荐和自动生成能力。
- 2026 Q4 : AI启发式编程能力增强,发布UB一站式开发者工具链。
- 发布基于CodeArts的AI启发式编程,提升UB API推荐准确率,支持最佳实践范式代码生成,扩展API推荐场景。
当前进展 (251129)
1、openFuyao ub-enable-sig运作
- 完成sig组运作工作梳理和思路讨论。
- 完成社区代码仓创建和流水线配置:ub-enable-sig、ub-enable-quickstart。
- 超节点总线文档体系(当前已完成灵衢UB总线技术资料上架,CXL/NVLink等其他待上架)。
- 技术白皮书和规范参考。
- 快速开发指南,包含环境配置和demo代码示例。
- 场景化代码样例,基于Spark/Flink/Socket 3个场景简化。
- 26年规划:进行中,待12月TC讨论。
2、基于超节点的K8s资源调度增强
- K8s纳管UB完成UB内存借用、网络、存储和安装部署的设计和开发。
- K8s UB增强调度方案:
- 完成调度容错和装箱优化2个场景设计,正在开发中。
- 完成热迁移设计(2s -> 0.5s),功能开发中。
- 当前在孵化,社区开源发布节奏在确认中(争取1230,最晚0330)。
3、基于超节点的应用场景加速(AI推理和大数据)
- AI推理UB增强
- 基于内存共享的Mooncake增强完成设计和开发,Mooncake Store TE基于共享内存改造设计完成,并在社区TC评审。
- 当前基于社区共建,完成部分测试,依赖灵衢UB开发包,社区开源发布节奏在确认中(预计0330)。
- 大数据UB增强
- Uniffle软件对接HCOM V1代码完成开发和仿真验证,HCOM V2 Java API开发代码完成,待测试。
- Flink Shuffle特性在HCOM RDMA、StateBackend、CheckPoint场景完成设计、开发和验证,预计带来15%的性能提升。
- 当前在孵化,社区开源发布节奏在确认中(预计0330)。
4、超节点专用开发工具链
- UB开发流程打通:基于UB Mooncake和UB K8s开源场景穿刺,包含openEuler基础构建镜像、openFuyao CICD流水线。
- UB开发包依赖:UBS Comm在OpenEuler社区开源,当前ubs-comm/ubs-engine等已上传代码,其余在月底提交(看情况会有一定延期),UB开发包在1230随openEuler 24.03 LTS SP3发布。
- UB仿真服务和实验室:正在推动灵衢UB仿真服务开放。
进展(2026.4.10)
ub-enable sig开源两个UB使能项目:ubs-openstack-enable、ubs-k8s-enable
| 项目 | 项目介绍 | 本地开发构建 | 单元测试 | 配置说明 | API接口 | 场景示例 | 流水线构建 | 安装部署指导 |
|---|---|---|---|---|---|---|---|---|
| ubs-openstack-enable | ready | ready | ready | ready | ready | ready | ready | ready |
| ubs-k8s-enable | ready | ready | ready | ready | ready | ready | ready | ready |
下一步计划
针对ubs-openstack-enable和ubs-k8s-enable两个项目开发者旅程,从代码下载->编译->开发->单元测试->编译打包->功能测试->代码提交,实现UB项目开箱即用的目标。