| Files | Last commit | Last update |
|---|---|---|
feat: 960dt 非量化场景适配APACE新模板 Co-authored-by: dengyidan<dengyidan@huawei.com> # message auto-generated for no-merge-commit merge: !14503 merge mmrs_A5_apace into master feat: 960dt 非量化场景适配APACE新模板 Created-by: dyd-dmy Commit-by: dengyidan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 为 MatmulReduceScatterV2 的 960dt 非量化场景接入 APACE 模板,复用已有 MX 量化通路的融合调度,实现非量化与 MX 量化共用计算、同步及通信流程。 主要修改如下: 1. 新增非量化 APACE 计算实现:基于 Blaze Basic BlockMmad 支持 FP16、BF16输入数据类型,支持 x2 转置和非转置、以及与输出同类型的 bias的输入组合。 2. 统一融合调度:非量化与 MX 量化共用头块组、尾块组调度和 HCCL ReduceScatter 流水,计算层分别保留对应的 Matmul 实现。APACE 使用 AIC-only 核类型。 3. 复用现有 Tiling:非量化沿用 MatmulV3 Tiling 和原有 TilingData,按各 rank 当前通信块合成的逻辑 M 生成计算切分;复用通信块对齐调整,减少跨 rank 行段的拆块。 4. 完善边界处理:Kernel 对跨 rank 的非连续输入分段计算;Host 校验分块覆盖范围、尾轮调度、片上缓冲区容量、单次通信量及包含尾块的总通信次数。 5. 保持平台与接口兼容:对外接口不变,APACE 仅在 960dt 满足条件的非量化和 MX 场景启用,当前使用 AICPU 通信;950、PerTensor、PerBlock及其他非 APACE 场景沿用原有通路。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/6732 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 1. 本地测试已通过。 2. 冒烟测试已通过。 3. 补充并调整 Tiling UT,覆盖 960dt 非量化 APACE 分支选择、小/大 shape、不同核数,以及包含尾块的通信次数边界。 4. 增加 950 非量化和量化原有通路的回归用例,覆盖 AICPU、CCU、PeerOnly及通信量边界。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!14503 | 8 days ago | |
fix/a6-kc-quant-core-ratio Co-authored-by: huangyuxiaaaaa<huangyuxia9@huawei.com> # message auto-generated for no-merge-commit merge: !14301 merge fix/a6-kc-quant-core-ratio into master fix/a6-kc-quant-core-ratio Created-by: huangyuxiaaaaa Commit-by: huangyuxiaaaaa Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> all2allmm和mmall2all算子在A6上跑kc量化场景会出现卡死,修改相关核配比后精度pass ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> A5 RDV已过,上板精度pass ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: # MC2 专项代码检视意见 针对 PR [cann/ops-transformer#14301](https://gitcode.com/cann/ops-transformer/pull/14301) 的 MC2 变更完成专项静态检视。 - 检视 revision: 2d715c31d8cc54973a6450f3fb773f8ed118844c - 对比基线:upstream/master,merge-base 2734189379775d7d39dcf5f823eebff27c87b7ef - 变更范围:3 个文件,55 行新增、36 行删除 - 目标:适配 A6(__NPU_ARCH__ == 9201)C:V=1:1,同时保留其他架构 C:V=1:2 ## 检视结论 未发现阻塞合入的问题。 本次修改在同一编译期架构条件下统一处理了以下三组依赖关系: 1. QBMM KC 动态量化 kernel 的跨核同步、AIV 到 AIC 的 block 映射、单核 M 切分均使用 CV_RATIO。A6 只等待/通知一个 AIV,其他架构维持两个 AIV,未发现等待与通知数量不匹配。 2. FP8 per-token 动态量化的可用 AIV 核数改为 GetBlockNum() * AIV_TO_AIC_RATIO,A6 使用 1,其他架构使用 2,与实际 C:V 配比一致。 3. MatmulAlltoAll 原生路径的 non-quant、KC 和 MX tiling key 在 A6 选择 ASCENDC_TPL_MIX_AIC_1_1,其他架构继续选择 ASCENDC_TPL_MIX_AIC_1_2;APACE 路径仍保持 ASCENDC_TPL_AIC_ONLY。 ## 关键证据 - mc2/3rd/quant_batch_matmul_v3/op_kernel/quant_batch_matmul_v3_base.h:52-57:CV_RATIO 在 9201 上为 1,其余架构为 2。 - mc2/3rd/quant_batch_matmul_v3/op_kernel/arch35/qbmm_mix_online_dynamic.h:97-109:第二组 AIC/AIV 同步仅在 CV_RATIO == 2 时执行。 - mc2/3rd/quant_batch_matmul_v3/op_kernel/arch35/qbmm_mix_online_dynamic.h:160-164:AIV block 映射按 CV_RATIO 计算。 - mc2/3rd/quant_batch_matmul_v3/op_kernel/arch35/qbmm_mix_online_dynamic.h:348-359,394-409:dequant 和 GM→UB 搬运使用相同的 M 切分及偏移计算。 - mc2/common/op_kernel/mc2_templates/quantization/fp8/fp8_dynamic_quant_pertoken.h:51-55,177-178:动态量化参与核数按架构配比计算。 - mc2/matmul_allto_all/op_kernel/arch35/matmul_allto_all_tiling_key.h:39-43,64-86:A6 的三种原生模式统一选用 1:1 kernel type。 ## 本地检查 - pre-commit:通过;trailing whitespace、EOF、merge conflict、private key、clang-format、codespell、duplicate header、OAT 等适用检查全部通过。 - git diff --check upstream/master...HEAD:通过。 - 工作区状态:clean,当前分支与 origin/fix/a6-kc-quant-core-ratio 一致。 ## 建议的动态验证 本地 Windows 环境不具备 A6 CANN 编译与多卡运行条件,建议合入前在 960DT(9201)补充以下验证: 1. AlltoAllMatmul KC 动态量化:覆盖 singleCoreM=1、奇数 M、M 小于 AIC 核数、M 大于 AIC 核数,检查结果精度及无卡死。 2. MatmulAlltoAll KC 动态量化:覆盖同一组边界,并检查通信与计算流水能够正常结束。 3. MatmulAlltoAll non-quant 与 MX:各跑一个基本用例,确认新增 1:1 tiling key 在 A6 上能够正确编译和调度。 4. A5 回归:至少执行一个 KC 动态量化用例,确认 1:2 分支行为保持不变。 > 本报告为静态代码检视和本地规范检查结论;A6 多卡运行结果需要由目标环境验证补齐。 See merge request: cann/ops-transformer!14301 | 26 days ago | |
AF分离优化 Co-authored-by: jiangxiuhan1<jiangxiuhan@huawei.com> # message auto-generated for no-merge-commit merge: !14650 merge workspace1 into master AF分离优化 Created-by: jiangxiuhan1 Commit-by: jiangxiuhan1 Merged-by: cann-robot Description: ## 描述 将原本驻留在 URMA 通信窗口(win)中的紧凑 staging 区、token/layer flag 区以及 address table、count row 等区域迁移到每次调用自动分配的 workspace 中,使窗口只保留 token info 表与 token data 区,并相应调整 ccl_buffer_size 的计算与校验逻辑;同时引入“异步 Tensor 保活延迟释放”机制——通过已注册的 host 状态表与 context 中的 completedRounds 计数器,由 kernel 在下一轮启动时排空前序轮次的在途 WQE 并发布已完成轮次,Python 侧据此非阻塞释放输入张量引用,避免每轮同步等待。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: # PR #14650 检视报告 ## 检视概览 - **PR**:https://gitcode.com/cann/ops-transformer/pull/14650/(AF 分离算子优化) - **算子**:attention_to_ffn_v2 / ffn_to_attention_v2(MC² URMA 通信算子对,含 mc2/common 公共模块) - **变更规模**:16 文件(Kernel 4 + Tiling/UT 3 + torch_extension 5 + 文档 4),+A2F 387/-224、+F2A 94/-74 等 - **变更主线**:staging/flag/地址表区从 CCL 窗口迁入算子 workspace;新增「异步发送 Tensor 保活(Host 状态表 + 按轮次持引用 + 惰性释放)」机制;relay 连续 run WQE 合并;flag 槽 32B→4B 紧凑化;F2A 删除 3 处边界断言 - **检视方法**:大型 PR 流程(4 文件组 × 31 检视小组,4 波),假设检验驱动,规则库 cpp-secure / ascendc-topk / ascendc-api / ascendc-perf / mc2-specific / regbase-review-checks / cpp-general / cpp-style / python-secure - **基准**:repo head da4372059,diff 于 operators/.pr_diff/14650.diff ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 275 | 92.0% | | FAIL(发现问题,rule 级) | 12 → 归并 6 项根因 | 4.0% | | SUSPICIOUS(需关注,rule 级) | 12 → 归并 6 项 MED + 3 项附录 | 4.0% | | **合计** | **299** | 100% | **逐文件组**:mc2_kernel_G1(105 条:FAIL 6 / SUSP 5)/ mc2_host_G1(79 条:FAIL 0 / SUSP 1)/ shared_G1(103 条:FAIL 4 / SUSP 6)/ shared_G2(12 条:FAIL 2) **系统性风险**: 1. **F2A 边界断言删除**——同一根因被 6 条独立条例命中(SEC-1.2/3.3/4.1、TOPK-6、MC2-05、GEN-1.1),5 个独立检视组均给出 ≥75% 自信值,建议优先处置。 2. **HostStatusTable 构造异常路径**——同一根因被 3 条条例命中(SEC-5.2/1.2、GEN-14.1),两个镜像 .cpp 同病。 **冲突解决记录**: 1. CQE scratch 64B:[TIL-2 SUSP ~75%] vs [TOPK-01 备注:moe_ep_combine 先例倾向安全] → 维持 **SUSPICIOUS MED**(需对照 devkit hcomm.h) 2. F2A 断言删除:[SEC/MC2/TOPK FAIL 95%+] vs [RB-3 备注:参考实现亦直信上游] → 维持 **FAIL**(RB-3 观点记为缓解证据) 3. expertIdsBytes 镜像:[SEC-4.2 FAIL 80%] vs [host PERF-3 PASS(仅核对已改镜像项)] → 维持 **FAIL**(PERF-3 范围未覆盖该行,非真冲突) 4. hostStatusTableAddr:[GEN-1.1 FAIL 90%] vs [SEC-4.1 SUSP 75%] → 取 **FAIL HIGH**(同根因从严) --- ## 发现问题(HIGH 置信度) ### H1. [SEC-1.2/3.3/4.1 · TOPK-6 · MC2-05] F2A 删除全部外部输入边界断言,且无补偿校验 - **命中条例**:SEC-1.2(内存安全)、SEC-3.3(数组索引校验)、SEC-4.1(外部输入合法性)、TOPK-6(边界值处理)、MC2-05(专家索引边界)、GEN-1.1 - **置信度**:HIGH(多组独立评测 95%~105%) - **问题描述**:本 PR 从 ffn_to_attention_urma.h 删除了仅有的 3 处针对外部输入张量内容的边界断言(diff - 行 2083-2087 / 2122 / 2180-2181),删除后以下索引完全失去防护,且删除处无任何替代防御: 1. rankTableTensor_.GetValue(curAttenWorkIds)——sessionId 张量值直接作 UB 数组下标(负值经 static_cast<uint32_t> 变巨值 → UB 越界读); 2. rankCounts.SetValue(dstRank, ...) / addressEntries.SetValue(entryOffset, ...)——dstRank 来自 sessionId 或 attn_rank_table 内容,无界 → UB 越界写; 3. tokenSlot → remoteDataOffset/remoteFlagOffset——驱动 URMA 远端 WQE 写地址,越界时对**对端 rank 窗口越界写(跨设备内存破坏)**。 已核实 host 侧仅校验 shape/dtype(ffn_to_attention.cpp:105-121、ffn_to_attention_v2_tilling.cpp:145-151),无任何值域校验;对照 A2F 侧同 PR 反而**新增**了 toRankId 断言(attention_to_ffn_urma.h:794),两侧策略不对称。 - **代码片段**(mc2/ffn_to_attention_v2/op_kernel/ffn_to_attention_urma.h 行 337-360,断言已删): cpp __aicore__ inline void FFNToAttentionUrma<TemplateFFNToAttentionUrmaTypeFunc>::ReadTokenMetaDataFromLocal( ReadTokenMetaDataStruct& metaDataStruct, uint32_t localOffset) { int32_t curAttenWorkId = metadataTensor_.GetValue(localOffset); metaDataStruct.curAttenWorkIds = static_cast<uint32_t>(curAttenWorkId); metaDataStruct.curAttenWorkRank = metaDataStruct.curAttenWorkIds; if constexpr (isInputRankTable) { // PR 删除: ascendc_assert(curAttenWorkId >= 0 && (uint32_t)curAttenWorkId < axisA_, "sessionId out of range") int32_t curAttenWorkRank = rankTableTensor_.GetValue(metaDataStruct.curAttenWorkIds); metaDataStruct.curAttenWorkRank = static_cast<uint32_t>(curAttenWorkRank); } ... // 同函数内 microBatchId / tokenBatchOffset / topkOffset 同样无守卫 } (同文件行 420-424 rankCounts.SetValue(dstRank, ...)、行 485-501 tokenSlot → remote WQE 地址 两处断言同被删除) - **假设检验证据**:正向 = 规范违反 +40、防御被主动删除(基线 git show HEAD~1 证实)+30、PR 归属 +20、数据流外部张量内容 +15;负向 = 0(上游仅 shape 校验,记 0 分)。自信值 ≥95% → 判定违规。 - **诚实性备注**:ascendc_assert 在 release 构建可能编译为空,运行期越界暴露面属存量;本 PR 的确定回归是**调测/UT 构建下唯一检测手段的消失与纵深防御的移除**。 - **修复建议**:恢复三处断言,或改为不损失热循环性能的批量校验(Pass 1 每 chunk 一次范围检查 / 越界 clamp+丢弃+计数);至少在 host 侧(torch_extension 或 tiling)对 session_ids / attn_rank_table / token_ids / expert_offsets 补 OP_CHECK 值域校验,使文档值域契约有代码强制。 ### H2. [SEC-4.2] A2F expertIdsBuf_ UB 分配公式与 host tiling 镜像失配(kernel/host 关联风险) - **置信度**:HIGH(80%) - **问题描述**:kernel 将 expertIdsBuf_ 分配从 Ceil(expertIdsCnt_*4, 32) 改为按行切片推导的更大公式,但 host 侧 tiling 的 UB 容量镜像 expertIdsBytes(attention_to_ffn_v2_tiling.cpp:281,本 PR 未同步)仍按旧公式计入 requiredUbBytes。tiling 注释(tiling.cpp:258-263)明确要求 "keep both sides in sync"——本 PR 同步了 flagValueBytes/rankWinBaseBytes/syncBytes 三个镜像,**唯独遗漏 expertIdsBytes**。边界配置(X=1, BS=1, K=8:kernel 64B vs tiling 预算 32B,失配约 K*4 字节)下 kernel 实际 UB 占用可超过 tiling 已校验容量,且 tpipe_->InitBuffer 返回值未检查,失败后 Get<int32_t>() 与 DataCopyPad 构成 UB 越界写。 - **代码片段**(mc2/attention_to_ffn_v2/op_kernel/attention_to_ffn_urma.h 行 371-380,新公式): cpp uint32_t maxTotalSendNum = expertIdsCnt_; // 本 PR 新增(旧: axisX_*axisBS_*(K+shared)) uint32_t maxTokensPerAiv = Ceil(maxTotalSendNum, aivNum_); uint32_t maxRowsPerAiv = Ceil(maxTokensPerAiv, axisK_ + sharedExpertNum_) + 1U; uint32_t expertIdsSliceElems = maxRowsPerAiv * axisK_; uint32_t expertIdsElems = (expertIdsSliceElems > maxTokensPerAiv) ? expertIdsSliceElems : maxTokensPerAiv; uint32_t expertIdsAlign = Ceil(expertIdsElems * sizeof(int32_t), UB_ALIGN) * UB_ALIGN; tpipe_->InitBuffer(expertIdsBuf_, expertIdsAlign); // 返回值未检查 expertIdsTensor_ = expertIdsBuf_.Get<int32_t>(); tpipe_->InitBuffer(statusBuf_, UB_ALIGN); statusTensor_ = statusBuf_.Get<int32_t>(); 对照未同步的 host 镜像(mc2/attention_to_ffn_v2/op_host/op_tiling/attention_to_ffn_v2_tiling.cpp 行 281): cpp const size_t expertIdsBytes = CeilAlignSize(maxTotalSendNum * sizeof(int32_t), ubAlign); // 仍为旧公式 - **修复建议**:将 tiling.cpp:281 的 expertIdsBytes 同步为新公式(max((Ceil(maxTokensPerAiv, K+shared)+1)*K, maxTokensPerAiv)*4 后对齐 32),或 kernel 侧钳制分配并保证切片拷贝不越界;同时核检 A2F Init 中全部 InitBuffer 返回值。 ### H3. [SEC-5.2/1.2 · GEN-14.1] HostStatusTable 构造函数异常路径资源泄漏(两镜像文件同病) - **置信度**:HIGH(105% / 85%) - **问题描述**:新增的两个 Host 状态表类,构造函数在 aclrtMallocHost 成功后的后续步骤失败时发生 Host pinned 内存(及注册映射)泄漏:ACL_RT_CHECK 经 TORCH_CHECK 抛异常时,析构函数按 C++ 标准不会被调用,已分配的 32B Host 内存永不释放;若失败发生在第三步,已成功的 aclrtHostRegisterV2 注册一并泄漏。类经 pybind11::init 直接暴露,Python 捕获异常后重试可累积泄露。 - **代码片段**(mc2/attention_to_ffn_v2/torch_extension/csrc/attention_to_ffn.cpp 行 42-64;ffn_to_attention.cpp:43-65 为镜像同病): cpp class AttentionToFfnHostStatusTable { public: AttentionToFfnHostStatusTable() { constexpr int64_t bytes = ATTN_FFN_STATUS_TABLE_SLOTS * static_cast<int64_t>(sizeof(int64_t)); ACL_RT_CHECK(aclrtMallocHost(&hostPtr_, bytes)); // 47: 成功 ACL_RT_CHECK(aclrtHostRegisterV2(hostPtr_, bytes, ACL_HOST_REG_MAPPED)); // 48: 失败 → hostPtr_ 泄露 ACL_RT_CHECK(aclrtHostGetDevicePointer(hostPtr_, &devPtr_, 0)); // 49: 失败 → 泄露+注册泄露 Reset(); } ~AttentionToFfnHostStatusTable() // ctor 抛异常时不会被调用 { if (hostPtr_ != nullptr) { (void)aclrtSynchronizeDevice(); (void)aclrtHostUnregister(hostPtr_); (void)aclrtFreeHost(hostPtr_); hostPtr_ = nullptr; devPtr_ = nullptr; } } - **修复建议**:两镜像同步将三步构造改为分步检查 + 失败回滚(Register 失败先 aclrtFreeHost;GetDevicePointer 失败先 aclrtHostUnregister+aclrtFreeHost 再抛出),或 try/catch 清理后 rethrow。 ### H4. [MC2-18] kfc 后端路径下 keepalive 引用无限增长(需人工确认 v2 是否可达 kfc) - **置信度**:HIGH(85%) - **问题描述**:Python 侧**无条件**启用保活(每轮调用登记 x 引用),但 hostStatusTableAddr 仅在 channel 后端写入 context;**kfc 分支(DispatchBuild 的 BackendMode::KFC)不透传该参数**,context 字段保持 0 → kernel 永不发布完成轮次 → completed_round() 恒为 -1 → _release_completed_rounds 永远提前返回 → _keepalive 每次调用净增一条 x 引用直至 destroy()。长稳推理场景设备内存持续增长直至耗尽。backend 字典含 "Ascend910B"/"Ascend910_93" → "kfc" 存量映射,代码层面路径成立;若 v2 wrapper 实际仅支持 950/channel(kfc 不可达)则不触发,**需人工确认**。 - **代码片段 1**(mc2/common/torch_extension/csrc/comm_context.cpp 行 1309-1319,kfc 分支不透传): cpp switch (mode_) { case BackendMode::KFC: { KfcContextBuilder builder; builder.Build(group_, worldSize_, cclBufferSize_, tensor, &localDeviceBuffer_); // 不接收 hostStatusTableAddr_ return; } case BackendMode::CHANNEL: { HcclChannelContextBuilder builder; builder.Build(group_, worldSize_, cclBufferSize_, tensor, commAlg_, opName_, customCclBufferSize_, customCclBufferSizeResolver_, userDeviceBuffer, &customDeviceBuffer_, &customMemHandle_, multiChannel_, hostStatusTableAddr_); // 仅 channel 分支透传 **代码片段 2**(mc2/attention_to_ffn_v2/torch_extension/attention_to_ffn.py 行 477-481 + 377-392,无条件登记/永不释放): python round_id = buffer._next_round_id buffer._next_round_id += 1 # Keepalive: hold the reference only (no copy); the in-flight WQEs of this round may # still read x's storage after the kernel returns. buffer._keepalive[round_id] = x # kfc 下永不删除 ... def _release_completed_rounds(buffer): ... completed = status_table.completed_round() # kfc 下恒为 -1 if completed < 0 or not buffer._keepalive: # 永远在此返回 return - **修复建议**:让 Python 感知机制是否生效——CommContextManager 记录 statusTableEnabled_(CHANNEL 分支置 ` See merge request: cann/ops-transformer!14650 | 18 days ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓OAT合规整改——许可证/版权头存量修复与豁免策略对齐 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13363 merge fix_3 into master fix(pre-commit): 全仓OAT合规整改——许可证/版权头存量修复与豁免策略对齐 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5885 ## 描述 全仓 OAT 合规整改( pre-commit run oat-check --all-files 从 200 条问题清零): **1. OAT.xml 豁免策略对齐**(仅新增 6 行 filteritem,零删除): - experimental/.*:孵化目录豁免 license/copyright/binary 三类检查(含 swiglu_gated_mlp 等第三方 Apache-2.0 双版权贡献代码,策略上不归管) - *.jpg:文档图片豁免二进制拦截(与已有 *.png 一致) - LICENSE:许可证正文本身,豁免许可证头检查 - Third_Party_Open_Source_Software_Notice:第三方声明文件,豁免版权头检查 **2. 文件头修复(167 个源文件)**: - 旧版许可证头(redistribute it and/or modify. 句式,2026-03 入库、04-03 OAT 上线前时间差遗留)→ 标准 CANN V2 头 - 变体错别字:Copyend (c)、You can not use、in in compliance、free software; 分号、CANN 1.0 许可证等 - 无头文件补标准头(如 golden.py、executor_aclnnMoeFusedTopk.py) - 版权年保留各文件原有年份;CRLF/混合行尾文件逐字节保持原行尾,diff 仅头部 **3. 历史遗留原因**:存量问题多经网页端合并(不触发本地钩子)或 OAT 上线前入库积累。 ## 验证 - pre-commit run oat-check --all-files:9 个批次全部 0 issue,Passed - git pc HEAD~1 + 显式 pre-commit run --files 复核收敛,第 2 笔为 clang-format/ruff/end-of-files 自动修复 - py/sh 语法、OAT.xml XML 合法性校验通过 基线 master:d9d81a50a See merge request: cann/ops-transformer!13363 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
clean code: fix moe_distribute_combine/v2/v3/add_rms_norm 超大函数及重复代码 Co-authored-by: lsh<linshuohao@huawei.com> # message auto-generated for no-merge-commit merge: !12511 merge fix/clean-code-moeDistributeCombineXXX_0919 into master clean code: fix moe_distribute_combine/v2/v3/add_rms_norm 超大函数及重复代码 Created-by: github_33317658 Commit-by: lsh Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> clean code: fix moe_distribute_combine/v2/v3/add_rms_norm 超大函数及重复代码 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> 关联Issue [#5516](https://gitcode.com/cann/ops-transformer/issues/5516) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟 流水线构建成功  ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!12511 | 1 month ago | |
Pre-Commit 规范整改 — mc2 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !1577 merge test into master Pre-Commit 规范整改 — mc2 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于MC2文件进行了pre-commit检查 See merge request: cann/ops-transformer!1577 | 4 months ago | |
[MegaMoE] 支持关闭维测并补齐同步轮次写后读屏障 Co-authored-by: macech<chenluchun1@huawei.com> # message auto-generated for no-merge-commit merge: !14046 merge fix/mega-moe-optional-diagnostics-sync into master [MegaMoE] 支持关闭维测并补齐同步轮次写后读屏障 Created-by: macech Commit-by: macech Merged-by: cann-robot Description: ## 描述 MegaMoE 的维测默认开启。开发调试时可通过 --ops-compile-options=-DMC2_ENABLE_EXCEPTION_DUMP=0 编译为空实现,默认构建保留原有维测逻辑。 同时在 IncrementSyncCount 的旁路 GM 写后增加 asc_sync_data_barrier(mem_dsb_t::DSB_DDR)。后续发送和校验 count 会重新读取同一个 sequence;MTE3 事件不能代替 Scalar 写完成屏障。这项同步独立于维测开关,避免正常执行依赖打点带来的时序。 关闭维测的八卡 Static 场景曾停在 count epoch 校验:本轮预期 0xE9,一个槽仍为 0xE8000012,其余槽为 0xE9000012,接收端持续等待、Cube 等待 countReady。补齐上述屏障后,保留原生输入 clone 和多节点图的复现用例、连续重放及全量性能用例均通过。复现配置为 EP8、每卡 BS72、H5120、I2304、3 个路由专家、1 个共享专家、topk6,预量化路由 A8W4 / 共享 A8W8。 ### 同核旁路写后读的上卡取证 在独立临时副本中,关闭维测、保持原生输入 clone、每图 105 次 MegaMoE,使用同一现有 SDK,确认八卡实际下发 Static kernel。对上述 BS72 用例,捕获到了完整故障链路: | 取证位置 | 实际值 | |---|---| | rank 6、物理 AIV47,本轮入口应写入的 sequence | 921 | | 随后同核、同地址的旁路读 | 920(上一轮出口值) | | 仅在发现旧读之后执行 DSB,再读同一地址 | 921 | | 保留第一次旧读值生成的标签及 UB count | 0x98000000 / 0x98000012 | | rank 7、本地专家 2、来源 rank 6 的 GM 接收槽 | 0x98000012 | | 接收端本轮 sequence / 期望 count | 921 / 0x99000012 | 取证代码只在读到异常偶数 sequence 后执行额外 DSB,并保留原始旧读值继续编码和发送,因此记录同时覆盖了“同核旧读 → 错误标签编码 → 远端错误槽位 → 接收端持续等待”。每轮入口和出口各推进一次 sequence:920 是上一轮出口,921 是本轮入口;接收槽收到的不是上一轮入口的标签。 Scalar 指令的代码顺序不等于 GM 访问已经完成。此处前后访问均绕过 DCache,同地址也需要显式等待前序 GM 写完成;不是 DCache 与 bypass 混用的问题。官方明确依据:[单 Scalar 流水内访问内存一致性 / Case 3:前后访问都是不经过 DCache 的访问](https://asc.gitcode.com/guide/programming_guide/advanced_programming/memory_model/memory_consistency.html#Case-3%EF%BC%9A%E5%89%8D%E5%90%8E%E8%AE%BF%E9%97%AE%E9%83%BD%E6%98%AF%E4%B8%8D%E7%BB%8F%E8%BF%87DCache%E7%9A%84%E8%AE%BF%E9%97%AE)。该节说明:前后都不经过 DCache 时,无论访问同一地址还是不同地址,只要后序操作依赖前序 GM 访问已经完成,都需要插入 DSB 等待。因此,本 PR 在 IncrementSyncCount 写入 sequence 后、后续同核旁路重读前补齐 asc_sync_data_barrier(mem_dsb_t::DSB_DDR)。MTE3→S 事件等待 MTE3,不能代替这条 Scalar 写完成屏障;DCCI 也不能代替 bypass 写后的 DSB。 仅在 IncrementSyncCount 的 asc_store_dev 后加回本 PR 的 DSB、清理私有 Static 缓存,保持其余插桩和图调用次数一致后,6 次图调用全部完成;八卡实际 Static kernel 与逐次约 20ms NPU 等待均验证通过。此对照用于定位正确性,不用于性能比较。 另用最小 NPU 复现隔离同核访存:64 个物理 AIV 各用独占的 64B sequence 槽,模拟“入口读加一、旁路写、旁路重读、出口加一”。3 轮累计 38,400,000 次检查,不加写后 DSB 时有 18,053,230 次旧读;加 DSB 后为 0 次。实际反汇编对应 ST_DEV.b32 → LD_DEV.b32 与 ST_DEV.b32 → DSB #1 → LD_DEV.b32,地址寄存器相同。 ## 关联的Issue 无。 ## 测试 - 关闭维测的分支对未使用形参作 (void) 处理,保留原函数签名;GCC 和 CANN 9.2 beta2 bisheng AICore 的函数级 -Wunused-parameter -Werror 检查通过,开启分支的预处理定义与基线一致。 - 基于主线 fd659b0e1 的本 PR 算子源码,730152 单 key、关闭维测编译通过;独立主线 OFF 版本完成八卡原生执行验证,逐卡核验实际 Static 下发和每卡 210 次调用前约 20ms 的 NPU 等待。 - 通用打点头文件默认配置及显式 =1 的预处理结果与主线一致;=0 不含诊断搬运、缓存操作及事件。 - 同一同步改动在固定的 C API 迁移候选上完成八卡压力验证:原生 clone、每图 105 次 MegaMoE,连续 12 次重放、每卡 1260 次调用通过。逐卡核验实际 Static kernel 下发和逐次 NPU 等待。 - 该 C API 候选关闭维测后,30/30 原生 moe_test 性能用例完成;每条均核验八卡实际 Static 下发及逐次 20M-cycle NPU 等待。保留小 BS 多节点图和大 BS 图外循环,汇总原生 TFLOPS、延时及各卡 PMU 均值。013 用例最小 102.175us,均值 105.629us。 - 实际 C API 候选 Static 反汇编确认在 ST_DEV.b32 后、跨核通知前增加 DSB #1。 上述运行结果验证执行及性能,未进行 30 条数学 Golden 精度验证;全量性能来自固定 C API 候选,独立主线执行验证的范围为上述单 key 用例。 ## 文档更新 无。 ## 类型标签 - [x] 🐛 Bug修复 - [x] ⚡ 性能优化 - [ ] ✨ 新特性 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!14046 | 29 days ago | |
Pre-Commit 规范整改 — mc2 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !1577 merge test into master Pre-Commit 规范整改 — mc2 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于MC2文件进行了pre-commit检查 See merge request: cann/ops-transformer!1577 | 4 months ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
AF分离优化 Co-authored-by: jiangxiuhan1<jiangxiuhan@huawei.com> # message auto-generated for no-merge-commit merge: !14650 merge workspace1 into master AF分离优化 Created-by: jiangxiuhan1 Commit-by: jiangxiuhan1 Merged-by: cann-robot Description: ## 描述 将原本驻留在 URMA 通信窗口(win)中的紧凑 staging 区、token/layer flag 区以及 address table、count row 等区域迁移到每次调用自动分配的 workspace 中,使窗口只保留 token info 表与 token data 区,并相应调整 ccl_buffer_size 的计算与校验逻辑;同时引入“异步 Tensor 保活延迟释放”机制——通过已注册的 host 状态表与 context 中的 completedRounds 计数器,由 kernel 在下一轮启动时排空前序轮次的在途 WQE 并发布已完成轮次,Python 侧据此非阻塞释放输入张量引用,避免每轮同步等待。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: # PR #14650 检视报告 ## 检视概览 - **PR**:https://gitcode.com/cann/ops-transformer/pull/14650/(AF 分离算子优化) - **算子**:attention_to_ffn_v2 / ffn_to_attention_v2(MC² URMA 通信算子对,含 mc2/common 公共模块) - **变更规模**:16 文件(Kernel 4 + Tiling/UT 3 + torch_extension 5 + 文档 4),+A2F 387/-224、+F2A 94/-74 等 - **变更主线**:staging/flag/地址表区从 CCL 窗口迁入算子 workspace;新增「异步发送 Tensor 保活(Host 状态表 + 按轮次持引用 + 惰性释放)」机制;relay 连续 run WQE 合并;flag 槽 32B→4B 紧凑化;F2A 删除 3 处边界断言 - **检视方法**:大型 PR 流程(4 文件组 × 31 检视小组,4 波),假设检验驱动,规则库 cpp-secure / ascendc-topk / ascendc-api / ascendc-perf / mc2-specific / regbase-review-checks / cpp-general / cpp-style / python-secure - **基准**:repo head da4372059,diff 于 operators/.pr_diff/14650.diff ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 275 | 92.0% | | FAIL(发现问题,rule 级) | 12 → 归并 6 项根因 | 4.0% | | SUSPICIOUS(需关注,rule 级) | 12 → 归并 6 项 MED + 3 项附录 | 4.0% | | **合计** | **299** | 100% | **逐文件组**:mc2_kernel_G1(105 条:FAIL 6 / SUSP 5)/ mc2_host_G1(79 条:FAIL 0 / SUSP 1)/ shared_G1(103 条:FAIL 4 / SUSP 6)/ shared_G2(12 条:FAIL 2) **系统性风险**: 1. **F2A 边界断言删除**——同一根因被 6 条独立条例命中(SEC-1.2/3.3/4.1、TOPK-6、MC2-05、GEN-1.1),5 个独立检视组均给出 ≥75% 自信值,建议优先处置。 2. **HostStatusTable 构造异常路径**——同一根因被 3 条条例命中(SEC-5.2/1.2、GEN-14.1),两个镜像 .cpp 同病。 **冲突解决记录**: 1. CQE scratch 64B:[TIL-2 SUSP ~75%] vs [TOPK-01 备注:moe_ep_combine 先例倾向安全] → 维持 **SUSPICIOUS MED**(需对照 devkit hcomm.h) 2. F2A 断言删除:[SEC/MC2/TOPK FAIL 95%+] vs [RB-3 备注:参考实现亦直信上游] → 维持 **FAIL**(RB-3 观点记为缓解证据) 3. expertIdsBytes 镜像:[SEC-4.2 FAIL 80%] vs [host PERF-3 PASS(仅核对已改镜像项)] → 维持 **FAIL**(PERF-3 范围未覆盖该行,非真冲突) 4. hostStatusTableAddr:[GEN-1.1 FAIL 90%] vs [SEC-4.1 SUSP 75%] → 取 **FAIL HIGH**(同根因从严) --- ## 发现问题(HIGH 置信度) ### H1. [SEC-1.2/3.3/4.1 · TOPK-6 · MC2-05] F2A 删除全部外部输入边界断言,且无补偿校验 - **命中条例**:SEC-1.2(内存安全)、SEC-3.3(数组索引校验)、SEC-4.1(外部输入合法性)、TOPK-6(边界值处理)、MC2-05(专家索引边界)、GEN-1.1 - **置信度**:HIGH(多组独立评测 95%~105%) - **问题描述**:本 PR 从 ffn_to_attention_urma.h 删除了仅有的 3 处针对外部输入张量内容的边界断言(diff - 行 2083-2087 / 2122 / 2180-2181),删除后以下索引完全失去防护,且删除处无任何替代防御: 1. rankTableTensor_.GetValue(curAttenWorkIds)——sessionId 张量值直接作 UB 数组下标(负值经 static_cast<uint32_t> 变巨值 → UB 越界读); 2. rankCounts.SetValue(dstRank, ...) / addressEntries.SetValue(entryOffset, ...)——dstRank 来自 sessionId 或 attn_rank_table 内容,无界 → UB 越界写; 3. tokenSlot → remoteDataOffset/remoteFlagOffset——驱动 URMA 远端 WQE 写地址,越界时对**对端 rank 窗口越界写(跨设备内存破坏)**。 已核实 host 侧仅校验 shape/dtype(ffn_to_attention.cpp:105-121、ffn_to_attention_v2_tilling.cpp:145-151),无任何值域校验;对照 A2F 侧同 PR 反而**新增**了 toRankId 断言(attention_to_ffn_urma.h:794),两侧策略不对称。 - **代码片段**(mc2/ffn_to_attention_v2/op_kernel/ffn_to_attention_urma.h 行 337-360,断言已删): cpp __aicore__ inline void FFNToAttentionUrma<TemplateFFNToAttentionUrmaTypeFunc>::ReadTokenMetaDataFromLocal( ReadTokenMetaDataStruct& metaDataStruct, uint32_t localOffset) { int32_t curAttenWorkId = metadataTensor_.GetValue(localOffset); metaDataStruct.curAttenWorkIds = static_cast<uint32_t>(curAttenWorkId); metaDataStruct.curAttenWorkRank = metaDataStruct.curAttenWorkIds; if constexpr (isInputRankTable) { // PR 删除: ascendc_assert(curAttenWorkId >= 0 && (uint32_t)curAttenWorkId < axisA_, "sessionId out of range") int32_t curAttenWorkRank = rankTableTensor_.GetValue(metaDataStruct.curAttenWorkIds); metaDataStruct.curAttenWorkRank = static_cast<uint32_t>(curAttenWorkRank); } ... // 同函数内 microBatchId / tokenBatchOffset / topkOffset 同样无守卫 } (同文件行 420-424 rankCounts.SetValue(dstRank, ...)、行 485-501 tokenSlot → remote WQE 地址 两处断言同被删除) - **假设检验证据**:正向 = 规范违反 +40、防御被主动删除(基线 git show HEAD~1 证实)+30、PR 归属 +20、数据流外部张量内容 +15;负向 = 0(上游仅 shape 校验,记 0 分)。自信值 ≥95% → 判定违规。 - **诚实性备注**:ascendc_assert 在 release 构建可能编译为空,运行期越界暴露面属存量;本 PR 的确定回归是**调测/UT 构建下唯一检测手段的消失与纵深防御的移除**。 - **修复建议**:恢复三处断言,或改为不损失热循环性能的批量校验(Pass 1 每 chunk 一次范围检查 / 越界 clamp+丢弃+计数);至少在 host 侧(torch_extension 或 tiling)对 session_ids / attn_rank_table / token_ids / expert_offsets 补 OP_CHECK 值域校验,使文档值域契约有代码强制。 ### H2. [SEC-4.2] A2F expertIdsBuf_ UB 分配公式与 host tiling 镜像失配(kernel/host 关联风险) - **置信度**:HIGH(80%) - **问题描述**:kernel 将 expertIdsBuf_ 分配从 Ceil(expertIdsCnt_*4, 32) 改为按行切片推导的更大公式,但 host 侧 tiling 的 UB 容量镜像 expertIdsBytes(attention_to_ffn_v2_tiling.cpp:281,本 PR 未同步)仍按旧公式计入 requiredUbBytes。tiling 注释(tiling.cpp:258-263)明确要求 "keep both sides in sync"——本 PR 同步了 flagValueBytes/rankWinBaseBytes/syncBytes 三个镜像,**唯独遗漏 expertIdsBytes**。边界配置(X=1, BS=1, K=8:kernel 64B vs tiling 预算 32B,失配约 K*4 字节)下 kernel 实际 UB 占用可超过 tiling 已校验容量,且 tpipe_->InitBuffer 返回值未检查,失败后 Get<int32_t>() 与 DataCopyPad 构成 UB 越界写。 - **代码片段**(mc2/attention_to_ffn_v2/op_kernel/attention_to_ffn_urma.h 行 371-380,新公式): cpp uint32_t maxTotalSendNum = expertIdsCnt_; // 本 PR 新增(旧: axisX_*axisBS_*(K+shared)) uint32_t maxTokensPerAiv = Ceil(maxTotalSendNum, aivNum_); uint32_t maxRowsPerAiv = Ceil(maxTokensPerAiv, axisK_ + sharedExpertNum_) + 1U; uint32_t expertIdsSliceElems = maxRowsPerAiv * axisK_; uint32_t expertIdsElems = (expertIdsSliceElems > maxTokensPerAiv) ? expertIdsSliceElems : maxTokensPerAiv; uint32_t expertIdsAlign = Ceil(expertIdsElems * sizeof(int32_t), UB_ALIGN) * UB_ALIGN; tpipe_->InitBuffer(expertIdsBuf_, expertIdsAlign); // 返回值未检查 expertIdsTensor_ = expertIdsBuf_.Get<int32_t>(); tpipe_->InitBuffer(statusBuf_, UB_ALIGN); statusTensor_ = statusBuf_.Get<int32_t>(); 对照未同步的 host 镜像(mc2/attention_to_ffn_v2/op_host/op_tiling/attention_to_ffn_v2_tiling.cpp 行 281): cpp const size_t expertIdsBytes = CeilAlignSize(maxTotalSendNum * sizeof(int32_t), ubAlign); // 仍为旧公式 - **修复建议**:将 tiling.cpp:281 的 expertIdsBytes 同步为新公式(max((Ceil(maxTokensPerAiv, K+shared)+1)*K, maxTokensPerAiv)*4 后对齐 32),或 kernel 侧钳制分配并保证切片拷贝不越界;同时核检 A2F Init 中全部 InitBuffer 返回值。 ### H3. [SEC-5.2/1.2 · GEN-14.1] HostStatusTable 构造函数异常路径资源泄漏(两镜像文件同病) - **置信度**:HIGH(105% / 85%) - **问题描述**:新增的两个 Host 状态表类,构造函数在 aclrtMallocHost 成功后的后续步骤失败时发生 Host pinned 内存(及注册映射)泄漏:ACL_RT_CHECK 经 TORCH_CHECK 抛异常时,析构函数按 C++ 标准不会被调用,已分配的 32B Host 内存永不释放;若失败发生在第三步,已成功的 aclrtHostRegisterV2 注册一并泄漏。类经 pybind11::init 直接暴露,Python 捕获异常后重试可累积泄露。 - **代码片段**(mc2/attention_to_ffn_v2/torch_extension/csrc/attention_to_ffn.cpp 行 42-64;ffn_to_attention.cpp:43-65 为镜像同病): cpp class AttentionToFfnHostStatusTable { public: AttentionToFfnHostStatusTable() { constexpr int64_t bytes = ATTN_FFN_STATUS_TABLE_SLOTS * static_cast<int64_t>(sizeof(int64_t)); ACL_RT_CHECK(aclrtMallocHost(&hostPtr_, bytes)); // 47: 成功 ACL_RT_CHECK(aclrtHostRegisterV2(hostPtr_, bytes, ACL_HOST_REG_MAPPED)); // 48: 失败 → hostPtr_ 泄露 ACL_RT_CHECK(aclrtHostGetDevicePointer(hostPtr_, &devPtr_, 0)); // 49: 失败 → 泄露+注册泄露 Reset(); } ~AttentionToFfnHostStatusTable() // ctor 抛异常时不会被调用 { if (hostPtr_ != nullptr) { (void)aclrtSynchronizeDevice(); (void)aclrtHostUnregister(hostPtr_); (void)aclrtFreeHost(hostPtr_); hostPtr_ = nullptr; devPtr_ = nullptr; } } - **修复建议**:两镜像同步将三步构造改为分步检查 + 失败回滚(Register 失败先 aclrtFreeHost;GetDevicePointer 失败先 aclrtHostUnregister+aclrtFreeHost 再抛出),或 try/catch 清理后 rethrow。 ### H4. [MC2-18] kfc 后端路径下 keepalive 引用无限增长(需人工确认 v2 是否可达 kfc) - **置信度**:HIGH(85%) - **问题描述**:Python 侧**无条件**启用保活(每轮调用登记 x 引用),但 hostStatusTableAddr 仅在 channel 后端写入 context;**kfc 分支(DispatchBuild 的 BackendMode::KFC)不透传该参数**,context 字段保持 0 → kernel 永不发布完成轮次 → completed_round() 恒为 -1 → _release_completed_rounds 永远提前返回 → _keepalive 每次调用净增一条 x 引用直至 destroy()。长稳推理场景设备内存持续增长直至耗尽。backend 字典含 "Ascend910B"/"Ascend910_93" → "kfc" 存量映射,代码层面路径成立;若 v2 wrapper 实际仅支持 950/channel(kfc 不可达)则不触发,**需人工确认**。 - **代码片段 1**(mc2/common/torch_extension/csrc/comm_context.cpp 行 1309-1319,kfc 分支不透传): cpp switch (mode_) { case BackendMode::KFC: { KfcContextBuilder builder; builder.Build(group_, worldSize_, cclBufferSize_, tensor, &localDeviceBuffer_); // 不接收 hostStatusTableAddr_ return; } case BackendMode::CHANNEL: { HcclChannelContextBuilder builder; builder.Build(group_, worldSize_, cclBufferSize_, tensor, commAlg_, opName_, customCclBufferSize_, customCclBufferSizeResolver_, userDeviceBuffer, &customDeviceBuffer_, &customMemHandle_, multiChannel_, hostStatusTableAddr_); // 仅 channel 分支透传 **代码片段 2**(mc2/attention_to_ffn_v2/torch_extension/attention_to_ffn.py 行 477-481 + 377-392,无条件登记/永不释放): python round_id = buffer._next_round_id buffer._next_round_id += 1 # Keepalive: hold the reference only (no copy); the in-flight WQEs of this round may # still read x's storage after the kernel returns. buffer._keepalive[round_id] = x # kfc 下永不删除 ... def _release_completed_rounds(buffer): ... completed = status_table.completed_round() # kfc 下恒为 -1 if completed < 0 or not buffer._keepalive: # 永远在此返回 return - **修复建议**:让 Python 感知机制是否生效——CommContextManager 记录 statusTableEnabled_(CHANNEL 分支置 ` See merge request: cann/ops-transformer!14650 | 18 days ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
MC2 DFX Co-authored-by: WangShuying5<wangshuying5@huawei.com> # message auto-generated for no-merge-commit merge: !11488 merge DFXRDV into master MC2 DFX Created-by: WangShuying5 Commit-by: WangShuying5 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> MC2 DFX需求,增加aic error后触发exception dump机制,新增 Mc2ExceptionImplTmp(xn/cke 地址 dump)、Mc2DumpTilingData(args/tiling 数据/workspace 逐段 D2H 拷贝落盘)、Mc2DumpUrmaContext(通信上下文与 peermem 窗口分段 dump)和kernel 侧运行时进度打点 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/5252 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11488 | 2 months ago | |
A6的win区使用与校验不做A5的规避,同时修复上笔PR遗留问题 Co-authored-by: waker<lizhengjun7@h-partners.com> # message auto-generated for no-merge-commit merge: !14551 merge dc-fix-on-master into master A6的win区使用与校验不做A5的规避,同时修复上笔PR遗留问题 Created-by: wanker Commit-by: waker Merged-by: cann-robot Description: ## 描述 上笔 PR(A6 适配)已合入主线,本 PR 基于最新 master(0f6fad562)重做,只包含该 PR 之后的修复改动(一行不多带)。 1. **A6(Arch92)不做 A5 的窗口规避** - Mc2Context::GetHcclCommResource:per-rank offset 只在 A5(DAV_3510)上叠加,其余架构不再叠加; - moe_distribute_check_win_size.h:EP × 1024B 偏移扣减同样只在 A5 上进行(A2/A3/A6 均不扣),与上面的 buffer 布局保持一致。 2. **修复上笔 PR 遗留问题** - arch35 tiling:输入索引改用 DispatchV2Config(x / scales / xActiveMask),补齐 CheckQuantModeAndScales 的 config 实参; - AllToAllBasicUsedBuffer / CheckUBSize:改用 config 索引,并在 x 与 expandX dtype 相同时按 UB_ALIGN 记账 UB; - A5 full mesh:ConsumeMoeSendToken 增加 SyncFunc<V_S>();AllToAllDispatch 的 tokenInBufferSize(InitBufPool / InitBuffer / Duplicate 长度)按透传场景补 UB_ALIGN; - 校验与提示文案:DT_FLOAT4_E1M2 校验、HiF4 量化相关提示等。 ## 关联的Issue 无 ## 测试 - 本地:pre-commit(clang-format / OAT)通过; - RDV通过 ## 文档更新 无 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!14551 | 23 days ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
Pre-Commit 规范整改 — mc2 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !1577 merge test into master Pre-Commit 规范整改 — mc2 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于MC2文件进行了pre-commit检查 See merge request: cann/ops-transformer!1577 | 4 months ago | |
单jetty多对端 Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !13422 merge single_jetty into master 单jetty多对端 Created-by: Yuyu-Li Commit-by: Yuyu-Li Merged-by: cann-robot Description: ## 描述 训练DC算子支持单jetty多对端 > **检视对象**:git commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723(单jetty多对端) > **提交说明**:为 MoE EP dispatch/combine 引入第二种通信算法 shared_jetty——32 个物理 Jetty(SQ=4096/CQ=64)经 multi-channel handle 服务所有对端 rank;ElasticBuffer 增加 comm_alg 参数;4 个 aclnn 算子签名插参 commAlg 并按 TilingKey 分流到全新 shared-jetty kernel 实现;torch extension 新增 1GiB 大页 context builder。变更 44 文件(+3091/-144,有效变更 2782 行)。 > **检视方式**:ascendc-code-review skill PR 检视流程(标准模式),阶段:代码概要 → API 预研(Ascend 950/A5 代际)→ 设计文档探测 → 检视计划 → 12 组逐条检视(红线/TOPK/安全/API/MC2 领域/风格/RegBase/性能/算子约定/通用规范/Python)+ 设计一致性 S1-S7/D8 → 行号校对(含 diff 范围红线校验,0 范围外)→ 报告组装。 # 代码检视报告 ## 检视概览 - 代码文件:commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723「单jetty多对端」的 44 个变更文件(mc2/common 共享组件、mc2/moe_ep_combine(+epilogue)、mc2/moe_ep_dispatch(+epilogue)、torch_extension/、tests/) - 代码侧别:混合(Kernel + Tiling + Host/API + Python) - 检视文档:ascendc-api、ascendc-op-conventions、ascendc-perf、ascendc-red-line、ascendc-topk、cpp-general、cpp-secure、cpp-style、mc2-specific、python-secure、regbase-review-checks(共 11 个规则文档) - 总条例数:134(另含 cpp-style 19 条风格条款,不计入统计) - 设计文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 检视时间:2026-10-20 22:41 ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 132 | 98.5% | | FAIL(发现问题)| 1 | 0.7% | | SUSPICIOUS(需关注)| 1 | 0.7% | ## 设计一致性检查 - 文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 总体评级:不一致 | 策略 | 维度 | 设计期望 | 实现实际 | 判定 | |------|------|---------|---------|------| | S1 | 架构匹配 | ElasticBuffer 作为分布式通信 buffer 管理器,内部按算子参数自动计算并申请 CCL buffer,向 aclnn MoE EP 算子提供 context | 实现延续该架构,shared_jetty 路径由 MoeSharedJettyContextBuilder 分配 1GiB 大页并注册 HCCL,from_blob 包装为 context tensor 传入 4 个 aclnn 算子 | ✅ | | S2 | 分支覆盖 | torchapi_ElasticBuffer.md 功能说明仅描述单一通信路径,无 comm_alg/通信算法分支描述 | 实现新增 fullmesh/shared_jetty 双算法分支(构造参数、窗口布局、kernel 实现全套分叉),文档未同步描述 shared_jetty 分支及其约束(至少 64 rank、仅 direct 拓扑) | ❌ | | S3 | API清单 | 文档 dispatch/combine 等接口原型与约束 | 既有接口签名语义不变,新增 comm_alg 为可选参数(默认 fullmesh 向后兼容),kernel API 未使用黑名单接口 | ✅ | | S4 | 数据流追踪 | dispatch 将 token 分发到对应专家卡,combine 将专家输出按原路由聚合回原序列 | shared_jetty 路径数据流与之一致(dispatch 路由统计、count 通知、payload URMA 写、notify;combine metadata 读取、按槽位回写、flag 通知),窗口布局由 host/kernel/Python 三侧同公式保证一致 | ✅ | | S5 | 参数语义 | 文档 __init__ 原型为 group/num_cpu_bytes/num_max_tokens_per_rank/hidden/num_topk/with_grad/explicitly_destroy 七参数,无 comm_alg | 实现在 Python/C++/pybind 三层新增 comm_alg 参数(fullmesh/shared_jetty),产品文档 __init__ 原型未包含该参数 | ❌ | | S6 | 伪代码映射 | 文档无伪代码章节 | 无伪代码可映射 | N/A | | S7 | 约束合规 | 所需 CCL 通信 buffer 由 ElasticBuffer 内部按算子参数自动计算并申请,无需手动配置 | shared_jetty 路径同样由内部按窗口布局公式自动计算并以 2MB 对齐 1GiB 大页申请,满足文档约束 | ✅ | | D8 | 文档格式 | | | ✅ | ### 设计一致性偏差(❌ 项详情) **S5**:__init__ 新增 comm_alg 参数未同步至产品文档函数原型 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:660 - 设计依据:torchapi_ElasticBuffer.md 函数原型(36-46 行)__init__ 原型无 comm_alg **S2**:shared_jetty 通信算法分支(含至少 64 rank、仅 direct 拓扑、32 jetty 资源约束)未在产品文档功能说明中描述 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:923 - 设计依据:torchapi_ElasticBuffer.md 功能说明(28-30 行)仅描述单一通信路径 ## 需关注(MED 置信度) ### [SEC-7.4] 对外结构体接口新增字段时必须在结构体最后添加 - **状态**:FAIL | **置信度**:MED - **问题描述**:本次 commit 在 4 个 TilingData Info 结构体(MoeEpDispatchEpilogueInfo/MoeEpDispatchInfo/ MoeEpCombineInfo/MoeEpCombineEpilogueInfo)的中间位置插入 commAlg 字段而非追加到结构体末尾。 其中 moe_ep_dispatch_epilogue_tiling.h 自身的注释明确记载该结构体是 host tiling 与 kernel 共用的裸内存 ABI,且 rankExpertHitCountOffsetReserved 占位字段存在的唯一目的就是保持 metadataRankOffsetsOffset 等字段在新旧 host/kernel 混用(非同一次构建)时偏移不变; 本次将 commAlg 插入到该占位字段之前,使 metadataRankOffsetsOffset/localRecvIndexOffset/ slotEndsOffset/slotRowIdsOffset 等字段整体后移 8 字节,破坏了注释所记载的混用兼容保证。 混用场景下 kernel 会按旧偏移读取新布局(或反之),metadataRankOffsetsOffset 被错读为 错误值,复现注释中描述的 recv_rank_offsets 错乱类问题。 - **代码文件**:mc2/moe_ep_dispatch_epilogue/op_kernel/moe_ep_dispatch_epilogue_tiling.h - **起始行号**:41 - **中止行号**:51 - **代码片段**: cpp // 占位,勿删:这个字段曾经死在 metadataRankOffsetsOffset 前面,删掉会把后者前移 8 字节。 // tiling 结构体是 host tiling 与 kernel 共用的裸内存 ABI,偏移一变,两侧只要不是同一次构建, // kernel 就会把 metadataRankOffsetsOffset 读成 0,offsets 被写到 recvSrcMetadata + 0, // 随后又被 metadata 行覆盖,表现为 recv_rank_offsets 恒为 torch.empty 的 [0, 0, 0]。 // 保留占位即可让新旧 host/kernel 混用时字段偏移不变。 uint32_t commAlg = 0; uint64_t rankExpertHitCountOffsetReserved = 0; uint64_t metadataRankOffsetsOffset = 0; // byte offset of the aligned tail in packed metadata uint64_t localRecvIndexOffset = 0; // byte offset of [num_tokens, top_k] local recv_x reverse index uint64_t slotEndsOffset = 0; // compact slot list ends, capacity entries uint64_t slotRowIdsOffset = 0; // metadata row ids grouped by slot, capacity entries - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | 4 个 TilingData 结构体均在中间插入新字段,违反"新增字段必须在结构体最后添加" | | 上下文防御缺失 | +30% | 结构体注释明确记载混用 ABI 兼容保证(保留占位使偏移不变),本次插入破坏该保证且无任何版本隔离/偏移校验机制 | | PR 归属 | +20% | commAlg 插入在本次 diff 变更范围内 | | 数据流风险 | +15% | 混用构建下 metadataRankOffsetsOffset 等字段错读 8 字节偏移,接收侧 metadata 布局错乱 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | mc2/moe_ep_dispatch_epilogue_tiling.h 同一头文件被 host tiling 与 kernel 同时包含,同仓同版本构建时偏移必然一致 | 自信值 = Σ正向 + Σ负向 = 85% ≥ 70% → 判定违规 - **修复建议**:将 commAlg 字段移到各 TilingData Info 结构体末尾(最后一个字段之后)追加, 保持既有字段偏移不变;或复用已有的 reserved/占位字段空间。若确需中间插入, 应同步更新结构体注释并确认部署上不存在新旧 host/kernel 混用场景。 ## 疑似(LOW 置信度) ### [MC2-17] HCCL API 参数动态查阅验证 - **状态**:SUSPICIOUS | **置信度**:LOW - **问题描述**:本次 commit 大量使用新 HCCL/HCOMM 扩展 API(HcclChannelAcquireWithConfig、 HcclChannelConfigSetInt/SetStr、HcclEngineCtxDestroy、MakeMultiChannelHandle、 Hcomm::MakeBatchHandle/WriteNbi/WriteWithNotifyNbi/BatchCommit/Drain/GetHandleRef), 本规则要求检视时必须通过 /ascendc-docs-search 动态查阅官方文档验证参数与生命周期。 本次检视环境中无本地 ASC_DEVKIT 文档,在线文档站点(hiascend.com)对脚本抓取返回 JS/Cookie 拦截页,无法完成权威文档比对。参数一致性只能通过与仓内既有 fullmesh 生产实现(moe_ep_dispatch.h/moe_ep_combine.h 同族调用模式)对照佐证,属于未经 动态查询确认的潜在风险,需人工在具备文档环境时复核。 - **代码文件**:mc2/common/torch_extension/csrc/moe_shared_jetty_context.cpp - **起始行号**:288 - **中止行号**:304 - **代码片段**: cpp std::vector<ChannelHandle> channels(channelDescs_.size()); HcclChannelConfig config = nullptr; CheckHccl(HcclChannelConfigCreateFunc(&config), "HcclChannelConfigCreate"); const char* operation = "HcclChannelConfigSetInt"; auto ret = HcclChannelConfigSetIntFunc(config, HCCL_CHANNEL_CONFIG_TYPE_IS_SHARED_QUEUE, 1); if (ret == HCCL_SUCCESS) { operation = "HcclChannelConfigSetStr"; ret = HcclChannelConfigSetStrFunc(config, HCCL_CHANNEL_CONFIG_TYPE_SHARED_QUEUE_TAG, queueTag.c_str()); } if (ret == HCCL_SUCCESS) { operation = "HcclChannelAcquireWithConfig"; ret = HcclChannelAcquireWithConfigFunc(comm_, COMM_ENGINE, channelDescs_.data(), static_cast<uint32_t>(channelDescs_.size()), config, channels.data()); } auto destroyRet = HcclChannelConfigDestroyFunc(config); TORCH_CHECK(ret == HCCL_SUCCESS, operation, " failed, ret=", ret, ", config cleanup ret=", destroyRet); - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 领域关联 | +10% | 代码命中 HCCL 通信 API 领域触发特征,规则要求动态查阅验证 | | PR 归属 | +20% | 全部新增 HCCL 调用在 diff 变更范围内 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | 所有 HCCL 函数指针经 InitHcclSharedJettyFunctions 全量判空加载,调用返回值全部 CheckHccl/TORCH_CHECK 校验 | | 上游校验 | -15% | Hcomm kernel 侧调用模式与仓内 fullmesh 生产实现(moe_ep_dispatch.h:1165-1210、moe_ep_combine.h:281-317)逐模式一致 | 自信值 = Σ正向 + Σ负向 = -5% ≥ 70% → 未达违规阈值 - **修复建议**:在具备 CANN 文档环境处复核 HcclChannelAcquireWithConfig/MakeMultiChannelHandle 等 新 API 的参数约束与生命周期语义(特别是 AcquireSharedChannels 返回的 ChannelHandle 是否需要显式释放),确认与仓内既有用法一致。 ## 代码风格 > 来自 cpp-style 检视,不走假设检验,违反即 FAIL。不并入上方统计表。 | 条例 | 严重级别 | 问题描述 | 代码位置(校对后行号) | 修复建议 | |------|---------|---------|----------------------|---------| | STYLE-3.1 文件头注释包含版权声明(年份正确) | 中 | 新增文件 moe_ep_combine_shared_jetty.h 的版权年份为 2025,而同一次 commit 新增的其余 7 个文件均为 2026(该文件首次进入仓库于本 commit 2026-10),疑为复制旧文件头注释时未改年份,与同批新文件不一致。 | mc2/moe_ep_combine/op_kernel/moe_ep_combine_shared_jetty.h:1-14 | 将版权年份修正为 2026,与同批新增文件保持一致。 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5359 ## 测试 二级冒烟,线下测试 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!13422 | 12 days ago | |
feat(mc2): add Moe EP exception dump support Co-authored-by: tgwsakiko_<linwei69@huawei.com> # message auto-generated for no-merge-commit merge: !10465 merge epdump into master feat(mc2): add Moe EP exception dump support Created-by: tgwsakiko_ Commit-by: tgwsakiko_ Merged-by: cann-robot Description: ## ISSUE:https://gitcode.com/cann/ops-transformer/issues/4758 ## 一、这个 PR 干了什么 为 **Moe EP(专家并行)系列算子**(dispatch / dispatch_epilogue / combine / combine_epilogue)新增**异常 Dump(转储)能力**: 当 MoE 专家并行通信过程中发生 AICore 异常(如卡死、越界)时,能把通信窗口(CCL buffer)里的关键状态落盘成文件,供事后定位是哪个算子、哪个 AIV 核、执行到了哪个阶段出的问题。相当于给 MoE EP 通信链路加了"飞行黑匣子"。 ## 二、整体架构(三层设计) ┌─ tiling 层(host)──────────────────────────────┐ │ CalcMoeEpWindowLayout: 统一计算通信窗口布局 │ │ 前部预留 64KB metadata + 50KB per-core diag 区 │ │ BuildMoeEpDumpMetadata: 生成区域索引表写入 tiling │ └──────────────────────────────────────────────┘ ┌─ kernel 层(device)────────────────────────────┐ │ MoeEpCoreDiagWriter: 各 AIV 在自己的诊断槽位记录 │ │ 执行计数 opCnt + 当前阶段 runPosition │ │ WriteMetadata: 把 metadata 从 tiling 写入窗口头 │ └──────────────────────────────────────────────┘ ┌─ host 回调层(异常时触发)────────────────────────┐ │ MoeEpExceptionImpl: AIC 异常回调 → 拷贝窗口内容 │ │ 按 region 拆分落盘为 .bin 文件 │ └──────────────────────────────────────────────┘ ## 三、新增文件(公共层) | 文件 | 职责 | |------|------| | mc2/common/op_host/op_tiling/moe_ep_window_layout.h/.cpp | **窗口布局权威实现**:CalcMoeEpWindowLayout 统一计算 CCL 通信窗口各区域 offset/size(含新预留的 dump 区),CheckMoeEpWindowCapacity 校验 ccl_buffer_size 容量,BuildMoeEpDumpMetadata 构建 6 个 region 的索引表 | | mc2/common/op_kernel/moe_ep_exception_dump_defs.h | **Dump 数据结构定义**:MoeEpDumpMetadata(布局版本 + nmt/topK/hidden/epWorldSize 等拓扑信息 + 6 个 region 的 offset/size)、MoeEpCoreDiagRecord(64 字节/核诊断记录,含 opCnt/runPosition/epRankId/aivId)、各算子的 RunPosition 枚举。用 static_assert 锁死内存布局 | | mc2/common/op_kernel/moe_ep_exception_dump_writer.h | **核内写入器** MoeEpCoreDiagWriter:每个 AIV 在窗口 per-core diag 区有自己 512B 槽位(4 算子 × 64B 记录),Init 时读改写记录(opCnt+1),RunPosRecord 更新执行阶段;WriteMetadata 把 tiling 中的 metadata 写到窗口头部 | | mc2/common/utils/moe_ep_exception_dump.h | **host 侧异常回调** MoeEpExceptionImpl:通过 aclrtGetArgsFromExceptionInfo 取 context 地址 → 拷出 MoeCommContext → 定位本 rank 窗口 → 把 metadata + 6 个 region 依次落盘为 <算子名>.<rank>.<region名>.bin | **Dump 的 6 个 region**:per_core_diag(各核诊断)、count_notify、expert_count、dispatch_slot_state、combine_token_state、hybrid_scaleout_status——覆盖 dispatch/combine 全链路的状态区。 ## 四、四个算子的接入(每个算子模式相同) **tiling 侧**(dispatch/dispatch_epilogue/combine/combine_epilogue 四个 *_tiling.cpp,各约 +150 行重构): 1. ResolveMoeEpTopology 解析拓扑(DIRECT/HYBRID 网络模式、serverNum) 2. CalcMoeEpWindowLayout 计算窗口布局,CheckMoeEpWindowCapacity 校验容量 3. BuildMoeEpDumpMetadata 结果存入 tilingData,offset 字段下发 4. 注册异常回调:__attribute__((constructor)) 时把 MoeEpExceptionImpl 包装函数注册给 runtime(带 RUNTIME/METADEF 版本开关,旧版本自动失效) **kernel 侧**: - Init 中调用 WriteMetadata(把 tiling 里的 metadata 写入窗口头)并初始化 diagWriter_ - 关键阶段埋点 RunPosRecord: - dispatch:INIT_DONE → COUNT_READY → URMA_REQUESTS_ISSUE_DONE - dispatch_epilogue:INIT_DONE → WAIT_DONE → OUTPUT_DONE - combine:INIT_DONE → URMA_REQUESTS_ISSUE_DONE - combine_epilogue:INIT_DONE → WAIT_DONE → OUTPUT_DONE 异常发生后看 per-core diag 里各核的 runPosition,即可判断卡在哪个阶段(如全部停在 COUNT_READY → count 阶段 hang)。 ## 五、torch_extension 侧 elastic_buffer.py:_get_moe_ep_window_layout 的缓冲大小计算中加入 dump_metadata_bytes (64KB) + per_core_diag_bytes (100 × 512B) 前缀,保证 Python 侧分配的窗口与 kernel 侧布局一致。 ## 六、核心问题背景:为什么需要它 Moe EP 通信走 URMA/HCCQ 窗口,跨 rank、跨算子(dispatch → epilogue → combine),一旦 hang 住或 AIC 异常,窗口中间态无从观测,只能靠复现 + 打印。此 PR 把观测点常驻在窗口头部(metadata + per-core diag 常驻;其余 region 本来就是通信状态区),异常时由 runtime 回调一次性抓取,无需复现即可还原现场。 See merge request: cann/ops-transformer!10465 | 2 months ago | |
单jetty多对端 Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !13422 merge single_jetty into master 单jetty多对端 Created-by: Yuyu-Li Commit-by: Yuyu-Li Merged-by: cann-robot Description: ## 描述 训练DC算子支持单jetty多对端 > **检视对象**:git commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723(单jetty多对端) > **提交说明**:为 MoE EP dispatch/combine 引入第二种通信算法 shared_jetty——32 个物理 Jetty(SQ=4096/CQ=64)经 multi-channel handle 服务所有对端 rank;ElasticBuffer 增加 comm_alg 参数;4 个 aclnn 算子签名插参 commAlg 并按 TilingKey 分流到全新 shared-jetty kernel 实现;torch extension 新增 1GiB 大页 context builder。变更 44 文件(+3091/-144,有效变更 2782 行)。 > **检视方式**:ascendc-code-review skill PR 检视流程(标准模式),阶段:代码概要 → API 预研(Ascend 950/A5 代际)→ 设计文档探测 → 检视计划 → 12 组逐条检视(红线/TOPK/安全/API/MC2 领域/风格/RegBase/性能/算子约定/通用规范/Python)+ 设计一致性 S1-S7/D8 → 行号校对(含 diff 范围红线校验,0 范围外)→ 报告组装。 # 代码检视报告 ## 检视概览 - 代码文件:commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723「单jetty多对端」的 44 个变更文件(mc2/common 共享组件、mc2/moe_ep_combine(+epilogue)、mc2/moe_ep_dispatch(+epilogue)、torch_extension/、tests/) - 代码侧别:混合(Kernel + Tiling + Host/API + Python) - 检视文档:ascendc-api、ascendc-op-conventions、ascendc-perf、ascendc-red-line、ascendc-topk、cpp-general、cpp-secure、cpp-style、mc2-specific、python-secure、regbase-review-checks(共 11 个规则文档) - 总条例数:134(另含 cpp-style 19 条风格条款,不计入统计) - 设计文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 检视时间:2026-10-20 22:41 ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 132 | 98.5% | | FAIL(发现问题)| 1 | 0.7% | | SUSPICIOUS(需关注)| 1 | 0.7% | ## 设计一致性检查 - 文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 总体评级:不一致 | 策略 | 维度 | 设计期望 | 实现实际 | 判定 | |------|------|---------|---------|------| | S1 | 架构匹配 | ElasticBuffer 作为分布式通信 buffer 管理器,内部按算子参数自动计算并申请 CCL buffer,向 aclnn MoE EP 算子提供 context | 实现延续该架构,shared_jetty 路径由 MoeSharedJettyContextBuilder 分配 1GiB 大页并注册 HCCL,from_blob 包装为 context tensor 传入 4 个 aclnn 算子 | ✅ | | S2 | 分支覆盖 | torchapi_ElasticBuffer.md 功能说明仅描述单一通信路径,无 comm_alg/通信算法分支描述 | 实现新增 fullmesh/shared_jetty 双算法分支(构造参数、窗口布局、kernel 实现全套分叉),文档未同步描述 shared_jetty 分支及其约束(至少 64 rank、仅 direct 拓扑) | ❌ | | S3 | API清单 | 文档 dispatch/combine 等接口原型与约束 | 既有接口签名语义不变,新增 comm_alg 为可选参数(默认 fullmesh 向后兼容),kernel API 未使用黑名单接口 | ✅ | | S4 | 数据流追踪 | dispatch 将 token 分发到对应专家卡,combine 将专家输出按原路由聚合回原序列 | shared_jetty 路径数据流与之一致(dispatch 路由统计、count 通知、payload URMA 写、notify;combine metadata 读取、按槽位回写、flag 通知),窗口布局由 host/kernel/Python 三侧同公式保证一致 | ✅ | | S5 | 参数语义 | 文档 __init__ 原型为 group/num_cpu_bytes/num_max_tokens_per_rank/hidden/num_topk/with_grad/explicitly_destroy 七参数,无 comm_alg | 实现在 Python/C++/pybind 三层新增 comm_alg 参数(fullmesh/shared_jetty),产品文档 __init__ 原型未包含该参数 | ❌ | | S6 | 伪代码映射 | 文档无伪代码章节 | 无伪代码可映射 | N/A | | S7 | 约束合规 | 所需 CCL 通信 buffer 由 ElasticBuffer 内部按算子参数自动计算并申请,无需手动配置 | shared_jetty 路径同样由内部按窗口布局公式自动计算并以 2MB 对齐 1GiB 大页申请,满足文档约束 | ✅ | | D8 | 文档格式 | | | ✅ | ### 设计一致性偏差(❌ 项详情) **S5**:__init__ 新增 comm_alg 参数未同步至产品文档函数原型 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:660 - 设计依据:torchapi_ElasticBuffer.md 函数原型(36-46 行)__init__ 原型无 comm_alg **S2**:shared_jetty 通信算法分支(含至少 64 rank、仅 direct 拓扑、32 jetty 资源约束)未在产品文档功能说明中描述 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:923 - 设计依据:torchapi_ElasticBuffer.md 功能说明(28-30 行)仅描述单一通信路径 ## 需关注(MED 置信度) ### [SEC-7.4] 对外结构体接口新增字段时必须在结构体最后添加 - **状态**:FAIL | **置信度**:MED - **问题描述**:本次 commit 在 4 个 TilingData Info 结构体(MoeEpDispatchEpilogueInfo/MoeEpDispatchInfo/ MoeEpCombineInfo/MoeEpCombineEpilogueInfo)的中间位置插入 commAlg 字段而非追加到结构体末尾。 其中 moe_ep_dispatch_epilogue_tiling.h 自身的注释明确记载该结构体是 host tiling 与 kernel 共用的裸内存 ABI,且 rankExpertHitCountOffsetReserved 占位字段存在的唯一目的就是保持 metadataRankOffsetsOffset 等字段在新旧 host/kernel 混用(非同一次构建)时偏移不变; 本次将 commAlg 插入到该占位字段之前,使 metadataRankOffsetsOffset/localRecvIndexOffset/ slotEndsOffset/slotRowIdsOffset 等字段整体后移 8 字节,破坏了注释所记载的混用兼容保证。 混用场景下 kernel 会按旧偏移读取新布局(或反之),metadataRankOffsetsOffset 被错读为 错误值,复现注释中描述的 recv_rank_offsets 错乱类问题。 - **代码文件**:mc2/moe_ep_dispatch_epilogue/op_kernel/moe_ep_dispatch_epilogue_tiling.h - **起始行号**:41 - **中止行号**:51 - **代码片段**: cpp // 占位,勿删:这个字段曾经死在 metadataRankOffsetsOffset 前面,删掉会把后者前移 8 字节。 // tiling 结构体是 host tiling 与 kernel 共用的裸内存 ABI,偏移一变,两侧只要不是同一次构建, // kernel 就会把 metadataRankOffsetsOffset 读成 0,offsets 被写到 recvSrcMetadata + 0, // 随后又被 metadata 行覆盖,表现为 recv_rank_offsets 恒为 torch.empty 的 [0, 0, 0]。 // 保留占位即可让新旧 host/kernel 混用时字段偏移不变。 uint32_t commAlg = 0; uint64_t rankExpertHitCountOffsetReserved = 0; uint64_t metadataRankOffsetsOffset = 0; // byte offset of the aligned tail in packed metadata uint64_t localRecvIndexOffset = 0; // byte offset of [num_tokens, top_k] local recv_x reverse index uint64_t slotEndsOffset = 0; // compact slot list ends, capacity entries uint64_t slotRowIdsOffset = 0; // metadata row ids grouped by slot, capacity entries - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | 4 个 TilingData 结构体均在中间插入新字段,违反"新增字段必须在结构体最后添加" | | 上下文防御缺失 | +30% | 结构体注释明确记载混用 ABI 兼容保证(保留占位使偏移不变),本次插入破坏该保证且无任何版本隔离/偏移校验机制 | | PR 归属 | +20% | commAlg 插入在本次 diff 变更范围内 | | 数据流风险 | +15% | 混用构建下 metadataRankOffsetsOffset 等字段错读 8 字节偏移,接收侧 metadata 布局错乱 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | mc2/moe_ep_dispatch_epilogue_tiling.h 同一头文件被 host tiling 与 kernel 同时包含,同仓同版本构建时偏移必然一致 | 自信值 = Σ正向 + Σ负向 = 85% ≥ 70% → 判定违规 - **修复建议**:将 commAlg 字段移到各 TilingData Info 结构体末尾(最后一个字段之后)追加, 保持既有字段偏移不变;或复用已有的 reserved/占位字段空间。若确需中间插入, 应同步更新结构体注释并确认部署上不存在新旧 host/kernel 混用场景。 ## 疑似(LOW 置信度) ### [MC2-17] HCCL API 参数动态查阅验证 - **状态**:SUSPICIOUS | **置信度**:LOW - **问题描述**:本次 commit 大量使用新 HCCL/HCOMM 扩展 API(HcclChannelAcquireWithConfig、 HcclChannelConfigSetInt/SetStr、HcclEngineCtxDestroy、MakeMultiChannelHandle、 Hcomm::MakeBatchHandle/WriteNbi/WriteWithNotifyNbi/BatchCommit/Drain/GetHandleRef), 本规则要求检视时必须通过 /ascendc-docs-search 动态查阅官方文档验证参数与生命周期。 本次检视环境中无本地 ASC_DEVKIT 文档,在线文档站点(hiascend.com)对脚本抓取返回 JS/Cookie 拦截页,无法完成权威文档比对。参数一致性只能通过与仓内既有 fullmesh 生产实现(moe_ep_dispatch.h/moe_ep_combine.h 同族调用模式)对照佐证,属于未经 动态查询确认的潜在风险,需人工在具备文档环境时复核。 - **代码文件**:mc2/common/torch_extension/csrc/moe_shared_jetty_context.cpp - **起始行号**:288 - **中止行号**:304 - **代码片段**: cpp std::vector<ChannelHandle> channels(channelDescs_.size()); HcclChannelConfig config = nullptr; CheckHccl(HcclChannelConfigCreateFunc(&config), "HcclChannelConfigCreate"); const char* operation = "HcclChannelConfigSetInt"; auto ret = HcclChannelConfigSetIntFunc(config, HCCL_CHANNEL_CONFIG_TYPE_IS_SHARED_QUEUE, 1); if (ret == HCCL_SUCCESS) { operation = "HcclChannelConfigSetStr"; ret = HcclChannelConfigSetStrFunc(config, HCCL_CHANNEL_CONFIG_TYPE_SHARED_QUEUE_TAG, queueTag.c_str()); } if (ret == HCCL_SUCCESS) { operation = "HcclChannelAcquireWithConfig"; ret = HcclChannelAcquireWithConfigFunc(comm_, COMM_ENGINE, channelDescs_.data(), static_cast<uint32_t>(channelDescs_.size()), config, channels.data()); } auto destroyRet = HcclChannelConfigDestroyFunc(config); TORCH_CHECK(ret == HCCL_SUCCESS, operation, " failed, ret=", ret, ", config cleanup ret=", destroyRet); - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 领域关联 | +10% | 代码命中 HCCL 通信 API 领域触发特征,规则要求动态查阅验证 | | PR 归属 | +20% | 全部新增 HCCL 调用在 diff 变更范围内 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | 所有 HCCL 函数指针经 InitHcclSharedJettyFunctions 全量判空加载,调用返回值全部 CheckHccl/TORCH_CHECK 校验 | | 上游校验 | -15% | Hcomm kernel 侧调用模式与仓内 fullmesh 生产实现(moe_ep_dispatch.h:1165-1210、moe_ep_combine.h:281-317)逐模式一致 | 自信值 = Σ正向 + Σ负向 = -5% ≥ 70% → 未达违规阈值 - **修复建议**:在具备 CANN 文档环境处复核 HcclChannelAcquireWithConfig/MakeMultiChannelHandle 等 新 API 的参数约束与生命周期语义(特别是 AcquireSharedChannels 返回的 ChannelHandle 是否需要显式释放),确认与仓内既有用法一致。 ## 代码风格 > 来自 cpp-style 检视,不走假设检验,违反即 FAIL。不并入上方统计表。 | 条例 | 严重级别 | 问题描述 | 代码位置(校对后行号) | 修复建议 | |------|---------|---------|----------------------|---------| | STYLE-3.1 文件头注释包含版权声明(年份正确) | 中 | 新增文件 moe_ep_combine_shared_jetty.h 的版权年份为 2025,而同一次 commit 新增的其余 7 个文件均为 2026(该文件首次进入仓库于本 commit 2026-10),疑为复制旧文件头注释时未改年份,与同批新文件不一致。 | mc2/moe_ep_combine/op_kernel/moe_ep_combine_shared_jetty.h:1-14 | 将版权年份修正为 2026,与同批新增文件保持一致。 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5359 ## 测试 二级冒烟,线下测试 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!13422 | 12 days ago | |
单jetty多对端 Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !13422 merge single_jetty into master 单jetty多对端 Created-by: Yuyu-Li Commit-by: Yuyu-Li Merged-by: cann-robot Description: ## 描述 训练DC算子支持单jetty多对端 > **检视对象**:git commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723(单jetty多对端) > **提交说明**:为 MoE EP dispatch/combine 引入第二种通信算法 shared_jetty——32 个物理 Jetty(SQ=4096/CQ=64)经 multi-channel handle 服务所有对端 rank;ElasticBuffer 增加 comm_alg 参数;4 个 aclnn 算子签名插参 commAlg 并按 TilingKey 分流到全新 shared-jetty kernel 实现;torch extension 新增 1GiB 大页 context builder。变更 44 文件(+3091/-144,有效变更 2782 行)。 > **检视方式**:ascendc-code-review skill PR 检视流程(标准模式),阶段:代码概要 → API 预研(Ascend 950/A5 代际)→ 设计文档探测 → 检视计划 → 12 组逐条检视(红线/TOPK/安全/API/MC2 领域/风格/RegBase/性能/算子约定/通用规范/Python)+ 设计一致性 S1-S7/D8 → 行号校对(含 diff 范围红线校验,0 范围外)→ 报告组装。 # 代码检视报告 ## 检视概览 - 代码文件:commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723「单jetty多对端」的 44 个变更文件(mc2/common 共享组件、mc2/moe_ep_combine(+epilogue)、mc2/moe_ep_dispatch(+epilogue)、torch_extension/、tests/) - 代码侧别:混合(Kernel + Tiling + Host/API + Python) - 检视文档:ascendc-api、ascendc-op-conventions、ascendc-perf、ascendc-red-line、ascendc-topk、cpp-general、cpp-secure、cpp-style、mc2-specific、python-secure、regbase-review-checks(共 11 个规则文档) - 总条例数:134(另含 cpp-style 19 条风格条款,不计入统计) - 设计文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 检视时间:2026-10-20 22:41 ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 132 | 98.5% | | FAIL(发现问题)| 1 | 0.7% | | SUSPICIOUS(需关注)| 1 | 0.7% | ## 设计一致性检查 - 文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 总体评级:不一致 | 策略 | 维度 | 设计期望 | 实现实际 | 判定 | |------|------|---------|---------|------| | S1 | 架构匹配 | ElasticBuffer 作为分布式通信 buffer 管理器,内部按算子参数自动计算并申请 CCL buffer,向 aclnn MoE EP 算子提供 context | 实现延续该架构,shared_jetty 路径由 MoeSharedJettyContextBuilder 分配 1GiB 大页并注册 HCCL,from_blob 包装为 context tensor 传入 4 个 aclnn 算子 | ✅ | | S2 | 分支覆盖 | torchapi_ElasticBuffer.md 功能说明仅描述单一通信路径,无 comm_alg/通信算法分支描述 | 实现新增 fullmesh/shared_jetty 双算法分支(构造参数、窗口布局、kernel 实现全套分叉),文档未同步描述 shared_jetty 分支及其约束(至少 64 rank、仅 direct 拓扑) | ❌ | | S3 | API清单 | 文档 dispatch/combine 等接口原型与约束 | 既有接口签名语义不变,新增 comm_alg 为可选参数(默认 fullmesh 向后兼容),kernel API 未使用黑名单接口 | ✅ | | S4 | 数据流追踪 | dispatch 将 token 分发到对应专家卡,combine 将专家输出按原路由聚合回原序列 | shared_jetty 路径数据流与之一致(dispatch 路由统计、count 通知、payload URMA 写、notify;combine metadata 读取、按槽位回写、flag 通知),窗口布局由 host/kernel/Python 三侧同公式保证一致 | ✅ | | S5 | 参数语义 | 文档 __init__ 原型为 group/num_cpu_bytes/num_max_tokens_per_rank/hidden/num_topk/with_grad/explicitly_destroy 七参数,无 comm_alg | 实现在 Python/C++/pybind 三层新增 comm_alg 参数(fullmesh/shared_jetty),产品文档 __init__ 原型未包含该参数 | ❌ | | S6 | 伪代码映射 | 文档无伪代码章节 | 无伪代码可映射 | N/A | | S7 | 约束合规 | 所需 CCL 通信 buffer 由 ElasticBuffer 内部按算子参数自动计算并申请,无需手动配置 | shared_jetty 路径同样由内部按窗口布局公式自动计算并以 2MB 对齐 1GiB 大页申请,满足文档约束 | ✅ | | D8 | 文档格式 | | | ✅ | ### 设计一致性偏差(❌ 项详情) **S5**:__init__ 新增 comm_alg 参数未同步至产品文档函数原型 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:660 - 设计依据:torchapi_ElasticBuffer.md 函数原型(36-46 行)__init__ 原型无 comm_alg **S2**:shared_jetty 通信算法分支(含至少 64 rank、仅 direct 拓扑、32 jetty 资源约束)未在产品文档功能说明中描述 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:923 - 设计依据:torchapi_ElasticBuffer.md 功能说明(28-30 行)仅描述单一通信路径 ## 需关注(MED 置信度) ### [SEC-7.4] 对外结构体接口新增字段时必须在结构体最后添加 - **状态**:FAIL | **置信度**:MED - **问题描述**:本次 commit 在 4 个 TilingData Info 结构体(MoeEpDispatchEpilogueInfo/MoeEpDispatchInfo/ MoeEpCombineInfo/MoeEpCombineEpilogueInfo)的中间位置插入 commAlg 字段而非追加到结构体末尾。 其中 moe_ep_dispatch_epilogue_tiling.h 自身的注释明确记载该结构体是 host tiling 与 kernel 共用的裸内存 ABI,且 rankExpertHitCountOffsetReserved 占位字段存在的唯一目的就是保持 metadataRankOffsetsOffset 等字段在新旧 host/kernel 混用(非同一次构建)时偏移不变; 本次将 commAlg 插入到该占位字段之前,使 metadataRankOffsetsOffset/localRecvIndexOffset/ slotEndsOffset/slotRowIdsOffset 等字段整体后移 8 字节,破坏了注释所记载的混用兼容保证。 混用场景下 kernel 会按旧偏移读取新布局(或反之),metadataRankOffsetsOffset 被错读为 错误值,复现注释中描述的 recv_rank_offsets 错乱类问题。 - **代码文件**:mc2/moe_ep_dispatch_epilogue/op_kernel/moe_ep_dispatch_epilogue_tiling.h - **起始行号**:41 - **中止行号**:51 - **代码片段**: cpp // 占位,勿删:这个字段曾经死在 metadataRankOffsetsOffset 前面,删掉会把后者前移 8 字节。 // tiling 结构体是 host tiling 与 kernel 共用的裸内存 ABI,偏移一变,两侧只要不是同一次构建, // kernel 就会把 metadataRankOffsetsOffset 读成 0,offsets 被写到 recvSrcMetadata + 0, // 随后又被 metadata 行覆盖,表现为 recv_rank_offsets 恒为 torch.empty 的 [0, 0, 0]。 // 保留占位即可让新旧 host/kernel 混用时字段偏移不变。 uint32_t commAlg = 0; uint64_t rankExpertHitCountOffsetReserved = 0; uint64_t metadataRankOffsetsOffset = 0; // byte offset of the aligned tail in packed metadata uint64_t localRecvIndexOffset = 0; // byte offset of [num_tokens, top_k] local recv_x reverse index uint64_t slotEndsOffset = 0; // compact slot list ends, capacity entries uint64_t slotRowIdsOffset = 0; // metadata row ids grouped by slot, capacity entries - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | 4 个 TilingData 结构体均在中间插入新字段,违反"新增字段必须在结构体最后添加" | | 上下文防御缺失 | +30% | 结构体注释明确记载混用 ABI 兼容保证(保留占位使偏移不变),本次插入破坏该保证且无任何版本隔离/偏移校验机制 | | PR 归属 | +20% | commAlg 插入在本次 diff 变更范围内 | | 数据流风险 | +15% | 混用构建下 metadataRankOffsetsOffset 等字段错读 8 字节偏移,接收侧 metadata 布局错乱 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | mc2/moe_ep_dispatch_epilogue_tiling.h 同一头文件被 host tiling 与 kernel 同时包含,同仓同版本构建时偏移必然一致 | 自信值 = Σ正向 + Σ负向 = 85% ≥ 70% → 判定违规 - **修复建议**:将 commAlg 字段移到各 TilingData Info 结构体末尾(最后一个字段之后)追加, 保持既有字段偏移不变;或复用已有的 reserved/占位字段空间。若确需中间插入, 应同步更新结构体注释并确认部署上不存在新旧 host/kernel 混用场景。 ## 疑似(LOW 置信度) ### [MC2-17] HCCL API 参数动态查阅验证 - **状态**:SUSPICIOUS | **置信度**:LOW - **问题描述**:本次 commit 大量使用新 HCCL/HCOMM 扩展 API(HcclChannelAcquireWithConfig、 HcclChannelConfigSetInt/SetStr、HcclEngineCtxDestroy、MakeMultiChannelHandle、 Hcomm::MakeBatchHandle/WriteNbi/WriteWithNotifyNbi/BatchCommit/Drain/GetHandleRef), 本规则要求检视时必须通过 /ascendc-docs-search 动态查阅官方文档验证参数与生命周期。 本次检视环境中无本地 ASC_DEVKIT 文档,在线文档站点(hiascend.com)对脚本抓取返回 JS/Cookie 拦截页,无法完成权威文档比对。参数一致性只能通过与仓内既有 fullmesh 生产实现(moe_ep_dispatch.h/moe_ep_combine.h 同族调用模式)对照佐证,属于未经 动态查询确认的潜在风险,需人工在具备文档环境时复核。 - **代码文件**:mc2/common/torch_extension/csrc/moe_shared_jetty_context.cpp - **起始行号**:288 - **中止行号**:304 - **代码片段**: cpp std::vector<ChannelHandle> channels(channelDescs_.size()); HcclChannelConfig config = nullptr; CheckHccl(HcclChannelConfigCreateFunc(&config), "HcclChannelConfigCreate"); const char* operation = "HcclChannelConfigSetInt"; auto ret = HcclChannelConfigSetIntFunc(config, HCCL_CHANNEL_CONFIG_TYPE_IS_SHARED_QUEUE, 1); if (ret == HCCL_SUCCESS) { operation = "HcclChannelConfigSetStr"; ret = HcclChannelConfigSetStrFunc(config, HCCL_CHANNEL_CONFIG_TYPE_SHARED_QUEUE_TAG, queueTag.c_str()); } if (ret == HCCL_SUCCESS) { operation = "HcclChannelAcquireWithConfig"; ret = HcclChannelAcquireWithConfigFunc(comm_, COMM_ENGINE, channelDescs_.data(), static_cast<uint32_t>(channelDescs_.size()), config, channels.data()); } auto destroyRet = HcclChannelConfigDestroyFunc(config); TORCH_CHECK(ret == HCCL_SUCCESS, operation, " failed, ret=", ret, ", config cleanup ret=", destroyRet); - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 领域关联 | +10% | 代码命中 HCCL 通信 API 领域触发特征,规则要求动态查阅验证 | | PR 归属 | +20% | 全部新增 HCCL 调用在 diff 变更范围内 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | 所有 HCCL 函数指针经 InitHcclSharedJettyFunctions 全量判空加载,调用返回值全部 CheckHccl/TORCH_CHECK 校验 | | 上游校验 | -15% | Hcomm kernel 侧调用模式与仓内 fullmesh 生产实现(moe_ep_dispatch.h:1165-1210、moe_ep_combine.h:281-317)逐模式一致 | 自信值 = Σ正向 + Σ负向 = -5% ≥ 70% → 未达违规阈值 - **修复建议**:在具备 CANN 文档环境处复核 HcclChannelAcquireWithConfig/MakeMultiChannelHandle 等 新 API 的参数约束与生命周期语义(特别是 AcquireSharedChannels 返回的 ChannelHandle 是否需要显式释放),确认与仓内既有用法一致。 ## 代码风格 > 来自 cpp-style 检视,不走假设检验,违反即 FAIL。不并入上方统计表。 | 条例 | 严重级别 | 问题描述 | 代码位置(校对后行号) | 修复建议 | |------|---------|---------|----------------------|---------| | STYLE-3.1 文件头注释包含版权声明(年份正确) | 中 | 新增文件 moe_ep_combine_shared_jetty.h 的版权年份为 2025,而同一次 commit 新增的其余 7 个文件均为 2026(该文件首次进入仓库于本 commit 2026-10),疑为复制旧文件头注释时未改年份,与同批新文件不一致。 | mc2/moe_ep_combine/op_kernel/moe_ep_combine_shared_jetty.h:1-14 | 将版权年份修正为 2026,与同批新增文件保持一致。 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5359 ## 测试 二级冒烟,线下测试 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!13422 | 12 days ago | |
单jetty多对端 Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !13422 merge single_jetty into master 单jetty多对端 Created-by: Yuyu-Li Commit-by: Yuyu-Li Merged-by: cann-robot Description: ## 描述 训练DC算子支持单jetty多对端 > **检视对象**:git commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723(单jetty多对端) > **提交说明**:为 MoE EP dispatch/combine 引入第二种通信算法 shared_jetty——32 个物理 Jetty(SQ=4096/CQ=64)经 multi-channel handle 服务所有对端 rank;ElasticBuffer 增加 comm_alg 参数;4 个 aclnn 算子签名插参 commAlg 并按 TilingKey 分流到全新 shared-jetty kernel 实现;torch extension 新增 1GiB 大页 context builder。变更 44 文件(+3091/-144,有效变更 2782 行)。 > **检视方式**:ascendc-code-review skill PR 检视流程(标准模式),阶段:代码概要 → API 预研(Ascend 950/A5 代际)→ 设计文档探测 → 检视计划 → 12 组逐条检视(红线/TOPK/安全/API/MC2 领域/风格/RegBase/性能/算子约定/通用规范/Python)+ 设计一致性 S1-S7/D8 → 行号校对(含 diff 范围红线校验,0 范围外)→ 报告组装。 # 代码检视报告 ## 检视概览 - 代码文件:commit e56f8c20fb22ddcd72c57db1dcbb0e1d5cc7c723「单jetty多对端」的 44 个变更文件(mc2/common 共享组件、mc2/moe_ep_combine(+epilogue)、mc2/moe_ep_dispatch(+epilogue)、torch_extension/、tests/) - 代码侧别:混合(Kernel + Tiling + Host/API + Python) - 检视文档:ascendc-api、ascendc-op-conventions、ascendc-perf、ascendc-red-line、ascendc-topk、cpp-general、cpp-secure、cpp-style、mc2-specific、python-secure、regbase-review-checks(共 11 个规则文档) - 总条例数:134(另含 cpp-style 19 条风格条款,不计入统计) - 设计文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 检视时间:2026-10-20 22:41 ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 132 | 98.5% | | FAIL(发现问题)| 1 | 0.7% | | SUSPICIOUS(需关注)| 1 | 0.7% | ## 设计一致性检查 - 文档来源:mc2/common/docs(torchapi_ElasticBuffer.md) - 总体评级:不一致 | 策略 | 维度 | 设计期望 | 实现实际 | 判定 | |------|------|---------|---------|------| | S1 | 架构匹配 | ElasticBuffer 作为分布式通信 buffer 管理器,内部按算子参数自动计算并申请 CCL buffer,向 aclnn MoE EP 算子提供 context | 实现延续该架构,shared_jetty 路径由 MoeSharedJettyContextBuilder 分配 1GiB 大页并注册 HCCL,from_blob 包装为 context tensor 传入 4 个 aclnn 算子 | ✅ | | S2 | 分支覆盖 | torchapi_ElasticBuffer.md 功能说明仅描述单一通信路径,无 comm_alg/通信算法分支描述 | 实现新增 fullmesh/shared_jetty 双算法分支(构造参数、窗口布局、kernel 实现全套分叉),文档未同步描述 shared_jetty 分支及其约束(至少 64 rank、仅 direct 拓扑) | ❌ | | S3 | API清单 | 文档 dispatch/combine 等接口原型与约束 | 既有接口签名语义不变,新增 comm_alg 为可选参数(默认 fullmesh 向后兼容),kernel API 未使用黑名单接口 | ✅ | | S4 | 数据流追踪 | dispatch 将 token 分发到对应专家卡,combine 将专家输出按原路由聚合回原序列 | shared_jetty 路径数据流与之一致(dispatch 路由统计、count 通知、payload URMA 写、notify;combine metadata 读取、按槽位回写、flag 通知),窗口布局由 host/kernel/Python 三侧同公式保证一致 | ✅ | | S5 | 参数语义 | 文档 __init__ 原型为 group/num_cpu_bytes/num_max_tokens_per_rank/hidden/num_topk/with_grad/explicitly_destroy 七参数,无 comm_alg | 实现在 Python/C++/pybind 三层新增 comm_alg 参数(fullmesh/shared_jetty),产品文档 __init__ 原型未包含该参数 | ❌ | | S6 | 伪代码映射 | 文档无伪代码章节 | 无伪代码可映射 | N/A | | S7 | 约束合规 | 所需 CCL 通信 buffer 由 ElasticBuffer 内部按算子参数自动计算并申请,无需手动配置 | shared_jetty 路径同样由内部按窗口布局公式自动计算并以 2MB 对齐 1GiB 大页申请,满足文档约束 | ✅ | | D8 | 文档格式 | | | ✅ | ### 设计一致性偏差(❌ 项详情) **S5**:__init__ 新增 comm_alg 参数未同步至产品文档函数原型 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:660 - 设计依据:torchapi_ElasticBuffer.md 函数原型(36-46 行)__init__ 原型无 comm_alg **S2**:shared_jetty 通信算法分支(含至少 64 rank、仅 direct 拓扑、32 jetty 资源约束)未在产品文档功能说明中描述 - 代码位置(校对后行号):mc2/common/torch_extension/elastic_buffer.py:923 - 设计依据:torchapi_ElasticBuffer.md 功能说明(28-30 行)仅描述单一通信路径 ## 需关注(MED 置信度) ### [SEC-7.4] 对外结构体接口新增字段时必须在结构体最后添加 - **状态**:FAIL | **置信度**:MED - **问题描述**:本次 commit 在 4 个 TilingData Info 结构体(MoeEpDispatchEpilogueInfo/MoeEpDispatchInfo/ MoeEpCombineInfo/MoeEpCombineEpilogueInfo)的中间位置插入 commAlg 字段而非追加到结构体末尾。 其中 moe_ep_dispatch_epilogue_tiling.h 自身的注释明确记载该结构体是 host tiling 与 kernel 共用的裸内存 ABI,且 rankExpertHitCountOffsetReserved 占位字段存在的唯一目的就是保持 metadataRankOffsetsOffset 等字段在新旧 host/kernel 混用(非同一次构建)时偏移不变; 本次将 commAlg 插入到该占位字段之前,使 metadataRankOffsetsOffset/localRecvIndexOffset/ slotEndsOffset/slotRowIdsOffset 等字段整体后移 8 字节,破坏了注释所记载的混用兼容保证。 混用场景下 kernel 会按旧偏移读取新布局(或反之),metadataRankOffsetsOffset 被错读为 错误值,复现注释中描述的 recv_rank_offsets 错乱类问题。 - **代码文件**:mc2/moe_ep_dispatch_epilogue/op_kernel/moe_ep_dispatch_epilogue_tiling.h - **起始行号**:41 - **中止行号**:51 - **代码片段**: cpp // 占位,勿删:这个字段曾经死在 metadataRankOffsetsOffset 前面,删掉会把后者前移 8 字节。 // tiling 结构体是 host tiling 与 kernel 共用的裸内存 ABI,偏移一变,两侧只要不是同一次构建, // kernel 就会把 metadataRankOffsetsOffset 读成 0,offsets 被写到 recvSrcMetadata + 0, // 随后又被 metadata 行覆盖,表现为 recv_rank_offsets 恒为 torch.empty 的 [0, 0, 0]。 // 保留占位即可让新旧 host/kernel 混用时字段偏移不变。 uint32_t commAlg = 0; uint64_t rankExpertHitCountOffsetReserved = 0; uint64_t metadataRankOffsetsOffset = 0; // byte offset of the aligned tail in packed metadata uint64_t localRecvIndexOffset = 0; // byte offset of [num_tokens, top_k] local recv_x reverse index uint64_t slotEndsOffset = 0; // compact slot list ends, capacity entries uint64_t slotRowIdsOffset = 0; // metadata row ids grouped by slot, capacity entries - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | 4 个 TilingData 结构体均在中间插入新字段,违反"新增字段必须在结构体最后添加" | | 上下文防御缺失 | +30% | 结构体注释明确记载混用 ABI 兼容保证(保留占位使偏移不变),本次插入破坏该保证且无任何版本隔离/偏移校验机制 | | PR 归属 | +20% | commAlg 插入在本次 diff 变更范围内 | | 数据流风险 | +15% | 混用构建下 metadataRankOffsetsOffset 等字段错读 8 字节偏移,接收侧 metadata 布局错乱 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | mc2/moe_ep_dispatch_epilogue_tiling.h 同一头文件被 host tiling 与 kernel 同时包含,同仓同版本构建时偏移必然一致 | 自信值 = Σ正向 + Σ负向 = 85% ≥ 70% → 判定违规 - **修复建议**:将 commAlg 字段移到各 TilingData Info 结构体末尾(最后一个字段之后)追加, 保持既有字段偏移不变;或复用已有的 reserved/占位字段空间。若确需中间插入, 应同步更新结构体注释并确认部署上不存在新旧 host/kernel 混用场景。 ## 疑似(LOW 置信度) ### [MC2-17] HCCL API 参数动态查阅验证 - **状态**:SUSPICIOUS | **置信度**:LOW - **问题描述**:本次 commit 大量使用新 HCCL/HCOMM 扩展 API(HcclChannelAcquireWithConfig、 HcclChannelConfigSetInt/SetStr、HcclEngineCtxDestroy、MakeMultiChannelHandle、 Hcomm::MakeBatchHandle/WriteNbi/WriteWithNotifyNbi/BatchCommit/Drain/GetHandleRef), 本规则要求检视时必须通过 /ascendc-docs-search 动态查阅官方文档验证参数与生命周期。 本次检视环境中无本地 ASC_DEVKIT 文档,在线文档站点(hiascend.com)对脚本抓取返回 JS/Cookie 拦截页,无法完成权威文档比对。参数一致性只能通过与仓内既有 fullmesh 生产实现(moe_ep_dispatch.h/moe_ep_combine.h 同族调用模式)对照佐证,属于未经 动态查询确认的潜在风险,需人工在具备文档环境时复核。 - **代码文件**:mc2/common/torch_extension/csrc/moe_shared_jetty_context.cpp - **起始行号**:288 - **中止行号**:304 - **代码片段**: cpp std::vector<ChannelHandle> channels(channelDescs_.size()); HcclChannelConfig config = nullptr; CheckHccl(HcclChannelConfigCreateFunc(&config), "HcclChannelConfigCreate"); const char* operation = "HcclChannelConfigSetInt"; auto ret = HcclChannelConfigSetIntFunc(config, HCCL_CHANNEL_CONFIG_TYPE_IS_SHARED_QUEUE, 1); if (ret == HCCL_SUCCESS) { operation = "HcclChannelConfigSetStr"; ret = HcclChannelConfigSetStrFunc(config, HCCL_CHANNEL_CONFIG_TYPE_SHARED_QUEUE_TAG, queueTag.c_str()); } if (ret == HCCL_SUCCESS) { operation = "HcclChannelAcquireWithConfig"; ret = HcclChannelAcquireWithConfigFunc(comm_, COMM_ENGINE, channelDescs_.data(), static_cast<uint32_t>(channelDescs_.size()), config, channels.data()); } auto destroyRet = HcclChannelConfigDestroyFunc(config); TORCH_CHECK(ret == HCCL_SUCCESS, operation, " failed, ret=", ret, ", config cleanup ret=", destroyRet); - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 领域关联 | +10% | 代码命中 HCCL 通信 API 领域触发特征,规则要求动态查阅验证 | | PR 归属 | +20% | 全部新增 HCCL 调用在 diff 变更范围内 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | 所有 HCCL 函数指针经 InitHcclSharedJettyFunctions 全量判空加载,调用返回值全部 CheckHccl/TORCH_CHECK 校验 | | 上游校验 | -15% | Hcomm kernel 侧调用模式与仓内 fullmesh 生产实现(moe_ep_dispatch.h:1165-1210、moe_ep_combine.h:281-317)逐模式一致 | 自信值 = Σ正向 + Σ负向 = -5% ≥ 70% → 未达违规阈值 - **修复建议**:在具备 CANN 文档环境处复核 HcclChannelAcquireWithConfig/MakeMultiChannelHandle 等 新 API 的参数约束与生命周期语义(特别是 AcquireSharedChannels 返回的 ChannelHandle 是否需要显式释放),确认与仓内既有用法一致。 ## 代码风格 > 来自 cpp-style 检视,不走假设检验,违反即 FAIL。不并入上方统计表。 | 条例 | 严重级别 | 问题描述 | 代码位置(校对后行号) | 修复建议 | |------|---------|---------|----------------------|---------| | STYLE-3.1 文件头注释包含版权声明(年份正确) | 中 | 新增文件 moe_ep_combine_shared_jetty.h 的版权年份为 2025,而同一次 commit 新增的其余 7 个文件均为 2026(该文件首次进入仓库于本 commit 2026-10),疑为复制旧文件头注释时未改年份,与同批新文件不一致。 | mc2/moe_ep_combine/op_kernel/moe_ep_combine_shared_jetty.h:1-14 | 将版权年份修正为 2026,与同批新增文件保持一致。 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5359 ## 测试 二级冒烟,线下测试 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!13422 | 12 days ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
A6的win区使用与校验不做A5的规避,同时修复上笔PR遗留问题 Co-authored-by: waker<lizhengjun7@h-partners.com> # message auto-generated for no-merge-commit merge: !14551 merge dc-fix-on-master into master A6的win区使用与校验不做A5的规避,同时修复上笔PR遗留问题 Created-by: wanker Commit-by: waker Merged-by: cann-robot Description: ## 描述 上笔 PR(A6 适配)已合入主线,本 PR 基于最新 master(0f6fad562)重做,只包含该 PR 之后的修复改动(一行不多带)。 1. **A6(Arch92)不做 A5 的窗口规避** - Mc2Context::GetHcclCommResource:per-rank offset 只在 A5(DAV_3510)上叠加,其余架构不再叠加; - moe_distribute_check_win_size.h:EP × 1024B 偏移扣减同样只在 A5 上进行(A2/A3/A6 均不扣),与上面的 buffer 布局保持一致。 2. **修复上笔 PR 遗留问题** - arch35 tiling:输入索引改用 DispatchV2Config(x / scales / xActiveMask),补齐 CheckQuantModeAndScales 的 config 实参; - AllToAllBasicUsedBuffer / CheckUBSize:改用 config 索引,并在 x 与 expandX dtype 相同时按 UB_ALIGN 记账 UB; - A5 full mesh:ConsumeMoeSendToken 增加 SyncFunc<V_S>();AllToAllDispatch 的 tokenInBufferSize(InitBufPool / InitBuffer / Duplicate 长度)按透传场景补 UB_ALIGN; - 校验与提示文案:DT_FLOAT4_E1M2 校验、HiF4 量化相关提示等。 ## 关联的Issue 无 ## 测试 - 本地:pre-commit(clang-format / OAT)通过; - RDV通过 ## 文档更新 无 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!14551 | 23 days ago | |
fix(pre-commit): 全仓代码规范整改——mc2 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11457 merge ci into master fix(pre-commit): 全仓代码规范整改——mc2 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓代码规范整改总跟踪) ## 描述 全仓代码规范整改系列——mc2 目录。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:1380 个文件,+22820/-22840 行,纯格式化改动语义等价,无逻辑变更 > 注:本 PR 早期版本曾包含 mc2 算子 kernel cpp 入口注释行补充(仓镜像替换链路验证),该内容已不在当前分支,当前为纯格式化整改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!11457 | 1 month ago | |
Pre-Commit 规范整改 — mc2 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !1577 merge test into master Pre-Commit 规范整改 — mc2 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于MC2文件进行了pre-commit检查 See merge request: cann/ops-transformer!1577 | 4 months ago |
| Files | Last commit | Last update |
|---|---|---|
| 8 days ago | ||
| 26 days ago | ||
| 18 days ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 4 months ago | ||
| 29 days ago | ||
| 4 months ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 18 days ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 2 months ago | ||
| 23 days ago | ||
| 1 month ago | ||
| 4 months ago | ||
| 12 days ago | ||
| 2 months ago | ||
| 12 days ago | ||
| 12 days ago | ||
| 12 days ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 23 days ago | ||
| 1 month ago | ||
| 4 months ago |