| 修复 ops-transformer 接口文档扫描问题(错别字/术语及MD格式,214处) Co-authored-by: liujing987913<liujing407@h-partners.com> # message auto-generated for no-merge-commit merge: !15468 merge master into master 修复 ops-transformer 接口文档扫描问题(错别字/术语及MD格式,214处) Created-by: liujing987913 Commit-by: liujing987913 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> - 背景:大模型扫描发现 ops-transformer 接口文档问题 214 处 - 修改分类: - 文本替换 145 处:多字/中文多字 101、同音字 25、术语拼写 19、形近字 1、字母顺序 1、代码括号 3 - MD 结构修复 69 处:MD012 连续空行 / MD022 标题 / MD031 代码围栏 / MD032 列表 / MD058 表格 / MD028 引用 / MD010 tab→空格 - 涉及文件:docs 目录下 146 个接口文档 md(含 torchapi 接口文档) - 验证:git diff 确认为纯文本替换 + 纯结构操作,无内容/代码误改;已人工复核 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-transformer/issues/7211 <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 本次 PR 更新了 ops-transformer 接口文档 146 个 md 文件,修正错别字/多字/术语 145 处、MD 结构 69 处,详见 diff。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15468 | 12 days ago |
| compressor_grad算子支持A2/A3 Co-authored-by: jyzryz<358956124@qq.com> # message auto-generated for no-merge-commit merge: !13295 merge feat/compressor-grad-a3-ascendc into master compressor_grad算子支持A2/A3 Created-by: qq_35713030 Commit-by: jyzryz Merged-by: cann-robot Description: ## 1. 关联与背景 ### 1.1 算子是什么 **Compressor(前向)** 是序列降采样模块:把每 cmp_ratio(cr,2~128)个连续 token 压缩成 1 个 D 维 token(D ≪ H),经两条路径——**kv 路径**(乘权重 W_kv 的线性投影)与 **gate 路径**(块内 softmax 加权),前向保存 softmax_score/kv 两个 fp32 中间量供反向使用。 **compressor_grad(本算子)** 是其反向:由上游梯度 d_cmp_kv 与前向中间量计算四个梯度—— 输入:x[T,H]、wkv/wgate[C,H](C=coff·D)、d_cmp_kv、softmax_score/kv(fp32)、变长序列元数据 输出:d_x[T,H](输入梯度)、d_wkv/d_wgate[C,H](权重梯度)、d_ape[cr,C](位置编码梯度) 计算分两段:**向量段**(逐元素 Hadamard 反向 → softmax 反向(N=coff·cr 轴归约)→ d_ape 按位取模 scatter-add)+ **GEMM 段**(dX = dn@W_kv + dn_sc@W_gate;dW = dnᵀ@x,**K 维 = T 的长规约,最长 32768**——精度与性能的主战场)。中间量 dn 经 GM workspace 在向量核与矩阵核间交换。接口为 aclnnCompressorGrad 两段式,BSH 布局,fp16/bf16。 ### 1.2 背景与关联 - **关联**:无前置 issue;本 MR 为该算子 arch22 路径首次落地(原生体系接入)。 - **背景与目标**:compressor_grad 原仅注册 ascend950(arch35,PyPTO 实现),A3(Ascend910_93,arch22)无路径。A3 无 CV 直通/L0C 256KB/UB 248KB,A5 参考实现核心机制在 arch22 均不可用,属重新设计。门禁:官方口径全绿 + ATK 验收 + 标准化泛化 ≥200 用例。 - **本 PR 解决的问题**:官方 6 case(官方基准用例,非挑选)对 PyTorch 标杆 geomean **0.837x → 3.769x**(朴素基线全体平均 wall 1572.6µs → ~350µs);ATK 验收集 **48/48** + 泛化统一套件 **257/257**(BSH 220 + TH 36 + 补缺 1;同类精度标杆口径,标杆=仓内官方 cpu_golden)。 ## 2. 优化速览地图 以下为本 PR 优化点(归属经 A5 源码逐点审计 logs/attribution_audit/audit.md + 收益分解实验 logs/{spike_s3_report.md,a2_decomp}/ 双重界定),均为 **A5 参考实现无对应机制、A3 特有**且**隔离贡献显著**的项(scatter 整块写出经分解不显著已归 §3.2;bf16 HiLo 经口径终裁回退单平面,见 §3.2 精度契约)。 **功能退化修复(D1-D4,commit 50dd2955a)**——与 A5/golden 对齐的语义补全: - D1 seqused 值语义:kernel 设备端读值,逐 batch 跳过不完整块(17 case 实机验证含 A_asprofile) - D2 start_pos 值语义:块锚点偏移 + d_ape 散射行修正 - D3 S<cr 全零输出(原为拒绝,A5/golden 均为全零) - D4 TH 布局(cu_seqlens 变长序列):13 条官方 TH case 三方口径全过;TH 泛化 G10-TH 36/36(ATK 原生,变长 lens/零长 batch/totalValid=0/T=131073 等) - 合并后全量:UT 24/24 + 官方 6 bitwise 全同 + BSH 37/37 + TH 13/13 + extended 32/32 + 性能零退化;二次上游合并(200c)后统一套件 257/257 + 官方 48/48 复验绿 | # | 优化点 | 大类 | 位点 | 动作(一句话) | 实测收益(before→after,µs) | |---|---|---|---|---|---| | 1 | x/w blocked-NZ 布局 | 减搬运(突发化) | cast 写侧 + gemm B 侧 | 128 行×256B@14KB 跨步 → 32KB 连续突发 | gemm case5 7332→6034(−17.7%);带宽 525→**1375GB/s** | | 2 | PX dx 深流水 | 流水线排布 | gemm dx 分支 | 跨 pair 扁平 term 流 + distance-2 预取(基础等待合并归 §3.2 B3) | 阶梯差分 PI→PX(dx-only):case3 343.6→309.2(−10.0%)、case2 −15.7% | | 3 | dn blocked-NZ | 减搬运(突发化) | scatter 写侧 + gemm A 侧 | 跨步 Nd2Nz → tile 连续突发(fp16 双平面相邻/bf16 单平面) | gemm case5 **13346→7971(−40.3%)**(双平面对照);落地态 wall −20.5% | | 4 | 动态 gDx 悬崖感知 + BalancedRange | 负载均衡 | tiling + 核分配 | 双向域成本模型 argmin 避 ceil 量化悬崖;核间差 ≤1 单元 | 结构贡献:case5 gemm −21.5%(g8 超旧模型可达域);R12 dtype 分裂重标定后判型 16/16/15/14/13/13 | ## 3. 通用前置 **硬件与数据流**:单入口 MIX kernel(KERNEL_TYPE_MIX_AIC_1_2),24 AIC(cube)+ 48 AIV(向量)同 launch。通路:GM →(MTE2)→ L1 512KB →(MTE1)→ L0A/L0B →(Mmad)→ L0C →(Fixpipe)→ GM。跨相位 GM workspace 交换,全核屏障 SyncAll<false> 定序。 **相位表**: | 相位 | 核 | 干什么 | 产出落点 | |---|---|---|---| | P0 cast | AIV | x/wkv/wgate 量化+重排为 blocked-NZ 工作区 + 清零 | GM 工作区 | | P1 scatter | AIV | 向量段全部数学(fp32 寄存器),dn staging 整块写出 | dn 平面(blocked-NZ)→GM | | P2 gemm | AIC | dx/dw 分支(PX 流水 / 双 Mmad 复用) | GM 输出 | **成本标定**(实测):跨步访问(128 行×256B@14KB)聚合带宽仅 525GB/s;突发化后 1375GB/s。gDx 悬崖:dw 核数 ceil 取整一步差 33%。 **验收哲学**:优化点 #1~#4 只改搬运/布局/调度/分核,**不改任何算术指令的顺序与舍入** → 门禁为 GEMM 输出 bitwise 一致(逐轮 A/B 对拍);精度策略(fp16 HiLo)单列于 §3.2 契约。 ### 3.1 移植中定位并修复的 arch22 API 语义陷阱(六个,均已实机定因) 1. **DataCopyExtParams stride 写反**:(blockCount, blockLen, srcStride, dstStride) 中 src/dst 颠倒 → 小 shape 仅首行 16 元素落对、rows≥384 越界崩溃 507035。 2. **Fixpipe srcStride 单位错 16 倍**:FixpipeParamsV220.srcStride 单位是 C0_SIZE(16 元素)→ 输出第 16..127 列错位。 3. **MIX blockDim 语义**:KERNEL_TYPE_MIX_AIC_1_2 的 blockDim 是 **AIC 核数**(AIV 硬件 1:2 派生),按总核数传参致 d_w 静默缺半。 4. **Cube 分形装载语义**:L1 NZ(N,K) 与 L0B ZN(K,N) 同格式,LoadDataWithTranspose 多余且 ZZ 摆位是 m-major——identity 探针裁决。 5. **repeatTime 为 uint8_t**:N=coff·cr=256(cr128×coff2)截断为 0 整块静默跳过——按 ≤255 拆分修复。 6. **Nd2NzParams arch22 分支全字段 uint16_t**:T_pad>65535 静默截断——R5 删转置改造后连根消除。 ### 3.2 A3/A5 硬件差异、适配设计与精度契约(单独陈述,不计为优化点) | | A5(arch35,官方 PyPTO 实现) | A3(arch22,本 PR) | |---|---|---| | vec→cube 数据通路 | **CV 直通**:dn 直接 insert 进 AIC 的 L1,全程不落 GM | 无此通路:dn 必须 AIV→GM→AIC 往返 | | L0C / UB | 256KB / 248KB | 128KB / 192KB | 由差异驱动的适配设计: - **数据通路重建**:dn 走 GM workspace 交换,写/读两侧的布局与访存形态全部重新设计; - **执行结构**:沿用官方"单入口 + 三相位 + 全核屏障"形态,SyncAll<false> arch22 语义实机核实; - **调度构型选择(设计决策,如实披露)**:A5 为时序分工(全核逐相 + K 切分归约 + 原子加);本 PR 采用空间分工(核池划分,独立输出 tile 单元)——理由:① 三输出逐位确定;② 每轮优化可 bitwise 对拍;③ A3 无核间共享 L1。两构型理想均分下吞吐等价;分核方程由 §4.4 判型模型求解。该分叉未实测对比,属设计决策。 - **重建 A5 既有形态的四项机制**(朴素版缺失、终态补齐;A5 行号证据 logs/attribution_audit/audit.md):操作数自然装载/无转置(→SetFmatrix 等价落地);dn 整块拼写+双缓冲;L0A/L0B/L0C 双缓冲轮转(含等待合并,阶梯 R7→PI 段);n-pair/操作数复用。R3 轮 scatter −92.9% 的历史收益经阶梯分解(logs/a2_decomp/)主体属这批形态("2D 合并描述符"隔离 ≤3pt)。 **精度契约 v2(本 PR 的精度策略,dtype 条件化)**: | 路径 | kernel dn 策略 | 验收标杆 | |---|---|---| | fp16-io | **HiLo 双平面**(hi+lo 两 fp16,gemm 每 k-tile 双 Mmad 同 L0C fp32 累加,操作数等效 ~fp32) | 仓内官方 cpu_golden matmul_mode="high"(fp64) | | bf16-io | **fp16 单平面 RTN** | 仓内官方 cpu_golden matmul_mode="same" + fp16 输入平面(官方预留注入点;≡ 操作数 RTN fp16 + fp32 累加)→ RTN bf16 | 口径依据(logs/hilo_fairness/fairness_report.md):fp32 真值标杆严于官方同类实现精度等级——单平面失败元素 100% 归因 dn fp16 量化(2⁻¹¹)经 K=T 长规约在近抵消元素放大(有界 abs≤0.34、确定、分布敏感,非缺陷);同类标杆共模消解后差分噪声 ~0.004% 元素。fp16 阈值带对单平面仅 2× 余量故 fp16 必须补偿;bf16 带 16× 余量故单平面可用。标杆与 kernel 必须同类(双向错配假挂 15/26 与 2/26 实证)。**口径终裁:2026-10-15 用户裁定 B 形态**(曾落地的 bf16 HiLo 回退,R9→R12 全程取证在案)。 ### 3.3 标杆实现说明(官方化) ATK executor 的标杆分支**直接只读 import 仓内官方 attention/compressor_grad/tests/pytest/compressor_grad_cpu_golden.py**:fp16-io 原样调用(high@fp64);bf16-io 官方 same 模式 + fp16 输入平面(数值路径全官方,包装仅 ~15 行 dtype cast)。对拍与复验:logs/ref_official/(fp16 逐位一致;bf16 唯一非逐位源=官方输出双舍入,翻转率 6.25% 精确命中理论签名,≤1 bf16 ULP)。 ## 4. 优化点详述(四项;归属审计见 §2) > 行号基于合并前态(d2a9d4abe)attention/compressor_grad/ 下文件;"老"代码取自 record/A5toA3/backups/*.pre_rN。 ### 4.1 x/w blocked-NZ 布局与 32KB 突发 **名片**:减搬运(访存形态)|cast_scatter.h CastWeightNz + gemm.h B 侧装载。归属:A5 原生 dtype 直读——A3 特有。 **瓶颈证据**:B 操作数按行主序取,128 行×256B、行距 14KB——每次 DRAM 访问只激活一页里 256B;实测聚合带宽 525GB/s(双项线模型误差 ≤4%)。 **老→新**: cpp // 老(pre_r6):读侧 Nd2Nz 边搬边转,跨步源 params.srcDValue = ld; // 源行距 = H(14KB) DataCopy(dst, src, params); // 128 条 256B 跨步事务 // 新:cast 写侧 UB 内摆 NZ 槽位,整 tile 连续落盘;gemm B 侧单条 32KB 突发 for (uint32_t g = 0; g < CG_X_TILE / 16; g++) { Cast(nzLocal[g * CG_X_TILE * 16], f32Local[g * 16], RoundMode::CAST_NONE, 16, CG_X_TILE, gather); } DataCopy(dst[tIn * CG_X_TILE * CG_GEMM_BN], nzLocal, CG_X_TILE * CG_X_TILE); **数值不变性**:只改 GM 摆法,6 case bitwise。 **收益**:带宽 525→**1375GB/s**;gemm case5 7332.0→6034.1µs(−17.7%)。 ### 4.2 PX dx 深流水 **名片**:流水线排布|gemm.h ProcessDx/DxEnqueueTerm/DxTerm。归属(阶梯差分 spike_s3_report.md):R7→PI 段(稳态双缓冲+等待合并)属基础补齐(§3.2);**本项 = PI→PX 段**。 **瓶颈证据**:老版按 pair 嵌套,每 k 步"发一批→逐个等→算",pair 边界整条流水排空。 **老→新**: cpp // 老(pre_r8 DxPair):逐 pair、逐 k 的发-等-算 // 新:拍扁成单条 term 流,enqueue 领先 consume 恰好 2 个 term while (cU < end) { DxTerm(cA, cB, cHasB, cT == 0); // 消费第 i 个(含唯一等待点) if (eU < end) { DxEnqueueTerm(...); } // 同时发第 i+2 个(可跨 pair 边界) } **时序变化**: 老:MTE2/MTE1 [发k][等][发k+1][等] ... [pair 边界 FixOut 排空] 新:MTE2 [发i][发i+1][发i+2]... ← 始终领先 2 步;cube FixOut 期间装载照发 **数值不变性**:仅装载发射时机变化,Mmad 序不动,bitwise。 **收益**(隔离 = PI→PX,dx-only):case3 **343.6→309.2µs(−10.0%)**、case2 **−15.7%**、case5 −10.2%——pair 最密 case2 收益最大,与"消除边界排水"机理一致。 ### 4.3 dn blocked-NZ(平面数 dtype 条件化) **名片**:减搬运(访存形态)|gemm.h A 侧 + cast_scatter.h FlushSlotPlane。归属:A5 dn 从不落 GM——A3 特有。 **瓶颈证据**(R10b profile):dn 侧 MTE2 流量 ×1.51 但时间 ×1.925(每 byte 效率 −22%)——跨步装载 + 平面相距 32MiB 交错破坏预取;核均空闲 725→3355µs(×4.6,等料)——本项修的病灶。 **布局变化**(平面制 → tile 连续): 老(平面制):hi 大平面 + lo 大平面相距 32MiB,消费流反复横跳 新(fp16):同位置 hi+lo tile 背靠背 64KB 连续;(bf16):单平面 tile 连续 32KB **老→新**: cpp // 老:跨步 Nd2Nz 装载 // 新:dn 落盘即 blocked-NZ,一次 DataCopy 取整 tile uint64_t aUnit = (k * dnTilesT_ + m0 / CG_GEMM_BM) * (planes * CG_GEMM_BM * CG_GEMM_BK); DataCopy(a, dn[aUnit], CG_GEMM_BM * CG_GEMM_BK); // 32KB 突发(lo 紧跟 hi,fp16 路径) **数值不变性**:纯布局,12 case bitwise(ndiff=0)。 **收益**:双平面对照 gemm case5 13346→7971µs(−40.3%);R12 单平面化后布局保留。耦合:布局变化使 gDx 谷底移动,§4.4 常数随之重标定。 ### 4.4 动态 gDx 分核与均衡切分 **名片**:负载均衡|tiling.cpp 判型 + gemm.h 核分流 + BalancedRange。归属:A5 时序分工构型(构型对比见 §3.2)——本构型下 A3 特有。 **分配机制**:24 个 AIC 同一份代码,host 侧 tiling 算出 gDx 写入 tiling data,kernel 按核号分流(cid < gDx_ → ProcessDx / ProcessDw);分支内 BalancedRange 均分(核间差 ≤1:start = idx·(N/K) + min(idx, N%K))。 **为什么要"算"**:dx 单元多而便宜(case5 7168 个)、dw 少而昂贵(448 个),单价差 5~10 倍随 shape 漂移——固定对半分一边先完工全体空等。 **取整悬崖**:完工时间 = ceil(单元数/核数) × 单价。实测(case1,dw 32 单元):g13→146.0µs(谷底),g14→191.5µs(悬崖 +31%)——比例公式 13.7 四舍五入恰好落崖。 **解法**(R12 dtype 分裂版): cpp // fp16: uDx = 2.68*nCn + 0.76;uDw = (x驻留L2 ? 1.48 : 1.47)*kT // bf16: uDx = 1.63*nCn + 0.78;uDw = (0.62 : 0.78)*kT ← 单平面化后成本结构又变,dtype 分裂 for (int64_t g = 6; g <= 16; g++) { double tG = std::max(std::ceil(nDxU / g) * uDx, std::ceil(nDwU / (cores - g)) * uDw); // ceil 在模型内=悬崖感知 ... // argmin,并列取最近比例值 } **数值不变性**:分核不改每 tile 数学(bitwise 实测);UT 12/12。终态判型 16/16/15/14/13/13(plog 直证)。 **收益(按归属拆分)**:结构贡献 = case5 gemm **13169→10340µs(−21.5%,g8 超旧域)**;R12 dtype 分裂重标定回收谷底漂移 11-17%;核间失衡 80%→5%。 ## 5. 变更范围与不含范围 - **涉及文件**:attention/compressor_grad/ 下 arch22 kernel + tiling + register/def/UT/文档;ascendc_impl_build.py 1 行修复;已合并上游 master 两次(147 + 200 commits,均零冲突、合并后全量复验绿);精度契约 v2 commit dd0c0da23 + **功能退化修复 commit 50dd2955a**(D1-D4:seqused/start_pos 值语义 + TH 布局 + S<cr 全零,8 文件 +821/−82)。 - **修改层**:op_kernel/Tiling(arch22 新增)/op_host(AddConfig + 1 行构建脚本);**公开 aclnn 接口与 ABI 零变更**;ascend950 零改动(混合构建回归通过)。 - **次要工程项**:workspace 单分配、host 全量校验 + cr≤255 护栏 + N≤255 拆分、ZeroDn uint64、colsum 向量化、gemmCores==1 防御。 - **明确不包含**(证伪/撤出,判别实验留档):dx 宽载(S1 证伪)、dw 三方向(S2 证伪)、SyncAll→CrossCore(patch 留档)、R8 免清零(未实施)、**bf16 HiLo(R9 落地后经口径终裁回退,两态性能对照在案)**。(~~TH 布局~~ → 初版曾列此,后经验收方反馈作为 D4 落地,见上。) ## 6. 测试情况 - **精度**:官方 evaluate 6/6 + **bitwise 6/6**(D1-D4 合并后 vs 基线逐位一致);**BSH REDLINE 37/37 PASS**(含 25 条 seqused/start_pos 值语义 case + S<cr 全零 + 纯 BSH);**TH REDLI See merge request: cann/ops-transformer!13295 | 23 days ago |
| fix(MLAPrologV2/QuantCompressor/CompressorGrad):补齐输入校验并修正文档描述 Co-authored-by: wangss21<wangxiaoshuang21@huawei.com> # message auto-generated for no-merge-commit merge: !15124 merge master into master fix(MLAPrologV2/QuantCompressor/CompressorGrad):补齐输入校验并修正文档描述 Created-by: wangss21 Commit-by: wangss21 Merged-by: cann-robot Description: ## 描述 1. **CompressorGrad 反向段数维一致性校验**:CheckShapeConsistency 新增 compressSeqSize 期望值(TH 布局为 min(T, T//cmp_ratio + B),BSH 布局为 ceil(S/cmp_ratio)),并对 dCmpKv/softmaxScore/kv 三个张量的段数维做一致性校验,避免段数维不匹配的非法输入被放行。 2. **MlaProlog / MlaPrologV2 kvCache 越界写防护**:CheckDtileSize 新增 else 分支,强制 kvCache 尾轴 Dtile == Hckv(910b不支持 pertile 量化,直接取 kvCache 尾轴),防止尾轴不符导致的越界写。 3. **MlaPrologV2WeightNz 空指针与错误码规范化**:新增 CheckRequiredTensorsNotNull 统一校验 14 个必选入参;将内部占位张量创建失败改为返回标准 ACLNN 错误码 ACLNN_ERR_INNER_NULLPTR(561103),必选入参空指针返回 161001,替换原先的 ge::GRAPH_FAILED(-1)。 4. 同步更新 CompressorGrad / MlaPrologV2 / QuantCompressor 中英文文档的错误码与约束描述。 ## 关联的Issue [#6660](https://gitcode.com/cann/ops-transformer/issues/6660) [#6689](https://gitcode.com/cann/ops-transformer/issues/6689) [#6824](https://gitcode.com/cann/ops-transformer/issues/6824) [#6833](https://gitcode.com/cann/ops-transformer/issues/6833) [#6845](https://gitcode.com/cann/ops-transformer/issues/6845) [#6858](https://gitcode.com/cann/ops-transformer/issues/6858) [#6862](https://gitcode.com/cann/ops-transformer/issues/6862) [#6864](https://gitcode.com/cann/ops-transformer/issues/6864) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15124 | 16 days ago |
| feat: add A6 support and isolate A5/A6 generations Co-authored-by: gravel1997<shili19@huawei.com> # message auto-generated for no-merge-commit merge: !15335 merge support_a6_v3 into master feat: add A6 support and isolate A5/A6 generations Created-by: gravel1997 Commit-by: gravel1997 Merged-by: cann-robot Description: feat: add A6 support and isolate A5/A6 generations See merge request: cann/ops-transformer!15335 | 14 days ago |
| feat: add A6 support and isolate A5/A6 generations Co-authored-by: gravel1997<shili19@huawei.com> # message auto-generated for no-merge-commit merge: !15335 merge support_a6_v3 into master feat: add A6 support and isolate A5/A6 generations Created-by: gravel1997 Commit-by: gravel1997 Merged-by: cann-robot Description: feat: add A6 support and isolate A5/A6 generations See merge request: cann/ops-transformer!15335 | 14 days ago |
| 新增CompressorGrad算子 Co-authored-by: 莫允扬<moyunyang@huawei.com> Co-authored-by: huangyuqian<huangyuqian2@huawei.com> Co-authored-by: wuhaogl<wuhao305@h-partners.com> # message auto-generated for no-merge-commit merge: !9763 merge master into master 新增CompressorGrad算子 Created-by: myy268 Commit-by: myy;myy268;huangyuqian;wuhaogl;莫允扬 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 为 **Compressor**(KV cache 压缩算子,SMLA/QLI 前处理)新增反向算子 **CompressorGrad**,打通训练/微调场景下压缩分支的梯度计算链路。 **1. 新增反向算子 attention/compressor_grad/** - **op_host**:算子定义(compressor_grad_def.cpp,9 输入 4 输出:d_x/d_wkv/d_wgate/d_ape)、infershape、tiling(30 字段 TilingData + workspace 分区计算 + 全量入参校验) - **op_kernel**:PyPTO 实现的 compressor_grad.py,三阶段流水线(Vec scatter 反向 + Cube 双 matmul + Vec 跨核归约),支持 coff=1/2、BSH/TH 双布局、FP16/BF16,D∈{128,512}、cmp_ratio∈[2,128] **2. 正向算子 compressor 增强** - 新增 softmax_score/kv 两个 FP32 中间输出与 grad_enabled 属性(grad_enabled=true 时导出中间量,作为 CompressorGrad 输入) **3. torch_extension 集成** - compressor.py 注册 autograd:backward 通过 aclnnCompressorGrad 计算 d_x/d_wkv/d_wgate/d_ape,前向 grad_enabled 自动按 x.requires_grad 置位 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9763 | 3 months ago |
| compressor_grad算子支持A2/A3 Co-authored-by: jyzryz<358956124@qq.com> # message auto-generated for no-merge-commit merge: !13295 merge feat/compressor-grad-a3-ascendc into master compressor_grad算子支持A2/A3 Created-by: qq_35713030 Commit-by: jyzryz Merged-by: cann-robot Description: ## 1. 关联与背景 ### 1.1 算子是什么 **Compressor(前向)** 是序列降采样模块:把每 cmp_ratio(cr,2~128)个连续 token 压缩成 1 个 D 维 token(D ≪ H),经两条路径——**kv 路径**(乘权重 W_kv 的线性投影)与 **gate 路径**(块内 softmax 加权),前向保存 softmax_score/kv 两个 fp32 中间量供反向使用。 **compressor_grad(本算子)** 是其反向:由上游梯度 d_cmp_kv 与前向中间量计算四个梯度—— 输入:x[T,H]、wkv/wgate[C,H](C=coff·D)、d_cmp_kv、softmax_score/kv(fp32)、变长序列元数据 输出:d_x[T,H](输入梯度)、d_wkv/d_wgate[C,H](权重梯度)、d_ape[cr,C](位置编码梯度) 计算分两段:**向量段**(逐元素 Hadamard 反向 → softmax 反向(N=coff·cr 轴归约)→ d_ape 按位取模 scatter-add)+ **GEMM 段**(dX = dn@W_kv + dn_sc@W_gate;dW = dnᵀ@x,**K 维 = T 的长规约,最长 32768**——精度与性能的主战场)。中间量 dn 经 GM workspace 在向量核与矩阵核间交换。接口为 aclnnCompressorGrad 两段式,BSH 布局,fp16/bf16。 ### 1.2 背景与关联 - **关联**:无前置 issue;本 MR 为该算子 arch22 路径首次落地(原生体系接入)。 - **背景与目标**:compressor_grad 原仅注册 ascend950(arch35,PyPTO 实现),A3(Ascend910_93,arch22)无路径。A3 无 CV 直通/L0C 256KB/UB 248KB,A5 参考实现核心机制在 arch22 均不可用,属重新设计。门禁:官方口径全绿 + ATK 验收 + 标准化泛化 ≥200 用例。 - **本 PR 解决的问题**:官方 6 case(官方基准用例,非挑选)对 PyTorch 标杆 geomean **0.837x → 3.769x**(朴素基线全体平均 wall 1572.6µs → ~350µs);ATK 验收集 **48/48** + 泛化统一套件 **257/257**(BSH 220 + TH 36 + 补缺 1;同类精度标杆口径,标杆=仓内官方 cpu_golden)。 ## 2. 优化速览地图 以下为本 PR 优化点(归属经 A5 源码逐点审计 logs/attribution_audit/audit.md + 收益分解实验 logs/{spike_s3_report.md,a2_decomp}/ 双重界定),均为 **A5 参考实现无对应机制、A3 特有**且**隔离贡献显著**的项(scatter 整块写出经分解不显著已归 §3.2;bf16 HiLo 经口径终裁回退单平面,见 §3.2 精度契约)。 **功能退化修复(D1-D4,commit 50dd2955a)**——与 A5/golden 对齐的语义补全: - D1 seqused 值语义:kernel 设备端读值,逐 batch 跳过不完整块(17 case 实机验证含 A_asprofile) - D2 start_pos 值语义:块锚点偏移 + d_ape 散射行修正 - D3 S<cr 全零输出(原为拒绝,A5/golden 均为全零) - D4 TH 布局(cu_seqlens 变长序列):13 条官方 TH case 三方口径全过;TH 泛化 G10-TH 36/36(ATK 原生,变长 lens/零长 batch/totalValid=0/T=131073 等) - 合并后全量:UT 24/24 + 官方 6 bitwise 全同 + BSH 37/37 + TH 13/13 + extended 32/32 + 性能零退化;二次上游合并(200c)后统一套件 257/257 + 官方 48/48 复验绿 | # | 优化点 | 大类 | 位点 | 动作(一句话) | 实测收益(before→after,µs) | |---|---|---|---|---|---| | 1 | x/w blocked-NZ 布局 | 减搬运(突发化) | cast 写侧 + gemm B 侧 | 128 行×256B@14KB 跨步 → 32KB 连续突发 | gemm case5 7332→6034(−17.7%);带宽 525→**1375GB/s** | | 2 | PX dx 深流水 | 流水线排布 | gemm dx 分支 | 跨 pair 扁平 term 流 + distance-2 预取(基础等待合并归 §3.2 B3) | 阶梯差分 PI→PX(dx-only):case3 343.6→309.2(−10.0%)、case2 −15.7% | | 3 | dn blocked-NZ | 减搬运(突发化) | scatter 写侧 + gemm A 侧 | 跨步 Nd2Nz → tile 连续突发(fp16 双平面相邻/bf16 单平面) | gemm case5 **13346→7971(−40.3%)**(双平面对照);落地态 wall −20.5% | | 4 | 动态 gDx 悬崖感知 + BalancedRange | 负载均衡 | tiling + 核分配 | 双向域成本模型 argmin 避 ceil 量化悬崖;核间差 ≤1 单元 | 结构贡献:case5 gemm −21.5%(g8 超旧模型可达域);R12 dtype 分裂重标定后判型 16/16/15/14/13/13 | ## 3. 通用前置 **硬件与数据流**:单入口 MIX kernel(KERNEL_TYPE_MIX_AIC_1_2),24 AIC(cube)+ 48 AIV(向量)同 launch。通路:GM →(MTE2)→ L1 512KB →(MTE1)→ L0A/L0B →(Mmad)→ L0C →(Fixpipe)→ GM。跨相位 GM workspace 交换,全核屏障 SyncAll<false> 定序。 **相位表**: | 相位 | 核 | 干什么 | 产出落点 | |---|---|---|---| | P0 cast | AIV | x/wkv/wgate 量化+重排为 blocked-NZ 工作区 + 清零 | GM 工作区 | | P1 scatter | AIV | 向量段全部数学(fp32 寄存器),dn staging 整块写出 | dn 平面(blocked-NZ)→GM | | P2 gemm | AIC | dx/dw 分支(PX 流水 / 双 Mmad 复用) | GM 输出 | **成本标定**(实测):跨步访问(128 行×256B@14KB)聚合带宽仅 525GB/s;突发化后 1375GB/s。gDx 悬崖:dw 核数 ceil 取整一步差 33%。 **验收哲学**:优化点 #1~#4 只改搬运/布局/调度/分核,**不改任何算术指令的顺序与舍入** → 门禁为 GEMM 输出 bitwise 一致(逐轮 A/B 对拍);精度策略(fp16 HiLo)单列于 §3.2 契约。 ### 3.1 移植中定位并修复的 arch22 API 语义陷阱(六个,均已实机定因) 1. **DataCopyExtParams stride 写反**:(blockCount, blockLen, srcStride, dstStride) 中 src/dst 颠倒 → 小 shape 仅首行 16 元素落对、rows≥384 越界崩溃 507035。 2. **Fixpipe srcStride 单位错 16 倍**:FixpipeParamsV220.srcStride 单位是 C0_SIZE(16 元素)→ 输出第 16..127 列错位。 3. **MIX blockDim 语义**:KERNEL_TYPE_MIX_AIC_1_2 的 blockDim 是 **AIC 核数**(AIV 硬件 1:2 派生),按总核数传参致 d_w 静默缺半。 4. **Cube 分形装载语义**:L1 NZ(N,K) 与 L0B ZN(K,N) 同格式,LoadDataWithTranspose 多余且 ZZ 摆位是 m-major——identity 探针裁决。 5. **repeatTime 为 uint8_t**:N=coff·cr=256(cr128×coff2)截断为 0 整块静默跳过——按 ≤255 拆分修复。 6. **Nd2NzParams arch22 分支全字段 uint16_t**:T_pad>65535 静默截断——R5 删转置改造后连根消除。 ### 3.2 A3/A5 硬件差异、适配设计与精度契约(单独陈述,不计为优化点) | | A5(arch35,官方 PyPTO 实现) | A3(arch22,本 PR) | |---|---|---| | vec→cube 数据通路 | **CV 直通**:dn 直接 insert 进 AIC 的 L1,全程不落 GM | 无此通路:dn 必须 AIV→GM→AIC 往返 | | L0C / UB | 256KB / 248KB | 128KB / 192KB | 由差异驱动的适配设计: - **数据通路重建**:dn 走 GM workspace 交换,写/读两侧的布局与访存形态全部重新设计; - **执行结构**:沿用官方"单入口 + 三相位 + 全核屏障"形态,SyncAll<false> arch22 语义实机核实; - **调度构型选择(设计决策,如实披露)**:A5 为时序分工(全核逐相 + K 切分归约 + 原子加);本 PR 采用空间分工(核池划分,独立输出 tile 单元)——理由:① 三输出逐位确定;② 每轮优化可 bitwise 对拍;③ A3 无核间共享 L1。两构型理想均分下吞吐等价;分核方程由 §4.4 判型模型求解。该分叉未实测对比,属设计决策。 - **重建 A5 既有形态的四项机制**(朴素版缺失、终态补齐;A5 行号证据 logs/attribution_audit/audit.md):操作数自然装载/无转置(→SetFmatrix 等价落地);dn 整块拼写+双缓冲;L0A/L0B/L0C 双缓冲轮转(含等待合并,阶梯 R7→PI 段);n-pair/操作数复用。R3 轮 scatter −92.9% 的历史收益经阶梯分解(logs/a2_decomp/)主体属这批形态("2D 合并描述符"隔离 ≤3pt)。 **精度契约 v2(本 PR 的精度策略,dtype 条件化)**: | 路径 | kernel dn 策略 | 验收标杆 | |---|---|---| | fp16-io | **HiLo 双平面**(hi+lo 两 fp16,gemm 每 k-tile 双 Mmad 同 L0C fp32 累加,操作数等效 ~fp32) | 仓内官方 cpu_golden matmul_mode="high"(fp64) | | bf16-io | **fp16 单平面 RTN** | 仓内官方 cpu_golden matmul_mode="same" + fp16 输入平面(官方预留注入点;≡ 操作数 RTN fp16 + fp32 累加)→ RTN bf16 | 口径依据(logs/hilo_fairness/fairness_report.md):fp32 真值标杆严于官方同类实现精度等级——单平面失败元素 100% 归因 dn fp16 量化(2⁻¹¹)经 K=T 长规约在近抵消元素放大(有界 abs≤0.34、确定、分布敏感,非缺陷);同类标杆共模消解后差分噪声 ~0.004% 元素。fp16 阈值带对单平面仅 2× 余量故 fp16 必须补偿;bf16 带 16× 余量故单平面可用。标杆与 kernel 必须同类(双向错配假挂 15/26 与 2/26 实证)。**口径终裁:2026-10-15 用户裁定 B 形态**(曾落地的 bf16 HiLo 回退,R9→R12 全程取证在案)。 ### 3.3 标杆实现说明(官方化) ATK executor 的标杆分支**直接只读 import 仓内官方 attention/compressor_grad/tests/pytest/compressor_grad_cpu_golden.py**:fp16-io 原样调用(high@fp64);bf16-io 官方 same 模式 + fp16 输入平面(数值路径全官方,包装仅 ~15 行 dtype cast)。对拍与复验:logs/ref_official/(fp16 逐位一致;bf16 唯一非逐位源=官方输出双舍入,翻转率 6.25% 精确命中理论签名,≤1 bf16 ULP)。 ## 4. 优化点详述(四项;归属审计见 §2) > 行号基于合并前态(d2a9d4abe)attention/compressor_grad/ 下文件;"老"代码取自 record/A5toA3/backups/*.pre_rN。 ### 4.1 x/w blocked-NZ 布局与 32KB 突发 **名片**:减搬运(访存形态)|cast_scatter.h CastWeightNz + gemm.h B 侧装载。归属:A5 原生 dtype 直读——A3 特有。 **瓶颈证据**:B 操作数按行主序取,128 行×256B、行距 14KB——每次 DRAM 访问只激活一页里 256B;实测聚合带宽 525GB/s(双项线模型误差 ≤4%)。 **老→新**: cpp // 老(pre_r6):读侧 Nd2Nz 边搬边转,跨步源 params.srcDValue = ld; // 源行距 = H(14KB) DataCopy(dst, src, params); // 128 条 256B 跨步事务 // 新:cast 写侧 UB 内摆 NZ 槽位,整 tile 连续落盘;gemm B 侧单条 32KB 突发 for (uint32_t g = 0; g < CG_X_TILE / 16; g++) { Cast(nzLocal[g * CG_X_TILE * 16], f32Local[g * 16], RoundMode::CAST_NONE, 16, CG_X_TILE, gather); } DataCopy(dst[tIn * CG_X_TILE * CG_GEMM_BN], nzLocal, CG_X_TILE * CG_X_TILE); **数值不变性**:只改 GM 摆法,6 case bitwise。 **收益**:带宽 525→**1375GB/s**;gemm case5 7332.0→6034.1µs(−17.7%)。 ### 4.2 PX dx 深流水 **名片**:流水线排布|gemm.h ProcessDx/DxEnqueueTerm/DxTerm。归属(阶梯差分 spike_s3_report.md):R7→PI 段(稳态双缓冲+等待合并)属基础补齐(§3.2);**本项 = PI→PX 段**。 **瓶颈证据**:老版按 pair 嵌套,每 k 步"发一批→逐个等→算",pair 边界整条流水排空。 **老→新**: cpp // 老(pre_r8 DxPair):逐 pair、逐 k 的发-等-算 // 新:拍扁成单条 term 流,enqueue 领先 consume 恰好 2 个 term while (cU < end) { DxTerm(cA, cB, cHasB, cT == 0); // 消费第 i 个(含唯一等待点) if (eU < end) { DxEnqueueTerm(...); } // 同时发第 i+2 个(可跨 pair 边界) } **时序变化**: 老:MTE2/MTE1 [发k][等][发k+1][等] ... [pair 边界 FixOut 排空] 新:MTE2 [发i][发i+1][发i+2]... ← 始终领先 2 步;cube FixOut 期间装载照发 **数值不变性**:仅装载发射时机变化,Mmad 序不动,bitwise。 **收益**(隔离 = PI→PX,dx-only):case3 **343.6→309.2µs(−10.0%)**、case2 **−15.7%**、case5 −10.2%——pair 最密 case2 收益最大,与"消除边界排水"机理一致。 ### 4.3 dn blocked-NZ(平面数 dtype 条件化) **名片**:减搬运(访存形态)|gemm.h A 侧 + cast_scatter.h FlushSlotPlane。归属:A5 dn 从不落 GM——A3 特有。 **瓶颈证据**(R10b profile):dn 侧 MTE2 流量 ×1.51 但时间 ×1.925(每 byte 效率 −22%)——跨步装载 + 平面相距 32MiB 交错破坏预取;核均空闲 725→3355µs(×4.6,等料)——本项修的病灶。 **布局变化**(平面制 → tile 连续): 老(平面制):hi 大平面 + lo 大平面相距 32MiB,消费流反复横跳 新(fp16):同位置 hi+lo tile 背靠背 64KB 连续;(bf16):单平面 tile 连续 32KB **老→新**: cpp // 老:跨步 Nd2Nz 装载 // 新:dn 落盘即 blocked-NZ,一次 DataCopy 取整 tile uint64_t aUnit = (k * dnTilesT_ + m0 / CG_GEMM_BM) * (planes * CG_GEMM_BM * CG_GEMM_BK); DataCopy(a, dn[aUnit], CG_GEMM_BM * CG_GEMM_BK); // 32KB 突发(lo 紧跟 hi,fp16 路径) **数值不变性**:纯布局,12 case bitwise(ndiff=0)。 **收益**:双平面对照 gemm case5 13346→7971µs(−40.3%);R12 单平面化后布局保留。耦合:布局变化使 gDx 谷底移动,§4.4 常数随之重标定。 ### 4.4 动态 gDx 分核与均衡切分 **名片**:负载均衡|tiling.cpp 判型 + gemm.h 核分流 + BalancedRange。归属:A5 时序分工构型(构型对比见 §3.2)——本构型下 A3 特有。 **分配机制**:24 个 AIC 同一份代码,host 侧 tiling 算出 gDx 写入 tiling data,kernel 按核号分流(cid < gDx_ → ProcessDx / ProcessDw);分支内 BalancedRange 均分(核间差 ≤1:start = idx·(N/K) + min(idx, N%K))。 **为什么要"算"**:dx 单元多而便宜(case5 7168 个)、dw 少而昂贵(448 个),单价差 5~10 倍随 shape 漂移——固定对半分一边先完工全体空等。 **取整悬崖**:完工时间 = ceil(单元数/核数) × 单价。实测(case1,dw 32 单元):g13→146.0µs(谷底),g14→191.5µs(悬崖 +31%)——比例公式 13.7 四舍五入恰好落崖。 **解法**(R12 dtype 分裂版): cpp // fp16: uDx = 2.68*nCn + 0.76;uDw = (x驻留L2 ? 1.48 : 1.47)*kT // bf16: uDx = 1.63*nCn + 0.78;uDw = (0.62 : 0.78)*kT ← 单平面化后成本结构又变,dtype 分裂 for (int64_t g = 6; g <= 16; g++) { double tG = std::max(std::ceil(nDxU / g) * uDx, std::ceil(nDwU / (cores - g)) * uDw); // ceil 在模型内=悬崖感知 ... // argmin,并列取最近比例值 } **数值不变性**:分核不改每 tile 数学(bitwise 实测);UT 12/12。终态判型 16/16/15/14/13/13(plog 直证)。 **收益(按归属拆分)**:结构贡献 = case5 gemm **13169→10340µs(−21.5%,g8 超旧域)**;R12 dtype 分裂重标定回收谷底漂移 11-17%;核间失衡 80%→5%。 ## 5. 变更范围与不含范围 - **涉及文件**:attention/compressor_grad/ 下 arch22 kernel + tiling + register/def/UT/文档;ascendc_impl_build.py 1 行修复;已合并上游 master 两次(147 + 200 commits,均零冲突、合并后全量复验绿);精度契约 v2 commit dd0c0da23 + **功能退化修复 commit 50dd2955a**(D1-D4:seqused/start_pos 值语义 + TH 布局 + S<cr 全零,8 文件 +821/−82)。 - **修改层**:op_kernel/Tiling(arch22 新增)/op_host(AddConfig + 1 行构建脚本);**公开 aclnn 接口与 ABI 零变更**;ascend950 零改动(混合构建回归通过)。 - **次要工程项**:workspace 单分配、host 全量校验 + cr≤255 护栏 + N≤255 拆分、ZeroDn uint64、colsum 向量化、gemmCores==1 防御。 - **明确不包含**(证伪/撤出,判别实验留档):dx 宽载(S1 证伪)、dw 三方向(S2 证伪)、SyncAll→CrossCore(patch 留档)、R8 免清零(未实施)、**bf16 HiLo(R9 落地后经口径终裁回退,两态性能对照在案)**。(~~TH 布局~~ → 初版曾列此,后经验收方反馈作为 D4 落地,见上。) ## 6. 测试情况 - **精度**:官方 evaluate 6/6 + **bitwise 6/6**(D1-D4 合并后 vs 基线逐位一致);**BSH REDLINE 37/37 PASS**(含 25 条 seqused/start_pos 值语义 case + S<cr 全零 + 纯 BSH);**TH REDLI See merge request: cann/ops-transformer!13295 | 23 days ago |
| docs: add English translations for markdown files Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !15372 merge docs/add-english-translations into master docs: add English translations for markdown files Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## 描述 新增仓库Markdown文档英文译稿(第二批,共275个文件),为第一批(已合入)之外的其余全部译稿: - 新增263个英文译稿文件(含上游新增算子 attention/flash_kda_grad 的README与测试说明2篇,及14篇基于最新源文档的增量更新) - 重命名12个中文设计文档为英文名(Xxx算子设计介绍.md → Xxx_design.md,与第一批FFN_design.md策略一致) - 更新7个README中的设计文档引用链接 - 更新.pre-commit-config.yaml中codespell忽略词表 本批内全部仓内链接均指向master已有文件(含第一批已合入的42篇译稿),合入后本仓英文文档全部就位、链接完整生效。 ## 关联的Issue 无 ## 测试 文档类变更,无需算子测试;已通过链接有效性校验、残留中文/全角标点扫描、EOF换行规范检查,并完成逐篇翻译规范自查与独立语义审查(含支持状态表、限定词、术语、数值符号核对)。 ## 文档更新 新增263个英文译稿文件、重命名12个中文设计文档、更新8个现有文件,不修改算子源码。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-transformer!15372 | 14 days ago |