| Files | Last commit | Last update |
|---|---|---|
修复 ops-nn 接口文档扫描问题(错别字/标点/多字,117处) Co-authored-by: liujing987913<liujing407@h-partners.com> # message auto-generated for no-merge-commit merge: !13766 merge master into master 修复 ops-nn 接口文档扫描问题(错别字/标点/多字,117处) Created-by: liujing987913 Commit-by: liujing987913 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> - 背景:大模型扫描发现 ops-nn 接口文档问题 117 处 - 修改分类:多字/中文多字 70、同音字 17、形近字 3、引号未成对 4、代码括号 2、术语拼写 2、字母顺序 2(文本替换 100 处);MD 结构 17 处(tab→空格 6、列表空行 9、连续空行 2) - 涉及文件:docs 目录下 85 个接口文档 md - 验证:git diff 确认为纯文本替换(100 处)+ 纯结构操作(17 处),无代码内容误改;已人工复核 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue [#8245](https://gitcode.com/cann/ops-nn/issues/8245) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 本次 PR 更新了 ops-nn 接口文档 85 个 md 文件,修正错别字/标点/多字 100 处、MD 结构 17 处,详见 diff。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!13766 | 15 days ago | |
修正UT依赖安装与AddExample调测、安装指引 Co-authored-by: yangyang016<yangyang306@hisilicon.com> # message auto-generated for no-merge-commit merge: !11986 merge master into master 修正UT依赖安装与AddExample调测、安装指引 Created-by: yangyang016 Commit-by: yangyang016 Merged-by: cann-robot Description: ## 描述 修复安装、UT依赖和AddExample调测指引中的不一致,确保文档与当前代码及依赖配置对应。 - tests/requirements.txt 新增 -r ../requirements.txt,使UT依赖安装统一包含项目根目录的依赖及版本约束。 - 安装文档区分仅编译与执行UT两种场景,明确UT依赖已包含根目录依赖,无需重复安装。 - 更新AddExample的printf示例,移除与当前实现不一致的旧Tiling代码,明确在 Init 中的插入位置,使用 AscendC::printf 和与 int64_t blockLength_ 对应的 %lld。 - 补充自定义算子包安装时报 shared library validation failed 的处理说明:确认CANN版本与构建环境兼容后,可按需使用 --force 跳过共享库依赖检查;同时说明运行时加载失败风险,不建议默认使用。 ## 关联的Issue 关联Issue #6699:https://gitcode.com/cann/ops-nn/issues/6699 ## 测试 - 已执行 git diff --check HEAD^ HEAD,通过。 - 已静态核对UT依赖引用路径,以及printf示例中的变量类型与插入位置。 - 未执行实际依赖安装、CANN环境下的编译、UT及算子包安装验证,相关验证待补充。 ## 文档更新 - docs/QUICKSTART.md:更新printf调测示例,补充安装共享库校验失败时的处理说明。 - docs/zh/install/quick_install.md:区分编译依赖与UT依赖的安装场景。 - docs/zh/install/compile.md:明确UT依赖包含根目录依赖约束。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!11986 | 1 month ago | |
docs: update SIMT code examples to current API in migration guide Co-authored-by: wangbo<wangbo23@huawei.com> # message auto-generated for no-merge-commit merge: !13599 merge docs/simt-api-update into master docs: update SIMT code examples to current API in migration guide Created-by: wang_bo Commit-by: wangbo Merged-by: cann-robot Description: 按 #8084:跨平台迁移指南「SIMD 与 SIMT 实现对比(gather_v2 算子)」章节的 SIMT 示例代码仍在使用已日落的旧版接口: - Simt::GetThreadIdx() → threadIdx.x - Simt::GetThreadNum() → blockDim.x - Simt::UintDiv( → asc_uintdiv( 对齐最新 SIMT 编程接口规范,仅改代码示例,不改文字说明。 Fix #8084 See merge request: cann/ops-nn!13599 | 13 days ago | |
feat(gelu_v2): 新增GeluV2ONNXFusionPass融合规则(56模式),将ONNX导出的Gelu公式子图融合为GeluV2算子 Co-authored-by: ywx1080114<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !10765 merge gelu_v2_onnx_fusion_pass into master feat(gelu_v2): 新增GeluV2ONNXFusionPass融合规则(56模式),将ONNX导出的Gelu公式子图融合为GeluV2算子 Created-by: yuanbin_22 Commit-by: ywx1080114 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增 GeluV2ONNXFusionPass 图融合规则,将 ONNX 导出(如 PyTorch 导出 ONNX)产生的 gelu 公式子图融合为单个 GeluV2 算子,减少小算子开销: - **erf 场景**(approximate="none"):gelu(x) = 0.5 * x * (1 + erf(x / √2)),覆盖 RealDiv(0.5 常量在 mul0/mul1 两种位置)与 TrueDiv(Mul 形式)共 3 种拓扑 × Add/Mul 输入顺序 8 个变体 = 24 个模式; - **tanh 场景**(approximate="tanh"):gelu(x) = 0.5 * x * (1 + tanh(√(2/π) * (x + 0.044715 * x³))),匹配与内核一致的完整近似公式,按 κ/β/1.0 常量位置 × 外部乘法顺序展开 32 个变体;内层链 squareMul=Mul(x,x)、cubeMul=Mul(squareMul,x)(左结合)、innerAdd=Add(x, κx³)(读序)与 **0.5 常量先乘形式(mul0 族)** 固定为主导导出形式(所有已知 ONNX 导出器均按 0.5*x*(1+tanh(...)) 书写,无导出器后绑 0.5); - 合计 56 个模式。因 ES 模式匹配器对输入端口严格比较、不提供可交换算子的操作数匹配,各种导出顺序需枚举为显式模式变体; - 常量值不在模式层匹配,统一在 MeetRequirements 中按容差校验:√2 / 1/√2 / β 按 dtype 容差(FP32 0.00001,FP16 0.001),κ 容差 0.0001,Add 常量必须为 1.0,Mul 常量必须为 0.5;**常量值为 NaN 时显式拒绝**(NaN 与任何容差比较均为假,ParseScalarValue 解析阶段 std::isnan 检查); - 校验约束:输入 x 仅支持 FLOAT16/FLOAT32/BFLOAT16;公式常量必须是 FLOAT16/FLOAT32 标量;中间节点输出须被子图内单点消费(被子图外复用则跳过融合);TrueDiv(Mul 形式)场景 x 不能为标量;平台门禁 IsDav3510Arch()(Ascend 950PR&950DT 系列); - 替换:按激活类型设置 approximate(Erf→"none",Tanh→"tanh"),通过 ge::es::GeluV2(inputX, approximate) 构建替换子图,继承原输入/输出 desc 并执行 InferShape; - 注册:REG_FUSION_PASS(GeluV2ONNXFusionPass).Stage(ge::CustomPassStage::kAfterInferShape)。 同时删除 op_graph/fusion_pass/.gitkeep 占位文件。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> - 关联 Issue #6861 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 新增 test_gelu_v2_onnx_fusion_pass.cpp 共 37 个 UT 用例(纳入 OP_GRAPH_UT 模块构建): - 正向用例:erf 场景 RealDiv/TrueDiv 各拓扑、tanh 完整公式各常量顺序,覆盖 FP32/FP16/BF16 输入及 FP16 常量,验证融合为 GeluV2 且 approximate 设置正确; - 反向用例(不融合):div/β/κ/Add 常量值非法、**常量值为 NaN**、**tanh 场景 0.5 常量后绑形式**(无已知 ONNX 导出器产生该形式,模式集中已剔除)、常量非标量或 dtype 不支持、输入 dtype 不支持、非 950 平台及**架构查询失败**、中间节点被外部多消费者复用、**0.5 常量被子图外节点共享消费**(匹配器对模式内节点含常量强制精确 fan-out,外部消费者保留有效常量输入)、TrueDiv 场景输入为标量、边界输入为 Const 节点时的常量识别等。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 activation/gelu_v2/docs/GeluV2ONNXFusionPass.md:融合模式(erf 3 种拓扑 + tanh 场景 32 变体共 56 模式)、计算公式、数据类型/常量取值(含 NaN 拒绝)/拓扑约束、支持型号(Ascend 950PR&950DT 系列); - 新增 4 张拓扑示意图 docs/zh/figures/gelu_v2_onnx_fusion_pass_*.png。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!10765 | 24 days ago | |
docs: 修复注释与文档不一致(build脚本默认参数说明) Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !12379 merge docs/comment-cleanup-20261019-03 into master docs: 修复注释与文档不一致(build脚本默认参数说明) Created-by: pingchuantang Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 修正 build.sh 帮助信息与 docs/zh/install/build.md 中与实际实现不一致的默认参数说明: - -j[n]:默认值由「8」更正为「CPU 核心数」。build.sh 中 THREAD_NUM=$(grep -c ^processor /proc/cpuinfo),未显式传入 -j 时按 CPU 核心数编译。 - --vendor_name:默认值由「customize-nn」更正为「custom」。build.sh 在 run_example 场景下当 VENDOR_NAME 为空时设置为 custom。 涉及文件:build.sh(7 处 -j[n] 文案、1 处 --vendor_name 文案)、docs/zh/install/build.md(参数表 1 处)。 ## 关联的Issue - #6950 ## 测试 仅修改帮助文案与文档,不涉及代码逻辑变更;已核对 build.sh 中 THREAD_NUM 与 VENDOR_NAME 的实际默认值。 ## 文档更新 - docs/zh/install/build.md:更新 -j${n} 默认值说明为 CPU 核心数 - build.sh:更新 usage 中 -j[n]、--vendor_name 的默认值说明 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!12379 | 1 month ago | |
md大模型检测低错修复 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9420 merge master into master md大模型检测低错修复 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> md aidd大模型检测低错修复 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5254 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> acl*.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9420 | 2 months ago | |
feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Co-authored-by: bartonfang<fangziyang1@huawei.com> # message auto-generated for no-merge-commit merge: !14010 merge feat/union-sparse-gen-a2-a5-20261109 into master feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Created-by: bartonfang Commit-by: bartonfang Merged-by: cann-robot Description: ## 描述 新增 UnionSparseGen,将同一请求内相邻 query 选择的稀疏 KV 块合并,输出升序去重的 unionSparseIdx、有效数量 unionSparseCount,以及保留逐 query 可见关系的 exactMask。提供 ACLNN、Torch 接口和 A2 SIMD / A5 SIMT 实现,用于稀疏 attention 的 metadata 前处理。 ### 接口与行为 - 当前支持 block_shape=[1,128]、union_size=8、有序输入、layout_sparse_pattern=4、显式块列表 residual_block_mode=0。 - mask_type=0 为默认非因果模式,1 为右下对齐 causal;两种模式均保留 query membership 和有效 KV 边界,并集和 count 不因 mask 类型改变。三个输出均为 INT32,idx padding 为 -1,mask padding 为 0。 - Q/KV 各自按 cu 是否存在定位:cu 为 INT64 前缀,seqUsed 为 INT32 有效长度且优先使用;无 cuQ 时使用等宽槽位,要求 seqUsedQ、正数 maxQ 和 T=B×maxQ;无 cuKV 时要求 seqUsedKV。 - G=Σceil(effectiveQ/8),Lmax=max(1,max ceil(effectiveKV/128)),容量 U=min(8K,Lmax)。GE 可省略 G/Lmax,以 -1 请求按长度值推导;ACLNN和低层 Torch 继续提供准确几何,公共 Python 入口自动计算。 ### 实现与边界检查 A2 使用有序归并及批量向量资源布局,A5 使用 WarpMerge 和 Packed membership 协作处理;host 按资源与工作量选择 tilingkey。实现包括独立请求分组、partial group、空任务、KV 尾部、重复块、地址与字节数溢出检查,以及可选输入组合和属性合法性校验。CMake 采用仓库标准注册入口,保留 AUTO_SYNC=false。 ## 关联的Issue 关联 [Issue #8776:新增 UnionSparseGen 算子需求](https://gitcode.com/cann/ops-nn/issues/8776)。 ## 测试 | 验证项 | A2 | A5 | |---|---|---| | 原生 Host UT,含 GE 自动几何 | 29项通过 | 29项通过 | | 完整 Python 用例 | 410 passed,1项历史对照按条件跳过 | 相同 | | ATK 泛化,三个完整输出逐位一致 | 200/200 | 200/200 | | 每个可达 key 的确定性 | 50次通过 | 50次通过 | | ACLNN 非法参数拦截及 C++ 示例 | 75项及示例通过 | 相同 | | GE 非法属性/长度拦截及报错后恢复 | 26项通过 | 26项通过 | | 真正 Device 输入、同图动态长度及完整输出 | 56次通过 | 56次通过 | | 模型同规模几何和设备输出分配 | 3项通过 | 3项通过 | | memcheck / initcheck | 各44项、77次kernel,0错误0告警 | 相同 | | synccheck | 16项、22次kernel,0错误;保留既有5512次冗余wait和1020次冗余set告警 | 16项、22次kernel,0错误0告警 | 上述设备测试对应 7c098a2c95 的实现;其 [CI #19463](https://gitcode.com/cann/ops-nn/actions/runs/f47bd97b56474af59ae0f47deb49d05e) **73/73项全部通过**,实际 checkout 已核实。本次评审修订 3a2d8e0baf 仅补齐 ACLNN/GE 头文件参数说明并整理 InferAuto UT 常量,计算实现和接口签名未改;29项原生 Host UT、参数文档完整性、格式及 OAT 检查通过,新提交 [CI #19472](https://gitcode.com/cann/ops-nn/actions/runs/8c37b553326b454d8a6f0decab301cf9) **73/73项通过**,实际 checkout 已核实为 3a2d8e0baf。PR仍保留一个功能提交。 最新格式修订 71c3b33a82:OpDef 改为仓内常用的构造函数直接注册;输入/输出/属性顺序、默认值和平台配置逐项等价。ACLNN 中英文产品支持说明与 RepeatInterleave 一致,使用 npu/id 标记和支持/不支持列表。格式、OAT、A2 SDK 原生语法编译及注册等价检查通过;新提交 [CI #19474](https://gitcode.com/cann/ops-nn/actions/runs/470c9b6feb704901bd6f9c9c3fce2a8e) **73/73项通过**,实际 checkout 已核实为 71c3b33a82。 ## 文档更新 提供中英文 README、ACLNN、Torch API 文档,并更新仓库算子/API 索引。正式目录保留实现、样例及标准 Host UT;完整 ST/ATK 交付件和原始验证证据保存在本地。 ## 类型标签 - [x] 新特性 - [x] 性能优化 - [x] 文档更新 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14010 | 7 days ago | |
feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Co-authored-by: bartonfang<fangziyang1@huawei.com> # message auto-generated for no-merge-commit merge: !14010 merge feat/union-sparse-gen-a2-a5-20261109 into master feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Created-by: bartonfang Commit-by: bartonfang Merged-by: cann-robot Description: ## 描述 新增 UnionSparseGen,将同一请求内相邻 query 选择的稀疏 KV 块合并,输出升序去重的 unionSparseIdx、有效数量 unionSparseCount,以及保留逐 query 可见关系的 exactMask。提供 ACLNN、Torch 接口和 A2 SIMD / A5 SIMT 实现,用于稀疏 attention 的 metadata 前处理。 ### 接口与行为 - 当前支持 block_shape=[1,128]、union_size=8、有序输入、layout_sparse_pattern=4、显式块列表 residual_block_mode=0。 - mask_type=0 为默认非因果模式,1 为右下对齐 causal;两种模式均保留 query membership 和有效 KV 边界,并集和 count 不因 mask 类型改变。三个输出均为 INT32,idx padding 为 -1,mask padding 为 0。 - Q/KV 各自按 cu 是否存在定位:cu 为 INT64 前缀,seqUsed 为 INT32 有效长度且优先使用;无 cuQ 时使用等宽槽位,要求 seqUsedQ、正数 maxQ 和 T=B×maxQ;无 cuKV 时要求 seqUsedKV。 - G=Σceil(effectiveQ/8),Lmax=max(1,max ceil(effectiveKV/128)),容量 U=min(8K,Lmax)。GE 可省略 G/Lmax,以 -1 请求按长度值推导;ACLNN和低层 Torch 继续提供准确几何,公共 Python 入口自动计算。 ### 实现与边界检查 A2 使用有序归并及批量向量资源布局,A5 使用 WarpMerge 和 Packed membership 协作处理;host 按资源与工作量选择 tilingkey。实现包括独立请求分组、partial group、空任务、KV 尾部、重复块、地址与字节数溢出检查,以及可选输入组合和属性合法性校验。CMake 采用仓库标准注册入口,保留 AUTO_SYNC=false。 ## 关联的Issue 关联 [Issue #8776:新增 UnionSparseGen 算子需求](https://gitcode.com/cann/ops-nn/issues/8776)。 ## 测试 | 验证项 | A2 | A5 | |---|---|---| | 原生 Host UT,含 GE 自动几何 | 29项通过 | 29项通过 | | 完整 Python 用例 | 410 passed,1项历史对照按条件跳过 | 相同 | | ATK 泛化,三个完整输出逐位一致 | 200/200 | 200/200 | | 每个可达 key 的确定性 | 50次通过 | 50次通过 | | ACLNN 非法参数拦截及 C++ 示例 | 75项及示例通过 | 相同 | | GE 非法属性/长度拦截及报错后恢复 | 26项通过 | 26项通过 | | 真正 Device 输入、同图动态长度及完整输出 | 56次通过 | 56次通过 | | 模型同规模几何和设备输出分配 | 3项通过 | 3项通过 | | memcheck / initcheck | 各44项、77次kernel,0错误0告警 | 相同 | | synccheck | 16项、22次kernel,0错误;保留既有5512次冗余wait和1020次冗余set告警 | 16项、22次kernel,0错误0告警 | 上述设备测试对应 7c098a2c95 的实现;其 [CI #19463](https://gitcode.com/cann/ops-nn/actions/runs/f47bd97b56474af59ae0f47deb49d05e) **73/73项全部通过**,实际 checkout 已核实。本次评审修订 3a2d8e0baf 仅补齐 ACLNN/GE 头文件参数说明并整理 InferAuto UT 常量,计算实现和接口签名未改;29项原生 Host UT、参数文档完整性、格式及 OAT 检查通过,新提交 [CI #19472](https://gitcode.com/cann/ops-nn/actions/runs/8c37b553326b454d8a6f0decab301cf9) **73/73项通过**,实际 checkout 已核实为 3a2d8e0baf。PR仍保留一个功能提交。 最新格式修订 71c3b33a82:OpDef 改为仓内常用的构造函数直接注册;输入/输出/属性顺序、默认值和平台配置逐项等价。ACLNN 中英文产品支持说明与 RepeatInterleave 一致,使用 npu/id 标记和支持/不支持列表。格式、OAT、A2 SDK 原生语法编译及注册等价检查通过;新提交 [CI #19474](https://gitcode.com/cann/ops-nn/actions/runs/470c9b6feb704901bd6f9c9c3fce2a8e) **73/73项通过**,实际 checkout 已核实为 71c3b33a82。 ## 文档更新 提供中英文 README、ACLNN、Torch API 文档,并更新仓库算子/API 索引。正式目录保留实现、样例及标准 Host UT;完整 ST/ATK 交付件和原始验证证据保存在本地。 ## 类型标签 - [x] 新特性 - [x] 性能优化 - [x] 文档更新 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14010 | 7 days ago | |
feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Co-authored-by: bartonfang<fangziyang1@huawei.com> # message auto-generated for no-merge-commit merge: !14010 merge feat/union-sparse-gen-a2-a5-20261109 into master feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Created-by: bartonfang Commit-by: bartonfang Merged-by: cann-robot Description: ## 描述 新增 UnionSparseGen,将同一请求内相邻 query 选择的稀疏 KV 块合并,输出升序去重的 unionSparseIdx、有效数量 unionSparseCount,以及保留逐 query 可见关系的 exactMask。提供 ACLNN、Torch 接口和 A2 SIMD / A5 SIMT 实现,用于稀疏 attention 的 metadata 前处理。 ### 接口与行为 - 当前支持 block_shape=[1,128]、union_size=8、有序输入、layout_sparse_pattern=4、显式块列表 residual_block_mode=0。 - mask_type=0 为默认非因果模式,1 为右下对齐 causal;两种模式均保留 query membership 和有效 KV 边界,并集和 count 不因 mask 类型改变。三个输出均为 INT32,idx padding 为 -1,mask padding 为 0。 - Q/KV 各自按 cu 是否存在定位:cu 为 INT64 前缀,seqUsed 为 INT32 有效长度且优先使用;无 cuQ 时使用等宽槽位,要求 seqUsedQ、正数 maxQ 和 T=B×maxQ;无 cuKV 时要求 seqUsedKV。 - G=Σceil(effectiveQ/8),Lmax=max(1,max ceil(effectiveKV/128)),容量 U=min(8K,Lmax)。GE 可省略 G/Lmax,以 -1 请求按长度值推导;ACLNN和低层 Torch 继续提供准确几何,公共 Python 入口自动计算。 ### 实现与边界检查 A2 使用有序归并及批量向量资源布局,A5 使用 WarpMerge 和 Packed membership 协作处理;host 按资源与工作量选择 tilingkey。实现包括独立请求分组、partial group、空任务、KV 尾部、重复块、地址与字节数溢出检查,以及可选输入组合和属性合法性校验。CMake 采用仓库标准注册入口,保留 AUTO_SYNC=false。 ## 关联的Issue 关联 [Issue #8776:新增 UnionSparseGen 算子需求](https://gitcode.com/cann/ops-nn/issues/8776)。 ## 测试 | 验证项 | A2 | A5 | |---|---|---| | 原生 Host UT,含 GE 自动几何 | 29项通过 | 29项通过 | | 完整 Python 用例 | 410 passed,1项历史对照按条件跳过 | 相同 | | ATK 泛化,三个完整输出逐位一致 | 200/200 | 200/200 | | 每个可达 key 的确定性 | 50次通过 | 50次通过 | | ACLNN 非法参数拦截及 C++ 示例 | 75项及示例通过 | 相同 | | GE 非法属性/长度拦截及报错后恢复 | 26项通过 | 26项通过 | | 真正 Device 输入、同图动态长度及完整输出 | 56次通过 | 56次通过 | | 模型同规模几何和设备输出分配 | 3项通过 | 3项通过 | | memcheck / initcheck | 各44项、77次kernel,0错误0告警 | 相同 | | synccheck | 16项、22次kernel,0错误;保留既有5512次冗余wait和1020次冗余set告警 | 16项、22次kernel,0错误0告警 | 上述设备测试对应 7c098a2c95 的实现;其 [CI #19463](https://gitcode.com/cann/ops-nn/actions/runs/f47bd97b56474af59ae0f47deb49d05e) **73/73项全部通过**,实际 checkout 已核实。本次评审修订 3a2d8e0baf 仅补齐 ACLNN/GE 头文件参数说明并整理 InferAuto UT 常量,计算实现和接口签名未改;29项原生 Host UT、参数文档完整性、格式及 OAT 检查通过,新提交 [CI #19472](https://gitcode.com/cann/ops-nn/actions/runs/8c37b553326b454d8a6f0decab301cf9) **73/73项通过**,实际 checkout 已核实为 3a2d8e0baf。PR仍保留一个功能提交。 最新格式修订 71c3b33a82:OpDef 改为仓内常用的构造函数直接注册;输入/输出/属性顺序、默认值和平台配置逐项等价。ACLNN 中英文产品支持说明与 RepeatInterleave 一致,使用 npu/id 标记和支持/不支持列表。格式、OAT、A2 SDK 原生语法编译及注册等价检查通过;新提交 [CI #19474](https://gitcode.com/cann/ops-nn/actions/runs/470c9b6feb704901bd6f9c9c3fce2a8e) **73/73项通过**,实际 checkout 已核实为 71c3b33a82。 ## 文档更新 提供中英文 README、ACLNN、Torch API 文档,并更新仓库算子/API 索引。正式目录保留实现、样例及标准 Host UT;完整 ST/ATK 交付件和原始验证证据保存在本地。 ## 类型标签 - [x] 新特性 - [x] 性能优化 - [x] 文档更新 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14010 | 7 days ago | |
feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Co-authored-by: bartonfang<fangziyang1@huawei.com> # message auto-generated for no-merge-commit merge: !14010 merge feat/union-sparse-gen-a2-a5-20261109 into master feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Created-by: bartonfang Commit-by: bartonfang Merged-by: cann-robot Description: ## 描述 新增 UnionSparseGen,将同一请求内相邻 query 选择的稀疏 KV 块合并,输出升序去重的 unionSparseIdx、有效数量 unionSparseCount,以及保留逐 query 可见关系的 exactMask。提供 ACLNN、Torch 接口和 A2 SIMD / A5 SIMT 实现,用于稀疏 attention 的 metadata 前处理。 ### 接口与行为 - 当前支持 block_shape=[1,128]、union_size=8、有序输入、layout_sparse_pattern=4、显式块列表 residual_block_mode=0。 - mask_type=0 为默认非因果模式,1 为右下对齐 causal;两种模式均保留 query membership 和有效 KV 边界,并集和 count 不因 mask 类型改变。三个输出均为 INT32,idx padding 为 -1,mask padding 为 0。 - Q/KV 各自按 cu 是否存在定位:cu 为 INT64 前缀,seqUsed 为 INT32 有效长度且优先使用;无 cuQ 时使用等宽槽位,要求 seqUsedQ、正数 maxQ 和 T=B×maxQ;无 cuKV 时要求 seqUsedKV。 - G=Σceil(effectiveQ/8),Lmax=max(1,max ceil(effectiveKV/128)),容量 U=min(8K,Lmax)。GE 可省略 G/Lmax,以 -1 请求按长度值推导;ACLNN和低层 Torch 继续提供准确几何,公共 Python 入口自动计算。 ### 实现与边界检查 A2 使用有序归并及批量向量资源布局,A5 使用 WarpMerge 和 Packed membership 协作处理;host 按资源与工作量选择 tilingkey。实现包括独立请求分组、partial group、空任务、KV 尾部、重复块、地址与字节数溢出检查,以及可选输入组合和属性合法性校验。CMake 采用仓库标准注册入口,保留 AUTO_SYNC=false。 ## 关联的Issue 关联 [Issue #8776:新增 UnionSparseGen 算子需求](https://gitcode.com/cann/ops-nn/issues/8776)。 ## 测试 | 验证项 | A2 | A5 | |---|---|---| | 原生 Host UT,含 GE 自动几何 | 29项通过 | 29项通过 | | 完整 Python 用例 | 410 passed,1项历史对照按条件跳过 | 相同 | | ATK 泛化,三个完整输出逐位一致 | 200/200 | 200/200 | | 每个可达 key 的确定性 | 50次通过 | 50次通过 | | ACLNN 非法参数拦截及 C++ 示例 | 75项及示例通过 | 相同 | | GE 非法属性/长度拦截及报错后恢复 | 26项通过 | 26项通过 | | 真正 Device 输入、同图动态长度及完整输出 | 56次通过 | 56次通过 | | 模型同规模几何和设备输出分配 | 3项通过 | 3项通过 | | memcheck / initcheck | 各44项、77次kernel,0错误0告警 | 相同 | | synccheck | 16项、22次kernel,0错误;保留既有5512次冗余wait和1020次冗余set告警 | 16项、22次kernel,0错误0告警 | 上述设备测试对应 7c098a2c95 的实现;其 [CI #19463](https://gitcode.com/cann/ops-nn/actions/runs/f47bd97b56474af59ae0f47deb49d05e) **73/73项全部通过**,实际 checkout 已核实。本次评审修订 3a2d8e0baf 仅补齐 ACLNN/GE 头文件参数说明并整理 InferAuto UT 常量,计算实现和接口签名未改;29项原生 Host UT、参数文档完整性、格式及 OAT 检查通过,新提交 [CI #19472](https://gitcode.com/cann/ops-nn/actions/runs/8c37b553326b454d8a6f0decab301cf9) **73/73项通过**,实际 checkout 已核实为 3a2d8e0baf。PR仍保留一个功能提交。 最新格式修订 71c3b33a82:OpDef 改为仓内常用的构造函数直接注册;输入/输出/属性顺序、默认值和平台配置逐项等价。ACLNN 中英文产品支持说明与 RepeatInterleave 一致,使用 npu/id 标记和支持/不支持列表。格式、OAT、A2 SDK 原生语法编译及注册等价检查通过;新提交 [CI #19474](https://gitcode.com/cann/ops-nn/actions/runs/470c9b6feb704901bd6f9c9c3fce2a8e) **73/73项通过**,实际 checkout 已核实为 71c3b33a82。 ## 文档更新 提供中英文 README、ACLNN、Torch API 文档,并更新仓库算子/API 索引。正式目录保留实现、样例及标准 Host UT;完整 ST/ATK 交付件和原始验证证据保存在本地。 ## 类型标签 - [x] 新特性 - [x] 性能优化 - [x] 文档更新 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14010 | 7 days ago | |
feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Co-authored-by: bartonfang<fangziyang1@huawei.com> # message auto-generated for no-merge-commit merge: !14010 merge feat/union-sparse-gen-a2-a5-20261109 into master feat(index): add UnionSparseGen for A2/A5 sparse attention metadata Created-by: bartonfang Commit-by: bartonfang Merged-by: cann-robot Description: ## 描述 新增 UnionSparseGen,将同一请求内相邻 query 选择的稀疏 KV 块合并,输出升序去重的 unionSparseIdx、有效数量 unionSparseCount,以及保留逐 query 可见关系的 exactMask。提供 ACLNN、Torch 接口和 A2 SIMD / A5 SIMT 实现,用于稀疏 attention 的 metadata 前处理。 ### 接口与行为 - 当前支持 block_shape=[1,128]、union_size=8、有序输入、layout_sparse_pattern=4、显式块列表 residual_block_mode=0。 - mask_type=0 为默认非因果模式,1 为右下对齐 causal;两种模式均保留 query membership 和有效 KV 边界,并集和 count 不因 mask 类型改变。三个输出均为 INT32,idx padding 为 -1,mask padding 为 0。 - Q/KV 各自按 cu 是否存在定位:cu 为 INT64 前缀,seqUsed 为 INT32 有效长度且优先使用;无 cuQ 时使用等宽槽位,要求 seqUsedQ、正数 maxQ 和 T=B×maxQ;无 cuKV 时要求 seqUsedKV。 - G=Σceil(effectiveQ/8),Lmax=max(1,max ceil(effectiveKV/128)),容量 U=min(8K,Lmax)。GE 可省略 G/Lmax,以 -1 请求按长度值推导;ACLNN和低层 Torch 继续提供准确几何,公共 Python 入口自动计算。 ### 实现与边界检查 A2 使用有序归并及批量向量资源布局,A5 使用 WarpMerge 和 Packed membership 协作处理;host 按资源与工作量选择 tilingkey。实现包括独立请求分组、partial group、空任务、KV 尾部、重复块、地址与字节数溢出检查,以及可选输入组合和属性合法性校验。CMake 采用仓库标准注册入口,保留 AUTO_SYNC=false。 ## 关联的Issue 关联 [Issue #8776:新增 UnionSparseGen 算子需求](https://gitcode.com/cann/ops-nn/issues/8776)。 ## 测试 | 验证项 | A2 | A5 | |---|---|---| | 原生 Host UT,含 GE 自动几何 | 29项通过 | 29项通过 | | 完整 Python 用例 | 410 passed,1项历史对照按条件跳过 | 相同 | | ATK 泛化,三个完整输出逐位一致 | 200/200 | 200/200 | | 每个可达 key 的确定性 | 50次通过 | 50次通过 | | ACLNN 非法参数拦截及 C++ 示例 | 75项及示例通过 | 相同 | | GE 非法属性/长度拦截及报错后恢复 | 26项通过 | 26项通过 | | 真正 Device 输入、同图动态长度及完整输出 | 56次通过 | 56次通过 | | 模型同规模几何和设备输出分配 | 3项通过 | 3项通过 | | memcheck / initcheck | 各44项、77次kernel,0错误0告警 | 相同 | | synccheck | 16项、22次kernel,0错误;保留既有5512次冗余wait和1020次冗余set告警 | 16项、22次kernel,0错误0告警 | 上述设备测试对应 7c098a2c95 的实现;其 [CI #19463](https://gitcode.com/cann/ops-nn/actions/runs/f47bd97b56474af59ae0f47deb49d05e) **73/73项全部通过**,实际 checkout 已核实。本次评审修订 3a2d8e0baf 仅补齐 ACLNN/GE 头文件参数说明并整理 InferAuto UT 常量,计算实现和接口签名未改;29项原生 Host UT、参数文档完整性、格式及 OAT 检查通过,新提交 [CI #19472](https://gitcode.com/cann/ops-nn/actions/runs/8c37b553326b454d8a6f0decab301cf9) **73/73项通过**,实际 checkout 已核实为 3a2d8e0baf。PR仍保留一个功能提交。 最新格式修订 71c3b33a82:OpDef 改为仓内常用的构造函数直接注册;输入/输出/属性顺序、默认值和平台配置逐项等价。ACLNN 中英文产品支持说明与 RepeatInterleave 一致,使用 npu/id 标记和支持/不支持列表。格式、OAT、A2 SDK 原生语法编译及注册等价检查通过;新提交 [CI #19474](https://gitcode.com/cann/ops-nn/actions/runs/470c9b6feb704901bd6f9c9c3fce2a8e) **73/73项通过**,实际 checkout 已核实为 71c3b33a82。 ## 文档更新 提供中英文 README、ACLNN、Torch API 文档,并更新仓库算子/API 索引。正式目录保留实现、样例及标准 Host UT;完整 ST/ATK 交付件和原始验证证据保存在本地。 ## 类型标签 - [x] 新特性 - [x] 性能优化 - [x] 文档更新 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14010 | 7 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 15 days ago | ||
| 1 month ago | ||
| 13 days ago | ||
| 24 days ago | ||
| 1 month ago | ||
| 2 months ago | ||
| 7 days ago | ||
| 7 days ago | ||
| 7 days ago | ||
| 7 days ago | ||
| 7 days ago |