Star0
0
代码
代码
Issues
Pull Requests
Actions
项目讨论
Wiki
分析
Star0
0
文件最后提交记录最后更新时间
embedding_hash_table_apply_adam_w
将卷积和matmul的ut根据版本隔离开, 整改950 ophost ut Co-authored-by: 18811725231<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !9549 merge master into master 将卷积和matmul的ut根据版本隔离开, 整改950 ophost ut Created-by: yang-di52 Commit-by: 18811725231 Merged-by: cann-robot Description: ## 描述 主要修改内容： 1. nn仓完成和legacy common 动态库解耦后，卷积和matmul的不同版本 ophost ut 已经不能混合一起跑了。需要版本隔离 2. ascend950的ut全量编译 失败，需要修改 ## 关联的Issue [https://gitcode.com/cann/ops-nn/issues/5425](https://gitcode.com/cann/ops-nn/issues/5425) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9549
19 天前
embedding_hash_table_export
perf: float2/float4 for embedding_hash_table_export/import Co-authored-by: alfengyuan<yyfgdut@gmail.com> # message auto-generated for no-merge-commit merge: !9895 merge perf/export-import-b128 into master perf: float2/float4 for embedding_hash_table_export/import Created-by: alfengyuan Commit-by: alfengyuan Merged-by: cann-robot Description: ## 描述 EmbeddingHashTableExport / EmbeddingHashTableImport 算子（arch35）引入 SIMT 访存合并优化：values 拷贝由逐元素 4B 标量访存改为按对齐分档的 float4(B128)/float2(B64) 短向量批量访存。桶 values 区偏移 24B、仅 8B 对齐（24B 桶头为 hash 家族跨算子契约），桶侧封顶 float2(B64)；外部张量行在 dim%4==0 且基址 16B 对齐时用 float4(B128)（运行时对齐检查兜底）。dim≤4 回退原始标量路径（小 dim 宽访存收益抵不过开销，实测 import dim=4 无回退路径慢 16%）。桶格式/tiling/flag 语义/哈希函数零改动，canndev 仓 evict 算子跨仓契约不受影响。 **改动文件**： - hash/embedding_hash_table_import/op_kernel/arch35/embedding_hash_table_import.h：新增 CopyImportValuesMerged __simt_callee__ helper，values 插入循环改为三档合并分派（+39 -7） - hash/embedding_hash_table_export/op_kernel/arch35/embedding_hash_table_export.h：新增 CopyExportValuesMerged helper（读桶 2×float2 组装、输出行 float4 写），ExportPerThread values 拷出循环改为三档分派（+43 -7） **性能数据**（950PR，N=2^20，B=2^21，min 耗时，对比 built-in 基线）： - import：dim8 +13%；dim16/32/48/64/128 = 1.65×/1.70×/1.99×/2.11×/2.35×（dim128 10.05→4.29 ms） - export：dim8/16/32/48/64/128 = 1.15×/1.21×/1.22×/1.24×/1.26×/1.28×（收益受 CountPerThread 全桶 flag 扫描等固定开销稀释） - 两算子 dim1~4 持平（标量回退路径），全 dim 无回退 ## 关联的Issue 关联 Issue #5578 ## 测试 - e2e 真机五算子 canonical 精度全 PASS（init 3/3、lookup 9/9、export 3/3、import 3/3、adamw 6/6） - sweep 全场景矩阵 137 用例全 PASS（init 36/36、lookup 54/54、export 11/11、import 9/9、adamw 27/27，含全 dim 档/filter_key/多表/碰撞边界） - vendor 包 vs built-in 包：精度逐项一致；性能五算子对比，优化算子只升不降，未优化的 apply_adam_w 对照组两包持平（环境无漂移） ## 文档更新 无 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!9895
14 天前
embedding_hash_table_import
perf: float2/float4 for embedding_hash_table_export/import Co-authored-by: alfengyuan<yyfgdut@gmail.com> # message auto-generated for no-merge-commit merge: !9895 merge perf/export-import-b128 into master perf: float2/float4 for embedding_hash_table_export/import Created-by: alfengyuan Commit-by: alfengyuan Merged-by: cann-robot Description: ## 描述 EmbeddingHashTableExport / EmbeddingHashTableImport 算子（arch35）引入 SIMT 访存合并优化：values 拷贝由逐元素 4B 标量访存改为按对齐分档的 float4(B128)/float2(B64) 短向量批量访存。桶 values 区偏移 24B、仅 8B 对齐（24B 桶头为 hash 家族跨算子契约），桶侧封顶 float2(B64)；外部张量行在 dim%4==0 且基址 16B 对齐时用 float4(B128)（运行时对齐检查兜底）。dim≤4 回退原始标量路径（小 dim 宽访存收益抵不过开销，实测 import dim=4 无回退路径慢 16%）。桶格式/tiling/flag 语义/哈希函数零改动，canndev 仓 evict 算子跨仓契约不受影响。 **改动文件**： - hash/embedding_hash_table_import/op_kernel/arch35/embedding_hash_table_import.h：新增 CopyImportValuesMerged __simt_callee__ helper，values 插入循环改为三档合并分派（+39 -7） - hash/embedding_hash_table_export/op_kernel/arch35/embedding_hash_table_export.h：新增 CopyExportValuesMerged helper（读桶 2×float2 组装、输出行 float4 写），ExportPerThread values 拷出循环改为三档分派（+43 -7） **性能数据**（950PR，N=2^20，B=2^21，min 耗时，对比 built-in 基线）： - import：dim8 +13%；dim16/32/48/64/128 = 1.65×/1.70×/1.99×/2.11×/2.35×（dim128 10.05→4.29 ms） - export：dim8/16/32/48/64/128 = 1.15×/1.21×/1.22×/1.24×/1.26×/1.28×（收益受 CountPerThread 全桶 flag 扫描等固定开销稀释） - 两算子 dim1~4 持平（标量回退路径），全 dim 无回退 ## 关联的Issue 关联 Issue #5578 ## 测试 - e2e 真机五算子 canonical 精度全 PASS（init 3/3、lookup 9/9、export 3/3、import 3/3、adamw 6/6） - sweep 全场景矩阵 137 用例全 PASS（init 36/36、lookup 54/54、export 11/11、import 9/9、adamw 27/27，含全 dim 档/filter_key/多表/碰撞边界） - vendor 包 vs built-in 包：精度逐项一致；性能五算子对比，优化算子只升不降，未优化的 apply_adam_w 对照组两包持平（环境无漂移） ## 文档更新 无 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!9895
14 天前
embedding_hash_table_lookup_or_insert
MicroAPI namespace to Reg for arch35 kernels Co-authored-by: gcw_DS4cmz2b<1312925094@qq.com> # message auto-generated for no-merge-commit merge: !9267 merge rename into master MicroAPI namespace to Reg for arch35 kernels Created-by: gcw_DS4cmz2b Commit-by: gcw_DS4cmz2b Merged-by: cann-robot Description: ## 描述 修改了index,activation,matmul,conv,foreach,optim,experimental,vfusion,hash这几个文件夹内的命名空间，将MicroAPI-->Reg ## 关联的Issue [多个文件夹内的算子命名空间使用的MicroAPI，应改为Reg](https://gitcode.com/cann/ops-nn/issues/5218) ## 测试 验证方法 严格按四步流程，逐算子验证： 1. Step 1：编译原始代码，保存 baseline binary .o 文件 MD5 2. Step 2：执行 MicroAPI → Reg 替换 3. Step 3：编译替换后代码，保存 after binary .o 文件 MD5 4. Step 4：对比 A_before.md5 与 B_after.md5 平台：ascend950，编译参数：--soc=ascend950 --ops=<op> -j16 验证替换前后 binary 产物 MD5 完全一致。 冒烟，代码审查均通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9267
24 天前
init_embedding_hash_table
perf: float2/float4 for init_embedding_hash_table Co-authored-by: alfengyuan<yyfgdut@gmail.com> # message auto-generated for no-merge-commit merge: !9745 merge perf/init-bucket-b128 into master perf: float2/float4 for init_embedding_hash_table Created-by: alfengyuan Commit-by: alfengyuan Merged-by: cann-robot Description: ## 描述 InitEmbeddingHashTable 算子（arch35）引入 SIMT 访存合并优化：将桶头 24B 合并为 16B 常数写 + longlong2 写，values 区用 float4(B128) 循环批量写入代替逐元素标量访问，flag 字节折叠进 values 首块写窗。奇桶长 + dim≤4 回退标量路径。 **改动文件**： - op_kernel/arch35/init_embedding_hash_table.h：新增 InitBucket __simt_callee__ helper，重构 InitCompute 为宽写路径 + 标量回退路径（+85 -26） - op_host/arch35/init_embedding_hash_table_tiling_arch35.cpp：optional 输入改用 GetOptionalInputShape（+1 -1） **性能数据**（950PR，B=2^21，const 模式）： - dim≥25：~2× 带宽提升（~145 → ~288 GB/s） - dim=5~20：1.2~2.0× - dim=1~4：持平 - 全 dim 无回退 ## 关联的Issue 关联 Issue #5498 ## 测试 - e2e 真机精度 3/3 PASS（const dim=8 / const dim=48 / random dim=8 + lookup 交叉验证） - e2e 真机性能 35 组 dim（1~20, 25~100）全量验证，dim≥25 稳定 2× 带宽提升 - sweep 全场景矩阵 36/36 PASS ## 文档更新 无 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!9745
18 天前
CMakeLists.txt
下一代hash算子功能支持 Co-authored-by: 张磊<zhanglei121@huawei.com> # message auto-generated for no-merge-commit merge: !540 merge master into master 下一代hash算子功能支持 Created-by: zl_hw Commit-by: 张磊 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!540
8 个月前