dd4b7122创建于 2 天前历史提交

文件	最后提交记录	最后更新时间
docs	docs下基本概念文件名从中文改为英文+同时修改link Co-authored-by: chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9042 merge master into master docs下基本概念文件名从中文改为英文+同时修改link Created-by: gitcode-chenjiao Commit-by: chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> docs目录基本概念md文件名改为英文：避免link中的中文字符引发的跳转异常，例如两段式接口.md变成%E4%B8%A4%E6%AE%B5%E5%BC%8F%E6%8E%A5%E5%8F%A3.md，不易于维护，可能导致其他平台跳转有问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#3899](https://gitcode.com/cann/ops-transformer/issues/3899) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> docs/zh/context所有md和对应的link ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9042	2 天前
examples	整改遗漏的错误日志&修复attention_update example的重复释放错误 Co-authored-by: LuckySun<sunwenlong8@huawei.com> # message auto-generated for no-merge-commit merge: !6893 merge left_loge into master 整改遗漏的错误日志&修复attention_update example的重复释放错误 Created-by: LuckySun Commit-by: LuckySun Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 整改遗漏的错误日志。修复attention_update的example执行卡住的错误，aclTensorList内的aclTensor不需要重复释放。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2108 ## 测试最新社区包环境下example自测通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [x] ❓ 其他，请描述：日志整改 See merge request: cann/ops-transformer!6893	23 天前
op_graph	fix: add add_graph_plugin_sources() to enable proto generation for 6 operators Co-authored-by: cao-ren-lei<caorenlei@huawei.com> Co-authored-by: wangxun21<wangxun21@huawei.com> # message auto-generated for no-merge-commit merge: !5231 merge cherry-pick-4905-op_proto into master fix: add add_graph_plugin_sources() to enable proto generation for 6 operators Created-by: wangxun21 Commit-by: wangxun21;cao-ren-lei Merged-by: cann-robot Description: ## 描述为6个算子的 op_graph CMakeLists.txt 添加 add_graph_plugin_sources() 调用，启用 proto 文件生成。改动原因：上述6个算子的 op_graph 目录下缺少 add_graph_plugin_sources() 调用，导致编译时无法生成对应的 proto 文件。改动方法：在各算子的 op_graph/CMakeLists.txt 中添加 add_graph_plugin_sources() 函数调用。受影响的算子： - apply_rotary_pos_emb - attention_update - interleave_rope - rotary_position_embedding - rotary_position_embedding_grad - ring_attention_update ## 关联的Issue Fixes #2387 ## 测试原 MR #4905 已通过 CI 流水线验证（ci-pipeline-passed、api-check-pass）。 ## 文档更新无 ## 类型标签 - [x] 🐛 Bug 修复 See merge request: cann/ops-transformer!5231	2 个月前
op_host	整改遗漏的错误日志&修复attention_update example的重复释放错误 Co-authored-by: LuckySun<sunwenlong8@huawei.com> # message auto-generated for no-merge-commit merge: !6893 merge left_loge into master 整改遗漏的错误日志&修复attention_update example的重复释放错误 Created-by: LuckySun Commit-by: LuckySun Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 整改遗漏的错误日志。修复attention_update的example执行卡住的错误，aclTensorList内的aclTensor不需要重复释放。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2108 ## 测试最新社区包环境下example自测通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [x] ❓ 其他，请描述：日志整改 See merge request: cann/ops-transformer!6893	23 天前
op_kernel	attention update 整形溢出整改 Co-authored-by: IceBearPolar<xuxuepeng4@huawei.com> # message auto-generated for no-merge-commit merge: !6782 merge overflow_attetion_update into master attention update整形溢出整改 Created-by: IceBearPolar Commit-by: IceBearPolar Merged-by: cann-robot Description: ## 描述连乘导致整形溢出 attention update https://gitcode.com/IceBearPolar/work-tool/blob/main/overflow-scan/ascendc_overflow_scan_consolidated_report.md ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/2907 ## 测试 ATK测试，RDV测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!6782	1 个月前
tests	A2A3 attentionupdate 支持sp128 Co-authored-by: z00911896<zhanghu61@huawei.com> # message auto-generated for no-merge-commit merge: !5709 merge master into master A2A3 attentionupdate 支持sp128 Created-by: skyqwzw Commit-by: skyqwzw;z00911896 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> A2A3 attentionupdate 支持sp128，序列并行度提高至128 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#2931](https://gitcode.com/cann/ops-transformer/issues/2931) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 进行了算子的功能泛化测试，验证精度和性能 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!5709	1 个月前
CMakeLists.txt	匹配最新cann版本，上线新版本attention/ffn/moe/posembedding算子 Co-authored-by: huangchuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !538 merge master into master 匹配最新cann版本，上线新版本attention/ffn/moe/posembedding算子 Created-by: huang-chuhong Commit-by: huangchuhong Merged-by: cann-robot Description: ## 描述 transformer 同步算子最新开发，涉及attention/ffn/moe/posembedding ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/315 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!538	6 个月前
README.md	【AttnUpdate】fix attention update doc Co-authored-by: L_Euler<hanxiaobin3@huawei.com> # message auto-generated for no-merge-commit merge: !7246 merge master into master 【AttnUpdate】fix attention update doc Created-by: L_Euler Commit-by: L_Euler Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1、删除attention update冗余的localOut和out参数说明描述 2、整改attention update调用说明 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/3066 https://gitcode.com/cann/ops-transformer/issues/3075 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 1、删除attention update冗余的localOut和out参数说明描述 2、整改attention update调用说明 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!7246	1 个月前

AttentionUpdate

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

算子功能：将各SP域PA算子的输出的中间结果lse，localOut两个局部变量结果更新成全局结果。
计算公式：输入 $lse_i$ 和 $O_i$ 、输出 $O$ 。

lsemax=maxlseilse_{max} = \text{max}lse_i

\sum_i \text{exp}(lse_i - lse_{max})

lsem=lsemax+log(lse)lse_m = lse_{max} + \text{log}(lse)

\sum_i O_i \cdot \text{exp}(lse_i - lse_m)

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
lsei	输入	各SP域的局部lse。	FLOAT32	ND
Oi	输入	各SP域的局部attentionout。	FLOAT32，FLOAT16，BFLOAT16	ND
lsem	输出	更新后的全局lse。	FLOAT32	ND
O	输入	更新后的全局attentionout。	FLOAT32，FLOAT16，BFLOAT16	ND

约束说明

Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品：支持FLOAT32、FLOAT16、BFLOAT16的Oi和O。
Ascend 950PR/Ascend 950DT：支持FLOAT32、FLOAT16、BFLOAT16的Oi和O，且Oi和O数据类型相同。
序列并行的并行度sp取值范围[1, 16]。
headDim取值范围[8, 512]且是8的倍数。
不支持非连续的Tensor。
支持空Tensor。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_attention_update	通过aclnnAttentionUpdate接口方式调用AttentionUpdate算子。