| Files | Last commit | Last update |
|---|---|---|
attention_update算子支持单tensor输入和localout非连续 Co-authored-by: yyt_hw<yangyuting54@huawei.com> # message auto-generated for no-merge-commit merge: !14910 merge br_yyt_attention_update into master attention_update算子支持单tensor输入和localout非连续 Created-by: yyt_hw Commit-by: yyt_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为减少 DCP 场景中 AttentionUpdate 的前置 Slice 操作，新增首轴拼接的单 Tensor 输入支持，并支持非连续 localOut 输入，覆盖 Atlas A2系列产品、Atlas A3系列产品和 Ascend 950PR&950DT系列产品。 - lse 和 localOut 通过 aclTensorList* 传入，支持长度为 1、shape 分别为 [P,T] 和 [P,T,D] 的输入； lse 为连续 FP32，localOut 支持 FP16、BF16、FP32。 - 对行步长不连续的 localOut 增加直接读取路径，其他非连续布局通过连续化处理，兼容已有分片输入。 - A2/A3：针对行步长不连续的 localOut 增加专用数据搬运路径，减少逐分片搬运中的全流水同步开销。 - A5：复用行权重，减少沿 headDim 分块计算时的重复读取和计算，适用于不同 SP、shape 和支持的数据类型。 - 补充输入校验、错误码上报、接口文档及少量 UT。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#7113](https://gitcode.com/cann/ops-transformer/issues/7113) [#6955](https://gitcode.com/cann/ops-transformer/issues/6955) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> A2A3 ATK 3000/3000 通过 ；A5 ATK 3000/3000 通过。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> README.md、attention/attention_update/docs/aclnnAttentionUpdate.md更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14910 | 10 days ago | |
attention_update算子支持单tensor输入和localout非连续 Co-authored-by: yyt_hw<yangyuting54@huawei.com> # message auto-generated for no-merge-commit merge: !14910 merge br_yyt_attention_update into master attention_update算子支持单tensor输入和localout非连续 Created-by: yyt_hw Commit-by: yyt_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为减少 DCP 场景中 AttentionUpdate 的前置 Slice 操作，新增首轴拼接的单 Tensor 输入支持，并支持非连续 localOut 输入，覆盖 Atlas A2系列产品、Atlas A3系列产品和 Ascend 950PR&950DT系列产品。 - lse 和 localOut 通过 aclTensorList* 传入，支持长度为 1、shape 分别为 [P,T] 和 [P,T,D] 的输入； lse 为连续 FP32，localOut 支持 FP16、BF16、FP32。 - 对行步长不连续的 localOut 增加直接读取路径，其他非连续布局通过连续化处理，兼容已有分片输入。 - A2/A3：针对行步长不连续的 localOut 增加专用数据搬运路径，减少逐分片搬运中的全流水同步开销。 - A5：复用行权重，减少沿 headDim 分块计算时的重复读取和计算，适用于不同 SP、shape 和支持的数据类型。 - 补充输入校验、错误码上报、接口文档及少量 UT。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#7113](https://gitcode.com/cann/ops-transformer/issues/7113) [#6955](https://gitcode.com/cann/ops-transformer/issues/6955) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> A2A3 ATK 3000/3000 通过 ；A5 ATK 3000/3000 通过。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> README.md、attention/attention_update/docs/aclnnAttentionUpdate.md更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14910 | 10 days ago | |
attention_update算子支持单tensor输入和localout非连续 Co-authored-by: yyt_hw<yangyuting54@huawei.com> # message auto-generated for no-merge-commit merge: !14910 merge br_yyt_attention_update into master attention_update算子支持单tensor输入和localout非连续 Created-by: yyt_hw Commit-by: yyt_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为减少 DCP 场景中 AttentionUpdate 的前置 Slice 操作，新增首轴拼接的单 Tensor 输入支持，并支持非连续 localOut 输入，覆盖 Atlas A2系列产品、Atlas A3系列产品和 Ascend 950PR&950DT系列产品。 - lse 和 localOut 通过 aclTensorList* 传入，支持长度为 1、shape 分别为 [P,T] 和 [P,T,D] 的输入； lse 为连续 FP32，localOut 支持 FP16、BF16、FP32。 - 对行步长不连续的 localOut 增加直接读取路径，其他非连续布局通过连续化处理，兼容已有分片输入。 - A2/A3：针对行步长不连续的 localOut 增加专用数据搬运路径，减少逐分片搬运中的全流水同步开销。 - A5：复用行权重，减少沿 headDim 分块计算时的重复读取和计算，适用于不同 SP、shape 和支持的数据类型。 - 补充输入校验、错误码上报、接口文档及少量 UT。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#7113](https://gitcode.com/cann/ops-transformer/issues/7113) [#6955](https://gitcode.com/cann/ops-transformer/issues/6955) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> A2A3 ATK 3000/3000 通过 ；A5 ATK 3000/3000 通过。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> README.md、attention/attention_update/docs/aclnnAttentionUpdate.md更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14910 | 10 days ago | |
attention_update算子支持单tensor输入和localout非连续 Co-authored-by: yyt_hw<yangyuting54@huawei.com> # message auto-generated for no-merge-commit merge: !14910 merge br_yyt_attention_update into master attention_update算子支持单tensor输入和localout非连续 Created-by: yyt_hw Commit-by: yyt_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为减少 DCP 场景中 AttentionUpdate 的前置 Slice 操作，新增首轴拼接的单 Tensor 输入支持，并支持非连续 localOut 输入，覆盖 Atlas A2系列产品、Atlas A3系列产品和 Ascend 950PR&950DT系列产品。 - lse 和 localOut 通过 aclTensorList* 传入，支持长度为 1、shape 分别为 [P,T] 和 [P,T,D] 的输入； lse 为连续 FP32，localOut 支持 FP16、BF16、FP32。 - 对行步长不连续的 localOut 增加直接读取路径，其他非连续布局通过连续化处理，兼容已有分片输入。 - A2/A3：针对行步长不连续的 localOut 增加专用数据搬运路径，减少逐分片搬运中的全流水同步开销。 - A5：复用行权重，减少沿 headDim 分块计算时的重复读取和计算，适用于不同 SP、shape 和支持的数据类型。 - 补充输入校验、错误码上报、接口文档及少量 UT。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#7113](https://gitcode.com/cann/ops-transformer/issues/7113) [#6955](https://gitcode.com/cann/ops-transformer/issues/6955) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> A2A3 ATK 3000/3000 通过 ；A5 ATK 3000/3000 通过。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> README.md、attention/attention_update/docs/aclnnAttentionUpdate.md更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14910 | 10 days ago | |
attention_update算子支持单tensor输入和localout非连续 Co-authored-by: yyt_hw<yangyuting54@huawei.com> # message auto-generated for no-merge-commit merge: !14910 merge br_yyt_attention_update into master attention_update算子支持单tensor输入和localout非连续 Created-by: yyt_hw Commit-by: yyt_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为减少 DCP 场景中 AttentionUpdate 的前置 Slice 操作，新增首轴拼接的单 Tensor 输入支持，并支持非连续 localOut 输入，覆盖 Atlas A2系列产品、Atlas A3系列产品和 Ascend 950PR&950DT系列产品。 - lse 和 localOut 通过 aclTensorList* 传入，支持长度为 1、shape 分别为 [P,T] 和 [P,T,D] 的输入； lse 为连续 FP32，localOut 支持 FP16、BF16、FP32。 - 对行步长不连续的 localOut 增加直接读取路径，其他非连续布局通过连续化处理，兼容已有分片输入。 - A2/A3：针对行步长不连续的 localOut 增加专用数据搬运路径，减少逐分片搬运中的全流水同步开销。 - A5：复用行权重，减少沿 headDim 分块计算时的重复读取和计算，适用于不同 SP、shape 和支持的数据类型。 - 补充输入校验、错误码上报、接口文档及少量 UT。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#7113](https://gitcode.com/cann/ops-transformer/issues/7113) [#6955](https://gitcode.com/cann/ops-transformer/issues/6955) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> A2A3 ATK 3000/3000 通过 ；A5 ATK 3000/3000 通过。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> README.md、attention/attention_update/docs/aclnnAttentionUpdate.md更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14910 | 10 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 10 days ago | ||
| 10 days ago | ||
| 10 days ago | ||
| 10 days ago | ||
| 10 days ago |