文件最后提交记录最后更新时间
flash_attn性能提升:位掩码代替取模运算 Co-authored-by: Yuanfeng_HW<yuanfeng24@huawei.com> # message auto-generated for no-merge-commit merge: !6065 merge best into master flash_attn性能提升:位掩码代替取模运算 Created-by: Yuanfeng_HW Commit-by: Yuanfeng_HW Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 在代码中使用位掩码代替取模运算,降低scaler bound对pipline的阻塞,提升flash_attn性能 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!60654 天前
preload actualseqlen Co-authored-by: linengyao<linengyao@huawei.com> # message auto-generated for no-merge-commit merge: !5932 merge preload2 into master preload actualseqlen Created-by: linengyao Commit-by: linengyao Merged-by: cann-robot Description: ## 描述 1、在初始化输出tensor时,IsInitAttentionOutGm使用了比较会产生分支,造成性能劣化; 2、预加载actualseq相关参数,避免后面cache miss ## 关联的Issue [#2697](https://gitcode.com/cann/ops-transformer/issues/2697) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!59327 天前
preload actualseqlen Co-authored-by: linengyao<linengyao@huawei.com> # message auto-generated for no-merge-commit merge: !5932 merge preload2 into master preload actualseqlen Created-by: linengyao Commit-by: linengyao Merged-by: cann-robot Description: ## 描述 1、在初始化输出tensor时,IsInitAttentionOutGm使用了比较会产生分支,造成性能劣化; 2、预加载actualseq相关参数,避免后面cache miss ## 关联的Issue [#2697](https://gitcode.com/cann/ops-transformer/issues/2697) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!59327 天前