文件最后提交记录最后更新时间
fix scatter_pa_cache ut Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !5748 merge master into master fix scatter_pa_cache ut Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修复scatter_pa_cache ut编译和运行问题 ## 关联的Issue [#2594](https://gitcode.com/cann/ops-transformer/issues/2594) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> bash build.sh -u --ophost --ops=scatter_pa_cache ![image.png](https://raw.gitcode.com/user-images/assets/7673863/53a1e03b-9ced-4eca-a50c-ea4144c84dd5/image.png 'image.png') ## 类型标签 <!-- [x] 表示选中 --> - [X] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!57487 天前
add ScatterPaCache Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !1341 merge master into master add ScatterPaCache Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 add ScatterPaCache 背景 Pagedattention是当前Transformer大模型中节约KVCache内存,提升KVCACHE利用率的一个通用方案,在将当前step计算出来的Key和Value保存到KVCache中时,由于Pagedattention的方案中KVCache的内存是非连续的,所以需要将Key和Value离散的更新到对应的位置。 ScatterPaCache算子是单输入单输出的,相较于ScatterPaKvCache同时更新KeyCache和ValueCache,该算子只更新某一路Cache。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/699 ## 测试 功能测试、泛化测试Pass,UT全通过 ## 文档更新 添加了aclnn接口说明文档aclnnScatterPaCache.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-transformer!13413 个月前