0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robotfix scatterPaKvCache example
432f0935创建于 29 天前历史提交
文件最后提交记录最后更新时间
fusion_pass
add ScatterPaCache Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !1341 merge master into master add ScatterPaCache Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 add ScatterPaCache 背景 Pagedattention是当前Transformer大模型中节约KVCache内存，提升KVCACHE利用率的一个通用方案，在将当前step计算出来的Key和Value保存到KVCache中时，由于Pagedattention的方案中KVCache的内存是非连续的，所以需要将Key和Value离散的更新到对应的位置。 ScatterPaCache算子是单输入单输出的，相较于ScatterPaKvCache同时更新KeyCache和ValueCache，该算子只更新某一路Cache。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/699 ## 测试 功能测试、泛化测试Pass，UT全通过 ## 文档更新 添加了aclnn接口说明文档aclnnScatterPaCache.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!13413 个月前
CMakeLists.txt
fix scatterPaKvCache example Co-authored-by: yu_qinfei<yuqinfei1@h-partners.com> # message auto-generated for no-merge-commit merge: !4826 merge fix_scatterPaKvCache_example into master fix scatterPaKvCache example Created-by: yu_qinfei Commit-by: yu_qinfei Merged-by: cann-robot Description: ## 描述 修复cann包中ScatterPaKvCache，ScatterPaCache, GatherPaKvCache算子原型缺失问题 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/2177 ## 测试 已跑st 用例，cann包中验证原型已存在 ## 文档更新 attention/scatter_pa_kv_cache/docs/aclnnScatterPaKvCache.md ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!482629 天前
scatter_pa_cache_proto.h
ScatterPaCache修改原型约束说明 Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !1973 merge master into master ScatterPaCache修改原型约束说明 Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ScatterPaCache修改原型约束说明 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/903 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了scatter_pa_cache_proto.h文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!19733 个月前