0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robotfix: scatter_pa_cache not compiling
80329f3a创建于 2月10日历史提交
文件最后提交记录最后更新时间
config
add ScatterPaCache Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !1341 merge master into master add ScatterPaCache Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 add ScatterPaCache 背景 Pagedattention是当前Transformer大模型中节约KVCache内存，提升KVCACHE利用率的一个通用方案，在将当前step计算出来的Key和Value保存到KVCache中时，由于Pagedattention的方案中KVCache的内存是非连续的，所以需要将Key和Value离散的更新到对应的位置。 ScatterPaCache算子是单输入单输出的，相较于ScatterPaKvCache同时更新KeyCache和ValueCache，该算子只更新某一路Cache。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/699 ## 测试 功能测试、泛化测试Pass，UT全通过 ## 文档更新 添加了aclnn接口说明文档aclnnScatterPaCache.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!13413 个月前
CMakeLists.txt
fix: scatter_pa_cache not compiling Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !1632 merge master into master fix: scatter_pa_cache not compiling Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 修复scatter_pa_cache没有编译的问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/780 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 修复并装包后，cann包路径下可以找到kernel编译的.o文件，功能测试正常 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [X] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!16323 个月前
scatter_pa_cache_def.cpp
add ScatterPaCache Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !1341 merge master into master add ScatterPaCache Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 add ScatterPaCache 背景 Pagedattention是当前Transformer大模型中节约KVCache内存，提升KVCACHE利用率的一个通用方案，在将当前step计算出来的Key和Value保存到KVCache中时，由于Pagedattention的方案中KVCache的内存是非连续的，所以需要将Key和Value离散的更新到对应的位置。 ScatterPaCache算子是单输入单输出的，相较于ScatterPaKvCache同时更新KeyCache和ValueCache，该算子只更新某一路Cache。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/699 ## 测试 功能测试、泛化测试Pass，UT全通过 ## 文档更新 添加了aclnn接口说明文档aclnnScatterPaCache.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!13413 个月前
scatter_pa_cache_infershape.cpp
add ScatterPaCache Co-authored-by: fishing_artist<liuhuansheng1@h-partners.com> # message auto-generated for no-merge-commit merge: !1341 merge master into master add ScatterPaCache Created-by: fishing_artist Commit-by: fishing_artist Merged-by: cann-robot Description: ## 描述 add ScatterPaCache 背景 Pagedattention是当前Transformer大模型中节约KVCache内存，提升KVCACHE利用率的一个通用方案，在将当前step计算出来的Key和Value保存到KVCache中时，由于Pagedattention的方案中KVCache的内存是非连续的，所以需要将Key和Value离散的更新到对应的位置。 ScatterPaCache算子是单输入单输出的，相较于ScatterPaKvCache同时更新KeyCache和ValueCache，该算子只更新某一路Cache。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/699 ## 测试 功能测试、泛化测试Pass，UT全通过 ## 文档更新 添加了aclnn接口说明文档aclnnScatterPaCache.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!13413 个月前