0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robotGatherPaKvCache支持非连续
b823d444创建于 3 天前历史提交
文件最后提交记录最后更新时间
config
GatherPaKvCache支持float8_e4m3fn的key和bfloat16的value Co-authored-by: gt0cd001<ranzherui@huawei.com> # message auto-generated for no-merge-commit merge: !3081 merge feature_gather_pa_kv_cache into master GatherPaKvCache支持float8_e4m3fn的key和bfloat16的value Created-by: gt0cd001 Commit-by: gt0cd001 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> [#2120](https://gitcode.com/cann/ops-transformer/pull/2120)已实现GatherPaKvCache支持key和value不同数据类型，但是gather_pa_kv_cache_def.cpp和gather_pa_kv_cache_binary.json限制了算子支持的数据类型，需要修改def和json增加支持float8_e4m3fn-bfloat16数据类型组合。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1384 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> CI、算子泛化、二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!30812 个月前
op_api
GatherPaKvCache支持非连续 Co-authored-by: BIGWHITETEETH<jingruiyang@huawei.com> # message auto-generated for no-merge-commit merge: !5502 merge master into master GatherPaKvCache支持非连续 Created-by: BIGWHITETEETH Commit-by: BIGWHITETEETH Merged-by: cann-robot Description: ## 描述 支持keyCache/valueCache的blockNum、blockSize、N三根轴非连续，以及key/value输出的B、S轴非连续。NZ格式支持D轴前面维度非连续。 ## 关联的Issue [2786](https://gitcode.com/cann/ops-transformer/issues/2786) ## 测试 已经过冒烟和自测 ## 文档更新 更新了aclnnGatherPaKvCache.md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!55023 天前
CMakeLists.txt
GatherPaKvCache支持非连续 Co-authored-by: BIGWHITETEETH<jingruiyang@huawei.com> # message auto-generated for no-merge-commit merge: !5502 merge master into master GatherPaKvCache支持非连续 Created-by: BIGWHITETEETH Commit-by: BIGWHITETEETH Merged-by: cann-robot Description: ## 描述 支持keyCache/valueCache的blockNum、blockSize、N三根轴非连续，以及key/value输出的B、S轴非连续。NZ格式支持D轴前面维度非连续。 ## 关联的Issue [2786](https://gitcode.com/cann/ops-transformer/issues/2786) ## 测试 已经过冒烟和自测 ## 文档更新 更新了aclnnGatherPaKvCache.md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!55023 天前
gather_pa_kv_cache_def.cpp
GatherPaKvCache支持float8_e4m3fn的key和bfloat16的value Co-authored-by: gt0cd001<ranzherui@huawei.com> # message auto-generated for no-merge-commit merge: !3081 merge feature_gather_pa_kv_cache into master GatherPaKvCache支持float8_e4m3fn的key和bfloat16的value Created-by: gt0cd001 Commit-by: gt0cd001 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> [#2120](https://gitcode.com/cann/ops-transformer/pull/2120)已实现GatherPaKvCache支持key和value不同数据类型，但是gather_pa_kv_cache_def.cpp和gather_pa_kv_cache_binary.json限制了算子支持的数据类型，需要修改def和json增加支持float8_e4m3fn-bfloat16数据类型组合。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1384 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> CI、算子泛化、二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!30812 个月前
gather_pa_kv_cache_infershape.cpp
匹配最新cann版本，上线新版本attention/ffn/moe/posembedding算子 Co-authored-by: huangchuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !538 merge master into master 匹配最新cann版本，上线新版本attention/ffn/moe/posembedding算子 Created-by: huang-chuhong Commit-by: huangchuhong Merged-by: cann-robot Description: ## 描述 transformer 同步算子最新开发，涉及attention/ffn/moe/posembedding ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/315 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!5385 个月前
gather_pa_kv_cache_tiling.cpp
匹配最新cann版本，上线新版本attention/ffn/moe/posembedding算子 Co-authored-by: huangchuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !538 merge master into master 匹配最新cann版本，上线新版本attention/ffn/moe/posembedding算子 Created-by: huang-chuhong Commit-by: huangchuhong Merged-by: cann-robot Description: ## 描述 transformer 同步算子最新开发，涉及attention/ffn/moe/posembedding ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/315 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!5385 个月前
gather_pa_kv_cache_tiling.h
GatherPaKvCache支持非连续 Co-authored-by: BIGWHITETEETH<jingruiyang@huawei.com> # message auto-generated for no-merge-commit merge: !5502 merge master into master GatherPaKvCache支持非连续 Created-by: BIGWHITETEETH Commit-by: BIGWHITETEETH Merged-by: cann-robot Description: ## 描述 支持keyCache/valueCache的blockNum、blockSize、N三根轴非连续，以及key/value输出的B、S轴非连续。NZ格式支持D轴前面维度非连续。 ## 关联的Issue [2786](https://gitcode.com/cann/ops-transformer/issues/2786) ## 测试 已经过冒烟和自测 ## 文档更新 更新了aclnnGatherPaKvCache.md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!55023 天前
gather_pa_kv_cache_tiling_arch35.cpp
GatherPaKvCache支持非连续 Co-authored-by: BIGWHITETEETH<jingruiyang@huawei.com> # message auto-generated for no-merge-commit merge: !5502 merge master into master GatherPaKvCache支持非连续 Created-by: BIGWHITETEETH Commit-by: BIGWHITETEETH Merged-by: cann-robot Description: ## 描述 支持keyCache/valueCache的blockNum、blockSize、N三根轴非连续，以及key/value输出的B、S轴非连续。NZ格式支持D轴前面维度非连续。 ## 关联的Issue [2786](https://gitcode.com/cann/ops-transformer/issues/2786) ## 测试 已经过冒烟和自测 ## 文档更新 更新了aclnnGatherPaKvCache.md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!55023 天前