| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[refactor] add page attention cache management Co-authored-by: tian-ccs<tianjiayuan@huawei.com> # message auto-generated for no-merge-commit merge: !386 merge tnd_and_pa_backup into master [refactor] add page attention cache management Created-by: tian-ccs Commit-by: tian-ccs Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 本次PR属于重构内容，整体内容包括prefill和decode走packed sequence (TND)格式，以及kv-cache管理支持Page Attention功能两部分。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [x] 重构（即不是新增功能，也不是修改bug的代码变动） - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤，包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签（例如： feat, fix, refactor, docs, test） ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!386 | 1 个月前 | |
[refactor] add page attention cache management Co-authored-by: tian-ccs<tianjiayuan@huawei.com> # message auto-generated for no-merge-commit merge: !386 merge tnd_and_pa_backup into master [refactor] add page attention cache management Created-by: tian-ccs Commit-by: tian-ccs Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 本次PR属于重构内容，整体内容包括prefill和decode走packed sequence (TND)格式，以及kv-cache管理支持Page Attention功能两部分。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [x] 重构（即不是新增功能，也不是修改bug的代码变动） - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤，包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签（例如： feat, fix, refactor, docs, test） ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!386 | 1 个月前 | |
【feat】feat multi block_size in cache management Co-authored-by: tian-ccs<tianjiayuan@huawei.com> # message auto-generated for no-merge-commit merge: !536 merge mul_bs into master 【feat】feat multi block_size in cache management Created-by: tian-ccs Commit-by: tian-ccs Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 cache管理使能模型不同cache拥有不同的block_size。 修复框架force_eplb。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构（即不是新增功能，也不是修改bug的代码变动） - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤，包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签（例如： feat, fix, refactor, docs, test） ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!536 | 13 天前 | |
【feat】feat multi block_size in cache management Co-authored-by: tian-ccs<tianjiayuan@huawei.com> # message auto-generated for no-merge-commit merge: !536 merge mul_bs into master 【feat】feat multi block_size in cache management Created-by: tian-ccs Commit-by: tian-ccs Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 cache管理使能模型不同cache拥有不同的block_size。 修复框架force_eplb。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构（即不是新增功能，也不是修改bug的代码变动） - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤，包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签（例如： feat, fix, refactor, docs, test） ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!536 | 13 天前 | |
【feat】feat multi block_size in cache management Co-authored-by: tian-ccs<tianjiayuan@huawei.com> # message auto-generated for no-merge-commit merge: !536 merge mul_bs into master 【feat】feat multi block_size in cache management Created-by: tian-ccs Commit-by: tian-ccs Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 cache管理使能模型不同cache拥有不同的block_size。 修复框架force_eplb。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构（即不是新增功能，也不是修改bug的代码变动） - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤，包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签（例如： feat, fix, refactor, docs, test） ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!536 | 13 天前 | |
【feat】feat multi block_size in cache management Co-authored-by: tian-ccs<tianjiayuan@huawei.com> # message auto-generated for no-merge-commit merge: !536 merge mul_bs into master 【feat】feat multi block_size in cache management Created-by: tian-ccs Commit-by: tian-ccs Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 cache管理使能模型不同cache拥有不同的block_size。 修复框架force_eplb。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构（即不是新增功能，也不是修改bug的代码变动） - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤，包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签（例如： feat, fix, refactor, docs, test） ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!536 | 13 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 个月前 | ||
| 1 个月前 | ||
| 13 天前 | ||
| 13 天前 | ||
| 13 天前 | ||
| 13 天前 |