master

ascend-robotmulti lora 获取base weight shape新增transpose判断

af8bdac3创建于 3月20日历史提交

文件	最后提交记录	最后更新时间
test_lora_layers.py	multi lora 获取base weight shape新增transpose判断 Co-authored-by: zch777<zhuangchenghao@huawei.com> # message auto-generated for no-merge-commit merge: !564 merge dev_local into dev multi lora 获取base weight shape新增transpose判断 Created-by: zch777 Commit-by: zch777 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. A2/A3机器，因未判断transpose，导致lora权重加载报错 Fixes #287 # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 lora layer获取base layer权重shape时，增加transpose type判断逻辑，判断权重是否转置。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 A2 qwen2.5 + multilora 精度测试 当前dev分支代码+PR修改  2.2.rc1商发版本  300Iduo qwen2.5 + multilora 精度测试 当前dev分支代码+PR修改  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!564	2 个月前
test_lora_manager.py	[新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Co-authored-by: zch777<zhuangchenghao@huawei.com> # message auto-generated for no-merge-commit merge: !142 merge local_dev into dev [新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Created-by: zch777 Commit-by: zch777 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 [新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Fixes #92 # 修改内容 CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora 1）新增mindie_llm/runtime/lora目录，新增 mindie_llm/runtime/lora/lora_layers.py, mindie_llm/runtime/lora/lora_manager.py, mindie_llm/runtime/lora/utils.py文件用于承载loralayer类，loramanager类。 2）新增mindie_llm/runtime/config/lora_config.py文件，用于承载loraconfig类。 3）新增mindie_llm/runtime/utils/singleton.py文件，用于承载singleton类。 4）新增examples/atb_models/atb_llm/utils/data/lora_adapter.py文件，用于承载loralayer和loramanager对接atb_graph的适配器类。 # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果 1、Qwen2.5-7B Instruct模型，测试CPP组图atb graph的multi lora特性，功能跑通无报错，且精度和性能达标，动态加载卸载lora功能正常。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!142	4 个月前
test_lora_utils.py	[新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Co-authored-by: zch777<zhuangchenghao@huawei.com> # message auto-generated for no-merge-commit merge: !142 merge local_dev into dev [新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Created-by: zch777 Commit-by: zch777 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 [新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Fixes #92 # 修改内容 CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora 1）新增mindie_llm/runtime/lora目录，新增 mindie_llm/runtime/lora/lora_layers.py, mindie_llm/runtime/lora/lora_manager.py, mindie_llm/runtime/lora/utils.py文件用于承载loralayer类，loramanager类。 2）新增mindie_llm/runtime/config/lora_config.py文件，用于承载loraconfig类。 3）新增mindie_llm/runtime/utils/singleton.py文件，用于承载singleton类。 4）新增examples/atb_models/atb_llm/utils/data/lora_adapter.py文件，用于承载loralayer和loramanager对接atb_graph的适配器类。 # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果 1、Qwen2.5-7B Instruct模型，测试CPP组图atb graph的multi lora特性，功能跑通无报错，且精度和性能达标，动态加载卸载lora功能正常。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!142	4 个月前