0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
ascend-robotascend-robot[feat]新增device_utils和affinity，为aclgraph提供硬件信息查询能力和cpu绑核能力
b3205a37创建于 1月8日历史提交
文件最后提交记录最后更新时间
test_configuration_utils.py
[feat]新增device_utils和affinity，为aclgraph提供硬件信息查询能力和cpu绑核能力 Co-authored-by: zhaokerui<zhaokerui@huawei.com> # message auto-generated for no-merge-commit merge: !175 merge move_aff into dev [feat]新增device_utils和affinity，为aclgraph提供硬件信息查询能力和cpu绑核能力 Created-by: zhaokerui Commit-by: zhaokerui Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > Fixes#104 # 修改内容 > 1. 新增affinity.py开放bind_cpus(ratio: float)接口提供绑核能力 > 2. 优化npu_utils模块，把原来在PlatformInfo中支持的接口移动至_NPUNodeInfo，新增visible_device_ids， get_device_info_map， get_pcie_info接口，并把单例类改成私有，须使用get_npu_node_info访问单例。 > 3. 新增get_npu_hbm_info 接口访问_NPUHbmInfo单例。 > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 不涉及 # 接口变更 > 不涉及 # 测试结果 > aclgraph qwen3，dsv3.2功能验证完成 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1754 个月前
test_huggingface_config.py
[新需求] 新增aclgraph独立工具类 Co-authored-by: Dawn952<zhaojunbo13@huawei.com> # message auto-generated for no-merge-commit merge: !160 merge independent_utils_and_files into dev [新需求] 新增aclgraph独立工具类 Created-by: Dawn952 Commit-by: Dawn952 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 补充aclgraph需要的工具文件。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #103 # 修改内容 > 新增了hf.py 用于做huggingface相关校验；新增了url.py 用于屏蔽报错信息中的url信息； 新增了models.__init__ 作为model_runner调用的入口； 新增load_config.py 提供LoadConfig类型； 修改了huggingface_config.py 增加部分参数定义，增加校验。 # 资料变更 > 不涉及。 # 接口变更 > 不涉及。 # 测试结果 > 在aclgraph联调分支完成验证。\ - DeepSeek-V3.2-1201-w8a8 A3 16卡 ``` curl -curl -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{ "model": "ds_v3.2", "prompt": "What is the best model in China", "stream": false, "ignore_eos": false, "max_tokens": 132 }' http://141.61.105.118:1025/v1/completions {"id":"endpoint_common_1","object":"text_completion","created":1767753398,"model":"ds_v3.2","choices":[{"index":0,"text":"? In Taiwan? In New Zealand? In Canada? In\nJapan? In the United States? In Israel? In Singapore?\n\nSome of the answers to these questions have to be in the form of what the\nbest model of government and governance is in each country.\n\nThe best model is that one which will yield in the country the best\nconditions, the best environment, the best system, the best results, the best\noutputs, the best outcomes.\n\nThe best model is that one which will yield in the country the best\nconditions, the best environment, the best system, the best results, the best\noutputs, the best outcomes for","logprobs":null,"stop_reason":null,"finish_reason":"length"}],"usage":{"prompt_tokens":7,"prompt_tokens_details":{"cached_tokens":0},"completion_tokens":132,"completion_tokens_details":{"reasoning_tokens":0},"total_tokens":139,"batch_size":[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],"queue_wait_time":[1024,965,627,1176,1169,783,1111,1054,1361,1186,980,765,1205,1774,1215,569,1151,695,706,594,877,1185,626,873,1016,201,575,851,1719,1085,985,1165,989,765,799,384,375,1004,1035,1127,307,816,883,1515,720,820,982,1472,898,1189,640,820,1200,630,2329,443,1010,692,908,1090,1019,1173,518,796,810,935,1498,1197,651,1243,1143,783,771,1108,667,473,1200,1112]}} ``` # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1604 个月前
test_load_config.py
[新需求] 新增aclgraph独立工具类 Co-authored-by: Dawn952<zhaojunbo13@huawei.com> # message auto-generated for no-merge-commit merge: !160 merge independent_utils_and_files into dev [新需求] 新增aclgraph独立工具类 Created-by: Dawn952 Commit-by: Dawn952 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 补充aclgraph需要的工具文件。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #103 # 修改内容 > 新增了hf.py 用于做huggingface相关校验；新增了url.py 用于屏蔽报错信息中的url信息； 新增了models.__init__ 作为model_runner调用的入口； 新增load_config.py 提供LoadConfig类型； 修改了huggingface_config.py 增加部分参数定义，增加校验。 # 资料变更 > 不涉及。 # 接口变更 > 不涉及。 # 测试结果 > 在aclgraph联调分支完成验证。\ - DeepSeek-V3.2-1201-w8a8 A3 16卡 ``` curl -curl -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{ "model": "ds_v3.2", "prompt": "What is the best model in China", "stream": false, "ignore_eos": false, "max_tokens": 132 }' http://141.61.105.118:1025/v1/completions {"id":"endpoint_common_1","object":"text_completion","created":1767753398,"model":"ds_v3.2","choices":[{"index":0,"text":"? In Taiwan? In New Zealand? In Canada? In\nJapan? In the United States? In Israel? In Singapore?\n\nSome of the answers to these questions have to be in the form of what the\nbest model of government and governance is in each country.\n\nThe best model is that one which will yield in the country the best\nconditions, the best environment, the best system, the best results, the best\noutputs, the best outcomes.\n\nThe best model is that one which will yield in the country the best\nconditions, the best environment, the best system, the best results, the best\noutputs, the best outcomes for","logprobs":null,"stop_reason":null,"finish_reason":"length"}],"usage":{"prompt_tokens":7,"prompt_tokens_details":{"cached_tokens":0},"completion_tokens":132,"completion_tokens_details":{"reasoning_tokens":0},"total_tokens":139,"batch_size":[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],"queue_wait_time":[1024,965,627,1176,1169,783,1111,1054,1361,1186,980,765,1205,1774,1215,569,1151,695,706,594,877,1185,626,873,1016,201,575,851,1719,1085,985,1165,989,765,799,384,375,1004,1035,1127,307,816,883,1515,720,820,982,1472,898,1189,640,820,1200,630,2329,443,1010,692,908,1090,1019,1173,518,796,810,935,1498,1197,651,1243,1143,783,771,1108,667,473,1200,1112]}} ``` # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1604 个月前
test_lora_config.py
[新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Co-authored-by: zch777<zhuangchenghao@huawei.com> # message auto-generated for no-merge-commit merge: !142 merge local_dev into dev [新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Created-by: zch777 Commit-by: zch777 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 [新需求]: CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora Fixes #92 # 修改内容 CPP组图atb graph：基于新的权重加载方式支持multi lora，动态lora 1）新增mindie_llm/runtime/lora目录，新增 mindie_llm/runtime/lora/lora_layers.py, mindie_llm/runtime/lora/lora_manager.py, mindie_llm/runtime/lora/utils.py文件用于承载loralayer类，loramanager类。 2）新增mindie_llm/runtime/config/lora_config.py文件，用于承载loraconfig类。 3）新增mindie_llm/runtime/utils/singleton.py文件，用于承载singleton类。 4）新增examples/atb_models/atb_llm/utils/data/lora_adapter.py文件，用于承载loralayer和loramanager对接atb_graph的适配器类。 # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果 1、Qwen2.5-7B Instruct模型，测试CPP组图atb graph的multi lora特性，功能跑通无报错，且精度和性能达标，动态加载卸载lora功能正常。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1424 个月前
test_mindie_llm_config.py
[feat]新增device_utils和affinity，为aclgraph提供硬件信息查询能力和cpu绑核能力 Co-authored-by: zhaokerui<zhaokerui@huawei.com> # message auto-generated for no-merge-commit merge: !175 merge move_aff into dev [feat]新增device_utils和affinity，为aclgraph提供硬件信息查询能力和cpu绑核能力 Created-by: zhaokerui Commit-by: zhaokerui Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > Fixes#104 # 修改内容 > 1. 新增affinity.py开放bind_cpus(ratio: float)接口提供绑核能力 > 2. 优化npu_utils模块，把原来在PlatformInfo中支持的接口移动至_NPUNodeInfo，新增visible_device_ids， get_device_info_map， get_pcie_info接口，并把单例类改成私有，须使用get_npu_node_info访问单例。 > 3. 新增get_npu_hbm_info 接口访问_NPUHbmInfo单例。 > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 不涉及 # 接口变更 > 不涉及 # 测试结果 > aclgraph qwen3，dsv3.2功能验证完成 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1754 个月前