0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
ascend-robotascend-robotaclgraph 新增OOM异常拦截并转错误码
bb607532创建于 6 天前历史提交
文件最后提交记录最后更新时间
layerwise
边云协同推理特性，边侧一体机标卡场景下，新增边云同步各自npu信息功能以支持一体机标卡性能策略 Co-authored-by: zhangxiaoshan<zhangxiaoshan1@huawei.com> Co-authored-by: theroadtofree<hw.wangtongtong@huawei.com> Co-authored-by: Kisella<kisella@foxmail.com> # message auto-generated for no-merge-commit merge: !626 merge dev into dev 边云协同推理特性，边侧一体机标卡场景下，新增边云同步各自npu信息功能以支持一体机标卡性能策略 Created-by: theroadtofree Commit-by: theroadtofree;zhangxiaoshan;Kisella Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意：Fixes #335会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. 边云协同推理特性， 边侧为一体机（标准服务器+2张/4张910B标卡+独立网卡SP681），边侧标卡使用独立的网卡与云侧NPU直出网口通信。一体机边云特性推理性能优化需要感知边 、云的npu芯片类型和显存大小等。 ![image.png](https://raw.gitcode.com/user-images/assets/8772840/fc053ca9-1223-4a6c-a900-b15fb91656dc/image.png 'image.png') # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 边云协同推理特性，边侧一体机标卡场景下，系统预设不同npu组合的性能优化策略，服务拉起时，通过边云的控制通道传输本地的npu信息给对端， 然后选择对应的性能优化策略 ![image.png](https://raw.gitcode.com/user-images/assets/8772840/d896d51b-0934-4094-8e27-ee9ea3584e2e/image.png 'image.png') # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!6262 个月前
test_env.py
[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com> # message auto-generated for no-merge-commit merge: !7 merge dev into dev [dev]Synchronize code Created-by: forcekeng Commit-by: forcekeng Merged-by: ascend-robot Description: [dev]Synchronize code See merge request: Ascend/MindIE-LLM!75 个月前
test_error_code.py
aclgraph 新增OOM异常拦截并转错误码 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1024 merge A00256 into dev aclgraph 新增OOM异常拦截并转错误码 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 Fix part of #588 仿照 atb-models 捕获 OOM 异常转故障码的方式，在 aclgraph 代码路径上新增 OOM 异常拦截，使 OOM 场景下能够打出正确的错误码（MIE05E000006），便于定位和诊断。 # 修改内容 1. **新增 utils/decorators/exception_handler.py**：封装 @exception_handler 类装饰器，自动 wrap 目标方法并捕获 torch.OutOfMemoryError，打错误码日志后重抛为 RuntimeError 2. **model_runner_exp.py**：对 ModelRunnerExp 应用 @exception_handler 装饰器，拦截 forward() / compile() / load_weights() 中的 OOM 3. **error_code.py**：新增 ACL_GRAPH_OUT_OF_MEMORY = “MIE05E000006”；按编码前缀对 ErrorCode 枚举重新排序，提升可维护性 # 资料变更 不涉及。 # 接口变更 不涉及。 # 测试结果 ## 测试用例 01：HCCL OOM 异常 ### 触发方式 ```shell export HCCL_BUFFSIZE=200000 ``` ### 关键异常打屏 ```shell File "/usr/local/lib/python3.11/site-packages/mindie_llm/utils/decorators/exception_handler.py", line 38, in wrapper raise RuntimeError(f"{error_msg}. Error_code: {error_code}") from e RuntimeError: Device out of memory (OOM) reported by PyTorch, but it can possibly triggered by HCCL. Enable logs: export ASCEND_SLOG_PRINT_TO_STDOUT=1, export ASCEND_GLOBAL_LOG_LEVEL=3 to check if there's HCCL error messages. Error_code: MIE05E000006 Traceback (most recent call last): File "/usr/local/lib/python3.11/site-packages/mindie_llm/utils/decorators/exception_handler.py", line 26, in wrapper return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ ... torch.OutOfMemoryError: The Inner error is reported as above. The process exits for this inner error, and the current working operator name is aclnnDispatchFFNCombine. Since the operator is called asynchronously, the stacktrace may be inaccurate. If you want to get the accurate stacktrace, please set the environment variable ASCEND_LAUNCH_BLOCKING=1. Note: ASCEND_LAUNCH_BLOCKING=1 will force ops to run in synchronous mode, resulting in performance degradation. Please unset ASCEND_LAUNCH_BLOCKING in time after debugging. [ERROR] 2026-05-24-15:45:50 (PID:297309, Device:14, RankID:-1) ERR00100 PTA call acl api failed. [PID: 297309] 2026-05-24-15:45:50.987.747 Memory_Allocation_Failure(EL0004): Failed to allocate memory requested by HCCL module. Possible Cause: Available memory is insufficient. Solution: Close applications not in use. TraceBack (most recent call last): alloc memory failed, runtime result = 207001[FUNC:ReportCallError][FILE:log_inner.cpp][LINE:148] Failed to allocate [size:419431448576] bytes of NPU memory. Nnopbase fails to invoke the HcclAllocComResourceByTiling function of the hccl module. ret = 24, comm = 0xfff01a18be90. Check nnopbase::IndvHcclWrapper::GetInstance().HcclAllocComResourceByTiling(commHandle, stream, (op::internal::PtrCastTo<NnopbaseTilingData>(executor->args->tilingInfo.tilingData))->GetData(), &contextAddr) failed Check NnopbaseGetHcomResource(executor, stream) failed Check NnopbaseExecutorGetMc2Num(executor, stream, &argsAddr, &mc2Num) failed Check NnopbaseExecutorPrepareParamsExt(executor, stream) failed Check NnopbaseRunWithWorkspace(executor, stream, workspace, workspaceSize) failed ``` ## 测试用例 02：PTA OOM 异常 ### 触发方式 ```shell vim /usr/local/lib/python3.11/site-packages/mindie_llm/runtime/model_runner/model_runner_exp.py ``` ```python Returns: Logits tensor, or tuple of (logits, hidden_states) if speculative tokens enabled. """ # temp trigger OOM torch.zeros(1024 * 1024 * 1024 * 4, dtype=torch.float32, device=self.device) if self._kv_cache_info.check_diff(kv_caches): self._bind_kv_cache(kv_caches) ``` ### 关键异常日志 ```shell [2026-05-24 16:41:28,672] [334601] [281462080598432] [llm] [ERROR] [plugin_manager.py-299] : Error encountered in generate_token (trace_ids=[None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None]). trigger recovery or terminate inference thread. Error: Device out of memory (OOM) reported by PyTorch, but it can possibly triggered by HCCL. Enable logs: export ASCEND_SLOG_PRINT_TO_STDOUT=1, export ASCEND_GLOBAL_LOG_LEVEL=3 to check if there's HCCL error messages. Error_code: MIE05E000006 Traceback (most recent call last): File "/usr/local/lib/python3.11/site-packages/mindie_llm/utils/decorators/exception_handler.py", line 26, in wrapper return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/usr/local/lib/python3.11/site-packages/mindie_llm/runtime/model_runner/model_runner_exp.py", line 298, in forward torch.zeros(1024 * 1024 * 1024 * 4, dtype=torch.float32, device=self.device) torch.OutOfMemoryError: NPU out of memory. Tried to allocate 16.00 GiB (NPU 1; 61.28 GiB total capacity; 48.03 GiB already allocated; 48.03 GiB current active; 12.99 GiB free; 48.12 GiB reserved in total by PyTorch).If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. The above exception was the direct cause of the following exception: ... RuntimeError: Device out of memory (OOM) reported by PyTorch, but it can possibly triggered by HCCL. Enable logs: export ASCEND_SLOG_PRINT_TO_STDOUT=1, export ASCEND_GLOBAL_LOG_LEVEL=3 to check if there's HCCL error messages. Error_code: MIE05E000006 Traceback (most recent call last): ... ``` # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!10246 天前
test_exception_handler.py
aclgraph 新增OOM异常拦截并转错误码 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1024 merge A00256 into dev aclgraph 新增OOM异常拦截并转错误码 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 Fix part of #588 仿照 atb-models 捕获 OOM 异常转故障码的方式，在 aclgraph 代码路径上新增 OOM 异常拦截，使 OOM 场景下能够打出正确的错误码（MIE05E000006），便于定位和诊断。 # 修改内容 1. **新增 utils/decorators/exception_handler.py**：封装 @exception_handler 类装饰器，自动 wrap 目标方法并捕获 torch.OutOfMemoryError，打错误码日志后重抛为 RuntimeError 2. **model_runner_exp.py**：对 ModelRunnerExp 应用 @exception_handler 装饰器，拦截 forward() / compile() / load_weights() 中的 OOM 3. **error_code.py**：新增 ACL_GRAPH_OUT_OF_MEMORY = “MIE05E000006”；按编码前缀对 ErrorCode 枚举重新排序，提升可维护性 # 资料变更 不涉及。 # 接口变更 不涉及。 # 测试结果 ## 测试用例 01：HCCL OOM 异常 ### 触发方式 ```shell export HCCL_BUFFSIZE=200000 ``` ### 关键异常打屏 ```shell File "/usr/local/lib/python3.11/site-packages/mindie_llm/utils/decorators/exception_handler.py", line 38, in wrapper raise RuntimeError(f"{error_msg}. Error_code: {error_code}") from e RuntimeError: Device out of memory (OOM) reported by PyTorch, but it can possibly triggered by HCCL. Enable logs: export ASCEND_SLOG_PRINT_TO_STDOUT=1, export ASCEND_GLOBAL_LOG_LEVEL=3 to check if there's HCCL error messages. Error_code: MIE05E000006 Traceback (most recent call last): File "/usr/local/lib/python3.11/site-packages/mindie_llm/utils/decorators/exception_handler.py", line 26, in wrapper return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ ... torch.OutOfMemoryError: The Inner error is reported as above. The process exits for this inner error, and the current working operator name is aclnnDispatchFFNCombine. Since the operator is called asynchronously, the stacktrace may be inaccurate. If you want to get the accurate stacktrace, please set the environment variable ASCEND_LAUNCH_BLOCKING=1. Note: ASCEND_LAUNCH_BLOCKING=1 will force ops to run in synchronous mode, resulting in performance degradation. Please unset ASCEND_LAUNCH_BLOCKING in time after debugging. [ERROR] 2026-05-24-15:45:50 (PID:297309, Device:14, RankID:-1) ERR00100 PTA call acl api failed. [PID: 297309] 2026-05-24-15:45:50.987.747 Memory_Allocation_Failure(EL0004): Failed to allocate memory requested by HCCL module. Possible Cause: Available memory is insufficient. Solution: Close applications not in use. TraceBack (most recent call last): alloc memory failed, runtime result = 207001[FUNC:ReportCallError][FILE:log_inner.cpp][LINE:148] Failed to allocate [size:419431448576] bytes of NPU memory. Nnopbase fails to invoke the HcclAllocComResourceByTiling function of the hccl module. ret = 24, comm = 0xfff01a18be90. Check nnopbase::IndvHcclWrapper::GetInstance().HcclAllocComResourceByTiling(commHandle, stream, (op::internal::PtrCastTo<NnopbaseTilingData>(executor->args->tilingInfo.tilingData))->GetData(), &contextAddr) failed Check NnopbaseGetHcomResource(executor, stream) failed Check NnopbaseExecutorGetMc2Num(executor, stream, &argsAddr, &mc2Num) failed Check NnopbaseExecutorPrepareParamsExt(executor, stream) failed Check NnopbaseRunWithWorkspace(executor, stream, workspace, workspaceSize) failed ``` ## 测试用例 02：PTA OOM 异常 ### 触发方式 ```shell vim /usr/local/lib/python3.11/site-packages/mindie_llm/runtime/model_runner/model_runner_exp.py ``` ```python Returns: Logits tensor, or tuple of (logits, hidden_states) if speculative tokens enabled. """ # temp trigger OOM torch.zeros(1024 * 1024 * 1024 * 4, dtype=torch.float32, device=self.device) if self._kv_cache_info.check_diff(kv_caches): self._bind_kv_cache(kv_caches) ``` ### 关键异常日志 ```shell [2026-05-24 16:41:28,672] [334601] [281462080598432] [llm] [ERROR] [plugin_manager.py-299] : Error encountered in generate_token (trace_ids=[None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None]). trigger recovery or terminate inference thread. Error: Device out of memory (OOM) reported by PyTorch, but it can possibly triggered by HCCL. Enable logs: export ASCEND_SLOG_PRINT_TO_STDOUT=1, export ASCEND_GLOBAL_LOG_LEVEL=3 to check if there's HCCL error messages. Error_code: MIE05E000006 Traceback (most recent call last): File "/usr/local/lib/python3.11/site-packages/mindie_llm/utils/decorators/exception_handler.py", line 26, in wrapper return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/usr/local/lib/python3.11/site-packages/mindie_llm/runtime/model_runner/model_runner_exp.py", line 298, in forward torch.zeros(1024 * 1024 * 1024 * 4, dtype=torch.float32, device=self.device) torch.OutOfMemoryError: NPU out of memory. Tried to allocate 16.00 GiB (NPU 1; 61.28 GiB total capacity; 48.03 GiB already allocated; 48.03 GiB current active; 12.99 GiB free; 48.12 GiB reserved in total by PyTorch).If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. The above exception was the direct cause of the following exception: ... RuntimeError: Device out of memory (OOM) reported by PyTorch, but it can possibly triggered by HCCL. Enable logs: export ASCEND_SLOG_PRINT_TO_STDOUT=1, export ASCEND_GLOBAL_LOG_LEVEL=3 to check if there's HCCL error messages. Error_code: MIE05E000006 Traceback (most recent call last): ... ``` # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!10246 天前
test_file_utils.py
[新需求] MindIE python侧日志组件归一与分文件保存 Co-authored-by: dongyubin<19800362117@163.com> Co-authored-by: Katrina-CXY<chenxinyi20@huawei.com> # message auto-generated for no-merge-commit merge: !144 merge per_log into dev [新需求] MindIE python侧日志组件归一与分文件保存 Created-by: dongyubin1 Commit-by: dongyubin;Katrina-CXY Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 MindIE Python侧日志重构 1、实现python侧llm组件和llmmodels组件的日志归一。 2、实现python侧支持不同日志阶段分文件保存日志内容。 3、修复日志轮转bug ‘Fixes [#95](https://gitcode.com/Ascend/MindIE-LLM/issues/95) ’ # 修改内容 > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 涉及： 需要澄清MINDIE_LOG_ROTATE优先级高于PYTHON_LOG_MAXSIZE 新增日志文档：https://gitcode.com/Ascend/MindIE-LLM/pull/98 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。 # 测试结果 1. 测试日志功能： 验证服务化和纯模型场景下，以下环境变量是否生效 - [x] MINDIE_LOG_LEVEL (区分组件) - [x] MINDIE_LOG_TO_STDOUT (区分组件) - [x] MINDIE_LOG_TO_FILE (区分组件) - [x] MINDIE_LOG_PATH (区分组件) - [x] MINDIE_LOG_VERBOSE (区分组件) - [x] MINDIE_LOG_ROTATE (区分组件) - [x] PYTHON_LOG_MAXSIZE（只设置这个） - [x] PYTHON_LOG_MAXSIZE和MINDIE_LOG_ROTATE一起设置（MINDIE_LOG_ROTATE优先） - [x] TOKEN固定的轮转配置且不打屏 - [x] 验证服务化场景下，token日志和llm-tokenizer日志行为和之前是否保持一致 - [x] 新增日志相关docs说明（包含以上环境变量如何使用） - [x] 确认error和critical级别的errorcode正常打印了 2. 测试性能：qwen3-32b [3.5k, 1.5k] gsm8k dev分支代码： Output Token Throughput  │ total   │ 1040.6903 token/s │ pr分支代码： Output Token Throughput  │ total   │ 1041.2427 token/s │ # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1444 个月前
test_log.py
[新需求] MindIE python侧日志组件归一与分文件保存 Co-authored-by: dongyubin<19800362117@163.com> Co-authored-by: Katrina-CXY<chenxinyi20@huawei.com> # message auto-generated for no-merge-commit merge: !144 merge per_log into dev [新需求] MindIE python侧日志组件归一与分文件保存 Created-by: dongyubin1 Commit-by: dongyubin;Katrina-CXY Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 MindIE Python侧日志重构 1、实现python侧llm组件和llmmodels组件的日志归一。 2、实现python侧支持不同日志阶段分文件保存日志内容。 3、修复日志轮转bug ‘Fixes [#95](https://gitcode.com/Ascend/MindIE-LLM/issues/95) ’ # 修改内容 > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 涉及： 需要澄清MINDIE_LOG_ROTATE优先级高于PYTHON_LOG_MAXSIZE 新增日志文档：https://gitcode.com/Ascend/MindIE-LLM/pull/98 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。 # 测试结果 1. 测试日志功能： 验证服务化和纯模型场景下，以下环境变量是否生效 - [x] MINDIE_LOG_LEVEL (区分组件) - [x] MINDIE_LOG_TO_STDOUT (区分组件) - [x] MINDIE_LOG_TO_FILE (区分组件) - [x] MINDIE_LOG_PATH (区分组件) - [x] MINDIE_LOG_VERBOSE (区分组件) - [x] MINDIE_LOG_ROTATE (区分组件) - [x] PYTHON_LOG_MAXSIZE（只设置这个） - [x] PYTHON_LOG_MAXSIZE和MINDIE_LOG_ROTATE一起设置（MINDIE_LOG_ROTATE优先） - [x] TOKEN固定的轮转配置且不打屏 - [x] 验证服务化场景下，token日志和llm-tokenizer日志行为和之前是否保持一致 - [x] 新增日志相关docs说明（包含以上环境变量如何使用） - [x] 确认error和critical级别的errorcode正常打印了 2. 测试性能：qwen3-32b [3.5k, 1.5k] gsm8k dev分支代码： Output Token Throughput  │ total   │ 1040.6903 token/s │ pr分支代码： Output Token Throughput  │ total   │ 1041.2427 token/s │ # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1444 个月前
test_log_base.py
[新需求] MindIE python侧日志组件归一与分文件保存 Co-authored-by: dongyubin<19800362117@163.com> Co-authored-by: Katrina-CXY<chenxinyi20@huawei.com> # message auto-generated for no-merge-commit merge: !144 merge per_log into dev [新需求] MindIE python侧日志组件归一与分文件保存 Created-by: dongyubin1 Commit-by: dongyubin;Katrina-CXY Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 MindIE Python侧日志重构 1、实现python侧llm组件和llmmodels组件的日志归一。 2、实现python侧支持不同日志阶段分文件保存日志内容。 3、修复日志轮转bug ‘Fixes [#95](https://gitcode.com/Ascend/MindIE-LLM/issues/95) ’ # 修改内容 > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 涉及： 需要澄清MINDIE_LOG_ROTATE优先级高于PYTHON_LOG_MAXSIZE 新增日志文档：https://gitcode.com/Ascend/MindIE-LLM/pull/98 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。 # 测试结果 1. 测试日志功能： 验证服务化和纯模型场景下，以下环境变量是否生效 - [x] MINDIE_LOG_LEVEL (区分组件) - [x] MINDIE_LOG_TO_STDOUT (区分组件) - [x] MINDIE_LOG_TO_FILE (区分组件) - [x] MINDIE_LOG_PATH (区分组件) - [x] MINDIE_LOG_VERBOSE (区分组件) - [x] MINDIE_LOG_ROTATE (区分组件) - [x] PYTHON_LOG_MAXSIZE（只设置这个） - [x] PYTHON_LOG_MAXSIZE和MINDIE_LOG_ROTATE一起设置（MINDIE_LOG_ROTATE优先） - [x] TOKEN固定的轮转配置且不打屏 - [x] 验证服务化场景下，token日志和llm-tokenizer日志行为和之前是否保持一致 - [x] 新增日志相关docs说明（包含以上环境变量如何使用） - [x] 确认error和critical级别的errorcode正常打印了 2. 测试性能：qwen3-32b [3.5k, 1.5k] gsm8k dev分支代码： Output Token Throughput  │ total   │ 1040.6903 token/s │ pr分支代码： Output Token Throughput  │ total   │ 1041.2427 token/s │ # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1444 个月前
test_log_utils.py
[新需求] MindIE python侧日志组件归一与分文件保存 Co-authored-by: dongyubin<19800362117@163.com> Co-authored-by: Katrina-CXY<chenxinyi20@huawei.com> # message auto-generated for no-merge-commit merge: !144 merge per_log into dev [新需求] MindIE python侧日志组件归一与分文件保存 Created-by: dongyubin1 Commit-by: dongyubin;Katrina-CXY Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 MindIE Python侧日志重构 1、实现python侧llm组件和llmmodels组件的日志归一。 2、实现python侧支持不同日志阶段分文件保存日志内容。 3、修复日志轮转bug ‘Fixes [#95](https://gitcode.com/Ascend/MindIE-LLM/issues/95) ’ # 修改内容 > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 涉及： 需要澄清MINDIE_LOG_ROTATE优先级高于PYTHON_LOG_MAXSIZE 新增日志文档：https://gitcode.com/Ascend/MindIE-LLM/pull/98 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。 # 测试结果 1. 测试日志功能： 验证服务化和纯模型场景下，以下环境变量是否生效 - [x] MINDIE_LOG_LEVEL (区分组件) - [x] MINDIE_LOG_TO_STDOUT (区分组件) - [x] MINDIE_LOG_TO_FILE (区分组件) - [x] MINDIE_LOG_PATH (区分组件) - [x] MINDIE_LOG_VERBOSE (区分组件) - [x] MINDIE_LOG_ROTATE (区分组件) - [x] PYTHON_LOG_MAXSIZE（只设置这个） - [x] PYTHON_LOG_MAXSIZE和MINDIE_LOG_ROTATE一起设置（MINDIE_LOG_ROTATE优先） - [x] TOKEN固定的轮转配置且不打屏 - [x] 验证服务化场景下，token日志和llm-tokenizer日志行为和之前是否保持一致 - [x] 新增日志相关docs说明（包含以上环境变量如何使用） - [x] 确认error和critical级别的errorcode正常打印了 2. 测试性能：qwen3-32b [3.5k, 1.5k] gsm8k dev分支代码： Output Token Throughput  │ total   │ 1040.6903 token/s │ pr分支代码： Output Token Throughput  │ total   │ 1041.2427 token/s │ # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1444 个月前
test_time_decorator.py
[新需求] MindIE python侧日志组件归一与分文件保存 Co-authored-by: dongyubin<19800362117@163.com> Co-authored-by: Katrina-CXY<chenxinyi20@huawei.com> # message auto-generated for no-merge-commit merge: !144 merge per_log into dev [新需求] MindIE python侧日志组件归一与分文件保存 Created-by: dongyubin1 Commit-by: dongyubin;Katrina-CXY Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 MindIE Python侧日志重构 1、实现python侧llm组件和llmmodels组件的日志归一。 2、实现python侧支持不同日志阶段分文件保存日志内容。 3、修复日志轮转bug ‘Fixes [#95](https://gitcode.com/Ascend/MindIE-LLM/issues/95) ’ # 修改内容 > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 涉及： 需要澄清MINDIE_LOG_ROTATE优先级高于PYTHON_LOG_MAXSIZE 新增日志文档：https://gitcode.com/Ascend/MindIE-LLM/pull/98 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。 # 测试结果 1. 测试日志功能： 验证服务化和纯模型场景下，以下环境变量是否生效 - [x] MINDIE_LOG_LEVEL (区分组件) - [x] MINDIE_LOG_TO_STDOUT (区分组件) - [x] MINDIE_LOG_TO_FILE (区分组件) - [x] MINDIE_LOG_PATH (区分组件) - [x] MINDIE_LOG_VERBOSE (区分组件) - [x] MINDIE_LOG_ROTATE (区分组件) - [x] PYTHON_LOG_MAXSIZE（只设置这个） - [x] PYTHON_LOG_MAXSIZE和MINDIE_LOG_ROTATE一起设置（MINDIE_LOG_ROTATE优先） - [x] TOKEN固定的轮转配置且不打屏 - [x] 验证服务化场景下，token日志和llm-tokenizer日志行为和之前是否保持一致 - [x] 新增日志相关docs说明（包含以上环境变量如何使用） - [x] 确认error和critical级别的errorcode正常打印了 2. 测试性能：qwen3-32b [3.5k, 1.5k] gsm8k dev分支代码： Output Token Throughput  │ total   │ 1040.6903 token/s │ pr分支代码： Output Token Throughput  │ total   │ 1041.2427 token/s │ # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1444 个月前