master

ascend-robot[fix] 结构化输出 请求参数允许 type:"text"

5226f62b创建于 4月21日历史提交

文件	最后提交记录	最后更新时间
CMakeLists.txt	修正循环依赖 Co-authored-by: lbr711<liuboru1@huawei.com> Co-authored-by: yangjinyang<yangjinyang5@huawei.com> # message auto-generated for no-merge-commit merge: !602 merge pr_03 into dev 修正循环依赖 Created-by: yangjinyang Commit-by: lbr711;yangjinyang Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 故障码上报功能位于server中，llm_engine中为了上报故障码直接将server的healthChecker.cpp加入编译llm_engine.so时源文件链接范畴，导致所有直接/间接依赖llm_engine.so的模块，都必须显示链接mindieservice_endpoint，否则找不到符号无法通过编译。 Fix part of #312 # 修改内容 原本内嵌于HealthChecker类中的错误队列功能抽取为独立的单例类ErrorQueue，实现了错误处理逻辑的集中化与解耦，提升了代码的模块化、可维护性，并为其他模块复用该功能奠定了基础 # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果    # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!602	2 个月前
custom_exception.h	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
mock_util.h	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_base64_util.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_dcmi_wrapper.cpp	[新需求] 虚推健康方案-dcmi接口原子能力 Co-authored-by: gaopeng<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !199 merge HealthChecker2 into dev [新需求] 虚推健康方案-dcmi接口原子能力 Created-by: weixin_63825906 Commit-by: gaopeng;weixin_63825906 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 修改内容 **修改简介** 查询NPU状态需要调用HDK的dcmi接口，直接引入链接库会增加编译依赖。通过dlopen动态加载链接库，避免编译依赖且不影响运行时调用。 dcmiWrapper类封装了DCMI C接口，提供调用dcmi接口的原子功能： 1. 动态链接libdcmi.so库并初始化dcmi接口 2. 查找与加载dcmi接口函数 3. 管理动态链接资源，避免内存泄露 编译解耦方案  # 资料变更 不涉及。 # 接口变更 不涉及。 # 测试结果 dcmi接口正常调用，正确查询到AiCore利用率  DT通过  fixes [#122](https://gitcode.com/Ascend/MindIE-LLM/issues/122) # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!199	4 个月前
test_dresult_event_dispatcher.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_event_dispatcher.cpp	[Bug-Report|缺陷反馈]: 共享内存在特性场景下不够用 Co-authored-by: jiangkaiqiang<jiangkaiqiang@huawei.com> # message auto-generated for no-merge-commit merge: !101 merge shm_dev into dev [Bug-Report|缺陷反馈]: 共享内存在特性场景下不够用 Created-by: jiangkaiqiang Commit-by: jiangkaiqiang Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #62 Fixes #71 Fixes #126 # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. 该场景仅受推理请求（特指Prefill）、KVtransfer请求发送的共享内存容量限制，因此拟仅提升请求发送对应的共享内存大小：单个 DP 占用的共享内存将从原 48MB（8MB×3 通道 ×2（发 + 收）），调整为 544MB（8MB×4 + 256MB + 256MB，其中 第一个256MB 为给推理请求（特指Prefill）发送单独配置的大规格共享内存，第二个256MB为给KVtransfer请求发送预留的），使用256Mb是为未来进一步支持更大规格做准备 2. 恢复流水线C++UT看护，解决本地UT执行BUG # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。  # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 测试用例通过  如果共享内存不够会报错  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!101	4 个月前
test_grpc_tls_function_expansion.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_http_rest_resource.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_https_server_helper.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_infer_param.cpp	[fix] 结构化输出 请求参数允许 type:"text" Co-authored-by: LinWei100<linwei100@huawei.com> # message auto-generated for no-merge-commit merge: !894 merge fix/text into dev [fix] 结构化输出 请求参数允许 type:"text" Created-by: LinWei100 Commit-by: LinWei100 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #523 # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. infer_param.cpp 放开参数校验中response_format 的 type允许范围，从json_object, json_schema放开为json_object, json_schema, **text** 。当text时，请求不写入response_format参数 2. single_req_infer_interface_base.cpp 参数校验场景启用结构化输出条件排除type: "text" # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 增加type: "text" 说明 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!894	1 个月前
test_parameters_checker.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_random_generator.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_sensitive_info_manager.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
test_threadpool_monitor.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前