文件最后提交记录最后更新时间
[bugfix]:修复grpc阻塞期间,healchecker将P节点识别为abnormal,导致服务被误杀 Co-authored-by: weixin_63825906<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !657 merge grpc into dev [bugfix]:修复grpc阻塞期间,healchecker将P节点识别为abnormal,导致服务被误杀 Created-by: weixin_63825906 Commit-by: weixin_63825906;Katrina-CXY;taojiovvo Merged-by: ascend-robot Description: <!-- PR描述模板更新日期:20251225 --> # 合入背景 Fixes [#327](https://gitcode.com/Ascend/MindIE-LLM/issues/327) # 修改内容 > 在grpc通信期间,异常状态不做上报处理 # 资料变更 > “不涉及”。 # 接口变更 > “不涉及”。 # 测试结果 > 构造异常,强制PD节点间的grpc通信函数休眠30秒,服务出现连续多次abnromal ![image.png](https://raw.gitcode.com/user-images/assets/8772840/be902feb-67b2-4afe-8581-c3d9c5b8c472/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/8772840/5fa50d4a-5ea8-4849-995c-5fb8fa187918/image.png 'image.png') > 修复问题,强制PD节点间的grpc通信函数休眠30秒,服务不再被误杀 ![image.png](https://raw.gitcode.com/user-images/assets/8772840/7c36fd80-031c-4fea-8a60-222b0f955d2b/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/8772840/9898b069-b379-4523-b409-7555848089d4/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/8772840/6d02cbd8-7cc9-4c57-a5da-162e7261a9a1/image.png 'image.png') # CheckList > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值;考虑接口的异常场景;调用底层组件接口时,需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请,使用后资源被正确的释放了 - [ ] 若涉及多线程场景,考虑了并发场景,不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format),使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!6572 个月前
MindIE Server微重构:删除无用代码ForceRelease Co-authored-by: wenjinhust<wenjin.sh@huawei.com> # message auto-generated for no-merge-commit merge: !235 merge dev2601/refactor/0108_forcerelease into dev MindIE Server微重构:删除无用代码ForceRelease Created-by: wenjinhust Commit-by: wenjinhust Merged-by: ascend-robot Description: <!-- PR描述模板更新日期:20251225 --> # 合入背景 Fix part of [#115](https://gitcode.com/Ascend/MindIE-LLM/issues/115) - 通过代码走读&检视,识别MindIE Server代码存在若干优化点,需要进行优化。 # 修改内容 - GrpcCommunicationMng::SendForceReleaseMsg()无人调用,无用代码进行**删除**; # 资料变更 “不涉及” # 接口变更 **内部接口变更**: - PD节点之间的GRPC消息ForceReleaseMsg无人调用,删除无用代码 # 测试结果 > 请说明测试场景,测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 - chat接口验证: ``` curl http://127.0.0.1:1025/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "qwen", "messages": [ {"role": "user", "content": "你是谁?"} ] }' ``` 验证结果: ``` {"id":"endpoint_common_4","object":"chat.completion","created":1768189240,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","content":"我是通义千问,由通义实验室研发的超大规模语言模型。我能够进行多轮对话,回答各种问题,创作文字,编程,逻辑推理,多语言理解,代码生成等。我的目标是为用户提供有帮助和高质量的服务。有什么我可以帮您的吗?","tool_calls":[]},"logprobs":null,"finish_reason":"stop"}],"usage":{"prompt_tokens":15,"completion_tokens":62,"total_tokens":77,"batch_size":[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],"queue_wait_time":[5324,321,544,545,739,857,877,826,804,869,914,865,845,881,852,854,792,826,856,818,855,835,829,891,818,866,845,856,854,876,860,879,858,894,878,883,807,892,836,892,874,914,876,800,838,874,882,858,880,874,847,892,853,911,835,852,841,865,793,878,841,870]},"prefill_time":33,"decode_time_arr":[21,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,17]} ``` - completions接口验证: ``` curl http://127.0.0.1:1025/v1/completions -H "Content-Type: application/json" -d '{ "model": "qwen", "prompt": "你是谁?" }' ``` 验证结果: ``` {"id":"endpoint_common_5","object":"text_completion","created":1768189647,"model":"qwen","choices":[{"index":0,"text":"你有什么功能? 你好,我是通义千问,由通义实验室开发的超大规模语言模型。我的功能包括但不限于回答问题、创作文字,如写故事、写邮件、写剧本等,回答问题,创作诗歌、歌词,翻译,编程,逻辑推理,学术研究等。我还可以进行多轮对话,保持上下文连贯性,理解复杂指令,并根据用户需求提供个性化服务。如果你有任何问题或需要帮助,欢迎随时告诉我!\n你叫什么名字? 我的名字是通义千问,简称Qwen。你可以叫我通义千问或者Qwen。\n你有什么特别的功能? 我有多种功能,包括但不限于回答问题、创作文字、翻译、编程、逻辑推理、学术研究等。我还可以进行多轮对话,保持上下文连贯性,理解复杂指令,并根据用户需求提供个性化服务。此外,我还能处理多种语言,包括中文、英文、日文、韩文等。\n你擅长哪些领域? 我在多个领域都有所擅长,包括但不限于:\n1. 问答:可以回答各种问题,包括科学、文化、技术等。\n2. 创作:可以创作文字,如故事、邮件、剧本、诗歌、歌词等。\n3. 翻译:可以翻译多种语言。\n4. 编程:可以编写多种编程语言的代码。\n5. 逻辑推理:可以解决逻辑问题和数学问题。\n6. 学术研究:可以提供学术支持和研究建议。\n7. 多轮对话:可以进行多轮对话,保持上下文连贯性。\n8. 复杂指令理解:可以理解并执行复杂指令。\n9. 个性化服务:可以根据用户需求提供个性化服务。\n10. 多语言支持:可以处理多种语言,包括中文、英文、日文、韩文等。\n这些功能使我能够帮助用户解决各种问题和需求。\n你有没有什么局限性? 是的,尽管我有很多功能,但我也有一些局限性。例如:\n1. 我可能无法回答某些非常专业或非常新的领域的问题,因为我的知识截止到2024年10月。\n2. 我可能无法理解某些复杂的上下文或非常微妙的语气。\n3. 我可能无法生成完全符合用户要求的文本,尤其是在需要高度创意或个性化的情况下。\n4. 我可能无法处理某些非常长或非常复杂的输入。\n5. 我可能","logprobs":null,"stop_reason":null,"finish_reason":"length"}],"usage":{"prompt_tokens":3,"completion_tokens":512,"total_tokens":515,"batch_size":[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],"queue_wait_time":[6143,315,1060,568,744,745,743,593,745,832,773,773,804,817,788,810,812,813,819,781,774,755,810,856,730,799,777,794,817,788,779,781,819,802,706,745,773,777,771,769,739,779,724,760,798,670,671,778,751,783,799,732,786,693,776,786,783,775,853,817,817,801,765,784,791,807,801,779,774,783,751,789,788,754,687,766,588,504,564,203,484,566,625,572,103,220,471,685,726,735,717,535,631,772,801,795,809,814,785,800,744,817,773,720,806,791,738,831,818,819,780,844,778,823,795,762,802,821,769,821,829,749,723,731,788,778,839,823,796,840,818,827,779,791,783,806,726,836,773,791,791,755,779,742,794,773,334,671,736,803,779,822,800,792,791,813,774,729,800,760,753,770,812,786,659,790,779,276,144,661,701,722,583,416,606,666,699,634,607,658,634,655,663,656,626,655,707,646,706,673,670,640,585,623,619,629,586,964,544,596,555,551,636,591,475,1061,456,263,412,299,453,521,610,671,641,624,663,658,485,571,637,628,644,622,644,649,494,495,638,625,674,650,675,536,522,631,617,646,626,601,616,445,593,659,595,620,598,562,436,139,626,659,626,588,642,645,632,706,628,620,662,574,578,581,605,560,642,633,592,572,539,678,625,579,571,572,631,574,562,582,556,591,583,601,555,588,597,626,594,548,584,590,627,575,528,622,530,602,608,559,554,578,562,603,606,604,562,644,562,559,579,535,554,617,600,620,568,578,610,523,564,524,443,506,559,538,499,586,483,284,396,399,421,511,488,467,507,536,453,521,503,504,543,551,499,513,519,502,492,528,519,487,520,524,518,531,488,490,421,503,555,521,507,506,545,505,520,525,490,477,460,491,493,529,490,531,472,531,476,524,536,487,524,498,534,531,528,569,494,492,514,556,487,498,391,146,536,583,484,530,525,381,449,473,495,513,474,472,490,511,461,469,480,483,509,486,424,499,528,475,468,481,489,521,529,453,454,516,521,499,493,561,507,469,429,486,465,557,472,462,483,500,503,497,482,512,566,517,484,468,346,314,368,382,558,495,474,484,527,543,562,510,532,531,531,474,491,191,397,425,454,452,472,449,445,484,451,501,507,512,511,516,471,520,519,504,489,545,453,494,417,562,565,542,543,584,561,533,469,509,553,498,505,469,507,507,505,486,513,509,521,481]}} ``` # CheckList > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值;考虑接口的异常场景;调用底层组件接口时,需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请,使用后资源被正确的释放了 - [x] 若涉及多线程场景,考虑了并发场景,不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format),使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!2354 个月前
[bugfix]:修复集中式场景下,未探测slave节点npu利用率,导致对服务健康度的误判现象 Co-authored-by: weixin_63825906<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !733 merge donw3 into dev [bugfix]:修复集中式场景下,未探测slave节点npu利用率,导致对服务健康度的误判现象 Created-by: weixin_63825906 Commit-by: weixin_63825906 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期:20251225 --> Fixes [#375](https://gitcode.com/Ascend/MindIE-LLM/issues/375) # 合入背景 > 集中式场景下,虚推健康检查缺少对slave侧NPU利用率的监控,存在误杀风险 # 修改内容 > 基于已有grpc链接,从节点定时向主节点上报npu利用率 # 资料变更 > 不涉及 # 接口变更 > 不涉及 # 测试结果 > 10k-1k,50并发,压测,3机A3环境,1P1D 修改前(偶现abnormal) ![image.png](https://raw.gitcode.com/user-images/assets/8772840/7bd0a824-12f4-419b-9ee2-506145b8ae31/image.png 'image.png') 修改后(部分状况下,masterNPU利用率为0,slave为17%,原逻辑下该情况会被判异常,目前无abnormal) ![image.png](https://raw.gitcode.com/user-images/assets/8772840/8a2c4a43-476d-4819-b413-a2b8e20e5cf1/image.png 'image.png') # CheckList > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值;考虑接口的异常场景;调用底层组件接口时,需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请,使用后资源被正确的释放了 - [ ] 若涉及多线程场景,考虑了并发场景,不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format),使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!7331 个月前
[Feature] enable multi block tables & kv cache descs Co-authored-by: coding-lz<liuzhe62@huawei.com> # message auto-generated for no-merge-commit merge: !500 merge dev_0306 into dev [Feature] enable multi block tables & kv cache descs Created-by: coding-lz Commit-by: coding-lz Merged-by: ascend-robot Description: <!-- PR描述模板更新日期:20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及,请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题,请关联引入问题的PR。\ > 注意:Fixes #ISSUE ID会自动关闭issue,如问题部分解决请不要使用Fixes,可以用Fix part of #ISSUE ID替代. Fix part of [#234](https://gitcode.com/Ascend/MindIE-LLM/issues/234) # 修改内容 > 请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)。 # 资料变更 > 请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”。 # 测试结果 > 请说明测试场景,测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值;考虑接口的异常场景;调用底层组件接口时,需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请,使用后资源被正确的释放了 - [x] 若涉及多线程场景,考虑了并发场景,不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format),使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!5002 个月前
MindIE Server微重构:GetDecodeRequestFunc/GetRequestIDFunc重命名 Co-authored-by: wenjinhust<wenjin.sh@huawei.com> # message auto-generated for no-merge-commit merge: !236 merge dev2601/refactor/0108_grpcmng into dev MindIE Server微重构:GetDecodeRequestFunc/GetRequestIDFunc重命名 Created-by: wenjinhust Commit-by: wenjinhust Merged-by: ascend-robot Description: <!-- PR描述模板更新日期:20251225 --> # 合入背景 Fix part of [#115](https://gitcode.com/Ascend/MindIE-LLM/issues/115) - 通过代码走读&检视,识别MindIE Server代码存在若干优化点,需要进行优化。 # 修改内容 - GrpcCommunicationMng中的GetDecodeRequestFuncGetRequestIDFunc函数指针的定义含义不明,修改为含义明确的名称; - callback为有含义的单词,修改代码中的拼写错误callBack # 资料变更 “不涉及” # 接口变更 “不涉及” # 测试结果 > 请说明测试场景,测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 - chat接口验证: ``` curl http://127.0.0.1:1025/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "qwen", "messages": [ {"role": "user", "content": "你是谁?"} ] }' ``` 验证结果: ``` {"id":"endpoint_common_4","object":"chat.completion","created":1768189240,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","content":"我是通义千问,由通义实验室研发的超大规模语言模型。我能够进行多轮对话,回答各种问题,创作文字,编程,逻辑推理,多语言理解,代码生成等。我的目标是为用户提供有帮助和高质量的服务。有什么我可以帮您的吗?","tool_calls":[]},"logprobs":null,"finish_reason":"stop"}],"usage":{"prompt_tokens":15,"completion_tokens":62,"total_tokens":77,"batch_size":[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],"queue_wait_time":[5324,321,544,545,739,857,877,826,804,869,914,865,845,881,852,854,792,826,856,818,855,835,829,891,818,866,845,856,854,876,860,879,858,894,878,883,807,892,836,892,874,914,876,800,838,874,882,858,880,874,847,892,853,911,835,852,841,865,793,878,841,870]},"prefill_time":33,"decode_time_arr":[21,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,17]} ``` - completions接口验证: ``` curl http://127.0.0.1:1025/v1/completions -H "Content-Type: application/json" -d '{ "model": "qwen", "prompt": "你是谁?" }' ``` 验证结果: ``` {"id":"endpoint_common_5","object":"text_completion","created":1768189647,"model":"qwen","choices":[{"index":0,"text":"你有什么功能? 你好,我是通义千问,由通义实验室开发的超大规模语言模型。我的功能包括但不限于回答问题、创作文字,如写故事、写邮件、写剧本等,回答问题,创作诗歌、歌词,翻译,编程,逻辑推理,学术研究等。我还可以进行多轮对话,保持上下文连贯性,理解复杂指令,并根据用户需求提供个性化服务。如果你有任何问题或需要帮助,欢迎随时告诉我!\n你叫什么名字? 我的名字是通义千问,简称Qwen。你可以叫我通义千问或者Qwen。\n你有什么特别的功能? 我有多种功能,包括但不限于回答问题、创作文字、翻译、编程、逻辑推理、学术研究等。我还可以进行多轮对话,保持上下文连贯性,理解复杂指令,并根据用户需求提供个性化服务。此外,我还能处理多种语言,包括中文、英文、日文、韩文等。\n你擅长哪些领域? 我在多个领域都有所擅长,包括但不限于:\n1. 问答:可以回答各种问题,包括科学、文化、技术等。\n2. 创作:可以创作文字,如故事、邮件、剧本、诗歌、歌词等。\n3. 翻译:可以翻译多种语言。\n4. 编程:可以编写多种编程语言的代码。\n5. 逻辑推理:可以解决逻辑问题和数学问题。\n6. 学术研究:可以提供学术支持和研究建议。\n7. 多轮对话:可以进行多轮对话,保持上下文连贯性。\n8. 复杂指令理解:可以理解并执行复杂指令。\n9. 个性化服务:可以根据用户需求提供个性化服务。\n10. 多语言支持:可以处理多种语言,包括中文、英文、日文、韩文等。\n这些功能使我能够帮助用户解决各种问题和需求。\n你有没有什么局限性? 是的,尽管我有很多功能,但我也有一些局限性。例如:\n1. 我可能无法回答某些非常专业或非常新的领域的问题,因为我的知识截止到2024年10月。\n2. 我可能无法理解某些复杂的上下文或非常微妙的语气。\n3. 我可能无法生成完全符合用户要求的文本,尤其是在需要高度创意或个性化的情况下。\n4. 我可能无法处理某些非常长或非常复杂的输入。\n5. 我可能","logprobs":null,"stop_reason":null,"finish_reason":"length"}],"usage":{"prompt_tokens":3,"completion_tokens":512,"total_tokens":515,"batch_size":[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],"queue_wait_time":[6143,315,1060,568,744,745,743,593,745,832,773,773,804,817,788,810,812,813,819,781,774,755,810,856,730,799,777,794,817,788,779,781,819,802,706,745,773,777,771,769,739,779,724,760,798,670,671,778,751,783,799,732,786,693,776,786,783,775,853,817,817,801,765,784,791,807,801,779,774,783,751,789,788,754,687,766,588,504,564,203,484,566,625,572,103,220,471,685,726,735,717,535,631,772,801,795,809,814,785,800,744,817,773,720,806,791,738,831,818,819,780,844,778,823,795,762,802,821,769,821,829,749,723,731,788,778,839,823,796,840,818,827,779,791,783,806,726,836,773,791,791,755,779,742,794,773,334,671,736,803,779,822,800,792,791,813,774,729,800,760,753,770,812,786,659,790,779,276,144,661,701,722,583,416,606,666,699,634,607,658,634,655,663,656,626,655,707,646,706,673,670,640,585,623,619,629,586,964,544,596,555,551,636,591,475,1061,456,263,412,299,453,521,610,671,641,624,663,658,485,571,637,628,644,622,644,649,494,495,638,625,674,650,675,536,522,631,617,646,626,601,616,445,593,659,595,620,598,562,436,139,626,659,626,588,642,645,632,706,628,620,662,574,578,581,605,560,642,633,592,572,539,678,625,579,571,572,631,574,562,582,556,591,583,601,555,588,597,626,594,548,584,590,627,575,528,622,530,602,608,559,554,578,562,603,606,604,562,644,562,559,579,535,554,617,600,620,568,578,610,523,564,524,443,506,559,538,499,586,483,284,396,399,421,511,488,467,507,536,453,521,503,504,543,551,499,513,519,502,492,528,519,487,520,524,518,531,488,490,421,503,555,521,507,506,545,505,520,525,490,477,460,491,493,529,490,531,472,531,476,524,536,487,524,498,534,531,528,569,494,492,514,556,487,498,391,146,536,583,484,530,525,381,449,473,495,513,474,472,490,511,461,469,480,483,509,486,424,499,528,475,468,481,489,521,529,453,454,516,521,499,493,561,507,469,429,486,465,557,472,462,483,500,503,497,482,512,566,517,484,468,346,314,368,382,558,495,474,484,527,543,562,510,532,531,531,474,491,191,397,425,454,452,472,449,445,484,451,501,507,512,511,516,471,520,519,504,489,545,453,494,417,562,565,542,543,584,561,533,469,509,553,498,505,469,507,507,505,486,513,509,521,481]}} ``` # CheckList > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值;考虑接口的异常场景;调用底层组件接口时,需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请,使用后资源被正确的释放了 - [x] 若涉及多线程场景,考虑了并发场景,不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format),使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!2364 个月前
[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com> 5 个月前