| vllm-ascend H2D加解密特性 Co-authored-by: songchanglin<songchanglin1@huawei.com> # message auto-generated for no-merge-commit merge: !336 merge master into master vllm-ascend H2D加解密特性 Created-by: LLg15448645 Commit-by: songchanglin Merged-by: towncharlie Description: ## **1. 合入背景** 针对移动需求开发的vllm-ascend推理过程中数据H2D加解密特性，通过对模型侧进行补丁，结合CANN加解密算子实现保护推理过程中H2D通信的输入输出信息(token、模型权重)的能力。 ## **2. 修改内容** 针对vllm-ascend 0.23.0 中token信息和模型权重信息的传输API，进行patch修改。接口名称不变，功能变为：host侧加密后走原始路径传输到device后解密。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 性能对比：开启加解密功能后和明文推理端到端性能村损耗在5%以内（TPOT、token吞吐率） ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [ ] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!336 | 29 天前 |
