已合并
vllm-ascend H2D加解密特性 #336
LLg创建于 6月24日
vllm-ascend H2D加解密特性 #336
已合并
Pull Request已成功合入, 合并人@wangyang
（感谢 LLg 的贡献）6月24日 添加了label：ascend-cla/no
ascend-robot
6月24日 评论：
6月24日 评论：
Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here
PR Approval Progress
✅ Congratulations! All modules have met the lgtm and approve requirements.
Module Approval Details
| module | lgtm status | approve status |
|---|---|---|
| repo-Ascend/MindIE-PyMotor | ✅ tobking, codeDogPro (2/2) | ✅ codeDogPro (1/1) |
💡 Tip:
- Committer can comment
/approveor/lgtm- Commenting
/approveimplies both code review (lgtm) and intent to merge (approve)
CLA Signature Pass
LLg15448645, thanks for your pull request. All authors of the commits have signed the CLA. 👍
6月24日 添加了label：ci-pipeline-running
ascend-robot
6月24日 评论：
6月24日 评论：
Ascend docs pipeline is running...
6月24日 添加了label：docs-ci-pipeline-running
此处折叠了480条消息 查看更多
7月8日 添加了label：approved
tobking
7月8日 评论：
7月8日 评论：
/lgtm
7月8日 添加了label：lgtm
7月9日 解决了最后一个问题
7月9日 合入了pull request
1. 合入背景
针对移动需求开发的vllm-ascend推理过程中数据H2D加解密特性，通过对模型侧进行补丁，结合CANN加解密算子实现保护推理过程中H2D通信的输入输出信息(token、模型权重)的能力。
2. 修改内容
针对vllm-ascend 0.23.0 中token信息和模型权重信息的传输API，进行patch修改。接口名称不变，功能变为：host侧加密后走原始路径传输到device后解密。
3. 资料变更
不涉及
4. 接口变更
不涉及
5. 测试结果
性能对比：开启加解密功能后和明文推理端到端性能村损耗在5%以内（TPOT、token吞吐率）
6. CheckList
[x] 代码注释完备
[x] 正确记录维测日志
[ ] 是否有UT用例
[x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题