已关闭
[Bug]: mis-tei:26.0.0-800I-A2-aarch64与vllm-ascend冲突,回退到mis-tei:7.2.RC1-800I-A2-aarch64解决。什么原因 #27
ranzhengfeng创建于  4月29日关闭于  5月15日
ranzhengfeng
ranzhengfeng
4月29日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

- 操作系统:OpenEuler 24.03 LTS
- 昇腾硬件:  Atlas 800I A2
- Docker Image: mis-tei:26.0.0-800I-A2-aarch64

🐛 问题描述

引用issue:https://github.com/vllm-project/vllm-ascend/issues/8809

当使用vllm部署llm模型后,再用mis-tei:26.0.0-800I-A2-aarch64部署Bge-m3,在启动后台服务时调用NPU失败。后将镜像回退到mis-tei:7.2.RC1-800I-A2-aarch64解决。请帮忙分析一下原因。

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
ascend-robotascend-robot成员
4月29日 添加了label:bug
yihao1234成员
4月29日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
4月29日 添加了label:triaged
wangyongjun
wangyongjun成员
4月30日 评论:

你好,如果卡已经被LLM占用了,那启动TEI时候,以 root并加特权启动才行,--privileged -u root

likedislike
Yyihao1234成员
5月15日 issue状态由 TODO 改变为 DONE
Yyihao1234成员
5月15日 关闭了 issue