已关闭
[Usage]: Atlas800I A3服务器使用同一张卡是否能起2个tei的服务,一个embedding一个rerank #31
miaomiao2628创建于  5月14日关闭于  5月18日
miaomiao2628
5月14日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

环境信息

  • 操作系统:openEuler 22.03 (LTS-SP4)
  • 昇腾硬件信息:Atlas800I A3
  • CANN软件版本:8.3.RC2
  • 安装的对应软件版本:Docker version 26.1.4,Ascend-docker-runtime_26.0.0

使用场景及问题

Atlas800I A3服务器使用同一张卡是否能起2个tei的服务,一个embedding一个rerank

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
ascend-robotascend-robot成员
5月14日 添加了label:usage
yihao1234成员
5月14日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
5月14日 添加了label:triaged
wangyongjun
wangyongjun成员
5月15日 评论:

你好,可以参考https://www.hiascend.com/developer/ascendhub/detail/07a016975cc341f3a5ae131f2b52399d 中的FAQ5, 或者采用切分卡的方式

likedislike
wangyongjunwangyongjun成员
5月18日 issue状态由 TODO 改变为 DONE
wangyongjunwangyongjun成员
5月18日 关闭了 issue