已关闭
[Usage]: 单卡部署单实例和单卡部署多实例对时延影响原因？是否又理论指导。 #25
zhujianwei创建于 4月22日关闭于 5月15日
4月22日 添加了label：usage
wangyongjun
4月22日 评论：
4月22日 评论：
/label add triage-review
4月22日 添加了label：triage-review
wangyongjun
4月22日 评论：
4月22日 评论：
你好，同一张卡部署多个实例理论上互相是有影响的，互相抢占底层硬件资源，可以考虑切分虚拟卡方式将一张卡切分成多张虚拟卡
4月25日 关联了pull request：适配gte模型支持flash attention
4月25日 删除了关联的pull request：适配gte模型支持flash attention
在提交新问题之前，请确保您已经在社区中搜索过相关问题，并使用了社区中提供的资源/工具后，仍未找到满意的解决方式。
环境信息
在昇腾64G显存单卡部署单个实例和双实例（rerank模型）的时延数据如下：
平均时延降低4-20%。p95时延降低14%-50%。
请问部署多个实例是否会互相影响？如果显存足够的情况下，单卡是不是可以部署4个实例或者8个实例，做负载均衡。
使用场景及问题
欢迎加入社区，感谢您对社区的贡献 🎉!