已关闭
[Bug]: 推理报错:状态码429,内容返回model is overloaded #64
chen_pengyu创建于  5月26日关闭于  5月27日
chen_pengyu
5月26日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

推理镜像:使用mis-tei 26.0镜像 https://www.hiascend.com/developer/ascendhub/detail/07a016975cc341f3a5ae131f2b52399d****
硬件:Atlas 800I A2推理产品(910B2)

🐛 问题描述

推理返回报错:
2.png

日志打印:
1new.png

代码内相关描述:
662a28d5fa8a43cab585d3f790792dc1.png

启动命令:

docker run -dt \
--name=tei-rerank-3025 \
--privileged=true \
--network=host  \
-u root  \
-e ASCEND_RT_VISIBLE_DEVICES=6 \
-e MAX_CONCURRENT_REQUESTS=8 \
-e CLEAN_NPU_CACHE=True \
-e ENABLE_BOOST=True \
-e MAX_CLIENT_BATCH_SIZE=100 \
-v /softwarePlatform/z00886540:/home/HwHiAiUser/model \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/vnpu.cfg:/etc/vnpu.cfg \
-v /usr/local/Ascend/firmware/:/usr/local/Ascend/firmware/ \
-v /usr/local/sbin/:/usr/local/sbin \
-v /softwarePlatform:/softwarePlatform \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:26.0.0-800I-A2-aarch64 BAAI/bge-rerank-v2-m3 135.82.26.94 3025

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
ascend-robotascend-robot成员
5月26日 添加了label:bug
yihao1234成员
5月26日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
5月26日 添加了label:triaged
wangyongjun
wangyongjun成员
5月27日 评论:

你好,请参考如下分析,进行配置MAX_CONCURRENT_REQUESTS环境变量,具体含义参考链接

image.png

likedislike
wangyongjunwangyongjun成员
5月27日 issue状态由 TODO 改变为 DONE
wangyongjunwangyongjun成员
5月27日 关闭了 issue