已关闭
bge-m3同时支持稀疏和稠密访问 #88
liangwei2010创建于  7月8日关闭于  7月13日
liangwei2010
liangwei2010
7月8日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

- 操作系统:ubuntu
- 昇腾硬件信息:910B2
- CANN软件版本 :26.0.0
- 安装的对应软件版本:26.0.0

🐛 问题描述

一、POOLING默认值

1.访问 127.0.0.1/v1/embeddings

返回结果:正常

2.访问 127.0.0.1/embed_sparse

返回结果:{"error":"Backend error: Model is not an embedding model with SPLADE pooling","error_type":"Backend"}

二、POOLING:splade

1.访问 127.0.0.1/embed_sparse

结果:正常返回

2.访问127.0.0.1/v1/embeddings

结果:{"message":"Backend error: normalize is not available for SPLADE models","code":424,"type":"Backend"}

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
xiangjie10成员
7月8日 评论:

👋 您好,感谢向 text-embeddings-inference 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!

📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:

  • 清晰的问题描述
  • 可复现的操作步骤
  • 相关日志、截图或环境信息
    我们会尽快跟进,感谢您的理解与配合!
likedislike
xiangjie10成员
7月8日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
7月8日 添加了label:triaged
ascend-robotascend-robot成员
7月8日 添加了label:bug
liangwei2010liangwei2010
7月8日 修改标题为 “[Bug]: bge-m3同时支持embed_sparse”,原标题为“[Bug]: bge-m3不支持embed_sparse”
liangwei2010liangwei2010
7月8日 修改标题为 “[Bug]: bge-m3同时支持稀疏和稠密访问”,原标题为“[Bug]: bge-m3同时支持embed_sparse”
liangwei2010liangwei2010
7月8日 修改了issue 的描述
ascend-robotascend-robot成员
7月8日 关联了看板:MindStudio ISSUE管理
wangyongjun
wangyongjun成员
7月9日 评论:

你好,开源框架互斥独立设计导致,开源框架原生是不支持bge-m3稀疏的,我们适配了这个这个模型,属于特殊场景,bge-m3既支持稀疏,也支持稠密;同一个服务不能同时支持稠密和稀疏向量,需要分开部署,该问题先关闭了哈,如何有其他问题,欢迎咨询交流。

likedislike
wangyongjunwangyongjun成员
7月12日 删除了label:bug
ascend-robotascend-robot成员
7月12日 添加了label:bug
wangyongjunwangyongjun成员
7月12日 删除了label:bug
ascend-robotascend-robot成员
7月12日 添加了label:bug
wangyongjunwangyongjun成员
7月12日 修改标题为 “bge-m3同时支持稀疏和稠密访问”,原标题为“[Bug]: bge-m3同时支持稀疏和稠密访问”
wangyongjunwangyongjun成员
7月12日 删除了label:bug
wangyongjunwangyongjun成员
7月13日 issue状态由 TODO 改变为 DONE
wangyongjunwangyongjun成员
7月13日 关闭了 issue