Star137
242
代码
代码
Issues84
Pull Requests179
项目讨论
Wiki
分析
Star137
242
已关闭
[RFC]: MindIE Server低频使用接口日落公告 #106
wenjinhust创建于  1月8日关闭于  5月25日
wenjinhust
wenjinhust成员
1月8日 创建

问题背景

为了维护本仓库服务化推理接口的健康度与易用性，并确保开发者能更高效地使用优质推理接口，我们计划对一批过时、使用率极低或存在更优替代品的服务化推理接口，进行定期的下架处理。

此举措旨在：

  • 提升用户体验：避免用户在选择服务化推理接口时被大量过时选项干扰，简化决策过程。

  • 保障服务化质量：确保仓库中的服务化推理接口维护良好、兼容性强，提升信任度。

  • 鼓励使用新技术：引导用户转向性能更优、维护更积极的服务化推理接口。

  • 优化维护效率：将有限的社区维护精力集中在更有价值的服务化推理接口上。

主要举措

我们将通过人工审视的方式，分阶段执行以下任务：

  • 识别待下架的服务化推理接口：维护团队将根据一套综合标准对模型进行评估，标准包括但不限于：

    • 是否存在明确且广泛采用的替代推理接口。
    • 推理接口的使用频率及与当前主流框架的兼容性。
    • 社区讨论、Issue 和 PR 的活跃程度。
    • 近半年问题支持矩阵中，推理接口占比。

  • 社区公示：即日起，通过本 Issue 对下架清单进行公示，下架进度请关注仓库服务化推理接口支持列表。

  • 收集反馈：在公示期内，我们诚挚地收集社区对于下架清单的反馈意见。

  • 执行下架：维护团队将根据反馈确定最终下架清单，并于2026-06-30前完成该计划。

待下架接口

接口类型 接口格式 接口说明 日落策略
TGI/VLLM https://{ip}:{port}/health 兼容TGI 0.9.4版本的健康检查
兼容vLLM 0.6.4版本的健康检查		 日落
TGI https://{ip}:{port}/info 兼容TGI 0.9.4版本的信息查询 日落
TGI https://{ip}:{port}/ 兼容TGI 0.9.4版本的推理接口 日落
TGI/VLLM https://{ip}:{port}/generate 兼容TGI 0.9.4版本的文本推理接口
兼容vLLM 0.6.4版本的推理接口		 日落
TGI https://{ip}:{port}/generate_stream 兼容TGI 0.9.4版本的流式推理接口 日落
Triton https://{ip}:{port}/v2/health/live 兼容Triton的健康检查 日落
Triton https://{ip}:{port}/v2/health/ready 兼容Triton的健康检查 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/ready 兼容Triton的健康检查 日落
Triton https://{ip}:{port}/v2 兼容Triton的服务元数据查询 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}] 兼容Triton的模型元数据查询 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/config 兼容Triton的模型配置数据查询 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/infer 兼容Triton的Token推理接口 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/generate 兼容Triton的文本推理接口 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/generate_stream 兼容Triton的流式推理接口 日落
MindIE https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/getSlotCount MindIE原生的Slot统计接口 日落
MindIE https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/stopInfer MindIE原生的提前终止请求接口 保留
MindIE https://{ip}:{port}/infer MindIE原生的文本推理接口 日落
MindIE https://{ip}:{port}/infer_token MindIE原生的Token推理接口 日落
MindIE https://{ip}:{port}/v1/tokenizer MindIE原生的计算token数量接口 保留

补充说明：

  • /health接口：当前仅计划对兼容TGI 0.9.4版本的/health接口进行日落，继续支持对兼容vLLM 0.6.4版本接口的/health接口进行使用
  • /generate接口：当前仅计划对兼容TGI 0.9.4版本的/generate接口进行日落，继续支持对兼容vLLM 0.6.4版本接口的/generate接口进行使用

备注

本次评估为人工审视，但我们非常尊重社区的声音。如果您认为某个接口被错误地标记，或有强烈理由需要保留，请在本 Issue 下回复，注明接口名称和详细理由，维护团队将重新评估。

感谢各位社区成员的理解与支持！

其他补充说明

欢迎加入社区，感谢您对社区的贡献 🎉!

likedislike
wenjinhustwenjinhust成员
1月8日 修改了issue 的描述
wenjinhustwenjinhust成员
1月20日 修改了issue 的描述
wenjinhustwenjinhust成员
1月20日 修改了issue 的描述
wenjinhustwenjinhust成员
1月20日 修改了issue 的描述
wenjinhustwenjinhust成员
1月20日 修改了issue 的描述
ascend-robotascend-robot成员
1月22日 添加了label：rfc
杨安
杨安
2月4日 评论：

TGI https://{ip}:{port}/health
TGI https://{ip}:{port}/generate
TGI https://{ip}:{port}/generate_stream
Triton https://{ip}:{port}/v2/health/ready
MindIE https://{ip}:{port}/v1/tokenizer

不是PAE了、不对接客户、不清楚 13
不涉及、不（再）用mindie 14
有 4
没有 42
未反馈 1
共统计74
详细数据

likedislike
杨安
杨安
2月9日 评论：

TGI https://{ip}:{port}/health（修改为自研接口）
TGI https://{ip}:{port}/generate（让客户升级成openai的chat接口）
TGI https://{ip}:{port}/generate_stream（让客户升级成openai的chat接口）
Triton https://{ip}:{port}/v2/health/ready（修改为自研接口）
MindIE https://{ip}:{port}/v1/tokenizer（保留）

likedislike
杨安
杨安
2月9日 评论：

TGI https://{ip}:{port}/health（修改为自研接口）
TGI https://{ip}:{port}/generate（PAE答复，客户同意升级为OpenAI接口）
TGI https://{ip}:{port}/generate_stream（PAE答复，客户同意升级为OpenAI接口）
Triton https://{ip}:{port}/v2/health/ready（修改为自研接口）
MindIE https://{ip}:{port}/v1/tokenizer（保留）

likedislike
wenjinhust
wenjinhust成员
2月26日 评论：
  • https://{ip}:{port}/v2/health/live ：转自研虚推特性接口
  • https://{ip}:{port}/v2/health/ready ：转自研虚推特性接口

知情人：高鹏、陈波

likedislike
吴铭泾吴铭泾成员
3月9日 将 wenjinhust 设为负责人
吴铭泾
吴铭泾成员
3月9日 评论：

收到反馈，感谢！我会尽快查看并回复进展。

likedislike
wenjinhustwenjinhust成员
3月13日 修改了issue 的描述
wenjinhustwenjinhust成员
3月13日 修改了issue 的描述
wenjinhustwenjinhust成员
3月16日 修改标题为 “[RFC]: MindIE Server低频使用接口日落公告”，原标题为“[RFC]: MindIE Server低频使用接口的日落计划”
wenjinhust
wenjinhust成员
3月16日 评论：

MindIE低频使用接口日落公告

经调研与评审，计划于2026-6-30对以下接口日落：

接口类型 接口格式 接口说明 日落策略
TGI/VLLM https://{ip}:{port}/health 兼容TGI 0.9.4版本的健康检查
兼容vLLM 0.6.4版本的健康检查		 日落
TGI https://{ip}:{port}/info 兼容TGI 0.9.4版本的信息查询 日落
TGI https://{ip}:{port}/ 兼容TGI 0.9.4版本的推理接口 日落
TGI/VLLM https://{ip}:{port}/generate 兼容TGI 0.9.4版本的文本推理接口
兼容vLLM 0.6.4版本的推理接口		 日落
TGI https://{ip}:{port}/generate_stream 兼容TGI 0.9.4版本的流式推理接口 日落
Triton https://{ip}:{port}/v2/health/live 兼容Triton的健康检查 日落
Triton https://{ip}:{port}/v2/health/ready 兼容Triton的健康检查 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/ready 兼容Triton的健康检查 日落
Triton https://{ip}:{port}/v2 兼容Triton的服务元数据查询 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}] 兼容Triton的模型元数据查询 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/config 兼容Triton的模型配置数据查询 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/infer 兼容Triton的Token推理接口 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/generate 兼容Triton的文本推理接口 日落
Triton https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/generate_stream 兼容Triton的流式推理接口 日落
MindIE https://{ip}:{port}/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/getSlotCount MindIE原生的Slot统计接口 日落
MindIE https://{ip}:{port}/infer MindIE原生的文本推理接口 日落
MindIE https://{ip}:{port}/infer_token MindIE原生的Token推理接口 日落
likedislike
吴铭泾
吴铭泾成员
5月25日 评论：

您好，此 Issue 已超过一个月无新的进展或回复，我们将暂时关闭此 Issue。如您仍有相关问题或新的进展需要交流，欢迎随时重新打开或提交新的 Issue。感谢您的理解与支持！

likedislike
吴铭泾吴铭泾成员
5月25日 关闭了 issue
吴铭泾吴铭泾成员
5月25日 重新打开了 issue
吴铭泾吴铭泾成员
5月25日 issue状态由 TODO 改变为 DONE
吴铭泾吴铭泾成员
5月25日 关闭了 issue