提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。

需求背景

IndexSDK 作为 Ascend 生态的向量检索基础组件，当前已在 A2/A3 NPU 上支持多种向量检索算子。但在向量检索场景中，FlatIP Int8Cos 是一类重要的算子组合，广泛应用于召回、排序等阶段。当前 IndexSDK 尚未在 A2/A3 上实现对 TS（Tensor Station）FlatIP Int8Cos 算子的完整支持，限制了向量检索场景的端到端性能与精度表现。

因此，本需求的目标是补齐 A2/A3 上 TS FlatIP Int8Cos 算子能力，使 IndexSDK 能够在 Ascend NPU 上完整支撑向量检索链路。

提议方案

本需求提议在 IndexSDK 中新增 A2/A3 的 TS FlatIP Int8Cos 算子实现，覆盖向量检索核心参数范围，确保在指定数据规模和查询配置下的功能正确性与性能达标。
方案目标

• 支持 A2/A3 NPU 上的 TS FlatIP Int8Cos 算子。
• 覆盖 dim=256 的向量维度场景。
• 支持批量查询 batch=1-256。
• 持检索返回 topk=200。
• 本需求不涉及其他算子扩展、其他 NPU 型号适配或分布式检索方案。

详细描述
算子定义：

• FlatIP：内积距离计算
• Int8Cos：Int8 量化余弦相似度计算

参数规格：

• 向量维度：256
• 基库规模：
• A2：6000万（6000w）
• A3：1.25亿（1.25e）
• 批量大小：1-256
• 返回数量：topk=200

功能要求：

• 支持 int8 量化后的向量入库与检索
• 支持余弦相似度排序
• 支持 batch 模式下的并发查询
• 返回结果需保证排序正确性

验收标准

本需求以以下结果作为落地验收标准：

• A2 上可完成 6000w 基库、dim=256、batch=1-256、topk=200 的 TS FlatIP Int8Cos 检索，结果正确。
• A3 上可完成 1.25e 基库、dim=256、batch=1-256、topk=200 的 TS FlatIP Int8Cos 检索，结果正确。
• 检索精度符合预期，与参考实现对齐。

意见征集周期

截止 2026-04-30

抄送名单

yukunQin
xiangjie10

其他补充说明

欢迎加入社区，感谢您对社区的贡献 🎉!