已关闭
[RFC]: 支持IVFPQ算法A2/A3 #31
xiangjie10创建于  4月25日关闭于  6月17日
xiangjie10成员
4月25日 创建

提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。

需求背景

在推荐检索场景中,IVFPQ 是常用的近似检索算法。随着底库规模增长到千万级和亿级,CPU 方案在时延与吞吐上逐步成为瓶颈,需要通过 NPU 进行加速。

当前需求是在 IndexSDK 中补齐 IVFPQ(L2) 能力,覆盖训练、索引构建、入库和检索闭环,并在 Ascend 800I A2/A3 上完成精度和性能验证。

提议方案

方案目标

  • 支持 IVFPQ(L2) 算法。
  • 支持完整生命周期:训练、索引构建、入库、检索。
  • 精度与 CPU 基线对齐,误差控制在 1e-5 以内。
  • 在 A3 单卡场景完成性能评估,满足典型推荐参数配置。

验收标准

本 RFC 以如下结果作为验收标准:

  • 功能闭环:支持 IVFPQ(L2) 的训练、构建、入库、检索全流程。
  • 精度达标:以下场景与 CPU 对比误差 <= 1e-5
    • nlist: 1024202840968192
    • dim: 128
    • m: 24816
    • batchSize: 1248163264
    • topk <= 320(典型 300
    • nprobe <= nlist(典型 3264128
    • base: 1000w8000w
  • 性能评估(A3 单卡):
    • nlist=1024dim=128m=4
    • batchSize=1/2/4/8/16/32/64
    • topk=300
    • nprobe <= nlist(典型 32/64/128
    • base=1000w
    • 目标时延:3.9ms5.3ms8.75ms

意见征集周期

截止 2026-04-30

抄送名单

yukunQin
xiangjie10
yihao1234

其他补充说明

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Xxiangjie10成员
4月25日 添加了label:rfc
yihao1234成员
4月25日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
4月25日 添加了label:triaged
Xxiangjie10成员
5月7日 关联了pull request:A2\A3支持IVFPQ算法RFC
Dduliqiang成员
6月17日 issue状态由 TODO 改变为 DONE
Dduliqiang成员
6月17日 关闭了 issue
ascend-robotascend-robot成员
6月17日 添加了label:resolved
姚小白姚小白成员
8月12日 关联了看板:MindSDK版本issue看板