已关闭
[Feature]: 新增LocateAnything-3B视觉定位模型昇腾NPU推理适配 #2722
shaoxiaolong创建于  9月1日关闭于  9月12日
shaoxiaolong
9月1日 创建

背景

ModelZoo-PyTorch 视觉定位(Visual Grounding)方向已有 GroundingDINO、GLIP 等模型,但缺少基于多模态大模型(MLLM)的视觉定位方案。LocateAnything-3B 基于 NVlabs Eagle 多模态框架(3B 参数量),能够根据自然语言描述在图像中定位目标并输出 <box> 坐标,适合补齐该方向的模型覆盖。

需求描述

将 LocateAnything-3B 在昇腾 NPU 上的推理适配与验证材料合入 ModelZoo-PyTorch(ACL_PyTorch/built-in/cv/),与同类 GroundingDINO、GLIP 等视觉定位模型并列:

  • 适配方式:在上游仓库(Eagle、LocateAnything-vLLM)侧以 bugfix 形式应用昇腾迁移补丁,不引入三方库源码
  • 补丁核心改动:注入 torch_npu 的 transfer_to_npu、分布式后端 nccl → hccl、npu 设备 API(empty_cache/synchronize)通用化
  • 提供部署验证步骤、性能基准、公网地址声明

验证环境

  • 芯片:Atlas 800I A2
  • CANN 8.5.1 + vllm-ascend v0.18.0rc1

期望交付

项 说明
eagle_ascend_migration.patch Eagle 仓库昇腾迁移补丁(826 行,覆盖 Embodied/ 下 21 个文件)
vllm_ascend_migration.patch LocateAnything-vLLM 仓库昇腾迁移补丁(152 行,覆盖 4 个文件 + 新增启动脚本)
README.md 版本配套表、部署验证步骤、适配修改说明、性能基准、公网地址声明
demo/ 10 张 COCO 样图 IoU 验证脚本 + manifest + 样图
images/ README 说明图(任务类型/测试图片/运行结果)

说明

该需求已通过 PR #7673 实现并合入(demo 平均 IoU 94.53%;RefCOCOg test 基准 5023 样本 F1@IoU=0.5 88.39%、Mean F1(0.5:0.05:0.95) 76.96%、检测率 100%、吞吐 1.48 samples/s)。

likedislike
Sshaoxiaolong
9月1日 添加了label:feature, resolved
shaoxiaolong
9月1日 评论:

该需求已通过 PR #7673 实现并合入:

  • 新增 ACL_PyTorch/built-in/cv/LocateAnything-3B/ 模型目录(18 个文件:Eagle/LocateAnything-vLLM 昇腾迁移补丁、README、demo 验证脚本与样图、说明图)
  • 适配方式为上游仓库侧 bugfix 补丁(注入 transfer_to_npu、nccl→hccl、npu 设备 API 通用化),不引入三方库源码
  • 验证环境:Atlas 800I A2 + CANN 8.5.1 + vllm-ascend v0.18.0rc1;demo 10 张 COCO 样图平均 IoU 94.53%,RefCOCOg test(5023 样本)F1@IoU=0.5 88.39%、Mean F1(0.5:0.05:0.95) 76.96%、吞吐 1.48 samples/s
likedislike
ascend-robot
ascend-robot成员
9月8日 评论:

您好,当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若您认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。

likedislike
ascend-robotascend-robot成员
9月8日 添加了label:stale
ascend-robotascend-robot成员
9月12日 关闭了 issue
ascend-robotascend-robot成员
9月12日 issue状态由 TODO 改变为 DONE