已关闭
[Feature]: 新增LocateAnything-3B视觉定位模型昇腾NPU推理适配 #2722
shaoxiaolong创建于 9月1日关闭于 9月12日
9月1日 添加了label:feature, resolved
shaoxiaolong
9月1日 评论:
9月1日 评论:
该需求已通过 PR #7673 实现并合入:
- 新增
ACL_PyTorch/built-in/cv/LocateAnything-3B/模型目录(18 个文件:Eagle/LocateAnything-vLLM 昇腾迁移补丁、README、demo 验证脚本与样图、说明图) - 适配方式为上游仓库侧 bugfix 补丁(注入
transfer_to_npu、nccl→hccl、npu 设备 API 通用化),不引入三方库源码 - 验证环境:Atlas 800I A2 + CANN 8.5.1 + vllm-ascend v0.18.0rc1;demo 10 张 COCO 样图平均 IoU 94.53%,RefCOCOg test(5023 样本)F1@IoU=0.5 88.39%、Mean F1(0.5:0.05:0.95) 76.96%、吞吐 1.48 samples/s


ascend-robot
9月8日 评论:
9月8日 评论:
您好,当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若您认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。


9月8日 添加了label:stale
9月12日 关闭了 issue
9月12日 issue状态由 TODO 改变为 DONE
背景
ModelZoo-PyTorch 视觉定位(Visual Grounding)方向已有 GroundingDINO、GLIP 等模型,但缺少基于多模态大模型(MLLM)的视觉定位方案。LocateAnything-3B 基于 NVlabs Eagle 多模态框架(3B 参数量),能够根据自然语言描述在图像中定位目标并输出
<box>坐标,适合补齐该方向的模型覆盖。需求描述
将 LocateAnything-3B 在昇腾 NPU 上的推理适配与验证材料合入 ModelZoo-PyTorch(
ACL_PyTorch/built-in/cv/),与同类 GroundingDINO、GLIP 等视觉定位模型并列:torch_npu的transfer_to_npu、分布式后端nccl→hccl、npu设备 API(empty_cache/synchronize)通用化验证环境
期望交付
eagle_ascend_migration.patchEmbodied/下 21 个文件)vllm_ascend_migration.patchREADME.mddemo/images/说明
该需求已通过 PR #7673 实现并合入(demo 平均 IoU 94.53%;RefCOCOg test 基准 5023 样本 F1@IoU=0.5 88.39%、Mean F1(0.5:0.05:0.95) 76.96%、检测率 100%、吞吐 1.48 samples/s)。