已关闭
[Feature]: SAM模型新增SamAutomaticMaskGenerator(AMG)自动全图分割能力 #2721
shaoxiaolong创建于  9月1日关闭于  28 天前
shaoxiaolong
9月1日 创建

背景

ModelZoo-PyTorch 现有 SAM(segment_anything)适配仅支持单提示单 mask 分割(sam_end2end_infer.py):推理时需人工给定提示坐标(point),一次只能输出单个物体的 mask,无法自动完成全图分割。

需求描述

为 SAM 模型新增 SamAutomaticMaskGenerator(AMG) 自动全图分割能力:

  • 输入一张图片,自动产出图中所有物体的 masks,无需人工给定提示坐标
  • 与上游 segment_anything 的 SamPredictor / SamAutomaticMaskGenerator 接口对齐,上游 SAM 代码零改动(encoder 复用现有 encoder_modify.om)
  • 与 GroundingDINO、SAM2、SAM3 等同类自动分割模型并列

验证环境

  • 芯片:Atlas 310P3
  • CANN 8.2.RC1 + torch 2.1.0(与现有 SAM 配套一致)

期望交付

项 说明
OM 版 SamPredictor set_image 跑 encoder 缓存 embedding,predict_torch 跑 multimask decoder 取后 3 个 mask
OM 版 AMG 继承上游 SamAutomaticMaskGenerator,仅重写 init 替换 predictor
CLI 入口 给一张图 → 产出所有 mask → 保存 amg_result.jpg + amg_masks.json
验证脚本 multimask decoder 精度验证(shape / nan / iou / mask 非空)
文档 README 新增 AMG 使用章节 + public_address_statement.md 公网地址声明

说明

该需求已通过 PR #7675 实现并合入(AMG 端到端验证通过:truck.jpg 1024 点采样产出 49-50 个 mask,iou∈[0.88,1.01],stability_score∈[0.95,0.99])。

likedislike
Sshaoxiaolong
9月1日 添加了label:feature
shaoxiaolong
9月1日 评论:

该需求已通过 PR #7675 实现并合入:

  • 新增 OM 版 SamPredictor(encoder embedding 缓存 + multimask decoder)与 SamAutomaticMaskGenerator(继承上游实现,上游代码零改动)
  • CLI 入口 sam_amg_infer.py:给一张图 → 自动产出所有物体 masks,无需人工给定提示坐标
  • 验证环境:Atlas 310P3 + CANN 8.2.RC1 + torch 2.1.0;truck.jpg 1024 点采样产出 49-50 个 mask(iou∈[0.88,1.01],stability_score∈[0.95,0.99])

需求已交付,关闭本 issue。

likedislike
Sshaoxiaolong
9月1日 添加了label:resolved
ascend-robot
ascend-robot成员
9月8日 评论:

您好,当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若您认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。

likedislike
ascend-robotascend-robot成员
9月8日 添加了label:stale
ascend-robotascend-robot成员
28 天前 关闭了 issue
ascend-robotascend-robot成员
28 天前 issue状态由 TODO 改变为 DONE