已关闭
[Requirement|需求建议]: mul/select 算子支持 PcieThrough 场景 #3018
hahaha22创建于  17 天前关闭于  15 天前
hahaha22成员
17 天前 创建

Backgroud(背景信息)

PcieThrough(PCIe 直通)场景需要 mul、select 算子适配:select 的 SIMT tiling 模板不支持该场景,需要在 tiling 阶段识别并回退到通用模板;同时两个算子需要在 infershape 注册侧标记 PcieThrough 支持能力,否则直通场景无法调度到这些算子。

Origin(信息来源)

PcieThrough 特性配套需求,与 opbase 仓库 broadcast 模板适配 PR(https://gitcode.com/cann/opbase/pull/788)协同提出。

Benefit / Necessity (价值/作用)

  • mul/select 在 PcieThrough 场景下可正常调度执行,避免 SIMT 模板在直通场景下出错
  • 通过 SetSupportPcieThrough 标记使能框架侧直通调度

Design(设计方案)

  1. SelectSimtTiling::IsCapable() 前置 IsPcieThrough() 判断,PcieThrough 场景返回 false,回退到低优先级 SelectTiling(broadcast 模板,PcieThrough 下强制 UB BRC)
  2. IsPcieThrough()context_->GetPcieThroughFlag() 获取标志,METADEF_VERSION_NUM >= 90200000 编译期门控,低版本兜底 false
  3. IMPL_OP_INFERSHAPE(Mul)/IMPL_OP_INFERSHAPE(Select) 高版本 SDK 下链式调用 SetSupportPcieThrough()
  4. 依赖 opbase#788 的 broadcast 模板改动先行合入

关联 PR:https://gitcode.com/cann/ops-math/pull/5116

likedislike
Hhahaha22成员
17 天前 添加了label:requirement
hahaha22成员
17 天前 评论:

/assign @hahaha22

likedislike
CANN-robotCANN-robot成员
17 天前 将 hahaha22 设为负责人
CANN-robotCANN-robot成员
15 天前 关闭了 issue
CANN-robotCANN-robot成员
15 天前 添加了label:resolved