Closed
[Requirement|需求建议]: FA全量化算子支持DV LITE #6973
wangke293Add on  15 days agoClosed at  15 days ago
wangke293Collaborators
15 days ago Create

Backgroud(背景信息)

FA全量化算子支持DV LITE

Benefit / Necessity (价值/作用)

Design(设计方案)

likedislike
Wwangke293Collaborators
15 days ago Added label: requirement
周云飞
周云飞Collaborators
15 days ago Comments:

/assign @wangke293

likedislike
CANN-robotCANN-robotCollaborators
15 days ago Assign wangke293 as responsible person
周云飞
周云飞Collaborators
15 days ago Comments:

您好,感谢提出 FA 全量化算子支持 DV LITE 的需求。目前描述尚不足以确定具体适配范围,也无法确认目标场景是否已有支持。

为便于评估,请补充以下信息:

  • DV LITE 对应的具体设备型号,以及使用的 CANN 版本。
  • 期望使用的 FA 算子接口,以及“全量化”涉及的 Q、K、V 数据类型和量化方式。
  • 一组典型输入形状、布局及使用场景;如有明确的精度或性能目标,也请一并说明。

这些信息有助于明确目标平台、量化计算和输入规格的适配边界,再评估能否复用现有实现,以及需要补充哪些支持。

likedislike
CANN-robotCANN-robotCollaborators
15 days ago Close issue
CANN-robotCANN-robotCollaborators
15 days ago Added label: resolved
周云飞
周云飞Collaborators
4 days ago Comments:

已合入 PR !14662,为 fused_infer_attention_score 和 quant_flash_attn 增加 Ascend350 适配:

  • 两个算子复用 Ascend950 的 AICore 配置,注册 Ascend350 算子信息。
  • 增加 Ascend350 编译分支,计算单元设置为 Ascend350_355e。

PR 描述中记录,本地 Pytest 验证了 FIA 全量化和 QFA 功能,RDV 验证通过。

关联 PR:PR #14662

likedislike