已关闭
[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现 #4873
kdy18482276080创建于  24 天前关闭于  14 天前
kdy18482276080成员
24 天前 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

当前 ops-transformer 缺少 BlockAttentionResiduals 正向算子实现。该算子用于 Attention Residual 分块加权融合,支持 need_backward=false 的正向推理场景。

Benefit / Necessity (价值/作用)

为 Attention Residual 场景提供 Ascend NPU 正向算子能力,便于上层模型在 NPU 上完成分块残差融合计算。

Design(设计方案)

新增 attention/block_attention_residuals/ 算子实现,包含 op_host、op_kernel 和 ACLNN 接口;同步提供 torch.block_attention_residuals 适配接口。实现覆盖 910B(arch22)和 Ascend950(arch35)。ATK 用例独立放置于 /data/kdy/ATK/cases/block_attention_residuals/,不纳入算子仓提交。

关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/11066

likedislike
Kkdy18482276080成员
24 天前 修改了issue 的描述
Kkdy18482276080成员
24 天前 将 kdy18482276080 设为负责人
Kkdy18482276080成员
23 天前 修改标题为 “[Requirement|需求建议]: BlockAttentionResiduals新增正向算子实现”,原标题为“[Bug-Report|缺陷反馈]: BlockAttentionResiduals算子,新增正向算子实现”
Kkdy18482276080成员
23 天前 修改了issue 的描述
Kkdy18482276080成员
23 天前 添加了label:requirement
Kkdy18482276080成员
23 天前 关联了pull request:block_attention_residuals: 新增 residuals 分类并迁入正向算子
Kkdy18482276080成员
20 天前 关联了pull request:block_attention_residuals: 补充算子 README 与 aclnn 文档
Kkdy18482276080成员
20 天前 关联了pull request:block_attention_residuals: 将 valid_block_num 属性声明移到输出之前
游震成员
18 天前 评论:
likedislike
Kkdy18482276080成员
18 天前 关联了pull request:block_attention_residuals: 将 arch35 MicroAPI 替换为 Reg
Kkdy18482276080成员
18 天前 关联了pull request:block_attention_residuals: 补充 Torch 接口 autograd 文档
Kkdy18482276080成员
14 天前 issue状态由 进行中 改变为 已完成
Kkdy18482276080成员
14 天前 关闭了 issue