已合并
mhc_post_backward A2/A3支持 #4377
fazhenyao123创建于 4月20日
mhc_post_backward A2/A3支持 #4377
已合并
fazhenyao123创建于 4月20日
fazhenyao123
fazhenyao123成员
4月20日

描述

mhc_post_backward 添加A2/A3支持

  1. 需求背景
    基于Deepseek 最新的mHC算法进行模型架构进行算子融合
  2. 需求价值
    支持Deepseek 最新的mHC算法,典型整网用例融合以后算子平均性能相比小算子拼接提升
  3. 需求详情
    支持将Hpost^T@F+Hres^T@X的反向传播整体融合成一个大算子MhcPostBackward。
    硬件型号:A2/A3
    数据格式:ND
    数据类型:activation类型的输入输出仅支持float16, bfloat16,Hres/Hpost/dHres/dHpost仅支持float32
    是否支持确定性计算: 涉及,默认支持

关联的Issue

https://gitcode.com/cann/ops-transformer/issues/2032

测试

image.png

文档更新

类型标签

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 fazhenyao123 的贡献)
fazhenyao123fazhenyao123成员
4月20日 创建了 pull request,commit 912f13a8
CANN-robot
CANN-robot成员
4月20日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
*/*/op_host/*_def.cpp 王永光, 黄俊健 (2/2) 王永光 (1/1)
sig-ops-transformer 黄俊健, 刘丹 (2/2) 黄俊健, 刘丹 (2/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

fazhenyao123, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robot成员
4月20日 添加了label:cann-cla/yes
CANN-robotCANN-robot成员
4月20日 将monologue815,Allan_Yu,liudan12,mabing1118,wangyongguang设为评审人
CANN-robotCANN-robot成员
4月20日 将monologue815,Allan_Yu,liudan12,mabing1118,wangyongguang设为审查人
此处折叠了165条消息 查看更多
CANN-robotCANN-robot成员
4月25日 添加了label:lgtm
liudan12成员
4月25日 评论:

/lgtm

likedislike
CANN-robot
CANN-robot成员
4月25日 评论:

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: 王永光, 黄俊健, 刘丹.
Reviewers who wrote a comment of /lgtm are: 王永光, 黄俊健, 刘丹.

likedislike
CANN-robotCANN-robot成员
4月25日 关闭了关联的issue
CANN-robotCANN-robot成员
4月25日 合入了pull request