Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
AddRmsNormDynamicQuant V1/V2 算子存在以下需求:
1、新增支持int4输出类型:补齐输出 INT4 数据类型; 2、新增output_mask控制输出逻辑:补齐output_mask控制功能,当output_mask不为nullptr时,由output_mask控制y1/scale1/y2/scale2是否为有效输出;当output_mask为nullptr时,y1/scale1始终为有效输出,只有当可选输入smoothScale1和smoothScale2都存在时才为有效输出; 3、V2 算子新增 Ascend 950 实现:AddRmsNormDynamicQuantV2 无 Ascend 950 实现、对应kernel 二进制和 tiling 实现;
norm
提升算子的正确性、健壮性和代码一致性。
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
AddRmsNormDynamicQuant V1/V2 算子存在以下需求:
1、新增支持int4输出类型:补齐输出 INT4 数据类型;
2、新增output_mask控制输出逻辑:补齐output_mask控制功能,当output_mask不为nullptr时,由output_mask控制y1/scale1/y2/scale2是否为有效输出;当output_mask为nullptr时,y1/scale1始终为有效输出,只有当可选输入smoothScale1和smoothScale2都存在时才为有效输出;
3、V2 算子新增 Ascend 950 实现:AddRmsNormDynamicQuantV2 无 Ascend 950 实现、对应kernel 二进制和 tiling 实现;
Origin(信息来源)
norm
Benefit / Necessity (价值/作用)
提升算子的正确性、健壮性和代码一致性。
Design(设计方案)