DynamicQuantUpdateScatter

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Kirin X90 处理器系列产品	√
Kirin 9030 处理器系列产品	√

功能说明

• 算子功能：融合DynamicQuant+scatter+scatter为DynamicQuantUpdateScatter算子提升性能。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
var	输入/输出	待更新的tensor。	INT8	ND
var_scale	输入/输出	量化的scale因子，待更新的tensor。	FLOAT32	ND
indices	输入	表示更新位置。	INT32、INT64	ND
updates	输入	表示更新数据	BFLOAT16、FLOAT16	ND
smooth_scales	输入	代表DynamicQuant的smoothScales。	BFLOAT16、FLOAT16	ND
axis	属性	scatter轴。只支持-2。	-	-
reduce	属性	shape与var_scale一致。	与var_scale一致。	-

• Kirin X90/Kirin 9030 处理器系列产品:不支持BFLOAT16。

约束说明

1. indices的维数只能是1维或者2维，如果是2维，其第2维的大小必须是2。
2. updates的维数与var、var_scale的维数一样，其第1维的大小等于indices的第1维的大小，且var不大于的第1维的大小，其axis轴的大小不大于var的axis轴的大小。
3. var和var_scale维度一致。
4. smooth_scales 为1维且大小和var[-1]一致。
5. reduce当前只支持‘update’，即更新操作。
6. 尾轴需要32B对齐。
7. indices映射的scatter数据段不能重合，若重合则因为多核并发原因将导致多次执行结果不一样。

调用说明

调用方式	调用样例	说明
图模式调用	test_geir_dynamic_quant_update_scatter	通过算子IR构图方式调用DynamicQuantUpdateScatter算子。