已关闭
[Requirement|需求建议]: AddRmsNormQuant支持Bias #1932
liangyuhua创建于 4月3日关闭于 4月17日
4月3日 添加了label:requirement
4月3日 关联了pull request:add_rms_norm_quant支持bias
4月3日 将 liangyuhua 设为负责人
4月14日 关联了pull request:AddRmsNormQuant支持bias
4月14日 删除了关联的pull request:AddRmsNormQuant支持bias
4月17日 关闭了 issue
4月17日 添加了label:resolved
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
AddRmsNormQuant在计算RmsNorm时未支持beta输入,因此新增了beta作为可选输入。
Origin(信息来源)
vector
Benefit / Necessity (价值/作用)
新增了支持beta输入的场景
Design(设计方案)
y=RmsNorm(x)= x / Rms(x) * gamma -> y=RmsNorm(x)= x / Rms(x) * gamma + beta