已合并
feat:新增对激活做加法、layernorm、clamp的融合算子（#1669） #4116
hucongzheng创建于 4月14日
feat:新增对激活做加法、layernorm、clamp的融合算子（#1669） #4116
已合并
Pull Request已成功合入, 合并人@CANN-robot
（感谢 hucongzheng 的贡献）4月14日 创建了 pull request，commit 9d334c75
此处折叠了81条消息 查看更多
6月8日 添加了label：approved
chen-linxin4
6月9日 评论：
6月9日 评论：
/lgtm
/approve
6月9日 添加了label：lgtm
6月9日 合入了pull request
描述
新增对激活做加法、layernorm、clamp的融合算子
算子功能：对激活加Bias和残差后做layernorm, 再做clamp。对激活做加法、layernorm、clamp的融合算子。
计算公式： outAdd = x + residual + bias; outLyn = clamp(layernorm(outAdd))
关联的Issue
https://gitcode.com/cann/ops-transformer/issues/1669
测试
测试脚本中测试了BF16和FP16输入下和CPU的精度对比
文档更新
PR中包含一个README.md新增
类型标签
🐛 Bug 修复
[x ] ✨ 新特性
⚡ 性能优化
♻️ 重构
🧪 测试
📦 构建/CI
🔧 配置变更
📝 文档更新
⬆️ 依赖升级
🔒 安全修复
🧹 代码清理
❓ 其他，请描述：