已关闭
[Documentation|文档反馈]: 补充InplaceAddLayerNormFusionPass融合规则资料 #5459
rk创建于  6 天前关闭于  5 天前
rk成员
6 天前 创建

Document Link(文档链接)

Issues Section(问题文档片段)

norm/inplace_add_layer_norm目录当前缺少InplaceAddLayerNormFusionPass对应的独立融合规则资料页和融合前后拓扑配图。

Existing Issues(存在的问题)

现有代码已实现InplaceAddLayerNormFusionPass,但资料未说明以下内容:

  • 推理场景下,融合规则会将AddLayerNorm算子替换为InplaceAddLayerNorm算子,使层归一化结果和加法结果分别原地写回x1和x2。
  • AddLayerNorm算子的bias为可选输入,支持带bias和不带bias的场景。
  • x1和x2需要满足原地写回安全要求,不能被其他节点消费,也不能来自连续内存排布的多输出节点。
  • 静态shape场景下,x1占用的内存大小需要处于L2缓存容量的1/8至2倍之间。
  • 动态shape场景下,x1的最后一维需要为5120。
  • AddLayerNorm算子的x1、x2和gamma输入的数据类型需要相同。

需要补充上述融合行为、使用约束及融合前后拓扑图,方便开发者判断规则的适用场景和生效结果。

likedislike
Rrk成员
6 天前 添加了label:documentation
yuning_chenyuning_chen成员
6 天前 将 wangpengbo26 设为负责人
CANN-robotCANN-robot成员
5 天前 关闭了 issue
CANN-robotCANN-robot成员
5 天前 添加了label:resolved