Closed
DynamicRNN 与 DynamicRNNV2 的 forget_bias 默认值文档不一致 #6800
KaranocaVeAdd on  Oct 17Closed at  29 days ago
KaranocaVe
KaranocaVe
Oct 17 Create

DynamicRNN 与 DynamicRNNV2 的 forget_bias 默认值文档不一致

两个 README 都写 forget_bias 默认值为 1.0,而对应 REG_OP 注释和 Proto 属性声明均为 0.0:rnn/dynamic_rnn/op_graph/dynamic_rnn_proto.h 与 rnn/dynamic_rnnv2/op_graph/dynamic_rnnv2_proto.h 分别声明 .ATTR(forget_bias, Float, 0.0)。Proto 的 .ATTR 是带默认值的可选属性;生成的 get_attr_forget_bias() 在属性不存在时返回声明值。配套 Graph 注册宏以该默认值初始化 getter,并注册属性默认值,因此省略 Proto 属性的公开接口默认值是 0.0。
Host OpDef 对两者都声明 forget_bias 为 REQUIRED 并配置 Float(0.0);tiling 检查属性指针后将其值直接写入 dynamicRnnParams.forgetBias,没有改写为 1.0。Kernel 将该值加到 forget gate 输入,数值差异会影响递归状态和输出。对应 UT golden 的 single_lstm_cell 默认参数也是 0.0,并将其加到 forget gate 的预激活值。
修复范围仅为两份 README,将 forget_bias 默认值改为 0.0,与 Proto 的缺省值及实现路径保持一致。Host UT 目前显式传入属性,没有覆盖省略属性的设备执行;缺省语义由公开 Proto 注册宏确认。

验证

  • Proto 公共接口缺省值可由注册宏语义确认是 0.0;README 声称的 1.0 与 Proto 及 Host 实现证据冲突。未运行 NPU 测试。

关联 PR: https://gitcode.com/cann/ops-nn/merge_requests/12167

likedislike
KaranocaVeKaranocaVe
Oct 17 Associated pull request
yuning_chenyuning_chenCollaborators
Oct 17 Assign KaranocaVe as responsible person
KaranocaVeKaranocaVe
Oct 17 Modify description of issue
CANN-robotCANN-robotCollaborators
29 days ago Close issue
CANN-robotCANN-robotCollaborators
29 days ago Added label: resolved