Closed
DynamicRNN 与 DynamicRNNV2 的 forget_bias 默认值文档不一致 #6800
KaranocaVeAdd on Oct 17Closed at 29 days ago
Oct 17 Associated pull request
Oct 17 Assign KaranocaVe as responsible person
Oct 17 Modify description of issue
29 days ago Close issue
29 days ago Added label: resolved
DynamicRNN 与 DynamicRNNV2 的 forget_bias 默认值文档不一致
两个 README 都写
forget_bias默认值为1.0,而对应REG_OP注释和 Proto 属性声明均为0.0:rnn/dynamic_rnn/op_graph/dynamic_rnn_proto.h与rnn/dynamic_rnnv2/op_graph/dynamic_rnnv2_proto.h分别声明.ATTR(forget_bias, Float, 0.0)。Proto 的.ATTR是带默认值的可选属性;生成的get_attr_forget_bias()在属性不存在时返回声明值。配套 Graph 注册宏以该默认值初始化 getter,并注册属性默认值,因此省略 Proto 属性的公开接口默认值是0.0。Host OpDef 对两者都声明
forget_bias为REQUIRED并配置Float(0.0);tiling 检查属性指针后将其值直接写入dynamicRnnParams.forgetBias,没有改写为1.0。Kernel 将该值加到 forget gate 输入,数值差异会影响递归状态和输出。对应 UT golden 的single_lstm_cell默认参数也是0.0,并将其加到 forget gate 的预激活值。修复范围仅为两份 README,将
forget_bias默认值改为0.0,与 Proto 的缺省值及实现路径保持一致。Host UT 目前显式传入属性,没有覆盖省略属性的设备执行;缺省语义由公开 Proto 注册宏确认。验证
0.0;README 声称的1.0与 Proto 及 Host 实现证据冲突。未运行 NPU 测试。关联 PR: https://gitcode.com/cann/ops-nn/merge_requests/12167