已关闭
[Documentation|文档反馈]: FusedLinearOnlineMaxSum:词表结束索引是否包含在分片内的说明有误 #7711
daishuangshuang创建于  6 天前关闭于  1 天前
daishuangshuang
6 天前 创建

1)标题

FusedLinearOnlineMaxSum:词表结束索引是否包含在分片内的说明有误

2)文档链接

matmul/fused_linear_online_max_sum/README.md(第 41 行起)

3)问题文档片段

第 41 行:

     target\_mask = (target < vocab\_start\_index) | (target > vocab\_end\_index)

第 123 行(仅去掉 HTML 标签):

表示分到本卡上的结束索引,公式中的vocab_end_index。
取值范围为[vocab_start_index, min(vocab_start_index + weight.size(0) - 1, max(target) - 1)]。

4)存在的问题(选填)

实现将 vocab_end_index 作为不包含在当前分片内的右边界,即 target>=vocab_end_index 就应屏蔽;文档公式却使用 >,参数范围又按“最后一个有效编号”来描述,边界定义不统一。

例如,当前卡负责编号 0、1、2、3,则起始索引为 0,结束边界为 4。编号 4 不属于当前卡,应该屏蔽;但文档的 target>4 不会屏蔽它。

建议统一采用左闭右开区间 [start,end),将遮挡条件改为 >=end,并一并修正结束索引的参数说明。实现中的结束边界比较使用的是“大于等于”。

likedislike
yuning_chenyuning_chen成员
6 天前 将 sakuraqqz 设为负责人
yuning_chen
yuning_chen成员
6 天前 评论:

初步分析

感谢反馈。

现象理解:FusedLinearOnlineMaxSum 文档对 vocab_end_index 使用 > 比较,并按闭区间描述结束索引;实现按 >= 作为右开边界。
当前判断:初步判断,待复现确认。边界语义不一致会导致分片边界 token 未被正确屏蔽。
涉及范围:matmul/fused_linear_online_max_sum README 公式与 kernel 边界比较。
下一步:统一为左闭右开语义,修正公式与参数说明。

likedislike
yuning_chen
yuning_chen成员
6 天前 评论:

您好,该问题已收到,当前问题 @sakuraqqz 正在处理中

likedislike
Ddaishuangshuang
5 天前 issue类型由 任务 改变为 缺陷
Ssakuraqqz成员
2 天前 关联了pull request:docs(fused_linear_online_max_sum): 统一 vocab_end_index 为左闭右开区间口径
CANN-robotCANN-robot成员
1 天前 关闭了 issue
CANN-robotCANN-robot成员
1 天前 添加了label:resolved