已开启
[FlexAttention][v2.7.1]: load balance of forward and dQ #4783
ZhangZGC创建于 12 天前
12 天前 添加了label:triage-review
TorchNPU-Bot
12 天前 评论:
12 天前 评论:
issue待分派,添加triage-review标签


12 天前 添加了label:bot-triaged;删除了label:triage-review
TorchNPU-Bot
12 天前 评论:
12 天前 评论:
检测到当前 issue 已关联 PR,自动添加标签:bot-triaged


2 天前 关联了里程碑:v26.2.0
1. 概述
在不生成运行时 task table 的前提下,编译期识别
mask_mod的静态结构,估算每个 Q tile 的任务量,模拟三种公式化遍历方式在实际 AI Core 数量下的最长核负载,并只在扣除模型不确定度后仍有足够收益时,为前向和 dQ 选择 snake 调度;否则保持原始 RR。2. 总体流程