Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
修改A2/A3 blockSize所支持的范围，修改如下： 1、GQA非量化、Q_S>1,、QKD=VD≠64/128,blockSize需要128对齐，∈[128,512] 2、MLA情况/GQA，QKD=VD=64下,blockSize需要16对齐，∈[16,1024] 3、GQA非量化、Q_S=1,、QKD=VD≠64/128,blockSize需要16对齐，∈[16,512]
Ascend 910b
无
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud（背景信息）
修改A2/A3 blockSize所支持的范围，修改如下：
1、GQA非量化、Q_S>1,、QKD=VD≠64/128,blockSize需要128对齐，∈[128,512]
2、MLA情况/GQA，QKD=VD=64下,blockSize需要16对齐，∈[16,1024]
3、GQA非量化、Q_S=1,、QKD=VD≠64/128,blockSize需要16对齐，∈[16,512]
Benefit / Necessity （价值/作用）
Ascend 910b
Design（设计方案）
无