Open
[GLM-5 DSA] sparse_flash_mla_grad 网络用例执行结果与分析 #573
Alice_zhouAdd on 2 days ago
AAlice_zhou
2 days ago Change title to "[GLM-5 DSA] sparse_flash_mla_grad 网络用例执行结果与分析", originally titled "[GLM-5 DSA] sparse_flash_attention_grad 网络用例执行结果与分析".
2 days ago Change title to "[GLM-5 DSA] sparse_flash_mla_grad 网络用例执行结果与分析", originally titled "[GLM-5 DSA] sparse_flash_attention_grad 网络用例执行结果与分析".
2 days ago Modify description of issue
2 days ago Modify description of issue
背景
sparse_flash_mla_grad(用例op_name=sparse_flash_mla_grad)。GLM-5.xlsx的DSAsheet(18 个输入 shape + 图片说明)。glm5_dsa_mla_grad_cases.xlsx(Sheet1,114 列,12 行 = 6 个序列长度 × det/nondet)。关键指标
用例构建
sparse_flash_mla_grad_network_9582.xlsx(114 列,Sheet1)。op_name=sparse_flash_mla_grad,B=1,N1=64,N2=1,S1=L,S2=s,D=512,kv_input_mode=ori,ori_sparse_size=2048,ori_sparse_mode=full,ori_topk_mode=no,sinks=randn,ori_mask_mode=4,ori_win_left=127,layout_q/layout_kv=TND,seqlens_list_q=[L],seqlens_list_ori_kv=[s]。(L,64,512)S1=L, N1=64, D=512(s,1,512)S2=s, N2=1(L,1,2051)ori_sparse_size=2048(2051=2048+3 尾部)kv_input_mode=orisinks=randn(按网络模板设置)--sep_backward=True。--sheetname=Sheet1。ori_sparse_size=2048;GLM-5 的2051=2048+3 尾部中 3 个尾部值未建模。kv_input_mode=ori,不使用 cmp 分支。执行环境与步骤
<EXEC_HOST>(<SOC>,本次使用 device 0)。<WORKDIR>;框架目录:<WORKDIR>/TuringBigKernel/FusionOp_Test。export PATH=<CONDA_BIN>:$PATH source activate <CONDA_ENV> source <CANN_TOOLKIT>/set_env.sh<CASE_DIR>/glm5_dsa_mla_grad_cases.xlsx。cd <WORKDIR>/TuringBigKernel/FusionOp_Test python3 dailyauto_fusion_david_fast.py \ --timeout=1800 \ --casefile=<CASE_DIR>/glm5_dsa_mla_grad_cases.xlsx \ --runtype=2 --deviceid=<DEVICE_ID> --need_lock_freq=False \ --sheetname=Sheet1 --ti=0-12--ti=0-12改为--ti=0-2。<CASE_DIR>/glm5_dsa_mla_grad_cases_sparse_flash_mla_grad_Result_<ts>_<SOC>.xlsx。Actual_backward_kernel_time;劣化% = (det - nondet) / |nondet| × 100。S2=1,048,576,显存约 5.7GB,已成功执行。结果表(12 条)
中间结果明细
分析报告
deterministic_check=Pass。ori_sparse_size=2048(2051 的 3 个尾部值未建模);kv_input_mode=ori(无 cmp 分支);当前 runner 不支持block_table/cu_seqlens/seqused/topk_length/metadata。若需严格 GLM-5 DSA 语义,需补充这些输入;当前结果可作为 MLA grad 确定性性能基线。附件
reports/、reports/results/备注/限制
Actual_backward_kernel_time。