Open
[确定性性能] sparse_lightning_indexer_kl_loss_grad:网络用例确定性/非确定性性能对比 #566
Alice_zhouAdd on  2 days ago
Alice_zhouCollaborators
2 days ago Create

背景

  • 目标算子:sparse_lightning_indexer_kl_loss_grad。
  • 网络用例文件:sparse_lightning_indexer_kl_loss_grad_network_9582.xlsx。
  • 执行设备:device 0;执行方式:det/nondet 成对执行。
  • 复现环境:155(Ascend950DT_9582 / CANN 9.2.0)、195(Ascend950PR_9589 / CANN 9.3.0)。

关键指标

  • 总对数:13
  • 有效对数:8
  • 平均劣化:239.24%
  • 最高劣化:443.51%
  • 最低劣化:173.07%
  • 严重劣化(>10%):8/8
  • 失败/无效:5 条 nondet 用例(test_01~test_05)报 AIC ERROR;有效 8 对,5 对不完整。
  • 一致性异常:test_01_det、test_05_det 的 deterministic_check=Fail 可稳定复现。

网络用例结果(有效对 Top 10)

用例 网络 det nondet 劣化%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_test_06 dsv4_test 1,851.16 340.59 +443.51%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_test_07 dsv4_test 2,010.53 511.51 +293.06%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_c4_1 dsv4_flash_285b_gb4_seq_4k_dp1_cp1 2,858.16 912.36 +213.27%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_c4_4 dsv4_pro_1.6t_gb4_seq_4k_dp1_cp1 3,523.30 1,148.86 +206.68%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_c4_2 dsv4_flash_285b_gb2_seq_64k_dp1_cp1 50,196.12 16,429.07 +205.53%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_c4_3 dsv4_flash_285b_gb1_seq_1m_dp1_cp64 12,817.51 4,240.76 +202.25%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_c4_5 dsv4_pro_1.6t_gb2_seq_64k_dp1_cp1 76,539.85 27,674.94 +176.57%
sparse_lightning_indexer_kl_loss_grad_flash_dsv4_c4_6 dsv4_pro_1.6t_gb1_seq_1m_dp1_cp64 19,671.50 7,203.93 +173.07%

确定性与 AICORE 问题(已拆分为独立 issue)

本 issue 仅保留网络用例确定性/非确定性性能对比结论;一致性对比的前提(det 逐位确定)与 nondet 可用性分别见上述两个独立 issue。

执行步骤

cd <WORKDIR>/TuringBigKernel/FusionOp_Test
export PATH=<CONDA_BIN>:$PATH
source activate <CONDA_ENV>
source <CANN_TOOLKIT>/set_env.sh
python3 dailyauto_fusion_david_fast.py \
  --timeout=1800 \
  --casefile=<CASE_DIR>/sparse_lightning_indexer_kl_loss_grad_network_9582.xlsx \
  --runtype=2 --deviceid=<DEVICE_ID> --need_lock_freq=False \
  --sheetname=Sheet1 --ti=0-26

附件

备注/限制

  • 指标为 profiler 采集的 Actual_backward_kernel_time;路径使用占位符。
  • 由于 5 条 nondet 用例 AIC ERROR,网络对比仅 8 对有效;且 det 侧存在确定性 Fail,性能数据需结合 #587/#588 结论解读。
likedislike
AAlice_zhouCollaborators
2 days ago Modify description of issue
AAlice_zhouCollaborators
2 days ago Modify description of issue
AAlice_zhouCollaborators
2 days ago Modify description of issue
AAlice_zhouCollaborators
1 day ago Modify description of issue
AAlice_zhouCollaborators
1 day ago Modify description of issue
AAlice_zhouCollaborators
1 day ago Modify description of issue
AAlice_zhouCollaborators
1 day ago Modify description of issue