1.Describe the current behavior / 问题描述 (Mandatory / 必填)

样例： （根据实际修改和增删）

llama网络，配置执行参数：gqa + tp > 1 + cp_ds > 1，精度不正确

2.Environment / 环境信息 (Mandatory / 必填)

• Hardware Environment / 硬件环境(Mandatory / 必填):
  Hardware (e.g.Ascend910B1/Mac CPU)

  样例：

• Software Environment / 软件环境 (Mandatory / 必填):
  迭代版本新增问题样例：（根据实际修改和增删）

bugfix版本问题引入样例：（根据实际修改和增删）

3.Related testcase / 关联用例 (Mandatory / 必填)

• Testcase Name/ 用例名 (Mandatory / 必填):
  -- Testcase Name(e.g.test_mf_llama_7b_wiki4096_train_cell_dp1mp4pp4mb4_910_16p_0005): *

• Excute Mode / 执行模式 (Mandatory / 必填):
  -- Excute Mode(e.g., Graph\PyNative): *
  -- Excute Mode(e.g., O0\O1\O2)：O*

4.Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

llama，设置tp > 1 + cp_ds > 1 + kv_head_num < head_num，即可复现精度问题。

（1）get code from mindformers
（2）cd mindformers/research/qwen1_5
（3）bash ../../scripts/msrun_launcher.sh "python run_qwen1_5_long_seq.py --config research/qwen1_5/predict_qwen1_5_72b_chat.yaml --load_checkpoint /home/workspace/large_model_ckpt//qwen1_5/72b/qwen1_5_72b_chat_181 --run_mode predict --use_parallel True --do_sample False --auto_trans_ckpt False --seq_length 32768 --predict_length 32768" 8
（4）验证网络推理精度是否正常

5.Describe the expected behavior / 预期结果 (Mandatory / 必填)

开关ulysses cp精度一致。

【预期结果】：qwen1_5 推理精度正常

6.Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

报错关键日志截图：

完整日志（通过附件上传）：

7.Special notes for this issue/备注 (Optional / 选填)

**【定位人】**黄磊（根据实际修改）