【RFC】HyperParallel Symmetric Memory — 子 Group、完整集合通信、反向传播及 Hccl 互操作

对称内存基础原语、shmem_allgather、shmem_alltoall（Torch）及 MC2 融合算子的设计已通过 #59 完成评审。本 ISSUE 在此基础上规划子 Group 支持、高级集合通信封装、反向传播、Hccl 互操作及 DFX 能力。

一、对外特性描述

1.1 背景

对称内存（Symmetric Memory）基于昇腾芯片内 Device 间共享内存，以 Push 模式实现单边通信——发起方可直接通过 Python API 读写远端对称内存，无需目标 rank 显式参与，消除了传统集合通信的同步屏障和中间数据拷贝。基础原语（put/get/signal/wait/put_with_signal）及 shmem_allgather 等接口设计详见 #59。

当前待补齐的能力：

1.2 现状与问题

当前实现存在三大能力缺口：

1. 不支持子 Group——所有对称内存操作基于全局 world_size，无法用于 FSDP/HSDP 中不同 DP group、TP group 等场景。典型需求：DP group 内用对称内存做 AllReduce，TP group 内用 Hccl 做 AllGather，两组互不干扰。

2. 缺少高级集合通信封装——用户需自行基于 put/get/signal 原语组装 AllReduce / ReduceScatter / Send / Recv，开发门槛高、容易出错。

3. 无自动微分支持——shmem_allgather / shmem_alltoall 无法在训练中直接使用，因为缺少反向传播实现。

1.3 设计目标

1.4 典型场景

1.5 功能与规格详述

1.5.1 对称内存子 Group 支持

核心设计：所有对称内存通信接口新增可选参数 group，指定通信域。group=None 时使用全局通信组。

# 新增 group 参数（所有接口统一）
symm.shmem_put(target, target_offset, src, src_offset, size, target_rank, group=None)
symm.shmem_get(target, target_offset, src, src_offset, size, target_rank, group=None)
symm.shmem_signal_op(signal, signal_offset, signal_value, signal_op, target_rank, group=None)
symm.shmem_put_with_signal(target, target_offset, src, src_offset,
                            size, signal, signal_offset, signal_value, signal_op, target_rank,
                            group=None)
symm.shmem_allgather(output_tensor, input_tensor, group=None)
symm.shmem_alltoall(send_tensor_list, receive_tensor, receive_list, group=None)
symm.shmem_allreduce(tensor, op='sum', group=None)
symm.shmem_reduce_scatter(output_tensor, input_tensor, op='sum', group=None)
symm.shmem_send(tensor, dst_rank, group=None)
symm.shmem_recv(tensor, src_rank, group=None)

target_rank 语义变更：当指定 group 时，target_rank 变为 group 内局部 rank（0 ~ group.size-1），框架内部负责映射到全局 rank。

约束：

• group 内所有 rank 必须处于同一物理节点（对称内存仅在节点内 Device 间共享）。
• 对已创建的 group 缓存其 rank 映射关系，避免重复初始化开销。
• group 通过 hyper_parallel.collectives.split_group() 或 platform.create_group() 创建，类型与平台无关（Torch: ProcessGroup, MindSpore: str）。

1.5.2 高级集合通信接口

在底层单边原语之上，封装对标 Hccl 的高级通信接口：

op 参数支持：'sum' / 'avg' / 'max' / 'min'，与 Hccl hcclRedOp 对齐。'avg' 操作内部先 sum 再除以 group size。

低精度通信高精累加：

• AllReduce / ReduceScatter 支持 low_precision_dtype 参数，指定通信时使用的低精度数据类型（如 fp8 / fp16）。
• 通信前本地 cast 到低精度 → 对称内存传输 → 通信后 cast 回高精度 → 本地累加。
• 通过 SYMMETRIC_MEMORY_LOW_PRECISION_DTYPE 环境变量全局配置，或接口级覆盖。

1.5.3 反向传播（自动微分）

遵循经典通信-计算对偶关系：

Forward:  shmem_allgather(x)       →  y
Backward: shmem_reduce_scatter(grad_y) → grad_x

Forward:  shmem_reduce_scatter(x)  →  y
Backward: shmem_allgather(grad_y)  → grad_x

Forward:  shmem_allreduce(x)       →  y
Backward: Identity (grad_y 各 rank 已一致，直接回传)

Forward:  shmem_alltoall(x)        →  y
Backward: shmem_alltoall(grad_y, transpose=True) → grad_x

Forward:  shmem_send(x, dst)       →  (no output)
Backward: Identity (grad from recv side)

Forward:  shmem_recv(x, src)       →  y
Backward: shmem_send(grad_y, src)

实现方式：每个通信接口注册对应的 autograd.Function（Torch）或 custom bprop（MindSpore），group 参数通过 ctx 传递到反向。

1.5.4 与 Hccl 集合通信的互操作性

核心结论：可以混用，但需遵循约束。

推荐混用模式：

训练循环:
  # DP group 内对称内存 AllReduce（低延迟、无 barrier）
  symm.shmem_allreduce(grads, op='sum', group=dp_group)

  # TP group 内 Hccl AllGather（利用 HCCS 高带宽）
  platform.all_gather_into_tensor(activations, tp_group_info)

  # 同步点：两类操作的 Stream 顺序自动保证正确性

禁止：在同一数据的同一通信阶段混用 Hccl 和对称内存（如用 Hccl AllReduce 聚合一部分梯度、用 SHMEM AllReduce 聚合另一部分），这会导致结果不一致。

1.5.5 跨平台补齐计划

1.5.6 性能与精度规格

性能指标（以 910B 8 卡节点为基准，nccl-tests 等价测试）：

精度对齐规格：

1.5.7 DFX 能力

参考：#59 Symmetric Memory 特性设计 RFC