Backgroud（背景信息）

• Describe/Explain the status of the problem you wish to solve.
  利用大模型用例检验HyperParallel分布式并行加速库的精度与性能
• Attach relevant issues if there is any.

Origin（信息来源）

• Explain which department/team made this request so that its priority can be given.

Benefit / Necessity （价值/作用）

• Describe/Explain the key value by fulfilling the request.

Design（设计方案）

• Describe/Explain the general idea of the design. Pseudo-code is allowed

正向

STEP1: 用同一模型验证对比在GPU和ASCEND，确定PTA模式的正确
deepseek-ai/deepseek-moe-16b-base模型
ASCEND 4卡推理结果：

GPU 4卡推理结果：

STEP2: 不再使用Transformers 库的from_pretrained 函数自动切分，将模型部署在ASCEND单卡上，验证正向推理结果正确性
TO DO

STEP3: 将上述模型使用hyper-parallel的hsdp和进行shard进行切分，与step1，step2推理结果对比正确性
TO DO

反向