已开启
新增分布式算子开发技能(dist-op-analysis / dist-op-dev)及开发流程简化 #167
hedongdong创建于  5月26日
hedongdong成员
5月26日 创建

背景

HyperParallel 的分布式算子开发流程缺乏标准化工具支撑。开发者需要手动查阅大量分散的文档(YAML 注册规范、preprocess/infer_layout/get_expand_impl 编码约束、UT/ST 测试模式),新算子接入效率低且容易遗漏检查项。同时,原有的 dist-op-dev 技能包含大量冗余的 workflow 文档(6 个独立 workflow MD 文件),与已有规则文件内容重叠,维护成本高。

目标

重构并精简分布式算子开发技能,提供清晰的端到端流程引导:

dist-op-analysis(算子分析)

  • 接受用户提供的 PyTorch/MindSpore 接口信息,输出标准化的算子分析报告和实现计划
  • 提供 plan-template.md 模板,统一输出的计划文件格式,包含:接口定义、分布式策略、分片场景表格、实现方案
  • 需人工确认后才进入实现阶段(/dist-op-analysis → 输出 plan → STOP → 人工确认 → /dist-op-dev)

dist-op-dev(算子开发)

  • 读取已确认的 plan 文件,自动执行实现 → 测试 → 修复循环,直到所有可执行测试通过
  • 简化了技能文件结构:
    • 移除 6 个独立的 workflow MD 文件(01 分析 → 06 提交流程),所有约束合并到 2 个规则文件
    • 移除与 ../rules/ 重复的 3 个参考文件
    • 新增 plan-template.md 模板统一分析报告与实现计划的格式
  • 验证报告保存到 reports/ 目录(.gitignore 排除,本地留存)

相关 PR

#695

likedislike
Hhedongdong成员
5月26日 修改了issue 的描述
Yyao_yf成员
5月27日 关联了pull request:Add optimizer utilities module exports for distributed Muon
Yyao_yf成员
5月27日 删除了关联的pull request:Add optimizer utilities module exports for distributed Muon