Closed
[Requirement|需求建议]:添加Metadata算子开发指南 #6912
FiguraDogeAdd on 11 days agoClosed at 10 days ago
11 days ago Added label: requirement
游震
11 days ago Comments:
11 days ago Comments:
/assign @ChengjiaWu


11 days ago Assign ChengjiaWu as responsible person
周云飞
11 days ago Comments:
11 days ago Comments:
感谢提出建议。对于希望理解和开发 Metadata 算子的开发者,除了调用示例,还需要说明元数据的含义、生成方式,以及它与后续计算算子的关系。这类指南有助于减少开发者在接口定义、示例和计算内核之间反复对照的成本。
以 DenseLightningIndexerKLLossGradMetadata 为例,接口包含序列长度相关输入、布局等属性,并输出 int32 类型的 metadata;对应的 arch35 定义还涉及任务总量、使用核数、各核处理量等字段。因此,指南不宜只介绍如何调用,还应解释这些字段如何组织、由谁生成,以及后续计算如何使用。
一个可行的文档组织方式是“通用原理与开发流程 + 具体算子示例”:
- 原理与功能:说明 Metadata 算子的职责、适用场景,以及与对应计算算子的配合方式。
- 接口与数据约定:说明输入输出、属性含义、元数据字段和索引规则,并区分具体算子及架构的适用范围,避免将个别实现当作通用格式。
- 开发与验证示例:串联接口定义、参数校验、元数据生成和下游使用过程,给出调用示例及结果检查方法。现有的 PyTorch 调用示例 可以作为其中一个入口,但还需要配套解释参数和输出含义。
文档组织上,可以将共性内容集中说明,将各算子的具体约束保留在对应文档中,以减少重复和后续更新不一致的风险。我们将继续评估指南的覆盖范围及组织方式。


10 days ago Close issue
10 days ago Added label: resolved
Backgroud(背景信息)
仓中metadata算子的比重逐渐增多,但是未提供文档帮助开发理解原理和功能,以及开发指南。
Benefit / Necessity (价值/作用)
帮助开发者理解metadata算子的原理和功能
Design(设计方案)
提供指南即可