已合并
[Doc] 优化接口文档:配置文档源码自动生成与结构重组,接口文档按检视整改 #845
[Doc] 优化接口文档:配置文档源码自动生成与结构重组,接口文档按检视整改 #845
已合并
rookie_hongchuan创建于 21 天前
rookie_hongchuan成员
21 天前

PR 提交说明

提交前请阅读 贡献指南,开发者文档:模型接入指南

PR 标题前缀:[Feature]、[Bugfix]、[Doc]、[Test](与 CONTRIBUTING 一致)

1. 影响面评估

接口变更(按需): 无。仅文档与文档生成脚本调整,不改动 CLI/API/YAML 解析与量化运行时行为。

备注:CLI 文档(模板 05)为手工维护、对照实现与 --help 撰写,本 PR 不改变任何命令行行为。

输出件变更(按需):

备注:不涉及导出格式、产物路径等。

非兼容变更(按需):

SIG 评审结论(按需):

2. 修改描述

修改背景: 接口层配置文档(模板 04)此前靠手工维护,新增处理器、改 Field 约束后容易与实现不一致;同时历史检视意见遗留若干文档问题(术语、表格矛盾、路径错误、Markdown 格式等)。

修改目的: 从源码自动生成量化配置接口文档并可用 --check 防漂移;按 AI 检视意见整改文档与规范模板;修复 pre-commit 门禁问题,使 MR 全量变更文件通过检查。

修改内容:

  • 配置文档自动生成:生成器移入 skills/docs-management/scripts/gen_config_api_docs.py 驱动 / gen_quant_config_docs.py 装配 / quant_config_docgen.py 渲染),从 Pydantic JSON Schema 抽取字段、默认值、约束与 type 分派,--check 逐字节核对生成稿与源码是否漂移;生成稿带 generated-by 标记、不手工编辑。
  • 文档结构重组:配置文档按 config/{task,processor,format,tuning}/ 分类子目录组织;task 与 spec 合并为一页、不再单独生成 spec/ 页面;删除 config/README.md 索引;页内跳转统一使用 HTML 锚点(<h3 id> / <a href>),弃用 {#anchor} 语法。
  • 源码注解补齐并重新生成:为各配置类补全/修正类 docstring、Field(description=)、validator docstring 并同步重新生成全部配置文档;修正评估服务校验器路径描述(evaluation.datasets)等。
  • CLI 文档补齐:新增/完善 docs/zh/api_reference/cli/msmodelslim_{quant,analyze,tune}.md(模板 05),修正参数默认值、条件必选、行为描述等。
  • 规范与模板同步:更新量化配置文档模板与校验清单、生成器设计文档、资料规范 README、docs-management skill 场景文档;回退 CLI 文档模板中与上游不一致的编号说明。
  • 检视整改:按检视意见修复术语(敏感性/敏感度落盘回退 等)、表格矛盾(默认值/取值范围/必选)、路径错误、Markdown 格式问题(MD038/MD031/MD051)等。
  • pre-commit 门禁修复:ruff 格式重排、日志惰性格式化(W1202/W1203)、pylint/bandit 豁免、typos 变量改名、codespell 白名单补充 TE;MR 全量变更文件通过 pre-commit。

概念域参考(填写提示):

  • cli:本 PR 仅文档,不改 CLI 代码
  • docs:配置/CLI 接口文档、资料规范与模板
  • skills:docs-management 文档生成 skill

3. 功能验证

冒烟由 CI 门禁检查,无需填写「冒烟是否通过」。

复现步骤(可选):

python3 skills/docs-management/scripts/gen_config_api_docs.py --check

4. 自检(请逐项确认,不适用标 N/A)

典型安全编码问题

DT

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 rookie_hongchuan 的贡献)
atomgit-bot
atomgit-bot
21 天前 评论:

变更摘要

本 PR 解决接口层文档(模板 04/05)靠手工维护、与实现易漂移的问题:新增一套基于源码的文档生成器,从 argparse 定义生成命令行 API 文档、从 Pydantic JSON Schema 生成量化配置接口文档,并支持 --check 漂移检测。为此在 msmodelslim/cli/__main__.py 中将 main() 拆出 build_parser(),让文档生成与运行时共用同一棵 argparse 树,命令行行为保持不变;生成结果输出到 docs/zh/api_reference/cli/docs/zh/api_reference/config/,同时自动更新 mkdocs.yml 导航并补充生成器设计说明。

主要改动

  • CLI 解析器抽取: msmodelslim/cli/__main__.py 新增 build_parser() 并返回 argparse 解析树,main() 改为调用它后再处理参数,使文档生成与运行时共用同一份命令行定义,CLI 行为不变。
  • 命令行文档生成器: 新增 docs/scripts/cli_docgen.py(渲染层,含 ArgRecordCommandRecordrender_cli_markdown 等)与 docs/scripts/gen_cli_docs.py(入口,含 collect_commandsbuild_command_recordupdate_mkdocs),从 argparse 抽取类型、必选/可选、默认值、约束、scope 专有参数、配置引用、环境变量、退出码与安全说明,生成 quant/analyze/tune 三个子命令文档并支持 --check--dry-run
  • 量化配置文档生成器: 新增 docs/scripts/quant_config_docgen.py(通过 DocJsonSchemaGenerator 生成文档用 JSON Schema,含 ModelRecordextract_fieldsrender_markdown 等)与 docs/scripts/gen_quant_config_docs.py(含 build_records_yaml_paths_wrap_exampleupdate_mkdocs),从 Pydantic 模型注解抽取字段、约束与校验器文档,生成任务配置/服务规格/处理器/保存格式/嵌套配置文档与索引,支持 --check 漂移检测。
  • MkDocs 导航更新: mkdocs.yml 将「八、Python API」改为「八、接口文档」,加入由 # BEGIN/END GENERATED CLI NAV# BEGIN/END GENERATED QUANT CONFIG NAV 标记的自动生成导航区块(cli 三个子命令及量化配置文档树),生成器可据此自动更新。
  • 单元测试补充: 新增 docs/scripts/test_cli_docgen.pydocs/scripts/test_quant_config_docgen.py,用不依赖 msmodelslim 的最小 argparse/Pydantic 模型覆盖参数抽取、语法构建、Markdown 渲染、内部 type 重写等逻辑。
likedislike
不准确?
atomgit-bot
atomgit-bot
21 天前 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
rookie_hongchuan成员
21 天前 评论:

compile

likedislike
ascend-robotascend-robot成员
21 天前 添加了label:ascend-cla/yes
此处折叠了288条消息 查看更多
AtlasAccountAtlasAccount成员
19 天前 添加了label:ci-pipeline-passed
AtlasAccount
AtlasAccount成员
19 天前 评论:
流水线 PR-pipeline_msmodelslim#2296 [ commitID:7edb0e5f ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_msmodelslim >>>
恶意代码检查 Antipoison_MindStudio-ModelSlim >>>
编码安全与规范检查 codecheck_pre-commit >>>
md_check md_check >>>
pre-commit >>>
开源片段检查 SCA_MindStudio-ModelSlim >>>
开发者测试 UT_msmodelslim >>>
PreSmoke_msmodelslim >>>
流水线 PR-pipeline_msmodelslim >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[A1streomeria, xyxin_006, libarry, joejoezhou, xiaoheng181, rookie_hongchuan]评论有效
  • compile : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
AtlasAccount
AtlasAccount成员
19 天前 评论:
流水线 PR-pipeline_msmodelslim#2296 [ commitID:7edb0e5f ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_msmodelslim >>>
恶意代码检查 Antipoison_MindStudio-ModelSlim >>>
编码安全与规范检查 codecheck_pre-commit >>>
md_check md_check >>>
pre-commit >>>
开源片段检查 SCA_MindStudio-ModelSlim >>>
开发者测试 UT_msmodelslim >>>
PreSmoke_msmodelslim >>>
流水线 PR-pipeline_msmodelslim >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[A1streomeria, xyxin_006, libarry, joejoezhou, xiaoheng181, rookie_hongchuan]评论有效
  • compile : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
ascend-robotascend-robot成员
19 天前 合入了pull request
ascend-robot
ascend-robot成员
19 天前 评论:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike