昇腾自研大模型推理引擎
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
更新本地构建devcontainer.json编译镜像版本 Co-authored-by: duping<duping31@h-partners.com> # message auto-generated for no-merge-commit merge: !1042 merge dev_merge into dev 更新本地构建devcontainer.json编译镜像版本 Created-by: duping Commit-by: duping Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 编译镜像升级CANN 9.0.0+torch_npu release v26.0.0-pytorch2.9.0需要同步更新本地构建devcontainer.json里镜像版本 如涉及，请关联前序PR或同特性/需求下的其他PR。 如果是修复之前PR引入的问题，请关联引入问题的PR。 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #634 # 修改内容 编译环境CANN版本升级.devcontainer/cpu/devcontainer.json同步更新编译镜像 # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果 不涉及 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1042 | 1 个月前 | |
new: 新建文件 PULL_REQUEST_TEMPLATE.md 按照MindiE-LLM SIG组决策，添加新的PR提交信息模版，主要涉及： 合入背景、修改内容、资料变更、接口变更、测试结果、提交CheckList等关键信息 Signed-off-by: limuyuan31 <limuyuan3@huawei.com> | 6 个月前 | |
[Feature] 支持openEuler环境可编译 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1070 merge br_lib into dev [Feature] 支持openEuler环境可编译 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ubuntu:  openeuler:  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1070 | 22 天前 | |
[Feature] 支持openEuler环境可编译 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1070 merge br_lib into dev [Feature] 支持openEuler环境可编译 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ubuntu:  openeuler:  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1070 | 22 天前 | |
[Doc]修复mkdocs导航断链、补齐缺失文档并配置uslugify支持中文锚点 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1062 merge A00245_1 into dev [Doc]修复mkdocs导航断链、补齐缺失文档并配置uslugify支持中文锚点 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 修复 readthedocs 文档网站导航断链及锚点失效问题。 前置任务：A00245 readthedocs 文档网站持续优化。该 MR 作为 A00245 的延续，聚焦于文档链接和导航的全面体检与修复。 Fixes #566 # 修改内容 本次修改涉及 3 个文件，以下逐项说明： ## 1. docs/zh/.nav.yml — 导航修复与补全 ### 修复 - 开发者指南 > 编译安装： build_guide.md → build_guide_llm.md（该文件在仓库中的实际文件名与 nav 引用不一致，导致导航页面 404） ### 补全 以下文档存在于仓库但未被导航覆盖，用户无法通过侧边栏到达。本次一并补入： - **通信矩阵**（user_guide/communication_matrix.md）：用于展示 MindIE LLM 各组件通信端口、协议、认证方式等信息的参考表格。 - **日志**章节（user_guide/log/ 共 9 个文件）：包括日志参考、使用说明、日志简介、查看日志、日志级别/展示方式/落盘路径/内容/轮转配置。该目录有完整的 menu_log.md 索引页，说明原是设计为独立章节的，在之前的导航调整中被遗漏。 - **发布说明**（release_notes.md）：位于文档根目录的发布记录页面。 ## 2. mkdocs.yml — 配置中文锚点正确生成 ### 问题 MkDocs 默认的 slugify 函数会剥离非 ASCII 字符。对于中文 heading，如 ## 限制与约束，生成的锚点 ID 被降级为 _1、_2 等数字序列。导致文档中约 28 处指向中文锚点的页面内/跨页链接失效（链接如 #限制与约束 实际指向的 HTML 锚点却是 #_1）。 ### 修复 在 toc 扩展中启用 pymdownx.slugs.slugify(case='lower')，该函数保留 Unicode 字符并统一转为小写，使中文锚点正确渲染。例如： | Heading | 修复前 | 修复后 | |---------|--------|--------| | ## 限制与约束 | #_1 | #限制与约束 | | ## ServerConfig参数说明 | #serverconfig（中文被剥离） | #serverconfig参数说明 | | ## ATB Models纯模型使用 | #atb-models（中文被剥离） | #atb-models纯模型使用 | | ## 获取MindIE镜像 | #mindie（中文被剥离） | #获取mindie镜像 | 涉及的文件：user_guide/feature/context_parallel.md、expert_parallel.md、function_call.md、prefix_cache.md、kv_cache_pool.md、long_sequence.md、mix_shared_routing.md、slo_aware_scheduling_optimization.md、split_fuse.md、thinking_reasoning_function_stream.md、enable_reasoning.md 等 feature 页面，以及 build_guide_llm.md、image_usage_guide.md、quick_start.md、installation_introduction.md、environment_preparation.md、installing_software_and_dependencies.md、upgrade.md、installation_in_containerized.md、service_parameter_configuration.md、service_APIs_usage_guidance.md、offline_inference.md、model_parameter_configuration.md。 ## 3. docs/zh/user_guide/user_manual/service_parameter_configuration.md — Blockquote 闭合修复 ### HealthCheckConfig参数说明 heading 紧跟在未闭合的 blockquote（>）之后，被 Python-Markdown 解析为 blockquote 的延迟延续（lazy continuation），从而渲染为普通文本而非 heading。移除残留的 > 行后，该 heading 正确渲染为 <h3>，对应的锚点链接 #healthcheckconfig参数说明 恢复正常。 # 资料变更 涉及。本次 MR 对 readthedocs 文档网站全部修改如下： - 修复 1 处导航断链（编译安装页面 404） - 补全 11 个未被导航覆盖的文档文件（通信矩阵、日志章节 9 页、发布说明） - 修复约 28 处中文锚点失效链接 - 修复 1 处 blockquote 导致 heading 渲染异常的问题 # 接口变更 不涉及。本次 MR 仅修改文档导航配置和 markdown 源文件，无接口变更。 # 测试结果 ### 测试方法 使用 mkdocs build --clean 全量构建文档站点，检查构建日志中的锚点警告。 ### 测试环境 - mkdocs 1.6.1 - mkdocs-material 9.7.6 - pymdown-extensions ### 测试结果 | 阶段 | 锚点相关警告数 | 说明 | |------|--------------|------| | 修复前 | ~28 条 INFO（锚点不存在） | 均为中文锚点问题 | | 修复后 | 0 条 | 全部消除 | 剩余 WARNING 为 developer_guide/architecture_design/mtp.md 和 developer_guide/migration_and_adaptation_guide/aclgraph_migration_and_adaptation_guide.md 中指向源码文件（../../mindie_llm/...）的意图性链接——这些是开发者指南中引用实际代码路径的链接，非文档断链，不在本次修复范围内。 # CheckList - [x] 不涉及代码注释 - [x] 不涉及错误日志 - [x] 不涉及返回值校验 - [x] 不涉及空指针校验 - [x] 不涉及资源申请 - [x] 不涉及多线程场景 - [x] 不涉及代码格式化 - [x] 不涉及编码规范 See merge request: Ascend/MindIE-LLM!1062 | 22 天前 | |
[Doc]全量README文档规范统一与内容修正，补齐DeepSeek-R1-Distill-Qwen配套资料并清理bge旧目录 [Supplement 01] Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1043 merge A00251_07 into dev [Doc]全量README文档规范统一与内容修正，补齐DeepSeek-R1-Distill-Qwen配套资料并清理bge旧目录 [Supplement 01] Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: # 合入背景 Fixes [#617](https://gitcode.com/Ascend/MindIE-LLM/issues/617) 针对首次合入中遗漏的部分文档以及后续新发现的格式问题，做补充修复： 1. DeepSeek-V3 文档在首次合入中遗漏，纯模型推理章节未删除、服务化测试仍使用旧 benchmark 命令、量化链接仍指向已废弃的 msit 路径 3. LLaVA 系列文档此前未纳入修改范围，存在路径反斜杠、路径变量表未按镜像范式修复、量化链接未更新等共性问题 4. MiniCPM 系列文档此前未纳入修改范围，存在旧 benchmark 残留（相关代码已从仓库删除，完全不可用）、标题层级错误、路径变量表未更新等问题 5. 全量盘古之白修复：中文与英文/数字间空格规范化，提升文档可读性 # 修改内容 ## 1. DeepSeek-V3 README 文档修正 - **删除纯模型推理章节**（含精度测试和性能测试。后续纯模型性能验证已统一通过 AISBench 服务化测试覆盖） - **服务化测试替换为 AISBench**：移除旧 benchmark 命令，改用 ais_bench + vllm_api_general_chat 配置 - **量化链接修复**：gitee.com/ascend/msit/... → gitcode.com/Ascend/msmodelslim - **重复内容清理**：删除 "修改模型文件夹属组" 重复段落 - **大小写修正**：Deepseek-R1 → DeepSeek-R1 - **盘古之白**：59 处 ## 2. GLM4v README 文档修正 - **模型名称大小写统一**：GLM-4v-9b → GLM-4v-9B ## 3. LLaVA 系列文档修正 **llava/README.md**： - **路径变量表修复**：编译包路径改为镜像路径范式（/usr/local/Ascend/atb-models） - **量化链接修复**：msit → msmodelslim - **表格 emoji 统一**：√ → ✅ - **拼写修复**：bacth → batch - **盘古之白**：44 处 **llava/llava_videobench/README.md**： - **反斜杠路径修复**：2 处 \ 改为 / - **路径描述修正**：对齐实际命令的执行目录 - **标题层级修复**：# 使用说明 → ## 使用说明 - **盘古之白**：31 处 ## 4. MiniCPM 系列文档修正 **minicpm_qwen2_v2/README.md**： - **路径变量表修复**：镜像路径范式统一 - **标题层级与反斜杠修复** - **旧 benchmark 章节删除**：移除 benchmark精度测试方案 和 性能测试方案（旧 benchmark 已从仓库删除，不可用） - **新增 AISBench 性能测试章节**：使用 vllm_api_stream_chat + textvqa_gen 数据集 + --mode perf - **名称规范**：Aisbench → AISBench - **表格 emoji 统一**：√ → ✅ - **盘古之白**：8 处 **minicpm/README.md**： - **标题层级级联修复**：# → ##/###/#### - **路径变量表修复**：镜像路径范式统一 - **反斜杠修复** - **拼写修复**：矩此阵 → 此矩阵 - **大小写统一**：MiniCpm（6 处）→ MiniCPM - **表格 emoji 统一**：√/× → ✅/❌，同步修复多余的无效列 - **链接修复**：移除 master/ 错误路径（6 处），改为正确的相对路径 - **删除 8x22B 错误引用**：该模型不存在，系 Mixtral 命名混淆笔误 - **盘古之白**：11 处 # 资料变更 涉及。本次为全部文档资料变更： - 修改 6 个 README 文件 - 无新增/删除文档 # 接口变更 不涉及。本次为纯文档变更，无代码接口改动。 # 测试结果 不涉及。本次为纯文档资料变更，无功能/性能/精度相关代码改动。 # CheckList > PR 提交人对以下 CheckList 自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备（不涉及代码，文档内容已核对） - [x] 正确记录错误日志（不涉及） - [x] 进行了返回值校验（不涉及） - [x] 进行了空指针校验（不涉及） - [x] 若存在资源申请，使用后资源被正确的释放了（不涉及） - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题（不涉及） - [x] 按照代码仓中提供的格式模板，使用 clang-format 工具格式化代码（不涉及） - [x] 符合 Ascend 社区的编码规范（不涉及） See merge request: Ascend/MindIE-LLM!1043 | 1 个月前 | |
[fix] 重建链后dsv32索引越界以及qwen3精度问题修复 Co-authored-by: yilunh<hanyilun1@huawei.com> # message auto-generated for no-merge-commit merge: !1059 merge roce into dev [fix] 重建链后dsv32索引越界以及qwen3精度问题修复 Created-by: yilunh Commit-by: yilunh Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 roce快恢过程中，对故障实例做pd unlink和link。快恢流程结束后发送推理请求，dsv32抛出索引越界异常，qwen3存在精度问题。 定位发现relink流程中未对dp_inst_id_to_cluster_id做清空，在 PD unlink 后 relink 时会累积旧的 cluster_id，导致索引越界以及pullKV拉错。 fixes [#641](https://gitcode.com/Ascend/MindIE-LLM/issues/641) # 修改内容 clear_remote_info()中新增dp_inst_id_to_cluster_id = {} # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果 推理正常  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1059 | 30 天前 | |
[Doc]3.0.0安装兼容run和whl Co-authored-by: x60087760<xiechangxiu3@h-partners.com> # message auto-generated for no-merge-commit merge: !979 merge install-run into dev [Doc]3.0.0安装兼容run和whl Created-by: ella07 Commit-by: ella07;x60087760 Merged-by: ascend-robot Description: [#563](https://gitcode.com/Ascend/MindIE-LLM/issues/563) 1、安装指南的“准备软件包和依赖”“安装软件包和依赖”，“安装MindIE软件包”，“升级”“卸载”章节，描述区分run包和whl包。 2、快速入门是以镜像方式安装为例，所以快速入门里的“模型推理”章节，恢复成社区资料。 3、LLM用户指南的所有特性章节，配置文件和启服务的方式，都区分run包和whl包。 4、LLM用户指南的“配置参数说明（服务化）”章节，config.json路径区分whl包和run包。 5、LLM用户指南的“PD混合服务部署”“离线推理”章节，涉及安装路径和环境变量处区分run包和whl包 See merge request: Ascend/MindIE-LLM!979 | 2 个月前 | |
[Feature] 支持openEuler环境可编译 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1070 merge br_lib into dev [Feature] 支持openEuler环境可编译 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ubuntu:  openeuler:  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1070 | 22 天前 | |
[doc server] 添加文档托管网站基础设施 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !724 merge A00200_0330 into dev [doc server] 添加文档托管网站基础设施 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 Fixes #377 当前项目缺少统一的文档站点构建与发布能力，文档以原始 Markdown 形式放在仓库中，阅读体验差、导航结构不清晰，在线浏览和搜索功能非常有限。 本 PR 引入 MkDocs Material 文档站点基础设施，支持通过 ReadTheDocs 在线发布中文文档，同时修复文档链接、适配 pre-commit 检查、优化代码块渲染，为后续文档持续维护和协作提供标准化框架。 # 修改内容 ## 文档站点基础设施 1. 新增 [mkdocs.yml](mkdocs.yml) 站点配置文件，基于 MkDocs Material 主题，配置导航、搜索、代码高亮、Git 修订日期、图片灯箱、HTML 压缩、MathJax 数学公式渲染等插件和 Markdown 扩展 2. 新增 [.readthedocs.yaml](.readthedocs.yaml) ReadTheDocs 构建配置，使用 Ubuntu 22.04 + Python 3.11 + uv 包管理器进行文档构建 3. 新增 [requirements/mkdocs.txt](requirements/mkdocs.txt) 文档构建依赖清单 4. 新增 [docs/zh/.nav.yml](docs/zh/.nav.yml) 中文文档导航配置，覆盖用户指南、开发者指南和 FAQ 等模块 5. 新增 [docs/zh/build_mkdocs.md](docs/zh/build_mkdocs.md) 本地构建 MkDocs 文档服务的调试指南 ## 自定义样式与 Hook 6. 新增 [docs/mkdocs/hooks/github_admonition.py](docs/mkdocs/hooks/github_admonition.py) Hook，将 GitHub 风格的 > [!NOTE] 等 Admonition 语法自动转换为 MkDocs !!! note 语法（支持 >- 列表嵌套语法） 7. 新增 [docs/mkdocs/hooks/img_width.py](docs/mkdocs/hooks/img_width.py) Hook，将 HTML <img> 标签（含 width 属性）转换为 MkDocs 兼容的 Markdown 图片语法 8. 新增 [docs/zh/stylesheets/extra.css](docs/zh/stylesheets/extra.css) 自定义样式：定义 announcement、important、code、console 四种 Admonition 类型样式，Tabbed 组件样式，代码块系统等宽字体（不换行 + tab-size: 8） 9. 新增 [docs/zh/javascripts/mathjax.js](docs/zh/javascripts/mathjax.js) MathJax 数学公式渲染配置 ## README 与首页 10. 重构 [README.md](README.md)：添加居中大标题和副标题、导航栏（昇腾社区 / 文档中心 / 代码仓库 / 社区会议），所有文档链接替换为 ReadTheDocs 在线地址，修复原有 2 个断链（install/README.md、user_manual/README.md） 11. 重构 [docs/zh/README.md](docs/zh/README.md) 首页为 Landing Page，包含项目简介、核心能力、架构概览和相关链接 ## 文档修复与整理 12. 修复 [docs/zh/user_guide/install/menu_install.md](docs/zh/user_guide/install/menu_install.md) 中 4 处链接失效：nofification 拼写错误、FAQ 路径 faq/ → faq_and_appendixes/ 13. 修复 [docs/zh/user_guide/feature/](docs/zh/user_guide/feature/) 文件名大小写不一致：multi_loRA.md → multi_lora.md、splitFuse.md → split_fuse.md，同步更新所有引用该文件的导航链接 14. 删除冗余文档 installtion_in_containerized.md（保留 installation_in_containerized.md） ## Pre-commit 适配 15. [.pre-commit-config.yaml](.pre-commit-config.yaml) 中 check-yaml 添加 exclude: mkdocs\.yml$，跳过含 !!python/name: 扩展标签的 mkdocs.yml # 资料变更 本 PR 即为资料变更。引入 MkDocs 文档站点基础设施，重构中文文档首页和项目 README，修复多处文档链接失效，新增导航配置、自定义样式、MkDocs Hook 和 ReadTheDocs 构建配置。 # 接口变更 不涉及 # 测试结果 - 本地使用 mkdocs serve 构建验证通过，站点可正常访问，页面渲染正确 - 导航链接已逐一确认，所有页面可正常跳转 - 明暗主题切换正常，Logo 和 favicon 显示正确 - GitHub Admonition Hook 转换验证通过，> [!NOTE]、> [!WARNING]、> [!TIP]、> [!CAUTION]、> [!IMPORTANT] 均可正确转换（含 >- 列表嵌套语法） - 代码块系统等宽字体渲染正常，box-drawing 字符对齐正确（Mac / Windows / ReadTheDocs 已验证） - 搜索功能正常，支持中文搜索和高亮 - ReadTheDocs 构建配置验证通过 - pre-commit 检查通过（mkdocs.yml 已排除 check-yaml） # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-Cpp-Coding-Style-Guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-Cpp-Secure-Coding-Guide.md) See merge request: Ascend/MindIE-LLM!724 | 2 个月前 | |
[Feature] 支持openEuler环境可编译 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1070 merge br_lib into dev [Feature] 支持openEuler环境可编译 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ubuntu:  openeuler:  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1070 | 22 天前 | |
[Feature] 支持openEuler环境可编译 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1070 merge br_lib into dev [Feature] 支持openEuler环境可编译 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ubuntu:  openeuler:  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1070 | 22 天前 | |
增加UT执行参数，给CI调用跳过使用 Co-authored-by: chenzeyu<zeyuchen374@gmail.com> # message auto-generated for no-merge-commit merge: !1057 merge dev into dev 增加UT执行参数，给CI调用跳过使用 Created-by: qq54010497 Commit-by: chenzeyu Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 1、UT适配统一资源池，需要暂时先跳过一个用例，作为过渡到ipv6方案 2、精准测试，需要精准测试某些UT\ > 不涉及\ > 不涉及\ > Fixes #639 # 修改内容 > 对fn_run_dt增加一个参数，通过fn_main透传给fn_run_dt # 资料变更 > 不涉及 # 接口变更 > 不涉及 # 测试结果 > 增加参数，参数生效\ > 不传参数，维持原有逻辑，全量测试 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x ] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1057 | 1 个月前 | |
[Feature]: Deepseek V3.2支持ascend c自定义算子接入 Co-authored-by: 周天扬<zhoutianyang@huawei.com> # message auto-generated for no-merge-commit merge: !570 merge zty_T0004 into dev [Feature]: Deepseek V3.2支持ascend c自定义算子接入 Created-by: hw-zhoutianyang Commit-by: 周天扬 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#303](https://gitcode.com/Ascend/MindIE-LLM/issues/303) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 更新Ascend C自定义算子编译框架，新增moe融合算子dispatch_ffn_combine # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 dispatch_ffn_combine单算子UT测试通过：  gsm8k lite精度OK：  不开moe融合算子输入2k输出1k并发8性能：  开启moe融合算子输入2k输出1k并发8性能：  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!570 | 3 个月前 | |
恢复mindie-llm run包和atb-models tar包 Co-authored-by: 周天扬<zhoutianyang@huawei.com> # message auto-generated for no-merge-commit merge: !863 merge dev_run_pkg into dev 恢复mindie-llm run包和atb-models tar包 Created-by: hw-zhoutianyang Commit-by: 周天扬 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#530](https://gitcode.com/Ascend/MindIE-LLM/issues/530) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 恢复mindie-llm run包和atb-models tar包 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!863 | 2 个月前 | |
[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com> | 6 个月前 | |
整改 gitignore、OWNERS、dockerfile Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !828 merge A00228 into dev 整改 gitignore、OWNERS、dockerfile Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 Fixes #428 整改仓库基础配置文件，清理不再需要的文件并修复 .gitignore 编码问题。 # 修改内容 1. **修复 .gitignore 编码问题**：原文件存在 Windows 换行符（\r\n，即 ^M）和 UTF-16 BOM 编码，导致 git 无法正确匹配忽略规则。统一修改为 UTF-8 + LF 编码，确保忽略规则生效。 2. **删除 OWNERS 文件**：该文件为 Gitee/代码托管平台的审阅者配置文件，当前仓库不再使用，予以删除（113 行）。 3. **删除 docker/mindie_llm_ubuntu24_aarch64.dockerfile**：该 Dockerfile 已废弃不再维护，予以删除（339 行）。 # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果 - 验证 .gitignore 编码修复后，git status 正确忽略 build/、third_party/、*.so 等路径 - 确认删除 OWNERS 和 dockerfile 后，编译和服务启动不受影响 # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!828 | 3 个月前 | |
[Doc]3.0.0安装兼容run和whl Co-authored-by: x60087760<xiechangxiu3@h-partners.com> # message auto-generated for no-merge-commit merge: !979 merge install-run into dev [Doc]3.0.0安装兼容run和whl Created-by: ella07 Commit-by: ella07;x60087760 Merged-by: ascend-robot Description: [#563](https://gitcode.com/Ascend/MindIE-LLM/issues/563) 1、安装指南的“准备软件包和依赖”“安装软件包和依赖”，“安装MindIE软件包”，“升级”“卸载”章节，描述区分run包和whl包。 2、快速入门是以镜像方式安装为例，所以快速入门里的“模型推理”章节，恢复成社区资料。 3、LLM用户指南的所有特性章节，配置文件和启服务的方式，都区分run包和whl包。 4、LLM用户指南的“配置参数说明（服务化）”章节，config.json路径区分whl包和run包。 5、LLM用户指南的“PD混合服务部署”“离线推理”章节，涉及安装路径和环境变量处区分run包和whl包 See merge request: Ascend/MindIE-LLM!979 | 2 个月前 | |
[doc server] 添加文档托管网站基础设施 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !724 merge A00200_0330 into dev [doc server] 添加文档托管网站基础设施 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 Fixes #377 当前项目缺少统一的文档站点构建与发布能力，文档以原始 Markdown 形式放在仓库中，阅读体验差、导航结构不清晰，在线浏览和搜索功能非常有限。 本 PR 引入 MkDocs Material 文档站点基础设施，支持通过 ReadTheDocs 在线发布中文文档，同时修复文档链接、适配 pre-commit 检查、优化代码块渲染，为后续文档持续维护和协作提供标准化框架。 # 修改内容 ## 文档站点基础设施 1. 新增 [mkdocs.yml](mkdocs.yml) 站点配置文件，基于 MkDocs Material 主题，配置导航、搜索、代码高亮、Git 修订日期、图片灯箱、HTML 压缩、MathJax 数学公式渲染等插件和 Markdown 扩展 2. 新增 [.readthedocs.yaml](.readthedocs.yaml) ReadTheDocs 构建配置，使用 Ubuntu 22.04 + Python 3.11 + uv 包管理器进行文档构建 3. 新增 [requirements/mkdocs.txt](requirements/mkdocs.txt) 文档构建依赖清单 4. 新增 [docs/zh/.nav.yml](docs/zh/.nav.yml) 中文文档导航配置，覆盖用户指南、开发者指南和 FAQ 等模块 5. 新增 [docs/zh/build_mkdocs.md](docs/zh/build_mkdocs.md) 本地构建 MkDocs 文档服务的调试指南 ## 自定义样式与 Hook 6. 新增 [docs/mkdocs/hooks/github_admonition.py](docs/mkdocs/hooks/github_admonition.py) Hook，将 GitHub 风格的 > [!NOTE] 等 Admonition 语法自动转换为 MkDocs !!! note 语法（支持 >- 列表嵌套语法） 7. 新增 [docs/mkdocs/hooks/img_width.py](docs/mkdocs/hooks/img_width.py) Hook，将 HTML <img> 标签（含 width 属性）转换为 MkDocs 兼容的 Markdown 图片语法 8. 新增 [docs/zh/stylesheets/extra.css](docs/zh/stylesheets/extra.css) 自定义样式：定义 announcement、important、code、console 四种 Admonition 类型样式，Tabbed 组件样式，代码块系统等宽字体（不换行 + tab-size: 8） 9. 新增 [docs/zh/javascripts/mathjax.js](docs/zh/javascripts/mathjax.js) MathJax 数学公式渲染配置 ## README 与首页 10. 重构 [README.md](README.md)：添加居中大标题和副标题、导航栏（昇腾社区 / 文档中心 / 代码仓库 / 社区会议），所有文档链接替换为 ReadTheDocs 在线地址，修复原有 2 个断链（install/README.md、user_manual/README.md） 11. 重构 [docs/zh/README.md](docs/zh/README.md) 首页为 Landing Page，包含项目简介、核心能力、架构概览和相关链接 ## 文档修复与整理 12. 修复 [docs/zh/user_guide/install/menu_install.md](docs/zh/user_guide/install/menu_install.md) 中 4 处链接失效：nofification 拼写错误、FAQ 路径 faq/ → faq_and_appendixes/ 13. 修复 [docs/zh/user_guide/feature/](docs/zh/user_guide/feature/) 文件名大小写不一致：multi_loRA.md → multi_lora.md、splitFuse.md → split_fuse.md，同步更新所有引用该文件的导航链接 14. 删除冗余文档 installtion_in_containerized.md（保留 installation_in_containerized.md） ## Pre-commit 适配 15. [.pre-commit-config.yaml](.pre-commit-config.yaml) 中 check-yaml 添加 exclude: mkdocs\.yml$，跳过含 !!python/name: 扩展标签的 mkdocs.yml # 资料变更 本 PR 即为资料变更。引入 MkDocs 文档站点基础设施，重构中文文档首页和项目 README，修复多处文档链接失效，新增导航配置、自定义样式、MkDocs Hook 和 ReadTheDocs 构建配置。 # 接口变更 不涉及 # 测试结果 - 本地使用 mkdocs serve 构建验证通过，站点可正常访问，页面渲染正确 - 导航链接已逐一确认，所有页面可正常跳转 - 明暗主题切换正常，Logo 和 favicon 显示正确 - GitHub Admonition Hook 转换验证通过，> [!NOTE]、> [!WARNING]、> [!TIP]、> [!CAUTION]、> [!IMPORTANT] 均可正确转换（含 >- 列表嵌套语法） - 代码块系统等宽字体渲染正常，box-drawing 字符对齐正确（Mac / Windows / ReadTheDocs 已验证） - 搜索功能正常，支持中文搜索和高亮 - ReadTheDocs 构建配置验证通过 - pre-commit 检查通过（mkdocs.yml 已排除 check-yaml） # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-Cpp-Coding-Style-Guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-Cpp-Secure-Coding-Guide.md) See merge request: Ascend/MindIE-LLM!724 | 2 个月前 | |
[Feature] 支持openEuler环境可编译 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1070 merge br_lib into dev [Feature] 支持openEuler环境可编译 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ubuntu:  openeuler:  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1070 | 22 天前 | |
[doc ]修改doc tools工具扫描出来的低错问题 Co-authored-by: xiechangxiu<xiechangxiu3@h-partners.com> # message auto-generated for no-merge-commit merge: !708 merge dev into dev [doc ]修改doc tools工具扫描出来的低错问题 Created-by: ella07 Commit-by: x60087760;ella07;xiechangxiu Merged-by: ascend-robot Description: [#360](https://gitcode.com/Ascend/MindIE-LLM/issues/360) Doc tools工具问题清零。 See merge request: Ascend/MindIE-LLM!708 | 3 个月前 | |
[doc server] 添加文档托管网站基础设施 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !724 merge A00200_0330 into dev [doc server] 添加文档托管网站基础设施 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 Fixes #377 当前项目缺少统一的文档站点构建与发布能力，文档以原始 Markdown 形式放在仓库中，阅读体验差、导航结构不清晰，在线浏览和搜索功能非常有限。 本 PR 引入 MkDocs Material 文档站点基础设施，支持通过 ReadTheDocs 在线发布中文文档，同时修复文档链接、适配 pre-commit 检查、优化代码块渲染，为后续文档持续维护和协作提供标准化框架。 # 修改内容 ## 文档站点基础设施 1. 新增 [mkdocs.yml](mkdocs.yml) 站点配置文件，基于 MkDocs Material 主题，配置导航、搜索、代码高亮、Git 修订日期、图片灯箱、HTML 压缩、MathJax 数学公式渲染等插件和 Markdown 扩展 2. 新增 [.readthedocs.yaml](.readthedocs.yaml) ReadTheDocs 构建配置，使用 Ubuntu 22.04 + Python 3.11 + uv 包管理器进行文档构建 3. 新增 [requirements/mkdocs.txt](requirements/mkdocs.txt) 文档构建依赖清单 4. 新增 [docs/zh/.nav.yml](docs/zh/.nav.yml) 中文文档导航配置，覆盖用户指南、开发者指南和 FAQ 等模块 5. 新增 [docs/zh/build_mkdocs.md](docs/zh/build_mkdocs.md) 本地构建 MkDocs 文档服务的调试指南 ## 自定义样式与 Hook 6. 新增 [docs/mkdocs/hooks/github_admonition.py](docs/mkdocs/hooks/github_admonition.py) Hook，将 GitHub 风格的 > [!NOTE] 等 Admonition 语法自动转换为 MkDocs !!! note 语法（支持 >- 列表嵌套语法） 7. 新增 [docs/mkdocs/hooks/img_width.py](docs/mkdocs/hooks/img_width.py) Hook，将 HTML <img> 标签（含 width 属性）转换为 MkDocs 兼容的 Markdown 图片语法 8. 新增 [docs/zh/stylesheets/extra.css](docs/zh/stylesheets/extra.css) 自定义样式：定义 announcement、important、code、console 四种 Admonition 类型样式，Tabbed 组件样式，代码块系统等宽字体（不换行 + tab-size: 8） 9. 新增 [docs/zh/javascripts/mathjax.js](docs/zh/javascripts/mathjax.js) MathJax 数学公式渲染配置 ## README 与首页 10. 重构 [README.md](README.md)：添加居中大标题和副标题、导航栏（昇腾社区 / 文档中心 / 代码仓库 / 社区会议），所有文档链接替换为 ReadTheDocs 在线地址，修复原有 2 个断链（install/README.md、user_manual/README.md） 11. 重构 [docs/zh/README.md](docs/zh/README.md) 首页为 Landing Page，包含项目简介、核心能力、架构概览和相关链接 ## 文档修复与整理 12. 修复 [docs/zh/user_guide/install/menu_install.md](docs/zh/user_guide/install/menu_install.md) 中 4 处链接失效：nofification 拼写错误、FAQ 路径 faq/ → faq_and_appendixes/ 13. 修复 [docs/zh/user_guide/feature/](docs/zh/user_guide/feature/) 文件名大小写不一致：multi_loRA.md → multi_lora.md、splitFuse.md → split_fuse.md，同步更新所有引用该文件的导航链接 14. 删除冗余文档 installtion_in_containerized.md（保留 installation_in_containerized.md） ## Pre-commit 适配 15. [.pre-commit-config.yaml](.pre-commit-config.yaml) 中 check-yaml 添加 exclude: mkdocs\.yml$，跳过含 !!python/name: 扩展标签的 mkdocs.yml # 资料变更 本 PR 即为资料变更。引入 MkDocs 文档站点基础设施，重构中文文档首页和项目 README，修复多处文档链接失效，新增导航配置、自定义样式、MkDocs Hook 和 ReadTheDocs 构建配置。 # 接口变更 不涉及 # 测试结果 - 本地使用 mkdocs serve 构建验证通过，站点可正常访问，页面渲染正确 - 导航链接已逐一确认，所有页面可正常跳转 - 明暗主题切换正常，Logo 和 favicon 显示正确 - GitHub Admonition Hook 转换验证通过，> [!NOTE]、> [!WARNING]、> [!TIP]、> [!CAUTION]、> [!IMPORTANT] 均可正确转换（含 >- 列表嵌套语法） - 代码块系统等宽字体渲染正常，box-drawing 字符对齐正确（Mac / Windows / ReadTheDocs 已验证） - 搜索功能正常，支持中文搜索和高亮 - ReadTheDocs 构建配置验证通过 - pre-commit 检查通过（mkdocs.yml 已排除 check-yaml） # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-Cpp-Coding-Style-Guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-Cpp-Secure-Coding-Guide.md) See merge request: Ascend/MindIE-LLM!724 | 2 个月前 | |
[Misc] 启动docker添加许可回显 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1068 merge license into dev [Misc] 启动docker添加许可回显 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。   # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1068 | 27 天前 | |
[doc ]修改doc tools工具扫描出来的低错问题 Co-authored-by: xiechangxiu<xiechangxiu3@h-partners.com> # message auto-generated for no-merge-commit merge: !708 merge dev into dev [doc ]修改doc tools工具扫描出来的低错问题 Created-by: ella07 Commit-by: x60087760;ella07;xiechangxiu Merged-by: ascend-robot Description: [#360](https://gitcode.com/Ascend/MindIE-LLM/issues/360) Doc tools工具问题清零。 See merge request: Ascend/MindIE-LLM!708 | 3 个月前 | |
[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com> | 6 个月前 | |
[doc]修改服务化config的路径、大模型和AIDD工具低错，平移社区安装指南中的安全加固 Co-authored-by: xiechangxiu<xiechangxiu3@h-partners.com> # message auto-generated for no-merge-commit merge: !822 merge dev into dev [doc]修改服务化config的路径、大模型和AIDD工具低错，平移社区安装指南中的安全加固 Created-by: ella07 Commit-by: x60087760;ella07;xiechangxiu Merged-by: ascend-robot Description: [#424](https://gitcode.com/Ascend/MindIE-LLM/issues/424) 1、平移社区安装指南中的安全加固，附录和faq。 2、修改大模型和AIDD工具的低错问题。 3、修改服务化config的路径 See merge request: Ascend/MindIE-LLM!822 | 2 个月前 | |
[Doc]修复mkdocs导航断链、补齐缺失文档并配置uslugify支持中文锚点 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1062 merge A00245_1 into dev [Doc]修复mkdocs导航断链、补齐缺失文档并配置uslugify支持中文锚点 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 修复 readthedocs 文档网站导航断链及锚点失效问题。 前置任务：A00245 readthedocs 文档网站持续优化。该 MR 作为 A00245 的延续，聚焦于文档链接和导航的全面体检与修复。 Fixes #566 # 修改内容 本次修改涉及 3 个文件，以下逐项说明： ## 1. docs/zh/.nav.yml — 导航修复与补全 ### 修复 - 开发者指南 > 编译安装： build_guide.md → build_guide_llm.md（该文件在仓库中的实际文件名与 nav 引用不一致，导致导航页面 404） ### 补全 以下文档存在于仓库但未被导航覆盖，用户无法通过侧边栏到达。本次一并补入： - **通信矩阵**（user_guide/communication_matrix.md）：用于展示 MindIE LLM 各组件通信端口、协议、认证方式等信息的参考表格。 - **日志**章节（user_guide/log/ 共 9 个文件）：包括日志参考、使用说明、日志简介、查看日志、日志级别/展示方式/落盘路径/内容/轮转配置。该目录有完整的 menu_log.md 索引页，说明原是设计为独立章节的，在之前的导航调整中被遗漏。 - **发布说明**（release_notes.md）：位于文档根目录的发布记录页面。 ## 2. mkdocs.yml — 配置中文锚点正确生成 ### 问题 MkDocs 默认的 slugify 函数会剥离非 ASCII 字符。对于中文 heading，如 ## 限制与约束，生成的锚点 ID 被降级为 _1、_2 等数字序列。导致文档中约 28 处指向中文锚点的页面内/跨页链接失效（链接如 #限制与约束 实际指向的 HTML 锚点却是 #_1）。 ### 修复 在 toc 扩展中启用 pymdownx.slugs.slugify(case='lower')，该函数保留 Unicode 字符并统一转为小写，使中文锚点正确渲染。例如： | Heading | 修复前 | 修复后 | |---------|--------|--------| | ## 限制与约束 | #_1 | #限制与约束 | | ## ServerConfig参数说明 | #serverconfig（中文被剥离） | #serverconfig参数说明 | | ## ATB Models纯模型使用 | #atb-models（中文被剥离） | #atb-models纯模型使用 | | ## 获取MindIE镜像 | #mindie（中文被剥离） | #获取mindie镜像 | 涉及的文件：user_guide/feature/context_parallel.md、expert_parallel.md、function_call.md、prefix_cache.md、kv_cache_pool.md、long_sequence.md、mix_shared_routing.md、slo_aware_scheduling_optimization.md、split_fuse.md、thinking_reasoning_function_stream.md、enable_reasoning.md 等 feature 页面，以及 build_guide_llm.md、image_usage_guide.md、quick_start.md、installation_introduction.md、environment_preparation.md、installing_software_and_dependencies.md、upgrade.md、installation_in_containerized.md、service_parameter_configuration.md、service_APIs_usage_guidance.md、offline_inference.md、model_parameter_configuration.md。 ## 3. docs/zh/user_guide/user_manual/service_parameter_configuration.md — Blockquote 闭合修复 ### HealthCheckConfig参数说明 heading 紧跟在未闭合的 blockquote（>）之后，被 Python-Markdown 解析为 blockquote 的延迟延续（lazy continuation），从而渲染为普通文本而非 heading。移除残留的 > 行后，该 heading 正确渲染为 <h3>，对应的锚点链接 #healthcheckconfig参数说明 恢复正常。 # 资料变更 涉及。本次 MR 对 readthedocs 文档网站全部修改如下： - 修复 1 处导航断链（编译安装页面 404） - 补全 11 个未被导航覆盖的文档文件（通信矩阵、日志章节 9 页、发布说明） - 修复约 28 处中文锚点失效链接 - 修复 1 处 blockquote 导致 heading 渲染异常的问题 # 接口变更 不涉及。本次 MR 仅修改文档导航配置和 markdown 源文件，无接口变更。 # 测试结果 ### 测试方法 使用 mkdocs build --clean 全量构建文档站点，检查构建日志中的锚点警告。 ### 测试环境 - mkdocs 1.6.1 - mkdocs-material 9.7.6 - pymdown-extensions ### 测试结果 | 阶段 | 锚点相关警告数 | 说明 | |------|--------------|------| | 修复前 | ~28 条 INFO（锚点不存在） | 均为中文锚点问题 | | 修复后 | 0 条 | 全部消除 | 剩余 WARNING 为 developer_guide/architecture_design/mtp.md 和 developer_guide/migration_and_adaptation_guide/aclgraph_migration_and_adaptation_guide.md 中指向源码文件（../../mindie_llm/...）的意图性链接——这些是开发者指南中引用实际代码路径的链接，非文档断链，不在本次修复范围内。 # CheckList - [x] 不涉及代码注释 - [x] 不涉及错误日志 - [x] 不涉及返回值校验 - [x] 不涉及空指针校验 - [x] 不涉及资源申请 - [x] 不涉及多线程场景 - [x] 不涉及代码格式化 - [x] 不涉及编码规范 See merge request: Ascend/MindIE-LLM!1062 | 22 天前 | |
[RFC]: 刷新代码格式——mindie_llm Co-authored-by: KaiMa<KaiMa_SDU@outlook.com> # message auto-generated for no-merge-commit merge: !905 merge pre_commit_llm into dev [RFC]: 刷新代码格式——mindie_llm Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #[443](https://gitcode.com/Ascend/MindIE-LLM/issues/443) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!905 | 2 个月前 | |
【开源资料】添加缺失的 pybind11 依赖 Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !813 merge A00226 into dev 【开源资料】添加缺失的 pybind11 依赖 Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 MindIE 2.3.0 版本的依赖列表中缺少 pybind11，导致用户从源码编译安装时可能因缺少该依赖而构建失败。本 PR 补充 pybind11 到依赖文档和 requirements.txt 中。 Fixes [#420](https://gitcode.com/Ascend/MindIE-LLM/issues/420) # 修改内容 1. 在 requirements.txt 中添加 pybind11==3.0.1 依赖项 2. 在文档 docs/zh/user_guide/install/source/preparing_software_and_dependencies.md 依赖表格中补充 pybind11 3.0.1 条目，标注为 MindIE 2.3.0 版本新增 # 资料变更 涉及。在安装指南的依赖表格中新增 pybind11 条目。 # 接口变更 不涉及。 # 测试结果 - 本地验证 requirements.txt 可正常安装 - 文档渲染确认表格格式正确 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!813 | 3 个月前 | |
[doc ]修改doc tools工具扫描出来的低错问题 Co-authored-by: xiechangxiu<xiechangxiu3@h-partners.com> # message auto-generated for no-merge-commit merge: !708 merge dev into dev [doc ]修改doc tools工具扫描出来的低错问题 Created-by: ella07 Commit-by: x60087760;ella07;xiechangxiu Merged-by: ascend-robot Description: [#360](https://gitcode.com/Ascend/MindIE-LLM/issues/360) Doc tools工具问题清零。 See merge request: Ascend/MindIE-LLM!708 | 3 个月前 | |
将doc文档打包到whl包中 Co-authored-by: 周天扬<zhoutianyang@huawei.com> # message auto-generated for no-merge-commit merge: !829 merge dev_whl_doc into dev 将doc文档打包到whl包中 Created-by: hw-zhoutianyang Commit-by: 周天扬 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#430](https://gitcode.com/Ascend/MindIE-LLM/issues/430) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 将doc文档打包到whl包中 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 确认文档已打包到whl包中  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!829 | 3 个月前 | |
[Feature] 支持openEuler环境可编译 Co-authored-by: KaiMa<KaiMa1840@outlook.com> # message auto-generated for no-merge-commit merge: !1070 merge br_lib into dev [Feature] 支持openEuler环境可编译 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #[627](https://gitcode.com/Ascend/MindIE-LLM/issues/627) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ubuntu:  openeuler:  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1070 | 22 天前 | |
[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com> | 6 个月前 |
MindIE-LLM
昇腾大语言模型推理引擎
📢 Latest News
- [2026/04] 📖 文档站点上线！欢迎访问 MindIE-LLM 文档中心 在线阅读完整文档。
- [2025/12] MindIE LLM 正式宣布开源并面向公众开放！ 会议日历
🚀 简介
MindIE LLM是昇腾的大语言模型推理加速套件，旨在通过深度优化的模型库和推理优化器，专门提升大模型在昇腾硬件上的推理性能和易用性。MindIE LLM基于昇腾硬件，提供业界通用大模型推理能力，多并发请求的调度，包含Continuous Batching、PagedAttention、FlashDecoding等加速特性，使能用户高性能推理需求。
🔍 目录结构
├── mindie_llm # Python 推理框架主模块
│ ├── connector # 请求接入层
│ ├── text_generator # 核心推理引擎
│ ├── modeling # 模型封装抽象
│ ├── runtime # 运行时编译和模型加载
│ ├── utils # 工具模块：日志/张量/Profiling/验证等
├── examples # 示例代码
├── docs # 项目文档介绍
├── src # C++ 核心引擎
│ ├── engine # LLM 引擎的主逻辑（调度/执行）
│ ├── scheduler # 调度器（FCFS/PDDS/Layerwise）
│ ├── block_manager # KV Cache 块管理（LRU/Prefix Cache/CoW）
│ ├── llm_manager # Python/C++ 桥接 API
│ ├── server # 服务端（gRPC/HTTP 接入端点）
│ ├── utils # 基础工具（共享内存/加密/日志/ID 生成等）
│ ├── include # 对外头文件接口
├── scripts # 构建与部署脚本
├── tools # 辅助工具
├── tests # 测试
├── CMakeLists.txt # CMake 构建配置
├── README.md
📢 版本说明
| MindIE 软件版本 | CANN 版本兼容性 |
|---|---|
| 2.3.0 | 8.5.0 |
⚡️ 环境部署
⚡️ 快速入门
快速体验使用MindIE进行大模型推理的全流程，请参见快速入门。
📝 学习文档
- 模型支持列表
- 代码仓模型支持列表：优先使用，提供当前版本经过测试充分验证支持和仅功能支持的模型全集。
- 昇腾社区模型支持列表：提供当前版本经过测试充分验证支持的模型。
- 特性介绍：MindIE LLM 支持的推理特性。
- LLM 使用指南：MindIE LLM 使用指南，包括推理参数配置、在线和离线推理、参数调优等。
📝贡献声明
- 提交错误报告：如果您在MindIE LLM中发现了一个不存在安全问题的漏洞，请在MindIE LLm仓库中的Issues搜索，以防该漏洞被重复提交，如果找不到漏洞可以创建一个新的Issues。如果发现了一个安全问题请不要将其公开，请参阅安全问题处理方式。提交错误报告时应包含完整信息。
- 安全问题处理：本项目中对安全问题处理的形式，请通过邮箱通知项目核心人员确认编辑。
- 解决现有问题：通过查看仓库的Issues列表可以发现需要处理的问题信息，可以尝试解决其中的某个问题。
- 如何提出新功能：请使用Issues的Feature标签进行标记，我们会定期处理和确认开发。
- 开始贡献：
a. Fork本项目的仓库。
b. Clone到本地。
c. 创建开发分支。
d. 本地自测，提交前请通过所有的单元测试，包括为您要解决的问题新增的单元测试。
e. 提交代码。
f. 新建Pull Request。
g. 代码检视，您需要根据评审意见修改代码，并重新提交更新。此流程可能涉及多轮迭代。
h. 当您的PR获取足够数量的检视者批准后，Committer会进行最终审核。
i. 审核和测试通过后，CI会将您的PR合并入到项目的主干分支。
更多贡献相关文档请参见贡献指南。
📝免责声明
版权所有© 2025-2026 MindIE Project.
您对 "本文档" 的复制、使用、修改及分发受知识共享（Creative Commons，CC）署名 —— 相同方式共享 4.0 国际公共许可协议（以下简称 "CC BY-SA 4.0"）的约束。为了方便用户理解，您可以通过访问 https://creativecommons.org/licenses/by-sa/4.0/ 了解 CC BY-SA 4.0 的概要（但不是替代）。关于 CC BY-SA 4.0 的完整协议内容，您可以访问如下网址获取：https://creativecommons.org/licenses/by-sa/4.0/legalcode。