cann-robotsync selected files from test into master

文件	最后提交记录	最后更新时间
01_qwen3_npu_inference_baseline.ipynb	sync selected files from test into master Co-authored-by: ink-polymer<2020611156@qq.com> # message auto-generated for no-merge-commit merge: !340 merge sync-test-files-to-master-20260716 into master sync selected files from test into master Created-by: ink_polymer Commit-by: ink-polymer Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。-->优化相关代码和表述 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。-->https://gitcode.com/cann/cann-learning-hub/issues/97 https://gitcode.com/cann/cann-learning-hub/issues/98 https://gitcode.com/cann/cann-learning-hub/issues/111 https://gitcode.com/cann/cann-learning-hub/issues/118 https://gitcode.com/cann/cann-learning-hub/issues/139 https://gitcode.com/cann/cann-learning-hub/issues/146 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。-->更新了tutorials/ascendc_operator_development/01_basic_overview/01.02_ai_and_operator_basics.ipynb quick_start/cann_basics/01_ai_basics.ipynb quick_start/cann_basics/02_what_is_npu.ipynb quick_start/cann_basics/03_what_is_cann.ipynb tutorials/ascendc_operator_development/04_matmul_basic/04.02_matrix_multiplication_introduction.ipynb tutorials/ascendc_operator_development/08_performance_optimization/08.02_profiling_tool_usage.ipynb tutorials/ascendc_operator_development/08_performance_optimization/08.04_ascendc_op_perf_optimization_demo.ipynb quick_start/first_llm_inference/01_qwen3_npu_inference_baseline.ipynb cann-learning-hub-test/quick_start/cann_basics/images/AI3elements.png ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 内容优化 - [ ] 其他，请描述： ## 其他信息 <!-- 在这里可以添加任何与这个 Pull Request 相关的其他说明。 --> See merge request: cann/cann-learning-hub!340	15 天前
02_qwen3_npu_inference_npugraph_ex.ipynb	大模型推理课程新增融合算子替换章节 Co-authored-by: desperateW<1025494833@mail.nwpu.edu.cn> # message auto-generated for no-merge-commit merge: !225 merge master into master 大模型推理课程新增融合算子替换章节 Created-by: desperateW Commit-by: desperateW Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 内容优化 - [ ] 其他，请描述： ## 其他信息 <!-- 在这里可以添加任何与这个 Pull Request 相关的其他说明。 --> See merge request: cann/cann-learning-hub!225	1 个月前
03_qwen3_npu_inference_fused_op.ipynb	大模型推理课程新增融合算子替换章节 Co-authored-by: desperateW<1025494833@mail.nwpu.edu.cn> # message auto-generated for no-merge-commit merge: !225 merge master into master 大模型推理课程新增融合算子替换章节 Created-by: desperateW Commit-by: desperateW Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 内容优化 - [ ] 其他，请描述： ## 其他信息 <!-- 在这里可以添加任何与这个 Pull Request 相关的其他说明。 --> See merge request: cann/cann-learning-hub!225	1 个月前
README.md	fix: README.md添加python环境缺少的依赖包einops和accelerate Co-authored-by: yiyudekouqin<1773561109@qq.com> # message auto-generated for no-merge-commit merge: !235 merge master into master fix: README.md添加python环境缺少的依赖包einops和accelerate Created-by: yiyudekouqin Commit-by: yiyudekouqin Merged-by: cann-robot Description: ## 描述本次更新`quick_start/first_llm_inference/README.md`中的依赖安装命令，在原有依赖基础上补充`einops==0.8.2`、`accelerate==1.14.0`两个指定版本库： 1. 原安装命令仅包含`transformers`、`modelscope`，运行示例推理代码时会缺失einops、accelerate依赖，直接触发导入报错； 2. 固定两个库的版本号，统一环境依赖版本，避免因版本浮动导致模型加载、推理流程出现行为差异，保证教程运行效果和文档预期一致； 3. 保留原有transformers固定版本逻辑，延续文档“锁定版本保证结果统一”的说明思路。 ## 关联的Issue 无 ## 测试 1. 本地清空虚拟环境，执行更新后的完整pip安装命令，所有依赖包可正常安装无版本冲突； 2. 安装完成后运行教程完整大模型推理示例，无einops、accelerate模块缺失报错，推理流程正常执行，输出结果与文档示例匹配； 3. 对比新旧两条安装命令，确认仅新增两个依赖包，原有包版本未改动，不影响旧环境兼容性。 ## 文档更新更新文档路径：`quick_start/first_llm_inference/README.md`，修改bash代码块内的pip安装指令。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [x] 内容优化 - [ ] 其他，请描述： ## 其他信息无 See merge request: cann/cann-learning-hub!235	1 个月前

第一次大模型推理

本课程带你从零开始，在昇腾 NPU 上跑通 Qwen3-0.6B 大模型推理，并体验图编译加速。课程以 Jupyter Notebook 形式提供。

课程列表

序号	课程	内容概要
1	从零开始，让大模型在昇腾NPU上"说话"	介绍AI和大模型的基本概念，并带同学初步体验大模型推理
2	推理加速——从"堵车"到"高速通路"	介绍大模型推理加速方式，并使用图编译的方式加速大模型推理
3	融合算子替换 —— 把"小车队"合并成"超级大巴"	介绍大模型推理融合算子替换的加速方式

环境准备

1.参考CANNLab环境准备指导完成CANNLab环境准备和Python、Jupyter扩展安装

2.在开始之前，请先在终端中安装所需的 Python 依赖包：

pip install transformers==4.51.0 modelscope einops==0.8.2 accelerate==1.14.0

dependency_install

为什么指定版本？ 大模型生态更新很快，不同版本的 transformers 在模型加载、分词器行为上可能有差异。指定版本可以确保你跑出的结果和本课一致。

适用人群

对大模型推理感兴趣的初学者（需有基本 Python 基础）

学习建议

按顺序学习，每课承上启下
每课都穿插了可执行的代码段，建议在昇腾 NPU 环境下运行体验