PyTorch图模式使用指南（TorchAir）

• 简介

• npugraph_ex后端

  • npugraph_ex快速上手

  • npugraph_ex基础功能

    • force_eager功能
    • FX图优化Pass配置功能
    • FX图算子融合Pass配置功能
    • aclgraph间内存复用功能
    • 静态Kernel编译功能
    • 冗余算子消除功能
    • 固定权重类输入地址功能
    • 重捕获次数限制功能
    • 集合通信入图
    • Cat算子消除功能

  • npugraph_ex进阶功能

    • 模型编译缓存功能
    • 多流表达功能
    • AI Core和Vector Core限核功能
    • 自定义FX图优化Pass功能

  • npugraph_ex DFX功能

    • 图编译Debug信息保存功能
    • 算子Data Dump功能

  • npugraph_ex API参考

    • npugraph_ex API列表

    • torch.npu.npugraph_ex

      • compile_fx
      • register_replacement

    • torch.npu.npugraph_ex.inference

      • cache_compile
      • readable_cache

    • torch.npu.npugraph_ex.scope

      • limit_core_num

• GE图模式

  • GE图模式快速上手

  • GE图模式功能

    • 基础功能

      • TorchAir Python层日志打印
      • TorchAir C++层日志打印
      • 集合通信入图
      • 图结构dump功能
      • 算子data dump功能（Eager模式）
      • 图编译Debug信息保存功能
      • run-eagerly功能
      • 冗余算子消除功能
      • FX图算子融合Pass配置功能
      • 自定义FX图Pass功能

    • Dynamo导图功能

    • 模型编译缓存功能

    • 图内Tensor打印功能

    • 多流表达功能

    • 算子Converter支持度导出功能

    • 算子data dump功能

    • 动态shape图分档执行功能

    • 图编译统计信息导出功能

    • 单流执行功能

    • 图编译多级优化选项

    • 算子融合规则配置功能（fusion_switch_file）

    • 算子融合规则配置功能（optimization_switch）

    • 固定权重类输入地址功能

    • 图模式编译节点遍历选项

    • 计算与通信并行功能

    • 算子在线编译选项

    • RefData类型转换功能

    • Tiling调度优化功能

    • View类算子优化功能

    • 动静子图拆分场景性能优化

    • 图内标定SuperKernel范围

    • AI Core和Vector Core限核功能

    • 图内算子不超时配置功能

  • GE图模式API参考

    • GE图模式API列表

    • torchair

      • CompilerConfig类
      • dynamo_export
      • get_compiler
      • get_npu_backend
      • use_internal_format_weight
      • register_fx_node_ge_converter
      • patch_for_hcom
      • register_replacement

    • torchair.ge

      • DataType类
      • Format类
      • Tensor类
      • TensorSpec类
      • Const
      • Cast
      • Clone
      • custom_op

    • torchair.inference

      • cache_compile
      • readable_cache
      • set_dim_gears

    • torchair.ops

      • npu_print
      • npu_fused_infer_attention_score
      • npu_fused_infer_attention_score_v2
      • record
      • wait

    • torchair.scope

      • npu_stream_switch
      • npu_wait_tensor
      • super_kernel
      • limit_core_num
      • op_never_timeout
      • data_dump

    • torchair.llm_datadist

      • create_npu_tensors

• 支持的ATen API清单

• 自定义算子入图

  • 概述

  • 算子开发和适配TorchAir图模式

    • In-place算子开发和入图样例

    • 非In-place算子开发和入图样例

  • 算子插件化适配TorchAir图模式

• 常见案例和定位方法

  • 大模型图模式推理案例

  • 动/静态图概念及典型问题定位

    • 背景介绍

    • 动/静态图概念

    • 动/静态图展示

    • 典型问题

  • 入图失败定界与定位

  • 图模式精度比对

  • 图模式性能分析

  • FAQ

• 附录

  • AI Core/Cube Core/Vector Core简介
  • Eager和图模式下控核介绍
  • npugraph_ex场景下Host Tiling参数刷新功能介绍