pypto:PyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。

PyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。

Branch1Tags0

PyPTO

🔥Latest News

  • [2025/12] PyPTO 项目首次上线.

🚀概述

PyPTO(发音: pai p-t-o)是一款面向 AI 加速器的高性能编程框架, 旨在简化复杂融合算子乃至整个模型网络的开发流程, 同时保持高性能计算能力. 该框架采用创新的 PTO(Parallel Tensor/Tile Operation)编程范式, 以 基于 Tile 的编程模型 为核心设计理念, 通过多层次的中间表示(IR)系统, 将用户通过 API 构建的 AI 模型应用从高层次的 Tensor 图逐步编译成硬件指令, 最终生成可在目标平台上高效执行的可执行代码.

核心特性

  • 基于 Tile 的编程模型: 所有计算都基于 Tile(硬件感知的数据块)进行, 充分利用硬件并行计算能力和内存层次结构
  • 多层级计算图转换: 通过编译 Pass 将 Tensor Graph 转换为 Tile Graph、Block Graph 和 Execution Graph, 每一步包括一系列 Pass 优化流程
  • 自动化代码生成: 编译结果通过 CodeGen 生成底层 PTO 虚拟指令代码, 再通过编译器将虚拟指令代码编译成目标平台的可执行代码
  • MPMD 执行调度: 可执行代码被加载到设备侧, 通过 MPMD(Multiple Program Multiple Data)的方式调度到设备上的处理器核
  • 完整的工具链支持: 全流程的编译中间产物和运行时性能数据可通过 IDE 集成的工具链可视化识别性能瓶颈, 开发者也可以通过工具链控制编译和调度行为
  • Python 友好 API: 提供直观的 Tensor 级别抽象, 贴近算法开发者的思维模式, 支持动态 Shape 和符号化编程
  • 分层抽象设计: 对不同开发者暴露不同抽象层次, 算法开发者使用 Tensor 层次, 性能专家使用 Tile 层次, 系统开发者使用 Block 层次

目标用户

  • 算法开发者: 主要使用 Tensor 层次编程, 快速实现和验证算法, 专注于算法逻辑
  • 性能优化专家: 可使用 Tile 或 Block 层次, 进行深度性能调优, 以实现极致性能
  • 系统开发者: 可在 Tensor/Tile/Block 和 PTO 虚拟指令集层次上进行三方框架对接或集成, 以及工具链开发

⚡️最佳实践样例

PyPTO 提供了丰富的示例代码, 涵盖从基础操作到复杂模型实现的多个层级. 一些最佳实践样例参考:

大模型实现样例

学习路径

在 examples 目录下, 我们规划了多个层级的样例:

  • beginner/: 基础操作示例, 帮助初学者快速上手 PyPTO 编程
  • intermediate/: 中级示例, 包括自定义操作、神经网络模块等
  • advanced/: 高级示例, 包括复杂模式和多函数组合
  • models/: 完整的大模型实现样例, 供快速移植和部署

这些示例可以帮助开发者学习如何编写 PyPTO 算子, 从简单的 Tensor 操作到复杂的模型网络实现.

⚡️快速入门

若您希望快速体验 PyPTO 的使用和开发过程, 请访问如下文档获取简易教程.

  • 环境部署: 介绍项目基础环境的搭建, 包括软件包和第三方依赖的获取和安装.
  • 编译安装: 环境部署后, 介绍如何快速获取或编译 PyPTO 软件包并安装.
  • 样例运行: 安装 PyPTO 软件包后, 介绍如何快速实现样例运行.

📖文档资源

若您希望深入体验项目功能并修改源码, 请访问如下文档获取详细教程.

  • docs: 当前发布版本的详细文档, 包括编程指南、API 参考, 贡献指南等
  • 示例代码: 丰富的示例代码, 从基础到高级应用

🔍目录结构

关键目录如下:

├── docs/                       # 文档资源
│   ├── api/                    # API 参考文档
│   ├── contribute/             # 贡献指南文档
│   └── tutorials/              # PyPTO 编程指南
│
├── examples/                   # 示例代码
│   ├── 01_beginner/            # 初级示例
│   ├── 02_intermediate/        # 中级示例
│   ├── 03_advanced/            # 高级示例
│   └── models/                 # 模型实现示例
│
├── python/                     # Python 源码
│   ├── pypto/                  # Python 包源码根目录
│   ├── src/                    # pybind11 源码根目录
│   └── tests/                  # Python 测试用例源码(UTest, STest)
│
├── framework/                  # C++ 源码根目录
│   ├── include/                # C++ 对外头文件
│   ├── src/                    # C++ 源码
│   │   ├── codegen/            # 代码生成模块
│   │   ├── passes/             # 编译 Pass 模块
│   │   └── ...
│   └── tests/                  # C++ 测试用例源码
│
├── tools/                      # 工具脚本
│
├── cmake/                      # 构建所需的 CMake 公共配置及脚本
├── build_ci.py                 # CI执行构建、执行 UTest、执行 STest 辅助脚本
├── CMakeLists.txt              # 顶层 CMakeLists.txt, 定义所有对外公开编译开关
├── pyproject.toml              # Python 编译工具配置文件
├── LICENSE                     # 许可证文件
└── setup.py                    # Python 编译工具脚本文件(setuptools)

📝相关信息

联系我们

  • 问题反馈: 通过 GitCode【Issues】提交问题
  • 功能建议: 通过 GitCode【讨论】参与交流
  • 技术支持: 参考文档或提交 Issue

注意: 本文档会持续更新, 请关注最新版本.

Introduction

PyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。

Customize your domain