Kaolin：加速 3D 深度学习研究的 PyTorch 库

摘要 — Kaolin 是 NVIDIA 推出的 PyTorch 库，汇集了从 3D 深度学习研究中提炼出的可复用、GPU 优化的模块。

• 基于 Simplicits 的物理模拟，与表征无关（网格、高斯泼溅、点云）
• 可微渲染（DIB-R、nvdiffrast、easy_render PBR）
• 一流的 3D 高斯泼溅支持（PLY/USD 读写、密化、gsplat 桥接）
• GPU 加速的八叉树加速结构：结构化点云（SPC）
• 3D 表征之间的转换、四元数运算及 USD 文件读写

Kaolin 将 NVIDIA 3D 研究中可复用的构建模块整合为一个统一的 PyTorch API——持续改进与表征无关的物理模拟、表征间快速转换、四元数运算、批量网格与高斯泼溅容器、文件读写、可视化等功能。教程和 API 参考请参阅 kaolin.readthedocs.io，NVIDIA Kaolin 中心请访问 developer.nvidia.com/kaolin。

SIGGRAPH 2026

欢迎莅临洛杉矶！两场展示 Kaolin 新功能的专题会议。详情请见此处。

演讲 — 任意表征、任意硬件、全交互 加速基于前沿 AI 与 3D 研究的交互式原型开发 2026 年 7 月 19 日（周日），下午 3:00–3:20（太平洋夏令时）· 408 A 会议室 Maria Shugrina（NVIDIA / 多伦多大学） 介绍 Kaolin 全新的Web 客户端-服务器框架（kaolin/visualize/dash），用于快速构建面向新兴 AI 与 3D 研究的交互式浏览器界面原型——这些设计模式源自 SIGGRAPH 技术论文、Real-Time Live 及 Labs 中交互工具的实践经验。该框架已在 web_framework_prerelease 分支上可用（尚未合并至 master）。 查看日程 →

动手实践 — 从 3D 采集到模拟数字环境 2026 年 7 月 23 日（周四），上午 10:15–11:45（太平洋夏令时）· Concourse 大厅 Clement Fuji Tsang、Vismay Modi、Maria Shugrina（NVIDIA） 面向野外 3D 高斯泼溅场景的采集-仿真一体化流程：分割物体、预测体积力学属性、运行高斯泼溅-网格混合物理模拟——均由 Kaolin 最新功能驱动。可导出带 Kaolin 自定义物理模式（schema）的可共享 USD 文件。 请携带笔记本电脑现场动手实践。需持有全会通行证。 查看日程 →

功能特性

物理模拟（Simplicits） 支持网格、高斯溅射点云及点云的碰撞模拟。基于 Warp 加速，与具体表示形式无关。 文档 · 网格 · 高斯溅射 · 3DGRUT	3D 高斯溅射 提供 GaussianSplatModel、PLY/USD 导入导出、密集化、gsplat 相机转换器。 教程 · 物理模拟 · 交互式可视化	可微渲染 支持 DIB-R、nvdiffrast、easy_render PBR、球谐函数及球面高斯光照。 文档 · DIB-R · Easy render · 相机 · 光照
结构化点云 基于 GPU 的八叉树加速结构，支持光线追踪与特征网格。 文档 · 教程 · API	USD 管线 通过 Kaolin 自定义模式导入/导出网格、点云、高斯模型及物理材质。 API · 检查点 · GLTF 可视化	可视化 提供 Jupyter 3D 查看器、Timelapse 检查点及 Web 客户端-服务器框架。 文档 · 交互式 · 检查点 · Web 框架分支
格式转换 在网格、体素网格、点云、高斯模型等之间进行快速 GPU 转换。 文档 · DMTet · FlexiCubes	四元数 面向 3D 深度学习的可微四元数与刚体变换工具。 文档 · 教程 · API	表面网格 批处理 SurfaceMesh 容器，支持自动计算属性及输入输出。 文档 · 教程 · Easy render

实验性功能： Newton 耦合 — 将 Simplicits 软体与刚体、MPM 及关节机器人相结合 （刚体 · MPM · Franka）。

请参阅 kaolin.readthedocs.io 上的教程索引和 API 参考。

安装说明

自 v0.12.0 版本起，Kaolin 支持通过预编译的 wheel 包进行安装：

# Replace TORCH_VERSION and CUDA_VERSION with your torch / cuda versions
pip install kaolin==0.18.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-{TORCH_VERSION}_cu{CUDA_VERSION}.html

例如，kaolin 0.18.0 搭配 PyTorch 2.8.0 与 CUDA 12.8：

pip install kaolin==0.18.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.8.0_cu128.html

请参阅安装指南以获取完整的torch/CUDA兼容性矩阵，并查看源码安装说明。

python -c "import kaolin; print(kaolin.__version__)"

快速开始

import kaolin
print(kaolin.__version__)

从PLY或USD格式加载3D高斯溅射模型：

import kaolin
from kaolin.rep import GaussianSplatModel

gs = kaolin.io.import_gaussiancloud("scene.ply")
print(gs)  # GaussianSplatModel with positions, scales, rotations, opacities, ...

使用 Simplicits 模拟网格——参见物理教程。

通过简易 PBR API 渲染网格：

import kaolin as kal

mesh = kal.io.obj.import_mesh("model.obj")
camera = kal.render.easy_render.default_camera(512)
lighting = kal.render.easy_render.default_lighting()
result = kal.render.easy_render.render_mesh(camera, mesh, lighting=lighting)

新闻动态

未发布版本（主分支或预发布分支）

自 v0.18.0 以来，master 分支上的近期工作包括：

• FreeForm / RKPM（CVPR 2026）— 面向网格和高斯泼溅的无网格、降阶可变形仿真。该方法利用再生核粒子法（RKPM）基函数构建蒙皮特征模态，而非逐形状的神经场优化——训练速度提升约 40 倍，且误差低于有限元法（FEM）。现已集成至 Kaolin Simplicits。
• Web 客户端-服务器框架（kaolin/visualize/dash）— 面向 AI 与 3D 研究领域的交互式 Web 界面快速原型开发（web_framework_prerelease 分支；SIGGRAPH 2026 演讲）
• GaussianSplatModel 与 PointSamples 张量容器 API
• PLY/USD 高斯 I/O，支持特征保留
• USD 物理模式 — 材质、蒙皮物理、子集特性
• gsplat 批处理相机转换器
• Newton 耦合 — 软体与刚体/MPM/Franka 交互（示例教程）
• Simplicits Easy API 保存/加载重新设计及碰撞摩擦修复
• FlexiCubes 现已采用 Apache 2.0 许可，位于 kaolin/ops/conversions/flexicubes/

v0.18.0 主要亮点

• 物理模块中的碰撞检测
• 3D 高斯 → 体素网格转换及体密度化器
• 基于 3DGRUT 渲染的网格 + 高斯物理仿真
• FlexiCubes 重新授权为 Apache 2.0

详情请参阅发布说明。

教程

笔记本式教程位于 examples/tutorial/ 目录下，按主题分类的亮点内容如下：

物理

• 使用 Simplicits 对网格进行仿真
• 对高斯溅射进行仿真
• 使用 3DGRUT 实现网格与溅射物理协同仿真
• Newton 刚体耦合

高斯溅射

• 使用 GaussianSplatModel 进行开发

渲染

• DIB-R 可微渲染
• 简易网格渲染
• 相机与光栅化

结构化点云

• 理解 SPC

可视化

• 交互式可视化工具
• GLTF 可视化

完整索引请参见：教程索引。

生态项目

基于 Kaolin 构建的项目：

• FreeForm / RKPM —— 基于 RKPM 蒙皮特征模态的无网格降阶仿真（CVPR 2026）
• VoMP —— 面向溅射、网格和 NeRF 的前馈体积力学属性场（ICLR 2026）
• ArtisanGS —— 结合 AI 与人工参与回路的高斯溅射交互式选取与分割
• TRON —— 基于单步神经渲染器的可重光照 3D 高斯重建
• 3DGRUT —— 高斯粒子的光线追踪与混合光栅化
• 3DGUT —— 网格与高斯溅射联合渲染（CVPR 2025 口头报告）
• Diffusion Texture Painting —— 基于扩散模型的 3D 网格交互式纹理绘制（SIGGRAPH 2024）
• NVIDIA Kaolin Wisp —— 神经场引擎（NeRF、NGLOD、instant-ngp）
• gsplat —— 基于 CUDA 的高斯溅射，支持 Kaolin 相机桥接
• NVIDIA Newton —— 物理引擎，提供实验性的 Kaolin 耦合 模块
• Neural Geometric LOD (nglod) —— SPC 光线追踪
• FlexiCubes —— 基于梯度的网格提取（SIGGRAPH 2023）
• DefTet —— 可变形四面体网格重建
• DIB-R —— 单图像 3D 重建
• gradSim —— 可微仿真
• Text2Mesh —— 文本驱动的网格风格化

参与贡献

请查阅我们的贡献指南。

开源许可

Kaolin 采用 Apache License 2.0 许可证发布。默认执行 import kaolin 即可获得完整的 Apache 许可库。

kaolin/non_commercial/ 包仅用于遗留兼容——为旧版导入路径（如 Apache 许可前的 FlexiCubes 副本）提供向后兼容支持。新代码应使用 kaolin/ops/、kaolin/rep/ 及包树中其余部分下采用 Apache 许可的模块。

引用

如果您在研究中使用了 Kaolin，请引用：

@software{KaolinLibrary,
  author  = {Tsang, Clement Fuji and Shugrina, Maria and Lafleche, Jean-Francois and Perel, Or and Loop, Charles and Takikawa, Towaki and Modi, Vismay and Zook, Alexander and Wang, Jiehan and Chen, Wenzheng and Shen, Tianchang and Gao, Jun and Jatavallabhula, Krishna Murthy and Smith, Edward and Rozantsev, Artem and Fidler, Sanja and State, Gavriel and Gorski, Jason and Xiang, Tommy and Li, Jianing and Li, Michael and Lebaredian, Rev},
  title   = {{Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research}},
  version = {0.18.0},
  date    = {2024-11-20},
  url     = {https://github.com/NVIDIAGameWorks/kaolin}
}

贡献者

当前团队成员： 曾奕翔（技术负责人）、Maria（Masha）Shugrina（主管）、Charles Loop、Vismay Modi、Or Perel

其他主要贡献者： Alexander Zook、向东来、陈文正、Sanja Fidler、高俊、Jason Gorski、Jean-Francois Lafleche、Rev Lebaredian、李佳宁、Michael Li、Krishna Murthy Jatavallabhula、Artem Rozantsev、沈天长（Frank）、Edward Smith、Gavriel State、滝川航、王杰涵、Tommy Xiang