PyTorch3D 3D 深度学习函数库

程序名称：PyTorch3D

授权协议: BSD

操作系统: 跨平台

开发语言: C/C++

PyTorch3D 介绍

PyTorch3D 是一个用于处理 3D 数据的深度学习函数库，该库高度模块化且经过专门优化，具备独有的功能，旨在通过 PyTorch 简化 3D
深度学习。PyTorch3D 为 3D 数据提供了一组常用的 3D 运算符和快速且可微分的损失函数(loss function)，以及模块化的可微分渲染
API。

PyTorch3D 主要特性

• 用于存储和操作三维物体的数据结构
• 可在三维物体上进行高效运算，诸如投影变换、图卷积、采样、损失函数等
• 可微分的三维物体渲染器

PyTorch3D 旨在与深度学习方法平稳集成，以预测和处理 3D 数据。因此，PyTorch3D 中的所有运算符：

• 使用 PyTorch 张量实现
• 可以对异构数据进行批量处理
• 可微分
• 可以利用 GPU 进行加速

案例与教程

▲
将球体网格变形为海豚

▲
渲染纹理网格

▲
优化相机位置

示例代码

1. 安装 PyTorch3D

   conda install pytorch torchvision -c pytorch # OSX only
   conda install pytorch3d -c pytorch3d # all systems

2. 尝试使用一些 3D 运算符， 如计算两个网格之间的倒角损耗（ chamfer loss）

   from pytorch3d.utils import ico_sphere
   from pytorch3d.io import load_obj
   from pytorch3d.structures import Meshes
   from pytorch3d.ops import sample_points_from_meshes
   from pytorch3d.loss import chamfer_distance

   Use an ico_sphere mesh and load a mesh from an .obj e.g. model.obj

   sphere_mesh = ico_sphere(level=3)
   verts, faces, _ = load_obj(“model.obj”)
   test_mesh = Meshes(verts=[verts], faces=[faces.verts_idx])

   Differentiably sample 5k points from the surface of each mesh and then compute the loss.

   sample_sphere = sample_points_from_meshes(sphere_mesh, 5000)
   sample_test = sample_points_from_meshes(test_mesh, 5000)
   loss_chamfer, _ = chamfer_distance(sample_sphere, sample_test)

PyTorch3D 官网

https://pytorch3d.org/