PointSplat

PointSplat官网

PointSplat 是一款面向实时三维人体重建场景的开源算法框架，由浙江大学 CAD&CG 国家重点实验室与字节跳动联合提出（收录于 ECCV 2026）。它通过”人体中心（Human-Centric）”的预测范式，从稀疏多视角图像中一次前馈推理即可生成紧凑的 3D 高斯泼溅（3D Gaussian Splatting，简称 3DGS）表示，解决了传统”视角中心”方案跨视角重复编码、高斯体数量随视角数膨胀的痛点：在把高斯体数量压缩到对比方法约 33% 的同时，新视角渲染质量反而更高，单帧推理约 30 毫秒。

PointSplat 稀疏视角输入与紧凑 3DGS 重建效果

PointSplat的主要功能：

1. 人体中心的 3D 高斯预测：跳出”为每张输入图预测像素对齐高斯图再反投影”的常规思路，直接以 3D 空间中的点为锚点推断高斯原语（位置偏移、协方差、不透明度、球谐系数），同一人体不再被多个视角重复编码；
2. 几何代理构建与冗余剪枝：先用 Space Carving 从多视角掩码生成粗视觉外壳并体素化，再通过 Ray Casting 剔除内部冗余点，同时建立显式的 2D–3D 对应关系，让预测只聚焦前景人体区域；
3. Point-Image Transformer 融合解码：外观 Token 与几何 Token 交替执行全局注意力、点级注意力以及帧内/跨视角注意力，在单次前向传播中输出全部高斯参数；
4. 纯 RGB 监督训练：整个流程只依赖图像重建损失，不需要深度真值、点云或任何 3D 标注，数据准备成本显著低于需要几何监督的方案；
5. 视角数与分辨率鲁棒性：论文报告输入视角从 3 增加到 15 时，PSNR 波动小于 0.3 dB，而视角中心方法的高斯体数量会膨胀 3–5 倍；在 24K 超高分辨率下，它的高斯体增量仅为对比方法的四分之一；
6. 开箱即用的推理代码与权重：仓库提供完整的推理代码、配置文件与预训练权重（通过 HuggingFace Hub 分发），并附带 DNA-Rendering 与 THuman2.0 两套示例数据；
7. 多数据集验证的质量优势：在 DNA-Rendering、ActorsHQ、PKU-DyMVHumans、THuman2.0、RenderPeople 等数据集上对比 GPS-Gaussian、MVSplat、DepthSplat、GRM、LGM 等方法，高斯体数量约 45K–60K（对比方法约 120K–180K），DNA-Rendering 上 PSNR 达 31.2 dB、SSIM 0.963、LPIPS 0.041。

视角中心 vs 人体中心：直接在 3D 空间做预测以规避冗余

如何使用PointSplat？

使用流程如下：

1. 克隆 https://github.com/zju3dv/PointSplat 仓库，创建 Python 3.10 的 conda 环境并执行 pip install -r requirements.txt 安装依赖；
2. 用 hf download Yujie0012/PointSplat_pretrained_weights pointsplat_mixed.pt --local-dir pretrained 下载预训练权重，权重最终放置在 pretrained/pointsplat_mixed.pt；
3. 下载官方示例数据（DNA-Rendering 或 THuman2.0），按仓库说明解压到 datasets/ 目录，确保图像、掩码与相机参数按约定层级摆放；
4. 执行推理命令，例如针对 DNA-Rendering：CUDA_VISIBLE_DEVICES=0 python -m src.main +experiment=pointsplat_renbody output_dir=experiments/eval_pointsplat dataset.roots='[datasets/DNA_Rendering_example]' checkpointing.pretrained_encoder=pretrained/pointsplat_mixed.pt；THuman2.0 则改用 pointsplat_thuman 实验配置；
5. 在 output_dir 中查看生成的 3D 高斯表示与新视角渲染结果，可进一步接入标准 3DGS 渲染器做实时预览或导出。

PointSplat 三阶段流程：外观特征 → 几何代理 → 高斯参数解码

PointSplat的使用场景：

1. 全息通信与沉浸式直播：在计算与传输带宽受限的条件下，用更紧凑的 3D 表示完物实时重建与远端呈现，降低带宽占用；
2. 虚拟人与数字内容制作：为虚拟主播、数字人资产生产提供快速的人体几何与外观重建，可配合 有言3D数字人、阿里云-虚拟数字人 等下游内容生产环节使用；
3. 多摄像头动态捕捉系统：面向演播室、体育场馆等已部署稀疏相机阵列的场景，直接产出可视角回放的 3D 人体表示，且视角数增加不会带来表示体积的线性膨胀；
4. 边缘端与移动端渲染：由于高斯体数量大幅减少，更适合在算力有限的终端设备上做实时绘制；
5. 学术研究与算法基线：作为人体中心前馈 3DGS 的代表性方法，可与 CGDream.ai – 3D模型AI渲染、知末3D模型网-3D模型下载 等工具链形成从”重建”到”资产与渲染”的完整工作流，也常被用作紧凑 3D 表示相关研究的对比基线。

PointSplat：开源许可与获取方式

1. 开源许可：项目以 Apache 2.0 许可证开源，代码与预训练权重均可免费获取并用于研究与商业场景，官方未设置付费版本或订阅档位；
2. 获取方式：推理代码、配置与示例脚本托管于 GitHub，预训练权重与示例数据通过 HuggingFace Hub 分发，无需申请授权；
3. 使用成本：软件本身零费用，实际成本来自推理所需的 NVIDIA GPU 算力与数据存储，使用者需自备 CUDA 环境。

PointSplat的常见问题解答：

PointSplat 只能处理人体吗？

它是面向人体设计的方法（Human-Centric），需要输入前景掩码来构建几何代理，通用场景并非其目标。若需要处理开放场景或大基线单图合成，可关注同一研究团队的 InfiniSplat、Habitat-GS 等工作。

使用 PointSplat 必须提供深度或 3D 标注吗？

不需要。整个训练与推理流程仅依赖多视角 RGB 图像与对应的前景掩码监督，不要求深度真值、点云或网格标注，这让其更容易部署到只有普通相机阵列的采集环境。

PointSplat 对硬件和输入有什么要求？

推理需要支持 CUDA 的 NVIDIA GPU，环境为 Python 3.10 + PyTorch；输入为同一时刻的多视角 RGB 图像及对应掩码。论文报告单帧推理约 30 毫秒，且在视角数量与图像分辨率变化时表现稳定。

PointSplat官网网址：

PointSplat官网入口网址：https://zju3dv.github.io/pointsplat

相关资源：

1. GitHub 开源仓库：https://github.com/zju3dv/PointSplat
2. 论文（arXiv 2606.32036）：https://arxiv.org/abs/2606.32036
3. 预训练权重：https://huggingface.co/Yujie0012/PointSplat_pretrained_weights

OpenI AI时代点评

PointSplat 的价值不在”又一个更快的 3DGS”，而在于它把预测坐标系从图像平面搬回了三维空间——这一改动直接消解了前馈重建中长期存在却被默认接受的视角间冗余。三分之一的高斯体换来更高的 PSNR 与更低的 LPIPS，说明此前的”多视角重复编码”不仅是存储浪费，本身也在损害表示质量。对于真正受限于带宽与算力的全息通信、沉浸式直播来说，表示紧凑度和画质的同步改善，比单纯提速更有工程意义。需要留意的是它的人体前提：掩码输入是硬约束，通用场景仍需另寻方案。整体而言，这是一个定位清晰、代码与权重齐备、适合直接接入生产管线的开源项目，推荐给做实时人体重建与虚拟人内容的团队试用。