Matrix3D

Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型

Matrix3D 是学、苹果公司与香港科技大学共同研发的一种创新型统一摄影测量模型。它能够在单一模型中执行多种摄影测量任务，如姿态估计、深度预测和新视图合成。其核心技术为多模态扩散变换器（DiT），通过整合图像、相机参数和深度图等多种数据模态，实现灵活高效的任务处理。

Matrix3D是什么

Matrix3D 是由学、苹果公司和香港科技大学共同推出的一款新型统一摄影测量模型，能够在一个框架内完成多项摄影测量子任务，包括姿态估计、深度预测和新视图合成。其核心为多模态扩散变换器（DiT），通过结合图像、相机参数及深度图等多种数据模态，实现灵活多样的任务处理。Matrix3D的训练采取了掩码学习策略，即便在数据部分缺失的情况下，也能基于双模态数据（如图像与姿态或图像与深度对）进行全面的模态训练，从而显著提升可用训练数据的量。同时，Matrix3D 允许用户进行多轮交互，通过逐步输入信息来优化生成结果，展现出极强的灵活性，适用于3D内容创作。

Matrix3D

Matrix3D的主要功能

姿态估计（Pose Estimation）：能够从稀疏视角的图像中精准估算相机的姿态，即使在图像重叠度较低的情况下，也能准确预测相机的相对位置与方向。
深度预测（Depth Prediction）：能够从单目或多视角图像中生成高质量的深度图，支持从少量图像中提取深度信息，为后续3D重建任务奠定基础。
新视图合成（Novel View Synthesis）：可根据输入图像生成任意姿态的新视图图像，支持从单张或多张图像中合成新的视角。
3D重建（3D Reconstruction）：结合姿态估计、深度预测和新视图合成的结果，Matrix3D能够实现基于单张或少量图像的3D重建，并通过与3D高斯溅射优化结合，生成高质量的3D点云。
多任务交互与灵活性：Matrix3D支持灵活的输入/输出配置，能够根据用户提供的信息动态调整任务。
掩码学习与数据利用：通过掩码学习策略，Matrix3D能够处理部分完整的数据进行训练，显著扩展可用训练数据的范围，从而提升模型的泛化能力。

Matrix3D的技术原理

多模态扩散变换器：Matrix3D采用扩散变换器架构，能够处理多种模态的数据（如 RGB 图像、相机姿态和深度图），并将其统一为二维表示，实现跨模态特征的融合与生成。
掩码学习策略：在训练过程中，模型采用掩码学习，通过随机掩码处理输入数据，学习从带有噪声的数据中恢复出清晰的输出，能够有效处理不完整输入数据，显著增加可用训练数据量。
统一的概率模型：Matrix3D 基于统一的概率模型，能够根据灵活的输入/输出配置动态调整任务需求，支持姿态估计、深度预测和新视图合成等多种摄影测量任务。
3D 高斯溅射优化：生成的深度图和新视图图像可用于初始化3D高斯溅射（3DGS）优化，以实现高质量的3D点云重建。
数据归一化：通过场景归一化和相机归一化技术，Matrix3D能处理不同数据集的多样化分布，确保不同模态的数据在统一尺度和坐标系下进行处理。