MVS 3D 重建的概述
多视图立体（MVS）3D 重建旨在从二维图像或传感器数据生成三维模型，在计算机视觉和图形学等众多领域应用广泛。比如在医学领域，可助力医生通过重建器官 3D 模型快速诊断病情；在文化遗产保护方面，能精确还原古迹原貌 。
数据获取方式主要有接触式和非接触式。接触式精度高但应用受限，非接触式中的主动方法（如激光扫描、结构化光、TOF）操作复杂、成本高，被动方法虽操作简便，却难以捕捉精细表面细节，导致重建精度较低。
传统 MVS 算法依场景表示形式，分为基于点云、体素和深度图的方法。基于点云的方法专注提升生成模型的精度和密度；基于体素的方法利用光度一致性和可见性约束优化重建，但高分辨率图像重建易受体素内存占用大的限制；基于深度图的方法以 2.5D 格式表示 3D 几何，对特征匹配精度要求高，低纹理区域匹配困难，易出现重建结果缺失或有伪影的问题 。
深度学习助力 MVS 3D 重建
深度学习的发展为 MVS 3D 重建带来新契机。基于深度学习的 MVS 方法借助大规模 3D 场景数据集和真实深度数据的监督，能充分挖掘图像丰富信息，有效应对传统方法在遮挡和弱纹理区域匹配的难题，实现高质量 3D 重建。尽管训练依赖真实深度数据，但在复杂场景下，其鲁棒性、泛化能力和可扩展性优势显著，且通过合成数据集或自监督学习框架可降低对真实标注数据的依赖 。
深度学习基于 MVS 3D 重建流程主要包括特征提取、成本体构建、成本体正则化和损失函数几部分。在特征提取阶段，神经网络学习特征提取函数fθ从图像中提取相关特征；成本体构建基于提取的特征，结合多视图信息构建；成本体正则化用于优化成本体，提高深度估计准确性；损失函数则衡量重建结果与真实值的差异，指导网络训练 。
常用数据集与评估指标
目前有多个用于 MVS 重建的基准数据集。例如 EPFL 数据集，涵盖户外建筑、室内环境和雕塑艺术品等多种场景。这些数据集为研究人员提供了丰富的实验数据，在训练和评估 MVS 算法性能时发挥着关键作用 。
评估 MVS 3D 重建方法性能的指标众多，主要从几何重建精度、新视图合成质量、计算效率和内存使用等方面考量。不同指标从不同维度反映算法的优劣，有助于研究人员全面评估算法性能 。
不同网络架构的 MVS 方法分析
基于网络架构的演进，主要有基于卷积神经网络（CNN）、循环神经网络（RNN）和 Transformer 的结构这三种代表性范式。CNN 凭借局部特征提取能力，在 MVS 特征提取中广泛应用；RNN 能处理序列数据，在捕捉视图间时间或空间依赖关系上有独特优势；Transformer 基于自注意力机制，可全局感知特征关系，在一些任务中展现出强大性能 。通过对比这些不同架构方法在特征提取和处理阶段的差异，研究人员能更深入了解它们的特点，为选择合适的方法提供依据 。
新兴技术在 MVS 中的应用
神经辐射场（NeRF）和 3D 高斯溅射（3DGS）等新兴技术在 MVS 领域得到探索应用。NeRF 通过将场景表示为连续的辐射场，在合成高质量新视图方面表现出色；3DGS 则利用高斯分布来表示场景，在重建精度和效率上有独特优势。对这两种技术在 MVS 中实施过程的对比分析，揭示了它们在重建质量和适用性方面的优缺点 。
实验评估与结论
通过在 DTU 数据集和 Tanks and Temples 数据集等主流数据集上对多种先进方法进行定量对比，从多个维度评估不同模型的重建性能。结果显示不同方法在不同指标上各有优劣，为研究人员根据具体应用需求选择合适方法提供了参考 。
从理论意义上讲，对 MVS 重建的回顾梳理了该领域发展脉络，揭示了各种方法的技术原理、实现细节和内在联系。在实践方面，为相关应用提供了更有效的技术支持 。本综述系统涵盖深度学习 3D 重建方法，分析新兴技术，评估模型性能，但也存在一定局限性，如对某些小众方法探讨不足。未来 MVS 3D 重建研究可朝着提高重建精度、降低计算资源消耗、拓展应用场景等方向开展，以推动该领域进一步发展 。
生物通微信公众号
