基于高斯溅射场和物理基础水模型的水下场景新颖视图合成方法

时间:2026年2月18日
来源:Neurocomputing

编辑推荐:

水下场景神经渲染框架,结合三平面特征编码与介质感知渲染,通过可微分体积渲染器建模衰减、散射等光学效应,并引入深度一致性损失提升几何精度。实验表明该方法在稀疏视图条件下显著优于基线,尤其在盐 pond 数据集上达到新状态。

广告
   X   

钱丽|饶富
中国江苏省南京市河海大学

摘要

我们提出了一个用于少样本水下场景合成的神经渲染框架,该框架通过考虑介质特性的渲染技术增强了3D高斯斑点场的效果。我们的方法使用各向异性高斯基元来表示每个场景,这些基元的形状、外观和不透明度参数是通过将三平面特征嵌入与轻量级神经场相结合来预测的。为了模拟水下光传输,我们设计了一个可微分的体积渲染器,该渲染器能够学习与视图相关的介质参数。我们还通过引入深度一致性损失来确保几何保真度,从而减少由于观测数据稀疏或质量下降而产生的伪影。在真实世界的水下基准测试中,我们的方法在定量准确性和感知质量方面始终优于其他水下视图合成方法,尤其是在输入数据稀疏的情况下。

引言

从稀疏的输入图像合成逼真的3D场景视图仍然是计算机视觉和图形学中的一个核心挑战。尽管神经渲染方法[1]、[2]在自由空间环境中取得了令人印象深刻的性能,但在水下场景中的效果却大幅下降。水下成像受到复杂的光传输现象的影响,如波长依赖的衰减、背散射和折射,这些现象违背了标准渲染假设。此外,由于硬件限制和环境遮挡,水下环境中的多视图数据往往有限,这使得少样本合成变得更加具有挑战性。
神经辐射场(NeRF)[1]及其扩展[3]、[4]通过将场景表示为连续的体积神经场来生成高度真实的渲染结果。然而,这些方法依赖于密集的多视图数据,计算量较大,并且难以处理长距离体积采样。水下浑浊度、散射和能见度降低会进一步加剧这些问题,从而降低数据的质量和密度。相比之下,3D高斯斑点技术[2]通过将场景表示为一组可学习的高斯基元,并通过可扩展的栅格化流程进行渲染,提供了一种更高效的解决方案。然而,原始的3DGS框架是为清晰空气场景设计的,无法模拟水下特有的光学效应,如深度依赖的衰减、背散射和折射畸变。
最近的研究尝试将神经渲染技术扩展到水下领域,并采用物理基础模型。例如,seaThruNeRF[5]将深度感知的衰减纳入NeRF公式中,提高了水下场景的真实性。WaterSplat[6]通过考虑散射的渲染增强了3DGS的效果,而SeaSplat[7]引入了分层体积斑点技术来模拟波浪引起的畸变和能见度损失。尽管有这些进展,现有方法仍然存在关键限制:它们需要密集的多视图数据才能进行稳定训练,依赖于静态或手动定义的水下参数而不是自适应学习的参数,并且缺乏显式的方向性正则化。因此,这些方法在纹理较少或散射严重的区域容易过拟合并放大噪声。
我们提出了一个新的框架,用于少样本水下场景合成,该框架结合了考虑介质特性的渲染和正则化的3D高斯斑点技术。我们的方法通过预测基于稀疏视图的自适应各向异性高斯基元来共同学习场景几何结构和水下外观,同时明确模拟介质的物理属性。一个三平面特征生成器将有限的输入图像编码为丰富的方向性嵌入,这些嵌入指导斑点变形和几何结构及外观的神经场预测。此外,一个神经介质模块学习与视图相关的衰减和散射系数,从而实现介质特性的自适应建模。为了在稀疏监督下保持几何一致性,我们引入了基于预期渲染深度的深度一致性损失。通过将物理准确的渲染与学习到的场景表示相结合,我们的方法在真实的水下条件下显著提高了少样本神经渲染的效果。我们的主要贡献如下:
  • 我们提出了一个用于少样本水下场景合成的新框架,该框架将3D高斯斑点技术与考虑介质特性的渲染相结合。
  • 我们使用基于三平面的特征生成器和神经场从稀疏输入中预测自适应高斯基元,并结合了一个可微分的水下图像形成模型,该模型考虑了衰减、散射和背散射。
  • 我们提出了一种深度一致性正则化项,以在稀疏视图设置下增强几何保真度。
  • 广泛的实验表明,我们的方法在具有挑战性的水下数据集上明显优于基线方法。
  • 部分摘录

    新颖视图合成

    最近的调查[8]、[9]全面概述了神经渲染和新颖视图合成方面的进展。其中,神经辐射场(NeRF)[1]通过使用多层感知器(MLPs)隐式建模体积密度和视图依赖的辐射度,实现了逼真的渲染效果,这是一个重要的里程碑。然而,NeRF依赖于密集的射线采样和重复的MLP评估,这使得训练和推理计算成本很高。为了克服这些问题

    方法

    给定一组校准后的水下图像,我们的工作可以生成场景在任意相机姿态下的新视图。为此,我们的流程整合了四个关键组件:基于三平面的特征生成,它将稀疏观测数据编码为结构化的方向性嵌入;基于神经场的斑点参数预测,用于估计自适应3D高斯基元的方向、大小、颜色和不透明度;以及考虑介质特性的水下渲染。

    实验

    我们在从稀疏的多视图水下图像生成新视图的任务上评估了我们的方法。我们在两个真实世界基准数据集上进行了广泛的实验:SeaThru-NeRF数据集[5]和Saltpond数据集[7]。这些数据集代表了多样化的水下条件和成像配置,使我们能够全面评估模型的泛化和鲁棒性。

    结论

    我们提出了一个用于少样本水下新视图合成的新框架,该框架通过结合物理基础的体积渲染技术增强了3D高斯斑点技术的效果。通过将方向自适应的高斯基元与可学习的介质感知渲染相结合,我们的方法即使在稀疏视图监督下也能产生逼真的结果。在真实世界的水下数据集上的实验表明,我们的方法始终优于其他水下视图合成基线方法,树立了新的技术标准。

    CRediT作者贡献声明

    钱丽:撰写——审稿与编辑、撰写——原始草稿、可视化、方法论。饶富:撰写——审稿与编辑、监督、项目管理、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

    致谢

    本工作得到了中央高校基本研究基金的支持。我们感谢河海大学高性能计算平台提供的计算资源。我们也感谢所有审稿人花时间审查手稿。
    钱丽是中国河海大学的研究科学家。她的研究兴趣涵盖计算机视觉和计算机图形学,重点是神经渲染和数字人类。

    生物通微信公众号
    微信
    新浪微博


    生物通 版权所有