从稀疏的输入图像合成逼真的3D场景视图仍然是计算机视觉和图形学中的一个核心挑战。尽管神经渲染方法[1]、[2]在自由空间环境中取得了令人印象深刻的性能,但在水下场景中的效果却大幅下降。水下成像受到复杂的光传输现象的影响,如波长依赖的衰减、背散射和折射,这些现象违背了标准渲染假设。此外,由于硬件限制和环境遮挡,水下环境中的多视图数据往往有限,这使得少样本合成变得更加具有挑战性。
神经辐射场(NeRF)[1]及其扩展[3]、[4]通过将场景表示为连续的体积神经场来生成高度真实的渲染结果。然而,这些方法依赖于密集的多视图数据,计算量较大,并且难以处理长距离体积采样。水下浑浊度、散射和能见度降低会进一步加剧这些问题,从而降低数据的质量和密度。相比之下,3D高斯斑点技术[2]通过将场景表示为一组可学习的高斯基元,并通过可扩展的栅格化流程进行渲染,提供了一种更高效的解决方案。然而,原始的3DGS框架是为清晰空气场景设计的,无法模拟水下特有的光学效应,如深度依赖的衰减、背散射和折射畸变。
最近的研究尝试将神经渲染技术扩展到水下领域,并采用物理基础模型。例如,seaThruNeRF[5]将深度感知的衰减纳入NeRF公式中,提高了水下场景的真实性。WaterSplat[6]通过考虑散射的渲染增强了3DGS的效果,而SeaSplat[7]引入了分层体积斑点技术来模拟波浪引起的畸变和能见度损失。尽管有这些进展,现有方法仍然存在关键限制:它们需要密集的多视图数据才能进行稳定训练,依赖于静态或手动定义的水下参数而不是自适应学习的参数,并且缺乏显式的方向性正则化。因此,这些方法在纹理较少或散射严重的区域容易过拟合并放大噪声。
我们提出了一个新的框架,用于少样本水下场景合成,该框架结合了考虑介质特性的渲染和正则化的3D高斯斑点技术。我们的方法通过预测基于稀疏视图的自适应各向异性高斯基元来共同学习场景几何结构和水下外观,同时明确模拟介质的物理属性。一个三平面特征生成器将有限的输入图像编码为丰富的方向性嵌入,这些嵌入指导斑点变形和几何结构及外观的神经场预测。此外,一个神经介质模块学习与视图相关的衰减和散射系数,从而实现介质特性的自适应建模。为了在稀疏监督下保持几何一致性,我们引入了基于预期渲染深度的深度一致性损失。通过将物理准确的渲染与学习到的场景表示相结合,我们的方法在真实的水下条件下显著提高了少样本神经渲染的效果。我们的主要贡献如下:
•我们提出了一个用于少样本水下场景合成的新框架,该框架将3D高斯斑点技术与考虑介质特性的渲染相结合。
•我们使用基于三平面的特征生成器和神经场从稀疏输入中预测自适应高斯基元,并结合了一个可微分的水下图像形成模型,该模型考虑了衰减、散射和背散射。
•我们提出了一种深度一致性正则化项,以在稀疏视图设置下增强几何保真度。
•广泛的实验表明,我们的方法在具有挑战性的水下数据集上明显优于基线方法。