最近的高斯散布算法(GS)(Kerbl等人,2023年)的发展极大地影响了计算机图形学领域,使得可以从带有标注相机位置的图像中建模三维(3D)场景。GS模型将3D场景表示为一组3D高斯分布,从而实现了快速训练和渲染。此外,相对容易修改原始的GS方法以实现编辑(Guédon和Lepetit,2024年;Huang和Yu,2024年;Waczyńska等人,2024b年)以及创建动态场景(Huang等人,2024c年;Kratimenos等人,2024年;Waczyńska等人,2024a年)。
同时,GS框架面临的最大挑战之一是将物理特性整合到使用3D高斯分量表示的场景中。现有模型采用了额外的网格划分技术,包括三角形或四面体网格划分(Feng等人,2024年)、行进立方体算法(Guédon和Lepetit,2024年)或笼型网格(Jiang等人,2024年)。这种方法生成了基于网格的经典表示,然后由物理引擎控制。因此,高斯分量会根据基于网格的修改进行调整。尽管这些方法产生了令人满意的渲染效果,但它们需要实现额外的网格划分和渲染策略。从3DGS中提取网格仍然是活跃的研究课题,有诸如SuGaR或2DGS(Huang等人,2024a年)等有前景的方法。然而,为任意对象或场景获取平滑、高质量的网格仍然是一项具有挑战性的任务,且可能会出现影响模拟的伪影,例如网格间隙。
另一种方法是PhysGaussian(Xie等人,2024年),它利用传统的GS方法并调整牛顿动力学以适应3D高斯分量。PhysGaussian采用变形图的一阶近似,通过线性变换在局部近似动力学。这种解决方案是有效的,但它依赖于物理引擎的访问才能应用修改,并且依赖于网络近似。因此,这种方法不适用于Blender等流行的3D图形软件。
为了解决这些限制,我们提出了基于物理的模拟的高斯散布算法(GASP)流程(见图1),该流程将平面高斯分布(Waczyńska等人,2024a年;Waczyńska等人,2024b年)与黑盒物理引擎结合使用,无需对基于GS的模型进行特殊修改,使其比其他方法更加灵活。在这项工作中,我们展示了使用Genesis(Authors,2024年)软件和Taichi Elements库创建的模拟(见图2)。据我们所知,这是首次将基于GS的模型与Genesis引擎集成。我们还展示了简单的改进措施,例如实现高斯层次结构,可以无缝集成到我们的方法中,显著加速模拟过程。
通过修改高斯的缩放分量,可以使平面高斯分布平滑地应用于GS中,使其在一个轴上的值为零。这种GS的表示方式便于参数化,并且可以轻松转换为与传统3D图形软件兼容的面。这些技术之前已在几种方法中使用过(Guédon和Lepetit,2024年;Huang等人,2024a年;Waczyńska等人,2024b年)。平面高斯产生的训练和渲染时间以及渲染质量与GS相当。GASP方法展示了在GaMeS框架内实现牛顿动力学的能力,从而说明了无需对外部物理引擎或高斯分量进行修改即可集成这些方法。更准确地说,该模型从GS中提取点,并应用材料点方法来控制这些点。在模拟过程中,与每三个点相关的高斯分量会重新计算。这一过程非常快速,不会增加渲染成本。然而,将每个点视为离散实体会导致伪影的出现。因此,我们提出了一种简单的修改方法,使用三角形而不是完全不同的点。当三角形的大小发生显著变化时,我们会进行额外的重新缩放。实际上,GASP可以在平面GS中生成高质量的模拟,包括静态和动态场景以及对象之间的交互,见图1。这一点通过在合成和真实世界数据集上进行的一系列实验得到了验证。
我们的主要贡献如下:
- 1.
我们提出了GASP流程,该流程使用基于GS的模型将物理属性整合到3D场景表示中,适用于静态和动态场景。
- 2.
GASP直接在特定点上操作,从而避免了修改被视为黑盒的物理引擎的必要性。
- 3.
GASP不采用额外的网格划分策略。我们证明,应用额外的高斯控制规则可以有效消除伪影,同时利用层次结构显著加速模拟。