半透明物体几何结构与材质的联合获取：基于物理渲染与神经渲染的混合框架

本研究针对半透明物体逆渲染中几何与材质属性难以同时估计的挑战，提出了一种结合物理渲染器与神经渲染器的混合监督框架。通过输入闪光/无闪光图像对，系统能够解耦表面反射与次表面散射(SSS)，实现形状、表面粗糙度、光照及SSS参数的联合估计。研究构建了包含11.7万场景的大规模合成数据集及真实世界基准，并通过微调策略缓解域差异问题。实验表明，该方法在合成与真实数据上均达到先进水平，为材质编辑等下游任务奠定了基础。

在计算机视觉与图形学领域，准确还原半透明物体（如玉石、皮肤、蜡制品）的外观一直是个棘手难题。与普通物体不同，光线照射到半透明物体时，并非仅在表面反射，而是会穿透表面，在内部经过多次散射（这一现象称为次表面散射，Subsurface Scattering, SSS）后，再从其他位置射出。这种复杂的光线传播行为产生了柔和、温润的视觉效果，但也使得从图像中反推物体的内在属性——包括三维形状、材质参数和光照环境——变得极其困难。传统的逆渲染方法大多针对不透明物体，假设光线仅发生表面反射，或者对半透明效应使用简化模型，这严重限制了重建质量以及在重打光、材质编辑等应用中的效果。

为了解决这一瓶颈，来自大阪大学的研究团队在《Image and Vision Computing》上发表了一项创新研究，提出了一种能够从单视角图像中同时获取半透明物体几何与材质属性的新框架。该研究的核心思路是巧妙地利用闪光灯拍摄提供的额外信息。想象一下，当我们用手指挡住明亮的手电筒时，能清晰地看到皮下的血色，这是因为强光增强了半透明效应。受此启发，研究人员采用“闪光/无闪光”图像对作为输入。无闪光图像主要捕获环境光照下的表面反射信息，而闪光图像则凸显了物体内部的次表面散射效应。这两种照明条件下的差异为计算机“看清”物体内部提供了关键线索。

为了处理这种复杂的光线传输，研究团队设计了一个独特的“双渲染器”架构。第一个是物理渲染器，它基于物理规律，精确计算物体表面的直接反射光。第二个是神经渲染器，它是一个经过训练的深度学习模型，专门负责模拟物理渲染器难以高效计算的次表面散射等复杂间接光照效果。这两个渲染器都是可微分的，意味着整个系统可以进行端到端的训练，让估计的参数尽可能准确地重建出输入图像。为了进一步指导神经渲染器学习真实的散射效果，研究人员还引入了一种“增强损失”策略，通过让渲染器学习基于扰动后的散射参数重新生成图像，确保其真正理解参数变化对最终外观的影响。

任何数据驱动的方法都离不开高质量数据的支持。由于在现实世界中精确测量大量半透明物体的几何、材质和散射参数极为困难，本研究构建了一个超大规模的光学真实合成数据集，包含11.7万个精心设计的场景，每个场景都有完整的真实值标签。此外，为了验证方法在真实世界的泛化能力并解决合成数据与真实数据之间的“域差异”问题，团队还贡献了一个包含89个真实半透明物体的数据集，并利用特殊方法测量了其真实表面法线，用于对模型进行微调。

在关键技术方法上，本研究主要依托以下几个核心环节：1) 采用闪光/无闪光图像对作为输入，以解耦表面反射与次表面散射效应；2) 构建混合渲染监督框架，融合可微分物理渲染器（处理表面反射）与数据驱动的神经渲染器（模拟次表面散射）；3) 引入增强损失函数，通过对散射参数进行扰动并监督重渲染结果，强化神经渲染器的训练；4) 创建大规模合成数据集（11.7万场景）并进行真实世界数据采集（89个物体，含真实法线）；5) 采用基于真实数据的微调策略，以缓解合成与真实数据间的域差异。

研究结果

4.2. 先进技术对比

与专注于纯次表面散射的方法相比，本方法在散射参数估计上表现出明显优势。对比实验表明，现有方法在同时存在表面反射和SSS的复杂场景下难以估计出合理的参数，而本方法能更准确地还原物体的内在属性。在表面法线估计方面，与最新的基于扩散模型的方法相比，本方法在经过真实数据微调后，展现出了更优的性能，这表明其对半透明物体光传播特性的专门建模具有价值。

4.3. 消融实验

通过系统的消融研究，验证了各个组件的必要性。结果表明，将渲染过程明确分离为表面反射和SSS两个步骤（“2R”模型），相比简单的编码-解码器（基线模型），能有效减轻估计的模糊性。引入“增强损失”进一步提升了SSS参数估计的准确性。而最终的完整模型（结合双渲染器、增强损失和闪光/无闪光设置）在所有评估指标上均取得了最佳性能，证明了其整体设计的有效性。

4.4. 材质编辑

本研究的一个重要应用前景是材质编辑。实验显示，在估计出场景参数后，通过直接修改SSS参数（如消光系数σ_t、体素反照率α、相函数参数g），并利用训练好的神经渲染器，能够生成具有不同散射特性的新图像，实现了对半透明物体外观的灵活操控。

4.5. 微调分析

对真实数据集的微调实验证明，这一步骤能显著提升模型在真实场景中的表现，特别是在表面法线估计方面。与直接从零开始在真实数据上训练相比，基于合成数据预训练再进行微调的策略收敛更快、效果更佳，有效缓解了域适应问题。

结论与展望

该研究成功实现了从单视角闪光/无闪光图像对中联合估计半透明物体的形状、空间变化表面反射、均匀次表面散射参数和光照，为逆渲染领域开辟了新的方向。其所提出的双拍摄设置、双渲染器架构和增强损失函数有效降低了估计的模糊性。构建的大规模数据集和微调策略也为后续研究提供了宝贵资源。然而，该方法仍存在局限，例如为简化问题将折射率(IoR)设为固定值，这可能影响对特殊材质处理的普适性；同时，当前框架尚不支持重打光和 novel-view synthesis（新视角合成），因为这需要完整的3D几何信息（如网格）。未来，探索更完整的3D重建方法以及与先进生成模型的结合，将是值得关注的方向。