图像合成作为一种基本的光照编辑技术,面临将一个图像中提取的前景对象粘贴到另一个背景图像上的挑战,尤其是当背景是艺术绘画时,前景和背景之间的显著风格差异会导致不自然的合成结果。针对这一挑战,许多关于绘画风格图像融合的研究旨在缓解这种风格不一致性,从而产生视觉上令人愉悦的合成图像。
现有研究大致可以分为两类:基于优化的方法(Luan等人,2018年;Zhang等人,2020年)和前馈方法(Cao等人,2023年;Niu等人,2024年;Peng等人,2019年)。基于优化的方法通过迭代优化输入合成图像的前景区域来最小化设计的损失函数(例如,内容损失(Gatys等人,2016年)和风格损失(Huang和Belongie,2017年))。前馈方法通常采用基于深度学习的方法来一次性生成和谐的合成图像。得益于端到端的过程,前馈方法显著提高了效率,并在商业应用中显示出巨大潜力。例如,Peng等人(2019年)首次应用AdaIN(Huang和Belongie,2017年)来融合绘画风格图像,Cao等人(2023年)以双域方式协调合成图像,Niu等人(2024年)设计了一种渐进式绘画风格融合网络。这些方法(Lu等人,2023年;Niu等人,2024年;Peng等人,2019年)使用AdaIN(Huang和Belongie,2017年)将绘画背景的全局风格转移到合成对象上。在这个过程中,风格由预训练的VGG-19(Simonyan和Zisserman,2014年)编码器中的特征统计(均值、方差)表示。
通常,现有的绘画风格图像融合方法将背景视为一个整体,并从全局角度最小化风格不一致性。然而,如图1所示,这些方法忽略了背景不同区域可能表现出不同的风格特征这一事实,特别是在对象插入区域周围。尽管现实图像融合方法(Shen等人,2023年)采用了全局和局部风格匹配策略,但它们主要关注对齐基本视觉特征,如光照和颜色,而没有有效处理绘画中的独特细节。绘画风格具有高度的空间依赖性,背景不同区域的笔触方向、颜色层次和光照存在明显差异。这些复杂的风格差异使得传统的全局和局部方法难以实现对象与绘画背景之间的真正和谐过渡。此外,这些方法需要真实的监督数据,这使它们不适用于绘画风格图像融合。
基于位置的绘画风格图像融合面临两个主要挑战。首先,背景在不同区域通常表现出显著的风格变化,这些变化决定了前景风格调整的方向。其次,前景对这些空间风格变化的响应程度应取决于其大小——较小的前景需要对局部风格波动更敏感,而较大的前景应更平滑地响应,以避免过度或不稳定的调整。现有的基于归一化的融合方法(如AdaIN和RAIN)通常假设全局风格分布均匀,并对前景和背景特征赋予相同的权重,因此在处理具有明显空间风格变化的绘画图像时效果较差。
为了解决这些问题,我们引入了位置感知的自适应实例归一化(PAIN)模块,其核心创新在于前景比例r。该比例使网络能够根据前景大小自适应地控制前景风格传递的强度,从而更好地捕捉局部-全局风格差异,并实现精确、空间连贯的风格对齐。此外,我们提出了一种基于位置的监督(PSS)策略来训练PAIN。PSS采用块状方法明确区分具有不同局部风格不一致性的区域,并利用软对比学习来鼓励网络关注容易发生风格不匹配的边界区域。这种机制优化了前景风格调整的局部强度和方向。最后,全面的内容优化在实现精确的、基于位置的融合的同时保持了结构真实性。
总之,本工作的贡献可以总结如下:
•我们提出了一种位置感知的自适应实例归一化(PAIN)模块,该模块根据全局和局部背景风格自适应地制定前景风格。
•我们提出了一种基于位置的监督方法,使网络能够检测和优化局部风格不一致性,实现基于位置的绘画风格图像融合。
•在公共基准数据集上的全面实验结果表明,所提出的方法达到了最先进的性能。