基于位置的绘画风格图像和谐化处理

时间:2026年3月20日
来源:Neural Networks

编辑推荐:

位置敏感的绘画图像和谐化方法通过PAIN模块和PSS监督策略解决局部风格不一致问题,在COCO和WikiArt数据集上验证有效

广告
   X   

韩国|郑博伦|张倩瑜|王灿金|王亚云|金恒|李倩坤|尹俊|张国道|李宗鹏
杭州电子科技大学自动化学院,中国杭州,310018

摘要

绘画风格图像融合旨在将摄影对象插入到绘画作品中,以创建视觉上和谐的艺术图像。与局部变化相对均匀的现实图像不同,绘画作品由于笔触、纹理和颜色混合而表现出高度的空间依赖性风格变化,不同区域之间可能存在显著的风格差异。现有方法试图使摄影对象的风格与整个绘画作品保持一致,但往往忽略了插入位置周围的局部风格一致性。为了解决这个问题,我们提出了一种基于位置的绘画风格图像融合方法。具体来说,我们首先提出了一个位置感知的自适应实例归一化(PAIN)模块,该模块以位置敏感的方式整合了全局和局部背景风格,确保插入的对象与整体风格和局部变化相协调。然后,我们提出了一种基于位置的监督方法来检测局部风格不一致性,最终实现基于位置的绘画风格图像融合。在公共基准数据集上的广泛实验验证了我们方法的有效性。

引言

图像合成作为一种基本的光照编辑技术,面临将一个图像中提取的前景对象粘贴到另一个背景图像上的挑战,尤其是当背景是艺术绘画时,前景和背景之间的显著风格差异会导致不自然的合成结果。针对这一挑战,许多关于绘画风格图像融合的研究旨在缓解这种风格不一致性,从而产生视觉上令人愉悦的合成图像。
现有研究大致可以分为两类:基于优化的方法(Luan等人,2018年;Zhang等人,2020年)和前馈方法(Cao等人,2023年;Niu等人,2024年;Peng等人,2019年)。基于优化的方法通过迭代优化输入合成图像的前景区域来最小化设计的损失函数(例如,内容损失(Gatys等人,2016年)和风格损失(Huang和Belongie,2017年))。前馈方法通常采用基于深度学习的方法来一次性生成和谐的合成图像。得益于端到端的过程,前馈方法显著提高了效率,并在商业应用中显示出巨大潜力。例如,Peng等人(2019年)首次应用AdaIN(Huang和Belongie,2017年)来融合绘画风格图像,Cao等人(2023年)以双域方式协调合成图像,Niu等人(2024年)设计了一种渐进式绘画风格融合网络。这些方法(Lu等人,2023年;Niu等人,2024年;Peng等人,2019年)使用AdaIN(Huang和Belongie,2017年)将绘画背景的全局风格转移到合成对象上。在这个过程中,风格由预训练的VGG-19(Simonyan和Zisserman,2014年)编码器中的特征统计(均值、方差)表示。
通常,现有的绘画风格图像融合方法将背景视为一个整体,并从全局角度最小化风格不一致性。然而,如图1所示,这些方法忽略了背景不同区域可能表现出不同的风格特征这一事实,特别是在对象插入区域周围。尽管现实图像融合方法(Shen等人,2023年)采用了全局和局部风格匹配策略,但它们主要关注对齐基本视觉特征,如光照和颜色,而没有有效处理绘画中的独特细节。绘画风格具有高度的空间依赖性,背景不同区域的笔触方向、颜色层次和光照存在明显差异。这些复杂的风格差异使得传统的全局和局部方法难以实现对象与绘画背景之间的真正和谐过渡。此外,这些方法需要真实的监督数据,这使它们不适用于绘画风格图像融合。
基于位置的绘画风格图像融合面临两个主要挑战。首先,背景在不同区域通常表现出显著的风格变化,这些变化决定了前景风格调整的方向。其次,前景对这些空间风格变化的响应程度应取决于其大小——较小的前景需要对局部风格波动更敏感,而较大的前景应更平滑地响应,以避免过度或不稳定的调整。现有的基于归一化的融合方法(如AdaIN和RAIN)通常假设全局风格分布均匀,并对前景和背景特征赋予相同的权重,因此在处理具有明显空间风格变化的绘画图像时效果较差。
为了解决这些问题,我们引入了位置感知的自适应实例归一化(PAIN)模块,其核心创新在于前景比例r。该比例使网络能够根据前景大小自适应地控制前景风格传递的强度,从而更好地捕捉局部-全局风格差异,并实现精确、空间连贯的风格对齐。此外,我们提出了一种基于位置的监督(PSS)策略来训练PAIN。PSS采用块状方法明确区分具有不同局部风格不一致性的区域,并利用软对比学习来鼓励网络关注容易发生风格不匹配的边界区域。这种机制优化了前景风格调整的局部强度和方向。最后,全面的内容优化在实现精确的、基于位置的融合的同时保持了结构真实性。
总之,本工作的贡献可以总结如下:
  • 我们提出了一种位置感知的自适应实例归一化(PAIN)模块,该模块根据全局和局部背景风格自适应地制定前景风格。
  • 我们提出了一种基于位置的监督方法,使网络能够检测和优化局部风格不一致性,实现基于位置的绘画风格图像融合。
  • 在公共基准数据集上的全面实验结果表明,所提出的方法达到了最先进的性能。
  • 相关工作

    相关工作

    图像融合大致可以分为两类:现实图像融合和绘画风格图像融合。此外,艺术风格迁移方法也可以用于实现绘画风格图像融合。在本节中,我们将简要介绍这三个领域,然后介绍对比学习。

    初步研究

    给定一个合成图像Ic,其中包含摄影前景If和绘画背景Ib,绘画风格图像融合(PIH)的目标是将背景风格转移到前景上,同时保留前景内容。我们的方法采用基于GAN的生成器-判别器(G&D)架构来弥合摄影图像和绘画图像之间的领域差异。具体来说,生成器由编码器、解码器和PAIN模块组成。编码器是一个预训练的VGG-19网络(Simonyan和

    数据集和训练细节

    继之前的工作(Cao等人,2023年;Peng等人,2019年)之后,我们在COCOLin等人(2014年)和WikiArtNichol(2016年)的基准数据集上进行了实验。COCO是一个大规模的摄影数据集,包含80个对象类别的实例分割注释,而WikiArt是一个包含27种不同艺术风格的大规模数字艺术数据集。这两个数据集用于通过将COCO中的摄影前景对象插入到绘画作品中来合成合成图像

    处理断开的前景区域

    为了验证模型是否能够处理包含多个断开前景的复杂掩码,我们进行了实验。如图11所示,两个不同区域的前景都实现了良好的局部一致性,表明模型能够处理不规则和碎片化的前景,而不仅仅局限于单个连续区域。这种能力主要得益于PAIN和PSS的协作:PAIN计算整个前景的全局统计信息

    失败案例

    尽管我们的方法通常能够获得满意的结果,但也存在一些失败案例。例如,如图12所示,当背景是绘画作品,前景是人物肖像时,融合后的面部仍然看起来很真实,但与背景风格不匹配。这可能有两个原因:首先,人物肖像在COCO训练数据集中的比例较小,导致样本有限;其次,人物肖像包含许多细节

    结论

    在本文中,我们提出了一种基于位置的绘画风格图像融合方法。我们首先介绍了PAIN模块,该模块动态地整合了全局和局部背景风格,以实现不同前景位置的自适应风格对齐。此外,我们提出了一种基于位置的监督方法来感知局部风格不一致性,并实现基于位置的绘画风格图像融合。在基准数据集上的广泛实验验证了我们方法的有效性。

    CRediT作者贡献声明

    韩国:撰写——原始草稿、方法论、形式分析、数据整理。郑博伦:撰写——审阅与编辑、资金获取。张倩瑜:调查。王灿金:验证。王亚云:验证。金恒:软件。李倩坤:可视化、形式分析。尹俊:软件。张国道:验证、项目管理。李宗鹏:项目管理、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

    生物通微信公众号
    微信
    新浪微博


    生物通 版权所有