基于协作学习和对抗性生成对抗网络(GAN)的卫星图像语义分割技术改进

时间:2026年5月15日
来源:Remote Sensing Applications: Society and Environment

编辑推荐:

A. Robert Singh | Chin-Shiuh Shieh | Mong-Fong Horng 计算智能系,SRM科学与技术研究所,卡坦库拉图尔,泰米尔纳德邦,印度 摘要 卫星图像的语义分割旨在实现高级的土地覆盖分析和城市监测。本研究提出了一个基于协同学习的生成对抗

广告
   X   

A. Robert Singh | Chin-Shiuh Shieh | Mong-Fong Horng
计算智能系,SRM科学与技术研究所,卡坦库拉图尔,泰米尔纳德邦,印度

摘要

卫星图像的语义分割旨在实现高级的土地覆盖分析和城市监测。本研究提出了一个基于协同学习的生成对抗网络框架,该框架提升了高分辨率航空图像的分割精度。所提出的模型采用协同学习策略,并通过共享教师网络整合了多个学生分割分支,同时通过对抗性监督和一致性正则化进行强化。该框架促进了模型之间的知识转移,增强了边界细节的清晰度以及与地面真实掩膜的时空对齐性。使用迪拜卫星图像数据集对模型进行了训练。该数据集验证了所提出方法的优越性,取得了最低的mIoU(0.13)、Dice(0.10)和全局一致性误差(GCE:0.11),以及显著降低的精确度误差(PE:0.135)和APIoU误差(0.17)。通过另外两个名为OpenEarthMap和Swiss Drone Datasets的数据集(带有重新定义的标签)进一步验证了所提模型的性能。这些强有力的结果证明了所提框架在生成结构一致且准确的分割结果方面的有效性,特别是在密集发展的异构城市景观中。

引言

卫星图像的语义分割(Amirgan和Erener,2024)在土地覆盖分类中至关重要,能够为城市规划、农业、环境监测和灾害响应应用提供精确的地图和监测(Du和Wu,2024)。迄今为止,卷积神经网络(CNNs)(Sprute等人,2025)和生成对抗网络(GANs)在分割方面取得了有希望的结果。然而,始终存在一个挑战:不同区域的预测结果可能不一致(Zhao和Li,2025)。此外,由于标注数据不足,训练也受到限制。
利用卫星图像进行准确的土地覆盖分类极大地支持了广泛的应用(Du和Wu,2024),包括监测气候变化、城市规划、森林砍伐评估和灾害响应。然而,即使有了机器学习和深度学习的进步,当前方法在实现卫星图像的准确、一致的语义分割方面仍面临诸多挑战。主要挑战在于卫星图像的异质性和高空间变异性,这由大气扭曲(Saah等人,2019)、不同的传感器分辨率和多样的地形特征引起。这使得分割任务容易出错且结果不一致。此外,为监督模型手动提供像素级别的训练数据是一项劳动密集型且成本高昂的任务,以获取大规模的标注数据集。因此,单一模型的分割方法由于测试区域之间的视觉上下文差异而具有较差的可转移性和预测失败率(Shao等人,2025)。
因此,现有文献缺乏一个稳定、泛化能力强且能够有效处理各种卫星数据集的协同分割框架,尤其是在监督有限的情况下。大多数现有解决方案严重依赖大型标注数据集,而其他方法则使用单路径学习机制,未能充分利用模型协作带来的优势。
面对这些挑战,人们强调了需要一种更加健壮、适应性强的学习范式来提高分割精度。因此,本研究提出了一个结合了GANs(Kumar等人,2024)、一致性正则化和知识蒸馏(Neupane等人,2021;Helber等人,2018)的协同学习框架。这些方法之间的协同作用促进了分割分支之间的知识传递,增强了空间一致性,稳定了对抗性训练,并提升了在具有挑战性的城市和自然景观中的泛化能力(Wang等人,2000;Volpi和Ferrari,2015)。
因此,本研究提出了协同学习框架(Wang等人,2023),作为一种新的策略,它将GANs用于语义分割(Wen等人,2021)与一致性和知识蒸馏(Heo等人,2019)机制相结合。该框架允许多个学习器协同工作,从而增强泛化能力。这一结构的关键组成部分是引入了一致性损失(鼓励学习器输出之间的一致性)和蒸馏损失(将知识从较强模型转移到较弱模型)。它还包含对抗性学习成分,通过判别器增强了预测掩膜的真实性,从而提高了分割质量。
这种联合策略提升了高分辨率卫星图像的性能,并提高了模型在不同土地覆盖类型下的鲁棒性和可扩展性(Tong等人,2023)。所提出的模型通过结合对抗性训练、相互学习和蒸馏的优势,为地理空间分析提供了一种可扩展、准确且高效的分割策略。
协同学习框架旨在确保不同的分割模型能够相互监督并通过共享信息来提升学习效果。该方法设计利用了语义分割GAN中的强大对抗学习能力,以提高分割掩膜的质量和真实性,同时在学习器之间执行一致的损失函数,以帮助学习结果在不同网络输出之间保持一致,并应用知识蒸馏技术将教师模型的语义理解传递给学生模型,从而提高了轻量级迁移模型的效率。本文的显著贡献如下:
  • 开发了一种多网络协同学习架构,可实现分割模型之间的相互学习和自我校正,从而增强泛化能力和鲁棒性。
  • 在分割流程中融入了GAN,以细化空间边界并提高预测土地覆盖掩膜的视觉真实性。
  • 引入了一致性正则化损失,强制不同协同模型的输出保持一致,从而稳定学习过程并减少分割噪声。
  • 实施了教师-学生蒸馏过程,将知识从高容量教师模型传递到轻量级学生模型,以更少的参数提高学习效率。
  • 开发了一个联合损失函数,结合了对抗性损失、一致性损失、分割损失和蒸馏损失,以端到端优化整个框架。

章节摘录

相关工作

由于深度学习的进步和高分辨率卫星图像的可用性,卫星图像的土地覆盖语义分割在遥感研究中变得尤为重要(Yuan等人,2021;Pelletier等人,2017)。本文综述了许多作者和研究的结果,介绍了关键技术方法、数据集和应用(Gong等人,2017),并指出了存在的差距和未来的研究方向。
Islam等人(2024)提出了一种语义...

方法论

所提出的框架包括一个用于分割的预处理协同学习模块、一个知识蒸馏模块和一个对抗学习模块,以提高分割性能。整体工作流程如图1所示。

迪拜卫星数据集

本研究使用的数据库包含了由穆罕默德·本·拉希德航天中心(MBRSC)拍摄的高分辨率迪拜卫星图像(Semantic,2000)。该数据库包含72张RGB图像,这些图像被分为六个较大的空间瓦片,代表了迪拜的不同地理区域。每张图像都进行了像素级的标注,用于六种不同土地覆盖类型的语义分割:建筑物、陆地(未铺设区域)、道路、植被、水域和未标注区域。

结论

本研究提出了一种用于高分辨率卫星图像语义分割的协同学习框架,通过特征共享、对抗性反馈和区域一致性来整合多种视角。由于该框架可以构建彼此协作并由判别器监控的分支网络,因此模型能够同时考虑区域对应性和不同土地覆盖类型之间的边界精度。在定量评估中,所提出的方法展示了...

CRediT作者贡献声明

A. Robert Singh:撰写——原始草稿、可视化、方法论、概念化。Chin-Shiuh Shieh:验证、概念化。Mong-Fong Horng:撰写——审稿与编辑、验证。

未引用参考文献

Guo等人(2017)

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的研究成果。

致谢

本研究是在国立高雄科技大学电子工程系物联网网络安全研究所的博士后计划(Ref: RIIITC-Postdoc-2025-E07)下进行的。作者衷心感谢该研究所提供的支持、设施和研究环境,这些都促进了研究的成功完成。

生物通微信公众号
微信
新浪微博


生物通 版权所有