航拍红外图像凭借在低照度及烟雾遮蔽环境下的优异穿透能力,有效弥补了可见光在复杂光照条件下的感知局限,可为目标检测、识别与反识别任务提供高价值热辐射数据。然而,现有可见光到红外(Visible-to-Infrared, V2I)跨域生成方法在多变光照与复杂场景下,生成的红外图像与真实航拍红外图像之间存在显著的分布一致性偏差,导致生成数据难以支撑下游军事与民用高精度任务。针对这一瓶颈,研究人员提出了一种基于分布一致性增强的可见光-红外航拍图像跨域生成方法。该方法构建了三级红外特征提取网络,逐级提纯红外独有分布特征,实现从基础特征重建到红外特异性分布净化再到特征对齐的递进式学习。在此基础上,结合时空红外增强网络(Spatio-temporal Infrared Enhancement Network, STIE)与增强型红外重构辅助损失(Enhanced Infrared Reconstruction-Assisted Loss, EIR-Loss),构建了前向生成与后向重构的双向约束机制,实现了从生成到重构的闭环引导,显著提升了模型在不同光照条件下的适应性与鲁棒性。为进一步强化模型对红外分布核心规律的捕捉能力,研究人员引入了基于整体框架的预训练重构策略,借助预训练模型参数提供更强分布先验与结构约束。实验结果表明,在DroneVehicle数据集的复杂场景下,该方法在衡量分布一致性的核心指标Fréchet Inception Distance(FID)上达到了17.37,显著优于现有对比方法,且在夜间及低照度等极端光照条件下仍保持最优性能。在AVIID数据集上,峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)达到23.56,结构相似性指数(Structural Similarity Index Measure, SSIM)达到94.93,学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)达到12.12,验证了该方法在像素级精度与感知级质量上的综合优势。
《Defence Technology》刊载的研究针对航拍红外图像采集成本高、挂载难度大、气象地理条件受限导致的真实数据稀缺问题,指出当前可见光到红外跨域生成技术在复杂航拍场景下普遍存在生成结果与真实红外分布一致性不足的核心缺陷。现有基于生成对抗网络(Generative Adversarial Network, GAN)的方法虽在视觉保真度上表现良好,但面临训练不稳定及模式崩溃风险,且难以充分建模红外辐射的物理分布规律;而新兴的扩散模型虽克服了GAN的部分缺陷,却在跨模态映射中缺乏有效的红外先验引导,导致生成的热辐射特征虚假、热源位置错位。为解决上述问题,研究人员开展了基于分布一致性增强的跨域生成研究,旨在通过深度学习算法利用易获取的可见光图像生成高质量、高保真的航拍红外图像,为战场感知、伪装评估及灾害监测等任务提供坚实的数据基础。
研究人员采用了基于布朗扩散桥(Brownian Diffusion Bridge)的核心框架,关键技术方法包括以下四点:第一,设计了三级红外特征提取网络,融合对比学习范式,通过重构预训练、红外特异性纯化及跨模态对比对齐三个阶段,逐级提取并净化红外独有特征;第二,构建了时空红外增强网络(STIE),将扩散时间步信息与红外先验特征动态绑定,通过条件聚合与多尺度编码实现可见光特征向红外兼容特征的转换;第三,提出了增强型红外重构辅助损失(EIR-Loss),集成像素级、感知级、纹理级与稳定性级约束,形成前向生成与后向重构的闭环反馈机制;第四,实施了整体框架的预训练策略,利用红外图像重构任务使模型充分学习红外分布核心规律,降低跨域生成训练难度。实验依托DroneVehicle与AVIID两个公开航拍数据集展开验证。
研究结果如下:
4.1 消融实验
研究人员通过设置基线、单模块、双模块及全模块的渐进式配置,验证了各组件的有效性。实验表明,仅加入时空红外增强网络(STIE)可使FID降低27.67%,证明其对红外先验的动态融合能力;引入增强型红外重构辅助损失(EIR-Loss)后,FID进一步降低39.68%,有效纠正了像素相似但分布偏离的问题;结合预训练策略后,最终FID降至17.37,较基线降低64.48%,证实了三个模块间的显著协同效应。
4.2 对比实验
在DroneVehicle数据集的全场景测试中,研究人员将所提方法与16种主流方法对比。结果显示,该方法FID值达到最优的17.37,相比MIIGAN降低了87.89%,相比物理信息扩散模型(Physics Informed Diffusion Model, PID)降低了19.66%,在保持较高结构相似性(SSIM)与峰值信噪比(PSNR)的同时,实现了全局分布一致性的显著提升。在不同光照场景下的细分测试表明,该方法在微光(Glimmer)场景下FID为55.64,优于次优方法的59.78;在发光夜(Luminous night)、昏暗光(Dim light)及白天(Day)场景下均保持了最优或次优的分布一致性,验证了其在全天候复杂环境下的鲁棒性。可视化结果进一步证实,该方法生成的车辆轮廓清晰、热区分布自然,无伪影及热梯度突变现象。
在AVIID数据集的跨数据集测试中,该方法在PSNR(23.56)、SSIM(94.93)及LPIPS(12.12)三项指标上均取得最优成绩,仅在FID上略逊于MIIGAN,证明了其优异的泛化能力与像素级细节保留能力。效率分析显示,该方法GPU显存占用仅为10.4 GB,推理速度达12.4 FPS,在计算资源受限的实际应用场景中具有显著优势。
5 结论
研究人员总结认为,所提方法有效解决了航拍场景下红外图像生成中的分布一致性对齐难题。三级红外特征提取网络成功捕获了红外图像的独有分布特征;由STIE与EIR-Loss构成的闭环引导架构实现了分布一致性的精准对齐;预训练重构框架则显著降低了红外特征表征的学习难度。多数据集测试验证了该方法的卓越性能与环境适应性,为检测识别及光电伪装评估技术的发展提供了坚实的数据基础。未来的研究方向将聚焦于模型的轻量化设计、非配对遥感图像的高质量跨域生成,以及向其他遥感跨域任务的拓展。