基于双向交叉注意力机制的全偏振特性成像超分辨率方法

本刊推荐：针对焦平面偏振成像系统(DoFP)存在的空间分辨率损失和偏振信息不完整问题，研究人员开展了基于双向交叉注意力机制(BCAM)的超分辨率(SR)研究。该研究通过输入DoFP图像和高分辨率圆偏振(CP)图像，成功重建出包含S0、DoP、AoP和EoP的全偏振特性参数图像。实验表明该方法在PSNR和SSIM指标上均有显著提升，为全斯托克斯偏振成像提供了创新解决方案。

在光学成像领域，偏振信息能够揭示物体表面特性、材料构成等关键特征，为环境监测、军事侦察、生物医学等应用提供重要维度信息。然而，主流的分焦平面(DoFP)偏振成像技术面临着一个两难困境：一方面，其微偏振器阵列的排布方式导致空间分辨率大幅下降；另一方面，这种技术只能获取线性偏振(LP)信息，无法捕获对目标识别至关重要的圆偏振(CP)成分。传统超分辨率方法往往只能解决分辨率问题，而无法同时弥补偏振信息的缺失。

针对这一挑战，长春理工大学光电工程学院的研究团队在《Optics》上发表了一项创新研究，提出了一种基于双向交叉注意力机制(BCAM)的全偏振超分辨率网络(FPSRnet)。该研究的核心突破在于巧妙利用双通道成像系统，同时捕获低分辨率DoFP图像和高分辨率CP图像，通过深度学习算法实现分辨率提升与全偏振信息重建的双重目标。

研究团队采用了几个关键技术方法：首先自主研制了共孔径双通道全偏振相机，简化了传统四通道偏振成像系统的复杂性；其次开发了基于SIFT算法的图像配准技术，确保双通道图像的空间一致性；然后设计了包含残差密集块(RDB)的双分支特征提取网络，并创新性地引入双向交叉注意力机制实现特征互补；最后通过物理约束损失函数保证偏振参数重建的准确性。

研究结果表明，该方法的创新性体现在多个方面：

在特征提取模块设计中，研究人员采用双分支架构分别处理DoFP和CP图像。四个连续的残差密集块通过密集连接确保输出特征既保留浅层细节又整合深层语义特征。通道注意力和空间注意力模块的引入，为后续交叉注意力处理提供了富含空间和通道信息的低分辨率特征表示。

双向交叉注意力机制作为核心创新点，突破了传统单向注意力模式。该机制允许DoFP分支从CP分支接收高频空间指导以恢复细节，同时CP分支也能从DoFP分支丰富上下文偏振信息。这种双向 refinement过程对于重建物理一致的偏振特性至关重要。通过将特征分割为图像块并投影为查询(Q)、键(K)、值(V)向量，计算双向注意力权重，实现了跨模态特征的深度融合。

在偏振重建方面，研究团队创新性地提出了特性权重子网络。该网络通过softmax归一化生成通道特异性权重，动态分配LP、CP和金字塔融合特征在不同偏振参数重建中的贡献比例。针对S₀、DoP、AoP和EoP等不同参数的特性差异，该设计确保了重建过程的物理合理性和准确性。

损失函数设计体现了物理约束的巧妙融入。除了基础的L1损失和SSIM损失外，研究人员引入了斯托克斯约束损失(L_stokes)，强制执行斯托克斯参数之间的基本物理关系；针对AoP的π周期性特点，设计了角度周期性损失(L_AoP)；同时通过L_EoP约束椭圆偏振度的合理范围。这种复合损失函数确保了偏振参数重建的物理合理性。

实验验证部分展示了方法的实用性。研究团队构建了包含120个不同场景的真实户外数据集，通过严格的数据划分确保模型泛化能力。与PCDP、ALGPCC等传统方法以及DESRA、ESRT等深度学习方法的对比表明，FPSRnet在×2和×4超分辨率任务中，在S₀、DoP、AoP和EoP四个参数的重建质量上均取得最优指标。特别是在视觉质量方面，该方法在边缘细节保持和伪影抑制方面表现突出。

研究还通过详尽的消融实验验证了各核心组件的必要性。当移除CP分支时，模型无法重建完整的偏振参数；替换双向注意力为简单拼接或单向注意力时，性能显著下降；特性权重子网络和特征金字塔的移除也导致重建质量恶化。这些实验充分证明了算法设计的合理性和各模块的协同作用。

该研究的重要意义在于首次实现了基于双输入的全偏振特性超分辨率重建，为偏振成像技术提供了新的技术路径。通过将高分辨率CP图像作为空间参考和偏振信息补充，有效克服了传统DoFP成像的固有局限。提出的双向交叉注意力机制为多模态图像融合提供了新思路，而物理约束的损失函数设计则保证了偏振参数重建的准确性。这项技术不仅在遥感监测、目标识别等领域具有广泛应用前景，也为偏振成像与其他成像模态的融合提供了重要参考。