刘泰京|宁洪龙|曹宏坤|邵灿灿|张胜培|姚瑞辉|彭俊宝
中国南方科技大学材料科学与工程学院，发光材料与器件国家重点实验室，能源与信息高分子材料广东省基础研究卓越中心，广州510640
摘要
利用空间光调制器（SLM）进行精确的相位调制是实现高级光学应用（如光束整形和全息显示）的基础。这一能力又依赖于高保真度的仿真，以指导能够可靠产生目标光场的相位剖面的逆向设计。然而，理论上的标量衍射模型与实际的光学调制系统之间的不匹配阻碍了仿真参数直接应用于真实系统。在这里，我们提出了一种飞轮驱动的神经衍射仿真（FW-NDS）框架，以精确的光学调制来弥合算法与实际设置之间的差距。我们设计了一个具有双分支结构的卷积神经网络（CNN）作为仿真器的核心。主干分支是一个混合物理-CNN网络，用于模拟调制光的主要衍射；辅助分支则作为一个残差网络，用于补偿来自未调制光或系统非线性误差的次要干扰。此外，采用飞轮训练策略，通过分别迭代强化全息图-图像数据对和模型参数，实现模型和数据的同步改进。所提出的FW-NDS是一种用于衍射调制光学系统的通用仿真框架，具有更高的精度，将促进CGH辅助应用的发展。实验结果证实，在光束整形、2D和3D全息投影方面，其调制精度优于基于物理和深度学习的现有仿真方法。
引言
精确的波前调制是现代光学工程中的基本能力[1]、[2]、[3]，它能够全面控制光波前的相位和振幅。这种精确的调制为光场的高级操控奠定了基础，这对于包括高分辨率成像、激光材料加工和结构化照明显微镜[4]、[5]、[6]在内的广泛应用至关重要。通过精确地设计波前，光学系统可以在微纳尺度上实现前所未有的光子操控性能和功能，为生物医学成像、光通信和显示等领域开辟新的途径。
在这一框架下，计算机生成全息术（CGH）作为一种强大的技术应运而生，它利用可编程的空间光调制器（SLM）加载全息图来调制入射光，从而在目标平面生成所需的光场[7]、[8]、[9]、[10]。然而，核心挑战在于解决一个逆向计算问题，即找到SLM上的最佳相位分布[11]。解决这一挑战的基石是可微分的前向衍射仿真，它可以从给定的SLM相位模式准确预测调制光场，从而使得使用随机梯度下降（SGD）等算法进行迭代相位优化成为可能[12]。传统的CGH前向衍射仿真算法主要依赖于理想化的物理模型，如角谱方法（ASM）[13]、[14]。为了在相位恢复问题中实现基于梯度的优化，Chakravarthula等人推导出了相应的Wirtinger导数，允许直接进行梯度计算，从而显著提高了重建图像的质量[15]。为了进一步提高波传播建模的精度，张等人提出了移位带扩展角谱方法（Shift-BEASM）[16]，与传统的ASM相比，该方法在近场和远场中对轴上和轴外的衍射预测都有所改进。这种方法为全息图优化提供了更准确的物理基础。同时，Pi等人在Wigner域开发了一种迭代优化策略[17]，结合了空间域和空频域中重建场的采样约束。尽管取得了这些进展，基于物理模型的方法在准确表示复杂的光传播过程方面仍然存在局限性，并且经常忽略了光学路径中的一些实际误差源，如系统像差、杂散光和非理想的调制器响应。这种仿真与物理现实之间的差异会导致调制光场中出现严重的伪影，如散斑噪声和失真[18]、[19]、[20]。
另一方面，近年来出现了一类基于深度学习的方法[21]、[22]、[23]。这些方法通过利用可学习的参数来模拟SLM的非线性响应以及理想物理仿真与实际光学设置之间的差异，从而有效地补偿光学像差并产生高质量的重构结果。彭等人首次提出了循环中的相机（CITL）训练策略[24]，该策略建立了一个参数化的前向仿真模型来近似实际的光学传播过程。通过端到端优化，它有效地学习了光学像差并实现了高保真的全息显示。这种增强的泛化能力克服了传统物理计算的局限性，显著提高了相位调制的精度。后来，Choi等人利用神经网络替换了参数化模型，解锁了卷积神经网络（CNN）的潜力。他们的架构在物理菲涅尔衍射之前和之后分别处理全息图和目标图像[25]。这不仅降低了建模复杂性，还实现了更高质量的全息显示。总体而言，深度学习在精确相位调制仿真方面取得了显著进展，展示了在模型表示、相位优化和图像质量提升方面的卓越能力。然而，近眼全息显示的光学复杂性导致了许多现有模型无法充分捕捉的噪声源。前向模型不匹配和高非凸优化目标的综合效应往往会导致CGH中出现可感知的伪影。
为了解决上述问题，我们提出了一种改进的全息显示成像质量的人工神经衍射仿真（NDS）模型。该模型采用了双分支架构，将波动物理与数据驱动的学习相结合。在这种设计中，主干分支提供了对主要波前衍射的稳健近似，模拟了主导的大尺度相位和振幅变化。残差分支则学习和补偿难以解析建模的复杂、空间变化的相位失真。这种对相位相关效应的显式建模实现了更精确的相位调制，有效保留了高频细节，同时抑制了散斑噪声，从而提高了重建的保真度。此外，整个模型在飞轮训练策略（FW-NDS）下进行优化，该策略利用光学硬件的实际物理条件约束全息图的生成，并依次强化数据和模型，形成了一个系统的自校准机制。这确保了优化的相位模式不仅是仿真最优的，而且在物理上也是可实现的，从而缩小了仿真与现实之间的差距，最小化了伪影的产生。
总之，我们的方法实现了高保真的全息显示，推动了实际3D近眼可视化的实现。
提出的FW-NDS框架
在本节中，我们介绍了采用双分支神经结构和飞轮训练策略的FW-NDS框架，以提高仿真保真度。如图1所示，在神经架构中，一个基于物理的信息主干用于处理相干衍射，而一个专门的辅助分支以残差方式引入，用于处理来自未调制光或系统非理想性的非结构化噪声。
硬件
在我们的全息显示系统中，我们使用了HDSLM36R相位仅液晶SLM，其原始分辨率为2160 × 3840，像素间距为3.6 μm。在我们的实验中，全息图的分辨率为1120 × 1120，因此SLM未使用的周边区域被填充为零。光源是一个LETO-RGB100多波长激光模块，它包含三个发射波长分别为638 nm、520 nm和450 nm的激光二极管，以提供RGB照明。
总结
总之，我们的工作表明，所提出的框架通过实现对相位调制的精确控制，显著提高了全息显示的质量。引入的NDS模型准确模拟了各种潜在的噪声源和系统非理想性，实现了与真实光学系统高度匹配的高精度前向模型。这种高保真度的仿真确保了相位优化过程收敛于产生高保真度重建的解决方案。
资助
本工作得到了国家自然科学基金（62205178）、广东省CUI CAN计划（CC/XM-202401ZJ0201）、广州市科技计划（项目编号2025B01J4004）、广东省自然科学基金（项目编号2024A1515012216）、广东省教育厅（项目编号2022ZDZX1002）、西南技术工程合作基金（HDHDW59A020301）以及发光材料与器件国家重点实验室（Skllmd-2024–05）的支持。
披露
作者声明没有利益冲突。
CRediT作者贡献声明
刘泰京：撰写——原始草案、方法论、概念化。
宁洪龙：监督、资金获取。
曹宏坤：撰写——审阅与编辑、监督、资金获取。
邵灿灿：可视化。
张胜培：可视化。
姚瑞辉：撰写——审阅与编辑。
彭俊宝：撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
