Design and implementation(设计与实现):研究人员提出Chromatix的三个核心特征为可微分性(借助JAX自动微分对任意参数求梯度,支持基于梯度的优化如Adam用于光学参数、PSF、神经网络联合优化,也支持自校准算法与隐式神经表示(INR)训练)、可组合性(光学元件与传播模块标准化为可组合单元,类似深度学习层,便于复用与替换,提供透镜、传感器、自由空间标量/矢量传播、复杂散射样品等多组件)、可扩展性(基于JAX与XLA编译器,同一代码可在CPU/GPU/TPU运行,支持jax.vmap自动向量化与jax.pmap多设备并行,无需改写光学模型即可从单GPU扩至8GPU)。实现上,Chromatix用统一Field结构表示复光场及其波长、偏振、空间采样,光学系统定义为Field到Field的变换序列。
Inverse problems for reconstructing samples(用于样品重建的逆问题):研究人员用Chromatix实现了环去卷积显微术(ring deconvolution microscopy),对UCLA Miniscope拍摄的兔肝组织像进行旋转不变PSF建模与空变去卷积,结果表明Chromatix能在多GPU并行下重建更大FOV(单GPU快4.5倍,8GPU快近19倍),而原PyTorch实现因单GPU显存限制无法完整重建。用Chromatix实现CoCoA(coordinate-based neural representations for computational adaptive optics),联合优化INR表示的样品与Zernike像差系数,在小鼠神经元数据上重建质量优于原PyTorch实现(Zernike系数恢复RMSE为3.56 nm vs 6.97 nm),单GPU快2倍,8GPU快近9倍。用Chromatix实现3D折射率显微术(refractive index microscopy),对斑马鱼胚胎尾部的相干照明多角度强度测量进行多切片传播正向模拟与梯度下降优化,代码量从原MATLAB约107行减至约25行,速度提升3–13倍,且可选用更大规模设置消除原重建中的网格伪影。
Programmable optics and deep learning(可编程光学与深度学习):研究人员在Chromatix中重构了Holoscope(可编程4f系统含傅里叶面SLM的快照3D显微术),联合优化相位掩模像素与FourierNet重建网络,PSF设计压缩3D荧光体积到2D快照,重建SSIM达0.979±0.003,与原PyTorch结果无显著差异(P=0.695),训练速度快约7倍。实现DeepCGH(3D计算机生成全息术),用UNet加传播步直接从目标3D图案前馈生成相位全息图,在测试集上SSIM为0.985±0.001(原TensorFlow为0.982±0.001,P=0.018),PSNR为35.40±0.37(原34.95±0.16,P=0.177),代码从33行减至约17行,单GPU快2.5倍,8GPU快超10倍。
Flexible modeling with optical building blocks(利用光学积木的灵活建模):研究人员演示同一可编程4f SLM模型可重新用于多色单分子定位显微术,优化多波长(400–650 nm)PSF使单通道快照图像可通过神经网络重建光谱立方体;还演示将全息模型(相位掩模+透镜)与多切片散射样品模型结合,通过迭代优化相位掩模补偿散射介质影响,在模拟中实现了均匀轴向刺激强度分布,显示Chromatix可灵活组合不同波动光学模块以解决新生物问题(如散射介质中全息光遗传学)。
High performance through parallelization(通过并行化的高性能):对全部复现方法(环去卷积、CoCoA、折射率显微、Holoscope PSF优化、DeepCGH)进行1–8 GPU基准,Chromatix单GPU提速2–6倍,最佳情况8GPU达22倍;提速来自JAX编译降低开销与极少代码改动即可多GPU并行(jax.pmap分割批次/角度/径向环等),使大FOV重建、长时间优化(折射率显微、PSF优化)从数小时至数周缩减至分钟至数天。