光学3D测量技术在文物保护、工业质量检测和智能制造等领域得到了广泛应用[1]、[2]、[3]。其中最具代表性的主动光学3D测量技术之一是结构光[4]和条纹投影轮廓测量(FPP),后者利用正弦波图案作为介质,已成为广泛使用的结构光测量方法之一。它具有高精度、全场采集和快速测量能力[5]。为了提高传统条纹投影轮廓测量(FPP)的测量性能,人们开发了多种先进的FPP方法,每种方法都采用了独特的相位获取方式,从而导致不同的相位包裹形式。因此,这些方法针对条纹图案的投影、捕获和处理采用了定制策略。代表性技术包括傅里叶变换轮廓测量(FTP)[6]、[7],它从单张条纹图像计算相位包裹;相位移动轮廓测量(PSP)[8]因其更高的精度和强大的相位恢复能力而被更广泛采用;莫尔条纹轮廓测量(MP)[9]通过定量分析干涉图案(莫尔条纹)来重建相位包裹;计算机生成莫尔条纹轮廓测量(CGMP)[10]、[11]实现了对参考光栅的精确数字控制,从而提高了测量精度;调制测量轮廓测量(MMP)[12]、[13]则侧重于分析投影条纹图案中的调制波动,这种现象归因于目标物体的表面地形变化。为了提高测量精度,MMP通常与相位移动技术结合使用。相位差分轮廓测量(PDP)[14]利用数论时间相位解包(TPU)算法[15]计算相位移动后的变形图案,为高速3D表面重建提供了计算效率高且鲁棒的解决方案。此外,还存在基于经验模态分解(EMD)[16]、视频投影[17]等其他轮廓测量技术,但此处不再详细讨论。
典型的双目复合条纹投影轮廓测量系统由一个投影仪和两个相机组成,如图1所示。投影仪将单一复合条纹图案投射到目标物体上,两个相机同时捕获变形后的图案。通过相位包裹恢复、绝对相位恢复和立体匹配过程,实现目标物体的3D重建。已有大量研究将传统FPP转化为双目FPP,其中投影仪被视为“反向相机”[18]、[19]、[20]。
相位包裹恢复和绝对相位恢复是3D形状测量的关键技术[21]。由于反正切运算,傅里叶变换轮廓测量(FTP)和相位移动轮廓测量(PSP)获得的相位被限制在(−π, π]区间内,呈现包裹形式。因此,必须使用相位解包(PU)技术将这种包裹相位转换为连续相位信息。传统的相位解包算法可分为两大类:空间相位解包(SPU)和时间相位解包(TPU)。关于这一主题有许多高质量的综述文章,包括钟的综合性综述[22]。已经提出了许多SPU方法,如二进制编码SPU[23]、帘幕型SPU[24]、菱形SPU[25]、质量引导SPU[26]、分支切割SPU[27]、点对点SPU[28]等。SPU可以在没有额外空间或时间限制的情况下恢复绝对相位,但仅适用于表面平滑或连续变化的物体。相比之下,TPU可以在像素级别独立恢复绝对相位,并有效避免误差传递。同样,也提出了许多与TPU相关的方法,如灰度编码TPU[29]、多频率TPU[30]、多波长TPU[31]、相位移动编码TPU[32]、幅度编码TPU[33]、空间三元相位编码TPU[34]、相位移动编码分频复用TPU[35]、多级灰度编码TPU[36]、相位强度混合编码TPU[37]、空间对称多级编码[38]等。
长期以来,提高FPP的效率和准确性一直是该领域的重点。将条纹投影与深度学习结合用于3D重建被认为是一种潜在的方法,这一研究始于2019年初,当时采用方法将捕获的条纹图案转换为深度图[39]或中间输出[40]、[41]、[42]。随后,许多研究致力于利用各种网络输入[42]、[43]、[44]和不同的网络架构[45]、[46]、[47]、[48]来改进FPP的性能。最近,单次拍摄3D形状测量成为该研究领域的热门话题。秦等人[49]引入了一种基于深度学习的轮廓测量方法,该方法将相位移动理论与条纹恢复网络相结合,旨在实现单次拍摄投影,从而满足动态测量场景中的实时性和鲁棒性要求。钟等人[50]提出了一种多任务学习方法,旨在提高单次拍摄条纹投影轮廓测量得到的深度重建的精度和鲁棒性。这种方法有效避免了繁琐的显式成像系统校准需求。因此,神经网络的输入逐渐从多个条纹图案或其他中间结果转变为彩色复合条纹图案[51]、[52]、[53]、[54]、[55]、[56]、[57]。然而,正如Nguyen等人[52]、[54]所指出的,使用彩色复合条纹的方法通常不适用于具有鲜艳红、绿、蓝颜色的物体,这限制了该方法在工业领域的应用。
幸运的是,一些研究人员将研究重点转向了测量彩色物体的挑战。范等人[58]指出,彩色物体的表面显著影响结构光的颜色成分,这可能导致解码过程中的颜色变化,从而引入较大误差。为了解决这个问题,他们提出了一种用于编码和解码结构光的颜色灰度编码,并引入了一种获取结构光颜色成分的技术。随后,刘等人[59]、[60]、[61]、[62]证实不同颜色具有不同的反射率,会吸收不同波长的投影光,这导致使用单色光投影时捕获的条纹亮度和对比度不均匀,从而引入测量误差。朱等人[63]提出了一种强度校正方法,用于纠正来自彩色物体的非正弦条纹,从而提高3D测量的精度。冉等人[36]提出了一种基于HSI颜色空间的灰度编码解码方法,以增强系统对颜色干扰的抵抗力。最近,姚等人[64]指出,在测量具有复杂纹理的物体时,FPP的精度会显著下降,尤其是在不同颜色交界处。他们提出了一种利用双投影仪结构的高度补偿方法来纠正误差。陈等人[65]还观察到,投影图案的蓝色色调会降低蓝色区域的条纹对比度,并证明基于深度学习的频率复用复合条纹投影轮廓测量技术具有准确测量彩色物体的潜力。
受到频率复用和深度学习有效性的启发,本文提出了一种革命性的抗颜色干扰单次拍摄3D重建方法(AIS3DRM),用于彩色物体。该方法结合了HCFP和DCSA-Net来预测高精度的条纹图像。与[66]中提出的双目复合灰度条纹投影轮廓测量方法相比,本文进一步改进了测量彩色物体的方法。我们提出的DCSA-Net基于U-Net,集成了SFFABs和ATF。SFFABs通过并行分支动态调整特征权重,以确保在不同物体纹理和颜色下的鲁棒性能。ATF通过对抗训练优化输出保真度,消除由不同颜色反射率引起的不均匀灰度分布。
本文的其余部分安排如下:第2节介绍该方法的一些原理,特别是AIS3DRM的详细原理;第3节展示我们的实验结果;第4节总结全文。