引言
三维（3D）超声能够提供比二维（2D）成像更直观、详细和全面的诊断信息，可以揭示细微的异常并实现精确的定量分析，其数据还可支持虚拟现实和3D打印等高级应用。然而，当前三维超声探头普遍面临成本高昂、设计笨重和视野有限等挑战，限制了其可及性和应用。开发低成本、轻量化和宽视野的三维超声探头是扩展该技术应用的关键。
传统的探头定位方法，如光学或电磁（EM）跟踪器，通常需要昂贵且笨重的设备，并可能受到视线遮挡或铁磁性材料干扰。为了寻求更具成本效益的替代方案，一些低成本探头定位技术被探索，例如使用结构光估计探头在皮肤表面的方向，或采用类似于光学鼠标的系统近距离跟踪皮肤特征。
本研究在先前工作的基础上，从两个方面进行了拓展。首先，设计了一种特定的薄膜材料来实现基于薄膜附着法的皮肤表面图像重建。这种薄膜材料作为光学图案识别的标准信息，其图像特征需能清晰区分探头移动的XY坐标方向。这确保了所获取局部图像的定位和区分，从而保证了重建图像的准确性。在超声扫描前，只需将薄膜平滑地粘贴在超声扫描区域的对应指定区域，即可对检查部位进行正常的超声扫描。在此过程中，二维超声图像和薄膜的局部图像同时获取。其次，图像采集后，对超声图像和薄膜图像信息进行预处理，并确定超声探头与摄像机视场之间的校准关系。最后，利用ORB-SLAM定位等综合算法进行三维图像重建。系统性能通过手持扫描和模型体积测量等测试进行评估。
方法
系统概述
提出的三维超声重建系统包含三个核心组成部分：
前端硬件（扫描系统）：采用飞利浦Lumify移动超声系统（L12-4换能器）及手持超声探头（Philips Lumify C5-2）。超声探头上集成了一个双目摄像头，能够同时进行超声成像和光学追踪。皮肤表面附着的QR码薄膜提供高对比度特征用于实时探头定位。超声成像系统运行在飞利浦提供的终端设备（三星平板电脑）上，我们开发的数据采集软件也运行于其上。
后端服务器：一台数据处理服务器（Ubuntu 20.04系统，配备NVIDIA RTX 3090 GPU），负责通过5G/Wi-Fi接收同步的超声和光学图像，运行ORB-SLAM算法进行位姿估计，并生成带有空间坐标的DICOM文件。
诊断系统：基于3D Slicer的体积渲染平台，接收服务器处理后的DICOM文件以形成三维模型。
关键工作流程：
1. 医生使用探头-摄像头设备扫描目标区域，同时QR码薄膜提供实时位置参考。
2. 超声图像和光学数据被传输至后端服务器进行基于SLAM的定位，定位信息和超声图像被打包成标准的DICOM格式文件。
3. 三维重建软件将二维切片拼接成体模型，实现多平面可视化和定量分析。
硬件设置
探头-摄像头集成
系统采用了飞利浦Lumify C5-2线阵探头（中心频率：2 MHz）和一个双目摄像头（WSD-2133-V5.0，最高分辨率：1920×1080，600万像素，30 fps，使用分辨率：640×480，30 fps），两者通过定制的3D打印支架刚性连接。摄像头参数经过优化以匹配超声探头的操作特性：焦距（2.3 cm）由探头长度（12 cm）和典型扫描距离（距皮肤表面5 cm）决定，确保QR码薄膜在整个扫描过程中保持在摄像头的景深内。分辨率（640×480）在特征检测精度和计算效率之间取得了平衡，能够在服务器上实现30 fps的实时ORB-SLAM处理。帧率（30 fps）与超声采集速率同步以保持时间对齐。
QR码薄膜设计
将QR码打印在聚丙烯薄膜上，这种材料具有良好的柔韧性，能够很好地贴合人体皮肤，且不影响超声波的衰减。为了最大化ORB特征提取的鲁棒性，QR码薄膜的设计包含：物理尺寸（1.4 mm/像素），通过迭代测试优化得到——更小的码（<1.2 mm）在摄像头分辨率下产生的特征不足，而更大的码（>2.0 mm）则会减少有效视场和特征密度。1.4 mm的设计实现了最佳平衡，每帧可产生800个稳定的特征点。高对比度的纹理图案：嵌入了具有锐利边缘和角落的几何元素以生成强的ORB特征点，这些图案增强了在不同光照条件下的检测稳定性。
基于ORB-SLAM的定位算法
本研究采用了经典的ORB-SLAM算法进行定位和地图构建。ORB-SLAM是一种高效的视觉SLAM系统，能够实时处理单目和双目摄像头数据。尽管算法本身没有引入创新，但根据实际扫描情况调整了适当的参数以适应本系统。它在实现超声扫描过程中的图像三维重建方面起着至关重要的作用。算法的主要处理步骤包括ORB特征提取（FAST特征点提取和BRIEF描述子计算）、地图初始化、位姿估计和闭环检测。
摄像头标定
本研究采用基于棋盘格的张正友标定法进行高精度双目系统标定。工作流程包括五个关键步骤：数据采集（采集15对在不同位姿下的立体图像对）、角点检测与细化（通过OpenCV的findChessboardCorners进行粗定位，再使用cornerSubPix进行亚像素优化）、单相机标定（求解相机内参矩阵、畸变系数和外参矩阵）、双目标定（计算右相机相对于左相机的旋转矩阵R和平移向量t）和精度验证（通过重投影均方根误差小于0.5像素来评估标定结果）。
特征提取与匹配
使用了ORB（Oriented FAST and Rotated BRIEF）特征检测器和描述子生成算法。采用FAST算法进行角点检测，并将阈值设为7，以确保在分辨率有限的图像中获得足够的关键点检测密度。对于特征描述，实现了BRIEF算法。由于BRIEF描述子本身缺乏旋转不变性，因此结合了强度质心法来估计关键点方向。为了实现多尺度特征检测，实现了一个8层的高斯图像金字塔。经过综合考虑计算限制和应用需求，将每帧提取的特征数量设置为800。
视觉建图与位姿估计
采用标准的ORB-SLAM2框架，基于双目摄像头设置进行实时视觉SLAM。在系统启动时使用立体图像初始化稀疏3D点云地图。初始相机位姿通过基于匹配特征点的PnP算法和RANSAC进行估计。随着系统进行，通过ORB特征检测和帧间基于光流的匹配来跟踪相机运动。为了纠正长时间扫描中累积的漂移，使用ORB-SLAM内置的词袋方法进行闭环检测。
实时处理与错误控制
为了满足实时处理的需求，采用了分布式方法。ORB-SLAM在高性能服务器上运行，而图像采集和预处理在终端设备上进行。使用多线程技术优化了算法的执行效率。在QR码的设计和布置中，优化了特征点的大小和特征纹理，以增强特征点检测和匹配，提高了位姿估计的准确性和鲁棒性。
软件系统构建
本研究中开发的软件系统旨在实现便携式超声图像和光学跟踪数据的实时采集、同步和三维重建。系统采用分布式前后端架构，分为三个核心模块：数据采集与传输模块、图像处理模块、三维重建与可视化模块。这些模块通过统一的时间戳和网络协议协调工作，确保在各种便携式超声成像场景下的实时性能和可扩展性。
数据采集和传输模块以基于Android的移动应用程序形式实现，建立在飞利浦Lumify便携式超声平台上。其主要功能是同步采集超声图像和参考摄像头图像，实现多模态数据的时空对齐。
图像处理模块部署在服务器端，负责接收上传的数据、估计摄像头位姿，并将空间信息与图像内容整合。
三维重建与可视化模块基于开源医学影像平台3D Slicer开发，增加了网络接口功能以支持实时DICOM输入。
手持式三维超声扫描工作流程
与传统需要手动调整探头角度和位置、使用二维横截面图像反复扫描关键区域的超声扫描方法不同，本系统支持三维超声图像重建。过程涉及数据采集、处理和重建。医师沿着相对自由的轨迹移动探头，持续收集图像数据。然后，系统利用视觉定位技术对齐横截面图像并补偿探头移动引起的误差。最后，通过重建算法生成高分辨率三维图像，使临床医生能够从不同角度详细观察组织结构。
结果
定位精度
为了评估所提出系统的定位精度和三维重建性能，建立了一个受控实验平台。该平台由精密二自由度螺杆驱动直线平台、便携式超声探头、双目摄像头和打印的QR码轨迹图组成。由于缺乏完整的3D地面真值定位系统，本实验重点评估平面内运动精度。实验的主要目标是评估实时定位精度和累积定位误差。
在测试中，扫描速度设置为15 mm/s，与甲状腺超声检查中典型的临床扫描速度一致。摄像头图像在三种不同帧率下采集：10 fps、20 fps和30 fps。在这三种帧率条件下共进行了四组实验。
实验结果表明，在扫描速度为15 mm/s，图像采集帧率为10 fps、20 fps和30 fps时，最大累积误差不超过2%，这表明系统可以满足甲状腺超声智能皮肤纹理图像重建系统的定位要求。此外，在恒定扫描速度下，摄像头的图像采集帧率越高，ORB-SLAM算法的定位精度越高，并且与移动距离无关。
为了研究视觉SLAM系统的帧间定位误差是否受帧率影响，并进一步确定不同采集条件下扫描对象的最小空间分辨率，测量了不同帧率下的平均帧间距离、平均帧间相对误差和最大帧间距离误差。结果显示，最大帧间距误差与帧率的相关性不大，绝对误差约为0.3 mm。然而，更高的帧率对应着更高的定位精度和空间分辨率。当以30 fps运行时，系统实现了高达0.75 mm的实时定位分辨率，证明了提高帧率对于增强视觉跟踪系统精度的优势。
重建性能评估
为了在模拟临床环境中评估系统的整体三维重建性能，进行了第二个实验，使用定制的硅胶模型来模拟人体软组织。硅胶内嵌入了一个鱼骨模型，因其精细的结构特征和复杂的几何形状而被选中。我们将QR码粘贴在硅胶模型表面，使用便携式超声扫描系统对模型进行全面扫描，同时采集超声数据和位置数据。采集到的数据通过系统重建流程进行处理，生成包含鱼骨结构的体积模型。
生成的三维模型显示，鱼骨的主要轮廓和尺寸在重建中得到了很好的保留。体积的横截面视图进一步验证了物体的形状和相对大小与其物理外观非常接近。然而，在重建的图像表面上观察到了重影伪影。这归因于鱼骨的材料特性引起的强烈超声反射，如其相对于周围硅胶介质具有较高的声阻抗。
人体甲状腺模型实验
为了在更真实的临床场景中进一步评估系统的三维重建能力，使用了市售的人体甲状腺活检训练模型进行实验。这个基于硅胶的模型包含颈部和甲状腺等解剖特征，并在甲状腺组织内嵌入了两个球形结节。结节已知直径分别为6 mm和10 mm，为评估尺寸和体积测量的准确性提供了可靠依据。
使用手持扫描系统对颈部区域进行手持超声扫描，并将QR码参考点粘贴在模型表面，以实时获取同步的二维超声图像和位置数据。系统成功重建了甲状腺的三维结构，包括嵌入的结节。生成的三维模型保留了整体解剖轮廓，通过软件标注和渲染，重建体积内的内部结构清晰可辨。
虽然重建的甲状腺形状与实际形状存在一些偏差（主要是由于颈部复杂的曲率和扫描时手部的抖动），但重建质量仍足以满足临床解读。值得一提的是，我们在实验中发现了该系统一个有前景的新功能：除了形状重建，软件还能够基于三维成像数据估计甲状腺结节等内部结构的体积。
扫描完成后，数据被导入医学图像处理软件3D Slicer。除了可视化三维体积，软件还允许检查相应的二维超声切片图像。通过浏览这些切片，能够识别甲状腺结节并使用内置的标注工具手动分割它们。
从重建的三维模型中测量的结节直径分别为6.14 mm和10.5 mm，与已知尺寸非常接近。此外，利用系统的体积测量功能，估算了6 mm和10 mm结节的体积分别为1056 mm3 和4485 mm3 。这些结果与相应尺寸球形结节的预期值一致，表明重建体积在正确的数量级内。
讨论
开发便携式、经济实惠且扫描范围宽的3D超声探头对于克服当前超声技术的局限性并扩展其可及性至关重要。这种设备可以将先进的成像能力带到传统超声系统难以实施的欠发达和偏远地区。
本研究中提出的系统使用双目摄像头进行视觉跟踪，利用立体视觉获取深度信息并提高位姿估计精度。这种方法增强了目标检测、距离估计和三维感知能力。然而，该方法的成功很大程度上取决于QR码特征的稳健检测和跟踪。观察发现，不合适的QR码尺寸会对系统性能产生负面影响——太小会导致分辨率不足，太大会缩小视场。经过标定，选择了一组与摄像头参数匹配的QR码，以平衡精度和系统响应能力。
使用ORB-SLAM进行实时密集视觉SLAM的动机在于其鲁棒性、实时性能、生成密集地图的能力、模块化、闭环检测、支持多种相机类型以及在研究中的广泛应用。实验结果表明，在15 mm/s的扫描速度和10、20、30 fps的图像采集帧率下，系统保持了低于2%的最大累积定位误差，这对于我们的甲状腺超声成像应用是可以接受的。更高的帧率提高了定位精度，支持更频繁的位姿更新并减少了累积误差。
鱼骨模型和人体甲状腺模型实验都证明了三维重建方法的有效性。然而，也观察到一些局限性。在鱼骨模型中，由于其表面材料特性，超声反射导致了明显的图像伪影，特别是在边界区域出现重影。同样，在甲状腺模型实验中，颈部表面的曲率引入了与实际解剖结构相比的重建偏差。尽管如此，系统成功地对嵌入结节进行了体积测量，展示了一项有价值的临床能力。
然而，当前系统仍存在一些局限性。首先，精度评估仅在二维平面内进行；完整三维空间中的准确性尚未得到系统评估。其次，ORB-SLAM模块虽有效，但仍有很大的改进空间，特别是在地图优化和闭环检测方面，本研究未对此进行测试。第三，扫描过程中探头姿态的变化会影响定位精度，其影响程度尚未评估。在重建方面，重复扫描路径会导致图像重影，扫描速度强烈影响重建质量。这些问题突显了未来在轨迹优化、运动补偿和图像后处理方面进行研究的必要性。
此外，虽然当前系统展示了高成本效益和对刚性患者运动的鲁棒性，但进一步的微型化和图像质量增强对于更广泛的临床采用至关重要。未来的努力应集中在开发更紧凑、分辨率更高的三维超声系统上，并提高其在不同环境下的稳定性以及与各种探头类型的兼容性。
结论
我们提出了一种高性价比、微型移动化的手持式三维超声系统，该系统通过跟踪皮肤特征来定位探头，因此对刚性患者运动具有鲁棒性。在三个身体部位进行的手持扫描结果表明，该系统有望成为传统追踪设备的替代方案，用于手持式三维超声，且成本更低，便携性更高。
打赏
