触觉技术是机器人技术、虚拟现实和远程操作中的一个关键领域，涉及机器人、人类及其环境之间的真实和模拟的触觉交互。通过先进的机电设备和精确的计算机控制，触觉界面旨在复制甚至增强与真实世界环境互动的触觉体验，提供更加沉浸和直观的感受（Salisbury, Conti, & Barbagli, 2004）。这些系统在医学和康复等领域尤其具有变革性，因为触觉引导提供的触觉或力反馈提高了精度、安全性以及以患者为中心的护理，特别是在远程医疗和远程康复中，远程交互至关重要（Okamura et al., 2011, Weber and Eichberger, 2015）。
多感官人机物理系统（HCPS）的最新进展强调了整合视觉、触觉、听觉甚至语义模态的价值，以支持更智能和以用户为中心的交互框架（Qi, Chen, Niu, Lyu, & Sun, 2024）。这种多感官视角强调了触觉反馈作为增强用户认知、情境意识和复杂系统中决策的关键感知通道的重要性。
在远程操作中，人类操作员通过主从人机界面（HMI）与远程环境进行交互。这种能力在软组织手术、太空探索和核废料管理等敏感或危险环境中至关重要（Wagner, Howe, & Stylopoulos, 2002）。为了使远程操作系统真正透明，从机器人必须准确模仿主机的动作，同时主机必须有效地传递从机器人那里接收到的力，确保无缝交互（Hashtrudi-Zaad & Salcudean, 1996）。在这些系统中平衡稳定性和透明度具有挑战性，因此开发了各种控制策略，如基于位置误差（PEB）的控制，以管理不确定性和动态干扰，使系统更加稳健和可靠（Liu and Tavakoli, 2012, Nahri et al., 2022）。
最近的研究强调了结合运动觉（力）和触觉（振动触觉）反馈的多模态触觉系统，以提供更丰富、更丰富的交互体验。例如，结合振动触觉和力反馈可以显著增强虚拟运动学习（Islam & Lim, 2022），而整合冲击反馈可以导致更真实的虚拟碰撞模拟（Park, Park, Oh, & Choi, 2019）。在机器人手术中，整合触觉、运动觉和振动触觉提示的多模态系统已被证明可以减少握力，为外科医生提供更精细的控制并减少操作错误（Abiri et al., 2019）。此外，触觉训练模拟器在导管导航和手术钻孔等复杂任务中展示了加速技能习得的好处，突显了多模态反馈在医学教育中的优势（Abbasi-Hashemi et al., 2024, Feygin et al., 2002, Haque and Srinivasan, 2006, Morris et al., 2007, Sewell et al., 2007）。
除了医疗应用之外，多模态触觉-视觉系统越来越多地应用于视障人士的辅助技术中。最近的系统整合了实时计算机视觉、可穿戴触觉显示器、面部识别或振动阵列，以支持导航、物体定位和社会互动（Chi et al., 2024, Dede and Gumus, 2025, Mathivanan et al., 2024, Peng et al., 2024）。这些研究强调了视觉引导的振动触觉提示在增强非结构化环境中的安全性、独立性和感知访问方面的日益重要性。
在工业和机器人领域，触觉反馈已成功应用于远程操作系统，以提高控制精度和安全性。这使得操作员能够在危险环境中高效地执行复杂任务，如处理精细材料或进行精密组装（Arbeláez et al., 2019, Girbes-Juan et al., 2020, Pezent et al., 2022, Zhu, Memar, et al., 2020）。在这里，计算机视觉的整合至关重要，可以实现实时物体跟踪和情境感知反馈。例如，在机器人抓取中，视觉数据用于物体定位，而触觉反馈指导交互力，从而提高灵巧性（Li and Hannaford, 2017, Rouhafzay and Cretu, 2019）。
在工业4.0和5.0环境中，基于XR的多模态HRI框架越来越多地利用视觉感知、语音、文本和触觉提示来支持焊接、组装或远程操作等任务中的安全、直观的人机协作（Raj et al., 2024, Wang et al., 2024）。这些框架展示了连贯的视觉-触觉整合在支持复杂、高精度任务中的重要性。此外，最近的多模态融合模型，包括动态注意力框架和基于Transformer的跨模态感知，结合了视觉、触觉和语义文本提示，以提高材料识别、物体理解和操作稳健性（Li et al., 2025, Wang, Li, et al., 2025）。这些方法进一步突显了多模态感官整合在提高自主和半自主机器人性能方面的潜力。
人工智能，特别是深度学习，已成为现代多模态系统不可或缺的一部分。AI驱动的模型可以通过实时处理大量感官数据来增强响应性，预测工具-组织交互或估计力，而无需物理传感器，简化了机器人工具的设计，同时保持高精度（Aviles et al., 2016, Chua et al., 2021, Sang et al., 2017, Zhao and Nelson, 2015）。在医学培训中，基于AI的触觉系统也可以通过提供实时、自适应反馈来加速学习，例如已被证明可以增强外科培训中技能习得的错误放大触觉场（Feygin et al., 2002, Oquendo et al., 2024）。
尽管取得了这些进展，但仍存在重大挑战。实时同步视觉和触觉反馈仍然是一个持续的技术难题，因为感知不匹配可能导致用户迷失方向并降低性能（Biswas and Visell, 2021, McGee, 2002）。此外，实现复杂触觉感觉（如纹理和顺应性）的高保真复制仍然是一个活跃的研究领域，软体机器人和可穿戴触觉设备方面有新的发展方向（Lee and Yu, 2023, Liu et al., 2020, Zhu, Memar, et al., 2020, Zhu, Sun, et al., 2020）。最近在机器人技术和农业领域的综述也强调了结合视觉和触觉反馈在安全、无损操作脆弱物体中的作用，强调了多模态感知在精确任务中的核心地位（Wang, Tu, et al., 2025）。
在这项工作中，我们提出了一种视觉辅助的多模态触觉远程操作系统，研究了触觉反馈的质量和比例性在操作员性能中起到的比单纯提供额外提示更决定性作用。为了探索这一点，我们将传统的基于位置误差的力反馈与一个视觉驱动的振动触觉模块相结合，该模块根据OpenCV中的实时轮廓检测提取的工具-目标距离提供比例PWM振动。该系统使用低成本组件实现，包括双Novint Falcon和Arduino微控制器，使其既易于获取又在实验上可靠。一项比较用户研究在同一多模态框架内评估了二进制振动和分级振动。从任务完成时间、轨迹精度、力使用和NASA-TLX工作负荷得分的结果一致表明，分级反馈支持更平滑和更具预测性的控制，减少了认知负荷，并增强了感知直观性。这些发现突出了比例触觉提示的重要性，并强调了它们在设计有效多模态远程操作系统中的价值。
