综述：多模态感知驱动的人机交互决策研究进展

（编辑推荐）本综述系统梳理了2004-2024年多模态感知驱动决策（MPDDM）在人机交互（HRI）中的研究进展，涵盖视觉、语言、触觉等多源传感器融合技术，重点探讨了动态环境中感知-决策整合框架的优化策略及挑战，为构建自适应、安全可靠的智能机器人系统提供理论支撑。

多模态感知的革命性作用

多模态感知通过整合视觉、语言、触觉等异构传感器数据，使机器人获得类人的环境理解能力。研究表明，相比单模态系统，多模态融合能将物体识别准确率提升50%（Zhang et al., 2021）。在医疗辅助领域，集成触觉和语音的机器人显著改善了阿尔茨海默患者的自理能力（Yuan et al., 2024）。

跨领域应用图谱

社会辅助机器人：Pepper机器人通过情感识别模块实现个性化护理（Churamani et al., 2020）。

工业协作场景：基于POMDP的装配系统实时调整抓取策略（Amiri et al., 2018）。

自主导航：RGB-D与LiDAR融合使避障成功率提升37%（Wang, 2023）。

关键技术突破

融合策略：

• •

  早期融合：直接对齐RGB与深度图像时序（Nan et al., 2019）

• •

  特征级融合：Kinect骨骼数据加权处理（Schmidt-Rohr et al., 2008a）

• •

  大模型赋能：GPT-4V实现视觉-语言跨模态对齐（Menezes, 2024）

决策架构：

1. 1.

   管道式：并行处理激光雷达与麦克风阵列数据（Vauf et al., 2016）

2. 2.

   反馈式：POMDP动态更新物体属性置信度（Zhang et al., 2021）

3. 3.

   端到端：Mistral 7B直接生成操作指令（Ly et al., 2024）

现存挑战与未来方向

传感器噪声：工业场景中机械振动导致触觉信号信噪比下降40%（Forlini et al., 2024）。持续学习需解决灾难性遗忘问题，混合架构结合强化学习（RL）与知识图谱（Diab and Demiris, 2024）展现潜力。值得关注的是，基于注意力机制的跨模态Transformer在减少30%计算量同时保持90%识别精度（Yas et al., 2024）。

临床转化前景

医疗机器人领域，多模态系统在帕金森病康复训练中实现运动轨迹预测误差<2cm（Zhou and Wachs, 2019）。未来需重点突破可解释AI技术，使决策过程符合临床诊疗规范（Mathur et al., 2025）。