工业环境中基于迁移学习和数据增强的预测性人体轨迹分类

时间:2026年4月1日
来源:IEEE Access

编辑推荐:

为提升人机协作环境下的安全性与效率,研究团队提出一种预测性人体轨迹分类(HTC)系统,通过集成先进的LiDAR传感、数据增强与LSTM网络,在数据稀缺的工业场景下实现了对操作员目标工作站的精确预测,为解决传统方法依赖大量数据、适应性差的问题提供了新思路,验证了传统随机方法(OU过程)在特定条件下的优势,对实现工业5.0时代的安全、灵活人机协同具有重要意义。

广告
   X   

在工业自动化的浪潮中,工业4.0的智能工厂概念已深入人心,而工业5.0(Industry 5.0)则将焦点转向“人本”,强调人类与机器的紧密协作。想象一下这样的场景:在未来的工厂车间里,操作员与机器人并肩工作,而非被安全围栏隔开。要实现这种无缝、高效的协作,机器人必须能像人类同事一样,提前“预判”操作员的行动意图,从而主动调整自身行为,例如提前启动工作站或提前减速以确保安全。然而,这项关键技术——预测人体轨迹——在实际工业应用中面临巨大挑战。一方面,真实工业环境中人体运动数据的获取成本高昂、过程繁琐,导致数据稀缺;另一方面,复杂、动态的车间布局使得基于固定规则的传统预测模型捉襟见肘。针对这些瓶颈,一项发表于《IEEE Access》的研究为我们带来了创新性的解决方案。
为了攻克数据稀缺下的预测难题,研究人员设计并实施了一项系统的研究。首先,他们在真实的工业厂房(26 m × 20 m)内,部署了一套创新的LiDAR(Light Detection and Ranging,激光探测与测距)传感系统。这套系统的独特之处在于集成了8块反射镜,将原本360° × 45°的视场重新分配,聚焦为一个90° × 90°的高分辨率定向视场,从而能以鸟瞰视角高效、匿名地捕捉人体运动点云数据。通过结合合成数据预训练、领域自适应和自监督学习的方法,系统实现了对人员的实时检测与跟踪。研究人员招募了9名志愿者,在六个预定义的工作站间模拟自然行走,利用掷骰子随机化目标选择,采集了包含487条真实轨迹的数据集。
面对有限的真实数据,研究核心在于比较两种数据增强策略,以扩充训练集。一种是现代学习方法——时间序列生成对抗网络(TimeGAN),它能学习并生成具有复杂时空模式的数据。另一种是传统随机(统计)方法——奥恩斯坦-乌伦贝克(Ornstein-Uhlenbeck, OU)过程。OU过程通过结合随机性(模拟行走波动)和对参考路径的“均值回归”倾向,能够生成平滑、自然的人体运动轨迹。研究人员基于真实轨迹,通过多项式回归拟合出不同工作站间的参考路径,然后利用改进的OU过程(对速度而非位置建模,并加入位置校正项)生成了大量合成轨迹。
在模型构建方面,研究采用了擅长处理时序数据的堆叠式长短期记忆(Long Short-Term Memory, LSTM)网络作为分类器。该模型输入是截取掉最后几秒钟的不完整轨迹序列,输出是操作员意图前往的六个工作站的概率分布。研究团队通过随机搜索优化了网络超参数,并设计了五个关键的训练场景进行对比分析,以验证迁移学习和数据增强的效果。
研究结果揭示了不同数据策略的效能差异与模型的预测能力。
  1. 1.
    数据增强方法比较:热力图显示,基于OU过程生成的合成轨迹在空间分布上比TimeGAN生成的轨迹更贴近真实数据。在数据稀缺(仅192条真实训练轨迹)的情况下,OU过程在大多数评估指标上超越了TimeGAN,显示出传统随机方法在小数据集场景下的优势。
  2. 2.
    模型预测性能:综合性能最佳的方案是“场景3.2”,即先在OU过程生成的合成数据上预训练LSTM模型,再用少量真实数据进行微调。该方案在不同预测提前时间(1-5秒)下均取得了最高的分类准确率。特别是,它能在操作员抵达前3秒,以95.6%的准确率预测出其目标工作站,相比仅用真实数据训练的模型(准确率87.5%),性能提升了4.8个百分点。
  3. 3.
    预测难点与模型鲁棒性:混淆矩阵分析表明,模型预测错误主要集中在工作站4和5。这是由于车间的物理布局导致通往这两个工作站的路径在大部分路段重叠,直到靠近终点才分开,使得早期区分极为困难。反之,路径独特的工作站(如3和6)则更容易被准确预测。此外,模型展现出了良好的鲁棒性,即使操作员在行走初期出现方向错误或小幅绕行,模型仍能最终做出正确判断。
  4. 4.
    工业安全意义分析:研究特别讨论了预测错误在工业安全中的不对称成本。误报(预测错误工作站)可能导致不必要的机器减速,造成生产率损失;而漏报(未预测到操作员将到达)则意味着危险机器未能提前减速,可能直接导致安全事故,后果不可逆。因此,在安全关键型部署中,召回率(Recall)是比精确度(Precision)更需优先保障的指标。最佳模型在4秒预测提前量下达到了0.88的召回率,为实施安全干预措施提供了宝贵的时间窗口。
结论与讨论部分对本研究的贡献与意义进行了总结。该研究成功构建了一个面向工业环境的端到端预测性人体轨迹分类管道,有效应对了真实数据稀缺的挑战。其核心结论是,在数据有限的情况下,基于传统奥恩斯坦-乌伦贝克过程的随机模拟方法,能够比现代的时间序列生成对抗网络生成质量更高、更有利于模型训练的合成数据,结合迁移学习策略可显著提升LSTM分类模型的性能。
这项研究的意义深远。在实践层面,它提供了一种低成本、高效率的方案来开发人机交互中的预测系统,使机器人能够提前数秒“知晓”人的意图,从而主动准备(如启动设备)或提前规避(如减速停机),这不仅能减少停工等待时间、提升生产率,更重要的是能降低对传统安全围栏的依赖,为工业5.0所倡导的灵活、人本的车
间布局铺平道路。在方法论层面,研究为小样本时序数据增强提供了有价值的对比视角,揭示了在特定条件下,精心设计的传统随机方法可能比复杂的深度学习生成模型更有效、更稳健。
展望未来,研究人员计划公开本研究收集的数据集,并探索将分类方法扩展到包含预测性路径规划,以指导移动机器人的主动避让。同时,该方法论也可延伸至三维空间(如包含楼梯的环境)或更精细的人体部位运动预测(如机械臂附近的手臂运动跟踪),在更广泛的人机协同场景中发挥作用。这项研究标志着在构建真正智能、安全、协作的未来工业环境的道路上,迈出了坚实的一步。

生物通微信公众号
微信
新浪微博


生物通 版权所有