在人形机器人的动作模仿中实现稳定性优化

机器人动作模仿中存在因体型差异导致的动作不稳定问题，本文提出模式自适应运动平滑（MAMS）与多目标运动优化（MOMO）方法，通过支持模式识别和机器人动力学约束平衡相似性与稳定性，实验验证其有效性和安全性提升。

吕毅|任胜浩|金志宇|沈秋

中国南京大学电子科学与工程学院

摘要

模仿人类动作对于人形机器人来说至关重要，这有助于提升它们的运动能力并理解人类的动作机制。目前的方法主要集中在捕捉人类动作并将这些参数应用到机器人上，但由于体型、结构和机械特性的差异，机器人的动作往往不稳定且失真。为了解决这些问题，我们提出了改进运动数据的稳定性和适应性，并在多个空间中进行运动重目标定位。具体来说，我们针对上肢和下肢关节采用了模式自适应运动平滑（MAMS）技术，以适应不同的支撑模式。为了平衡相似性和稳定性，我们提出了一个多目标运动优化（MOMO）模型，在该模型中考虑了机器人的稳定轨迹和人体的基本姿态。实验表明，我们的方法在保持与人类动作高度相似的同时，提高了机器人动作的可靠性和稳定性，显著推动了人形机器人模仿技术的发展。

引言

如今，已经开发出了大量人形机器人，人们希望它们尽可能地接近人类。在传统的人机交互中，由于使用了按钮和把手，操作自由度受到限制。大多数机器人的动作都是手动编辑的，这种方法效率低下且缺乏通用性，导致人机交互显得不自然。为了实现更自然、更直观的机器人控制，许多人开始关注动作模仿的概念，正如在《钢铁侠》等科普电影中所展示的那样，机器人像孩子一样学习模仿人类的动作。目前，动作模仿因其众多潜在优势而受到越来越多的关注[1]、[2]。首先，它显著简化了人机交互过程，提供了一种更高效、更通用的方法来生成人形机器人的姿态和动作。其次，它将人类的决策能力与机器人的执行能力结合起来，实现了机器人的远程操作，甚至实现了人机融合。第三，它还有助于更好地理解人类的动作机制。目前，这一领域已经有了一些相关应用，例如在远程手术、远程护理、远程移动和抓取等任务中辅助人类。由于人形机器人具有高接受度、社交亲和力以及意图的清晰性，它们还可以执行娱乐功能和互动活动[3]。此外，它们还可以在潜在危险的环境中替代人类执行任务。

在人形机器人动作模仿中，当人类展示一系列动作时，机器人应尽可能快且相似地重新执行这些动作。研究人员面临的挑战是通过捕捉人类的动作并将其映射到机器人上来建立表演者（即人类）和模仿者之间的联系。目前，在运动捕捉领域已经存在许多成熟的方案[4]，为机器人模仿提供了人类运动数据，这些方案包括可穿戴传感器[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、非侵入式传感器[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]，以及采用多传感器融合的各种方法[23]、[24]、[25]、[26]，从而提供了更多模式和更高精度的数据。

由于人类与人形机器人在体型、几何结构、质量分布、自由度（DoF）和驱动机制方面的差异，直接将人类捕捉到的动作复制到机器人上是不可行的。这使得机器人动作模仿与虚拟角色模仿[27]、[28]、[29]、[30]有所不同，后者旨在密切模仿真实角色。人形机器人动作模仿受到现实世界物理条件的限制，从而限制了可实现的相似度。因此，许多模仿工作必须在相似性和其他因素（如稳定性、执行效率等）之间取得平衡。目前，关于人形机器人全身模仿的研究已经取得了显著成果[3]、[6]、[7]、[8]、[9]、[10]、[11]、[15]、[16]、[17]、[19]、[31]、[32]、[33]、[34]、[35]、[36]、[37]。然而，大多数这些研究都集中在单一表示范围内的运动重目标定位上，然后将得到的运动参数应用到机器人的控制器中。控制器随后负责确定最终的机器人关节参数，这对保持机器人的稳定性至关重要。实际上，在运动捕捉过程中，由于噪声和算法的准确性问题，人类运动数据并不总是可靠的。而且人形机器人控制器的平衡能力非常有限，无法准确执行重目标定位的运动参数。这些方法无法保证机器人的内部配置与人体完全相似，可能会导致动作失真和不自然，从而对机器人和操作者构成风险。

我们认为，现有的方法通常将表演者和模仿者视为独立的实体。人们认为准确捕捉动作参数是表演者的责任，而高相似性和高效执行动作则是模仿者的责任。为了解决这个问题，我们提出在运动重目标定位过程中对人类运动参数进行稳定性优化，以适应机器人的特性。一方面，对于人类数据，不仅需要过滤错误的数据，还需要根据机器人的状态优化稳定性；另一方面，在重目标定位过程中，需要为机器人提供更多的参考信息，以平衡稳定性和相似性。

在本文中，我们提出了一种强调增强运动稳定性的全身机器人模仿方法。我们的方法减少了机器人模仿过程中的动作失真，使机器人能够保持类似人类的动作，同时确保更高的稳定性。这显著提升了机器人的模仿性能和人类操作者的体验。具体来说，根据不同的支撑模式，我们提出了模式自适应运动平滑（MAMS）算法，以确保不同身体部位的运动数据的平滑性和稳定性。在运动重目标定位过程中，我们提出了一种基于机器人配置并参考人类姿态的方式来优化关节参数，从而有利于机器人的执行。因此，我们引入了多目标运动优化（MOMO）方法，在保持相似性的同时增强稳定性。机器人动作模仿的实施包括三个主要模块：运动捕捉、运动重目标定位和运动执行。首先，我们确定人类的支撑模式，并从人类测量数据中提取关节角度和姿态向量来表示运动数据。接下来，我们使用MAMS来确保数据根据当前的支撑模式保持平滑性和稳定性。在下一阶段，我们提出MOMO方法，将人类运动数据与机器人的稳定关节配置结合起来，在机器人运动平衡条件的约束下解决关节配置问题。最后，在每个运动执行时间步骤中进行实时检测和校正，以实现机器人的全身准静态动作模仿。

我们的方法使用非侵入式且成本效益高的光学传感器Kinect来捕捉人类运动信息，而人形机器人Nao[38]则用于执行动作。我们工作的贡献可以总结如下：

• •
  我们提出了针对不同支撑模式和机器人关节自由度的模式自适应运动平滑（MAMS）技术。
• •
  我们提出了多目标运动优化（MOMO）方法，以解决更合理和可靠的机器人配置问题。
• •
  我们提出的方法可以在保持与人类动作相似性的同时，实现机器人执行的良好稳定性。

部分摘录

人形机器人远程操作中的运动捕捉

在人形机器人远程操作任务中，已经有许多用于人类运动捕捉的方案，包括惯性测量单元（IMU）传感器[5]、[6]、[10]、[24]、[39]和光学传感器[7]、[8]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[40]。IMU传感器提供高精度的数据，但位置会随时间累积漂移。在光学传感器中，有些通过使用标记的运动捕捉系统提供高精度但便携性较低的解决方案[7]，

动作模仿系统

首先，我们将介绍我们的动作模仿系统。我们的系统框架如图2所示。出于成本和用户友好性的考虑，我们使用Microsoft Kinect 2.0进行运动捕捉，以提取3D人体骨骼点。运动信息通过运动重目标定位转换为机器人的配置空间表示。在模仿端，Nao机器人在检查并校正自身平衡后执行这些配置。

方法

在动作模仿过程中，存在一些需要通过运动重目标定位来解决的挑战。首先，人类运动数据中的噪声会显著影响姿态的准确性。其次，由于伺服电机的执行能力有限，机器人的腿部可能无法像人类那样快速移动同时保持平衡。此外，在确定机器人的控制参数时，缺乏一种稳定且准确的方法来防止姿态失真。

实验

为了验证我们提出方法的有效性，我们主要进行了三项实验。首先，我们探讨了所使用的MAMS的效果；其次，我们使用客观指标来衡量相似性和稳定性；最后，我们通过主观观察测试了实际中的平衡性和主观相似性。

结论与讨论

本文描述了一种旨在提高人形机器人稳定性的动作模仿系统。在运动映射中，我们使用了适应不同支撑模式和身体部位的数据平滑技术，以实现稳定且相似的运动。我们提出了一种多目标优化算法，通过考虑关节角度和姿态映射来平衡相似性和稳定性。为了保持平衡，我们在运动约束中加入了脚部姿态约束。在运动执行过程中，我们使用了

作者贡献声明

吕毅：可视化、方法论、数据整理、写作——初稿、正式分析、软件、验证、研究。任胜浩：写作——审稿与编辑、软件、研究、可视化、数据整理。金志宇：软件、研究、可视化、数据整理。沈秋：项目管理、监督、资金获取、资源协调、概念构思、写作——审稿与编辑、方法论。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：沈秋报告称获得了国家自然科学基金的支持。沈秋拥有南京大学颁发的专利。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。