用于定量系统级分析安全关键型自主系统的目标检测任务相关评估指标

安全关键机器人系统中，感知模块的环境表征直接影响系统性能。本文提出基于概率时序逻辑的检测误差量化评估方法，通过形式化建模将传统混淆矩阵转化为系统级性能约束，并设计融合下游控制逻辑的评估指标，解决标准指标忽视任务相关性的问题。实验验证在nuScenes数据集上，该指标能更精准评估点云分割模型对系统安全规范的满足度。

摘要

在安全至关重要的机器人系统中，感知功能负责对环境进行表征，以有效指导决策过程，并在确保整个系统满足其要求方面发挥着关键作用。为了定量评估物体检测和分类错误对系统级性能的影响，我们提出了一种严格的检测错误模型形式化方法，并对系统级常规安全时序逻辑要求的满足情况进行了概率推理。我们还展示了如何将标准的物体检测评估指标（如混淆矩阵）表示为检测错误模型，从而能够计算系统级规范的概率满足度。然而，传统的混淆矩阵对所有检测结果一视同仁，没有考虑它们与系统级任务的相关性。为了解决这一限制，我们提出了新的物体检测评估指标，这些指标同时考虑了系统级任务和下游控制逻辑，从而能够更准确地评估检测模型的性能。我们确定了与下游控制和系统级规范相关的逻辑公式，并利用这些公式定义了基于逻辑的物体检测和分类评估指标。这些基于逻辑的评估指标能够更客观地评估系统级性能。最后，我们在nuScenes数据集上使用PointPillars模型对汽车-行人场景进行了演示，并在仿真中验证了系统级的概率保证。