DrowsyDG-Phys：利用生理信号在条件自动驾驶车辆中实现通用化的驾驶员疲劳程度估计

驾驶员生理信号多模态跨域泛化检测框架研究，提出DrowsyDG-Phys方法，通过时间频率域特征提取和三类正则化损失函数（对比学习、特征中心化、评估标准对齐）提升ECG/EDA/呼吸信号检测的泛化性与鲁棒性，在四组异构数据集验证中准确率达88.4%，优于传统机器学习及基准深度学习方法。

王继尧|李文博|王振宇|苏珊·阿亚斯|比尔森·唐梅兹|何登波|吴凯顺

系统中心，香港科技大学（广州），中国广东省广州市

摘要

驾驶员疲劳是道路上导致事故、受伤和死亡的主要原因之一。传统的疲劳检测模型依赖于通过机器学习算法处理的手动提取的生理特征。然而，这些方法在面对多样化的实际条件时缺乏灵活性和鲁棒性。尽管深度学习的最新进展通过基于更大可学习参数空间的自动特征提取提高了检测准确性，但由于领域差异，现有模型的泛化能力仍然有限。在这项研究中，我们提出了DrowsyDG-Phys，这是一种用于驾驶员疲劳检测的新型领域泛化（DG）框架，它利用三种生理信号（即心电图、皮肤电活动和呼吸信号），这些信号可以通过车载或可穿戴传感器进行测量。我们的方法引入了一个用于显式时域和频域特征学习的骨干网络。此外，我们的方法整合了三种新的损失函数：一种基于先验知识的对比正则化以增强鲁棒性，一种特征中心化损失以促进在异质性中的泛化，以及一种新的损失函数以对齐疲劳评估标准。最后，我们建立了一个多源DG基准，并在三个现有数据集和一个涉及60名参与者的模拟SAE Level-3驾驶场景的自收集数据集上评估了我们的模型。我们提出的DrowsyDG-Phys在DG协议上的准确率为78.5%，在跨受试者协议上的准确率为88.4%。实验结果表明，DrowsyDG-Phys优于基线方法，并提高了基于生理信号的疲劳监测的泛化和鲁棒性。

引言

在安全关键环境中，驾驶员疲劳可能导致致命后果。仅在美国，每年就有大约328,000起事故归因于疲劳驾驶，造成约109,000人受伤和6,400人死亡（Tefft, 2012）。驾驶疲劳被定义为一种意识受损的状态，驾驶员更倾向于入睡而不是保持清醒（Slater, 2008）。这种状态会导致反应时间变慢、决策能力下降以及整体反应能力减弱（Ashraf等人，2019；Khushaba等人，2010）。随着技术的进步，已经开发出使用图像、生理信号和车辆传感器来检测疲劳的数据驱动方法（Saleem等人，2023；Wang等人，2024e）。然而，并非所有测量方法都适合在车辆中部署，特别是在具有驾驶自动化的车辆中，因为驾驶员不再需要持续控制车辆，这使得基于车辆的测量方法变得不那么相关。此外，相关的隐私问题也可能降低基于图像的疲劳检测的接受度。因此，由于与车内摄像头相比，生理信号的收集相对不那么私密，通过生理信号监测疲劳受到了研究人员越来越多的关注（Kakhi等人，2024）。

传统的基于生理信号的驾驶员疲劳监测模型主要依赖于从心电图（ECG）信号中手动提取生理特征，如低频（LF）和心率（HR）。这些模型通常使用机器学习（ML）技术，包括LightGBM和SVM（Cheon和Kang，2017；Chowdhury等人，2018；Zhou等人，2022）。虽然过去的研究取得了令人满意的准确率，但这些低级特征的手动提取过程可能计算密集，并可能导致原始信号中包含的信息丢失。随着深度学习（DL）的发展，越来越多的工作尝试基于原始生理信号开发高级DL模型，而无需手工制作特征来监测疲劳（Hultman等人，2021；Fan等人，2021；Alguindigue等人，2024）。与传统方法相比，基于DL的方法消除了耗时的手动特征选择需求，并提供了端到端的自动化解决方案。此外，DL方法在具有多样化人群的复杂环境中表现出更强的鲁棒性（Zhang等人，2022）。

尽管DL方法在检测驾驶员疲劳方面显示出有希望的结果，但它们在现实世界情境中的有效性仍然有限（如图1所示）（Wang等人，2025a）。许多先前的检测方法（Cheon和Kang，2017；Hultman等人，2021）是在数据集内部协议上训练和测试的，这意味着所有数据都来自一个特定的实验，其中疲劳是通过特定程序诱导的，并通过特定标准进行评估的。这种数据集内部协议不能保证模型在新环境中的泛化能力（Kim等人，2025）。例如，在现实生活中，各种疲劳诱因，如低唤醒度、精神疲劳和睡眠剥夺（Ayas等人，2024a），可能导致不同的生理反应。此外，不同研究中疲劳的评估方法也存在差异。采用了几种驾驶员疲劳评估标准（Kundinger等人，2020a），包括：（1）主观评估，依赖于自我评估问卷，如Karolinska疲劳量表（KSS）（Kaida等人，2006），这得到了欧盟的认可（Ahlström和Anund，2024）；以及（2）客观指标，如眨眼和点头，这些在中国被采用（Bao和Xu，2024）。此外，个体差异和收集设备的不同也可能引入异质性。这些异质性也可以描述为不同数据集之间的领域差异，给实现可泛化的疲劳监测带来了挑战（Wang等人，2025a）。为了验证这一点，我们进行了跨数据集评估。如表3所示，当在未见数据集上测试时，没有任何方法表现良好。

最近的研究试图通过联合训练模型并在多个数据集上使用领域泛化（DG）技术来解决这个问题（Kim等人，2025；Ballas和Diou，2024）。然而，现有的疲劳检测DG方法通常以脑电图（EEG）作为输入。与EEG相比，心电图（ECG）、皮肤电活动（EDA）和呼吸（RESP）实际上更适合用于驾驶员疲劳检测，因为它们不太容易集成到车辆舱内，同时可以保持与疲劳状态的强生理相关性（Freitas等人，2024；Gottlieb等人，1999；Saleem等人，2023）。据我们所知，还没有提出以ECG、EDA和RESP作为输入的通用方法。

受到上述差距的启发，本研究试图回答三个问题。（1）在异质性诱因、传感器和评估标准下，生理信号中哪些信息是必要且足够的，以支持驾驶员疲劳检测的泛化？（2）我们如何从原始的多模态生理信号（ECG、EDA和呼吸）中学习与状态相关的表示，同时保持这些表示在不同领域之间的一致性，并保留清醒和疲劳状态之间的区分能力？（3）如何使学习过程对由主观自我报告引起的标签模糊性和噪声具有鲁棒性，以便模型不会陷入特定领域的偏见，而是捕捉可转移到新环境中的基于生理学的语义？

为了回答这些问题，我们提出了一种新的驾驶员疲劳检测方法，称为DrowsyDG-Phys，该方法结合了领域泛化（DG）的原理。我们设计了一个骨干网络，自动学习来自时域和频域的输入信号的信息表示。该模型在多个源领域（即在部署前已知的数据集）上进行了训练，并在目标领域（即模拟部署环境的未知数据集）上进行了测试。然后，受到生理学先验知识的启发（Sun和Li，2024），我们引入了一种基于对比学习的正则化来增强模型对未见领域中异常样本的鲁棒性。此外，为了解决领域差异带来的挑战，我们提出了另一种正则化损失，该损失将具有相同标签但在不同领域的样本的特征空间中心化，并扩大了疲劳和清醒之间的区分平面。为了公平评估我们提出方法在多源领域中的性能，我们使用了包含三种类型疲劳诱因和两种评估标准的三组数据集。此外，我们还创建了一个自收集的数据集，该数据集专注于SAE Level-3条件下的疲劳驾驶，在该数据集中，60名参与者通过操纵驾驶模拟器中的舱内环境被诱导进入疲劳状态。通过广泛的实验，我们提出的方法DrowsyDG-Phys优于比较基线，并提高了驾驶员疲劳分类的泛化性能。

部分摘录

与驾驶员疲劳相关的生理信号

生理信号可用于早期检测驾驶员疲劳，因为它们可以在行为变化之前显示出微妙的变化（Javed等人，2021）。通常，EEG被认为是疲劳检测的金标准，因为它直接捕获与警觉性相关的大脑活动（Hussein等人，2023；Gao等人，2019）。然而，由于其高度侵入性和EEG设备的笨重佩戴，EEG在车辆中的应用受到限制（Ma等人，2024）。在

方法论

数据集

在这项工作中，我们使用了四个数据集，并在表2中总结了它们的关键特征以供比较。

基线模型

我们首先选择了四个经典的ML模型进行比较：逻辑回归（LR）（Hosmer等人，2013）：通过预测函数识别和损失最小化来优化回归参数的广义线性模型。支持向量机（SVM）（Hearst等人，1998）：使用核函数（例如RBF）构建最大间隔超平面来分离类别，同时最小化结构风险。随机森林（RF）（Breiman，2001）：一个集成

在DG协议上的比较实验

表3显示了四个数据集在DG协议上的比较结果。首先，我们注意到，传统的ML方法表现相对较差。特别是，ML模型生成了极端的输出，并将测试数据集中的所有状态都识别为同一状态（即所有输出都是清醒或疲劳的）。这表明这些模型难以适应源领域的变化，在面对未知领域时难以处理领域差异，最终导致

局限性

这项研究存在一些局限性。首先，由于公共数据集的可用性有限，本研究使用的数据集包括三个基于主观问卷标记的数据集，只有一个数据集使用客观指标标记。未来的研究应该将更多的数据集纳入DG评估协议中，特别是那些使用客观标准标记的数据集。

其次，虽然提出的DrowsyDG-Phys在监督预训练中表现出更好的性能

结论

在本文中，我们提出了一种新颖的通用框架DrowsyDG-Phys，该框架结合了三种可穿戴生理传感器数据用于驾驶员疲劳估计。所提出的模型显式提取时域和频域信息，以提高对噪声输入的鲁棒性。此外，我们引入了特征中心化正则化和具有时间一致性先验知识的对比正则化，以促进模型对不同状态的区分能力

CRediT作者贡献声明

王继尧：撰写——原始草稿，验证，软件，方法论，概念化。李文博：撰写——原始草稿，可视化。王振宇：资源，数据管理。苏珊·阿亚斯：资源，数据管理。比尔森·唐梅兹：撰写——审阅与编辑。何登波：撰写——审阅与编辑，监督，项目管理，资金获取，概念化。吴凯顺：监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

致谢

这项工作得到了中国广东省自然科学基金（2024A1515010392）的支持。