编辑推荐:
这篇综述系统梳理了2015至2025年间利用光电容积脉搏波描记法(PPG)监测扩展现实(XR,包括VR/AR/MR)环境中用户认知负荷的23项研究。文章指出,相较于脑电图(EEG)、心电图(ECG)等功能磁共振成像(fMRI)等传统生理传感器,PPG因其非侵入、低成本、低功耗和便于集成到可穿戴设备的优势,在实时、持续监测方面展现出巨大潜力。然而,现有研究多集中于腕部、指尖等外周位置,与头戴式显示器(HMD)无缝集成的头戴式PPG方案仍有待深入探索。综述最后为研究人员、XR开发者和教育工作者绘制了技术路线图,指出头显嵌入式PPG、基于机器学习的特征提取以及多模态传感器融合是未来实现自适应、以学习者为中心XR系统的关键方向。
认知负荷测量:XR教育中的新挑战与PPG方案
在虚拟现实(VR)、增强现实(AR)和混合现实(MR)构成的扩展现实(XR)教育环境中,营造沉浸式学习体验的同时,如何有效监测并防止学习者认知过载,已成为优化教学效果的核心课题。认知负荷被定义为执行特定任务或处理知识所需的工作记忆资源量。过高的认知负荷会阻碍学习进程。传统的测量方法,如基于自我报告的主观量表(如NASA任务负荷指数NASA-TLX),存在结果不一致、难以实时应用的局限;而脑电图(EEG)、心电图(ECG)等功能磁共振成像(fMRI)等生理测量方法,则常受限于侵入性强、成本高昂、设备笨重或信号处理复杂等问题,难以无缝融入日常XR应用。
在此背景下,光电容积脉搏波描记法(Photoplethysmography, PPG)作为一种光学传感技术,凭借其非侵入、低成本、低功耗的特性脱颖而出,成为测量认知负荷的潜力方案。其原理是利用发光二极管(LED)照射皮肤组织,并通过光电探测器检测因血液容积搏动而导致的光吸收或反射变化,从而提取出包含交流(AC,脉动性)和直流(DC,基线)成分的PPG波形。
PPG vs. 其他生理传感器的竞争优势
一项针对23项研究的系统综述,从便携性、成本、功耗、舒适度和运动时信号质量五个维度,对PPG与其他常用生理传感器进行了定性比较。结果显示,PPG在便携性、成本和功耗方面均获得最高评分,非常适合于集成到可穿戴设备和XR头显中,实现长期监测。虽然其信号在运动状态下易受伪影干扰,评分低于ECG和眼动仪,但通过先进的信号处理算法(如奇异谱分析SSA)可以有效缓解这一问题。
相比之下,ECG虽然信号质量高,但通常需要多个接触点和皮肤准备,设置更为侵入;EEG能提供优异的时空分辨率,但需要在头皮放置电极,且原始信号噪声大、预处理复杂,不利于日常应用;皮肤电反应(GSR)设备轻便,但易受运动、皮肤水合度及温度影响;而fMRI则因便携性差、成本极高,主要用于研究而非日常评估。
PPG在XR中的集成演进与应用
PPG与XR技术的融合在过去十年经历了三个发展阶段:
- •
奠基阶段(2015–2017):研究聚焦于核心算法开发,如在动态XR环境中实现运动稳健的远程PPG(rPPG)测量的平面正交于皮肤(POS)算法,并首次在三星Gear VR环境中利用PPG衍生的心率变异性(HRV)特征实现高精度的压力分级。
- •
验证阶段(2018–2021):研究转向临床验证和疗法应用。例如,在VR环境中验证HRV生物反馈与传统方法具有同等生理效能,但用户动机更高;探索PPG信号与认知负荷评估的相关性,确定了相关性维度是认知负荷最稳健的非线性HRV标记物;并对未来集成于头戴式显示器至关重要的前额PPG波形进行了表征。
- •
集成阶段(2022–2025):近期研究致力于开发内置传感器系统。例如,验证了与HTC Vive和Pico头显兼容、集成前额PPG和多通道面部肌电的emteqPRO平台;开发了首个针对VR的远程PPG算法Meta-rPPG架构;以及利用PPG信号实时测量血容量脉冲和超短HRV,从而动态调整VR叙事内容以优化用户唤醒水平的自适应系统。
传感器布局、测量指标与多模态融合
现有研究中,PPG传感器多放置于腕部和指尖等外周位置。虽然腕戴式设备普及,但其信号强度可能不如指尖PPG,且更易受运动伪影干扰。头戴式位置(如额部、颞部)因身体大幅运动较少,能减少对传感器的干扰,并与XR头显集成潜力巨大,但相关探索仍很有限。前额、颞部(靠近颞浅动脉)和眉间区域(位于眶上动脉上方)是潜在适合PPG测量的部位,而口周和脸颊区域则因呼吸和频繁口部运动影响而不太合适。
在认知负荷测量方面,PPG可提供多种生理指标:
- 1.
心率(HR)/脉搏率(PR):通过检测PPG波形峰值间的脉搏间隔(tpi)计算。在认知任务中,tpi常随任务难度增加而显著减小,表明心率升高。
- 2.
心率变异性(HRV)/脉搏率变异性(PRV):反映自主神经系统(ANS)的平衡。认知负荷增加通常导致交感神经活动增强(低频/高频比LF/HF升高),副交感神经活动减弱(高频HF降低)。HRV可从PPG信号中提取,但分析通常需要至少2分钟的数据,且受年龄、运动等多种因素影响。
- 3.
小动脉脉搏传导时间(aPTT):源于多波长PPG(MWPPG)信号,与系统性血管阻力(SVR)变化相关。认知负荷引发的应激会激活交感神经系统,导致血管收缩,从而影响aPTT。
- 4.
PPG波形形态学特征:包括从PPG波形及其一阶、二阶导数中提取的时域和频域特征。例如,压力诱导血管反应指数(sVRI)和PPG波形的标准差已被证明是评估认知负荷的敏感、可靠指标。
为提升测量的准确性和鲁棒性,多模态传感器融合成为趋势。在综述的23项研究中,有7项整合了PPG与其他生理传感器。常见的组合包括PPG与GSR、ECG、眼动仪或EEG。这种融合能提供更全面的生理状态视图,弥补单一模态的不足。例如,结合PPG和GSR,利用随机森林(RF)等机器学习模型,可在认知负荷分类中达到高准确率,成为一种非侵入的EEG替代方案。然而,多模态集成也带来了系统复杂性、成本增加以及可能干扰用户自然行为的挑战。
研究现状与未来方向
现有研究多采用实证定量或混合研究设计,样本量集中在20-50人之间。在数据分析方法上,描述性统计占主导地位,用于总结PPG生理响应特征;方差分析(ANOVA)常用于验证实验任务(如N-back任务)能否有效诱发不同水平的认知负荷;机器学习方法(如随机森林、支持向量机SVM)的应用也呈增长趋势,用于从复杂数据中识别模式,实现实时分析与反馈。
尽管如此,该领域仍存在明显的研究空白。大多数实施方案依赖于腕部和指尖放置,对头戴式集成方案的探索不足。同时,在传感器布局优化、多模态信息融合以及实时信号处理方面仍需深入探索。未来的研究方向包括:开发专为XR头显设计的嵌入式PPG传感器;利用机器学习进行更高效的特征提取和认知状态解码;以及建立融合PPG与其他传感数据的标准化框架,最终推动构建能够实时适应学习者认知状态的自适应XR教育系统。