基于深度学习与自我中心视频分析的开放手术技能自动化评估框架及其应用研究

来自多机构的研究团队针对开放手术技能客观评估方法匮乏的问题，开展了一项基于深度学习与自我中心视频数据的技能评估研究。通过构建多任务Transformer模型（Transf-MTT+S），在结扎（KT）、连续缝合（CS）和间断缝合（IS）任务中实现了最优性能（MAE=1.92-2.89，ρ=0.84-0.90），证实其具备早期技能评估潜力，为外科培训标准化提供了技术基础。

在微创手术技能评估取得显著进展的背景下，开放手术领域的客观评估方法仍存在明显局限。本研究提出了一种基于深度学习框架的创新方案，通过分析开放手术训练中的自我中心视角视频（egocentric video）数据，实现对技术性手术技能的自动化评估。

研究数据集包含20名参与者执行三项基础训练任务（结扎KT、连续缝合CS、间断缝合IS）的201段视频及同步采集的手部运动学（kinematics）数据。每段视频均由两位专家依据改良版OSATS量表进行标注（KT含5项标准，总分5–25；CS/IS含7项标准，总分7–35）。

团队系统比较了三种时序网络架构（长短期记忆网络LSTM、时序卷积网络TCN、 Transformer），均采用ResNet50作为空间特征提取主干网络，并评估了多种训练策略：单任务学习、特征拼接、预训练以及融合运动学数据的多任务学习。性能评估指标包括与总分预测相关的平均绝对误差（MAE）和斯皮尔曼相关系数（ρ）。

结果表明，基于Transformer的模型在所有任务中均显著优于LSTM和TCN。其中整合任务完成时间预测的多任务Transformer模型（Transf-MT_T+S）取得最低MAE（KT: 1.92, CS: 2.81, IS: 2.89）和最高相关系数（ρ=0.84–0.90）。该模型还展现出优秀的早期技能评估能力——仅通过部分操作片段即可预测总分，尤其在简单任务中表现突出。研究同时发现，基于专家共识评分训练的模型性能优于基于个体标注的模型，印证了多评分者标准在机器学习中的重要性。

本研究为开放手术技能的客观自动化评估奠定了理论基础，对提升外科培训的效率与标准化水平具有重要实践价值。