肺癌是全球癌症相关死亡的主要原因之一，早期精准诊断与个体化风险分层是改善预后的关键。临床实践中，肺结节的检测、恶性风险评估、患者层面生存期预测以及结节数量量化等任务，虽在病理生理与诊疗流程上紧密关联，却长期被拆解为独立系统处理——放射科医生读片标注结节，肿瘤科医生凭经验估算恶性概率与生存风险，不同环节间信息割裂、相互依赖关系未被充分利用，难以形成从影像到预后的闭环决策支撑。这种“单任务孤岛”模式不仅效率低下，还可能因上下文缺失导致风险评估偏差。如何将多模态影像、临床文本与时间事件数据统一建模，实现“检测-定性-定量-预后”的一体化分析，成为肺癌智能诊疗的核心挑战。
在此背景下，《npj Digital Medicine》发表研究提出VITALIS框架，旨在打破任务边界，构建面向肺结节全面分析与风险分层的图结构视觉-语言多模态模型。该工作通过融合CT与PET/CT成像、结构化放射学报告文本，利用图感知Transformer捕获解剖与临床语义关联，并以神经微分方程（Neural ODE）驱动连续时间潜在风险动态，实现了多任务协同的解码与个体化生存曲线预测，为肺癌整合诊断与预后评估提供了可解释、可扩展的计算基础。
研究依托多中心公开队列，关键技术包括：①多模态输入编码：将CT/PET-CT图像块与去识别化结构化放射文本转化为图像-文本图节点特征；②图感知Transformer架构：引入Laplacian扩散算子增强图上token特征传播，设计结构注意力（聚焦解剖邻近区域）与先验引导注意力（捕捉临床相关性强的上下文），经双向图像-文本条件化融合生成患者统一表征；③动态风险建模：以融合表征参数化context-modulated Neural ODE，构建连续时间潜在风险过程；④多任务解码头：从潜在轨迹同步输出结节检测框、恶性分类置信度、生存风险函数及结节计数分布。
结节检测与定位性能
通过对比FROC曲线与敏感度-假阳性率指标，VITALIS在多个公共数据集实现高召回下的低假阳性结节定位。图结构注意力机制有效抑制非病灶区域的误报，尤其在亚实性结节与小尺寸病变中优于单模态检测器，证明图文跨模态对齐可提升解剖细微结构的辨识鲁棒性。
恶性风险分类与结节计数一致性
结合PET代谢活性与CT形态特征的图文融合表征，显著提升良恶性分类AUC，较基线模型降低分类不确定性。结节计数预测与放射医师标注高度吻合，跨序列稳定性增强，验证了多任务共享表征对量化指标的泛化能力。
个体化生存风险估计
Context-modulated Neural ODE拟合的连续时间风险轨迹，在不同随访区间均保持良好校准，C-index显著高于离散时间模型。动态潜在状态捕捉了治疗响应与病程演变的非线性趋势，为高风险人群早筛与干预时机选择提供时序敏感依据。
本研究证实，耦合图感知多模态编码与连续时间潜动力学，可实现肺结节检测、恶性分级、生存预测与结节计数的协同优化。Laplacian扩散强化了影像与文本语义在图拓扑上的交互，而结构/先验注意力解决了长程依赖与临床优先级错配问题。Neural ODE驱动的风险过程突破传统离散事件模型的局限性，使个体化预后评估具备连续时间维度可解释性。VITALIS框架不仅减少多系统串联误差，更为多模态医疗AI提供“感知-认知-推演”一体的建模思路，未来有望拓展至其他肿瘤的多任务预后场景。
打赏
