脑肿瘤分割是胶质母细胞瘤患者生存预测的基础，因为准确的肿瘤区域分割直接影响到生存预测特征的提取。传统方法将分割和生存预测视为独立的任务，从而创建了一个可能导致错误传播的流程（Liang等人，2024年）。该领域的发展始于手动肿瘤测量与Cox比例风险模型的结合（Cox，1972年），随后发展为半自动化分割结合手工放射组学（Mazher等人，2024年），现在则采用深度学习进行分割和生存预测。然而，大多数当前方法仍然保持这种分离，使用预训练的分割模型，其输出被输入到独立的生存预测网络中（Liang等人，2024年）。这种分离阻碍了生存目标指导分割朝向有助于准确生存预测的相关边界，同时分割错误在流程中累积而未得到纠正（Liu等人，2024年）。
最近的进展展示了联合分割和生存预测方法的潜力。Pálsson等人（2022年）表明，将自动全脑分割与生存模型结合使用，获得了0.631的一致性指数（C-index），尽管他们使用的是没有联合优化的独立网络。Kwon等人（2024年）通过生成模型进行分割和缺失模态插补，同样取得了0.740的C-index。Hussain等人（2023年）的ETISTP框架通过增强肿瘤信息提取，也取得了0.740的C-index，但他们依赖于需要领域专长的手工放射组学。
现有方法中使用的分阶段流程存在三个根本问题，我们的统一师生框架解决了这些问题。首先，当分割错误未经纠正地传递到生存预测时，会导致错误累积。基于知识蒸馏的分割网络已被证明可以提高医学图像分割的准确性和效率（Qian等人，2021年；Wang等人，2023年），这促使我们使用一个稳定的“教师”在联合优化过程中指导“学生”模型。其次，对手工放射组学的依赖需要手动特征工程和领域专长。第三，分阶段流程通常会传递二进制掩码，这会丢弃不确定性信息并忽略不同肿瘤亚区域之间的关系，使得生存模型对边界错误或扫描仪变化敏感（Chen等人，2024年）。
为了解决这些问题，与通常处理原始图像、手工放射组学或二进制肿瘤掩码的多模态Transformer不同，我们引入了一个统一的架构，其中生存分支接收来自分割骨干的软概率图，该分割骨干使用了SwinPAC-UNETR（增强了注意力门和金字塔池化的Shifted Windows UNet Transformer），从多模态MRI中提取整个肿瘤的分割图，使模型能够利用更丰富的形状和置信度线索，同时将分割模块视为一个完整的特征提取组件。这些图与临床数据一起，然后由多模态Transformer通过基于掩码的条件全局平均池化（MGAP）进行生存预测，该算法将区域感知的体积线索聚合成紧凑的全局表示。师生框架仅在我们的多模态Transformer上运行，其中当前的多模态Transformer充当“学生”，其指数移动平均（EMA）版本充当“教师”。与之前专注于视觉特征一致性的EMA蒸馏方法不同，我们的框架将EMA蒸馏专门应用于与生存相关的表示。这一设计在医学成像研究中验证了三个关键优势。首先，EMA教师（多模态Transformer的平均权重）通过时间平均提供了更高的稳定性，减少了噪声并提高了泛化能力，因为研究表明EMA模型在早期阶段的表现更好，且所需的学习率衰减比标准SGD更少（Sanyal等人，2024年）。其次，使用预训练的分割模型消除了联合分割训练的需要，使我们能够将计算资源集中在学习肿瘤特征与生存结果之间的复杂关系上（Isensee等人，2021a；Milletari等人，2016年）。第三，师生多模态Transformer之间的知识蒸馏确保了生存模式的稳定学习，教师提供了一致的监督，防止过拟合，同时学生探索特征空间。医学成像研究表明，这种方法在提高训练稳定性的同时保持了性能（Asif等人，2022年）。我们的主要贡献包括：
- 1.
开发了一个统一的架构，将分割方法与先进的注意力机制（CBAM、PPM和注意力门）集成在一起，以增强肿瘤分割并实现稳健的肿瘤勾画。
- 2.
实现了一个多模态Transformer网络，将图像特征与临床变量融合，以进行准确的生存预测，其中采用了新颖的基于掩码的条件全局平均池化（MGAP）机制，用学习到的掩码感知令牌替换了手工放射组学。
- 3.
引入了一个基于指数移动平均（EMA）的知识蒸馏师生框架，实现了0.6762的C-index，相对于最先进的方法，模型的稳定性和可解释性得到了提升。
- 4.
采用了一种基于课程的一致性学习策略，逐步混合真实和预测的肿瘤掩码，提高了对分割不确定性和预测噪声的鲁棒性。
