罕见肿瘤的生长模式非典型且在多数情况下发病率较低，这使其成为肿瘤学领域的一个严重挑战。由于上述原因，大多数罕见肿瘤患者面临诊断延迟和错误诊断的问题，从而导致预后不良和治疗选择有限[1]、[2]、[3]。医学成像技术的发展为临床医生提供了关于肿瘤形态、进展和空间特征的详细信息（通过CT和MRI等模态）。因此，需要精确且重复的分析方法来检测和分类罕见肿瘤，因为这些肿瘤具有更高的复杂性、微妙的变异性和复杂的生长模式[4]、[5]、[6]。脑肿瘤是最罕见的肿瘤类型之一，其亚型多样、解剖位置关键且对神经功能至关重要，这进一步增加了检测和分类的难度。准确检测和分类罕见肿瘤的必要性在于早期和准确的分析，这对治疗结果和患者生存率有重要影响[7]、[8]、[9]。
传统的肿瘤自动检测和分类方法（如CNN和其他先进的机器学习技术）在分析医学图像数据方面具有巨大潜力[10]、[11]、[12]、[13]。然而，传统方法的局限性使其在处理罕见病例时效果不佳，这主要是由于它们对肿瘤大小、形态和纹理变化的敏感性较高。当前方法也无法处理超高分辨率医学图像（计算复杂度高[14]、[15]、[16]、[17]）。这对于解析肿瘤的细微结构至关重要。大多数现有技术都是单模态的（如CT或MRI），未能充分利用多模态成像的互补信息，从而限制了诊断准确性并降低了捕捉肿瘤行为完整性的能力[18]、[19]、[20]。这些方法严重依赖监督学习，因此需要大量标记数据，而在罕见肿瘤类型的情况下，这类资源非常有限。在大多数情况下，敏感的医疗数据无法在不同机构之间方便共享，从而阻碍了基于AI的医疗保健进展[21]。
本研究提出了基于联邦混合稀疏变换器与多尺度动态注意力（FHST-MDA）的下一代框架，专门用于应对多模态成像中罕见肿瘤检测和分类的挑战。该创新框架结合了多个关键模块，超越了传统方法的局限性。首先，稀疏标记化技术能在保持高精度的同时降低计算复杂度；多尺度动态注意力机制增强了模型在微观、中观和宏观层面分析肿瘤特征的能力，从而全面理解肿瘤特性。该框架通过边缘感知的多模态融合有效整合了CT和MRI数据，利用它们的互补优势来提高检测和分类精度。基于梯度的注意力图增强了模型的可解释性，突出了与决策过程相关的关键区域，并为临床医生提供了可操作的见解。此外，它采用了保护隐私的联邦学习方法，支持协作训练而不暴露患者敏感数据。这一创新使FHST-MDA在可扩展性、准确性和罕见肿瘤检测与分类的解释性方面处于领先地位。
由于肿瘤形态复杂、标记数据集有限以及计算要求高，超高分辨率医学成像中的罕见肿瘤检测和分类是一项艰巨的任务。传统方法在精确度和可扩展性之间难以平衡，常常导致罕见或微妙肿瘤类型的误诊或延迟发现。此外，多模态数据之间的整合不足限制了诊断模型的准确性和泛化能力。本研究提出了一个新框架，结合了先进的注意力机制、多模态数据融合和保护隐私的联邦学习，以实现高效、准确且可扩展的肿瘤检测和分类。
- •
提高诊断精度：多尺度注意力机制能够捕捉层次化的肿瘤特征，从而提高检测准确性和分期分类能力。
- •
多模态整合：利用CT和MRI的优势，实现对肿瘤特征的全面分析。
- •
保护隐私的框架：通过联邦学习进行端到端模型训练，同时保护患者敏感数据隐私。
- •
高效计算设计：采用稀疏标记化和注意力机制，确保计算成本不会影响性能。
- •
提升临床相关性：为临床医生提供可解释的AI输出结果，包括基于梯度的注意力图。
在CT和MRI等多模态成像中准确检测和表征罕见肿瘤是一个挑战，主要原因是肿瘤形态复杂、标记数据集不足以及计算效率低下。现有的方法（如Tummala [22]和Reddy [23]提出的ViT模型）虽然准确率较高，但泛化能力有限且不可解释，仅适用于单一数据集，这限制了其临床应用。最近的高级框架（如HRSTNet Wei [24]）试图解决空间分辨率问题，但需要大量计算资源，不适合资源受限的环境。为了克服这些限制，本研究提出了FHST-MDA方法，该方法利用稀疏标记化提高计算效率，多尺度注意力机制提取更多特征，边缘感知的多模态融合实现稳健的多模态整合，并通过联邦学习保护数据隐私。
