肺癌是全球癌症相关死亡的主要原因之一，该问题需要适当且及时的诊断措施。本研究提出了一种名为HyMoIF-Net（混合分子-影像融合网络）的新的放射基因组深度学习框架，该框架将计算机断层扫描（CT）影像特征与基因表达数据相结合，用于肺癌分类。CT影像来源于癌症影像档案库（TCIA），对应的基因组谱则从癌症基因组图谱肺腺癌（TCGA-LUAD）和肺鳞状细胞癌（TCGA-LUSC）项目中获取。研究中，卷积神经网络（CNN）用于提取CT扫描的空间特征，而全连接网络用于处理基因表达特征。所提出的融合机制是一种交叉注意力融合机制，可有效整合多模态表征。在患者队列上的实证测试证明，所提出的模型能够获得优于单模态方法的分类结果。研究结果证明了放射基因组融合在提高诊断质量和辅助个体化治疗规划方面的潜力。获得的结果支持所引入的混合方法提升了传统系统的诊断性能，准确率高达96.3%，并为未来的肺癌早期检测、分期和个体化治疗规划提供了丰富的资源。
肺癌是全球癌症相关死亡的主要原因之一，每年报告超过180万死亡病例。肿瘤表现的异质性和传统诊断技术的局限性使得恶性结节的早期检测极具挑战性。因此，准确、及时的诊断对于提高患者生存率至关重要。传统的诊断方法主要依赖于如计算机断层扫描（CT）等成像模式，这些方法在识别可疑肺部模式方面是有效的。然而，这些技术通常在可靠区分良性和恶性结节方面存在困难，尤其是在早期阶段。此外，CT扫描的解读本质上是主观的，依赖于放射科医生的专业知识，导致观察者间的差异和诊断潜在的不一致性。随着人工智能的快速发展，用于增强医学影像临床决策的自动化高效诊断系统受到了极大关注。临床成像，特别是CT扫描，在检测异常肺部生长和肺结节方面起着主导作用。尽管CT成像使用广泛且无创，但其具有内在局限性。早期肺癌结节通常很小，并表现出细微的视觉特征，使其难以准确检测。此外，放射科医生可能需要计算辅助来识别可能指示恶性的微小结构变异。观察者间差异的存在进一步使诊断过程复杂化，因为不同的放射科医生可能对同一扫描图像做出不同的解读，可能导致延迟或不一致的治疗决策。近年来，精准医学的进展凸显了将分子水平信息整合到诊断流程中的重要性。基因组学和转录组学分析为基因表达模式、突变以及与肿瘤发展和进展相关的生物通路提供了宝贵的见解。关键遗传改变，如表皮生长因子受体（EGFR）、间变性淋巴瘤激酶（ALK）和Kirsten大鼠肉瘤病毒癌基因同源物（KRAS）基因的突变，已被确定为肺癌患者肿瘤行为和治疗反应的关键指标。这些分子特征为影像数据提供了补充信息，实现了对疾病进展更全面的理解，并支持个体化治疗策略。在此背景下，放射基因组学已成为一种结合影像特征与分子数据以提高诊断准确性的有前景的方法。本论文发表在《Advances in Biomarker Sciences and Technology》期刊。
为开展此项研究，研究人员采用了一项关键技术方法。其核心是提出并构建了名为HyMoIF-Net的混合多模态深度学习框架，该框架设计用于基于CT影像特征和分子（基因表达）数据对肺结节进行多分类。研究数据来源于两个主要的公共数据库：来自癌症影像档案库（TCIA）的高分辨率肺部CT扫描，以及来自癌症基因组图谱肺腺癌（TCGA-LUAD）和肺鳞状细胞癌（TCGA-LUSC）项目的对应基因组（基因表达谱）数据。通过TCGA条形码进行患者层面的匹配，构建了一个对齐的影像-分子配对数据集。整个HyMoIF-Net的工作流程包含七个主要步骤。第一步是数据采集与预处理。CT影像预处理包括对CT扫描中的肺结节进行分割以隔离感兴趣区域（ROI），对ROI进行重采样（如至256×256像素）、基于最小-最大值的像素强度归一化，以及应用旋转、翻转和缩放等数据增强技术。分子数据预处理包括对每个特征（如基因表达水平）进行标准化（零均值、单位方差），并使用主成分分析（PCA）等技术降低维数。第二步是CT影像特征提取。研究人员使用一个定制设计的卷积神经网络（CNN）从预处理后的CT图像中提取分层特征。该CNN包含卷积层、非线性激活函数（如修正线性单元ReLU）、池化层（如下采样）和一种动态特征重校准机制，该机制类似压缩-激励（SE）模块，通过显式建模特征图之间的交互来重新校准特征响应，以自适应地增强图像中可能与恶性肿瘤相关的关键区域。第三步是分子特征提取。研究人员构建了名为GenePro-Net的全连接网络，用于从标准化后的分子数据中提取有意义的特征。该网络由输入层、多个隐藏层和输出层组成，通过权重矩阵和非线性激活函数（如ReLU）的变换，最终输出一个紧凑的分子特征向量。第四步是交叉注意力融合机制。这是模型的核心创新之一。该机制旨在学习分子数据与CT影像特征之间有意义的关联。它通过计算分子特征与影像特征之间的注意力分数，实现跨模态交互。具体而言，将分子特征和影像特征分别通过可学习的权重矩阵转换为查询（Query）、键（Key）和值（Value）向量，然后计算注意力分数，并基于这些分数对特征进行加权求和，从而生成与另一模态对齐的新特征表示。这个过程是双向的，确保了分子数据能够为CT影像区域的分析提供信息，反之亦然。第五步是自适应特征融合。在此步骤中，将经过交叉注意力调整后的CT影像特征和分子特征进行组合。采用了一种自适应策略，通常涉及具有可学习权重的加权和或拼接操作，以动态调整每种模态的重要性，从而形成统一的、信息丰富的融合特征向量。随后对该向量进行归一化处理以确保尺度一致。第六步是多类别分类。融合后的特征向量被输入一系列全连接层进行最终分类。这些层学习特征的组合以区分肺结节类别（例如，良性、早期恶性、晚期恶性）。最后一层是Softmax层，它将原始分数（logits）转换为每个类别的预测概率。整个模型的训练目标是使用交叉熵损失函数，并通过优化算法（如Adam）最小化该损失。第七步是通过算法总结整个流程。HyMoIF-Net算法系统地处理了从数据验证、特征提取、融合到分类的整个过程，并在每个阶段处理错误，确保了流程的鲁棒性。该模型在配备GPU的系统上实现，使用Adam优化器进行训练，学习率设置为0.001，批大小为32，训练周期为50，并采用80:20的数据集划分进行训练和测试。
研究人员在“结果与讨论”部分对模型进行了全面的实验评估，其研究结果和结论如下：
数据集描述 ：研究所用数据为多模态配对数据。CT影像数据来自TCIA公共存储库，是包含肺结节的高质量胸部CT扫描（DICOM格式）。基因组数据来自TCGA-LUAD和TCGA-LUSC项目，主要利用基因表达谱。通过TCGA条形码将TCIA的CT图像与TCGA的基因组谱进行患者级别的配对，构建了一个包含对齐的结构（影像）和分子（基因表达）信息的放射基因组数据集。数据集最终被分为训练集和测试集（80:20）。
结果与讨论 ：实验采用标准化配置以确保结果的可重复性。提出的HyMoIF-Net模型在关键性能指标上表现出色。模型在测试集上达到了96.3%的准确率，精确率为95.6%，召回率为95.2%，F1分数为95.4%，曲线下面积（AUC）为0.98。混淆矩阵显示模型在区分良性、早期恶性和晚期恶性三类样本时具有很高的正确分类率，且误分类最少，分布均衡。接收者操作特征（ROC）曲线下面积（AUC）值很高，表明模型在区分类别方面具有很强的判别能力。训练和验证准确率曲线显示，随着训练周期增加，准确率稳步上升并收敛，表明学习行为稳定，且没有明显的过拟合。训练和验证损失曲线同样显示损失值逐渐下降，且两条曲线紧密对齐，证实了模型优化的有效性。
消融研究与比较分析 ：为了评估多模态融合的有效性，研究人员进行了消融研究，比较了仅使用CT影像（CNN）、仅使用分子数据（GenePro-Net）以及提出的融合模型的性能。结果表明，CT单模态的准确率为92.1%，分子单模态的准确率为88.4%，而提出的融合模型准确率最高，达到96.3%。这证明了整合影像和分子特征可显著提升分类性能和诊断可靠性。研究人员还将HyMoIF-Net与多种现有的先进深度学习模型进行了比较，这些模型包括DCCAFN、DADFN、MMDL、MFDNN、SAMA、FexViT、CCDC-HNN和DBOMDFF-LCC。比较所依据的指标包括准确率、精确率、召回率、F1分数和AUC。结果显示，HyMoIF-Net在所有评估指标上均优于所有基线方法。例如，在准确率上，它超过了DBOMDFF-LCC的95.1%和CCDC-HNN的94.2%。在精确率、召回率和F1分数上，HyMoIF-Net也均取得了最高值。这些结果证实了所提出的放射基因组融合方法和基于注意力的特征整合策略的有效性。
在最后的总结讨论部分，研究人员得出结论：本研究提出了HyMoIF-Net，一个用于改进肺癌分类的新型放射基因组深度学习框架，它整合了CT影像特征与基因表达数据。所提出的模型有效地结合了用于从CT图像提取空间特征的卷积神经网络和用于处理基因组数据的全连接网络，同时基于交叉注意力的融合机制实现了高效的多模态整合。该方法使模型能够捕捉肺结节的结构和分子特征，从而提升诊断性能。实验结果表明，所提出的HyMoIF-Net达到了96.3%的准确率，优于多个现有的先进模型。研究结果强调，与单模态方法相比，多模态融合显著提高了分类性能，从而支持了更可靠、更稳健的肺癌诊断。基于注意力的特征融合的融入进一步增强了模型聚焦于临床相关模式的能力，提高了整体预测准确性和泛化能力。总体而言，所提出的框架通过实现更准确和数据驱动的临床决策，为支持肺癌诊断中的精准医学提供了一个可扩展且有效的解决方案。在未来工作中，可以通过结合更大、更多样化的数据集以及实时临床数据集成来扩展模型，以进一步提高其在现实世界医疗环境中的稳健性和适用性。
打赏
