MMIU-Net：一种基于多模态特征融合的编解码器架构，用于干旱胁迫下小麦产量的预测

摘要

为了解决基于实地数据的多模态数据中由于强烈的时空异质性、信息尺度不一致以及特征关系复杂导致的回归性能不佳的问题，本研究提出了一种嵌入在编码器-解码器网络中的分层融合框架。该框架通过协调的模块整合了多尺度、可解释的和跨模态的表示，以弥合特征差异理解和信息流调节之间的差距。设计了一种多尺度并行路径结构，利用具有不同感受野的特征映射来增强对局部和全局信息的联合感知。进一步引入了一种可解释的特征重要性分配策略，以提高主干网络在特征贡献方面的动态指导能力。这使得模型能够在多模态融合过程中进行自适应权重分配和特征选择。此外，构建了一种跨模态的密集交互和门控融合机制，以调节信息流并捕捉跨模态的细粒度关联。改进后的特征引导模型应用于使用连续三年收集的多模态数据和多种小麦品种进行回归分析。结果显示，在第一年，模型的最高预测准确率为0.8112，均方根误差（rRMSE）为16.85%。使用第二年和第三年同一种植区域的数据进行验证时，模型的最高预测准确率分别为0.8107和0.7986，对应的rRMSE值分别为17.92%和17.27%。与其他同年内的深度学习模型相比，所提出的方法在三年内的预测准确率分别提高了30.52%、33.96%和32.79%，同时将rRMSE降低了41.59%、45.01%和46.43%。结果表明，模块间的协调交互建立了一条从特征差异理解到信息流调节的集成优化路径，并在决策过程中保持了可解释性。在具有多种不确定性来源的复杂田间条件下，基于交叉验证和t检验分析，该框架实现了5%到10%的稳定模块贡献。这有效缓解了在压力条件下进行高效多模态特征融合以进行稳健产量预测的难度。本研究为多模态农业感知和作物表型分析提供了新的方法论视角。