基于Transformer的通用原子嵌入策略显著提升晶体性质机器学习预测精度

时间：2025年2月1日

来源：Nature Communications

编辑推荐：

为解决传统原子嵌入方法在晶体性质预测中的局限性，复旦大学等机构研究人员开发了基于Transformer架构的通用原子嵌入策略(ct-UAEs)。通过CrystalTransformer模型生成的原子嵌入在Materials Project等数据库测试中，使CGCNN和ALIGNN模型对形成能(Ef)的预测精度分别提升14%和18%，并在杂化钙钛矿数据库中实现最高34%的改进。该研究为材料基因组工程提供了可迁移的原子指纹表征方法，有效缓解数据稀缺挑战。

在材料科学领域，准确预测晶体性质对新能源、信息技术等关键技术的发展至关重要。传统机器学习模型依赖人工设计的原子特征，存在信息提取不充分、跨数据库迁移性差等瓶颈。尤其面对杂化有机-无机钙钛矿(HOIP)等新型材料时，数据稀缺更导致模型性能急剧下降。如何建立普适性原子表征方法，成为突破材料智能设计的关键难题。

复旦大学等机构的研究团队在《Nature Communications》发表的研究中，创新性地将自然语言处理中的Transformer架构引入材料科学，开发了CrystalTransformer模型。该模型通过自注意力机制学习原子间的物理化学相互作用，生成具有通用性的原子嵌入张量(ct-UAEs)，在多个材料数据库测试中展现出卓越的预测性能和迁移能力。

研究主要采用三项关键技术：1）基于Transformer的CrystalTransformer模型架构，通过拓扑增强的坐标变换和多重自注意力层提取原子特征；2）多任务学习框架，同步优化形成能、带隙等多项性质预测；3）统一流形逼近与投影(UMAP)聚类算法，解析原子嵌入的物理意义。测试数据来自Materials Project(MP)、Jarvis和MC3D等权威数据库。

Universal atomic embeddings
通过对比三种原子嵌入生成方法，研究发现ct-UAEs在MP数据库上使CGCNN模型对形成能(E_f)和PBE带隙(E_g^PBE)的预测均方误差(MAE)分别降低14%和7%。值得注意的是，仅用带隙任务训练的嵌入迁移至形成能预测时仍提升6%准确率，证明其跨任务泛化能力。

Transferability of ct-UAEs
多任务嵌入(MT@2p)在MP数据集上实现18%的E_f预测提升。在Jarvis数据库中，ct-UAEs使CGCNN的E_f和E_g预测MAE分别降低17.5%和12.8%。特别在HOIP材料(仅2103个样本)中，MEGNET模型预测精度提升34.38%，显著缓解了小数据场景下的过拟合问题。

Interpretability
通过UMAP降维和K-means聚类，89种元素被分为三类：A类(IIA/IIIB/IVB族)元素氧化物形成能集中于-4.0至-2.5 eV/atom，对应宽带隙(3-6 eV)；B类(VB-VIIIB族)展现铁磁性且带隙较窄(0.5-2.5 eV)；C类(IA/IB/IIB族)具有中等带隙(1-4 eV)。SHAP分析发现原子半径等物性与特定嵌入维度强相关(R²>0.78)。

CrystalTransformer模型设计
该模型通过线性变换将原子类型(L维)和坐标(D维)映射到C维空间，经多层自注意力机制学习原子间相互作用。与GNN的O(n·d²)复杂度相比，其O(n²·d)复杂度在512晶体/批次的实测中仅耗时21秒，验证了工程可行性。消融实验显示坐标信息缺失会使带隙预测MAE增加16%。

这项研究开创性地将Transformer架构应用于原子尺度表征，其ct-UAEs不仅突破现有GNN模型的精度极限，更通过可解释的嵌入维度揭示了元素周期律与材料性能的深层关联。特别是在数据稀缺的HOIP材料预测中展现的强迁移性，为新型功能材料的加速发现提供了通用解决方案。未来，该方法可与第一性原理计算结合，构建更完整的材料设计智能闭环。