文章目录
- 1. MatterGen 框架
- 2. 评价基础模型生成能力的指标
- 3. MatterGen 基础生成能力表现
- 4. MatterGen 定向生成能力表现
- i. 指定晶体化学式
- ii. 指定标量性质
- 1. 每个性质微调一次。
- 2. 两个性质联合微调
- 5. 实验合成
- 6. 模型细节
这篇文档简单介绍 MatterGen 论文亮点。
标题:A generative model for inorganic materials design
代码
1. MatterGen 框架
i. 基于扩散,引入等变神经网络,对原子坐标、原子元素种类和晶格常数进行去噪。此为基础模型。
ii. 通过添加 adapter 模块,对基础模型进行微调,能够实现无条件引导器的定向生成。
iii. 支持的引导类型:化学式、对称性、目标标量性质
2. 评价基础模型生成能力的指标
i. S.U.N. 指标:分别代表 Stable, Unique, Novel,即,稳定的,唯一的,新颖的,晶体结构。是一个百分比。
ii. Stable, Unique, Novel 具体定义细节在 SI 中,作者还设计了新的评测工具。
iii. RMSD 指标:表示,模型生成结构和 DFT 几何优化后的结构,二者之间的误差。
3. MatterGen 基础生成能力表现
i. 在同一训练集下,MatterGen 比先前 SOTA 表现高 1.5 倍。如果扩充训练集,MatterGen 能力能够进一步提高。
ii. 在小批量生成时,唯一性较高,直到 10w 量级以后才出现下降。
4. MatterGen 定向生成能力表现
i. 指定晶体化学式
- MatterGen 基础模型在含有 化学式 Adapter 模块下进行微调 和 Substitution 和 RSS (random structure search), 以及最大的数据库 Alex-MP-ICSD (比训练集多一些 disordered 的结构)进行比对
- 由于训练集在不同元素上,分布有所差异,因此,作者在设计实验时,将其分为了,充分探索过的、部分探索过的、没有探索过的。三个类型。
- 同时,设计了 3元、4元、5元,三个生成任务。 使用 S.U.N. 指标 和 Structures combined hull (稳定性)进行评估,结果如下:
ii. 指定标量性质
1. 每个性质微调一次。
- MatterGen 基础模型在部分含有特殊标量性质的数据集下,以及 Adapter 模块下进行微调。
- 使用 DFT 和 MLFF 对生成结果进行打分,和训练集分布进行对比
- 给定 DFT 计算次数的预算,从 MatterGen 定向生成结果中进行筛选,与两种策略进行对比:a. 训练集中符合条件的总数,b. 训练集外,未被标注的数据,使用 ML 进行打分,并使用 DFT 预算对高分结构进行筛选
2. 两个性质联合微调
- 高磁强度的结构(Magnetic density 高),同时具有,低供应链成本(HHI score低)
- 对比训练集数据,以及,仅对 Magnetic density 微调的 MatterGen 模型进行对比
5. 实验合成
- 使用 MatterGen 定向生成具有指定 体积模量 的晶体。
- 作者使用 DFT 进行了多指标多轮筛选,在 200 体积模量的定向引导下,最终获得了 75 个 promising 数据,其中挑出了 4 个供实验合成。其中一个被成功合成出,并进行了结构表征。
- 该实验结构一个在化学成分上是无序的,但其结构框架仍然是 MatterGen 预测的有序结构的变体。
6. 模型细节
- 起始学习率 1e-4,当训练损失在 100 个 epoch 内没有减少时,以 0.6 的因子逐步降低,最低降至 1e-6。
- 批次大小 512
- float32 精度
- MatterGen 包含 46.8M 个参数
- 在一个训练 epoch 中,大约 60 万个训练样本在 8 个 NVIDIA A100 GPU 上大约需要 6 分钟。
- 使用单个 NVIDIA V100 GPU 采样 500 结构每小时。
- 下图为训练集和测试集
训练集 Alex-MP-20(607,683 个) 和 MP-20 的比较,20 指单胞中最多含有 20 个原子