AI「反腐」，德国马普所结合 NLP 和 DNN 开发抗蚀合金

内容一览：在被不锈钢包围的世界中，我们可能都快忘记了腐蚀的存在。然而，腐蚀存在于生活中的方方面面。无论是锈迹斑斑的钢钉，老化漏液的电线，还是失去光泽的汽车，这一切的发生都与腐蚀有关。据统计，全世界每年由金属腐蚀带来的经济损失超过
2.5 万亿美元，远超过其他自然灾害。其中，腐蚀在中国造成的经济损失约 3,949 亿美元，占中国 GDP 的 4.2%。正因为此，研究者们一直在探索抗蚀性能更好的合金或是金属保护膜。如今，在优化材料抗蚀性能的过程中，AI 派上了用场。

关键词：自然语言处理深度神经网络腐蚀

作者 | 雪菜
编辑 | 三羊

本文首发于 HyperAI 超神经微信公众平台~

据美国腐蚀工程师协会 (NACE, National Association of Corrosion Engineers) 统计，2013 年全世界由腐蚀造成的经济损失超 2.5 万亿。同时，中国也饱受腐蚀的困扰，经济损失约 3,949 亿美元，占当年 GDP 的 4.2%，较其他发达国家比例略高。

作为对比，2008 年汶川大地震造成的经济损失约 1,100 亿美元。也就是说，早在 2013 年，仅腐蚀为我国带来的经济损失，就超过了 3 个汶川大地震。
在这里插入图片描述 表 1：2013 年世界各地因腐蚀造成的经济损失（单位：十亿美元）

为破解腐蚀难题，研究者们在致力于提升材料强度的同时，也在不断寻找提升材料抗蚀性能的方法。 借助 AI，他们已经取得了一定的进展，如对高温下合金的腐蚀机制进行了预测，对钢铁的大气腐蚀速率和钢筋混凝土的环境腐蚀进行了分析，并能够用卷积神经网络 (CNN) 从图像中判断材料的腐蚀形式。

然而，机器学习模型的输入数据多为数值数据。但在金属材料的加工和分析中，除了 pH 值、测试温度等数值数据，还有材料类型等分类数据及热处理过程、测试方法等文本数据。传统的机器学习模型无法对所有数据进行彻底读取和分析，预测准确率较低。

为此，德国马克思普朗克铁研究所 (MPIE, Max-Planck-Institut für Eisenforschung) 将深度神经网络 (DNN) 和自然语言处理 (NLP) 相结合开发了进程感知 DNN。 这一模型可以将数值数据和文本数据结合处理，其准确率较其他模型提升了 15%。

同时他们将金属的物理化学特性转换为描述符，构建了特征变换 DNN， 可以用于预测训练集中不存在的元素对抗蚀性能的影响。这项研究已于 2023 年 8 月发表于《Science Advances》，标题为「Enhancing corrosion-resistant alloy design through natural language processing and deep learning」。

在这里插入图片描述

相关研究已发表于《Science Advances》

论文链接：
https://www.science.org/doi/10.1126/sciadv.adg7992

进程感知 DNN

模型设计

本研究数据集为 5 类 769 种合金的点蚀电位，数据集中包括数值数据、分类数据及文本数据。其中，数值数据被直接输入模型中，分类数据通过顺序编号转为数值输入模型，而文本型数据则通过 NLP 架构处理后输入模型。

NLP 架构主要分为三个部分，包括词汇标记、向量化和向量序列的处理。

词汇标记过程中，每个词汇被一个特定的整型数字 (integer token) 替换。通过词汇标记，一个词组或句子就被转换为一个整型向量 (integer vector)。

词汇标记之后，虽然文本数据转换成了数值，但数值之间没有任何关联，无法承载原文的语义。因此，整型向量会经过向量化转换为 n 维浮点型向量。在训练过程中，每个词汇的权重被不断优化。训练完成后，向量间的接近度则对应着它们的语义相似性。

最后，n 维浮点型向量通过长短期记忆递归神经网络 (LSTM) 转换为单一向量，进入输入层。LSTM 可以通过门函数，识别词汇间的长期依赖性。因此，LSTM 可以从给定语句中找出关键的相关词汇，将语句中最重要的部分传递给 DNN 的输入层。

在这里插入图片描述

图 1：进程感知 DNN 模型结构

A：NLP 数据处理工作流
B：进程感知 DNN 模型示意图

训练及验证

训练之后，研究者对模型的绝对平均误差进行了汇总。进程感知 DNN 的平均绝对误差约 150 mV，较简单 DNN 降低了 20 mV。预测点蚀电位和实际点蚀电位之间的 R² 为 0.78 ± 0.06，较简单 DNN 的 0.61 ± 0.04 更高。上述结果说明，在对文本数据进行分析之后，进程感知 DNN 的性能优于简单 DNN 模型。

在这里插入图片描述

图 2：进程感知 DNN 训练结果

A：训练及验证过程中的平均绝对误差，其中红线为简单 DNN 模型的平均绝对误差；
B：进程感知 DNN 与简单 DNN 模型的结果对比。

合金组分优化

为了对比进程感知 DNN 与简单 DNN 在合金组分优化过程中的差异，研究者从相似的合金组分开始，用相同的学习率，利用两种模型分别对合金组分进行了优化。

在这里插入图片描述

图 3：组分优化结果

A&B：铁基合金优化结果；
C&D：Ni-Cr-Mo 合金优化结果；
E&F：Al-Cr 合金优化结果；
G&H：高墒合金优化结果。

图中可以看到，两种模型对铁基合金和 FeCrNiCo 高墒合金的优化结果存在部分的相似性，但对其他两种合金的优化结果差异很大。 首先，进程感知 DNN 预测 Mo 元素含量增加，会显著提高铁基合金和 Ni-Cr-Mo 合金的点蚀电位。其次，进程感知 DNN 认为在 Ni-Cr-Mo 合金中，间隙氮和间隙碳可以提升合金的点蚀电位。最后，在 Al-Cr 合金中，Cu 元素也有利于点蚀电位的提升。这些都是简单 DNN 所忽视的。

特征变换 DNN

模型设计

通过合金组分特征化函数「WenAlloys」，合金的组分信息还可以被分解为一系列原子、物理及化学特性，并变换为不同的描述符，作为 DNN 模型的输入值。
在这里插入图片描述

表 2：部分特征的变换结果

其中 c_i、r_i、X_i 及 E_c,i 分别代表原子分数、原子半径、泡利电负性、元素结合能。

训练及验证

在这里插入图片描述

图 4：特征变换 DNN 的训练结果

A：模型训练及验证过程中的误差曲线；
B：训练之后预测点蚀电位和实际点蚀电位的回归曲线；
C：特征变换 DNN 及简单 DNN 的结果对比。

训练后，特征变换 DNN 的平均绝对误差约 168 mV，R² 为 0.66，性能较简单 DNN 模型略有提升。

特征变换 DNN 对抗蚀机制的分析

从五类合金中各选出一种进行特征变换，之后输入模型中进行优化。基于优化曲线，输入特征可以被分为两类。一类特征曲线在优化过程中变化显著，超出了训练集中的预期；另一类特征在优化过程中只有微小的变化。

在这里插入图片描述

图 5：不同输入特征的优化曲线

图中是 4 个优化过程中发生显著变化的特征，这意味着这些特征可能是提升合金点蚀电位的重要参数。

特征变换 DNN 对 Al-Cu-Sc-Zr 合金的预测

由于特征变换 DNN 的输入中只有组分的原子、物理及化学特征，因此它可以对训练集中不存在的元素进行预测。

在多种合金中，Sc 和 Zr 元素都展现出了对抗蚀性能的提升。因此，研究团队利用特征变换 DNN 对这两种元素对 Al-Cu 合金的影响进行了分析。

在这里插入图片描述

图 6：特征变换 DNN 对 Al-Cu-Sc-Zr 合金的点蚀电位预测结果

如图所示，随着 Zr 和 Sc 元素含量的增加，合金的点蚀电位不断提升，说明合金的抗蚀性能有所提高。这一结果验证了特征变换 DNN 对新元素的预测能力。

上述结果说明，将 NLP 与 DNN 结合之后，模型能够读取有关合金加工和测试方法的文本数据， 因此较传统的 DNN 模型性能更好，并能够发现简单 DNN 所忽略的元素对合金抗蚀性能的影响。而特征变换 DNN 则可以从合金的原子、物理及化学性质出发，对训练集中不存在的元素的性能进行预测。

腐蚀：沉默的金属杀手

2009 年，世界腐蚀组织 (WCO) 将每年的 4 月 24 日确立为世界腐蚀日，以提升公众对腐蚀的认知。作为一种常见的化学现象，腐蚀存在于我们生活中的每个角落。无论是厨房的各种用具，还是家用的各类电器，还有横跨海陆空的的交通工具，乃至独具设计的各种建筑物，都饱受腐蚀的困扰。可以说，有金属的地方就有腐蚀。

金属腐蚀包括化学腐蚀和电化学腐蚀，其中电化学腐蚀的发生更为普遍，危害更大。电化学腐蚀是指两种金属在电解质溶液中形成回路，构成原电池，导致活泼金属被腐蚀的现象。常见的电化学腐蚀包括均匀腐蚀、点蚀、应力腐蚀、间隙腐蚀等。其中，非均匀腐蚀尤其是点蚀等不易被发现的腐蚀形式，对金属的危害更大，极易造成事故。
在这里插入图片描述