笔记整理：何仕玉珑，天津大学硕士

链接：https://arxiv.org/pdf/2203.08992.pdf

动机

最近的机器阅读理解数据集(如ReClor和LogiQA)需要对文本执行逻辑推理。传统的神经模型不足以进行逻辑推理，而符号推理机不能直接应用于文本推理。为了应对这一挑战，文章提出了一种神经符号方法，通过表示文本单元之间逻辑关系的图传递信息来预测答案。它引入了自适应逻辑图网络(AdaLoGN)，通过自适应推断逻辑关系来扩展图，本质上实现了神经推理和符号推理之间的相互迭代强化。文章还实现了一个新的子图到节点的消息传递机制，以增强上下文选项的交互来回答多项选择题。文章提出的方法在ReClor和LogiQA上显示了很好的结果。

亮点

AdaLoGN的亮点主要包括：

（1）一种新颖的神经-符号方法，其中神经和符号推理相互并迭代地加强彼此。

（2）在基于图的神经推理中，提出了一种新的基于聚合的消息传递增强方法。

概念及模型

MRC任务<c, q, O>由上下文c，问题q和一组选项O组成，O中只有一个选项是给定c的q的正确答案，MRC的任务目标就是找到这个选项。

对于每个选项o∈O，AdaLoGN通过一个预先训练的语言模型生成c, q, o的表示（即gc, gq, go），并构建一个原始的TLG（文本逻辑图），其中节点（即u1，…， u|V|）表示从c、q、o中提取的edu，边表示它们的逻辑关系。通过预训练模型得到它们的初始表示，然后以迭代的方式自适应扩展TLG（即符号推理），然后传递消息（即神经推理）来更新节点表示，从而生成TLG的表示hG，然后通过子图到节点消息传递加强图中的关系交互，最后，根据上述表述预测o的正确性。

模型整体框架如下：

·符号推理

假言三段论规则：如果E包含两条边<ui, impl, uj>和<uj, impl, uk>，可以向E添加两条边<ui, impl, uk>和<uk, rev, ui>。

转移规则：如果E包含一条边<ui, impl, uj>，可以向E添加两条边<uj, impl, ui>和<ui, rev, uj>。

邻接转移规则：其中 * ∈{∧，∨，→}和~表示文本中的邻接。例如，若E包含两条边<ui, conj, uj>和<ui, unk, uk>，则可以在E中添加一条uk和uj之间的双向conj边。

·神经推理

每个候选扩展ε对一组节点Vε⊆V应用推理规则。通过平均它们的向量表示形成ε的表示：

由于ε用于预测o的正确性，将hε与o的表示进行交互，来预测ε的相关性得分：

其中||表示向量拼接，其中τ是预定义的阈值。

此外，神经符号推理是迭代的。在第(l+1)次迭代中，使用原始的TLG重新启动符号推理，并在第l次迭代中使用神经推理的节点表示重新计算公式(6)。初始节点表示是从一个预先训练的语言模型中获得的。也即将V按照其在文本中出现的顺序扁平化为一系列节点，其中V被分为和分别表示从c和o中提取的节点。每个节点ui都是token序列。使用RoBERTa对由<s>和</s>连接的Vc和Vo进行编码，其中Vc和Vo内部的节点用特殊的标记“|”隔开：

对输出向量表示进行平均，形成每个节点ui∈V的初始表示：

·消息传递

为了让TLG中的节点彼此交互并融合它们的信息，引入了一种新的子图到节点的消息传递机制，以整体地传递从子图聚合的信息(例如，Vc)到一个节点(例如，每个ui∈Vo)。也即对于每个ui∈Vo，通过对Vc上的节点表示的注意加权和来计算ui参与的Vc的总体表示：

设Ni是ui的邻域集合。设为逻辑关系r∈R下的子集。通过向ui的邻居和Vc传递消息来更新ui的表示：

以类似的方式，对于每个ui∈Vc，计算由ui参与的Vo的集合表示，表示为。

实验

文章使用了两个基于推理的MRC数据集：ReClor、LogiQA。

在ReClor数据集上，如表2所示，AdaLoGN在测试集中比所有基线方法的性能至少高出1.30%，除了LReasoner (w/ DA)，它执行了数据增强，因此比较可能存在不公平。AdaLoGN和LReasoner (w/ DA)均超过60%，与人类水平的性能(63%)相当。

在LogiQA上，如表3所示，AdaLoGN优于测试集中的所有基线方法，包括LReasoner (w/ DA)。尽管如此，AdaLoGN的结果(40.71%)仍无法与人类水平(86%)相提并论。

作者还进行了消融研究，以评估方法中的两个主要技术贡献的有效性：TLG的自适应扩展和子图到节点的消息传递。

为了验证TLG的自适应扩展的有效性，比较了标准版AdaLoGN和两种去掉自适应扩展的变体：AdaLoGNno-ext不执行扩展；AdaLoGNfull-ext通过计算演绎闭包来执行完全扩展。

在ReClor上，如表4所示，两个变量在测试集上的准确率下降了0.70%-1.40%。在LogiQA上，如表5，下降更大，在测试集中为1.69%，可能是因为LogiQA中的问题更困难，所以适应性扩展的有效性变得更明显。但在两个数据集上，AdaLoGNfull-ext在测试集上并不比AdaLoGNno-ext好，这表明在神经推理中注入逻辑推理可能不会产生积极的效果。

为了验证子图到节点的消息传递的有效性，将AdaLoGN的标准版本与两种变体进行了比较：AdaLoGNn2n仅以标准方式执行节点到节点的消息传递；AdaLoGNn2n+只执行节点到节点的消息传递，但是，作为整体Subgraph-to-Node消息传递的替代方案，它在上下文子图中的每个节点和选项子图中的每个节点之间添加了一个双向的unk边，以增强上下文选项的交互。

在ReClor上，如表4所示，两个变量在测试集上的准确率下降了1.60%-2.60%。在LogiQA上，如表5所示，在测试集上下降了1.69%-1.85%。结果证明了子图到节点消息传递的有效性。与AdaLoGNn2n相比，AdaLoGNn2n+在测试集中的ReClor上取得了更好的结果，但在LogiQA上取得了更差的结果，这表明对上下文选项交互的简单增强可能会产生负面影响。

总结

为了应对基于推理的MRC的挑战，文章提出了一种神经-符号方法：AdaLoGN模型，使用神经和符号推理，相互并迭代地加强彼此。文章还通过一种新的子图到节点的消息传递机制增强了基于图的神经推理。由于这些想法是相当普遍的，它们在MRC以外的各种应用中有很大的潜力。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。