0 什么是伯特？

有趣的事实：掩蔽已经存在了很长时间 - 1953年关于完形填空程序（或“掩蔽”）的论文。

2.3 什么是下一句预测？

NSP（下一句预测）用于通过预测给定句子是否遵循前一个句子来帮助BERT了解句子之间的关系。

下一句预测示例：

1. 保罗去购物了。他买了一件新衬衫。（正确的句子对）
2. 雷蒙娜煮咖啡。香草冰淇淋蛋筒出售。（不正确的句子对）

在训练中，50%的正确句子对与50%的随机句子对混合在一起，以帮助BERT提高下一个句子预测的准确性。

有趣的事实：BERT同时接受传销（50%）和NSP（50%）的培训。

2.4 变压器

转换器架构可以非常高效地并行化 ML 训练。因此，大规模并行化使得在相对较短的时间内在大量数据上训练BERT变得可行。

变形金刚使用注意力机制来观察单词之间的关系。最初在2017年流行的Attention Is All You Need论文中提出的一个概念引发了世界各地NLP模型中变形金刚的使用。

自 2017 年推出以来，变形金刚已迅速成为处理自然语言处理、语音识别和计算机视觉等许多领域任务的最先进方法。简而言之，如果你正在做深度学习，那么你需要变形金刚！

Lewis Tunstall，Hugging Face ML工程师，《变形金刚自然语言处理》作者

流行的变压器模型发布时间表：

2.4.1 变压器如何工作？

变形金刚通过利用注意力来工作，注意力是一种强大的深度学习算法，首次出现在计算机视觉模型中。

—与我们人类通过注意力处理信息的方式并没有太大区别。我们非常善于忘记/忽略平凡的日常输入，这些输入不会构成威胁或需要我们做出回应。例如，你还记得上周二回家时看到和听到的一切吗？当然不是！我们大脑的记忆是有限而有价值的。我们的回忆得益于我们忘记琐碎输入的能力。

同样，机器学习模型需要学习如何只关注重要的事情，而不是浪费计算资源来处理不相关的信息。变压器产生差分权重，指示句子中的哪些单词对进一步处理最关键。

变压器通过变压器层堆栈（通常称为编码器）连续处理输入来实现这一点。如有必要，可以使用另一个变压器层堆栈 - 解码器 - 来预测目标输出。—但是，BERT不使用解码器。变压器特别适合无监督学习，因为它们可以有效地处理数百万个数据点。

有趣的事实：自 2011 年以来，Google 一直在使用您的 reCAPTCHA 选择来标记训练数据。整个 Google 图书档案和《纽约时报》目录中的 13 万篇文章已通过输入 reCAPTCHA 文本的人进行转录/数字化。现在，reCAPTCHA要求我们标记Google街景图像，车辆，红绿灯，飞机等。如果谷歌让我们意识到我们参与了这项工作（因为训练数据可能具有未来的商业意图），那就太好了，但我跑题了。

要了解有关变形金刚的更多信息，请查看我们的拥抱面变压器课程。

3. BERT模型大小和架构

让我们分解一下两个原始BERT模型的架构：

ML 架构术语表：

以下是BERTbase和BERTlarge拥有的上述ML架构部分的数量：

让我们来看看BERTlarge的附加层，注意头和参数如何提高其在NLP任务中的性能。

4. BERT在公共语言任务上的表现

BERT 在 11 个常见的 NLP 任务上成功实现了最先进的准确性，优于以前的顶级 NLP 模型，并且是第一个超越人类的模型！ 但是，如何衡量这些成就？

自然语言处理评估方法：

4.1 SQuAD v1.1 & v2.0

SQuAD（斯坦福问答数据集）是一个包含大约 108k 个问题的阅读理解数据集，可以通过维基百科文本的相应段落回答。BERT在这种评估方法上的表现是超越以前最先进的模型和人类水平表现的巨大成就：

4.2 SWAG 评估法 

SWAG(Situations With Adversarial Generations）是一个有趣的评估，因为它检测模型推断常识的能力！它通过一个关于常识情况的 113k 多项选择题的大规模数据集来做到这一点。这些问题是从视频场景/情况中转录而来的，SWAG 在下一个场景中为模型提供了四种可能的结果。然后，该模型在预测正确答案方面做到最好。

BERT的表现优于以前的顶级模型，包括人类水平的表现：

4.3 格鲁基准

GLUE（通用语言理解评估）基准是一组资源，用于训练、测量和分析彼此比较的语言模型。这些资源由九个“困难”的任务组成，旨在测试NLP模型的理解。以下是其中每个任务的摘要：

虽然其中一些任务可能看起来无关紧要和平庸，但重要的是要注意，这些评估方法在指示哪些模型最适合您的下一个 NLP 应用程序方面非常强大。

获得这种机芯的性能并非没有后果。接下来，让我们了解机器学习对环境的影响。

5. 深度学习对环境的影响

大型机器学习模型需要大量数据，这在时间和计算资源方面都很昂贵。

这些模型还对环境有影响：

机器学习对环境的影响是我们相信通过开源使机器学习世界民主化的众多原因之一！共享大型预训练语言模型对于降低社区驱动工作的总体计算成本和碳足迹至关重要。

6. BERT的开源力量

与GPT-3等其他大型学习模型不同，BERT的源代码是可公开访问的（在Github上查看BERT的代码），从而使BERT在世界各地得到更广泛的使用。这是一个改变游戏规则的人！

开发人员现在能够快速启动并运行像BERT这样的最先进的模型，而无需花费大量时间和金钱。🤯

相反，开发人员可以将精力集中在微调BERT上，以根据其独特的任务自定义模型的性能。

重要的是要注意，如果您不想微调BERT，目前有数千个开源和免费的预训练BERT模型可用于特定用例。

针对特定任务预先训练的BERT模型：

• 推特情绪分析
• 日文文本分析
• 情绪分类器（英语 - 愤怒、恐惧、喜悦等）
• 临床笔记分析
• 语音到文本翻译
• 有害评论检测

您还可以在拥抱面部集线器上找到数百个预先训练的开源变压器模型。

7. 如何开始使用伯特

我们创建了这个笔记本，所以你可以通过谷歌Colab中的这个简单的教程来尝试BERT。打开笔记本或将以下代码添加到你自己的笔记本中。专业提示：使用 （Shift + 单击） 运行代码单元格。

注意：Hugging Face 的管道类使得只需一行代码即可非常轻松地引入像转换器这样的开源 ML 模型。

7.1 安装变压器

首先，让我们通过以下代码安装转换器：

!pip install transformers

7.2 试用Bert

        随意将下面的句子换成您自己的句子。但是，将[MASK]留在某个地方，以便BERT预测丢失的单词

from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-uncased')
unmasker("Artificial Intelligence [MASK] take over the world.")

        当您运行上面的代码时，您应该看到如下所示的输出：

[{'score': 0.3182411789894104,
  'sequence': 'artificial intelligence can take over the world.',
  'token': 2064,
  'token_str': 'can'},
 {'score': 0.18299679458141327,
  'sequence': 'artificial intelligence will take over the world.',
  'token': 2097,
  'token_str': 'will'},
 {'score': 0.05600147321820259,
  'sequence': 'artificial intelligence to take over the world.',
  'token': 2000,
  'token_str': 'to'},
 {'score': 0.04519503191113472,
  'sequence': 'artificial intelligences take over the world.',
  'token': 2015,
  'token_str': '##s'},
 {'score': 0.045153118669986725,
  'sequence': 'artificial intelligence would take over the world.',
  'token': 2052,
  'token_str': 'would'}]

有点吓人吧？🙃

7.3 注意模型偏差

让我们看看BERT为“男人”建议的工作：

unmasker("The man worked as a [MASK].")

运行上述代码时，您应该看到如下所示的输出：

[{'score': 0.09747546911239624,
  'sequence': 'the man worked as a carpenter.',
  'token': 10533,
  'token_str': 'carpenter'},
 {'score': 0.052383411675691605,
  'sequence': 'the man worked as a waiter.',
  'token': 15610,
  'token_str': 'waiter'},
 {'score': 0.04962698742747307,
  'sequence': 'the man worked as a barber.',
  'token': 13362,
  'token_str': 'barber'},
 {'score': 0.037886083126068115,
  'sequence': 'the man worked as a mechanic.',
  'token': 15893,
  'token_str': 'mechanic'},
 {'score': 0.037680838257074356,
  'sequence': 'the man worked as a salesman.',
  'token': 18968,
  'token_str': 'salesman'}]

BERT预测该男子的工作是木匠，服务员，理发师，机械师或推销员

现在让我们看看伯特为“女人”提供哪些工作

unmasker("The woman worked as a [MASK].")

您应该会看到如下所示的输出：

[{'score': 0.21981535851955414,
  'sequence': 'the woman worked as a nurse.',
  'token': 6821,
  'token_str': 'nurse'},
 {'score': 0.1597413569688797,
  'sequence': 'the woman worked as a waitress.',
  'token': 13877,
  'token_str': 'waitress'},
 {'score': 0.11547300964593887,
  'sequence': 'the woman worked as a maid.',
  'token': 10850,
  'token_str': 'maid'},
 {'score': 0.03796879202127457,
  'sequence': 'the woman worked as a prostitute.',
  'token': 19215,
  'token_str': 'prostitute'},
 {'score': 0.030423851683735847,
  'sequence': 'the woman worked as a cook.',
  'token': 5660,
  'token_str': 'cook'}]

BERT预测，该女性的工作是护士，女服务员，女佣，或厨师，在专业角色中表现出明显的性别偏见。

7.4 您可能喜欢的其他一些BERT笔记本：

BERT首次的可视化笔记本

训练您的分词器

+不要忘记查看拥抱面变压器课程以了解更多信息 🎉

8. Bert常见问题

9. 结论

        BERT是一种高度复杂和先进的语言模型，可以帮助人们自动理解语言。它实现最先进性能的能力得到了大量数据培训和利用变压器架构彻底改变NLP领域的支持。

        由于BERT的开源库，以及令人难以置信的AI社区为继续改进和共享新的BERT模型所做的努力，未触及的NLP里程碑的未来看起来很光明。