BERT 及其多种变体已经在多种语言理解任务上取得了非常出色的表现，这些架构全都基于 Transformer，而 Transformer 又使用了一种名为「自注意力」的方法。本文将通过图示和代码对自注意力机制进行透彻的解读。当然，在阅读本文之前，你可能也想了解什么是注意力机制。没有问题，同一位作者机器学习工程师 Raimi Karim 之前已经通过类似的方式解读过了：《图解神经机器翻译中的注意力机制》。

前言

BERT、RoBERTa、ALBERT、SpanBERT、DistilBERT、SesameBERT、SemBERT、MobileBERT、TinyBERT 和 CamemBERT 有什么共同点？别说「BERT」，那不是我想要的答案。

答案：自注意力（self-attention）。

基于 Transformer 的架构

我们要探讨的不仅是名字里面带有「BERT」的架构，而是「基于 Transformer」的架构。基于 Transformer 的