请参考之前写的：2、什么是BERT？-CSDN博客文章浏览阅读826次，点赞19次，收藏22次。BERT（Bidirectional Encoder Representations from Transformers）是Google在2018年提出的一种自然语言处理（NLP）预训练模型。BERT模型的创新之处在于它采用了Transformer的编码器架构，并且是第一个真正基于双向上下文进行训练的语言表示模型，这使得它在一系列语言理解任务上取得了当时的最先进性能。https://blog.csdn.net/sinat_34461199/article/details/135344985