Transformer模型
Transformer是自然语言理解(Natural Language Understanding，NLU)的游戏规则改变者，NLU 是自然语言处理(Natural Language Processing，NLP)的一个子集。NLU已成为全球数字经济中AI 的支柱之一。
Transformer 模型标志着AI 新时代的开始。语言基础已成为语言建模、聊天机器人、个人助理、问答、文本摘要、语音转文本、情绪分析、机器翻译等的支柱。社交网络正在取代实体接触，电子商务正在取代实体购物，数字报纸、流媒体正在取代实体剧院，远程文档咨询正在取代实体访问，远程工作正在取代现场办公，我们正在见证数百个领域的类似趋势。如果没有理解AI 语言，社会上使用网络浏览器、流媒体服务和任何涉及语言的数字活动都将非常困难。我们的社会从物理信息到海量数字信息的范式转变迫使AI 进入一个新时代。AI 已经发展到数十亿级参数模型，以应对万亿级单词数据集的挑战。
Transformer 架构具有革命性和颠覆性，它打破了过往RNN 和CNN 的主导地位。BERT 和GPT 模型放弃了循环网络层，使用自注意力机制取而代之。Transformer 模型优于RNN 和CNN。这是AI 历史上划时代的重大变化。
Transformer 编码器和解码器包含单独训练的注意力头(attention head)，并能使用GPU、TPU 等尖端硬件进行并行化。注意力头可以使用GPU 运行，从而为十亿级参数模型和即将出现的万亿级参数模型打开大门。OpenAI 在一台具有10 000个GPU和285 000 个CPU 内核的超级计算机上训练出具有1750 亿个参数的GPT-3 Transformer 模型。
Transformer 还可通过将图像视为单词序列来学习图像分类和重构图像。本书将介绍尖端的计算机视觉Transformer，如Vision Transformer(ViT)、CLIP 和DALL-E。
基础模型是指经过充分训练的、不需要微调即可执行数百项任务的Transformer模型。这种规模的基础模型是我们在这个海量信息时代所需的工具。
《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》
本书将带领你开发代码和设计提示(这是一项控制Transformer 模型行为的新的“编程”技能)。每一章都会使用Python、PyTorch 和TensorFlow 从头开始讲授语言理解的关键方面。
你将学习原始Transformer、Google BERT、OpenAI GPT-3、T5 和其他几个模型的架构。最后一章将在前面16 章所学知识的基础上，展示ChatGPT 和GPT-4 的增强能力。你将学会如何微调Transformer，如何从头开始训练模型，如何使用强大的API。
Facebook、Google、Microsoft 和其他大型科技公司提供了大量数据集供我们探索。
你会密切关注市场上对语言理解的需求，例如媒体、社交媒体和研究论文等领域。
在数百项AI 任务中，我们需要总结大量的研究数据，为各个领域翻译文件，并出于伦理和法律原因扫描所有社交媒体帖子。
整本书将使用Python、PyTorch 和TensorFlow 进行实战。你将首先学习AI 语言理解神经网络模型的要素，然后学习如何探索和实现Transformer。
本书旨在为读者提供在这个颠覆性的AI 时代中，有效开发语言理解关键方面所需的Python 深度学习知识和工具，呈现成为工业 4.0 AI 专家所需要的新技能。
本书读者对象
本书并不介绍Python 编程或机器学习概念，而是专注于机器学习的机器翻译、语音到文本、文本到语音、语言建模、问答和更多NLP 领域。
本书读者对象包括：
● 熟悉Python 编程的深度学习和NLP 从业者。
● 数据分析师和数据科学家，他们希望了解AI 语言理解，从而完成越来越多的语言驱动的功能。
