自然语言处理被誉为“人工智能皇冠上的明珠”。深度学习等技术的引入为自然语言处理技术带来了一场革命，尤其是近年来出现的基于预训练模型的方法，已成为研究自然语言处理的新范式。而今天给大家推荐的这本《自然语言处理：基于预训练模型的方法》正是学NLP自然语言非常牛逼的一本书！
本书在介绍自然语言处理、深度学习等基本概念的基础上，重点介绍新的基于预训练模型的自然语言处理技术。
包括基础知识、预训练词向量和预训练模型三大部分：
- 基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具；
- 预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用；
- 预训练模型部分介绍几种典型的预训练语言模型及应用，以及预训练模型的最新进展。
除了理论知识，本书还有针对性地结合具体案例提供相应的PyTorch 代码实现，不仅能让读者对理论有更深刻的理解，还能快速地实现自然语言处理模型，达到理论和实践的统一。
适宜人群
本书既适合具有一定机器学习基础的高等院校学生、研究机构的研究者，以及希望深入研究自然语言处理算法的计算机工程师阅读，也适合对人工智能、深度学习和自然语言处理感兴趣的学生和希望进入人工智能应用领域的研究者参考。
本书作者
- 车万翔：
博士，哈尔滨工业大学计算学部长聘教授、博士生导师，社会计算与信息检索研究中心副主任。
- 郭江
麻省理工学院计算机科学与人工智能实验室，博士后研究员。
- 崔一鸣
科大讯飞北京研究院副院长、资深级主管研究员。
-
郭江
书籍目录
推荐序III
推荐语IV
前言V
数学符号IX
第1 章绪论1
- 1.1 自然语言处理的概念 2
- 1.2 自然语言处理的难点2
- 1.3 自然语言处理任务体系.4
- 1.4 自然语言处理技术发展历史7
第2 章自然语言处理基础11
- 2.1 文本的表示.12
- 2.2 自然语言处理任务20
- 2.3 基本问题35
- 2.4 评价指标40
- 2.5 小结43
第3 章基础工具集与常用数据集45
- 3.1 NLTK 工具集46
- 3.2 LTP 工具集51
- 3.3 PyTorch 基础52
- 3.4 大规模预训练数据61
- 3.5 更多数据集.66
- 3.6 小结68
第4 章自然语言处理中的神经网络基础69
- 4.1 多层感知器模型70
- 4.2 卷积神经网络78
- 4.3 循环神经网络83
- 4.4 注意力模型.89
- 4.5 神经网络模型的训练96
- 4.6 情感分类实战101
- 4.7 词性标注实战113
- 4.8 小结116
第5 章静态词向量预训练模型119
- 5.1 神经网络语言模型120
- 5.2 Word2vec 词向量130
- 5.3 GloVe 词向量140
- 5.4 评价与应用.143
- 5.5 小结148
第6 章动态词向量预训练模型151
- 6.1 词向量——从静态到动态152
- 6.2 基于语言模型的动态词向量预训练153
- 6.3 小结171 ##第7 章预训练语言模型173
- 7.1 概述174
- 7.2 GPT 177
- 7.3 BERT 182
- 7.4 预训练语言模型的应用194
- 7.5 深入理解BERT .211
- 7.6 小结.215
第8 章预训练语言模型进阶217
- 8.1 模型优化.218
- 8.2 长文本处理.234
- 8.3 模型蒸馏与压缩244
- 8.4 生成模型257
- 8.5 小结.267
第9 章多模态融合的预训练模型269
- 9.1 多语言融合.270
- 9.2 多媒体融合.274
- 9.3 异构知识融合276
- 9.4 更多模态的预训练模型285
- 9.5 小结.285
参考文献287
术语表297
