杀疯了深度解析chatGPT和NLP底层技术——复旦大学新版《自然语言处理导论》

news2024/10/7 11:47:18

在今年的2月28号,复旦张琦教授放出了自己的大招,发布了自己历时近三年之久,即自身对自然语言处理20年研究的著作 全文共 600页涉及了 787 篇参考文献, 全面且深度的解析了与NLP的底层知识。
在这里插入图片描述

内容介绍:

本书主要包括基础技术、核心技术以及模型分析三个部分。

基础技术部分 主要介绍自然语言处理的基础任务和底层技术,主要包含词汇处理、语法分析、语义分析、篇章分析和语言模型。

核心技术部分 主要介绍自然语元处理应用任务和相关技术,主要包括信息抽取、机器翻译。 感分析文本摘要知识图谱模型分析部分主要介绍基于积极学习的自然处理模型的鲁报性和可解释性问题。

本书的目标是介绍自然语言处理的基本任务和主要处理算法。为了能够让读者更好地了解任务的特性和算法设计的主要目标,在介绍每个自然语言处理任务时,除了介绍任务的目标,还会介绍该任务所涉及的主要语言学理论知识以及任务的主要难点。

针对自然语言处理历史发展过程中的不同研究范式,选择不同类型的算法进行介绍。

作者介绍:

张奇, 复旦大学计算科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索,聚焦自然语言表示、信息抽取、鲁棒性和解释性分析等任务。兼任中国中文信息学会理事、中国中文信息学会信息检索专委会常务委员、中国人工智能青年工作委员会常务委员、SIGIR Beijing Chapter组织委员会委员等。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际、国内会议的程序委员会主席、领域主席、讲习班主席等。近年来,承担了国家重点研发计划课题、国家自然科学基金、上海市科委等多个项目,在国际重要学术刊物和会议上发表论文150余篇,获得美国授权专利4项,作为第二译者翻译专著《现代信息检索》。获得WSDM 2014最佳论文提名奖、COLING2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持,获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步二等奖、ACM上海新星提名奖、IBM FacultyAward等奖项。

桂韬, 复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表论文40余篇,主持国家自然科学基金、计算机学会、人工智能学会的多个基金项目。获钱伟长中文信息处理科学技术奖一等奖(2/5)、中国中文信息学会优秀博士论文奖、COLING2018 最佳论文提名奖、NLPCC 2019 杰出论文奖,入选第七届“中国科协青年人才托举工程”、上海市启明星计划。

黄萱菁, 复旦大学计算机学院教授、博士生导师。主要从事人工智能、自然语言处理和信息检索研究。兼任中国中文信息学会理事,中国计算机学会自然语言处理专委会副主任,中国人工智能学会女科技工作者委员会副主任,计算语言学学会亚太分会副主席,亚太信息检索学会指导委员会委员。近年来,承担了国家重点研发计划课题、国家自然科学基金等多个项目,在国际重要学术刊物和会议上发表论文150余篇。获钱伟长中文信息处理科学技术奖、上海市育才奖、人工智能全球女性学者、福布斯中国科技女性等多项荣誉。

复旦大学张奇、桂韬、黄萱菁三位老师在经过几十次的讨论,以及对大纲和结构的反复修改后,历时近三年之久,《自然语言处理导论》终于完成。

这本书名称《自然语言处理导论》由复旦大学自然语言处理实验室发布,致力于给国内的同学们带来作为系统全面的NLP书籍,如果你需要PDF版本,我可以无偿分享给大家

这本大模型《自然语言处理导论》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

PDF书籍: 完整版本链接获取

👉[CSDN大礼包🎁:《自然语言处理导论》免费分享(安全链接,放心点击)]👈

书籍目录:

第1部分基础技术
第1章绪论 2
1.1 自然语言处理的基本概念 2
1.1.1 自然语言处理简史 2
1.1.2 自然语言处理的主要研究内容 5
1.1.3 自然语言处理的主要难点 7
1.2 自然语言处理的基本范式 10
1.2.1 基于规则的方法 11
1.2.2 基于机器学习的方法 12
1.2.3 基于深度学习的方法 14
1.2.4 基于大模型的方法 15
1.3 本书内容安排 16
第2章词汇分析 18
2.1 语言中的词汇 18
2.1.1 词的形态学 18
2.1.2 词的词性 19
2.2 词语规范化 23
2.2.1 词语切分 23
2.2.2 词形还原 24
2.2.3 词干提取 24
2.3 中文分词 25
2.3.1 中文分词概述 25
2.3.2 基于最大匹配的中文分词算法 28
2.3.3 基于线性链条件随机场的中文分词算法 29
2.3.4 基于感知器的中文分词算法 31
2.3.5 基于双向长短期记忆网络的中文分词算法 34
2.3.6 中文分词评测方法 36
2.3.7 中文分词语料库 37
2.4 词性标注 38
2.4.1 基于规则的词性标注 39
2.4.2 基于隐马尔可夫模型的词性标注 40
2.4.3 基于卷积神经网络的词性标注 42
2.4.4 词性标注评测方法 44
2.4.5 词性标注语料库 45
2.5 延伸阅读 46
2.6 习题 47
第3章句法分析 48
3.1 句法概述 48
3.1.1 成分语法理论概述 49
3.1.2 依存语法理论概述 51
3.2 成分句法分析 53
3.2.1 基于上下文无关语法的成分句法分析 54
3.2.2 基于概率上下文无关语法的成分句法分析 59
3.2.3 成分句法分析评测方法 67
3.3 依存句法分析 69
3.3.1 基于图的依存句法分析 70
3.3.2 基于神经网络的图依存句法分析 74
3.3.3 基于转移的依存句法分析 79
3.3.4 基于神经网络的转移依存句法分析 82
3.3.5 依存句法分析评测方法 85
3.4 句法分析语料库 86
3.5 延伸阅读 89
3.6 习题 90
第4章语义分析 91
4.1 语义学概述 91
4.1.1 词汇语义学 92
4.1.2 句子语义学 96
4.2 语义表示 98
4.2.1 谓词逻辑表示 99
4.2.2 框架表示 100
4.2.3 语义网络表示 102
4.3 分布式表示 103
4.3.1 词分布式表示 104
4.3.2 句子分布式表示 114
4.3.3 篇章分布式表示 117
4.4 词义消歧 119
4.4.1 基于目标词上下文的词义消歧算法 119
4.4.2 基于词义释义匹配的词义消歧算法 122
4.4.3 基于词义知识增强预训练的词义消歧算法 126
4.4.4 词义消歧评测方法 128
4.4.5 词义消歧语料库 128
4.5 语义角色标注 132
4.5.1 基于句法树的语义角色标注算法 132
4.5.2 基于深度神经网络的语义角色标注算法 135
4.5.3 语义角色标注评测方法 140
4.5.4 语义角色标注语料库和语义角色标注评测 140
4.6 延伸阅读 143
4.7 习题 144
第5章篇章分析 145
5.1 篇章理论概述 145
5.1.1 篇章的衔接 146
5.1.2 篇章的连贯 148
5.1.3 篇章的结构 149
5.2 话语分割 153
5.2.1 基于词汇句法树的统计话语分割算法 154
5.2.2 基于循环神经网络的话语分割算法 155
5.3 篇章结构分析 157
5.3.1 修辞结构篇章分析 157
5.3.2 浅层篇章分析 161
5.4 指代消解 167
5.4.1 基于表述对的指代消解算法 168
5.4.2 基于表述排序的指代消解算法 170
5.4.3 基于实体的指代消解算法 175
5.5 延伸阅读 179
5.6 习题 180
第6章语言模型 181
6.1 语言模型概述 181
6.2 n 元语言模型 182
6.2.1 加法平滑 184
6.2.2 古德-图灵估计法 184
6.2.3 Katz 平滑 185
6.2.4 平滑方法总结 187
6.3 神经网络语言模型 188
6.3.1 前馈神经网络语言模型 188
6.3.2 循环神经网络语言模型 189
6.4 预训练语言模型 191
6.4.1 动态词向量算法 ELMo 191
6.4.2 生成式预训练语言模型 GPT 193
6.4.3 掩码预训练语言模型 BERT 195
6.4.4 序列到序列的预训练语言模型 BART 199
6.4.5 预训练语言模型的应用 201
6.5 大规模语言模型 203
6.5.1 基础大模型训练 205
6.5.2 指令微调 207
6.5.3 人类反馈 209
6.6 语言模型评测方法 210
6.7 延伸阅读 210
6.8 习题 212
第2部分核心技术
第7章信息抽取 214
7.1 信息抽取概述 214
7.2 命名实体识别 216
7.2.1 非嵌套命名实体识别 217
7.2.2 嵌套命名实体识别 225
7.2.3 多规范命名实体识别 230
7.2.4 命名实体识别评测方法 233
7.2.5 命名实体识别语料库 233
7.3 关系抽取 235
7.3.1 有监督关系抽取 236
7.3.2 远程监督关系抽取 240
7.3.3 开放关系抽取 245
7.3.4 关系抽取评测方法 249
7.3.5 关系抽取语料库 250
7.4 事件抽取 251
7.4.1 限定域事件抽取 251
7.4.2 开放域事件抽取 255
7.4.3 事件抽取评测方法 260
7.4.4 事件抽取语料库 260
7.5 延伸阅读 261
7.6 习题 262
第8章机器翻译· 263
8.1 机器翻译概述 263
8.1.1 机器翻译的发展历程 264
8.1.2 机器翻译的现状与挑战 265
8.2 基于统计的机器翻译方法 266
8.2.1 任务定义与基本问题 266
8.2.2 IBM 模型Ⅰ 270
8.2.3 IBM 模型Ⅱ 274
8.2.4 IBM 模型Ⅲ 275
8.2.5 IBM 模型Ⅳ 276
8.2.6 IBM 模型Ⅴ 277
8.3 基于神经网络的机器翻译方法 278
8.3.1 循环神经网络翻译模型 279
8.3.2 卷积神经网络翻译模型 281
8.3.3 自注意力神经网络翻译模型284
8.4 机器翻译语料库 288
8.5 延伸阅读 290
8.6 习题 291
第9章情感分析 292
9.1 情感分析概述 292
9.1.1 情感模型 293
9.1.2 情感分析的主要任务 297
9.2 篇章级情感分析 300
9.2.1 基于支持向量机的篇章级情感分析 301
9.2.2 基于层次结构的篇章级情感分析 303
9.2.3 篇章级情感分析语料库 305
9.3 句子级情感分析 307
9.3.1 基于词典的句子级情感分析 308
9.3.2 基于递归神经张量网络的句子级情感分析 309
9.3.3 基于情感知识增强预训练的句子级情感分析 310
9.3.4 句子级情感分析语料库 312
9.4 属性级情感分析 313
9.4.1 情感信息抽取 313
9.4.2 属性级情感分类 319
9.4.3 属性级情感分析语料库 329
9.5 延伸阅读 331
9.6 习题 331
第10章智能问答 332
10.1 智能问答概述 332
10.1.1 智能问答的发展历程 333
10.1.2 智能问答的主要类型 334
10.2 阅读理解 336
10.2.1 基于特征的阅读理解算法 337
10.2.2 基于深度神经网络的阅读理解算法 340
10.2.3 阅读理解语料库 346
10.3 表格问答 347
10.3.1 基于特征的表格问答方法 348
10.3.2 基于深度学习的表格问答模型 349
10.3.3 表格问答语料库 350
10.4 社区问答 351
10.4.1 基于特征的语义匹配算法 352
10.4.2 基于深度学习的语义匹配算法 353
10.4.3 社区问答语料库 356
10.5 开放领域问答 357
10.5.1 基于检索-阅读理解架构的开放领域问答模型 358
10.5.2 基于端到端架构的开放领域问答模型 360
10.5.3 开放领域问答语料库 362
10.6 延伸阅读 363
10.7 习题 364
第11章文本摘要 365
11.1 文本摘要概述 365
11.1.1 文本摘要的发展历程 365
11.1.2 文本摘要的主要任务 367
11.2 抽取式文本摘要 368
11.2.1 基于排序的方法 368
11.2.2 基于序列标注的方法 373
11.3 生成式文本摘要 377
11.3.1 序列到序列生成式文本摘要 378
11.3.2 抽取与生成结合式文本摘要 384
11.4 文本摘要评测 388
11.4.1 人工评测 389
11.4.2 自动评测 390
11.5 文本摘要语料库 393
11.5.1 单文档摘要语料库 393
11.5.2 多文档摘要语料库 393
11.5.3 对话摘要语料库 393
11.5.4 多模态文本摘要语料库 394
11.5.5 跨语言文本摘要语料库 394
11.6 延伸阅读 394
11.7 习题 395
第12章知识图谱 396
12.1 知识图谱概述 396
12.1.1 知识图谱的发展历程 398
12.1.2 知识图谱的研究内容 399
12.2 知识图谱的表示与存储 400
12.2.1 知识图谱的符号表示 401
12.2.2 知识图谱的向量表示 404
12.2.3 基于表的知识图谱存储 407
12.2.4 基于图的知识图谱存储 410
12.3 知识图谱的获取与构建 413
12.3.1 属性补全 415
12.3.2 实体链接 417
12.3.3 实体对齐 421
12.4 知识图谱推理 426
12.4.1 基于符号逻辑的知识图谱推理 427
12.4.2 基于表示学习的知识图谱推理 430
12.5 知识图谱问答 434
12.5.1 基于语义解析的知识图谱问答 435
12.5.2 基于信息检索的知识图谱问答 437
12.5.3 基于深度学习的知识图谱问答 441
12.5.4 知识图谱问答语料库 445
12.6 延伸阅读 446
12.7 习题 447
第3部分模型分析
第13章模型稳健性 449
13.1 稳健性概述 449
13.1.1 稳健性的基本概念 450
13.1.2 稳健性的主要研究内容 451
13.2 数据偏差消除 452
13.3 文本对抗攻击方法 454
13.3.1 字符级别的攻击方法 455
13.3.2 词级别的攻击方法 456
13.3.3 句子级别的攻击方法 458
13.3.4 后门攻击 459
13.4 文本对抗防御方法 463
13.4.1 基于对抗训练的文本对抗防御方法 463
13.4.2 基于表示压缩的文本对抗防御方法 465
13.4.3 基于数据增强的文本对抗防御方法 466
13.4.4 对抗样本检测 468
13.5 模型稳健性评测基准 469
13.5.1 特定任务稳健性评测基准 469
13.5.2 模型稳健性通用评测基准 472
13.6 延伸阅读 477
13.7 习题 478
第14章模型可解释性 479
14.1 可解释性概述 479
14.1.1 可解释性的分类 480
14.1.2 解释方法评估 481
14.2 解释性分析方法 483
14.2.1 局部分析方法 483
14.2.2 全局分析方法 489
14.3 自然语言处理算法的解释性分析方法 492
14.3.1 模型解释性分析方法 492
14.3.2 数据解释性分析方法 496
14.3.3 可解释评估 498
14.4 延伸阅读 500
14.5 习题 500
参考文献 501
索引 564
作者简介

在这里插入图片描述
在这里插入图片描述
这本书名称《自然语言处理导论》由复旦大学自然语言处理实验室发布,致力于给国内的同学们带来作为系统全面的NLP书籍,如果你需要PDF版本,我可以无偿分享给大家

这本大模型《自然语言处理导论》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

PDF书籍: 完整版本链接获取

👉[CSDN大礼包🎁:《自然语言处理导论》免费分享(安全链接,放心点击)]👈

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2194084.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【C++ Primer Plus】4

2 字符串 字符串是存储在内存的连续字节中的一系列字符;C处理字符串的方式有两种, c-风格字符串(C-Style string)string 类 2.1 c-风格字符串(C-Style string) 2.1.1 char数组存储字符串(c-…

网 络 安 全

网络安全是指保护网络系统及其所存储或传输的数据免遭未经授权访问、使用、揭露、破坏、修改或破坏的实践和技术措施。网络安全涉及多个方面,包括但不限于以下几个方面: 1. 数据保护:确保数据在传输和存储过程中的完整性和保密性,…

微服务es+Kibana解析部署使用全流程

1、介绍 ElasticSearch是Java开发的一款开源的,分布式的搜索引擎。 它的搜索采用内存中检索的方式,大大提高了检索的效率,es是基于REST API的方式对数据操作的,可以让存储、检索、索引效率更高。 1、es可以做什么 网站检索数据…

python爬虫 - 深入requests模块

🌈个人主页:https://blog.csdn.net/2401_86688088?typeblog 🔥 系列专栏:https://blog.csdn.net/2401_86688088/category_12797772.html 目录 ​编辑 前言 一、下载网络文件 (一)基本步骤 &#xff0…

【AIGC】如何选择AI绘画工具?Midjourney VS Stable Diffusion

前言 文章目录 💯如何选择合适的AI绘画工具 个人需求选择比较工具特点社区和资源 💯 Midjourney VS Stable Diffusion:深度对比与剖析 使用费用对比使用便捷性与系统兼容性对比开源与闭源对比图片质量对比上手难易对比学习资源对比作品版权问…

Vue入门-指令学习-v-else和v-else-if

v-else和v-else-if 作用&#xff1a;辅助v-if进行判断渲染 语法&#xff1a;v-else v-else-if"表达式" 注意&#xff1a;需要紧挨着v-if一起使用 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><m…

九大排序之插入排序

1.前言 插入排序是把待排序的记录按其关键码值的大小逐个插入到一个已经排好序的有序序列中&#xff0c;直到所有的记录插入完为止&#xff0c;得到一个新的有序序列 。实际中我们玩扑克牌时&#xff0c;就用了插入排序的思想。 本章重点&#xff1a;主要着重的介绍两种插入排序…

【JavaEE】【多线程】进程与线程的概念

目录 进程系统管理进程系统操作进程进程控制块PCB关键属性cpu对进程的操作进程调度 线程线程与进程线程资源分配线程调度 线程与进程区别线程简单操作代码创建线程查看线程 进程 进程是操作系统对一个正在运行的程序的一种抽象&#xff0c;可以把进程看做程序的一次运行过程&a…

开发自定义starter

环境&#xff1a;Spring Cloud Gateway 需求&#xff1a;防止用户绕过网关直接访问服务器&#xff0c;用户只需引入依赖即可。 1、创建项目 首先创建一个spring boot项目 2、配置pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xm…

国外电商系统开发-运维系统文件上传

文件上传&#xff0c;是指您把您当前的PC电脑上的文件批量的上传到远程服务器上&#xff0c;在这里&#xff0c;您可以很轻松的通过拖动方式上传&#xff0c;只需要动动鼠标就搞定。 第一步&#xff0c;您应该选择要上传的服务器&#xff1a; 选择好了以后&#xff0c;点击【确…

SpringBoot框架下的教育系统开发全解析

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及&#xff0c;互联网成为人们查找信息的重要场所&#xff0c;二十一世纪是信息的时代&#xff0c;所以信息的管理显得特别重要。因此&#xff0c;使用计算机来管理微服务在线教育系统的相关信息成为必然。开…

毕业设计项目——基于transformer的中文医疗领域命名实体识别(论文/代码)

完整的论文代码见文章末尾 以下为核心内容 摘要 近年来&#xff0c;随着深度学习技术的发展&#xff0c;基于Transformer和BERT的模型在自然语言处理领域取得了显著进展。在中文医疗领域&#xff0c;命名实体识别(Named Entity Recognition, NER)是一项重要任务&#xff0c;旨…

ArkUI中的状态管理

一、MVVM ArkUI提供了一系列装饰器实现ViewModel的能力,如@Prop、@Link、@Provide、LocalStorage等。当自定义组件内变量被装饰器装饰时变为状态变量,状态变量的改变会引起UI的渲染刷新。 在ArkUI的开发过程中,如果没有选择合适的装饰器或合理的控制状态更新范围,可能会导…

《大规模语言模型从理论到实践》第一轮学习笔记

第一章 绪论 本章主要介绍大规模语言模型基本概念、发展历程和构建流程。 大规模语言模型&#xff08;Large Language Models&#xff0c;LLM&#xff09;&#xff0c;也称大语言模型 或大型语言模型。 1.1 大规模语言模型基本概念 1.语言模型&#xff08;Language Model&a…

重学SpringBoot3-集成Redis(五)之布隆过滤器

更多SpringBoot3内容请关注我的专栏&#xff1a;《SpringBoot3》 期待您的点赞&#x1f44d;收藏⭐评论✍ 重学SpringBoot3-集成Redis&#xff08;五&#xff09;之布隆过滤器 1. 什么是布隆过滤器&#xff1f;基本概念适用场景 2. 使用 Redis 实现布隆过滤器项目依赖Redis 配置…

Spring开发最佳实践之跨域处理

1. 跨域处理 1.1 异常现象 1.2 异常原因分析 跨源资源共享的官方定义如下&#xff1a; 跨源资源共享&#xff08;CORS&#xff0c;Cross Origin Resource Sharing。或通俗地译为跨域资源共享&#xff09;是一种基于 HTTP 头的机制&#xff0c;该机制通过允许服务器标示除了它自…

上海理工大学《2023年+2019年867自动控制原理真题》 (完整版)

本文内容&#xff0c;全部选自自动化考研联盟的&#xff1a;《上海理工大学867自控考研资料》的真题篇。后续会持续更新更多学校&#xff0c;更多年份的真题&#xff0c;记得关注哦~ 目录 2023年真题 2019年真题 Part1&#xff1a;2023年2019年完整版真题 2023年真题 2019年…

Java使用线程池创建线程

一、线程前言 首先我们知道&#xff0c;线程的概念如果不知道可以去看这一篇Java中的线程&#xff0c;我们这篇主要讲述的是Java怎么使用线程池创建线程&#xff0c;首先我们要对线程池有点概念&#xff0c;其实顾名思义&#xff0c;线程池就是有喝多线程的一个池子类似于&…

一书讲透LLM大语言模型,《掌握大型语言模型》,看完我都懵了!

《掌握大型语言模型》 &#xff08;Mastering Large Language Models&#xff09;由Sanket Subhash Khandare撰写&#xff0c;是一本关于大型语言模型&#xff08;LLMs&#xff09;的高级技术、应用、前沿方法和顶尖模型的指南。 这本大模型书已经上传CSDN&#xff0c;朋友们如…

《Windows PE》4.2 绑定导入表

绑定导入表&#xff08;Bound Import Table&#xff09;是文件中的一个数据结构&#xff0c;用于存储已经绑定&#xff08;即完成绑定导入&#xff09;的外部函数的信息。 本节必须掌握的知识点&#xff1a; 绑定导入表数据结构 实例分析 4.2.1 绑定导入表数据结构 绑定导入…