【图书推荐】《ChatGLM3大模型本地化部署、应用开发与微调》

本书目的

本书通过多个PyTorch实战案例，帮助读者掌握ChatGLM3大模型本地化部署、应用开发与微调技能。智能问答机器人、美妆助手、上市公司财务报表信息抽取、上市公司财务报表智能问答与财务预警等案例，都可以按读者自己的业务需求，改造成可以投入生产的应用，或者作为毕业论文的素材。

本书案例

通过多个实战案例，快速掌握大模型应用开发

基于网页端的ChatGLM3部署
基于私有云服务的ChatGLM3部署
猫狗分类可视化训练与预测
搭建专业问答机器人
实战知识图谱抽取与智能问答
撰写剧情梗概、评论与宣传文案实战
多文本检索的增强生成实战
结合提示工程的网页搜索服务实战
基于ChatGLM3的思维链实战
GLM文本生成实战
单GPU微调ChatGLM3实战
个人助理之美妆助手实战
上市公司财务报表非结构化信息抽取实战
上市公司财务报表智能问答与财务预警实战

内容简介

《ChatGLM3大模型本地化部署、应用开发与微调》作为《PyTorch 2.0深度学习从零开始学》的姊妹篇，专注于大模型的本地化部署、应用开发以及微调等。《ChatGLM3大模型本地化部署、应用开发与微调》不仅系统地阐述了深度学习大模型的核心理论，更注重实践应用，通过丰富的案例和场景，引导读者从理论走向实践，真正领悟和掌握大模型本地化应用的精髓。

全书共分13章，全方位、多角度地展示了大模型本地化实战的完整方案，内容包括大模型时代的开端、PyTorch 2.0深度学习环境搭建、基于gradio的云上自托管ChatGLM3部署实战、使用ChatGLM3与LangChain实现知识图谱抽取和智能问答、适配ChatGLM3终端的Template与Chain详解、ChatGLM3多文本检索的增强生成实战、构建以人为本的ChatGLM3规范化Prompt提示工程、使用ChatGLM3的思维链构建、GLM源码分析与文本生成实战、低资源单GPU微调ChatGLM3实战、会使用工具的ChatGLM3、上市公司财务报表非结构化信息抽取实战、上市公司财务报表智能问答与财务预警实战。

适合的读者

本书适合大模型的初学者、有一定基础的大模型研究人员、大模型应用开发人员。同时，还可作为高等院校或高职高专相关专业大模型课程的教材，助力培养新一代的大模型领域人才。

作者简介

王晓华，高校计算机专业讲师，研究方向为云计算、大数据与人工智能。著有《PyTorch语音识别实战》《从零开始大模型开发与微调：基于PyTorch与ChatGLM》《PyTorch 2.0深度学习从零开始学》《Python机器学习与可视化分析实战》《谷歌JAX深度学习从零开始学》《Spark 3.0大数据分析与挖掘：基于机器学习》《TensorFlow深度学习应用实践》《OpenCV+TensorFlow深度学习与计算机视觉实战》《TensorFlow知识图谱实战》《TensorFlow人脸识别实战》《TensorFlow语音识别实战》《TensorFlow+Keras自然语言处理实战》《TensorFlow 2.0卷积神经网络实战》《Keras实战：基于TensorFlow2.2的深度学习实践》《TensorFlow 2.0深度学习从零开始学》《深度学习的数学原理与实现》。

前言

大模型领域既是繁星点点的未知宇宙，也是蕴含无数可能的广阔天地，正是这一独特的魅力，令无数的探索者为之倾倒，为之奋斗。随着大模型应用逐渐走入人们的日常生活，支撑它的深度学习技术也开始登上更为广阔和深远的人工智能大舞台。

关于本书

本书将揭示大模型ChatGLM3的本地化实战应用,带领读者领略ChatGLM3的高级应用之美.书中不仅详细如何进行ChatGLM3的私有云部署、开发应用、构建思维链以及在有限资源条件下的微调方法，为了让读者更深入地了解ChatGLM3的模型架构，还将解析GLM系列模型的源码，并完成一项文本生成任务。本书的最后将通过实现基于自然语言的真实上市公司大规模年度财务报表非结构化信息抽取实战、智能问答与财务预警实战，展现大模型应用的美好前景。这两个实战案例将融合本书前面介绍的所有知识，从大模型程序应用入手，涉及微调以及工具的使用，并结合具体的业务知识背景，为读者带来一次深度学习的完整体验。

本书涉及的深度学习编程方法与技巧以PyTorch为主。PyTorch因其易用性和普及性而成为深度学习领域的翘楚。当然，本书只是围绕大模型的应用进行深入剖析，若想了解更多关于深度学习的内容，例如卷积神经网络、循环神经网络等模块的构建和使用方法，强烈推荐参阅《PyTorch 2.0深度学习从零开始学》。

本书作为《PyTorch 2.0深度学习从零开始学》的姊妹篇，不仅延续了《PyTorch 2.0深度学习从零开始学》中的核心理念与知识体系，更将深度学习引向了一个新的高度，专注于大模型的本地化研究与应用。本书将帮助读者深入理解深度学习与大模型的精髓，探寻其背后的思维逻辑和创新精神。在这个过程中，读者不仅能学习到理论知识，更能感受到大模型背后的力量与智慧，从而为自己在这一领域的研究和实践提供有力的支撑。

本书特点

本书具有如下6个方面的特点：

（1）内容与结构的系统性：本书延续了《PyTorch 2.0深度学习从零开始学》的知识体系，精心设计了内容与结构，结合深度学习基础知识和大模型的具体方向，逐步引导读者走进大模型高级应用和微调场景。每个章节都按照逻辑顺序展开，确保读者在学习过程中能够循序渐进地掌握相关知识和技能。

（2）理论与实践的紧密结合：本书不仅关注理论知识，更注重实践应用。通过丰富的实战案例讲解，读者可以亲手进行操作和实践，深入了解深度学习和大模型在实际问题中的应用方法和解决方案。

（3）大模型本地化部署领域的专业洞察：本书对大模型本地化部署领域进行深入研究和专业洞察，涵盖了目前最新的研究成果、模型架构和应用场景。读者通过阅读本书，可以紧跟学术前沿，全面了解大模型的发展趋势和实际应用。

（4）注重培养解决问题的能力：本书以实际项目为导向，注重培养读者解决问题的能力。通过深入分析实际案例和提供实战代码，读者可以逐步提升自己的实践能力和创新能力，为未来的实际工作做好充分准备。

（5）优美的语法和丰富的实例：本书采用优美的语法和丰富的实例进行讲解，让读者在学习过程中感受深度学习的魅力和大模型的智慧。通过生动的比喻、形象的描述和实用的技巧，读者可以更好地理解和掌握深度学习和大模型的核心概念和方法。

（6）笔者的专业背景和实战经验：作为深度学习专家和畅销图书作者，笔者具有深厚的学术背景和丰富的实践经验。在撰写本书的过程中，笔者以实际项目中遇到的问题为导向，注重知识体系的完整性和实用性，力求使本书成为一本具有参考价值的重要著作。

本书适合人群

本书适合学习人工智能、深度学习、大模型开发应用以及PyTorch算法的人员阅读，也适合作为高等院校或高职高专大模型相关课程的教材。

建议读者在学习本书内容的过程中，独立进行一些代码的编写，采取开放式的实验方法，即读者自行准备实验数据和实验环境，解决实际问题，最终达到理论联系实际的目的。

配套资源下载

本书配套示例源代码、数据集、PPT课件、作者微信群答疑服务，需要用微信扫描下面的二维码获取。如果在阅读本书的过程中发现问题或有疑问，请联系booksaga@163.com，邮件主题为“ChatGLM3大模型本地化部署、应用开发与微调”。

笔者

2024年2月

目    录
第1章  大模型时代的开端 1
1.1  大模型的历史与发展 1
1.1.1  大模型的“涌现” 1
1.1.2  深度学习与大模型的起源 3
1.1.3  大模型的概念与特点 4
1.1.4  大模型开启了深度学习的新时代 5
1.2  为什么要使用大模型 6
1.2.1  大模型与普通模型的区别 7
1.2.2  为什么选择ChatGLM 8
1.2.3  大模型应用场合与发展趋势 9
1.3  本章小结 10
第2章  PyTorch 2.0深度学习环境搭建 11
2.1  安装Python开发环境 12
2.1.1  Miniconda的下载与安装 12
2.1.2  PyCharm的下载与安装 14
2.1.3  softmax函数练习 18
2.2  安装PyTorch 2.0 19
2.2.1  NVIDIA 10/20/30/40系列显卡选择的GPU版本 19
2.2.2  PyTorch 2.0 GPU NVIDIA运行库的安装 19
2.2.3  Hello PyTorch 22
2.3  Hello ChatGLM3 23
2.3.1  ChatGLM3简介与安装 23
2.3.2  CPU版本的ChatGLM3推演 25
2.3.3  GPU（INT4或INT8量化）版本的ChatGLM3推演 26
2.3.4  GPU（half或float量化）版本的ChatGLM3推演 28
2.3.5  离线状态的ChatGLM3的使用 29
2.3.6  ChatGLM的高级使用 30
2.4  本章小结 31
第3章  基于gradio的云上自托管ChatGLM3部署实战 32
3.1  gradio的基本使用详解 32
3.1.1  从gradio的Interface开始 33
3.1.2  gradio输入与输出组件 35
3.1.3  启动gradio的launch 41
3.1.4  gradio中多样化的输入和输出组件 42
3.1.5  gradio中常用的几个组件 45
3.1.6  使用gradio搭建视频上色服务 57
3.2  基于gradio的猫狗分类可视化训练与预测实战 59
3.2.1  运行环境与数据集的准备 60
3.2.2  模型的设计 63
3.2.3  PyTorch模型训练的基本流程 64
3.2.4  可视化训练流程 65
3.2.5  使用训练好的模型完成gradio可视化图像分类 67
3.3  基于网页端的ChatGLM3部署和使用 69
3.3.1  使用gradio搭建ChatGLM3网页客户端 70
3.3.2  使用ChatGLM3自带的网页客户端 71
3.4  基于私有云服务的ChatGLM3部署和使用 72
3.4.1  使用FastAPI完成ChatGLM3私有云交互端口的搭建（重要） 73
3.4.2  基于streamlit的ChatGLM3自带的网页客户端 74
3.5  本章小结 74
第4章  使用ChatGLM3与LangChain实现知识图谱抽取和智能问答 75
4.1  当ChatGLM3遇见LangChain 76
4.1.1  LangChain的基本构成、组件与典型场景 76
4.1.2  确认统一地址的ChatGLM3部署方案 78
4.1.3  使用ChatGLM3构建LangChain的LLM终端 78
4.1.4  从一个简单的提示模板开始 81
4.1.5  ChatGLM3格式化提示词的构建与使用 82
4.2  ChatGLM3+ LangChain搭建专业问答机器人 84
4.2.1  使用LangChain的LLM终端完成文本问答 84
4.2.2  数据准备与基础算法分析 86
4.2.3  使用LangChain完成提示语Prompt工程 87
4.2.4  基于ChatGLM3的LLM终端完成专业问答 88
4.3  使用ChatGLM3的LLM终端搭建知识图谱抽取与智能问答 89
4.3.1  基于ChatGLM3的LLM终端完成知识图谱抽取 89
4.3.2  基于ChatGLM3的LLM终端完成智能问答 91
4.4  本章小结 92
第5章  适配ChatGLM3终端的Template与Chain详解 93
5.1  基于输入模板的人机交互 93
5.1.1  提示模板的4种类型 94
5.1.2  可嵌套的提示模板 95
5.2  Template中示例的最佳选择 97
5.2.1  基于长度的输出示例 97
5.2.2  基于相似度的输出示例 99
5.3  使用Chain提高ChatGLM3的能力 100
5.3.1  Chain的数学计算方法 101
5.3.2  多次验证检查器 101
5.4  LangChain中的记忆功能 102
5.4.1  ConversationChain会话链的使用 102
5.4.2  系统memory的使用 103
5.5  基于ChatGLM3终端撰写剧情梗概、评论与宣传文案实战 105
5.5.1  对过程进行依次调用的顺序链SimpleSequentialChain 105
5.5.2  对过程进行依次调用的顺序链SequentialChain 107
5.5.3  对顺序链添加额外参数的方法 109
5.6  本章小结 111
第6章  ChatGLM3多文本检索的增强生成实战 112
6.1  使用自然语言处理方法对目标进行查找 113
6.1.1  数据集的准备 113
6.1.2  分别基于BM25与LLM终端进行目标查找的方法 114
6.1.3  建立工业级标准化输出：LLM终端与BM25结合 116
6.2  基于LLM终端完成文本内容抽取与文本问答 118
6.2.1  读取目标内容 118
6.2.2  LangChain对文档的读取与分割方法 119
6.2.3  基于LangChain的文本分块 123
6.2.4  找到最近似问题的文本段落 124
6.2.5  使用LLM终端完成智能文本问答 125
6.3  使用LLM终端完成反向问题推断 127
6.3.1  文本问题提取实战 127
6.3.2  存储提取后的内容 130
6.4  本章小结 131
第7章  构建以人为本的ChatGLM3规范化Prompt提示工程 132
7.1  提示工程模板构建的输入与输出格式 132
7.1.1  提示模板的输入格式 133
7.1.2  提示模板的输出格式 135
7.2  提示工程模板高级用法 138
7.2.1  提示模板的自定义格式 138
7.2.2  提示模板的FewShotPromptTemplate格式 139
7.2.3  部分格式化的提示模板详解 140
7.3  结合提示工程的网页搜索服务实战 142
7.3.1  网页搜索的API实现 142
7.3.2  网页问答提示模板的实现 143
7.3.3  结合网页搜索的LLM终端问答实战 144
7.4  本章小结 145
第8章  使用ChatGLM3的思维链构建 146
8.1  思维链初探 146
8.1.1  思维链源于人类使用自然语言的概念来理解事物 147
8.1.2  思维链的优势与应用场景 147
8.2  思维链详解及其实战 149
8.2.1  思维链详解 149
8.2.2  基于ChatGLM3的思维链实战 150
8.3  本章小结 152
第9章  GLM源码分析与文本生成实战 153
9.1  GLM组件详解 154
9.1.1  GLM模型架构重大突破：旋转位置编码 154
9.1.2  添加旋转位置编码的注意力机制 156
9.1.3  新型的激活函数GLU详解 156
9.1.4  GLM“三角掩码”与“错位”输入输出格式详解 157
9.2  GLM整体架构详解与文本生成实战 159
9.2.1  调整架构顺序的GLMBlock 159
9.2.2  自定义GLM模型（单文本生成版） 162
9.3  本章小结 167
第10章  低资源单GPU微调ChatGLM3实战 168
10.1  什么是大模型微调 168
10.1.1  大模型微调的作用 169
10.1.2  大模型微调技术有哪些 169
10.1.3  参数高效微调详解 170
10.2  ChatGLM3大模型微调的准备内容 171
10.2.1  从数据准备看ChatGLM3微调：有监督微调详解 172
10.2.2  从实施看ChatGLM3微调：LoRA详解 173
10.2.3  适配ChatGLM3微调的辅助库：PEFT详解 174
10.3  虚拟客服多轮问答实战 180
10.3.1  ChatGLM3数据输入结构和处理函数 181
10.3.2  ChatGLM3微调训练 186
10.3.3  ChatGLM3微调推理 189
10.4  加速的秘密：accelerate训练方法与模型量化详解 191
10.4.1  加速器accelerate详解与完整代码编写 192
10.4.2  加速的秘密1：大模型的量化技术 195
10.4.3  加速的秘密2：大模型的INT8量化方案 196
10.4.4  加速的秘密3：大模型ChatGLM3中的量化源码分析与实践 198
10.5  更快的量化训练方案：QLoRA基础内容详解 200
10.5.1  加速的秘密4：基于bitsandbytes的ChatGLM3量化QLoRA实现 200
10.5.2  加速的秘密5：QLoRA详解 202
10.5.3  微调的目的：让生成的结果更聚焦于任务 205
10.6  QLoRA微调文本生成实战 207
10.6.1  数据处理 207
10.6.2  损失函数设计 210
10.6.3  基于QLoRA的ChatGLM3文本生成微调实战 211
10.6.4  基于QLoRA的ChatGLM3文本生成 213
10.7  本章小结 215
第11章  会使用工具的ChatGLM3 216
11.1  ChatGLM3调用工具源码详解与实战 216
11.1.1  Python调用工具详解 217
11.1.2  ChatGLM3工具调用流程详解 218
11.1.3  大模型ChatGLM3工具调用实战详解 220
11.1.4  大模型ChatGLM3工具调用原理详解 223
11.1.5  ChatGLM3消息传递方式详解 230
11.2  ChatGLM3官方工具注册与调用源码分析与实战 231
11.2.1  Python中的装饰器与回调函数 231
11.2.2  ChatGLM3官方工具函数的注册源码分析详解 233
11.2.3  大模型ChatGLM3官方工具调用的判定依据详解 236
11.2.4  ChatGLM3官方工具函数的调用分析详解 237
11.2.5  ChatGLM3调用工具分析与实战演示 238
11.3  ChatGLM3实战：构建个人助理之美妆助手 240
11.3.1  背景和参考资料设定 240
11.3.2  美妆助手的使用实战 246
11.4  本章小结 247
第12章  上市公司财务报表非结构化信息抽取实战 249
12.1  超长文本处理功能的ChatGLM3与真实财务报表的处理 250
12.1.1  ChatGLM3-6B-32K模型的获取与缓存 250
12.1.2  超大规模的2020—2023年真实中国股票市场年度财务报表数据库的建立 250
12.2  单报表非结构化信息抽取实战 253
12.2.1  单报表数据探查与提取信息结构化处理 253
12.2.2  单报表数据非结构化信息抽取的实现 254
12.3  本章小结 256
第13章  上市公司财务报表智能问答与财务预警实战 257
13.1  基于ChatGLM3的非结构化数据抽取与大规模财务报表数据库的建立 257
13.1.1  逐行代码讲解使用ChatGLM3对关键数据进行抽取 258
13.1.2  大规模上市公司财务报表目标字段抽取函数的建立 260
13.1.3  大规模上市公司财务报表目标字段数据库的建立 262
13.2  基于自然语言的上市公司财务报表智能问答与财务预警实战 264
13.2.1  使用自然语言结合ChatGLM3实现上市公司财务报表智能问答与预警解决方案1 264
13.2.2  使用自然语言结合ChatGLM3-6B实现上市公司财务报表智能问答与预警解决方案2 267
13.2.3  使用自然语言结合ChatGLM3实现上市公司财务报表智能问答与预警解决方案3 270
13.3  本章小结 272
附录  大模型的“幻觉” 273