《大模型应用开发极简入门》-当有了一个大模型,你需要知道的几件事情

news2024/9/28 7:28:19

从某种意义上来说,大模型(LLM-Large language model)也是一个任人打扮的小姑娘,你可以对她进行课程教学(即微调)、可以告诉她一些问题的应对办法(即提示工程)、还可以带上一部计算器来做数学题(即插件),当这些事情你都做了以后,你希望她能够随时随地帮助你,那么或许在你们之间建立一个专属的对话通道(即应用程序)就很有必要了。

这本《大模型应用开发极简入门》就是力图教会你如何做好以上描述的各个事项的一本书,全书篇幅很小,总共5个章节:1.初识GPT-4和Chat-GPT,2.深入了解GPT-4和ChatGPT的API,3.使用GPT-4和Chat-GPT构建应用程序,4.GPT-4和Chat-GPT的高级技巧,5.使用LangChain框架和插件增强LLM的功能。虽然说是以GPT-4和Chat-GPT为基础进行的内容描写,但应用在目前国内一些主流厂商的大模型上也是同理。这本书面向的是最好稍微有点编码基础的人,不过就像我一样,就算没有也没关系,先了解一点基本原理,掌握方法逻辑也是很有价值的一件事。

通过这本书,我们可以知道些什么呢?


AI有“幻觉”并且会“欺骗”

由于大模型生成内容是一种基于概率的文本延续,所以不能指望她们有很强的逻辑性,非常明显的一个关于“幻觉”的场景就是大数乘法,比如你询问大模型19273*2319等于多少,她这个回答:

在这里插入图片描述

但是你拿出计算器一算就会发现,尽管AI回答地非常自信,但这根本不对。

关于“欺骗”则较为复杂一点,假设有一个AI模型,它被训练了大量的医学文献,但主要集中在传统西医领域。当提问者问:“中医理论中,如何理解‘肝火旺盛’?”这个AI模型可能因为训练数据中缺乏中医知识,而无法提供准确的解释,甚至可能会错误地引用西医的概念来回答,比如将“肝火旺盛”与肝脏疾病混淆,这样就“欺骗”了提问者,使其得到了错误的信息。

因此是在医疗咨询等真相至关重要的问答上,或者是需要通过强逻辑分步骤解决的问题上,要谨慎使用基础大模型。


通过“插件”和“微调”增强能力

前面说AI没办法很好地完成大数乘法,同时由于大模型的训练是根据互联网已有信息而无法了解实时更新的内容,则无法回答“即时性”问题,解决的办法就是“插件”。

目前通过插件让大模型可以执行以下操作:

检索实时信息、检索基于知识的信息、代表用户执行操作、准确地执行数学运算。

而“微调”过程涉及使用特定的一组新数据重新训练现有的大模型。训练好的新模型专为特定任务而设计,这个额外的训练过程让模型能够调节其内部参数,以适应给定的任务。比如采用金融文本数据进行微调的模型应该能够更好地回应针对该领域的查询并生成相关性更强的内容


把大模型当做一个“许愿池”

假设我们现在把我们已有的这个大模型做好了微调训练、并且也选定了所需插件,接下来,该开发我们的应用程序了。如何做呢?很简单,将大模型当作一个“许愿池”就好:大模型的API服务为开发人员赋予了新的能力,无须深入了解AI技术,开发人员就可以构建能够理解和回应自然语言的智能应用程序。

一句话总结:在开发中将大模型API被视为外部服务,通过应用程序的后端进行访问。

在这里插入图片描述

为了控制用户许愿的内容不至于过于离谱,还需要做好两件事:

1.添加分析层来过滤用户输入和模型输出,这就好比你总不能跟许愿池要个老婆。

2.提示词注入不可避免,需采取一定的预防措施,这就是说你不能把许愿池水用个大桶给装走。


给用户正确的“许愿姿势”

既然已经基于大模型构建了一个神奇的“许愿池”,接下来的关键一步便是引导用户以正确的“许愿姿势”,即有效地提出恰当且富有成效的prompt(提示词)。什么样的姿势才正确呢?包括以下两点:

首先、设定清晰的“许愿指南”。如同真实世界中的许愿池旁常有指示牌告知人们如何许愿,我们也应为用户制定一套简洁明了的操作手册或交互提示。这份指南应涵盖基本的prompt结构、关键词使用规范、提问技巧等内容,帮助用户理解如何精准、高效地向大模型传达意图。

其次、提供丰富的“许愿示例”。直观的实例往往比抽象的规则更具指导意义。创建一个包含各类典型prompt的示例库,让用户在实际操作前先睹为快,了解何种类型的提问能得到满意答复,何种表述可能导致模型困惑。这些示例应覆盖应用的主要功能领域,并随着用户反馈和模型升级不断更新,始终保持其时效性和参考价值。

如此一来,每位用户都能像手持魔法棒的魔法师,准确而优雅地向“许愿池”投掷出蕴含智慧之光的愿望石,收获令人满意的答案,共同开启一场与人工智能深度对话的奇妙之旅。


你也可以用个“脚手架”

懂开发的同学都知道脚手架(即开发框架)的重要性,那么大模型应用开发有没有脚手架可供使用呢?还真有,就是LangChain。官方文档如下:https://www.langchain.com.cn/getting_started/getting_started

简单点说,它能做什么:

1、架构基石:模块化与链式思维

它是一位技艺精湛的建筑师,精心挑选并巧妙拼接每一块知识砖石,构建起一座巍峨的知识宫殿。LangChain的每个模块代表一种特定的功能组件,如文本生成器、问答系统、知识图谱接口等,它们各司其职,又相互协作。

2、灵动舞步:动态组合与按需定制

LangChain犹如一位舞姿曼妙的艺术家,随音乐节奏自如变换舞步,应对各种复杂的语言处理需求。其核心优势在于对模块的动态组合与按需定制能力。面对用户的个性化诉求,开发者无需从零开始编写代码,只需像编排舞蹈动作般,选择合适的模块,设定其在链条中的位置与交互规则,即可迅速构建出适应特定场景的应用程序。

3、智慧灯塔:跨模型协同与知识融合

在LangChain的舞台上,各路“AI舞者”并非各自为战,而是通过高效的跨模型协同机制,共同演绎一场精彩绝伦的知识交响乐。不同的大模型、小模型乃至传统算法,能在LangChain的协调下共享信息、互补优劣,实现知识的深度融合与创新产出。

4、安全护航:权限管理与透明审计

在LangChain的华丽舞会中,安全保障如同一道坚固的帷幕,默默守护着每一位参与者的权益。先进的权限管理系统确保各模块间的数据交换遵循严格的访问控制规则,防止敏感信息泄露。同时,LangChain提供透明的审计追踪功能,记录每一次操作的详细过程,便于事后审查与问题排查。


综上所述,《大模型应用开发极简入门》不仅是一本技术指南,更是开启大模型应用开发之旅的钥匙。它以精炼的篇幅、清晰的脉络和丰富的实例,帮助读者快速建立起对大模型应用开发的整体认知,掌握从基础操作到高级技巧的各项技能。无论读者是否有编码基础,都能从中受益匪浅,为进一步探索和创新大模型应用打下坚实基础。

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2066984.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

(2024,ReLU-Transformer,样条,Veronese 映射,Pierce–Birkhoff 猜想)注意力机制是平滑的三次样条

Attention is a smoothed cubic spline 目录 0. 摘要和简介 0.1. 通过样条理解 Transformer 1. Transformer 的数学描述 1.9. ReLU-Transformer 2. 样条(Spline) 2.1. 标量值样条 2.2. 向量值样条 2.3. 矩阵值样条 2.4. Pierce–Birkhoff 猜想…

大杂烩!注意力机制+时空特征融合!组合模型集成学习预测!CNN-LSTM-Attention-Adaboost多变量负荷预测

大杂烩!注意力机制时空特征融合!组合模型集成学习预测!CNN-LSTM-Attention-Adaboost多变量负荷预测 目录 大杂烩!注意力机制时空特征融合!组合模型集成学习预测!CNN-LSTM-Attention-Adaboost多变量负荷预测…

AI大模型开发——7.百度千帆大模型调用

本节旨在为读者提供一个实用指南,探讨如何有效地利用百度千帆大模型平台的强大功能。从基础的账号注册和密钥申请入手,逐步引领用户通过案例, 理解并掌握如何调用文本和图像处理的大模型 API, 包括但不限于 NLP、对话生成、文本续…

linux中对.jar文件的配置文件进行修改

linux中对.jar文件的配置文件进行修改 第一步,进入你的.jar的当前文件夹 第二步 ,编辑你指定的 .jar 文件 编辑之前请先备份 cp xxx.jar xxx-1.2.jar 输入编辑命令 vim xxx.jar第三步,找到你要编辑的文件 输入命令进入vi模式(…

Python(TensorFlow)多模光纤光束算法和GPU并行模拟

🎯要点 🎯多模光纤包含光学系统线性和非线性部分 | 🎯单变量线性回归、多变量线性回归、人脸图像年龄预测、音频语音分类和 X 射线图像评估算法 | 🎯在空间光调制器记录海螺参数矩阵,光束算法多变量预测年龄 | &#…

pytorch训练后pt模型中保存内容详解(yolov8n.pt为例)

在 PyTorch 中,.pt 模型文件通常包含以下几类数据: 模型参数: 存储模型的权重和偏置参数。 优化器状态: 包含优化器的状态信息,以便在恢复训练时能够从中断的地方继续。 训练状态: 一些训练过程中的信息&am…

SpringBoot的自动配置原理探究

目录 什么是SpringBoot的自动配置(Auto-Configuration) 举例:SpringBoot自动配置(Redis的自动配置)的实例: 步骤1.:引入Redis启动器pom依赖 步骤2.在application.yml或者(proper…

火狐浏览器应用商店不支持下载

前言 之前手机一直用的火狐浏览器,现在换了新的手机,又想下载使用,从官网直接下载现在直接跳载到Google Play才能下载,但是国内又用不了的,这里就记录一下怎么在手机应用商店不支持情况下载。 从FTP服务器下载Beta版…

C++学习笔记----4、用C++进行程序设计(四)---- 复合关系与继承关系之间的细线

在现实世界只是很容易区分对象之间是复合关系还是继承关系。没有人会说桔子有一个水果--而只能是桔子是一种水果。但是,在代码中,有时候就不是那么清晰了。 设想有一个代表关联数组的假想类,将一个键影射到一个值的数据结构。例如&#xff0c…

python画图高斯平滑均值曲线

注:细线是具体值,粗线是高斯平滑处理后的均值曲线 #codinggbk import matplotlib.pyplot as plt import numpy as np from scipy.ndimage import gaussian_filter1d# 生成一些示例数据 np.random.seed(0) timesteps np.linspace(1000, 0, 1000) data 0.4 0.2 * np.random.r…

并查集(路径压缩、按秩合并、按大小合并)

文章目录 并查集简单介绍:初始化:如何查找?如何合并?优化如下:路径压缩:代码: 按秩合并:**代码:** 启发式合并(按大小合并):代码: 例题…

E5063A-011 时域分析/测试向导程序

矢量网络分析 E5063A 选件 011 E5063A-011 时域分析/测试向导程序 不容错过! 概述 Keysight E5063A ENA 系列 PCB 分析仪是较佳的 PCB 生产测试解决方案,可提供阻抗(TDR)和回波损耗(S 参数)测量能力。…

11091 最优自然数分解问题(优先做)

### 简短思路 #### 问题&#xff08;1&#xff09;&#xff1a;将n分解为若干个互不相同的自然数之和&#xff0c;且使这些自然数的乘积最大 1. 对于n < 4的情况&#xff0c;直接返回特定值。 2. 对于n > 4的情况&#xff0c;使用贪心策略&#xff0c;将n分解为从2开始的…

证书学习(一)keytool 工具使用介绍

目录 一、keytool 简介1.1 什么是 keytool&#xff1f;1.2 主要功能&#xff1a;1.3 使用场景1.4 常用命令1.5 默认参数 二、keytool 用法说明2.1 基本使用2.2 创建密钥库和密钥条目2.3 查看密钥库信息2.4 导出密钥库条目证书2.5 导入信任证书到密钥库2.6 打印证书内容2.7 删除…

零工市场小程序应该有什么功能?

数字经济现如今正飞速发展&#xff0c;零工市场小程序在连接雇主与自由职业者方面发挥着越来越重要的作用。一个高效的零工市场小程序不仅需要具备基础的信息发布与匹配功能&#xff0c;还应该涵盖交易管理、安全保障以及个性化服务等多个方面。 那么&#xff0c;零工市场小程…

为什么企业跨国组网建议用SD-WAN?

SD-WAN成为企业跨国组网的首选方案&#xff0c;主要因为它在灵活性、智能化管理以及数据安全等方面具备显著优势。在企业进行跨国组网时&#xff0c;往往会面临网络连接复杂、流量管理难度大以及数据安全等诸多挑战&#xff0c;而SD-WAN能够有效应对这些难题。 首先&#xff0c…

Docker续1:

一、打包传输 1.打包 [rootlocalhost ~]# systemctl start docker [rootlocalhost ~]# docker save -o centos.tar centos:latest [rootlocalhost ~]# ls anaconda-ks.cfg centos.tar 2.传输 [rootlocalhost ~]# scp centos.tar root192.168.1.100:/root 3.删除镜像 [r…

场外个股期权杠杆率是多少如何计算倍数?

今天带你了解场外个股期权杠杆率是多少如何计算倍数&#xff1f;场外个股期权的杠杆大小不是固定的&#xff0c;而是取决于期权合约的价值和标的资产的价值之间的比例&#xff0c;一般来说场外个股期权的杠杆率大概在5-30倍甚至更高左右。 场外个股期权杠杆率是多少&#xff1…

罗德与施瓦茨RS SMW200A 最实用的一款矢量信号发生器

Rohde & Schwarz SMW200A 是一款适用于最苛刻应用的矢量信号发生器。由于其灵活性、性能和直观的操作&#xff0c;它是生成复杂、高质量数字调制信号的完美工具。 罗德与施瓦茨 SMW200A 是开发新型宽带通信系统、验证 3G 和 4G 基站或航空航天和国防领域所需的数字调制信号…