人工智能大模型 | 通俗讲解AI基础概念

LLM

LLM（Large Language Models）指的是大型语言模型。这些模型是自然语言处理（NLP）技术的一部分，使用深度学习训练来理解、生成、翻译文本，甚至执行特定的语言相关任务，如问答、文本摘要、编程代码生成等。LLM根据大量文本数据进行训练，以理解语言的结构、含义和上下文。

LLM的关键特征之一是其规模，即模型中包含的参数数量非常庞大。这些参数帮助模型捕获语言的复杂性和细微差别。随着模型规模的增加，它们的理解能力和生成文本的质量也会提高，但同时也会增加所需的计算资源和训练时间。

`AGI`

AGI（Artificial General Intelligence）也称为通用人工智能，指的是一种具有广泛智能的机器，能够理解、学习和应用知识，并能够在宽广范围的环境和任务中进行自主学习、推理、适应和创造，与人类智能相似或等同的水平。

区别于目前广泛应用的专业人工智能（AI）系统，这些系统通常优化和设计用来解决特定问题（如图像识别、语言翻译等），AGI能够跨领域工作，不仅局限于一个具体领域或任务。

AGI的实现将标志着一个重大科技进展，但同时也引发了许多伦理和安全的考量。目前AGI仍然是人工智能领域的一个长期目标，并且尚未实现。

`AIGC`

AIGC（Artificial Intelligence Generated Content）即为人工智能生成内容，是一种内容生产形式。例如AI文字续写，文字转像的AI图、AI主持人等，都属于AIGC的应用。

AI Agent

AI Agent 即智能代理，是一种基于人工智能技术的软件实体，它能够在一定的环境下自主感知信息、处理数据、并采取行动以实现特定目标。这种智能代理能够模拟人类的工作和思考方式，通过类似人类的独立思考和行动来完成一系列简单或复杂的任务。

大语言模型 (LLM) 仅限于它们所训练的知识，并且这些知识很快就会过时（每天用最新信息重新训练这么大的模型是不可行的），LLM的一些局限主要包括：

会产生幻觉
结果并不总是真实的
对时事的了解有限或一无所知
很难应对复杂的计算。

这就是AI Agent的用武之地，它可以利用外部工具来克服这些限制。可以将Agent视为人工智能大脑或LLM操作系统，它使用LLM进行推理、计划和采取行动。

智能体 `Bot`

是平台对AI Agent的抽象定义，即人工智能代理，是一个能够根据人类目标自主思考和规划任务的程序或实体。可以将智能体视为人工智能大脑或LLM操作系统，它使用LLM进行推理、计划和采取行动（调用工具）。

实际使用过程中，我们更建议为某个具体的应用场景创建专门的智能体，而不是什么工作都交给同一个智能体，只有让智能体做更专注的事情才能做的更加专业。

提示词 `Prompt`

简单的理解它是给 AI 模型的指令。它可以是一个问题、一段文字描述，甚至可以是带有一堆参数的文字描述。AI 模型会基于 prompt 所提供的信息，生成对应的文本或者图片。

针对智能体的提示词可能和对话的提示词略有不同，对话过程中的提示词上下文最多只有5条，智能体的编排提示词可以一直生效，而且通常具有一定的格式规范，更利于智能体执行任务。平台也预设了一些常用的智能体提示词可供用户选择。

`RAG`

RAG（Retrieval-Augmented Generation 检索增强生成）是一种结合了信息检索和文本生成技术的自然语言处理方法，它通过检索相关信息来辅助生成更准确和丰富的文本输出。

RAG的一个关键优势是它可以有效地处理那些不仅依赖于通用知识，而且还需要特定信息源或文档中的知识才能回答的问题。通过直接利用这些来源中的信息，RAG能够提供更加准确和信息含量更高的输出。

知识库 `Knowledge Base`

知识库指用于提供信息检索支持的大规模数据集合，包括用户上传到平台的各类文档、表格、数据表等资料，便于用户组织、管理领域知识，知识库可以理解为数据源。

知识库在RAG方案中的作用是多方面的：

信息源：为生成模型提供丰富的背景信息和事实依据，使生成内容更加丰富和准确。
提升效率：通过预先建立的知识库进行检索，可以减少生成模型需要从头计算或推理的信息量，提升处理速度和效率。
增强准确性和相关性：基于检索到的与查询直接相关的信息，生成的内容更加贴近用户的实际需求，提升了回答的准确性和相关性。

因此，在RAG方案中，知识库的构建和质量直接影响到系统的整体性能，包括生成内容的准确度、丰富性和用户满意度。

多模态 `Multi Modal`

多模态指的是结合使用两种或两种以上不同类型的模式或信号来进行信息的表达、交流或处理。在计算机科学和人工智能领域，多模态通常涉及到结合文本、图像、音频、视频以及其他传感器数据来提升算法的理解、分析和生成能力。

多模态方法可以帮助系统更全面地理解复杂的信息场景，提高信息处理的效率和效果。

多路召回 `Multi-channel Recall`

多路召回是自然语言处理(NLP)和推荐系统中的一种常见策略，旨在从多个维度或渠道同时检索信息或物品，以提高召回质量和覆盖率。在这种策略中，系统会利用多个独立的算法或模型，每个算法或模型专注于从一个特定的角度或依据一个特定的特征来检索信息。

这些不同的召回渠道之后可以被合并或进一步处理，以生成一个综合的、多样化的结果集，从而提高最终推荐或检索结果的准确性和多样性。多路召回在提升用户体验和满足不同用户需求方面发挥着重要作用。

微调 `Fine-Tuning`

模型微调（Model Fine-tuning）是一种机器学习方法，特别是在深度学习领域中常见。这种方法涉及到在一个预训练的模型基础上，通过对模型进行额外的训练（或“微调”），使其更好地适应于特定任务或数据集。在模型微调过程中，通常会采用较小的学习率，对预训练模型的权重进行小幅度调整，以达到提高模型在特定任务上表现的目的。

模型微调的特点是能够利用预训练模型已经学到的知识，从而在数据量较少的情况下也能达到较好的性能，加速模型的训练过程并提高模型的泛化能力。

对齐`Alignment`

人工智能中的对齐是指引导人工智能系统的行为，使其符合设计者的利益和预期目标。一个已对齐的人工智能的行为会向着预期方向发展;而未对齐的人工智能的行为虽然也具备特定目标，但此目标并非设计者所预期。

Token

在自然语言处理中，我们通常将文本拆分为一个个离散的token，以便于计算机理解和处理在GPT模型中，token是模型接收的最小单位。模型在训练和生成文本时，将输入的文本序列划分为一系列的token，并通过对这些token进行处理和分析来生成响应。

例如：在一个对话中，一句话可以被划分为多个token，包括单词、标点符号等。每个token都有一个对应的编码表示，通常是一个整数。这些编码将文本转换为模型能够处理的数值形式。在使用ChatGPT时，用户通常需要了解自己的输入文本中有多少个token，以确保不超过模型的最大输入限制。

需要注意的是，不同的模型和工具可能对token的定义和处理方式有所不同但总体来说token是指文本处理和分析的最小单位，通常1Token的内容为5 字节的文本，但由于字符编码问题，不同中文字符的token数量并不是固定的，一般通过类OpenAI的接口调用会返回当前内容的token数量大小。

向量 `Vector`

向量，物理、工程等也称作矢量、欧几里得向量(Euclidean vector) 是数学、物理学和工程科学等多个自然科学中的基本概念。指一个同时具有大小和方向，且满足平行四边形法则的几何对象。理论数学中向量的定义为任何在称为向量空间的代数结构中的元素。

一般地，同时满足具有大小和方向两个性质的几何对象即可认为是向量。向量常常在以符号加箭头标示以区别于其它量。与向量相对的概念称标量、纯量、数量，即只有大小、绝大多数情况下没有方向(电流是特例)、不满足平行四边形法则的量。

向量数据库 `Vector Database`

向量数据库是基于智能算法提取需存储内容的特征，转变成具有大小定义、特征描述、空间位置的多维数值进行向量化存储的数据库，使内容不仅可被存储，同时可被智能检索与分析。

工具 `Tool`

是平台对智能体能力的抽象，通过工具的配置和组合可以实现多种业务场景需求，工具可以被实际关联到智能体的扩展能力，目前平台提供的工具包括大模型能力（文生图等）、联网查询（必应搜索）、知识库检索（知识管理检索）、函数调用（各种接口）等类型，将来还会拓展更多的工具类型。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍