前言：好久不见，甚是想念，我是辣条，我又回来啦，兄弟们，一别两年，还有多少老哥们在呢？

目录

一年半没更文我干啥去了？

AI大模型火了

人工智能

大模型的理解

为什么学习大模型

大模型Function Calling功能增强

大模型接入公司的数据：embeddings&RAG

 国产大模型

大模型学习路线

阶段一：AI大模型时代的华丽登场

阶段二：AI大模型API应用开发工程 

阶段三：大模型应用架构进阶实践

阶段四：大模型微调与私有化部署 

总结：我眼中的IT行业现状与未来趋势

---

一年半没更文我干啥去了？

不仅我没更文，好像跟我同一批的很多博主都没有更文了，有点怀念那个时候大家一起从0粉开始输出，大家相互卷，卷内容，卷文字，从普通的几百字文章到几千字的文章，最后动不动就万字长文，甚至恐怖到十万字长文，当时官方也吐槽：我们这些博主怎么动不动搞这种大长文？当时大家的卷还不是为了那份流量，从开始的博文记录自己的技术学习到后面为了用户而出输出，那段时间很快乐，很充实，很安逸。

有人说经常怀念过去的人是现在过的不好，好像说对了，好像有不对，你觉得呢？这一年半我自己也经历了不好，因为图文创作本身是没啥收益的，当时后面去试了短视频创作这块，我们一批很多博主后面都尝试了，最后破圈成功的只有英雄老哥【ID：英雄哪里出来】，他现在某站和某音粉丝量惊人，甚至是我们这个赛道里的头部博主了，以前搞博客赛道的时候就是CSDN的头部，现在也是短视频程序员里的头部，所以成功的人好像做啥都能成功，就像雷军雷总一样，当初写代码那么优秀，后面把小米手机做的这么优秀，现在小米汽车同样做的这么优秀。任何人之间的差距，有外在的更有内在的，人往往被外在迷惑而忽视了内自。

我也经历许多挫折，能怎么办呢，拍拍身上的灰尘，继续向前进，与各位互勉。

AI大模型火了

好像火了，年年都在炒，年年炒的东西都不一样，我不想聊纯技术的东西（其实我不太擅长技术0.0），我就蹭蹭这个热度（我不是纯蹭啊，蹭热度的同时跟大家聊明白）

人工智能

传统AI

传统AI技术在工业控制、智能家居、无人驾驶、自动回复等领域也取得了较好的应用效果，在智能家居领域，传统AI技术能够实现对家居设备的智能控制，提高居住舒适度。比如家里的小度小度，智能语音机顶盒，智能控制的电器，就是最多的应用场景。但是它一般比较难有上下文的语言关联能力，也就是说，它不能够结合之前人类跟它的沟通来回答人类的问题。典型的代表就是智能客服，智能客服经常进入死循环，这就是因为没有结合上下文能力的原因。传统AI技术主要基于规则和知识库进行问题求解。

大模型

大模型在自然语言处理、计算机视觉、语音识别等领域取得了显著的成果。大模型还在金融、医疗、教育等领域取得了较好的应用效果。他最大的特点是，大模型给人的感觉是他能够像人一样“思考”，能够结合上下文的内容进行像人一样的回答，似乎它有记忆力一样。

大模型通常采用深度学习技术，通过大规模 数据集 训练出深度神经网络，从而实现对复杂问题的高效解决。大模型具有较好的泛化能力，能够在大量数据集上获得较好的性能。此外，大模型还具有较好的可扩展性，能够通过增加网络深度和网络宽度来提高性能。在人工智能（AI）领域，语言模型是一种可以预测文本序列的概率的统计模型。

大模型的理解

为什么学习大模型

通俗的理解：大模型是一个训练好的智能集体，它不具备联网的能力，它更像是一个人，但是这个人没有手机和电脑可以联网，因此你对它提问，它都会基于自己的知识理解给你答案，这个答案不一定是正确的。因此，大模型的数据知识库知识库是截至到2021年9月份的，这也就意味着在这个日期之后的知识它是一无所知的，尽管可以通过激发它的涌现能力让它具备一定的推理能力。

需要学习的人群：AI使用者：使用别人开发的AI工具，每个人都是这个角色。AI产品设计者：设计给他人使用的AI工具。AI产品开发者： 编程实现AI工具。AI产品的设计和开发者，是一般人在AI中具有最大的机会的人。

大模型Function Calling功能增强

当大模型不懂某些技能，怎么办？比如，我问：请问明天我需要打伞吗？，这个问题大模型是解决不了的，因为大模型是没有联网的。

大模型会需要查询我所在地址的天气情况，然后基于天气情况才能告诉我我是否需要打伞

于是大模型就会去查询天气，然后综合天气给的结果给我们一个答案

模型的结构

• 应用如下所示

  Function Calling
• 在上图中②所做的事就是，大模型发现自己要回答问题需要知道天气情况才能给出答案，因此，大模型就会去去调用天气的接口函数，查询天气，这个过程就是Function calling

• Agent

  大模型能够充分发挥自身的语义理解能力，解析用户的输入，然后在函数库中自动挑选出最合适函数进行运行，并给出问题的答案，整个过程不需要人工手动干预。这整个过程，好像不需要人处理，大模型自己就像人一样在做整个流程，这个流程的组合体就是一个智能的人一样，称为Agent，智能体。

• APIs

  我们给大模型提供的接口肯定就不止是一个，可能是很多个，一系列的，那么这一系列的接口，我们称为APIs，函数库

大模型接入公司的数据：embeddings&RAG

• 当一个公司有一系列的书本资料的时候，遇到了问题需要人去查书，然后再总结，这个过程很慢，那么可以把这个整理为一个向量库的标准数据，然后当用户向大模型提出问题的时候，大模型就会去这个数据库中查找数据，并反馈给用户结果

  

• embeddings

  • 由于大语言模型信息的滞后性以及不包含业务知识的特点，我们经常需要外挂知识库来协助大模型解决一些问题

  • 为了让外挂的知识库更好的被访问，于是需要对数据进行标准的格式输出，我们称之为向量化》embeddings

• RAG

  • 相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。

  • RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。

  • 

  • RAG优势

  • 

 国产大模型

• 文心一言

• 智谱清言

• 星火大模型

• 通义千问

• MOSS

• 盘古大模型

• 云雀

• 混元

• 商汤 - 商量SenseChat

• 中科院自动化所 - 紫东太初大模型

• 上海人工智能实验室 - 书生通用大模型

• 百川智能 - 百川大模型

• 清华大学 - ChatGLM-6B

大模型学习路线

阶段一：AI大模型时代的华丽登场

• 学习目标：所有行业的人都需要真正的了解的大模型，它不是ChatGPT的使用培训，而是更高级别的全面了解各种大模型，并能够更好的使用这些大模型

• 内容

  • 第一阶段. 理解大模型

    • 初识大模型

      • 人工智能演进与大模型兴起：从AI1.0到AI2.0的变迁

      • 大模型与通用人工智能

      • GPT模型的发展历程：GPT-1到GPT-4

      • .最新发展：GPT4-Turbo和GPTs

      • 未来展望：大模型的趋势与挑战

    • 国产大模型介绍

      • 1.文心一言

      • 2.星火大模型

      • 3.智谱清言大模型

      • 4.盘古大模型

    • 大模型核心原理

      • 1. 理解大模型成功的背后

      • 2. 理解生成式模型与语言模型

      • 3. Transformer架构深度解析

      • 4. 关键技术解析：预训练、SFT、RLHF

      • 5. GPT4应用实例与Prompt使用技巧

      • 6. 交互式讨论：当前大模型应用场景

    • 实践中的大模型

      • 1. GPT模型实际应用与成本分析

      • 2. OpenAI基础API实操

      • 3. OpenAI Playground与参数调整

  • 第二阶段. 大模型提示工程

    • AI开发环境

      • Python快速入门

      • pip工具快速掌握

      • IDE搭建与使用

    • 提示工程基础

      • 什么是提示工程

      • Prompt的构成与调优

      • 基于OpenAI的Prompt案例

    • 提示工程进阶

      • 思维链Chain-of-thought

      • 思维树Tree-of-thought

      • Prompt攻击与防范

      • 敏感信息及账号密码方面的安全

    • 实战项目一：基于提示工程的代码生成

阶段二：AI大模型API应用开发工程 

• 学习目标：理解大模型并且能够进行基于大模型的应用开发

• 内容

  • 理解Function Calling

    • OpenAI tools参数与function

    • 调研本地Function Calling

    • 远程Function Calling调用

    • Function Calling数据库查询

    • 支持Function Calling的国产模型

  • RAG与Embedding

    • 检索增强模型RAG

    • RAG系统基本搭建

    • 什么是Embedding

    • Embedding在LLM中的应用

    • 向量相似度欧式距离与余弦距离

    • OpenAI Embedding

  • 向量数据库

    • 向量数据库运用

    • 向量数据库服务

    • 主流向量数据库

    • Embedding与向量数据库结合

    • 精简讲概念

  • OpenAI GPTs与Assistant API

    • GPTs的使用与限制

    • Assistants API 应用场景

    • Assistants thread与messages

    • 基于Assistans做一个自己的GPT

    • GPT-4应用

  • 实战项目二：基于大模型的文档智能助手

  • 实战项目三：基于大模型的医学命名实体识别系统

阶段三：大模型应用架构进阶实践

• 学习目标：对大模型进行初步精调，让大模型在某一个领域的任务表现可以商业

• 内容

  • LangChain开发实践

    • LangChain VS Semantic Kernel

    • LangChain的核心组件

    • 模型I/O封装

    • Prompt模版封装

    • 数据库连接封装

    • Memory记忆封装

    • Chat models与LLMs

    • LangChain中RAG的实现

    • 实战项目四：智能论文审稿机器人

  • Agents智能体架构

    • Agents概述与应用场景

    • LangChain Agents的设计理念与原理

    • Agents关键技术分析

    • ReAct Framework

    • Agents的未来潜力

    • AutoGPT快速打造智能体

    • MetaGPT

      • MetaGPT项目定位与解决的问题

      • MetaGPT的技术方案分析

      • MetaGPT的各模块代码解读

    • 实战六：多智能体协同代码生成应用

  • 实战项目七：基于图片的智能信息检索问答

  • 实战项目八：无人数字人直播机器人客服

  • 实战项目九：基于Agents打造AI模拟面试机器人

阶段四：大模型微调与私有化部署 

• 学习目标：让大模型根据我们自己的专业/行业的私有知识库，经过微调可以回答有质量的专业问题

• 内容

  • 开源模型与私有化模型

    • 私有化部署的必要性

    • HuggingFace开源社区的使用

    • ChatGLM，Baichuan, LLaMA介绍

    • 私有化部署模型实战

  • 模型微调Fine-Tuning

    • 模型微调的意义

    • 大模型的训练阶段介绍

    • Pre-train: 基座的训练

    • SFT: 模型的调整

    • 对于GPT模型的微调

    • LoRA介绍

  • 实战：医疗领域智能医生私有模型

  • 开源大模型微调

    • ChatGLM3-6B模型介绍

    • ChatGLM3-6B模型微调

    • LLaMA-7B模型介绍

    • LLaMA-7B模型微调

    • Baichuan-7B模型介绍

    • Baichuan-7B模型微调

  • 多模态

    • 什么是多模态模型

    • 多模态的应用场景

    • 图像生成技术概述

    • DALLE-3与Midjourney

    • Stable Diffusion与ControlNet

    • 语音生成技术概述

    • 主流TTS技术剖析

    • 案例：MiniGPT-4与多模态问答

    • 案例：BLIP与文本描述生成

    • 案例：Video-LLaVA与多模态图像视频识别

  • 实战

    • 代码生成实战

总结：我眼中的IT行业现状与未来趋势

当前，IT行业在全球范围内都是一个快速发展的领域，它对经济发展、社会进步和人们生活方式的改变起着至关重要的作用。

现状方面，中国IT行业呈现出以下几个特点：

1. 数字化转型加速：随着云计算、大数据、人工智能等技术的成熟和应用，中国各行业都在加速数字化转型，IT行业在提供技术支持和服务方面发挥着核心作用。

2. 新技术不断创新：中国在5G、人工智能、区块链等新兴技术领域持续投入研发，力图在这些领域取得领先地位。

3. 政策支持力度大：中国政府出台了一系列政策支持IT行业发展，如“互联网+”、“智能+”等行动计划，以及为科技创新企业提供税收优惠、资金支持等措施。

4. 国际合作与竞争加剧：在全球产业链中，中国IT行业与国际先进水平的差距正在缩小，同时，国际竞争和合作也在不断加深。

未来趋势方面，可以预见：

1. 技术创新驱动：未来IT行业将继续以技术创新为核心驱动力，特别是在人工智能、大数据、云计算、物联网等领域。

2. 行业应用深化：IT技术将在智能制造、智慧城市、远程医疗、在线教育等行业应用中得到更深入的整合和应用。

3. 信息安全重要性提升：随着数字化的深入，信息安全将成为越来越重要的议题，对加密技术、隐私保护、网络安全等方面的投入将持续增加。

4. 可持续发展：随着全球气候变化和资源约束的挑战，IT行业将更加注重绿色发展，推动能源效率的提高和电子废弃物的减量化。

做好当下事，不念过往，不惧将来。