AI 大模型应用开发实战(04)-AI生态产业拆解

news2025/1/15 20:53:19

1 行业全景图

2 结构拆解AI GC

生成式AI这个产业。分成上中下游三大块。

2.1 上游基础层

主要包括:

  • 算力:包括AI芯片和云服务等,例如像英伟达、AMD以及华为等厂商提供的算力基础设施。大型模型基于Transformer架构,对算力的需求很大。
  • 数据:新时代的石油,分为基础数据服务、数据集和向量数据库。
  • 算法:算法基础包括TensorFlow、PyTorch等著名算法框架,以及百度、阿里、腾讯等公司提供的AI开发平台。

这是AI的基础,也是过去AI研究的重点。

2.2 中游-AIGC大模型层和工具层

大模型层分为:

  • 通用模型:如OpenAI、腾讯的宏源、百度的1000万等,
  • 行业模型,根据具体行业或业务进行微调或二次训练。工具层包括AI Agent,其中包括像OutGPT这样的工具,以及模型平台和模型服务等

2.3 下游应用层

包括:

  • 内容消费:在各种平台上生成内容,如抖音、快手等
  • 创作工具:提供基于AI的工具,如MID Generate
  • 企业服务:根据行业提供各种应用,如微软、亚马逊等

产业中,我们的位置是在AI GC工具层,即AI Agent层,作为中间件,承上启下。应用开发者的位置可能更多在中游和下游,发挥着重要作用。

3 名词解释

当然,可以按以下类别对这些概念进行细分解释:

3.1 模型与架构

  1. LLM (大型语言模型):具有大量参数,能处理复杂语言任务的模型。
  2. chatGPT:一种用于生成对话的自然语言处理模型。
  3. RWKV:结合RNN和Transformer优点的神经网络架构。
  4. CNN (卷积神经网络):一种擅长处理图像数据的神经网络。
  5. RNN (循环神经网络):处理序列数据的神经网络。
  6. stable diffusion:一种用于生成图像的扩散模型。
  7. DALL·E:OpenAI开发的生成图像的模型。
  8. RAG (检索增强生成):结合检索和生成的模型。
  9. AIGC (人工智能生成内容):指利用AI生成文本、图像等内容的技术。

3.2 技术与方法

  1. 多模态:处理多种不同类型数据的模型。支持多种形态的模型,如文字、图像、音频等

  2. 自监督学习:利用数据本身结构进行训练的方法。

  3. 预训练:在大规模数据上训练模型,以获得初始参数。

  4. Few-shot:使用少量样本进行训练和推理的能力。

  5. One-shot:使用单个样本进行训练和推理的能力。

  6. Zero-shot:无需样本也能进行推理的能力。

  7. Temperature:控制生成模型输出多样性的参数。

  8. RLHF (基于人类反馈的强化学习):通过人类反馈优化AI行为的方法。

  9. Fine-tunes:在预训练模型基础上,进行特定任务的微调。

  10. 向量搜索:通过向量化表示进行高效搜索的方法。

  11. 向量数据库:存储和检索向量化数据的数据库。

  12. NLP (自然语言处理):处理和生成自然语言的技术。

  13. CV (计算机视觉):理解和生成图像和视频的技术。

  14. 分析式AI:侧重于分析和理解数据的AI。

  15. 知识图谱:以图结构表示知识及其关系的数据结构。

  16. 过拟合:模型过度拟合训练数据而无法泛化到新数据的现象。

  17. AI推理:AI对数据进行推断和决策的过程。

  18. 生成对抗网络:通过两个网络的对抗来提高生成结果质量的方法。一种神经网络类型,用于生成真实的图像。(Generative Adversarial Networks, GANs)是一种由 Ian Goodfellow 等人在 2014 年提出的深度学习模型。GANs 通过两个网络(生成器和判别器)相互对抗的方式来提高生成结果的质量。这两个网络的具体角色和对抗机制如下:

    1. 生成器(Generator):生成器接受一个随机噪声向量作为输入,并生成伪造的数据(例如图像)。它的目标是生成尽可能真实的数据,以便欺骗判别器。

    2. 判别器(Discriminator):判别器接受真实数据和生成器生成的伪造数据,并试图区分两者。判别器的目标是尽可能准确地识别出哪些数据是真实的,哪些是伪造的。

    在训练过程中,生成器和判别器会交替优化自己的参数:

    • 生成器的目标是生成越来越真实的伪造数据,以使判别器难以区分真假数据。
    • 判别器的目标是提高其区分能力,准确判断数据的真假。

    这种对抗机制形成了一个零和游戏,最终生成器会生成出非常逼真的数据,使得判别器难以辨别其真假。

    综上,生成对抗网络是一种通过两个网络的对抗来提高生成结果质量的方法,也是一种用于生成真实图像的神经网络类型。

  19. 元学习:学习如何学习的方法,提高模型在新任务上的适应能力。

  20. 并行训练:同时训练多个模型或在多台设备上训练单个模型的方法。

3.3 平台与工具

  1. HuggingFace:提供自然语言处理模型和工具的公司。
  2. openAI:开发和研究人工智能的机构。
  3. Azure:微软的云计算服务平台。
  4. Heygan:一种AI生成模型(可能是特定应用的名称)。
  5. Copilot:编程助手工具,帮助开发者编写代码。
  6. midjourney:AI驱动的艺术创作平台。
  7. D-ID:用于生成和处理数字身份的技术。

3.4 概念与其他

  1. 具身智能:具有物理存在并能与环境互动的人工智能。
  2. AGI (人工通用智能):具有通用认知能力的AI。
  3. AI-Agents:自主行动并完成任务的人工智能代理。使用AI代替人类执行任务的智能体
  4. RPM:每分钟旋转数(Rotations Per Minute),这里可能表示模型的训练速度。
  5. 知知识幻觉:模型生成的看似合理但错误的知识。
  6. 咒语:特定输入词汇或短语,用来触发模型生成特定输出。
  7. 哼唱:AI生成的音乐或音频。
  8. CDN (内容分发网络):用于加速网络内容传输。
  9. 上下文:模型生成内容时参考的前后文信息。
  10. 炼丹:指模型训练和调优过程的比喻。
  11. 炼炉:可能是某种训练或计算环境的比喻。

关注我,紧跟本系列专栏文章,咱们下篇再续!

作者简介:魔都技术专家,多家大厂后端一线研发经验,在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。

各大技术社区头部专家博主。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。

负责:

  • 中央/分销预订系统性能优化

  • 活动&优惠券等营销中台建设

  • 交易平台及数据中台等架构和开发设计

  • 车联网核心平台-物联网连接平台、大数据平台架构设计及优化

  • LLM应用开发

    目前主攻降低软件复杂性设计、构建高可用系统方向。

参考:

  • 编程严选网

    本文由博客一文多发平台 OpenWrite 发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1853827.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

redis主从复制、哨兵、集群

在实际的生活环境中,如果只使用一个redis进行读写操作,那么面对庞大的访问人群是崩溃的,所以可以有几个redis,一个用来做主机,提供修改数据操作,而这个主机用来控制其他redis,即将更新的发送&am…

C/C++ - 编码规范(USNA版)

[IC210] Resources/C Programming Guide and Tips 所有提交的评分作业(作业、项目、实验、考试)都必须使用本风格指南。本指南的目的不是限制你的编程,而是为你的程序建立统一的风格格式。 * 这将有助于你调试和维护程序。 * 有助于他人&am…

号外!号外!全网第一手Android P刘海屏适配大揭秘,唯一Kotlin算法

如下图所示: 4.2.适配刘海屏 在刘海屏调试打开之后,浏览应用的所有页面,测试所有遮挡问题,或者是下移导致的问题,对有问题的页面进行布局适配。适配方案如下: Google 提供的适配方案,可以设置…

基于Vue-cli脚手架搭建项目使用ElementUI组件

项目结构 node_modules 项目依赖的外部组件文件放在此处,例如vue public index.html是对外提供的唯一的html文件 src assets 存放静态文件 例如图片 css js等文件 components 里面存放的是组件 App.vue是组件 main.js是项目配置文件 package.json存放的是项目依赖的…

1.树莓派4b+ubuntu18.04(ros版本melodic)+arduino mega自制两轮差速小车,实现建图导航功能

第一篇先介绍材料准备、环境配置和ros的安装 1.材料准备 1.树莓派4b,8g版本 2.arduino mega 3.MG310编码电机*2 4.雷达ydlidar X3 5.Tb6612电机驱动板 6.12v电池 7.ubuntu18.04ros melodic版本 2.环境配置 树莓派安装ubuntu18.04版本 ubuntu18.04版本的镜像可以…

访问网站时IP被屏蔽是什么原因?

在互联网使用中,有时我们可能会遇到访问某个网站时IP地址被屏蔽的情况。IP地址被网站屏蔽是一个相对常见的现象,而导致这种情况的原因多种多样,包括恶意行为、违规访问等。本文将解释IP地址被网站屏蔽的常见原因,同时,…

HarmonyOS-MPChart根据y轴刻度绘制渐变色曲线

本文是基于鸿蒙三方库mpchart(OpenHarmony-SIG/ohos-MPChart)的使用,自定义绘制方法,绘制一条颜色渐变的曲线。 mpchart本身的绘制功能是不支持颜色渐变的曲线的,只支持渐变色填充大块颜色。那么当我们的需求曲线根据…

【Linux】IP协议、以太网帧格式

目录 网络层IP协议协议头格式网段划分分类划分法特殊的 IP 地址IP 地址的数量限制私有 IP 地址和公有 IP 地址路由路由表生成算法 数据链路层以太网以太网帧格式认识 MAC 地址ARP协议ARP数据报格式 ARP 协议的工作流程ARP欺骗 DNShosts 文件域名的层级关系域名服务器分类域名解…

【计算机网络篇】数据链路层(12)交换机式以太网___以太网交换机

文章目录 🍔交换式以太网🛸以太网交换机 🍔交换式以太网 仅使用交换机(不使用集线器)的以太网就是交换式以太网 🛸以太网交换机 以太网交换机本质上就是一个多接口的网桥: 交换机的每个接口…

记MySQL事务+消息队列引起的问题

问题描述: 先说一下流程:后端保存前端提交的图表信息,然后发送异步消息到消息队列,由下游服务去处理图表信息。 部署项目到服务器,验证项目功能的时候,出现了以下错误:数据库存在数据。下游服…

计算机组成原理 —— 存储系统(DRAM和SRAM,ROM)

计算机组成原理 —— 存储系统(DRAM和SRAM) DRAM和SRAMDRAM的刷新DRAM地址复用ROM(Read-Only Memory(只读存储器)) 我们今天来看DRAM和SRAM: DRAM和SRAM DRAM(动态随机存取存储器&…

构建未来应用的核心,云原生技术栈解析

🐇明明跟你说过:个人主页 🏅个人专栏:《未来已来:云原生之旅》🏅 🔖行路有良友,便是天堂🔖 目录 一、云原生技术栈 1、容器和容器编排 1.1 Docker 1.2 Kubernete…

JaveEE进阶----Spring Web MVC入门

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、什么是 Spring Web MVC??1.1MVC 定义1.2 什么是Spring MVC ?1.3过浏览器和用户程序交互 二、 RequestMapping 注解三、Postman 前言…

能理解你的意图的自动化采集工具——AI和爬虫相结合

⭐️我叫忆_恒心,一名喜欢书写博客的研究生👨‍🎓。 如果觉得本文能帮到您,麻烦点个赞👍呗! 近期会不断在专栏里进行更新讲解博客~~~ 有什么问题的小伙伴 欢迎留言提问欧,喜欢的小伙伴给个三连支…

计网:网络应用层【Email应用/SMTP协议】

Email应用与SMTP协议 Email应用层的构成 客户端服务器协议 用户代理 用于读写邮件消息;与服务器交互,收发邮件消息 常见的客户端:Outlook,Foxmail(这两个是需要下载的客户端),Web客户端&…

浏览器插件利器-allWebPluginV2.0.0.14-bata版发布

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品,致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX插件直接嵌入浏览器,实现插件加载、界面显示、接口调用、事件回调等。支持谷歌、火狐等浏…

【数据建模】微分方程与动力系统

文章目录 微分方程与动力系统1. 微分方程的理论基础1.1 函数、导数与微分1.2 一阶线性微分方程的解1.3 二阶常系数线性微分方程的解 2. 使用python求解微分方程2.1 求解微分2.2 求解定积分2.2.1 quad函数求解2.2.2 梯型法则求解 3. 使用Scipy和Sympy解微分方程3.1 使用sympy求解…

4. DSL入门_01

1. 常见的DSL (1) 查询所有: 查询出所有数据,一般测试的时候使用,例如: match_all .但是受分页限制,一般返回10条数据 (2) 全文检索(full text)查询:利用分词器对用户输入内容分词,然后去倒排索引中匹配&a…

三个 insert 导致的死锁问题

锁种类 插入意向锁(insert intention lock)对已有数据行的修改与删除,必须加强互斥锁 X 锁,那对于数据的插入,是否还需要加这么强的锁,来实施互斥呢?插入意向锁,孕育而生。插入意向…

任务5.2 掌握DStream基础操作

实战:DStream基础操作 了解DStream编程模型:DStream是Spark Streaming中对实时数据流的抽象,可以看作一系列持续的RDD。DStream可以通过外部数据源获取或通过现有DStream的高级操作获得。 操作本质:DStream上的操作最终会转化为对…