生成式人工智能之路,从马尔可夫链到生成对抗网络

news2024/11/22 15:51:11

人工智能(Artificial intelligence,AI)技术在过去几年中取得了显著进展,其中生成式AI(Generative AI)因其强大的内容生成能力而备受关注。生成式AI可以创建新的文本、图像、音频、视频、代码以及其他形式的数据,这一特性使其在多个领域都有广泛的应用。其实,我们现在大多数在数据领域接触主要是生成式AI与判别式AI。这是AI的两个主要类别。判别式AI是传统且更为人知的部分,而生成式AI则是今天讲的主题。

生成式AI的概念源于20世纪50年代末和60年代初。当时,研究人员开始探索使用算法生成新数据的可能性。一个早期的例子是马尔可夫链(Markov Chain)。这是一个统计模型,能够根据输入生成新的数据序列。虽然这个模型看起来简单,但它为生成式AI的进一步发展奠定了基础。

上面的是一个马尔可夫链的状态转移图,用于表示马尔可夫过程中的状态之间的转移概率。在这种图中,每个圆圈代表一个状态,而箭头则表示从一个状态转移到另一个状态的概率。每条箭头上标注的数字表示从起始状态转移到目标状态的概率。在这个示例中,有两个状态:E 和 A。从状态 E 转移到状态 A 的概率是 0.7,而留在状态 E 的概率是 0.3。从状态 A 转移到状态 E 的概率是 0.4,而留在状态 A 的概率是 0.6。

由于马尔可夫链模型是一种描述系统在不同状态之间随机转移的数学模型,它在生成式AI及其他领域中有着广泛的应用。1)在文本生成方面,马尔可夫链可以通过预测下一个单词生成文本,应用于聊天机器人、自动补全系统等。2)在音乐创作中,它能够建模音乐序列,预测音符或和弦,从而辅助音乐生成。3)金融领域则利用马尔可夫链模拟股票市场趋势、信用评级变化和利率波动,而在天气预测中,它帮助根据当前和过去的条件预测未来天气。4)语音识别系统中,隐马尔可夫模型(HMMs)用于建模音素序列的概率,提升语音识别的准确性。5)在生物信息学中,马尔可夫链用于建模DNA序列,辅助基因预测和序列分析。6)Google的PageRank算法也利用了马尔可夫链来建模用户浏览行为,并对网页进行排名。7)自然语言处理领域中,马尔可夫链用于词性标注,提升文本分析和理解的效果。在游戏AI中,它能建模非玩家角色的行为,创造更加真实和多样化的动等等。

上图,安德烈·马尔可夫(1856年6月14日- 1922年7月20日)在20世纪初研究了马尔可夫过程,并在1906年发表了关于这一主题的第一篇论文。他的工作基于早期的泊松过程,对独立随机序列进行了扩展。马尔可夫在他的第一篇论文中展示了在特定条件下,马尔可夫链的平均结果会收敛到一个固定的值,从而在没有独立性假设的情况下证明了弱大数法则。马尔可夫还利用马尔可夫链研究了亚历山大·普希金的《叶甫盖尼·奥涅金》中元音的分布,并证明了这样的链的中心极限定理。

早期的生成式AI实例

接下来,我们要谈到1960年代的一个重要人物——约瑟夫·魏岑鲍姆。魏岑鲍姆最著名的贡献是他在1960年代开发的ELIZA程序(名为 ELIZA,是以乔治·伯纳德·萧伯纳的《皮格马利翁》中的天真少女命名,它可以与用户聊天。ELIZA 是用魏泽鲍姆自己创建的 SLIP 编程语言编写的。该程序将模式匹配规则应用于语句以确定其回复。(现在这样的程序被称为聊天机器人)。ELIZA是早期的自然语言处理程序之一,能够进行基于文本的对话。它通过使用一组预定义的规则和模式来识别用户输入中的关键词,并生成相应的回应。尽管ELIZA的能力非常有限,主要依赖于模式匹配,但它在当时的技术背景下展示了机器能够进行“对话”的潜力。ELIZA的成功引发了人们对计算机能够模拟人类对话的广泛兴趣,也为后来的对话系统和自然语言处理技术奠定了基础。

约瑟夫·魏岑鲍姆(Joseph Weizenbaum,1923 年 1 月 8 日 - 2008 年 3 月 5 日)是一位德裔美国计算机科学家,也是麻省理工学院的教授。魏泽鲍姆奖和魏泽鲍姆研究所都是以他的名字命名的。

80年代之后

到了1980年代和90年代,神经网络的引入标志着生成式AI的一个重大突破。神经网络能够模拟人脑的工作原理,通过大量数据训练,从而生成复杂的模式和结构。这一时期的进展为后来的生成式AI系统奠定了基础。

2014年,生成式AI迎来了一个重要的里程碑。伊恩·古德费洛(Ian Goodfellow)及其同事提出了生成对抗网络(GANs)的概念。然而,GANs通过对抗训练机制,显著提升了生成模型的能力。

在GANs中,两个神经网络——生成器(Generator)和判别器(Discriminator)——在对抗中相互博弈。生成器负责生成新内容,如图像或文本,而判别器则评估这些内容的真实性。生成器的目标是欺骗判别器,使其无法区分生成的内容与真实内容,而判别器则力求准确识别真假。通过这种对抗过程,判别器的判断标准也逐渐提高,使生成器能够生成更为高度逼真的数据。

GANs的出现标志着现代生成式AI的重要进展。

生成式AI的发展不是由某一个发明者推动的,而是许多研究人员和科学家的共同努力。最早的生成式AI实验集中在简单的统计模型和算法上,如马尔可夫链。随着计算能力的提升和神经网络技术的发展,生成式AI进入了一个新的阶段。多层神经网络(Deep Neural Networks)和卷积神经网络(Convolutional Neural Networks)的引入,使得生成式AI能够处理更加复杂和多样的数据。

除了GANs,其他先进技术如变分自编码器(VAEs)和Transformer模型也对生成式AI的发展起到了关键作用。现代生成式AI不仅能生成高质量的文本,还能生成逼真的图像和视频,创作新的音乐作品,甚至在医疗和科学研究中应用,生成合成数据用于模型训练,辅助诊断和治疗。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1944017.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java中定时任务执行的三种方式

Java中定时任务执行的三种方式 1. 普通线程死循环1.1 优点1.2 缺点1.3 示例代码片段 2. 使用定时器 Timer2.1 优点2.2 缺点2.3 示例代码片段 3. 使用定时调度线程池 ScheduledExecutorService3.1 优点3.2 缺点3.3 示例代码片段 💖The Begin💖点点关注&a…

Vue使用FullCalendar实现日历/周历/月历

Vue使用FullCalendar实现日历/周历/月历 需求背景:项目上遇到新需求,要求实现工单以日/周/月历形式展示。而且要求不同工单根据状态显示不同颜色,一个工单内部,需要以不同颜色显示三个阶段。 效果图 日历 周历 月历 安装插件…

Spring之Spring Bean的生命周期

Spring Bean的生命周期 通过BeanDefinition获取bean的定义信息调用构造函数实例化beanBean的依赖注入处理Aware接口(BeanNameAware、BeanFactoryAware、ApplicationContextAware)Bean的后置处理器BeanPostProcessor-前置初始化方法(Initiali…

Java基础(四) 内部类详解

Java 内部类详解 一. 内部类概述 内部类是嵌套在类内部进行定义的类,其外部的类则被称为外部类;按照内部类的定义位置,内部类可进一步划分为成员内部类、静态内部类、局部内部类和匿名内部类四种类型。内部类的出现实际上是进一步丰富了类的…

React 学习——行内样式、外部样式、动态样式

三种样式的写法 import "./index.css"; //同级目录下的样式文件 function App() {const styleCol {color: green,fontSize: 40px}// 动态样式const isBlock false;return (<div className"App">{/* 行内样式 */}<span style{{color:red,fontSiz…

FreeModbus学习——eMBPoll轮询

FreeModbus版本&#xff1a;1.6 eMBPoll在mb.c文件中 eMBPoll 函数是一个核心的 Modbus 协议栈事件处理函数&#xff0c;负责接收和发送帧&#xff0c;处理不同的事件&#xff0c;并根据需要返回错误码。 eMBErrorCode eMBPoll( void ) {static UCHAR *ucMBFrame; …

zabbix添加钉钉告警机器人使用bash和python两种脚本

zabbix添加钉钉告警机器人使用bash和python两种脚本 查看脚本目录 vi /etc/zabbix/zabbix_server.conf# 脚本存放路径 AlertScriptsPath/usr/lib/zabbix/alertscripts编写脚本&#xff08;二选一&#xff09; bash脚本 编写脚本 cd /usr/lib/zabbix/alertscripts vi zabbi…

00 RabbitMQ:前言

00 RabbitMQ&#xff1a;前言 1. 前言1.1. 举个&#x1f330;&#xff1a;快递案例1.1.1. 过程对比1.1.2. 延伸到程序中 1.2. 举个&#x1f330;&#xff1a;订单案例1.2.1. 流程1.2.2. 耦合1.2.3. 响应时间1.2.4. 并发压力1.2.5. 系统结构弹性 1.3. 总结 1. 前言 1.1. 举个&a…

机器人开源调度系统OpenTCS-6最新版本地源码运行

OpenTCS 项目使用 Gradle 而不是 Maven&#xff0c;那么需要使用 Gradle 来导入和构建项目。在 IntelliJ IDEA 中导入和运行使用 Gradle 的项目&#xff0c;可以按照以下步骤进行操作&#xff1a; 克隆 OpenTCS 源码 首先&#xff0c;克隆 OpenTCS 的源码到本地。您可以使用以…

2. 深度学习的项目流程(批量化打包数据、构建模型、训练模型、波士顿房价预测、激活函数、多层感知机)

深度学习流程 1. 深度学习基本流程1.1 流程图1.2 代码实现1.3 基本概念 2. 深度学习项目流程2.1 批量化打包数据2.2 构建模型2.3 训练模型&#xff08;1&#xff09;筹备训练&#xff08;2&#xff09;开始训练 2.4 模型推理 3. 深度学习实现波士顿房价预测3.1 数据读取、切分、…

Visio绘制的Sigmoid激活函数结构图,可导出高清图片,可修改,无水印。

Visio绘制的Sigmoid激活函数结构图,可导出高清图片&#xff0c;可修改&#xff0c;无水印。 方便用于小论文写作&#xff0c;方便用于毕业设计。 Visio版本为2021版&#xff0c;可用更高版本打开。 下载地址&#xff1a;地址 图片展示&#xff1a;

对递归的一些理解。力扣206题:翻转链表

今天在刷力扣的时候&#xff0c;在写一道翻转链表的题目的过程中&#xff0c;在尝试使用递归解决该问题的时候&#xff0c;第一版代码却每次都返回的是null&#xff0c;这个错误让我尝试去debug了一下&#xff0c;最终找出了问题&#xff0c;并且让我对递归有了一些更深的理解&…

Windows下帆软BI(finebi)单机部署移植(Tomcat)攻略

一、基础环境 操作系统&#xff1a;Windows 10 64bit 帆软BI 版本&#xff1a;V9.0/V10.0 HTTP工具&#xff1a;Tomcat 外置数据库&#xff1a;Oracle 11g 实验内容&#xff1a;将已经部署好的帆软BI从一台电脑移植到另一台电脑 二、前期准备 1、做好外置数据库移植&…

STM32CUBEIDE FreeRTOS操作教程(一):LED闪灯

STM32CUBEIDE FreeRTOS操作教程&#xff08;一&#xff09;&#xff1a;LED闪灯 STM32CUBEIDE(不是STM32CUBEMX)开发环境集成了STM32 HAL库进行FreeRTOS配置和开发的组件&#xff0c;不需要用户自己进行FreeRTOS的移植。这里介绍最简化的用户操作类应用教程。以STM32F401RCT6开…

JCR一区级 | Matlab实现GA-Transformer-LSTM多变量回归预测

JCR一区级 | Matlab实现GA-Transformer-LSTM多变量回归预测 目录 JCR一区级 | Matlab实现GA-Transformer-LSTM多变量回归预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.【JCR一区级】Matlab实现GA-Transformer-LSTM多变量回归预测&#xff0c;遗传优化算法&#…

Vue3--

一、pinia &#xff08;集中式状态&#xff08;数据&#xff09;管理&#xff09; 1、准备一个效果 2、存储读取数据 3、修改数据三种方式 4、storeToRefs 5、getters 当state中的数据&#xff0c;需要经过处理后在使用时&#xff0c;可以使用getters配置 6、$subscribe的使用…

QT总结——图标显示坑

最近写代码遇到一个神仙大坑&#xff0c;我都怀疑我软件是不是坏了&#xff0c;这里记录一下。 写qt工程的时候我们一般会设置图标&#xff0c;这个图标是窗体的图标同时也是任务栏的图标&#xff0c;但是我发现生成的exe没有图标&#xff0c;这个时候就想着给他加一个图标&…

Linux(CentOS)的“应用商城” —— yum

Linux&#xff08;CentOS&#xff09;的“应用商城” —— yum 关于 yum 和软件包Linux 系统&#xff08;CentOS&#xff09;的生态yum 相关操作yum 本地配置yum 安装 lrzsz.x86_64 关于 yum 和软件包 首先 yum 是软件下载安装管理的客户端&#xff0c;类似各种手机里的“应用…

OpenAI发布GPT-4 Mini的深度分析及中国大模型的弯道超车机会

引言 在OpenAI封禁中国IP访问其API后&#xff0c;紧接着推出了GPT-4 Mini&#xff0c;这是一个引发广泛关注和讨论的新举措。此举不仅让人们质疑OpenAI的战略方向&#xff0c;更引发了对中国大模型是否能弯道超车的讨论。本文将详细分析GPT-4 Mini的特点、市场影响及中国大模型…

eclipse中的classbean导入外部class文件,clean项目后删除问题

最近被eclipse搞得头疼&#xff0c;下午终于解决 eclipse创建的java项目中&#xff0c;类的输出目录是classbean。由于项目需要&#xff0c;classbean目录下已经导入了外部的类&#xff0c;但每次clean项目时&#xff0c;会把class删掉。 广泛查询&#xff0c;eclipse不清空c…