ChatGPT学习第二周

news2024/11/25 6:40:51

📖 学习目标

  • 自然语言处理(NLP)简介
    • 探索自然语言处理的基本原理,理解其在ChatGPT中的应用。
  • GPT模型概述
    • 了解生成式预训练变换器(GPT)的工作原理。

✍️ 学习活动

学习资料

  • 《走进AI(三) | 解构 NLP》—Process On
  • 《一文看懂自然语言处理-NLP(4个典型应用+5个难点+6个实现步骤)》—微信公众号——AI科技在线
  • 《AI产品经理必修课:NLP技术原理与应用》—人人都是产品经理——Alan
  • 《基于深度学习的人机对话系统原理及应用》—客户世界——宁雪莉
  • 《GPT》—GitHub——Paddlepaddle

学习笔记

自然语言处理(NLP)基础知识
  • NLP的定义
      自然语言处理( Natural Language Processing, NLP)指的是能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言就是大家平时在生活中常用的表达方式,大家平时说的「讲人话」就是这个意思。
    在这里插入图片描述

  • NLP的组成
      NLP 由两个主要的技术领域构成:自然语言理解(NLU)和自然语言生成(NLG)。主要包含的技术领域如下图所示。
    在这里插入图片描述

  • NLP的工作原理
      NLP工作原理分为这几步:首先,我们会对文本进行预处理,这个过程包括清理文本、切分词语、提取词干以及标注词性,以便将原始文本数据转化为更适合模型处理的形式。接着,我们会提取文本的特征,将文本转化为数值形式,使得模型可以处理。然后,我们会基于这些特征训练各种机器学习或深度学习模型。一旦模型训练完成,我们就可以用它对新的数据进行预测,并使用各种评估指标来评估模型的性能。最后,我们将训练好的模型应用于各种NLP任务,如文本分类、情感分析、命名实体识别、关键词提取、机器翻译、语音识别、聊天机器人等。下图是自然语言处理的核心技术和处理流程以及深度学习模型的训练流程。
    NLP处理流程
    在这里插入图片描述

  • NLP在ChatGPT中的应用
      NLP是一系列使计算机能够理解、处理和生成人类语言的技术,而ChatGPT正是这些技术的一个应用实例。ChatGPT是一个聊天机器人,它使用了NLP中的深度学习模型——特别是Transformer模型——来理解和生成文本。这个模型在大量的文本数据上进行训练,学习如何用人类语言进行有效的交流。下图是NLP在ChatGPT对话实例中的作用。
    在这里插入图片描述

GPT模型概述
  • GPT模型的定义
      GPT(Generative Pre-training Transformer)是由OpenAI开发的一个自然语言处理模型。该模型使用了一种称为Transformer的深度学习模型,该模型最初是由Google的研究者在“Attention is All You Need”这篇论文中提出的。 GPT 模型是用一种半监督学习的方法来完成语言理解任务,GPT 的训练过程分为两个阶段:无监督Pre-training 和 有监督Fine-tuning。在Pre-training阶段使用单向 Transformer 学习一个语言模型,对句子进行无监督的 Embedding,在fine-tuning阶段,根据具体任务对 Transformer 的参数进行微调,目的是在于学习一种通用的 Representation 方法,针对不同种类的任务只需略作修改便能适应。
  • Transformer模型与GPT模型之间的关系
      GPT 使用 Transformer 的 Decoder 结构,并对 Transformer Decoder 进行了一些改动,原本的 Decoder 包含了两个 Multi-Head Attention 结构,GPT 只保留了 Mask Multi-Head Attention(即每个子层只有一个 Masked Multi Self-Attention(768 维向量和 12 个 Attention Head)和一个 Feed Forward),如下图所示。
    在这里插入图片描述

  GPT模型仅仅使用了Transformer模型中的解码器部分,原因是语言模型的目标是利用已知的文本(上文)来预测下一个单词。在解码器中使用的是一种名为"Masked Multi Self-Attention"的技术,这种技术会屏蔽输入序列中未来的信息,也就是说在预测一个单词时,模型无法看到它后面的单词,从而模仿了语言模型的行为。然后,因为GPT模型只使用了解码器,没有使用编码器,所以它不需要使用到编码器和解码器之间的注意力机制,这种注意力机制在Transformer模型中是用来帮助解码器理解输入序列的。

  • GPT模型结构图
      下图是GPT模型的结构图。
    GPT模型结构图

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1463511.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

WEB APIs (4)

日期对象 实例化 代码中出现new关键字,创建时间对象 得到当前时间: const date new Date() 获得指定时间: const date new Date(‘2022-5-1’) 方法作用说明getFullYear()获取年份获取…

【IDEA关闭项目一直转圈】

IDEA关闭项目一直转圈: IDEA启动时,会自动打开上次关闭时所有显示的窗口,如果本次工作不需要上次打开的所有窗口,可以基于选择窗口界面的右上角去关闭。 项目关闭失败 但是偶尔会出现窗口关闭时,一直显示“正在关闭项…

【2024软件测试面试必会技能】Charles(5):Charles设置过滤

设置过滤 一、只展示window/mac上的指定网址 方法一:右击域名——Focus——可针对该域名以外的其他域名都进行过滤,只展示该域名的请求数据。如下图: 方法二: 在Filter输入框中输入指定域名对其他的进行过滤;只展示指…

51单片机学习(3)-----独立按键控制LED的亮灭状态

前言:感谢您的关注哦,我会持续更新编程相关知识,愿您在这里有所收获。如果有任何问题,欢迎沟通交流!期待与您在学习编程的道路上共同进步了。 目录 一. 器件介绍及实验原理 1.独立按键 (1)独…

【算法】复杂度分析

第一章、如何分析代码的执行效率和资源消耗 我们知道,数据结构和算法解决的是“快”和“省”的问题,也就是如何让代码运行得更快,一级如何让代码更节省计算机的存储空间。因此,执行效率是评价算法好坏的一个非常重要的指标。那么&…

【PX4学习笔记】04.QGC地面站的使用

目录 文章目录 目录PX4代码烧入PX4固件代码的烧入方式1PX4固件代码的烧入方式2 QGC地面站的基础使用连接地面站的方式查看关键的硬件信息 QGC地面站的Application Settings模块Application Settings模块-常规界面单位其他设置数据持久化飞机中的数传日志飞行视图计划视图自动连…

【软件测试】如何有效的进行用例设计和评审

作为一个合格的测试工程师,必须掌握测试的日常工作流程。 那么在一个产品周期里面,测试工程师是什么时候介入工作的呢?具体承担了哪些工作呢? 这两问题,也是在日常面试中经常遇到的,这里我用一张思维导图进…

10种常见的光伏发电量计算方法

光伏发电是一种将太阳能转化为电能的清洁能源技术。随着环境保护意识的日益增强和能源结构的转型,光伏发电得到了广泛的应用。对于光伏系统来说,发电量的准确计算是评估系统性能、预测长期收益和优化系统运行的关键。以下是常见的光伏发电量计算方法&…

Android---Jetpack Compose学习007

Compose 附带效应 a. 纯函数 纯函数指的是函数与外界交换数据只能通过函数参数和函数返回值来进行,纯函数的运行不会对外界环境产生任何的影响。比如下面这个函数: fun Add(a : Int, b : Int) : Int {return a b } “副作用”(side effe…

鱼哥赠书活动第⑧期:《基础软件之路:企业级实践及开源之路》

鱼哥赠书活动第⑧期:《基础软件之路:企业级实践及开源之路》 作者介绍:1.静态分析工具在当前软件开发流程中的应用2.编译相关技术在静态分析工具中的应用3.编译相关技术在提升软件质量和性能上的更多应用4. 未来展望图书推荐:赠书…

[计算机网络]---TCP协议

前言 作者:小蜗牛向前冲 名言:我可以接受失败,但我不能接受放弃 如果觉的博主的文章还不错的话,还请点赞,收藏,关注👀支持博主。如果发现有问题的地方欢迎❀大家在评论区指正 目录 一 、TCP协…

springboot防止XSS攻击和sql注入

1. XSS跨站脚本攻击 ①:XSS漏洞介绍 跨站脚本攻击XSS是指攻击者往Web页面里插入恶意Script代码,当用户浏览该页之时,嵌入其中Web里面的Script代码会被解析执行,从而达到恶意攻击用户的目的。XSS攻击针对的是用户层面的攻击&…

web安全学习笔记【13】——信息打点(3)

信息打点-JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目[1] #知识点: 1、业务资产-应用类型分类 2、Web单域名获取-接口查询 3、Web子域名获取-解析枚举 4、Web架构资产-平台指纹识别 ------------------------------------ 1、开源…

HTML好玩代码合集(1)

VIP代码合集🧧,这一期是场景式HTML代码,里面的文字也是可以修改的,不知道怎么修改可以私信我。 效果(玩个梗,别在意): 好玩代码: <!DOCTYPE html> <html> {#jishugang#}<head><meta charset="utf-8" /><title>怎么堵船了�…

【鸿蒙 HarmonyOS 4.0】UIAbility、页面及组件的生命周期

一、背景 主要梳理下鸿蒙系统开发中常用的生命周期 二、UIAbility组件 UIAbility组件是一种包含UI界面的应用组件&#xff0c;主要用于和用户交互。 UIAbility组件是系统调度的基本单元&#xff0c;为应用提供绘制界面的窗口&#xff1b;一个UIAbility组件中可以通过多个页…

300分钟吃透分布式缓存-08讲:MC系统架构是如何布局的?

系统架构 我们来看一下 Mc 的系统架构。 如下图所示&#xff0c;Mc 的系统架构主要包括网络处理模块、多线程处理模块、哈希表、LRU、slab 内存分配模块 5 部分。Mc 基于 Libevent 实现了网络处理模块&#xff0c;通过多线程并发处理用户请求&#xff1b;基于哈希表对 key 进…

软考-中级-系统集成2023年综合知识(一)

&#x1f339;作者主页&#xff1a;青花锁 &#x1f339;简介&#xff1a;Java领域优质创作者&#x1f3c6;、Java微服务架构公号作者&#x1f604; &#x1f339;简历模板、学习资料、面试题库、技术互助 &#x1f339;文末获取联系方式 &#x1f4dd; 软考中级专栏回顾 专栏…

H5星空渐变效果引导页源码

H5星空渐变效果引导页源码 源码介绍&#xff1a;H5星空渐变效果引导页源码是一款带有星空渐变效果的源码&#xff0c;内含3个可跳转旗下站点按钮。 下载地址&#xff1a; https://www.changyouzuhao.cn/8344.html

Java 面向对象进阶 16 接口的细节:成员特点和接口的各种关系(黑马)

成员变量默认修饰符是public static final的原因是&#xff1a; Java中接口中成员变量默认修饰符是public static final的原因是为了确保接口的成员变量都是公共的、静态的和不可修改的。 - public修饰符确保了接口的成员变量可以在任何地方被访问到。 - static修饰符使得接口…