LLMs的终局是通用人工智能AGI总结 生成式AI和大语言模型 Generative AI LLMs

news2025/1/13 2:47:42

终于学完了 生成式AI和大语言模型 Generative AI & LLMs.
在这里插入图片描述

LLMs 解决了如下问题:

  1. 对NLP的不能够理解长句子,解决方案 自注意力机制Transformers architecture Attention is all you need
  2. 大模型算力不够,解决方案 LLMs 缩放法则和计算最优模型Scaling laws and compute-optimal models
  3. 高效微调,解决方案 LLMs参数高效微调(PEFT) Parameter efficient fine-tuning (PEFT), LLMs PEFT技术1:LoRA, LLMs 参数高效微调技术2 Soft prompts
  4. 优化最佳答案,解决方案 LLMs 用强化学习进行微调 RLHF: Fine-tuning with reinforcement learning
  5. LLMs知识老旧,链接外部资源,计算能力,解决方案 Lang Chain帮助LLMs进行推理和计划的思维链,LLMs与外部应用程序交互, RAG检索增强生成在应用中使用
    除了负责任AI,研究人员还在探索一些技术,以使模型与人类的价值观和偏好相一致,提高模型的可解释性,并实施高效的模型治理。随着模型能力的增加,我们还需要更多可扩展的人类监督技术,如宪法AI,正如我在之前的课程中所讨论的。研究人员继续探索项目生命周期各个步骤的扩展规律,包括更好地预测模型性能的技术,以确保资源的高效利用,例如通过模拟等。
    在这里插入图片描述

而规模并不总是指更大,研究团队正在致力于小型设备和边缘部署的模型优化。例如,llama.cpp是LLaMA模型的C++实现,使用四位整数量化以在笔记本电脑上运行。

同样,我相信我们将在整个模型开发生命周期中看到进展和效率的提高。
在这里插入图片描述

特别是,在预训练、微调和强化学习方面将出现更高效的技术。我们将看到越来越多的大型语言模型的能力不断涌现。
在这里插入图片描述

例如,研究人员正在考虑开发支持更长提示和上下文的模型,例如用于总结整本书的模型。实际上,在开发本课程期间,我们已经看到了第一个支持10万标记上下文窗口的模型的宣布。这大致相当于7.5万字和数百页。
在这里插入图片描述

模型还将越来越多地支持语言、图像、视频、音频等多模式。这将开辟新的应用和用例,并改变我们与模型互动的方式。我们已经在最新一代文本到图像模型中看到了这一点的第一个令人惊叹的成果,其中自然语言成为用户界面,用于创建视觉内容。研究人员还试图更多地了解LLM的推理,并在探索结构化知识和符号方法相结合的LLM。这一神经符号AI研究领域探讨了模型从经验中学习和从所学内容进行推理的能力。非常感谢您参加本课程。我们希望您享受了这些课程,并迫不及待地想看到您如何运用这些知识来构建什么。最后,让我们询问我们的AI,未来会带来什么。
在这里插入图片描述

在这里插入图片描述

Reference

https://www.coursera.org/learn/generative-ai-with-llms/lecture/Qg6G8/course-conclusion

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1090508.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

服务器使用u盘安装麒麟系统报错“dracut-initqueue timeout”,/dev/root does not exist

最近使用u盘安装麒麟系统,发现找不到u盘引导程序,提示dracut-initqueue timeout或者/dev/root does not exist 解决方法,先确定启动u盘所在盘符,使用 blkid 命令,我这边显示启动u盘所在盘符是 /dev/sdd4 blkid重启服…

基于Linux安装Hive

Hive安装包下载地址 Index of /dist/hive 上传解压 [rootmaster opt]# cd /usr/local/ [rootmaster local]# tar -zxvf /opt/apache-hive-3.1.2-bin.tar.gz重命名及更改权限 mv apache-hive-3.1.2-bin hivechown -R hadoop:hadoop hive配置环境变量 #编辑配置 vi /etc/pro…

LLMs AWS Sagemaker JumpStart

现在您已经探讨了使用LLM构建应用程序的基础知识,我想向您展示一项名为Amazon Sagemaker JumpStart的AWS服务,它可以帮助您快速进入生产并进行大规模操作。 以下是您在先前视频中探讨的应用程序堆栈。正如您所看到的,构建一个LLM驱动的应用程…

Macos数字音乐库:Elsten Software Bliss for Mac

Elsten Software Bliss for Mac是一款优秀的音乐管理软件,它可以帮助用户自动化整理和标记数字音乐库,同时可以自动识别音乐信息并添加标签和元数据。 此外,Bliss还可以修复音乐库中的问题,例如重复的音乐文件和缺失的专辑封面等…

深耕全面预算管理 拥抱企业数字未来

随着世界数字未来的不断发展,我国也正经历着一场更大范围、更深层次的科技变革。企业面对构建内部生态平衡体系的艰巨任务,对于其信息化部署也提出了更高的要求。增强预算编制的全面性,启动预算管理一体化改革成为了我国企业提高数字化水平的…

Rocket Typist pro for mac 「Macos文本快速输入工具」

Rocket Typist Pro是一款在Mac上使用的文本快速输入工具,它可以帮助用户更快速、更准确地输入文本。 这款软件的设计非常简单、高效,它通过使用短语或宏,可以快速插入文本,减少重复性工作,提高工作效率。 Rocket Typ…

华为校招机试题- 机器人活动区域-2023年

题目描述: 现有一个机器人,可放置于 M N的网格中任意位置,每个网格包含一个非负整数编号。当相邻网格的数字编号差值的绝对值小于等于 1 时,机器人可在网格间移动 问题:求机器人可活动的最大范围对应的网格点数目。 说明: 1)网格左上角坐标为 (0, 0),右下角坐标为 (m-…

Vue 的响应式数据 ref的使用

ref 是 vue 提供给我们用于创建响应式数据的方法。 ref 常用于创建基本数据&#xff0c;例如&#xff1a;string、number、boolean 等。 ref 还是通过 Object.defineProperty 的 get 与 set 方法&#xff0c;实现的响应式数据。 ref 创建基本数据&#xff1a; <template…

springboot 通过url下载文件并上传到OSS

DEMO流程 传入一个需要下载并上传的url地址下载文件上传文件并返回OSS的url地址 springboot pom文件依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w…

【【萌新的SOC学习之基于BRAM的PS和PL数据交互实验】】

萌新的SOC学习之基于BRAM的PS和PL数据交互实验 基于BRAM的PS和PL的数据交互实验 先介绍 AXI BRAM IP核控制器的简介 AXI BRAM ip核 是xilinx提供的一个软核 这个ip核被设计成 AXI的一个从机接口 用于AXI互联的集成 系统的主设备和本地的RAM进行通信 &#xff08;我们可以通过这…

大数据分析/开发项目实战班

大数据分析/开发项目实战班采用新型教学模式&#xff0c;让学生“学有所用&#xff0c;学能所用”&#xff0c;角色演练开展项目式教学&#xff0c;将产业项目与教学知识结合&#xff0c;突出学生的主体性&#xff0c;打破传统教学壁垒。 大数据分析/开发项目实战班介绍&#x…

ubuntu下yolov6 tensorrt模型部署

文章目录 ubuntu下yolov6 tensorrt模型部署一、Ubuntu18.04环境配置1.1 安装工具链和opencv1.2 安装Nvidia相关库1.2.1 安装Nvidia显卡驱动1.2.2 安装 cuda11.31.2.3 安装 cudnn8.21.2.4 下载 tensorrt8.4.2.41.2.5 下载仓库TensorRT-Alpha并设置 二、从yolov6源码中导出onnx文…

Linux高性能服务器编程 学习笔记 第十三章 多线程编程

早期Linux不支持线程&#xff0c;直到1996年&#xff0c;Xavier Leroy等人开发出第一个基本符合POSIX标准的线程库LinuxThreads&#xff0c;但LinuxThreads效率低且问题多&#xff0c;自内核2.6开始&#xff0c;Linux才开始提供内核级的线程支持&#xff0c;并有两个组织致力于…

【灵动 Mini-G0001开发板】+Keil5开发环境搭建+ST-Link/V2程序下载和仿真+4颗LED100ms闪烁。

我们拿到手里的是【灵动 Mini-G0001开发板】 如下图 我们去官网下载开发板对应资料MM32G0001官网 我们需要下载Mini—G0001开发板的库函数与例程&#xff08;第一手学习资料&#xff09;Keil支持包&#xff0c; PCB文件有需要的&#xff0c;可以自行下载。用户指南需要下载&a…

在Mission Planner上校准外置GPS罗盘

环境 windows 11 pixhawk 2.4.8 GPS M8N Mission Planner 1.3.80 前提 已经校准pixhawl自带的加速度计 根据提示&#xff0c;转动pixhawk&#xff0c;按空格键进行下一个步骤&#xff0c;成功后提示success 校准GPS罗盘 pixhawk飞控支持使用双罗盘&#xff08;也就是内置…

【LeetCode热题100】--394.字符串解码

394.字符串解码 思路&#xff1a; 定义两个栈&#xff0c;用于存放数字和字符如果是遇到’[&#xff0c;则数字和字母进栈如果遇到’]&#xff0c;则出栈&#xff0c;并拼接成一个字符串注意考虑多个数字在一起的情况 class Solution {public String decodeString(String s) …

MySQL的index merge(索引合并)导致数据库死锁分析与解决方案 | 京东云技术团队

背景 在DBS-集群列表-更多-连接查询-死锁中&#xff0c;看到9月22日有数据库死锁日志&#xff0c;后排查发现是因为mysql的优化-index merge&#xff08;索引合并&#xff09;导致数据库死锁。 定义 index merge(索引合并)&#xff1a;该数据库查询优化的一种技术&#xff0…

每日leetcode_775全局倒置与局部倒置

每日leetcode_755全局倒置与局部倒置 记录自己的成长&#xff0c;加油。 题目出处&#xff1a;775. 全局倒置与局部倒置 - 力扣&#xff08;LeetCode&#xff09; 题目 题目简要&#xff1a; 全局倒置&#xff1a;左边的大于右边的&#xff08;不需要紧挨着&#xff09; 局部…

Chrome插件精选 — 网页截图插件

Chrome实现同一功能的插件往往有多款产品&#xff0c;逐一去安装试用耗时又费力&#xff0c;在此为某一类型插件记录下比较好用的一款或几款&#xff0c;便于节省尝试的时间和精力。 捕捉网页截图 - FireShot 下载地址 (访问密码: 8276) Fireshot是一款浏览器插件&#xff0c…

2023.09全国青少年软件编程(scratch图形化)等级考试试卷(一级)

2023年9月全国青少年软件编程 scratch图形化 等级考试试卷&#xff08;一级&#xff09; 第 1 题 下列哪项内容是不可以修改的&#xff1f;&#xff08; &#xff09; A&#xff1a;角色名称 B&#xff1a;造型名称 C&#xff1a;舞台名称 D&#xff1a;背景名称 第 2 题…