Agent:OpenAI的下一步,亚马逊云科技站在第5层

news2024/11/9 9:44:20

什么是Agent?在大模型语境下,可以理解成能自主理解、规划、执行复杂任务的系统。Agent也将成为新的起点,成为各行各业构建新一代AI应用必不可少的组成部分。

对此,初创公司Seednapse AI创始人提出构建AI应用的五层基石理论,受到业界关注。

  1. Models,也就是我们熟悉的调用大模型API。
  2. Prompt Templates,在提示词中引入变量以适应用户输入的提示模版。
  3. Chains,对模型的链式调用,以上一个输出为下一个输入的一部分。
  4. Agent,能自主执行链式调用,以及访问外部工具。
  5. Multi-Agent,多个Agent共享一部分记忆,自主分工相互协作。

创业先锋之外,连AI基础设施的巨头也已经开始在Agent上发力。

比如亚马逊云科技纽约峰会上宣布的Amazon Bedrock Agents新功能,便是这种趋势最有代表性的体现。

 

Amazon Bedrock Agents在全托管基础模型服务的基础上,又把开发、部署和管理多个Agent的能力打包集成在一起。如果按照前面的五层基石理论,这类服务相当于直接从第五层开始,大大降低开发门槛。正如亚马逊云科技在发布会上所形容:只用几次点击,搞定能执行任务的生成式AI应用。可以预见的是,降低了门槛的Agent应用也将在各行各业全面爆发。

Agent,AI应用新时代的起点

怎样才算一个Agent应用?OpenAI华人科学家翁丽莲给出直观的“配方”:Agent=大模型+记忆+主动规划+工具使用。

以亚马逊云科技平台为例,开发Agent应用首先要根据具体任务场景给Agent选择合适的基础模型。Amazon Bedrock上除了自家的Amazon Titan大模型,还集结了擅长安全可控的Anthropic、擅长检索汇总信息的Cohere、以及专攻文生图的stability.ai等各家模型。选好后,把要执行的任务指令直接用文字描述出来,让Agent明白要扮演的角色和要完成的目标。指令可以是包括一系列“问题-思考步骤-行动步骤-示例”的结构化提示词,在ReAct(协同推理和行动)技术支持下,基础模型可以通过推理和决策找出相应的解决方案。

接下来的重头戏便是Add Action Group(添加动作组)。Agent要完成的具体任务,以及能使用的工具如企业系统API、Lambda函数等都是在这里设置。官方演示中是一个保险索赔管理场景,Agent通过提取未结索赔的列表、确定每个索赔的未完成文书工作并向保单持有人发送提醒来管理保险索赔。所有动作组设置好后,创建Agent和部署都是几次点击就能完成。

部署完成后,在测试中就可以看到Agent理解用户请求、将任务分解为多个步骤(收集未结保险索赔、查找索赔ID、发送提醒)并执行相应的操作。Amazon Bedrock通过向导式交互界面,减少了配置基础模型所需的编码工作量。动作组提供调用API实现特定功能,以及使用自己的数据构建差异化应用程序,又让基础模型能够完成更复杂的实际业务任务。

在整个流程中,还可以配合亚马逊云科技平台上的各种安全服务。比如使用PrivateLin建立基础模型和本地网络之间的私有连接,所有流量都不会暴露给互联网。又通过提供完全托管的服务,让开发者不需要管理底层系统就能发挥基础模型的能力。最终缩短从基础模型到实际应用的周期,加速基础模型为业务创造的价值。

加速大模型应用,还应关注什么

有了Amazon Bedrock的Agent能力,我们得以快速将大模型投入实际业务,为企业实现降本增效或创新。但要真正利用生成式AI的全部价值、发挥全部潜力,并与其他竞争对手拉开潜力,私有数据才是其中根本。换言之,大模型应用落地的关键,是企业自己宝贵的行业数据。

如何集成这些丰富的资源到我们的Agent之中,保证我们的大模型应用在执行任务时能够高效访问到正确的信息——是当下每一个企业都要面对的问题。当然,这一切都必须以保证隐私为前提。

除了私有数据的集成和调用,在大模型应用落地的路上,最为底层的支撑,算力,也始终是一个百说不厌的话题。众所周知,当下的显卡资源异常稀缺,且价格不菲。无论是购买还是租用,这都成了全球各企业在探索生成式AI应用上的一大笔支出。如何让这一笔花销更为经济实惠?这也是每个企业的思虑所在。

值得关注的是,以亚马逊云科技为代表的领先供应商,正在针对生成式AI落地过程中的这些挑战和痛点提供系统性的解决方案,对上述问题一一破解。针对个性化数据问题,亚马逊云科技宣布为三款数据服务提供向量引擎,用来助力生成式AI应用与业务整合。在生成式AI爆发之后,向量数据库也实在火爆不已。因为相比传统的关系数据库,它能给予与模型上下文更相关的响应。

 

亚马逊云科技这一最新服务,就是将私有数据存储到具有向量引擎的数据库中,在进行生成式AI应用时,通过简单的API调用就能方便地查询企业内部的数据。

而根据当前数据存储位置、对数据库技术的熟悉程度、向量维度的扩展、Embeddings的数量和性能需求等不同需求,亚马逊云科技提供了3个选项来满足:

  1. Amazon Aurora PostgreSQL兼容版关系型数据库,支持pgvector开源向量相似性搜索插件;
  2. 分布式搜索和分析服务Amazon OpenSearch,带有k-NN(k最近邻)插件和适用于Amazon OpenSearch Serverless的向量引擎;
  3. 兼容PostgreSQL的Amazon RDS(Amazon Relational Database Service)关系型数据库,支持pgvector插件。

 

当然,最值得说道的是这次最新推出的Amazon OpenSearch Serverless服务,它最大的优点就是让企业只关心向量数据的存储和检索,而不用背上任何底层运维的负担。

解决完数据集成问题,在底层支撑上,亚马逊云科技这次也直接推出H100支持的全新Amazon EC2 P5实例,这一曾经对于大多数企业都相当难得的算力资源,现在也变得“唾手可得”了。

据了解,该实例包含8个英伟达H100 Tensor Core GPU,640GB高带宽GPU内存,同时提供第三代AMD EPYC处理器、2TB系统内存和30TB本地NVMe存储,以及3200Gbps的聚合网络带宽和GPUDirect RDMA支持,可实现更低延迟和高效的横向扩展性能。相比上一代基于GPU的实例,Amazon EC2 P5可以让训练时间最多可缩短6倍(从几天缩短到几小时),降低高达40%的训练成本。

再加上亚马逊云科技之前基于自研芯片发布的Amazon EC2 Inf2和Amazon EC2 Trn1n等性能也表现不错的实例,在算力需求这一问题上,可以说是有了非常多的按需选择空间。

除了以上这些基础支持,各种开箱即用的AI服务也不“缺席”。如针对开发环节的AI编程助手Amazon CodeWhisperer,现在它与Amazon Glue实现集成,将AI代码生成的场景又扩展到一个新人群:数据工程师,只需自然语言(比如“利用json文件中的内容创建一个Spark DataFrame”),这些开发人员即可搞定各种任务;再如针对商业智能(BI)的Amazon QuickSight,也能够让业务分析师们使用自然语言执行日常任务,在几秒钟内创建各种数据可视化图表;还有Amazon HealthScribe,可以用于医疗行业生成临床文档,节省医生时间。这些工具都是主打让企业专注于核心业务,提高生产效率。

从今年4月起,亚马逊云科技就结合自身定位并基于真实用户需求出发,正式宣布进军生成式AI市场,为一切想要利用生成式AI技术加速或创新业务的企业提供服务。在短短的4个月期间,亚马逊云科技已推出了各类底座资源,从基础模型到算力支撑,从私人数据存储到高效开发工具,应用尽有。

而这次在纽约峰会释出的最新动向,则是继续加码生成式AI应用开发所需的一切。从Amazon EC2 P5实例代表的算力层、到Amazon OpenSearch Serverless向量引擎、Amazon Bedrock Agents代表的工具层、再到Amazon QuickSight等代表的应用层,一项端到端的解决方案已然形成。

在这之中,亚马逊云科技不断降低生成式AI的门槛,无论是初创企业还是传统行业,无论是处于生成式AI进程的哪一层,都能在这里找到合适的工具,无需耗费太多精力在底层逻辑之上,便可快速投入实际业务。

如亚马逊云科技数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian所说:我相信生成式AI将改变每一个应用程序、行业和企业。在各行各业都全力奔赴的这场全新技术变革之下,亚马逊云科技的这一系列服务,无疑为普通玩家赢得了宝贵的时间和机会。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/835848.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

redis原理 8:有备无患 —— 主从同步

很多企业都没有使用到 Redis 的集群,但是至少都做了主从。有了主从,当 master 挂掉的时候,运维让从库过来接管,服务就可以继续,否则 master 需要经过数据恢复和重启的过程,这就可能会拖很长的时间&#xff…

中国农村程序员学习了【正则表达式入门】购买大平层,开上帕拉梅拉,迎娶白富美出任CEO走上人生巅峰

文章目录 正则表达式使用测试方法匹配文字字符串同时用多种模式匹配文字字符串匹配时忽略大小写提取匹配项全局匹配用通配符匹配任何内容将单个字符与多种可能性匹配匹配字母表中的字母匹配字母表中的数字和字母匹配单个未指定的字符匹配出现一次或多次的字符匹配出现零次或多次…

AQS源码分析

AbstractQueueSynchronizer简称AQS(抽象的队列同步器),是重量级基础框架以及JUC体系的基石,主要用于解决锁分配给谁的问题。 AQS入门级理论知识 整体就是一个抽象的FIFO队列来完成线程获取资源排队的工作,并通过一个in…

UGUI图文混排超链接

目录 一、LinkSpriteText二、EmojiText1、EmojiText2、支持超链接的EmojiText出现的问题 三、通用版EmojiText1、使用方法 之前做web项目有个需求需要通过某种方式打开试题中所提到的关键字介绍,当时是在试题旁边放个小按钮点击打开,后来要求把图标放在题干中,或者直接点击关键…

小程序swiper结合swiper-item实现banner轮播

swiper 基础库 1.0.0 开始支持,低版本需做兼容处理。 微信 Windows 版:支持 微信 Mac 版:支持 渲染框架支持情况:Skyline (使用最新 Nighly 工具调试)、WebView 功能描述 滑块视图容器。其中只可放置swip…

ssh连接之xshell软件远程连接主机无法通过password登录

一、背景概述 使用xshell软件ssh连接远程控制系统时,输入用户名后,发现默认不可通过password登录,但是可通过Public Key和Keyboard Interactive方式进行连接。网上查询到解决办法,尝试ok之后记录一下问题解决。 二、问题解决步骤…

信号的频谱分析与信号滤波

信号的频谱分析与信号滤波 试验目的:熟悉信号的频谱分析与信号滤波。 信号的频谱分析 例、建立一个含50Hz和120Hz幅值为2的正弦信号(sin),然后叠加一个幅值为1的随机信号,利用Matlab分析其频谱。并滤除噪声信号和12…

多平台打包快捷方式

一个项目会有好几个环境&#xff0c;不同环境用的时候总是需要改配置&#xff0c;比较麻烦&#xff0c;这次给大家讲一个简单的方法&#xff0c;关于Springboot项目在不同平台下的快捷打包方式。需要配合maven。 在pom文件中加入如下配置&#xff1a; <profiles><pr…

通俗一点讲什么是嵌入式?

嵌入式系统&#xff0c;就是&#xff0c; 在其它电子产品或设备中&#xff0c;加入(嵌入)一个小小的"计算机"。 目的是为了&#xff0c;人机交互、采集传感器数据、处理数据、控制执行机构和通信。这些是"计算机"擅长的。 这个小小的"计算机"…

STM32 低功耗-停止模式

STM32 停止模式 文章目录 STM32 停止模式第1章 低功耗模式简介第2章 停止模式简介2.1 进入停止模式2.1 退出停止模式 第3章 停止模式程序部分总结 第1章 低功耗模式简介 在 STM32 的正常工作中&#xff0c;具有四种工作模式&#xff1a;运行、睡眠、停止以及待机模式。 在系统…

C 题 母亲身心健康对婴儿成长的影响【2023 华数杯全国大学生数学建模竞赛题目】思路+完整代码

C 题 母亲身心健康对婴儿成长的影响【2023 华数杯全国大学生数学建模竞赛题目】思路完整代码 一、赛题题目&#xff1a; 许多研究表明&#xff0c;母亲的身体指标和心理指标对婴儿的行为特征和睡眠质 量有影响&#xff0c;请问是否存在这样的规律&#xff0c;根据附件中的数据…

七、Spring 面向切面编程(AOP)学习总结

文章目录 一、初识面向切面编程&#xff08;AOP&#xff09;1.1 什么是 AOP1.2 AOP的应用场景1.3 Aop 在 Spring 中的作用1.3.1 Aop 的核心概念 1.4 使用 Spring 实现 AOP1.4.1 方式一&#xff1a;使用 Spring API 接口实现 AOP 【主要是SpringAPI接口实现】1.4.2 方式二&#…

C++教程从入门到实战(c++基础入门,看这一篇就够了)

1. 安装 g编译器 是编译C代码使用的编译器&#xff0c;不要使用gcc了。 在用户目录中单独创建一个文件夹存放下载后的3个安装文件&#xff0c;然后进入到目录中执行下面命令 cd 文件夹 sudo dpkg -i *.deb 本地安装 sudo apt-get install g 在线安装 2. C的语言特点及优势 c wi…

一道名题-(csp 儒略日)的心得与技巧

这道题&#xff0c;我做了三年&#xff0c;平均每年做一次&#xff0c;我来讲讲我的心得。 读题 题面很长&#xff0c;细节很多&#xff0c;我们需要耐心细心的读&#xff0c;此时多花一点时间是划得来的。 我们得出大致关系如下 历法公历日常用历儒略历公元前公元后历法公历…

springBoot项目导入外部jar包

一、将外部的jar包复制到指定文件夹 二、修改pom文件 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocati…

利用abapGit的离线模式导出、导入开发对象

1. 背景 abapGit是为ABAP服务器开发的开源Git客户端&#xff0c;用于在ABAP系统之间导入和导出ABAP对象。 使用abapGit&#xff0c;可以将ABAP对象从任何系统导出到另一个系统&#xff0c;通常是从本地系统导出到云&#xff0c;或者从一个云系统导出到另一个云系统。 当然从…

红帽8.2版本CSA题库:第一题配置网络设置

红帽认证工程师是业界公认的最权威的Linux认证之一。RHCE 是世界上第一个面向Linux 的认证考试&#xff0c;它不是一个普通的认证测试&#xff0c;和其他操作系统认证考试相比&#xff0c;它没有笔试&#xff0c;全部是现场实际操作&#xff0c;所以RHCE成了业界公认的最难的认…

机器学习笔记 - YOLO-NAS 最高效的目标检测算法之一

一、YOLO-NAS概述 YOLO(You Only Look Once)是一种对象检测算法,它使用深度神经网络模型,特别是卷积神经网络,来实时检测和分类对象。该算法首次在 2016 年由 Joseph Redmon、Santosh Divvala、Ross Girshick 和 Ali Farhadi 发表的论文《You Only Look Once: Unified, Re…

自监督去噪:Noise2Self原理分析及实现 (Pytorch)

文章地址:https://arxiv.org/abs/1901.11365 代码地址: https://github.com/czbiohub-sf/noise2self 要点   Noise2Self方法不需要信号先验信息、噪声估计信息和干净的训练数据。唯一的假设就是噪声在测量的不同维度上表现出的统计独立性&#xff0c;而真实信号表现出一定的…

亚马逊云科技七项生成式AI新产品生成式AI,为用户解决数据滞后等难题

7月27日&#xff0c;亚马逊云科技在纽约峰会上一连发布了七项生成式AI创新&#xff0c;涵盖了从底层硬件到工具、软件、再到生态的全方位更新&#xff0c;成为它在该领域迄今最全面的一次升级展示&#xff0c;同时也进一步降低了生成式AI的使用门槛。 亚马逊云科技凭借自身端到…