亚马逊云科技七项生成式AI新产品生成式AI,为用户解决数据滞后等难题

news2024/11/25 20:18:55

7月27日,亚马逊云科技在纽约峰会上一连发布了七项生成式AI创新,涵盖了从底层硬件到工具、软件、再到生态的全方位更新,成为它在该领域迄今最全面的一次升级展示,同时也进一步降低了生成式AI的使用门槛。

亚马逊云科技凭借自身端到端的实力向业界给出了一个独特的视角——源于亚马逊云科技丰富的终端业务场景(如电商零售、影音娱乐、云计算)、以用户为出发点考虑问题,这些生成式AI更新都是紧贴行业、为解决实际应用中的难题,并经过用户实际测试可行性后才推广的。

那么,生成式AI在实际应用层面存在哪些痛点呢?

 

数据的滞后性问题

c5f2a882c06e4337a3a443c8bb50dcd7.png

 

在这次纽约峰会上,亚马逊云科技在AI平台上一项令人瞩目的更新Amazon Bedrock Agents可以解决开发中的复杂度难题。作为一项全托管的功能,这个代理可以自动分解任务并创建编排计划,无需手动编码。

它通过简单的API接口安全地连接企业内部数据,自动将最新数据转换为机器可读的格式,以生成最准确的回答,同时云服务的特性也让用户省去了开发者的系统集成管理和基础设施配置工作,整个过程中私有数据不会暴露给对外大模型。

这个设计理念和OpenAI发布的插件Plugin类似,可以让ChatGPT访问最新信息或者接入第三方服务来运行计算,比如赛事比分、股票实时交易价格、航班价格信息等。这也相当于给一部iPhone开发了App Store商店社区,极大丰富了它深入互联网的“触手”,以收集终端用户的反馈,再反哺给模型。

 

该选择哪个模型?

现在大模型发展如雨后春笋,企业开发者在面临选择时要考虑的因素越来越多,比如模型本身的算力、通用性、稳定性、模型的企业服务能力、全栈技术布局程度、与企业自身业务的匹配度等,最直接的是如何低成本、高效率地使用大模型。

不是一个模型就能完成所有的业务,但客户也没有必要了解所有模型后再选择合适自己的。亚马逊云科技就承担了精选模型这一环节。

今年4月份上线的全托管基础模型服务Amazon Bedrock反响良好,本次纽约峰会上这一服务也进行了重量级的扩展和更新,包括新增Cohere(英伟达领投的AI公司)作为基础模型供应商,并引入Anthropic(从OpenAI拆分出去的AI初创公司)和Stability AI(目前“文生图”领域一哥)的最新基础模型。

具体包括Cohere公司的旗舰级文本生成模型Command,可以更直观地生成、检索和汇总信息;Anthropic公司把最新的语言模型Claude 2接入到Amazon Bedrock,Claude 2可以在每个对话任务提示中最多标记10万个tokens,意味着它能处理数百页的文本;Stability AI公司在Amazon Bedrock上发布了最新版的文生图模型套件Stable Diffusion XL 1.0,比前一代具备更精细化的图像和构图细节。

这样,Amazon Bedrock这个开发平台上既提供了亚马逊云科技自研的模型Amazon Titan(包括Titan Text和Titan Embeddings),也汇集了越来越多的第三方模型,这个逐渐搭建起来的生态结合亚马逊云科技的底层稳定性,增强了开发者的使用黏性。

与此同时,开发者无需分心基础设施层面的事,通过API接口就可以访问这些行业领先的基础模型,以构建和扩展自己的AI应用程序,增加了客户选择模型的灵活度。

 

英伟达依赖?

这可以归结为一个成本考量问题。OpenAI目前最重要的一项任务是降低大模型训练成本,可见大模型是一个成本持续消耗的昂贵的生意,这传导给下游的模型调用者和应用企业,也会面临成本压力。

这在一定程度上受限于“英伟达依赖”。英伟达的GPU明星产品是全球公认的性能强大,但也是公认的贵,最近在eBay上最新H100芯片单价已经被炒到4万美元。据业内观察,英伟达A100、H100芯片供不应求,大多数被全球云计算大厂、有实力金主支持的AI创业公司(比如马斯克成立的AI公司)以及技术模型公司等买走了。

亚马逊云科技在本次纽约峰会上宣布Amazon EC2 P5实例正式可用,背后就是使用的英伟达最新H100 Tensor Core GPU芯片。与上一代基于GPU的实例相比,其训练时间最多可缩短6倍,直观印象是训练时间从几天缩短至几小时。这一性能提升可以帮助客户降低40%左右的训练成本。

在“一卡难求”的竞争局面下,亚马逊云科技与英伟达之间的战略合作关系可以保证后者芯片供应的稳定性和迭代及时性。对于那些性能和稳定性较敏感的客户,增加了一个选择亚马逊云科技的筹码。

而更具有未来战略意义的是自研芯片。由于英伟达GPU是通用型结构,在处理一些任务时并没做针对性的优化,亚马逊云科技坚持了自研芯片的道路,这是在云计算时代就已选择的策略,最早可追溯到2013年,比如它的Nitro芯片和通用处理器芯片Graviton。其他如谷歌、百度、阿里巴巴等云厂商也在走这条路,深入到底层去做定制化研发。

目前,亚马逊云科技可以用来跑大模型任务的两款自研芯片分别是训练芯片Trainium和新一代推理芯片Inferentia 2。前者与通用型GPU实例相比,可以为客户实现最高50%的训练成本节省;后者可以实现最高40%的性价比提升。亚马逊云科技一直以来是云服务降价的推动者,自提供云服务以来,它已经实现了129次降价。如今,在生成式AI时代,亚马逊云科技似乎也想延续这一策略,以价格传导机制给下游客户带来更多实惠。

通过最新发布可以看到,亚马逊云科技并未一味追求模型的大而全,而是从客户实际需求出发,持续降低客户使用大模型的门槛和成本。一方面,源于亚马逊云科技常年来在电商、云计算等多元场景中深入理解了C端和B端用户,以及各行业的规律,才有了这种实用性的客户视角;另一方面,这一目标的实现十分考验背后积累的端到端全栈技术能力,从底层芯片、框架、到工具软件、应用生态,亚马逊云科技在云时代端到端的积累正让它继续受益,成为这一轮生成式AI竞赛中的领导者。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/835812.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vue实现全屏、退出全屏方法

有效解决问题 : Failed to execute ‘exitFullscreen‘ on ‘Document‘: Document not active 在未全屏的情况下触发exitFullscreen&#xff0c;会报这个错。 <el-button class"screen" click"toggleFullscreen">全屏</el-button> fullscre…

Unity 编辑器选择器工具类Selection 常用函数和用法

Unity 编辑器选择器工具类Selection 常用函数和用法 点击封面跳转下载页面 简介 在Unity中&#xff0c;Selection类是一个非常有用的工具类&#xff0c;它提供了许多函数和属性&#xff0c;用于操作和管理编辑器中的选择对象。本文将介绍Selection类的常用函数和用法&#xff…

Redis面试题2

Redis面试题-2 10、统计高并发网站每个网页每天的 UV 数据&#xff0c;结合Redis你会如何实现&#xff1f; 选用方案&#xff1a;HyperLogLog 如果统计 PV 那非常好办&#xff0c;给每个网页一个独立的 Redis 计数器就可以了&#xff0c;这个计数器的 key 后缀加上当天的日期…

loguru 日志库

1 下载地址 loguru PyPI 2 安装 pip install loguru 3 简单使用 from loguru import logger# 当前目录下创建 log 文件夹&#xff0c;保留 3 天 logger.add("./Log/INFO_{time:YYYY-MM-DD}.log", encoding"utf-8", retention"3 day")logger.…

JUC并发编程(一)JUC工具使用

文章目录 Synchronizedsynchronized解决 Lock锁synchronized锁与Lock锁的区别 生成者消费者问题synchronized实现lock版实现- conditioncondition实现精准通知唤醒 CallableJUC常用辅助类CountDownLatch&#xff08;倒计时器&#xff09;CyclicBarrier&#xff08;循环栅栏&…

Find My资讯|AirTag 2或将在明年底量产,苹果Find My应用全面

AirTag 2021 年和 2022 年出货量预计在 2000 万个和 3500 万个。如果 AirTag 出货量继续增长&#xff0c;苹果大概率会开发第二代产品。郭明錤现更新了其预测报告&#xff0c;他表示&#xff0c;苹果 AirTag 2 可能会在明年第四季度量产。 AirTag 是用于固定在背包、行李和其…

Typora未保存报错闪退

Typora未保存报错闪退 在使用Typora编写笔记时&#xff0c;可能会遇到没有保存就退出的情况&#xff0c;也可能软件突然崩溃导致之前的笔记没有保存&#xff0c;实际上Typora会自动保存记录在本地文件中&#xff0c;接下来我们进行恢复。 点击左上角文件标签&#xff0c;进入…

《Gradle构建脚本的基本结构和语法》

&#x1f337;&#x1f341; 博主猫头虎 带您 Go to New World.✨&#x1f341; &#x1f984; 博客首页——猫头虎的博客&#x1f390; &#x1f433;《面试题大全专栏》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33a; &a…

【Python机器学习】实验08 决策树

文章目录 决策树1 创建数据2 定义香农信息熵3 条件熵4 信息增益5 计算所有特征的信息增益&#xff0c;选择最优最大信息增益的特征返回6 利用ID3算法生成决策树7 利用数据构造一颗决策树Scikit-learn实例决策树分类决策树回归Scikit-learn 的决策树参数决策树调参 实验1 通过sk…

学习笔记|简单分享一下自建Gravatar镜像

目录 前言 Gravatar 使用 思路 操作 步骤一&#xff1a;注册或登录华为云 步骤二&#xff1a;创建委托账号 步骤三&#xff1a;创建OBS桶 步骤四&#xff1a;数据回源配置 步骤五&#xff1a;配置生命周期规则 步骤六&#xff1a;绑定自定义域名 步骤七&#xff1a…

学习Android嵌入式需要做哪些准备?

首先嵌入式系统可以分为四个层次&#xff1a;硬件层、驱动层、系统层和应用层&#xff0c;其中每一个层次都会有一类专业的学生适合深入学习。硬件层就适合电子、通信、机电等学生&#xff0c;驱动层因为比较难&#xff0c;按我的理解都是需要从硬件层和应用层过渡。而应用层就…

LNMP原理及安装

LNMP: 目前成熟的企业网站的应用模式之一&#xff0c;指的是一套协同工作的系统和相关软件能够提供静态页面服务&#xff0c;也可以提供动态web服务 LNMP的组成: L &#xff1a;表示linux系统&#xff0c;操作系统N &#xff1a;表示nginx网站服务&#xff0c;前端&#xf…

项目运行时出现:“listen EADDRINUSE: address already in use :::3002“

listen EADDRINUSE: address already in use :::3002 解决&#xff1a;查找对应 pid&#xff1a; netstat -ano PS C:\Users\admin\Desktop\chatgpt-web\service> netstat -ano 控制台输入&#xff1a;taskkill -f /pid 25420&#xff08;抓图是别的进程&#xff09; 结…

08. 容器间通信

目录 1、前言 2、容器间通信 2.1、通过IP地址进行通信 2.2、通过DNS Server进行通信 2.3、通过Joined方式通信 3、容器跨节点通信 3.1、通过容器在宿主机上的端口映射实现 3.2、通过Docker Overlay网络实现 4、小结 1、前言 上一篇《07.Docker网络通信模式》我们初步认…

LeetCode--HOT100题(17)

目录 题目描述&#xff1a;41. 缺失的第一个正数&#xff08;困难&#xff09;题目接口解题思路代码 PS: 题目描述&#xff1a;41. 缺失的第一个正数&#xff08;困难&#xff09; 给你一个未排序的整数数组 nums &#xff0c;请你找出其中没有出现的最小的正整数。 请你实现时…

harbor搭建

回到目录 Harbor 是 VMware 公司开源的企业级 Docker Registry 项目&#xff0c;其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务 通俗的讲&#xff0c;harbor是一个私人镜像存储服务器 1 下载安装 进入官网&#xff0c;下载一个离线安装包,harbor官网下载 这…

命令模式 Command Pattern 《游戏设计模式》学习笔记

对于一般的按键输入&#xff0c;我们通常这么做&#xff0c;直接if按了什么键&#xff0c;就执行相应的操作 在这里我们是将用户的输入和程序行为硬编码在一起&#xff0c;这是我们很自然就想到的最快的做法。 但是如果这是一个大型游戏&#xff0c;往往我们需要实现一个按键…

tinkerCAD案例:33. 在 Tinkercad 中使用标尺工具

在 Tinkercad 中使用标尺工具 Using the Ruler Tool in Tinkercad 在 Tinkercad 中使用标尺工具 Introduction: Using the Ruler Tool in Tinkercad 简介&#xff1a;在 Tinkercad 中使用标尺工具 For those that may not know Tinkercad is a web based 3D modeling tool.…

vue 浏览器右侧可拖拽小组件

目录 0. 使用场景 1. 动图示例 2. 实现方式 2.1 创建drag.js 2.2 使用v-drag 3. 结尾 0. 使用场景 很多网页在浏览器右侧有"导航"或者“智能助手”的悬浮小气泡框&#xff0c;比如我们的csdn☞ 作为页面友好型的引导标注&#xff0c;某些场景下这些小气泡可以…

MacBook触控板窗口管理 Swish for Mac

Swish for Mac是一款用于通过手势来控制mac应用窗口的软件&#xff0c;你可以通过这款软件在触控板上进行手势控制&#xff0c;你可以在使用前预设好不同手势的功能&#xff0c;然后就能直接通过这些手势让窗口按照你想要的方式进行变动了 Swish 支持 Haptick Feedback 震动反…