为生成式AI提速,亚马逊云科技Amazon EC2 P5满足GPU需求

news2024/11/26 7:43:04

生成式AI(Generative AI)已经成为全球范围内的一个重要趋势,得到越来越多企业和研究机构的关注和应用。纽约时间7月26日,亚马逊云科技数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian在亚马逊云科技举办的纽约峰会上更是表示,“生成式AI技术已经达到临界点。”

目前我们观察到,随着机器学习、深度学习等技术的不断迭代,生成式AI的应用趋势正朝着端到端的方向发展。而本次峰会上亚马逊云科技宣布的“生成式AI创新”也是将“端到端”显示的淋漓尽致,进一步降低了生成式AI的使用门槛,无论是业务用户还是开发者都可以从中受益,来自千行百业的企业都能更专注于核心业务,提高生产效率,充分释放数据价值和生成式AI的潜力。

 

生成式AI的第一要务是“帮用户解决生产问题”

随着人工智能技术的快速发展,生成式AI已经得到了越来越多的生产者和企业的关注和应用,进入高速发展期。生成式AI技术可以通过学习大量的数据和知识,然后生成新的数据和内容,例如图像、文本、声音等;其可以应用于许多领域,例如自然语言处理、图像处理、语音识别等。在生产环境中,生成式AI技术可以用来自动化许多繁琐的工作,例如编写代码、设计产品、翻译文本等。帮助企业提高生产效率、降低生产成本、提高产品质量,为企业的创新和发展提供强有力的支持。

在生成式AI技术的发展中,推动技术研发厂商不断前进的动力就是用户“既要又要还要”的业务需求和技术需求。在满足用户需求方面,亚马逊云科技是业内做的相当不错的厂商,前段时间推出的Amazon Bedrock便是一大利器,通过Amazon Bedrock,文本生成、聊天机器人、搜索、文本摘要、图像生成、个性化情景式产品推荐等功能实例可以完美集成于应用中。

156fe0b647694b6c96314d5ff2be80fb.png

 

从训练和部署、架构扩展层面,一个好的模型需要易于训练和部署、提高效率,并能够随着业务需求变化进行扩展和升级。Amazon Bedrock提供可扩展的API和无服务器体验,客户可以使用自有数据基于基础模型进行定制,并使用熟悉的工具和能力进行集成和部署,无需管理基础设施,降低成本。用户还可以使用SageMaker、Experiments和Pipelines等功能实现模型的集成和自动化管理、部署。

在数据安全层面,好的模型需要具备安全的数据存储能力,能够保护用户的数据不被泄露和滥用。而Bedrock非常注重数据的安全性和隐私保护,对所有数据都进行了加密,并且不会离开客户的虚拟私有网络(VPC)。此外,Amazon Bedrock还提供了可配置的数据共享选项,客户可以控制数据共享和使用,确保数据的完整性和机密性。

在模型选择层面,一个好的模型需要具备丰富的模型选择,能够满足不同领域和场景的需求。用户需要能够选择适合自己业务的模型,并能够灵活地组合和集成多个模型,以实现更好的业务效果。Bedrock提供了丰富的的基础模型选择,满足不同领域和场景的需求,使得用户可以更加灵活地选择和组合模型,满足自身的业务需求:

● AI21 Labs开发的的多语种大语言模型系列Jurassic-2,可根据自然语言指令生成文本内容;

● Anthropic开发的大语言模型Claude,能够执行多种对话和文本处理任务;

● Stability AI开发的文生图基础模型Stable Diffusion,能够生成独特、写实、高清的图像、艺术作品、商标和其它设计图;

● Anthropic接入到Amazon Bedrock的最新语言模型Claude 2,可以在每个对话任务提示中使用10万个标记,能处理数百页文本甚至整本书。相比之前版本,还可以撰写长篇文件,长度可达几千个标记;

● Stability AI将发布最新版文生图模型套件Stable Diffusion XL 1.0,能够生成更逼真的影视、电视、音乐和教学视频,具有更精细的图像和构图细节。

● 亚马逊云科技新增的基础模型供应商Cohere将提供更直观地生成、检索和汇总信息的基础模型服务。

本次峰会上,亚马逊云科技宣布全面扩展其全托管基础模型服务Amazon Bedrock,发布变革性的新功能Amazon Bedrock Agents,该功能将助力开发者轻松创建全托管的AI Agents,帮助开发者研发提效,解决开发过程中的复杂度问题。目前很多专业开发者开始使用ChatGPT进行软件开发,事实表明ChatGPT可以为开发工作提供帮助,但在具体的业务场景中,开发者需要的不仅是可以编代码的工具,而是从源头降低软件开发复杂度的工具。想要从源头入手降低软件的复杂度,就意味着开发者需要设计良好的架构、简化功能和模块开发、采用合适开发工具等方法,从而来减少软件中的不必要的复杂度,提高软件的可维护性、可读性和可扩展性。而亚马逊云科技此次新推出的Amazon Bedrock Agents便有效解决了这些难题,是Amazon Bedrock的一大看点,也是生成式AI领域在降低开发复杂度的新节点。

 

向量数据库是生成式AI的基石

随着大模型和生成式AI技术的高速发展,数据安全和数据自定义成为了技术发展的基础,以往只存储结构化数据的企业数据库已不能满足需求,于是向量数据库成为了全球数据库发展的重要趋势。

向量数据库当前被视为生成式AI的基石,因为其存储和处理的数据都是向量形式,而生成式AI模型则需要使用向量数据进行训练和推理,它提供了高效的数据存储和查询方式,并且可以与深度学习框架无缝集成,这种集成使得生成式AI模型能够更快地学习和生成更准确的数据。

目前在研究大模型、生成式AI的厂商几乎都在同时研究向量数据库技术,基于生成式AI、大模型的训练场景,各家的技术成果目前几乎没有太大差距。然而在本次纽约峰会上,亚马逊云科技新发布的适用于Amazon OpenSearch Serverless的向量引擎,正式可用后,该向量引擎支持简单的API调用,可用于存储和查询数十亿个Embeddings。

Embeddings是一种将文本、图像、声音等数据转换为向量表示的方法以便于使用机器学习算法进行处理,目前在研发向量数据库的厂商都在相关方面展开了探索。亚马逊云科技本次在该方面的新发布,完全是从用户需求出发。

要知道,正常情况下的Embeddings应存储在靠近源数据的位置,一系列因素都将影响企业如何选择最适合自己的选项,比如当前数据存储位置、对数据库技术的熟悉程度、向量维度的扩展、Embeddings的数量和性能需求等,因此亚马逊云科技提供了三个选项满足更高级的向量数据存储需求:

● Amazon Aurora PostgreSQL兼容版关系型数据库,支持pgvector开源向量相似性搜索插件,对需要存储和搜索大量向量数据的应用场景帮助意义很大;

● 分布式搜索和分析服务Amazon OpenSearch,带有k-NN(k最近邻)插件和适用于Amazon OpenSearch Serverless的向量引擎,可以处理大规模的向量数据、提供高效的搜索服务;

● 兼容PostgreSQL的Amazon RDS关系型数据库,支持pgvector插件,可以满足企业日常对于PostgreSQL数据库的兼容性和向量数据存储需求。

由于向量数据通常具有很高的维度和稀疏性,采用传统的存储方式会占用大量的存储空间,在向量数据存储和查询过程中,需要执行许多复杂的计算,所以如何对向量数据进行压缩和优化、优化算法以提高计算效率是向量数据存储技术领域持续探索的问题,而此次亚马逊云科技新发布的向量引擎也为解决这两个技术壁垒提供了有力支持,同时从用户的需求层来看,这也是向量数据存储技术的新突破。

 

生成式AI同样需要“加速”

生成式AI作为一种强大的技术,目前已在多个领域展现出了巨大潜力。然而在实际应用中,尽管其强大的创造力和表达能力令人惊叹,但生成式AI在“速度”方面仍有很大的进步空间。GPU作为专门用于并行计算的处理器,可以同时处理多个数据单元来提高计算速度。在生成式AI的训练中,需要进行的大量矩阵运算和反向传播等计算、处理大量的数据和模型参数,而这些计算任务均可以通过GPU进行并行计算,以达到加快计算速度,降低训练时间的目的。本次峰会上新发布的Amazon EC2 P5实例作为亚马逊云科技平台上的一种强大的计算实例类型,便很好地满足了目前用户在生成式AI训练过程中的GPU需求。

Amazon EC2 P5实例以其出众的硬件配置提供了卓越的计算、存储、横向拓展性能,它搭载了8个NVIDIA H100 Tensor Core GPU,拥有640GB高带宽GPU内存,同时提供第三代AMD EPYC处理器、2TB系统内存和30TB本地NVMe存储。同时,Amazon EC2 P5实例还提供3200Gbps的聚合网络带宽并支持GPUDirect RDMA,从而能够绕过CPU进行节点间通信,实现更低的延迟和高效的横向扩展性能。

NVIDIA H100 GPU具有新的转换器引擎,可智能地管理和动态选择FP8和16位计算,与上一代A100 GPU相比,可在LLM上提供更快的DL训练加速。对于HPC工作负载,与A100 GPU相比,NVIDIA H100 GPU具有新的DPX指令,可进一步加速动态编程算法。这种计算能力对于生成式AI模型中大量的矩阵计算和向量运算至关重要,与上一代基于GPU的实例相比,训练时间最多可缩短6倍。通过利用P5实例的高性能计算资源,可以显著降低训练成本,加快生成式AI的处理速度。

为了能够满足生成式AI模型的大量训练数据、模型参数及中间结果的大量数据存储和加载需求,Amazon EC2 P5实例还提供了大容量的本地存储空间,使得可以更高效地管理和处理大规模的数据集,在本地存储的支持下,避免频繁的数据传输和加载,从而进一步提升生成式AI任务的效率。

 

端到端的生成式AI“未来已至”

无论是完全托管式的Amazon Bedrock,还是适用于Amazon OpenSearch Serverless的向量引擎、Amazon EC2 P5实例,亚马逊云科技结合用户需求在生成式AI“端到端”方面的探索越来越深入。作为GenAI领域的技术领导者,亚马逊云科技凭借先进的技术、庞大的生态体系、丰富的实践经验和可靠的安全性,为自己的用户们提供了越来越全面的支持和几近完美的解决方案来推动端到端生成式AI的发展。

除了已经提到的几个亮点技术,在本次峰会上,亚马逊云科技还推出了其他四项生成式AI技术与应用——AI编程助手Amazon Codewhisperer通过提供丰富的模型和算法库来快速构建和训练生成式AI模型,使得开发者能够更轻松地进入生成式AI领域,并在图像、语音和文本生成方面得到更好的支持和指导;亚马逊云科技将Amazon Bedrock的大语言模型能力与Amazon QuickSight Q的自然语言问答功能相结合,提供生成式BI功能,提高了数据分析的效率和易用性,同时结合数据可视化,Quicksight将数据分析结果以更直观丰富的方式展现,让用户更好地理解和利用数据。此外,亚马逊云科技还通过Amazon Entity Resolution,赋能企业提升数据质量、获取客户洞察;推出Amazon HealthScribe,利用生成式AI助力构建医疗应用程序。

一直以来亚马逊云科技致力于降低生成式AI门槛,使更多的人能够轻松尝试和应用这项技术。他们希望成为生成式AI的普惠领导者,让更多的人从中受益。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/835606.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

React Native获取手机屏幕宽高(Dimensions)

import { Dimensions } from react-nativeconsole.log(Dimensions, Dimensions.get(window)) 参考链接: https://www.reactnative.cn/docs/next/dimensions#%E6%96%B9%E6%B3%95 https://chat.xutongbao.top/

程序员自由创业周记#5:加一上线

程序员自由创业周记#5:加一上线 这是一位程序员进行独立开发创业的记录,将分享创业过程中的所思所想以及收支明细。 充实 如果说程序员独立创业的成功率只有5%,那如果家里有一位3岁多还没上幼儿园的小朋友要照顾,成功的概率至少还…

通俗易懂web3.0

目录 前言一、WEB1.0二、WEB2.0三、WEB3.0区别最后 前言 大家好,我是清风。互联网连接了人与人,在过去的30年中,互联网技术不断进化、演化,向纵深发展,政治、经济、社交、生活、工作已经几乎离不开互联网。我们经历了…

软件测试面试【富途面经分享】

目录 一面面经(1h) 二面面经 一面面经(1h) 一、对白盒黑盒灰盒测试的理解 答: 1、黑盒测试就当整个程序是个黑盒子,我们看不到它里面做了什么事情,只能通过输入输出看是否能得到我们所需的来…

使用HTTP隧道时如何应对目标网站的反爬虫监测?

在进行网络抓取时,我们常常会遇到目标网站对反爬虫的监测和封禁。为了规避这些风险,使用代理IP成为一种常见的方法。然而,如何应对目标网站的反爬虫监测,既能保证数据的稳定性,又能确保抓取过程的安全性呢?…

亚马逊关键词的作用有哪些?

亚马逊关键词在平台上扮演着重要的作用,涵盖了消费者、卖家和整个平台的多个方面: 1、消费者的作用: 帮助消费者快速找到所需商品:通过输入关键词,消费者可以迅速找到感兴趣的商品,节省时间和精力。 支持…

【Linux】运行程序前加上strace,可以追踪到函数库调用过程

rootubuntu:/home/peng/test# gcc 123.c -o run rootubuntu:/home/peng/test# strace ./run 如执行结果可知: 我们的程序虽然只有一个printf函数,但是在执行过程中,我们前后调用了execve、access、open、fstat、mmap、brk、write等系统调用。…

01_二值图、灰度图、彩色图

01_二值图、灰度图、彩色图 1. 二值图2. 灰度图3. 彩色图 1. 二值图 二值图像(黑白图像):每个像素点只有两种可能,0和1,0代表黑色,1代表白色。数据类型通常为1个二进制位。 得出来的图像 2. 灰度图 单…

ad+硬件每日学习十个知识点(22)23.8.2(LDO datasheet手册解读)

文章目录 1.LDO的概述、features2.LDO的绝对参数(功率升温和结温)3.LDO的引脚功能4.LDO的电气特性5.LDO的典型电路(电容不能真用1uF,虽然按比例取输出值,但是R2的取值要考虑释放电流)6.LDO的开关速度和线性…

PaperEdge 文档图像矫正

效果 地址: https://github.com/cvlab-stonybrook/PaperEdge

leaflet-uniapp 缩放地图的同时 显示当前缩放层级

记录实现过程: 需求为移动端用户在使用地图时,缩放地图的同时,可以获知地图此时缩放的级别。 效果图如下:此时缩放地图级别为13 map.on() 有对应的诸多行为 查看官网即可,这里根据需要为--zoomstart zoom zoomend 代…

Vector - CAPL - 诊断模块函数(连接管理)

CanTpCreateConnection - 创建TP连接 功能:使用给定的地址模式(add人Mode)创建新连接,可用于诊断数据的收发。 说明:无法更改已有连接的寻址模式;如果确实有需要,可以关闭当前连接后再创建一个…

首批获得金融级行业云平台认证,天翼云深耕行业云

云计算下半场看什么? 无疑是金融、政务、制造等传统政企用户的上云与用云。随着数字经济发展和产业数字化的提速,上云已是政企用户推动其数字化转型不断深入的重要抓手,成为不可阻挡的趋势。 与互联网用户相比,政企用户上云极为…

Qt5.13引入QtWebApp的模块后报错: error C2440: “reinterpret_cast”: 无法从“int”转换为“quintptr”

1、开发环境 Win10-64 qt5.13 msvc2015-64bit-release 2、报错 新建一个demo工程。 引入QtWebApp的httpserver、logging、templateengine三个模块后。 直接运行,,此时报错如下: E:\Qt5.13.1\install\5.13.1\msvc2015_64\include\QtCore…

在腾讯云服务器OpenCLoudOS系统中安装redis(有图详解)

创建安装目录: mkdir -p /app/soft/redis 2. 下载安装包 进入安装目录 cd /app/soft/redis/ 下载安装包 wget https://download.redis.io/releases/redis-7.0.1.tar.gz 解压: tar -zxvf redis-7.0.1.tar.gz 安装gcc yum install gcc-c 进入re…

JSON:让数据传输更优雅

在东南亚海滩的阳光下,时而有一些贝壳、手工艺品等迷人的商品吸引着你。然而,语言的障碍有时会成为购买商品的阻碍。不得不用手比划以及尝试各种办法来进行交流。幸运的是,人们找到原始沟通的技巧,让彼此都能接受的信息交流方式&a…

ES6 - 对象新增的一些常用方法

文章目录 1,Object.is()2,Object.asign()3,Object.getOwnPropertyDescriptors()4,Object.setPrototypeOf()和getPrototypeOf()5,Object.keys()、values() 和 entries()6,Object.fromEntries()7,…

高效构建 vivo 企业级网络流量分析系统

作者:vivo 互联网服务器团队- Ming Yujia 随着网络规模的快速发展,网络状况的良好与否已经直接关系到了企业的日常收益,故障中的每一秒都会导致大量的用户流失与经济亏损。因此,如何快速发现网络问题与定位异常流量已经成为大型企…

在Gazebo中添加悬浮模型方法 / Gazebo中模型如何不因重力下落:修改sdf、urdf模型

目录 一、问题描述: 二、解决方法: 2.1 SDF模型: 2.2 URDF模型: 2.3 测试添加模型 三、通过Python程序在Gazebo中添加模型 一、问题描述: 在使用ros做仿真实验时,有时会需要在空间中添加一个模型文件…