使用托管竞价实例在Amazon SageMaker上运行机器学习训练

news2024/11/15 13:44:28

这是本系列文章的第二篇,旨在通过动手实践,帮助大家学习亚马逊云科技的生成式AI相关技能。通过这些文章,大家将掌握如何利用亚马逊云科技的各类服务来应用AI技术。

那么让我们开始今天的内容吧!

介绍

什么是Amazon SageMaker

  • 它是一项完全托管的机器学习服务。
  • Amazon SageMaker帮助开发者和数据科学家构建和训练机器学习(ML)模型,以便快速部署在具备生产准备的托管环境中。
  • 它消除了机器学习过程中的繁重工作,使开发高质量模型变得更加容易。
  • 由于它是完全托管的服务,因此没有维护窗口或计划停机时间。
  • 它将代码存储在由安全组保护并且静态加密的机器学习存储卷中。
  • 它不会使用或与其他客户共享客户的模型、训练数据和算法。

什么是EC2竞价实例

  • 竞价实例是Amazon EC2中的未使用部分,通过使用竞价实例,您可以与按需实例相比节省高达90%的成本,但如果当前价格高于您指定的最高价格,AWS可能会中断您的竞价实例。
  • 竞价实例使用与按需实例和预留实例相同的EC2实例(AMI和实例类型)。它最适合用于数据可复现且能够承受随时中断的使用场景。
  • 您可以将竞价实例作为按需或预留实例的附加计算容量,前提是容错是可接受的。
  • EC2竞价实例可以通过与启动EC2实例相同的方式启动,比如使用竞价队列、自动伸缩组或AWS管理控制台。
  • 如果AWS在一小时内终止或停止您的Amazon EC2竞价实例,则不会收取费用。
  • 但是,如果您选择自行停止或终止新启动的竞价实例,您将需要支付已使用的总秒数的费用。

架构图

任务详情

  1. 创建一个Amazon SageMaker笔记本实例
  2. 打开JupyterLab并将内核环境设置为EC2实例
  3. 在Apache服务器上执行单元格

任务 1: 创建一个Amazon SageMaker笔记本实例

确保您处于美国东部(弗吉尼亚北部)us-east-1区域,在控制台顶部的服务菜单中点击Amazon SageMaker,然后展开左侧面板中的笔记本选项并点击笔记本实例。

点击“创建笔记本实例”按钮。在“笔记本实例设置”部分,输入笔记本实例名称为 whiz,选择实例类型为 ml.t2.medium,保持其他选项为默认值。在“权限和加密”部分,从下拉菜单中选择 创建新角色,在弹出窗口中确保S3存储桶选项为“任何S3存储桶”,然后点击“创建角色”按钮。

 IAM 角色已创建。

 保持所有选项为默认值,点击“创建笔记本实例”按钮,笔记本实例将在大约5分钟内启动并运行。

 等待状态变为“已服务中”(InService)

任务2:打开JupyterLab并设置内核环境

点击“打开JupyterLab”按钮。

您将被重定向到运行环境,选择左侧面板中的Amazon SageMaker示例笔记本图标。

通过向右拖动主窗口展开左侧面板,滚动并双击左侧面板中的xgboost_managed_spot_training.ipynb文件。

复制创建后会提示选择内核,从下拉菜单中选择conda_python3并点击“选择”。

任务4:执行

第一段代码介绍了变量设置和函数定义,逐个选择单元格并点击“运行选定的单元格并前进”图标。

 

 运行完成后将打印输出,单元格会显示一个编号。

向下滚动并执行名为“Fetching the dataset”的单元格,点击“运行选定的单元格并前进”图标。

单元格运行完成后,将显示输出结果。

执行下一个单元格,点击“运行选定的单元格并前进”图标。

现在继续执行下一个单元格,点击“运行选定的单元格并前进”图标。

执行下一个单元格,点击“运行选定的单元格并前进”图标,训练任务将开始,等待执行完成。

 

跳过自动模型调优训练,执行倒数第二个单元格,点击“运行选定的单元格并前进”图标,输出将包含检查点的路径。

实例启动并完成训练任务大约需要5分钟,执行完成后将以百分比形式显示使用竞价实例的节省情况。

结尾语

完成训练任务后,您可以查看输出结果,其中将以百分比形式显示使用竞价实例所节省的成本。通过这一流程,您可以体验到Amazon SageMaker结合EC2竞价实例所带来的高效与成本优势。无论是在模型训练还是资源优化方面,这种结合都能为您的机器学习工作流带来更大的灵活性与可控性。

lab内容参考自whizlabs平台的lab实验,如需想要完整练习上面内容推荐去相关平台进行学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2053417.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ant design pro access.ts 是如何控制多角色的权限的

ant design pro 如何去保存颜色ant design pro v6 如何做好角色管理ant design 的 tree 如何作为角色中的权限选择之一ant design 的 tree 如何作为角色中的权限选择之二 看上面的图片,在前端中如何控制这些权限,比如控制按钮的显示,还有菜单…

Stable diffusion模型分几种?一文详解,入门必看!

在Stable Diffusion中,模型并不只有一种,不同插件有不同的模型,分别作用于不同的功能。今天就带大家一起来学习一下~ 01 大模型 也就是stable diffusion模型,在默认界面中,它位于web页面的左上角&#x…

[数据结构] RBTree 模拟实现RBTree

标题:[数据结构] RBTree && 模拟实现RBTree 水墨不写bug 目录 一、红黑树的概念 二、map和set的封装 三、红黑树的实现 1、红黑树节点的定义 2、红黑树的结构 3、红黑树的插入 1.名称 2.插入节点的颜色 红黑树的insert 实现 情况一:不…

微信自动化管理了解下

微信作为一款广泛使用的社交软件,已经成为人们日常生活中不可或缺的通讯工具。不仅个人用户频繁使用,许多企业也依赖微信进行业务沟通和客户服务。 然而,对于企业用户来说,管理多个微信账户往往带来诸多繁琐和不便之处。这些问题…

Django+anaconda

一、搭建django虚拟环境 打开anaconda prompt 输入:conda create -n mydjango_env 判断(y/n):y 查看虚拟环境 conda env list *号表示当前使用的环境 激活创建的虚拟环境 activate mydjango_env 二、安装Django 在新环境激活的状态下安装…

Nature|通过范德华层压实现三维单片集成系统 (半导体器件/集成电路)

2024年5月22日,湖南大学刘渊(Yuan Liu)教授课题组,在《Nature》上发布了一篇题为“Monolithic three-dimensional tier-by-tier integration via van der Waals lamination”的论文。第一作者为湖南大学物理与微电子科学学院陆冬林(Donglin Lu)博士。论文内容如下: 一、 …

Stable Diffusion 的采样器

一图 不推荐使用的采样器 PLMS LMS LMS Karras DPM fast DPM2 DPM2a DPM2 Karras DPM2 a Karras 可以在设置里把采样器去掉

同态加密和SEAL库的介绍(十)CKKS 参数心得 2

写在前面: 本篇继续上篇的测试,首先针对密文深度乘法情况,虽然密文乘法本就是应该尽量避免的(时间和内存成本过高),更不用说深度乘法了,但是为了测试的完整性,还是做一下方便大家比对…

CVE-2021-21315漏洞复现

一、基本信息 攻击机:kali IP:192.168.100.60 靶机:CentOS7 IP:192.168.100.40 二、攻击过程 下载node.js环境 wget https://nodejs.org/dist/v12.18.4/node-v12.18.4-linux-x64.tar.xz tar -xvf node-v12.18.4-linux-x64.tar.xz mv node-v12.18.4-…

89.WEB渗透测试-信息收集-Google语法(3)

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于: 易锦网校会员专享课 上一个内容:88.WEB渗透测试-信息收集-Google语法(2) 常用的 Google 语法的作用…

【大数据平台】可扩展性设计

欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏: 工💗重💗hao💗:野老杂谈 ⭐️ 全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题.…

线程间同步的概念

一、线程间同步的概念 rtthread通过线程间同步建立线程间的执行顺序,多个线程访问的同一个内存叫做临界区。rtthread提供的同步的工具 1、信号量 2、互斥量 3、事件集 二、信号量 2.1 信号量概念 rtthread将信号量抽象成rt_semaphore. 2.2 信号量api 2.3 信号量示例…

本地Docker部署开源Web相册图库Piwigo与在线远程访问实战方案

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

【leetcode详解】T3137(思路详解 代码优化感悟)

思路详解 要解决这个问题,我们的大致思路是这样:找到长度为k的字符串 (记为stringA) ,统计重复次数最多的那一个,则最终对应的k周期字符串就是 [stringA * n] 的形式( n word.length() / k) 要实现多对象的计数&…

【数据结构】关于Java对象比较,以及优先级队列的大小堆创建你了解多少???

前言: 🌟🌟Hello家人们,这期讲解对象的比较,以及优先级队列堆,希望你能帮到屏幕前的你。 🌈上期博客在这里:http://t.csdnimg.cn/MSex7 🌈感兴趣的小伙伴看一看小编主页&…

分享一个基于SpringBoot的物品代购系统的设计与实现(源码、调试、LW、开题、PPT)

💕💕作者:计算机源码社 💕💕个人简介:本人 八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流&…

从零开始学嵌入式技术之数字电路

一:数字电路基础 数字电路是现代科技和工程领域中不可或缺的基础。从计算机系统到通信设备,从家庭电子产品到工业自动化,数字电路无处不在,影响着我们的生活和工作。本章节旨在向读者介绍数字电路的基本概念、原理和应用&#xff…

迭代器失效

一、什么是迭代器失效 迭代器的主要作用就是让算法能够不用关心底层数据结构,其底层实际就是一个指针,或者是对指针进行了封装,比如:vector的迭代器就是原生态指针T* 。因此迭代器失效,实际就是迭代器底层对应指针所指…

Kubernetes之Probe探针

目录 存活、就绪和启动探针 存活探针(Liveness Probe) 就绪探针(Readiness Probe) 启动探针(Startup Probe) 检测方式: exec: HTTP GET: TCP Socket: …

linux DHCP和VSFTP原理与配置

目录 一、DHCP工作原理 1.1 了解DHCP服务 1.1.1 DHCP基本描述 1.1.2 使用DHCP的好处 1.1.3 DHCP的分配方式 1.2 DHCP的租约过程 1.3 使用DHCP动态配置主机地址 1.4 安装DHCP服务器 二、DHCP服务器的配置 2.1 实验环境准备 2.2 实验实战示列 三、DHCP客户端的使用 …