Azure 机器学习:在 Azure 机器学习中使用 Azure OpenAI 模型

news2024/12/28 9:29:06

目录

    • 一、环境准备
    • 二、Azure 机器学习中的 OpenAI 模型是什么?
    • 三、在机器学习中访问 Azure OpenAI 模型
      • 连接到 Azure OpenAI
      • 部署 Azure OpenAI 模型
    • 四、使用自己的训练数据微调 Azure OpenAI 模型
      • 使用工作室微调
      • 微调设置
        • 训练数据
        • 自定义微调参数
        • 部署微调的模型
      • 使用基于代码的示例微调
      • 疑难解答

在本文中,你将了解如何使用 Azure 机器学习发现、微调和大规模部署 Azure OpenAI 模型。

关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。

file

一、环境准备

  • 必须有权访问 Azure OpenAI 服务。
  • 必须位于 Azure OpenAI 支持的区域

二、Azure 机器学习中的 OpenAI 模型是什么?

近年来,人工智能的进步导致了大型基础模型(基于大量数据进行训练)的兴起。 这些模型可以轻松适应各行各业的多种应用程序。 这一新兴趋势为企业在深度学习工作负载中构建和使用这些基础模型提供了独特的机会。

机器学习中的 OpenAI 模型提供机器学习原生功能,使客户可以通过以下方式大规模生成和使用 Azure OpenAI 模型:

  • 在机器学习中访问机器学习模型目录中提供的 Azure OpenAI。
  • 与 Azure OpenAI 建立连接。
  • 使用机器学习微调 Azure OpenAI 模型。
  • 使用机器学习将 Azure OpenAI 模型部署到 Azure OpenAI。

三、在机器学习中访问 Azure OpenAI 模型

file
Azure 机器学习工作室中的模型目录(预览)是浏览各种基础模型集合的起点。 Azure OpenAI 模型集合包含仅在 Azure 上提供的模型。 使用这些模型,客户将能够访问适用于 Azure OpenAI 中提供的大型语言模型的即时工程、微调、评估和部署功能。 可以在 Azure OpenAI 服务集合下的模型目录中查看受支持的 Azure OpenAI 模型的完整列表。

file

可以按推理任务或微调任务筛选模型目录中的模型列表。 选择特定的模型名称后,将会显示所选模型的模型卡,其中列出了有关该模型的详细信息。

file

连接到 Azure OpenAI

若要部署 Azure OpenAI 模型,需要具有 Azure OpenAI 资源。 若要创建 Azure OpenAI 资源,请按照创建和部署 Azure OpenAI 服务资源中的说明进行操作。

部署 Azure OpenAI 模型

若要从机器学习部署 Azure OpenAI 模型,请执行以下操作:

  1. 在左窗格中选择“模型目录”。

  2. Azure OpenAI 语言模型下选择“查看模型”。 然后选择要部署的模型。

  3. 选择“部署”,将模型部署到 Azure OpenAI。

file

  1. 从选项中选择“Azure OpenAI 资源”。

  2. 在“部署名称”中输入部署名称,然后选择“部署”。

  3. 若要查找部署到 Azure OpenAI 的模型,请转到工作区中的“终结点”部分。

  4. 选择“Azure OpenAI”选项卡,并查找创建的部署。 在选择部署时,系统会将你重定向到已链接到部署的 OpenAI 资源。

四、使用自己的训练数据微调 Azure OpenAI 模型

file
若要提高工作负载中的模型性能,可能需要使用自己的训练数据微调模型。 通过使用工作室中的微调设置或使用本教程中基于代码的示例,可以轻松微调这些模型。

使用工作室微调

若要调用微调设置窗体,请在任何基础模型的模型卡上选择微调

微调设置

file

训练数据
  1. 传入要用于微调模型的训练数据。 可以选择上传 JSON 行 (JSONL) 格式的本地文件。 也可以从工作区中选择现有的已注册数据集。

    • 具有完成任务类型的模型:使用的训练和验证数据必须采用 JSON 文档格式,其中每一行代表一个提示-完成对。

file

  • 具有聊天任务类型的模型:数据集中的每一行都应是 JSON 对象列表。 每一行对应于一个对话。 行中的每个对象都是对话中的一个轮次或语句。

file

  • 验证数据:传入要用于验证模型的数据。
  1. 在微调窗体中选择“完成”以提交微调作业。 作业完成后,可以查看已微调模型的评估指标。 然后,可以将此经过微调的模型部署到终结点以进行推理。
自定义微调参数

如果要自定义微调参数,可以在微调向导中选择“自定义”,以配置批大小、纪元数和学习速率乘数。 其中每个设置都具有默认值,但如果需要,可以通过基于代码的示例进行自定义。

file

部署微调的模型

若要从机器学习运行经过微调的模型作业以部署 Azure OpenAI 模型,请执行以下操作:

  1. 完成 Azure OpenAI 模型的微调后,在“模型”列表中找到微调期间提供的名称的已注册模型,然后选择要部署的模型。
  2. 选择“部署”并为部署命名。 模型将会部署到链接到工作区的默认 Azure OpenAI 资源。

使用基于代码的示例微调

为了支持用户快速开始使用基于代码的微调,我们已面向 azureml-examples GitHub 存储库发布示例(包括 Python 笔记本和 Azure CLI 示例):

  • SDK 示例
  • CLI 示例

疑难解答

下面是一些步骤,可帮助你解决机器学习中 Azure OpenAI 的以下任何问题。

在尝试部署 Azure OpenAI 模型时,可能会遇到以下任何错误。

  • 每个模型名称和版本只能进行一个部署

    • 修复:转到 Azure OpenAI Studio 并删除尝试部署的模型的部署。
  • 未能创建部署

    • 修复:无法创建 Azure OpenAI。 此错误这是由于配额问题造成的。 请确保具有足够的配额可用于部署。 微调模型的默认配额是每个客户 2 个部署。
  • 未能获取 Azure OpenAI 资源

    • 修复:无法创建资源。 你不在正确的区域中,或者已超出三个 Azure OpenAI 资源的最大限制。 需要删除现有的 Azure OpenAI 资源,或者需要确保在受支持区域之一中创建了工作区。
  • 模型不可部署

    • 修复:此错误通常发生在尝试部署 GPT-4 模型时。 由于需求较高,需要[申请访问权限才能使用 GPT-4 模型]。
  • 微调作业失败

    • 修复:目前,对于新的微调模型,只能为特定订阅指定最多 10 个工作区。 如果用户创建更多工作区,尽管可以获得模型访问权限,但他们的作业将失败。 尝试将每个订阅的工作区数限制为 10。

关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1205477.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

线圈寿命预测 数据集讲解

来自-郭师兄 1.这个是线圈数据的阻抗、电抗等数据,我想根据这个个数据进行线圈寿命预测也就是RUL预测,请问有什么思路吗。 最简单的思路: 数据通过某种方法进行压缩表征到一维再通过 同时需要标签。 确定一个特征 使用降维方法如同PCA来构…

点大商城V2版 2.5.3全插件开源独立版 百度+支付宝+QQ+头条+小程序端+unipp开源端安装测试教程

点大商城V2是一款采用全新界面设计支持多端覆盖的小程序应用,支持H5、微信公众号、微信小程序、头条小程序、支付宝小程序、百度小程序,本程序是点大商城V2独立版,包含全部插件,代码全开源,并且有VUE全端代码。 适用范…

No200.精选前端面试题,享受每天的挑战和学习

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云课上架的前后端实战课程《Vue.js 和 Egg.js 开发企业级健康管理项目》、《带你从入…

vscode launch.json

有时新的服务器进行调试时,需要设置调试的launch.json的结果 然后就可以打开一个launch.json 其内容如下 {// 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。// 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid83…

【Axure高保真原型】3D饼图_移入显示数据标签

今天和大家分享3D饼图_移入显示数据标签的原型模板,鼠标移入扇形区域时,对应区域会变绿,可以查看该区域对应的项目、数据和占比,这个原型模板是用Axure原生元件制作的,所以无需联网,而且可以自由修改样式、…

数据结构哈希表(散列)Hash,手写实现(图文推导)

目录 一、介绍 二、哈希数据结构 三、✍️实现哈希散列 1. 哈希碰撞💥 2. 拉链寻址⛓️ 3. 开放寻址⏩ 4. 合并散列 一、介绍 哈希表,也被称为散列表,是一种重要的数据结构。它通过将关键字映射到一个表中的位置来直接访问记录&#…

HarmonyOS开发(三):ArkTS基础

1、ArkTS演进 Mozilla创建了JS ---> Microsoft创建了TS ----> Huawei进一步推出ArkTS 从最初的基础逻辑交互(JS),到具备类型系统的高效工程开发(TS),再到融合声明式UI、多维状态管理等丰富的应用开发能力&…

高速高精运动控制,富唯智能AI边缘控制器助力自动化行业变革

随着工业大数据时代的到来,传统控制与决策方式无法满足现代数字化工厂对工业大数据分析与决策的需求,AI边缘控制器赋能现代化智慧工厂,实现工业智造与行业变革。 富唯智能AI边缘控制器,基于x86架构的IPC形态产品,通过…

【python自动化】Playwright基础教程(七)Keyboard键盘

【python自动化】Playwright基础教程(七)Keyboard键盘 playwright模拟键盘操作 键盘事件提供了用于管理虚拟键盘的API,高级API是keyboard.type(),它使用的是原始字符再页面上生成对应的keydown 、 keypress / input 和 keyup 事件。 模拟真实键盘操作进行…

Java面向对象(进阶)-- Object类的详细概述

文章目录 一、如何理解根父类二、 Object类的方法(1)引子(2)Object类的说明 三、了解的方法(1)clone( )1、介绍2、举例 (2)finalize( )1、介绍2、举例 (3)get…

windows系统用于 SDN 的软件负载均衡器 (SLB)

适用于:Azure Stack HCI 版本 22H2 和 21H2;Windows Server 2022、Windows Server 2019、Windows Server 2016 软件负载均衡器包括哪些内容? 软件负载均衡器提供以下功能: 适用于北/南和东/西 TCP/UDP 流量的第 4 层 (L4) 负载均…

什么是会话固定以及如何在 Node.js 中防止它

什么是会话固定以及如何在 Node.js 中防止它 在深入讨论之前,我们需要了解会话是什么以及会话身份验证如何工作。 什么是会话? 正如我们所知,HTTP 请求是无状态的,这意味着当我们发送登录请求时,并且我们有有效的用…

@CacheInvalidate(name = “xxx“, key = “#results.![a+b]“,multi = true)是什么意思

@CacheInvalidate 注解是 JetCache 框架提供的注解,它是由阿里巴巴开源的组织 Alibaba Group 开发和维护的。JetCache 是一款基于注解的缓存框架,提供了丰富的缓存功能和灵活的配置选项,可用于增强应用程序的性能和可扩展性。JetCache 支持多种缓存后端,包括内存缓存、Redi…

2023亚太杯数学建模C题思路分析

文章目录 0 赛题思路1 竞赛信息2 竞赛时间3 建模常见问题类型3.1 分类问题3.2 优化问题3.3 预测问题3.4 评价问题 4 建模资料5 最后 0 赛题思路 (赛题出来以后第一时间在CSDN分享) https://blog.csdn.net/dc_sinor?typeblog 1 竞赛信息 2023年第十三…

二十、泛型(6)

本章概要 问题 任何基本类型都不能作为类型参数实现参数化接口转型和警告重载基类劫持接口 自限定的类型 古怪的循环泛型自限定参数协变 问题 本节将阐述在使用 Java 泛型时会出现的各类问题。 任何基本类型都不能作为类型参数 正如本章早先提到的,Java 泛型的…

OpenCV 笔记(6):像素间的基本关系——邻域、邻接、通路、连通、距离

像素是图像的基本元素,像素与像素之间存在着某些联系,理解像素间的基本关系是数字图像处理的基础。常见的像素间的基本关系包括:邻域、邻接、通路、连通、距离。 Part11. 邻域 邻域表示了像素之间的连接关系。 像素(x,y)的邻域,是…

Linux技能篇-软链接和硬链接

文章目录 前言一、硬链接是什么?二、软链接是什么?三、硬链接和软链接的区别和共性1.区别2.共同点 总结 前言 在Linux系统中,有两个容易混淆的概念,就是软链接(Soft Link)和硬链接(Hard Link&a…

android studio新版本gradle Tasks找不到assemble

最近需要打包arr,但android studio新版本为了加快编译速度,取消了gradle下的assemble任务,网上还没有博主更新解决方案,因此一直找不到解决方案,后来尝试如下操作才解决,方便后来者解决。 先将这里勾选上&…

vscode远程linux安装codelldb

在windows上使用vscode通过ssh远程连接linux进行c调试时,在线安装codelldb-x86_64-linux.vsix扩展插件失败,原因是linux服务器上的网络问题,所以需要进行手动安装。 首先在windows上下载: codelldb-x86_64-linux.vsix;…

GoldWave v6.78 绿色免费便携版功能介绍及使用说明

GoldWave v6.78 绿色免费便携版是一款集声音编辑、播放、录制与转换为一体的音频编辑工具,还可以对音频内容进行转换格式等处理。该软件支持许多格式的音频文件,包括WAV, OGG, VOC, IFF, AIF, AFC, AU, SND, MP3,MAT, DWD, SMP, VOX, SDS, AVI, MOV等音频…