AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。

news2024/11/23 23:35:14

在这里插入图片描述
AMD-OLMo是一系列10亿参数语言模型,由AMD公司在AMD Instinct MI250 GPU上进行训练,AMD Instinct MI250 GPU是一个功能强大的图形处理器集群,它利用了OLMo这一公司开发的尖端语言模型。AMD 创建 OLMo 是为了突出其 Instinct GPU 在运行 “具有数万亿标记的大规模多节点 LM 训练工作 ”方面的能力,与其他完全开放的类似规模的 LM 相比,OLMo 可实现更高的推理和指令跟踪性能。

在这里插入图片描述

OLMo 是最先进的开源软件,但其参数数量少于 AI2(前身为艾伦人工智能研究所)开发的同类软件。AMD 的版本有 10 亿个参数,而 AI2 的 OLMo 有 70 亿个参数。尽管在规模上存在差异,但 AMD 的 OLMo 已经在 1.3 万亿个令牌的海量数据集上进行了训练,这些数据集在 16 个节点上进行了预训练,每个节点都配备了四个 AMD Instinct MI250 GPU。通过这种训练,AMD-OLMo 开发出了令人印象深刻的语言能力,包括预测句子中下一个单词的能力,使其适用于聊天机器人等应用。

AMD 的 OLMo 已与其他公开的型号进行了比较,其性能令人印象深刻。例如,它已被证明优于其他指令调整基线。该公司认为,OLMo 的发布将有助于开发人员复制其工作,并在 “顶端 ”进一步创新。此外,AMD-OLMo 还有望推广该公司的处理器,展示其强大功能,并在与 Nvidia 和英特尔等竞争对手的竞争中提升其声誉。

OLMo 的发布是 AMD 努力让人工智能(AI)更接近边缘设备的一部分。近年来,该公司已经推出了多项人工智能创新技术,包括发布注入人工智能的 Ryzen、Instinct 和 Epyc 芯片。AMD 的 OLMo 模型可在 Hugging Face 上获得,开发人员可以访问该模型的数据、权重、训练配方和代码,以重现其工作并在此基础上进行开发。

预训练结果

Standard BenchmarksTinyLLaMA-v1.1 (1.1B)MobiLLaMA-1B (1.2B)OLMo-1B (1.2B)OpenELM-1_1B (1.1B)OLMo-1B-0724-hf (1.2B)AMD-OLMo-1B (1.2B)
arc_easy55.4756.6557.2855.4356.6563.64
arc_challenge32.6832.0031.0632.3432.3433.70
hellaswag61.4761.8062.9264.8166.1263.61
piqa73.5675.3075.1475.5775.0875.57
boolq55.9960.8361.7463.5866.1860.58
sciq89.3088.2087.0090.6092.7093.20
winogrande59.4359.2759.9861.7261.7261.64
openbookqa36.8035.4036.2036.2035.6035.80
mmlu (0-shot)25.0224.8124.2325.2625.4524.88
gsm8k (8-shot)1.820.002.502.818.952.88
bbh (3-shot)25.630.0025.6316.7721.6720.95
Average47.0244.9347.6147.7349.3148.77

指令调整结果

Standard BenchmarksTinyLlama-1.1B-Chat-v1.0 (1.1B)MobiLlama-1B-Chat (1.2B)OpenELM-1_1B-Instruct (1.1B)AMD-OLMo-1B-SFT (1.2B)AMD-OLMo-1B-SFT-DPO (1.2B)
arc_easy54.4257.4152.4463.6864.31
arc_challenge32.8534.5637.8037.1237.37
hellaswag60.4062.5171.2961.6361.91
piqa74.4875.7375.0374.4374.16
boolq61.0455.6670.2868.5370.24
sciq88.4087.1089.5091.2092.10
winogrande60.5460.7762.1960.2260.62
openbookqa37.2036.8039.2037.4040.20
mmlu24.6125.2525.5429.9730.52
gsm8k (8-shot)2.810.231.8218.2015.77
bbh (3-shot)26.830.0013.4025.1725.45
Average47.6045.0948.9551.6052.06
Chat BenchmarksTinyLlama-1.1B-Chat-v1.0 (1.1B)MobiLlama-1B-Chat (1.2B)OpenELM-1_1B-Instruct (1.1B)AMD-OLMo-1B-SFT (1.2B)AMD-OLMo-1B-SFT-DPO (1.2B)
AlpacaEval 1 (Win Rate)50.8134.9037.7250.1254.22
AlpacaEval 2 (LC Win Rate)1.541.590.493.882.37
MTBench3.382.89-4.354.10
Responsible AI BenchmarksTinyLlama-1.1B-Chat-v1.0 (1.1B)MobiLlama-1B-Chat (1.2B)OpenELM-1_1B-Instruct (1.1B)AMD-OLMo-1B-SFT (1.2B)AMD-OLMo-1B-SFT-DPO (1.2B)
ToxiGen41.7037.2342.3439.0439.68
crows_pairs60.3558.5059.9360.2961.00
TruthfulQA-mc237.9238.4645.8437.4540.06
  • 在为聊天基准评估生成标记时,我们在 AlpacaEval 中使用 max_length=2048,在 MTBench 中使用 max_new_tokens=2048。
  • 上表中的所有数字均来自我们的评估。

这次发布对 AMD 来说是意义重大的一步,因为它不仅彰显了 AMD 硬件在人工智能领域的实力,而且还使 AMD 在快速发展的人工智能芯片市场上与 Nvidia 和英特尔等行业领导者一较高下。通过在 Hugging Face 上提供模型,AMD 鼓励开发人员在其工作基础上进行实验和开发,从而有可能推动语言建模和人工智能应用的进一步发展。

Huggingface:amd/AMD-OLMo

感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。点赞并关注,获取最新科技动态,不落伍!🤗🤗🤗

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2238409.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【HarmonyOS】Install Failed: error: failed to install bundle.code:9568289

【HarmonyOS】Install Failed: error: failed to install bundle.code:9568289 一、问题背景: Install Failed: error: failed to install bundle. code:9568289 error: install failed due to grant request permissions failed. View detailed instructions. 11/…

#渗透测试#SRC漏洞挖掘#CSRF漏洞的防御

免责声明 本教程仅为合法的教学目的而准备,严禁用于任何形式的违法犯罪活动及其他商业行为,在使用本教程前,您应确保该行为符合当地的法律法规,继续阅读即表示您需自行承担所有操作的后果,如有异议,请立即停…

C++builder中的人工智能(7)如何在C++中开发特别的AI激活函数?

在当今的AI开发中,人工智能模型正迅速增加。这些模型使用数学函数来执行和学习,以便在传播时优化最佳结果,或在反向传播时选择最佳解决方案。其中之一就是激活函数。也称为转移函数或阈值函数,它决定了神经元的激活值作为输出&…

ReactPress数据库表结构设计全面分析

ReactPress Github项目地址:https://github.com/fecommunity/reactpress 欢迎Star。 ReactPress是一个基于React框架开发的开源发布平台和内容管理系统(CMS)。它不仅支持用户在支持React和MySQL数据库的服务器上搭建自己的博客和网站&#…

小菜家教平台(四):基于SpringBoot+Vue打造一站式学习管理系统

前言 昨天配置完了过滤器,权限检验,基本的SpringSecurity功能已经配置的差不多了,今天继续开发,明天可能会暂停一天整理一下需求,然后就进行CRUD了。 今日进度 补充SpringSecurity异常处理和全局异常处理器 详细操作…

零基础Java第十五期:抽象类接口(一)

目录 一、抽象类 1.1. 抽象的概念 1.2. 抽象类语法 1.3. 抽象类的特性 1.4. 图形类例子 二、 接口 2.1. 接口的概念 2.2. 语法规则 2.3. 接口的特性 2.4. 接口的使用 2.5. 实现多个接口 2.6. 工作当中常用的接口 一、抽象类 1.1. 抽象的概念 如果 一个类中没…

13.UE5流星火雨,引导施法技能制作

2-15 流星火雨,引导施法技能制作、随机数_哔哩哔哩_bilibili 目录 1.为流星火雨添加按键映射 2.创建流星火雨的动画蒙太奇 3.实现播放动画蒙太奇的逻辑 ​编辑 4.定义发射一波流星火雨的发射物 5.使用动画通知释放流星火雨 1.为流星火雨添加按键映射 创建名为流…

让redis一直开启服务/自动启动

文章目录 你的redis是怎么打开的黑窗不能关?必须要自动启动吗?再说说mysql 本文的所有指令都建议在管理员权限下打开cmd控制台 推荐的以管理员身份打开控制台的方式 Win R 打开运行 输入cmdShift Ctrl Enter 你的redis是怎么打开的 安装过redis的朋友都知道, redis的安…

【安装配置教程】二、VMware安装并配置ubuntu22.04

一、准备: 虚拟机安装ubuntu,首先要先找到一个镜像,可以去ubuntu官方下载一个,地址:下载Ubuntu桌面系统 | Ubuntu,下载好iso的镜像文件后保存好,接下来打开VMware。 二、安装&#xff…

Latex中给公式加边框

1、这里使用的不是 amsmath 的 \boxed 命令, 而是 empheq 的 empheq 环境以及 xcolor 的 \fcolorbox 命令, 下面是代码, 可以分别阅读这两个手册来获取更多的信息 \documentclass{article} \usepackage{xcolor} \usepackage{empheq} \usepackage{amsmath} \begin{document}\be…

Android Parcelable和Serializable的区别与联系

在Android开发中,Parcelable和Serializable是两种用来在组件之间传递数据的序列化机制。它们有不同的使用场景和性能特点。 以下是它们之间的关系和区别: 1. 什么是 Parcelable Parcelable 是 Android 特有的接口,用于高效地在进程间传递数…

Android 实现柱形图

在 Android 中实现柱状图,可以使用流行的图表库 MPAndroidChart,它支持多种类型的图表,包括柱状图、折线图、饼图等。下面是一个基本的柱状图实现步骤,具体分为以下几个部分: 1. 添加依赖 首先,你需要在 …

通过交互式网页学习相机成像原理

​ 入门摄影这门艺术,你是否有以下这些问题? 焦距、光圈、CMOS是什么?为什么光圈越大,背景虚化效果越好?什么是过曝?… 今天我将分享一个简单的、可交互的相机成像模型,可供大家以可视化的方式…

web——sqliabs靶场——第一关

今天开始搞这个靶场,从小白开始一点点学习,加油!!!! 1.搭建靶场 注意点:1.php的版本问题,要用老版本 2.小p要先改数据库的密码,否则一直显示链接不上数据库 2.第一道题&#xff0…

自监督学习:机器学习的未来新方向

引言 自监督学习(Self-Supervised Learning, SSL)是近年来机器学习领域的一个重要发展方向,迅速成为许多研究和应用的热点。与传统的监督学习不同,自监督学习利用未标注数据,通过设计自我生成标签的任务,帮…

探索 HTML 和 CSS 实现的 3D 开关按钮

效果演示 这段代码是一个HTML和CSS的组合&#xff0c;用于创建一个3D风格的开关按钮&#xff08;通常用于控制某些设置的开启或关闭&#xff09; HTML <label class"switch"><input type"checkbox" checked"checked"><div cl…

车载诊断架构---NRC 78和NRC 21那些你不知道的事情!

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 屏蔽力是信息过载时代一个人的特殊竞争力,任何消耗你的人和事,多看一眼都是你的不对。非必要不费力证明自己,无利益不试图说服别人,是精神上的节…

【计算机基础——数据结构——红黑树】

1. 红黑树&#xff08;RBTree&#xff09; 为什么HashMap不直接使用AVL树&#xff0c;而是选择了红黑树呢&#xff1f; 由于AVL树必须保证左右子树平衡&#xff0c;Max(最大树高-最小树高) < 1&#xff0c;所以在插入的时候很容易出现不平衡的情况&#xff0c;一旦这样&…

linux物理内存管理:node,zone,page

一、总览 对于物理内存内存&#xff0c;linux对内存的组织逻辑从上到下依次是&#xff1a;node&#xff0c;zone&#xff0c;page&#xff0c;这些page是根据buddy分配算法组织的&#xff0c;看下面两张图&#xff1a; 上面的概念做下简单的介绍&#xff1a; Node&#xff1a…

CKA认证 | 使用kubeadm部署K8s集群(v1.26)

一、前置知识点 1.1 生产环境可部署Kubernetes集群的两种方式 目前生产部署Kubernetes集群主要有两种方式&#xff1a; ① kubeadm Kubeadm是一个K8s部署工具&#xff0c;提供kubeadm init和kubeadm join&#xff0c;用于快速部署Kubernetes集群。 ② 二进制包 从github下…