Llama3 端侧部署:算丰 SG2300x 与爱芯元智 AX650N

news2024/11/6 8:02:58

美国当地时间4月18日,Meta 开源了 Llama3 大模型,包括一个 8B 模型和一个 70B 模型在测试基准中,Llama 3 模型的表现相当出色,在实用性和安全性评估中,与那些市面上流行的闭源模型不相上下。

Llama3 性能指标:

相对于 LLama2,Llama3 的性能有了很大的提高:

Meta 表示,Llama 3 在多个关键基准测试中展现出卓越性能,超越了业内先进的同类模型。无论是在代码生成、复杂推理,还是在遵循指令和可视化想法方面,Llama 3 都实现了全面领先。该模型在以下五个基准测试中均表现出色:

  • MMLU(学科知识理解)

  • GPQA(一般问题解答)

  • HumanEval(代码能力)

  • GSM-8K(数学能力)

  • MATH(高难度数学问题)

根据 Meta 的测试结果,Llama 3 8B 模型在 MMLU、GPQA、HumanEval 等多项性能基准上均超过了 Gemma 7B 和 Mistral 7B Instruct,70B 模型则超越了名声在外的闭源模型 Claude 3 的中间版本 Sonnet,和谷歌的 Gemini Pro 1.5 相比三胜两负。 

算丰 SG2300x:

4月20日,瑞莎宣称:面对 Llama 3 如此激动人心的性能,Airbox 团队积极响应,快速将 Llama3 8B 移植并成功在 Airbox 上运行。

并推出 SOPHON SG2300X SoC 处理器的 Radxa Fogwise AirBox,来作端侧部署:

Radxa Fogwise AirBox
形态尺寸

104mm x 84mm x 52mm

处理器SOPHON SG2300X SoC,八核 Arm® Cortex®-A53(ARMv8)@ 2.3GHz
TPU张量处理单元,计算能力:最高达24TOPS(INT8),12TFLOPS(FP16/BF16)和2TFLOPS(FP32)
支持领先的深度学习框架,包括 TensorFlow、Caffe、PyTorch、Paddle、ONNX、MXNet、Tengine 和 DarkNet
内存16GB LPDDR4X

存储

工业级 64GB eMMC
16MB SPI 闪存
提供高速SD卡的SD卡插槽

多媒体

支持解码32路H.265/H.264 1080p@25fps视频
完全处理32路高清1080P@25fps视频,涉及解码和AI分析
支持编码12路H.265/H.264 1080p@25fps视频
JPEG:1080P@600fps,支持最大32768 x 32768
支持视频后处理,包括图像CSC、调整大小、裁剪、填充、边框、字体、对比度和亮度调整。
连接2x 千兆以太网端口(RJ45)
1x M.2 M Key(2230/2242)用于NVMe SSD
1x M.2 E Key用于WI-FI/BT
工作温度0°C 到 45°C
外壳耐腐蚀的铝合金外壳
散热器PWM调速风扇与定制散热片

 并以视频展示了 Llama3 8B 在 Airbox 上的运行情况:

可以看见,Llama 3 8B 在 Airbox 上的运行表现极为流畅,达到了 9.6 token/s 的处理速度。 

爱芯元智 AX650N:

4月28日,AI 芯片公司爱芯元智宣布,公司 NPU 工具链团队已基于 AX650N 平台完成适配 Meta 发布的 Llama 3 8B 和 Microsoft 发布的 Phi-3-mini 模型。另外,爱芯元智已经完成了 Llama 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等国内外主流的开源大语言模型适配,推动 AI 大模型技术应用普及。

AX650N 是一款兼具高算力、高能效比和超强编解码性的 SoC 芯片,集成了八核 A55 CPU,72.0TOPs@INT4 或 18.0TOPs@INT8 高算力的 NPU,支持 8K 30fps 的 ISP,以及 H.264、H.265 编解码的 VPU。

随后我们估计可以在 AX-LLM 项目里找到相关的代码。

该项目由 爱芯元智 主导开发,用于探索业界常用 LLM(Large Language Model) 在已有芯片平台上落地的可行性和相关能力边界,方便社区开发者进行快速评估和二次开发自己的 LLM 应用。

目前支持:AX650A/AX650N 芯片。已支持模型:TinyLLaMa-1.1B 和 Qwen1.5-1.8B。

小结:

随着国内外大模型的飞速发展,大模型的性能和效果越来越好;国内 AI 芯片的处理能力也已经足够优秀,端侧部署也可以达到良好的体验,想必会有越来越多的硬件厂商陆续跟进。

我们拭目以待。

                                                                                         老徐,2024/4/29

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1633506.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

linux jmeter ant下载并安装【2024-亲测】

环境 centos7 一、下载jmeter 在这里插入代码片wget https://dlcdn.apache.org//jmeter/binaries/apache-jmeter-5.6.3.tgz --no-check-certificate解压 tar -zxvf apache-jmeter-5.6.3.tgz复制到安装目录、设置环境变量 vim /etc/profile添加环境变量,路径改成…

python学习笔记----安装pycharm(1)

一、安装pycharm 1. 下载并安装pycharm https://www.jetbrains.com/pycharm/download2.汉化pycharm 安装插件并重启IDE完成汉化 二、 第一个python程序

谷歌验证码识别/谷歌识别/Google/本地库识别/图像识别

谷歌识别 做这个有两种方式,一种是图像分类的方式,标注量大,识别率有局限性。 另外一种是通过上面的图和下面的小图做一个相似度匹配,做孪生网络。 谷歌验证方式比较丰富,有时候上面的小图没有,我们可以做…

微服务启动慢,看我如何消灭这些憨憨怪!

Hello,我是大都督周瑜,最近在公司做微服务启动速度的优化,我们有些微服务启动要花5-6分钟(就问你夸不夸张),直接导致打工人们有了更多的划水时间,领导表示不开心,要求我将微服务的启…

牛客NC320 装箱问题【中等 动态规划,背包问题 C++/Java/Go/PHP】

题目 题目链接: https://www.nowcoder.com/practice/d195a735f05b46cf8f210c4ad250681c 几乎完全相同的题目: https://www.lintcode.com/problem/92/description 思路 动态规划都是递归递推而来。php答案是动态规划版本,递归版本有 测试用…

UE5 体积云

写好的体积材质放这里面 效果如上 Begin Object Class/Script/UnrealEd.MaterialGraphNode Name"MaterialGraphNode_4"Begin Object Class/Script/Engine.MaterialExpressionVectorParameter Name"MaterialExpressionVectorParameter_0"End ObjectBegin O…

新一代大数据平台,为什么选择中国移动梧桐数据库?

个人介绍:艺名司镜233,是中国移动梧桐数据库研发团队成员,从事相关的技术开发近5年了。最让我觉得自豪的不是在研发这款数据库,而是我们用代码,切实地帮助企业解决数据的困扰,切实地解决社会的问题。 本篇文…

二维码门楼牌管理应用平台:构建智慧社区的新引擎

文章目录 前言一、二维码门楼牌管理应用平台的建设意义二、二维码门楼牌管理应用平台的功能特点三、二维码门楼牌管理应用平台在社区治理中的重要作用 前言 随着信息技术的飞速发展,二维码门楼牌管理应用平台正成为智慧城市建设的重要组成部分。通过该平台&#xf…

每日OJ题_贪心算法一⑥_力扣334. 递增的三元子序列

目录 力扣334. 递增的三元子序列 解析代码 力扣334. 递增的三元子序列 334. 递增的三元子序列 难度 中等 给你一个整数数组 nums &#xff0c;判断这个数组中是否存在长度为 3 的递增子序列。 如果存在这样的三元组下标 (i, j, k) 且满足 i < j < k &#xff0c;使…

Virtualbox7.0.10--在虚拟机中安装Ubuntu20.04

前言 下载Virtualbox7.0.10&#xff0c;可参考《Virtualbox–下载指定版本》 Virtualbox7.0.10具体安装步骤&#xff0c;可参考《Virtualbox7.0.10的安装步骤》 Virtualbox7.0.10创建虚拟机&#xff0c;可参考《Virtualbox7.0.10–创建虚拟机》 Virtualbox7.0.10安装Ubuntu20.0…

docker容器---docker-compose容器集群的快速编排

一、Docker-compose简介 Docker-Compose项目是基于Python开发的Docker官方开源项目&#xff0c;负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层&#xff0c;分别是 工程&#xff08;project&#xff09;&#xff0c;服务&#xff08;service&am…

MyBatis(环境配置+基本CRUD)

文章目录 1.基本介绍1.为什么需要MyBatis&#xff1f;2.MyBatis介绍3.MyBatis工作示意图4.MyBatis的优势 2.快速入门文件目录1.需求分析2.数据库表设计3.父子模块环境配置1.创建maven父项目2.删除父项目的src目录3.pom.xml文件文件解释 4.创建子模块1.新建一个Module2.创建一个…

ffmpeg与sdl的个人笔记

说明 这里的ffmpeg基础知识和sdl基础知识仅提及与示例代码相关的知识点, 进阶可学习雷神的博客。 https://blog.csdn.net/leixiaohua1020 当然&#xff0c;如代码写的有问题或有更好的见解&#xff0c;欢迎指正&#xff01; 音视频基础知识 在学习音视频理论知识时&#xff…

学数据结构之前是否该把c语言吃透?

在开始前我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「数据结构的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff01; 我见过的第一个版本的数据…

vue+elementui(笔记)

vueelementui 表格 <div class"tableStyle"><el-table :data"pointsSettingsTableData" style"width: 70%" :stripe"true" size"mini"header-cell-class-name"headerClassName" :cell-style"{ tex…

合规基线:让安全大检查更顺利

前言 说起安全检查&#xff0c;安全从业人员可能都非常熟悉“安全标准”概念。所有企事业单位网络安全建设都需要满足来自于国家或监管单位的安全标准&#xff0c;如等保2.0、CIS安全标准等。安全标准&#xff0c;还有一个叫法就是“安全基线”。字典上对“基线”的解释是&…

AI视频教程下载:用ChatGPT做SEO的终极教程

ChatGPT是由OpenAI开发的一款尖端人工智能&#xff0c;它已经彻底改变了我们进行搜索引擎优化&#xff08;SEO&#xff09;的方式。其先进的语言处理能力使其成为增强网站内容、提高搜索引擎排名和显著提升在线可见性的宝贵工具。 这个全面的课程旨在为你提供使用ChatGPT进行SE…

算法必备数学基础:图论方法由浅入深实践与应用

作者介绍&#xff1a;10年大厂数据\经营分析经验&#xff0c;现任大厂数据部门负责人。 会一些的技术&#xff1a;数据分析、算法、SQL、大数据相关、python 欢迎加入社区&#xff1a;码上找工作 作者专栏每日更新&#xff1a; LeetCode解锁1000题: 打怪升级之旅 python数据分析…

Phi-3-mini-4k-instruct 的功能测试

Model card 介绍 Phi-3-Mini-4K-Instruct 是一个 3.8B 参数、轻量级、最先进的开放模型&#xff0c;使用 Phi-3 数据集进行训练&#xff0c;其中包括合成数据和经过过滤的公开可用网站数据&#xff0c;重点是 高品质和推理密集的属性。 该型号属于 Phi-3 系列&#xff0c;Mini…

运营版游戏陪玩平台源码/tt语音聊天/声优服务/陪玩系统源码开黑/约玩源码

简述 一个人的游戏叫孤独&#xff0c;一群人的游戏才是乐趣&#xff0c;随着电竞产业在国内的快速发展&#xff0c;游戏陪练行业也迅速成长&#xff0c;现在很多游戏玩家为了追求更高质量的游戏体验感&#xff0c;往往会在玩游戏的过程中找陪练&#xff0c;通过陪玩系统进行预…