边缘计算平台模型-Gemma 2

news2024/12/23 15:17:46

image.png

我们生活在一个充满科技创新的时代,这已经成为我几乎每天都会重复的话题。这一次,我们带来了一个重磅消息:Google刚刚发布了Gemma 2,这是一款拥有22亿参数的指令调优模型。这意味着它已经在指令及其响应上进行了训练或微调。Gemma一直以来都表现出色、轻量化且代表了最先进的技术,并且在大多数语言任务中表现优异。

Gemma 2:22亿参数的创新巨作

Gemma 2是一个仅用于文本解码的大型语言模型,主要提供英语的开源权重,包括预训练变体和指令调优变体。虽然Google声称它仅支持英语,但我发现它在其他一些语言中的表现也相当不错。这次的Gemma 2亿参数模型同时提供了预训练和指令调优的两个版本。我们认为这个模型更适合用于边缘设备或智能设备上,可以用于各种文本生成任务,包括问答、摘要和推理。

适用于多种设备与平台

由于Gemma 2的相对较小的体积,使得它可以部署在资源有限的环境中,例如你的桌面、手机、笔记本电脑或者低规格的云基础设施(如AWS的EC2实例)。更令人兴奋的是,你还可以通过Hugging Face、Kaggle、Google AI Studio等平台来使用该模型。此外,它还与NVIDIA的NeMo、JAX等平台有原生集成,并优化了NVIDIA的TensorRT LLM,你只需要1GB的GPU内存即可运行它。

安装与运行:一步一步来

好了,介绍到此为止,让我们开始在本地终端上安装它。我们将使用Jupyter Notebook来进行安装。

安装前的准备工作

现在我们来看看我的终端。我使用的是Ubuntu 22.04.1 GPU卡NV RTX A6000,拥有48GB的VRAM。首先,我会清理屏幕并创建一个新的虚拟环境,以确保所有内容与本地系统分离。这个过程不会太久,很快就完成了。接着,我们需要安装一些前置条件,包括Torch和Transformers库,并确保升级到最新版本的Transformers库,因为Gemma 2只在最新版本中可用。

开始安装

所有前置条件安装完成后,我们将安装Jupyter Notebook,并在浏览器中启动它。安装完成后,我们可以开始导入一些已经安装的库,比如Torch和Transformers,然后使用Pipeline下载Tokenizer和Gemma 22亿参数指令调优模型,并设置数据类型。因为我使用的是NVIDIA GPU卡,所以运行的是CUDA,你也可以在CPU上尝试,只需将CUDA替换为CPU。如果你在Mac上运行,只需将CUDA替换为MPS。

下载与推理

在运行后,可以看到它开始下载模型,整个模型大小约为5GB。下载完成后,它还会下载Tokenizer并将其放在我的GPU上,所以我们已经准备好进行推理了。我给模型提供了一个消息模板,要求生成10个以“beauty”结尾的句子。模型生成的响应非常好,大多数答案都是正确的。这对于一个如此小的模型来说相当令人印象深刻,因为如果你一直在观看我的视频,你会知道我通常会用这个测试几乎所有的模型,而大多数模型都无法通过,甚至许多更大的模型也无法生成一个以“beauty”结尾的句子。

解释复杂概念

接下来,我提供了另一个提示,要求模型向一个无法感受情绪的实体解释幸福的概念,使用类比和隐喻来传达你的解释,并保持简洁。模型的响应非常好,它将幸福解释为一个复杂机器中的完美平衡,所有齿轮都顺畅运行,并给出了另一个例子:一个协调良好的管弦乐队。最后一句话也非常好:“这不是一个恒定的状态,而是一种与你的内外部环境保持一致的感觉。”

一般知识与多语言任务

然后,我又提出了一个一般知识问题:地球上记录到的最高温度是多少?模型回答是134华氏度(56.7摄氏度),这是1913年在加利福尼亚死亡谷的Furnace Creek Ranch记录的。接下来,我们尝试了一个多语言任务,我要求模型将“我爱你”翻译成阿拉伯语、印地语、法语、日语和乌尔都语。尽管模型卡片声称只支持英语,但它也能处理其他语言。所有翻译都非常准确,表明其训练数据集非常多样化。

数学与编程

最后,我测试了数学和编程问题。模型准确地解决了一个数学问题,并生成了一段绘制Mandelbrot集的Python代码,尽管由于长度限制,代码没有完全显示,但整体思路非常清晰。

总结与推荐

总的来说,Gemma 2亿参数模型在文本生成、多语言处理、数学和编程任务中表现出色。它的体积小,资源需求低,可以在各种设备上运行,非常值得推荐。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1970372.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Navicat 数据传输详解(将源数据库的多个表结构与数据复制到目标数据库)

Navicat 数据传输详解(将源数据库的多个表结构与数据复制到目标数据库) 1.打开Navicat ,先连接源数据库和目标数据库。2.点击工具选项卡,选择数据传输3.左边是源数据库,右边是目标数据库。4.选择要同步的表。5.开始同步…

为什么很多人都无法解决 VSCode C 系列调试问题 (经验分享 有用)

目录 个人失败案例 断点打了 (也没用) lagunch配置了 (也没用) 插件安装了 (也没用) 无中文路径 (也没用) ​编辑 失败案例分析✨ llvm-mingw 编译器为例 main.cpp launch.json 个人失败案例 你们都很棒 很优秀 ,环境方面也正常,但为什么还是…

【海外高校联合支持举办 | 学术大咖fellow汇聚】2024年人工智能与数字化管理国际会议(ICAIDM 2024,9月20-22)

2024年人工智能与数字化管理国际会议将于2024年9月22-24日在中国江苏省南京市隆重召开。 在快速发展的数字时代,人工智能已成为驱动创新、优化运营和塑造未来的关键技术。随着人工智能技术的日益成熟及其在各行各业的深入应用,如何有效地进行数字化管理…

Elasticsearch大数据搜索引擎(经典版)(电子版教程)

前言 在信息时代,可供获取的数据加速涌现,我们可以通过搜索引警来挖掘大数据的价值,百度就是一个大的数据搜索引擎。Lucene 是一个 Java 语言开发的开源全文检索引擎工具包。Lucene 穿了一件json 的外衣,就是 Elasticsearch。Ela…

平衡三进制存算一体架构

PS:天天水一贴,快乐又舒心。。。 1、存算一体概念 最近想搞平衡三进制的虚拟机,但是写来写去都感觉不对味,能用是能用,但写起来感觉就是很奇怪,用了二种编码,想来想去是不够原生三进制的编写,有…

企业差旅支出“降本增效”CFO避坑指南之三—— 仅凭一单,更换差旅供应商?

在企业运营过程中,差旅支出是CFO们需要精细管理的重要成本项。然而,许多中小企业在商旅供应商的选择上,往往容易陷入“仅凭一单价格高,即更换差旅供应商”的误区。这种做法忽视了商旅市场的复杂性和多样性,可能导致企业…

通过 Python脚本,实现字体文件otf,ttf文件大小的减少

FontTools 是一个用于操作字体文件的 Python 库。它支持多种字体格式,包括 TrueType (TTF) 和 OpenType (OTF),并提供功能来编辑、合并、子集化和生成字体文件 前提:安装了 Python 1、安装 fonttools 库 pip3 install fonttools2、编写脚本…

Qt项目——文本编辑器(功能模块④)

项目地址:GitHub - Outlier9/CatEditor: Cat文本编辑器--Qt 有帮助的话各位点点 star 啦,感谢! 如果有需要学习该项目的人,觉得看文档较为困难,可以加我联系方式,给github点个star后可免费提供学习视频&…

颠覆虚拟试衣行业标准!阿里发布OutfitAnyone:任意服装+任意人!

文章链接:https://arxiv.org/pdf/2407.16224 git链接:https://humanaigc.github.io/outfit-anyone/ huggingface: https://huggingface.co/spaces/HumanAIGC/OutfitAnyone 亮点直击 顶尖逼真度:OutfitAnyone 方法为虚拟试穿设立了新的行业标准&#xff0…

【Redis 进阶】持久化(RDB AOF)

Redis(数据存储在内存中)支持 RDB 和 AOF 两种持久化(和 MySQL 里的持久性是一回事,把数据存储在硬盘上,重启进程 / 主机后数据仍然存在 —— 持久;把数据存储在内存上,重启进程 / 主机后数据消…

夏日清凉体验:气膜体育馆的运动之乐—轻空间

夏季的酷热常常让人们望而却步,尤其是对于热爱运动的人来说,寻找一个凉爽舒适的运动场所显得尤为重要。气膜体育馆因其独特的建筑特点和环境控制系统,成为了炎炎夏日里篮球、羽毛球等运动项目的理想场地。轻空间将探讨在气膜体育馆内运动的独…

活动报道 | 盘古信息携IMS OS+小快轻准产品集亮相东莞市中小数转试点供需对接会

8月1日,由东莞市工业和信息化局主办,南城街道经济发展局承办,东莞市软件行业协会协办的东莞市中小企业数字化转型城市试点供需对接会(城区和水乡新城片区)隆重召开。市工业和信息化局副局长江小敏、市工业和信息化局信…

揭秘 CPU 是如何执行计算机指令的

1 CPU 内部逻辑结构 之前的文章《揭秘代码是如何变成机器码的》,其中说到,如果从软件的角度来讲,CPU 就是一个执行各种计算机指令(Instruction Code)的逻辑机器。 那么这个逻辑机器内部是什么样的?又是如…

寥寥数笔,动画自成!阿里Tora: 首个轨迹引导的DiT创新实现精确运动控制视频生成

论文链接:https://arxiv.org/pdf/2407.21705 项目链接:https://ali-videoai.github.io/tora_video/ 亮点直击 本文引入了Tora,这是第一个轨迹导向的DiT用于视频生成。如下图2所示,Tora无缝整合了广泛的视觉和轨迹指令,…

数据挖掘实战-基于Prophet时间序列模型预测阿里巴巴股票价格趋势(文末送书)

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

【系统架构设计师】二十三、通信系统架构设计理论与实践①

目录 一、通信系统网络架构 1.1 局域网网络架构 1.1.1 单核心架构 1.1.2 双核心架构 1.1.3 环型架构 1.1.4 层次型架构 1.2 广域网网络架构 1.2.1 单核心广域网 1.2.2 双核心广域网 1.2.3 环型广域网 1.2.4 半冗余广域网 1.2.5 对等子域广域网 1.2.6 层次子域架构…

文献阅读:基于拓扑结构模型构建ICI收益诊断模型

介绍 Custom scoring based on ecological topology of gut microbiota associated with cancer immunotherapy outcome是来自法国Gustave Roussy Cancer Campus的Laurence Zitvogel实验室最近发表在cell的关于使用肠道微生物拓扑结构预测免疫治疗疗效的文章。 该研究提供基于…

html+css 实现左平移背景按钮

前言:哈喽,大家好,今天给大家分享htmlcss 绚丽效果!并提供具体代码帮助大家深入理解,彻底掌握!创作不易,如果能帮助到大家或者给大家一些灵感和启发,欢迎收藏关注哦 💕 文…

【Android Studio】gradle文件、配置、版本下载、国内源(gradle版本以及gradle-plugin版本)

文章目录 AS查看gradle-plugin版本及gradle版本(图形)查看gradle-plugin版本及gradle版本(配置文件)配置文件分析解决gradle下载失败、版本错乱等问题。 AS查看gradle-plugin版本及gradle版本(图形) 查看gr…

金航标萨科微总经理宋仕强介绍金航标热售产品

金航标萨科微slkor总经理宋仕强介绍说,金航标kinghelm热售产品型号有,金航标胶壳(线对板/线对线)连接器KH-VH-2P-ZK、KH-VH-5P-ZK、KH-VH-4P-ZK、KH-A2557-2X07Y,金航标kinghelm(www.kinghelm.com.cn)的弹簧片/弹片有K…