本地快速部署谷歌开放模型Gemma教程(基于WasmEdge)

news2024/9/17 7:08:02

本地快速部署谷歌开放模型Gemma教程（基于WasmEdge）

  • 一、介绍 Gemma
  • 二、部署 Gemma
    • 2.1 部署工具
    • 2.1 部署步骤
  • 三、构建超轻量级 AI 代理
  • 四、总结

一、介绍 Gemma

在这里插入图片描述
Gemma是一系列轻量级、最先进的开放式模型，采用与创建Gemini模型相同的研究和技术而构建。可以直接运行在本地的电脑上，无GPU也可以运行，只用CPU即可，只不过速度慢点。

二、部署 Gemma

2.1 部署工具

使用 Linux 环境 + WasmEdge 一个工具部署Gemma，WasmEdge 用来运行模型。

WasmEdge：https://github.com/wasmedge/wasmedge

🤩 WasmEdge 是在您自己的设备上运行 LLM 的最简单、最快的方法。🤩

WasmEdge 是一个轻量级、高性能且可扩展的 WebAssembly 运行时。它是当今最快的 Wasm 虚拟机。WasmEdge 是CNCF主办的官方沙箱项目。其用例包括现代 Web 应用程序架构（同构和 Jamstack 应用程序）、边缘云上的微服务、无服务器 SaaS API、嵌入式功能、智能合约和智能设备。

在这里插入图片描述

2.1 部署步骤

  1. 安装具有 LLM 支持的 WasmEdge

可以从一行命令开始安装 WasmEdge 运行时，并提供 LLM 支持。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugins wasmedge_rustls wasi_nn-ggml

使用选项传递插件列表--plugins，安装wasmedge_rustls和wasi_nn-ggml插件。wasmedge_rustls插件以启用 TLS 和 HTTPS 网络，为启动API服务提供支持。wasi_nn-ggml使 WasmEdge 能够在大型语言模型（例如LMMs的 gemma）上运行人工智能推理程序。

安装完成后执行source /home/server/.bashrc，使wasmedge命令立即生效。

或者可以按照此处的安装指南手动下载并复制 WasmEdge 安装文件。

  1. 在 Wasm 中下载 LLM 聊天应用程序

接下来，获取超小型 2MB 跨平台二进制文件 - LLM 聊天应用程序，该应用程序允许您在命令行上与模型聊天。它证明了效率，不需要其他依赖项并提供跨各种环境的无缝操作，这个 2M 的小 Wasm 文件是从 Rust 编译而来的。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-chat.wasm
  1. 下载Gemma-7b-it 模型 GGUF 文件，由于模型大小为5.88G，下载可能需要一段时间。
curl -LO https://huggingface.co/second-state/Gemma-7b-it-GGUF/resolve/main/gemma-7b-it-Q5_0.gguf

模型下载汇总：https://github.com/LlamaEdge/LlamaEdge/blob/main/models.md

WasmEdge 还支持 Llama2、CodeLlama、Codeshell、Mistrial、MiscialLite、TinyLlama、Baichuan、BELLE、Alpaca、Vicuna、OpenChat、Starcoder、OpenBuddy 等等！

  1. 在 CLI 上与 Llama2 7b 模型聊天

现在您已完成所有设置，您可以开始使用命令行与 Llama2 7b 聊天支持的 LLM 聊天。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-7b-it-Q5_0.gguf llama-chat.wasm -p gemma-instruct -c 4096

便携式 Wasm 应用程序会自动利用我设备上的硬件加速器（例如 GPU）。

[You]:
Create JSON for the following: There are 3 people, two males, One is named Mark. Another is named Joe. And a third person, who is a woman, is named Sam. The women is age 30 and the two men are both 19.

[Bot]:
json
{
  "people": [
    {
      "name": "Mark",
      "age": 19
    },
    {
      "name": "Joe",
      "age": 19
    },
    {
      "name": "Sam",
      "age": 30
    }
  ]
}

在这里插入图片描述

您可以使用同一llama-chat.wasm文件来运行其他 LLM，例如 OpenChat、CodeLlama、Mistral 等。

三、构建超轻量级 AI 代理

  1. 创建兼容OpenAI的API服务

当您使用领域知识或自托管 LLama2 模型微调模型时，仅使用 CLI 运行模型是不够的。接下来，我们为开源模型设置兼容 OpenAI 的 API 服务，然后我们可以将微调后的模型集成到其他工作流程中。

假设您已经安装了带有 ggml 插件的 WasmEdge 并下载了您需要的模型。

首先，通过终端下载Wasm文件来构建API服务器，它也是一个跨平台的便携式 Wasm 应用程序，可以在许多 CPU 和 GPU 设备上运行。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm
  1. 下载聊天机器人 Web UI，以通过聊天机器人 UI 与模型进行交互。
curl -LO https://github.com/LlamaEdge/chatbot-ui/releases/latest/download/chatbot-ui.tar.gz
tar xzf chatbot-ui.tar.gz
rm chatbot-ui.tar.gz
  1. 使用以下命令行启动模型的 API 服务器。
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-7b-it-Q5_0.gguf llama-api-server.wasm -p gemma-instruct -c 4096

然后，看到连接已建立后，打开浏览器访问http://0.0.0.0:8080/即可使用可视化操作页面聊天。

server@dev-fj-srv:~/code$ wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_0.gguf llama-api-server.wasm -p gemma-instruct   -c 4096
[2024-03-01 09:46:45.391] [error] instantiation failed: module name conflict, Code: 0x60
[2024-03-01 09:46:45.391] [error]     At AST node: module
[INFO] Socket address: 0.0.0.0:8080
[INFO] Model name: default
[INFO] Model alias: default
[INFO] Prompt context size: 4096
[INFO] Number of tokens to predict: 1024
[INFO] Number of layers to run on the GPU: 100
[INFO] Batch size for prompt processing: 512
[INFO] Temperature for sampling: 1
[INFO] Top-p sampling (1.0 = disabled): 1
[INFO] Penalize repeat sequence of tokens: 1.1
[INFO] Presence penalty (0.0 = disabled): 0
[INFO] Frequency penalty (0.0 = disabled): 0
[INFO] Prompt template: GemmaInstruct
[INFO] Log prompts: false
[INFO] Log statistics: false
[INFO] Log all information: false
[INFO] Starting server ...
[INFO] Plugin version: b2230 (commit 89febfed)
[INFO] Listening on http://0.0.0.0:8080

在这里插入图片描述

您可以使用以下命令行来尝试您的模型。

curl -X POST http://localhost:8080/v1/chat/completions \
 -H 'accept: application/json' \
 -H 'Content-Type: application/json' \
 -d '{"messages":[{"role":"system", "content": "You are a helpful assistant. Answer each question in one sentence."}, {"role":"user", "content": "Who is Robert Oppenheimer?"}], "model":"llama-2-chat"}'

四、总结

此教程用于基于 WasmEdge 系统的部署，可根据自身需求定制部署环境，灵活调整配置参数，满足个性化需求。对模型和数据拥有完全控制权，可自由进行二次开发和扩展。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1482230.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

利用IP地址识别风险用户：保护网络安全的重要手段

利用IP地址识别风险用户：保护网络安全的重要手段

随着互联网的发展和普及，网络安全问题日益突出，各种网络诈骗、恶意攻击等风险不断涌现，给个人和企业的财产安全和信息安全带来了严重威胁。在这样的背景下，利用IP地址识别风险用户成为了保护网络安全的重要手段之一。IP数据云探讨…
阅读更多...
太阳能供电井盖-物联网智能井盖监测系统-旭华智能

太阳能供电井盖-物联网智能井盖监测系统-旭华智能

在这个日新月异的科技时代，城市的每一个角落都在悄然发生变化。而在这场城市升级的浪潮中，智能井盖以其前瞻性的科技应用和卓越的安全性能，正悄然崭露头角，变身马路上的智能“眼睛”，守护城市安全。 传统的井盖监测系统…
阅读更多...
Facebook直播网络需要满足什么条件

Facebook直播网络需要满足什么条件

Facebook直播已经成为了企业、个人和组织开展在线活动、互动和营销的重要平台之一。然而，要确保Facebook直播的顺利进行和观众体验的良好，需要满足一系列关键条件。本文将探讨Facebook直播网络 需要满足的关键条件。 1、稳定的互联网连接： 稳…
阅读更多...
【airtest】自动化入门教程（二）airtest操作

【airtest】自动化入门教程（二）airtest操作

目录 一、touch 二、wait 三、swipe 四、exists 五、text 六、keyevent 七、snapshot 八、sleep 九、断言 9.1 assert_exists 9.2 assert_not_exists 9.3 assert_equal 9.4 assert_not_equal 前言：本文主要针对aritest部分的基础操作,aritest是一个跨平…
阅读更多...
加密与安全_探索口令加密算法（PBE）

加密与安全_探索口令加密算法（PBE）

文章目录 概述疑问PBE 算法 （ Password Based Encryption）CodePOM实现 小结 概述 加密与安全_探索对称加密算法中我们提到AES加密密钥长度是固定的128/192/256位，而不是我们用WinZip/WinRAR那样，随便输入几位都可以。 这是因为对…
阅读更多...
Mac 以SH脚本安装Arthas

Mac 以SH脚本安装Arthas

SH脚本安装Aethas curl -L https://alibaba.github.io/arthas/install.sh | sh安装脚本说明 示例源文件： #! /bin/bash# temp file of as.sh TEMP_ARTHAS_FILE"./as.sh.$$"# target file of as.sh TARGET_ARTHAS_FILE"./as.sh"# update timeo…
阅读更多...
alpine创建lnmp环境alpine安装nginx+php5.6+mysql

alpine创建lnmp环境alpine安装nginx+php5.6+mysql

前言 制作lnmp环境，你可以在alpine基础镜像中安装相关的服务，也可以直接使用Dockerfile创建自己需要的环境镜像。 注意：提前确认自己的alpine版本，本次创建基于alpine3.6进行创建，官方在一些版本中删除了php5 1、拉取…
阅读更多...
Flutter中Future和Stream关系

Flutter中Future和Stream关系

Future和Stream类是Dart异步编程的核心。 Future 表示一个不会立即完成的计算过程。与普通函数直接返回结果不同的是异步函数返回一个将会包含结果的 Future。该 Future 会在结果准备好时通知调用者。 Stream 是一系列异步事件的序列。其类似于一个异步的 Iterable，…
阅读更多...
Linux磁盘性能方法以及磁盘io性能分析

Linux磁盘性能方法以及磁盘io性能分析

Linux磁盘性能方法以及磁盘io性能分析 1. fio压测1.1. 安装fio1.2. bs 4k iodepth 1：随机读/写测试，能反映硬盘的时延性能1.3. bs 128k iodepth 32：顺序读/写测试，能反映硬盘的吞吐性能 2. dd压测2.1. 测试纯写入性能2.2. 测试…
阅读更多...
禾赛戳了自动驾驶的眼睛？

禾赛戳了自动驾驶的眼睛？

大数据产业创新服务媒体 ——聚焦数据 改变商业 激光雷达之于自动驾驶，就如同眼睛和大脑至于人，重要性自然不言而喻。 然而，对于自动驾驶如此重要的关键零件，2月29日，有消息称，部分使用禾赛科技激光雷达的…
阅读更多...
基于Python3的数据结构与算法 - 09 希尔排序

基于Python3的数据结构与算法 - 09 希尔排序

一、引入 希尔排序是一种分组插入排序的算法。 二、排序思路 首先取一个整数d1 n/2，将元素分为d1个组，每组相邻量取元素距离为d1，在各组内直接进行插入排序；取第二个整数d2 d1/2， 重复上述分组排序过程&#xff0…
阅读更多...
鬼屋游戏c++

鬼屋游戏c++

c #include <iostream> #include <string> #include <vector> #include <cstdlib> // 用于随机数生成 #include <ctime> // 用于随机数种子using namespace std;// 定义房间结构体 struct Room {string description;bool hasKey;bool hasClue…
阅读更多...
Java中的动态代理与Spring AOP编程

Java中的动态代理与Spring AOP编程

第一章&#xff1a;引言 大家好&#xff0c;我是小黑&#xff0c;在Java里&#xff0c;动态代理和Spring AOP&#xff08;面向切面编程&#xff09;是两个能让代码更加灵活、更加干净的强大工具。作为一名Java程序员&#xff0c;小黑觉得掌握它们对于写出高质量的代码来说非常…
阅读更多...
win11安装nodejs

win11安装nodejs

一、下载安装包 链接: https://pan.baidu.com/s/1_df8s1UlgNNaewWrWgI59A?pwdpsjm 提取码: psjm 二、安装步骤 1.双击安装包 2.Next> 3.勾选之后&#xff0c;Next> 4.点击Change&#xff0c;选择你要安装的路径&#xff0c;然后Next> 5.点击Install安装 二、…
阅读更多...
最新Sora人工智能视频资源网址分享

最新Sora人工智能视频资源网址分享

1&#xff0c;了解什么是Sora * 什么是 OpenAI Sora&#xff1f; Sora 是由 OpenAI 开发的文本到视频模型。它可以按照用户的提示生成长达一分钟的高质量和一致的视频。 * 如何使用 OpenAI Sora 模型&#xff1f; 目前&#xff0c;OpenAI Sora 模型处于内测阶段&#xff0c;并将…
阅读更多...
深入剖析k8s-Pod篇

深入剖析k8s-Pod篇

为什么需要Pod&#xff1f; 进程是以进程组的方式组织在一起。受限制容器的“单进程模型”&#xff0c; 成组调用没有被妥善处理&#xff08;资源调用有限&#xff09;&#xff0c;使用资源囤积则导致复杂度上升。 在k8s项目中&#xff0c;Pod的实现需要使用一个中间容器——…
阅读更多...
【快速选择】解决TopK问题

【快速选择】解决TopK问题

目录 一、什么是TopK问题 二、优先级队列 优先级队列介绍 代码实现 三、使用优先级队列解决TopK问题 四、快速选择算法解决TopK问题 快速选择 图解快速选择 代码解决前k小个元素 五、优先级队列与快速选则算法比较 优先级队列 快速选择 一、什么是TopK问题 TopK问题…
阅读更多...
Mybatis plus核心功能-IService

Mybatis plus核心功能-IService

目录 1 前言 2 使用方法 2.1 继承ServiceImpl,> 2.2 基础业务开发的使用 2.3 复杂业务开发的使用 2.3 Lambda查询 2.4 Lambda更新 1 前言 我本以为Mapper层的类能够继承BaseMapper<XXX>&#xff0c;而不用我们手动写一些mapper方法已经够离谱了。没想到海油膏…
阅读更多...
Zookeeper学习1：概述、安装、应用场景、集群配置

Zookeeper学习1：概述、安装、应用场景、集群配置

文章目录 概述安装LinuxWindows 配置参数集群参考配置文件配置步骤流程启动 概述 Zookeeper&#xff1a; 为分布式框架组件提供协调服务的中间件 【类似&#xff1a;文件系统通知机制】 负责存储上下层应用关系的数据以及接收观察者注册监听&#xff0c;一旦观察查关心的数据发…
阅读更多...
gpt批量工具,gpt批量生成文章工具

gpt批量工具,gpt批量生成文章工具

GPT批量工具在今天的数字化时代扮演着越来越重要的角色&#xff0c;它们通过人工智能技术&#xff0c;可以自动批量生成各种类型的文章&#xff0c;为用户提供了便利和效率。本文将介绍5款不同的GPT批量工具&#xff0c;并介绍一款知名的147GPT生成工具&#xff0c;以及另外一款…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023