linux,ubuntu,使用ollama本地部署大模型llama3,模型通用,简易快速安装

news2025/1/11 22:47:37

文章目录

  • 前言
  • 安装ollama
  • 启动ollama
  • 运行llama3模型
  • 查看ollama列表
  • 删除模型
  • 通过代码进行调用
  • REST API

前言

在拥有了一条4090显卡后,那冗余的性能让你不得不去想着办法整花活,于是就想着部署个llama3,于是发现了ollama这个新大陆,废话不多说,直接上操作,对于系统的安装和4090驱动的安装可以查看简易教程:
linux系统安装:U盘安装Ubuntu24.04,乌邦图,UltralISO
linux驱动显卡:linux系统,ubuntu安装英伟达NVIDIA4090显卡驱动
对于llama3的说明可以查看官方:https://ai.meta.com/blog/meta-llama-3-1

  • 有何疑问欢迎加好友咨询
    在这里插入图片描述

安装ollama

curl -fsSL https://ollama.com/install.sh | sh
  • 直接一步到位安装完成

启动ollama

ollama serve

运行llama3模型

  • 8B 版本最低仅需 4GB 显存即可运行,这也是我们主要选择的
  • 70B 一条4090支撑,跑起来的模型回答问题会很慢
  • 405B 商用级别的,不是业余爱好者能应用的
  • 模型如果不存在,会自行进行拉取
ollama run llama3.1:8b 
  • 出现以下画面。即表示模型已运行,并且可以直接进行提问
    在这里插入图片描述
  • 退出:ctrl + d

查看ollama列表

ollama list

在这里插入图片描述

删除模型

仅作指令展示,别刚安装完就删除了

ollama rm llama3.1:8b

通过代码进行调用

from openai import OpenAI
base_url = 'http://localhost:11434/v1/'
api_key = 'ollama'
client = OpenAI(base_url=base_url, api_key=api_key)
chat_completion = client.chat.completions.create(
    messages=[{
        'role':'user', 
        'content':'你好,请介绍下你自己'
    }],
    model='llama3.1:8b',
)
data = chat_completion.choices[0].message.content
print(data)
  • 执行效果不错
    在这里插入图片描述

REST API

Ollama 提供了用于运行和管理模型的 REST API。

  1. 生成响应
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt":"Why is the sky blue?"
}'
  1. 与模型交流
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1:8b",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2077900.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【硬件操作入门】2--GPIO与门电路、二极管三极管、LED电路与操作

【硬件操作入门】2–GPIO与门电路(二极管&三极管)、LED电路与操作 文章目录 【硬件操作入门】2--GPIO与门电路(二极管&三极管)、LED电路与操作一、GPIO与门电路1.1、GPIO的应用1.2、GPIO引脚操作1.2.1 设置引脚为GPIO功能…

今日算法:蓝桥杯基础题之“切面条”

你好同学,我是沐爸,欢迎点赞、收藏、评论和关注!个人知乎 从今天开始,一起了解算法,每日一题,从 JavScript 的技术角度进行解答,如果你对算法也感兴趣,请多多关注哦。 问题描述 一…

网络维护~2003服务环境

一、2003服务环境 背景:学习测试需要在虚拟机进行实验,主机kali验证开源十大漏洞,部分需要2003服务环境。 博客声明:搭建网络是为了学习用途,请遵守《网络安全法》. 二、安装iis服务软件 (一)查看Internet…

重生奇迹MU 单挑团战全能的职业

若你正在寻找一款能够在重生奇迹MU单挑或团战中表现不怂的职业,那么恭喜你,你来到了正确的地方。在本文中,我们将为你介绍几个在重生奇迹MU中表现出色的职业,并分享一些有用的技巧和策略,帮助你在游戏中获得胜利。不用…

【Linux】进程池实例

这篇博客讲解了进程池的创建过程,并在最后附上了完整代码。 现在有一个父进程,然后提前创建出一批子进程,未来如果父进程master有一些任务要交给子进程去运行,而不用像shell,需要执行命令才回去创建进程,创…

气膜建筑与装配式建筑的对比分析—轻空间

在现代建筑中,气膜建筑和装配式建筑都作为新型建筑形式受到关注。然而,在很多应用场景中,气膜建筑展现出了比装配式建筑更为明显的优势。以下将着重对比气膜建筑相较于装配式建筑的独特优势。 气膜建筑的突出优势 1. 更快的施工速度 气膜建筑…

信号量笔记

1、信号量简介 信号量是一种实现任务间通信的机制,可以实现任务之间同步或临界资源的互斥访问,常用于协助一组相互竞争的任务来访问临界资源。在多任务系统中,各任务之间需要同步或互斥实现临界资源的访问,信号量功能可以为用户提…

智能新时代:探索【人工智能】、【机器学习】与【深度学习】的前沿技术与应用

目录 1. 引言 1.1 人工智能的概念与历史 1.2 机器学习与深度学习的演进 1.3 计算机视觉的崛起与应用场景 2. 人工智能基础 2.1 什么是人工智能? 2.2 人工智能的分类 2.3 人工智能的现实应用 3. 机器学习 3.1 机器学习的定义与基本原理 3.2 机器学习的主要…

【可能是全网最丝滑的LangChain教程】二十二、LangChain进阶之Callbacks(完结篇)

这是LangChain进阶教程的最后一篇,Let’s get it!!! 01 Callback介绍 在LangChain中,Callback 是一种非常重要的机制,它允许用户监听和处理在执行链式任务 (Chain) 过程中的各种事件。这包括但不限于开始执行、结束执行、异常处理等。Callba…

数据结构(邓俊辉)学习笔记】串 03——KMP算法:记忆法

文章目录 1. 重复匹配的前缀2. 不变性3. 记忆力4. 预知力 1. 重复匹配的前缀 关于串匹配,包括蛮力算法在内,至少有30多种知名的算法,而接下来,就将介绍其中最为经典的 KMP 算法。这个算法之所以著名,不仅是由于它出自包…

Autosar(Davinci) --- ADT和IDT如何Mapping

前言 这里我们讲一下ADT如何与IDT进行Mapping 一、ADT为什么要与IDT进行Mapping 二、ADT和IDT如何Mapping 鼠标右键【type Mapping Sets】,选择【New Data type Mapping Set...】 打开之后,我们起一个名字【DemoTypeMapping】 然后选择【Data Type Maps】来将ADT与IDT进行m…

SpringBoot+Grafana+Prometheus+Docker-Compose 快速部署与JVM监控的快速入门的简单案例

1. Java项目 1.1 项目结构 1.2 pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"htt…

ThingsGateway:一款基于.NET8开源的跨平台高性能边缘采集网关

前言 今天大姚给大家分享一款基于.NET8开源的跨平台高性能边缘采集网关&#xff0c;提供底层PLC通讯库&#xff0c;通讯调试软件等&#xff0c;单机采集数据点位可达百万&#xff1a;ThingsGateway。 项目技术栈 后端技术栈&#xff1a;支持.NET 6/7/8&#xff0c;Sqlsugar&am…

爬虫使用优质代理:确保高效稳定的数据采集之道

爬虫使用优质代理的最佳实践 在进行网络爬虫时&#xff0c;使用优质代理就像是为你的爬虫装上了强劲的发动机&#xff0c;能够大幅提升数据抓取的效率和成功率。然而&#xff0c;选择和使用优质代理并非易事&#xff0c;今天我们就来探讨如何在爬虫中有效使用优质代理。 1. 什…

vue3组件封装系列-表格及分页-第二弹

第二弹来了&#xff0c;不知道有多少人是看过我的第一篇文章的&#xff0c;今天本来是没想更新的&#xff0c;但是现在项目正在验收期准备上线&#xff0c;闲着还不如来发发文。虽然这两天可能会高产&#xff0c;下一次高产就不知道是什么时候了。话不多说&#xff0c;先上图。…

OpenGuass under Ubuntu_22.04 install tutorial

今天开始短学期课程&#xff1a;数据库课程设计。今天9点左右在SL1108开课&#xff0c;听陈老师讲授了本次短学期课程的要求以及任务安排&#xff0c;随后讲解了国产数据库的三层架构的逻辑。配置了大半天才弄好&#xff0c;放一张成功的图片&#xff0c;下面开始记录成功的步骤…

数据融合的超速引擎——SeaTunnel

概览 SeaTunnel是一个由Apache软件基金会孵化的数据集成工具&#xff0c;专为应对大规模数据的快速处理而设计。它以高效的数据处理能力和简洁的架构&#xff0c;帮助企业在数据仓库构建、实时数据处理和数据迁移等场景下&#xff0c;实现数据流的无缝整合。SeaTunnel的设计理…

LDO工作原理与仿真

LDO工作原理与仿真 目录 LDO工作原理与仿真一、LDO内部电路组成1. 基准电压源&#xff08;Reference Voltage Source&#xff09;2. 误差放大器&#xff08;Error Amplifier&#xff09;3. 功率调整元件&#xff08;Power Adjustment Element&#xff09;4. 分压取样电路&#…

用于不平衡分类的 Bagging 和随机森林

用于不平衡分类的 Bagging 和随机森林 Bagging 是一种集成算法&#xff0c;它在训练数据集的不同子集上拟合多个模型&#xff0c;然后结合所有模型的预测。 [随机森林]是 bagging 的扩展&#xff0c;它也会随机选择每个数据样本中使用的特征子集。bagging 和随机森林都已被证…

【Word与WPS如何冻结首行首列及窗口】

1.Word如何冻结首行首列及窗口 microsoft word 中锁定表头是一项实用的功能&#xff0c;可让您在滚动文档时保持表头可见。这在处理大型文档或包含大量数据的表格时非常有用。php小编柚子将为您详细介绍 word 锁定表头位置的方法&#xff0c;帮助您轻松掌握这项实用技巧。 1.…