Ollama教程,本地部署大模型Ollama,docker安装方法,仅供学习使用

news2025/1/16 3:03:00

不可商用!!仅仅提供学习使用!

先上视频教学:

Ollama教程,本地部署大模型Ollama,docker安装方法,仅供学习使用!



资料获取   :

Ollama下载包和安装文档在这里:  阿里云地址

[打call]

[打call]

[星星眼]


https://www.alipan.com/s/ft9WkSX5zbH
点击链接保存,或者复制本段内容,打开「阿里云盘」APP ,无需下载极速在线查看,视频原画倍速播放。

简易教学

Ollama教程:本地部署大模型Ollama

一、Ollama简介

Ollama是一个开源的大型语言模型服务工具,它帮助用户快速在本地运行大模型。用户可以通过简单的安装指令,在本地运行开源大型语言模型,如Llama 2等。

二、本地部署Ollama

  1. 下载Ollama
    • 访问Ollama官网(https://ollama.ai/download),根据你使用的系统下载相应版本。
    • 截止到2024年2月16日,Ollama已经支持Windows系统。
  2. 安装Ollama
    • 在Linux系统中,可以通过执行以下命令进行安装:curl https://ollama.ai/install.sh | sh
    • 在Windows系统中,直接双击运行安装文件即可。
  3. 使用Ollama
    • 访问Ollama的模型库(https://ollama.ai/library),检索并运行你想使用的模型。例如,运行Llama 2的命令为:ollama run llama2
  4. 配置Ollama的模型路径
    • Ollama的模型默认会存储在用户文件夹下的.ollama/models文件夹中。你可以通过配置环境变量OLLAMA_MODELS来指定模型路径。
  5. 下载和运行模型
    • 以llama3模型为例,该模型有8B和70B两个版本,分别代表80亿和700亿个训练参数。你可以通过命令ollama run llama3来默认安装8B模型,或者使用ollama run llama3:8b来指定安装8B模型。

Docker安装Ollama方法

  1. 安装NVIDIA Container Toolkit(如果使用NVIDIA GPU)
    • 配置repository:curl -s -L <https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo> | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
    • 安装NVIDIA Container Toolkit包:sudo yum install -y nvidia-container-toolkit
  2. 配置Docker以使用NVIDIA驱动
    • 执行命令:sudo nvidia-ctk runtime configure --runtime=docker
    • 重启Docker服务:sudo systemctl restart docker
  3. 拉取和运行Ollama镜像
    • 使用CUDA运行:docker run -d --restart=always --gpus=all -v /mydata/docker/local/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
    • 使用AMD显卡运行:docker run -d --restart=always --device /dev/kfd --device /dev/dri -v /mydata/docker/local/ollama/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
  4. 运行模型
    • 首次运行会拉取镜像,之后可以直接运行。例如,运行Llama3 7B的命令为:docker exec -it ollama ollama run llama3

以上是关于Ollama本地部署和Docker安装方法的详细教程。

Ollama卸载

桌面卸载

  1. 打开设置: 进入您设备的设置菜单。
  2. 导航到应用程序: 在设置中查找“应用程序”或“应用”部分。
  3. 找到Ollama: 浏览已安装应用程序的列表,找到Ollama。
  4. 选择Ollama: 点击Ollama以打开其设置。
  5. 卸载: 在设置页面底部通常可以找到卸载或移除应用程序的选项。
  6. 确认: 在提示时确认卸载。

完成这些步骤后,Ollama应该已成功从您的设备中卸载。

命令行卸载

如果您决定不再使用Ollama,可以通过以下步骤将其完全从系统中移除:

停止并禁用服务:

sudo systemctl stop ollama
sudo systemctl disable ollama

删除服务文件和Ollama二进制文件:

sudo rm /etc/systemd/system/ollama.service 
sudo rm $(which ollama)

清理Ollama用户和组:

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

补充

配置Ollama的模型路径

配置Ollama的模型路径通常涉及到设置环境变量,这样Ollama就能知道在哪里查找和加载模型文件。以下是一般步骤来配置Ollama的模型路径:

  1. 确定模型存储位置
    首先,你需要确定你的模型文件存放在哪个目录下。这个目录可以是本地文件系统上的任何位置。

  2. 设置环境变量
    在Unix/Linux系统中,你可以使用export命令来设置环境变量。在Windows系统中,你可以通过“系统属性”->“高级”->“环境变量”来设置。

    对于Unix/Linux系统,你可以打开你的shell配置文件(比如~/.bashrc~/.bash_profile),并添加以下行来设置环境变量:

     

    bash复制代码

    export OLLAMA_MODELS=/path/to/your/models

    替换/path/to/your/models为你的模型实际存放的目录路径。

    然后,你需要使这个更改生效。如果你已经打开了shell,你可以运行source ~/.bashrc(或你的配置文件名)来加载新的环境变量。否则,你可以关闭并重新打开你的shell。

    对于Windows系统,你需要:

    • 右键点击“此电脑”或“计算机”,选择“属性”。
    • 点击“高级系统设置”。
    • 在“高级”选项卡中,点击“环境变量”。
    • 在“系统变量”部分,点击“新建”来创建一个新的环境变量。
    • 输入变量名OLLAMA_MODELS和变量值(即你的模型路径)。
    • 点击“确定”保存更改。
  3. 重启Ollama
    如果你已经运行了Ollama服务,你可能需要重启它以使新的环境变量设置生效。这通常可以通过停止服务并重新启动来完成。

  4. 验证配置
    在Ollama中运行一个命令来加载或列出模型,以确保Ollama能够正确找到并加载模型文件。

注意,Ollama的确切配置方法可能会根据其版本和文档有所不同。因此,建议参考Ollama的官方文档或GitHub存储库中的README文件以获取最准确的信息。此外,如果Ollama提供了一个配置文件或命令行选项来设置模型路径,那么你也可以使用那些方法。

找不到环境变量在哪里?

当您提到找不到环境变量在哪里时,我理解您可能是在询问如何在不同的操作系统中查看或设置环境变量。以下是在不同操作系统中查看和设置环境变量的清晰步骤:

Windows系统

  1. 查看环境变量
    • 右键点击“此电脑”或“计算机”,选择“属性”。
    • 点击“高级系统设置”。
    • 在“高级”选项卡中,点击“环境变量”。
    • 在这里,您可以看到“用户变量”和“系统变量”两个部分。用户变量仅对当前用户有效,而系统变量对所有用户都有效。
  2. 设置环境变量
    • 在“用户变量”或“系统变量”部分,点击“新建”来创建一个新的环境变量。
    • 输入变量名(如MY_ENV_VAR)和变量值(如C:\path\to\your\directory)。
    • 点击“确定”保存更改。

Linux系统

  1. 查看环境变量
    • 打开终端。
    • 输入printenv命令查看所有环境变量。
    • 或者,使用echo $VARIABLE_NAME(将VARIABLE_NAME替换为您要查看的变量名)来查看特定环境变量的值。
  2. 设置环境变量(临时,仅在当前终端会话中有效):
    • 在终端中,使用export VARIABLE_NAME=value命令(将VARIABLE_NAME替换为您要设置的变量名,value替换为值)。
  3. 设置环境变量(永久):
    • 对于所有用户,编辑/etc/profile/etc/environment/etc/bash.bashrc文件(取决于您的系统和需求)。
    • 对于当前用户,编辑~/.bashrc~/.bash_profile~/.profile~/.zshrc文件(取决于您使用的shell)。
    • 在文件的末尾添加export VARIABLE_NAME=value
    • 保存文件后,重新加载配置文件(如source ~/.bashrc)或重新登录以使更改生效。

Mac系统

  1. 查看环境变量
    • 打开终端。
    • 输入printenv命令查看所有环境变量。
    • 或者,使用echo $VARIABLE_NAME(将VARIABLE_NAME替换为您要查看的变量名)来查看特定环境变量的值。
  2. 设置环境变量(临时,仅在当前终端会话中有效):
    • 在终端中,使用export VARIABLE_NAME=value命令(将VARIABLE_NAME替换为您要设置的变量名,value替换为值)。
  3. 设置环境变量(永久):
    • 对于所有用户,编辑/etc/profile/etc/launchd.conf文件(但请注意,/etc/launchd.conf在较新版本的macOS中可能不再使用)。
    • 对于当前用户,编辑~/.bash_profile~/.zshrc~/.profile文件(取决于您使用的shell)。
    • 在文件的末尾添加export VARIABLE_NAME=value
    • 保存文件后,重新加载配置文件(如source ~/.bash_profilesource ~/.zshrc)或重新登录以使更改生效。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1791051.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AI大模型还没有到卷长文的时候

AI风口上&#xff0c;国内大模型技术突飞猛进&#xff0c;很多人都沉浸在用AI来辅助办公&#xff0c;辅助学习等等工具化应用落地&#xff0c;但也有趁着风口想大赚一笔&#xff0c;为了估值什么都敢说的。 前几天&#xff0c;Kimi对外宣称自己的技术狂飙到能读200万字甚至100…

webgl_decals

ThreeJS 官方案例学习&#xff08;webgl_decals&#xff09; 1.效果图 2.源码 <template><div><div id"container"></div></div> </template> <script> // 光线投射相关代码 https://threejs.org/docs/index.html#api/z…

一文了解JVM面试篇(上)

Java内存区域 1、如何解释 Java 堆空间及 GC? 当通过 Java 命令启动 Java 进程的时候,会为它分配内存。内存的一部分用于创建 堆空间,当程序中创建对象的时候,就从对空间中分配内存。GC 是 JVM 内部的一 个进程,回收无效对象的内存用于将来的分配。 2、JVM 的主要组成…

天润融通,荣获2024中国AI应用层创新企业

AI技术发展日新月异&#xff0c;可谓“AI一天&#xff0c;人间一年”。 从2023年到2024年&#xff0c;短短一年的时间&#xff0c;大模型技术的发展就已经逐步从追求“技术突破”转向了追求“应用落地”。如何将大模型的技术与企业的生产、运营、销售等场景结合起来&#xff0…

Vue——子级向父级传递数据(自定义事件)

文章目录 前言子级向父级传递数据实现浏览器效果展示 前言 在上一篇博客中&#xff0c;说到了父级向子级组件中传递对应的数据信息&#xff0c;以及增加传递数据的类型现在、默认值填充等规则。 Vue——组件数据传递与props校验 但使用props只能是单向的数据传递&#xff0c;也…

门外汉一次过软考中级(系统集成项目管理工程师)秘笈,请收藏!

24上软考考试已经结束&#xff0c;24下软考备考又要开启了&#xff01;今年软考发生了改革&#xff0c;很多考试由一年考两次变成了一年考一次&#xff0c;比如高级信息系统项目管理师&#xff0c;比如中级系统集成项目管理工程师&#xff0c;这两科是高、中级里相对简单&#…

vue2的element的table组件使用form校验

1.需求描述 vue2有时候做自增表格el-table&#xff0c;希望能够带一些校验&#xff0c;但又不想手搓校验逻辑&#xff0c;可以借用el-form的校验逻辑。 2.代码处理 1. html <template><div class"sad-cont"><el-form ref"form" :model&…

小程序跳转1688<web-view>无效后的实现

web-view 跳转方式 1&#xff1a;这种方法需要在微信开发平台 -> 开发管理 -> 业务域名中配置好要跳转的网站域名&#xff1b; 2&#xff1a;基本上跳转的网址是第三方就不可以配置&#xff0c;因为配置需要在这个域名中的根目录上放你的验证文件&#xff1b; <web-v…

爬楼梯——动态规划第一步

本问题其实常规解法可以分成多个子问题&#xff0c;爬第 n 阶楼梯的方法数量&#xff0c;等于两个部分之和 爬上 n−1 阶楼梯的方法数量。因为再爬 1 阶就能到第 n 阶爬上 n−2 阶楼梯的方法数量&#xff0c;因为再爬 2 阶就能到第 n 阶 所以我们得到公式 dp[n] dp[n−1] d…

如何卸载360安全卫士

不用像其他教程那么复杂 这篇教程比较友好 1.打开桌面&#xff0c;右键单击快捷方式 选择“打开文件位置” 2.然后&#xff0c;搜uninst.exe 3.运行 4.选择“继续卸载” 5.选择“下一步” 6.选择 “继续卸载” 7.选择“继续卸载” 8.选择“是” 9.静等卸载 10.把卸载程序关…

Element ui图片上传

前言 对于广大小白来说&#xff0c;图片上传简直是上传难&#xff0c;难于上青天&#xff01;废话不多说&#xff0c;步入正题&#xff0c;您就瞧好吧&#xff01; 步骤一&#xff1a;前端使用element ui组件&#xff08;upload上传&#xff09; 我个人喜欢使用第二个组件&a…

【代码随想录】【算法训练营】【第29天】 [491]非递减子序列 [46]全排列 [47]全排列II

前言 思路及算法思维&#xff0c;指路 代码随想录。 题目来自 LeetCode。 day 29&#xff0c;周三&#xff0c;坚持坚持~ 题目详情 [491] 非递减子序列 题目描述 491 非递减子序列 解题思路 前提&#xff1a;组合子集问题&#xff0c;可能有重复元素&#xff0c;收集条…

web刷题记录(3)

[NISACTF 2022]checkin 简单的get传参,好久没做过这么简单的题了 王德发&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff01;&#xff0c;看了源代码以后&#xff0c;本来以为是js脚本的问题&#xff0c;但是禁用js脚本没用&#xff0c;看了大佬的wp以后…

鸿蒙轻内核M核源码分析系列六 任务及任务调度(3)任务调度模块

调度&#xff0c;Schedule也称为Dispatch&#xff0c;是操作系统的一个重要模块&#xff0c;它负责选择系统要处理的下一个任务。调度模块需要协调处于就绪状态的任务对资源的竞争&#xff0c;按优先级策略从就绪队列中获取高优先级的任务&#xff0c;给予资源使用权。本文我们…

面试题------>MySQL!!!

一、连接查询 ①&#xff1a;左连接left join &#xff08;小表在左&#xff0c;大表在右&#xff09; ②&#xff1a;右连接right join&#xff08;小表在右&#xff0c;大表在左&#xff09; 二、聚合函数 SQL 中提供的聚合函数可以用来统计、求和、求最值等等 COUNT&…

Qt 的 d_ptr (d-pointer) 和 q_ptr (q-pointer)解析;Q_D和Q_Q指针

篇一&#xff1a; Qt之q指针&#xff08;Q_Q&#xff09;d指针&#xff08;Q_D&#xff09;源码剖析---源码面前了无秘密_qtq指针-CSDN博客 通常情况下&#xff0c;与一个类密切相关的数据会被作为数据成员直接定义在该类中。然而&#xff0c;在某些场合下&#xff0c;我们会…

【深入学习Redis丨第二篇】Redis集群部署详解

文章目录 Redis集群部署Redis4 Cluster部署 Redis集群部署 1 Redis各节点部署 使用源码安装各节点&#xff0c;不过与非cluster方式不同的是&#xff0c;配置文件中需启动cluster相关的配置。 因本次为伪分布式部署&#xff0c;生产环境部署时建议至少3台机器部署&#xff0…

公园【百度之星】/图论+dijkstra

公园 图论dijkstra #include<bits/stdc.h> using namespace std; typedef long long ll; typedef pair<ll,ll> pii; vector<ll> v[40005]; //a、b、c分别是小度、度度熊、终点到各个点的最短距离 ll a[40005],b[40005],c[40005],dist[40005],st[40005]; void…

搭建基于Django的博客系统数据库迁移从Sqlite3到MySQL(四)

上一篇&#xff1a;搭建基于Django的博客系统增加广告轮播图&#xff08;三&#xff09; 下一篇&#xff1a;基于Django的博客系统之用HayStack连接elasticsearch增加搜索功能&#xff08;五&#xff09; Sqlite3数据库迁移到MySQL 数据库 迁移原因 Django 的内置数据库 SQL…

阿里云私有CA使用教程

点击免费生成 根CA详情 启用根CA -----BEGIN CERTIFICATE----- MIIDpzCCAogAwIBAgISBZ2QPcfDqvfI8fqoPkOq6AoMA0GCSqGSIb3DQEBCwUA MFwxCzAJBgNVBAYTAkNOMRAwDgYDVQQIDAdiZWlqaW5nMRAwDgYDVQQHDAdiZWlq aW5nMQ0wCwYDVQQKDARDU0REMQ0wCwYDVQQLDARDU0REMQswCQYDVQQDDAJDTjA…