Ollama 部署大模型

news2024/11/16 11:29:40

由于每次调用 OpenAI 等大模型都会产生费用，这个成本问题可以在开发环节可以通过私有化部署 LLM 的方式来避免。

Ollama 简介

Ollama 是一个开源的大型语言模型服务工具，专注于在本地运行大型语言模型。用户可以通过简单的安装指令在本地运行开源大型语言模型，如 Llama 3.1。Ollama 支持 MacOS、Windows 和 Linux，提供了简洁明了的安装和运行指令，让用户无需深入了解复杂的配置即可启动和运行。

官方网站：ollama.com

GitHub 地址：github.com/ollama/olla…

安装 Ubuntu

1、开启 Hyper -V 和 适用于 Linux 的 Windows 子系统。

在这里插入图片描述

2、Microsoft Store 下载并安装 Ubuntu。

在这里插入图片描述

3、初始化 Ubuntu，输入账号和密码。

在这里插入图片描述

4、默认安装到C盘，可以迁移到其它盘，操作如下：

  1. 进入应用 --> 安装的应用，选中 Ubuntu，右键弹出高级选项，选中重置那栏，点击重置。
  2. 退出高级选择，返回上一层，右键弹出的移动，选择目标盘，点击确认即可。

安装 Docker

1、删除任何以前的 Docker 安装

shell
 代码解读
复制代码
sudo apt-get remove docker docker-engine docker.io

在这里插入图片描述

2、安装依赖包以通过 HTTPS 访问 Docker 库

shell
 代码解读
复制代码
sudo apt install apt-transport-https ca-certificates curl software-properties-common gnupg lsb-release

在这里插入图片描述

3、添加 Docker 和阿里云的 GPG key

添加 Docker 官方 GPG key （可能国内现在访问会存在问题）

shell
 代码解读
复制代码
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

在这里插入图片描述

添加阿里云的 gpg KEY

shell
 代码解读
复制代码
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

在这里插入图片描述

4、添加 Docker 和阿里云的 apt 源并更新源

添加 Docker 官方的 apt 源

shell
 代码解读
复制代码
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

添加阿里云的 apt 源

shell
 代码解读
复制代码
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

更新源

shell
 代码解读
复制代码
sudo apt update
sudo apt-get update

5、安装 Docker

安装最新版本的 Docker

shell
 代码解读
复制代码
sudo apt install docker-ce docker-ce-cli containerd.io

查看 Docker 版本

shell
 代码解读
复制代码
sudo docker version

在这里插入图片描述

查看 Docker 运行状态

shell
 代码解读
复制代码
sudo systemctl status docker

在这里插入图片描述

6、允许非 Root用户执行 docker 命令

当我们安装好了 Docker 之后，有两种方式来执行 docker 命令：

  • 在 docker 命令前加上 sudo, 比如：sudo docker ps
  • sudo -i 切换至 root，再执行 docker 命令

以下操作可以让当前用户在不切 root，或者不加 sudo 的情况下正常使用 docker 命令。

添加 docker 用户组

shell
 代码解读
复制代码
sudo groupadd docker

将当前用户添加到用户组

shell
 代码解读
复制代码
sudo usermod -aG docker $USER

使权限生效

shell
 代码解读
复制代码
newgrp docker

检查是否生效，查看所有容器：

shell
 代码解读
复制代码
docker ps -a

让权限持久化生效

shell
 代码解读
复制代码
sed -i '$a\groupadd -f docker' ~/.bashrc

7、配置阿里云加速镜像

shell
 代码解读
复制代码
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
    "registry-mirrors": [
        "https://阿里云专属加速地址.mirror.aliyuncs.com",
        "https://do.nark.eu.org",
        "https://dc.j8.work",
        "https://docker.m.daocloud.io",
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://docker.nju.edu.cn"
    ]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

检查加速是否生效： 查看 docker 系统信息 docker info，如果从输出结果中看到了 registry mirror 刚配置的内容地址，说明配置成功。

安装 Ollama

CPU 模式

bash
 代码解读
复制代码
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

查看安装情况：

在这里插入图片描述

GPU 模式

GPU 模式需要有 NVIDIA 显卡支持，安装 NVIDIA 容器工具包

shell
 代码解读
复制代码
# 1.配置apt源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 2.更新源
sudo apt-get update
# 3.安装工具包
sudo apt-get install -y nvidia-container-toolkit

使用 GPU 运行 ollama

shell
 代码解读
复制代码
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

加速 Ollama 下载

修改hosts文件

shell
 代码解读
复制代码
sudo vim /etc/hosts

将 github.com 做个 ip 指向:

shell
 代码解读
复制代码
# github 注意下面的IP地址和域名之间有一个空格
140.82.114.3 github.com
199.232.69.194 github.global.ssl.fastly.net
185.199.108.153 assets-cdn.github.com
185.199.109.153 assets-cdn.github.com
185.199.110.153 assets-cdn.github.com
185.199.111.153 assets-cdn.github.com

安装大模型

shell
 代码解读
复制代码
sudo docker exec -it ollama ollama run glm4:latest

在这里插入图片描述

ollama模型仓库：ollama.com/library， 可以选择自己想用的模型安装。

Ollama 命令

shell
 代码解读
复制代码
ollama serve		# 启动ollama
ollama create		# 从模型文件创建模型
ollama show		# 显示模型信息
ollama run		# 运行模型
ollama pull		# 从注册仓库中拉取模型
ollama push		# 将模型推送到注册仓库
ollama list		# 列出已下载模型
ollama cp			# 复制模型
ollama rm			# 删除模型
ollama help		# 获取有关任何命令的帮助信息

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2066861.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

关于Br的bean

关于Br的bean

笔者高烧了5天没有更新&#xff0c;今天终于感到热了&#xff0c;来继续更新。 JSON to Dart使用生成模型&#xff0c;首先要继承Br BR点进去把重复的内容删掉 然后去List里rename一下就好了。 然后再去
阅读更多...
TypeError: Cannot read properties of undefined (reading ‘ciphertext‘)

TypeError: Cannot read properties of undefined (reading ‘ciphertext‘)

ciphertext 是密文的意思&#xff0c;可能是使用插件进行解密的时候&#xff0c;密文的内容是 null 空的&#xff0c;假如密文是 null 时我们可以把密文改成空字符串就好了 例如 使用了 CryptoJS 进行加解密&#xff0c;关于 CryptoJS 的介绍可以看这篇文章 【CryptoJS】使…
阅读更多...
基于STM32开发的智能水族箱控制系统

基于STM32开发的智能水族箱控制系统

目录 引言环境准备工作 硬件准备软件安装与配置系统设计 系统架构硬件连接代码实现 系统初始化水温监测与调节水质监控与自动换水照明控制与状态指示Wi-Fi通信与远程控制应用场景 家庭水族箱的智能管理公共水族馆的水质监控常见问题及解决方案 常见问题解决方案结论 1. 引言 …
阅读更多...
mp4转m4v怎么转？5种方法快速完成转换

mp4转m4v怎么转？5种方法快速完成转换

在这个多媒体内容爆炸的时代&#xff0c;视频格式转换成为了我们日常生活中不可或缺的一部分。尤其是从MP4转换为M4V&#xff0c;这种转换不仅关乎视频播放的兼容性&#xff0c;还影响着视频质量。下面就来给大家分享5种高效转换方法&#xff0c;一起来看看吧。 方法一&#xf…
阅读更多...
开学季数码好物分享！推荐适合学生党好用又实惠的平替电容笔！

开学季数码好物分享！推荐适合学生党好用又实惠的平替电容笔！

​开学季总是伴随着满满的期待与新鲜感&#xff0c;好多小伙伴都会在这个时候规划自己的学习新篇章&#xff0c;寻找那些能够助力学习、提升效率的好帮手。在数字化时代&#xff0c;电容笔作为无纸化学习的重要工具之一&#xff0c;其重要性不言而喻。它不仅能让学习笔记更加便…
阅读更多...
MinIO在Windows中部署，并注册服务

MinIO在Windows中部署，并注册服务

文章目录 一、下载二、安装1. 打开命令提示符或PowerShell(需用命令提示符窗口运行)&#xff1a;2. 切换到 D:\MinIO 目录&#xff1a; 使用 cd 命令导航到 D:\MinIO 目录3. 运行 minio.exe&#xff1a; 输入以下命令并按 Enter&#xff1a;.\minio.exe4. 退出命令行&#xff1…
阅读更多...
⼆⼿⻋交易系统架构分析

⼆⼿⻋交易系统架构分析

二手车交易系统架构分析涉及多个层面&#xff0c;包括技术选型、系统模块、数据库设计、用户界面及安全性等。以下是对二手车交易系统架构的综合分析&#xff1a; 技术选型&#xff1a;系统通常采用B/S架构模式&#xff0c;前后端分离&#xff0c;前端使用微信小程序开发工具&…
阅读更多...
⼆⼿⻋交易系统小程序功能分析

⼆⼿⻋交易系统小程序功能分析

二手车交易系统小程序的功能分析主要聚焦于如何利用移动互联网技术提升用户体验和交易效率。以下是一些关键功能的分析&#xff1a; 用户注册与登录&#xff1a;提供用户注册和登录功能&#xff0c;确保用户信息安全&#xff0c;可能包括手机号验证、邮箱验证或第三方平台&…
阅读更多...
ROG NUC 助力金猴 冲破天命！

ROG NUC 助力金猴 冲破天命！

ROG NUC -畅玩黑神话性能指南来了&#xff01; 黑神话悟空已经发布两天了&#xff0c;三百万大圣齐齐讨贼&#xff0c;感觉大头怪都快不够用了&#xff01;而ROG NUC作为目前最强的桌面性能独显主机&#xff0c;到底作为英特尔基于INTEL 4的7nm工艺开发的最新一代CPU酷睿Ultra…
阅读更多...
【深度生成模型】Diffusion model-公式推导

【深度生成模型】Diffusion model-公式推导

&#xff08;前提&#xff1a;数学原理很多&#xff09; 第一件事&#xff0c;前向过程&#xff1a;不断往输入数据中加噪声&#xff0c;变成纯噪声 每一步加入的噪声是不一样的&#xff0c;希望加噪的过程不断越来越多&#xff0c;理解为噪声的权重越来越大。 任意时刻的xt的…
阅读更多...
Python实用库大全：解锁编程无限可能

Python实用库大全：解锁编程无限可能

前言 Python&#xff0c;作为一门广泛应用于数据科学、机器学习、网络爬虫、自动化测试等多个领域的编程语言&#xff0c;其强大的功能离不开丰富多样的库支持。这些库不仅简化了复杂的编程任务&#xff0c;还极大地提高了开发效率。本文将为您介绍一些Python中的实用库&#x…
阅读更多...
version `GLIBCXX_3.4.30‘ not found解决

version `GLIBCXX_3.4.30‘ not found解决

报错信息&#xff1a; 解决方法&#xff1a; 检查是否存在&#xff1a; strings /usr/lib/x86_64-linux-gnu/libstdc.so.6 | grep GLIBCXX 结果如下&#xff1a;(我这里有3.4.30) 建立软连接 # 逐行进行 cd /home/su2204/miniconda3/envs/FaceVerse/bin/../lib mv libstd…
阅读更多...
Linux - 模拟实现 shell 命令行解释器

Linux - 模拟实现 shell 命令行解释器

目录 简介 shell 的重要性 解释为什么学习 shell 的工作原理很重要 模拟实现一个简单的 shell 循环过程 1. 获取命令行 2. 解析命令行 3. 建立一个子进程&#xff08;fork&#xff09; 4. 替换子进程&#xff08;execvp&#xff09; 5. 父进程等待子进程退出&#xff08;wai…
阅读更多...
服务器数据总是被恶意删除，日常该如何做好安全防范？

服务器数据总是被恶意删除，日常该如何做好安全防范？

随着互联网技术的飞速发展&#xff0c;服务器数据安全成为企业运营中不可忽视的重要环节。服务器数据频繁遭遇恶意删除&#xff0c;不仅影响业务连续性&#xff0c;还可能带来重大的经济损失和声誉损害。因此&#xff0c;采取有效措施加强服务器数据安全防范至关重要。以下是一…
阅读更多...
从0到1构建视频汇聚生态：EasyCVR视频汇聚平台流媒体协议支持的前瞻性布局

从0到1构建视频汇聚生态：EasyCVR视频汇聚平台流媒体协议支持的前瞻性布局

TSINGSEE青犀EasyCVR视频汇聚平台是一款基于云-边-端一体化架构的视频融合AI智能分析平台&#xff0c;广泛应用于工地、仓储、工厂、社区、校园、楼宇等多个领域。平台凭借其强大的数据接入、处理、转码及分发能力&#xff0c;在视频监控领域展现出显著的技术优势和应用前景。本…
阅读更多...
共享文件夹

共享文件夹

右键要共享的文件夹&#xff0c;Sharing和Security都要设置&#xff0c;都要设置成Everyone可以读写 Full Control
阅读更多...
活跃窃密木马TriStealer加密通信分析

活跃窃密木马TriStealer加密通信分析

1 概述 观成安全研究团队近期在现网监测到多起TriStealer窃密木马攻击事件&#xff0c;TriStealer窃密木马从2024年4月开始活跃&#xff0c;通过Bunny CDN进行载荷下发。TriStealer会收集系统信息、屏幕截图、浏览器中存储的账号密码以及设备中所有的“txt”后缀文件、桌面文件…
阅读更多...
Docker容器镜像及其打包

Docker容器镜像及其打包

容器镜像分类 1. 系统类镜像 2. 应⽤镜像 搜索镜像 # 默认docker.hub docker search centos 下载镜像 docker pull centos 默认下载最新版本 1. 打包 [rootdocker001 ~]# systemctl start docker.service [rootdocker001 ~]# docker save -o centos.tar centos:latest [root…
阅读更多...
重塑SaaS分销行业的合作伙伴关系：深化协同，共创未来

重塑SaaS分销行业的合作伙伴关系：深化协同，共创未来

分销行业正步入一个全新的发展阶段&#xff0c;其中合作伙伴关系的深度重塑成为推动行业变革的重要力量。这一转型不仅仅是形式上的调整&#xff0c;更是理念与战略上的深刻变革&#xff0c;旨在构建更加稳固、高效且富有创造力的合作生态。 双向赋能&#xff0c;共筑长期共赢基…
阅读更多...
Towards Noiseless Object Contours for Weakly Supervised SemanticSegmentation

Towards Noiseless Object Contours for Weakly Supervised SemanticSegmentation

摘要 由于图像标签容易获取&#xff0c;基于图像级标签的弱监督语义分割备受关注。现有的方法通常是从类激活图(CAM)生成伪标签&#xff0c;然后训练分割模型。CAM通常突出显示部分对象并产生不完整的伪标签。一些方法通过在CAM种子标签监督下训练轮廓模型来探索目标轮廓&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023