【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程，没有连接互联网一样可以使用AI大模型！！！

news2024/11/6 9:54:07

1 电脑配置

操作系统	CPU	内存
Windows 10以上	12核	16GB

2 安装Ollama

2.1 下载Ollama

登录Ollama官网下载Ollama安装包
GitHub：https://github.com/ollama/ollama?tab=readme-ov-file
在这里插入图片描述

2.2 安装Ollama

Windows下安装Ollama很简单，双击运行安装文件即可，此处不赘述。
打开终端，输入ollama，出现下图所示代表安装成功
在这里插入图片描述

注意：
windows 的安装默认不支持修改程序安装目录，
默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
默认安装的模型目录：C:\Users\username\ .ollama
默认的配置文件目录：C:\Users\username\AppData\Local\Ollama

2.3 配置Ollama的模型路径

由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，可以配置环境变量OLLAMA_MODELS，设置为指定的路径：
在这里插入图片描述

2.4 下载llama3模型

llama3目前主要有8B和70B两个模型，分别代表80亿和700亿个训练参数。
在这里插入图片描述

8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。
这里我安装的是8B的模型。
打开终端，输入命令：ollama run llama3默认安装8B模型，也可以使用ollama run llama3:8b来指定相应的模型，安装成功会有如下提示：
在这里插入图片描述

提问题，发现该模型给了很好的回复。
在这里插入图片描述

当然也可以写代码
在这里插入图片描述

至此，llama3本地部署已完成。
注意1：
在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。
注意2：
由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型https://github.com/LlamaFamily/Llama-Chinese

3 Ollama+OpenWebUI

前面部署的llama3是在命令行里面进行交互，体验感并不好，安装OpenWebUI可以使用web界面进行交互。这里我使用docker的方式部署OpenWebUI。

3.1 安装Docker

3.1.1 下载Docker

Docker下载
在这里插入图片描述

3.1.2 启动微软Hyper-V

打开“控制面板->程序->启用或关闭Windows功能”
勾选Hyper-V选项
重启电脑后安装成功
Windows工具中可以看到Hyper-V已安装成功。

注意：
若没有Hyper-V选项，可以使用如下命令安装：

pushd "%~dp0"

dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hv.txt

for /f %%i in ('findstr /i . hv.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"

del hv.txt

Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL

Pause

将上述命令复制到Hyper-V.bat批处理文件中，然后以管理员身份运行。
在这里插入图片描述

3.1.3 安装Docker

在这里插入图片描述

打开之后是这个样子，一般不需要使用，用命令行操作即可。
在这里插入图片描述

3.1.4 切换国内镜像源

在这里插入图片描述

{
  "registry-mirrors": [
    "https://82m9ar63.mirror.aliyuncs.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ],
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  }
}

Docker中国区官方镜像地址
网易地址
中国科技大学地址
阿里巴巴

3.2 安装OpenWebUI

GitHub地址
在这里插入图片描述

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
浏览器输入http://localhost:3000/

注意：
注册时邮箱可以随便填写，例如：admin@111.com