从零到一：如何用Ollama和OpenUI构建强大的AI模型库

news2024/9/23 14:27:29

搭建开源大模型平台的步骤与模型介绍

在这篇文章中，我将分享如何在Windows上使用Ollama和OpenUI搭建开源大模型平台的步骤，并介绍我所部署的几个模型及其擅长的领域。

一、搭建平台步骤

1. 安装Ollama

首先，确保你有最新版本的Windows。访问Ollama的官方网站，下载并安装最新版本的Ollama。安装完成后，可以通过命令行工具确认Ollama是否安装成功：

ollama version

2. 安装OpenUI

接下来，前往OpenUI的GitHub页面，下载并解压相关文件。按照说明配置环境变量，以便在命令行中使用OpenUI。
OpenUI地址：https://docs.openwebui.com/
以下是翻译后的安装命令（本地安装直接第一条）

默认配置安装如果Ollama在你的电脑上，请使用以下命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama在不同的服务器上，请使用以下命令：
要连接到另一台服务器上的Ollama，需将OLLAMA_BASE_URL更改为服务器的URL（API-url）：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要使用Nvidia GPU支持运行Open WebUI，请使用以下命令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

3. 配置模型

在Ollama中，你可以使用命令行工具来管理和部署模型。以下是一些常用的命令：

拉取模型：
ollama pull <model_name>
启动模型：
ollama serve <model_name>

4. 部署模型

我目前已经部署了多个模型，具体如下：

llava-llama3: 适合进行多模态任务，如图像与文本的结合。
mxbai-embed-large: 强大的文本嵌入模型，适合信息检索和语义分析。
bge-m3: 专注于生成模型，适合内容生成与对话。
glm4: 高效的多轮对话模型，特别适用于客服和问答系统。
qwen2.5: 强调质量的文本生成，适合需要高质量文本的应用。
mistral-nemo: 适用于大规模语言模型的训练与推理。
gemma2: 强大的多语言支持，适合跨语言的任务。
llava: 适合长文本理解和生成的模型。
deepseek-coder-v2: 专为编程辅助设计，支持代码生成和优化。
shaw/dmeta-embedding-zh: 中文嵌入模型，专注于中文语境中的语义理解。
llama3.1: 综合能力强，适合多种NLP任务。

5. 访问与使用

完成模型部署后，可以通过Web界面进行访问和使用。确保你的防火墙设置允许相关端口通过，以便在网络上进行交互。

二、模型擅长的信息

llava-llama3: 在视觉理解与文本生成方面表现优异，适合多种多模态任务。
mxbai-embed-large: 优秀的文本嵌入能力，适用于信息检索、推荐系统等领域。
bge-m3: 专注于内容生成的能力，适合社交媒体和内容创作。
glm4: 多轮对话能力强，适合智能客服和交互式问答系统。
qwen2.5: 生成文本的质量较高，适合文学创作和高质量内容生产。
mistral-nemo: 用于大规模模型的训练，适合企业和研究机构的深度学习项目。
gemma2: 多语言能力强，支持跨国企业的多语言需求。
llava: 适合处理长文本，能够进行深入的文本分析。
deepseek-coder-v2: 代码辅助生成与优化，适合程序开发和调试。
shaw/dmeta-embedding-zh: 针对中文的嵌入和理解，适合中文信息处理。
llama3.1: 综合能力强，适用于多种NLP任务。