- Ollama
- 特点
- Centos部署
- docker部署
- 脚本安装
- 通义千问包下载
- MaxKB
- 部署
- docker部署
- 控制台
- 配置
- 模型设置
Ollama
- Ollama 是一个开源项目，旨在让用户能够在本地计算机上轻松运行大型语言模型（LLM）。通过 Ollama，用户可以部署和运行多种不同的语言模型，如 Llama 3.1、Phi 3、Mistral、Gemma 2 等，并且可以根据需要定制和创建自己的模型。
- 官网：https://ollama.com/
- 开源地址：https://github.com/ollama/ollama
特点
- 支持多种模型：Ollama 支持多种大型语言模型，这使得用户可以根据需求选择最合适的模型来运行。
- 定制化选项：用户不仅能够运行现有的模型，还可以对其进行定制，以适应特定的应用场景或数据集。
- 跨平台兼容性：Ollama 可以在 macOS、Linux 和 Windows 上运行（Windows 版本目前处于预览阶段）。
- 易于安装和使用：Ollama 提供了简便的安装流程，让用户能够快速开始使用。
- Web 用户界面：除了命令行工具外，Ollama 还提供了一个 web 用户界面，便于管理和交互。
- 数据隐私：由于模型是在本地运行，所以用户的对话和数据不会发送到云端，从而保护了隐私。
- API 接口：Ollama 提供了类似于 OpenAI 的 API 接口，方便开发者集成到自己的应用程序中。
Centos部署
docker部署
- 镜像地址：https://hub.docker.com/r/ollama/ollama
- 镜像拉取：
docker pull ollama/ollama - docker安装命令：
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
- 能访问表示成功，注意机器防火墙端口、云服务器开通端口等
脚本安装
curl -fsSL https://ollama.com/install.sh | sh
通义千问包下载
-
访问地址：https://ollama.com/
-
搜索你想部署的大模型包，这里以通义千问为例
-
进行包下载：
ollama run qwen
MaxKB
- Max Knowledge Base，是一款基于 LLM 大语言模型的开源知识库问答系统，旨在成为企业的最强大脑。
- 官网：https://maxkb.cn/
- 开源地址：https://github.com/1Panel-dev/MaxKB
部署
docker部署
- 执行命令部署：
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
- 进行拉取
控制台
- 账户名明码参考官网
https://maxkb.cn/docs/installation/online_installtion/
http://目标服务器 IP 地址:目标端口
默认登录信息
用户名：admin
默认密码：MaxKB@123…
配置
模型设置
- 选择模型供应商
