简介
llama 是一个大模型的管理框架，其作用类似于 Docker：如果将每一个标准化的大模型视为“镜像”，那么 Ollama 就能够通过一行命令快速拉取并运行这些大模型。然而，Ollama 本身是基于命令行的服务，所以为了方便我们对大模型进行微调和使用，还需要引入 maxkb 。maxkb 提供了一个 ChatBot 界面，它会把我们输入的结构化知识、转换成大模型可以理解的语言（即嵌入向量），从而实现有效的交互。在本文中，将会引导大家何利用 Ollama 快速搭建本地的大模型服务，并结合 maxkb 构建一个私人定制知识库。
优势
- 开源免费： Ollama 及其支持的模型完全开源免费，任何人都可以自由使用、修改和分发。
- 简单易用： 无需复杂的配置和安装过程，只需几条命令即可启动和运行 Ollama。
- 模型丰富： Ollama 支持 Llama 3、Mistral、Qwen2 等众多热门开源 LLM，并提供一键下载和切- 换功能。
- 资源占用低： 相比于商业 LLM，Ollama 对硬件要求更低，即使在普通笔记本电脑上也能流畅运行。
- 社区活跃： Ollama 拥有庞大且活跃的社区，用户可以轻松获取帮助、分享经验和参与模型开发。
如何使用
Ollama 支持在 ollama.com/library 上获取的模型列表，以下是一些可下载的示例模型：
模型列表
注意：运行 7B 模型至少需要 8 GB 的 RAM，运行 13B 模型需要 16 GB，运行 33B 模型需要 32 GB。
安装Ollama
第一步：按照
curl -fsSL https://ollama.com/install.sh | sh
第二步：运行
ollama run llama3
第三步：查看状态
systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since 四 2024-08-15 19:02:40 CST; 3s ago
Main PID: 128252 (ollama)
Tasks: 10
Memory: 414.1M
CGroup: /system.slice/ollama.service
└─128252 /usr/local/bin/ollama serve
第三步：修改端口
netstat -tunlp|grep ollama
vim /etc/systemd/system/ollama.service
下面添加一行
Environment="OLLAMA_HOST=0.0.0.0"
第四步：更改模型存放位置(可选步骤)
vim /etc/systemd/system/ollama.service
Environment=“OLLAMA_MODELS=/data/ollama/models”
位置同上
第五步： 重启 ollama
systemctl daemon-reload
systemctl restart ollama
安装maxkb
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统，由飞致云开发。通过MaxKB可以实现在网页上可视化使用大语言模型。本次采用docker的方式直接部署。
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
访问（默认账号：admin 密码：MaxKB@123…）
导入模型
系统管理---->模型设置---->Ollama---->添加模型
模型配置（API Key处任意输入：我这里输的是123）
注意这里你的 xxx:11435 必须是 Ollama is running
点击修改之后，会自动导入配置
创建应用
在应用处点击创建应用
输入自定义的应用名称，我这里输入ai
选择关联好的ai模型，点击右上角的保存并发布
回到概览，点击演示。可以根据需求修改参数
即可对话大语言模型
