最少钱学习并构建大模型ollama-llama3 8B

news2024/9/29 22:51:56

学习大模型时可能面临一些困难，这些困难可能包括：

计算资源限制：训练大模型通常需要大量的计算资源，包括CPU、GPU等。如果设备资源有限，可能会导致训练时间长、效率低下或无法完成训练。
内存限制：大模型通常需要大量内存来存储模型参数和计算中间结果。内存限制可能会导致内存不足错误或无法加载大模型。
数据集规模：训练大模型通常需要大规模的数据集来获得良好的性能。获取和处理大规模数据集可能需要大量时间和计算资源。
超参数调整：调整大模型的超参数通常是一项挑战性工作。需要花费大量时间和资源来尝试不同的超参数组合，以获得最佳性能。
过拟合：大模型很容易过拟合，特别是在数据集规模不够大或训练不充分的情况下。需要采取适当的正则化策略来避免过拟合。
模型解释性：大模型通常更加复杂，其内部结构可能不太容易解释。理解大模型的行为和推理过程可能是一项挑战。
时间和精力投入：学习大模型需要花费大量的时间和精力，包括数据准备、模型训练、调优等过程。需要有耐心和毅力来应对这些挑战。

解决资源问题：

1、选择按小时付费GPU性能服务器

仙宫云 | GPU 算力租赁 | Xiangongyun.com

2、sh直接安装Ollama

curl -fsSL https://ollama.com/install.sh | sh

AMD Radeon GPU 支持¶

虽然 AMD 已将 amdgpu 驱动程序上游贡献给官方 Linux 内核源代码，但该版本较旧，可能不支持所有 ROCm 功能。我们建议您从 AMD 官网安装最新驱动程序，以获得对您 Radeon GPU 的最佳支持。

手动下载 `ollama` 二进制文件安装

Ollama 以自包含的二进制文件形式分发。将其下载到您的 PATH 中的目录：

curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
chmod +x /usr/bin/ollama


将 Ollama 添加为启动服务（推荐）
为 Ollama 创建一个用户：


useradd -r -s /bin/false -m -d /usr/share/ollama ollama

在 /etc/systemd/system/ollama.service 中创建一个服务文件：


[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target


然后启动服务：

systemctl daemon-reload
systemctl enable ollama


启动 Ollama
使用 systemd 启动 Ollama：


systemctl start ollama

安装 CUDA 驱动程序（可选 - 适用于 Nvidia GPU）

Download and install CUDA.

通过运行以下命令验证驱动程序是否已安装，该命令应打印出有关您 GPU 的详细信息：

nvidia-smi

安装 ROCm（可选 - 适用于 Radeon GPU）

Download and Install

确保安装 ROCm v6

更新sh直接安装Ollama

通过再次运行安装脚本来更新 ollama：

curl -fsSL https://ollama.com/install.sh | sh

或者通过下载 ollama 二进制文件：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

查看日志

要查看作为启动服务运行的 Ollama 的日志，请运行：

journalctl -u ollama

卸载

移除 ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从您的 bin 目录（/usr/local/bin、/usr/bin 或 /bin）中移除 ollama 二进制文件：

sudo rm $(which ollama)

移除下载的模型以及 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

3、打开终端：输入ollama

终端执行指令：ollama serve &

终端执行指令「下载模型」：ollama run llama3

4、检查安装成功

curl 127.0.0.1:11434 或者 lsof -i:11434

5、安装 open-webui

#1.拉取源码
cd ~
git clone https://github.com/open-webui/open-webui.git
cd open-webui
cp -RPp .env.example .env

#2.安装前端依赖
npm i
npm run build


#3.安装后端依赖
cd backend
pip install -r requirements.txt

#4.启动后端
bash start.sh