Linux 离线安装Ollama
前言
不知道为什么 在阿里云服务器上 执行curl -fsSL https://ollama.com/install.sh | sh
一键安装 非常慢
所以只能手动装了
1.到 https://ollama.com/install.sh 下载安装执行文件
修改其中 下载和安装部分代码
if curl -I --silent --fail --location "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" >/dev/null ; then
status "Downloading Linux ${ARCH} bundle"
curl --fail --show-error --location --progress-bar \
"https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
$SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
BUNDLE=1
if [ "$OLLAMA_INSTALL_DIR/bin/ollama" != "$BINDIR/ollama" ] ; then
status "Making ollama accessible in the PATH in $BINDIR"
$SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"
fi
else
status "Downloading Linux ${ARCH} CLI"
curl --fail --show-error --location --progress-bar -o "$TEMP_DIR/ollama"\
"https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $OLLAMA_INSTALL_DIR/ollama
BUNDLE=0
if [ "$OLLAMA_INSTALL_DIR/ollama" != "$BINDIR/ollama" ] ; then
status "Making ollama accessible in the PATH in $BINDIR"
$SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"
fi
fi
#将上面这段代码替换为下面这段:
LOCAL_OLLAMA_TGZ="./ollama-linux-${ARCH}.tgz${VER_PARAM}"
if [ -f "$LOCAL_OLLAMA_TGZ" ]; then
status "Installing from local file $LOCAL_OLLAMA_TGZ"
$SUDO tar -xzf "$LOCAL_OLLAMA_TGZ" -C "$OLLAMA_INSTALL_DIR"
BUNDLE=1
if [ ! -e "$BINDIR/ollama" ]; then
status "Making ollama accessible in the PATH in $BINDIR"
$SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"
fi
else
echo "Error: The local file $LOCAL_OLLAMA_TGZ does not exist."
exit 1
fi
2.然后将修改后的install.sh文件上传至/home/Ollama文件夹中
3.到 https://github.com/ollama/ollama/releases/下载对应的包
具体需要什么型号的可通过 lscpu 命令 查看自己的cpu架构
x86_64 CPU 选择下载 ollama-linux-amd64.tgz
aarch64|arm64 CPU 选择下载 ollama-linux-arm64.tgz
4.然后就可以执行了
# 执行installl.sh脚本,需要sudo 权限 chmod +x install.sh
./install.sh
# 如果报错误权限不足,执行
chmod +x install.sh
# 如果报错误: bash: ./build_android.sh:/bin/sh^M:解释器错误: 没有那个文件或目录,执行
sed -i 's/\r$//' install.sh
到这里就可以了 运行 ollama run qwen 就可以下载并运行大模型了
需要哪些模型可以到官网参考https://ollama.com/library
5.如果需要对外暴露可以访问 可按照下面操作修改
修改ollama.service配置
在ollama.service 文件中增加 Environment=“OLLAMA_HOST=0.0.0.0:11434”
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="PATH=/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
[Install]
WantedBy=default.target
还可以配置并发
Environment="OLLAMA_NUM_PARALLEL=4" #并行处理请求的数量
Environment="OLLAMA_MAX_LOADED_MODELS=4" #同时加载的模型数量
重新加载 并从新启动
sudo systemctl daemon-reload
sudo systemctl restart ollama
其他常用命令
判断我的模型是否已加载到 GPU 上
ollama ps
监控显卡使用状况
watch -d nvidia-smi
参考:https://blog.csdn.net/u010197332/article/details/137604798