浅谈人工智能之基于ollama的常见变量设置
全局命令设置
现象:无法直接使用命令ollama
问题显示如下:
[root@localhost LLM]# ollama
-bash: ollama: command not found
解决方法一:
第一步:输入如下命令:
[root@localhost ~]# ln -s /usr/bin/Ollama/bin/ollama /usr/local/bin/ollama
第二步:我们在任意一个位置进行命令验证:
[root@localhost ~]# ollama
Usage:
ollama [flags]
ollama [command]Available Commands:
serve Start ollama
create Create a model from a Modelfile
上述内容可以知道,我们可以把ollama设置为全局命令。
模型存放路径修改
现象:模型存放路径修改,确保有足够的空间进行模型存储
Windows解决方案:
第一步:右键我的电脑-属性-高级系统设置,点击“高级系统设置”
第二步:在打开的系统属性界面中点击高级-环境变量
第三步:在环境变量界面中点击系统变量中的新建按钮
第四步:在跳出来的新建系统变量界面中,变量名设置为:OLLAMA_MODELS,变量值设置为D:\LLM\OllamaLLM\models,然后点击确定对设置的环境变量进行保存。
第五步:重新创建模型,可以看到模型在对应的路径下保存
Linux解决方案:
第一步:打开文件ollama.service,命令如下:
[root@localhost LLM]# vim /etc/systemd/system/ollama.service
第二步:在原本的文件内容中增加如下信息:
Environment=“OLLAMA_MODELS=/ftp/ollama/models”,完整内容如下
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”[Install]
WantedBy=default.target
第三步:添加以后保存退出,然后首先执行以下命令
[root@localhost LLM]# systemctl daemon-reload
第四步:在将ollama服务器重启
[root@localhost LLM]# systemctl restart ollama
第五步:查看服务是否重启成功
[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)
第六步:重新创建模型,可以看到模型在对应的路径下保存
[root@localhost LLM]# ollama create Qwen2-7b -f /ftp/LLM/Modelfile
[root@localhost LLM]# cd /ftp/ollama/models
[root@localhost models]# ls
blobs manifests
全局地址访问设置
现象:正式地址无法访问
当我们访问ollama地址:http://127.0.0.1:11434/,我们可以得到如下解决
但是当我们访问本机地址:http://10.31.128.110:11434/
解决方法:
第一步:打开文件ollama.service,命令如下:
[root@localhost LLM]# vim /etc/systemd/system/ollama.service
第二步:在原本的文件内容中增加如下信息:Environment=“OLLAMA_HOST=0.0.0.0”,完整内容如下
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0”[Install]
WantedBy=default.target
第三步:添加以后保存退出,然后首先执行以下命令
[root@localhost LLM]# systemctl daemon-reload
第四步:在将ollama服务器重启
[root@localhost LLM]# systemctl restart ollama
第五步:查看服务是否重启成功
[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)
第六步:我们再用IP访问部署ollama地址:
上述内容操作完成以后,我们就可以通过正式对外的IP地址进行访问。
ollama访问端口设置
现象:地址访问端口为11434
当我们访问ollama地址端口:11434,但是端口为默认端口
因此我们需要自定义端口
解决方法:
第一步:打开文件ollama.service,命令如下:
[root@localhost LLM]# vim /etc/systemd/system/ollama.service
第二步:在原本的文件内容中增加如下信息:Environment=“OLLAMA_HOST=0.0.0.0:9999”,完整内容如下
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0:9999”[Install]
WantedBy=default.target
第三步:添加以后保存退出,然后首先执行以下命令
[root@localhost LLM]# systemctl daemon-reload
第四步:在将ollama服务器重启
[root@localhost LLM]# systemctl restart ollama
第五步:查看服务是否重启成功
[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)
第六步:我们再用IP访问部署ollama地址,使用9999端口:
上述内容操作完成以后,我们就可以通过新的端口和IP地址进行访问。