ollama官网
https://ollama.com/
直接点击下载,会根据你的系统自动下载相应的版本。
下载完之后,直接点击安装,默认安装到c盘。
安装完之后就可以在命令窗口测试一下。
ollama的常用命令如下:
ollama serve 启动ollama
ollama create 从模型文件创建模型
ollama show 显示模型信息
ollama run 运行模型
ollama pull 从注册表中拉取模型
ollama push 将模型推送到注册表
ollama list 列出模型
ollama cp 复制模型
ollama rm 删除模型
ollama help 获取有关任何命令的帮助信息
安装模型默认都是安装在c盘的,如果c盘空间不足可以指定安装模型位置。
在系统变量中添加一个名为:OLLAMA_MODELS的变量名,路径选择一个合适的位置。
设置好路径之后,一定要重新启动重启,才能生效。
接下来就是拉去大模型,打开官网可以看到从ollama可以直接拉去的大模型:
比如说我选择llama3,点进去之后,也可以选择版本:
然后拉去这个大模型的话,直接复制右边的命令:ollama run llama3。
在命令窗口执行就好了。如下,我安装得不是llama3。
这样就安装完成了。运行:
查看本地已经安装的模型:
一定要注意,自己的电脑配置是否适合模型的大小。
注意:您应该至少有 8 GB 可用 RAM 来运行 7B 型号,16 GB 来运行 13B 型号,32 GB 来运行 33B 型号。
模型的大小如下:
还可以安装一些web和桌面程序来交互大模型,比如:
github链接:ollama
比如说:Open WebUI