🔴大家好,我是雄雄,欢迎关注微信公众号:雄雄的小课堂
先看这里
- 前言
- 部署千问大模型
前言
当下,各种大模型层出不穷,先有openai的chatgpt,后有百度文心一言,再就是国内大模型齐头并进的抢先发布。
让普通的开发者不必为不能体验chatgpt而担忧,国内的大模型速度也很快。但是大家目前都是在体验,能不能部署一下试试呢?
今天,我们就以华为云Flexus云服务器X实例来部署一下,顺便测测其性能看看。
注意:本文为高端局,对于还不知道怎么使用shell工具,不知道云服务器为何物?不知道大模型为何物的读者可以退出啦,本文不太适合
部署千问大模型
之前一直就想搞个大模型玩玩了,奈何电脑配置不打够,所以只能是可望而不可及,今天,就单独用这款华为云Flexus云服务器X实例来试试。
本文我们基于Ollama
部署和运行大模型,那么,何为Ollama
?
官网:在这里
不过官网上都是洋文,看着比较吃力。我搜了些资料,给大家现个丑:
Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。来源:这里
下面,我们来开始实操!
- 下载
Ollama
用于启动并运行大模型,手动下载ollma
,下载地址如下所示:
curl -fsSL https://ollama.com/install.sh | sh
我们可以直接从浏览器中输入,然后 会自动下载,当然,我们也可以直接从shell工具中下载,不过就是有点慢,他这个东西还很大。
等待的过程挺漫长,可以先去找点别的事儿去做。
接着等待…
终于在漫长的等待过程中,我们将ollama下载下来了啦,下面我们就可以开始体验了!!!
- 启动ollama的服务
当我们服务器中有了ollama的服务后,我们需要启动他!命令如下:
systemctl start ollama.service
然后我们在执行一下下面的命令,看看服务是否已经启动:
systemctl status ollama.service
3. 设置服务开机自启动:
sudo systemctl enable ollama
- 查看内存占用情况。
两个方法都可以查看,第一是从宝塔面板中查看,第二就是直接输入命令:
free -h
大家可以看的出来,used这一列,表示的是已使用,目前来看,并不多。
- 运行大模型
我们先来看看ollama支持的大模型有哪些?点击:这里查看
我们先跑个小点的千问大模型吧,千问0.5B的模型看看。
输入命令:
ollama run qwen2:0.5b
还是继续等待…等待的过程中,为了不浪费时间,可以看看别的事儿。
等待完成,下面我们就可以看到:Send a message这句话了,表示我们可以直接使用大模型提问啦
- 体验大模型
我们输入个问题试试看看:
不知道为啥,他非要说自己是李政保,还说的有鼻子有眼的,质量的问题我们不管,我们看性能和速度问题。
简单的录了个小视频,这速度还是很快的。可见这服务器的性能还是不错的,感兴趣的伙伴们,可以尝试跑跑更大的模型试试。