序
随着chatglm2-6b
,llama-7b
等模型的开源,早就想要在消费级显卡,独立体验一下部署大
模型的感觉,尽管在一些商用云平台上部署实践过,总是觉得缺少点什么,而且它们是按小时收费。 尤其是阿里的通义千问7B开源,是时候装一个属于自己的AI主机
了。
经过多方资料检索,在B站看到有网友早在之前已经进行了实践,因此照着他们给的教程,自己组装一台低成本的AI玩具电脑,用来安装体验大模型。特别感谢up主: 龟骑士09-组装一台自己的千元级GPU炼丹主机,盖伦TA哥-踩坑tesla m40显卡,作为电脑小白给其他小白一点提醒,赏花赏月赏Up主-使用tesla计算卡P40搭建chatglm本地问答库提供的教程。本着开源的精神,我也将我实践的过程,以及可能遇到的坑,记录下来,帮助需要的朋友少走弯路。此外,特别感谢咸鱼雷电工作室电脑专家对我的技术指导,很朴实的老哥!
本人软件开发,但是没有接触过硬件,之前也没有装过机,这次属于是第一次装机。第一次装机,可以先看看装机教程,b站上面有很多,推荐至少需要完整仔细的看一遍装机的整个流程。
配件清单
我采用的配置,完全基于up主-龟骑士
所提供的清单而来,结合up主-盖伦TA哥
视频内容,购买华南主板的时候,一定要先咨询下客服,是否支持above 4g decoding选项,我就遇到过一个商家明确回复不支持的。换一个商家就行了,提前问好,免得反复折腾。
我的电脑装于9月初,价格可能会有所浮动,配件清单及价格参考如下
配件名称 | 规格 | 价格 | 备注 |
---|---|---|---|
华南金牌x99 AD3大板 | / | 510 | 需要提前向商家问好bios是否支持above 4g decoding |
长城7000DS电源 | 600W | 229 | 接线是直出的,建议换成 插拔的线。 后续扩展会好点 |
E5 2673 V3 | / | 65 | |
冰曼6热管CPU散热器1700 | 58 | ||
三星 1066Mhz 美光 8500 | 16G * 2 | 44 | |
ssd固态 sata3.0 | 240G | 57 | |
亮机卡 512M | 21 | ||
EATX开放式机箱 | 26 | ||
Tesla P40显卡 | 24G | 1008 | 买之前问下商家,之前是否有人实践过,如果不支持,商家会告诉你的。也可以看评论,有些人会留言用于ai炼丹啥啥的。 |
Tesla P40显卡散热3D涡轮风扇 | 78 |
合计花费: 2100左右。
安装注意事项
- 开放式机箱上的孔位,与主板设计的孔位对不上,需要自己用钉子钉孔安装铜柱。我只另外钉了三个孔,还有两个孔用的机箱上的。并没有将主板的所有孔位都固定住。
- 第一次装机,可以先把CPU,内存,显卡 安装好,其他都暂时先不装,然后先开机试一试,如果点不亮,就不用来回折腾,直接把主板退回给商家。插上电源后,没有反应不要慌,主板有个开机键。我在装机的时候,第一次没点亮,CPU开机后始终是
99
,主板未运行,各种折腾,害怕砸自己手里。面对一个个看不懂的电子元件,那是一种无力感,就像猿人面对现代科技的无力感,让人沮丧。 这是可以联系淘宝售后,一步步排查。最差也可以寄回去检修,千万不要闷声砸自己手里。我是折腾后,申请的售后,检修后重新给我寄了个新的过来,不知道是自己操作不当,还是它本身的质量问题;(我第一次在取CPU那个保护盖板的时候,太小心了,结果紧张反而掉了一下到CPU芯片阵脚上面,当然这个千万不要跟售后说)。 - 主板本身有一个CPU散热器支架,冰曼散热器也带了一个支架。按照正常逻辑,应该用产品匹配的那个,因此我用了冰曼自带的支架,最终导致的结果就是散热器没安装好,CPU过热自己关机。它的现象就是,开机后能正常点亮,运行一会后主板
99
并断电,此时再次开机,无法正常启动bios。 过一会再次开机,可以正常进入bios,运行一会后又自动关机。(再次特别感谢咸鱼*雷电工作室电脑专家对我提供的无偿技术指导)这里有几个知识点是我万没想到的:- CPU散热器是必备的,没有散热器,CPU温度飙升的特别快,并且会导致主板断电;
- 正常安装的散热器与CPU是紧密贴合的,不会松松垮垮,松松垮垮代表散热器没有正常安装;
- bios的
above 4g decoding
选项,主要是用于显卡寻址,不是什么高大上的功能,好像很多主板都有。但是有个注意事项,开启了above 4g decoding后,亮机卡可能显示不了图形界面,在安装系统之前需要关闭。安装系统之后,开启above 4g
,如果是windows系统,由于其有图形界面,也不能直接通过HDMI接口输出,但是linux系统依然可以直接输出。使用Tesla P40,主要使用远程主机的方案进行使用。向日葵或者内网ssh远程,我使用的后者。 - teslaP40的双8pin转单8pin供电,可以直接通过电源自带的两个串行的Pcie6+2 Pin插进去,得到8Pin供电,问了下电源商家,满载250W是可以带动的。
安装结果
- 安装系统centos7+cuda11.7
- 平时通过ssh远程连接使用
- 配合小米智能插座+米家APP,实现远程服务器;
- teslaP40外接的涡轮风冷散热,声音还是有点大。 安静的环境下,会觉得有点吵,但是如果在说话或者放歌的情况下,风扇的声音就会被忽略。 还是无法将其当成一个普通的家用电脑用。
总结
- 装机有风险,动手需谨慎。我在装机之前,还是低估了这个事情的难度,折腾的过程比想象中要大,毕竟谁也不想自己挣的血汗钱打水漂。这里也帮雷电工作室电脑专家打个广告,有类似需求,可以咸鱼搜索他,靠谱的。
- 我目前在上面体验了
chatglm2-6b
,chinese-llama2
,qwen-7b-chat
,whisper语音识别
,modelscope语音中英语音合成
,感觉还有很多有趣的东西在等着,玩点时髦的。折腾虽然辛苦,但是是值得的。后续有空了也把踩坑的经历记录下来,帮助有需要的人,共同进步。