Tesla P40千元级大显卡主机装机实践

news2024/12/27 18:33:01

随着chatglm2-6b,llama-7b等模型的开源,早就想要在消费级显卡,独立体验一下部署模型的感觉,尽管在一些商用云平台上部署实践过,总是觉得缺少点什么,而且它们是按小时收费。 尤其是阿里的通义千问7B开源,是时候装一个属于自己的AI主机了。

经过多方资料检索,在B站看到有网友早在之前已经进行了实践,因此照着他们给的教程,自己组装一台低成本的AI玩具电脑,用来安装体验大模型。特别感谢up主: 龟骑士09-组装一台自己的千元级GPU炼丹主机,盖伦TA哥-踩坑tesla m40显卡,作为电脑小白给其他小白一点提醒,赏花赏月赏Up主-使用tesla计算卡P40搭建chatglm本地问答库提供的教程。本着开源的精神,我也将我实践的过程,以及可能遇到的坑,记录下来,帮助需要的朋友少走弯路。此外,特别感谢咸鱼雷电工作室电脑专家对我的技术指导,很朴实的老哥!

本人软件开发,但是没有接触过硬件,之前也没有装过机,这次属于是第一次装机。第一次装机,可以先看看装机教程,b站上面有很多,推荐至少需要完整仔细的看一遍装机的整个流程

配件清单

我采用的配置,完全基于up主-龟骑士所提供的清单而来,结合up主-盖伦TA哥视频内容,购买华南主板的时候,一定要先咨询下客服,是否支持above 4g decoding选项,我就遇到过一个商家明确回复不支持的。换一个商家就行了,提前问好,免得反复折腾。

我的电脑装于9月初,价格可能会有所浮动,配件清单及价格参考如下

配件名称规格价格备注
华南金牌x99 AD3大板/510需要提前向商家问好bios是否支持above 4g decoding
长城7000DS电源600W229接线是直出的,建议换成 插拔的线。 后续扩展会好点
E5 2673 V3/65
冰曼6热管CPU散热器170058
三星 1066Mhz 美光 850016G * 244
ssd固态 sata3.0240G57
亮机卡 512M21
EATX开放式机箱26
Tesla P40显卡24G1008买之前问下商家,之前是否有人实践过,如果不支持,商家会告诉你的。也可以看评论,有些人会留言用于ai炼丹啥啥的。
Tesla P40显卡散热3D涡轮风扇78

合计花费: 2100左右

安装注意事项

  • 开放式机箱上的孔位,与主板设计的孔位对不上,需要自己用钉子钉孔安装铜柱。我只另外钉了三个孔,还有两个孔用的机箱上的。并没有将主板的所有孔位都固定住。
  • 第一次装机,可以先把CPU,内存,显卡 安装好,其他都暂时先不装,然后先开机试一试,如果点不亮,就不用来回折腾,直接把主板退回给商家。插上电源后,没有反应不要慌,主板有个开机键。我在装机的时候,第一次没点亮,CPU开机后始终是99,主板未运行,各种折腾,害怕砸自己手里。面对一个个看不懂的电子元件,那是一种无力感,就像猿人面对现代科技的无力感,让人沮丧。 这是可以联系淘宝售后,一步步排查。最差也可以寄回去检修,千万不要闷声砸自己手里。我是折腾后,申请的售后,检修后重新给我寄了个新的过来,不知道是自己操作不当,还是它本身的质量问题;(我第一次在取CPU那个保护盖板的时候,太小心了,结果紧张反而掉了一下到CPU芯片阵脚上面,当然这个千万不要跟售后说)。
  • 主板本身有一个CPU散热器支架,冰曼散热器也带了一个支架。按照正常逻辑,应该用产品匹配的那个,因此我用了冰曼自带的支架,最终导致的结果就是散热器没安装好,CPU过热自己关机。它的现象就是,开机后能正常点亮,运行一会后主板99并断电,此时再次开机,无法正常启动bios。 过一会再次开机,可以正常进入bios,运行一会后又自动关机。(再次特别感谢咸鱼*雷电工作室电脑专家对我提供的无偿技术指导)这里有几个知识点是我万没想到的:
    • CPU散热器是必备的,没有散热器,CPU温度飙升的特别快,并且会导致主板断电;
    • 正常安装的散热器与CPU是紧密贴合的,不会松松垮垮,松松垮垮代表散热器没有正常安装;
  • bios的above 4g decoding选项,主要是用于显卡寻址,不是什么高大上的功能,好像很多主板都有。但是有个注意事项,开启了above 4g decoding后,亮机卡可能显示不了图形界面,在安装系统之前需要关闭。安装系统之后,开启above 4g,如果是windows系统,由于其有图形界面,也不能直接通过HDMI接口输出,但是linux系统依然可以直接输出。使用Tesla P40,主要使用远程主机的方案进行使用。向日葵或者内网ssh远程,我使用的后者。
  • teslaP40的双8pin转单8pin供电,可以直接通过电源自带的两个串行的Pcie6+2 Pin插进去,得到8Pin供电,问了下电源商家,满载250W是可以带动的。

安装结果

  • 安装系统centos7+cuda11.7
  • 平时通过ssh远程连接使用
  • 配合小米智能插座+米家APP,实现远程服务器;
  • teslaP40外接的涡轮风冷散热,声音还是有点大。 安静的环境下,会觉得有点吵,但是如果在说话或者放歌的情况下,风扇的声音就会被忽略。 还是无法将其当成一个普通的家用电脑用。

请添加图片描述

总结

  • 装机有风险,动手需谨慎。我在装机之前,还是低估了这个事情的难度,折腾的过程比想象中要大,毕竟谁也不想自己挣的血汗钱打水漂。这里也帮雷电工作室电脑专家打个广告,有类似需求,可以咸鱼搜索他,靠谱的。
  • 我目前在上面体验了chatglm2-6b,chinese-llama2,qwen-7b-chat,whisper语音识别,modelscope语音中英语音合成,感觉还有很多有趣的东西在等着,玩点时髦的。折腾虽然辛苦,但是是值得的。后续有空了也把踩坑的经历记录下来,帮助有需要的人,共同进步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1024453.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PYQT制作动态时钟

所有代码: import sys from PyQt5.QtCore import Qt, QTimer, QRect from PyQt5.QtGui import QPixmap, QTransform, QPainter, QImage from PyQt5.QtWidgets import QApplication, QLabel from PyQt5 import uic import newdef adder():global iglobal angle_s, a…

【AAAI2023】Spatial-Spectral Transformer for Hyperspectral Image Denoising

论文:https://readpaper.com/paper/4694783227240398849 代码:https://github.com/MyuLi/SST 1、总体介绍 高光谱图像(HSI)去噪是后续HSI应用的关键预处理过程,但是基于CNN的方法需要在计算效率与非局部特征建模能力之…

如何使用ArcGIS Pro将等高线转DEM

通常情况下,我们拿到的等高线数据一般都是CAD格式,如果要制作三维地形模型,使用栅格格式的DEM数据是更好的选择,这里就为大家介绍一下如何使用ArcGIS Pro将等高线转DEM,希望能对你有所帮助。 创建TIN 在工具箱中选择“…

Redis学习 - 了解Redis(三)

1. 什么是缓存击穿、缓存穿透、缓存雪崩? 1.1 缓存穿透问题 先来看一个常见的缓存使用方式:读请求来了,先查下缓存,缓存有值命中,就直接返回;缓存没命中,就去查数据库,然后把数据库…

读书笔记-《ON JAVA 中文版》-摘要25[第二十二章 枚举]

文章目录 第二十二章 枚举1. 基本功能1.1 基本 enum 特性 2. 方法添加2.1 方法添加2.2 覆盖 enum 的方法 3 switch 语句中的 enum4. values 方法的神秘之处5. 实现而非继承6. 随机选择7. 使用接口组织枚举8. 使用 EnumSet 替代 Flags9. 使用 EnumMap10. 常量特定方法11. 本章小…

pcl--第六节 3D特征描述子

特征描述子 Feature Descriptor 是每个特征点独特的身份认证同一空间点在不同视角的特征点具有高度相似的描述子不同特征点的描述子差异性尽量大通常描述子是一个具有固定长度的向量 描述子可以分为以下几种类型:基于不变性的描述子、基于直方图的描述子、二进制描…

上万条童话故事儿童故事ACCESS\EXCEL数据库

虽然已经有《7千多儿童故事网ACCESS\EXCEL数据库》这种记录数的童话故事类数据,但是遇到了好采集的就总想采集下来,后续有时间或有需求可以再做合并等操作。 分类情况统计为: 儿童故事:儿童小故事(1895)、…

Cobra眼睛蛇-强大的Golang CLI框架,快速上手的脚手架搭建项目工具,详细安装和使用

Cobra眼睛蛇-强大的Golang CLI框架,快速上手的脚手架搭建项目工具,详细安装和使用。 阅读过k8s源码的同学,应该都知道k8s Scheduler、kubeadm、kubelet等核心组件的命令行交互全都是通过spf13写的Cobra库来实现。本文就来介绍下Cobra的相关概…

成都爱尔李晓峰医生解析“秋季干眼症”!该如何远离

秋高气爽?相较于夏天不然湿热难忍,气候逐渐干燥似乎“好过”了些。但干燥不见得都是好事,环境空气的干同时让人体呈现“燥”,如皮肤干燥、喉痒、口干、干咳、便秘等不适,就连眼睛也不能幸免。 由于眼部水分较其他季节蒸发快&…

时序预测 | MATLAB实现NGO-GRU北方苍鹰算法优化门控循环单元时间序列预测

时序预测 | MATLAB实现NGO-GRU北方苍鹰算法优化门控循环单元时间序列预测 目录 时序预测 | MATLAB实现NGO-GRU北方苍鹰算法优化门控循环单元时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 MATLAB实现NGO-GRU北方苍鹰算法优化门控循环单元时间序列预测&#…

STM32F407 串口使用DMA方式通信

DMA的原理,就是利用寄存器方式进行读写,这样的好处就是相对于中断触发(往往一个字节字节的就中断一次),CPU中断次数大大降少,提高了效率,但也影响了实时性。总体来说,对于一般的应用…

系统安装(一)CentOS 7 本地安装

CentOS与Ubuntu并称为Linux最著名的两个发行版,但由于笔者主要从事深度学习图像算法工作,Ubuntu作为谷歌和多数依赖库的亲儿子占据着最高生态位。但最近接手的一个项目里,甲方指定需要在CentOS7上运行项目代码,笔者被迫小小cos了一…

VS Code时间轴插件:MarkWhen

文章目录 简介时间格式事件格式 简介 MarkWhen是一款文本转时间轴的工具,非常好用,也十分炫酷。可在VS Code中搜索插件MarkWhen,点击安装,然后新建一个.mw后缀的文件,就可以使用了,下面举一个简单的例子 …

嵌入式笔试面试刷题(day15)

文章目录 前言一、Linux中的主设备号和次设备号1.查看方法2.主设备号和次设备号的作用 二、软件IIC和硬件IIC的区别三、变量的声明和定义区别四、static在C和C中的区别五、串口总线空闲时候的电平状态总结 前言 本篇文章继续讲解嵌入式笔试面试刷题,希望大家坚持跟…

PyTorch深度学习实战(17)——多任务学习

PyTorch深度学习实战(17)——多任务学习 0. 前言1. 多任务学习1.1 多任务学习基本概念1.2 多任务学习优势 2. 模型与数据集分析2.1 模型分析2.2 数据集介绍 3. 实现年龄估计和性别分类小结系列链接 0. 前言 多任务学习( Multi-Task Learning, MTL )是一…

SpringCloud Alibaba 整合Sentinel的基本使用

文章目录 一、什么是Sentinel二、Sentinel 的主要特性1. 流量控制:2. 熔断降级:3. 实时监控:4. 规则配置:5. 集成方便: 三、Sentinel 分为哪几部分:1. 核心库(Java 客户端)2. 控制台&#xff08…

Matlab图像处理-区域描述

一旦一幅图像的目标区域被确定,我们往往用一套描述子来表示其特性。选择区域描述子的动机不单纯为了减少在区域中原始数据的数量,而且也应有利于区别带有不同特性的区域。因此,当目标区域有大小、旋转、平移等方面的变化时,针对这…

ThreeJS-3D教学一基础场景创建

Three.js 是一个开源的 JS 3D 图形库,用于创建和展示高性能、交互式的 3D 图形场景。它建立在 WebGL 技术之上,并提供了丰富的功能和工具,使开发者可以轻松地构建令人惊叹的 3D 可视化效果。 Three.js 提供了一套完整的工具和 API&#xff0…

【深度学习】实验13 使用Dropout抑制过拟合

文章目录 使用Dropout抑制过拟合1. 环境准备2. 导入数据集3. 对所有数据的预测3.1 数据集3.2 构建神经网络 3.3 训练模型3.4 分析模型 4. 对未见过数据的预测4.1 划分数据集4.2 构建神经网络4.3 训练模型4.4 分析模型 5. 使用Dropout抑制过拟合5.1 构建神经网络5.2 训练模型5.3…

基于Qt4的拉格朗日插值实现及使用

目录 1 拉格朗日插值算法 2 实现思路 3 子程序编写 1 框架搭建 2 加载节点值 3 加载插值点 4 位置查找 5 二点线性插值 3 子程序使用 1 拉格朗日插值算法 拉格朗日插值是一种常用的散点插值算法,是是以法国十八世纪数学家约瑟夫拉格朗日命名的一种多项式插值方法。是…