【业余玩儿AI】Day 1

实际是昨天的事儿了，记录以下

魔法

不管三七二十一，重新启用魔法，没有魔法这些事情肯定是不行滴

种子任务

把收藏了两个星期的短视频都看了一遍，挑了个种子任务，《本地部署Llama3.1》，Meta很荣幸的成为我AI事业第一步的垫脚石。

Github下载Llama

虽然也下载了Ollama和LM Studio，只知道这俩是本地部署LLM的平台，各有什么功能和特点还没有了解，怎么用也没去看，暂且按下不管。
直接去大本营去干。github上找到Llama，拉下来

git@github.com:meta-llama/llama-models.git

里面有不同版本的路径，进入3.1版本，readme让运行download.sh进行下载。
不厚道如我必须吐槽一下，其它文件都是py的，这download为啥是个sh，你meta已经技术天花板之一了，不用再通过这种手段让我们对你的能力范围有所惊讶了，何况毕竟只是个shell脚本。
没辙，想拿人家的东西嘴就不能太过，所以这吐槽也没和小扎说。
进入WSL运行脚本，噗，它跟我说找不到这个文件。大哥，我路径下用tab出来的文件名你说找不到，你是睁眼瞎啊。想了下以为是没权限，ls看一眼竟然所有文件都有x属性，那哥你是真瞎啊！

行吧，扔给AI工具转成py，再运行。
运行起来上来就让输入Email里面的连接，又去Meta官网申请，不厚道自称是个意大利的学生，获得了个邮件，链接有效时间24小时。
模型选了3.1的8B版本，选完模型还要输入modellist，看了下脚本，这里直接回车就行，上面选model的时候已经确定了modellist。看到文件夹里被下载的文件大小每次刷新都在变化，开心啊~ 等吧~
结果一下午没下完，每个大文件都是下到一部分然后就断了。脚本直接转的也没仔细看，没搞成端点续传。一下午停了下，停了下，几圈下来100G的流量给我干光了。
晚上直接干了个大容量的魔法瓶，继续干。

Ollama

等着的时候了解了一下Ollama，下来之后命令行下载模型，基本也是命令行互动。支持LobeChat,这个现在用的AI0x0这个工具也是用的这个，对话给机器人选个头像还会动，比较有喜感，回头try一下看能不能搞一个。

LM Studio

这东西UI看起来比较傻瓜一点，虽然命令行自己也搞得定，但是操作能傻瓜一点咱就不需要勤奋，等着干蓝屏的时候，也研究了一下这个。
打开以后首页上就有Llama3.18B的下载，但是点了之后下载失败。
查了一下说是huggingface.co这个访问不了。下载失败后，打开lmstudio路径，有个download.json文件，是用来记录当前下载的信息。把里面的huggingface.co全文替换成镜像hf-mirror.com，然后重新启动lmstutio，再重新启动下载，就好了。但是慢，且不能搜索。
今天早上偶然发美国人都睡觉的那个时间段，6点左右，原来huggingface.co的url不改也可以下载，而且lm studio也可以搜索。看来老美那边访问这东西的频率还是很大的。
用这个下载了Qwen1.5，Qwen2-7B,Llama3.1 8B三个，浅试了一下，回答问题生成代码都可以，还没法深度感受，后面再说。只是7B或者8B的性能感觉比我想的流畅性差了点。看了下电脑性能，双通道16G的内存在运行时基本是满的，3050的GPU（感谢自己为了玩游戏还买了个独显的笔记本）负载倒是没我想象的大。看来如果足够深入了还得生成双通道32G的（这笔记本最大也只能用32G了）。

IPV6

既然本地能运行，那似乎自己搞个AI助手是可行的，只是不想每天背着笔记本跑，内网穿透带宽带宽是个问题，最好是IPV6直接访问。
虽然去年我也看过家里的网络和公司的网络，都还不支持IPV6。但是今年不一样了，家里网络刚换了二手的华为Q6,也从前一家公司离职换了个新公司。抱着侥幸心理瞄了一眼。竟然家里公司都是IPV6网络优先。
你说，你就说，怎么忍得住不搞一下嘞？

域名

既然IPV6可行，那有没有可能搞个域名啥的省的每天都输IP？
瞄了一眼阿里云的域名，十几块钱一年啊！竟然这么便宜，我以为这玩意一年不得几百块。这么便宜还不整一个？
额~ 要实名审核，那去审吧，咱有时间~

第一天总结

这一天折腾的，到处碰壁，不停吐槽，不过总的来说还是有所收获的。
赶紧写完，结束摸鱼，回去工作