下载大模型,保存阿里云盘

news2025/2/27 23:20:14

一、解决场景

下载模型或数据集,到国内云GPU平台、阿里云盘(便于持久化储存,或者分享朋友)。

及时收藏,下次还能找到!

二、优势

此方法可以避免大文件下载到本地——占用内存,受到小带宽网络的限制。

三、使用工具

大带宽服务器:这个服务器何必你自己的服务器🐶

本期所使用的服务器在下面的表格之中

  • 除AutoDL外,其余的都是的GPU学习打榜平台,可以免费使用GPU,由于我们操作只涉及文件的上传下载,所以尽量不要占用GPU资源,选择cpu环境即可。只要你不用GPU,不就相当于一个linux的服务器,且它们的带宽相当大。
  • 对于部分学习平台,磁盘限制并不严格,可以使用命令查看
# 查看所有挂载磁盘
df -hl
查看某目录挂载磁盘
df -h /绝对路径

四、使用方法

下载模型

1. 从魔搭社区(modelscope)下载模型

速度对比

我们,以下载stable-diffusion-v1-4为例,模型大小在11G左右(再大的文件逐个平台测试有点浪费时间),测试模型下载到平台指定目录所花费的时间,测试时段在晚上,由于网速波动受影响一因素较多,测试结果仅对本次结果有效!

  • 函数使用(cache_dir为指定目录)
#模型下载,出现代码错误,请卸载modelscope重装
from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/stable-diffusion-v1-4', cache_dir='/mnt/workspace', revision='master')
  • 结果比较
平台cpu环境特点时间
魔搭社区 免费 8h 32g单次最长运行10小时,磁盘限制90G左右1分22秒
阿里天池社区 免费 2h4g单次运行时长最大9小时1分36秒
百度 AIstudio 免费 2h8g没有sudo密码2分49秒
中国移动 九天毕昇 8h32g磁盘200G限制4分50秒
CSDN Inscode 免费1h1g磁盘挂载>700G较慢
AutoDL ,0.5h2g,0.1元/h免费50g磁盘5分20秒
本地完全取决你你的下载速度

2. 从huggingface下载

from huggingfacehub import snapshotdownload
snapshotdownload(repoid='CompVis/stable-diffusion-v1-4', 
                 repotype='model', 
                 localdir='./modeldir', 
                 resumedownload=True)

平台带宽肯定是足够的,但是明显从huggingface上下载没那么快了,这一部分取决于你代理服务器的速度了,如何使用,请查看第3部分。

代理速度因人而异,这里不详细测试

平台cpu环境限制时间
魔搭社区 免费 8h 32g单次最长运行10小时,内存挂载90G左右5分40秒
阿里天池社区 免费 2h4g单次运行时长最大9小时4分10秒
百度 AIstudio 免费 2h8g没有开放sudo权限,无法开代理

3. 参考项目

这里自行去github搜索,Elegycloud大佬的项目

保存模型

基于上面的介绍,下载到平台之后,如果不使用对应平台来进行学习,可以保存下来。

这里就没办法逐个平台列个表格对比测试了,因为这个比较热门的模型,只要别人上传过,再次上传阿里云盘,几乎就是秒传,上传速度大家自己测试。

1. 保存到百度网盘

找了一圈,关于百度网盘API开发的项目不多,找到这个,但是我试用下来感觉不是很好用。项目地址

2. 保存阿里云盘

相比之下,即使阿里云盘没有vip,现阶段还是挺好用的。这是个不带图形化的项目。

wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.8/aliyunpan-v0.2.8-linux-386.zip

unzip aliyunpan-v0.2.8-linux-386.zip

cd aliyunpan-v0.2.8-linux-386

./aliyunpan

login  # RefreshToken 获取方法见原项目

登录阿里云盘,浏览器-右键检查或者按F12,按照步骤获取

在这里插入图片描述

  • 下载文件/ 文件夹
ls # 可查看云盘文件
download 云盘绝对路径
  • 上传文件
upload 服务器的文件或文件夹的绝对路径或相对路径 云盘的绝对路径

写在最后

👍🏻点赞,你的认可是我创作的动力!
⭐收藏,你的青睐是我努力的方向!
✏️评论,你的意见是我进步的财富!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1347015.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot定时监听RocketMQ的NameServer

问题分析 自己在测试环境部署了RocketMQ,发现namesrv很容易挂掉,于是就想着监控,挂了就发邮件通知。查看了rocketmq-dashboard项目,发现只能监控Broker,遂放弃这一路径。于是就从报错的日志入手,发现最终可…

vue整理面试题

1. v-if/v-show的区别? v-if"表达式" 当表达式值true,v-if所作用的元素显示 否则隐藏 v-show"表达式" 当表达式值true,v-if所作用的元素显示 否则隐藏 理解: v-if控制元素显示与隐藏,通过js创建dom元素或删除…

用通俗易懂的方式讲解大模型:ChatGLM3-6B 部署指南

最近智谱 AI 对底层大模型又进行了一次升级,ChatGLM3-6B 正式发布,不仅在性能测试和各种测评的数据上有显著提升,还新增了一些新功能,包括工具调用、代码解释器等,最重要的一点是还是保持 6B 的这种低参数量&#xff0…

阿里员工:本月收入489325元,开心过年

阿里员工:本月收入489325元,开心过年 近日,一名阿里员工在社交媒体上爆料自己的本月收入,竟然高达48.9万,真是让人目瞪口呆。 震惊之余,大家都很好奇这么高收入是怎么来的,再仔细看工资单&…

C++初阶——基础知识(内联函数)

目录 1.内联函数 内联函数的示例代码 1.内联函数 是一种 C 中的函数定义方式,它告诉编译器在每个调用点上插入函数体的副本,而不是像普通函数那样在调用时跳转到函数体所在的地址执行。这样可以减少函数调用的开销,提高程序的执行效率。 …

【算法】数论---欧拉函数

什么是欧拉函数? 对于正整数n,欧拉函数是小于或等于n的正整数中与n互质的数的数目,记作φ(n) φ(1)1 当m,n互质时,φ(mn)φ(m)∗φ(n) 一、求一个正整数的欧拉函数---(先对它分解质因数,然后套公式&#xf…

子网划分问题(实战超详解)_主机分配地址

文章目录: 子网划分的核心思想 第一步,考虑借几位作为子网号 第二步,确定子网的网络地址 第三步,明确网络地址,广播地址,可用IP地址范围 一些可能出现的疑问 实战 题目一 子网划分的核心思想 网络号不变,借用主机号来产生新的网络 划分前的网络:网络号主机号 划分后的网络:原网…

SpringBoot 一个注解实现数据脱敏

什么是数据脱敏 数据脱敏是指对某些敏感信息,例如姓名、身份证号码、手机号、固定电话、银行卡号、邮箱等个人信息,通过脱敏算法进行数据变形,以保护敏感隐私数据。 数据脱敏通常涉及以下几种主要方法: 替换: 将原始…

【量化】蜘蛛网策略复现

文章目录 蜘蛛网策略研报概述持仓数据整理三大商品交易所的数据统一筛选共有会员清洗数据计算研报要求数据全部代码 策略结果分析无参数策略有参数策略正做反做 MSD技术指标化 蜘蛛网策略 策略来自《东方证券-股指期货趋势交易之蜘蛛网策略——从成交持仓表中捕捉知情投资者行为…

Blender:从新手到专家的全方位指南

Blender,这款强大的开源3D建模和渲染软件,已经成为了CG行业的标准工具之一。它不仅拥有丰富的教程资源,而且还在不断发展和完善中。尽管Blender的教程主要集中在国外网站和YouTube上,但其全面的功能和易用性使它成为许多人的首选工…

电子邮件地址填写指南:格式与常见问题解答

一个专业的电子邮件地址是一个你只用于工作目的的通信帐户。当你给收件人发送电子邮件时,这是他们最先看到的细节之一。无论你的职位或行业如何,拥有一个专业的电子邮件地址都可以提高你和所在公司的可信度。 在本文中我们解释了专业的电子邮件地址是什么…

python基础-01

文章目录 前言一、python中的注释二、变量的数据类型1.Number(数字)2.Boolean(布尔类型)—— True 和 False3.String(字符串)4.List(列表)5.Tuple(元组)6.Dic…

wordpress日主题模版Ripro-v5 6.4开心版

RiPro主题全新V5版本,(原RiPro v2旧版已停更)是一个优秀且功能强大、速度极快,易于管理、现代化的WordPress虚拟资源商城主题。支持首页模块化布局和WP原生小工具模块化首页可拖拽设置,让您的网站设计体验更加舒适。同…

Mastercam各版本安装指南

Mastercam下载链接 https://pan.baidu.com/s/1OldNR0ERqJFrEN24uu3j0Q?pwd0531 1.鼠标右击【Mastercam2024(64bit)】压缩包(win11及以上系统需先点击“显示更多选项”)【解压到 Mastercam2024(64bit)】。 2.打开解压后的文件夹,鼠标右击【…

LVS那点事

LVS 原理 IPVS LVS 的 IP 负载均衡技术是通过 IPVS 模块来实现的,IPVS 是 LVS 集群系统的核心软件,它的主要作用是:安装在 Director Server 上,同时在 Director Server 上虚拟出一个 IP 地址,用户必须通过这个虚拟的…

算法基础之滑雪

滑雪 核心思想&#xff1a;记忆化搜索 状态表示&#xff1a; f[i][j] 表示所有从(i,j) 开始滑的路径的最大值 状态计算&#xff1a; 分成四个方向 f[i][j] max(f[i][j] , f[i][j1] 1) 且h[a][b] (下一个点) 必须严格小于 h[i][j] 才能滑过去 #include<iostream>#…

从仿写持久层框架到MyBatis核心源码阅读

接上篇手写持久层框架&#xff1a;https://blog.csdn.net/liwenyang1992/article/details/134884703 MyBatis源码 MyBatis架构原理&主要组件 MyBatis架构设计 MyBatis架构四层作用是什么呢&#xff1f; API接口层&#xff1a;提供API&#xff0c;增加、删除、修改、查询…

20231228在Firefly的AIO-3399J开发板的Android11的挖掘机的DTS配置单前置摄像头ov13850

20231228在Firefly的AIO-3399J开发板的Android11的挖掘机的DTS配置单前置摄像头ov13850 2023/12/28 10:42 【碰到一个很神奇的问题】&#xff1a; 昨天晚上前置摄像头怎么也点不亮&#xff01;改了巨多的地方&#xff01;晚上睡觉之前把开发板彻底断电了&#xff01;今天开电脑…

SLAM学习入门--机器学习

文章目录 机器学习逻辑回归&#xff08;LR&#xff09;基本原理为什么 LR 要使用 sigmoid 函数&#xff1f;LR 可以用核函数么&#xff1f;为什么 LR 用交叉熵损失而不是平方损失&#xff1f;LR 能否解决非线性分类问题&#xff1f;LR为什么要离散特征&#xff1f;逻辑回归是处…

51和32单片机读取FSR薄膜压力传感器压力变化

文章目录 简介线性电压转换模块51单片机读取DO接线方式51代码实验效果 32单片机读取AO接线方式32代码实验效果 总结 简介 FSR薄膜压力传感器是可以将压力变化转换为电阻变化的一种传感器&#xff0c;单片机可以读取然后作为粗略测量压力&#xff08;仅提供压力变化&#xff0c;…