本篇文章给大家谈谈python自动下载文件 下载的不完整,以及python登录网站自动下载文件,希望对各位有所帮助,不要忘了收藏本站喔。
问题描述
Python自动下载文件,通用文件,包括但不限于压缩文件、图片等。
解决方法
一般情况下,Python下载文件的方式有以下几种:
利用urllib、urllib2,即Python爬虫用的最多的库;
import urllib
import urllib2
import requests
url = "你的下载链接"
urllib.urlretrieve(url, demo.zip)
urllib.urlretrieve(url, demo.zip)这个函数还可以接受另外一个参数,比如这样用:
urllib.urlretrieve(url,local,Schedule),其中Schedule为:
def Schedule(a,b,c):
'''''
a:已经下载的数据块
b:数据块的大小
c:远程文件的大小
'''
per = 100.0 * a * b / c
if per > 100 :
per = 100
print '%.2f%%' % per
这样程序可以即时打印出下载的进度怎么用python画五瓣花朵。
利用urllib2.urlopen(url);
import urllib2
print downloading with urllib2
url = "您的链接"
f = urllib2.urlopen(url)
data = f.read()
with open ("demo2.zip", "wb" ) as code:
code.write(data)
利用requests,划重点,我女神推荐的!
import requests
url = "您的链接"
r = requests.get(url)
with open ("demo3.zip", "wb") as code:
code.write(r.content)
这三种下载方式一般都可以,根据自己的喜好选择。
问题升级
第一次下载下来的文件仔细看发现,这是一个请求登录的表单:
Earthdata Login
Earthdata Login
于是手动复制地址到浏览器,跳转到EARTHDATA的登录页
跳转到的登录页.png果断申请账号登录。
问题解决,Python携带cookie下载文件
登录之后,跳转至下载链接,发现文件可以正常下载。
打开https://n5eil01u.ecs.nsidc.org,在页面打开调试模式(F12),选择Console,输入document.cookie,可以看到自己登录之后的Cookie:
如何获取网站的cookie.png那么剩下的就是下载了,用了女神推荐的函数:
第一种
# --------------------第一种:使用headers携带cookie-----------------------------
# coding = utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64),
'Cookie':'_ga=GA1.2.1096053304.1523154394; googtrans=/en/zh-CN; _ceg.s=p6uhnx; _ceg.u=p6uhnx',
}
# 发起请求,获取二进制数据
html_str = requests.get(url,headers=headers).content
# 写入文件,采用二进制写入文件
with open('路径/文件名.后缀','wb') as f:
f.write(html_str)
第二种
# --------------------第二种:在requests直接携带--------------------------------
# coding = utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
}
# cookies = {你的cookies,这里必须是以键值对,也就是字典的形式}
cookies = {"_ga": "GA1.2.1096053304.1523154394", "googtrans": "/en/zh-CN", "_ceg.s": "p6uhnx", "_ceg.u": "p6uhnx", " CIsForCookie_OPS": "Wss4tcCozd0AANFW49YAAABM"}
# 发起请求,获取二进制数据
html_str = requests.get(url,headers=headers,cookies = cookies).content
# 写入文件,采用二进制写入文件
with open('路径/文件名.后缀','wb') as f:
f.write(html_str)
最后成功的下载了文件。
Python大法系列文章