python-(6-5-3)爬虫---修改代码

news2024/9/20 5:46:22

文章目录

  • 一 事件背景
  • 二 系统给的代码
  • 三 改进措施
  • 四 改进后的代码

一 事件背景

本篇主要是生活分享。

公司研究了一个比较好玩的人工智能狗,我就想偷懒让它帮我写个代码,得到的漂亮小姐姐的照片,然后它还真的给我把代码弄出来了。

在这里插入图片描述

二 系统给的代码

代码的原文如下:

import requests
from bs4 import BeautifulSoup

target = 'https://www.umei.cc/meinvtupian/'
req = requests.get(url=target)
html = req.text
bf = BeautifulSoup(html)
imgs = bf.find_all('img', class_='lazy')

for img in imgs:
    url = img.get('data-original')
    print(url)

然后我试着跑了一下,执行结果如下图:

在这里插入图片描述

代码成功运行,而且也获取了我想要的那些图片的src地址。

虽然有一个警告提示信息,但是很容易解决。
将第七行括号后面加一个html.parser即可。

bf = BeautifulSoup(html,"html.parser")

也就是说,这段代码之前的步骤都是没有问题的。

三 改进措施

我们想要增加的功能,无非就是利用图片的src,然后直接下载保存到本地即可。

首先找到这些所有图片的src下载地址也就是变量imgs。在代码的最后,我们看到了将其遍历得到的每一个img,这些img就是每一张图片的下载地址。

接着找到每一张图片,下载后必然要为其命名,为了简单我们以/作为分隔符,将src最后面的字母数字编码作为每一张图片的名字。

然后,通过with open()函数,将文件下载到本地。

最后,记得关闭访问网站的请求连接。

四 改进后的代码

import requests
from bs4 import BeautifulSoup

target = 'https://www.umei.cc/meinvtupian/'
req = requests.get(url=target)
html = req.text
bf = BeautifulSoup(html,"html.parser")
imgs = bf.find_all('img', class_='lazy')

for img in imgs:
    url = img.get('data-original')
    # 得到每一张图片的名字
    name = url.split("/")[-1]
    # 得到每一张图片的下载地址
    resp = requests.get(url)
    # 将图片内容写入文件并保存至当前目录下的img/目录下
    with open("img/"+name,mode="wb") as f:
        f.write(resp.content)
    # 每张图片下载完成后,输出结果
    print(name,"is over!!!")

# 关闭访问请求的连接
req.close()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/102575.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

​九州一轨通过注册:计划募资6.57亿 京投公司为大股东

雷递网 雷建平 12月19日北京九州一轨环境科技股份有限公司(简称:“九州一轨”)日前通过注册,准备在科创板上市。九州一轨计划募资6.57亿元,其中,2.79亿元用于噪声与振动综合控制产研基地建设项目,1.43亿元用…

[附源码]计算机毕业设计Python飞越青少儿兴趣培训机构管理系统(程序+源码+LW文档)

该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程 项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等…

我的一周年创作纪念日

机缘 第一次写文章的时候,CSDN还是我平时课程设计的救星;第一次写文章的时候,还不知道有什么拿得出手、可以和大家分享的;第一次写文章的时候,幻想着自己一觉醒来就坐拥10w粉丝,哈哈哈。感谢自己曾经冒出的…

【实践】推荐、搜索、广告多业务多场景统一预估引擎实践与思考

省时查报告-专业、及时、全面的行研报告库省时查方案-专业、及时、全面的营销策划方案库【免费下载】2022年11月份热门报告盘点《底层逻辑》高清配图‍基于深度学习的个性化推荐系统实时化改造与升级.pdf推荐技术在vivo互联网商业化业务中的实践.pdf推荐系统基本问题及系统优化…

元认知神经网络与在线序贯学习(Matlab代码实现)

目录 💥1 概述 📚2 运行结果 🎉3 参考文献 👨‍💻4 Matlab代码 💥1 概述 文章包含用于实现自适应识别和控制的在线顺序学习算法、元认知神经网络和前馈神经网络的代码。这些方法也用于解决分类和时间序…

[附源码]计算机毕业设计Node.js仓库管理系统(程序+LW)

项目运行 环境配置: Node.js最新版 Vscode Mysql5.7 HBuilderXNavicat11Vue。 项目技术: Express框架 Node.js Vue 等等组成,B/S模式 Vscode管理前后端分离等等。 环境需要 1.运行环境:最好是Nodejs最新版,我…

【docker】CMD和ENTRYPOINT的区别

1、测试cmd #编写 dockerfile 文件 [rootkuangshen docekrfile]# vim dockerfile-cmd-test FROM centos CMD ["ls","-a"] #构建镜像 [rootkuangshen dockerfile]# docker build -f dockerfile-cmd-test -t cmdtest . #run运行,发现我们的ls -a …

你为什么一定要学Python?

我们为什么要学习Python? 在农业社会时,我们要学习驾驭马、驴、牛,让它们为我们出力、干活。 在工业社会时,我们要学会驾驭各种机器、火车、轮船、飞机、机床等等。 今天,我们要让机器听我们的指挥,我们就…

Python图像处理【5】图像扭曲/逆扭曲

图像扭曲/逆扭曲0. 前言1. 使用 scikit-image warp() 函数执行图像变换1.1 scikit-image warp() 函数原理1.2 利用 warp() 函数实现图像变换2. 漩涡变换详解2.1 旋涡变换原理2.2 使用 scikit-image warp() 实现旋涡变换2.3 使用 scipy.ndimage 实现漩涡变换3. 使用 scikit-imag…

3ds Max:加强型文本

3ds Max 中的加强型文本 TextPlus工具能够实现非常多的功能。在 3ds Max 中,加强型文本也是标准基本体。新建加强型文本后,可以看到其相关参数,在下方可以更改文本的内容外观。插值Interpolation步数Steps用来控制文本图形线段间的端点数&…

[附源码]计算机毕业设计Python高校流浪动物领养网站(程序+源码+LW文档)

该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程 项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等…

MySQL基础操作汇总(干货)

数据库操作: 1)创建数据库:create database数据库名; 2)查看所有数据库:show databases; 3)选中指定数据库:use 数据库名; 4)删除数据库: drop database数据库名; 数据表操作 1)创建表:create table表…

Mycat(7):分片详解之枚举

1 分片思路 打开rule.xml 文件,找到对呀的分片规则,如:sharding-by-intfile 标签含义: columns:代表数据库里面的字段名 algorithm:分片算法 找到rule.xml文件中的hash-int分片算法地址,指向文件partition-…

满大街都在叫我学Python,真有必要学吗?

前言 前一段时间在网上看到非常多的推广,无一例外都是分享自己学python的经历,告诉你自己学了之后,无一例外都是说找工作好找,需求多,2个小时的工作5分钟就做完了,找资料要30分钟,学会之后只要…

数据中心网络学习资料

目录 该文章持续更新,收集了一些比较好的与数据中心相关的文章和课程。 文章: 老网工:浅谈数据中心云网技术的历经风雨和演进:https://www.sdnlab.com/22920.html 数据中心网络架构浅谈(一):…

2022年seo优化怎么做:百度官方给出解答

最近百度搜索平台最近对站长圈部分站长进行了SEO、网络建站、搜索合作等方向的经验征集,2022年seo优化怎么做,对于站长们今年网站优化提供了新的思路,非常值得参考: 2022年对于SEO从业者而言,需要将更多的精力聚焦在流量的变化上,这可能是不平凡的一年,作为站长后续在网…

自动驾驶专题介绍 ———— 制动系统

制动系统 使行驶中的汽车减速甚至停车,使下坡行驶的汽车保持速度稳定,以及使已停驶的汽车保持不动,这些作用统称为汽车制动。而对汽车进行制动的外力来源则是制动系统。  制动系统由制动器和制动驱动机构构成。制动器是指产生阻碍车辆运动或…

微服务框架 SpringCloud微服务架构 微服务面试篇 54 微服务篇 54.8 Sentinel的限流与Gateway的限流有什么差别?

微服务框架 【SpringCloudRabbitMQDockerRedis搜索分布式,系统详解springcloud微服务技术栈课程|黑马程序员Java微服务】 微服务面试篇 文章目录微服务框架微服务面试篇54 微服务篇54.8 Sentinel的限流与Gateway的限流有什么差别?54.8.1 限流与常见 限…

dlib实现人脸识别+活体检测

目录: 一:dlib的shape_predictor_68_face_landmarks模型 二、眨眼检测 三、张口检测 四、眨眼检测张口检测 五、人脸识别 六、人脸识别活体检测 七、人脸识别破解方法 八、参考资料及下载 一:dlib的shape_predictor_68_face_landmarks模型 …

二、导入文献

导入文献 1.导入文献的方式 2.直接检索方式 (1)增加检索条件(最右侧): (2)设置逻辑关系(最左侧): (3)跨年度检索: 3.英…