Python爬虫：原理与实战

news2024/12/28 3:38:37

引言

        在当今的信息时代，互联网上的数据如同浩瀚的海洋，充满了无尽的宝藏。Python爬虫作为一种高效的数据抓取工具，能够帮助我们轻松地获取这些数据，并进行后续的分析和处理。本文将深入探讨Python爬虫的原理，并结合实战案例，帮助读者快速掌握爬虫技术。

一、Python爬虫原理

1、爬虫是什么？

如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序。

从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用；

2、爬虫的基本流程

Python爬虫的核心原理是通过模拟浏览器的行为，自动访问目标网站，并抓取其中的数据。这个过程主要包括以下几个步骤：

  1. 发送请求：使用Python中的第三方库（如requests）向目标网站发送HTTP请求，获取网页的HTML代码。
  2. 解析网页：利用Python的解析库（如BeautifulSoup、lxml等）对获取的HTML代码进行解析，提取出所需的数据。
  3. 存储数据：将解析得到的数据存储到本地文件、数据库或其他存储介质中，以便后续分析和处理。

用户获取网络数据的方式：

方式1：浏览器提交请求--->下载网页代码--->解析成页面

方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2。

图片

1、发起请求

使用http库向目标站点发起请求，即发送一个Request

Request包含：请求头、请求体等 

Request模块缺陷：不能执行JS 和CSS 代码

2、获取响应内容

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

3、解析内容

解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等

解析json数据：json模块

解析二进制数据:以wb的方式写入文件

4、保存数据

数据库（MySQL，Mongdb、Redis）

文件

接下来，我们将通过一个实战案例来演示如何使用Python爬虫抓取目标网站的数据。

3、客户端HTTP请求格式

        在网络传输中HTTP协议非常重要，该协议规定了客户端和服务器端请求和应答的标准。HTTP协议能保证计算机正确快速地传输超文本文档，并确定了传输文档中的哪一部分，以及哪一部分内容首先显示（如文本先于图形）等。
根据HTTP协议的规定，客户端发送了一个HTTP请求到服务器的请求消息，由请求行、请求头部、空行以及请求数据四个部分组成。

下面结合一个典型的HTTP请求示例，详细介绍HTTP请求信息的各个组成部分：

Get https://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.7
Referer: https://www.baidu.com/link?url=8vUrPYDUaSkXWxUEOlT8QhvB5kMr1o6I27EP0NJICmG&wd=&eqid=e69078350001654000000003641051fc
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Cookie: BIDUPSID=498703BAB592E42B1A4200A2F69121AD; PSTM=1657099499; MCITY=-291%3A; BAIDUID=498703BAB592E42BC6776C4114ED28E6:SL=0:NR=10:FG=1; BD_UPN=12314753; BDUSS=J5OEFjZ3pBb05tR3QxNUo0TEVJdjVpYzQ5Q2FORC04TnlrMHhFYkhRMnNKeGxrRVFBQUFBJCQAAAAAAQAAAAEAAAAXv8pawrfIy73U1qpUYQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAKya8WOsmvFjLT; BDUSS_BFESS=J5OEFjZ3pBb05tR3QxNUo0TEVJdjVpYzQ5Q2FORC04TnlrMHhFYkhRMnNKeGxrRVFBQUFBJCQAAAAAAQAAAAEAAAAXv8pawrfIy73U1qpUYQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAKya8WOsmvFjLT;

（1）请求行
第一行为请求行，包含了请求的方法，URL地址和协议版本。GET是请求方法，https：//www.baidu.com是URL地址，HTTP/1.1指定了协议版本。
不同的请求方法含义不同，如下：

序号   方法   描述
1   GET   请求指定的页面信息，并返回实体主体
2   POST   向指定资源提交数据进行处理请求（如提交表单或者上传文件），数据被包含在请求体中。Post请求可能会导致新的资源的建立和已有资源的修改
3   HEAD   类似于GET请求，只不过返回的响应中没有具体的内容，用于获取报头
4   PUT   这种请求方式下，从客户端向服务器传送的数据取代指定的文档的内容
5   DELETE   请求服务器删除指定的页面
6   CONNECT   HTTP1.1协议中预留给能够将连接改为管道方式的代理服务器
7   OPTIONS   允许客服端查看服务器的性能
8   TRACE   回显服务器收到的请求，主要用于测试或诊断

 其中GET和POST请求最常用，区别在于：

GET是从服务器上获取指定页面信息，POST是向服务器提交数据并获取页面信息。

GET请求参数都显示在URL上，服务器根据该请求所包含URL中的参数来产生响应内容。由于请求参数都暴露在外，所以安全性不高。

POST请求参数在请求体中，消息长度没有限制而且采取隐式发送，通常用来向HTTP服务器提交量比骄大的数据（如请求中包含许多参数或者文件上传的操作）POST请求的参数不在URL中，而在请求体中，在安全性方面比GET请求要高。

（2）请求报头
请求行下是若干个请求报头，下面介绍常用的请求报头及含义：

Host（主机和端口号）：指定被请求的资源的Internet主机和端口号，对应网址URL中的Web名称和端口号，通常属于URL的Host部分。
Connection(连接类型）：表示客户端与服务端的连接类型。
Upgrade-Insecure-Requests(升级为HTTPS请求）：表示升级不安全的请求，会在加载HTTP资源时自动替换成HTTPS请求，让浏览器不再显示HTTPS页面中的HTTP请求警报。HTTPS时以安全为目标的HTTP通道，所以在HTTPS承载的页面上不允许出现HTTP请求，一旦出现就会提示或报错。
User-Agent(浏览器名称）：表示客户端身份的名称，通常页面会根据不同的User-Agent信息自动做出适配，甚至返回不同的响应内容。
Accept(传输文件类型）：指浏览器或其他客户端可以接受的MIME(Multipurpose Internet Mail Extensions,多用途因特网邮件扩展)文件类型，服务器可以根据他判断并返回适当的文件格式
Referer(页面跳转来源）：表明产生请求的网页来自于哪个URL，用户是从该Referer页面访问到当前请求的页面。这个属性可以用来跟踪Web请求来自哪个页面，是从什么网站下载下来的，有时下载某网站的图片时，需要对应的Referer，否则是无法下载图片，那是因为做了防盗链。原理就是根据Referer去判断URL是否是本网站的地址，如果不是，则拒绝，如果是，就可以下载。

4. 服务器HTTP响应格式

HTTP响应报文由四部分组成，分别是状态行，响应报头，空行和响应正文。

响应状态码
响应状态码由3位数字组成，其中第一位数字定义了响应的类别，有5种可能取值，常见的响应状态码如下：
100~199：表示服务器成功接收部分请求，要求客户端继续提价奥其余请求才能完成整个处理过程。
200~299：表示服务器成功接受请求并已完成整个处理过程。常用的状态码为200（表示OK，请求成功）。
200~399：为完成请求，客户需进一步细化请求。例如，请求的资源已经移动到一个新的地址。常用状态码包括302（表示所请求的页面已经临时转移至新的URL）、307和304（表示使用缓存资源）。
400~499：客户端的请求有错误，常用状态码包括404（表示服务器无法找到被请求的页面）和403（表示服务器拒绝访问，权限不够）。
500~599：服务器端出现错误，常用的状态码为500（表示请求未完成，服务器遇到不可预知的情况）。
 

二、Python爬虫实战

2、实战案例：抓取豆瓣电影Top250榜单

1. 发送请求

首先，我们需要向豆瓣电影Top250榜单的URL发送请求，获取网页的HTML代码。这里我们使用requests库来实现：

import requests  
  
url = 'https://movie.douban.com/top250'  
headers = {  
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}  
response = requests.get(url, headers=headers)  
html = response.text
2. 解析网页

接下来，我们需要对获取的HTML代码进行解析，提取出电影榜单的数据。这里我们使用BeautifulSoup库来实现：

from bs4 import BeautifulSoup  
  
soup = BeautifulSoup(html, 'lxml')  
movie_list = soup.find_all('div', class_='item')  
  
for movie in movie_list:  
    title = movie.find('span', class_='title').text  
    info = movie.find('p').text.strip().split('\n')  
    rating_num = float(movie.find('span', class_='rating_num').text)  
    print(f'标题：{title}')  
    print(f'信息：{info}')  
    print(f'评分：{rating_num}')  
    print('----')
3. 存储数据

最后，我们可以将解析得到的数据存储到本地文件中，以便后续分析和处理：

with open('douban_top250.txt', 'w', encoding='utf-8') as f:  
    for movie in movie_list:  
        title = movie.find('span', class_='title').text  
        info = movie.find('p').text.strip().split('\n')  
        rating_num = float(movie.find('span', class_='rating_num').text)  
        f.write(f'标题：{title}\n')  
        f.write(f'信息：{info}\n')  
        f.write(f'评分：{rating_num}\n')  
        f.write('----\n')
三、注意事项与总结

在使用Python爬虫时，我们需要注意以下几点：

  1. 遵守robots.txt协议：在爬取网站数据时，要遵守目标网站的robots.txt协议，避免对网站造成不必要的负担。
  2. 设置合理的请求频率和间隔时间：为了避免对目标网站造成过大的压力，我们需要设置合理的请求频率和间隔时间。
  3. 处理反爬虫机制：一些网站会采用反爬虫机制来防止数据被抓取，我们需要采取相应的措施来绕过这些机制。
  4. 尊重数据版权：在爬取和使用数据时，要尊重数据的版权和隐私，避免侵犯他人的权益。

总结来说，Python爬虫是一种强大的数据抓取工具，通过掌握其原理和实战技巧，我们可以轻松地获取互联网上的数据，并进行后续的分析和处理。然而，在使用爬虫时，我们也需要遵守相关的规定和注意事项，确保数据的合法性和安全性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1520770.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

中国首个基于区块链的分布式算力网络上线

中国首个基于区块链的分布式算力网络上线

随着美国人工智能公司OpenAI近期发布的Sora视频模型，全球对高性能算力的需求突破了历史新高。Sora的创新在于它能够以超长生成时间、多角度镜头捕捉，理解物理世界的能力，这不仅是技术的一大突破，更是对算力需求的一大挑战。在这样…
阅读更多...
VS2022开发上位机流程

VS2022开发上位机流程

1、生成串口调试助手的主要控件 2、生成串口对象 3、书写代码 3.1 串口的选择 跳转到图形化界面，然后双击空白位置，会自动生成From1_Load,此函数的作用是会更新串口的选择，然后加入代码，combox控件就可以识别串口 /* 新增自定义…
阅读更多...
微信小程序云开发教程——墨刀原型工具入门（表单组件）

微信小程序云开发教程——墨刀原型工具入门（表单组件）

引言 作为一个小白，小北要怎么在短时间内快速学会微信小程序原型设计？ “时间紧，任务重”，这意味着学习时必须把握微信小程序原型设计中的重点、难点，而非面面俱到。 要在短时间内理解、掌握一个工具的使用&#xf…
阅读更多...
deepin23beta中SQLite3数据库安装与使用

deepin23beta中SQLite3数据库安装与使用

SQLite 是一个嵌入式 SQL 数据库引擎，它实现了一个自包含、无服务器、零配置、事务性 SQL 数据库引擎。 SQLite 的代码属于公共领域，因此可以免费用于任何商业或私人目的。 SQLite 是世界上部署最广泛的数据库，其应用程序数量之多&#xff0c…
阅读更多...
编译原理-实现识别标识符的词法分析器——沐雨先生

编译原理-实现识别标识符的词法分析器——沐雨先生

实验任务： 实现识别标识符的词法分析器 实验要求： 根据编译原理理论课教材中图2.3“标识符的转换图”，用C语言编写识别标识符的词法分析器，以文本文件为输入，控制台（或文件）输出识别出的每个…
阅读更多...
别忽视平台的重要性

别忽视平台的重要性

目录 前言： 与谁在一起，真的很重要 别把运气当才华，别把平台当本事 珍惜平台，用好平台 前言： 对于做技术开发的人来说，一头扎进技术里面去固然重要，但是很多时候，也要看看人际交…
阅读更多...
springboot“爱相连”儿童慈善管理系统的设计与实现

springboot“爱相连”儿童慈善管理系统的设计与实现

摘要 随着网络科技的不断发展以及人们经济水平的逐步提高，网络技术如今已成为人们生活中不可缺少的一部分，而信息管理系统是通过计算机技术，针对用户需求开发与设计，该技术尤其在各行业领域发挥了巨大的作用，有效地促…
阅读更多...
webpack5零基础入门-8清空前次打包文件与处理图标字体资源

webpack5零基础入门-8清空前次打包文件与处理图标字体资源

1.配置output中的clean属性为true output: {/**文件输出路径 绝对路径*///__dirname 表示当前文件的文件夹目录path: path.resolve(__dirname, dist),//所有文件的输出目录/**文件名 */filename: static/js/dist.js,//入口文件输出文件名clean: true,//在打包前将path整个目录内…
阅读更多...
Cesium 显示实时鼠标位置和视角信息

Cesium 显示实时鼠标位置和视角信息

根据鼠标移动的位置计算鼠标所在位置的经纬度 监听视角变化情况显示视高、方位角、俯仰角 监测底图切片等级来显示当前地图缩放等级 showMapData() {let _this thislet handler new Cesium.ScreenSpaceEventHandler(viewer.scene.canvas)handler.setInputAction(function (mo…
阅读更多...
Soft Robotics 变结构手掌和变刚度手指的仿人软体手的人机交互操作-武科大ESIR课题组师兄成果

Soft Robotics 变结构手掌和变刚度手指的仿人软体手的人机交互操作-武科大ESIR课题组师兄成果

一、引言 在当今的机器人技术领域，人类对机器人的需求日益增长，涉及到工业生产、医疗护理、服务业等各个领域。然而，由于任务的多样性和复杂性，单独依靠自主机器人操作往往难以满足实际需求。为了解决这一问题，人机协作…
阅读更多...
软件设计和体系结构

软件设计和体系结构

软件设计和体系结构 一、引言 软件 定义：一系列按照特定顺序组织的计算机数据、指令的集合 特点： 软件不是生产制造，是设计开发软件不会磨损和老化软件需要根据实际情况进行定制开发 软件设计的基本原则 抽象方法 过程抽象：是指…
阅读更多...
【物联网】Modbus 协议及Qinghub物联网平台应用

【物联网】Modbus 协议及Qinghub物联网平台应用

Modbus 协议简介 QingHub设计器在设计物联网数据采集时不可避免的需要针对Modbus协议的设备做相关数据采集，这里就我们的实际项目经验分享Modbus协议 你可以通过QingHub作业直接体验试用，也可以根据手册开发相应的代码块。 qinghub项目已经全面开源。 …
阅读更多...
从 VNCTF2024 的一道题学习QEMU Escape

从 VNCTF2024 的一道题学习QEMU Escape

说在前面 本文的草稿是边打边学边写出来的，文章思路会与一个“刚打完用户态 pwn 题就去打 QEMU Escape ”的人的思路相似，在分析结束以后我又在部分比较模糊的地方加入了一些补充，因此阅读起来可能会相对轻松。（当然也不排除这是…
阅读更多...
数据结构知识点总结00-知识点目录

数据结构知识点总结00-知识点目录

专栏主页： 数据结构算法程序设计基础C语言知识点总结https://blog.csdn.net/seeker1994/category_12585732.html C语言知识点总结00-C语言知识点目录 最优算法100例00-最优算法100例目录 ...... 数据结构知识点目录 要求： （1&#xff…
阅读更多...
什么蓝牙耳机最好？2024年五大优质品牌机型，真实评测助你决策

什么蓝牙耳机最好？2024年五大优质品牌机型，真实评测助你决策

​随着科技的进步，无线蓝牙耳机已经取代了传统的有线耳机，成为新的趋势。尽管无线蓝牙耳机种类繁多，挑选合适的款式并不容易。我整理了几款表现不错的蓝牙耳机，希望这篇文章能帮助你找到适合自己的真无线蓝牙耳机。 一、挑选蓝牙耳…
阅读更多...
C语言中，可以在子函数中动态申请一个指向二维数组的内存给调用函数使用么——看ChatGPT的回答——

C语言中，可以在子函数中动态申请一个指向二维数组的内存给调用函数使用么——看ChatGPT的回答——

下面是ChatGPT的回答&#xff0c;太专业了&#xff0c;比网上查的资料都好很多可能。 是的&#xff0c;可以在子函数中动态申请一个指向二维数组的内存&#xff0c;然后将其传递给调用函数使用。在C语言中&#xff0c;可以通过以下方式实现&#xff1a; #include <stdio.h…
阅读更多...
英国伦敦交易所股票清单列表数据API接口

英国伦敦交易所股票清单列表数据API接口

# Restful API https://tsanghi.com/api/fin/stock/XLON/list?token{token}更新时间&#xff1a;收盘后3~4小时。 更新周期&#xff1a;每天。 请求方式&#xff1a;GET。 # 测试&#xff1a;返回不超过10条数据&#xff08;2年历史&#xff09; https://tsanghi.com/api/fin/…
阅读更多...
IO Watch：用 Arduino UNO 制造的可编程手表

IO Watch：用 Arduino UNO 制造的可编程手表

MAKER:mblaz／译：趣无尽 Cherry（转载请注明出处） 关于手表的项目，之前我们已经介绍过一款《Arduino + 3D 打印 DIY 电子手表》。本期的项目同样的一款基于 Arduino UNO 的可编程的手表，相比之下制造门槛更高一些。同时它更成熟、实用，外形也很有设计感，非常的漂亮！ 这…
阅读更多...
TEAM标签管理体系是什么？如何进行数据权益的保护？

TEAM标签管理体系是什么？如何进行数据权益的保护？

TEAM标签管理体系是什么&#xff1f;如何进行数据权益的保护&#xff1f; 导读一、数据权益保护的难点及解决思路二、数据权益保护的“TEAM”管理体系1、Tagging&#xff08;打标&#xff09;&#xff1a;为数据资源提供全生命周期跟踪保护2、Ensuring&#xff08;保障&#xf…
阅读更多...
将复数的实部和虚部或数值的符号都取反operator.neg(num)

将复数的实部和虚部或数值的符号都取反operator.neg(num)

【小白从小学Python、C、Java】 【计算机等考500强证书考研】 【Python-数据分析】 将复数的实部和虚部 或数值的符号都取反 operator.neg(num) [太阳]选择题 关于operator.neg()的功能说法正确的是&#xff1f; import operator print("【执行】operator.neg(34j)"…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023