【Python】爬虫实战01：获取豆瓣Top250电影信息

news2024/11/15 11:03:07

本文中我们将通过一个小练习的方式利用urllib和bs4来实操获取豆瓣 Top250 的电影信息，但在实际动手之前，我们需要先了解一些关于Http 请求和响应以及请求头作用的一些知识。

1. Http 请求与响应

HTTP（超文本传输协议）是互联网上应用最为广泛的协议之一，它定义了客户端（通常是浏览器）和服务器之间交换数据的格式和规则。以下是HTTP请求与响应结合实际情况的介绍：

1.1 Http 请求（Request）

1.1.1 请求的组成

一个HTTP请求通常包含以下几个部分：

  • 请求行：包括请求方法、URL和HTTP版本。
  • 请求头：包含关于客户端环境和请求本身的信息，如用户代理（User-Agent）、接受的内容类型（Accept）等。
  • 空行：用于分隔请求头和请求体。
  • 请求体（可选）：包含要发送给服务器的数据，如表单数据或JSON数据。
1.1.2 请求方法
  • GET：请求获取服务器上的资源。
  • POST：向服务器提交数据，通常用于提交表单或上传文件。
  • PUT：更新服务器上的资源。
  • DELETE：请求删除服务器上的资源。
1.1.3 实际应用

例如，当用户在浏览器中输入一个网址并按下回车时，浏览器会构造一个GET请求发送给服务器，请求头可能包含如下信息：

GET /index.html HTTP/1.1
Host: www.example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8

这个请求意味着客户端请求获取服务器上名为www.example.com的网站根目录下的index.html文件。

1.2 Http 响应（Response）

1.2.1 响应的组成

一个HTTP响应通常包含以下几个部分：

  • 状态行：包括HTTP版本、状态码和状态消息。
  • 响应头：包含服务器信息和资源信息，如内容类型（Content-Type）、内容长度（Content-Length）等。
  • 空行：用于分隔响应头和响应体。
  • 响应体：包含从服务器返回的资源内容。
1.2.2 状态码
  • 1xx：信息性状态码，如100 Continue。
  • 2xx：成功状态码，如200 OK。
  • 3xx：重定向状态码，如302 Found。
  • 4xx：客户端错误状态码，如404 Not Found。
  • 5xx：服务器错误状态码，如500 Internal Server Error。
1.2.3 实际应用

例如，当服务器收到上述GET请求后，可能会返回以下响应：

HTTP/1.1 200 OK
Content-Type: text/html; charset=UTF-8
Content-Length: 1250
<!DOCTYPE html>
<html>
<head>
    <title>Example Page</title>
</head>
<body>
    <h1>Welcome to Example.com</h1>
    <p>This is an example HTML page.</p>
</body>
</html>

这个响应意味着服务器成功找到了请求的资源，并在响应体中返回了该HTML页面的内容。

HTTP请求与响应是客户端和服务器间通信的基础，它们通过请求方法、状态码、头部字段等机制确保了信息的有效传递。在实际应用中，无论是网页浏览、API调用还是文件上传，都离不开HTTP协议的这些基本原理。

2. GET、POST与请求头

下面是使用Python的requests库发送GET请求和POST请求的简单示例。首先，确保你已经安装了requests库。如果没有安装，可以通过以下命令安装：

pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple

2.1 GET请求示例

2.1.1 不带请求头的 GET 请求
import requests
# 发送不带请求头的GET请求
response = requests.get('http://httpbin.org/get')
print(response.text)
2.1.2 带请求头的 GET 请求
import requests
# 定义请求头
headers = {
    'User-Agent': 'My Custom User Agent',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
}
# 发送带请求头的GET请求
response = requests.get('http://httpbin.org/get', headers=headers)
print(response.text)

2.2 POST请求示例

2.2.1 不带请求头的 POST 请求
import requests
# 发送不带请求头的POST请求
response = requests.post('http://httpbin.org/post', data={'key': 'value'})
print(response.text)
2.2.2 带请求头的 POST 请求
import requests
# 定义请求头
headers = {
    'User-Agent': 'My Custom User Agent',
    'Content-Type': 'application/x-www-form-urlencoded'
}
# 发送带请求头的POST请求
response = requests.post('http://httpbin.org/post', headers=headers, data={'key': 'value'})
print(response.text)

2.3 带请求头与不带请求头的区别

  1. 身份识别：请求头中的User-Agent字段可以帮助服务器识别发起请求的客户端类型（如浏览器、爬虫或其他应用程序）。如果不带请求头，服务器可能无法正确处理请求，或者将请求视为不合法的访问。
  2. 内容协商：请求头中的Accept字段告诉服务器客户端可以接收的内容类型。如果服务器支持多种内容类型，它将根据这个字段选择最合适的内容类型来响应。
  3. 数据格式：对于POST请求，请求头中的Content-Type字段指定了发送到服务器的数据格式。例如，如果发送的是JSON数据，通常需要将Content-Type设置为application/json。
  4. 安全性：一些API可能要求特定的请求头来进行认证或授权。如果不带这些请求头，API可能拒绝服务。(如豆瓣)
  5. 自定义行为：开发者可能需要发送自定义的请求头以触发服务器端特定的行为，如缓存策略、压缩格式等。
    不带请求头的请求在某些简单情况下可能仍然有效，但为了更好地控制请求行为和确保与服务器正确交互，通常建议在请求中包含适当的请求头。

3. 分析网页结构

在这里插入图片描述

  • 进入豆瓣排行榜网页后，我们右击 --> 检查 --> 元素 一栏中可以找到我们想要的信息

在这里插入图片描述

  • 在这里我们可以看到，我们需要的数据都是静态数据，直接嵌入在网页源代码里，我们只需对照相应的属性名进行获取即可，在找到我们想要的数据后，就可以着手写代码了。

4. 代码实现

话不多说，我们直接上代码

import random
import urllib.request
from bs4 import BeautifulSoup
import codecs
from time import sleep

"""
#	爬取豆瓣 TOP250 电影名称、链接、评分及影评
"""

def GetContent(url, headers):

    # 发送请求

    page = urllib.request.Request(url, headers=headers)

    page = urllib.request.urlopen(page)

    contents = page.read()

    # 用BeautifulSoup解析网页

    soup = BeautifulSoup(contents, "html.parser")

    infofile.write("")

    print('爬取豆瓣电影250: \n')


    for tag in soup.find_all(attrs={"class": "item"}):

        # 爬取序号

        num = tag.find('em').get_text()

        print(num)

        infofile.write(num + "\r\n")

        # 电影名称

        name = tag.find_all(attrs={"class": "title"})

        zwname = name[0].get_text()

        print('[中文名称]', zwname)

        infofile.write("[中文名称]" + zwname + "\r\n")

        # 网页链接

        url_movie = tag.find(attrs={"class": "hd"}).a

        urls = url_movie.attrs['href']

        print('[网页链接]', urls)

        infofile.write("[网页链接]" + urls + "\r\n")

        # 爬取评分和评论数

        info = tag.find(attrs={"class": "star"}).get_text()

        info = info.replace('\n', ' ')

        info = info.lstrip()

        print('[评分评论]', info)

        # 获取评语

        info = tag.find(attrs={"class": "inq"})

        if (info):  # 避免没有影评调用get_text()报错

            content = info.get_text()

            print('[影评]', content)

            infofile.write(u"[影评]" + content + "\r\n")

            print('')



if __name__ == '__main__':

    # 存储文件

    infofile = codecs.open("../Top250_Movies.txt", 'a', 'utf-8')

    # 消息头

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}

    # 翻页

    i = 0

    while i < 10:

        print('页码', (i + 1))

        num = i * 25  # 每次显示25部 URL序号按25增加

        url = 'https://movie.douban.com/top250?start=' + str(num) + '&filter='

        GetContent(url, headers)

        sleep(5 + random.random())

        infofile.write("\r\n\r\n")
		
        i = i + 1

    infofile.close()

爬取结果如下，爬取完的数据存放在Top250_Movies.txt文件中
在这里插入图片描述

如果需要获取其他的数据，可自行扩展

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1925027.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C#创建windows服务程序

C#创建windows服务程序

步骤 1: 创建Windows服务项目 打开Visual Studio。选择“创建新项目”。在项目类型中搜索“Windows Service”并选择一个C#模板&#xff08;如“Windows Service (.NET Framework)”&#xff09;&#xff0c;点击下一步。输入项目名称、位置和其他选项&#xff0c;然后点击“创…
阅读更多...
C++ | Leetcode C++题解之第232题用栈实现队列

C++ | Leetcode C++题解之第232题用栈实现队列

题目&#xff1a; 题解&#xff1a; class MyQueue { private:stack<int> inStack, outStack;void in2out() {while (!inStack.empty()) {outStack.push(inStack.top());inStack.pop();}}public:MyQueue() {}void push(int x) {inStack.push(x);}int pop() {if (outStac…
阅读更多...
秋招突击——7/9——MySQL索引的使用

秋招突击——7/9——MySQL索引的使用

文章目录 引言正文B站网课索引基础创建索引如何在一个表中查看索引为字符串建立索引全文索引复合索引复合索引中的排序问题索引失效的情况使用索引进行排序覆盖索引维护索引 数据库基础——文档资料学习整理创建索引删除索引创建唯一索引索引提示复合索引聚集索引索引基数字符串…
阅读更多...
网络安全——防御课实验二

网络安全——防御课实验二

在实验一的基础上&#xff0c;完成7-11题 拓扑图 7、办公区设备可以通过电信链路和移动链路上网(多对多的NAT&#xff0c;并且需要保留一个公网IP不能用来转换) 首先&#xff0c;按照之前的操作&#xff0c;创建新的安全区&#xff08;电信和移动&#xff09;分别表示两个外网…
阅读更多...
基础小波降噪方法（Python）

基础小波降噪方法（Python）

主要内容包括&#xff1a; Stationary wavelet Transform (translation invariant) Haar wavelet Hard thresholding of detail coefficients Universal threshold High-pass filtering by zero-ing approximation coefficients from a 5-level decomposition of a 16Khz …
阅读更多...
win10系统更新后无法休眠待机或者唤醒，解决方法如下

win10系统更新后无法休眠待机或者唤醒，解决方法如下

是否使用鼠标唤醒 是否使用鼠标唤醒 是否使用键盘唤醒
阅读更多...
【Java开发实训】day03——方法的注意事项

【Java开发实训】day03——方法的注意事项

目录 一、方法的基本概念 二、void和return关键字 三、单一返回点原则 四、static方法使用说明 &#x1f308;嗨&#xff01;我是Filotimo__&#x1f308;。很高兴与大家相识&#xff0c;希望我的博客能对你有所帮助。 &#x1f4a1;本文由Filotimo__✍️原创&#xff0c;首发于…
阅读更多...
《Windows API每日一练》9.25 系统菜单

《Windows API每日一练》9.25 系统菜单

/*------------------------------------------------------------------------ 060 WIN32 API 每日一练 第60个例子POORMENU.C&#xff1a;使用系统菜单 GetSystemMenu函数 AppendMenu函数 (c) www.bcdaren.com 编程达人 -------------------------------------------…
阅读更多...
Java02--基础概念

Java02--基础概念

一、注释 注释是在程序指定位置添加的说明性信息 简单理解&#xff0c;就是对代码的一种解释 1.单行注释 格式: //注释信息 2.多行注释 格式: /*注释信息*/ 3.文档注释 格式: /**注释信息*/ 注释使用的细节: 注释内容不会参与编译和运…
阅读更多...
九盾安防丨如何判断叉车是否超速？

九盾安防丨如何判断叉车是否超速？

在现代物流和生产流程中&#xff0c;叉车是提高效率和降低成本的关键工具。然而&#xff0c;叉车的高速行驶也带来了安全隐患&#xff0c;这就要求我们对其进行严格的安全管理。九盾安防&#xff0c;作为业界领先的安防专家&#xff0c;今天就为大家揭晓如何判断叉车是否超速&a…
阅读更多...
OpenCV距离变换函数distanceTransform的使用

OpenCV距离变换函数distanceTransform的使用

操作系统&#xff1a;ubuntu22.04OpenCV版本&#xff1a;OpenCV4.9IDE:Visual Studio Code编程语言&#xff1a;C11 功能描述 distanceTransform是OpenCV库中的一个非常有用的函数&#xff0c;主要用于计算图像中每个像素到最近的背景&#xff08;通常是非零像素到零像素&…
阅读更多...
VMware_centos8安装

VMware_centos8安装

目录 VMware Workstation Pro的安装 安装centos VMware Workstation Pro的安装 正版VMware 17百度网盘下载链接 (含秘钥) 链接&#xff1a;https://pan.baidu.com/s/16zB-7IAACM_1hwR1nsk12g?pwd1111 提取码&#xff1a;1111 第一次运行会要求输入秘钥 秘钥在上边的百度网盘…
阅读更多...
【Leetcode】最小数字游戏

【Leetcode】最小数字游戏

你有一个下标从 0 开始、长度为 偶数 的整数数组 nums &#xff0c;同时还有一个空数组 arr 。Alice 和 Bob 决定玩一个游戏&#xff0c;游戏中每一轮 Alice 和 Bob 都会各自执行一次操作。游戏规则如下&#xff1a; 每一轮&#xff0c;Alice 先从 nums 中移除一个 最小 元素&…
阅读更多...
docker安装nginx并配置https

docker安装nginx并配置https

参考 docker安装nginx并配置https-腾讯云开发者社区-腾讯云 (tencent.com) 证书的生成 参见&#xff1a;SpringBoot项目配置HTTPS接口的安全访问&#xff08;openssl配置&#xff09;_配置接口访问-CSDN博客 步骤 1: 拉取Nginx镜像 docker pull nginx 好使的镜像如下&#x…
阅读更多...
DockerCompose拉取DockerHub镜像，并部署OpenMetaData

DockerCompose拉取DockerHub镜像，并部署OpenMetaData

参考博主&#xff1a;http://t.csdnimg.cn/i49ET 一、DockerCompose拉取DockerHub镜像 方法一&#xff08;不太行&#xff09;&#xff1a; 在daemon.json文件中添加一些国内还在服务的镜像站&#xff08;可能某些镜像会没有&#xff09; ([ -f /etc/docker/daemon.json ] ||…
阅读更多...
RK3568笔记三十五：LED驱动开发测试

RK3568笔记三十五：LED驱动开发测试

若该文为原创文章&#xff0c;转载请注明原文出处。 字符设备驱动程序的基本框架&#xff0c;主要是如何申请及释放设备号、添加以及注销设备&#xff0c;初始化、添加与删除 cdev 结构体&#xff0c;并通过 cdev_init 函数建立 cdev 和 file_operations 之间的关联&#xff0c…
阅读更多...
每日一练：奇怪的TTL字段（python实现图片操作实战）

每日一练：奇怪的TTL字段（python实现图片操作实战）

打开图片&#xff0c;只有四种数字&#xff1a;127&#xff0c;191&#xff0c;63&#xff0c;255 最大数字为255&#xff0c;想到进制转换 将其均转换为二进制&#xff1a; 发现只有前2位不一样 想着把每个数的前俩位提取出来&#xff0c;组成新的二进制&#xff0c;然后每…
阅读更多...
Python中的数据容器及其在大数据开发中的应用

Python中的数据容器及其在大数据开发中的应用

在Python编程中&#xff0c;数据容器是存储和组织数据的基本工具。作为大数据开发者&#xff0c;了解并灵活运用各种容器类型对于高效处理大规模数据至关重要。今天&#xff0c;我们将从Set出发&#xff0c;探讨Python中的各种数据容器&#xff0c;以及它们在大数据处理中的应用…
阅读更多...
社交App iOS审核中的4.3问题：深入分析与解决策略

社交App iOS审核中的4.3问题：深入分析与解决策略

社交App审核中的4.3问题&#xff1a;深入分析与解决策略 在iOS应用开发和审核过程中&#xff0c;开发者经常会遇到苹果审核4.3问题。这一问题往往涉及应用的设计和内容重复性&#xff0c;导致应用被拒绝上架。为了帮助开发者更好地理解和解决这一问题&#xff0c;本文将对4.3问…
阅读更多...
基于复旦微JFMQL100TAI的全国产化FPGA+AI人工智能异构计算平台，兼容XC7Z045-2FFG900I

基于复旦微JFMQL100TAI的全国产化FPGA+AI人工智能异构计算平台，兼容XC7Z045-2FFG900I

基于上海复旦微电子FMQL45T900的全国产化ARM核心板。该核心板将复旦微的FMQL45T900&#xff08;与XILINX的XC7Z045-2FFG900I兼容&#xff09;的最小系统集成在了一个87*117mm的核心板上&#xff0c;可以作为一个核心模块&#xff0c;进行功能性扩展&#xff0c;能够快速的搭建起…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023