『Python爬虫』极简入门

news2024/11/22 7:08:15

本文简介

点赞 + 收藏 + 关注 = 学会了

声明：请勿使用爬虫技术获取公民隐私数据、±数据以及企业或个人不允许你获取的数据。

本文介绍如何使用 Python 写一只简单的爬虫，作为入门篇，这个程序不会很复杂，但至少可以讲明爬虫是个什么东西。

写一个爬虫程序其实很简单，从整体来看只需3步：

发起网络请求，获取网页内容。
解析网页的内容。
储存数据，或者拿来做数据分析。

但第三步其实已经不属于“爬”这个动作了，所以本文只介绍前2步。至于第三步存储数据，之后会写几篇文章讲讲 Python 如何操作数据库，之后也会介绍 Python 热门的数据分析工具（先画个饼）。

动手操作

十个教爬虫，九个爬豆瓣。注意，本文只是拿豆瓣来举例，你可不要真的24小时一直在爬它呀。

发起网络请求

在 Python 中要发起网络请求，可以使用 requests 。

如果还没安装 requests 可以用以下命令安装

pip install requests

然后引入使用

import requests

我要获取豆瓣电影Top250的数据，电影Top250的页面地址是 https://movie.douban.com/top250。可以用 get 请求。

res = requests.get("https://movie.douban.com/top250")
print(res)

上面这段代码的意思是通过 requests.get 发起 get 请求，并把结果输出看看。

看到输出结果的状态码是 418，表示豆瓣的服务器不想理你。

出现这种情况的原因是豆瓣只想服务用浏览器访问的用户，你通过写代码的方式来访问它就不想鸟你了。

于是我们可以通过请求头模拟自己是浏览器。打开浏览器，按F12，切换到Network，然后刷新一下页面。之后随便点一个请求，把它的 User-Agent 的值复制下来。

在使用 requests 发起请求时在 headers 里把 User-Agent 的值带上。

# 获取数据
headers = {"User-Agent": "你的 User-Agent"}
res = requests.get("https://movie.douban.com/top250", headers=headers)

print(res)

此时状态码返回 200 证明成功了。

除了 200 可能还有其他状态码是表示成功的，如果要逐一判断是比较麻烦的。requests 的返回值里提供了一个 .ok 的属性帮助我们快速判断响应内容是否获取成功。

# 省略前面的代码...

print(res.ok)

如果 res.ok 返回 Treu 就表示响应成功。

然后我们看看返回的内容是什么，可以查看 .text 。

if (res.ok):
    print(res.text)

返回的是这个页面的 HTML 内容。到此，我们获取这个页面的数据已经成功了。接下来要做的就是解析这个页面的数据。

解析网页内容

本文介绍一个很简单的解析网页元素的工具，叫 Beautiful Soup 中文名叫“靓汤”，广东人最爱。

在写本文时，Beautiful Soup 已经出到第4版了。

Beautiful Soup官网
Beautiful Soup文档

要安装 Beautiful Soup 可以使用下面这条命令。

pip install beautifulsoup4

然后引入使用。我们接回上面的内容

from bs4 import BeautifulSoup
import requests

# 获取数据
headers = {"User-Agent": "你的 User-Agent"}
res = requests.get("https://movie.douban.com/top250", headers=headers).text

print(res)

此时输出的内容是

看红色箭头指向的那句就是电影名了。<span class="title">霸王别姬</span>

这个电影名用 span 标签包裹着，而且它的 class 是 title。

于是我们可以使用 BeautifulSoup 的 findAll 找到所有符合 class 为 title 的 span 元素。

# 省略部分代码

# 把内容丢给 BeautifulSoup 解析
soup = BeautifulSoup(res, "html.parser")
# 使用 findAll 找到所有 class 为 title 的 span 元素
all_films = soup.findAll("span", attrs={"class": "title"})
print(all_films)

输出的结果如下图所示：

这样就把本页符合规则的标签都整理出来了。

BeautifulSoup 第一个参数是要解释的内容，第二个参数 html.parser 是告诉 BeautifulSoup 要解析的是 HTML 内容。

接下来我们可以使用 for 循环把这些标签逐个输出，并使用 .string 属性把标签里的字符串提取出来。

for film_name in all_films:
  print(film_name.string)

问题来了，为什么有些电影名前面有斜杠，有些又没有斜杠？

打开网页看源码，电影名的别名是用斜杠分隔的，而且它们都符合 <span class="title"> 这个规则。

所以我们在遍历的时候可以将不含斜杠的电影名提取出来。

for film_name in all_films:
    if '/' not in film_name.string:
        print(film_name.string)

但这电影数量和Top250的数量相差甚远。原因是我们爬取的这页只展示了25条数据。

如果要爬取250条数据就要先搞清分页时要传什么参数。

点开第2页可以看到url变了。多了个 start=25。

点开第3页发现 start=50 。我们根据这个规则可以写一个遍历方法，将250条数据都拿回来。

具体代码如下：

from bs4 import BeautifulSoup
import requests

# 设置请求头
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"}

# 按规律遍历，请求Top250数据
for start_num in range(0, 250, 25):
    res = requests.get(f"https://movie.douban.com/top250?start={start_num}", headers=headers)
    soup = BeautifulSoup(res.text, "html.parser") # 开始解析html
    all_films = soup.findAll("span", attrs={"class": "title"}) # 获取所有电影名（含html标签）
    for film_name in all_films:
        if '/' not in film_name.string:
            print(film_name.string)

只需十来行代码就把豆瓣Top250的电影名都拿下了。