Python 爬虫入门教程：从零构建你的第一个网络爬虫

news2024/11/28 3:07:56

网络爬虫是一种自动化程序，用于从网站抓取数据。Python 凭借其丰富的库和简单的语法，是构建网络爬虫的理想语言。本文将带你从零开始学习 Python 爬虫的基本知识，并实现一个简单的爬虫项目。

1. 什么是网络爬虫？

网络爬虫（Web Crawler）是一种通过网络协议（如 HTTP/HTTPS）获取网页内容，并提取其中有用信息的程序。常见的爬虫用途包括：

收集商品价格和评价。
抓取新闻或博客内容。
统计数据分析。

爬虫工作原理

发送 HTTP 请求到目标网站。
获取服务器返回的 HTML 页面。
解析 HTML 内容，提取所需数据。
保存数据以供后续使用。

2. 爬虫的基本工具

在 Python 中，我们可以使用以下工具和库来构建爬虫：

2.1 requests

requests 是一个强大的 HTTP 库，用于发送网络请求，获取网页内容。

安装：

pip install requests

示例：

import requests 
url = "https://example.com" 
response = requests.get(url) 
print(response.text) # 打印网页内容

2.2 BeautifulSoup

BeautifulSoup 是一个解析 HTML 和 XML 的库，用于从网页中提取数据。

安装：

pip install beautifulsoup4

示例：

from bs4 import BeautifulSoup

html = "<html><body><h1>Hello, World!</h1></body></html>"
soup = BeautifulSoup(html, "html.parser")
print(soup.h1.text)  # 输出 "Hello, World!"

2.3 pandas

pandas 是一个用于数据处理和分析的库，适合将爬取的数据保存到 CSV 或 Excel。

安装：

pip install pandas

示例：

import pandas as pd

data = {"Title": ["Example"], "Link": ["https://example.com"]}
df = pd.DataFrame(data)
df.to_csv("output.csv", index=False)

3. 爬虫案例：抓取豆瓣电影排行榜

下面我们将构建一个爬虫，从豆瓣电影的网页抓取电影排行榜。

3.1 准备工作

目标网址： https://movie.douban.com/top250

我们将抓取以下信息：

电影名称
评分
引言

3.2 代码实现

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 爬取一个页面的数据
def scrape_page(url):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, "html.parser")
    
    movies = []
    for item in soup.find_all("div", class_="item"):
        title = item.find("span", class_="title").text
        rating = item.find("span", class_="rating_num").text
        quote = item.find("span", class_="inq").text if item.find("span", class_="inq") else "N/A"
        movies.append({"Title": title, "Rating": rating, "Quote": quote})
    
    return movies

# 主程序：爬取多页
def main():
    base_url = "https://movie.douban.com/top250?start={}"
    all_movies = []
    
    for i in range(0, 250, 25):  # 每页 25 部电影
        url = base_url.format(i)
        print(f"Scraping: {url}")
        movies = scrape_page(url)
        all_movies.extend(movies)
    
    # 保存为 CSV 文件
    df = pd.DataFrame(all_movies)
    df.to_csv("douban_top250.csv", index=False)
    print("Scraping complete! Data saved to douban_top250.csv")

if __name__ == "__main__":
    main()