Python网络爬虫：从入门到实践

news2025/4/6 3:53:15

1. 什么是网络爬虫？

网络爬虫（Web Crawler）是一种自动化程序，通过模拟人类浏览行为，从互联网上抓取、解析和存储数据。常见的应用包括：

搜索引擎索引
价格监控
舆情分析
数据采集与分析

2. 网络爬虫的工作原理

## 2. 网络爬虫的工作原理
1. **初始URL队列**：从种子URL开始
2. **下载器**：发送HTTP请求获取网页内容
3. **解析器**：提取数据和发现新链接
   - 数据清洗（去除广告/无效信息）
   - 链接去重（避免重复抓取）
4. **数据管道**：存储结构化数据
5. **调度器**：管理请求优先级与频率
6. **循环机制**：将新链接加入队列，重复流程

发送请求：通过HTTP协议向目标服务器发送请求（GET/POST）
获取响应：接收服务器返回的HTML/JSON/XML数据
解析内容：提取所需数据（文本、链接、图片等）
存储数据：保存到本地文件或数据库
处理后续请求：根据规则跟踪新的链接（广度/深度优先）

3. 常用Python爬虫库

库名称	用途	特点
Requests	发送HTTP请求	简单易用，支持多种HTTP方法
Beautiful Soup	HTML/XML解析	容错性强，适合简单页面
lxml	高性能解析库	XPath支持，速度快
Scrapy	全功能爬虫框架	异步处理，适合大型项目
Selenium	浏览器自动化	处理JavaScript动态加载内容
PyQuery	jQuery式语法解析	语法简洁

4. 编写爬虫的步骤

4.1 明确目标

确定要爬取的网站
分析所需数据的结构和位置

4.2 分析网页结构

使用浏览器开发者工具（F12）检查元素
查看网络请求（Network标签）

4.3 编写代码

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
headers = {"User-Agent": "Mozilla/5.0"}  # 模拟浏览器请求

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
titles = soup.select('h1.class_name')  # 使用CSS选择器

4.4 数据存储

# 保存到CSV
import csv
with open('data.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['Title', 'URL'])
    for item in data:
        writer.writerow([item['title'], item['url']])

# 保存到数据库（SQL示例）
import sqlite3
conn = sqlite3.connect('data.db')
c = conn.cursor()
c.execute('CREATE TABLE IF NOT EXISTS articles (title TEXT, url TEXT)')
c.executemany('INSERT INTO articles VALUES (?, ?)', data)

4.5 处理反爬措施

User-Agent轮换
IP代理池
请求频率控制（使用time.sleep()）
验证码识别（OCR或第三方服务）
Cookies处理

5. 实战示例

示例1：静态网页爬取（豆瓣电影Top250）

import requests
from bs4 import BeautifulSoup

def get_movies():
    url = "https://movie.douban.com/top250"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    movies = []
    for item in soup.find_all('div', class_='item'):
        title = item.find('span', class_='title').text
        rating = item.find('span', class_='rating_num').text
        movies.append({'title': title, 'rating': rating})
    return movies

示例2：动态内容爬取（使用Selenium）

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://www.taobao.com")

search_box = driver.find_element(By.ID, 'q')
search_box.send_keys('手机')
search_box.submit()

# 等待页面加载
driver.implicitly_wait(10)

products = driver.find_elements(By.CLASS_NAME, 'item.J_MouserOnverReq')
for product in products:
    print(product.text)