创建一个Python爬虫通常涉及到几个步骤,包括发送网络请求、解析网页内容、提取所需的数据以及存储数据。下面是一个简单的Python爬虫示例,使用了requests
库来发送网络请求和BeautifulSoup
库来解析HTML内容。
首先,你需要安装这两个:
pip install requests beautifulsoup4
然后,可以使用以下代码来创建一个简单的爬虫:
import requests
from bs4 import BeautifulSoup
# 目标网页的URL
url = 'http://example.com'
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取网页的标题
title = soup.find('title').text
print(f'网页标题: {title}')
# 根据需要提取其他数据,例如提取所有的链接
links = soup.find_all('a')
for link in links:
print(link.get('href'))
else:
print('请求失败,状态码:', response.status_code)