在Python中，最常用的爬虫库是requests和BeautifulSoup。requests库用于发送HTTP请求和处理响应，而BeautifulSoup库用于解析HTML文档。这两个库通常结合使用，用于爬取网页内容并提取所需的数据。其他常用的爬虫库还包括Scrapy、Selenium等。
常用的爬虫库大概有以下几种：
1、BeautifulSoup：一个用于解析HTML和XML文档的库，可以方便地提取所需的数据。
2、Scrapy：一个功能强大的Python爬虫框架，提供了高效的爬取和数据处理功能。
3、Selenium：一个自动化测试工具，可以模拟浏览器行为，对JavaScript渲染的网页进行爬取。
4、Requests：一个简洁而友好的HTTP库，可以发送HTTP请求并获取响应。
5、PyQuery：一个类似于jQuery的库，可以方便地解析HTML文档并提取所需的数据。
这些库都有广泛的应用，并且都有活跃的开发者社区，提供了丰富的文档和示例代码，方便开发者使用。
以下是一个示例用Scrapy编写的简单爬虫：
首先，在命令行中创建一个Scrapy项目：
scrapy startproject myspider
进入项目目录并创建一个新的Spider：
cd myspider
scrapy genspider myspider_example example.com
打开myspider/spiders/myspider_example.py文件，编辑Spider的代码。在parse方法中编写爬取和提取数据的逻辑：
import scrapy
class MySpiderExampleSpider(scrapy.Spider):
name = 'myspider_example'
allowed_domains = ['example.com']
start_urls = ['http://www.example.com']
def parse(self, response):
# 提取页面数据
title = response.css('h1::text').get()
body = response.css('p::text').get()
# 输出提取的数据
yield {
'title': title,
'body': body
}
命令行中运行爬虫：
scrapy crawl myspider_example
爬虫将会发送请求到http://www.example.com，然后从响应中提取标题（
标签中的文本）和正文（
标签中的文本），最终输出提取的数据。
请注意，这只是一个简单示例，实际开发中可能需要更复杂的爬取逻辑和处理方式。可以根据具体需求来编写更完整、更复杂的爬虫。此外，为了遵守网站的使用规则，请确保你的爬虫行为合法、合规且尊重网站的隐私政策和服务条款。
