大模型爬虫—ScrapeGraphAI

一、介绍

ScrapeGraphAI是一个网络爬虫 Python 库，使用大型语言模型和直接图逻辑为网站和本地文档（XML，HTML，JSON 等）创建爬取管道。

只需告诉库您想提取哪些信息，它将为您完成！

scrapegraphai有三种主要的爬取管道可用于从网站（或本地文件）提取信息：

• SmartScraperGraph: 单页爬虫，只需用户提示和输入源；
• SearchGraph: 多页爬虫，从搜索引擎的前 n 个搜索结果中提取信息；
• SpeechGraph: 单页爬虫，从网站提取信息并生成音频文件。
• SmartScraperMultiGraph: 多页爬虫，给定一个提示 可以通过 API 使用不同的 LLM，如 OpenAI，