AI网络爬虫：用GraphQL查询爬取动态网页数据

news2024/11/16 22:46:26

任务：爬取网站www.skillshare.com搜索结果页面数据：

查看网站的请求信息：

请求网址:

https://www.skillshare.com/api/graphql

请求方法:

POST

状态代码:

200 OK

远程地址:

127.0.0.1:10809

引荐来源网址政策:

strict-origin-when-cross-origin

请求载荷:

{"operationName":"GetClassesQuery","variables":{"query":"ChatGPT","where":{"level":["ALL_LEVELS","BEGINNER","INTERMEDIATE","ADVANCED"]},"analyticsTags":["src:browser","src:browser:search","disc_cls_idx_mig","user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"],"after":"191","first":24},"query":"fragment ClassFields on Class {\n badges {\n type\n __typename\n }\n durationInSeconds\n id\n publishTime\n largeCoverUrl\n sku\n sourceLanguage\n studentCount\n teacher {\n id\n name\n username\n vanityUsername\n __typename\n }\n title\n url\n viewer {\n hasSavedClass\n __typename\n }\n __typename\n}\n\nquery GetClassesQuery($query: String!, $where: SearchFiltersV2!, $analyticsTags: [String!], $after: String!, $first: Int!, $sort: SortParameters) {\n search: searchV2(query: $query, where: $where, analyticsTags: $analyticsTags, after: $after, first: $first, sort: $sort) {\n totalCount\n searchId\n algorithmId\n pageInfo {\n startCursor\n endCursor\n hasNextPage\n hasPreviousPage\n __typename\n }\n edges {\n cursor\n node {\n ...ClassFields\n __typename\n }\n __typename\n }\n __typename\n }\n}\n"}

{"operationName":"GetClassesQuery","variables":{"query":"ChatGPT","where":{"level":["ALL_LEVELS","BEGINNER","INTERMEDIATE","ADVANCED"]},"analyticsTags":["src:browser","src:browser:search","disc_cls_idx_mig","user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"],"after":"167","first":24},"query":"fragment ClassFields on Class {\n badges {\n type\n __typename\n }\n durationInSeconds\n id\n publishTime\n largeCoverUrl\n sku\n sourceLanguage\n studentCount\n teacher {\n id\n name\n username\n vanityUsername\n __typename\n }\n title\n url\n viewer {\n hasSavedClass\n __typename\n }\n __typename\n}\n\nquery GetClassesQuery($query: String!, $where: SearchFiltersV2!, $analyticsTags: [String!], $after: String!, $first: Int!, $sort: SortParameters) {\n search: searchV2(query: $query, where: $where, analyticsTags: $analyticsTags, after: $after, first: $first, sort: $sort) {\n totalCount\n searchId\n algorithmId\n pageInfo {\n startCursor\n endCursor\n hasNextPage\n hasPreviousPage\n __typename\n }\n edges {\n cursor\n node {\n ...ClassFields\n __typename\n }\n __typename\n }\n __typename\n }\n}\n"}

这段请求载荷是一个GraphQL查询，用于获取与搜索查询 "ChatGPT" 相关的不同方面的数据（facets）。下面是对这段查询的详细解释：

- `operationName`: "GetFacets"，这指定了操作的名称，用于标识这个特定的查询操作。

- `variables`: 这是一个对象，包含了查询所需的变量：

- `analyticsTags`: 一个包含多个字符串的数组，用于分析目的。

- `query`: 搜索查询的关键字，这里是 "ChatGPT"。

- `where_type`, `where_language`, `where_level`, `where_length`, `where_with`, `where_publish`, `where_rating`: 这些字段包含了搜索过滤条件，每个字段都设置为相同的值，即包含所有级别（"ALL_LEVELS", "BEGINNER", "INTERMEDIATE", "ADVANCED"）的数组。这些过滤条件用于指定搜索的不同维度。

- `query`: 这是GraphQL查询的主体，它定义了要获取的数据：

- `fragment FacetsData on SearchResultItemConnectionV2`: 这是一个片段，定义了搜索结果项连接的类型，包括总数量（totalCount）和方面（facets）。

- `totalCount`: 搜索结果的总数。

- `facets`: 一个包含不同方面选项的对象数组，每个选项都有计数（count）和名称（name）。

- 接下来的部分定义了多个 `searchV2` 查询，每个查询都针对不同的搜索维度（type, language, level, length, with, publish, rating），并使用上面定义的片段 `FacetsData` 来获取每个维度的总数量和方面数据。

这个查询的主要目的是为搜索 "ChatGPT" 提供一个多维度的概览，包括不同类别（如类型、语言、难度级别等）的统计信息和选项。通过这种方式，用户可以了解每个维度下的课程分布情况，从而帮助他们进行更精确的搜索和选择。

找了两段不同的请求载荷，主要区别在于`variables`对象中的`after`字段的值不同。

两个请求载荷的共同点：

- `operationName`：两个请求都使用了相同的操作名称 `"GetClassesQuery"`。

- `variables`中的其他字段：`query`、`where`、`analyticsTags`、`first` 在两个请求中都是相同的。

- `query`：两个请求中的GraphQL查询字符串是相同的。

以下是两个请求载荷的不同点：

- `variables`中的`after`字段：

- 第一个请求的`after`字段值是 `"191"`。

- 第二个请求的`after`字段值是 `"167"`。

`after`字段通常用于分页，它指定了从哪个点开始获取数据。在这个GraphQL查询中，它决定了从搜索结果的哪一条记录开始返回数据。因此，第一个请求将从记录191开始获取数据，而第二个请求将从记录167开始获取数据。

这意味着两个请求将返回不同的数据集，即使它们都是基于相同的查询和过滤条件。第一个请求可能是为了获取第一页或后续某页的数据，而第二个请求可能是为了获取另一页的数据。其他字段如`first`指定了每页返回的记录数，在这种情况下，都是24条记录。

再继续查看其他请求载荷的after字段：-1、47、 71、95

搜索结果是205 个，显然`after`字段值是从-1开始，每次递增24，以215结束

在chatgpt中输入提示词：

你是一个Python专家，要完成一个编写爬虫的Python脚本，具体步骤：

请求网址:

https://www.skillshare.com/api/graphql

请求方法:

POST

状态代码:

200 OK

远程地址:

127.0.0.1:10809

引荐来源网址政策:

strict-origin-when-cross-origin

请求标头：

Accept:

*/*

Accept-Encoding:

gzip, deflate, br, zstd

Accept-Language:

zh-CN,zh;q=0.9,en;q=0.8

Content-Length:

1302

Content-Type:

application/json

Origin:

https://www.skillshare.com

Priority:

u=1, i

Referer:

https://www.skillshare.com/en/search/classes?query=ChatGPT

Sec-Ch-Ua:

"Google Chrome";v="125", "Chromium";v="125", "Not.A/Brand";v="24"

Sec-Ch-Ua-Mobile:

?0

Sec-Ch-Ua-Platform:

"Windows"

Sec-Fetch-Dest:

empty

Sec-Fetch-Mode:

cors

Sec-Fetch-Site:

same-origin

User-Agent:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36

请求载荷：

{"operationName":"GetClassesQuery","variables":{"query":"ChatGPT","where":{"level":["ALL_LEVELS","BEGINNER","INTERMEDIATE","ADVANCED"]},"analyticsTags":["src:browser","src:browser:search","disc_cls_idx_mig","user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"],"after":"{pagenumber}","first":24},"query":"fragment ClassFields on Class {\n badges {\n type\n __typename\n }\n durationInSeconds\n id\n publishTime\n largeCoverUrl\n sku\n sourceLanguage\n studentCount\n teacher {\n id\n name\n username\n vanityUsername\n __typename\n }\n title\n url\n viewer {\n hasSavedClass\n __typename\n }\n __typename\n}\n\nquery GetClassesQuery($query: String!, $where: SearchFiltersV2!, $analyticsTags: [String!], $after: String!, $first: Int!, $sort: SortParameters) {\n search: searchV2(query: $query, where: $where, analyticsTags: $analyticsTags, after: $after, first: $first, sort: $sort) {\n totalCount\n searchId\n algorithmId\n pageInfo {\n startCursor\n endCursor\n hasNextPage\n hasPreviousPage\n __typename\n }\n edges {\n cursor\n node {\n ...ClassFields\n __typename\n }\n __typename\n }\n __typename\n }\n}\n"}

其中，"after"键对应的字段值"{pagenumber}"是从-1开始，每次递增24，以215结束。

获取网页响应的json数据，打印出来；

提取"data"键中嵌套的"search"键嵌套的"edges"键的内容；

"edges"键对应的值是一个json数据；

将这个json数据所有的键名作为Excel表格的表头，键对应的值作为Excel表格的列数据，全部写入Excel表格中；

保存Excel表格到文件夹“F:\AI自媒体内容\AI行业数据分析”，文件名为：skillshareChatgptcourse20240604.xlsx

注意：每一步信息都要输出到屏幕上

ChatGPT生成的Python源代码：

import requests

import json

import pandas as pd

# 请求网址和请求头

url = "https://www.skillshare.com/api/graphql"

headers = {

'Accept': '*/*',

'Accept-Encoding': 'gzip, deflate, br, zstd',

'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',

'Content-Length': '1302',

'Content-Type': 'application/json',

'Origin': 'https://www.skillshare.com',

'Priority': 'u=1, i',

'Referer': 'https://www.skillshare.com/en/search/classes?query=ChatGPT',

'Sec-Ch-Ua': '"Google Chrome";v="125", "Chromium";v="125", "Not.A/Brand";v="24"',

'Sec-Ch-Ua-Mobile': '?0',

'Sec-Ch-Ua-Platform': '"Windows"',

'Sec-Fetch-Dest': 'empty',

'Sec-Fetch-Mode': 'cors',

'Sec-Fetch-Site': 'same-origin',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36'

}

# 定义请求载荷的模板

payload_template = {

"operationName": "GetClassesQuery",

"variables": {

"query": "ChatGPT",

"where": {

"level": ["ALL_LEVELS", "BEGINNER", "INTERMEDIATE", "ADVANCED"]

},

"analyticsTags": [

"src:browser",

"src:browser:search",

"disc_cls_idx_mig",

"user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"

],

"after": "",

"first": 24

},

"query": """

fragment ClassFields on Class {

badges {

type

__typename

}

durationInSeconds

id

publishTime

largeCoverUrl

sku

sourceLanguage

studentCount

teacher {

id

name

username

vanityUsername

__typename

}

title

url

viewer {

hasSavedClass

__typename

}

__typename

}

query GetClassesQuery($query: String!, $where: SearchFiltersV2!, $analyticsTags: [String!], $after: String!, $first: Int!, $sort: SortParameters) {

search: searchV2(query: $query, where: $where, analyticsTags: $analyticsTags, after: $after, first: $first, sort: $sort) {

totalCount

searchId

algorithmId

pageInfo {

startCursor

endCursor

hasNextPage

hasPreviousPage

__typename

}

edges {

cursor

node {

...ClassFields

__typename

}

__typename

}

__typename

}

}

"""

}

# 初始化数据列表

all_data = []

# 循环请求每一页的数据

for i in range(-1, 216, 24):

payload = payload_template.copy()

payload['variables']['after'] = str(i)

response = requests.post(url, headers=headers, json=payload)

if response.status_code == 200:

print(f"Page {i//24 + 1} data fetched successfully.")

data = response.json()

print(json.dumps(data, indent=2)) # 打印响应的JSON数据

# 提取我们需要的部分

edges = data.get('data', {}).get('search', {}).get('edges', [])

all_data.extend([edge['node'] for edge in edges])

else:

print(f"Failed to fetch page {i//24 + 1}. Status code: {response.status_code}")

break

# 将数据转换为DataFrame

df = pd.DataFrame(all_data)

print(df.head()) # 打印表格的前几行

# 保存DataFrame到Excel

output_path = "F:/AI自媒体内容/AI行业数据分析/skillshareChatgptcourse20240604.xlsx"

df.to_excel(output_path, index=False)

print(f"Data saved to {output_path}")

Vscode中运行程序，获取所有查询结果数据：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1788638.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【微信小程序开发】小程序中的上滑加载更多，下拉刷新是如何实现的？

【微信小程序开发】小程序中的上滑加载更多，下拉刷新是如何实现的？

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…
阅读更多...
什么是泛洪攻击？DDos攻击也是泛洪攻击的一种？

什么是泛洪攻击？DDos攻击也是泛洪攻击的一种？

在数字化时代的浪潮中，网络安全已成为一场没有硝烟的战争。其中，泛洪攻击作为一种常见的网络攻击手段，对个人用户、企业乃至国家网络安全构成了严重威胁。本文将对泛洪攻击进行深入剖析，包括其定义、原理、类型、影响以及应对策略…
阅读更多...
计算机基础（5）——进制与进制转换

计算机基础（5）——进制与进制转换

💗计算机基础系列文章💗 👉🍀计算机基础（1）——计算机的发展史🍀👉🍀计算机基础（2）——冯诺依曼体系结构🍀👉&#x1f34…
阅读更多...
用增之Firebase

用增之Firebase

目录 简介 开发准备： 1、在Firebase平台创建项目 2、将项目关联到应用 3、项目配置 简介 前面讲了google ddl部分，本篇为Firebase的事件上报部分，包括在FireBase平台创建应用 ， 如果有用到ddl…
阅读更多...
element-plus日历组件el-calendar自定义内容，每天绑定不同的值

element-plus日历组件el-calendar自定义内容，每天绑定不同的值

效果 代码 <template><el-calendar v-model"calendarDate"><template #date-cell"{ data }"><p :class"data.isSelected ? is-selected : ">{{ data.day.split("-").slice(1).join("-") }}{{ d…
阅读更多...
使用Redis常遇到的问题

使用Redis常遇到的问题

文章目录 概述缓存雪崩、穿透、击穿大key问题热Key问题缓存和数据库双写一致性问题缓存并发竞争Redis线上阻塞要如何排查Redis 常见的性能问题都有哪些Redis 如何做内存优化Redis数据倾斜 概述 在使用Redis时&#xff0c;有几个常见的问题可能会出现&#xff0c;包括但不限于以…
阅读更多...
计算机网络ppt和课后题总结（上）

计算机网络ppt和课后题总结（上）

试在下列条件下比较电路交换和分组交换。要传送的报文共 x(bit)。从源点到终点共经过 k 段链路&#xff0c;每段链路的传播时延为 d(s)&#xff0c;数据率为 b(b/s)。在电路交换时电路的建立时间为 s(s)。在分组交换时分组长度为 p(bit)&#xff0c;且各结点的排队等待时间可忽…
阅读更多...
进程同步的基本元素

进程同步的基本元素

目录 临界资源 临界区 信号量机制 整形信号量 记录型信号量 AND信号量 信号量集 信号量的应用 实现进程互斥 实现前驱关系 管程机制 总结 临界资源 I/O设备属于临界资源。著名的生产者-消费者问题就是关于临界资源的争夺产生的进程同步的问题。 生产者-消费者 描…
阅读更多...
阅读 Spring（SpringBoot）源码的一些实用技巧

阅读 Spring（SpringBoot）源码的一些实用技巧

前言 我们在阅读Spring&#xff08;SpringBoot&#xff09;源码的时候&#xff0c;有可能会被一下前置知识点卡住&#xff0c;影响继续阅读的动力。根据我对Spring的理解&#xff0c;整理一些实用的技巧&#xff0c;减少大家的阅读障碍。如果有什么不正确的地方欢迎大家指正、…
阅读更多...
辞职后，如何理性面对公司的挽留？我的职场选择之路

辞职后，如何理性面对公司的挽留？我的职场选择之路

辞职后&#xff0c;面对公司的挽留&#xff0c;你会决定留下还是离开呢&#xff1f;这是一个让人犹豫不决的问题。 让我们来分析一下个人在职场中的价值和期望。每个人都有自己的职业规划和发展目标&#xff0c;这是非常正常的。在工作中&#xff0c;我们希望自己能够得到充分的…
阅读更多...
React路由(React笔记之五)

React路由(React笔记之五)

本文是结合实践中和学习技术文章总结出来的笔记(个人使用),如有雷同纯属正常((✿◠‿◠)) 喜欢的话点个赞,谢谢! React路由介绍 现在前端的项目一般都是SPA单页面应用,不再是以前多个页面多套HTML代码项目了,应用内的跳转不需要刷新页面就能完成页面跳转靠的就是路由系统 R…
阅读更多...
IPFS节点部署及连接java服务接口

IPFS节点部署及连接java服务接口

文章目录 引言前言&#xff1a;IPFS网络部署1.下载安装文件2.安装及初始化3.测试上传文件 引入IPFS 依赖包初始化IPFS创建接口类以及实现类创建前端访问的控制类前端设计及验证 引言 该篇文章是记录使用IPFS存储文件与java的Springboot项目连接的过程&#xff0c;前端简单地用…
阅读更多...
傲医医疗集成引擎 Rhapsody 在超融合信创平台表现如何？

傲医医疗集成引擎 Rhapsody 在超融合信创平台表现如何？

作者&#xff1a;SmartX 商业团队 黄玉辉 随着越来越多的医疗用户基于超融合基础设施实现 IT 基础架构信创转型&#xff0c;超融合信创架构在医疗业务场景中的实际表现也得到更多关注。尤其是集成平台业务场景——作为三甲医院互联互通评级中不可缺少的核心业务系统&#xff0…
阅读更多...
使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南

使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南

&#x1f3e1;作者主页&#xff1a;点击&#xff01; &#x1f916;AI大模型部署与应用专栏&#xff1a;点击&#xff01; &#x1f916;Ollama部署LLM专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2024年6月4日10点50分 &#x1f004;️文章质量&#xff1…
阅读更多...
Spring Boot既打jar包又打war包如何做

Spring Boot既打jar包又打war包如何做

你好&#xff0c;我是柳岸花开。 引言 在软件开发中&#xff0c;根据不同的部署需求&#xff0c;我们可能需要将应用打包成不同的格式。Spring Boot作为目前流行的Java应用开发框架&#xff0c;提供了一种简单的方式来打包应用。本文将介绍如何利用Maven Profiles在Spring Boot…
阅读更多...
Photoshop版本选择及系统要求

Photoshop版本选择及系统要求

1、ps2018cc/2020cc版本 适合新手&#xff0c;增加了很多智能化操作&#xff0c;非常方便好上手。 2020&#xff1a; 2、ps2015版本 cc2015版本不论是功能还是硬件上&#xff0c;都是不二选择&#xff0c;适合于配置较低的电脑&#xff0c;该有的基本功能它都有。 3、2021/2…
阅读更多...
【最新鸿蒙应用开发】——一篇搞懂什么是UIAbility

【最新鸿蒙应用开发】——一篇搞懂什么是UIAbility

UIAbility组件 UIAbility组件是一种包含UI的应用组件&#xff0c;UIAbility组件是系统调度的基本单元&#xff08;最小单元&#xff09;&#xff0c;为应用提供绘制界面的窗口&#xff0c;主要用于和用户交互。一个应用可以包含一个或多个UIAbility组件。 UIAbility的设计理念…
阅读更多...
PySpark特征工程(III)--特征选择

PySpark特征工程(III)--特征选择

有这么一句话在业界广泛流传&#xff1a;数据和特征决定了机器学习的上限&#xff0c;而模型和算法只是逼近这个上限而已。由此可见&#xff0c;特征工程在机器学习中占有相当重要的地位。在实际应用当中&#xff0c;可以说特征工程是机器学习成功的关键。 特征工程是数据分析…
阅读更多...
Windows下 CLion中，配置 OpenCV、LibTorch

Windows下 CLion中，配置 OpenCV、LibTorch

首先按照win下C部署深度学习模型之clion配置pytorchopencv教程记录 步骤配置。 LibTorch 部分 在测试LibTorch时会出现类似 c10.dll not found 的问题&#xff08;Debug才有&#xff09;&#xff1a; 参考C部署Pytorch&#xff08;Libtorch&#xff09;出现问题、错误汇总和 …
阅读更多...
git常见问题及解决

git常见问题及解决

文章目录 git常见问题及解决1. 不同操作系统使用git时&#xff0c;CRLF的处理换行问题1.1 什么是CRLF和LF1.2 在Git中设置自动转换 2. 多个仓库相同代码推送被拒绝3. git使用vi编辑器时候报错&#xff1a;Swap file "./.git/.COMMIT_EDITMSG.swp" already exists!4. …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023