京东商品评论数据爬虫，包含对数据的采集、清洗、可视化、分析等过程，作为数据库课程。

news2024/11/9 4:52:49

感谢大家的star和fork，为了感谢大家的关注，特意对代码进行了优化，对最新的url格式进行了更新，减少了一些冗余的参数，希望能够帮助大家入门爬虫，已经爬好的京东的商品评论数据已经存储在data目录下，可以直接用于进一步分析。后续会重新封装几个版本，主要是添加多线程、redis缓存等机制提高爬虫效率，同时也将把核心参数打包成json方便使用。 

希望你抓取顺利，同时也希望大家多多关注和支持，你们的fork是对我最大的认可，哈哈哈！

JD.item_review-获得JD商品评论接口

公共参数

名称类型必须描述
keyString是调用key（必须以GET方式拼接在URL中,获取key和secret）
secretString是调用密钥 （复制v:Taobaoapi2014 )
api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cacheString否[yes,no]默认yes，将调用缓存的数据，速度比较快
result_typeString否[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
langString否[cn,en,ru]翻译语言，默认cn简体中文
versionString否API版本

请求参数

请求参数：num_iid=71619129750&page=1

参数说明：item_id:商品ID
page:页数

 响应示例

请求示例

 响应示例

{
	"items": {
		"totalpage": "100",
		"total_results": "0",
		"page_size": 10,
		"page": "1",
		"item": [
			{
				"rate_content": "鞋子的版型很好看，价格也很便宜，穿上舒适透气，非常的喜欢，值得购买",
				"rate_date": "2020-07-16 17:04:45",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/143538/26/2997/98915/5f10182dE075cf6f4/3893a6ebd54bf20b.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126308/37/7305/88222/5f10182dE2ed282fb/cfebb2e627fe3be4.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/123576/17/7322/100064/5f10182dE90877815/bb5f985a08987bc6.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/133271/17/4481/244268/5f10182dEd8ecc049/555eaa30d3599158.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/146490/36/3038/90958/5f10182dE065f71fd/12bb1e78f59309d7.jpg"
				],
				"display_user_nick": "j***X",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子很青春休闲，版型很好看，又百搭面料，摸着很舒服，穿着非常的舒适，很满意。",
				"rate_date": "2020-07-16 14:58:08",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126114/25/7235/113602/5f0ffa80E13a4cbd1/4bb8f80169565723.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/116245/40/12535/94358/5f0ffa80Eb718edcc/a2fa0be8e208f728.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/131138/21/4585/162381/5f0ffa80E85973f3d/95647e8bbcc82ad3.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/120553/13/7355/126975/5f0ffa80Ee8c6b756/959b3ea6f73ecb86.jpg"
				],
				"display_user_nick": "j***G",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子已收到，穿上不闷很透气，鞋子的图案版型都很喜欢，买的是黑色的，非常耐脏嘛，尺码很标准。",
				"rate_date": "2020-07-17 18:03:27",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/125182/11/7291/418447/5f11776fE80c296f6/ce4f18132f1339d5.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/124968/39/7243/404641/5f11776fE33777d13/ed56246d66b430e1.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/129908/23/4700/412863/5f11776fEe04d86f6/a2b308efe09cf8e4.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/128096/4/7282/405527/5f11776fE9788ca8f/cafeb1a293a9813e.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/115520/15/12445/454682/5f11776fE134e0e3f/9450910b70809f2b.jpg"
				],
				"display_user_nick": "j***s",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "帆布鞋质量不错，穿上正合适很舒适，尺码标准，脚感很好，非常喜欢。",
				"rate_date": "2020-07-21 18:52:02",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/130056/36/5089/278917/5f16c8d2E196f34fd/5ad753039b65125e.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/141143/2/3492/277303/5f16c8d2E7e0c067d/f0614a2ff7580edd.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/133845/33/4975/258500/5f16c8d2E39f1a05a/324fe698896c798b.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/130437/17/5133/258634/5f16c8d2Ee4c72f6f/12f407a4aedc1c30.jpg"
				],
				"display_user_nick": "j***T",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子收到了，鞋子材质很好，款式简约新颖非常喜欢，版型也好看很百搭，总体非常满意。",
				"rate_date": "2020-07-20 18:07:58",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/142827/18/3375/464946/5f156cfeEd3009ae9/dc98d03cb6262314.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/147097/19/3295/466559/5f156cfeE08f4dba7/ed784fb4e453c513.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126388/38/7636/482686/5f156cfeEee2e1160/ffd1663c5236515a.jpg"
				],
				"display_user_nick": "j***Y",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子收到了，特别舒服的一款帆布鞋，大小合适喜欢",
				"rate_date": "2020-07-20 18:14:39",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/118301/23/12855/72815/5f156e8fEa83416e3/f92e7f5b823c8a70.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/135616/29/4848/72074/5f156e8fEc82a7d80/6484851d44574830.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/148932/1/3387/69784/5f156e8fE7ba78e9d/7b61ee6327626d78.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/150109/36/3353/66120/5f156e8eE82e25eaf/9055b98faf6a044d.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/118412/31/12839/72815/5f156e8fE721e7bfd/327582fa5d9a25b3.jpg"
				],
				"display_user_nick": "j***y",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "东西非常不错 颜值很高很满意  搭配上牛仔裤在夏天穿 上身白体桖  一股浓郁的学院风扑面而来  年轻了十几岁",
				"rate_date": "2020-07-25 22:09:33",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126821/34/7944/185434/5f1c3d1dE11aea5ec/689c14ef4399a439.jpg"
				],
				"display_user_nick": "三***容",
				"auction_sku": "YC-X-188米色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "这个帆布鞋的款式挺不错的，穿着也很百搭，做工很精细。",
				"rate_date": "2020-07-20 00:01:00",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/119504/13/11389/520508/5f1581faEf69c5854/2377fb2e01fc79e2.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/135899/37/4958/566205/5f1581faEc5f67e4c/1bd719364ac26276.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/110797/21/15353/558212/5f1581fbE98486508/98667557f6b47c31.jpg"
				],
				"display_user_nick": "j***y",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": "很有个性的一款鞋子，穿的舒适，样子新颖，质量也很好。"
			},
			{
				"rate_content": "这个鞋子我非常的喜欢，而且穿着特别的舒服，搭配起衣服来也特别的百搭。非常值得购买的一款鞋子。",
				"rate_date": "2020-09-16 09:18:43",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/120503/26/12622/88927/5f6167efE6c9ef8ae/6fdeb847965a9acf.jpg"
				],
				"display_user_nick": "j***s",
				"auction_sku": "YC-X-188黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子穿着很舒服，用来搭配长裙或者是棉麻裤，都很好看，而且很合脚，走起路来一点都不会累。",
				"rate_date": "2020-07-17 17:48:04",
				"pics": [],
				"display_user_nick": "j***l",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			}
		]
	},
	"secache": "8e3404bdf02f989d0e3164490e3945a2",
	"secache_time": 1615366119,
	"secache_date": "2021-03-10 16:48:39",
	"translate_status": "",
	"translate_time": 0,
	"language": {
		"default_lang": "cn",
		"current_lang": "cn"
	},
	"error": "",
	"reason": "",
	"error_code": "0000",
	"cache": 0,
	"api_info": "today:21 max:10000",
	"execution_time": 0.854,
	"server_time": "Beijing/2021-03-10 16:48:39",
	"client_ip": "106.60.351.144",
	"call_args": {
		"num_iid": "71619129750",
		"data": "1",
		"page": 1
	},
	"api_type": "jd",
	"translate_language": "zh-CN",
	"translate_engine": "google_cn",
	"server_memory": "3.15MB",
	"request_id": "gw-3.604887e6dc512"
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/443239.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

软件测试标准GB/T 25000.51-2016中的八大软件质量特性

软件测试标准GB/T 25000.51-2016中的八大软件质量特性

GB/T25000标准由下图所示的21个部分组成，其中GB/T 25000.10和GB/T 25000.51是建立软件测试技术体系可以参考的部分，GB/T 25000.51尤为重要。 GB/T 25000标准总标题（21个部分） GB/T 25000.51标准pdf封面 GB/T 25000.51-2016 《系统…
阅读更多...
现在有t1,t2,t3三个线程，实现t1,t2线程同步执行，然后再执行t3线程，使用Java实现该程序

现在有t1,t2,t3三个线程，实现t1,t2线程同步执行，然后再执行t3线程，使用Java实现该程序

目录 1、利用CountDownLatch 2、利用Future 最近在面试的时候，经常遇到这个题目，首先从题目上看，就知道考察的是多线程方面知识，我第一次看到这个题目的时候，就想到了使用CountDownLatch这个计数器来实现&#xff0c…
阅读更多...
AUTOSAR网络管理

AUTOSAR网络管理

功能说明 目前车辆上ECU的数目越来越多，不同功能的ECU对电源有不同的要求，在点火钥匙打到OFF档（KL15停止供电）之后，有的ECU（如座椅模块）允许直接断电，有的ECU（如空调模块…
阅读更多...
浅谈操作系统OS与计算机软硬件体系结构，自顶贯穿性与行为回归硬件性

浅谈操作系统OS与计算机软硬件体系结构，自顶贯穿性与行为回归硬件性

操作系统OS与计算机软硬件体系结构 使计算机更好用! 这是操作系统的根本要义!! 操作系统这个概念基本上以后会讲一路的，今天的话就基本上讲一下轻量化的概念。所以操作系统到底是什么？操作系统首先是软件，那它是一款什么软件呢&#xff1f…
阅读更多...
Java读取文件方式

Java读取文件方式

IO流读取 文本内容 按行读取文件内容 指定编码格式（推荐） public static void main(String[] args) throws UnsupportedEncodingException {read("D:\\test.txt");}public static void read(String path) {BufferedReader reader null;try …
阅读更多...
Spring Security 01 整体架构

Spring Security 01 整体架构

目录 认证 AuthenticationManager ProviderManager AuthenticationProvider Authentication SecurityContextHolder 授权 AccessDecisionManager AccessDecisionVoter RoleVoter AuthenticatedVoter Custom Voters ConfigAttribute 在SpringSecurity的架构中&…
阅读更多...
Linux如何使用宝塔面板搭建网站和内网穿透实现公网访问

Linux如何使用宝塔面板搭建网站和内网穿透实现公网访问

文章目录 前言1. 环境安装2. 安装cpolar内网穿透3. 内网穿透4. 固定http地址5. 配置二级子域名6. 创建一个测试页面 转载自远程内网穿透的文章：Linux使用宝塔面板搭建网站，并内网穿透实现公网访问 前言 宝塔面板作为简单好用的服务器运维管理面板&#…
阅读更多...
Flink从入门到精通之-06Flink 中的时间和窗口

Flink从入门到精通之-06Flink 中的时间和窗口

Flink从入门到精通之-06Flink 中的时间和窗口 我们已经了解了基本 API 的用法，熟悉了 DataStream 进行简单转换、聚合的一些操作。除此之外，Flink 还提供了丰富的转换算子，可以用于更加复杂的处理场景。 在流数据处理应用中，一个…
阅读更多...
NM储存卡数据丢失怎么办？四招数据恢复宝典

NM储存卡数据丢失怎么办？四招数据恢复宝典

NM卡像其他类型的存储设备一样，也有可能因为各种原因导致数据丢失，比如误删除、格式化、病毒感染等。因此，在使用NM卡时，仍需注意数据备份和安全性，以避免面临重要数据丢失风险。如果不幸发生了数据丢失，应…
阅读更多...
python中unexpected indent报错的解决办法

python中unexpected indent报错的解决办法

python中unexpected indent报错的解决办法 在我们初步学习pyton的时候，由于对python语言的学习掌握不充分，则会导致所编写的代码，运行时候报错。比如，容易报错的unexpected indent问题，下面举例说明问题。 1.举例&am…
阅读更多...
Linux虚拟机中安装jdk的两种方法：

Linux虚拟机中安装jdk的两种方法：

方法一：手动安装 1. 使用FinalShell自带的上传工具将jdk的二进制发布包上传到Linux 上传位置如图（底栏可以在图中的向下箭头位置自行打开与关闭）： 注：默认上传地址为图片左侧的工作地址 2. 解压安装包，…
阅读更多...
在vue2中用vue-echarts和v-charts绘制百度地图定制散点图

在vue2中用vue-echarts和v-charts绘制百度地图定制散点图

一、在vue-echarts中定制百度地图 效果 准备 安装依赖 echarts vue-echarts npm i echarts vue-echarts 在main.js中引入 import ECharts from “echarts” import VueECharts from “vue-echarts” Vue.prototype.$echarts ECharts Vue.component(“v-chart”, VueECharts…
阅读更多...
SAS学习第4章：t检验

SAS学习第4章：t检验

前话：分析试验数据的差异，一般都会假设样本值之间或者样本与标准值之间无差异，根据不同方法计算得出的t值、q值、F值等等，均表示两者之间的差异程度，值越大，两者差异越大，该假设越不成立&#x…
阅读更多...
全网最全的AI绘画提示词网站，看这一篇就够了！

全网最全的AI绘画提示词网站，看这一篇就够了！

要说2023年什么最火，绝对是以ChatGPT为代表的AI工具了，特别是AI绘画，而用好AI的关键，就是要学会使用关键词，也叫提示词，提示词是AI绘画的核心，本次就给大家分享几个AI绘画关键词网站&#xff0c…
阅读更多...
大型Android项目架构：基于组件化+模块化+Kotlin+协程+Flow+Retrofit+Jetpack+MVVM架构实现WanAndroid客户端

大型Android项目架构：基于组件化+模块化+Kotlin+协程+Flow+Retrofit+Jetpack+MVVM架构实现WanAndroid客户端

前言：苟有恒，何必三更眠五更起；最无益，莫过一日曝十日寒。 前言 之前一直想写个 WanAndroid 项目来巩固自己对 KotlinJetpack协程 等知识的学习，但是一直没有时间。这里重新行动起来，从项目搭建到完成前前…
阅读更多...
奇异值分解SVD

奇异值分解SVD

概念 奇异值分解（singular value decomposition）是线性代数中一种重要的矩阵分解。奇异值分解在某些方面与对称矩阵或厄密矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称矩阵特征向量分解的基础…
阅读更多...
数据分析师 ---- SQL强化(1)

数据分析师 ---- SQL强化(1)

文章目录 数据分析师 ---- SQL强化(1)写在前面题目第一步：表连接以及表拼接第二步：新建列以及填充值总结 数据分析师 ---- SQL强化(1) 写在前面 最近在找工作中发现，数据分析师的笔试多数会涉及SQL，但是笔试中SQL的难度和我们在学…
阅读更多...
车载软件架构——闲聊几句AUTOSAR BSW（一）

车载软件架构——闲聊几句AUTOSAR BSW（一）

我是穿拖鞋的汉子，魔都中坚持长期主义的工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 人生是用来体验的，不是用来演绎完美的。我慢慢能接受自己身上那些灰暗的部分，原谅自己的迟钝和平庸，允许自己出错，允许自己偶尔断电，带着缺憾拼命绽放，…
阅读更多...
Node【初识Node】

Node【初识Node】

文章目录 🌟前言🌟Node.js🌟特性：🌟1. 单线程🌟2.异步IO🌟前端中的异步🌟Node中的异步 🌟3.跨平台🌟4.运行速度快 🌟 劣势：&#x1f3…
阅读更多...
4/20~4/21两日总结

4/20~4/21两日总结

网络编程 socket通信 socket被翻译为套接字，通过socket这种约定，一台计算机可以接收其他计算机的数据，也可以向其他计算机发送数据 如何实现呢 ServerSocket类能创建Socket的服务端，Socket能创建Socket的客户端 ServerSocket中…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023