【Python爬虫】网页抓取实例之淘宝商品信息抓取

news2024/11/24 14:39:59

之前我们已经说过网页抓取的相关内容

上次我们是以亚马逊某网页的产品为例

抓取价格、品牌、型号、样式等

图片

该网页上价格、品牌、型号、样式等

都只有一个

如果网页上的目标内容

根据不同规格有多个

又该怎么提取呢？

▼如下图所示

当机身颜色、套餐、存储容量等

规格不同时

对应价格也不同

那该怎么获取不同属性下的价格呢？

 此时需要用到抓取商品详情信息的API接口item_get、或者item_get_sku。

详细调用步骤如下：

1、获取API调用权限，注册key和密钥。

2、进入API测试页，输入商品id，调用API。如下图：

3、找到响应示例中的sku信息

"skus": {
			"sku": [
				{
					"price": 678,
					"total_price": 0,
					"orginal_price": 678,
					"properties": "1627207:1007902496;5919063:6536025;12304035:1905146457",
					"properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB",
					"quantity": 200,
					"sku_id": "5142540523707"
				},
				{
					"price": 778,
					"total_price": 0,
					"orginal_price": 778,
					"properties": "1627207:1007902496;5919063:6536025;12304035:1963543205",
					"properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5142540523708"
				},
				{
					"price": 868,
					"total_price": 0,
					"orginal_price": 868,
					"properties": "1627207:1007902496;5919063:3266779;12304035:1905146457",
					"properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB",
					"quantity": 0,
					"sku_id": "5141622086982"
				},
				{
					"price": 878,
					"total_price": 0,
					"orginal_price": 878,
					"properties": "1627207:1007902496;5919063:3266779;12304035:1963543205",
					"properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5141622086983"
				},
				{
					"price": 678,
					"total_price": 0,
					"orginal_price": 678,
					"properties": "1627207:2771458827;5919063:6536025;12304035:1905146457",
					"properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB",
					"quantity": 200,
					"sku_id": "5142540523709"
				},
				{
					"price": 778,
					"total_price": 0,
					"orginal_price": 778,
					"properties": "1627207:2771458827;5919063:6536025;12304035:1963543205",
					"properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5142540523710"
				},
				{
					"price": 868,
					"total_price": 0,
					"orginal_price": 868,
					"properties": "1627207:2771458827;5919063:3266779;12304035:1905146457",
					"properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB",
					"quantity": 0,
					"sku_id": "5141622086986"
				},
				{
					"price": 878,
					"total_price": 0,
					"orginal_price": 878,
					"properties": "1627207:2771458827;5919063:3266779;12304035:1963543205",
					"properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5141622086987"
				},
				{
					"price": 678,
					"total_price": 0,
					"orginal_price": 678,
					"properties": "1627207:1198972384;5919063:6536025;12304035:1905146457",
					"properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB",
					"quantity": 200,
					"sku_id": "5142540523705"
				},
				{
					"price": 778,
					"total_price": 0,
					"orginal_price": 778,
					"properties": "1627207:1198972384;5919063:6536025;12304035:1963543205",
					"properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5142540523706"
				},
				{
					"price": 868,
					"total_price": 0,
					"orginal_price": 868,
					"properties": "1627207:1198972384;5919063:3266779;12304035:1905146457",
					"properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB",
					"quantity": 0,
					"sku_id": "5141622086984"
				},
				{
					"price": 878,
					"total_price": 0,
					"orginal_price": 878,
					"properties": "1627207:1198972384;5919063:3266779;12304035:1963543205",
					"properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5141622086985"
				},
				{
					"price": 678,
					"total_price": 0,
					"orginal_price": 678,
					"properties": "1627207:5860482491;5919063:6536025;12304035:1905146457",
					"properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB",
					"quantity": 200,
					"sku_id": "5142540523711"
				},
				{
					"price": 778,
					"total_price": 0,
					"orginal_price": 778,
					"properties": "1627207:5860482491;5919063:6536025;12304035:1963543205",
					"properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5142540523712"
				},
				{
					"price": 868,
					"total_price": 0,
					"orginal_price": 868,
					"properties": "1627207:5860482491;5919063:3266779;12304035:1905146457",
					"properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB",
					"quantity": 0,
					"sku_id": "5141622086988"
				},
				{
					"price": 878,
					"total_price": 0,
					"orginal_price": 878,
					"properties": "1627207:5860482491;5919063:3266779;12304035:1963543205",
					"properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB",
					"quantity": 200,
					"sku_id": "5141622086989"
				}
			]
		},

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1194762.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【MATLAB源码-第73期】基于matlab的OFDM-IM索引调制系统不同子载波数目误码率对比，对比OFDM系统。

【MATLAB源码-第73期】基于matlab的OFDM-IM索引调制系统不同子载波数目误码率对比，对比OFDM系统。

操作环境： MATLAB 2022a 1、算法描述 OFDM-IM索引调制技术是一种新型的无线通信技术，它将正交频分复用（OFDM）和索引调制（IM）相结合，以提高频谱效率和系统容量。OFDM-IM索引调制技术的基本思想…
阅读更多...
ARM IMX6ULL 基础学习记录 / ARM 寄存器介绍

ARM IMX6ULL 基础学习记录 / ARM 寄存器介绍

编辑整理 by Staok。 本文大部分内容摘自“100ask imx6ull”开发板的配套资料（如《IMX6ULL裸机开发完全手册》等等），侵删。进行了精髓提取，方便日后查阅。过于基础的内容不会在此提及。如有错误恭谢指出！ 注&#xf…
阅读更多...
Django ModelSerializer 实现自定义验证详解

Django ModelSerializer 实现自定义验证详解

随着 Web 开发的日益复杂化，对数据验证的需求也日益增加。Django REST framework 提供了一套强大的、灵活的验证系统，帮助开发者轻松处理各种复杂情况。本文将重点探讨 Django ModelSerializer 中如何实现自定义验证。 1. 简介 Django ModelSerializer…
阅读更多...
openinstall携手途虎养车，赋能汽车服务数字化

openinstall携手途虎养车，赋能汽车服务数字化

近日，openinstall与中国领先的一站式汽车服务平台途虎养车再次续约，双方将开启第三年合作。过去两年，途虎在建设线上线下一体化数字平台的过程中，深度结合openinstall传参归因与渠道统计技术，打造出了一套高效的渠道来…
阅读更多...
第12章 PyTorch图像分割代码框架-3：推理与部署

第12章 PyTorch图像分割代码框架-3：推理与部署

推理模块 模型训练完成后，需要单独再写一个推理模块来供用户测试或者使用，该模块可以命名为test.py或者inference.py，导入训练好的模型文件和待测试的图像，输出该图像的分割结果。inference.py主体部分如代码11-7所示。 代码11-7 …
阅读更多...
【MATLAB源码-第74期】基于matlab的OFDM-IM索引调制系统不同频偏误码率对比，对比OFDM系统。

【MATLAB源码-第74期】基于matlab的OFDM-IM索引调制系统不同频偏误码率对比，对比OFDM系统。

操作环境： MATLAB 2022a 1、算法描述 OFDM-IM索引调制技术是一种新型的无线通信技术，它将正交频分复用（OFDM）和索引调制（IM）相结合，以提高频谱效率和系统容量。OFDM-IM索引调制技术的基本思想…
阅读更多...
Spring -Spring之依赖注入源码解析（下）--实践（流程图）

Spring -Spring之依赖注入源码解析（下）--实践（流程图）

IOC依赖注入流程图 注入的顺序及优先级：type-->Qualifier-->Primary-->PriOriry-->name
阅读更多...
如何使用HadSky搭配内网穿透工具打造个人站点并公网访问

如何使用HadSky搭配内网穿透工具打造个人站点并公网访问

🌈个人主页：聆风吟 🔥系列专栏：Cpolar杂谈、数据结构、算法模板 🔖少年有梦不应止于心动，更要付诸行动。 文章目录 前言一. 网站搭建1.1 网页下载和安装1.2 网页测试1.3 cpolar的安装和注册 二. 本地网页发…
阅读更多...
[工业自动化-10]：西门子S7-15xxx编程 - PLC主站 - 信号量：数字量

[工业自动化-10]：西门子S7-15xxx编程 - PLC主站 - 信号量：数字量

目录 前言： 一、工业现场常见信号的分类 二、IO数字量模块 2.1 概述 2.2 PLC的数字量是24V还是5V电压？ 2.2 数字量模块的安装与接线 2.3 数字量模的注意事项 前言： 一、工业现场常见信号的分类 在工业自动化领域，常常需要使…
阅读更多...
3DMAX汽车绑定动画模拟插件MadCar疯狂汽车使用教程

3DMAX汽车绑定动画模拟插件MadCar疯狂汽车使用教程

3DMAX汽车绑定动画模拟插件MadCar疯狂的汽车，用于通过模拟控制来快速装配轮式车辆及其动画。这个新版本允许装配任何数量的车轮的车辆，以及包括摩托车在内的任何相互布置。还支持任意数量的拖车。 每个车轮和悬架都有简化的行为设置以及微调&#xff0c…
阅读更多...
xss 通过秘籍

xss 通过秘籍

终极测试代码 <sCr<ScRiPt>IPT>OonN"\/(hrHRefEF)</sCr</ScRiPt>IPT> 第一关&#xff08;没有任何过滤&#xff09; 使用终极测试代码&#xff0c;查看源码 发现没有任何过滤&#xff0c;直接使用javascrupt中的alert弹框 <script>aler…
阅读更多...
企业级操作之STM32项目版本管理方法

企业级操作之STM32项目版本管理方法

在MCU开发过程中&#xff0c;有时候需要软件的迭代&#xff0c;比如从V1.9升级到V1.10&#xff0c;或者从V23.09.23升级到V23.09.24&#xff0c;我们常常通过手动改动字符串或者数组来实现这个功能&#xff0c;从现在开始&#xff0c;我们会使用Keil的内置宏__DATE__和__TIME__…
阅读更多...
局域网内部服务器访问外部网络

局域网内部服务器访问外部网络

​ 一、环境说明 如下图所示&#xff0c;局域网1中的服务器是可以访问外网的&#xff0c;局域网2中的服务器发出的数据包经过中间路由可以到达局域网1中的服务器。现在有一种需求需要使局域网2中的服务器也要能访问外网&#xff0c;这里考虑采用如下方法来实现。 ​​ 二、软…
阅读更多...
基于element-plus定义表单配置化

基于element-plus定义表单配置化

文章目录 前言一、配置化的前提二、配置的相关组件1、新建form.vue组件2、新建input.vue组件3、新建select.vue组件4、新建v-html.vue组件5、新建upload.vue组件6、新建switch.vue组件7、新建radio.vue组件8、新建checkbox.vue组件9、新建date.vue组件10、新建time-picker.vue组…
阅读更多...
Pytorch实战教程（一）-神经网络与模型训练

Pytorch实战教程（一）-神经网络与模型训练

0. 前言 人工神经网络 (Artificial Neural Network, ANN) 是一种监督学习算法，其灵感来自人类大脑的运作方式。类似于人脑中神经元连接和激活的方式，神经网络接受输入，通过某些函数在网络中进行传递，导致某些后续神经元被激活，从而产生输出。函数越复杂，网络对于输入的数…
阅读更多...
传统企业数字化转型都要面临哪些挑战？_数据治理平台_光点科技

传统企业数字化转型都要面临哪些挑战？_数据治理平台_光点科技

数字化转型已经成为传统企业发展的必经之路&#xff0c;但在这个过程中&#xff0c;企业往往会遭遇多方面的挑战。 1.文化和组织惯性 最大的挑战之一是企业文化和组织惯性的阻力。传统企业往往有着深厚的历史和根深蒂固的工作方式&#xff0c;员工和管理层可能对新的数字化工作…
阅读更多...
FFMPEG库实现mp4/flv文件(H264+AAC)的封装与分离

FFMPEG库实现mp4/flv文件(H264+AAC)的封装与分离

ffmepeg 4.4&#xff08;亲测可用&#xff09; 一、使用FFMPEG库封装264视频和acc音频数据到 mp4/flv 文件中 封装流程 1.使用avformat_open_input分别打开视频和音频文件&#xff0c;初始化其AVFormatContext&#xff0c;使用avformat_find_stream_info获取编码器基本信息 2.使…
阅读更多...
一文入门Springboot+actuator+Prometheus+Grafana

一文入门Springboot+actuator+Prometheus+Grafana

环境介绍 技术栈 springbootmybatis-plusmysqloracleactuatorPrometheusGrafana 软件 版本 mysql 8 IDEA IntelliJ IDEA 2022.2.1 JDK 1.8 Spring Boot 2.7.13 mybatis-plus 3.5.3.2 本地主机应用 192.168.1.9:8007 PrometheusGrafana安装在同一台主机 http://…
阅读更多...
CSS特效005：绘制一个环环相扣的五个环

CSS特效005：绘制一个环环相扣的五个环

css实战中&#xff0c;怎么制作这样的一个环环相扣的五个环呢&#xff1f; 绘制五个圈圈很容易&#xff0c;关键是要环环相扣&#xff0c;尤其要注意环环相交部分的处理。这里要用到transform-style: preserve-3d; 和 transform: rotateY( 1deg ) 等关键的css技术。 效果图 源…
阅读更多...
无需公网IP！部署Apache服务器与内网穿透实现公网访问

无需公网IP！部署Apache服务器与内网穿透实现公网访问

Apache服务安装配置与结合内网穿透实现公网访问 文章目录 Apache服务安装配置与结合内网穿透实现公网访问前言1.Apache服务安装配置1.1 进入官网下载安装包1.2 Apache服务配置 2.安装cpolar内网穿透2.1 注册cpolar账号2.2 下载cpolar客户端 3. 获取远程桌面公网地址3.1 登录cpo…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023