大数据相关知识||电商大数据相关参数和返回||主流电商平台大数据采集

news2024/11/16 13:40:41

主流电商大数据:

 

公共参数

名称类型必须描述
keyString调用key(免费测试)
secretString调用密钥
api_nameStringAPI接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cacheString[yes,no]默认yes,将调用缓存的数据,速度比较快
result_typeString[json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
langString[cn,en,ru]翻译语言,默认cn简体中文
versionStringAPI版本

请求参数

请求参数:num_iid=652874751412&is_promotion=1

参数说明:num_iid:淘宝商品ID
is_promotion:是否获取取促销价

响应参数

Version: Date:2022-04-04

名称类型必须示例值描述

item

item[]1宝贝详情数据

电商大数据文档: 

  1. 参数说明

    • 通用参数说明
      • 参数不要乱传,否则不管成功失败都会扣费
      • url说明 https://api-gw..cn/平台/API类型/ 平台:淘宝,京东等, API类型:[item_search,item_get,item_search_shop等]
      • version:API版本
      • key:调用key,测试key:test_api_key
      • secret:调用secret,测试secret:(不用填写)
      • cache:[yes,no]默认yes,将调用缓存的数据,速度比较快
      • result_type:[json,xml,serialize,var_export]返回数据格式,默认为json
      • lang:[cn,en,ru] 翻译语言,默认cn简体中文
      • secret:密钥
    • API:item_search 参数说明:

      • q:搜索关键字
      • cat:分类ID
      • start_price:开始价格
      • end_price:结束价格
      • sort:排序[bid,bid,bid2,_bid2,_sale,_credit]
        (bid:总价,bid2:商品价格,sale:销量,credit信用,加
        前缀为从大到小排序)
      • page:页数
      • page_size:每页宝贝数量,默认40
      • seller_info:是否获取商家信息[yes,no],默认yes
    • API:item_get 参数说明: num_iid:宝贝ID

  2. 此API目前支持以下基本接口:

    • item_get 获得淘宝商品详情
    • item_get_pro 获得淘宝商品详情高级版
    • item_review 获得淘宝商品评论
    • item_fee 获得淘宝商品快递费用
    • item_password 获得淘口令真实url
    • item_list_updown 批量获得淘宝商品上下架时间
    • seller_info 获得淘宝店铺详情
    • item_search 按关键字搜索淘宝商品
    • item_search_tmall 按关键字搜索天猫商品
    • item_search_pro 高级关键字搜索淘宝商品
    • item_search_img 按图搜索淘宝商品(拍立淘)
    • item_search_shop 获得店铺的所有商品
    • item_search_seller 搜索店铺列表
    • item_search_guang 爱逛街
    • item_search_suggest 获得搜索词推荐
    • item_search_jupage 天天特价
    • item_search_coupon 优惠券查询
    • cat_get 获得淘宝分类详情
    • item_cat_get 获得淘宝商品类目
    • item_search_samestyle 搜索同款的商品
    • item_search_similar 搜索相似的商品
    • item_sku 获取sku详细信息
    • item_recommend 获取推荐商品列表
    • brand_cat 获取品牌分类列表
    • brand_cat_top 获取分类推荐品牌列表
    • brand_cat_list 得到指定分类的品牌列表
    • brand_keyword_list 得到指定关键词的品牌列表
    • brand_info 得到品牌相关信息
    • brand_product_list 得到指定品牌的产品
    • custom 自定义API操作
    • buyer_cart_add 添加到购物车
    • buyer_cart_remove 删除购物车商品
    • buyer_cart_clear 清空购物车
    • buyer_cart_list 获取购物车的商品列表
    • buyer_cart_order 将购物车商品保存为订单
    • buyer_order_list 获取购买到的商品订单列表
    • buyer_order_detail 获取购买到的商品订单详情
    • buyer_order_express 获取购买到的商品订单物流
    • buyer_order_message 获取购买到的订单买家留言
    • buyer_address_list 收货地址列表
    • buyer_address_clear 清除收货地址
    • buyer_address_remove 删除收货地址
    • buyer_address_modify 修改收货地址
    • buyer_address_add 添加收货地址
    • buyer_info 买家信息
    • buyer_token 买家token
    • seller_order_list 获取卖出的商品订单列表
    • seller_order_detail 获取卖出的商品订单详情
    • seller_order_close 卖家关闭一笔交易
    • seller_order_message 获取或修改卖出去的订单备注
    • seller_auction_list 商品可上下架商品列表
    • seller_auction 商品上下架
    • seller_item_add 商品上传
    • upload_img 上传图片到淘宝
    • img2text 图片识别商品接口
    • tbk_order_query 淘宝客订单查询
    • item_list_weight 批量获取商品信息
    • item_history_price 获取商品历史价格信息
    • item_get_app 获得淘宝app商品详情原数据

 

hadoop生态圈 

HDFS的主要功能和作用包括:

1、分布式存储:HDFS将大量的数据文件分布式地存储在Hadoop集群中的多个机器上。数据被分割成块并复制到多个节点上,提供了可靠性和容错性,防止数据丢失。

2、高可靠性:HDFS通过数据冗余和复制机制来提供高可靠性。每个数据块都会在多个节点上进行复制,如果一个节点失败,数据仍然可以从其他副本中访问。

3、数据流式访问:HDFS支持以流式方式对大规模数据进行访问。它通过一次传输整个数据块的方式,以提高读写数据的效率。

4、扩展性:HDFS具有良好的可扩展性,可以容纳非常大的数据集。它可以在集群中添加新的机器,以同时扩展存储容量和计算能力。5、数据局部性:HDFS通过尽量将数据存储在离计算节点近的位置来提高数据访问的效率。这样可以减少网络传输的开销,提高数据处理的性能。

HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库,它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。HBase的功能和作用包括:

1、面向列的存储:HBase采用面向列的存储方式,数据被组织成表,每个表由行和列族组成。这种存储方式使得HBase能够存储和处理非结构化和半结构化的数据。

2、高可扩展性:HBase能够在大规模数据集上进行水平扩展。它可以在大量的服务器节点上进行数据存储和处理,以满足日益增长的数据量和访问需求。

3、高性能的读写访问:HBase的存储引擎使用了基于内存的索引结构(B+树),能够提供高速的读写访问性能。此外,HBase支持数据缓存、批处理操作和并行处理,进一步提高了数据的访问效率。

4、数据一致性:HBase通过ZooKeeper来提供数据的一致性。ZooKeeper是一个分布式协调服务保数据的一致性和可靠性。

5、实时查询:HBase支持基于行键的随机访问和范围扫描,可以快速检索和查询数据。它还支持多版本数据,可以存储和检索历史数据,适用于时间序列数据和实时分析。

6、强一致性:HBase支持强一致性,即对于相同的数据操作请求,返回的结果是一致的。这对于需要保持数据一致性的应用场景非常重要,例如金融和电子商务领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1800278.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

jupyter notebook默认工作目录修改

jupyter notebook默认工作目录修改 1、问题2、如何修改jupyter notebook默认工作目录 1、问题 anaconda安装好之后,我们启动jupyter notebook会发现其默认工作目录是在C盘,将工作目录放在C盘会让C盘很快被撑爆,我们应该将jupyter notebook默…

【NoSQL】Redis练习

1、redis的编译安装 systemctl stop firewalld systemctl disable firewalld setenforce 0 yum install -y gcc gcc-c make wget cd /opt wget https://download.redis.io/releases/redis-5.0.7.tar.gz tar zxvf redis-5.0.7.tar.gz -C /opt/cd /opt/redis-5.0.7/ # 编译 make…

【Spring Cloud Alibaba】开源组件Sentinel

目录 什么是Sentinel发展历史与Hystrix的异同 Sentinel可以做什么?Sentinel的功能Sentinel的开源生态Sentinel的用户安装Sentinel控制台预备环境准备Sentinel 分为两个部分:下载地址 项目集成Sentinel创建项目修改依赖信息添加启动注解添加配置信息在控制器类中新增…

大数据开发统计数据的详细口径是什么

在进行开发数据需求之前,我们先要明确数据统计的详细口径是什么。 需求1:(不明确的示例) 统计商品的销售数量。 存在的问题: 这个需求表述过于简单,未明确指出统计商品销售数量的时间范围、商品类型等关键…

《十八岁出门远行》世界很小,案牍劳形;世界很大,日短心长

《十八岁出门远行》世界很小,案牍劳形;世界很大,日短心长 余华,作家,著有《在细雨中呼喊》《活着》《文城》《兄弟》等。 文章目录 《十八岁出门远行》世界很小,案牍劳形;世界很大,日…

SOA的参考架构

1. 以服务为中心的企业集成架构 IBM的Websphere业务集成参考架构(如图1所示,以下称参考架构)是典型的以服务为中心的企业集成架构。 图1 IBM WebSphere业务集成参考架构 以服务为中心的企业集成采用“关注点分离(Separation of Co…

Redisson分布式锁原理解析

前言 首先Redis执行命令是单线程的,所以可以利用Redis实现分布式锁,而对于Redis单线程的问题,是其线程模型的问题,本篇重点是对目前流行的工具Redisson怎么去实现的分布式锁进行深入理解;开始之前,我们可以…

正宇软件助力江西数字人大建设,高效解决群众“急难愁盼”问题

近日,赣州市南康区群众通过“江西数字人大”小程序成功解决道路塌陷等民生问题,引发社会广泛关注。这一成功案例不仅彰显了“数字人大”在解决群众“急难愁盼”问题中的重要作用,也凸显了江西地区近年来在数字化人大建设方面的显著成效。正宇…

【高频】什么是索引的下推和覆盖

面试回答: 索引的下推是指数据库引擎在执行查询时,将过滤条件尽可能地应用到索引上,以减少需要检索的数据量,从而提高查询性能。这样可以减少数据库引擎从磁盘加载的数据量,提高查询效率。覆盖索引是指一个索引包含了…

uniapp余额银行卡支付密码界面实现(直接复制)

示例: 插件地址:自定义数字/身份证/密码输入框,键盘密码框可分离使 - DCloud 插件市场 1.下载插件并导入HBuilderX,找到文件夹,copy number-keyboard.vue一份为number-keyboard2.vue(number-keyboard.vue是…

Android 高德地图API(新版)

新版高德地图 前言正文一、创建应用① 获取PackageName② 获取调试版安全码SHA1③ 获取发布版安全码SHA1 二、配置项目① 导入SDK② 配置AndroidManifest.xml 三、获取当前定位信息① ViewBinding使用和导包② 隐私合规设置③ 权限请求④ 初始化定位⑤ 获取定位信息 四、显示地…

ChatGPT-4o在临床医学日常工作、数据分析与可视化、机器学习建模中的技术

2022年11月30日,可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT-3.5,将人工智能的发展推向了一个新的高度。2023年11月7日,OpenAI首届开发者大会被称为“科技界的春晚”,吸引了全球广大…

Web 网页性能优化

Web 网页性能及性能优化 一、Web 性能 Web 性能是 Web 开发的一个重要方面,侧重于网页加载速度以及对用户输入的响应速度 通过优化网站来改善性能,可以在为用户提供更好的体验 网页性能既广泛又非常深入 1. 为什么性能这么重要? 1. 性能…

研发效能DevOps: Ubuntu 部署 JFrog 制品库

目录 一、实验 1.环境 2.Ubuntu 部署 JFrog 制品库 3.Ubuntu 部署 postgresql数据库 4.Ubuntu 部署 Xray 5. 使用JFrog 增删项目 二、问题 1.Ubuntu 如何通过apt方式部署 JFrog 制品库 2.Ubuntu 如何通过docker方式部署 JFrog 制品库 3.安装jdk报错 4.安装JFrog Ar…

九种mfc140u.dll丢失的解决方法,全面解决mfc140u.dll文件丢失

mfc140u.dll是 Microsoft Visual C 2015 Redistributable 的一部分,它与 Microsoft 基础类库(MFC)的 Unicode 版本有关。当您在运行使用 Visual C 2015 开发的应用程序时,可能会碰到关于mfc140u.dll丢失的错误。下面列出了一些解决…

黑龙江等保测评流程

黑龙江的等保测评过程是一个系统严谨的过程,目的在于保证信息系统的安全与机密性符合国家规定的要求。下面将详细介绍黑龙江等保测评的流程: 一、定级与备案 首先,企业要依据自身的业务特点、信息系统的重要性和所承载的信息的敏感程度&…

React - 实现走马灯组件

一、实现效果 二、源码分析 import {useRef, useState} from "react";export const Carousel () > {const images [{id: 3, url: https://sslstage3.sephorastatic.cn/products/2/4/6/8/1/6/1_n_new03504_100x100.jpg}, {id: 1, url: https://sslstage2.sephor…

Spring系统学习 -Spring IOC 的XML管理Bean之bean的获取、依赖注入值的方式

在Spring框架中,XML配置是最传统和最常见的方式之一,用于管理Bean的创建、依赖注入和生命周期等。这个在Spring中我们使用算是常用的,我们需要根据Spring的基于XML管理Bean了解相关Spring中常用的获取bean的方式、依赖注入值的几种方式等等。…

数据结构笔记1 绪论,线性表

学习视频: 第01周c--1.2基本概念和术语1_哔哩哔哩_bilibili 01《数据结构》绪论_哔哩哔哩_bilibili 数据: 1.数值型的数据:整数,实数 2.非数值型的数据:文字、图像.. 数据元素:(元素&#xf…

四款优秀的电脑屏幕监控软件|监控电脑屏幕的必备软件

在选择监控电脑屏幕的软件时,我们需要考虑多个因素,包括软件的功能性、易用性、兼容性、安全性以及价格等。以下是几款在市场上广受好评的监控电脑屏幕的软件,它们各自具有独特的特点和优势。 1.安企神软件 安企神软件是一款专业的电脑屏幕监…