今天谈下大数据平台构建中的数据采集和集成。在最早谈BI或MDM系统的时候，也涉及到数据集成交换的事情，但是一般通过ETL工具或技术就能够完全解决。而在大数据平台构建中，对于数据采集的实时性要求出现变化，对于数据采集集成的类型也出现多样性，这是整个大数据平台采集和集成出现变化的重要原因。

首先在这里表面一个观点，即：

不用期望通过单一的一个工具或技术来完成大数据采集和集成工作，而是需要针对数据采集的实时性需求，数据采集的类型，数据量大小等采用不同的方法和技术。

大量及电商数据的采集我们通常用电商API接口实现。 

京东获得JD商品详情 API 返回值说明

item_get-获得JD商品详情   API接口测试

.jd.item_get

公共参数

名称	类型	必须	描述
key	String	是	调用key（必须以GET方式拼接在URL中）
secret	String	是	调用密钥
api_name	String	是	API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默认yes，将调用缓存的数据，速度比较快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
lang	String	否	[cn,en,ru]翻译语言，默认cn简体中文
version	String	否	API版本

请求参数

请求参数：num_iid=10335871600

参数说明：num_iid:JD商品ID

响应参数

Version: Date:

名称	类型	必须	示例值	描述
item	item[]	0		获得JD商品详情

 

1. 参数说明

   • 通用参数说明
     • url说明 ……cn/平台/API类型/ 平台：淘宝，京东等， API类型:[item_search,item_get,item_search_shop等]
     • version:API版本
     • key:调用key,测试key:test_api_key
     • secret:调用secret,测试secret:(不用填写)
     • cache:[yes,no]默认yes，将调用缓存的数据，速度比较快
     • result_type:[json,xml,serialize,var_export]返回数据格式，默认为json
     • lang:[cn,en,ru] 翻译语言，默认cn简体中文
     • secret:密钥

   • API:item_search 参数说明：

     • q:搜索关键字
     • cat:分类ID
     • start_price:开始价格
     • end_price:结束价格
     • sort:排序[bid,bid,bid2,_bid2,_sale,_credit]
       (bid:总价,bid2:商品价格,sale:销量,credit信用,加前缀为从大到小排序)
     • page:页数
     • page_size:每页宝贝数量，默认40
     • seller_info:是否获取商家信息[yes,no],默认yes

   • API:item_get 参数说明: num_iid:宝贝ID

2. 此API目前支持以下基本接口：

   • item_get 获得JD商品详情
   • item_search 按关键字搜索商品
   • item_search_img 按图搜索京东商品（拍立淘）
   • item_search_shop 获得店铺的所有商品
   • item_history_price 获取商品历史价格信息
   • item_recommend 获取推荐商品列表
   • buyer_order_list 获取购买到的商品订单列表
   • buyer_order_datail 获取购买到的商品订单详情
   • upload_img 上传图片到JD
   • item_review 获得JD商品评论
   • cat_get 获得jd商品分类