笔者实现了一个京东商品价格和评论的采集监控系统,它具有以下功能。
-
可以在任意时间周期内按照一定时间间隔,采集任意指定商品的价格和最新评论,都是网页可见的公开数据,不包含任何隐私数据。
-
对于消费者来说,如果订阅了预期价格,当商品实时价格低于整个预期时,这个消费者会及时收到来自本系统发出的消息通知,可以是微信通知,也可以是邮件通知。
-
对于商家来说,如果设定了差评率上限或订阅新差评通知,当差评率超过上限或有新差评产生时,商家的微信或者邮件可以及时收到实时差评率和最新差评的具体内容通知。
除了监控外,这个系统也会进行增量数据的持久化存储,除了价格周期,更重要的一点是,很多平台的商品评论,比如京东,只能看到最新的 1000 条,而使用定时监控、增量采集可以跳过这种限制。这主要得益于我们对于京东数据的采集,采用的是多语言请求,实现高效稳定的数据采集。
京东按关键字搜索商品 API 返回值说明
item_search-按关键字搜索商品
jd.item_search
公共参数
名称 | 类型 | 必须 | 描述 |
---|---|---|---|
key | String | 是 | 调用key(注册测试) |
secret | String | 是 | 调用密钥 |
api_name | String | 是 | API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等] |
cache | String | 否 | [yes,no]默认yes,将调用缓存的数据,速度比较快 |
result_type | String | 否 | [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读 |
lang | String | 否 | [cn,en,ru]翻译语言,默认cn简体中文 |
version | String | 否 | API版本 |
请求参数
请求参数:q=女装&start_price=0&end_price=0&page=1&cat=0&discount_only=&sort=&seller_info=no&nick=&seller_info=&nick=&ppath=&imgid=&filter=
参数说明:q:搜索关键字
sort:排序[bid,_bid,_sale,_review,_new]
(bid:总价,sale:销量,review评论数,new新品,加_前缀为从大到小排序)<
page:
响应参数
Version: Date:
名称 | 类型 | 必须 | 示例值 | 描述 |
---|---|---|---|---|
items | items[] | 0 | 按关键字搜索商品 |
具体来说,假如我想监控最近新出的几款手机的信息,
选中 Redmi Note 12 Turbo 查看监控记录:
可以看到所有的监控记录,字段包括价格、销量、好评、差评、中评和热门评论标签等等,网页端只显示最近 5 次快照。可以发现差评率实时在逐渐上升的,可能是被友商真我的 GT Neo 5 SE 给半路截杀了,你要战,那便战。