通过jsoup抓取谷歌商店评分

news2024/11/27 8:39:26

文章目录

    • 背景
    • 实现
      • 是否下架预警
      • 评分
    • 总的工具类,测试

背景

在谷歌上面发布包,有时候要看看评分,有时候会因为总总原因被下架,希望后台能够对评分进行预警,和下架预警

实现

测试地址: https://play.google.com/store/apps/details?id=com.tencent.mm
通过jsoup解析页面,然后获取评分;
这是获取评分的:
image.png

而判断包是否下架就直接判断返回的code码是否大于300,就算作下架了;

是否下架预警

public static void offline(String url) {
        // 1.解析网页(jsoup 解析返回的对象是浏览器Document对象)
        HttpResponse response = null;
        try {
            response = getHttpResponse(url);

            if (response.getStatusLine().getStatusCode() >= 300) {
                // 下架通知
                log.error("谷歌App检测下架: {} ", url);
            }
            log.error("谷歌App检测下架: code码{} ", response.getStatusLine().getStatusCode());
        } catch (Exception e) {
            log.error("谷歌App检测下架!!!url:{},异常:{}", url, e);
            //throw new RuntimeException(e);
        } finally {
            if (Objects.nonNull(response)) {
                try {
                    EntityUtils.consume(response.getEntity());
                } catch (IOException e) {
                    //throw new RuntimeException(e);
                }
            }
        }
    }

评分

public static Integer score(String url) {
        // 1.解析网页(jsoup 解析返回的对象是浏览器Document对象)
        HttpResponse response = null;
        try {
            response = getHttpResponse(url);
            if (response.getStatusLine().getStatusCode() < 300) {
                Document document = Jsoup.parse(EntityUtils.toString(response.getEntity(), Charsets.UTF_8));
                // google商店的评分class
                Elements tt9eCd = document.getElementsByClass("TT9eCd");
                if (CollectionUtils.isEmpty(tt9eCd)) {
                    log.debug("google商店评分数据监控没有评分app:{}", url);
                    return null;
                }
                return (int) (Double.parseDouble(tt9eCd.get(0).textNodes().get(0).text()) * 10);
            }
        } catch (Exception e) {
            e.printStackTrace();
            log.error("google商店评分数据监控异常!!!url:{},异常:{}", url, e.toString());
            //throw new RuntimeException(e);
        } finally {
            if (Objects.nonNull(response)) {
                try {
                    EntityUtils.consume(response.getEntity());
                } catch (IOException e) {
                    //throw new RuntimeException(e);
                }
            }
        }
        return null;
    }

总的工具类,测试

package com.study.springbootplus.util;

import com.google.common.base.Charsets;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.collections.CollectionUtils;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.util.Objects;

/**
 * @ClassName GooglePlayUtil
 * @Author yida
 * @Date 2023-08-21 17:04
 * @Description GooglePlayUtil
 */
@Slf4j
public class GooglePlayUtil {

    private static final HttpClient httpClient = HttpClients.custom()
            .setDefaultRequestConfig(RequestConfig.custom()
                    .setConnectTimeout(3000)
                    .setSocketTimeout(3000).build())
            .build();

    public static void main(String[] args) {
        System.setProperty("java.net.useSystemProxies", "true");

        offline("https://play.google.com/store/apps/details?id=com.tencent.mm");
        System.out.println("返回的分数:" + score("https://play.google.com/store/apps/details?id=com.tencent.mm"));
    }

    public static void offline(String url) {
        // 1.解析网页(jsoup 解析返回的对象是浏览器Document对象)
        HttpResponse response = null;
        try {
            response = getHttpResponse(url);

            if (response.getStatusLine().getStatusCode() >= 300) {
                // 下架通知
                log.error("谷歌App检测下架: {} ", url);
            }
            log.error("谷歌App检测下架: code码{} ", response.getStatusLine().getStatusCode());
        } catch (Exception e) {
            log.error("谷歌App检测下架!!!url:{},异常:{}", url, e);
            //throw new RuntimeException(e);
        } finally {
            if (Objects.nonNull(response)) {
                try {
                    EntityUtils.consume(response.getEntity());
                } catch (IOException e) {
                    //throw new RuntimeException(e);
                }
            }
        }
    }

    public static Integer score(String url) {
        // 1.解析网页(jsoup 解析返回的对象是浏览器Document对象)
        HttpResponse response = null;
        try {
            response = getHttpResponse(url);
            if (response.getStatusLine().getStatusCode() < 300) {
                Document document = Jsoup.parse(EntityUtils.toString(response.getEntity(), Charsets.UTF_8));
                // google商店的评分class
                Elements tt9eCd = document.getElementsByClass("TT9eCd");
                if (CollectionUtils.isEmpty(tt9eCd)) {
                    log.debug("google商店评分数据监控没有评分app:{}", url);
                    return null;
                }
                return (int) (Double.parseDouble(tt9eCd.get(0).textNodes().get(0).text()) * 10);
            }
        } catch (Exception e) {
            e.printStackTrace();
            log.error("google商店评分数据监控异常!!!url:{},异常:{}", url, e.toString());
            //throw new RuntimeException(e);
        } finally {
            if (Objects.nonNull(response)) {
                try {
                    EntityUtils.consume(response.getEntity());
                } catch (IOException e) {
                    //throw new RuntimeException(e);
                }
            }
        }
        return null;
    }

    public static HttpResponse getHttpResponse(String url) throws Exception {
        return httpClient.execute(new HttpGet(url));
    }

}

测试结果:
返回的分数:36

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1092491.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

项目管理之六大目标及成功方程式

项目管理的六大目标分别是范围、质量、时间、成本、收益和风险。在项目开始之前&#xff0c;需要明确了解项目的范围&#xff0c;并在项目执行过程中对范围进行严格控制&#xff0c;确保项目不偏离既定的范围。同时&#xff0c;需要明确项目的质量标准和预期成果&#xff0c;然…

采用 guidance 提高大模型输出的可靠性和稳定性

本文首发于博客 LLM 应用开发实践 在复杂的 LLM 应用开发中&#xff0c;特别涉及流程编排和多次 LLM 调用时&#xff0c;每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的"胡说八道"&#xff0c;以提高大语言模型输出的可靠性和稳定性&#…

1.13.C++项目:仿muduo库实现并发服务器之TcpServer模块的设计

文章目录 一、LoopThreadPool模块二、实现思想&#xff08;一&#xff09;管理&#xff08;二&#xff09;流程&#xff08;三&#xff09;功能设计 三、代码 一、LoopThreadPool模块 TcpServer模块&#xff1a; 对所有模块的整合&#xff0c;通过 tcpserver 模块实例化的对象&…

C++指针解读(3)-- 指针变量作为函数参数

函数执行是通过系统栈来实现的&#xff0c;系统栈分为若干个栈帧。栈帧就是函数运行的环境&#xff0c;每个函数在被调用时都会在系统栈区形成一个叫栈帧的结构。一次函数调用相关的数据保存在栈帧中&#xff0c;比如函数参数、函数的局部变量、函数执行完后的返回地址等数据。…

【LeetCode刷题(数据结构)】:另一颗树的子树

给你两棵二叉树 root 和 subRoot 检验 root 中是否包含和 subRoot 具有相同结构和节点值的子树。如果存在&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 二叉树 tree 的一棵子树包括 tree 的某个节点和这个节点的所有后代节点。tree 也可以看做它自身的一棵子…

PCL点云处理之基于强度特征的SIFT关键点提取法 (二百一十五)

PCL点云处理之基于强度特征的SIFT关键点提取法 (二百一十五) 一、算法介绍二、具体实现1.代码2.效果一、算法介绍 继续SIFT关键点的提取介绍,之前已经基于高程和颜色分别提取了关键点,这里是基于强度信息,若遇到文件无法读取强度问题,请参考上一篇博文,下面是具体的实现…

SQL语句-中级

一、Mysql软件使用 1.启动/停止Mysql服务器 任务管理器 cmd命令&#xff1a;以管理员的身份打开cmd命令行 net start mysql80//开启net stop mysql80//停止 2.连接与断开Mysql服务器 注意要在bin目录下执行:-u用户名root&#xff0c;-p密码 mysql -u root -p 可能出现的…

物联网AI MicroPython传感器学习 之 TEA5767 FM收音机模块

学物联网&#xff0c;来万物简单IoT物联网&#xff01;&#xff01; 一、产品简介 TEA5767 FM收音机模块是工作频率在76MHz&#xff5e;108MHz的自动数字调谐收音机。其特点高灵敏度、高稳定、低噪声&#xff0c;内部集成了中频选频和解调网络。 引脚定义 GND&#xff1a;接…

School‘s Java test

欢迎来到Cefler的博客&#x1f601; &#x1f54c;博客主页&#xff1a;那个传说中的man的主页 &#x1f3e0;个人专栏&#xff1a;题目解析 &#x1f30e;推荐文章&#xff1a;题目大解析&#xff08;3&#xff09; 目录 &#x1f449;&#x1f3fb;第四周素数和念整数 &#…

SSM+springboot+vue+java企业公寓员工宿舍后勤管理网站

论文主要是对后勤管理系统进行了介绍&#xff0c;包括研究的现状&#xff0c;还有涉及的开发背景&#xff0c;然后还对系统的设计目标进行了论述&#xff0c;还有系统的需求&#xff0c;以及整个的设计方案&#xff0c;对系统的设计以及实现&#xff0c;也都论述的比较细致&…

24字符串-kmp寻找重复子串

目录 字符串匹配——kmp算法 LeetCode之路——459. 重复的子字符串 分析&#xff1a; 字符串匹配——kmp算法 强烈建议参考Carl的讲解&#xff1a; 视频讲解版&#xff1a;帮你把KMP算法学个通透&#xff01;&#xff08;理论篇&#xff09;(opens new window) 视频讲解版&…

使用Plotly可视化

显示项目受欢迎程度 改进图表 设置颜色&#xff0c;字体

400电话-400电话办理-400号码办理

400电话是一种特殊的电话号码&#xff0c;以"400"开头&#xff0c;通常用于企业客户服务、售后支持等方面。随着互联网的发展&#xff0c;越来越多的企业开始意识到400电话的重要性&#xff0c;并积极办理400号码。 首先&#xff0c;办理400电话可以提升企业形象和信…

【音视频|ALSA】SS528开发板编译Linux内核ALSA驱动、移植alsa-lib、采集与播放usb耳机声音

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; &#x1f923;本文内容&#x1f923;&a…

ArcGIS笔记4_水动力模型验证不理想时如何修改局部水深地形

本文目录 前言Step 1 模型验证不理想的情况Step 2 修改确值点并重新插值 前言 本章主要服务于MIKE水动力模型的调整修改工作。水动力模型跑完之后&#xff0c;常常会出现验证结果不理想的情况&#xff0c;比如潮位验证中&#xff0c;实测站点数据与模拟数据相差很大&#xff0…

【计算机组成体系结构】移码 | 定点小数的表示和运算

一、移码 上篇我们提到了原码&#xff0c;反码和补码的表示形式和如何转换。这篇我们会提到一个新的概念—移码。移码也很简单&#xff0c;其实就是在补码的基础上把符号取反即可。 值得注意的是&#xff0c;移码只能表示整数。而原码&#xff0c;反码和补码既可以表示整数又…

软件工程与计算总结(十一)人机交互设计

目录 ​编辑 一.引例 二.目标 三.人类因素 1.精神模型 2.差异性 四.计算机因素 1.可视化设计 2.常见界面类型 五.人机交互设计的交互性 1.导航 2.反馈 3.设计原则 六.设计过程 1.基本过程 2.界面原型化 一.引例 无论软件功能多么出色&#xff0c;亦或内部的构造…

具有标记和笔记功能的文件管理器TagSpaces

什么是 TagSpaces &#xff1f; TagSpaces 是一款免费、无供应商锁定的开源应用程序&#xff0c;用于借助标签组织、注释和管理本地文件。它具有高级笔记功能和待办事项应用程序的一些功能。该应用程序适用于 Windows、Linux、Mac OS 和 Android。并已经为 Firefox、Edge 和 Ch…

【Android知识笔记】图片专题(BitmapDrawable)

如何计算一张图片的占用内存大小? 注意是占用内存,不是文件大小可以运行时获取重要的是能直接掌握计算方法基础知识 Android 屏幕像素密度分类: (其实还有一种 ldpi = 120,不过这个已经绝种了,所以最低的只需关心mdpi即可) 上表中的比例为:m : h : xh : xxh: xxxh = …

java springboot 通过ConfigurationProperties给第三方bean注入属性

之前我们的文章 java boot将一组yml配置信息装配在一个对象中 讲过了 通过ConfigurationProperties将配置文件中的内容默认装配进属性类 但 这建立在 bean是自己定义的 如果 这是个第三方的类呢&#xff1f; 就比如 我们在 application 中写了一套数据源的加载规则 但需要用第…