Java爬取赛事网站

在这里插入图片描述

参与社区的问题回答

问题	回答
这个作业属于哪个课程	软件工程-23年春季学期
这个作业要求在哪里	软件工程实践第二次作业—文件读取
这个作业的目标	完成对澳大利亚网球公开赛相关数据的收集，并实现一个能够对赛事数据进行统计的控制台程序
其他参考文献	无

Gitcode项目地址

点击这里前往查看源码

在这里插入图片描述
运行🛠️

Java -jar AOSearch.jar input.txt output.txt

PSP表格

PSP	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	30	90
• Estimate	• 估计这个任务需要多少时间	30	90
Development	开发	570	630
• Analysis	• 需求分析 (包括学习新技术)	120	60
• Design Spec	• 生成设计文档	60	60
• Design Review	• 设计复审	60	90
• Coding Standard	• 代码规范 (为目前的开发制定合适的规范)	30	10
• Design	• 具体设计	60	90
• Coding	• 具体编码	180	180
• Code Review	• 代码复审	30	30
• Test	• 测试（自我测试，修改代码，提交修改）	30	30
Reporting	报告	90	90
• Test Repor	• 测试报告	30	30
• Size Measurement	• 计算工作量	30	30
• Postmortem & Process Improvement Plan	• 事后总结, 并提出过程改进计划	30	30
total	合计	690	810

💡

解题思路描述

获取有关网站中： players,results 的相关json 数据

实现：开发者工具，监听页面加载的网络请求，找到json，通过预览确定是哪个文件

在这里插入图片描述

问题

players出现和results一开始出现问题，监听中没有出现

采用 jsoup，爬取网页页面里面的内容，就可以找到源地址，然后再打开

在这里插入图片描述

接口设计和实现过程

把所有的json放在一个文件夹，然后通过fastjson，在Lib.java 工具类里面去访问

实现：举例：players.json的调用

在这里插入图片描述

编写中的测试

设置项目调试配置，构建并运行，主函数 args的 arg[0],arg[1]

在这里插入图片描述

关键代码展示

outFile 循环输出到 output文件

    public void outPutAllPlayers(BufferedWriter bw) {
        try {
            allPlayers temp = getAllPlayers();
            int num = Integer.parseInt(temp.getAllPlayersNums());
            System.out.println(num);
            for (int i=0;i< num;i++) {
                allPlayers.Players tempMedals=temp.playersList.get(i);
                bw.write("full_name"+tempMedals.getFull_name()+"\n");
                bw.write("short_name:"+tempMedals.getShort_name()+"\n");
                bw.write("gender:"+tempMedals.getGender()+"\n");
                bw.write("Birth_place:"+tempMedals.getBirth_place()+"\n");
                bw.write("coach:"+tempMedals.getCoach()+"\n-----\n");
            }
            bw.close();
        }
        catch (IOException e) {
            e.printStackTrace();
        }
    }

读取 Json 文件

    /**
     * @param fileName:
     * @return str
     * @ClassName: readJsonFile
     * @author 14533
     * @description TODO
     * @date 2023/2/26 14:52
     */
    public static String readJsonFile(String fileName) throws FileNotFoundException {
        String str="";
        FileInputStream inputStream = new FileInputStream(fileName);
        try {
            int ch=0;
            BufferedReader br = new BufferedReader(new InputStreamReader(inputStream,"utf-8"));
            StringBuffer sb = new StringBuffer();
            try {
                while ((ch=br.read())!=-1) sb.append((char)ch);
                br.close();
                str=sb.toString();
                return str;
            }catch (IOException e) {
                e.printStackTrace();
                return null;
            }
        }catch (UnsupportedEncodingException e) {
            e.printStackTrace();
            return null;
        }
    }

性能改进

共计 788 个选手信息，包括大量的图片信息，创建java类，先json读取指定json内容然后再返回

class allPlayers {
    private String players;
    public List<Players> playersList;
    /**
     * @ClassName Players:
     * @author 14533
     * @description TODO
     * @date 2023/2/26 14:21
     */
    public static class Players {
        private String full_name;
        private String short_name;
        private String gender;
        private String birth_place;
        private String coach;
        public Players() { }
        /**
         * @param fullname:
         * @param shortname:
         * @param sgender:
         * @param birthplace:
         * @param coachs:
         * @return void
         * @author 14533
         * @description TODO
         * @date 2023/2/26 14:29
         */
        public void setPlayers(String fullname, String shortname, String sgender, String birthplace, String coachs) {
            full_name = fullname;
            short_name = shortname;
            gender = sgender;
            birth_place = birthplace;
            coach = coachs;
        }
        public String getFull_name() {return full_name;}
        public String getShort_name() {return short_name;}
        public String getGender() {return gender;}
        public String getBirth_place() {return birth_place;}
        public String getCoach() {return coach;}
    }
    /**
     * @param total:
     * @param listPlayers:
     * @return null
     * @author 14533
     * @description TODO
     * @date 2023/2/26 14:31
     */
    public allPlayers(String total, List<Players> listPlayers) {
        players = total;
        playersList = listPlayers;
    }
    public String getAllPlayersNums() { return players; }
}

单元测试

junit 选择test用例

列举：

测试查询比赛中的选手的信息如果没有选手系统会不会出错

    @Test
    public void whichPlayerTestNull() {
        boolean flag = false;
        JSONArray winners = null;
        JSONArray uuids = JSONArray.parseArray("['240324-69652871-6852368']");
        for(int i = 0; i < uuids.size(); i++) {
            flag = true;
        }
        assertTrue(flag);
    }
    @Test
    public void whichPlayerTestEmpty() {
        JSONArray winners = null;
        JSONArray uuids = JSONArray.parseArray(null);
        for(int i = 0; i < uuids.size(); i++) {
            flag = true;
        }
        assertTrue(flag);
    }