前言

📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯国内疫情数据综合可视化分析系统

课题背景和意义

自从２０２０年新型冠状病毒肺炎疫情发生后，人们对疫情情况非常关注。大数据背景下，网络时刻产生海量疫情方面数据，这些数据只有被合理解读与展示，民众才能更好了解真实情况。借助网络爬虫技术和Ｅｃｈａｒｔｓ技术，再通过爬虫从网上获取到每日疫情的各项权威数据，清洗、转化和挖掘后通过Ｅｃｈａｒｔｓ整理成各种可视化统计图［１］，以及每日热点搜图等以多种多样的可视化形式呈现在人们面前。通过疫情可视化页面，使人们能实时快速直观地了解疫情发展情况以及每日疫情感染人数的增长、治愈及死亡情况。全球防疫形势依然非常严峻，对疫情预防和控制仍然是当今全球共同使命,通过可视化系统及时准确评估疫情传播、根据每日疫情数据了解疫情的情况，从而分析疫情发展趋势，这对于政府制定防控措施有着重要意义。因此，文中提出一种基于网络爬行器来监控疫情数据的方法，通过Ｐｙｔｈｏｎ爬取疫情数据，显示疫情发生的实时状态，实现数据可视化，让人们看到世界疫情的实时数据以及疫情在中国的状态，以便做好必要的预防。

实现技术思路

网络数据爬取

如果把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛。爬虫沿着网络抓取自己的猎物（数据）指的是向网站发起请求，获取资源后分析并提取有用数据。从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的ＨＴＭＬ代码／ＪＳＯＮ数据／二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用［８］。用户获取网络数据的方式：１）浏览器提交请求下载网页代 —→ 码解析成页面 —→ ；２）模拟浏览器发送请求（获取网页代码）—→提取有用的数据存放于数据库 —→ 或文件中。

１）发起请求。使用ＨＴＴＰ库向目标站点发起请求，即发送一个Ｒｅｑｕｅｓｔ。Ｒｅｑｕｅｓｔ包含请求头、请求体等。Ｒｅｑｕｅｓｔ模块缺陷：不能执行ＪＳ和ＣＳＳ代码。

２）获取响应内容。如果服务器能正常响应，则会得到一个Ｒｅｓｐｏｎｓｅ。Ｒｅｓｐｏｎｓｅ包含ｈｔｍｌ、ｊｓｏｎ、图片、视频等。

３）解析内容。解析ｈｔｍｌ数据：正则表达式（ＲＥ模块）、第三方解析库如Ｂｅａｕｔｉｆｕｌｓｏｕｐ、Ｐｙｑｕｅｒｙ等；解析ｊｓｏｎ数据：ｊｓｏｎ模块；解析二进制数据：以ｗｂ的方式写入文件。

４）数据筛选过滤，包括数据抽取、数据清理、数据加载三部分。

５）保存数据。使用数据库ＭｙＳＱＬ、Ｍｏｎｇｄｂ、Ｒｅｄｉｓ保存文件。

数据可视化

数据可视化指的是将数据用统计图表方式呈现。数据可视化起源于２０世纪６０年代计算机图形学，人们使用计算机创建图形图表，可视化提取数据，将数据的各种属性和变量呈现出来，例如饼图、直方图、散点图、柱状图等是最原始的统计图表，它们是数据可视化最基础和常见的应用。数据可视化的开发和大部分项目开发一样，也是根据需求来确定数据维度或属性而进行筛选。有的可视化目标是为了观测、跟踪数据；有的为了分析数据；有的为了发现数据之间的潜在关联；还有的制作成海报、课件被用于宣传。数据可视化的应用价值是能洞察世界的究竟，发现形形色色的关系，还能理解其他形式下不易发掘的事物。

１）导入Ｐｙｔｈｏｎ库，ｒｅｑｕｅｓｔｓ是简单易用的Ｐｙ－ｔｈｏｎ实现的ＨＴＴＰ库，ｒｅｑｕｅｓｔｓ．ｇｅｔ（）用于请求具有ＨＴＴＰｒｅｓｐｏｎｓｅ类型的目标网站，是一个用来生成Ｅｃｈａｒｔｓ图表的类库。映射函数主要用于显示地理区域数据。

２）目标网站来自腾讯新闻ｈｔｔｐｓ：／／ｖｉｅｗ．ｉｎ－ｅｗｓ．ｑｑ．ｃｏｍ／ｇ２／ｇｅｔＯｎｓＩｎｆｏ？ｎａｍｅ＝ｄｉｓｅａｓｅ＿ｈ５。

３）发送网络请求。

４）数据提取转换类型：Ｊｓｏｎ类型转换为Ｄｉｃｔ类型。

５）从每一个省中提取疫情数据，包括省名、诊断人数、死亡人数、报告日期等，并将其分类保存到数组。

６）将数据按照绘图模块的格式要求打包数组。

７）利用Ｅｃｈａｒｔｓ模块绘制中国疫情地图数据。

８）疫情数据生成ＨＴＭＬ网页和Ｊｕｐｙｔｅｒｎｏｔｅ－ｂｏｏｋ内部的网页格式。