Scrapy数据爬取,Django+PyEcharts实现可视化大屏(附源码)

news2024/11/26 5:37:24

15248f97572285a26eed91eacc7c512c.gif

大家好,我是小F~

最近有个小伙伴问我有没有基于Django的可视化大屏,小F就顺手找了一下。

于是便在GitHub上发现了一个不错的实战项目,基于qunaer长沙景点数据。

还是作者最近几天刚更新的,保真~

项目地址:

https://github.com/ChenZixinn/scenery_spider_web

不方便下载的小伙伴,可以直接去文末,小F都打包好了。

/ 01 /

项目介绍

使用Scrapy进行数据爬取,MySQL存储数据,Django写后端服务,PyEcharts制作可视化图表,效果如下。

055b9bca6c487c488935afaac395e387.png

f79490aeb07a9cc12352b2ab3c1a9256.png

1b09b72c2253662ed8ad2d09a09e22bd.png

发现每个模块都有详情页,可以通过点击首页各个模块的标签,进行访问。

基于数据可视化的游客行为分析系统,包含以下几类图表。

      • 景点数量各区县分布地图

      • 景点评分数据排名

      • 景点人数占比分析

      • 景点浏览人数占比分析

      • 景点评论词云图

      • 景点浏览时间分布图

      • 景点评分分布图

      • 景点数量各区县分布图

还有登录界面,可以自己注册账号,说明包含用户管理。

7da2744c3e2bb06f55d7092adfe3fc5c.png

接下来小F就来教大家如何去部署,以win10为例。

/ 02 /

项目部署-Python

首先需要安装Anaconda(版本4.11.0),方便创建Python环境。

Anaconda的安装方法,大家可以自行百度,还是比较容易的。

安装好以后,创建虚拟环境,根据项目提供的【requirements.txt】文件,安装所需的依赖。

# 创建虚拟环境
conda create --name test python=3.8.13

# 激活环境
conda activate test

# 安装依赖
pip install -r requirements.txt

/ 03 /

项目部署-MySQL

然后是安装MySQL数据库(版本8.0.33),推荐使用msi文件进行安装,不容易出错。

一定要记住root账户的密码,后续会用到。

安装好以后,创建数据库,使用数据库。

# 创建数据库
create database hunan_web;

# 使用数据库
use hunan_web;

接下来创建数据表,并且插入数据。

具体可以看项目中【new_hunan_web.sql】这个文件。

7b76622a12bb359f5fd023cbb46ff995.png

其中作者还提供了原始数据。

6696795fd901cdbda7489bd862fb6797.png

也就意味着,你无需运行爬虫代码,便有数据,能立马将项目运行起来。

最后在程序里面设置下数据库的密码。

hunan_web文件夹中setting.py文件里去设置。

5bbfbae37169829b2121d1d8f0fd3cff.png

设置好以后,运行服务的时候,就可以连接到数据库了。

/ 04 /

项目部署-运行访问

当Python和数据库环境都搭建好时,运行【manage.py】文件

# 运行项目
python manage.py runserver

结果如下。

0863d169be20a6477fd3590e4200be1d.png

使用谷歌浏览器访问网页地址:

http://127.0.0.1:8000/

fbf872669b6df96db305d5d392370c01.png

是一个登录页,点击去注册

13ed3e95733fdd8147f99ba82a9d179c.png

输入账号密码,即可注册成功,然后去登录

登录成功,即可看到到分析页面。

bdb36a1c2874d3ca4058aa5fc87afc95.png

/ 05 /

项目部署-数据更新

如果你想更新数据库,可以运行爬虫代码。

# 更新数据
scrapy crawl qunaer

运行的时候可能会出问题,可以通过下面两种方法解决。

# ImportError: cannot import name 'SSLv3_METHOD' from 'OpenSSL.SSL'
pip3 install pyopenssl==22.0.0

# AttributeError: module 'lib' has no attribute 'OpenSSL_add_all_algorithms'
pip3 install cryptography==38.0.4

如果上面的方法也不能解决,就把scrapy库升级到最新版本。

# 升级
pip install --upgrade scrapy

/ 06 /

总结

以上操作,就能实现可视化大屏项目的部署。

当然我们还可以写不同省份的游客行为分析系统,或者切换其它的数据来源

又或者是使用pyecharts其它类型的图表,这个大家都可以自行去学习。

相关文件及代码都已上传,公众号回复【Django大屏】即可获取。

万水千山总是情,点个 👍 行不行

推荐阅读

fd39d2995324d011e7ec806cc005c10c.jpeg

0acf6a6917d656fba40bcacfcbd138e3.jpeg

58e0b0e8257980ab5b6503e8d8a44275.jpeg

···  END  ···

a69694c6b965b6729e569128afe522d7.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/566089.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Rust每日一练(Leetday0010) 子串下标、两数相除、串联子串

目录 28. 找出字符串中第一个匹配项的下标 Find-the-index-of-the-first-occurrence-in-a-string 🌟🌟 29. 两数相除 Divide Two Integers 🌟🌟 30. 串联所有单词的子串 Substring-with-concatenation-of-all-words &#x…

FL Studio 21最新中文版本发布!原生插件、UI、操作优化全面更新!

FL Studio 21现已推出,提供更快、更精确的音频编辑,升级后的DAW为用户提供了更多的内容发现和改进的界面。 Image-Line发布了FL Studio 21,称其可以实现更快、更精确的音频编辑,以及对整个DAW的更多控制。 期待已久的DAW升级为用…

网络安全的学习路线是怎么样的?

在众多高大上的学习路线指导中,尝试做一股清流,把要讲清楚的都讲清楚,该学些什么,学到哪个程度进入到下一阶段的学习这些才是最重要的。 在学习之前首先要做好学习的系统规划: 1.目前市场需求主流的岗位里&#xff0…

苏州狮山广场能耗管理系统

摘要:随着社会生活水平的提高,经济的繁荣发展,人们对能源的需求逐渐增长,由此带来的能源危机日益严重。商场如何实时的了解、分析和控制商场的能源消耗已成为需要解决的迫在眉睫的难题。传统的能源消耗智能以月/季度/年为周期进行…

springboot+jsp+java高校实验室设备管理系统

本次程序软件的开发的目的就是让使用者可以通过使用该软件提高信息数据的管理效率,同时该程序软件也需要针对不同的操作用户设置对应的功能,因此,此程序的操作流程应该尽量与用户日常操作软件的行为习惯相贴合,另外,程…

国内开源的中文Docker管理工具,界面清爽,赞!

文章目录 一、docker.ui1、简介2、docker.ui安装3、启动效果 一、docker.ui 1、简介 一个用于docker容器和docker集群的可视化管理工具,您可以浏览和维护docker单节点或集群节点worker和Manager。 2、docker.ui安装 安装命令如下: docker run --name…

Selinux 安全上下文与端口控制

Selinux Selinux 的全称是Security Enhance Linux,就是安全加强的Linux。在Selinux之前root账号能够任意的访问所有文档和服务在selinux中,访问控制属性叫做安全上下文,所有客体(文件、进程间通讯通道、套接字、网络主机等&#…

创客匠人CEO蒋洪波:抓住抓住市场需求发展

拍手访谈创客匠人CEO蒋洪波:创客匠人是如何开始的?未来又将如何发展? 一、创客匠人知识付费是如何开始的? 1.从爱好出发 我本人喜欢做产品,或者说是喜欢研究产品。 得益于在研发产品上的一些天赋,我们产品…

第五十一天学习记录:C语言进阶:枚举和联合(共用体)

枚举顾名思义就是一一列举。 枚举的优点 我们可以使用#define定义常量,为什么非要使用枚举? 1、增加代码的可读性和可维护性 2、和#define定义的标识符比较枚举有类型检查,更加严谨 3、防止了命名污染(封装) 4、便于…

【Simulink】示波器图形数据导入Matlab重新绘图(论文)

版本:Matlab2019b 效果 示波器波形图片: 黑色背景,而且坐标轴字体较小,不方便修改,不能直接用在论文上面 对比 Matlab 绘图: 接下来介绍如何设置~ Simulink 设置 选择需要导入的示波器数据 点击 Vi…

termux-x11教程

小粉丝已经求稿两个星期了,不写是不行了。 termux-x11 是Termux的一个图形化项目,官方是这么介绍的。 A Termux add-on app providing Android frontend for Xwayland.安装工具 我们需要在Termux和安卓系统上安装工具以成功的运行程序。 x11-repo&am…

实现图片懒加载的5种方式

目录 1、懒加载介绍 2、实现懒加载技术的方案 3、具体实现代码 1、懒加载介绍 当页面需要展示大量图片时,如果一次性渲染所有图片,会向服务器发出大量请求,导致服务器响应慢,出现页面卡顿或崩溃等问题。采用懒加载技术只预先加…

渗透测试 | 指纹识别

0x00 免责声明 本文仅限于学习讨论与技术知识的分享,不得违反当地国家的法律法规。对于传播、利用文章中提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,本文作者不为此承担任何责任,一旦造成后果请自行承担…

LC-3中断实验

一、实验目的 学会分析和理解给定的编程问题;掌握中断驱动的基本原理;掌握键盘数据寄存器(KBDR)及键盘状态寄存器(KBSR)工作基本原理;掌握输出数据寄存器(DDR)及输出状态寄存器(DSR…

Splunk安装配置

前言 Splunk 社区 ,包括白皮书,各类手册,资源下载,社区问答等 入门:Splunk 入门指南 | Splunk 手册:Splunk Enterprise - Splunk Documentation 资源下载:数据可视化工具Splunk Enterprise免费下载 | S…

chatgpt赋能python:Python对Word文档的支持——打造高效办公新选择

Python对Word文档的支持——打造高效办公新选择 在现代社会,文档处理和管理已成为各行各业不可或缺的一部分。在这个领域中,Word文档一直占据主导地位,成为了几乎所有企业和机构必备的工具。而Python作为一门众所周知的高效编程语言&#xf…

雅思口语话题准备(一)

目录 where are you from? 3.Will you live in the countryside in the future? 4.Have you learned the history of your hometown at school? Does your name have any particular(or special)meaning? 作为一个英语音标大师,请问ɒ和ɔ他们之间有…

chatgpt赋能python:Python%(.2f)怎么用?从入门到进阶

Python%(.2f)怎么用?从入门到进阶 Python作为一种高效的编程语言,拥有广泛的应用领域,尤其在AI、数据分析、Web开发以及自动化运维等方面得到了广泛的应用,成为当下最受欢迎的编程语言之一。在这篇SEO文章中,我们将介…

5月25日第壹简报,星期四,农历四月初七

5月25日第壹简报,星期四,农历四月初七坚持阅读,静待花开1. 教育部:2023年为中西部乡镇卫生院培养订单定向免费五年制本科医学生共计6150人。2. 全球第一个集成人工智能功能的PC系统诞生!微软宣布将在6月推出Windows Co…