基于python大数据的招聘数据可视化与推荐系统

博主介绍：资深开发工程师，从事互联网行业多年，熟悉各种主流语言，精通java、python、php、爬虫、web开发，已经做了多年的设计程序开发，开发过上千套设计程序，没有什么华丽的语言，只有实实在在的写点程序。

🍅文末点击卡片获取联系🍅

技术：python+echarts+djiango

第1章课题概述

由于近些年互联网的飞速发展，我们所生活的世界正在被数据所淹没，人们面对大量的数据需要从大量数据中快速地提取有效的自己需要的信息。对于求职者来说当查看招聘信息时也是这样，面对招聘网站展示的大量的职位信息，应聘者难以及时选出自己最想要的职位信息，又或者筛选出信息后不能直观地看到招聘所有信息的特征、规律、变化的趋势或者数据之间潜在联系。我们可以借助计算机技术来进行自动获取筛选分析自己想要的职位信息。本文对于基于Python的招聘网站的爬虫及可视化的课题研究就显得尤为重要了。

1.1 课题内容

该课题研究的是一种基于Python的招聘网站的爬虫及可视化的系统。在开发过程中利用Python对招聘信息进行收集和分析。首先，在拉钩网站上爬取招聘信息，然后存入数据库，连接数据库将数据库中的招聘信息从地区、行业、专业、公司规模、要求经验、薪资待遇等维度进行数据分析。最后，利用ECharts可视化技术，将有效的数据展示给用户。

1.2 课题背景

近年来随着我国计算机水平的发展，计算机行业的热门，高校也都相继开设了相关课程，越来越多的计算机人才涌入社会，但市场中的一众岗位让人眼花缭乱，同时众多拥有丰富从业经验的从业者，名牌大学与普通院校毕业生共同竞争，致使很多社会中的求职者面临着就业的困扰，而如今的招聘网站信息多，想要获取有效的信息需要的时间太长。为了解决社会二次择业人员和高校应届毕业生获取符合自己的并符合自己意向的招聘岗位信息，利用Python对这些招聘信息进行收集和分析势在必行。所以需要一种能够具有分析岗位优势，薪资分布等的系统，可供求职者利用自身优势，分析岗位信息，从而尽快找到心仪的岗位。

通过综合运用互联网数据爬虫技术和图表可视化库，对招聘网站的招聘信息进行爬取，并进行了相关统计分析，从地区、行业、薪酬、经验、岗位素质等方面进行综合分析。从而帮助计算机行业想从事Java、Python、Php相关岗位的就业人员了解相关领域的岗位需求和薪资情况、企业招聘城市、招聘企业的规模和学历与工作经验要求等。从而为就业人员的快速选择岗位，在何处选择岗位提供参考，对未来的生活和工作、学习规划等明确方向。

1.3 课题意义

对于即将毕业找工作的应届生和社会择业人员来说，上网快速找到合适的工作，无疑是急需的。而如今的招聘网站信息多，面对着网上形形色色的招聘网站和参差不齐的招聘信息，想要获取有效的信息需要的时间太长，这给就业者根据自身的情况选择自己适合的职业带来了困难。针对以上不足，有必要通过爬虫技术，帮助求职者在杂乱无序的数据中寻找有用的数据，科学分析，缩短求职者找工作的时间成本，帮助求职者快速择业。

本系统爬取了拉勾网站的计算机语言相关多种招聘信息，同学们可以通过选择本身应对的学历和想要的招聘岗位来选择查看相应的招聘信息。同时将这些信息可视化，可以方便同学们快速了解公司需求情况，这些可视化的部分包括薪资情况，企业情况，公司福利情况和学历情况。

1.4 运行环境

开发环境：Pycharm

开发语言：Python+JavaScript+ SQL

后台数据库：MySQL

开发环境运行平台：Windows 7/Windows10

1.5 相关技术

本项目是使用Python语言开发编写。使用request包进行对招聘网站的数据爬取；用Pysql连接数据库，获取数据；使用Flask框架将数据返回给前端，用ECharts对数据进行可视化展示，使用Jieba分词将语句分开。

1.5.1 Python语言

Python是由其他多种语言发展而来的脚本语言。Python具有很强的可读性，比其他语言更容易上手，并跳过了编译的过程，不需要使用编译器。Python语言是交互式的，我们可以直接运行代码。Python支持面向对象的风格或者将代码封装在对象的编程技术，是一种面向对象的语言。Python语言非常适合新手学习，因此作为计算机学生，在步入大学后，专业课程开设的第一门课就是计算机导论——以Python为舟，可见Python对于初级程序员来说是一种伟大的语言。

爬虫一般来说就是进行网络资源抓取，因为Python脚本特性，Python容易配置，对字符处理十分灵活，Python有着丰富网络抓取模板，让两者可以很好的链接在一起。对比其他静态编程语言来说，Python抓取网页文档接口更加简洁。抓住网页有时候需要模拟浏览器的行为，而Python具有很多第三方包。

1.5.2 Django框架

说起 Django，它是一种完全用 Python编写的开放源码 web程序框架。最初，这款产品被研发出来，是为了对劳伦斯出版社的一个网站进行管理，也就是 CMS。并于二○○五年七月以 BSD牌照发行。这个系列的名字来自于比利时吉普赛的一位爵士吉它演奏家，德扬戈·莱因哈特。有了 Django体系结构，编程人员就可以轻松快速地创建高质量的，易于维护的，数据库驱动的应用。Django的设计模式是采用MVT模式。MVT模式职能图如图2-1所示。

表21 MVT模式职责图

层次	职责
模型（Model），即数据存取层	处理与数据相关的所有事务：如何存取、如何存取、如何验证有效性、包含哪些行为以及数据之间的关系等。
模板（Template），既表现层	处理与表现相关的决定：如何在页面或其他类型文档中进行显示。
试图（View），即业务逻辑层	存取模型及调取恰当模板的相关逻辑。模型与模板的桥梁。

工作机制介绍:

1.当您在 Django服务器上使用 manage. py运行程序开始时，加载下面的 settings. py这个文档里有关于这个工程的所有设定，最主要的设定就是ROOT_URLCONF，这个设定会告知 Django可以使用哪一个 Python模组作为网址的 URLConf。

2. Django在存取 url时执行一个基于ROOT_URLCONF的设定的装入 URLConf。

3.接下来，将 URLConf中的 URL模式依次进行匹配。当发现时，将会呼叫它的相关检视功能，并且将 HttpRequest物件做为第一个引数。

4.这个视图功能是用来返回一个 HttpResponse对象的。Django请求回应的工作机制图如图2-1所示。

第2章系统设计

本招聘网站的爬虫及可视化系统使用的是Python语言编写，采用基于Django的Web应用框架，招聘信息的存储数据库采用MySQL设计，使用ECharts进行招聘信息的数据可视化显示。

2.1 设计思想

首先使用Request爬取拉勾网网页，分析拉钩网网页，将内容进行解析后将招聘信息写入数据库，当我们需要查询信息时，需要连接数据库，将信息查询后读取并写入字典，使用ECharts框架，将数据传输到前端网页，以饼状图，柱状图，折线图等形式展示，让用户直观的看到招聘信息的地域，薪资，待遇等分布，让用户直观的获取到最关心的招聘信息。

2.2 需求分析

随着互联网时代的不断发展，各行各业的数据都呈现极为夸张的增长态势，面对毕业找工作，网上有形形色色的招聘网站，招聘信息也参差不齐，这给毕业生和二次择业人员如何根据自身情况选择自己适合的职业带来了困难。

本人想设计一个网站，爬取招聘网站的有关Java、Python、Php这三种语言相关职位的信息，然后将这些信息综合，方便同学们可以通过选择学历和想要的招聘职位来选择查看相应招聘信息。同时将这些信息可视化，方便同学们快速了解公司需求情况，可视化的部分包括薪资情况，企业情况，公司福利情况和学历情况。此系统的主要功能需求如下：

1．数据概况

爬取的所有有关Java、Python、Php语言的岗位招聘数据都可以看到，也可以通过学历和职位来选择查看满足条件的招聘信息，可以选择学历要求、输入职位来搜索更加精准的职位。

2．可视化

薪资情况：通过选择学历来查看各种岗位对于不同学历的薪资可视化情况，以柱状图、饼图的形式来展示各种职位的薪资分布、所占比例，提供给用户在找工作是作为参考。

企业情况：通过选择职位可以来查看这个职位的主要招聘城市，还可以大概查看一下这个职位的公司规模情况，以及每个职位在各个主要城市所占的比例饼图。

福利情况：通过数据可视化速览公司福利，基于词云进行构造，可以清晰看出所有公司给出的最核心的福利待遇。

学历情况：可以查看各个职位对学历以及工作经验的要求，以条形图、矩形树的形式进行可视化展示。

2.3 系统可行性分析

对于本系统可行性的分析主要从与系统开发和实际生活息息相关的技术、经济、社会三方面进行分析。

1．技术可行性

对于技术可行性首先要想到如何运用当前的技术手段可以成功地完成系统开发设计的工作，还要考虑设施以及配置能否契合开发的需要等。本次要开发的招聘数据采集分析网站系统用的是Python开发语言，容易编写,可以直接在服务器上执行端口。并且使用Pycharm可以快速创建项目。在软件方面：由于使用B/S模型的相对成熟的开发软件,所以软件开发平台的可行性。并且ECharts图表库也已非常成熟且完善，所以其技术可行性非常之高。

2．经济可行性

Python是一款开源免费的脚本语言，Pycharm开发环境也有免费的社区版，而且ECharts也是一款优秀的开源的图表。因此开发成本几乎可以忽略不计，因此经济可行性非常高。

3．社会可行性

本系统的开发符合国家法律进行，也不会触犯到任何人，任何集体的法律权益。只要开发过程中遵纪守法就完全符合法律要求，并且使用计算机的用户都会具有一定的计算机基础，并且本系统操作方法简单，分析的均为计算机相关方面的岗位信息，用户群体也都是计算机方面的人才，所以用户绝对能够熟练使用该系统，并且普通会使用计算机的人群也能使用。因此社会可行性很高。