51job数据分析可视化

摘  要： 随着网络招聘方式的兴起以及互联网技术的成熟,网络招聘已经是目前人们在求职就业时的主要选择方式,各大招聘网站也应运而生。我国逐年增长的应届文档生及往届文档生所构成的求职大军,引来了当今大学生的就业压力。本文就是利用数据挖掘技术挖掘51job的招聘数据,并设计实现相应可视化展示的数据分析,以达到清楚认识当前招聘现状的目的,对当代大学生的求职就业具有指导意义。

网页可视化采用Python开发语言及flask框架，并使用开发平台PyCharm完成系统的设计和实现,主要包括数据获取、数据导入、数据处理、数据分析以及数据可视化展示等五大功能模块。借用ECharts图表将数据以直方图、饼图等图表的形式进行展示,并结合MySQL数据库进行后台数据存储，Ajax技术把后端数据传送到前端网页。 

关键词：flask PyCharm MySQL数据库 ECharts 

目 录

1 引言 4

1.1 课题的研究背景及意义 4

1.2 课题现状与发展趋势 4

1.3 课题的可行性分析 5

2 项目目标和内容 6

2.1 目标和内容 6

2.2 相关任务 7

3 开发工具及环境介绍 8

3.1 51job招聘数据分析可视化的开发环境 8

3.1.1 Windows10 8

3.2 本项目应用的主要开发工具 9

3.2.1 PyCharm 9

3.2.2 MySQL 5.7 9

3.2.3 SQLyog 9

3.2.4 Python3.7 10

3.3 本项目应用的主要开发技术 11

3.3.1 HTML 11

3.3.2 java script 12

3.3.3 CSS 12

3.3.4 Python核心编程 12

3.3.5 JSON数据传输 14

3.3.6 AJAX 14

3.3.7 jQuery 14

3.3.8 Flask微服务器 15

3.3.9 PymySQL 15

3.3.10 HTTP协议 15

3.3.11 Requests/Scrapy 15

3.3.12 Eharts 15

3.3.13 NumPy 16

3.3.14 Pandas 16

4 项目分析 17

4.1 项目概述 17

4.2 项目性能需求 17

4.3 项目模块和流程 17

4.4 项目进度安排 18

5 数据库设计 20

5.1 MySQL数据库设计命名规范 20

5.2 数据库表关系 20

6 项目实现 22

6.1 环境搭建 22

6.2 数据爬取 23

6.3 数据分析与数据清洗 26

6.4 保存数据到数据库/JSON文件/Excl表格/CSV/TXT 27

6.5 读取数据前后端结合ECharts生产图表 29

7 项目优化 33

7.1 HTML页面美化和整理 33

8 总结与展望 34

致谢 35

参考文献 36