程序员分布大数据统计

摘  要：中国最大的软件开发人员网站CSDN的平台，在最近做一个专题的时候，在页面上放置了一个计数器，通过对地域的统计而的出来的结果。这个样本的数量超过数千例，因此我认为基本上可以比较准确的反应中国程序员的分部情况。我受到了这个数据图的启发从而有这个想法去统计程序员分布大数据的一个趋势，方便以后在程序员这个的行业能更好的选择道路。程序员是一个在大家认知范围内是一个高薪的工作，所以对有想法从事程序员的人可以有个大概的参考。  

 爬取网站上的2019-2020年程序员的数量，学习变化，工程师的年龄分布，各开发技能的分布，公司人员的流动以及各地区程序员的占比。利用xmind设计思维导图，再利用Photoshop制作处理用来装饰页面的图片。使用SQLyog - MySQL GUI - 64 bit工具建立数据库，PyCharm进行网站开发（用Python进行代码编写，用Photoshop处理图片，用echarts进行界面布局）。使用SQL Server 2005工具建立数据库，Pycharm可以自行生成网页文件并且通过导包来连接Mysql数据库以及引入其他如同js文件等其他辅助工具。Pycharm还可以利用requests模块，通过header头来爬取网页数据。

关键词：MySQL数据库  程序员分布  数据爬取  

目 录

1 引言 2

1.1 课题的研究背景以及意义 2

1.2 课题现状与发展趋势 2

1.3 课题的可行性分析 2

2 项目目标和内容 4

2.1 目标和内容 4

2.1.1 目标 4

2.1.2 内容 4

2.2 相关任务 4

3 开发环境以及工具和技术的介绍 5

3.1 项目开发环境 5

3.2 主要开发工具介绍 5

3.2.1 PyCharm 5

3.2.2 Mysql 7

3.2.3 Python 7

3.3 主要技术介绍 8

3.3.1 HTML 8

3.3.2 java script 8

3.3.3 CSS 9

3.3.4 Python核心编程 9

3.3.5 JSON数据传输 10

3.3.6 AJAX 10

3.3.7 ECharts 11

3.3.8 Numpy 12

4 项目分析 13

4.1 项目概述 13

4.2 项目性能需求 13

4.3 项目模块和流程 14

4.4 项目进度安排 14

5 数据库设计 16

5.1 MySQL数据库设计 16

6 项目实现 17

6.1 环境搭建 17

6.2 数据爬取 19

6.3 保存数据到数据库/JSON文件/Excl表格/CSV/TXT 19

6.4 读取数据前后端结合ECharts生产图表 21

7 总结与展望 25

致谢 26

参考文献 27