双十一数据

摘  要：近几年随着一个热词”双十一”的出现，改变了大多数人的消费习惯，并且这几年的热潮都是只增不减,为了能更加直观地了解到双十一背后产生的数据，采用Python的数据分析和处理功能，通过Python爬虫技术爬取大量信息。按照删除有空值的信息、与双十一数据无关、信息错位的数据清洗方法，对数据进行预处理，然后将清洗后的数据存入mysql数据库，再利用echarts对数据进行可视化分析，用Flask作为Web框架开发Web应用程序，将可视化的数据展示在网页，提高了用户获取信息的速度。

 

关键词：flask python echarts mysql 数据可视化 Web框架

目 录

1 引言 1

1.1 课题的研究背景及意义 1

1.2 课题现状及发展趋势 1

1.3 课题的可行性分析 2

2 项目概述 3

2.1 项目目标和内容 3

2.2 项目性能需求 3

2.3 项目模块和流程 4

2.4 项目进度安排 5

3 开发环境以及工具和技术的介绍 6

3.1 项目开发环境 6

3.2 主要开发工具介绍 7

3.3 主要技术介绍 8

3.3.1 CSS 8

3.3.2 Python核心编程 8

3.3.3 HTML 9

3.3.4 AJAX 9

3.3.5 Flask微服务器 9

3.3.6 PyMySQL 10

3.3.7 Echarts 10

4 数据库设计 11

4.1 MySQL数据库设计命名规范 11

4.2 数据库表关系 11

5 项目实现 13

5.1 环境搭建 13

5.2 数据爬取 13

5.2.1 爬取热搜数据 13

5.2.2 爬取双十一各省排名数据 14

5.2.3 爬取近7年双十一销售额、参与品牌数数据 16

5.2.4 爬取双十一各平台消费占比数据 17

5.3 保存数据到数据库 17

5.4 读取数据前后端结合ECharts生成图表 21

6 项目优化 25

6.1 HTML页面美化与整理 25

7 总结与展望 28

致谢 29

参考文献 30