浅谈数据BI平台的设计与实现

摘要

现在是数据大爆炸的时代，企业数据呈现爆发式增长。来自产品、运营、价值链已经外部的数据都成为指数级增长趋势。海量数据收集，海量数据处理吗，海量数据多维分析，面对这些问题，如何利用海量数据成为企业面临的共同难题。

传统型的BI主要以报表展示，响应需求慢，分析模型构建严重依赖技术人员。据咨询公司Forrester调查显示，重金打造企业数据BI的机构，83%用户都还在用excel等其他工具，这进一步说明传统BI系统几乎成为摆设，收效甚微。此外，项目耗资不菲，实施周期极长，项目风险大,对人才要求高等特征，也不利于这类BI产品的推广和普及。

本文基于工作中的一次数据BI平台的建设过程，来阐述一个新型数据BI的设计与实现。能够为企业数据提供完善的处理方案和管理策略，也能够提供自由灵活的前端多维分析和多样的可视化展现；需要充分考虑新的经济环境下，移动互联，多屏互联，云互联，分享经济的特性，具备充分的时代基因；同时需要考虑不同的企业应用背景和不同的用户群体需求，提供多样化的解决方案。

关键词　BI 智能化 可视化 数仓

目录

摘要 I

一、 数据BI核心技术介绍 2

（一）数据仓库 2

（二）联机分析处理OLAP 2

（三）OLAP分析引擎 Apache Kylin 3

二、数据BI平台的需求分析与设计 4

（一）系统需求分析 4

1.功能需求 4

2.性能需求 4

3.可靠性和可用性需求 4

（二）系统的总体设计 4

（三）系统主要模块的设计 5

1.登录模块 5

2.设置功能目录 5

3.个人中心 5

4.管理中心功能 6

5.日志查询 7

6.退出登录功能 7

7.脱敏功能 8

（四）数据仓库的设计 9

1.数据准备层（ODS） 9

2.数据明细层（DWD） 10

3.数据汇总层（DW） 10

4.数据集市（DM） 10

5.数据应用（ST） 10

三、数据BI平台的设计实现 11

（一）系统的配置 11

（二）系统多维数据分析的实现 11

（三）数据可视化的实现 12

（四）数据BI平台业务流程 13

1.需求发起 13

2.数据处理 14

3.数据展现 14

4.数据反馈 14

四、数据BI平台的性能测试及优化 15

（一）系统的性能测试 15

（二）系统的优化 15

五、总结和展望 16

（一）总结 16

（二）展望 16

参考文献 17

致谢 18