ETL系统的数据库概念设计

ETL系统的数据库概念设计2

[关键词]ETL 数据仓库 商务智能元数据2

一、 ETL概述4

（一）、ETL概念及特点4

（二）ETL作用及内容5

1、支持多种平台5

2、支持多种数据源5

3、数据转换功能5

4、管理和调度功能6

（二）数据仓库的特征6

1、面向主题6

2、集成的6

3、相对稳定的6

4、反映历史变化6

二、 ETL现状及存在的问题6

（一）、数据分散的问题6

（二）数据质量的问题7

（三）信息孤岛问题7

三、ETL设计7

（一） ETL架构的设计思想8

（二） ETL架构及其模块8

4、数据抽取引擎9

5、数据中转区数据9

6、数据转换引擎9

7、数据加载引擎9

8、元数据模块9

9、流程控制与用户交互界面9

（三） ETL系统的设计10

1、 数据抽取模块设计10

2、 数据转换模块设计10

3、 元数据管理模块设计11

四、ETL实现11

（一）ETL 工具11

（二）ETL数据模型12

2、雪花模型13

4、数据集市15

（三）ETL数据处理15

1、 数据的抽取15

2、数据的清洗转换17

2、 ETL日志与警告发送19

代码3：ETL日志相关19

（四）、ETL数据仓库建模实践20

1、构建企业级数据仓库的方法21

2、项目实践技巧24

结  论26

参考文献26

ETL系统的数据库概念设计

[摘 要]伴随着计算机技术的发展，尤其是近些年以大数据、云计算、人工智能为代表的新兴技术的发展，越来越多的企业开始意识到公司发展过程中积累的业务数据的价值，数据日益成为公司核心的资产。通过挖掘数据的价值，为企业决策提供更多的决策支持，成为很多公司的共识。

商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。为了将数据转化为知识，需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。 商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供数据支持⑩。 

公司在整合、挖掘长期积累的数据时，进行数据仓库建设时，面临很多问题，比如，数据分散、数据不一致、数据不标准问题以及数据多源系统的数据异构性问题。 

本文在进行企业级系统的设计、实现时，充分考虑了现在很多公司数据资源方面存在的问题，同时，也分析了传统的ETL系统架构的优点和缺点，并且兼顾了公司业务发展未来的扩展性。在进行ETL系统的数据清洗模块设计、数据转换模块设计、数据加载模块设计、元数据管理模块设计时，结合元数管理思想，提出并设计了一种基于元数据驱动的ETL架构，从而有效保证了数据仓库的数据质量，提高了数据装载的效率，减轻了数据源和目标数据库系统的负载压力。

[关键词]ETL 数据仓库 商务智能元数据