数据的提取、变换和加载(一)

 数据的提取、变换和加载
 通常把数据从一个应用程序或系统移到另一个的三个关键过程叫做提取、变换和加载（ETL）。
----实际上，每个ETL应用程序的目标都是要以适时的方式使数据能被其用户得到。传统上，各公司依靠ETL例行程序把数据从旧的应用程序移到新的应用程序，或者把日常运行数据移进业务智能系统，如数据仓库和数据集市。
----然而，由于因特网的爆炸性发展，现在ETL过程也常用于支持Web应用程序。例如，制造商可以利用ETL例行程序给基于Web的订单状况系统加载来自内部老应用程序的生产数据。ETL程序已经成为很多电子商务项目的基本构件，如 B2B、B2C的电子商务项目。
----从广义上讲，ETL程序把数据从源数据库中提取出来，再把数据变换成适合目标数据库的格式，然后装载到目标数据库中。
----为开始一个ETL过程，程序员利用提取例行程序读出源数据库中的记录，使那些记录中的数据能被变换处理过程利用。为把数据从源数据库中提取出来，程序员有三种选择 ：他们可以编写定制程序，或依靠专用的ETL工具，或者把上述两者结合使用。
----在实际中，多数程序员支持第三方工具加定制化程序。这程序被看作是用户的出口，执行针对不同环境的专用功能。
----第三方的ETL产品一般比定制程序更为有效、也更为便宜。很多ETL工具给程序员提供了单一的、直观的接口，用于从多种数据库产品中提取数据。那些依靠多家公司数据库产品的公司能从这些产品的统一访问中获取好处。
----ETL工具对于定制程序也是可取的，因为能从现成的产品中使用这些工具，这样就不需要写程序来打开文件、读出记录和链接表格——那些工具产品能为你完成这些功能。此外，主要的ETL产品还包含了设计用于流行的ERP（企业资源计划）应用程序的预制提取例行程序。在很多情况下，单个ETL工具就能满足多数数据移动要求。
 一旦提取例行程序收集了数据，变换例行程序就能为这些数据的新去处作好准备。(市面上)有几种重要的变换技术：聚集、价值转换、字段派生和净化。让我们用假设的数据集市来看看这些过程。
----数据集市是一些专用的应用程序，允许最终用户以高度直观的方式分析大趋势。例如，市场分析员可以利用销售数据集市来检查过去五年中每种产品的收入。与订单处理、制造和其他日常运行的应用程序不一样，数据集市不需要详细的信息。事实上，由于摘录出来的数据降低响应时间和增强易用性，所以摘要数据受到欢迎。
----在装载数据集市之前，通常，程序员把数据聚集起来。聚集例行程序利用相对很少的摘要记录来代替很多详细的记录。比如，假设一年销售收入数据储存在规范的数据库中几千个记录中。
通过聚集，此数据转换成数据较少的摘要记录，这些记录被写入销售数据集市中。虽然程序员能编写程序来人工地聚集数据，但ETL工具更为高效，因为它们让程序员不用编程序一步就能总结数据。
----价值转换是另一种常用的数据变换技术。日常运行的数据库储存编过的信息，以限制数据的冗余度和对存储的要求。例如，库存保管单元(SKU)可能储存在发票文件中，因为它们比相关的产品描述要短。
----由于数据集市包含了摘要信息和是为易用性设计的，所以程序员一般都用更简洁的描述代替编码的数据。虽然程序员用定制程序能完成这个任务，但ETL工具更高效，因为它们允许程序员用价值转换表对数据解码。

首页 上一页 1 2 下一页 尾页 1/2/2

数据的提取、变换和加载(一)相关范文