数据的提取、变换和加载(二)

----字段派生是第三种用于转换数据的技术。通过字段派生，就能为最终用户生成新的信息。例如，假设日常运行数据库包含了一个销售量的字段和一个单价的字段。在转换过程中，程序员可以生成收入字段，不用最终用户计算收入。主要的 ETL产品能使程序员利用数学运算、统计函数、串处理、日期运算和条件逻辑，派生出新的字段。
----第四种变换例行程序叫净化，有多种用途。程序员依靠净化算法，把不精确的数据从其他的系统中剔除。例如，通常净化例行程序验证包含数值数据的数值字段、验证日期和数值是否有效、合理等等。一个唯一值在一个数据库中用不同方法表示的情况下，净化例行程序也能采用。例如，IBM可以写成IBM Co．、国际商业机器公司或IBM等。在净化过程中，同一数据单元的多种形式被单一的值来替换。----
----在数据被转换成目标数据库的数据之后，程序员利用加载过程，把信息写入新的数据库。在这个阶段，你必须决定是定期地还是连续不断地传播数据。定期装载是按天、周或月等有规则地进行。有时这也称作抽点传播，这种方法在特定时刻俘获日常运行系统的状态。如果用户要求最新的信息，连续传播可以在实时的基础上把数据装入目标数据库。连续复制需要一个专用的、高速通信信道。
----多数ETL工具支持定期的和连续不断的两种数据加载。高级的产品还让你在纯变化的基础上进行传播，即让你只传输变化了的数据，因而需要的通信开销为最小。
----你还能根据用于复制数据的方法进一步对数据加载分类。在推送复制中，源应用程序把变换好的数据推送给目标应用程序。在拉进复制中，目标应用程序在它需要时，比如当最终用户运行查询时，把数据拉进来。你也能设计同时利用推送和拉进过程的加载过程。在此方法中，源应用程序一般把数据推送给分级的数据库，在此数据库中变换数据并在需要时把数据拉进目标应用程序。这种“混合”的方法需要更大的磁盘空间，但它能提高性能。
----不管你是用定制编程、第三方的ETL工具或者两种方法的结合，来把数据从一个系统移到另一个系统，要想成功的关键是要对ETL的用法、源应用程序和目标应用程序要有透彻的了解。已知很多ETL解决方案的重要性和价格的情况下，你仍应坚持有一试验阶段，从而你可以在你的环境中测试每种解决方案。
商业方面
----多数公司要在多个平台、数据库和应用程序之间移动数据。由于ETL产品减轻了程序员很多费时、易出错的任务，所以ETL产品是共享数据的有效方法。在编程天才们的成本给定的情况下，ETL产品能省很多钱。
技术方面
----ETL产品能让程序员快速地把数据从一个环境移到另一个环境，而无需定制程序以打开文件、链接表格、读取记录和聚集数据等等。因此，程序员能更有效地实施和管理ETL新项目。
 数据库管理系统，如微软、Oracle或IBM的数据库管理系统，起到了基本的金库和检索技术的作用。
 除了存储数据外，数据库管理系统还处理安全和存取控制，然后由业务智能工具存取此数据供分析用。但是，很少只有运行分析操作的数据库，通常，它们（数据库）对做生意来说是非常重要的。
 数据库管理系统可以按不同的方法组织。关系数据库把信息存储在表格内，然后通过公用字段将这些表格连接或合并。层次数据库按树状结构存储数据，一份订单记录在它的下面可能每一行有一个项。面向对象的数据库把数据和业务逻辑封装在一起。
 专家称，数据仓库和数据集市是非常相像的技术，但它们服务于不同类型的客户。例如，典型的数据仓库包含了来自整个企业的大量数据。
 数据集市倾向于比较小，专门针对一个分部或一项业务。数据仓库类似于真正的食品仓库，储藏了大量的食品，然后再分发给各个食品店（即集市），供人们存取，即购买。
 数据集市运行的大小从几兆到几千兆字节不等，而数据仓库通常从几千兆到几百万兆字节。
 然而，这样的数据集市无节制的扩散会成为IT部门的恶梦，除非每个数据集市使用标准的命名和分类方案及兼容的数据类型。你需要知道的最后一件事就是数据集市之间互相不能交谈。
 用户倾向于用不同的技术组装数据仓库，然后将它定制成满足其需要，而不是将它们从机器中取出放在一起。数据仓库常常是用关系数据库构建，因为关系模型能更高效地存储和组织构成大容量的多用途数据仓库的海量信息。然而，从很多个大关系表中取出数据可能需要海量的处理和存储。
 对于那类细微的分析，数据集市为了快速响应，采用多个单元的多维数据库。数据集市中经常选用的数据被送入更小的数据库（叫数据体），进行密集处理。

首页 上一页 1 2 下一页 尾页 2/2/2

数据的提取、变换和加载(二)相关范文