引言:如今对于数据的高级分析需要有一套最新的数据集成方法。如果需要整合来自数据库、流媒体服务、文件以及其他来源的数据,您可以通过本文的介绍,选择出一个合适的工具平台。
数据提取、转换与加载(ETL,Extract-Transform-Load)工具能够使组织内的不同数据更易于访问、更有意义、也更能被其他数据系统所使用。通常情况下,面对由此产生的自写代码、自建系统的相关成本和复杂性时,企业会直接去选择购置ETL工具。· 第二种选择:与现有供应商合作,选择一种能够很好地处理当前数据源和数据流的解决方案。此处所说的现有供应商,一般是一些大品牌的厂商。
· 第三种选择:最新的ETL平台。这些通常是基于云端的解决方案,能够为现有数据源到云端数据仓库的各种数据提供端到端ETL支持。它们也是针对日益增长的、基于网络的大数据流量所构建的。
本文将深入分析各种现有ETL工具的优、缺点,并快速浏览各种最新的ETL平台。现有ETL工具概述现有的ETL工具通常由业界知名公司(微软,IBM等)所设计,因此其预装的客户群也比较庞大。这些工具一般由一整套的工具所组成,并且能够针对具体的问题被予以定制。由于许多公司将其数据存储在传统的单一数据库和系统之中,因此这些工具的制造商能够提供用相应的数据迁移工具,并支持现有的批处理方法。常见的ETL工具下面虽不是一份完整的清单,但它涵盖了主要的工具产品。IBMInfoSphere Information Server作为一款ETL工具,IBM InfoSphere Information Server是IBMInformation Platforms Solutions套件和IBM InfoSphere的一部分。它使用图形符号来构建数据的整合方案,并具备各种版本(包括:服务器版,企业版和MVS版)。InformaticaPowerCenterInformatica PowerCenter是一款ETL产品套件的总称,它包括PowerCenter客户端工具、服务器和存储数据库。该软件将数据存储在库中,以便客户端工具和服务器能够访问到。各种操作一般在服务器上被执行,其服务器分别连接到源与目标系统上以获取数据,然后通过各种转换,最终将数据加载到目标系统之中。iWay软件Information Builders的iWay集成套件具有将应用程序与数据相集成的功能。客户可以使用它们来管理结构化、与非结构化的信息。该套件包括有iWay数据迁移器、iWay服务管理器和iWay通用适配器框架。MicrosoftSQL Server Integration ServicesMicrosoft SQL Server集成服务(SSIS)是一个高性能的数据集成方案平台,它包含了用于数据仓库的各种ETL包。OpenTextOpenText集成中心是一个具有整合能力的平台,各个企业能够通过它来提取、增强、改造、整合数据,并且可以将数据内容从一个或多个存储库迁移到任何新的目标之上。OracleGoldenGateOracle GoldenGate是一款比较全面的软件包,它能够实现在异构的IT环境中进行实时的数据集成与复制。Pervasive软件Pervasive的数据集成平台是一款企业级的数据集成软件方案,它能够帮助公司在任何类型的数据源和应用程序之间建立起连接。同时,它还能支持各种实时集成的场景。PitneyBowes软件Pitney Bowes能够提供大量针对数据集成的工具和解决方案。其Sagent Data Flow是一款灵活的整合引擎,它能够采集不同来源的数据,并提供一套全面的数据转换工具,以增强其核心的业务价值。SAP BusinessObjects Data Services 以前被称为Business Objects DataIntegrator的SAP业务对象数据服务(BODS)是一款可被用于数据集成、质量控制、分析和处理的ETL工具。它能够帮助您将可信的数据整合并转换到各个数据仓库的系统之中, 以产生分析报告。SAS DataManagement SAS数据管理建立在SAS平台之上,它是SAS投向ETL市场的一个工具。该平台由一个包含了(20多种)SAS工具和服务的大型套件所组成。Sun JavaComposite Application Platform Suite Sun的ETL与数据集成工具是大型Java复合应用程序平台套件(CAPS)中的一部分。它是Oracle公司的一款标准化企业服务总体套件(Enterprise ServiceBus software suite)。Java CAPS的组件能够整合现有应用程序,并能在面向服务的架构环境中提供新的业务服务。SYBASESybase ETL包括Sybase ETL Development和Sybase ETL Server。Sybase ETL Development是一款用于创建和设计数据转换项目与作业的GUI工具。该工具提供了一个完整的模拟与调试环境,旨在加速ETL转换流程的开发。Sybase ETL Development包含有一台用于控制实际处理流程的ETL开发服务器,它能够连接到各个数据库,并执行相关过程。Sybase ETL Server是一种可扩展的分布式网格引擎,它使用转换流(由Sybase ETL Development所设计)来连接到各个数据源,通过提取数据,然后将数据加载到目标之上。SyncsortSyncSort的云解决方案能够访问并整合来自各种来源的数据,从而于将数据迁移到各个云端的存储数据库之中。