|
fjrigjwwe9r0t_Info:InfoContent 随着国家《文化产业发展纲要》的发布和出版社企业改制进程的加速，各出版社信息化建设也开始从局部信息化应用现状向 “编印发财”同平台、一体化的出版ERP系统升级换代。同时，有实力的出版社还着手引进上线OA协同办公系统和数字出版加工系统，在打造业务数字化管理平台的同时建设行政网络办公平台。门户网站也开始升级改造，增加电子书在线销售和纸质书网上发行的新功能。“一网两平台、多系统建设”成了许多出版社信息化建设的最新目标。
随着各出版单位局部信息化系统的增加，使得本可以共享的数据在各部门和各系统之间却不能共享和流通，各自孤立工作的信息系统造成了大量的数据冗余和繁重的重复劳动，严重影响了“一网两平台”的应用性能。出版社为信息化投入了大量的财力、人力，为何还会出现上述问题？答案其实很明确，建设方案忽视了信息化建设中的另一项重要内容：企业应用集成（EAI）。
何为EAI（Enterprise Application Integration）？EAI是通过建立《数据交换平台》来联系横贯整个出版社的异构系统、应用、数据源等，完成在出版社内部的ERP、财务管理、OA、数字出版系统、网站系统以及其它重要的内部系统之间共享和无缝地交换数据。数据集成则是企业应用集成的重要环节，出版社实现数据集成，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用，提高信息平台的管理效能。
传统企业的应用集成多采用程序接口方案，一般采用项目编程实现。如果有N个应用系统需要集成，就需要建立N（N-1）/2个接口程序。这种方式不仅技术复杂而且费用不菲，长期应用其扩展性和适应单方程序升级都很费事，同时其可靠性极差。目前大多数出版社的企业应用集成做得不是很好也是因为多采用此方法。
山东出版集团“基于WEB平台的出版业务综合管理平台”建设时，因在平台规划设计之初就充分考虑了企业集成问题，所以引进了山东中创公司作为整个项目建设的系统集成商。集成商按照信息中心陈钢副主任提出的方案，采用.NTE技术结合IBM的ETL工具，推陈出新定制开发了数据仓库系统，支持整个平台各异构系统之间的数据集成。截至2009年9月，该系统已经运行了两年半时间，实践证明其系统稳定性和安全性都比较高，不足之处是每当增加新的集成任务时都需要集成商安排专人修改程序，重新进行调试和部署安装，扩展性较差。
2007年，我公司研发推出了《平章数据交换中心系统2.0》，首次将企业应用集成产品化，沿袭了ETL是企业数据集成的主要解决方案的思想，同时开发了用于集成任务扩展的系统设置模块、调度引擎和消息引擎。
 ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。（1）数据抽取：从源数据源系统抽取目的数据源系统需要的数据；（2）数据转换：将从源数据源系统获取的数据按照业务需求转换成目的数据源系统要求的形式，并对错误、不一致的数据进行清洗和加工；（3）数据加载：将转换后的数据装载到目的数据源。
ETL原本是作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据，如关系数据平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。在《平章数据交换中心系统2.0》中，则将ETL应用于各分散系统、分散平台之间的数据迁移、数据交换和数据同步。其工作体系图如下：
 数据抽取支持全表和增量抽取；数据清洗可以针对各个系统的各个环节可能出现的数据二义性、重复、不完整和违反业务规则等问题先行试抽取，将有问题的记录先剔除出来，根据实际情况再做相应的清洗调整操作；数据转换支持在ETL引擎中转换和直接使用SQL语句进行转换两种方式，可以针对数据交换中心数据库建立的模型，通过一系列的转换来实现将数据从业务模型到分析模型，通过内建的库函数、自定义脚本或其他的扩展方式实现了各种复杂的转换，并且支持调试环境，清楚地监控数据转换的状态；数据装载也同样支持SQL语句装载和批量工具装载，两者的区别在于前者装载时进行了日志记录，装载内容可恢复，后者易于使用，并且在装入大量数据时效率较高。
为提高交换效率和解决负载均衡，系统设计有专门的任务调度工作引擎，用以管理数千个来自不同系统的数据交换任务，可以顺序排队，亦可优先处理，或者按照更高级的组合策略进行。任务完成情况则通过消息引擎及时反馈、记录，便于用户观测。
系统最为核心的模块是集成扩展模块。当原有集成平台有新系统增加或需要增加新的集成任务时，技术人员只需要按照需求编写ETL任务包，并打上规则标签，通过窗口加载，而企业人员只需要按照需要定义好任务执行策略，交调度工作引擎模块管理即可。如果交换发生变化，如某个系统升级，数据库或外接任务事件发生变化，只需要对ETL任务包进行技术修改，而不需要大动接口程序。
系统采用微软.NET3.5技术+SQL2008开发，B/S架构。目前用于安徽出版集团、广东省出版集团、中国电力出版社有限公司、中国铁道出版社、党建读物出版社等多家出版单位。应用较长的有两年多时间，已经很好地实现了各单位“一网两平台、多系统”的企业应用集成任务。与传统的接口程序方式完成企业应用集成相比，采用《平章数据交换中心系统》完成企业应用集成，不仅可减少企业的硬件投入，节约资金，同时整个企业应用集成的安全性、可扩展性都有了较高保障。
|
您的位置：