eip数据集成解决方案

2024-05-04

eip数据集成解决方案（共9篇）

篇1：eip数据集成解决方案

一、系统概述

大型炼油厂是加工工艺齐全，生产规模大的燃料、化工原料型企业，其许多生产装置由于应用了DCS，自动化水平很高，并且各装置的工程数据已纳入全厂的CIMS系统，但是水、电、气、暖等公用工程数据以及罐区数据、进出厂数据却是独立的，仍靠统计人员汇总，不适应现代化管理的要求。为了准确且迅速地掌握并利用全厂信息，对生产状况进行有效的统筹平衡管理，优化资源配置，提高企业的经济效益，有必要建立“炼油厂全厂公用工程数据采集系统”将相对分散的数据先集中到计量中心，搞好物料平衡，再通过光纤进入全厂CIMS系统。

二、系统原理

本系统软件由上位机系统软件和下位机软件两大部分组成，均采用C语言及汇编语言编写。具有界面友好、实时性好、人工干预少、使用简单方便等优点。全部软件的设计采用模块化方法，每一个模块完成某一功能，遵循并符合“自顶向下”的软件设计原则。

三、上位机功能：

1、主要配置：

机箱：IPC-810A/6113LP4/7271AT

主板：FSC-1713VNA

配件：P42.4/256M/80G

2、功能实现：

上位机主机采用工业PC机，并配备有打印机和大屏幕监视器。上位机系统软件的主要功能是通过通信网络实现上位机与下位机间的数据传输，以及将下位机实时采集的数据进行各种处理，包括存入数据库、进行流图显示、历史趋势图和棒形图还有数据表的显示及各种要求的报表打印输出，

3、上位机系统软件分成以下模块

1)主模块：主要用于完成对整个系统各子功能的控制及调度。

2)流程图显示功能模块：主要完成各个工作区域的流程图和相应参数变化情况的显示。

3)历史趋势及棒形图显示模块：实现历史生产状况的趋势再现和与之对应时间点的棒形图及数据表格显示。

4)数据采集及通信模块：主要完成通信链路的建立及数据采集和传输。数据采集及通信是本系统的核心。

5)报表打印功能模块。

6)系统设定模块：主要用于完成对整个系统的显示设置和安全手段设置。五日以及月报表的打印。

四、下位机功能：

下位机系统的主要任务一是直接与各罐区的智能仪表接口，将各种生产数据信息采集并处理后按一定格式存放;另一个重要的任务是不断监听通信线路是否有上位机来的数据传输请求，将所采集信息准确快速地传往上位机。下位机要保证所采集数据的正确及完整性、及时性，在后一任务中，下位机还要能够识别出各种非主机有效呼叫。作为下位机，在本系统中它是作为一个“黑匣子”模块，处于上位机与生产装置之间。其最大的特点是一个连续不间断的运行系统，而且一旦开机运行即不需要任何人工干预。这就决定了下位机不仅要从硬件上保证安全可靠，而且在软件开发上也要从高可靠性、安全性方面出发，保证其正常地连续运行。在最恶劣的情况下，如系统掉电、系统“飞程序”等，还应使下位机具有一定的故障自诊断及自恢复功能。

下位机系统软件中设计了以下主要功能模块：系统初始设定模块;底层通讯服务模块;高层通讯服务模块;数据采集模块;系统故障自诊断/恢复模块

下位机采用研祥嵌入式微型主机MEC-5001，具备6个RS232串口采集流量计的数据，网口向上位机传输数据，MEC-5001具有小型化、模块化、组合化、严格的标准化、可做为黑匣子工作方式等优点并适合于环境恶劣的工作条件。MEC-5001采用直流供电方式，供电范围12——30V，保证了断电后可采用电瓶直接供电

五、系统评价

该系统将炼油厂全厂公用工程数据集中与管理，搞好全厂物料平衡，提高管理水平奠定了基础。

篇2：eip数据集成解决方案

继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration）已渐被各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成应用，这种架构常见于数据仓库系统领域，服务于企业的商务智能。早期那些数据集成大家大都是从ETL启蒙开始的，当时ETL自然也就成了数据集成的代名词，只是忽然一夜春风来，各厂商相继推出DI新概念后，我们不得不再次接受新一轮的DI洗脑，首推的有SAS DI、Business Objects DI、Informatica DI、Oracle DI（ODI）等厂商。

数据集成，主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程，是一个渐进的过程，只要有新的、不同的数据产生，就不断有数据集成的步聚执行。企业有了五年、八年的信息化发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与需求日渐迫切，企业需要一个主数据管理（Master Data Manager）系统来统一企业的产品信息、客户信息；企业需要一个数据仓库（Data Warehouse）系统来提高领导层的决策意识，加快市场战略调整行动；企业需要一个数据中心（Data Center）系统来集中交换、分发、调度、管理企业基础数据。

数据集成的必要性、迫切性不言而喻，不断被推至企业信息化战略规划的首要位置。要实现企业数据集成的应用，不光要考虑企业急需集成的数据范围，还要从长远发展考虑数据集成的架构、能力和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性看主要可分三种架构。一种是单个系统数据集成架构、一种是企业统一数据集成架构、一种是机构之间数据集成架构。

单个系统数据集成架构，是国内目前大兴土木所采用的架构，主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系统，集成企业所有基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特点是多对一的架构、复杂的转换条件、TB级的数据量处理与加载，数据存储结构特殊，星型结构、多维立方体并存，数据加载层级清晰。

企业统一数据集成架构，组织结构较复杂的大型企业、政府机构尤为偏爱这种数据集成的架构，因此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征，更需要多个部门一起协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换的需求。如金融机构、电信企业，公安、税务等政府机构，业务独立、层级管理的组织结构决定了内部数据交互的复杂性。概括来说此类应用属于多对多的架构、数据交换频繁、要有独立的数据交换存储池、数据接口与数据类型繁多等特点。

对于企业管理性、决策性较强的信息系统如主数据管理系统、财务会计管理系统、数据仓库系统等数据可直接来源于数据中心，摆脱了没有企业数据中心前的一对多交叉的困扰，避免了业务系统对应多种管理系统时需要数据重复传送，如CRM系统中新增一条客户信息数据后，直接发送到企业数据中心，由企业数据中心面向风险管理系统、数据仓库系统、主数据管理系统进行分发即可。

机构之间数据集成架构，这种架构多是应用于跨企业、跨机构、多个单位围绕某项或几项业务进行的业务活动，或由一个

以上三种数据集成架构，一种是对应于某一个应用系统的多对一架构，一种是完成企业内部众多系统之间数据交换的多对多架构，一种是为多个跨企业、单位机构实现某一项或几项业务活动而建立的多对多架构，数据集成的应用差不多都是基于这三种架构，每种架构可能会对应于多种数据集成的应用。国内企业常见的数据集成应用有数据仓库、数据同步、数据交换，随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始纷繁异景起来。

目前大部分数据集成软件厂商都是围绕数据仓库（Data Warehousing）、数据迁移（Data Migration）、数据合并（Data Consolidation）、数据同步（Data Synchronization）、数据交换（Data Hubs或者叫主数据管理：Master Data Management）这5种常见的企业应用形式来发展各自的产品技术。

数据仓库（Data Warehousing）应用：

数据仓库的发展在国内差不多有近10个年头，数据仓库中的数据集成应用主要是围绕ETL的功能来实现，一般来说其主要功能是将多个业务系统不同种数据类型的数据抽取到数据仓库的ODS（Operational Data Store）层，经过转换，加载存储到星型结构的DW（Data

Warehouse）层，为满足不同主题的展现应用，再向关系型数据库或多维数据库进一步汇总加载，其ETL功能可由手工编程或专业工具软件这两种类型来实现。

尤显重要。如航空公司与航空机场之间的数据同步应用、证券交易所与证券公司之间的股票信息同步、金融业的汇率信息同步等等，影响数据同步的实时性与可靠性的因素会有网络的连通性、传输效率、数据接口、数据格式等，这些诸多因素都属于数据集成中的数据同步要解决的问题。

数据交换（Data Hubs）应用：

或者叫主数据管理（Master Data Management）应用，这种数据集成的应用越来越受企业的重视。一般构成企业主要的基础数据分别是客户数据、产品数据、员工信息数据、供应商数据，要从企业多个系统中快速、可靠地建立唯

一、完整的企业主数据视图这就是主数据管理。要实现企业主数据管理应用的数据集成平台，必须具备有良好的数据连通性、良好的数据质量探查与分析、良好的数据转换能力等特点。文中上述提到跨多个企业、单位机构的架构就是一个典型的主数据管理应用，如公安局、工商局、税务局、人事局、劳动社保局等这些众多政府机构主要是围绕2个基本主体进行各项事务活动，一个主体是个人，另外一个主体是企业单位，而众多政府机构对这2个主体的信息数据要求重点不同、数据处理顺序有先后，数据变更有各异，数据交换复杂、频繁，而最理想的境界是这2个主体数据能做到最大程度的同步，这就是主数据管理的思想。

以上五种数据集成应用解决方案在国内最常见的首当其冲的是数据仓库的应用，最复杂的应用应该是数据交换了，不管是简单还是复杂的应用都以ETL技术为基础，ETL技术成为了数据集成的核心技术，伴随ETL技术的还有数据连通、数据质量、数据清洗、数据联邦、Real-Time、数据探查等技术，为了提高数据集成的安全性、高效性、可扩展能力，还有SOA、HA、GRID等相关技术作为支撑。

ETL（Extract、Transform、Load）：数据集成视数据抽取、转换和加载为最基础、最核心的三项技术，这三个执行步骤可根据系统环境特点进行调整顺序，典型的应用有ELT的顺序。如源与目标为同种数据库、或共用一个数据库时，可将数据从源直接抽取到目标然后再进行转换，效率会大有提高，专注此类特点的产品以Oracle的ODI为代表。

数据连通（Data Connective）：良好的数据连通性是数据集成的能力体现，一般通用的关系型数据库、ODBC、XML等数据连通类型为常见类型，还有一些就是大中型企业常用

的ERP、CRM、BPM、OA等应用软件为封闭式的系统，如SAP、Seibel、Lotus等系统的连通，因此良好的数据集成平台需要提供来自更多企业的数据连通接口，抽取源与装载目标的范围也就更广阔。

数据质量（Data Quality）：数据质量越来越被企业重视，数据质量的技术范围也越发宽广，开始慢慢被剥离出数据集成的范畴。企业不能根据标准不统一、歧义、不正确的数据快速做出决策，只有站在高质量的数据基础之上做出的决策才不会发生方向偏倚。通常实现企业数据质量管理会包括源数据的探查、数据质量的评估、数据集成、数据的完整和数据的监控这五个步骤。数据的完整一般是指根据现有基础数据作其它数据项的扩展和丰富，如根据客户的联系方式来丰富客户的所属地区数据项、根据客户身份证号码来丰富客户的所属地区、年龄、性别等信息。

数据实时（Real-Time）：对于实时数据仓库系统、数据同步等应用都会用到数据实时技术，一个系统的数据发生变化后，能即刻将变化的动作同步到另一个系统这就是数据实时技术的主旨。关系型数据库、AS400、MQ Series、ADABAS等系统都有自身的实时数据策略，如Oracle数据库的实时可以通过Trigger或Log Miner分析归档日志方式来实现。

诸如以上ETL、数据连通、数据质量、数据实时等技术，还有数据联邦、数据清洗、HA、Grid、Partition、SOA技术，这些都是保证数据集成平台的可扩展性、安全性、高效性、简便性的通用技术。

神州数码公司面向各行业提供有多家数据集成整体解决方案的经验，整体解决方案包括有企业数据集成业务咨询、企业数据集成平台产品、各厂商数据集成底层软件共三大块。

 数据集成咨询

神州数码的业务咨询具体指对企业各个层次的数据对象进行调研，给出企业数据管

理现状分析报告，为企业的数据管理进行数据标准定义，根据企业特点提出更优的核心数据管理机制建议，设计适合企业长远发展的数据管理机构体系和工作管理流程，并对组织结构进行岗位职能设置。 数据集成平台

神州数码的数据集成平台是企业数据管理部门的工作手段，须依赖于一套严谨的数据管理规范。数据集成平台是以企业数据统一存储模型作为依托，提供完备的数据存取、清洗、转换等处理功能，为企业各业务部门提供准确、单一的数据服务，并对数据服务各环节进行审批、监控、分析和管理。 数据集成产品

篇3：eip数据集成解决方案

随着企业信息化建设的不断深入, 企业内部建立了大量的应用系统。对于企业来说, 数据的重要性不言而喻。然而在企业信息化建设进程中, 由于缺乏对信息化建设的统一规划, 当企业实施一个新的管理信息系统时, 部门间缺乏沟通或出于数据保密等原因, 对其所涉及的数据进行独立存放, 这就导致企业内部多个信息系统之间的数据彼此独立、无法实现共享, 从而形成了一个个的数据孤岛。

数据集成技术就是要实现不同操作系统平台中的异构数据源的集中存储, 而SOA架构最大的特点就是与平台无关, 使用SOA架构可以较好的解决企业中的数据集成难题, 在SOA架构中, 最重要的是服务的概念, SOA中的服务可以是Web服务和消息等其他各种形式的体现, 但Web服务仍然是最常见的实现方式。

1.1 数据集成难点

数据集成主要面临如下几个难题: (1) 异构的操作系统和数据库平台。需要集成的数据分布在异构的操作系统中以及异构的数据库中, 而且还有可能是一些桌面数据源, 如Excel或XML等; (2) 分布式系统。需要集成的数据分布在网络中的不同结点, 需要考虑到网络传输性能、网络安全等方面的问题; (3) 统一不同的语义。不同应用系统对同一个业务领域的概念具有不同的数据定义, 数据集成需要对数据进行加工处理。

1.2 SOA

SOA (Service-Oriented Architecture, 中文译为面向服务架构) 是从结构化编程、面向对象编程、基于组件编程逐渐发展而产生的一种构建应用程序的新方法。基于SOA的应用程序的功能实现是基于一系列称之为“服务”的基本单元之上, 应用程序与这些服务之间通过事先制定好的契约和规范进行数据交互。并且这些服务是与操作系统、计算机硬件以及程序设计语言无关的, 应用程序开发者只需要关注服务的具体功能是否能够满足需求即可。

2 基于SOA的异构数据集成解决方案

2.1 方案设计

假设当前需要将数据集成到中心数据库SQL Server中, 而待集成的数据可能存储在异构的数据库中, 如SQL Server、Oracle以及My SQL, 如何在异构数据库之间进行数据集成, 是本系统需要考虑的关键问题。

在解决这一问题时, 本文采用了基于SOA的数据集成方案。第三方业务系统通过调用数据集成服务将存放在异构平台、异构数据源中的业务数据“推送”到中心数据库中。

如图1所示的设计方案。

如图1所示, SOA中的“服务”采用了Web服务的形式, 其实现过程如下:

(1) 在数据集成系统的Web服务器中部署数据集成的Web服务, 对外进行发布;

(2) 由第三方业务系统 (待集成数据存放的系统) 进行服务发现和订阅;

(3) 第三方业务系统中将待集成的数据转换成约定好的xml数据格式规范;

(4) 第三方业务系统对服务进行调用。

(5) 数据集成系统接收到服务调用后, 根据消息类型进行路由, 找到相应的服务以及服务响应处理程序, 对数据进行必要的处理后保存至SQL Server数据库中。

通过服务, 屏蔽了具体的实现细节, 包括底层的操作系统、数据库、编程语言以及具体实现方式;其次数据在网络间通过xml进行传输。由于xml是数据存储和传输的标准, 能够较好的解决异构数据在网络中进行传输的问题。

2.2 系统主要模块

SOA架构包含服务提供者、服务注册管理中心以及服务调用者。其中服务提供者需要提供对服务的声明功能, 并考虑到服务的安全性;服务注册管理中心需要提供对服务的注册、发布等功能;服务调用者需要通过服务注册管理中心发现服务, 然后进行调用。系统主要设计以下几个模块:

(1) 服务声明模块。服务声明模块主要根据系统需求声明实现各个Web服务, 从而实现对各类业务数据的集成, 最终保存到中心数据库中。

(2) 服务管理模块。服务管理模块主要实现服务的注册、发布等操作, 为服务调度和业务运行提供服务支撑。当服务被声明后, 通过服务管理界面, 将服务注册到服务平台上。经过对服务的测试验证, 管理人员将可以稳定运行的服务发布到平台上。服务发布后, 进入到服务目录中, 供第三方业务系统进行订阅和发现。当服务组件过程或功能不满足业务要求时, 可以将服务组件从服务平台注销掉。

(3) 服务调度模块。服务调度模块主要根据第三方业务系统的服务请求, 完成身份认证和服务解析, 并根据消息类型进行消息路由, 完成服务调用和处理, 并返回服务调用结果。

(4) 服务安全模块。服务安全模块主要提供传输通道安全和数据安全, 并提供用户签入授权与身份验证, 确保服务平台应用信息安全。系统主要通过以下两种安全策略保证系统的安全: (1) 数据传输安全策略:使用加密算法对xml元素进行加密, 保证数据传输的安全性。 (2) 身份验证策略:对用户进行身份验证和服务签入授权的两级验证方式, 保证服务的安全性调用。

3 总结

本文应用了一种基于SOA的数据集成解决方案, 具体的服务形式采用了基于SOAP的Web服务, 并设计了数据集成系统的核心模块。本解决方案能够实现对不同平台中异构数据的集成。SOA的特点使模块间的耦合程度降到了最低, 同时使系统具有较强的扩展性。

参考文献

[1]Mike P.Papazoglou, Willem-Jan Heuvel.Service oriented architectures:approaches, technologies and research issues[J].The VLDB Journal, 2007 (3) .

[2]张文江.地质灾害数据集成关键技术研究[D].成都理工大学, 2013.

篇4：高校数据平台集成方案的分析研究

【关键词】数据平台；集成；ETL技术

我校从2000年开始信息化建设，早期缺乏统一的规划和信息标准，各部门根据自己的业务需要，建立了各自的管理信息系统和数据库系统。各应用系统建设时期不同，采用的技术架构不同，运行管理维护各自独立，当对信息的处理涉及多个系统之间的协调时，处理诸如跨操作系统平台、跨数据库、跨开发平台等多方面的工作，容易形成混乱，给开发、管理、维护工作带来大量的工作量和难度。为解决这些问题，需要建立一个统一的数据平台，对各类应用和数据进行整合，消除“信息孤岛”，形成统一的数据服务，提高管理效率，降低管理成本。

1.总体设计

数据平台的建设并不是一件简单的事情，有一些集成需求是面向数据的，还有一些集成项目是基于事件驱动的体系架构或者面向服务的体系架构，把整个高校基于各种不同平台、用不同方案建立的异构应用和数据整合是一个复杂的任务，甚至是涉及到学校的体制、各部门责任和利益的复杂的系统工程。数据平台的总体设计采用三层数据模式，分别为表示层、应用服务层和数据层。表示层对全校学生和教职工提供应用平台的访问服务，以B/S方式体现；应用服务层涵盖学校所有现有的应用软件系统，包括综合信息系统、办公自动化系统、校园一卡通、教务管理系统、科研管理系统、人事管理系统、财务管理系统、学工管理系统、网络教学系统、图书管理系统、档案管理系统等，这些子系统有机的组成一个整体，提供基于统一身份认证的信息集成，提供信息化系统服务，并且提供应用软件与数据库接口，有效地对学校进行全方位的管理；数据层是共享数据平台，提供数据交换和共享功能，数据要高度集中，并且安全可靠，为数字化校园的建设提供可共享的数据支持。

2.技术实现

选择技术体系结构时要考虑整个系统的跨平台性、安全性、可靠性、稳定性及可管理性，并且应该有好的可扩展能力。我们的原始数据来自多个不同的数据源，有数据库中的模式固定化数据，也有来自异构源的异构数据，将这些分散异构的数据集成到一个统一标准的数据库中并且统一所有的应用很难实现，所以我们采用数据交换技术，将现有数据资源以原有格式存储于分布式数据服务器上，实现分散异构的数据资源共享管理和流通，在共享數据平台上搭载现有业务应用和开发新的业务应用系统。

3.数据集成

数据集成技术涉及元数据模型管理、数据抽取转换加载技术和数据联邦技术等。对于异构数据的集成，常见的有集成模式和复制模式。集成模式对应的是联邦数据库模式，提供统一的访问视图，实现逻辑上的数据集成来满足应用数据的集成需求；复制模式对应的是数据仓库建设，由ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）完成数据从数据源向目标数据仓库转化的过程，目前大多采用这种模式，把数据从物理上不同的数据源中抽取，进行数据转换和加载，得到统一完备的数据仓库，原来分散的应用仍可以独立运作。ETL规则设计和实施在整个数据集成项目中占有60%-80%的工作量，在数据处理上几个重要流程：

3.1元数据管理

元数据就是描述数据的数据，即对数据库、表、列、列属性（类型、格式、约束等）以及主键/外部键关联等等的描述，在地理空间信息资源共享过程中起着关键作用。在数据仓库系统中，元数据机制定义了数据源的位置及数据源的属性，确定源数据到目标数据的对应规则，确定相关的业务逻辑、记录根据业务事件发生而随之进行的数据抽取工作时间安排，记录检测系统数据一致性的要求和执行情况，衡量数据质量，合理的元数据会有效的描述信息的关联性。所有的ETL过程必须参照元数据，才能快速实现。

3.2数据抽取

数据抽取是从数据源中抽取数据的过程，包括模式数据和实例数据抽取。在实施整个ETL过程的时候，首先要对抽取进行分析，确定什么数据需要被抽取，确定数据源信息、有效性、数据格式等，用相关算法得到实例数据的抽取策略，进行数据抽取。

3.3数据转换和加工

定义数据源和目标库的映射关系，根据定义好的转换模型，对抽取出的数据进行转换和加工。数据的转换和加工可以在ETL引擎中进行，也可以在数据抽取过程中利用关系数据库的特性同时进行。相比在ETL引擎中，直接在SQL语句中进行转换加工更加简单清晰，性能更高。

3.4数据加载

将转换和加工后的数据装载到目标数据库中，这是ETL过程的最后步骤。数据加载的方法有多种，对于数据量较小的数据可以通过SQL插入、更新等基本语句完成，对于海量数据可以采用批量装载的方式。

3.5目的数据存储

提供数据与原数据的存储场所，一般为数据仓库。为了考虑整个系统的功能实现，须配备强大的辅助管理工具，以进行作业调度、日志管理、系统监控、数据维护等辅助系统的操作，同时要为应用软件提供接口，实现更好的交互性和可扩展性。

4.结束语

篇5：eip数据集成解决方案

社会进程来到21世纪的今天，人们居住城市化的比例在不断扩大，而城市里人们的日常活动也变得越来越多样化，节奏化，这就要求城市的各种信息网络越来越健全，同时也需要越来越多、越来越灵活便捷的支付手段。开始向自动化方向发展，其中城市一卡通系统从某种程度上较好地解决了人们在生活中对于日常支付的问题。

城市一卡通系统通常包含以下功能模块：公交、的士、地铁、商场超市、燃气、水电、公用事业、停车场、加油站、物业管理等。在我国的一些大城市一卡通系统开始逐渐推广应用，如上海的交通一卡通工程自12月开通以来，已经在公交、地铁、出租、轮渡和轻轨上实现了一卡通，短短两年时间，发卡数量已超过200万张。随着城市一卡通的更广泛应用，人们的日常生活也将享受到更多的便利，

[系统应用]

整个城市一卡通系统涵盖了金融，行政事业，交通等诸多行业，整体结构非常庞大。今天我们仅从一卡通将涉及到的各种终端产品来看一看智能嵌入式技术在城市一卡通系统中的应用。

一卡通从发卡到消费到充值等过程需要使用到各式各样的操作终端，如IC卡发卡终端、POS终端机、系统查询终端等等。为了使终端产品更加稳定、易用和具有创新性，使应用更加灵活广泛，智能卡终端大多开始采用以EIP技术作为核心操作平台的解决方案，利用EIP强大的运算和通讯功能，利用EIP高可靠的特性，来满足各种应用场合的需求。

[系统结构]

图一、智能终端内部结构

图二、城市一卡通系统结构 [功能特性]

“EVOC”EC5-1621LDNA是一款专门为这一应用而研发的嵌入式产品，采用VIAApollo133系统芯片设计，支持Socket370构架的PentiumⅢ级CPU，功能非常强大，适合运行各种复杂的应用程序。

篇6：eip数据集成解决方案

数据中心对性能和灵活性的多样化需求,也富含了各种新布线方案的市场契机。其中一个不错的增值解决方案选择就是集成光缆模块ITM(integrated trunk module),可以应付越来越有挑战性的数据中心布线需求。

ITM产品的主要特点就是在一个模块中预留了一定长度的12芯数据中心主干光缆(如图1所示)。在数据中心中,如果有了ITM产品,就不需要对链路进行费时费力的事先规划、测量和计算了,这是因为,ITM里预留的数据中心主干光缆,将有助于创造一个无任何光缆冗余的链路;另外,主干光缆和模块的集成,也可以减少一个MPO连接器,从而有利于降低插入损耗;因此ITM以其模块化的光纤快速连接方案,可以为数据中心的设计提供了另外一种更快捷、更方便的思路。

ITM可适用于小型数据中心(侧重于交叉互联)或大型数据中心(侧重于区域分布)

如图2、图3所示。

在一个含有区域配线区(ZDA)的大型数据中心里,集干模块包括了一个带针MPO连接器,并放置在设备配线区的机架里。从那里,主干将被拉到ZDA,连接到带针连接器。

在小型数据中心里,集成主干模块,包括不带针的MPO连接器,被放置在设备配线区的机架上。

在ITM中,可旋转的滑动托盘设计,将可以更方便地配置主干光缆,而这些主干光缆都已预端接了带针或不带针的MPO连接器。一旦主干光缆安装结束,多余的光缆将被储存在滑动托盘里,以免出现过多冗余。

当和数据中心经理谈到预端接、模块化解决方案时,往往会出现两个问题:交货时间和冗余管理。

在主干光缆的芯数和长度确定以前,光缆制造商或分销商已经尝试过库存一定数量的工厂预端接主干光缆来解决交货期问题。虽然这个对策也许能够解决按时交货问题,但它往往也许会加深光缆冗余管理负担。例如:在交货期很紧的情况下,数据中心管理员惟有订购一根长达100英尺的库存预端接主干光缆,但实际上,他们需要的长度只有80英尺,因此,管理员就不得不伤透脑筋来寻找一个方法以便管理该多余的20英尺主干光缆。

对于不能或不愿意处理主干光缆交货期或冗余问题的数据中心管理员而言,也许一个常用的办法就是将模块和尚未端接的光缆库存起来,再在具体施工时进行MPO连接器的现场端接。最近几年,随着无需树脂无需研磨的MPO连接器的出现,对于需要大量主干光缆的数据中心而言,由于无需繁杂的事先规划、测量和计算,MPO连接器的现场端接在数据中心里已经越来越有吸引力了。

数据中心设计人员及管理人员同样也面临着链路插入损耗的问题。随着网络速度的增加,能够被用户所接受的最大插入损耗值也在不断下降。即使基于万兆多模OM3光缆的万兆以太网系统所许可的插入损耗也相当严格,以便达到最佳的系统远距离传输能力。

就像之前提过的,主干和模块的集成能够减少一个MPO连接器,从而带来插入损耗的下降。这就使得系统设计人员能够享受预端接、模块化解决方案的好处和灵活性,以及插入损耗的下降,因此他们在设计网络方面便有了更多的选择如图4、图5所示。

在大型数据中心里,一个典型的拓扑结构包括了从主配线区(MDA)安装一个高芯数的主干光缆到一个区域配线区(ZDA)。在ZDA里,延伸主干光缆、分支跳线和多芯跳线等都用于终端连接,比如:设备配线区里(EDA)的服务器或储存设备。除了在将这些产品适用于ZDA到EDA的连接,另外也可以使用含带针的MPO连接器的集成主干模块。

在大型数据中心里,ITM可以安装机架里,主干光缆接到ZDA,并由带针MPO连接器连接MDA的主干。一旦主干光缆成功安装,剩余的冗余光缆将被储存在ITM的托盘里。

在大型数据中心里,如果在ZDA里安装了ITM,插入损耗为2.6分贝。而在一个传统的应用里,一个延伸主干光缆和模块的使用代替了ITM,插入损耗将提升到3.35分贝(不包括光纤损耗)。可见,ITM方案导致的损耗相对传统方案要降低0.75个分贝。

小型数据中心里的典型拓扑包括了从MDA安装一个低芯数的主干到终端设备,如:设备配线区里的服务器和储存装置。除了使用即插即用模块和主干光缆外,另外一个可选择的方案是也可使用含不带针的MPO连接器的ITM来配合即插即用模块。

在小型数据中心里,TM安装在机架里,集成的主干光缆拉到MDA,再由不带针的MPO连接器安装到即插即用模块。一旦主干光缆成功安装,剩余的冗余光缆可被储存在ITM的托盘里。

在小型数据中心里,如果一个ITM直接匹配到即插即用模块,插入损耗将为1.8分贝。而在一个传统的应用里,如果用一根主干光缆和两个模块的使用来代替ITM和一个单模块,插入损耗将提升到2.6分贝(不包括光纤损耗)。可见,ITM方案导致的损耗相对传统方案要降低0.8个分贝。

总的来看,使用ITM可以提供了不少好处,包括。

◆无冗余光缆;

◆缩短交货期;

◆减少综合布线中所需要的零部件数量;

◆降低插入损耗。

篇7：大数据呼唤数据集成新思维

大数据意味着包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。不管是大交互数据，还是大交易数据，处理分析非结构化数据一直以来都是数据处理的难点。数据集成作为挖掘数据价值的重要一步在整个数据分析中具有重要的作用。

对于绝大多数企业而言，信息系统建设通常具有阶段性和分布性的特点，该特点不可避免的导致了“信息孤岛”现象的存在。“信息孤岛”就是指不同软件间，尤其是不同部门间的数据信息不能共享，造成系统中存在大量冗余数据、垃圾数据，无法保证数据的一致性，严重地阻碍了企业信息化建设的整体进程。为解决这一问题，人们开始关注数据集成研究。

数据集成就是将若干个分散数据源中的数据，逻辑地或者物理地集成到一个统一的数据集合中。其核心任务是将相互关联的分布式异构数据源集成到一起，让用户以透明的方式访问这些数据源，以便消除信息孤岛现象。

数据集成市场正处于黄金时代

著名信息技术研究咨询公司Gartner在其发布的“2013年数据集成工具魔力象限报告”中表示，对集成选项功能完整性的需求在快速上涨。随着数据碎片化程度的不断加剧，企业希望能够有一款灵活的产品，能够快速融入到现有的数据管理投资中，并提供更多的功能。

数据集成可以满足人们不断增长的信息需求，使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用，实现数据源的凝聚放大效应，形成以业务为驱动的动态数据价值链。

大数据技术的发展为数据管理开辟了一条新的道路，这也为数据集成创造了新的机会。在这种情况下，数据集成就从传统的数据提取、转换和加载过程（ETL）变成了更加灵活的数据提取、加载和转换的方法（ELT）。在过去，ETL形式中的数据集成通常是“一个自包含过程”，它只是简单的专注于将干净、合并的数据从源系统迁移至目标数据仓库。但是，现在情况变得不同了，现在数据可以存在于任何地方，如果用户需要在另一个系统上使用，只要在需要的时候调用就可以了。

Gartner认为，市场上对集数据集成、数据质量以及主数据管理于一体的工具需求在不断的增长。高质量的数据对于数据集成项目的成功具有关键的作用，而不关心数据质量的数据集成注定将会失败。除了与数据质量和主数据管理更好的集成以外，用户还希望工具能够支持更加广泛的数据集成风格与功能。

包括Hadoop等大数据技术，以及NoSQL数据库技术在内的技术对数据集成工具的开发都产生了重大影响。未来数据集成工具发展的重要方向就是支持分布式架构的集成。包括低成本，基于订阅模式的收费方法以及基于云在内的交付模式，也是未来数据集成市场的一个发展方向。

多方挑战考验数据集成

单纯地看，数据集成在现实应用中是一个非常简单的问题，也就是对多源数据进行清理和转换，然后将数据加载到适当的数据存储区中以便进行下一步的分析和处理。但是，事实却不是这么简单。数据集成面临着多方挑战。

首先是技术方面的挑战。最具针对性的挑战包括：多种源和多种不同的格式；结构化、半结构化和非结构化数据；在不同时间从源系统获得的数据信息；庞大的数据量。即使在理想的情况下，也必须以某种方式在一个位置获得所需的所有数据。同时，对实时性的要求增加了数据集成的困难。

其次来自组织的挑战。在大型组织中进行数据集成还会存在来自权力的压力。数据是信息，代表着一种权力，但是让人们相信数据是企业有价值的资产是一件颇具挑战的事情。要实现企业数据集成的成功，就需要所有数据源的使用者能够了解项目的用途和方向。这需要所有的组织成员能够通力合作。

最后就是经济压力。数据集成成本的增加主要是因为数据集成的过程可能会因为权力而变得缓慢而曲折，清理数据以及从多种源数据映射也会变得更加困难。当需要解决这些问题的时候，数据集成引起的额外费用都将会被记入整个数据集成体系结构。另外，随着组织发展过程中对数据入库和商业智能需求的增加，有缺陷的数据集成体系结构将变得越来越难以维护，这样总体拥有成本会增加。

虚拟化提高数据集成效率

虚拟化意味着可以不受物理条件的限制，能够迅速构建物理环境，以便支持用户在特定时刻对特定业务的需求。现在已经可以实现对服务器、存储以及网络实现虚拟化。

面对海量数据的处理需求，我们需要摆脱结构化的数据仓库。低成本的存储在业务数据存储方面可以节省成本。高昂的存储成本限制了系统处理数据的质量。对于海量数据的处理需要做到弹性存储，弹性存储意味着企业不会在期望操作的数据规模或类型上受到限制，从而可以降低使用数据仓库无法获得最佳结果的风险。

数据虚拟化可以将不同的数据连接起来，让业务运营与数据集成流程变得更加灵敏。大多数情况下，企业主要运用传统数据集成技术，从交易系统中获取数据，将其移植到数据仓库中以作商务智能和数据分析等用途。然后，对于需要实时决策的应用程序，这种方式就会面临挑战。

数据虚拟化拥有一个可置于企业应用程序、数据仓库、交易数据库、门户网站及其他数据源之上的提取层，能使企业在无需创建存储信息备份的环境下，对来自不同系统中的数据进行整合。这样一来就省去了从源系统中复制数据或移除数据的麻烦，减少了IT人员的工作量，也降低了数据出错的几率。

数据虚拟化还支持在源系统中交易数据更新的写入，这也是拥护者们看中这项技术的优势之一。正因为如此，数据虚拟化才会从数据联合与企业信息集成（EII）技术中脱颖而出。后两项为更早推出的类似技术，同样为了简化不同源阵列的数据分析流程。尽管三种技术在性能方面都有相似之处，甚至有“换汤不换药”之嫌，但是EII技术提供的是一种数据阵列与报表的只读处理方法。

其实，早在十年前就有数据联合了，其产生的用意本在于取代ETL工具和数据暂存区，不用再建立新的数据市场。可惜评论家认为数据联合从一开始就带有重大缺陷，它只能与巨型数据套件匹配，且其运行环境需要极为复杂的数据转换。更有甚者，很多人都认为数据联合与面向服务架构（SOA）的粘附性很强。

但是随着企业不再将大数据分析作为一项孤立的应用来看待，并注意使用分析结果来驱动他们的主流业务流程，数据质量和无缝上游整合就变得更为重要。并且大数据架构灵活性的提升也带来了更高级别的发展和管理复杂性，这可能需要新的流程和技巧，甚至是在IT部门中的一场文化变革。

篇8：eip数据集成解决方案

关键词：数据集成,异构数据库

一、引言

目前很多高校在信息化建设过程中的现状是:一方面由于学校早期的信息化管理缺乏统一的规划和信息标准, 各部门管理信息系统在很大程度上是在独立运行, 也就是大家通常说的“信息孤岛”, 而且在缺乏总体规划的情况下, 应用系统建设的越多, “信息孤岛”现象就越严重。另一方面, 随着学校信息化建设步伐的加快, 部门间信息流通的需要会越来越强烈, 信息标准化和信息资源的共享及流通问题越来越突出。

具体表现在:第一, 学校信息化建设的应用领域不断延伸, 已覆盖了全校办公、教学、科研、财务、图书等学校的各项事务。第二, 部门信息系统之间的差别, 如各部门根据自己的业务需要, 建立了各种信息系统。它们之间存在的开发工具不同, 操作系统不同等情况;第三, 学校的信息资源由于缺乏统一标准和规范而无法实现共享, 影响着学校教育信息基本数据的收集、交换和应用。第四, 全部重新改造学校各部门管理信息系统和相关工作人员培训的成本太高, 周期太长。

综上所述, 在学校各部门信息系统已经存在的情况下, 在全校范围内需要建立一个统一的信息集成平台对分散在各应用系统中的异构数据进行整合, 使校园内的各个信息管理系统达到无缝连接。

本文提出了一种基于ODI的异构数据集成方案, 与其他异构数据集成方案相比, 它的特点是可以方便灵活得将新的业务系统集成进来, 具有很好的扩展性。而且具有不同于传统工具的独特核心特性—异构E-LT、声明设计和知识模块等, 符合高性能、灵活性、高生产率、模块化的集成平台的需求。

二、异构数据集成

1、异构数据集成的模式

(1) 集成模式 (联邦数据库)

集成模式对应的就是联邦数据库的模式, 即从集成的应用角度, 在异构数据的情况下, 提供统一的访问视图来满足应用对数据的集成需求。

(2) 复制模式 (数据仓库方法)

复制模式对应的就是数据仓库的建设方法, 也就是通常所说的ETL过程, 目的是把数据进行复制, 然后加以利用的过程。

2、异构数据集成的难点

(1) 异构 (体系异构、模式异构)

数据集成的异构, 一方面是体系上的异构, 主要是指各类差异化较大的数据源类型, 异构体现在对数据的描述的差异, 例如Oracle的Char类型, 对应Excel中的Varchar, 对应JMSQueue中的Fix String。这种映射关系体现了不同体系数据源的异构性。

另一方面, 即使对于同一种体系下的数据源, 例如同样是关系型数据库, Oracle与DB2 也存在模式上的异构。具体体现为Oracle的Long Row类型, 对应为DB2UDB中的BLOB类型, 对应于DB2/400 的Varchar () forbitdata。这种类型的异构就是模式上的异构体现。

(2) 语义转换 (语义识别、语义冲突)

数据集成的过程中, 最大的障碍就是找到源和目标的映射关系, 这也是数据处理的最为复杂、最难以处理的过程。映射关系就是要找到两者在语义定义上是完全一致的, 在此基础上进行关联。

对于数据映射过程, 一方面需要找到数据的语义定义, 即数据的数据说明, 包含数据的名称、类型、长度、范围、取值规则以及范例, 另一方面要针对语义进行辨别, 找到两者的对应关系和匹配法则, 这样才能进行映射关联, 并在映射过程中进行等值语义的处理。

另一方面, 在语义处理上, 还需要特别注意处理语义上的冲突问题。即源和目标在语义上存在的差异, 尤其是容易由程序辨识的部分, 更需要自动化的处理。常见如下的语义冲突:

①数据类型上的语义冲突, 例如Varchar类型到int类型的映射。

②数据长度的语义冲突, 例如源是varchar (40) , 目标是varchar (20) 。

③数据范围的语义冲突, 例如源是一张字典表, 目标是两外一张字典表。

(3) 性能 (交换性能、实施效率)

数据集成很重要的一个方面, 就是性能。这里性能指的是集成性能和集成实施的性能 (也可以说是实施效率)

一般比较常见的性能, 都指的是集成性能, 即数据从源到目标的数据集成或者数据集成的性能。这个性能又和集成的需求存在关联关系。一般对于全量数据同步, 都要求能够进行定时的集成, 那么性能主要体现在批量数据的处理能力上。

对于实施效率, 对于数据集成的实施环节, 面对可能多面的需求以及新增的集成内容, 也是客户关注的重要内容。集成实施过程要能够简单、模式化、流程化以及易用、易扩展, 这样无论是在项目的实施过程, 还是应对将来变化的情况, 都能做到高效实行。

(4) 完整性 (数据完整性、约束完整性)

数据集成的完整性, 体现在两个方面:数据的完整性和约束的完整性。

①数据的完整性, 主要体现在数据的事务处理方面。对于数据集成的过程, 要从源端把数据取出, 并加载到目标的这个过程, 必须要有完整的事务保证, 才能算是数据的完整。如果没有按照约定加载数据, 那么事务必须要进行回滚保证。例如增量的数据集成, 如果存在增量信息, 那么如果增量信息没有有效地写入目标, 那么必须要把增量数据进行回滚保存, 以便下次任务继续进行, 保证整个项目的事务完整。

还有就是数据操作过程的完整性, 如果存在异常的数据, 那么必须保证异常数据能够进行有效处理, 例如写入独立的错误记录表, 或者定义为完整事务来进行处理。

②数据约束的完整性, 一般都是在进行特别内容处理下体现出来的。例如父子表、外键关联的联动表以及带有字典字段的数据表。如果存在这种情况, 那么集成数据的时候, 必须考虑这些内容的一致和完整, 否则集成的数据就存在差异, 导致不可用或者数据无效。

3、异构数据集成的方法

对于数据集成, 就技术发展的过程来看, 分为以下几个方面:

ETL (包含E-LT) 方法:就是传统的数据仓库建设基础, 主要是基于SQL的操作。

EAI方法:这里主要指的是在应用集成角度, 对数据集成进行解决的方法。

SOA方法:新一代的集成方式, 主要是在架构和策略上, 体现总线的方式、概念以及松散耦合的策略。

(1) ETL (含EL-T技术)

ETL中三个字母分别代表的是Extract、Transform、Load, 即抽取、转换、加载。

传统的ETL工具的运行方式是, 首先从多种数据源抽取数据, 然后在一个专有的、中间层的ETL引擎转换数据, 最后装载转换后的数据到数据仓库或集成服务器中。

E-LT体系结构结合了手工编码和ETL方法的最佳特性于一个解决方案中。E-LT方法改变了数据转换发生在哪里和怎样处理, 事实上, E-LT方法重新部署数据转换步骤在目标数据库系统, 改变了操作顺序为:从数据源表抽取数据, 装载表到目标服务器, 然后使用数据库管理系统特有的SQL (native SQL) 操作在数据库系统上转换数据。

E-LT体系结构不需要额外的服务器、技术和技能来完成操作, 提供最优的性能和可伸缩性, 并且容易管理整个集成系统的基础架构。

(2) EAI

EAI则能提供基于应用级的数据集成。首先EAI是应用集成, 数据集成只是EAI的一部分, 它是在应用集成的基础上进行的数据集成, 也就是在不同的应用程序之间交换数据。所以它最擅长的是少量数据的频繁交换, 在数据迁移能力方面明显不如ETL。它的优势在于可以进行实时操作, 其核心部分是面向工作流的, 主要工作在传送层。

EAI技术因为是应用集成角度, 因而在数据集成的处理上, 沿用了应用集成的策略和机制, 所以都是通过事件或者消息的机制和中介来进行处理的, 那么在处理过程中, 这种转换必然会损失一定的性能, 在效率上要比ETL方法相差很多。

(3) SOA

SOA方法主要体现在数据接口和数据架构上。一方面, 对于传统的数据接口, 无论是ETL还是EAI, 都是数据库接口, 或者是基于数据库的适配器做为数据接口。而SOA方法则是对数据进行封装, 暴露Web Service接口进行数据集成。这是SOA的一大特点。另一方面在数据架构上, SOA方式先天就带有松耦合和总线策略, 松耦合使得系统的接入与退出更加容易和方便, 便于日后的集成扩展和调整。对于总线型架构, 也使得数据能够一处获取, 多处使用。

三、高校异构数据集成

1、高校异构数据集成的需求

(1) 信息孤岛 (没有交换)

各业务系统独立建设, 数据难以共享。现有的系统无法提供相互数据集成的功能, 当某些数据需要跨部门使用时, 还依赖于手工的传递或通过电子邮件等方式半手工的传递。这种低效率的信息共享方式无法满足各部门及时获取所需其他部门信息的需求。

(2) 数据标准与规范 (各部门都不统一)

无校级统一数据标准, 无法形成有效数据积累, 给领导辅助决策分析造成障碍。各个系统提供的统计数据不完全准确, 由于重复录入、录入时缺少差错审计和统计标准不统一, 无法通过现有的系统获取学校真实的教学、科研等重要的统计数据。

2、高校异构数据集成的特点

(1) 数据源多样;

(2) 数据质量差;

(3) 标准不统一;

(4) 异常产生频繁;

(5) 非严格同步。

四、高校异构数据集成平台的设计

1、平台的设计方案

整合整个高校的数据和应用, 并将它们在一个统一的视图中进行展现是一个复杂的任务。大量的不一致性不仅仅体现在技术、数据结构和应用功能上, 而且在整体的体系结构上也存在着基本的差距。有一些集成需求是面向数据的, 尤其是那些对大数据量的需求。还有一些其它的集成项目是基于事件驱动的体系架构 (EDA) 或者面向服务的体系架构 (SOA) , 如异步或同步的集成。许多组织针对这些多样化需求采用了广阔的工具和技术, 结果就会造成杂乱的集成项目而无法将它们进行综合利用和统一起来。这些工具不符合整体的性能、灵活性和模块化的需求。

新一代的数据集成工具Oracle Data Integrator提供了一个集成平台包括的所有数据集成的功能:基于数据的、基于事件的和基于服务的。通过高效地转换大数据量的能力、用先进的变化数据捕获 (CDC) 在实时环境中处理事件。它还提供了强大的数据完整性控制能力, 确保数据的一致性和正确性。采用不同于传统工具的独特核心特性—异构E-LT、声明设计和知识模块等。

Oracle Data Integrator符合高性能、灵活性、高生产率、模块化的集成平台的需求。根据高校异构数据的特点, 本文提出基于ODI的高校异构数据集成平台的设计方案。

2、关键技术

(1) EL-T

E-LT体系结构结合了手工编码和ETL方法的最佳特性于一个解决方案中。

(2) 轻量级增量日志

对少量的实时性要求高的数据 (比如学生基本表的学籍状态) 进行高效捕获, 而不对整张表的所有数据进行捕获的一种方法。

(3) 差异比对

差异比对指的是对于源和目标, 需要进行差异化的区分, 以便决定是否进行更新。这种情况是在无法通过其他手段获取数据差异的情况下产生的, 而又需要进行快速的数据集成处理, 因为最基本的全量数据集成也可以达到集成的效果。

(4) 集成中心库设计

对于集成中心库的设计, 也是数据集成平台较为核心的一块内容。

鉴于高校大多选择复制模式, 那么对于高校这种相对松散的数据管理模式, 数据源的多变和不确定性, 就需要数据能够通过临时存储解决一定的问题。

另外, 对于数据的使用上, 各个系统的数据要求又是不一致的, 例如对于学生信息的删除操作, 会存在订阅者不同的处理和消费方式。因而需要设置临时的数据存储来解决这种差异使用, 因而需要集成中心来存储这些内容以便进行处理。

数据集成中心库的模式设计, 需要考虑以下几个方面的内容:

首先, 需要参考高校的信息化标准模型, 因为集成的对象基本上覆盖了高校核心的数据内容, 另外, 数据也需要在集成中心库进行统一的格式化处理, 保证数据的统一, 一方面是元数据的统一, 另一方面是数据标准的统一。

其次, 数据模型要留有扩展性的考虑, 那么表现在模式设计上采用“松散设计”、“面向对象设计”的原则。“松散设计”保证对象与对象之间尽可能进行拆分, 这样对于新增的对象可以很容易通过新增的方法进行扩展, 而不必调整原有内容。“面向对象设计”使得设计不按照当前业务处理的规则, 这样对于以后可能存在的管理模式或者业务变化, 都可以保证原有的设计内容不做调整, 增强可适应性。

最后, 对于数据集成的考虑, 需要在传统的数据模式上扩展用于集成的字段, 用于数据集成过程的特别应用。

3、需求分析

在高校数据集成实施之前, 首先要做的就是对集成需求的搜集和分析。对需求进行详细地分析是进行数据集成十分重要的一点, 能极大提高实施中的效率。高校数据集成的需求主要包括以下几点:

(1) 集成中心库、各业务子系统数据库的环境信息。包括这些数据库所在主机操作系统、数据库的类型及版本、数据库用户名/ 密码、数据库用户的访问权限、数据库访问端口。

(2) 各业务系统与集成中心库的集成总体需求信息。对每个需要集成的业务系统的数据库, 都需要形成这样一份需求文档。这份文档里描述了业务系统提供哪些数据给集成中心库 (数据上行) , 以及业务系统需要从集成中心库中获取哪些数据 (数据下行) , 并且要描述数据在集成到其他系统后的应用场景。

(3) 需要集成的数据详细信息。对需要数据集成每一个子系统的数据库, 都要形成一份需求文档, 这份文档里详细记录了集成中源表和目标表的表结构、字段映射关系、字段详细信息 (包括字段名、说明、类型、长度、是否主键) 、源与目标字段的转换关系 (字段类型转换、代码转换) 、集成方式、数据集成周期等。

4、确立集成总体架构

对高校数据集成架构采用集线型的架构, 即引入集成中心数据库, 各业务系统与集成中心数据库做数据交互。不同的业务系统之间进行数据集成, 并非直接两两系统直接互连做集成, 而是其中一个系统首先将数据集成到集成中心数据库, 再通过集成中心库下行到另一个系统。这样做的优点主要有:降低各业务系统的耦合度、增加项目的可扩展性、保证了数据质量、并且能够有效地控制对各业务系统的访问权限控制。再者, 有了集成中心库, 对更好地实现全局信息集成和上层应用。

在这样的集成架构下, 例如系统A需要系统B的数据, 首先将系统B的数据上行至集成中心库, 再由集成中心库下行到系统A, 通过这样的方式实现系统B到系统A的集成。图中, 各业务系统与集成中心库之间通过集成工具互连, 在集成工具的作用下, 实现业务库与中心库的数据集成。

5、数据集成平台的安装

完成需求分析和总体架构设计后, 现在可以安装数据集成平台来完成数据集成的项目设计了。数据集成平台的开发环境要求是Windows 2000 (2003) Server系统。

集成平台的安装步骤是:

(1) 首先安装JDK1.5, 这是为了满足集成工具ODI的安装需求。

(2) 接着安装Oracle10g数据库, ODI运行时需要有两个存储库———主存储库和工作存储库, 所以需要安装Oracle数据库来创建这两个存储库。

(3) 安装ODI集成工具。

6、集成开发

安装了数据集成平台并正确的配置后, 就可以进行数据集成项目的开发了。

五、结束语

本文提出基于ODI的校园异构数据库数据集成的解决方案, 并对异构数据集成平台进行了设计, 提供了一种数字化校园异构数据源数据集成的有效方法, 该方法能够有效解决校园数共享和交换的问题, 实现校园数据的互联互通。

参考文献

[1]谢雄程;刘之家;异构数据集成技术中的“本体”建模方法研究[J].广西师范学院学报 (自然科学版) ;2010年01期.

篇9：企业信息门户（EIP）初探

【中图分类号】TH166 【文献标识码】A 【文章编号】1672-5158（2013）03-0403-02

1、EIP由来

互联网络及电子商务的兴起改变了原有以人为本的作业型态，面临网络的冲击，如何运用信息化来提高企业的管理水平，成为企业最重视的课题。各企业信息化的应用不断深化，企业建设的信息化系统也愈来愈多、愈来愈繁杂。这些为满足不同业务需求而在不同阶段建设的各种信息化系统，由于历史原因系统与系统缺乏整体的考虑。系统间彼此孤立，数据分散；用户必须频繁的登录不同的系统，使用方法不统一、安全性缺乏统一的管理机制与控制；对于企业内部不同工作岗位的人员来说，所需要的资源存放在不同的系统当中，导致频繁的在系统间来回的切换；同一信息在财务、ERP、CRM 等系统可能都保存，导致信息的不一致，不同的信息由于分散存储在不同的系统，也很难形成组织统一的信息模型；由于不同的业务流程在不同的系统流转而无法满足，企业的协同效率明显受到制约。这些现象已直接阻碍企业信息化系统价值的发挥，也造成资源及成本的大幅消耗。

因此为满足企业的发展需求，有效解决这些问题，就是成功实施企业EIP 系统， EIP 是Enterprise Information Portal 的缩写，简称企业信息门户。EIP 代表的不仅仅是一种信息的管理，更是一种服务的价值。它能够让企业实现用户在不同地点快速获取信息，提供有效的获取知识、整合知识、沉淀知识、共享知识、传承知识的平台，提升企业间协同效率、业务灵活度，减少资源及成本的无必要消耗。

2、EIP特点

企业信息门户具有以用户为中心、统一基础架构、高度集成、完善安全措施等特点，帮助企业实现如下目标：

1）集成传统网站、业务办公系统。

2）员工、客户、供应商、合作伙伴可以在任何时间、任何地点迅速地获得个性化的内容、应用和服务，并提供统一的访问方式；

3）及时、准确地传递各种企业运营数据和信息，提供高效获取知识、整合知识、积累知识和传播知识的有效途径；

4）打通全企业业务流程过程，优化业务流程，提升业务协作能力，提高运营效率、增强业务灵活性和透明度；

5）降低服务成本，提升快速适应市场的能力，应对端到端的新的服务模式。

6）多数企业的 IT 系统是由多个分散的内部和外部的 IT 系统构成的，企业门户可以将这些系统集成起来，从而更好地实现电子商务的功能。

7）许多现有的商务站点都不能处理遗留系统，企业门户可以解决大型企业的遗留系统与电子商务应用集成的一系列问题。

8）由于具有个性化的功能，因此可以为最终用户提供更加直观、易用的界面，并且能简化用户的使用并节省时间。

企业信息门户可以实现内外部网站信息集成、业务分类、个性化展示和系统资源管理的集成，实现纵向的企业内部的协同应用和横向的企业间协同应用。在应用时不再是“人找事”而是“事找人”，通过一个整合的、个性化的场景界面，企业中不同人员可以方便地处理他的任务、访问相关的信息和处理相关业务。

3、技术架构

EIP按照技术实现角度，可以划分为门户的接入层、核心层及其它企业应用。接入层在技术上提供各种用户访问的渠道和方式；核心层通过提供访问安全、展现管理、策略管理、访问控制、内容应用聚集等一系列核心技术要素，实现EIP的若干业务功能；企业应用是EIP后台的各类已建或待建的系统，作为EIP需要聚集和访问的信息资源。

另外还有贯穿EIP的两条线：一条是统一资源管理，包括组织机构、人员角色权限、地址域名、应用系统等等信息资源的编码、维护、部署等；另一条是系统管理和安全管理。EIP的技术架构可以用图1表示：图1

1）接入层

EIP能够支持领导、员工及合作伙伴使用不同的访问设备及使用不同的信息浏览工具访问门户的信息内容和应用资源。门户接入层提供诸如Intranet、GPRS、SMS、PSTN、Internet等接入方式，并提供相应的格式信息展现功能。

2）核心层

核心层包括访问安全、内容展现、策略管理、访问控制和内容应用聚集等功能，用于用户的访问身份认证、用户访问策略管理、后台应用系统的访问管理及信息的个性化等功能。

3）软硬件结构

出于开放性、安全性和通用性的考虑，建立EIP时基于高性能和高可靠性的原则，服务器应采用双机集群或负载均衡设计，多个服务器同时工作，负载均衡，互相冗余。

在软件方面，为了提高系统的灵活性及易维护性，建议EIP采用三到N层次的应用架构进行建设，现阶段业界比较推崇的三层架构为J2EE技术（大多数网站的信息系统采用逻辑上的三层次架构）。

逻辑三层次架构具有展现层（主要通过使用JSP、Servlet技术对客户端进行展现）、应用逻辑层及数据层，这三层构成了所谓的Model-View-Controller结构。展现层负责输入及输出客户所要看的数据信息，应用逻辑层专门处理应用逻辑、访问和查询后台的企业业务应用与数据。

4、实施步骤

根据以上对EIP系统的技术架构分析和建设规划，在项目的实施过程中，就可以逐步搭建起企业的信息门户。

1）构建目录服务（LDAP）