数据交换测试

数据交换测试（精选八篇）

数据交换测试 篇1

随着网络通信技术和信息技术在各个领域的广泛应用, 信息系统中交换数据的规模也越来越大, 系统平台及数据的异构性也大大增加。一方面, 数据分布广泛、管理自治和异构性强的特点严重阻碍了各个数据源之间的数据交换;另一方面, 要求各个系统能够进行数据交换的需求越来越多。然而长期以来, 由于信息化系统建设规范 (标准) 滞后或缺失, 造成我国各级各类信息化系统难以互通, 资源难以共享。这些异构的资源信息系统形成的一个个难以逾越的信息 (资源) “孤岛”, 使得大量的信息资源不能充分发挥应有的作用, 效率低下, 已经成为阻碍我国信息化建设进一步发展的最大障碍, 已经较严重地制约了各类组织的建设与发展。如何提高和保证信息系统的数据交换的质量逐渐成了软件测试领域致力解决的关键问题之一。

一、相关工作

就被测系统来说, 完成一个完整的软件测试项目需要耗费非常巨大的工作量。手工测试时间长、麻烦、容易出错, 测试数据或测试用例的设置容易出错, 测试文件不足。因此纯手工测试已经不适应目前的软件行业的发展, 因而对于许多操作是重复性的、非智力创造性的工作, 应用自动化测试, 以提高整个测试工作的质量、减少成本、缩短周期。软件自动化测试技术主要分为基于数据驱动自动化测试和基于模型自动化测试。数据驱动的自动化测试是针对开发与测试之间紧密耦合问题提出的测试方法。通过建立测试与开发定义的软件。元数据的关联——元数据映射表在测试与开发之间建立松耦合关系, 可以减少测试脚本调试的工作量, 更好地实现自动化测试。基于规范的测试[1,2]要求根据功能规范和设计规范产生测试用例, 针对相应的功能属性和设计属性进行测试, 并以相关属性是否得到了充分测试作为测试充分性准则[3], 如果测试充分性准则确定的相关属性在测试过程中都得到完全的执行, 则认为测试是充分的。基于模型的软件测试[4,5]属于基于规范的软件测试范畴。模型是一种抽象, 片面地描述被测试系统的某方面的行为。从这种模型中生成的测试用例是跟模型同等抽象层面的功能测试, 这种测试集被称作抽象测试集。抽象测试集不能被直接执行, 只有它派生的模型可以直接与系统交互的测试才能执行。

数据交换是指数据在不同的信息实体之间交互的过程。目前, 数据交换测试主要以手工测试为主, 辅助针对某一系统的自动化测试工具。手工测试主要将据用户操作手册、需求分析文档、软件开发规范作为测试的依据。测试方法主要采取场景法。由于手工测试带有更多的主观性, 对测试人员的依赖较强。对于那些需要一定的测试经验和洞察力才能完成的测试, 手工测试比较合适。但是, 对于格式校验, 符合性测试, 性能测试, 手工测试就暴露出其弊端, 不仅不具备经济性, 更无法达到充分性测试的标准。根据数据交换的特点, 基于数据驱动的软件测试方法和基于模型的软件测试方法都不太适合于基于数据交换的软件测试整个阶段。因此, 本文将根据数据交换软件测试阶段的特点结合基于模型的软件测试和基于数据驱动的软件测试的特点提出了基于数据交换模型的软件自动化测试框架。

二、基于数据交换的软件测试

a) 数据交换模型

数据交换[5]是指数据在不同的信息实体之间交互的过程。信息实体通常是相对独立的软件系统, 作为数据交换的参与者, 其数据交换行为可以概括为数据生成、数据传输、数据处理三个动作。由于不同的信息实体所处的业务环境、系统需求、软件规范、采用技术、工作流程等都存在着很大的差异, 所以其表现出的数据交互方式也不尽相同。不同的数据源可能会使用不同的数学模型、查询语言或概念表达模式来描述同一个充满语义的客观世界。系统异构是阻碍数据交换的主要因素, 具体包含平台、结构、语法和语义四个方面的异构。尽管有这些不同, 但是表现的方式主要基于如图1所示方式:

b) 基于数据交换的测试模型

数据交换[6]是指数据在不同的信息实体之间交互的过程, 它的核心对象是数据元素, 数据元素描述规则共同影响着测试模型。同时用户可以根据这些描述规则指定测试的需求, 测试规划人员根据需求来规划测试需求。于是测试规划人员就必须了解哪些描述规则是需要测试的, 哪些是不需要测试的, 进而规划测试。

数据交换中的数据元素可以包含一个或多个数据项。数据元素的描述规则是由其数据元素中的数据项的数据类型、数据项出现的规则以及数据元素的约束属性构成。一般而言, 基本的数据类型包含字符型、实型、整型 (有符号和无符号) 、枚举、字符串以及日期等类型。数据元素及其数据项的表示规则描述的是数据元素及其数据项出现的次数、次序和表示规则, 如规定数据项能够以任意顺序或顺序出现, 每个数据项可出现的次数为0到任意次数。对于字符串类型来说, 可以定义基于正则表达式的表示规则。数据元素约束属性主要指的是数据元素的数据项约束属性描述, 整型和实型都是属于值域范围的, 而像字符型、字符串型以及日期类型都是属于列表项目的。因此, 对于有值域范围的数据类型而言, 它们具有最大值和最小值约束属性, 且对于实数类型的数据而言, 可以有指定允许最大小数位数的属性。而对于属于列表项的数据类型而言, 它们具有最大长度和最小长度约束属性。

因此, 数据交换的内容和过程来看, 数据交换的测试内容主要表现为三个层面。

第一个层面是数据结构, 这一项主要测试的是数据交换主体的所要交换数据的数据结构是否相一致或者是符合已制定的标准;

第二个层面是在数据结构一致性的基础上检测同一标识的数据的数据类型是否相一致或者符合已制定的标准;

第三个层面是检测数据的约束属性, 包括数据长度 (固定长度、最大长度) 、数据精度 (小数位数、总位数) 、数据出现的次序以及数据重复出现次数等, 是否相一致或者符合已制定的标准。

三、基于数据交换模型的自动测试框架

软件自动化测试[7]可理解为测试过程自动化和测试结果分析自动化。测试过程的自动化指的是不用手工逐个的对用例进行测试。测试结果分析自动化指的是不用人工一点点去分析测试过程中的中间结果或数据流。软件自动化测试就是模拟手动测试步骤, 执行用某种程序设计语言编制的测试程序, 控制被测软件的执行, 完成全自动或半自动测试的过程。

a) 基本框架

在3.2节中讨论了数据交换的测试模型, 即测试的三个方面。就三个方面而言, 可以分为两个阶段, 测试模型的设计和测试数据的生成。测试模型是测试需求的直接映射:第一, 它反映了用户对于数据交换中数据约束的考虑;第二, 它反映了数据交换中测试用例的执行步骤和方式。测试数据主要依据测试模型而生成, 所生成的测试数据不能超出测试模型所规定的范围。因此, 基于数据交换的软件自动化测试也包含两个方面:基于模型的软件自动化测试和基于数据驱动的自动化测试。基于模型的软件自动化测试主要是采用半自动化方式, 人工参与部分主要在模型的设计, 需要测试规划人员指定测试的内容和范围, 全自动化测试部分主要是数据交换测试脚本的生成。基于数据驱动的软件自动化测试主要在数据生成阶段, 主要通过读取数据规范格式文件[8] (如:XSD格式文件) , 在限定的测试模型下, 按照等价类和边界值生成无效类和有效类测试数据[9], 并以文件形式 (如:XML格式文件) 保存。

一般而言, 一个完整的测试框架包括以下四部分:测试需求的输入、测试用例的设计 (分为两个部分, 抽象测试用例和实例化测试用例) 、测试用例的执行和测试结果的输出。因此, 本文提出的框架主要是基于该四个部分, 如图2所示:

◆数据交换规格说明书:该规格说明书是数据交换的信息主体根据双方数据匹配需求制定的规则。因此该规格说明书描述了数据交换的抽象的数据属性测试需求;

◆数据模板:数据模板定义了数据交换的信息主体双方所要交换的数据的数据结构。因此, 它描述了数据交换的明确的测试需求;

◆模板处理器:模板处理器主要是对于数据模板进行分析处理, 生成与其相关的元数据, 元数据主要是描述了数据交换中数据的结构及其约束属性;

◆模型设计器:模型设计器是根据我们提出的数据交换测试模型实现的;测试规划人员通过该设计器定制检测的项目;

◆用例自动生成引擎:用例自动生成引擎主要是根据模型设计器所定制的检测项目和模板处理器获得的元数据进行解析, 从而自动生成测试用例集, 并加以存储;

◆测试用例优化:测试用例优化主要是对生成测试用例集的规模进行控制, 利用正交试验的原理减少测试用例的生成但不会降低测试用例的覆盖度;

◆测试用例执行引擎:测试用例执行引擎主要是根据数据交换的特点自动设计测试逻辑, 根据测试逻辑执行测试自动生成引擎所生成的测试用例;

◆测试结果自动分析:测试结果分析主要是通过收集测试用例执行过程中的测试结果进行统计分析, 获得最终测试目标完成度;

◆测试库:测试库有包含有四类数据。第一类是数据规范中数据层次关系表, 用于生成测试逻辑;第二类是数据约束属性表, 用于生成抽象测试用例;第三类是测试数据, 包含有基础测试数据;第四类是测试结果, 用于测试结果展现和回归自动化测试。

b) 数据交换自动化测试过程

在本文提出的框架中, 数据交换自动化测试主要是半自动化测试和全自动化测试相结合。模型设计主要是以半自动化测试为主, 而在测试用例生成和测试结果分析方面是以全自动化测试为主。面向数据交换的软件自动化测试过程如下:

S t e p 1:导入数据交换规范文件 (如:X S D格式文件) ;

Step 2:生成基础数据交换模型并存储到测试库中, 这些基础数据包括字符型、实型、整型 (有符号和无符号) 、枚举、字符串以及日期型;

Step 3:分析规范中对于数据间关系及其数据的约束属性生成元数据并存入到测试库中, 即抽象测试用例;

Step 4:按照用户的需求设计测试模型, 在测试库中保持已设计的测试模型, 是抽象测试用例一部分;

Step 5:依据等价类和边界值原则, 采用测试充分性准则 (由测试用例优化引擎控制) , 并通过基础数据交换模型实例化抽象测试用例, 生成可执行的测试用例, 包括测试数据和测试脚本, 测试脚本主要是根据数据交换规范中自底向上的数据层次结构生成的;

Step 6:根据测试脚本, 找到对应的测试数据, 执行测试;

Step 7:分析并记录出现问题的测试数据, 以及该测试数据中所对应的约束, 以便回归测试时使用 (确定回归测试的测试用例) ;

Step 8:统计分析测试用例执行过程中的测试结果, 并将测试结果保存和展现, 以供回归测试时使用 (确定回归测试的范围) 。

Step 2到Step 5主要的任务就是构建测试模型和生成抽象测试用例, Step 6和Step 7是测试用例的执行过程, 其中Step7还包含有测试结果的收集与Step 8不同的是Step 7是在测试执行过程中实现的。Step 8主要的任务是进行测试结果的统计并展现, 它和Step 7一起来确定回归测试的内容和范围, 对于回归测试来说也是非常重要的一步。

四、结论与未来工作

本文主要从数据交换的测试过程出发讨论了基于数据交换的软件自动化测试框架, 并详细探讨了框架中各个元素的实现方式。我们所提出的框架依据于自动化测试框架设计指导原则, 具有如下三个特点。首先, 所提出的自动化测试框架独立于数据交换测试过程的测试细节, 并根据多次实践证明能够涵盖绝大多数的数据交换的测试场景;其次, 该自动化测试框架具有很强的扩展性, 能够满足用户扩展的需求;最后, 该自动化测试框架能够为今后测试用例提供快速生成的途径。在今后的研究工作中, 我们将在本文提出的自动化测试框架下, 主要研究基于数据交换的测试用例自动生成技术, 实现测试用例执行的自动化以及测试结果的自动化展现。

参考文献

[1]RobertMPoston.AutomatingSpecification-BasedSoftwareTesting[M].IEEEComputerSocietyPress, LosAlamitos, CA, 1997.

[2]Stocks P and D Carrington.A Framework for Specificationbased Testing[J].IEEE Transactions on Software Engineering, 1996, 22 (11) :P 777-793.

[3]RA DeMillo, AJ Offutt.Constraint-Based Automatic Test Data Generation[J].IEEE Transactions on Software Engineering, 17 (9) :900-910, September 1991.

[4]颜炯, 王戟, 陈火旺.基于模型的软件测试综述.计算机科学, 2004, 31 (2) :184-187.

[5]Tretmans, G J and Brinksma, H.TorX:Automated Model-Based Testing[C].First European Conference on Model-Driven Software Engineering, December 11-12, 2003, Nuremberg, Germany.

[6]朱夏, 王茜.异构系统间数据交换模型的设计与实现[J].东南大学学报:自然科学版, 2006, 36 (2) :226-231.

[7]邓波, 黄丽娟, 曹青春.软件测试自动化[M].北京:机械工业出版社, 2003.

[8]A Bertolino, Jinghua Gao, E Marchetti, A Polini.Automatic Test Data Generation for XML Schema-based Partition Testing[C].Proceedings of the Second International Workshop on Automation of Software Test (AST'07) , 2007.

千兆骨干交换机测试 篇2

性能首当其冲

6款产品中既有全铜缆端口的，也有全光纤端口的，还有带GBIC端口的，其中3Com 4900有12个1000Base-T铜线端口，Accton ES4508带8个1000Base-SX光纤端口，神州数码D-link DGS-3308TG有6个1000Base-T端口和2个GBIC接口，创想Thinker3800和力普LeapComm6004都是4个1000Base-SX端口的交换机。还有一点需要强调的是，3Com 4900是3/4层交换机，DGS-3308TG是三层交换机。

吞吐量是性能上需要考虑的首要因素。我们收集的6款全千兆骨干交换机中，3Com 4900、神州数码D-linkDGS-3308TG和EDIMAX ES-5800R三款在64字节、512和1518字节帧的吞吐量测试中均达到了100%线速,Accton ES4508和Thinker 3800在512字节、1518字节帧都达到100%线速，仅在64字节帧时未达线速。

全网状测试的环境比吞吐量的一对一环境更要严格，它要求交换机的每个端口要接收来自其他端口发送的数据，同时也要向其他端口发送数据，但3Com 4900、神州数码D-link DGS-3308TG和EDIMAX ES-5800R这三款优秀的交换机依然保持本色，没有丢包，达到了100%线速。其他有的交换机虽然在吞吐量测试中达到了线速，但全网状环境下并未达到线速，比如Accton ES4508 和Thinker 3800虽然在吞吐量测试中512字节、1518字节帧时达到100%线速，但全网状测试中有丢包现象，未达到线速。

对于吞吐量达到100%线速的交换机来说，帧丢失率测试结果必然为0，我们的测试显示只有创想Thinker3800和力普LeapComm6004在64字节测试中帧丢失率不为零。

延迟用来决定一个数据包通过交换机的时间，各交换机延迟测试的结果差别比较大，非网管型交换机EDIMAX ES-5800R的延迟时间在64字节时仅有3.92us，网管型交换机往往比非网管型产品的延迟时间要长，而神州数码D-link DGS-3308TG表现非常不错，在100%线速情况下64字节时延迟只有4.52us。

需要指明的是，有些交换机在不同速率下的延迟差别很大，即使是它们吞吐量是100%线速，在100%线速下也可能测得比较长的延迟时间。比如有12个1000Base-T端口的3Com 4900吞吐量均为100%线速，我们在100%线速下64字节帧时测出的延迟值为55.39us，而在98%线速下测出的结果是4.07us。

背对背测试结果是在稳态负载情况下获得的持续不丢包的帧数量，对于吞吐量结果为100%线速的交换机来说该值并没有太大意义。对于吞吐量不是线速的交换机，背对背测试往往能够反映设备缓存的大小，而且不同交换机差别很大。

我们在进行线端阻塞测试时，发现所有交换机都支持该功能。在测试错误帧过滤时，我们考虑了小帧、超大帧、CRC错误帧、碎片、Alignment错误和Dribble错误这些主要错误帧，结果显示各交换机都具有对这些错误帧的过滤功能。

我们还对3Com 4900和神州数码D-link DGS-3308TG在三层的性能进行了测试。测试结果显示，DGS-3308TG表现非常优异，在三层的吞吐量和全网状测试中依然是100%线速，丢帧率为0，延迟在100%线速、64字节帧时仅为4.56us;3Com 4900性能也不错，仅在64字节帧的吞吐量测试中获得99.13%线速的值，在延迟测试中速率的不同为3Com4900带来了相差较大的结果，在64字节帧、100%线速下延迟为59.41us，而98%线速时为4.28us。

便捷的安装

我们测试的千兆骨干交换机，比起他们的强大转发能力来说，他们的体积要显得小很多，特别是神州数码D-Link的DGS-3308TG交换机，性能非常出众，而且又是三层交换机。无论是体力上还是脑力上，安装千兆以太网骨干交换机都不是一件费力气的事情。

我们测试的千兆骨干交换机，DGS-3308TG、EDIMAX ES-5800R和3Com 4900交换机都有1000Base-T接口。这些交换机1000Base-T接口都能够支持10/100/1000M速率的自适应，也支持自动的线序识别，免去了网络工程师在连接交换机、服务器或者路由器的时候，苦思冥想应该用那种联线。而1000Base-T接口对于一些企业来说，可以非常好的保护原来在布线方面的投资。

我们测试的千兆骨干交换机基本上是固定配置模块式的。DGS-3308TG交换机有两个GBIC的接口，通过GBIC的模块可以适应单模和多模的光纤。3Com 4900交换机在后面板有一个扩展槽，插入1000Base-T/SX/LX模块可变成16口的千兆交换机。Thinker3800交换机则是一个通过在交换机的四个插槽中分别插入千兆光纤模块而构成的，应该说它在配置方面更灵活。

我们收到的交换机大部分都只有一个交流电源，而Accton的ES4508提供了一个直流电源的接口，而3Com 4900和DGS-3308TG还提供了冗余电源的设计。

送测的网管型交换机都有一个恢复出厂设置的选项。 Thinker3800、DGS-3308TG、Accton ES4508交换机都支持TFTP协议上传交换机现有的配置文件到TFTP服务器，或者从TFTP服务器上下载交换机先前的配置文件。如果在配置中出现失误，这两项对工程师都很有用。3Com 4900公司的交换机中，每更改一次设置，3Com 4900都会自动保存设置，保存速度比其他厂商专门的保存配置到ROM或者RAM的速度快。

这些支持网管的交换机都可以升级软件，升级的方法是通过TFTP或者通过串口利用Xmodem这样的协议。送测的3Com 4900交换机原本是一个2层交换机，在3Com公司的工程师的帮助下，我们升级了软件，3Com 4900变成了一个3～4层的交换机。你可以在3Com公司的网站上免费下载该软件。

这些网管型交换机，可以通过串口手工配置交换机的IP地址，也可以利用DHCP和BOOTP两种方式，给交换机的网管部分分配IP地址。一旦交换机的网管的代理获得了IP地址，用户就可以方便的用Telnet和HTTP配置交换机。通过对交换机SNMP的配置，网管员也可以利用支持SNMP协议的网管软件对交换机进行配置。

说明书——教科书?

送测的几款千兆骨干交换机都有着非常详尽的文档配备。这里面我们首推的是神州数码D-Link的说明书，非常的详尽。前面很大一段篇幅用来介绍2层交换、3层路由的基础知识，而后是对交换机功能的详细介绍，

另外，该交换机的说明书是中文的，这也方便国内工程师来阅读。3Com 4900提供了光盘和印刷的说明书，说明书也非常的详细。另外3Com公司的网站上还可以下载到该交换机所有的相关文件信息。我们拿到的创想公司的Thinker 3800交换机，提供了一张光盘，里面有中文的说明书，内容也非常的详尽。

强大的功能

我们此次的评测主要是衡量千兆骨干级交换机的性能，同时我们也通过配置和验证性的测试来考量交换机所具备的功能。

在我们测试的交换机中，有两款是具备第三层转发能力的。神州数码D-Link的DGS-3308TG是其中一款，我们把其8个端口分别设为不同的VLAN，划入不同的子网测试了其性能，相当不错。作为一款固定模块化的交换机，它还支持OSPF这样更复杂的路由协议。

另外一款三层交换机是3Com 4900。通过软件升级之后它是一个三层、四层交换机。我们测试了它的三层性能。在四层方面，它可以依照TCP层的端口号识别应用流，为不同的应用流分配优先级。比如说为SNMP应用的数据包分配高优先级，保证网络管理的可行;为端口号为80的应用设置更高的优先级。

其实，为了保证网络的高性能，这些能够进行管理的千兆骨干交换机都支持对广播风暴的限制。同时，所有送测的交换机都支持IEEE802.3X的流量控制协议，保证在出现拥塞的情况下，与其他网络设备协商降低帧的发送速度，缓解网络的拥塞。对于支持铜缆接口的交换机，他们还支持在百兆半双工下背压方式的流量控制。

更多的交换机提供了IEEE802.1p的优先级控制，3Com 4900和神州数码D-Link的DGS-3308TG公司的交换机提供了每个端口4个优先级队列，这是送测产品中最多的。神州数码D-Link的DGS-3308TG还可以根据数据帧的源和目的地址分配优先级。我们发现很多交换机把IEEE802.1p的优先级和IEEE802.1Q的设置结合在了一起，为VLAN提供了服务质量的控制。其实，VLAN除了能够保证安全性以外，也能够通过限制广播域，提高网络的性能。

网管型交换机都支持IEEE802.1Q的VLAN。神州数码D-Link的DGS-3308TG交换机可以支持2048个VLAN，是最多的。IEEE802.1Q在以太网帧上加上标记，可以让一个VLAN跨多台交换机，同时在一台交换机中一个端口同时属于多个VLAN。这些交换机都支持GVRP、GMRP，允许主机通过自动注册到网络的VLAN和组播组中。

链路聚合可以让交换机之间和交换机与服务器之间的链路带宽有非常好的伸缩性，比如我们可以把2个、3个、4个千兆的链路绑定在一起，使链路的带宽成倍的增长。链路聚合技术可以实现不同端口的负载均衡，同时也能够互为备份保证链路的冗余性。在这些千兆以太网交换机中，最多可以支持4组链路聚合，每组中最大4个端口。一般设置链路聚合时可以看出哪些端口是属于一个交换芯片的，链路聚合一半是不允许跨芯片设置的。

生成树协议和链路聚合都可以保证一个网络的冗余性。在一个网络中设置冗余链路，并用生成树协议让备份链路阻塞，在逻辑上不形成环路。而一旦出现故障，启用备份链路。但是生成树协议计算时间太长，IEEE正在制定一个新的协议IEEE802.1W。3Com公司交换机有一个弹性链路设置选项，假设两条链路设为一个弹性链路组，当一条链路出现断路的情况，交换机将迅速让另外一条链路开始工作，效率高于生成树算法，据说可以在1秒钟完成切换。

网络的安全性越来越为人们所重视，交换机可以在底层把非法的客户隔离在网络之外。这些可以管理的网络交换机都支持MAC地址过滤的功能，还可以将MAC地址与固定的端口绑定在一起，和VLAN绑定在一起。3Com和神州数码D-Link的交换机还支持更高层的访问列表控制。

面对越来越多的组播应用，网管型的交换机都支持IP组播，一般是支持IGMP(Internet Group Management Protocol) ,交换机能够智能地转发IGMP和组播数据包，而不是将这些数据包广播到所有的端口。

IGMP探查(IGMP Snooping)的功能可以使交换机能够在转发数据包之前读取IGMP数据包，以得到转发的信息(学习哪个端口属于组播成员)。3Com 4900和神州数码D-Link的DGS-3308TG交换机由于支持第三层交换，在IP组播方面有更强的支持。

驾驭千兆

我们考虑到，国内的一些用户暂时不会花很大的价钱去购买一些非常专业的网络管理软件，所以我们非常看重的是交换机自身提供的管理功能，并通过实际的操作来考量他们的可管理性。我们收到的网管交换机都支持3种方式的管理，带外的串口方式、带内的Telnet、HTTP。

串口线是最稳定和可靠的管理方式。从我们的测试情况看，当安装一个新的交换机时，一切配置工作都要通过串口连接交换机开始。而且，除了创想公司的Thinker3800以外，利用串口可以配置交换机的所有功能，查看所有的信息。比较起用Telnet和HTTP的方式，不用担心会在配置完VLAN之后失去与交换机的联系，或者说回复出厂设置之后，因为找不到IP地址无法登录到交换机上。我们收到的千兆骨干以太网交换机提供的都是菜单方式的命令行界面。这样的管理方式对于用户来说可以不花费太大的心思记忆那些命令。唯一的缺陷是不够灵活。比如你要设置所有端口的流量控制，有些菜单配置界面就需要把光标移到每一个端口处进行配置，而命令行的方式，一个命令就完成了所有的设置。3Com 4900 的菜单，介于命令行和菜单方式之间，每个命令后面都有相应的解释说明。我们测试的这些交换机的菜单配置界面，设计都非常的合理，而且在交换机负载不同的情况下，表现都没有什么太大的区别。

HTTP的方式是我们最推崇的管理方式。浏览器可以连接所有的交换机，并能够提供非常友善和直观的图形化界面。创想公司的Thinker 3800，用串口的方式只能配置一些非常简单的功能，大部分的功能和交换机的管理信息都是在Web上提供的。在这几款交换机的Web页面上，都有帮助选项，点击之后都会有对本页配置内容的详细介绍，这比查阅说明书要便捷许多。神州数码D-Link的DGS-3308 TG交换机的Web界面细腻，在查看端口信息的时候，可以用图形化的方式显示端口的利用率。Accton公司的Web管理界面相对来说中规中矩，但是其Web的方式能够管理交换机的所有功能，而一些厂家在Web的管理中，相对于Telnet和串口会有一点点缩水。在Web方面最大的遗憾在于，没有一台交换机是支持中文Web界面。

我们从3Com公司的网站上下载了Network Supervisor软件，通过它可以非常方便的管理网络中的3Com设备，查看设备、链路的负载状况，它还可以用寻呼、电子邮件的方式通知网管员。Accton公司在交换机的包装箱中也奉送了该公司的AccView网管软件，用于对Accton的网络产品进行管理。神州数码D-Link也提供了可从网站上免费下载的Dview和专业的LinkManager。

在SNMP方面，我们收到的交换机都有比较好的支持。3Com交换机在RMON方面有比较强的支持，支持1、2、3、4、5、6、9组，一般的交换机也都支持1、2、3、9四组的信息。Accton的ES4508交换机除了支持RFC1213这样的标准MIB库以外，还支持自己的MIB库。

数据交换平台的数据交换模式浅析 篇3

这些年来我们国家的的信息化建设已取得很大成果, 从20世纪90年代初至20世纪90年代末为信息化建设的发展阶段, 为适应全球建设信息高速度公路的潮流, 中国政府正式启动了“三金工程”, 部分政府部门的网络基础设施建设和应用层面的信息化得到了较大发展。1999年至2001年为推进阶段, 中国政府国务院40多个部委的信息主管部门共同倡议发起了“政府上网工程”, 目的是实现政府信息资源共享, 建立政府管理机构的Web站点, 使其成为面向公众服务的窗口。从2002至今为整合阶段, 政府信息化由各自为政转向电子政务整合的过程。

上述是从大的国家电子政务方面来讲, 从具体的小范围来讲, 我们学校的信息化建设也取得了一定的成果, 学生可以通过网络选择全校的选修课, 教师通过网络可以录入并查询学生的成绩, 教务处可以通过网络向省里上报学生名单, 教师可以通过排课系统进行自动排课等。虽然从一定的角度来说我们学校的信息化建设跟以前相比, 进步很大, 但这里面也存在一定的问题, 这个问题也是普遍存在的问题, 那就是各个应用系统相互独立, 应用系统之间的数据信息不能进行共享与交换。

所以打破目前这种局面, 连通各个孤立的应用系统, 把分散的信息资源整合起来, 实现这些不同系统、不同环境下的信息的实时共享和双向交流, 是下一步信息化建设的中心任务, 也是必走之路。

要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心相连, 应用系统之间要进行数据交换与共享必须通过数据交换中心;也可以建立共享信息库供应用系统共享。在这里主要讨论数据交换平台中数据交换模式。

二、数据交换模式

在信息系统中, 各应用系统之间的联系是比较密切的, 各部门的信息要保持一致, 数据交换可以保持数据的一致性。在数据交换平台中, 任意系统之间的数据交换过程可以采用不同的交换策略, 主要有三种数据交换模式:主动发送、请求/应答、订阅/发布交换模式。

1、主动发送模式

主动发送模式是通过数据交换平台的中心交换服务器进行的。发送方的数据发生变动时, 通过数据交换平台直接将数据发送到应用数据的相关单位。比如大通关就涉及海关、工商、税务、质检、公安等部门, 为了更好地为进出口企业服务, 有效打击逃税、骗汇、走私等犯罪活动, 海关、工商、税务、质检、公安等部门就要掌握进出口企业信息, 而且这些信息要一致。当进出口企业的信息发生变化时, 就直接将信息发送到海关、工商、税务、质检、公安等部门, 这样保证信息的一致性及实时性。下面以A局向B局和C局发送数据为例, 分析主动发送模式的数据流程:

(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并将数据置入所在单位前置节点的服务器相应文件夹中, 所发送的数据标明要发送的地址。

(2) 数据交换中心通过时间轮询的方式将数据接收到中心服务器。

(3) 数据交换中心解析数据, 得到数据要发送的目的地。

(4) 数据交换中心删除发送方前置服务器中的数据, 保证文件夹的内容是空的。

(5) 接收部门接收数据, 并放入数据库中保存。

2、请求/应答模式

请求/应答模式通过数据交换平台的中心交换服务器进行请求和应答的。和主动发送模式的区别在于数据发送前先要向数据交换心发送请求消息, 数据交换中心响应后才能进行数据的交换操作。下面以A局向B局和C局发送数据为例, 分析请求/应答模式的数据流程:

(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并生成数据交换请求消息传送到数据交换平台。

(2) 数据交换中心接收到请求消息后, 进行响应, 与A部门建立连接。

(3) 数据交换中心接收A局封装成XML格式的数据。

(4) 数据交换中心对接收到的信息进行解析, 知道数据要发送到B部门和C部门。

(5) 数据交换中心向B部门和C部门发送请求消息, 要求发送数据。

(6) B部门和C部门响应请求, 并与数据交换中心建立连接。

(7) 数据交换中心将数据发送到B部门和C部门。

(8) B部门和C部门的业务系统接收到数据后, 分析本部门的应用系统, 并把数据存入相应的数据库中。

3、订阅/发布模式

订阅/发布模式基于SOA服务架构思想提出来的。W3C将SOA定义为:“一种应用程序体系结构, 在这种体系结构中, 所有功能都定义为独立的服务, 这些服务带有定义明确的可调用接口, 可以以定义好的顺序调用这些服务来形成业务流程”。

面向服务的架构包含三个部分:服务请求者 (Service Requestor) , 服务提供者 (Service provider) 、服务注册中心 (service Registry) , 如图所示[1]。

(1) 服务提供者

服务提供者是一个可通过网络寻址的实体, 它接受和执行来自消费者的调用, 它将自己的服务和接口契约发布到服务注册中心, 以便服务使用者可以发现该服务。

(2) 服务请求者

服务请求者可以是一个请求服务的应用、服务或者其它类型的软件模块, 它从注册机制中定位其需要的服务, 并通过传输机制来绑定该服务, 然后通过传递契约规定格式的请求来执行服务功能。

(3) 服务注册中心

服务注册中心是一个包含可用服务的网络可寻址的目录, 它是接收并存储服务契约的实体, 供服务请求者定位服务之用。

订阅/发布模式就是由服务提供者提供服务, 也就是发布操作;服务请求者请求服务, 也就是订阅服务;并且服务提供者提供的服务在服务注册中心进行注册。这样服务请求者就可以通过服务注册中心的目录资源进行查找。

订阅/发布是通过数据交换平台的中心交换服务器进行订阅和发布的。信息请求者向中心交换服务器订阅服务, 信息发送者将数据发布到中心交换服务器, 中心交换服务器接收到发布数据后, 将信息发送给请求者。

用户订阅此服务后, 一旦信息发送方的数据发生增加、删除、修改等变化, 数据交换中心会自动将更新的信息发送给信息订阅者。

三、数据交换模式的分析

上述三种数据交换模式都有由特点, 主动发送模式比较适合于几个部门之间有固定业务关系的, 一旦一个部门的信息发生变化, 其它几个部门的信息也要实时发生变化, 比如上述的大通关, 进出口企业的信息更新后, 就要及时的通知海关、工商、税务、质检、公安等部门。

请求/应答模式每次进行数据交换时, 都要有请求应答消息, 数据的及时性没有主动发送模式性强, 因此这种模式比较适合于小范围部门间小量数据的交换。

订阅/发布模式是几种数据交换模式中最具有松藕合性的, 用户只要把要共享的信息发布, 其它事情都可以由数据注册中心完成;用户要访问共享信息时, 只要向注册中心订阅该信息就可以了, 其它也由数据注册中心完成。

四、小结

上述分析了数据交换平台中的三种数据交换模式, SOA服务架构体系是一个不断发展的过程, 数据交换模式也在不断的发展中, 我们可以根据不同的情况选用不同的交换模式。

摘要：我国的信息化建设已取得一定的成果, 但也存在各个应用系统孤立, 应用系统之间不能进行数据共享与交换的问题。要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心连接, 通过数据交换中心进行数据交换与共享。

关键词：数据交换平台,数据交换模式,SOA

参考文献

基于元数据的数据交换系统研究 篇4

随着信息技术的发展,业务领域的变化频率越来越高,业务流程再造的速度越来越快,数据模型不断升级,导致数据迁移需求不断增加,跨部门业务融合也导致数据交换的需求持续增加。因此,建设一个数据交换平台迫在眉睫。该平台不仅可以提供点到点的系统间数据交换,还能实现点到面的跨部门、跨业务的数据集成,对整体数据资产提供有力支撑。

目前,主流的数据库产品大多提供了数据迁移工具,但这些工具一般只适用于数据的导入、导出,并且只能支持一个或几个特定类型的数据库[1]。现在的问题是用户使用的数据库产品种类众多,比如格式化的数据库有Oracle、SQL Server、DB2、MySQL、Access、Sqlite、达梦、金仓等;半结构化的数据格式有xls、csv、json、xml等;NoSQL类型的数据库有MongoDB、Redis、HBase等。无论是数据迁移还是数据集成,均需要在它们之间交换共享数据。如果工具只支持一对一的数据转换,就可能需要开发、维护、学习使用一批这样的工具[2]。因此一个通用的数据交换系统是实现数据迁移和数据集成重要的基础工具。

1 数据交换过程

一个典型的数据交换过程包括以下几个步骤:数据抽取、数据转换、数据加载[3],为了顺利实现数据交换,还需要对以上几个过程加以控制,这就是人们常说的ETL(Extract Transform Load),这里加上了控制(Control),简称为ETLC,如图1所示。

数据抽取,就是从数据源中获取数据。进行数据抽取是进行数据交换的首要步骤,它是指从异构的数据源中获取需要的数据。这里的异构数据源既包括传统的结构化数据库(支持SQL标准)、半结构化数据文件(如XML文件、JSON文件、XLS文件等),还包括不断涌现的NoSQL数据库(如:MongoDB、Memcached、HBase等)。建立一个通用的数据访问接口是获取不同数据源数据的关键。

数据转换,就是根据目标数据源的要求转换数据,实现异构数据源之间的数据转换是进行数据交换的重点。完成从异构数据库中提取数据之后,为了满足目标数据库对数据的要求,需要对其进行相应的转换。建立一系列数据转换规则是满足不同数据转换要求的关键。

数据加载,就是将数据加载到目标数据源。进行数据加载是达成数据交换目标的最后一环,它需要按照事先制定的加载策略,将经过转换的、符合要求的数据有针对性地加载到目标数据库中。

过程控制,就是启动、记录数据抽取过程。对数据交换过程进行控制是数据交换的有效保障。针对不同的数据交换需求,应能够自动地启动交换任务,收集、记录交换过程中的日志和异常信息,为掌握交换事务,及时发现和处理各种异常提供支撑。

2 数据交换元数据

通过对数据交换过程的分析可以看出,进行数据交换的基础是对数据源及其映射关系进行描述,数据交换过程需要对数据抽取、数据转换、数据加载、过程控制进行描述。元数据是对数据资源的规范化描述,对于数据交换过程中涉及到的数据源以及交换行为,可以抽象为以下几类元数据。

2.1 数据源描述元数据

数据交换实质就是数据从一个数据源通过抽取、转换、加载到另一个数据源,因此,数据交换的基础就是要对数据源进行详尽描述。

数据源按其类型不同,可概括为结构化数据库、半结构化数据文件、NoSQL数据库。无论何种类型的数据源,在进行数据交换时,首先都要知道如何访问,这就需要描述数据源所属的数据库类型、数据库版本、数据库名称、数据库的URL、访问数据库的用户名与密码等信息。

数据库逻辑上是由数据表组成,在进行数据交换时,要知道需要交换的数据在哪张表里,因此需要描述数据表信息,包括表的名称、表的语义描述、表所属的数据库等。

数据表是由一系列字段构成的,在进行数据交换时,最小的粒度是数据从源端的某张表的一个字段至目标端一张表的某个字段,因此对表字段的描述至关重要。字段的描述信息包括:字段的名称、字段的语义描述、字段所属的数据表、字段类型、字段的约束信息等。

通过以上分析,对数据源的描述可以归纳为三元组,记为D(Db,Dt,Df),其中Db为数据库描述信息,Dt为数据表的描述,Df为数据字段的描述,其逻辑关系如图2所示。

2.2 数据映射元数据

数据交换是不同数据源之间的数据转换,最终反映的是数据字段之间的映射关系。对于异构数据的交换,这种映射关系不仅包括不同数据要素之间的对应关系,还包括字段之间的转换规则。因此对于数据映射的描述,可以用四元组表示,记为R(Rd,Rt,Rf,Rc),其中Rd为源端数据源与目标端数据源的对应关系,Rt为源端数据表与目标端数据表的对应关系,Rf为源端数据字段与目标端数据字段的对应关系,Rc为源端数据字段与目标端数据字段的转换规则,其逻辑关系如图3所示。

2.3 交换操作元数据

实现异构数据交换的核心功能是进行ETL[4],即抽取、转换和加载,为了提高整个ETL过程的可控性、灵活性、通用性,需要对每个操作过程加以控制,因此交换操作元数据由数据抽取元数据、数据转换元数据、数据加载元数据和操作控制元数据组成。

2.3.1 数据抽取元数据

数据抽取就是按照事先制定的抽取策略将需要的数据从源端数据源抽取出来,对于数据抽取元数据的描述可用三元组表示,记为E(Ed,Es,Ep)。其中Ed为源端数据源,包括数据源连接信息和结构信息,Es为数据抽取范围,包括需要抽取的表及字段信息的集合和每张表内需要抽取的内容范围,Ep为抽取策略,分为手动抽取、定时抽取、准实时抽取等。

2.3.2 数据转换元数据

数据转换就是根据目标数据结构与源数据结构的映射关系,按照转换规则,将从源端数据库抽取出来的数据转换为与目标数据库相适应的数据,描述数据转换元数据可用四元组表示,记为T(Ts,Td,Te,Tr)。其中Ts为源端数据库,包括数据结构信息,Td为目标数据库,包括目标数据库结构信息,Te为需要转换的数据,是数据抽取结果的实例,Tr为源端数据结构与目标端数据结构的映射关系,是数据映射的实例。

2.3.3 数据加载元数据

数据加载就是将特定的、经过转换的数据加载到目标数据库中,描述数据加载元数据可用三元组表示,记为L(Ld,Lt,Lp)。其中Ld为目标数据库,包括数据库连接信息和结构信息,Lt为需要加载的数据,是数据转换结果的实例,Lp为数据加载策略,分为先清空后加载、增量加载、直接追加转载等。

2.3.4 操作控制元数据

数据交换需求,可以抽象为一个交换任务,一个交换任务是由若干个数据交换操作过程来实现的,为了使数据交换的各部分有机协调工作,需要操作元数据控制整个数据交换过程,描述操作元数据可用五元组表示,记为C(Ct,Cd,Cs,Cr,Cl)。Ct为与一次交换任务相关的信息,Cd为当前交换操作的目标数据库,Cs为当前交换操作的源数据库,Cr为当前交换操作关联的数据映射集合,Cl为当前交换操作过程产生的日志信息结合。

3 设计实现

3.1 系统逻辑

基于以上数据交换元数据,一个通用的数据交换系统框架由5层结构组成,分别是数据源层、数据访问层、元数据层、交换功能层和应用层,如图4所示。

数据源层:需要进行数据交换的所有数据源,能够支持数据源动态地加入或退出。

数据访问层:功能模块访问数据源的统一接口,它为上层的功能应用屏蔽了异构数据源访问差异,其核心是为不同类型的数据源建立相应的适配器。

元数据层:存储数据交换功能的元数据,它是数据交换功能的驱动源。

交换功能层:由实现数据抽取转换的各功能模块组成,包括数据抽取功能、数据转换功能、数据、数据加载功能和过程控制功能等。

应用层:提供数据源注册管理、数据映射编辑、数据交换策略管理、交换任务管理、交换任务执行、交换日志管理等用户交互操作界面。

3.2 系统应用流程

数据交换系统应用流程包括:

(1)注册数据源。按照数据源描述元数据的要求,将需要进行数据交换的数据源加入到交换系统中,详细描述数据源相关信息,包括连接信息和数据结构信息。

(2)编辑数据映射。根据数据交换需求,针对参与交换的源数据库和目标数据库的结构差异,建立字段级数据映射关系,选择相应的数据转换函数。

(3)数据交换任务管理。创建数据交换任务,设置交换策略。选择源数据库和目标数据库,确定任务启动方式(手动或自动)、启动时间、间隔周期等参数;根据数据抽取、数据转换和数据加载元数据要求,描述数据抽取范围、数据抽取策略、数据加载策略等。

(4)数据交换任务执行。根据交换任务启动策略,启动一个交换任务。系统完成数据抽取、数据转换、数据加载等动作,并记录任务执行过程中的相关日志信息。

(5)数据交换日志管理。查看相关任务执行过程中的日志信息。

4 结语

本文通过分析数据交换过程,提炼出数据交换的元数据模型,基于这些元数据模型构建了通用的数据交换系统。实践表明,基于元数据驱动的数据交换系统,屏蔽了异构数据源的差异,适应了数据映射规则的多样可扩展特性,满足了交换策略的灵活可定制要求。通过该系统,可以集中管理异构数据源,进行异构数据之间的转换,具有良好的适应性、灵活性、通用性和可扩展性,为进行大规模的数据迁移和数据集成提供了基础支撑。

参考文献

[1]张朝晖,徐立臻,董逸生.一种基于SOA的企业集成平台[J].计算机工程,2011,37(5):115-119.

[2]邓新莉,张四平,刘珊,等.基于中间件平台的异构数据交换与集成[J].四川兵工学报,2011,32(3):26-28.

[3]邹卫国,郭建胜,王毅.基于XML的异构数据交换研究[J].中国管理信息化,2009,12(24):184-189.

[4]王盼卿,刘增良,陶源.基于元数据的ETL工具集成研究[J].2009,25(12):58-61.

基于数据元的数据交换规范研究 篇5

1 数据层面上的数据异构

信息系统一般可以分为三个层面:数据层面、业务处理逻辑层面和表示层面。其中数据层面是整个系统的基础和核心,数据层面上的数据异构是导致系统之间难以进行数据交换的主要原因。典型的数据层面上的数据异构现象主要有以下几个方面:

1)名称不一致:即对同一个概念采用不同的名称命名。名称不一致造成人和计算机都难以寻找数据之间的对应关系。

2)定义不一致:即同一个名称所描述的概念不一定相同。定义不一致会造成人们对数据含义理解的歧义。

3)数据类型不一致:即存储数据时采用的数据类型不一致。数据类型不一致在数据交换时会导致数据溢出或者数据不兼容等问题。

4)数值表示不一致:即数据表达格式的不一致,包括计量单位、有效数字位数等。数值表达格式不一致会造成数值理解错误。

3 数据元的基本概念

数据元是用一组属性描述其定义、标识、表示和允许值的数据单元[1]。数据元可以理解为不可再分的数据的基本单元,是组成数据结构的基本元素。

数据元的基本模型如图2所示。

数据元由对象类、特性和表示三部分组成。对象类是我们所要研究的现实世界或抽象概念中事物的集合,例如人、汽车、房子等。特性是某个对象或实体的特征,是对象有别于其他成员的依据,例如人的姓名、性别等。表示描述数据元被表达的方式,包括数据类型、值域等,必要时也包括度量单位、字符集等。数据模型中的实体对应于对象类,属性对应于特性和表示。

数据元也可以看成是由数据元概念和表示组成。数据元概念是能以数据元的形式表示的一种概念[3]。一个数据元概念由一个对象类和一个特性组成。一个数据元概念可以与多种不同的表示方式结合,组成多个数据元。特性与表示可以组成与对象类无关的通用数据元。通用数据元可以作为制定数据元的模板使用。

4 领域数据元目录

数据元理论主要以数据元目录的形式发挥作用。数据元目录是列出并定义了全部相关数据元的一种信息资源[4]。数据元目录中的数据元一般包括标识符、名称、定义、数据类型、计量单位、允许值、等基本属性信息。

数据元目录一般是在一定的领域范围内使用的,它为领域内所涉及概念的名称、定义、数据类型、表示格式等以数据元的形式作了规范、统一的定义,并为每个数据元分配一个全局唯一的标识符。标准化的数据元目录是领域内唯一的、共同遵守的数据字典,可以为消除数据异构、实现数据的标准化提供统一的参照标准。

5 基于数据元的数据交换规范

基于数据元的数据交换以标准化的领域数据元目录为继基础,通过建立数据项与数据元之间的关联以及数据转换关系,以标准化的XML文件为载体发送和接收数据,实现数据交换。

具体操作流程为:

1)在所有需要进行数据交换的系统中建立映射关系表,记录每个数据项与数据元的映射关系(Relation Mapping),其中包含数据元标识符(Data Element_ID)、数据项标识符(Data Item_ID)和转换规则(Transform Formula)三项内容。转换规则包括数据类型转换、计量单位换算等。若系统中数据项的数据类型与数据元的数据类型不能实现转换,则需要根据实际情况对系统的数据类型作必要的修改。

2)系统发送数据时,根据映射关系将每个数据项编写成一个XML数据节点(Data Node),然后把所有的数据节点组织成一个XML文件(磁盘文件或内存文件)发送给接收方。数据节点中包含数据元标识符和数据(Data),编写数据节点时需要根据映射关系中的转换规则将数据转换成与数据元的数据类型、表示等一致的标准的数据。

3)接收方收到XML文件后,根据本系统的映射关系表将每个数据节点中的数据转换成符合本系统的数据。

因为所有的映射关系表都是以同一个数据元目录为参考标准的,网络中传输的数据又都是根据该目录进行标准化的数据,任何遵守这一套交换规范的系统只需要建设一个映射关系表就可以很方便的与其他所有遵守这一规范的系统进行数据交换。

6 结束语

数据元的标准化是数据标准化的核心内容,但数据元理论的作用却不仅仅是数据标准化,制定数据交换规范也只是其很小的一部分功能。本文在分析了数据异构的各种现象和介绍了数据元理论的基本概念的基础上,制定了一套可复用的数据交换规范,有效避免了建立数据映射关系的重复劳动,使异构系统之间的多方互联变得简单易行。

摘要：针对信息系统之间的数据异构导致数据交换困难的问题,研究利用数据元理论制定一套基于数据元的、统一的、可复用的数据交换规范,以实现异构信息系统之间高效的数据交换。

关键词：数据元,数据异构,数据交换,可复用

参考文献

[1]GB/T18391—信息技术数据元的规范与标准化[S].

[2]SDS/T2132—2004数据元标准化的基本原则与方法[S].

[3]ISO/IEC11179—2004.Information technology-Metadata registries(MDR)[S].

浅谈数据交换技术 篇6

随着信息技术的快速发展, 计算机网络及数据通信越来越引起人们的普遍关注。数据通信怎样能够更加高效地完成和实现网络规模的进一步扩展都与数据交换技术紧密相关。当通信系统基础硬件能够进行信号传输时, 可以实现通信双方的数据交换, 从而完成一次完整的通信过程。

1 数据交换技术的内涵

所谓数据交换技术, 主要指由交换机等相关通信网络设备所组成的数据交换系统, 再在路由选择技术的支持下实现通信双方的物理或者逻辑连接, 从而形成一条能够进行数据传输与交换的通信电路的技术。其作为一项能够实现多点通信的共享信道关键技术, 可以达到扩展网络规模以及提高通信效益的目的。通常进行数据交换的前提条件是通信子网能够进行数据信号传输, 其同时也是资源子网里各通信节点能够实现相应网络功能的前提。进行交换的数据可以是实时产生, 也可以是预先准备好的静态数据。某种意义上说, 数据交换是网络的本质功能。

2 数据交换技术的类型及其交换过程

数据交换技术通常可以分为电路交换技术、存储转发交换技术和信元交换技术三类。其中电话网络以及早期网络通常应用电路交换技术;多种网络形态时通常应用存储转发交换技术;而现代ATM网络系统通常应用信元交换技术。

2.1 电路交换技术。

该技术也称线路交换技术, 是最早的数据交换技术之一, 要求通信双方在进行数据传输交换以前, 必须建立一条实际的物理电路, 其作为典型的面向连接的通信模式之一, 当通信双方进行连接时, 整个线路都会被使用直到通信结束为止。

电路交换技术中物理电路的建立是关键, 其建立过程通常包括三个阶段, 第一阶段是建立电路阶段。其主要为数据传输建立一条物理连接通道。通信发送方发出交换数据请求, 根据接收地址以及路由算法找到中间连接节点, 再由被叫方进行应答;第二阶段是电路传输阶段。由通信双方利用所建立的物理电路按照一定通信模式进行数据传输。其中的中间节点仅负责连接之用, 而不进行数据处理等工作。第三阶段是电路释放阶段。由发送方请求释放电路, 再由接收方根据信号进行信息反馈, 并在信息确认后进行释放电路工作。从整个数据交换过程来看, 前两个阶段是通信双方进行数据交换, 而后一阶段则是为了释放电路和增强系统效率。

电路交换技术在电话网络以及早期网络中应用较广, 其特点可以总结为以下几个方面:一是通信双方建立与释放链路通过网络中间节点来实现;二是通信双方建立的物理电路需要独占使用;三是数据传输时中间节点只负责连接之用, 而不会处理数据;四是电路交换技术性能较好、可靠性较高、不冲突, 不易出现差错, 实时性数据传输较为适宜;五是电路建立与释放过程较慢, 因此对于突发性数据交换不适合;六是虽然数据传输过程较快, 但电路建立与释放过程较慢;七是该线路总体利用率较低。

2.2 存储转发交换技术

该技术是目前应用极广的数据交换技术之一。其在通信时能够建立动态的数据传输通道, 其交换节点通常由具有复杂数据处理能力的通信控制处理机确定, 且通信控制处理机在存储数据的同时, 还能够进行差错检测、转换数据类型、变换数据传输速率等操作, 从而使系统更加灵活, 通信效率更高。该网络里进行数据传输时, 要经由中间节点选择动态路由, 并将控制信息加入到传输数据当中。这里的控制信息包括通信双方的网络地址, 从而保证了数据的传输准确度, 并且在发现差错时可以及时处理解决。由于通信子网里的控制处理机能够进行数据存储, 所以传输数据能够进行信道共享, 提高了线路的使用效率。此外, 由此其能够进行流量控制, 所以不会出现因通信量过大而造成的堵塞等问题, 并且能够通过优先级控制来安排通信次序。

通信过程中里的全部交换数据和一定的通信控制信息共同组成的数据包, 我们称之为报文。在报文较大情况下, 为了网络传输方便可以将其分解为多个组成单元。当报文中的全部分组都被正确接收以后, 会在信宿处进行组装, 其中中间交换节点负责单个分组处理而不负责组装, 以确保数据传输安全和提高数据传输效率。据此我们可以将存储转发交换技术分为报文交换技术、分组交换技术两种。

2.2.1 报文交换技术

该技术应用在通信双方是相邻接点时, 则信源会把报文直接投递给信宿;如果通信双方并非同一物理网络, 则报文会在路由选择机制下通过中间节点传给接收方, 并由中间节点进行数据的存储与处理操作。进行报文交换时, 因交换处理数据量较大, 要求通信存储与处理能力较高, 因此通信成本较大。并且还可能导致堵塞现象, 降低系统灵活性与可靠性, 易出现差错。

2.2.2 分组交换技术

该技术会对报文中的有效载荷数据进行分割, 再加上一定的控制信息和报文号, 再以组建的分组为单位进行数据传输。其中间节点具有判断分组对错和路由选择等功能。该技术应用了流量控制机制以防止发生网络堵塞。虽然对报文进行分组和重组会浪费一定时间, 然而由于其分组处理效率较高, 所以提高了整体效率。但因需在通信过程中加入通信控制数据, 所以会增加开销, 并可能出现数据丢失、破环和乱序等问题。

2.3 信元交换技术

该技术在现代ATM网络系统中应用较多。ATM作为高速分组交换技术之一, 其以信元为交换的基本数据传输单元, 因此ATM技术也叫信元交换技术。通过ATM进行数据交换时, 所有的文本、语音和视频等相关数据都会被分解成长度固定的信元, 通常信元长度是53字节, 由于信元头、用户数据组成一个信元。

ATM技术通常以统计时分多路复用方式动态分配网络带宽, 具有网络传输延时较小的特点, 对于实时通信较为适宜。但该技术不具备链路级纠错和流量控制功能, 传输协议简单, 数据交换的效率较高。由于其运用了两级虚电路机制, 能够增加虚电路分配的灵活性, 因此还具有传输速率高的特点。

3 结语

如今, 我们已经进入了网络时代, 数据通信技术也势必迅猛发展以适应时代发展的需求。通过本文我们可以了解数据交换技术的演变过程与发展趋势, 从中我们可以看出, 信息技术的革命会不断推陈出新, 而我们的计算机网络也会不断开拓创新, 从而更好地满足人们的各种需求。

参考文献

[1]李传金;论计算机网络数据交换技术的发展[J];黑龙江科技信息;2011年25期

[2]翟胜军;有效实施网络隔离下的数据交换[J];中国电信业;2008年04期

[3]葛春燕.数据挖掘技术在保险公司客户评估中的应用研究[J].软件, 2013年01期

[4]邓云逸, 余重秀.宽带光纤参量放大器增益特性的理论研究[J].新型工业化, 2011, 1 (11) :77-82

数据交换网技术 篇7

数据交换网技术是常用的隔离交换技术手段之一, 另外较为流行的隔离交换技术还包括防火墙的安装以及多重安全网关的应用, 网闸以及人工交换也是被人们普遍认可的网络防护手段。人工交换虽然被人们普遍认可但是没有普遍采用是有原因的, 人工交换是技术含量低, 只能进行一些简单文件数据的传递, 达不到人们的更高需求;防火墙以及多重网关的设置相当于一种关卡, 来对网络进行可靠的安全检测来保证安全;网闸利用的是摆渡技术, 借此来进行网络隔离, 但是网闸的安全检测方面存在一定的缺陷;数据交换网技术是目前最具有优势的网络防护措施, 集合了大部分隔离技术的优点, 融合成了一套完善的安全保障体系, 具有很强的安全性能。

1 数据交换网技术的实际理论基础的阐述

数据交换网技术设计灵感来自于银行系统的一个模型, 银行系统Clark-Wilson模型的主要功能是为银行建立了一个较为完善的保障系统, 对银行客户业务以及一些重要的数据进行的双层保护, 避免了一些安全隐患的存在。因此数据交换网技术的应用加强了网络的防护, 保障了网络上一些重要信息以及重要数据的完整性, 增加了我国网络技术发展的可靠性, 同时数据交换网技术综合了智能化管理以及图形化管理模式两种方式, 智能化以及图形化管理的完美融合强化了网络防护措施的性能。另外, 数据交换网技术还结合了一些实际应用的特点, 不仅符合了大众用户的眼光, 还充分满足了各种用户的需求, 数据交换网技术的智能化模式不仅支持全面的即时通讯功能, 还高度符合各种下载协议审计等工作。网络安全是一项十分重要的工作, 因此网络安全体系的建立也必须重视起来, 网络安全体系的建立是一个十分复杂的过程, 网络安全体系的建立必须要发挥出自身的性能, 起到安全保障的作用, 数据交换网技术的应用要从各个角度出发, 不放过任何一个细节, 建立起一个完善的网络安全体系。

不管是在国内还是国外, 国家网络安全领域都是一个占有相当大比重的模块, 据国家网络安全部门提供的数据来看, 在所有有关网络安全解决方案的用户当中国家级的用户占了大量份额, 由此可见国家网络安全维护的重要性以及数据交换网技术实施的必要性。对于数据交换网技术研究机构来讲, 网络安全的解决方案一定要覆盖到整个IT领域, 打造一个国家网络安全维护整体化的系统, 这样才能灵活应对网络上面的各种漏洞与威胁, 才能使网络用户达到自己的需求。网络安全系统是一个巨型的网络结构, 一环紧扣一环, 任何一个环节的缺少都会导致系统的瘫痪, 只有各个环节的和谐配合才能使网络运营商正常的运行。随着科技的发展, 人们的日常生活当中已经离不开网络, 网络的存在为人们解决了很多问题, 但是如今网络的安全性存在的隐患使人们对网络的使用有所顾虑起来, 数据交换网技术帮助人们解决了部分网络安全问题, 将网络防护措施渗透到了各个方面, 对网络进行了全局式的管理, 使网络的安全管理更加的智能化。

2 数据交换网技术的设计概念以及设计模型

数据交换网技术是在两个或多个网络之间建立一个安全网络, 这个网络的建设目的是监控网络安全状况的, 对外来侵害和威胁起到了很好的抵御防护作用, 提前辨别了一些潜在的病毒, 数据交换网技术是专职负责用户数据交换工作的, 尽可能的避免了数据泄露的可能性。数据交换网技术相当于一个业务代理, 对一些外来业务进行了提前的审核, 避免了外界信息的直接侵入确保了业务的安全, 数据交换网技术也可以称为数据交换平台和数据交换隔离区。

数据交换网技术由两个平台组成, 接入平台以及业务平台, 通俗来讲也就是两个缓冲区:接入缓冲区和业务缓冲区。接入缓冲区负责一些用户的网络接入工作, 业务的申请代理也是接入缓冲区需要完成的工作之一。外网的接入是数据交换网技术中最重要的一个关卡, 是把守安全的第一步骤, 外网的接入要采取多重关卡进行防护, 多重关卡的防护加大了网络防护的安全性能, 不仅抵御了外来病毒的侵害还提高了自身的抗攻击性。多重关卡的的设置不会影响网络的运行速度, 多重安全关卡的设置对设备硬件的要求十分高端, 硬件过滤技术的采用加强了网络防护性能, 可以一眼辨别出常见的、具有典型特征的病毒, 并且可以做到在第一时间进行过滤。业务缓冲平台的主要任务是对业务进行高标准的审核, 数据交换的完成也是业务缓冲区的任务之一, 业务缓冲区连接的是内网, 内网的连接是数据交换网技术的最后一道重要关卡, 并在关卡的设置当中应用到了网闸进行隔离, 网闸的摆渡特性是针对网络隔离的一个十分高效的应对措施, 业务缓冲平台大大减少了外界危险因素入侵的可能性。多重安全关卡的设置可以满足业务的实时性较高要求, 要注意的是多重安全关卡的设置不能与接入平台的安全设计相同, 接入平台一般接入的都是一些非安全网络的客户, 由于多重安全关卡的设置对客户的接入是可控制的, 这种可控性质的选择可以直接联系到防火墙之上, 这样客户业务的访问效率便可以得到大大的提高。数据交换网技术的强大功能体现在可以把安全保障机制和数据保障机制完美契合的结合在一起, 大大的加强了网络安全的可靠性。另外, 数据交换网从技术方面来看, 多重网关的接入、网闸的设置以及防火墙的建立都使数据交换网技术达到了完整趋近于完善的地步, 数据交换网技术当中设置的两道监控关卡也起到了很大的作用, 因此在数据交换网技术当中不能忽略安全监控平台的设立。

3 运用数据交换网技术利与弊的辩证关系

从上文的分析可以看出, 数据交换网技术的应用存在一定的范围局限, 适合一些工作量较大的数据交换, 数据交换网技术可以满足用户对于实时性以及安全性的较高要求, 数据交换网络分为两个区域也就是两个缓冲地带, 这两个缓冲地带起到相辅相成的作用, 共同抵抗外来不利因素的威胁, 增加了安全防护的等级。数据交换网技术的应用也存在一定的缺陷, 尤其是与非安全网络进行联机操作的时候, 虽然可以增强网络的安全系数, 但是在技术成本上有一定的增加, 数据交换网技术并没有被普遍采用, 数据交换网技术的应用要考虑到用户的业务需要。用户的需求在很大的程度上带动了数据交换网技术的发展, 就拿银行采用的Clark-Wilson模型举例来说, 银行的各种业务是为用户提供的, 但是客户的需求也为银行的自行开发起到了很好的促进作用。数据交换网技术为网络提供了安全系数较高的防护, 虽然为外来入侵病毒起到了一定的抵御作用, 但是仍然存在数据交换网技术遭到破坏的可能性, 最可靠的办法就是技术含量最低的人工操作, 人工进行交换数据的增加了网络的保障系数。因此, 网络的安全防护工作不能全靠智能化的设备进行操作, 还要做到“人机合一”来共同完成网络的安全保障工作, 数据交换网技术仍然脱离不开人工的参与。数据交换网技术虽然能起到很好的保障作用但也不是万能的, 在使用数据交换网技术的时候一定要注意对于安全技术的合理运用, 要把防护工作以及监控审计工作有机的结合在一起, 确保数据交换网技术能够完美的发挥出防护作用, 避免运行过程中一些安全隐患以及漏洞的存在。

4 我国有关数据交换网技术的实况运用

随着我国信息化水平的逐渐发展, 数据交换网技术的应用也不罕见, 满足了用户在使用网络过程中的部分实际需求, 并且数据交换网技术正逐步往非安全网络互联的技术上继续发展, 逐渐成为主流技术之一, 并且在一些知名企业上有了广泛的应用, 满足了企业的一些涉密要求, 下文结合一些实际应用的案例进行举例说明, 譬如数据交换网技术为一些大型的金融机构下提供了互联网的业务以及数据交换网技术早已成为政府的一些公共服务进行监管的机构。

5 结语

数据交换网技术满足了一些需要网络协助办公的业务需求, 数据交换是一种技术手段, 是通过人工智能共同操作完成的, 因此有关数据交换网技术的科研人员肩负着艰巨但有着重大意义的责任, 要用最短的时间、最高的效率设计出一种符合现状的、有实用价值的网络防护手段, 为我国各个机构以及为我国日益膨胀的网络业务提供更大的便利。

参考文献

[1]冯毅田.利用数据交换网解决电视台网络互联互通的安全问题[J].广播电视信息, 2012 (11) .

[2]王继深.铁路运输管理信息系统接入数据交换网的联网实践[J].铁路通信信号设计, 2003 (12) .

电力应急数据交换技术研究 篇8

电力应急指挥中心是电力公司领导和相关部门指挥基层单位开展重大突发事件应急处置的指挥场所。当前应急指挥中心的信息主要有实时监视突发事件现场情况、电网运行状况、视频会商信息以及辅助决策信息等,应急数据的交换是应急平台建设的重要内容之一,是实现国家与地方政府应急管理平台互联互通、信息共享的主要手段[1,2]。本文提出了电力公司总部与各省电力公司应急指挥信息平台数据纵向贯通的方案,可为平台的设计开发提供一定的参考。

1 电力应急数据交换总体架构

电力公司总部应急指挥信息平台与各省电力公司应急指挥信息平台的纵向贯通及各省电力公司业务应用的纵向数据集成,主要是基于数据交换平台及数据中心实现的,各个层次之间实现数据集成和交换,可依据数据的获取需求,通过以下架构实现[3,4],数据贯通总体架构如图1所示。

图1 数据贯通总体架构Fig.1 The general framework of data integration

1)应急指挥信息平台:负责接收从数据中心传输的各种应急数据信息,是电力公司领导和相关部门指挥基层单位开展重大突发事件应急处置决定的重要信息来源。

2)数据中心:数据中心是各种计算机系统和其他与之配套的环境控制设备、监控设备以及各种安全装置等的组合,负责接收从数据交换平台传输来的数据信息。

3)数据交换平台:数据交换平台以分布式的方式部署在电力公司总部及各省电力公司每个应用系统的前置机上,该平台按照统一的数据交换标准、接口和传输协议等,可实现不同信息库之间数据信息的自由转换,实现了电力公司总部与各省电力公司纵向数据的自动提取与转换[5]。

仅使用数据交换平台来实现数据的纵向贯通,适用于交换电力公司总部与各省电力公司应急指挥信息平台本身所产生的实时性要求比较高、数据量较小的数据;基于数据交换平台和数据中心实现数据的纵向贯通,适用于交换电力公司总部与各省电力业务应用中实时性要求不高且数据量大的数据[6,7]。

2 基于数据交换平台的数据纵向贯通

电力公司总部与各省电力公司应急指挥信息平台本身所产生的数据都是实时性要求较高且数据量较小的数据,可通过数据交换平台直接进行交换。其中交换的数据分为格式化数据与非格式化数据2类,分别采用数据交换平台中的不同交换服务来完成数据交换。

2.1 格式化数据交换

各省电力公司应急指挥信息平台调用数据交换的接入服务后,数据交换平台开始从各省电力应急指挥信息平台获取数据信息,并将数据交换平台的交换数据传输到电力公司总部数据交换平台。电力公司总部数据交换平台将数据写入到电力公司总部应急指挥信息平台的临时表中,同时发送“数据到达”通知到通知队列中,总部应急指挥信息平台根据此通知能够及时判别数据是否到达电力公司总部;如果数据已经到达电力公司总部应急指挥信息平台,则平台将触发从临时表到正式表的数据同步[8,9,10]。格式化数据交换如图2所示。

完成格式化数据交换的前提是:

1)完成在数据交换平台中配置交换的各省电力公司与电力公司总部的数据库连接信息(数据库类型、地址、用户等信息),并在各省电力公司开放读取数据的权限,在电力公司总部数据库开放临时表的写权限;

2)交换的数据中涉及到的单位编码必须参照数据交换平台所提供的单位编码;

图2 格式化数据交换Fig.2 The exchange of formatted data

3)电力公司总部与各省电力公司之间交换的数据库表结构要求一致,并且要求包含数据交换平台所要求的必有字段;

4)各省电力公司数据交换平台将提供接口服务地址,提供给各省电力公司应急指挥信息平台;

5)电力公司总部数据交换平台将提供接口服务地址,提供给电力公司总部应急指挥信息平台。

接入服务接口见表1所列。

表1 接入服务接口Tab.1 The interface for access service

注:数据交换平台对外提供的接口服务说明。

2.2 非格式化数据交换

各省电力公司将要发送的非格式化数据以数据流的形式封装成参数对象,以满足各省电力公司数据交换平台接入服务的要求。同时调用数据交换平台中的接入服务模块,将数据发送到电力公司总部应急指挥信息平台。电力公司总部应急指挥信息平台监听数据通知队列,发现有数据到达时,调用电力公司总部数据交换平台数据接口服务来读取数据[11]。非格式化数据的交换如图3所示。

非格式化数据交换的前提是:

1)各省电力公司数据交换平台为各省电力公司应急指挥信息平台提供接口服务地址;

2)电力公司总部数据交换平台为电力公司总部应急指挥信息平台提供接口服务地址;

3)应急指挥信息平台中数据的导入依赖于数据交换平台的相关程序库文件,如发送文件时要引入Data Handler对象所在的activation.jar包。

图3 非格式化数据的交换Fig.3 The exchange of non-formatted data

发送服务接口见表2所列,获取文件服务接口见表3所列。

表2 发送服务接口Tab.2 The interface for sending service

注:数据交换平台对外提供的接口服务说明。

表3 获取文件服务接口Tab.3 The interface for file service

注:数据交换平台对外提供的接口服务说明。

3 基于数据中心的数据纵向贯通

对于各省电力公司业务应用中与应急业务相关的数据及应急指挥信息平台本身所产生的数据,可以通过数据中心与数据交换相结合的方式来完成。基于数据中心实现数据的纵向集成,适用于交换对数据的实时性要求不高且数据量大的数据。基于数据中心的纵向贯通如图4所示。

各省电力公司的数据交换平台从各省电力公司数据中心操作型数据存储(Operational Data Store,ODS)获取到应急指挥信息平台的数据后,发送到电力公司总部数据交换模块,电力公司总部数据交换模块将数据写入到电力公司总部数据中心ODS中,电力公司总部应急指挥信息平台从电力公司总部数据中心ODS获取数据[12,13]。从各省电力公司到电力公司总部的数据交换如图5所示。

图4 基于数据中心的纵向贯通Fig.4 Vertical data integration by the data center

图5 从各省电力公司到电力公司总部的数据交换Fig.5 The data exchange from the provincial power company to the power company headquarters

应急指挥信息平台项目组向数据中心和数据交换平台提出数据需求(数据结构、交换周期),数据中心项目组负责数据中心ODS数据组织,数据交换项目组负责数据的上下交换。数据中心项目组向电力公司总部应急指挥信息平台提供电力公司总部数据中心ODS数据库的连接信息(数据库类型、地址、用户等信息),并具有读取数据的权限[14,15]。

各省电力公司应急指挥信息平台调用数据交换平台的接入服务,发送数据到电力公司总部数据交换平台。电力公司总部应急指挥信息平台负责监听数据到达通知队列,及时判别数据是否到达电力公司总部,电力公司总部应急指挥信息平台获取数据后,按设计的数据Schema解析数据,并存入电力公司总部应急指挥信息平台数据库中[16]。

交换过程的前提是:

1)电力公司总部与各省电力公司完成纵向贯通数据的Schema的设计;

2)交换的数据中涉及到的单位编码必须参照数据交换平台所提供的单位编码;

3)各省电力公司的数据交换平台向各省电力公司应急指挥信息平台提供接口服务地址;

4)电力公司总部数据交换平台向电力公司总部应急指挥信息平台提供接口服务地址。

数据交换必有字段见表4所列。

表4 数据交换必有字段Tab.4 The essential field for data exchange

4 结语