统一数据交换

统一数据交换（精选十篇）

统一数据交换 篇1

2002年以来, 我国省市地方的电子政务建设取得了很大的进展, 为推动政府改革和廉政建设, 加强对企事业单位和公众的服务, 发挥了很大的作用。在当前总结“十一五”、规划“十二五”之际, 研讨地方电子政务建设的一个重要问题——如何建设地方电子政务数据中心和数据交换平台, 具有重要的理论意义和现实意义。

我国地方电子政务建设的基本问题

我国“十五”和“十一五”期间, 省市电子政务建设的基本内容, 是政府门户网站建设和一些业务应用系统的分散开发。由于缺乏统一的规划和统一的数据标准, 各种应用系统所形成的“信息孤岛”和“信息烟囱”比比皆是, 政府部门各自为战、独立建设、重复投资等问题时有发生。这些问题不解决, “十二五”期间, 要求政府创新与电子政务互相促进, 实现跨部门业务协同, 全面提升公共服务水平, 是办不到的。

“信息孤岛”产生的原因是多方面的, 但就认识根源来说, 是长期以来的一个普遍性的认识误区在作怪——总以为可以通过做数据接口来实现应用系统的集成;或者以种种数据接口的变种, 如数据库中间件、企业服务总线和数据交换平台等技术, 来实现多个“信息孤岛”的整合。例如, 许多地方在经济管理信息服务网建设方面, 为了实现工商、国税、地税和质监等政府部门的协同监管和服务所建立交换平台, 虽然投入巨大, 但如期效果并没达到。

信息工程方法论 (IEM) 已经彻底地从理论论证和实践检验上澄清了这一认识误区, 指出靠做数据接口不能实现多个孤立应用系统的集成;只有建立统一的数据标准, 面向业务主题建立共享的数据库, 实施数据环境的重构 (DER) , 才能解决信息资源整合与应用系统的集成问题。地方电子政务数据中心 (GDC) 建设的目的, 就是实施数据环境重构, 一体化地解决一个时期以来各种“信息孤岛”问题, 加强政务信息资源整合, 提升政务协同能力的重点工程。

数据中心与数据交换平台统一建设的可行性

事实上, 已经有些省市在进行电子政务数据中心建设的探索了, 取得了一些成果, 也出现了一些问题, 主要有:

◆某些地方立项目标任务定位不正确, 重叠立项“数据中心”和“数据交换平台”, 将两和本来是紧密联系、不可分割的统一建设任务, 划分为两个建设项目, 不仅重复投资浪费, 实际整合的效果还不好;

◆大部分停留在物理建设层面, 只注重解决数据集中存储、备份与安全等问题, 不注意解决数据标准化建设、信息资源整合与支持应用集成问题;

◆没有发挥业主方的主导作用, 将数据中心建设项目承包给系统集成商或软件开发商, 政府部门既不积极参与需求分析, 又不注重培养自己的数据管理人员;

◆数据中心和交换平台设备先进, 也购买安装一些数据抽取、加载和展现软件, 但业务实用数据贫乏, 开发商只给加载、调通少量数据, 项目验收后并不能投入实用。

为避免上述问题的发生, 电子政务建设的主管领导、信息中心负责人和骨干人员, 需要加强学习, 调整思路。首先要全面、正确把握电子政务数据中心和交换平台建设的总体任务。研究表明, 按数据中心建设所涵盖的业务范围, 可以有不同类型的数据中心:省市为经济管理信息服务的数据中心 (涵盖发改委、财政、工商、国税、地税、质监、统计等政府管理部门的业务) ;为社会保障管理信息服务的数据中心 (涵盖医疗保险、养老保险、失业保险、工商保险、生育保险、劳动就业等政府管理部门的业务) , 还是一些专业性信息服务的数据中心 (如省市财政数据中心、区域物流数据中心、电子口岸数据中心、文化教育数据中心等) 。我们的研究发现, 从基本构成上来说, 所有电子政务数据中心和交换平台建设, 都包括如下五项总体任务:

1、整合网络资源, 完善通信-计算机网络基础设施;

2、建立信息资源管理基础标准——数据元素标准、信息分类编码标准、用户视图标准、概念数据库标准和逻辑数据库标准;

3、重整数据结构, 建立共享的空间图形信息库、主题数据库和支持辅助决策的数据仓库;

4、建立信息资源元库和信息资源目录与交换体系, 科学有效管理各种业务数据和交换数据;

5、以数据中心支持核心业务系统的集成化开发和运行, 支持首长信息系统 (EIS) 的开发和运行。

某些地方重叠立项数据中心和数据交换平台建设的重要原因, 是受信息资源整合与应用系统集成问题的复杂性所困惑, 片面理解数据中心和数据交换平台建设任务, 不掌握数据中心共享数据库重建的关键技术, 对数据交换平台建设的“企业服务总线 (ESB) ”技术期望过高。按信息工程方法论 (IEM) “以数据为中心”的基本观点, 在数据中心建设的业务范围内, 已经堆积、并且正在堆积一些交错复杂的“系统”和冗余无序的“数据库”, 如果不从数据标准化和共享据库建设入手, 以“保护已有投资”为名, 完全靠数据交换平台来解决两类堆积问题, 不仅其复杂性会超过数据标准化和共享据库建设, 而且至今没有完全成功的先例。这里, 有一个简单的事实是ESB推行者所避而不谈的:你说将一些应用系统 (“信息孤岛”) 用前置机或适配器 (Adepter) 联到服务总线上, 就可实现这些应用系统的互联互通, 它们之间的数据就可以自动交换。可是, 适配器里的信息内容是什么?——设想王某人在工资系统里的编码是0134, 在社保系统里的编码是021045736, 在银行卡中的编码是130034, 这些数据不分别装载到三个系统的适配器里, 系统怎么能自动比对识别呢?而需要整合的业务范围内, 要建立多少个这类的数据对照表?谁来做这些数据对照表, 能跟得上业务的变化吗?

我们说, ESB技术还是可以用的, 数据交换平台还是需要的, 但不是实现信息资源整合与应用系统集成的主体技术;实现信息资源整合与应用系统集成的主体技术是数据标准化和共享据库建设。以某市社会保障信息系统的优化提升为例, 按照金保工程总体规划, 他们设立了生产区、交换区和决策区三个逻辑工作区, 现在面临三个区的升级改造。我们的研究认为, 生产区多个应用系统的升级改造, 要着力数据标准化建设, 构建共享的主题数据库, 使核心业务通过存取共享数据库, 实现最便捷、最经济、最高效的信息共享。交换区要逐渐将重点转向核心业务数据与外部的交换, 即通过建立信息资源目录与交换体系, 实现核心业务数据与外部 (工商、质监、银行等) 的数据交换;核心业务之间的数据交换, 如过去统筹与医保、失业保险与劳动就业等业务之间的数据交换, 要改为通过共享数据库的存取实现信息共享, 而不再是数据交换。这就是说, 核心业务之间不通过数据接口 (或变相的数据接口) 进行数据交换, 即消除核心业务的“信息孤岛”, 以支持社会保障业务协同和综合服务。决策区除了建立与生产区同步更新、只读的查询数据库外, 还要建立面向社会保障指标体系的数据集市, 改变面向报表的统计为面向指标的统计, 以支持广大企事业单位和公众的信息查询;建立由主题数据库升档的数据仓库, 而不是由应用数据库抽取形成的数据仓库, 以支持社保局、政府有关部门和领导的辅助决策工作。交换区建设在采用企业服务总线 (ESB) 技术时, 要根据左右、上下、内外数据流的分析, 分类指导信息资源目录与交换体系的建设, 科学规划当前、近期和远期的自动化数据交换的实施步骤。

数据中心与数据交换平台统一建设的可行性和必要性, 在于它们的建设目标和建设策略的统一性。数据中心建设的目标, 是通过对业务数据集中采集、集中存储、集中管理、集中使用, 一体化地解决信息资源整合与应用系统集成问题, 支持核心业务集中统一管理, 实现跨地区、跨部门业务协同和综合服务。数据交换平台建设目标, 主要是解决与上下、外部的数据自动交换;而核心业务之间的数据交换, 随着共享数据库的建设, 会逐渐减少, 因为核心业务将以对主题数据库存取, 取代以往的核心业务之间的数据交换。由此可见, 数据中心的共享数据库与数据交换平台两大机制建设是不可分割、紧密联系、相互依存的。两平台的统一建设, 要遵循“四统一原则”:统一规划——统一进行信息资源规划;统一标准——统一建立数据标准化体系;统一设计——统一搞好总体设计;统一实施——根据信息资源规划方案 (IRR) 和信息工程总体方案, 统一进行数据中心和交换平台的建设。

基于信息资源规划的总体设计

我国自1993年全面推进国民经济与社会信息化以来, 在电子政务和企业信息化建设过程中, 不断出现重复投资、重复开发、各自为战、条块分割、先出现“信息孤岛”后考虑整合的被动局面, 到2004年, 国信办领导和信息化专家一致认为, 信息化建设的主要问题已经不是网络构建、应用开发和软件选型问题, 而是首先搞好总体设计或顶层设计问题。

这时, 一些专家学者和研发机构开始引进介绍美国联邦政府业务框架 (FEA) 和企业架构 (EA) 等参考模型, 军内信息化专家王保存少将介绍了《美国如何进行军队信息化顶层设计》。到2007年, 国家出台《电子政务系统总体设计要求》 (GB/T21064-2007) , 使电子政务建设的总体设计, 有了可参考的指导意见。该意见指出, 电子政务总体设计的目标, 是确定系统所支撑的政务活动的范畴, 明确系统在其所属电子政务框架中的位置与作用, 给出满足系统需求的一种解决方案, 确保电子政务系统的无缝集成和预期目标的实现。一些总体设计的要素, 如需求分析、业务功能、信息资源和系统体系结构等, 可以作为总体设计的参考要素予以关注。

钱学森在《论系统工程》中对总体设计有精辟的论述:总体设计部由熟悉系统各方面专业知识的技术人员组成, 并由知识面比较宽广的专家负责领导。总体设计部设计的是系统的“总体”, 是系统的“总体方案”, 是实现整个系统的“技术途径”。总体设计部一般不承担具体部件的设计, 却是整个系统研制工作中必不可少的技术抓总单位。钱老指出了谁做总体设计、总体设计做什么和总体设计有什么用等关键问题。

我们以钱老的系统工程思想为指导, 学习运用信息工程方法论 (IEM) , 创新提出了基于信息资源规划总体设计的整套技术方法, 简单说就是“三大模型、五项标准和三大信息工程总体方案”。现以某市“金财工程”数据中心与数据交换平台建设基于信息资源规划的总设计为例, 简述要点如下:

1、全面梳理和优化业务流程, 建立应用系统功能模型。信息资源规划是以“职能域” (Function Area) 为基本单元进行数据流分析的, 职能域是指组织中的一些主要业务活动领域的抽象, 它不是当前机构部门的翻版, 但会覆盖当前的机构部门。该市财政职能域界定为:预算编制、国库支付、收入管理、政府采购和财务核算等十个职能域。对每一职能域分析识别业务过程 (Process) , 再对每一业务过程识别定义业务活动 (Activity) , 从而形成稳定的三层结构“职能域-业务过程-业务”表达的业务模型 (Business Model) 。然后, 通过对每一业务活动做计算机化可行性分析, 确定程序模块或组件 (Component) , 形成由三层结构“子系统-功能摸块-程序模块”表达的逻辑子系统功能模型 (Function Model) 。

2、调研并规范用户视图, 进行数据流定性和定量分析。用户视图 (User View) 是指最终用户对数据实体的看法, 是对单证、报表、帐册、屏幕表单等的综合。数据流就是用户视图的流动。采用软件支持工具, 对10个职能域约1000多个用户视图做规范化处理 (达到1-NF) ;基于用户视图, 通过数据流程图做数据流的定性分析, 进而做数据流的定量分析, 全面搞清楚各职能域之间, 以及与外部应用系统的数据流关系。

3、基于用户视图分组和数据流分析, 建立应用系统共享数据模型。数据建模是信息资源规划核心、也是难度最大的工作。借助于专业支持工具软件, 可建立由若干主题数据库 (35个) 、若干基本表 (140个) 所构成的数据模型, 采用简化E-R图来表达全域数据模型和各子系统数据模型。

4、基于数据存取分析, 建立应用系统体系结构模型 (C-U矩阵) 。体系结构模型是功能模型和数据模型的关联, 采用C-U矩阵来表达数据库的共建共用关系和程序模块研发顺序的控制机制, 是应用系统开发过程中确定数据分布的重要依据。每个子系统一个C-U矩阵, 反映子系统内程序模块与基本表的关联, 全域一个C-U矩阵, 反映各子系统与主题库的关联。

5、统一数据标准, 建立信息资源管理基础标准。该市财政核心业务所涉及到的数据标准规范, 在采用和借鉴现有的国际、国家、行业标准的同时, 还需要根据实际需要, 来建立统一的信息资源管理 (IRM) 基础标标准, 包括数据元素标准、信息分类编码标准、用户视图标准、概念数据库标准、逻辑数据库标准 (共5项) 。在此基础上, 建立与外部进行数据交换的信息资源目录与交换体系。

6、采用软件支持工具, 建立信息资源元库系统。信息资源规划工作是由多个小组、众多业务人员与IT人员密切合作完成的信息化工程, 就需要有能够集“理论指导、标准规范和操作方法”为一体的专业软件工具的支持。我们研发并具有自主知识产权的规划工具软件——信息资源规划工具IRP2000net与信息分类编码工具IRP3-icc, 能够对信息资源规划工作过程中的分析调研、建模和数据标准化过程和结果, 都统一保存在信息资源元库 (Information Resource Repository, IRR) 之中, IRR是后续应用系统开发工作所依据的核心资源。

以上就是基于信息资源规划总体设计的第一部分工作——信息资源规划的三大模型和五项数据标准, 而且由工具系统建立和存储, 即形成活化的计算机文档。在此基础上, 做基于信息资源规划总体设计的第二部分工作——

7、信息工程总体方案编写。通信-计算机网络工程总体方案、数据标准-数据中心工程总体方案和应用软件工程总体方案等三大信息工程总体方案, 将用来指导、控制和协调该市“金财工程”数据中心与数据交换平台有序成功的建设。

实践表明, 我们创新提出的电子政务总体设计方法论——基于信息资源规划总体设计, 不仅完全覆盖GB/T21064-2007的总体设计要素, 而且更为科学、简明和实用。

要在实践中推进两化融合

工业和信息化部副部长杨学山

2010年7月1日, 全国首个推进两化融合高级培训班 (第一期) 在上海开班。工业和信息化部副部长杨学山出席开班仪式并发表重要讲话。

要充分认识两化融合。第一, 推进两化融合是党中央国务院的重大战略决策。第二, 两化融合是历史发展的必然趋势。第三, 无论是从企业或国家竞争力的角度、从微观或宏观经济效率的角度, 还是从发展转型的角度, 两化融合的本质就是材料、能源、信息三种社会发展的基本资源综合、协调、高效利用和均衡优化, 中国应该加快创新步伐, 实现科学发展。第四, 推进两化融合是转变发展方式的重要抓手。两化融合在各个方面支撑发展方式的转变:两化融合促进战略性新兴产业发展, 在宏观和微观两个方面提升生产效率, 是节能、减排、降耗、治污的重要抓手, 是提升创新能力的重要基础, 是产品和产业升级的内在动力, 是产业布局调整的技术支撑。

要在实践中推进两化融合。首先, 在战略层面, 第一要提升经济运行整体效率:发展电子商务, 降低贸易成本;发展现代物流业, 降低物流成本;发展诚信体系, 降低交易成本;发展创新平台, 降低研发成本, 提升研发质量;加强预测预警, 引导平稳发展。第二要在三大产业结构调整、产业内结构变化、产业布局、生产技术选择方面着手, 构建现代产业体系, 转变经济发展方式。两化融合是构建现代产业体系的重要抓手, 在构建现代产业体系中发挥着重要作用。

其次, 在重点工作层面, 要大力发展企业信息化、行业信息化、区域信息化。

最后, 要高度重视创新与延续的关系, 两化融合在创新发展的同时, 要高度重视发展的延续性。传感网、物联网、泛在网、云计算、智慧地球等一系列新概念正在发展, 并影响着两化融合进程。但万变不离其宗, 不能就概念论概念, 要正确认识技术的发展, 正确认识技术发展与两化融合的关系, 要切实做到重本质、讲延续、求效果。

摘要：本报告在总结我国地方电子政务建设基本问题的基础上, 提出了地方电子政务数据中心与数据交换平台统一建设的目标、任务和策略, 论述了基于信息资源规划总体设计是其成功建设的基础保障。

关键词：电子政务,信息资源,数据中心,信息资源规划,总体设计

参考文献

[1]中共中央办公厅.关于加强信息资源开发利用工作的若干意见[S].2004.

[2]中国工程院“十二五”规划信息化专题组.我国“十二五”信息化发展的思路[M].2009.

[3]高复先.信息资源规划——信息化建设基础工程[M].北京:清华大学出版社, 2002.

高效的统一无线交换网络架构 篇2

最初部署的企业无线局域网(WLAN)至多提供不太大的带宽，安全性也不高，这妨碍了无线技术在企业中的使用。这样，无线局域网一直局限于为一小部分关键应用服务。在这种情况下，IT专业人员一直采用一种重叠架构，以便将无线局域网快速移植到已有的有线网络上。在这种架构下，所有无线局域网信息流都以隧道方式传送到一个中央接入控制器，并在这里进行解封装和验证，然后进入有线网络。

尽管802.11n提高了无线性能，但由于重叠架构效率低而受到网络瓶颈问题的困扰。此外，在重叠架构中，无线部分是在运行在网络上的特殊业务，而不是网络中必不可少的内在功能，这将导致效率低下。因此，在无线业务用户群扩大时，无线网络无法经济实惠地实现扩展。打算转向802.11n的网络管理员需要弄清楚无线接入能够实现的所有好处，并且要确定是否需要一种新的网络架构。本文讨论采用新架构的必要性，介绍了一种新的基本构件，即统一无线/有线交换，并阐述了基于这种新构件的解决方案所具有的特点和好处。

采用统一无线交换网络拓扑

随着无线局域网流量的增加，集中式架构使网络的加载量成倍增加，最后达到网络对所支持的所有流量都无法正常发挥作用的程度。其中，最受影响的方面包括：

(1)成本DD越靠近网络核心，带宽成本越高。

(2)可扩展性DD必须按照与所支持的接入点数量成线性的关系增加新的控制器，为能扩展到支持802.11n数据速率，这种集中式架构将会从整体上对网络造成负面影响。

(3)性能DD网络延迟增大，拥塞丢包量增加。

(4)安全性DD随着接入点增加，更加难以经济实惠地满足安全性需求。

(5)灵活性DD集中控制导致单点失效风险。

无处不在的大带宽无线企业环境需要一种新的统一无线/有线架构，以消除集中式控制导致的瓶颈和低效率。统一网络不是将无线流量作为一种例外来处理，而是集成无线业务与传统有线局域网业务，使两者无缝衔接。

尤其是，通过在边缘交换机处而不是网络核心的接入控制器处来终止安全隧道，无线数据和管理从网络核心转移到了网络边缘。在网络边缘终止无线信息流并将信息流直接发送到其目的地，而不是将信息流发送到网络核心、然后再返回网络边缘，可节省主干带宽，

此外，安全处理任务也转移到了网络边缘，从而保证以最佳性能扩展，在满足用户需求的同时保持网络灵活性。

所需的新技术

由于新的网络技术刚出现时，常常用于网络核心，然后随着技术的成熟，逐渐转移到网络边缘，因此就无线而言，向统一的无线交换拓扑转移是意料之中的发展方向。为实现统一无线交换网络，需要几种新技术。网络行业的领导者们已经在开发这些新技术，预计在802.11n大规模部署之前，用于交换机和无线接入点的芯片和软件就能准备就绪。这些所需的关键新技术包括：

(1)开放的、基于硬件的封装。统一网络不再继续使用目前用来迂回传送无线流量的专有封装技术，而是利用新的开放标准，如互联网工程任务组(IETF)的无线接入点控制与配置规范(CAPWAP)。该规范安全地实现交换机和接入点之间的通信。为实现802.11n的性能和成本优势，封装/解封装以及交换功能都应该集成到交换芯片中。

(2)分段和重组。封装包头可能使数据包增大到超出以太网1,518字节的限制。在这种情况下，CAPWAP以简练的两段限制支持数据包的分段和重组，解决了段缓冲问题，且不会出现过度延迟，从而为高效率开发和制造芯片提供了方便。

(3)分布式接入点管理。在集中式网络中，单个控制器可能管理数十个到数百个接入点，而在统一网络中，每个接入点也许由不同的边缘交换机管理。因此，将需要交换集群软件，形成具有自我组织和配置识别能力的统一交换。每个统一交换机还要传输和管理接入点的接入权限以及策略数据库。

获得统一无线网络的好处

除了降低安装和运行费用，统一无线网络还有很多好处。对网络管理员和用户来说，这些好处体现在以下几个方面。

(1)极大地提高可扩展性：随着带宽和接入点数目的每一次增加，引入相应的安全保障能力，与中央无线控制器架构相比，能够支持更加一致的投资，允许随着企业的成长逐步追加投资。

(2)简化网络管理：采用相同架构拓扑将使网络管理员能够从单一管理点、而不是一系列不同的有线和无线设备查看接入点和交换机的情况。

(3)极大地提高性能：标准化使无线隧道和其他功能得以通过芯片而不是软件来实现。

(4)自动化管理：与集中式架构相比，可以面向单个设备更好地管理自动配置、动态无线射频管理等功能。

(5)更快地验证：将客户和策略执行转移到网络边缘，缩短了换向时间，提高了响应速度。

(6)更高效地利用带宽：减轻网络主干的负载将使整个网络的性能得到提高。

(7)缩短延迟时间：由于交换发生在网络边缘，而不是将所有无线流量传送到网络核心、再返回到边缘，因此，用户还将体验到延迟时间缩短和网络灵活性提高的好处。

对企业来说，无线服务正在成为每天的关键需求，因此大带宽无线接入必须集成到企业网络中，成为企业网络的一部分。有了统一的无线网络，就可以利用传统网络的性能、可扩展性和费用优势来支持无线流量。如果没有这种统一性，迂回传送和扩展限制将导致成本非常高，同时限制了大带宽企业无线局域网，使其无法发挥巨大的潜力。

★ 数据中心工作总结

★ 数据中心防汛应急预案

★ 标准化工作汇报

★ 交换生申请书

★ 交换礼物作文

★ 交换初中作文

★ 土地交换协议书范本

★ GRE考试内容架构介绍

★ 高校绿色数据中心建立论文

统一数据交换 篇3

加快建设基于大数据的

社会信用信息体系

为充分发挥大数据作用，形成真正统一的全国信用信息平台，推动大数据征信产业发展，建议如下：

一、运用大数据技术分步建设全国统一的综合信用信息平台

我国政府各相关部门通过多年的业务积累，均获有大量企业、个人的资信信息，积累了各自成型的业务数据库，但因受到行政管理条块分割现状以及技术条件制约，形成了数据孤岛和多重技术标准，依靠传统的技术手段无法实现信用数据的跨系统整合，信用平台建设缺乏统一、全面的信用数据基础，信用体系的建设面临数据源瓶颈。建议分步骤建设全国统一的综合信用信息平台。

二、采集应用互联网数据，建设信用数据第二轨

移动互联网、物联网等技术的快速发展产生了海量的交易数据、交互数据、感知数据，形成了多元化的数据源。信用数据的来源不再局限于传统的财务、信贷、保险、信用历史等金融领域，也不限于线下交易数据、公共事业、商业信用、社会信用等社会机构的组织内数据，更扩展到电子商务、社交数据、网络行为等领域。一方面这些数据的加以利用，大幅拓展了信用数据源，为信用评价的完整性、准确性提供了数据支撑；另一方面，海量、非结构化、动态增长的互联网数据大幅增加了数据处理的复杂性和技术难度，信用信息平台的建设带来新的挑战。大数据技术可从海量且价值密度低的互联网数据中提炼、转化高价值的互联网信用数据，并通过组织内数据和互联网数据的比对，挖掘信用信息之间的关联性，描绘信用主体信用全貌，通过更全面的数据来综合评判信用主体，实现数据的全面性和数据保真。

建议在信用信息平台建设中，运用大数据技术采集电子商务、社交数据、媒体信息、网络行为、互动评价等互联网公开信息，建设信用数据第二轨。将互联网数据纳入综合信用信息平台中，实现政务组织数据、社会组织数据和互联网数据的数据融合，建立覆盖全社会的信用信息系统。

三、政府积极培育大数据征信产业

首先，建立政府授权与市场化相结合的数据采集机制。

企业与社会组织、互联网平台掌握着大量信用信息数据，因为数据权属关系不清，国家也没有相应的制度来保障，导致大数据征信产业在数据采集中遇到障碍。要通过政府授权和市场化手段来规范数据的采集，对于纳入政府信用信息平台的数据，由政府依据有关法规、参照信用信息采集目录，授权大数据采集机构予以采集。对于超出此范围的行，由数据采集机构与数据权所有者、数据拥有者要按照市场化机制运行。

其次，要建立大数据采集机构准入机制。

数据事关国家安全、商业机密、公民隐私，国家要建立数据采集机构的准入机制，建立许可证制度，许可国资或者具有国资背景的可信机构负责数据采集。

第三，国家要支持、鼓励大数据征信技术创新，推进产业链发展。

国家要通过政府科技创新资金支持大数据征信技术发展，加快发展涵盖数据采集、数据整理、数据分析、数据服务、数据交易、数据应用的产业链条。

国家发展改革委办理并答复：

积极回应代表关切 加快信用体系建设

一、关于建立全国统一的信用信息共享交换平台

全国统一的信用信息共享交换平台是连接各地区、各部门信用信息系统，开展信用信息共享、整合和服务的信息化基础设施，是构建社会信用体系的重要基础。

国家发改委、人民银行会同各地区、各部门正加快推进全国统一的信用信息共享交换平台建设，建立信用信息采集和分类管理标准，研究制定统一的信用指标目录和建设规范，在实际工作中最大限度地利用各部门现有的、成型的业务数据库，降低系统新建成本，避免重复建设和资源浪费，并通过互联网数据技术打破条块分割、数据割裂，促使各部门内部、跨部门系统之间实现互联互通及数据资源的共享交换。

目前，国家发改委已批复了国家法人单位信息资源库（一期）及社会信用信息共享交换试点工程项目建议书，研究提出了《国家统一的信用信息共享交换平台建设总体方案》，委托江苏省、浙江省、辽宁省分别负责社会信用信息共享交换、信用信息分类、地方政务信用信息目录的研究工作，进一步完善了优良信用记录和不良信用记录共建共享工作机制，梳理形成了第一批信用信息共享目录，成立了专题研究和规章建设、标准化、需求协调、共享技术、联合惩戒机制协调等5个专门工作小组，分别由证监会、质检总局、环境保护部、国家信息中心和工商总局牵头。同时，先期依托电子政务外网建立了部际信用信息共享交换网站，推动实施部委间信用信息共享交换，目前已接入了36个部委，组织力量建设了“信用中国”网站，为社会各成员了解社会信用体系建设工作动态、相关政策法规及信用知识，使用和查询信用信息等提供便利。

二、关于互联网数据采集

全国统一的信用信息共享交换平台数据主要来自各级行政、司法机关及经依法授权或者委托承担行政管理职能的组织在履行职能过程中以一定形式记录、保存的信息，并按照有关规定向政府部门、社会公众和征信机构提供基本的信息服务。

关于将互联网数据纳入全国统一的信用信息共享交换平台的建议，国家发改委、人民银行将会同社会信用体系建设部际联席会议各成员单位认真研究，并结合实际工作考虑其可行性。

三、关于大数据征信业发展

人民银行积极履行征信业管理职责，引导具有征信经营业务资格的征信机构按照《征信业管理条例》、《征信机构管理办法》等法规规章依法采集、加工、制作、应用来自电子商务、社交、网络行为等领域的信息，支持运用互联网技术和大数据分析能力，开发适应市场需求的征信产品和服务，鼓励拥有大数据的机构进入征信业，批准阿里、腾讯、拉卡拉等互联网公司和平安等金融集团公司进行个人征信业务准备。

下一步，我们将积极推动人民银行等有关部门积极引导征信业抓住大数据所带来的机遇，推动征信业与大数据深度结合，进而丰富征信产品供给，满足大数据时代的社会需求。

四、关于国家要支持大数据征信技术创新与推进产业链发展

目前，国家发改委正会同科技部等有关部门制定大数据战略及行动纲要，推进各行业对大数据的研究和利用，充分发挥大数据的社会治理价值。国家发改委会同有关部门起草上报了《关于运用大数据加强对市场主体服务和监管的若干意见》，并经国务院第95次常务会议审议并原则通过并正式印发。这为积极运用大数据、云计算、物联网等信息化手段，推进“智能”监管，探索实行“互联网+监管”模式，不断提升监管效能，提供更有效服务指明了方向。

统一数据交换 篇4

关键词：数字化校园,数据交换与共享

0 引言

统一数据交换与共享平台是数字化校园的数据引擎,在这个引擎的工作下,各个业务系统才能构成一个有机的整体,数字化校园体系才能发挥其最大的功效。

数字化校园体系由公共平台和业务系统两部分构成,其中公共平台由数据标准以及数据交换与共享平台、统一身份认证平台和信息门户平台组成,业务系统视各高校的具体情况而定,某医科大学的业务系统由教务管理系统、研究生管理系统、人事管理系统、一卡通等组成。数据交换与共享平台是数字化校园体系架构的核心元素,实现数据在各个应用系统之间的交换,保证数据的权威性和唯一性和实时性。

1 构建数据交换与共享平台

数据交换与共享平台的建设目标是建立全校统一规划的数据中心,在统一的标准下整合数据,实现全校数据统一存放、统一管理、联合共享的目标。构建数据交换与共享平台不仅仅是搭建系统,更重要的是建立标准,制定合适的数据交换方案。其建立需要统一数据标准、数据资源使用调查、构建公共数据库、实现数据交换五个步骤。

1.1 统一数据标准

首先确定参考标准,这里的参考指的是学校在今后的信息化建设中准备遵循的标准,在高等教育领域这类的权威标准不多,因此也不难选择,我校以高等教育信息化信息集为参考标准。第二步需要建立现行标准,现行标准的建立必须通过与业务部门的充分沟通,以学校基本代码(机构、人员)的标准化为出发点,逐步扩展到更多的领域。

1.2 数据资源使用调查

在建立数据标准的基础之上,为了确认权威信息来源,建立公共数据库,还需要进行数据资源的使用调查。在调查过程中我们可以采用UC矩阵这种常用的信息系统分析方法。通过对各部门(系统)分发具体信息条目的uc表格,可以获得初步的UC矩阵。经过对这个UC矩阵的完备性和一致性检查,不仅可以获得公共数据库所必需的共享信息,还可以发现数据交换的走向和任务,所以数据资源使用调查是统一数据平台建设的一个重要步骤。

UC调研矩阵,是今后数据交换的依据。应该明确学校中主要应用间的数据流向,进行简化和整理之后,确定权威数据来源,确定数据使用者和数据使用周期。

1.3 构建公共数据库

将全校公用的数据统一存放,给使用者开放数据接口,保证了数据的唯一性和权威性,避免出现数据孤岛;同时将各部门相同的业务数据分类存放公共数据库,便于领导在整体上掌握某类业务的情况。

1.4 安装元数据管理系统

部署安装元数据管理系统,由下面六个步骤:(1)操作系统:红旗Linux 5.0;(2)JDK:j2sdk1.4.2.12;(3)JBoss:JBoss323;(4)Java代码编译工具:JBuilder 9;(5)Sub Version 1.4.3;(6)SVNWeb Client。

1.5 实现数据交换

实现数据交换从技术上讲要熟练掌握数据交换工具,设计数据交换的过程。然而数据交换实施中更多的是规划、协调和确定方案。

数据交换往往涉及到学校的多个业务部门,因此它的实施过程也是一个需要学校各个部门与开发人员通力配合,大力推进的过程。数据交换需要以下几个步骤:

(1)协调数据提供者。确定具体的数据字段和业务数据与标准化的公共数据的映射关系。

(2)制订数据交换方案。实施人员根据讨论的结果制订具体的数据交换方案,形成文档。

(3)进行数据交换过程的设计。实施人员根据数据交换方案使用数据交换引擎和相关技术进行交换过程的设计,确保设计完全满足和符合数据交换方案。

(4)数据交换过程的测试。设计好的数据交换过程,需要经过在测试环境下进行严格的测试,保证交换结果的正确性和交换过程的可靠性。

(5)正式运行数据交换。经过测试的数据交换过程,在正式运行前需要由项目负责人在数据交换方案上签字确认。

(6)协调数据使用者。经过数据交换以后,权威的数据已经集中到公共数据库中,并且是基于主题模式(如以用户为主题)的不再是按照零散的业务系统的划分。此时需要与数据的使用者(通常是与数据提供者不同的多个学校单位)进行协商确定数据服务提供的方式。

(7)制订数据服务方案。实施人员根据协商的结果制订具体的数据服务方案,形成文档,送交校方数据交换负责人和相关业务部门数据交换负责人进行审核。根据反馈意见,修改交换方案。

(8)提供数据服务。实施人员根据数据服务方案使用数据交换引擎和相关的技术对外提供数据服务。由于数据的使用者不能够修改数据,所以这种对外服务通常都是查询服务。

2 结束语

经过这样一系列的过程,数字化校园统一数据交换与共享平台就完成了。数字化校园的数据引擎就可以正常的运转了。

参考文献

[1]西安长城数字公司项目文件文件.

[2]赵安新,吴晓霞,穆荣.数字化校园建设初探[J].技术与创新管理,2008,(5):3-5.

[3]郭静.对高校“数字化校园”数据中心建设的研究和实践[J].中国教育信息化,2007,(23):19-20.

统一数据交换 篇5

目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是，如果我们拥 有很多不同类型的数据库/文件系统(Mysql/Oracle/Rac/Hive/Other…)，并且经常需要在它们之间导入导出数据，那么我们可能需 要开发/维护/学习使用一批这样的工具(jdbcdump/dbloader/multithread/getmerge+sqlloader /mysqldumper…)。而且以后每增加一种库类型，我们需要的工具数目将线性增长。(当我们需要将mysql的数据导入oracle的时候，有没 有过想从jdbcdump和dbloader上各掰下来一半拼在一起到冲动?) 这些工具有些使用文件中转数据，有些使用管道，不同程度的为数据中转带来额外开销，效率差别很非常大。很多工具也无法满足ETL任务中常见的需求，比如日 期格式转化，特性字符的转化，编码转换。另外，有些时候，我们希望在一个很短的时间窗口内，将一份数据从一个数据库同时导出到多个不同类型的数据库。 DataX正是为了解决这些问题而生。

(问题: 新增第n+1个数据源，是不是要新开发n个数据同步工具 ?)

我们只需要针对新增的数据源开发的一套Reader/Writer插件，即可实现任意数据的互导

统一数据交换 篇6

关键词：保税物流,电子数据交换,企业系统集成,消息传递

电子数据交换 (Electric Data Interchange, EDI) 是一种利用计算机进行商务处理的新方法, 它是将贸易、运输、保险、银行和海关等行业的信息, 用一种国际公认的标准格式, 通过计算机通信网络, 使各有关部门、公司和企业之间进行数据交换和处理, 并完成以贸易为中心的全部业务过程。由于EDI的使用可以完全取代传统的纸张文件的交换, 因此也有人称它为“无纸贸易”或“电子贸易”。

1 系统需要解决的问题

EDI是一种在公司之间传输订单、发票等作业文件的电子化手段。它通过计算机通信网络将贸易、动输、保险、银行和海关等行业信息, 用一种国际公认的标准格式, 实现各有关部门或公司与企业之间的数据交换与处理, 并完成以贸易为中心的全部过程, 它是80年代发展起来的一种新颖的电子化贸易工具, 是计算机、通信和现代管理技术相结合的产物。国际标准化组织 (ISO) 将EDI描述成“将贸易 (商业) 或行政事务处理按照一个共认的标准变成结构化的事务处理或信息数据格式, 从计算机到计算机的电子传输”。而ITU-T (原CCITT) 将EDI定义为“从计算机到计算机之间的结构化的事务数据互换”。又由于使用EDI可以减少甚至消除贸易过程中的纸面文件, 因此EDI又被人们通俗地称为“无纸贸易”。统一数据交换平台主要实现功能是: (1) 电子数据交换 (2) 传输数据的存证 (3) 报文标准格式转换 (4) 安全保密 (5) 提供信息查询 (6) 提供技术咨询服务 (7) 提供昼夜24小时不间断服务 (8) 提供信息增殖服务等。

我国必须要尽快发展EDI业务, 具体体现在以下两个方面:

(1) 对外开放的发展, 特别是对外经济贸易活动规模的迅速扩大, 导致与国外商业 (及其他类型) 数据交换量的急剧扩大。根据许多国家统计, 单证费用占产品贸易额的7%左右, 我国对外贸易每年的单证费用大约是70亿美元, 如果采用EDI技术, 估计每年仅此一项就可节省数十亿美元。

(2) 中国已经加入世界贸易组织, 加入世界贸易组织一方面意味着我国国内市场已经纳入了世界大市场, 另一方面也意味着我们的生产要面向世界的大循环中。因此, 在未来世界贸易组织活动中, 我们要想在竞争激烈的国际贸易市场中站稳脚跟, 全面推广、采用EDI技术已成为我国一项重要的技术政策。它对促使我国消除国际贸易中的技术壁垒, 推进产品和企业步入国际统一的大市场, 无疑有十分深远的影响。

结合实际工作需要, 作者在多个保税物流园信息化建设中遇到这样的问题, 这些问题是物流系统急待解决的问题, 对各个子系统的核心业务构成了关键性的影响, 正因为这些问题, 所以我们需要建立统一的数据交换平台来完成实际项目中的需求。

2 系统需求与设计

各个企业各个单位之间都开发和应用了自己的信息化系统。各个单位之间使用了不同的开发技术和后台数据库, 它们之间是分离, 没有关系的。企业集成不仅仅能创建一个三 (表现层、业务层、数据访问层) 层应用结构, 还能使一个应用分布到多台计算机上。分布式应用中, 单个的一层是无法自己运行的, 而集成应用中的每一个应用都能独立运行, 它们时间通过偶合完成功能。异步消息传递体系结构来集成多个应用, 异构数据库的同步问题是实际项目中急待解决的问题。

电子数据交换最主要的任务是实现不同系统, 不同业务之间的数据交换与系统整合, 下图是一个实际项目中各个系统的分布图 (图1) , 各个系统之间是彼此独立的, 使用各自不同的数据库。首先企业端通过一站式申报平台申报单证信息到海关由海关进行审批工作, 如果海关审批通过, 相应的企业端信息状态则进行变更, 然后企业端发送车辆信息到物流园区场站系统, 场站系统接收到海关端的放行信息和企业端发送的车辆信息则进行车辆通过放行工作。

同时一站式平台可以通过Web服务接收企业ERP系统发送过来的核库信息, 并且把核库信息保存到一站式系统后发送核库报文到海关系统, 由海关相关人员进行核销操作, 实现海关库存的核减。

整个系统之间是通过各自独立的Windows服务监控自己的数据库, 对应表发生变更以后, 生成变更后的XML报文, 通过路由设置由MQ消息队列把报文发送到统一数据交换平台, 统一数据交换平台把报文通过路由配置发送到接收端, 接收端服务接收到MQ报文以后, 对接收的XML报文解析进入接收端数据库。各个报文定义使用Schema定义来完成, 只有符合Schema规则定义的报文才可以进入消息队列来进行传输。例如客户关系Schema报文定义如 (图2) 所示, 只有符合Schema格式的报文才可以生成XML报文进行传输。

根据需求架构和传输的报文格式, 我们制定了相应的实现方法与实施方案来满足客户要求, 实现信息的及时安全传递。

3 系统实现与实施

各个子系统之间有他们独立的服务程序来完成, 它们与统一数据交换平台建立接口, 然后由统一数据交换平台进行报文的路由分发。

如 (图3) 所示, 传输系统使用了WINDOWS服务来完成各个节点的数据监控;根据上图可以看出其内部包括以下组成部分:

(1) WindowsServe_Fuzhou:Windows服务组件, 负责各个子系统的数据传输;出库动作:Adapter组件接收到自己数据库变更的时候, 通过对应配置指定的Schema生成XML报文, 发送报文到MQ消息队列里面。入库动作:接收到MQ队列里面的XML报文、通过对应的Schema进行报文格式的解析, 符合格式要求的报文通过Adapter组件进入到自己的数据库表里面。

(2) MSMQ:消息队列传输组件, 负责XML报文的传输工作;

(3) BIZTALK_MESSAGE:报文定义、解析、路由、配置组件;是整个传输系统的核心。使用配置文件来完成以上配置工作, 提高系统的灵活性。

(4) LOG:系统日志模块, 用于报文的传输跟踪与调试, 建立统一的日志监控平台, 完成对每一笔报文的监视工作, 同时可以对出现异常的报文进行分析工作, 通过Web页面显示给客户;

(5) SqlAdapter_fuzhou:数据库 (SQLSERVER) 监视组件, 当监视到数据库里面对应的表发生变更以后, Adapter组件会启动BIZTALK_MES-SAGE消息处理模块, 对数据表里面的记录进行操作, 进行出入库操作, 服务的数据访问层使用了传统的三层架构来完成, 如 (图4) 所示, 数据库与传输服务服务之间使用了ADO.net进行数据库访问, 通过数据访问层 (DAL) 和业务逻辑层 (BLL) 完成, 提高了系统的可读性与灵活性;

(6) ORACLE Adapter:数据库 (ORACLE) 监视组件, 对Oracle数据库进行监视工作, 系统通过不同类型的Adapter实现的多种数据库的访问接口, 如果有新的数据库类型只需要增加对应的Adapter就可以实现对应的数据库同步;

(7) Security_Module:消息传递过程中的加密解密组件, 系统使用了证书加密机制来完成对XML报文的加密和解密工作;

具体代码如图5:

系统编译测试完成以后, 需要把服务部署到对应的系统上面, 各个系统之间是通过网闸分离开来的, , 所有系统之间的数据传输都需要通过统一数据交换平台来完成。如 (图1) 所示, 一站式平台、海关端系统、场站系统分别部署自己的服务。各个服务相对独立, 同时与统一数据交换平台进行报文传递, 用于完成报文的接收和发送工作, 具体部署包括修改配置文件, DLL动态链接库的装配 (其中Schema定义模块需要装配到操作系统目录下面) , 运行数据库脚本和具体的服务安装工作 (主要包括连接数据库设置、报文监控系统的设置) 。安装部署完成以后打开三个不同地点的WINDOWS服务, 系统部署完成, 同时部署统一数据交换平台, 对应的统一监控平台使用微软的BIZTALK系统集成软件来整合, 可以实现不同数据库的同步工作。通过实际项目的运行工作, 目前在运行情况良好。

4 结束语

文章通过统一数据交换平台与WINDOWS服务相结合实现数据订阅分发机制给出了数据交换的一些具体解决方案。其中对XML报文的定义、解析、配置工作是系统实现的核心工作。

参考文献

[1]康博著《BizTalk高级编程》, 清华大学出版社, 2005

[2]程明光主编, 《电子商务数据交换标准与应用》, 人民邮电出版社, 2006

数字化校园统一消息交换平台的构建 篇7

1. 消息交换模式

统一消息交换平台是以消息为核心, 采用订阅/发布模型, 通过XML和Web Service技术, 整合现有的即时通讯系统、邮件系统、短信网关等信息服务系统, 将人与业务系统合一, 人和业务系统既是消息源, 又是消息目的, 也就是说, 系统与系统之间、人与系统之间、人与人之间都可以进行消息交换:

1.1 系统与系统之间的消息交换:

驱动不同业务流的集成, 比如人事、学籍、住宿等关键信息在各业务系统之间的发布、处理和反馈。

1.2 系统与人之间的消息交换:

业务系统在自动化处理业务的过程中产生的消息, 以及业务系统被其他系统驱动后需人工介入的通知都会通知相关系统管理员或者涉及业务的用户。

1.3 人与人之间的消息交换:

校内通知、申请、公文流转等人与人之间的交流。

2. 统一消息接收和发送接口

消息接收服务接口是消息交换系统的入口, 提供两种接口方式:自动的WEB服务接口和WEB系统接口。业务系统发出的消息都由WEB服务接口接收;用户发出的消息通过站内消息接口, 站内消息接口是由消息交换平台提供一个WEB应用程序, 站内消息接口提供了基于角色和分组的消息接收者选择器, 并提供消息客户端给用户提供消息即时提醒功能。

各用户在现实工作环境和业务系统中都有自己的角色, 站内消息接口提供角色选择器, 可以将消息发送给指定角色的用户或系统, 通过角色同步更新角色对应的用户群体, 使得角色用户随着业务系统的变化而变化, 不必手工维护。分组选择器方便用户根据自己的需求对常用接收用户进行分组管理, 完成消息的群发功能。

消息发送服务接口由消息交换系统自身调用, 为支持各种不同类型的通信方式, 并支持通信方式的扩展, 采用适配器设计模式。所有的消息通过消息发送接口转发, 消息服务接口根据消息通信方式选择合适的适配器进行转发, 现有适配器主要有:

2.1 电子邮件适配器:

该适配器将消息内容用电子邮件协议格式封装, 然后邮件发到邮件服务器上, 通过邮件服务服务器将信息发送到对方的邮箱中。

2.2 手机短信适配器:

该适配器将信息发送到短信网关, 最后通过短信网关将信息以短信的方式发送到对方的移动终端上。

2.3 WEB服务适配器:

该适配器提供动态的Web服务调用, 适用于消息目的是业务系统的消息交换。适配器将消息内容作为参数调用消息接收者提供的Web Service, 对消息的具体处理由各业务系统自行处理。

3. 订阅发布和个性化定制

3.1 订阅发布模块

为订阅发布模式的消息交换提供支持, 订阅发布模式主要用在接收者不确定的情况下, 由接收者自己决定是否需要接收消息。用户或系统可以在消息交换平台注册一个消息的主题, 其他用户或系统可以在平台上搜索和查看已发布的主题, 如果需要可以通过平台的订阅模块订阅该主题, 消息源会定期将消息发往消息交换平台, 消息交换平台再将消息转发给订阅用户群。

3.2 个性化定制模块

用户和业务系统都要在消息交换平台上注册, 提供自己的接收地址才能接收消息。消息接收地址根据不同类型的适配器有不同的表现形式, 如手机短信方式提供的是手机号码, 电子邮件方式提供的是电子邮件地址。一个用户可以提供多种通信方式, 并设置其中一种为默认的接收方式。发送方在发出消息时可以说明消息的接收方式, 如果接收方未提供该接收方式的地址时, 选用默认的接收方式。接收方还可以对接收时间进行定制。

3.3 系统配置和交换监控模块

系统配置主要管理统一消息交换运行的参数配置, 包括最大重试次数、重试间隔、发送线程数、最大准入连接数、准入控制及准入IP列表等选项。实时监控数据在交换过程中的状态, 及时发现交换是否完成, 对于紧急的信息, 在交换失败的情况下, 通知管理员及时处理。

结语

统一消息平台集成多种消息组件, 通过标准化的消息接口对各类消息进行统一处理, 提供短信、邮件、即时通讯等多种消息交换功能。通过消息客户端, 用户可以将接收、处理和发送各类消息, 在日常工作中, 用户只需要关注消息就可以处理需要完成的工作事务, 极大的提高了工作效率。

参考文献

[1]贾宏宇, 赵俊峰.统一消息平台的原理与设计[J].小型微型计算机系统, 2003.24 (2) :211-215.

统一数据交换 篇8

随着信息化时代的到来, 传统的单向电视网络已经不能适应现有客户的需求, 对广电网络实行双向地升级和改造, 寻求经济又适应现有客户需求的技术解决方案是有线电视运营商迫切需要做的。根据中国的国情和各种技术的比较和分析可以知道, EPON+Eo C方案充分利用现有的HFC网络, 不需要对网络进行重新布线, 系统也易安装, 并且考虑到多业务承载时对管理、VLAN、Qo S、安全性和扩展性等功能需求, 从而使现有的有线电视网络升级成为功能可扩展、结构开放的高可靠性接入网络。所以该方案是基于目前的广电HFC网络实现三网融合的最佳方案, 也是目前广电网络中最常用的方案。

近几年来, 随着三网融合试点的推广, 以IEEE1901/Home Plug AV标准为基础的Eo C技术因具有良好的接入性能和合理的产品价格成为广电运营商的首选接入网技术, 并在NGB接入网市场中占有很大的比重。

IEEE1901/Home Plug AV标准是一种通过常规的电力线承载以太网信号传输的技术标准, 该标准是由电气电子工程师协会发布的, 主要应用在电力线通信领域[1]。C-HPAV标准吸取了IEEE1901/Home Plug AV标准的技术特点, 将该技术在同轴电缆中作为接入技术, 实现高带宽的以太网数据在同轴电缆上的传输。C-HPAV标准在原国家广电总局的指导下, 由国内部分网络运营商、芯片制造厂商、科研院所和设备制造商联合起草制定。该标准定义了C-HPAV系统的架构与总体要求, 物理层、MAC层的功能及其相关协议与数据接口, 以及系统管理和维护的方法。C-HPAV系统采用一点到多点结构的双向接入树形网络。其中的“一点”指的是C-HPAV系统头端, “多点”指的是用户端的多个系统终端[2]。整个网络拓扑结构见图1。

由图1可以看到, 网络系统的前端放置的是OLT, ONU则放置在楼层, 并与Eo C局端设备相连, 通过HFC网络进入到用户家中。用户可以通过有线电视的同轴电缆线既可以传输和接收数据信号, 同时又不影响传输和接收有线电视信号。放置在用户家中的Eo C终端设备, 可以提供CATV和数据信号的输出, 并连接到用户的电脑和电视等家用设备上。

2 Eo C局端对终端设备的交换芯片的统一管理设计

Eo C局端由于向上连接EPON系统中的ONU, 向下连接Eo C终端设备, 其工作和性能的好坏将直接反应整个网络系统的优劣。Eo C局端对ONU的IP数据进行接收和调制, 然后和CATV信号进行混合并输出, 并能把反向的数据再调制成网络IP数据包并进行传输, 还要能对下连的Eo C终端进行集中的管理。目前的Eo C局端通过管理数据输入输出接口下发命令自主地远程配置交换芯片, 达到管理终端设备的目的。

2.1 引入终端代理Agent的目的

运用目前的Eo C局端通过管理数据输入输出接口下发命令自主地远程配置交换芯片存在着以下问题:

1) 在一个大型的Eo C网络中, 通常是由许多不同类型的交换芯片的终端设备组成的。头端在对终端的交换芯片下发配置时必须要辨别交换芯片的具体类型和协议, 才能选择相应的配置进行下发。如果在无任何保护和验证的情况下, 对于交换芯片的交换配置可能会出现配置错误, 从而导致网络中出现故障, 影响网络性能。

2) 由于每个交换芯片都有自己的一套适合于管理数据输入输出接口的配置命令。因此, 当在一个大型网络中出现类型不同的交换芯片的终端时, 对于交换芯片的配置将会产生一个巨大的在管理数据输入输出接口上传输配置命令的负担, 而且这个负担全部放在了局端的主机处理器上。这样局端设备不仅要对Eo C终端设备进行配置还要对终端的交换芯片进行配置, 局端的工作负担加大, 对局端设备的要求自然就会比较高, 这样的技术实现会给网络的可靠性、健壮性带来很大的隐患。

2.2 统一管理的设计

为解决这个问题, 本文采用一个更为通用的方法, 创新性地提出“基于MME的设备操作”的操作方式, 而不同于以往的“基于MME的寄存器操作”, 引入终端代理Agent方式。在终端Eo C芯片中增加了终端代理Agent模块, 利用终端代理Agent来替代Eo C局端对连接的设备作类型识别。从而让终端代理Agent来管理终端的交换芯片, 使得在同一个网络成功地支持不同的硬件形态, 屏蔽不同的硬件方案使得Eo C局端在管理和配置方面的压力得到缓解, 同时也减少了由于现场操作人员误操作而使得设备损坏的可能性, 从而优化整个网络, 构建更具可扩展性、无故障的、易于管理的网络。具体的管理流程如图2、图3所示。

本文设计的Eo C管理系统的通信消息是在原有基于特定的以太网类型报文0x88E1 (简称MME) 的基础上进行的扩展。采用扩展的特定以太网类型报文 (简称扩展的MME) 来实现局端与终端代理Agent之间的通信, 而局端对终端的管理仍采用原有的特定以太网类型报文 (简称标准的MME) 。这样局端对终端和对终端的交换芯片管理将会分开, 互不干扰。

由于扩展的MME的报文不同于以前原有的标准的MME报文格式, 必须对扩展的MME的帧结构进行规定, 其中它的帧格式应该包括请求消息和应答消息两种, 而请求消息中又可划分成设置信息消息和获得信息消息两种不同的消息类型, 应答消息是对请求消息的回复, 回复其请求是否下发和返回需要应答的参数。扩展MME消息内容由是由以太网帧头、MME头、MME包内容 (一个实例索引和多个属性索引) 、后缀组成。

具体的帧结构如图4和图5所示。根据定义的帧格式编写相应的结构体, 包括以太网帧头、MME包头、实例索引TLV、属性索引TLV对应的结构体, 现仅列出实例索引TLV的结构体如下:

结构体定义完成后需定义终端代理Agent使用的终端交换芯片配置SDK函数。对每一个相应属性进行操作的函数进行定义和实现, 其中每一个函数都会调用实例索引TLV内部接口函数和扩展属性TLV内部接口函数以及发送MME包并获得操作结果。其中实例索引TLV内部接口函数包括实例索引TLV编码函数和校验响应消息中实例索引的合法性, 扩展属性TLV内部接口函数包括设置请求消息和获得请求消息中对扩展属性TLV编码以及设置应答消息和获得应答消息中扩展属性TLV解析。现列出设置环路检测报文发送周期这一属性的函数实现, 其函数名为

对其进行实例索引TLV编码调用函数

再对其进行属性索引TLV编码调用函数

将包进行编码后进行发包并获得结果并将结果进行解析, 调用函数

从而完成对设置环路检测报文发送周期这一属性的实现和得到操作结果, 完成对终端的交换芯片的特定项的管理。

2.3 加入终端代理Agent模块的互通管理流程

1) 终端代理Agent是运行在Eo C终端芯片中, 当Eo C终端上电启动后, 终端代理Agent首先从终端Eo C系统中读取终端的性能属性并保存, 并且其保存在特定的位置处, 满足兼容性的需求。

2) 终端代理Agent调用相应的程序应用接口向Eo C终端芯片注册扩展的MME消息, 当消息注册后, 所以注册过的消息都转发给终端代理Agent处理, 这样实现了头端和终端代理Agent通信。终端代理Agent和终端交换芯片通信, 避免了头端直接识别终端交换芯片的类型, 实现无差异地下发配置, 减轻了头端的管理的负担。

3) 局端收到Eo C终端上线消息后, 发送扩展的MME查询各个终端的性能属性。

4) 终端代理Agent读取保存在特定位置的终端性能属性的信息发送扩展的MME将终端的性能属性回复给局端;若Eo C终端中下接家庭网关, 则在回复的消息中应包含家庭网关芯片的MAC地址。

5) 局端向网管发送终端上线的认证信息;认证信息中包括缆桥终端的Eo C终端芯片的MAC, 如终端下接家庭网关, 则认证消息中还包括下接的家庭网关的MAC地址。

6) 网管完成对该终端认证通过后, 利用原有的配置文件下发方式, 将终端配置参数下发给局端。

7) 局端收到配置文件后, 解析配置文件, 将配置参数保存在局端本地内存中。若是对终端Eo C终端芯片的配置, 则直接通过标准的MME将配置参数下发给终端芯片;若是针对终端交换芯片和家庭网关的配置, 则将配置参数封装到扩展MME发送给Eo C终端代理Agent。

8) 终端代理Agent收到扩展的MME消息后, 根据消息内容, 对交换芯片进行配置, 并将最终的配置结果再封装成扩展的MME回应局端。若是对于家庭网关的消息, 则要进行MAC替换, 将目的MAC地址替换成家庭网关的MAC地址, 源地址改为终端芯片的MAC地址再把MME发送给家庭网关, 家庭网关再将配置结果发送扩展MME回应给局端, 在经过终端代理Agent又要进行一次地址替换再发送给局端。具体的互通管理流图如图6所示。

3 Eo C局端对终端设备的交换芯片的统一管理的实现

任何一个系统都需要硬件和软件相互配合才能实现, 对于Eo C局端对终端的交换芯片的统一管理的实现, 需要硬件方面加入终端代理Agent模块, 软件方面需要使用扩展的MME包在Eo C头端与终端代理Agent之间进行通信。

3.1 系统测试的网络拓扑结构

对于最终实现的系统进行测试, 采用了Eo C头端1台, 32台终端相连即1∶32的测试环境, 采用RFC2544基准测试方法对系统进行定量的测试, 其网络测试的拓扑结构如图7所示。

3.2 系统测试步骤

1) 根据拓扑图将网络进行搭建, 进行实验性的打流, 观察网络测试仪是否收到包, 从而判定网络是否正常。

2) 网络测试正常后, 在Eo C局端上启动终端代理Agent模块。

3) 通过网管通过Eo C局端对Eo C终端下发端口的环路检测、端口镜像使能、端口的流控使能、双工方式和速率以及风暴抑制、端口VLAN、优先级和PVID等一系列的扩展MME配置的信息包。

4) Eo C头端接收后, 由于是扩展的MME包, 则Eo C局端利用终端代理Agent对接收的包进行解析并转化成终端相应的配置并下发到终端对应的位置上。

5) 若配置正常生效后, 则测试其在如下帧长 (单位:byte) 时的下行吞吐量:64, 128, 256, 512, 1 024, 1 280, 1 518各个字节, 报文为未打标的报文, 测试时间为60 s, 并记录吞吐量数据。

6) 按照同样的方法, 测试下行的吞吐量。

7) 对于时延和丢包率, 测试其在如下帧长 (单位:byte) 时的下行时延和丢包率:64, 128, 256, 512, 1 024, 1 280, 1 518各个字节, 报文为未打标的报文, 并设置测试速率为该帧长下吞吐量测试结果的90%, 测试时间4 min, 并记录时延和丢包率的数据。

8) 按照步骤5) 测试上行的时延和丢包率并做记录。

3.3 测试结果及分析

按照3.2节的测试步骤对系统进行测试, 通过在Eo C局端上启动终端代理Agent模块测试结果见表1。

由表1可以知道, 在上述的系统测试中, 使用了终端管理Agent对终端设备的交换芯片的管理配置下发是正确的, 并且该系统业务性能良好, 吞吐量符合业务要求, 且系统的时延小, 最多不超过60 ms, 所以配置下发响应十分迅速, 并且无业务丢包, 即信息不丢失。随着对测试帧长从64 byte到1 518 byte的增加, 其上下行吞吐量和时延也随之增加, 是符合实际的应用逻辑的, 从而说明了该系统设计是正确可行的, 并且在该设计下不影响正常的业务, 且业务性能良好并且能够达到统一管理的目的, 使得Eo C局端的管理的负担得到了缓解, 使得整个网络更加稳定和健壮。

4 结束语

在现有Eo C网络中, 有越来越多不同类型的交换芯片或Wi Fi路由器连接到终端上。但它们来自于不同供应商的, 需要区分它们的类型并下发相应的配置和管理, 这对整个网络管理将带来了额外的工作。终端代理Agent这一设计, 给Eo C的开发带来了新的工具来管理复杂的网络变得非常容易。在这种设计架构中, 网络管理将采用统一的格式来配置终端和与终端相连接的设备, 并且可以不辨别他们的具体类型和协议。通过软硬件的实现和测试结果可以表明, 该设计是可行的, 能够解决实际问题。

参考文献

[1]茹伟光, 王正军, 倪晨鸣.C-HPAV在NGB接入网中的应用[J].电视技术, 2013, 37 (20) :34-37.

[2]GY/T269—2013, NGB宽带接入系统C-HPAV系统技术规范[S].2013.

[3]IEEE802.3, Standard for information technology[S].2005.

数据交换技术 篇9

在网络通信的工作原理中，本节教学的主要目的是让学生了解网络通信的工作原理，经过上节课的学习，学生已经了解了网络数据的大致传输过程，知道数据在网络中传输采用的是层次性结构，每层又都有相互约定的协议，在发送数据端将要发送的数据经过层层协议放到发送端口做好发送的准备，而另一接收端将接到的数据逆向地、将接收到的数据，层层按协议恢复到原发送的状态。但是发送端的数据放到网络发送端口后在网络上又是如何传输到接收端的呢？这就是本节课要学习的内容—数据交换技术。数据交换其实分为3种技术，要深入了解网络数据的交换过程必须结合学习另外两种交换技术才能掌握得更清楚。3种交换技术单纯讲内容比较枯燥，但它与我们的货物运输过程非常相似，所以以货物运输过程作为类比，学生的学习就会有了依托，学起来也更简单易懂。

二、学生分析

网络技术的专业性比较强，单纯讲网络技术就比较枯燥，学生不太愿意接受这样的教学方式。但本节内容可以借鉴学生已有的经验，采用学生比较愿意参与的快递游戏方法，在游戏中掌握数据传输过程的基本特点后，再延伸到网络数据传输的学习中来，学生不仅容易接受，对知识点理解得也会更透彻。

三、教学目标分析

(1) 知识技能目标：掌握3种数据交换技术的过程及其各自的特点。

(2) 过程方法目标：先通过快递过程的分析，了解快递可能存在的途径方法及其各自的优缺点，然后进行知识迁移，明白3种数据交换的过程及其特点。

(3) 情感态度价值观：培养学生的自主探究精神；培养知识的迁移能力。

四、教学重点、难点分析及处理思路

3种数据交换技术传输数据的过程。解决方法是通过帮助快递公司完成一项快递任务来让学生先了解货物传输可能有的几个过程，然后在比较中，了解各种传输的特点，再与数据传输的过程结合起来，达到理解数据传输过程的目的。

五、教学过程

1. 引入

几个DHL (中外运敦豪国际航空快递有限公司) 的广告，内容为：

(1) 度假过程中到处都可看到DHL公司在利用各种各样的途径为客户送快递；

教师进行简单讲解，该广告的目的是让学生感受现在发达的物流、快递行业，可能学生很少接触物流、快递行业，所以对快递行业一点不了解，而无法深入地参与到课堂讨论中来。

(2) 为了加快快递送达的时间，用专机来完成；

(3) 碰到堵车为了及时把客户的快递送达由自行车从巷子里走帮助送快递。

这两个广告的目的是为了让学生体验多种多样的快递方式，从而给学生以完成下面教师给出的任务一些启示。

2. 布置任务

从以上的例子大家可以知道快递的作用，以下为任务的布置：

任务内容：常州某个家具企业要参加上海的一个展览会，要把他们最新制作好的整套家具尽快送到上海的展览馆，请你按照： (1) 最短时间； (2) 最省事； (3) 最省钱等多种思路进行设计，一个组至少设计两种方案，有两种以上更好。

注意点： (1) 因为路途不是太远，所以要求都用汽车在公路上完成此运输任务； (2) 大家在设想时可以用极端的想法，就像物理中不计摩擦力一样。

3. 分组讨论

每组五六个人，可采用头脑风暴的方式，由组长负责记录并对头脑风暴内容进行整理，将整理结果先告知组员，由组员审核通过后，参与课堂竞答和讨论。

4. 课堂竞答讨论

由每组组长介绍各组讨论结果，教师在黑板上作记录，其他组在此基础上进行补充。

5. 教师总结

对学生想出的办法作归类，大致归成3类，见表1:

(1) 最快捷的方法：路上一路绿灯，没有任何交通阻塞，所有车辆、行人都为你让路，就像外国政要来访华的时候，不会去等红灯一样，从他出发的地方到目的地之间，交通警已经为他开好了路，在这样的路上走肯定是最快捷的；

(2) 最省事的方法：用一辆大车把整套完整的家具装好后送到目的地，不需要重新进行组装；

(3) 最省钱的方法:把家具拆成板材, 然后分成几辆小车分别送到目的地, 中间如果碰到堵车, 可看情况走不同的路到达同一目的地, 到了目的地再把家具组装起来即可。

6. 学生自主探究

刚才教师总结了3种不同的途径，是否把大家的想法都包括进去了？是。其实网络上用到的数据交换技术就是其中的1种，包括网络数据传输的技术，数据交换技术一共有3种类型：电路交换、报文交换和分组交换。

学生自主探究学习：根据图1所给出的3种不同的数据交换方法，结合教师前面总结的3种运送家具的方法，理解图中的内容，并给予解释，见表1。

7. 新课讲授

学习结束后，学生跟着教师再一起理解一遍3种数据传输过程。不让学生讲是因为学生讲可能不完整，这样会浪费上课的时间，教师讲的时候给学生说留一定的余地，不一口气说完，适当给出一些问题，让学生跟着说，教师不多予评价，以自问自答为主，一方面有助于激发他们参与的积极性，另一方面也会理解得更透彻。在讲授过程中将数据交换技术与前面家具的运输方法结合着讲，学生更容易明白。

8. 分组讨论

分组讨论3种数据交换技术各自的优缺点见表2，完成书上表3～6。注意：还是可以参考家具运输过程给出的提示，并从通讯速度、线路使用率、对中间设备的要求考虑。

9. 教师归纳总结

讨论结束后，教师对课堂内容作归纳总结。

10. 反思性练习

学生在了解各种数据交换技术的基础上做综合练习：

阅读资料判断下列哪几种说法是不正确的 ()

A.IP电话是分组交换，传统电话是电Z路交换

B.IP电话是共享线路而传统电话是独占线路

C.IP电话通话时不受带宽、延迟、网络拥堵的影响，通话质量高

D.通信的费用差别很大，IP电话比较便宜，尤其在打国际长途时更能体现出来

六、自我评析

本堂课总体效果比较好，DHL广告的引入激发了学生对课堂学习的兴趣，经过货物运输的类比，学生掌握起来比较轻松，总体掌握情况较好。不足之处是学生设计的运送货物的方法不能刚好符合教师的要求，讲到教师要求到3种方式，而其他类似的重复的方法比较多，这样课的衔接就不太完美，需要改进。

教学内容分析思路比较清楚, 这为后续环节的设计打下了一个比较良好的基础。

网络技术专业性强、知识点多, 难于理解与记忆, 这是事实, 但学生不愿接受的是死板、枯燥、满堂灌式的教学方式, 并不是网络技术本身。

如果能够通过通俗、合理而又不失科学性的方式让学生掌握这些知识, 学生未必不喜欢学习这部分内容。

能力与情感态度是两回事。

教师力图通过学生身边的事例, 讲解深奥的计算机网络工作原理, 这是本课教学设计的一个亮点。

用学生熟悉的身边事件作对比, 这是突破教学难点的一种有效方法。使用这种方法的条件是二者之间具有较高的相似度。

现实生活中物品递送过程中所遇到的问题有很多, 与数据交换所面临的问题有很大差距, 在布置学生讨论时, 需要针对二者工作方式相近的地方, 限定一些条件, 让可变因素相对集中, 学生讨论的结果才能相对集中。

若学生真的进行头脑风暴, 得出的结果可能五花八门, 未必是教师后面总结的这三种方法。

如果教师硬把学生的思路拉到这三种方式上来, 前面学生讨论的作用又何在呢?

路上交通顺畅, 这是运输的条件。某个个体选择何种方法对运输条件不会有根本影响。

这种方法因为拆卸、组装增加了的工作流程, 大车换小车降低了运输效率, 运输成本会大大增加。

现实生活中运大件送家具时一般都是要把家具拆成散件的, 但是散后的散件所占空间减小, 更容易放进一辆车里。谁见过用一串车, 每辆车只装一块木板送家具的?

这种类比的科学性值得商榷。

物理链路在任何方式下都是必须的, 只不过报文交换不需要专门的、独立的物理链路。

自由探究一般需要从生活中的实际问题出发, 经过抽象概括, 转换为学术问题, 通过总结归纳实验现象, 得到初步假设, 再经过搜集证据证实假设, 用初步验证假设的假设演绎出新的现象, 再经过实验验证将假设的真实合理性。

如果学生只是通过阅读材料, 了解某项事实, 这与探究学习的本质相差得还很远。

传统电话确切的含义是什么?除了IP电话以外的电话都是传统电话吗?过去我们利用MODEM通过电话线上网, 使用的是什么数据交换技术?实际情况比较复杂, 恐怕很难一概而论。

教师课后对教学效果的反思很客观, 认识非常清醒。

看来如何选取更适合的事例来讲解数据交换的原理, 还需要进一步研究、探索。

参考文献

基于数据元的数据交换规范研究 篇10

1 数据层面上的数据异构

信息系统一般可以分为三个层面:数据层面、业务处理逻辑层面和表示层面。其中数据层面是整个系统的基础和核心,数据层面上的数据异构是导致系统之间难以进行数据交换的主要原因。典型的数据层面上的数据异构现象主要有以下几个方面:

1)名称不一致:即对同一个概念采用不同的名称命名。名称不一致造成人和计算机都难以寻找数据之间的对应关系。

2)定义不一致:即同一个名称所描述的概念不一定相同。定义不一致会造成人们对数据含义理解的歧义。

3)数据类型不一致:即存储数据时采用的数据类型不一致。数据类型不一致在数据交换时会导致数据溢出或者数据不兼容等问题。

4)数值表示不一致:即数据表达格式的不一致,包括计量单位、有效数字位数等。数值表达格式不一致会造成数值理解错误。

3 数据元的基本概念

数据元是用一组属性描述其定义、标识、表示和允许值的数据单元[1]。数据元可以理解为不可再分的数据的基本单元,是组成数据结构的基本元素。

数据元的基本模型如图2所示。

数据元由对象类、特性和表示三部分组成。对象类是我们所要研究的现实世界或抽象概念中事物的集合,例如人、汽车、房子等。特性是某个对象或实体的特征,是对象有别于其他成员的依据,例如人的姓名、性别等。表示描述数据元被表达的方式,包括数据类型、值域等,必要时也包括度量单位、字符集等。数据模型中的实体对应于对象类,属性对应于特性和表示。

数据元也可以看成是由数据元概念和表示组成。数据元概念是能以数据元的形式表示的一种概念[3]。一个数据元概念由一个对象类和一个特性组成。一个数据元概念可以与多种不同的表示方式结合,组成多个数据元。特性与表示可以组成与对象类无关的通用数据元。通用数据元可以作为制定数据元的模板使用。

4 领域数据元目录

数据元理论主要以数据元目录的形式发挥作用。数据元目录是列出并定义了全部相关数据元的一种信息资源[4]。数据元目录中的数据元一般包括标识符、名称、定义、数据类型、计量单位、允许值、等基本属性信息。

数据元目录一般是在一定的领域范围内使用的,它为领域内所涉及概念的名称、定义、数据类型、表示格式等以数据元的形式作了规范、统一的定义,并为每个数据元分配一个全局唯一的标识符。标准化的数据元目录是领域内唯一的、共同遵守的数据字典,可以为消除数据异构、实现数据的标准化提供统一的参照标准。

5 基于数据元的数据交换规范

基于数据元的数据交换以标准化的领域数据元目录为继基础,通过建立数据项与数据元之间的关联以及数据转换关系,以标准化的XML文件为载体发送和接收数据,实现数据交换。

具体操作流程为:

1)在所有需要进行数据交换的系统中建立映射关系表,记录每个数据项与数据元的映射关系(Relation Mapping),其中包含数据元标识符(Data Element_ID)、数据项标识符(Data Item_ID)和转换规则(Transform Formula)三项内容。转换规则包括数据类型转换、计量单位换算等。若系统中数据项的数据类型与数据元的数据类型不能实现转换,则需要根据实际情况对系统的数据类型作必要的修改。

2)系统发送数据时,根据映射关系将每个数据项编写成一个XML数据节点(Data Node),然后把所有的数据节点组织成一个XML文件(磁盘文件或内存文件)发送给接收方。数据节点中包含数据元标识符和数据(Data),编写数据节点时需要根据映射关系中的转换规则将数据转换成与数据元的数据类型、表示等一致的标准的数据。

3)接收方收到XML文件后,根据本系统的映射关系表将每个数据节点中的数据转换成符合本系统的数据。

因为所有的映射关系表都是以同一个数据元目录为参考标准的,网络中传输的数据又都是根据该目录进行标准化的数据,任何遵守这一套交换规范的系统只需要建设一个映射关系表就可以很方便的与其他所有遵守这一规范的系统进行数据交换。

6 结束语

数据元的标准化是数据标准化的核心内容,但数据元理论的作用却不仅仅是数据标准化,制定数据交换规范也只是其很小的一部分功能。本文在分析了数据异构的各种现象和介绍了数据元理论的基本概念的基础上,制定了一套可复用的数据交换规范,有效避免了建立数据映射关系的重复劳动,使异构系统之间的多方互联变得简单易行。

摘要：针对信息系统之间的数据异构导致数据交换困难的问题,研究利用数据元理论制定一套基于数据元的、统一的、可复用的数据交换规范,以实现异构信息系统之间高效的数据交换。

关键词：数据元,数据异构,数据交换,可复用

参考文献

[1]GB/T18391—信息技术数据元的规范与标准化[S].

[2]SDS/T2132—2004数据元标准化的基本原则与方法[S].

[3]ISO/IEC11179—2004.Information technology-Metadata registries(MDR)[S].