云技术云计算范文

2022-06-04

第一篇:云技术云计算范文

云计算关键技术

浪潮实施“云海”战略 填补云计算关键技术空白

要:云计算是一种基于互联网的应用模式,能够让计算服务像水、电等公共服务一样,随需取用、按量付费,被视为信息产业的第三次革命,它将是未来社会信息化的主要形式,也是未来国家信息战略安全的主要载体。

舜网讯 浪潮集团正式发布“云海In-Cloud”战略,开始全面推进云计算业务。作为云海战略的重点,浪潮首次定义“行业云”概念,并宣布将于年内推出国内首个自主开发的云计算操作系统,我国在云计算这一战略新兴领域的关键技术空白将因此被填补。

浪潮云计算市场战略布局初步形成

云计算是一种基于互联网的应用模式,能够让计算服务像水、电等公共服务一样,随需取用、按量付费,被视为信息产业的第三次革命,它将是未来社会信息化的主要形式,也是未来国家信息战略安全的主要载体。“云海”战略的正式实施,标志着作为国内IT产业的骨干企业的浪潮集团对中国云计算市场的战略布局已经形成。

作为云海战略的重点,浪潮首次定义“行业云”概念,提出“行业云”作为“公有云”的重要组成部分,是未来中国云计算市场的重要力量,并与山东计算中心签署云计算合作协议,建立国内最大的区域行业云和未来云计算研究中心,作为浪潮云海战略实施的第一个落地的“行业云”项目。

据浪潮集团高级副总裁王恩东介绍,目前,行业用户已经占据了中国信息化市场50℅以上的市场份额,从行业组织的分散性,数据的封闭性等方面看,云计算无疑是实现行业数据和资源共享,推动数据向服务转化的最佳途径。因此,行业云是公有云最具潜力和战略意义的市场,是中国云计算未来的主导力量。而浪潮与山东计算中心签约后将共同完成山东全省13个软件园的资源整合、共享、协同,着力研究开发下一代云计算前沿技术,并逐步丰富云计算的服务。

与此同时,浪潮宣布推出国内首款云操作系统——云海(云OS),填补了我国在云计算基础架构领域里的关键技术空白,成为普遍关注的焦点。

云计算操作系统是云计算的关键平台技术,类似于人体的神经系统,在云计算应用中承担着对大型数据中心、跨数据中心硬件资源的统筹调度、管理的枢纽作用,对云计算的安全和效率有着至关重要的影响。但是,在操作系统领域存在着诸多技术难题,譬如在高并发条件下如何实现服务的持续可用,以及万量级资源管理等,目前尚无国产厂商涉足该领域。业内观察人士认为,“云海”操作系统推出后,浪潮将成为中国首家掌握该技术的厂商,大大缩短了中国与发达国家在该领域的距离,对未来中国云发展具有重要意义。

扫清云计算在中国发展的障碍

我国关于云计算的讨论已经持续了近三年,但由于各个厂商存在着不同的利益点,提出的观点也各不相同,使得客户对云计算的理解陷入误区——只看局部,无视整体;只看细节,忽视架构;只谈概念,忽视落地应用;只照搬国外经验,忽视中国具体国情,给云计算在中国的发展带来了很多障碍。

科技部高新司嵇智源处长说,与欧美、日本等发达国家相比,我国云计算技术起步较晚,呈现出头重脚轻的趋势,一方面众多企业纷纷推出种类繁多的云计算运用,另一方面,由于国外企业对核心技术的垄断,很少有国内企业进行创新芯片以及硬件方面适合云计算的研究和开发。长此以往,我国云计算将一直是空中楼阁,发展前景不容乐观。

王恩东在接受科技日报记者采访时表示,核心技术的缺失将是制约中国云计算整体发展的壁垒。尤其在云计算基础架构核心技术层面,一直以来鲜有国内厂商涉水,大多数都着眼于平台运营与软件服务。事实上,该领域的缺失已经不仅成为制约我国云计算事业发展的最大障碍,更为我国的信息安全埋下了隐患。打造云计算硬件核心装备和云操作系统,是解决云计算基础架构核心技术问题的关键。

工信部电子信息司副司长刁石京表示,云计算的根本在于应用与服务,中国拥有世界上最大的无线网和最大的有线电视网,同时拥有最大的互联网用户人群,为中国云计算发展提供了肥沃的土壤。中国本土IT企业完全有条件在这样的契机下,实现整体突破,成为中国云时代的领跑者。

嵇智源处长说:“浪潮集团在国内率先推出了云计算战略,针对云计算基础架构展开一系列的高效的开发和推广工作,特别是很快就要面世的自主云操作系统将填补我国在这一领域的技术空白。凭借着对自主创新的坚持,我们将在随之而来的云计算时代中,不再受制于国外的技术封锁和垄断,真正将信息领域的相关产业做大做强。”

据王恩东介绍,除发展云操作系统以外,浪潮云计算硬件产品线也将在年底完成布局。届时浪潮将推出包括云OS、大服务器、高密度服务器在内的全系列软、硬一体的基础架构解决方案。

第二篇:云计算的安全技术综述

** 摘要:云计算是一类新兴的计算方式,也是一种按使用量付费的全新交付模式,因其使快速有效处理海量的数据变为可能,从而引起社会各界的广泛关注。本文首先论述了云计算的兴起渊源,分析了算法的优越性,并介绍了该技术带来的安全问题及其相应的技术,最后介绍了相关应有及未来的发展方向。

关键词:云计算;云计算安全;安全技术及应用

Keyword:Cloud Computing,Cloud Computing Security,Security Technology and application 0 引言

云是一种并行和分布式系统组成的一组相互关联和虚拟化的计算机,它基于服务层协议动态配置,作为一个或多个统一的计算资源,基于服务商和消费者之间通过谈判建立[9]。而所谓的云计算,是通过基Internet的计算方式,把共享的软硬件资源、信息按需供给计算机和其他设备,是一种按使用量付费的全新交付模式。

随着社会信息化与网络技术的快速发展,各种数据呈现出一种爆发式的增长,正是因为云计算的存在,使快速有效处理海量的数据变成可能。而云计算多用户、虚拟化、可扩展的特性使传统信息安全技术无法完全适用于云计算平台。因此,云计算的存在又带来了一个新的安全问题,它成为制约云计算发展的一大重要因素。本文首先阐述了云计算的理论依据,然后再对其带来的安全问题、关键技术及其应用进行讨论。 1 云计算的理论依据

云计算的概念是由2006年Google提出的,它可认为是分布计算、并行计算、网格计算等多种计算模式混合的进一步演化[17]。 1.1云计算的服务模型

现如今,云计算主要提供以下三个层次的服务:IaaS、SaaS和 PaaS。

基础设施级服务(IaaS)是通过Internet向用户提供计算机、存储空间、网络连接、防火墙等等的基本的计算机资源,然后用户可以在此基础上随心所欲的部署和运行各种软件,其中包括OS和应用程序,通过网络,消费者可以从完善的计算机基础设施获得服务。 软件级服务(SaaS)是一种通过Internet提供软件的模式,用户可以直接向供应商租用基于Web的软件,用来管理企业的运营却不需要购买,但是,云用户没有管理软件运行的基础设施、平台的权限,只能做一些非常有限的应用程序的设置。

平台级服务(PaaS)是将软件研发平台作为一种服务以SaaS的模式交付给用户,因此,PaaS实际上也是SaaS应用的一种,但它主要面向的是进行开发的工作人员,并为其提供在互联网上的自主研发、检测、在线部署应用。 1.2云计算的成功优势 云计算之所以能够被广泛利用,是因为它有着传统IT服务没有的优势。

一、资源池化和透明化。对云服务供应者来说,云计算采用虚拟化技术对各种底层资源如计算、储存、网络、资源逻辑等资源进行抽象,可以被统一管理和调度,成为所谓的“资源池”,从而为用户提供按需服务;对用户来说,这些资源是透明、无限大的,用户无须了解内部结构、所用资源具体物理位置,也不用参加具体的设备管理,只用关心自己的需求是否得到满足就可以了,体现云计算资源抽象化的优点,同时降低用户对于IT专业知识的依赖。

二、按需访问、按需服务。云计算为用户提供了三种不同层次的服务,因此用户只需拥有网络就可随时随地地接入云中,使用浏览器或其他形式的接口就可以较为方便轻松的访问自己所需的软件服务和资源,而所有的有关于服务管理的工作则交给云供应商完成,这样的机制则让用户使用各种软件服务和各类资源如煤气、水电一样取用方便且费用低廉。 2 云计算的安全问题

虽然云计算可以为用户提供最大化资源利用的、自定义的、可靠的服务,是种新的分布式计算模式,它与传统的IT网络服务相区别,但传统信息安全的各种威胁都适用于计算机云平台。而它本身的动态服务的特性,给信息界带来一场巨大的变革,而该变革给信息安全领域带来的冲击是巨大的,具体表现在:(1)在云平台中运行的各类云应用的基础设施和安全边界随时随地都在发生着改变,因此,针对于用户的数据安全、隐私保护非常难以实现;(2)部署安全防护措施由于多个管理者共同享有云服务资源,存在必然的利益冲突,没有办法实现统一的规划;(3)由于云平台中的数据、计算高度集中的,因此,云计算的安全措施必须要满足海量的信息的处理需求。

综上,云计算安全问题成为发展云计算技术的重中之重。针对其复杂性,云计算的安全问题也应该是一个包括管理、技术、法律法规的综合体,它的安全的总体框架如图1所示:

图1 云计算安全总体框架

3 数据安全

云计算的特点决定了数据要实现在“云”端的集中存储,就必须要保障不同用户数据的安全隔离;云端的服务器可能会“宕机”,在这种情况下,如何安全高效的进行数据迁移非常关键;云计算采用租赁方式向用户提供资源,这意味着一个用户使用过的存储区域会被其他用户使用,因而必须解决好数据残留问题。 3.1 云环境下的数据安全存储面临以下挑战 (1)数据的加密存储

在传统信息系统中,一般采用加密方式来保证存储数据的安全性和隐私性。但在云中,这样做起来却并不容易,因为对于任何需要被云应用或程序处理的数据,都是不能被加密的,很多类似于检索、运算这样的操作对于加密的数据甚至无法进行。

(2)数据隔离

多租户技术是PaaS和SaaS云用到的关键技术。由于云计算采用共享介质的数据存储技术,不同用户的数据可能会被存储在同一物理存储单元上。尽管云服务供应商会使用一些隔离技术(如数据标签和访问控制技术相结合)来防止对混合存储数据的非授权访问,但它依然能通过程序漏洞实现,如Google Does在09年3月就发生过不同用户间文档的非授权访问。

(3)数据迁移

当云中的服务器“宕机”时,为了确保正在进行的服务器继续进行,需要将正在工作的进程迁移到其他服务器上。为了让用户几乎无法感受到“宕机”的发生,迁移必须高速进行;为了让进程在新的机器上恢复运行,必须保证数据的完整性。

(4)数据残留

残留数据是指删除数据后的残留形式,逻辑上已经被删除,但物理上依然存在。残留数据可能无意中透露用户的敏感信息,攻击者可能捕获这些痕迹恢复出原始数据。而在云中,残留数据可能导致一个用户的数据无意被透露给未授权的一方。所以在存储空间再次分配给其他租户之前,云服务商须向用户保证并证明用户储存空间在释放、共享或分配至其他用户之前,空间内信息都已全部删除[1]。 3.2 云数据安全存储技术研究

加密无疑是保护云中存储的数据的安全性和隐私性的重要方法之一。如今我国计算机所使用的传统加密技术主要有两类:一种为对称加密技术,另一种为非对称加密技术。当前被关注的安全存储技术包括同态加密技术、基于VMM的数据保护技术等等。 3.2.1 云数据安全存储框架

微软研究院的Kamara等人提出了面向公有云的加密存储框架,该框架的主要特点有两个:数据由所有者控制:数据的安全性由密码机制保证。该框架除了能解决数据存储 的隐私问题和安全问题外,还能解决数据访问的合规性、法律诉讼、电子取证等问题。不过,该框架只是一个宏观的模型,并没有给出具体实现方法。

文献[7]中提到了一种分散式云存储安全架构。该架构采用信息扩散法、分散存储管理、数据自举恢复等技术,分层实现数据的安全存储管理和传输。该方法定期检查数据片受损情 况,若存在受损数据,则根据互为冗余的存储设备上的数据加以恢复,从而提高数据的可用 性。从数据存储到传输,都建立了相应的保护措施,进行云存储层与其他层间的安全防范,实现了数据的有效防护。该架构并没有具体说明如何保证数据的完整性,数据分片难以确保数据 的隐私性和安全性。 3.2.2 云数据安全存储技术

(1) 同态加密技术

运用这种加密技术可以实现明文上执行指定的代数运算,结果等同于在密文上的另一个(可能是不同运算)代数运算结果同态加密。其思想起源于私密同态,它允许在不知道解密函数的前提下对加密数据进行计算。文献[7]中提到了一种同态加密算法,它通过运用向量和矩阵的各种运算来实现对数据的加解密,并支持对加密字符串的模糊检索和对密文数据的加减乘除,该算法在执行加减运算时效率较高,但在执行乘除运算时效率较低,且运算代价随向量维度的增加而增加。

(2) 基于VMM的数据保护技术

有一种基于VMM的云数据机密性保护方法,它基于SSL来保证数据传输的安全,利用Daoli安全虚拟监控系统保护数据存储的安全。该方法将云端的OS和分布式文件系统进行隔离,数据加密由虚拟机监控系统来完成,实现OS和用户数据的隔离。虽然该方法保证多租户环境下隐私数据不会泄露给其他用户,但数据还是可能会泄露给云服务提供商。

(3) 基于加解密的数据安全存储技术

公有云中存储的数据一般属于外包数据,存在不少基于传统的加解密技术的研究来确保外包数据的安全。有基于代理重加密方法的数据分布式安全存储方案[2],但该方案存在恶意服务器和任意一个恶意用户勾结就能计算出所有密文数据的解密密钥的漏洞,严重威胁数据的安全;还有一种基于密钥导出方法的非可信服务器数据安全存储方案,但文件创建操作及用户授权/撤销的复杂性与用户数量成线性关系,这使得系统规模难以扩展。

(4) 支持查询的云数据加密存储技术

使用SE,用户将查询关键字或查询条件提交给云中的查询服务器,查询服务器通过检索关键字索引找到符合条件的数据,然后将查询结果返回给用户。但SE要求输入的查询关键字不能有任何错误且格式必须遵循规定的统一格式。针对这一问题,有一种面向云密文数据的模糊查询方法,它可以将关键字和事先生成的模糊关键字集合进行匹配,密文无需解密,文件的安全性得到保证。

(5) 基于可信平台的数据安全存储技术

由于软硬件的不可信也是造成云数据存储面临挑战的重要原因,文献[7]中提到了一种针对使用数据保护提出了基于二次混淆的隐式分割机制。但该方案在使用数据存储是进行的二次分割和矩阵运算时存储效率低,难以扩展。 4 应用安全

云计算应用为广大用户提供了极大方便,但是又由于其将大量的使用者、信息资源过于集中在一起,这样一来,假设出现安全问题,它的结果是我们承担不起的。而用户在使用云应用的时候,信任应用程序会保护其数据,但实际上SaaS服务商对此并未作出任何承诺[3]。因此,应用安全也成为了阻碍云计算发展的非常重要的因素之一。 4.1 云计算下应用安全面临的主要问题 (1)终端用户安全

用户在使用云计算系统过程中,应确保自身计算机能够正常运行以及计算机的安全。目前用户获得云服务的主要接口就是浏览器,所以浏览器的安全与否极为重要。 要实现端到端的安全,就必须采取一些措施来保护浏览器的安全。以免其受到入侵或破坏,从而保证数据运输过程中的安全。

(2)SaaS应用安全

在这种服务模式下,用户无需控制或是管理云计算系统当中的基础设施,云计算提供商维护管理所有应用,必须保证应用程序和组件的安全性。用户只需负责最高层面的安全问题,即用户自己的操作安全、个人密码等秘密信息的保管。选择SaaS的提供商要特别慎重,因为会负担绝大部分的安全责任,提供商要最大限度地确保提供给用户的服务的安全性。 4.2 云计算应用安全相关技术

对于终端的保护,可以采用终端控制技术,该技术的核心层面在于用户使用防护软件进行自身的数据保护。例如,在终端上安装安全软件,如杀毒软件、防火墙、防恶意软件等来确保计算机的安全性;与此同时,用户应及时更新自身所使用的浏览器,并及时更新系统,下载系统补丁,减少计算机中的漏洞。

对于SaaS的保护,用户应尽量了解云服务提供商所提供的云服务的虚拟数据存储架构,云服务提供商应加强软件的安全性管理。目前,对于提供商的评估方法是根据保密协议,要求提供商提供相关的安全实践信息,该信息应当包括黑盒与白盒安全测试记录。而企业所采用的安全防护手段就是及时进行云计算技术安全状态的检查。 5 虚拟化安全

虚拟化技术可以将多个OS整合到一台服务器上,从而简化计算框架,降低资源管理成本,减少资金与硬件设施的投入,从而更大化、最优化地使用硬件资源和计算资源,有效地实现云服务的可扩展性和可伸缩性。 5.1 云计算虚拟化安全面临的主要问题

虚拟化技术的采用,在对云服务的提供能力上有所增强,在基础设施和软件层面都有所改进。然而,也面临着一些安全问题,主要体现在:

(1)主机的损坏,随之而来的是客户端服务器的安全性受到威胁。 (2)虚拟网络的破坏,随之而来的也是客户端的损害。

(3)网络的安全性问题将直接导致客户端共享和主机共享的安全性能。 (4)主机的功能性问题将直接引发虚拟机的问题。

总的来讲,若云计算平台上采用了虚拟技术,则其云架构提供者必须对其客户提供安全性以及隔离保证,在应用虚拟化技术的时候归为两方面的风险:虚拟化软件安全和虚拟服务器安全 。 5.2 云计算虚拟化安全相关技术

(1)虚拟化软件安全

在IaaS云平台中,软件完全由云服务商来管理,用户不用访问此软件层。因此,虚拟化软件安全必须严格控制虚拟化软件层的访问权限, 这样才能保障计算机同时运行多个操作系统的安全性,对于云服务提供商来说必须建立健全的访问控制策略来保障虚拟化层次的用户数据安全。

(2)虚拟化服务器安全

在兼顾虚拟服务器特点的前提下,物理服务器的安全原理可以移植到虚拟服务器上应用,当虚拟服务器启动时,TPM安全模块会去检验用户密码,若此时输入的用户名和密码的Hash序列不对则虚拟服务器终止启动[13]。最好使用可支持虚拟技术的多核处理器,这样可以做到CPU间的物理隔离,这样可以避免许多不必要的问题。

除此之外,文献[13]中还提到了基于虚拟机技术实现的grid环境下的隔离执行机,核心分配可以通过缓存层次感知,和给予缓存划分的页染色的两种资源管理方法实现性能和安全隔离。

6 云计算的应用现状

(1) 在测试领域的应用

在软件测试方面,云供应商以按需租用的方式向用户提供SaaS、PaaS、IaaS3种层次的服务,使软件开发者无需以高成本高买、安装和配置本地测试环境,从而为软件测试提供极大便利;

在硬件测试方面,云计算的“平台级服务”的模式可以为硬件测试提供高效的解决方案,如Internet公司,采用iLab的私有云平台,通过虚拟化、链式克隆、安全通道、先进的整合手段与管理技术,以自助式服务站点管理测试实验室,可以在2min之内部署一个测试环境,将物理系统加入到虚拟测试环境中,从而有效的节省了部署测试环境的时间同时大大节省了成本;

在自动测试系统方面,文献[14]提出了一种基于云计算技术的自动测试系统架构方案,该方案测试基础资源由测试资源和云计算基础设施构成,是可通过网络访问的、可配置的共享测试资源池,测试管理平台是为测试开发者、使用者和管理者供的统一的服务平台,测试服务应用则是将测试提供给用户的最终环节,它可以比传统的测试系统具备更强大的功能、更优良的性能、更开放的结构、更灵活的使用方式以及更自由的操作

对于未来,我们可以利用云计算建立一个统一的平台,将大量分布式的测试资源有效管理和调用,使在开发测试系统时,不再受限于测试资源的有限性和地理位置的约束;还可以以云计算为基础架构,结合分布式测试和并行测试等技术,在紧急情况下集中管理、调用强大的云计算资源和一切可用的测试资源。

(2) 在图书馆中的应用

亚利桑那大学图书馆的IaaS应用案例,使用了Amazon Web Services,利用开源软件 DSpace构建数字化馆藏,利用开源软件Koha构建联合书目,采用Linode Cloud服务,利用开源软件Joomla构建图书馆网站。

在国内,正在实施中的CALIS数字图书馆云服务平台,将能够提供IaaS、PaaS、SaaS服务,构建大型分布式的公共数字图书馆服务网络,将云环境下各个图书馆的资源和服 务进行整合,为图书馆提供更多的服务。

文献[15]提出可以利用SaaS为图书馆提供服务,SaaS模式的优点使得中小型图书馆能更多地关注工作流程和读者服务;大型图书馆从成本的角度考虑也可以将部分分软件系统迁移到SaaS平台;还可以利用PaaS和IaaS为图书馆提供服务,利用开源软件快速部署图书馆软件应用平台,将开源软件与PaaS平台紧密结合,同时把图书馆部分应该部署到IaaS平台,以满足图书馆实际应用需求。

(3) 在云平台中的应用

由于应用软件缺乏成熟操作模型作为服务意味着云计算能力尚未开发和研究到充分开发的水平。因此,文献[16]提出在云环境中,自动上传一个新的数据框架后,适当认证和处理它们的任务(收集和共享),以检验正确性假设。然后检查程序能力低于三参数,基于这三个参数可以找到更好的应用软件作为服务的方法。

文献[3]为了能够对云计算服务平台进行数据安全性的管理,提高云计算服务系统的可靠性,基于DIFC模型下,以命题逻辑为基础设计动态信息流的控制机制与系统,从而保证数据模型的清晰性与完整性,并且提高系统的可靠性。 文献[13]提出虚拟化架构的可信云计算平台在建立用户与虚拟机关联后,仅使用数字信封便能封存虚拟机,用户访问或使用资源时通过PKI中间件使用用户的私钥解密虚拟机中的数字信封,最大程度保证数据完整性和安全性。 7 结语

社会发展步伐在不断的加快,网络环境安全与否现在已成为了推动我国发展的重要因素,同时也是现代化建设的重要体现。而随着互联网的快速发展,云计算的各种应用在我国使用的越来越广泛,它的发展光景不可预测,云计算的安全问题便变成了社会各界人士关注的焦点与发展的热点。因此,在云计算环境下,我国的云计算服务供应商必须要给予更多的关注并加强对其安全的管理,不断的完善与提高相关的云计算的安全技术,提升云环境下的网络安全性,让用户通过良好的、健康的云计算安全环境,更为放心的使用云计算系统,以此来促进云计算的发展。 参考文献

[1] 高雪莹, 吴韶波, 陈思锦. 云计算及其安全技术[J]. 物联网技术, 2014(3):88-90. [2] 丁一军, 于桂荣. 云计算:安全技术问题探讨[J]. 科技创新导报, 2015(7):58-59. [3] 肖锟, 袁俊. 云计算平台的数据安全技术分析[J]. 黔南民族师范学院学报, 2014, 34(6):102-105. [4] Tari Z, Yi X, Premarathne U S, et al. Security and Privacy in Cloud Computing: Vision, Trends, and Challenges[J]. IEEE Cloud Computing, 2015, 2(2):30-38. [5] Mahalle S, Jaiswal R. Cloud Computing Security: A Survey[J]. International Journal of Computer Applications, 2015, 115(6):21-25. [6] 闫盛, 石淼. 基于云计算环境下的网络安全技术实现[J]. 计算机光盘软件与应用, 2014(23):168-168. [7]冯朝胜, 秦志光, 袁丁. 云数据安全存储技术[J]. 计算机学报, 2015, 38(1):150-163. [8] Dinadayalan P, Jegadeeswari S, Gnanambigai D. Data Security Issues in Cloud Environment and Solutions[C]// World Congress on Computing and Communication Technologies. 2014:88-91. [9]高其胜, 陈艳峰. 云计算虚拟化安全研究[J]. 图书馆学研究, 2015(11):46-50. [10]王笑帝, 张云勇, 刘镝,等. 云计算虚拟化安全技术研究[J]. 电信科学, 2015, 31(6):1-5. [11] 罗伟. 基于云计算安全的关键技术分析[J]. 电脑知识与技术:学术交流, 2015, 11(2X):51-53. [12] 申璁. 云计算安全的关键技术分析[J]. 科技传播, 2016, 8(8). [13] 白堃. 基于云计算环境下的数据安全保护技术分析[J]. 电子设计工程, 2015, 23(10):149-151. [14] 肖明清, 杨召, 薛辉辉,等. 云计算及其在测试领域的应用探索[J]. 空军工程大学学报·自然科学版, 2015(1):50-55. [15] 余正祥, 胡云. 云计算在图书馆中的应用研究[J]. 图书情报工作, 2014(S1):254-256. [16] S Kembhavi,G Singh auto upload and chi-square test on application software as a service for cloud computing encironment[J].International Journal of Advanced Technology and Engineering Exploration ISSN (Print): 2394-5443 ISSN (Online): 2394-7454 Volume-1 Issue-1 December-2014 [17] Zhao F, Li C, Liu C F. A cloud computing security solution based on fully homomorphic encryption[C]// International Conference on Advanced Communication

第三篇:云计算中MapReduce技术研究

孙香花

(长江师范学院数学与计算机学院,重庆,408100)

要: MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算。本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。

关键词:MapReduce技术;云计算应用;云计算;并行计算;

MapReduce technology of cloud computing

SHUN Xiang-hua (

1、College of Mathematics and Computer Science,Yangtze Normal university, Chongqing,,410081)

Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution. Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data. This paper focus on the cloud of MapReduce technologies. MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis; MapReduce model put forward the current research issues; Finally, the summary text and the future trends. Key words: MapReduce technology; cloud computing applications; cloud computing; parallel computing;

1、引言

随着数字技术和互联网的急速发展,特别是随着Web2.0的发展,互联网上的数据量高速增长,也导致了互联网数据处理能力的相对不足。由于待处理数据越来越多 ,多到了很难在一台或有限数目的存储服务器内容纳,且更无法由一台或数目有限的计算服务器就能处理这样的海量数据。因此,如何实现资源和计算能力的分布式共享以及如何应对当前互联网数据量高速增长的势头,是目前互联网界亟待解决的问题。正是在这样一个发展背景下,云计算应运而生[1]。

云计算是由并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)发展而来[2,3]。云计算的核心技术之一是MapReduce,它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算[4-6]。

近几年来由于数据的大量增长,Mapreduce受到了较多的关注,获得了较大的发展,但还没有形成成熟的、系统化的理论体系[7]。目前国内外进行MapReduce分析技术研究的机构都显示了对MapReduce的高度关注,并在不同的体系结构上都进行了实现,尤其是在开源hadoop平台上对其所做的研究提供了更多的研究机遇。因此对MapReduce的研究不仅具有收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

重要的应用价值,更具有重要的学术意义[8,9]。本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。 2 、MapReduce相关研究

目前国内外文献中对MapReduce模型都有相应的研究。主要体现在以下几个方面: 基于MapReduce的初等研究及改进:在Goole提出的原始模型的基础上提出一些新的改进方法,或是对怎样提高MapReduce算法的效率上去进行研究。如:文献[10]提出了一种改进型的MapReduce编程模型,该模型继承了传统的MapReduee模型对map函数和reduce函数的定义.对map和reduce过程进行了改进优化。文献[11]中的HPMR是建立在多核集群上的高性能计算支撑平台。它继承并改进了MapReduce并行编程模式,使其适合高性能计算需求。并让并行程序的编写和运行变得非常简单,同时又保持很高的性能。

对大规模的数据挖掘:利用MapReduce模型对于云平台的海量数据进行挖掘,抓取网页相关数据,或是对网页内容去重等到相关的大规模数据的研究等。如:文献[12]详细描述SPRINT并行算法在HadooP中的MapReduce编程模型上的执行流程,并利用分析出的决策树模型对输入数据进行分类。

基于MapReduce并行模型的一些设计方法与实现或是计算方法的实现,如:文献[13]结合MapReduce的长处,提出研究和实现一个完整的高性能并行计算系统,以GPU为硬件基础并配合基于MapReduce并行计算模型平台进行大规模数据处理。文献[14]提出了基于MapReduce架构实现分布式光线跟踪渲染的方案。该方案基于Hadoop实现,利用MapReduee架构简化了分布式程序设计。

MapReduce的综述:文献[15]重点讨论了MapReduce模型的相关研究,并对采用或是实现了这些模型的相应公司的技术进行了探讨,是一篇综述类型的学位论文。MapReduce模型的研究与应用:文献[16]介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架,并在Hadoop基础上提出一种通过多重MapReduce操作,实现海量共现矩阵的生成方法。

当前的研究中,对于云计算中并行计算模型的研究主要是针对于MapReduce模型,而对于MapReduce模型的研究主要在两个方面展开,一个方面为对MapReduce模型的改进,但是对于改进后的模型的实现平台没有研究;另一个方面为MapReduce模型的应用,也是当前的主要研究方向。

3、MapReduce相关研究问题

MapReduce是由Google提出的一种并行分布式编程模型[17-19]。在MapRedcue 模型中用户只须指定一个map函数来处理一个输入的key/value对,产生中间结果key/value对集,再通过一个由用户指定的reduce函数来处理中间结果中具有相同key值的value。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理[20-21]。

图1说明了用 MapReduce 来处理大数据集的过程,MapReduce 的计算过程很简单,计算利用一个输入key/value对集,来产生一个输出key/value对集[22]。MapReduce库的用户用两个函数表达这个计算:map和reduce。首先,用户自定义的map函数,接受一个输入对,然后产生一个中间key/value对集。然后,MapReduce库把所有具有相同中间key I的中间value聚合在一起,然后把它们传递给reduce函数。最后,用户自定义的reduce函数,接收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

受一个中间key 和相关的一个value集。它合并这些value,形成一个比较小的value集[23-25]。

图1 、Mapreduce的计算流程

随着数字技术和互联网的急速发展,特别是随着Web2.0的发展,互联网上的数据量高速增长,也导致了对MapReduce这种并行计算模式的研究变得越来越重要,由此也产生了一系列的相关研究问题,分别如下所列出[26-28]:

1、 MapReduce模型只需执行简单的计算,对于隐藏并行化、容错、数据分布、负载均衡的那些问题是如何实现的。

2、 Google的MapReduce执行流程。

3、 对MapReduce模型的实现。

4、 对MapReduce模型进行改进。

5、 提高Mapreduce的运算效率的方法。

6、 基于MapReduce模型的应用。

7、 基于MapReduce模型的设计方法及实现 对于以上所列出这些研究问题,目前国内外都有相关的研究,对于这些研究问题在很大程度上仍然有可研究性。

4、 未来研究趋势

MapReduce作为一个通用可扩展的并行计算模型,它用来有效地处理海量数据,不断地从中挖掘出有价值的信息,成为互联网企业发展的必然选择。很多现实世界对海量数据的处理,都可以用这种模型来表示。当前在云计算中使用的分布式并行运算基本上是采用的MapReduce计算模型,不过国内的研究仍然有点滞后,同时,当前的主要研究都放在其应用上,比如说网页抓取等,真正去研究算法本身的并不多,尤其是在提高算法本身的效率上,以及算法的优化等都研究较少。

根据上面的论述和分析可以看出,对于云计算中并行计算模型的研究和应用主要是对于MapReduce模型的,而对MapReduce模型的应用是当前的主要研究方向。本课题在分析MapReduce模型的基础上,提出了如下的研究内容:

1、利用MapReduce强大的计算能力,把MapReduce模型应用到一些经典的算法中。所要解决的主要问题是经典的算法的选取,即要满足利用MapReduce模型的条件,还要解决的是两个算法的比较及评价问题;

2、利用MapReduce强大的计算能力,把MapReduce模型应用到一些数值计算问题中去,所要解决的主要问题是数值计算问题的分解和结束条件,还要解决的是两个算法的比较问题及新算法的评价问题。

收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

4、 结束语

本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。 参考文献 [1] [2] [3] [4] [5] 张建勋,古志民,郑超. 云计算研究进展综述[J]. 计算机应用研究,2010,27(2):429-433 金海,漫谈. 云计算[J].中国计算机学会通讯,2009,5(6):22-25 吴吉义,平玲娣, 潘雪增等. 云计算:从概念到平台[J].电信科学,2009,12:23-30 陈康, 郑纬民. 云计算:系统实例与研究现状[J].软件学报.2009,20(5):1337-1348 尹国定,卫红. 云计算—实现概念计算的方法[J]. 东南大学学报:自然科学版,2003,33(4):502-506 [6] 武永卫,黄小猛. 云存储[J]. 中国计算机学会通讯,2009,5(6):44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J]. Science of Computer Programming, 2008, 7(1): 208-237. [8] 万至臻.基于Mapreduce模型的并行计算平台的设计与实现[I].浙江大学.2008 [9] 吴晓伟.MapReduce并行编程模式的应用和研究[I].中国科学技术大学.2009. [10] 周锋,李旭伟.一种改进的MapReduce并行编程模型[J].科协论坛.2009.2(11):11-12 [11] 郑启龙,王昊,吴晓伟等.HPMR:多核集群上的高性能计算支撑平台[J].微电子学与计算.2008,25(9):21-23 [12] 王鄂,李铭.云计算下的海量数据挖掘研究[J].现代计算机.2009,22(11):22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行计算模型研究与应用[I].桂林理工大学.2009. [14] 郑欣杰,朱程荣,熊齐邦.基于MapReduce的分布式光线跟踪的设计与实现[J].计算机工程.2007,33(22):83-85 [15] 周敏.MapReduce综述[I].暨南大学.2008. [16] 杨代庆,张智雄.基于Hadoop的海量共现矩阵生成方法[J].现代图书情报技术. 2009, 25(4) 23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner. A break in the clouds: toward a cloud definition. ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G,Gu Yunhong,Michael Sabala,Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems,2009,25(2):179-183 [19] Daniel J A. Data management in the cloud: limitations and opportunities. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 郑启龙.HPMR在并行矩阵计算中的应用[J].计算机工程.2010(8). [21] 徐志伟,廖华明,余海燕.网络计算系统的分类研究[J].计算机学报.2008,31-9:1509—1515. [22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J]. Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007. [23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA). 收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

Phoenix,AZ, February 2007. [24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004. [25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch. Main memory evaluation of monitoring Queries over moving objects. Distributed and Parallel Databases,15(2):117-135,2004. [26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation. In Proc.IEEEP ACT,2006. [27] 钟伟彬,周梁月,潘军彪等. 云计算终端的现状和发展趋势[J].电信科学,2010,3:22-26 [28] 陈国良,孙广中,徐云. 并行计算的一体化研究现状与发展趋势[J].科学通报,2009,54(8):1043-1049

地址:重庆市涪陵区李渡聚龙大道98号长江师范学院数学与计算机学院办公室

孙香花 邮编: 408100

收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

第四篇:江苏省云计算技术论坛专家委员会成立暨首届江苏省云计算论坛会议

首届江苏省云计算论坛

暨论坛专家委员会成立大会

一、 论坛背景

无论是2010年还是2011年,云计算都被评为十大战略技术之首。Google云计算平台规模已经超过200多万台计算机,其企业用户数量超过300万家。今年微软公司将有90%的研发投入用于云计算,华为公司将有70%的研发投入用于云计算,全世界的互联网企业和电信企业都在向云计算进军,云计算技术同时成为学术界的研究热点领域。

云计算的发展受到了国家的高度重视。2010年10月,国务院发布了《国务院关于加快培育和发展战略性新兴产业的决定》(国发〔2010〕32号),明确提出“要进一步明确发展的重点方向和主要任务,统筹部署,集中力量,加快推进。...新一代信息技术产业。...促进物联网、云计算的研发和示范应用。”同月,发改委和工信部发布了《关于做好云计算服务创新发展试点示范工作的通知》(发改高技[2010]2480号),在北京、上海、深圳、杭州、无锡等五个城市先行开展云计算创新发展试点示范工作。全国各地的云计算研发和应用工作正如火如荼地开展。

为了推动云计算技术在江苏省的发展,江苏省计算机学会定于2011年6月25日举办首届江苏省云计算论坛,论坛开幕式上将成立江苏省云计算论坛专家委员会。以后每年由江苏省云计算论坛专家委员会主持,举办一届江苏省云计算论坛。该论坛将面向江苏省的科研机构和企事业单位,汇聚“产学研用”智力资源,搭建云计算技术交流平台,以提升研究水平、推动应用普及。 欢迎江苏省拥有高级职称或有突出成绩的相关领域专家申请成为江苏省云计算论坛专家委员会专家,欢迎江苏省各地政府机构、企事业单位申请成为江苏省云计算论坛成员单位,欢迎全国各地其他人员申请免费参加首届江苏省云计算论坛会议。

二、组织机构

主办单位:江苏省计算机学会、江苏省云计算论坛专家委员会(筹)

赞助单位:IBM

协办单位:江苏省元德信息技术有限公司、江苏省微型电脑应用协会 支撑网站:中国云计算 (http://。

(1) 申请成为江苏省云计算论坛专家委员会专家请填写表

1条件限制:工作单位位于江苏省内,拥有高级职称或有突出成绩,承诺将出席江苏省云计算论坛会议的相关领域专家。将根据人数限制进行遴选。

填写此表的专家不需要填写其他表格。

所有被聘为江苏省云计算论坛专家委员会专家的代表将获赠刘鹏教授主编《云计算》教材第二版。该书第一版为国内销量第一的云计算书籍。第二版由电子工业出版社于2011年5月出版,350页。

(2)申请成为江苏省云计算论坛成员单位,请填写表

2条件限制:江苏省各地政府机构、企事业单位,开展与云计算相关的业务 为弄清参会人数,单位成员的个人参会也需填写表3(或表1)

(3)申请免费参加首届江苏省云计算论坛会议,请填写表3 条件限制:无,但将视会议规模和报名情况进行适当限制

表1参加江苏省云计算论坛专家委员会申请表

表2江苏省云计算论坛会员单位申请表

表3个人免费参加首届江苏省云计算论坛会议申请表

第五篇:电子政务云是电子政务与云计算技术的完美结合

2011,云计算产业已在国内初具规模,成功案例逐渐丰富。在电子政务、通信、医疗、教育等业务领域出现大量的应用解决方案,云计算在国内成功迈入起飞阶段。作为云计算重点应用领域的电子政务云也不甘落后,截止到2011年底,已有上海、北京、青岛和西安等城市在电子政务云应用领域进行了积极探索,并取得丰硕成果。云计算作为未来新一代信息技术的核心技术之一,在电子政务领域逐步开始落地,进入实战阶段。

电子政务云的产生是电子政务与云计算技术的完美结合,是政府整合IT资源为服务,以供居民、企业和所属机关部门共享使用,提高政务IT资源利用率,优化政府管理和服务职能,提高政府工作效率和服务水平的平台技术框架,本质上是在技术层面“构建了统一的政府底层IT基础结构”。

一、电子政务云的四大需求

1、推动信息资源整合,促进政务资源共享的需求

信息资源的地位已经变得十分重要。目前,在信息化和电子政务建设上,网络基础设施建设远远领先于应用系统建设和信息资源开发,信息资源开发的不足,严重制约着电子政务应用工作的开展和深入。同时,各部门、各系统、各数据库之间缺乏信息共享机制与手段,形成信息孤岛,重复建设和资源浪费现象相当严重。为此必须要提高认识,大力倡导和推动政务信息资源整合与共享应用,促进政务资源

共享的需求。

2、提高服务灵活性,改善服务可扩展性,推动创新提升服务效率的需求

深化行政体制改革,推进服务型政府建设现已成为我国政府主要任务之一。围绕政务强化需求,按照政府职能转变、行政审批制度改革和政务公开的需要,按照公众、企业和社会对政府的需要,选择适合电子和网络实现的事项,提供灵活多变的政务服务,推动服务创新,以提升服务效率和服务水平。

3、提高设备资源利用率,避免重复建设,减少专业维护人员的需求

近年电子政务系统的建设,各级政府机关投入巨资采购了大量硬件设备,建设了多个应用系统,但是普遍出现了设备资源利用率低、重复建设严重、信息系统运维难、人工成本和能源消耗巨大等问题,提高设备资源利用率、避免重复建设、降低维护成本成为各级政府机关迫在眉睫的需求。

4、整合平台提高安全性的需求

信息安全事关国家安全、社会稳定和民族文化的发扬,能否有效地化解信息化带来的风险,建立完善的国家信息安全战略,已成为保障各国政治、经济地位的重要手段。由于各级政府机关安全意识、人才配备与信息化建设的不相匹配,信息安全已成为电子政务建设过程中的主要风险。通过云计算技术整合电子政务资源,以提高平台安全性是政府部门核心需求之一。

二、电子政务云的几大特征

1、共享性

鉴于目前云计算应用仍处于起步阶段,结合当前电子政务信息资源管理实际状况,基于云计算的电子政务信息资源共享系统构建工作需要遵循实事求是的原则和思路。也即是它需要从构建实现模型、对现有资源进行封装、建立相关应用与数据中心及搭建“云”接入平台等方面入手,逐步完成系统建设工作。

2、灵活性或可扩展性

电子政务云的发展应适当兼顾国内电子政务的发展情况和不同阶段,保持一定的灵活性。在考虑电子政务现状设置标准的同时,在“标准体系”中预留恰当的空间和位置,有利于未来的调整,确保适应电子政务的发展。

3、交互性

电子政务云的交互性主要体现在电子政务网站,交互性是指为公众社会提供优质的多元化服务。充分发挥互联网的优势,更好的为民服务、扩展其对在外宣传、政务公开、咨询服务、网上办事等主要功能。系统开发工程师设计和开发各项网站功能、网站数据库系统等,设置在线调查、交流反馈、信息订阅等功能来实现网站的交互性。

4、节约性

利用云计算,电子政务系统对用户设备的要求降低,用户使用简单的终端设备,如PC、笔记本,甚至是手机等无线通信设备,就可以随时随地的通过网络使用电子政务云计算系统中的资源。云计算实

现了电子政务系统中不同设备间的数据与应用共享,不仅能减少成本支出,更有效节约了社会资源。

5、安全性

云计算能够提供最可靠、最安全的数据存储中心,用户不必担心数据丢失、病毒入侵等困扰,保证了信息的共享安全。采用云计算技术能够快捷方便地实现数据灾难备份和恢复功能,大大地提高数据的安全性。

三、电子政务云的发展重点

一是要推动重要政务信息系统互联互通、信息共享和业务协同。依托公共通信基础设施,加强与国家电子政务网络互联互通,扩大网络覆盖面,统一电子政务公务内网、公务外网、安全设施的网络架构,提供移动电子政务接入功能,全面推进政务部门互联网安全接入,推进基于互联网的电子政务应用。协同共享,注重绩效。建立协调工作机制,结合政务工作重点,推动跨部门、跨地区的信息共享和业务协同,把各级各部门电子政务建设与应用情况纳入绩效考核体系,提高电子政务综合效益。

二是强化信息资源的整合,规范采集和发布,加强社会化综合开发利用。各级政府部门已经充分意识到目前的电子政务信息资源开发利用水平低和业务协同困难的现状,在部委层面,各级的信息资源需要有效整合;在地方层面,部门之间也迫切需要信息共享和业务协同。2012年,将有越来越多的部委和地方政府推行电子政务云建设,上下左右前后迫切需要信息共享和业务协同,整合基础设施、数据资

源、应用系统和管理机制,形成朵朵云共同绽放的美好局面。

在“十二五”规划《纲要》明确提出,未来5年要大力推进国家电子政务网络建设。随着物联网和“智慧城市”在我国的火速兴起,建设“智慧政府”成为电子政务的重要目标。我国许多地方政府,也在积极探索在WEB2.0时代推进电子政务的新做法,许多政府网络,在服务功能上正在加强。例如广州的政府网站,就在积极探索个性化、人性化的服务。如果能跟上云计算的潮流,我国电子政务就能跟上时代的步伐。

云计算让电子政务跟上时代的步伐——向智慧政府迈进!

上一篇:研课磨课体会范文下一篇:杨柳教学设计范文