云计算及关键技术

第一篇：云计算及关键技术

云计算的关键技术及发展现状

姓名：李云迪 学号：2320130001 北京大学

摘要：云计算从最早的提出概念到现今各大云服务提供商的研发，实际只在短短几年时间。目前，最简单的云计算技术在网络服务中已经随处可见，例如搜索引擎、网络邮箱等，使用者只要输入简单指令即能得到大量自己所需的信息。但是，从一种新的业务模式的发展周期来看，尤其是从我国的情况来看，目前的云计算还只能算是初步发展阶段。本文主要对云计算技术的应用特点、发展现状、利处与弊端以及对云计算的应用存在的主要问题进行了探讨分析，最后是关于云计算的挑战及其展望。

关键词：云计算;云服务提供商;云计算应用;技术发展

1、云计算的定义

计算机的应用模式大体经历了以大型机为主体的集中式架构、以pc机为主体的c/s分布式计算的架构、以虚拟化技术为核心面向服务的体系结构(soa)以及基于web2.0应用特征的新型的架构。云计算发展的时代背景是计算机的应用模式、技术架构及实现特征的演变。

“云计算”概念由google提出，一如其名，这是一个美妙的网络应用模式。在云计算时代，人们可以抛弃u盘等移动设备，只要进入google docs页面，新建一个文档，编辑其内容，然后直接把文档的url分享给朋友或上司，他们就可以直接打开浏览器访问url。我们再也不用担心因pc硬盘的损坏而发生资料丢失事件。

云计算的定义众多，目前广为认同的一点是，云计算是网格计算、分布式处理、和并行处理的发展，或者说是这些计算机科学概念的商业实现。云计算是一种资源交付和使用模式，用户通过网络即可获得应用所需的资源(硬件、软件、平台)。云计算将计算从客户终端集中到“云端”，作为应用通过互联网提供给用户，计算通过分布式计算等技术由多台计算机共同完成。用户只需要关心应用的功能，而不必去关心应用的实现方式，所有应用的实现和维护由其提供商完成，用户只要根据自己的需要选择相应的应用即可。云计算是一种计算的方式，而不是一个工具、平台或者架构。

2、云计算的原理

云计算的基本原理是，通过把计算分布在大量的分布式计算机上，而不是本地计算机或远程服务器中，企业数据中心的运行将更相似于互联网。这使得企业能够将资源切换到需要的应用上，根据需求访问存储系统和计算机。云计算就是把普通的服务器或者个人计算机连接起来，以获得超级计算机或者叫高可用性和高性能计算机的功能，可是成本却更低。

云计算是全新的基于互联网的超级计算理念和模式。实现云计算的具体基础设施需要结合多种技术，需要软件实现对硬件资源的虚拟化管理和调度，即把存储于个人电脑、移动电话和其他设备上的大量信息和处理器资源集中在一起，协同工作。

3、云计算的核心技术

云计算系统运用了很多的技术，其中最关键的技术包括数据管理技术、编程模型、数据存储技术、云计算平台管理技术、虚拟化技术等。

3.1 编程模型

mapreduce是google开发的java、python、c++编程模型，它是一种高效的任务调度模型和简化的分布式编程模型，主要用于大规模数据集(大于1tb)的并行运算。严格的编程模型会使云计算环境下的编程变得很简单。mapreduce模式的思想是把需要执行的问题分解成map(映射)和reduce(化简)的方式，先通过map程序将数据切割成不相关的部分，然后分配给大量计算机处理，达到分布式运算的效果，再通过reduce程序将结果汇整并且输出。

3.2 海量数据分布存储技术

云计算系统由大量服务器组成，同时还为大量用户进行服务，所以云计算系统采用的是分布式存储的方式来存储数据，用冗余存储的方式来保证数据的可靠性。hadoop团队开发的gfs的开源实现hdfs和google的gfs是云计算系统中广泛使用的数据存储系统。

3.3 虚拟化技术

通过虚拟化技术可以把软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据其对象可分成网络虚拟化、计算虚拟化、存储虚拟化等等，计算虚拟化又分为桌面虚拟化、系统级虚拟化和应用级虚拟化。

3.4 云计算平台管理技术

云计算的资源规模庞大，服务器数量很多并且都分布在不同的地点，同时运行着几百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务则是个巨大的挑战。

4、我国云计算产业发展现状

我国云计算服务市场处于起步阶段，云计算技术与设备已经具备一定的发展基础。我国云计算服务市场总体规模较小，但追赶势头明显。据Gartner估计，2011年我国在全球约900亿美元的云计算服务市场中所占份额不到3%，但年增速达到40%，预期未来我国与国外在云计算方面的差距将逐渐缩小。

大型互联网企业是目前国内主要的云计算服务提供商，业务形式以IaaS+PaaS形式的开放平台服务为主，其中IaaS服务相对较为成熟，PaaS服务初具雏形。我国大型互联网企业开发了云主机、云存储、开放数据库等基础IT资源服务，以及网站云、游戏云等一站式托管服务。一些互联网公司自主推出了PaaS云平台，并向企业和开发者开放，其中数家企业的PaaS平台已经吸引了数十万的开发者入驻，通过分成方式与开发者实现了共赢。

ICT制造商在云计算专用服务器、存储设备以及企业私有云解决方案的技术研发上具备了相当的实力。其中，国内企业研发的云计算服务器产品已经具备一定竞争力，在国内大型互联网公司的服务器新增采购中，国产品牌的份额占到了50%以上，同时正在逐步进入国际市场;国内设备制造企业的私有云解决方案已经具备千台量级物理机和百万量级虚拟机的管理水平。

软件厂商逐渐转向云计算领域，开始提供SaaS服务，并向PaaS领域扩展。国内SaaS软件厂商多为中小企业，业务形式多以企业CRM服务为主。领先的国内SaaS软件厂商签约用户数已经过万。

电信运营商依托网络和数据中心的优势，主要通过IaaS服务进入云计算市场。中国电信于2011年8月发布天翼云计算战略、品牌及解决方案，2012年将提供云主机、云存储等IaaS服务，未来还将提供云化的电子商务领航等SaaS服务和开放的PaaS服务平台。中国移动自2007年起开始搭建大云(BigCloud)平台，2011年11月发布了大云1.5版本，移动MM等业务将在未来迁移至大云平台。中国联通则自主研发了面向个人、企业和政府用户的云计算服务“沃·云”。目前“沃·云”业务主要以存储服务为主，实现了用户信息和文件在多个设备上的协同功能，以及文件、资料的集中存储和安全保管。

IDC企业依托自己的机房和数据中心，将IaaS作为云服务切入点，目前已能提供弹性计算、存储与网络资源等IaaS服务。少数IDC企业还基于自己的传统业务，扩展到提供PaaS和SaaS服务，如应用引擎、云邮箱等。

5、云计算的挑战和展望 云计算技术的发展面临这一系列的挑战，例如：使用云计算来完成任务能获得哪些优势;可以实施哪些策略、做法或者立法来支持或限制云计算的采用;如何提供有效的计算和提高存储资源的利用率;对云计算和传输中的数据以及静止状态的数据，将有哪些独特的限制;安全需要有哪些;提供可信还击你给都需要些什么。此外，云计算虽然给企业和个人用户提供了创造更好的应用和服务的机会，但同时也给了黑客机会。云计算宣告了低成本超级计算机服务的可能，一旦这些“云”被用来进行各种攻击或者破译各类密码，将会对用户的数据安全带来极大的危险。所以，在安全问题和危险因素被有效的控制之前，云计算不容易得到彻底的应用和接受。

云计算未来有两个发展方向：第一个是构建与应用程序紧密结合的大规模底层基础设施，为应用能够扩展到更大的规模提供可能;第二个是构建新型的云计算应用程序，在网络上提供更加丰富的用户体验。第一个发展趋势能够从现在的云计算研究状况中体现出来，而在云计算应用程序的构造上，很多新型的社会服务型网络，如facebook等，也已经体现了这个趋势，而在研究上则开始注重通过云计算基础平台将多个业务融合起来。

作为一种新兴的技术，云计算可以预想未来前景的无限光明。当互联网遇到了新的发展契机，云计算必将在不久的将来展示出强大的生命力，推动it产业跨越式发展。

参考文献：

[1]孟宏伟,黄丽芳.云计算解析[j].硅谷,2010,(10):35-36 [2]陈全,邓倩妮.云计算及其关键技术[j].计算机应用,2009,(09). [3]钟志水.云计算的现在和未来[j]现代计算机(专业版),2010,(01). [4]郭春梅,毕学尧,杨帆.云计算安全技术研究与趋势[j].信息网络安全,2010,(04):16-17. [5]李德毅,陈桂生,张海粟.云计算热点问题分析[j].中兴通讯技术,2010,(04):1-5. [6]李胜.浅谈云计算[j].电脑知识与技术,2010,(09):2140-2141

第二篇：云计算发展关键在应用

摘要：正值我国云计算产业逐渐进入理性发展阶段，第五届中国云计算大会昨日在北京开幕。此次大会受到领导与专家的高度重视。陕西省省长娄勤俭、工业和信息化部副部长刘利华、原信息产业部部长吴基传等出席会议。与会的领导与专家一致认为，应用是云计算产业发展的关键，整个产业在网络基础设施建设、产业布局、发展环境等方面还需努力完善。

正值我国云计算产业逐渐进入理性发展阶段，第五届中国云计算大会昨日在北京开幕。此次大会受到领导与专家的高度重视。陕西省省长娄勤俭、工业和信息化部副部长刘利华、原信息产业部部长吴基传等出席会议。与会的领导与专家一致认为，应用是云计算产业发展的关键，整个产业在网络基础设施建设、产业布局、发展环境等方面还需努力完善。

面临扩大信息消费难得机遇

我国云计算产业正面临难得的发展机遇。对此，娄勤俭指出，一方面“四化”同步发展战略将推动一大批行业转型升级、催生企业多样的信息化应用，对云计算的需求快速增加。另一方面，民生的建设与内需的扩大需要资金流、信息流、物流融合发展，从而催生新的产业和具有竞争力的企业。云计算产业正迎来难得的发展机遇。

作为信息消费的重要组成部分，云计算将有望在国家鼓励信息消费的大潮中“闻„机‟起舞”。刘利华认为，我国信息技术资源分布不均匀，市场需求复杂多样，发展云计算对提升我国信息化水平、推进信息消费有着促进作用。

此外，被认为是信息通信行业新的增长点的云计算，正受到越来越多的关注。对此，刘利华强调，我国云计算产业发展迅速，技术和应用创新活跃，商业模式逐渐成熟，其便捷、高效、集约的优势日趋明显，云计算已经成为信息通信行业新的增长点。随着移动互联网、大数据的兴起，云计算市场需求还将进一步增长。

基础设施支撑不够

尽管我国云计算产业取得了长足进步，但整个产业存在的问题也在发展中显露出来。吴基传认为，基础设施支撑不足、宽带不宽，服务种类有限、服务规模不大，产业链不全、商业模式不成熟、政策法规环境不完善以及用户对云计算安全仍有担心等问题正困扰着我国云计算产业的健康发展。针对这些问题，包括政府等各方正在积极把脉、寻求解决之道。 在网络等基础设施建设上，刘利华表示，要加快提升宽带接入普及率、速率和传输网交换能力，加强农村地区宽带网络覆盖，加快发展移动通信网络，提高移动宽带接入水平。

在产业布局上，娄勤俭认为，要合理布局云计算数据中心，统筹考虑能源供给、气候环境、地质灾害、网络设施、产业配套、人力资源、交通和物流能力、能源供应等方面的条件，引导大型云计算数据中心建在能源丰富、气候条件好、地质灾害少、土地较为充裕的地区，从而提高云计算数据中心的使用效率。

谈到营造安全的发展环境时，娄勤俭提出“三要”：一要高度重视标准和安全问题，加快研究制定我国云计算标准化发展战略，积极参与国际标准的制定;二要加强云计算安全风险分析，完善个人信息保护、跨境数据流动等制度的建立;三要推进云计算诚信体系建设。吴基传则提出，要建立和完善云计算安全防护与评价体系，让所有使用云服务者放心，让用户能够对存放在云端的信息放心。在推广应用实践中，逐步完善云间交付的接口标准，完善和健全云服务行业的自律与管理制度。

推进应用是发展关键

对于云计算产业的未来，关键在于应用成为与会领导专家的共识。娄勤俭认为，云计算必须建立在技术基础和商业应用的基础上，依靠技术创新引领市场应用，通过扩大应用推动技术创新。云计算让计算能力像水电一样按需供应，形成高效的现代信息服务体系，这一体系可在智慧城市建设、精细化管理、社区管理、食品药品监管等方面大展身手，并推动社会资源的共享，为百姓提供更加便捷、高效的服务。同时，要利用云计算强大的数据存储和数据挖掘、分析处理能力，从海量数据中提炼出有用的信息进行专业化处理。然后，将处理后的信息应用于城市管理、智能交通管理、环境监测等领域，通过这些更加真实准确的决策分析依据，推动社会资源配置的优化，提升社会管理和公共服务的水平。

对推进云计算应用，刘利华特别强调，加强云计算应用示范推广具有重要意义。要面向具有迫切应用需求的重点领域，积极组织实施试点示范工程，带动产业链上下游协调发展。另外，吴基传也提出两点建议：首先，要依靠国家已出台的云计算、物联网、数据中心建设的政策和指导方针，积极鼓励有能力的企业放手大胆地推进应用，优化数据中心布局、加快宽带战略实施，鼓励国有大型电信企业及互联网企业通过云计算提供各种有特色的公众信息服务。其次，要重点推动基础性、系统性的各类信息服务先行如位置云、物流云、医疗卫生云等，从应用的角度去推进云服务的实践。

第三篇：云计算技术

东方赛普 物联网产业研究院

云计算技术

云计算技术

1 东方赛普 物联网产业研究院

云计算技术

第一章 云计算基础

现在，“云计算”越来越成为人们所关注的一个名词，因为它代表了信息时代的未来，云计算被视为科技业的下一次革命，而它也将对工作方式和商业模式带来根本性的改变，那么，什么是云计算?云计算有什么用处?它将如何改变整个世界?„„一连串的问题等待解答。

实际上，云计算不能算是一个全新的概念，它是并行计算、分布式计算和网格计算的综合和发展。但是，它将是一项颠覆性的技术。

何为云计算?

在解释什么是云计算之前，我们从感性上感受一下云计算的魅力，基于云计算平台的各种服务，将大大地简化人们的日常生活。

云作为数据中心，您可以：

多部手机、电脑或终端使用同一份联系人，不用担心手机丢失;

不用再管理纸质的名片，因为整个CRM客户关系管理系统都在云中，你可以通过浏览器、手机、笔记本等任一终端管理你的客户云作为运算中心，您还可以„„

粗略地计算，目前的个人计算机每个CPU芯片的处理能力是200MIPS，就是每秒种执行两亿次指令，当今社会，PC依然是我们日常工作生活中的核心工具——我们用PC处理文档、存储资料，通过电子邮件或U盘与他人分享信息。如果PC硬盘坏了，我们会因为资料丢失而束手无策。

而在“云计算”时代，“云”会替我们做存储和计算的工作。“云”就是计算机群，每一群包括了几十万台、甚至上百万台计算机。“云”的好处还在

2 东方赛普 物联网产业研究院

云计算技术

于，其中的计算机可以随时更新，保证“云”长生不老。Google就有好几个这样的“云”，其他IT巨头，如微软、雅虎、亚马逊(Amazon)也有或正在建设这样的“云”。届时，我们只需要一台能上网的电脑，不需关心存储或计算发生在哪朵“云”上，但一旦有需要，我们可以在任何地点用任何设备，如电脑、手机等，快速地计算和找到这些资料。我们再也不用担心资料丢失。

云计算是个热度很高的新名词。由于它是多种技术混合演进的结果，其成熟度较高，又有大公司推动，发展极为迅速。Amazon、Google、IBM、微软和Yahoo等大公司是云计算的先行者。云计算领域的众多成功公司还包括Salesforce、Facebook、Youtube、Myspace等。

狭义云计算：是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源。

广义云计算：是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。云计算的产业三级分层：云软件、云平台、云设备。

服务模式角度：云计算是一种全新的网络服务模式，将传统的以桌面为核心的任务处理转变为以网络为核心的任务处理，利用互联网实现自己想完成的一切处理任务，使网络成为传递服务、计算力和信息的综合媒介，真正实现按需计算、网络协作。

技术角度：云计算(Cloud Computing)是对并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展或商业实现。

3 东方赛普 物联网产业研究院

云计算技术

超大规模和虚拟化的云技术

云具有相当的规模

Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器，企业私有云一般拥有数百上千台服务器，“云”能赋予用户前所未有的计算能力和存储能力。

云提供虚拟的和透明的计算服务

应用服务(也可以说是应用程序)运行在云中。

所请求的资源来自“云”，而不是固定的有形的实体。

应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。

云计算支持用户在任意位置、使用各种终端获取应用服务。

只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

云计算的产生和发展

云计算产生

在计算机产生后的相当长的一段时间内，计算机网络都还处于一个黑暗时代。但是到了上世纪90年代以后，网络出现了爆炸式发展，进入了网络泡沫时代。

在21世纪初期，正当互联网泡沫破碎之际，Web2.0的兴起，让网络迎来了一个新的发展高峰期。

在这个Web2.0的时代，Flickr、MySpace、FaceBook、YouTube等网站的访问量，已经远远超过传统门户网站。用户数量多以及用户参与程度高，是这些网站的特点。因此，如何有效地为如此巨大的用户群体服务，让他们参与时能

4 东方赛普 物联网产业研究院

云计算技术

够享受方便、快捷的服务，成为这些网站不得不解决的一个问题。

而与此同时，凭借Google文件系统搭建起来Google服务器群，为Google提供强大的搜索速度与处理能力。于是，如何有效利用这些这种技术，为更多的企业或个人提供强大的计算能力与多种多样的服务，就是像Google这样拥有巨大服务器资源的企业在考虑的问题。

正是因为一方对计算能力的需求，而另一方能够提供这样的计算能力，于是云计算就应运而生。

云计算发展历程

1983年，太阳电脑(Sun Microsystems)提出“网络是电脑”(“The Network is the Computer”)。

2006年3月，亚马逊(Amazon)推出弹性计算云(Elastic Compute Cloud;EC2)服务。

2006年8月9日，Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006)首次提出“云计算”(Cloud Computing)的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做的“Google 101”项目。

2007年10月，Google与IBM开始在美国大学校园，包括卡内基美隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等，推广云计算的计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持(包括数百台个人电脑及BladeCenter与System x服务器，这些计算平台将提供1600个处理器，支持包括Linux、Xen、Hadoop等开放源代码平台)。而学生则可以通过网络开发各项以大规模计算为基础的研究计划。

2008年1月30日，Google宣布在台湾启动“云计算学术计划”，将与台湾台大、交大等学校合作，将这种先进的大规模、快速计算技术推广到校园。

5 东方赛普 物联网产业研究院

云计算技术

2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计算研究测试床，推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台，每个数据中心配置1400个至4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄大学Steinbuch计算中心、美国伊利诺伊大学香宾分校、英特尔研究院、惠普实验室和雅虎。

2008年8月3日，美国专利商标局网站信息显示，戴尔正在申请“云计算”(Cloud Computing)商标，此举旨在加强对这一未来可能重塑技术2010年3月5日，Novell与云安全联盟(CSA)共同宣布一项供应商中立计划，名为“可信任云计算计划(Trusted Cloud Initiative)”。

2010年7月，美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划，微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。2011年2月，思科系统正式加入OpenStack，重点研制OpenStack的网络服务。

云计算的来临

 数据在云端：不怕丢失、不必备份、可以任意点的恢复  软件在云端：不必下载自动升级

 无所不在的计算：在任何时间、任意地点、任何设备登录后就可以进行计算  服务无限强大的计算：具有无限空间、无限速度。

6 东方赛普 物联网产业研究院

云计算技术

第二章 云计算相关概念

“云计算”是一个很新的概念，这个名词提出来才一两年，到目前为止，云计算没有什么标准化组织，连概念也不是十分清晰和准确的，对于云计算，各家有各家的说法，大家各执一辞。

本节将集各家之词，提出一个比较合理的概念和解释。

云

云是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、宽带资源等等。

云计算将所有的计算资源集中起来，并由软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。

有人打了个比方：这就好比是从古老的单台发电机模式转向了电厂集中供电的模式，它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

云计算特点

 超大规模：服务器群

 虚拟化：可以看作是一片用于计算的云  高可靠性：冗余副本、负载均衡  通用性：支撑千变万化的实际应用  高可扩展性：灵活、动态伸缩  按需服务：按需购买

 极其廉价：不再需要一次性购买超级电脑  安全： 摆脱数据丢失、病毒入侵

7 东方赛普 物联网产业研究院

云计算技术

 方便：支持多终端、数据共享

8 东方赛普 物联网产业研究院

云计算技术

第三章 云计算关键技术

云计算是并行计算、分布式计算和网格计算的综合和发展，为了更好地理解什么是云计算，我们先来简单了解一下它们之间的异同。

并行计算

概念：并行计算是指通过高速网络相互联接的两个以上的处理机相互协调，同时计算同一个任务的不同部分，从而提高问题求解速度，或者求解单机无法求解的大规模问题。

并行计算是相对于串行计算来说的，所谓并行计算分为时间上的并行和空间上的并行，时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

特点：把计算任务分派给系统内的多个运算单元，大型机的多CPU和多存储器

并行计算问题的特征

 将工作分离成离散部分，有助于同时解决

 随时并及时地执行多个程序指令(多条线同时运行)  多计算资源下解决问题的耗时要少于单个计算资源下的耗时

分布式计算

概念：分布式计算是利用互联网上的计算机的CPU 的闲置处理能力来解决大型计算问题的一种计算科学。一个工作被分成多个任务包，同时在通过网络连接起来的计算机上运行。

特点：把计算任务分派给网络中的多台独立的机器

优点：

 稀有资源可以共享

9 东方赛普 物联网产业研究院

云计算技术

 通过分布式计算可以在多台计算机上平衡计算负载  可以把程序放在最适合运行它的计算机上

网格计算

概念：网格计算是指分布式计算中比较广泛使用的子类型。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”，所以这种计算方式叫网格计算。它可以分析来自外太空的电讯号，寻找隐蔽的黑洞，并探索可能存在的外星智慧生命;可以寻找最大的质数，破解数学难题;可以分析气候的变化，应对环境问题。

特点：网格(Grid)这个词来自于电力网格(PowerGrid)。“网格”与“电力网格”形神相似，一方面，计算机网纵横交错，很像电力网;另一方面，电力网格用高压线路把分散在各地的发电站连接在一起，向用户提供源源不断的电力。用户只需插上插头、打开开关就能用电，一点都不需要关心电能是从哪个电站送来的，也不需要知道是水力电、火力电还是核能电。建设网格的目的也是一样，其最终目的是希望它能够把分布在因特网上数以亿计的计算机、存储器、贵重设备、数据库等结合起来，形成一个虚拟的、空前强大的超级计算机，满足不断增长的计算、存储需求，并使信息世界成为一个有机的整体。，实际上，网格计算就是分布式计算的一种。如果我们说某项工作是分布式的，那么，参与这项工作的一定不只是一台计算机，而是一个计算机网络，显然这种“蚂蚁搬山”的方式将具有很强的数据处理能力。网格计算的实质就是组合与共享资源并确保系统安全。

效用计算

概念：效用计算(Utility Computing)是一种提供计算资源的商业模式，用户从计算资源供应商获取和使用计算资源并基于实际使用的资源付费。简单说，是一种基于资源使用量的付费模式。效用计算主要给用户带来经济效益。

虚拟化

10 东方赛普 物联网产业研究院

云计算技术

概念：云计算中心使用虚拟化技术管理服务器资源。虚拟化指对计算资源进行抽象的一个广义概念。虚拟化对上层应用或用户隐藏了计算资源的底层属性。它既包括使单个的资源(比如一个服务器，一个操作系统，一个应用程序，一个存储设备)划分成多个虚拟资源，也包括将多个资源(比如存储设备或服务器)整合成一个虚拟资源。

11 东方赛普 物联网产业研究院

云计算技术

第四章 云计算的服务层次

InfoWorld网站同数十家公司、分析家和IT用户讨论出了云计算的几大形式，下面将大体介绍每一种云计算形式。

云计算服务类形

 基础设施即服务( IaaS)  软件即服务( SaaS )  网络服务

 平台即服务(PaaS)  管理服务提供商(MSP)  商业服务平台  云安全

基础设施即服务——IaaS

IaaS是为IT行业创造虚拟的计算和数据中心，使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施，集中起来成为一个虚拟的资源池来为整个网络提供服务。

IaaS服务向用户提供基本的计算、存储和网络资源，用户基于这些资源，可安装任意的操作系统软件和应用软件以完成计算。例如Amazon EC2为用户提供弹性云计算服务。

Amazon使用弹性计算云(EC2)和简单存储服务(S3)为企业提供计算和存储服务，收费的服务项目包括存储服务器、带宽、CPU资源以及月租费。月租费与电话月租费类似，存储服务器、带宽按容量收费，CPU根据时长(小时)运算量收费，Amazon把云计算做成一个大生意没有花太长的时间：不到两年时间，Amazon上的注册开发人员达44万人，还有为数众多的企业级用户。

12 东方赛普 物联网产业研究院

云计算技术

有第三方统计机构提供的数据显示，Amazon与云计算相关的业务收入已达1亿美元。云计算是Amazon增长最快的业务之一。

S3：S3的基础窗口是桶，桶是存放文件的容器。S3给每个桶和桶中每个文件分配一个URI地址，因此你可以通过http或者https协议进行访问。(认证、权限控制)，Google App Engine这种服务让开发人员可以编译基于Python的应用程序，并可免费使用谷歌的基础设施来进行托管(最高存储空间达 500MB)。

对于超过此上限的存储空间，谷歌按“每CPU内核每小时”10至12美分及1GB空间15至18美分的标准进行收费。

软件即服务——SaaS SaaS是一种基于互联网提供软件服务的应用模式，使用基于web的软件提供在线软件服务，例如，国内厂商八百客、沃利森的CRM、ERP的在线应用，用友、金蝶的在线财务软件，国外的Salesforce.com、RightNow提供的CRM在线应用。

SaaS是一种随着互联网技术的发展和应用软件的成熟，在21世纪开始兴起的完全创新的软件应用模式，SaaS服务模式与传统的销售软件永久许可证的方式有很大的不同，它采用软件租赁的形式。这种模式是未来管理软件的发展趋势 。

现阶段这种类型的云计算通过浏览器把程序传给成千上万的用户，在用户眼中看来，这样会省去在服务器和软件授权上的开支;从供应商角度来看，这样只需要维持一个程序就够了，这样能够减少成本。

对于广大中小型企业来说，SaaS是采用先进技术实施信息化的最好途径。企业无需购买软硬件、建设机房、招聘IT人员，即可通过互联网使用信息系统。就像打开自来水龙头就能用水一样，企业根据实际需要，向SaaS提供商租赁软件服务。SAAS在人力资源管理程序和ERP中比较常用，Salesforce.com是迄今为止这类服务最为出名的公司，Google Apps和Zoho Office也是类似的服务。

网络服务

提供API让开发者能够开发更多基于互联网的应用，中移动的 Fetion Web Service。

13 东方赛普 物联网产业研究院

云计算技术

网络服务是一组组存在于互联网上的API，也就是一些具有URL的函数，给用户提供二次开发的能力

平台即服务——PaaS

把服务器平台或开发环境作为一种服务提供的商业模式，提供集成开发环境、服务器平台等服务，用户使用PaaS开发应用程序并通过互联网和其服务器传给其他用户。例如，Google AppEngine 让用户可以Google的基础架构上运行网络应用程序，Amazon S3提供简单存储服务。

所谓PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用，但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。

国内的SaaS厂商八百客的PAAS开发平台，用户不再需要任何编程即可开发包括CRM、OA、HR、SCM、进销存管理等任何企业管理软件，而且不需要使用其他软件开发工具并立即在线运行

云计算

云计算技术将使得中小企业的成本大大降低，过去，小公司人力资源不足，IT预算吃紧，包括服务器硬件、服务器操作系统和数据库系统的授权、网络带宽等，一切都需要钱，而如今，云计算为它们送来了大企业级的技术，并且先期成本极低，升级也很方便。

14 东方赛普 物联网产业研究院

云计算技术

第五章 云计算发展难题与障碍

对于“云计算”，业界已经为之争论了不止一年，IBM、微软、Google等产业大哥们也各自运功，以“云计算”作为获得未来产业主动权的阵地，作为消费者，我一直觉得“云计算”是未来的IT行业的发展趋势，但是：“云计算”何时才能从云端到地面? 关于“云计算”技术标准和发展方向的争论依然此起彼伏，我们却已经悄然步入“云计算”的年代。

云计算技术难点

高可靠的系统技术

 支撑云计算的是大规模的集群计算系统，当系统规模增大后，可靠性和稳定性就成为最大的挑战之一。

可扩展的并行计算技术

 并行计算技术是云计算的核心技术，也是最具挑战性的技术之一。多核处理器的出现增加了并行的层次性能使得并行程序的开发比以往更难。

海量数据的挖掘技术

 云计算面对的是TB乃至PB级的海量数据，如何从数据中获取有效的信息，这将是决定云计算应用成败的关键。

数据安全技术---云安全技术

 将原本保存在本地、为自己所掌控的数据交给一个外部的云计算服务中心，这样一个改变并不容易。网络技术的发展，使得带宽将不会成为主要障碍，安全性依旧是最重要的顾虑。

所有数据都存储在云中，不管是个人的多媒体数据，还是企业的敏感数据。目前网上最流行的基于网络的商业应用是工资和客户账户管理，这是最敏感的商

15 东方赛普 物联网产业研究院

云计算技术

业信息之一。

此类信息泄露事件已经发生了不止一起，并且每次都是大规模的数据外泄。去年，美国零售商TJX约有4500万份用户信用卡号被黑客盗取。英国政府丢失2500万人的社会保障号码等资料。在线软件公司salesforce.com也丢失了100万份用户的Email和电话号码，个人的私有数据还好一点，但企业的商业数据，云服务提供商必须具有强大的威信和信誉，保证不窃取用户的私有数据。

云系统是向全世界公开的，因为它要保证用户能随时随地通过各种信息终端访问服务，所以黑客就有同样的机会窃取信息。

云计算是一个巨大的系统，计算能力是最牛的，信息吞吐量是海量的，但是，它的效率肯定不是最高最优的，云系统是一个巨大的服务器集群，每时每刻都在消耗电能。

当计算机硬件的价格遵循着摩尔定律在不断下降，但是功耗方面的支出却随着通货膨胀和油价上涨而不断地攀升。

当Google的每次搜索被人换算成二氧化碳排放量，自己都不得不把处理中心部署在水电站附近，甚至还准备建立自己的电厂。

16 东方赛普 物联网产业研究院

云计算技术

第六章 云计算应用实例

Google的云计算平台

Google最早提出了“云计算”的概念。Google提出了一整套基于分布式并行集群方式的基础架构，利用软件来处理集群中经常发生的节点失效问题。

IBM 的“蓝云”计划

IBM通过将Tivoli、DB

2、WebSphere与硬件产品(目前是x86刀片服务器)集成，为企业架设一个分布式、可全球访问的资源结构。

微软的云计算平台

微软推出了名为“Azure Services Platform”的云计算平台,我们可以把Windows Azure理解云计算中心的操作系统，它的底层是数据中心中数量庞大的Windows 64位服务器。Windows Azure通过底层的结构控制器(Fabric Controller)，有效的将这些服务器组织起来，给前端的应用提供计算和存储能力，并保证其可靠性。

Amazon的弹性计算云平台EC 2 EC2是Amazon所开发的云端运算服务环境，它提供客户租赁虚拟执行环境，以供企业开发、测试或执行自己的应用程序，客户可以选择每个执行环境的规格，自己定义需要的内存空间、运算单位及储存空间等。

第四篇：云计算的安全技术综述

** 摘要：云计算是一类新兴的计算方式，也是一种按使用量付费的全新交付模式，因其使快速有效处理海量的数据变为可能，从而引起社会各界的广泛关注。本文首先论述了云计算的兴起渊源，分析了算法的优越性，并介绍了该技术带来的安全问题及其相应的技术，最后介绍了相关应有及未来的发展方向。

关键词：云计算;云计算安全;安全技术及应用

Keyword:Cloud Computing,Cloud Computing Security,Security Technology and application 0 引言

云是一种并行和分布式系统组成的一组相互关联和虚拟化的计算机，它基于服务层协议动态配置，作为一个或多个统一的计算资源，基于服务商和消费者之间通过谈判建立[9]。而所谓的云计算，是通过基Internet的计算方式，把共享的软硬件资源、信息按需供给计算机和其他设备，是一种按使用量付费的全新交付模式。

随着社会信息化与网络技术的快速发展，各种数据呈现出一种爆发式的增长，正是因为云计算的存在，使快速有效处理海量的数据变成可能。而云计算多用户、虚拟化、可扩展的特性使传统信息安全技术无法完全适用于云计算平台。因此，云计算的存在又带来了一个新的安全问题，它成为制约云计算发展的一大重要因素。本文首先阐述了云计算的理论依据，然后再对其带来的安全问题、关键技术及其应用进行讨论。 1 云计算的理论依据

云计算的概念是由2006年Google提出的，它可认为是分布计算、并行计算、网格计算等多种计算模式混合的进一步演化[17]。 1.1云计算的服务模型

现如今，云计算主要提供以下三个层次的服务：IaaS、SaaS和 PaaS。

基础设施级服务(IaaS)是通过Internet向用户提供计算机、存储空间、网络连接、防火墙等等的基本的计算机资源，然后用户可以在此基础上随心所欲的部署和运行各种软件，其中包括OS和应用程序，通过网络，消费者可以从完善的计算机基础设施获得服务。 软件级服务(SaaS)是一种通过Internet提供软件的模式，用户可以直接向供应商租用基于Web的软件，用来管理企业的运营却不需要购买，但是，云用户没有管理软件运行的基础设施、平台的权限，只能做一些非常有限的应用程序的设置。

平台级服务(PaaS)是将软件研发平台作为一种服务以SaaS的模式交付给用户，因此，PaaS实际上也是SaaS应用的一种，但它主要面向的是进行开发的工作人员，并为其提供在互联网上的自主研发、检测、在线部署应用。 1.2云计算的成功优势 云计算之所以能够被广泛利用,是因为它有着传统IT服务没有的优势。

一、资源池化和透明化。对云服务供应者来说,云计算采用虚拟化技术对各种底层资源如计算、储存、网络、资源逻辑等资源进行抽象,可以被统一管理和调度,成为所谓的“资源池”,从而为用户提供按需服务;对用户来说,这些资源是透明、无限大的,用户无须了解内部结构、所用资源具体物理位置,也不用参加具体的设备管理,只用关心自己的需求是否得到满足就可以了,体现云计算资源抽象化的优点,同时降低用户对于IT专业知识的依赖。

二、按需访问、按需服务。云计算为用户提供了三种不同层次的服务，因此用户只需拥有网络就可随时随地地接入云中，使用浏览器或其他形式的接口就可以较为方便轻松的访问自己所需的软件服务和资源，而所有的有关于服务管理的工作则交给云供应商完成，这样的机制则让用户使用各种软件服务和各类资源如煤气、水电一样取用方便且费用低廉。 2 云计算的安全问题

虽然云计算可以为用户提供最大化资源利用的、自定义的、可靠的服务，是种新的分布式计算模式，它与传统的IT网络服务相区别，但传统信息安全的各种威胁都适用于计算机云平台。而它本身的动态服务的特性，给信息界带来一场巨大的变革，而该变革给信息安全领域带来的冲击是巨大的，具体表现在：(1)在云平台中运行的各类云应用的基础设施和安全边界随时随地都在发生着改变，因此，针对于用户的数据安全、隐私保护非常难以实现;(2)部署安全防护措施由于多个管理者共同享有云服务资源，存在必然的利益冲突，没有办法实现统一的规划;(3)由于云平台中的数据、计算高度集中的，因此，云计算的安全措施必须要满足海量的信息的处理需求。

综上，云计算安全问题成为发展云计算技术的重中之重。针对其复杂性，云计算的安全问题也应该是一个包括管理、技术、法律法规的综合体，它的安全的总体框架如图1所示：

图1 云计算安全总体框架

3 数据安全

云计算的特点决定了数据要实现在“云”端的集中存储，就必须要保障不同用户数据的安全隔离;云端的服务器可能会“宕机”，在这种情况下，如何安全高效的进行数据迁移非常关键;云计算采用租赁方式向用户提供资源，这意味着一个用户使用过的存储区域会被其他用户使用，因而必须解决好数据残留问题。 3.1 云环境下的数据安全存储面临以下挑战 (1)数据的加密存储

在传统信息系统中，一般采用加密方式来保证存储数据的安全性和隐私性。但在云中，这样做起来却并不容易，因为对于任何需要被云应用或程序处理的数据，都是不能被加密的，很多类似于检索、运算这样的操作对于加密的数据甚至无法进行。

(2)数据隔离

多租户技术是PaaS和SaaS云用到的关键技术。由于云计算采用共享介质的数据存储技术，不同用户的数据可能会被存储在同一物理存储单元上。尽管云服务供应商会使用一些隔离技术(如数据标签和访问控制技术相结合)来防止对混合存储数据的非授权访问，但它依然能通过程序漏洞实现，如Google Does在09年3月就发生过不同用户间文档的非授权访问。

(3)数据迁移

当云中的服务器“宕机”时，为了确保正在进行的服务器继续进行，需要将正在工作的进程迁移到其他服务器上。为了让用户几乎无法感受到“宕机”的发生，迁移必须高速进行;为了让进程在新的机器上恢复运行，必须保证数据的完整性。

(4)数据残留

残留数据是指删除数据后的残留形式，逻辑上已经被删除，但物理上依然存在。残留数据可能无意中透露用户的敏感信息，攻击者可能捕获这些痕迹恢复出原始数据。而在云中，残留数据可能导致一个用户的数据无意被透露给未授权的一方。所以在存储空间再次分配给其他租户之前，云服务商须向用户保证并证明用户储存空间在释放、共享或分配至其他用户之前，空间内信息都已全部删除[1]。 3.2 云数据安全存储技术研究

加密无疑是保护云中存储的数据的安全性和隐私性的重要方法之一。如今我国计算机所使用的传统加密技术主要有两类：一种为对称加密技术，另一种为非对称加密技术。当前被关注的安全存储技术包括同态加密技术、基于VMM的数据保护技术等等。 3.2.1 云数据安全存储框架

微软研究院的Kamara等人提出了面向公有云的加密存储框架，该框架的主要特点有两个：数据由所有者控制：数据的安全性由密码机制保证。该框架除了能解决数据存储 的隐私问题和安全问题外，还能解决数据访问的合规性、法律诉讼、电子取证等问题。不过，该框架只是一个宏观的模型，并没有给出具体实现方法。

文献[7]中提到了一种分散式云存储安全架构。该架构采用信息扩散法、分散存储管理、数据自举恢复等技术，分层实现数据的安全存储管理和传输。该方法定期检查数据片受损情 况，若存在受损数据，则根据互为冗余的存储设备上的数据加以恢复，从而提高数据的可用 性。从数据存储到传输，都建立了相应的保护措施，进行云存储层与其他层间的安全防范，实现了数据的有效防护。该架构并没有具体说明如何保证数据的完整性，数据分片难以确保数据 的隐私性和安全性。 3.2.2 云数据安全存储技术

(1) 同态加密技术

运用这种加密技术可以实现明文上执行指定的代数运算，结果等同于在密文上的另一个(可能是不同运算)代数运算结果同态加密。其思想起源于私密同态，它允许在不知道解密函数的前提下对加密数据进行计算。文献[7]中提到了一种同态加密算法，它通过运用向量和矩阵的各种运算来实现对数据的加解密，并支持对加密字符串的模糊检索和对密文数据的加减乘除，该算法在执行加减运算时效率较高，但在执行乘除运算时效率较低，且运算代价随向量维度的增加而增加。

(2) 基于VMM的数据保护技术

有一种基于VMM的云数据机密性保护方法，它基于SSL来保证数据传输的安全，利用Daoli安全虚拟监控系统保护数据存储的安全。该方法将云端的OS和分布式文件系统进行隔离，数据加密由虚拟机监控系统来完成，实现OS和用户数据的隔离。虽然该方法保证多租户环境下隐私数据不会泄露给其他用户，但数据还是可能会泄露给云服务提供商。

(3) 基于加解密的数据安全存储技术

公有云中存储的数据一般属于外包数据，存在不少基于传统的加解密技术的研究来确保外包数据的安全。有基于代理重加密方法的数据分布式安全存储方案[2]，但该方案存在恶意服务器和任意一个恶意用户勾结就能计算出所有密文数据的解密密钥的漏洞，严重威胁数据的安全;还有一种基于密钥导出方法的非可信服务器数据安全存储方案，但文件创建操作及用户授权/撤销的复杂性与用户数量成线性关系，这使得系统规模难以扩展。

(4) 支持查询的云数据加密存储技术

使用SE，用户将查询关键字或查询条件提交给云中的查询服务器，查询服务器通过检索关键字索引找到符合条件的数据，然后将查询结果返回给用户。但SE要求输入的查询关键字不能有任何错误且格式必须遵循规定的统一格式。针对这一问题，有一种面向云密文数据的模糊查询方法，它可以将关键字和事先生成的模糊关键字集合进行匹配，密文无需解密，文件的安全性得到保证。

(5) 基于可信平台的数据安全存储技术

由于软硬件的不可信也是造成云数据存储面临挑战的重要原因，文献[7]中提到了一种针对使用数据保护提出了基于二次混淆的隐式分割机制。但该方案在使用数据存储是进行的二次分割和矩阵运算时存储效率低，难以扩展。 4 应用安全

云计算应用为广大用户提供了极大方便，但是又由于其将大量的使用者、信息资源过于集中在一起，这样一来，假设出现安全问题，它的结果是我们承担不起的。而用户在使用云应用的时候，信任应用程序会保护其数据，但实际上SaaS服务商对此并未作出任何承诺[3]。因此，应用安全也成为了阻碍云计算发展的非常重要的因素之一。 4.1 云计算下应用安全面临的主要问题 (1)终端用户安全

用户在使用云计算系统过程中，应确保自身计算机能够正常运行以及计算机的安全。目前用户获得云服务的主要接口就是浏览器，所以浏览器的安全与否极为重要。 要实现端到端的安全，就必须采取一些措施来保护浏览器的安全。以免其受到入侵或破坏，从而保证数据运输过程中的安全。

(2)SaaS应用安全

在这种服务模式下，用户无需控制或是管理云计算系统当中的基础设施，云计算提供商维护管理所有应用，必须保证应用程序和组件的安全性。用户只需负责最高层面的安全问题，即用户自己的操作安全、个人密码等秘密信息的保管。选择SaaS的提供商要特别慎重，因为会负担绝大部分的安全责任，提供商要最大限度地确保提供给用户的服务的安全性。 4.2 云计算应用安全相关技术

对于终端的保护，可以采用终端控制技术，该技术的核心层面在于用户使用防护软件进行自身的数据保护。例如，在终端上安装安全软件，如杀毒软件、防火墙、防恶意软件等来确保计算机的安全性;与此同时，用户应及时更新自身所使用的浏览器，并及时更新系统，下载系统补丁，减少计算机中的漏洞。

对于SaaS的保护，用户应尽量了解云服务提供商所提供的云服务的虚拟数据存储架构，云服务提供商应加强软件的安全性管理。目前，对于提供商的评估方法是根据保密协议，要求提供商提供相关的安全实践信息，该信息应当包括黑盒与白盒安全测试记录。而企业所采用的安全防护手段就是及时进行云计算技术安全状态的检查。 5 虚拟化安全

虚拟化技术可以将多个OS整合到一台服务器上，从而简化计算框架，降低资源管理成本，减少资金与硬件设施的投入，从而更大化、最优化地使用硬件资源和计算资源，有效地实现云服务的可扩展性和可伸缩性。 5.1 云计算虚拟化安全面临的主要问题

虚拟化技术的采用，在对云服务的提供能力上有所增强，在基础设施和软件层面都有所改进。然而，也面临着一些安全问题，主要体现在：

(1)主机的损坏，随之而来的是客户端服务器的安全性受到威胁。 (2)虚拟网络的破坏，随之而来的也是客户端的损害。

(3)网络的安全性问题将直接导致客户端共享和主机共享的安全性能。 (4)主机的功能性问题将直接引发虚拟机的问题。

总的来讲，若云计算平台上采用了虚拟技术，则其云架构提供者必须对其客户提供安全性以及隔离保证，在应用虚拟化技术的时候归为两方面的风险：虚拟化软件安全和虚拟服务器安全 。 5.2 云计算虚拟化安全相关技术

(1)虚拟化软件安全

在IaaS云平台中，软件完全由云服务商来管理，用户不用访问此软件层。因此，虚拟化软件安全必须严格控制虚拟化软件层的访问权限, 这样才能保障计算机同时运行多个操作系统的安全性，对于云服务提供商来说必须建立健全的访问控制策略来保障虚拟化层次的用户数据安全。

(2)虚拟化服务器安全

在兼顾虚拟服务器特点的前提下，物理服务器的安全原理可以移植到虚拟服务器上应用，当虚拟服务器启动时，TPM安全模块会去检验用户密码，若此时输入的用户名和密码的Hash序列不对则虚拟服务器终止启动[13]。最好使用可支持虚拟技术的多核处理器,这样可以做到CPU间的物理隔离,这样可以避免许多不必要的问题。

除此之外，文献[13]中还提到了基于虚拟机技术实现的grid环境下的隔离执行机，核心分配可以通过缓存层次感知,和给予缓存划分的页染色的两种资源管理方法实现性能和安全隔离。

6 云计算的应用现状

(1) 在测试领域的应用

在软件测试方面，云供应商以按需租用的方式向用户提供SaaS、PaaS、IaaS3种层次的服务，使软件开发者无需以高成本高买、安装和配置本地测试环境，从而为软件测试提供极大便利;

在硬件测试方面，云计算的“平台级服务”的模式可以为硬件测试提供高效的解决方案，如Internet公司，采用iLab的私有云平台，通过虚拟化、链式克隆、安全通道、先进的整合手段与管理技术，以自助式服务站点管理测试实验室，可以在2min之内部署一个测试环境，将物理系统加入到虚拟测试环境中，从而有效的节省了部署测试环境的时间同时大大节省了成本;

在自动测试系统方面，文献[14]提出了一种基于云计算技术的自动测试系统架构方案，该方案测试基础资源由测试资源和云计算基础设施构成，是可通过网络访问的、可配置的共享测试资源池，测试管理平台是为测试开发者、使用者和管理者供的统一的服务平台，测试服务应用则是将测试提供给用户的最终环节，它可以比传统的测试系统具备更强大的功能、更优良的性能、更开放的结构、更灵活的使用方式以及更自由的操作

对于未来，我们可以利用云计算建立一个统一的平台，将大量分布式的测试资源有效管理和调用，使在开发测试系统时，不再受限于测试资源的有限性和地理位置的约束;还可以以云计算为基础架构，结合分布式测试和并行测试等技术，在紧急情况下集中管理、调用强大的云计算资源和一切可用的测试资源。

(2) 在图书馆中的应用

亚利桑那大学图书馆的IaaS应用案例，使用了Amazon Web Services，利用开源软件 DSpace构建数字化馆藏，利用开源软件Koha构建联合书目，采用Linode Cloud服务，利用开源软件Joomla构建图书馆网站。

在国内，正在实施中的CALIS数字图书馆云服务平台，将能够提供IaaS、PaaS、SaaS服务，构建大型分布式的公共数字图书馆服务网络，将云环境下各个图书馆的资源和服 务进行整合，为图书馆提供更多的服务。

文献[15]提出可以利用SaaS为图书馆提供服务，SaaS模式的优点使得中小型图书馆能更多地关注工作流程和读者服务;大型图书馆从成本的角度考虑也可以将部分分软件系统迁移到SaaS平台;还可以利用PaaS和IaaS为图书馆提供服务，利用开源软件快速部署图书馆软件应用平台，将开源软件与PaaS平台紧密结合，同时把图书馆部分应该部署到IaaS平台，以满足图书馆实际应用需求。

(3) 在云平台中的应用

由于应用软件缺乏成熟操作模型作为服务意味着云计算能力尚未开发和研究到充分开发的水平。因此，文献[16]提出在云环境中，自动上传一个新的数据框架后，适当认证和处理它们的任务(收集和共享)，以检验正确性假设。然后检查程序能力低于三参数，基于这三个参数可以找到更好的应用软件作为服务的方法。

文献[3]为了能够对云计算服务平台进行数据安全性的管理，提高云计算服务系统的可靠性，基于DIFC模型下，以命题逻辑为基础设计动态信息流的控制机制与系统，从而保证数据模型的清晰性与完整性，并且提高系统的可靠性。 文献[13]提出虚拟化架构的可信云计算平台在建立用户与虚拟机关联后，仅使用数字信封便能封存虚拟机，用户访问或使用资源时通过PKI中间件使用用户的私钥解密虚拟机中的数字信封，最大程度保证数据完整性和安全性。 7 结语

社会发展步伐在不断的加快，网络环境安全与否现在已成为了推动我国发展的重要因素，同时也是现代化建设的重要体现。而随着互联网的快速发展，云计算的各种应用在我国使用的越来越广泛，它的发展光景不可预测，云计算的安全问题便变成了社会各界人士关注的焦点与发展的热点。因此，在云计算环境下，我国的云计算服务供应商必须要给予更多的关注并加强对其安全的管理，不断的完善与提高相关的云计算的安全技术，提升云环境下的网络安全性，让用户通过良好的、健康的云计算安全环境，更为放心的使用云计算系统，以此来促进云计算的发展。 参考文献

[1] 高雪莹, 吴韶波, 陈思锦. 云计算及其安全技术[J]. 物联网技术, 2014(3):88-90. [2] 丁一军, 于桂荣. 云计算:安全技术问题探讨[J]. 科技创新导报, 2015(7):58-59. [3] 肖锟, 袁俊. 云计算平台的数据安全技术分析[J]. 黔南民族师范学院学报, 2014, 34(6):102-105. [4] Tari Z, Yi X, Premarathne U S, et al. Security and Privacy in Cloud Computing: Vision, Trends, and Challenges[J]. IEEE Cloud Computing, 2015, 2(2):30-38. [5] Mahalle S, Jaiswal R. Cloud Computing Security: A Survey[J]. International Journal of Computer Applications, 2015, 115(6):21-25. [6] 闫盛, 石淼. 基于云计算环境下的网络安全技术实现[J]. 计算机光盘软件与应用, 2014(23):168-168. [7]冯朝胜, 秦志光, 袁丁. 云数据安全存储技术[J]. 计算机学报, 2015, 38(1):150-163. [8] Dinadayalan P, Jegadeeswari S, Gnanambigai D. Data Security Issues in Cloud Environment and Solutions[C]// World Congress on Computing and Communication Technologies. 2014:88-91. [9]高其胜, 陈艳峰. 云计算虚拟化安全研究[J]. 图书馆学研究, 2015(11):46-50. [10]王笑帝, 张云勇, 刘镝,等. 云计算虚拟化安全技术研究[J]. 电信科学, 2015, 31(6):1-5. [11] 罗伟. 基于云计算安全的关键技术分析[J]. 电脑知识与技术:学术交流, 2015, 11(2X):51-53. [12] 申璁. 云计算安全的关键技术分析[J]. 科技传播, 2016, 8(8). [13] 白堃. 基于云计算环境下的数据安全保护技术分析[J]. 电子设计工程, 2015, 23(10):149-151. [14] 肖明清, 杨召, 薛辉辉,等. 云计算及其在测试领域的应用探索[J]. 空军工程大学学报·自然科学版, 2015(1):50-55. [15] 余正祥, 胡云. 云计算在图书馆中的应用研究[J]. 图书情报工作, 2014(S1):254-256. [16] S Kembhavi，G Singh auto upload and chi-square test on application software as a service for cloud computing encironment[J].International Journal of Advanced Technology and Engineering Exploration ISSN (Print): 2394-5443 ISSN (Online): 2394-7454 Volume-1 Issue-1 December-2014 [17] Zhao F, Li C, Liu C F. A cloud computing security solution based on fully homomorphic encryption[C]// International Conference on Advanced Communication

第五篇：云计算中MapReduce技术研究

孙香花

(长江师范学院数学与计算机学院，重庆，408100)

摘

要： MapReduce是云计算的核心技术之一，它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作，并用于大规模数据的并行运算。本文首先介绍了MapReduce的相关知识，然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。

关键词：MapReduce技术;云计算应用;云计算;并行计算;

MapReduce technology of cloud computing

SHUN Xiang-hua (

1、College of Mathematics and Computer Science，Yangtze Normal university, Chongqing,，410081)

Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution. Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data. This paper focus on the cloud of MapReduce technologies. MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis; MapReduce model put forward the current research issues; Finally, the summary text and the future trends. Key words: MapReduce technology; cloud computing applications; cloud computing; parallel computing;

1、引言

随着数字技术和互联网的急速发展，特别是随着Web2.0的发展，互联网上的数据量高速增长，也导致了互联网数据处理能力的相对不足。由于待处理数据越来越多 ，多到了很难在一台或有限数目的存储服务器内容纳，且更无法由一台或数目有限的计算服务器就能处理这样的海量数据。因此，如何实现资源和计算能力的分布式共享以及如何应对当前互联网数据量高速增长的势头，是目前互联网界亟待解决的问题。正是在这样一个发展背景下，云计算应运而生[1]。

云计算是由并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)发展而来[2，3]。云计算的核心技术之一是MapReduce，它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作，并用于大规模数据的并行运算[4-6]。

近几年来由于数据的大量增长，Mapreduce受到了较多的关注，获得了较大的发展，但还没有形成成熟的、系统化的理论体系[7]。目前国内外进行MapReduce分析技术研究的机构都显示了对MapReduce的高度关注,并在不同的体系结构上都进行了实现，尤其是在开源hadoop平台上对其所做的研究提供了更多的研究机遇。因此对MapReduce的研究不仅具有收稿日期：

基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介：孙香花(1977-)，女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究.

重要的应用价值，更具有重要的学术意义[8，9]。本文首先介绍了MapReduce的相关知识，然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。 2 、MapReduce相关研究

目前国内外文献中对MapReduce模型都有相应的研究。主要体现在以下几个方面： 基于MapReduce的初等研究及改进：在Goole提出的原始模型的基础上提出一些新的改进方法，或是对怎样提高MapReduce算法的效率上去进行研究。如：文献[10]提出了一种改进型的MapReduce编程模型，该模型继承了传统的MapReduee模型对map函数和reduce函数的定义.对map和reduce过程进行了改进优化。文献[11]中的HPMR是建立在多核集群上的高性能计算支撑平台。它继承并改进了MapReduce并行编程模式，使其适合高性能计算需求。并让并行程序的编写和运行变得非常简单，同时又保持很高的性能。

对大规模的数据挖掘：利用MapReduce模型对于云平台的海量数据进行挖掘，抓取网页相关数据，或是对网页内容去重等到相关的大规模数据的研究等。如：文献[12]详细描述SPRINT并行算法在HadooP中的MapReduce编程模型上的执行流程，并利用分析出的决策树模型对输入数据进行分类。

基于MapReduce并行模型的一些设计方法与实现或是计算方法的实现，如：文献[13]结合MapReduce的长处，提出研究和实现一个完整的高性能并行计算系统，以GPU为硬件基础并配合基于MapReduce并行计算模型平台进行大规模数据处理。文献[14]提出了基于MapReduce架构实现分布式光线跟踪渲染的方案。该方案基于Hadoop实现，利用MapReduee架构简化了分布式程序设计。

MapReduce的综述：文献[15]重点讨论了MapReduce模型的相关研究，并对采用或是实现了这些模型的相应公司的技术进行了探讨，是一篇综述类型的学位论文。MapReduce模型的研究与应用：文献[16]介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架，并在Hadoop基础上提出一种通过多重MapReduce操作，实现海量共现矩阵的生成方法。

当前的研究中，对于云计算中并行计算模型的研究主要是针对于MapReduce模型，而对于MapReduce模型的研究主要在两个方面展开，一个方面为对MapReduce模型的改进，但是对于改进后的模型的实现平台没有研究;另一个方面为MapReduce模型的应用，也是当前的主要研究方向。

3、MapReduce相关研究问题

MapReduce是由Google提出的一种并行分布式编程模型[17-19]。在MapRedcue 模型中用户只须指定一个map函数来处理一个输入的key/value对，产生中间结果key/value对集，再通过一个由用户指定的reduce函数来处理中间结果中具有相同key值的value。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理[20-21]。

图1说明了用 MapReduce 来处理大数据集的过程,MapReduce 的计算过程很简单，计算利用一个输入key/value对集，来产生一个输出key/value对集[22]。MapReduce库的用户用两个函数表达这个计算：map和reduce。首先，用户自定义的map函数，接受一个输入对，然后产生一个中间key/value对集。然后，MapReduce库把所有具有相同中间key I的中间value聚合在一起，然后把它们传递给reduce函数。最后，用户自定义的reduce函数，接收稿日期：

基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介：孙香花(1977-)，女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究.

受一个中间key 和相关的一个value集。它合并这些value，形成一个比较小的value集[23-25]。

图1 、Mapreduce的计算流程

随着数字技术和互联网的急速发展，特别是随着Web2.0的发展，互联网上的数据量高速增长，也导致了对MapReduce这种并行计算模式的研究变得越来越重要，由此也产生了一系列的相关研究问题，分别如下所列出[26-28]：

1、 MapReduce模型只需执行简单的计算，对于隐藏并行化、容错、数据分布、负载均衡的那些问题是如何实现的。

2、 Google的MapReduce执行流程。

3、 对MapReduce模型的实现。

4、 对MapReduce模型进行改进。

5、 提高Mapreduce的运算效率的方法。

6、 基于MapReduce模型的应用。

7、 基于MapReduce模型的设计方法及实现 对于以上所列出这些研究问题，目前国内外都有相关的研究，对于这些研究问题在很大程度上仍然有可研究性。

4、 未来研究趋势

MapReduce作为一个通用可扩展的并行计算模型，它用来有效地处理海量数据,不断地从中挖掘出有价值的信息,成为互联网企业发展的必然选择。很多现实世界对海量数据的处理,都可以用这种模型来表示。当前在云计算中使用的分布式并行运算基本上是采用的MapReduce计算模型，不过国内的研究仍然有点滞后，同时，当前的主要研究都放在其应用上，比如说网页抓取等，真正去研究算法本身的并不多，尤其是在提高算法本身的效率上，以及算法的优化等都研究较少。

根据上面的论述和分析可以看出，对于云计算中并行计算模型的研究和应用主要是对于MapReduce模型的，而对MapReduce模型的应用是当前的主要研究方向。本课题在分析MapReduce模型的基础上,提出了如下的研究内容：

1、利用MapReduce强大的计算能力，把MapReduce模型应用到一些经典的算法中。所要解决的主要问题是经典的算法的选取，即要满足利用MapReduce模型的条件，还要解决的是两个算法的比较及评价问题;

2、利用MapReduce强大的计算能力，把MapReduce模型应用到一些数值计算问题中去，所要解决的主要问题是数值计算问题的分解和结束条件，还要解决的是两个算法的比较问题及新算法的评价问题。

收稿日期：

基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介：孙香花(1977-)，女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究.

4、 结束语

本文首先介绍了MapReduce的相关知识，然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。 参考文献 [1] [2] [3] [4] [5] 张建勋,古志民,郑超. 云计算研究进展综述[J]. 计算机应用研究,2010,27(2):429-433 金海，漫谈. 云计算[J].中国计算机学会通讯，2009，5(6):22-25 吴吉义,平玲娣, 潘雪增等. 云计算：从概念到平台[J].电信科学,2009,12:23-30 陈康, 郑纬民. 云计算：系统实例与研究现状[J].软件学报.2009,20(5):1337-1348 尹国定,卫红. 云计算—实现概念计算的方法[J]. 东南大学学报：自然科学版,2003,33(4):502-506 [6] 武永卫，黄小猛. 云存储[J]. 中国计算机学会通讯，2009，5(6)：44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J]. Science of Computer Programming, 2008, 7(1): 208-237. [8] 万至臻.基于Mapreduce模型的并行计算平台的设计与实现[I].浙江大学.2008 [9] 吴晓伟.MapReduce并行编程模式的应用和研究[I].中国科学技术大学.2009. [10] 周锋,李旭伟.一种改进的MapReduce并行编程模型[J].科协论坛.2009.2(11)：11-12 [11] 郑启龙,王昊,吴晓伟等.HPMR:多核集群上的高性能计算支撑平台[J].微电子学与计算.2008，25(9)：21-23 [12] 王鄂,李铭.云计算下的海量数据挖掘研究[J].现代计算机.2009，22(11)：22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行计算模型研究与应用[I].桂林理工大学.2009. [14] 郑欣杰,朱程荣,熊齐邦.基于MapReduce的分布式光线跟踪的设计与实现[J].计算机工程.2007，33(22)：83-85 [15] 周敏.MapReduce综述[I].暨南大学.2008. [16] 杨代庆,张智雄.基于Hadoop的海量共现矩阵生成方法[J].现代图书情报技术. 2009, 25(4) 23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner. A break in the clouds: toward a cloud definition. ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G，Gu Yunhong，Michael Sabala，Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems，2009，25(2)：179-183 [19] Daniel J A. Data management in the cloud: limitations and opportunities. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 郑启龙.HPMR在并行矩阵计算中的应用[J].计算机工程.2010(8). [21] 徐志伟,廖华明,余海燕.网络计算系统的分类研究[J].计算机学报.2008,31-9:1509—1515. [22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J]. Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007. [23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA). 收稿日期：

基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介：孙香花(1977-)，女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究.

Phoenix,AZ, February 2007. [24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004. [25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch. Main memory evaluation of monitoring Queries over moving objects. Distributed and Parallel Databases,15(2):117-135,2004. [26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation. In Proc.IEEEP ACT,2006. [27] 钟伟彬，周梁月，潘军彪等. 云计算终端的现状和发展趋势[J].电信科学,2010,3:22-26 [28] 陈国良，孙广中，徐云. 并行计算的一体化研究现状与发展趋势[J].科学通报，2009，54(8)：1043-1049

地址：重庆市涪陵区李渡聚龙大道98号长江师范学院数学与计算机学院办公室

孙香花 邮编: 408100

收稿日期：

基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介：孙香花(1977-)，女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究.