云计算应用技术范文

2022-06-19

第一篇:云计算应用技术范文

云计算关键技术

浪潮实施“云海”战略 填补云计算关键技术空白

要:云计算是一种基于互联网的应用模式,能够让计算服务像水、电等公共服务一样,随需取用、按量付费,被视为信息产业的第三次革命,它将是未来社会信息化的主要形式,也是未来国家信息战略安全的主要载体。

舜网讯 浪潮集团正式发布“云海In-Cloud”战略,开始全面推进云计算业务。作为云海战略的重点,浪潮首次定义“行业云”概念,并宣布将于年内推出国内首个自主开发的云计算操作系统,我国在云计算这一战略新兴领域的关键技术空白将因此被填补。

浪潮云计算市场战略布局初步形成

云计算是一种基于互联网的应用模式,能够让计算服务像水、电等公共服务一样,随需取用、按量付费,被视为信息产业的第三次革命,它将是未来社会信息化的主要形式,也是未来国家信息战略安全的主要载体。“云海”战略的正式实施,标志着作为国内IT产业的骨干企业的浪潮集团对中国云计算市场的战略布局已经形成。

作为云海战略的重点,浪潮首次定义“行业云”概念,提出“行业云”作为“公有云”的重要组成部分,是未来中国云计算市场的重要力量,并与山东计算中心签署云计算合作协议,建立国内最大的区域行业云和未来云计算研究中心,作为浪潮云海战略实施的第一个落地的“行业云”项目。

据浪潮集团高级副总裁王恩东介绍,目前,行业用户已经占据了中国信息化市场50℅以上的市场份额,从行业组织的分散性,数据的封闭性等方面看,云计算无疑是实现行业数据和资源共享,推动数据向服务转化的最佳途径。因此,行业云是公有云最具潜力和战略意义的市场,是中国云计算未来的主导力量。而浪潮与山东计算中心签约后将共同完成山东全省13个软件园的资源整合、共享、协同,着力研究开发下一代云计算前沿技术,并逐步丰富云计算的服务。

与此同时,浪潮宣布推出国内首款云操作系统——云海(云OS),填补了我国在云计算基础架构领域里的关键技术空白,成为普遍关注的焦点。

云计算操作系统是云计算的关键平台技术,类似于人体的神经系统,在云计算应用中承担着对大型数据中心、跨数据中心硬件资源的统筹调度、管理的枢纽作用,对云计算的安全和效率有着至关重要的影响。但是,在操作系统领域存在着诸多技术难题,譬如在高并发条件下如何实现服务的持续可用,以及万量级资源管理等,目前尚无国产厂商涉足该领域。业内观察人士认为,“云海”操作系统推出后,浪潮将成为中国首家掌握该技术的厂商,大大缩短了中国与发达国家在该领域的距离,对未来中国云发展具有重要意义。

扫清云计算在中国发展的障碍

我国关于云计算的讨论已经持续了近三年,但由于各个厂商存在着不同的利益点,提出的观点也各不相同,使得客户对云计算的理解陷入误区——只看局部,无视整体;只看细节,忽视架构;只谈概念,忽视落地应用;只照搬国外经验,忽视中国具体国情,给云计算在中国的发展带来了很多障碍。

科技部高新司嵇智源处长说,与欧美、日本等发达国家相比,我国云计算技术起步较晚,呈现出头重脚轻的趋势,一方面众多企业纷纷推出种类繁多的云计算运用,另一方面,由于国外企业对核心技术的垄断,很少有国内企业进行创新芯片以及硬件方面适合云计算的研究和开发。长此以往,我国云计算将一直是空中楼阁,发展前景不容乐观。

王恩东在接受科技日报记者采访时表示,核心技术的缺失将是制约中国云计算整体发展的壁垒。尤其在云计算基础架构核心技术层面,一直以来鲜有国内厂商涉水,大多数都着眼于平台运营与软件服务。事实上,该领域的缺失已经不仅成为制约我国云计算事业发展的最大障碍,更为我国的信息安全埋下了隐患。打造云计算硬件核心装备和云操作系统,是解决云计算基础架构核心技术问题的关键。

工信部电子信息司副司长刁石京表示,云计算的根本在于应用与服务,中国拥有世界上最大的无线网和最大的有线电视网,同时拥有最大的互联网用户人群,为中国云计算发展提供了肥沃的土壤。中国本土IT企业完全有条件在这样的契机下,实现整体突破,成为中国云时代的领跑者。

嵇智源处长说:“浪潮集团在国内率先推出了云计算战略,针对云计算基础架构展开一系列的高效的开发和推广工作,特别是很快就要面世的自主云操作系统将填补我国在这一领域的技术空白。凭借着对自主创新的坚持,我们将在随之而来的云计算时代中,不再受制于国外的技术封锁和垄断,真正将信息领域的相关产业做大做强。”

据王恩东介绍,除发展云操作系统以外,浪潮云计算硬件产品线也将在年底完成布局。届时浪潮将推出包括云OS、大服务器、高密度服务器在内的全系列软、硬一体的基础架构解决方案。

第二篇:应用实例——云计算

云计算

Applogic以Application为单位向用户交付,在一个网格(你也可以说成是集群,包括主机和存储以及网络)上运行多个用户的多个应用程序,比如,Exchange,CRM等,每个应用程序会被分配一个一次性基础设施,每个一次性基础设施又包括了多个角色,比如Gateway/Firewall、负载均衡器、Web和数据库服务器、NAS存储器等等,每个角色就是一个虚拟机。每个Application创建好之后,就是一个Package,可以独立操作,与底层硬件无关,你可以将它带走,在另外一个Applogic网格内导入,便立即可用。

配置实例

下图为整个网格系统的Dashboard监控界面。

下图为网格中所有已创建的Application的列表。

云计算

下面我们通过创建一个带有Gateway防火墙、一个负载均衡器、两台Web服务器、一台数据库服务器的简单的Infrastructure来体验一下Applogic最终交付给用户的接口。

第一步,先从左边的Gateway类别中拖拽一个简单的入方向的Gateway/Firewall。然后再其上点右键,选择Property Value。

云计算

在出现的窗口中可以定义这台Gateway的一些属性。

云计算

第二步,加入一个8 Out口的负载均衡器。然后点右键选择Resources来配置这台均衡器所使用的资源。

云计算

可以配置CPU、内存、网络带宽这三种资源。

第三步,拖入两台Web服务器,并在这个Application的主界面中点击“Manage Volume”来创建这个Application所需要的存储空间。

云计算

这个列表列出了分配给当前Application的所有volume,整个网格中的volume都是按照Application相互隔离的,不同的Application只能看到自己的volume。

点击“Add”来添加一块存储空间。名称、大小、文件系统格式。

云计算

第四步,将Volume分配给需要使用存储空间的服务器,比如Web服务器,在Web服务器图标上右键选择“User Volume”。

里面默认有一项“content”卷,我们将上文定义好的“code”卷映射给这台Web服务器的content卷。

云计算

第五步,拖入一个数据库服务器,将上文定义的“data”卷映射给它的data卷。

防火墙、负载均衡器和Web server以及数据库服务器之间的互联时使用的IP是用户不用关心的,系统会自动分配,一切力求简化、快捷。唯一需要配置的是整体Application的IP地址等信息。

可以针对每台服务器进行各种属性的配置。

云计算

云计算

我们还可以登录到这台服务器上,如图所示。

云计算

此外,还可以监控服务器的各种状态信息。

云计算

最后一步就是登录到相应的服务器,安装相应的软件,启动应用软件。

Applogic带来的革命在于它把复杂的底层硬件变得非常简单,通过拖拽对象的方式来装配自己的Infrastructure,并最终以一个适合于某种Application运行的整体服务器+存储+网络环境来交付给用户,佐以底层丰富的附加功能比如snapshot,migrate等,为用户提供了一个专业而且方便的程序运行硬件平台,让用户彻底脱离了苦海。

其他提供商的方案与3tera如出一辙,不管是IAAS、PAAS或者是SAAS,其不同的只是交付方式的区别。读者可以从本案例中窥见一斑。

云计算

云计算

云计算

想象一张图,在国家地理版图上,分布着十几个大云团,周围佐以一些零散的小云

云计算

团,整体形成一个云网络,形成一个计算的脉络。这是何等壮观之景象?

不知道至此您是否还会看云而晕呢?

在云端 遇见你的地方

在生命的转弯 你让我有天堂能想像

在云端 你深邃的目光

从世界另一端 最神秘的磁场在远方

哼唱着这首歌,好像早就有人暗示了云的兴起。写这篇文章的时候也一直在听,还真挺好听。。。。

云计算/云存储/云服务,是否真能成为IT发展的天堂?让我们拭目以待!

第三篇:云计算发展关键在应用

摘要:正值我国云计算产业逐渐进入理性发展阶段,第五届中国云计算大会昨日在北京开幕。此次大会受到领导与专家的高度重视。陕西省省长娄勤俭、工业和信息化部副部长刘利华、原信息产业部部长吴基传等出席会议。与会的领导与专家一致认为,应用是云计算产业发展的关键,整个产业在网络基础设施建设、产业布局、发展环境等方面还需努力完善。

正值我国云计算产业逐渐进入理性发展阶段,第五届中国云计算大会昨日在北京开幕。此次大会受到领导与专家的高度重视。陕西省省长娄勤俭、工业和信息化部副部长刘利华、原信息产业部部长吴基传等出席会议。与会的领导与专家一致认为,应用是云计算产业发展的关键,整个产业在网络基础设施建设、产业布局、发展环境等方面还需努力完善。

面临扩大信息消费难得机遇

我国云计算产业正面临难得的发展机遇。对此,娄勤俭指出,一方面“四化”同步发展战略将推动一大批行业转型升级、催生企业多样的信息化应用,对云计算的需求快速增加。另一方面,民生的建设与内需的扩大需要资金流、信息流、物流融合发展,从而催生新的产业和具有竞争力的企业。云计算产业正迎来难得的发展机遇。

作为信息消费的重要组成部分,云计算将有望在国家鼓励信息消费的大潮中“闻„机‟起舞”。刘利华认为,我国信息技术资源分布不均匀,市场需求复杂多样,发展云计算对提升我国信息化水平、推进信息消费有着促进作用。

此外,被认为是信息通信行业新的增长点的云计算,正受到越来越多的关注。对此,刘利华强调,我国云计算产业发展迅速,技术和应用创新活跃,商业模式逐渐成熟,其便捷、高效、集约的优势日趋明显,云计算已经成为信息通信行业新的增长点。随着移动互联网、大数据的兴起,云计算市场需求还将进一步增长。

基础设施支撑不够

尽管我国云计算产业取得了长足进步,但整个产业存在的问题也在发展中显露出来。吴基传认为,基础设施支撑不足、宽带不宽,服务种类有限、服务规模不大,产业链不全、商业模式不成熟、政策法规环境不完善以及用户对云计算安全仍有担心等问题正困扰着我国云计算产业的健康发展。针对这些问题,包括政府等各方正在积极把脉、寻求解决之道。 在网络等基础设施建设上,刘利华表示,要加快提升宽带接入普及率、速率和传输网交换能力,加强农村地区宽带网络覆盖,加快发展移动通信网络,提高移动宽带接入水平。

在产业布局上,娄勤俭认为,要合理布局云计算数据中心,统筹考虑能源供给、气候环境、地质灾害、网络设施、产业配套、人力资源、交通和物流能力、能源供应等方面的条件,引导大型云计算数据中心建在能源丰富、气候条件好、地质灾害少、土地较为充裕的地区,从而提高云计算数据中心的使用效率。

谈到营造安全的发展环境时,娄勤俭提出“三要”:一要高度重视标准和安全问题,加快研究制定我国云计算标准化发展战略,积极参与国际标准的制定;二要加强云计算安全风险分析,完善个人信息保护、跨境数据流动等制度的建立;三要推进云计算诚信体系建设。吴基传则提出,要建立和完善云计算安全防护与评价体系,让所有使用云服务者放心,让用户能够对存放在云端的信息放心。在推广应用实践中,逐步完善云间交付的接口标准,完善和健全云服务行业的自律与管理制度。

推进应用是发展关键

对于云计算产业的未来,关键在于应用成为与会领导专家的共识。娄勤俭认为,云计算必须建立在技术基础和商业应用的基础上,依靠技术创新引领市场应用,通过扩大应用推动技术创新。云计算让计算能力像水电一样按需供应,形成高效的现代信息服务体系,这一体系可在智慧城市建设、精细化管理、社区管理、食品药品监管等方面大展身手,并推动社会资源的共享,为百姓提供更加便捷、高效的服务。同时,要利用云计算强大的数据存储和数据挖掘、分析处理能力,从海量数据中提炼出有用的信息进行专业化处理。然后,将处理后的信息应用于城市管理、智能交通管理、环境监测等领域,通过这些更加真实准确的决策分析依据,推动社会资源配置的优化,提升社会管理和公共服务的水平。

对推进云计算应用,刘利华特别强调,加强云计算应用示范推广具有重要意义。要面向具有迫切应用需求的重点领域,积极组织实施试点示范工程,带动产业链上下游协调发展。另外,吴基传也提出两点建议:首先,要依靠国家已出台的云计算、物联网、数据中心建设的政策和指导方针,积极鼓励有能力的企业放手大胆地推进应用,优化数据中心布局、加快宽带战略实施,鼓励国有大型电信企业及互联网企业通过云计算提供各种有特色的公众信息服务。其次,要重点推动基础性、系统性的各类信息服务先行如位置云、物流云、医疗卫生云等,从应用的角度去推进云服务的实践。

第四篇:云计算的安全技术综述

** 摘要:云计算是一类新兴的计算方式,也是一种按使用量付费的全新交付模式,因其使快速有效处理海量的数据变为可能,从而引起社会各界的广泛关注。本文首先论述了云计算的兴起渊源,分析了算法的优越性,并介绍了该技术带来的安全问题及其相应的技术,最后介绍了相关应有及未来的发展方向。

关键词:云计算;云计算安全;安全技术及应用

Keyword:Cloud Computing,Cloud Computing Security,Security Technology and application 0 引言

云是一种并行和分布式系统组成的一组相互关联和虚拟化的计算机,它基于服务层协议动态配置,作为一个或多个统一的计算资源,基于服务商和消费者之间通过谈判建立[9]。而所谓的云计算,是通过基Internet的计算方式,把共享的软硬件资源、信息按需供给计算机和其他设备,是一种按使用量付费的全新交付模式。

随着社会信息化与网络技术的快速发展,各种数据呈现出一种爆发式的增长,正是因为云计算的存在,使快速有效处理海量的数据变成可能。而云计算多用户、虚拟化、可扩展的特性使传统信息安全技术无法完全适用于云计算平台。因此,云计算的存在又带来了一个新的安全问题,它成为制约云计算发展的一大重要因素。本文首先阐述了云计算的理论依据,然后再对其带来的安全问题、关键技术及其应用进行讨论。 1 云计算的理论依据

云计算的概念是由2006年Google提出的,它可认为是分布计算、并行计算、网格计算等多种计算模式混合的进一步演化[17]。 1.1云计算的服务模型

现如今,云计算主要提供以下三个层次的服务:IaaS、SaaS和 PaaS。

基础设施级服务(IaaS)是通过Internet向用户提供计算机、存储空间、网络连接、防火墙等等的基本的计算机资源,然后用户可以在此基础上随心所欲的部署和运行各种软件,其中包括OS和应用程序,通过网络,消费者可以从完善的计算机基础设施获得服务。 软件级服务(SaaS)是一种通过Internet提供软件的模式,用户可以直接向供应商租用基于Web的软件,用来管理企业的运营却不需要购买,但是,云用户没有管理软件运行的基础设施、平台的权限,只能做一些非常有限的应用程序的设置。

平台级服务(PaaS)是将软件研发平台作为一种服务以SaaS的模式交付给用户,因此,PaaS实际上也是SaaS应用的一种,但它主要面向的是进行开发的工作人员,并为其提供在互联网上的自主研发、检测、在线部署应用。 1.2云计算的成功优势 云计算之所以能够被广泛利用,是因为它有着传统IT服务没有的优势。

一、资源池化和透明化。对云服务供应者来说,云计算采用虚拟化技术对各种底层资源如计算、储存、网络、资源逻辑等资源进行抽象,可以被统一管理和调度,成为所谓的“资源池”,从而为用户提供按需服务;对用户来说,这些资源是透明、无限大的,用户无须了解内部结构、所用资源具体物理位置,也不用参加具体的设备管理,只用关心自己的需求是否得到满足就可以了,体现云计算资源抽象化的优点,同时降低用户对于IT专业知识的依赖。

二、按需访问、按需服务。云计算为用户提供了三种不同层次的服务,因此用户只需拥有网络就可随时随地地接入云中,使用浏览器或其他形式的接口就可以较为方便轻松的访问自己所需的软件服务和资源,而所有的有关于服务管理的工作则交给云供应商完成,这样的机制则让用户使用各种软件服务和各类资源如煤气、水电一样取用方便且费用低廉。 2 云计算的安全问题

虽然云计算可以为用户提供最大化资源利用的、自定义的、可靠的服务,是种新的分布式计算模式,它与传统的IT网络服务相区别,但传统信息安全的各种威胁都适用于计算机云平台。而它本身的动态服务的特性,给信息界带来一场巨大的变革,而该变革给信息安全领域带来的冲击是巨大的,具体表现在:(1)在云平台中运行的各类云应用的基础设施和安全边界随时随地都在发生着改变,因此,针对于用户的数据安全、隐私保护非常难以实现;(2)部署安全防护措施由于多个管理者共同享有云服务资源,存在必然的利益冲突,没有办法实现统一的规划;(3)由于云平台中的数据、计算高度集中的,因此,云计算的安全措施必须要满足海量的信息的处理需求。

综上,云计算安全问题成为发展云计算技术的重中之重。针对其复杂性,云计算的安全问题也应该是一个包括管理、技术、法律法规的综合体,它的安全的总体框架如图1所示:

图1 云计算安全总体框架

3 数据安全

云计算的特点决定了数据要实现在“云”端的集中存储,就必须要保障不同用户数据的安全隔离;云端的服务器可能会“宕机”,在这种情况下,如何安全高效的进行数据迁移非常关键;云计算采用租赁方式向用户提供资源,这意味着一个用户使用过的存储区域会被其他用户使用,因而必须解决好数据残留问题。 3.1 云环境下的数据安全存储面临以下挑战 (1)数据的加密存储

在传统信息系统中,一般采用加密方式来保证存储数据的安全性和隐私性。但在云中,这样做起来却并不容易,因为对于任何需要被云应用或程序处理的数据,都是不能被加密的,很多类似于检索、运算这样的操作对于加密的数据甚至无法进行。

(2)数据隔离

多租户技术是PaaS和SaaS云用到的关键技术。由于云计算采用共享介质的数据存储技术,不同用户的数据可能会被存储在同一物理存储单元上。尽管云服务供应商会使用一些隔离技术(如数据标签和访问控制技术相结合)来防止对混合存储数据的非授权访问,但它依然能通过程序漏洞实现,如Google Does在09年3月就发生过不同用户间文档的非授权访问。

(3)数据迁移

当云中的服务器“宕机”时,为了确保正在进行的服务器继续进行,需要将正在工作的进程迁移到其他服务器上。为了让用户几乎无法感受到“宕机”的发生,迁移必须高速进行;为了让进程在新的机器上恢复运行,必须保证数据的完整性。

(4)数据残留

残留数据是指删除数据后的残留形式,逻辑上已经被删除,但物理上依然存在。残留数据可能无意中透露用户的敏感信息,攻击者可能捕获这些痕迹恢复出原始数据。而在云中,残留数据可能导致一个用户的数据无意被透露给未授权的一方。所以在存储空间再次分配给其他租户之前,云服务商须向用户保证并证明用户储存空间在释放、共享或分配至其他用户之前,空间内信息都已全部删除[1]。 3.2 云数据安全存储技术研究

加密无疑是保护云中存储的数据的安全性和隐私性的重要方法之一。如今我国计算机所使用的传统加密技术主要有两类:一种为对称加密技术,另一种为非对称加密技术。当前被关注的安全存储技术包括同态加密技术、基于VMM的数据保护技术等等。 3.2.1 云数据安全存储框架

微软研究院的Kamara等人提出了面向公有云的加密存储框架,该框架的主要特点有两个:数据由所有者控制:数据的安全性由密码机制保证。该框架除了能解决数据存储 的隐私问题和安全问题外,还能解决数据访问的合规性、法律诉讼、电子取证等问题。不过,该框架只是一个宏观的模型,并没有给出具体实现方法。

文献[7]中提到了一种分散式云存储安全架构。该架构采用信息扩散法、分散存储管理、数据自举恢复等技术,分层实现数据的安全存储管理和传输。该方法定期检查数据片受损情 况,若存在受损数据,则根据互为冗余的存储设备上的数据加以恢复,从而提高数据的可用 性。从数据存储到传输,都建立了相应的保护措施,进行云存储层与其他层间的安全防范,实现了数据的有效防护。该架构并没有具体说明如何保证数据的完整性,数据分片难以确保数据 的隐私性和安全性。 3.2.2 云数据安全存储技术

(1) 同态加密技术

运用这种加密技术可以实现明文上执行指定的代数运算,结果等同于在密文上的另一个(可能是不同运算)代数运算结果同态加密。其思想起源于私密同态,它允许在不知道解密函数的前提下对加密数据进行计算。文献[7]中提到了一种同态加密算法,它通过运用向量和矩阵的各种运算来实现对数据的加解密,并支持对加密字符串的模糊检索和对密文数据的加减乘除,该算法在执行加减运算时效率较高,但在执行乘除运算时效率较低,且运算代价随向量维度的增加而增加。

(2) 基于VMM的数据保护技术

有一种基于VMM的云数据机密性保护方法,它基于SSL来保证数据传输的安全,利用Daoli安全虚拟监控系统保护数据存储的安全。该方法将云端的OS和分布式文件系统进行隔离,数据加密由虚拟机监控系统来完成,实现OS和用户数据的隔离。虽然该方法保证多租户环境下隐私数据不会泄露给其他用户,但数据还是可能会泄露给云服务提供商。

(3) 基于加解密的数据安全存储技术

公有云中存储的数据一般属于外包数据,存在不少基于传统的加解密技术的研究来确保外包数据的安全。有基于代理重加密方法的数据分布式安全存储方案[2],但该方案存在恶意服务器和任意一个恶意用户勾结就能计算出所有密文数据的解密密钥的漏洞,严重威胁数据的安全;还有一种基于密钥导出方法的非可信服务器数据安全存储方案,但文件创建操作及用户授权/撤销的复杂性与用户数量成线性关系,这使得系统规模难以扩展。

(4) 支持查询的云数据加密存储技术

使用SE,用户将查询关键字或查询条件提交给云中的查询服务器,查询服务器通过检索关键字索引找到符合条件的数据,然后将查询结果返回给用户。但SE要求输入的查询关键字不能有任何错误且格式必须遵循规定的统一格式。针对这一问题,有一种面向云密文数据的模糊查询方法,它可以将关键字和事先生成的模糊关键字集合进行匹配,密文无需解密,文件的安全性得到保证。

(5) 基于可信平台的数据安全存储技术

由于软硬件的不可信也是造成云数据存储面临挑战的重要原因,文献[7]中提到了一种针对使用数据保护提出了基于二次混淆的隐式分割机制。但该方案在使用数据存储是进行的二次分割和矩阵运算时存储效率低,难以扩展。 4 应用安全

云计算应用为广大用户提供了极大方便,但是又由于其将大量的使用者、信息资源过于集中在一起,这样一来,假设出现安全问题,它的结果是我们承担不起的。而用户在使用云应用的时候,信任应用程序会保护其数据,但实际上SaaS服务商对此并未作出任何承诺[3]。因此,应用安全也成为了阻碍云计算发展的非常重要的因素之一。 4.1 云计算下应用安全面临的主要问题 (1)终端用户安全

用户在使用云计算系统过程中,应确保自身计算机能够正常运行以及计算机的安全。目前用户获得云服务的主要接口就是浏览器,所以浏览器的安全与否极为重要。 要实现端到端的安全,就必须采取一些措施来保护浏览器的安全。以免其受到入侵或破坏,从而保证数据运输过程中的安全。

(2)SaaS应用安全

在这种服务模式下,用户无需控制或是管理云计算系统当中的基础设施,云计算提供商维护管理所有应用,必须保证应用程序和组件的安全性。用户只需负责最高层面的安全问题,即用户自己的操作安全、个人密码等秘密信息的保管。选择SaaS的提供商要特别慎重,因为会负担绝大部分的安全责任,提供商要最大限度地确保提供给用户的服务的安全性。 4.2 云计算应用安全相关技术

对于终端的保护,可以采用终端控制技术,该技术的核心层面在于用户使用防护软件进行自身的数据保护。例如,在终端上安装安全软件,如杀毒软件、防火墙、防恶意软件等来确保计算机的安全性;与此同时,用户应及时更新自身所使用的浏览器,并及时更新系统,下载系统补丁,减少计算机中的漏洞。

对于SaaS的保护,用户应尽量了解云服务提供商所提供的云服务的虚拟数据存储架构,云服务提供商应加强软件的安全性管理。目前,对于提供商的评估方法是根据保密协议,要求提供商提供相关的安全实践信息,该信息应当包括黑盒与白盒安全测试记录。而企业所采用的安全防护手段就是及时进行云计算技术安全状态的检查。 5 虚拟化安全

虚拟化技术可以将多个OS整合到一台服务器上,从而简化计算框架,降低资源管理成本,减少资金与硬件设施的投入,从而更大化、最优化地使用硬件资源和计算资源,有效地实现云服务的可扩展性和可伸缩性。 5.1 云计算虚拟化安全面临的主要问题

虚拟化技术的采用,在对云服务的提供能力上有所增强,在基础设施和软件层面都有所改进。然而,也面临着一些安全问题,主要体现在:

(1)主机的损坏,随之而来的是客户端服务器的安全性受到威胁。 (2)虚拟网络的破坏,随之而来的也是客户端的损害。

(3)网络的安全性问题将直接导致客户端共享和主机共享的安全性能。 (4)主机的功能性问题将直接引发虚拟机的问题。

总的来讲,若云计算平台上采用了虚拟技术,则其云架构提供者必须对其客户提供安全性以及隔离保证,在应用虚拟化技术的时候归为两方面的风险:虚拟化软件安全和虚拟服务器安全 。 5.2 云计算虚拟化安全相关技术

(1)虚拟化软件安全

在IaaS云平台中,软件完全由云服务商来管理,用户不用访问此软件层。因此,虚拟化软件安全必须严格控制虚拟化软件层的访问权限, 这样才能保障计算机同时运行多个操作系统的安全性,对于云服务提供商来说必须建立健全的访问控制策略来保障虚拟化层次的用户数据安全。

(2)虚拟化服务器安全

在兼顾虚拟服务器特点的前提下,物理服务器的安全原理可以移植到虚拟服务器上应用,当虚拟服务器启动时,TPM安全模块会去检验用户密码,若此时输入的用户名和密码的Hash序列不对则虚拟服务器终止启动[13]。最好使用可支持虚拟技术的多核处理器,这样可以做到CPU间的物理隔离,这样可以避免许多不必要的问题。

除此之外,文献[13]中还提到了基于虚拟机技术实现的grid环境下的隔离执行机,核心分配可以通过缓存层次感知,和给予缓存划分的页染色的两种资源管理方法实现性能和安全隔离。

6 云计算的应用现状

(1) 在测试领域的应用

在软件测试方面,云供应商以按需租用的方式向用户提供SaaS、PaaS、IaaS3种层次的服务,使软件开发者无需以高成本高买、安装和配置本地测试环境,从而为软件测试提供极大便利;

在硬件测试方面,云计算的“平台级服务”的模式可以为硬件测试提供高效的解决方案,如Internet公司,采用iLab的私有云平台,通过虚拟化、链式克隆、安全通道、先进的整合手段与管理技术,以自助式服务站点管理测试实验室,可以在2min之内部署一个测试环境,将物理系统加入到虚拟测试环境中,从而有效的节省了部署测试环境的时间同时大大节省了成本;

在自动测试系统方面,文献[14]提出了一种基于云计算技术的自动测试系统架构方案,该方案测试基础资源由测试资源和云计算基础设施构成,是可通过网络访问的、可配置的共享测试资源池,测试管理平台是为测试开发者、使用者和管理者供的统一的服务平台,测试服务应用则是将测试提供给用户的最终环节,它可以比传统的测试系统具备更强大的功能、更优良的性能、更开放的结构、更灵活的使用方式以及更自由的操作

对于未来,我们可以利用云计算建立一个统一的平台,将大量分布式的测试资源有效管理和调用,使在开发测试系统时,不再受限于测试资源的有限性和地理位置的约束;还可以以云计算为基础架构,结合分布式测试和并行测试等技术,在紧急情况下集中管理、调用强大的云计算资源和一切可用的测试资源。

(2) 在图书馆中的应用

亚利桑那大学图书馆的IaaS应用案例,使用了Amazon Web Services,利用开源软件 DSpace构建数字化馆藏,利用开源软件Koha构建联合书目,采用Linode Cloud服务,利用开源软件Joomla构建图书馆网站。

在国内,正在实施中的CALIS数字图书馆云服务平台,将能够提供IaaS、PaaS、SaaS服务,构建大型分布式的公共数字图书馆服务网络,将云环境下各个图书馆的资源和服 务进行整合,为图书馆提供更多的服务。

文献[15]提出可以利用SaaS为图书馆提供服务,SaaS模式的优点使得中小型图书馆能更多地关注工作流程和读者服务;大型图书馆从成本的角度考虑也可以将部分分软件系统迁移到SaaS平台;还可以利用PaaS和IaaS为图书馆提供服务,利用开源软件快速部署图书馆软件应用平台,将开源软件与PaaS平台紧密结合,同时把图书馆部分应该部署到IaaS平台,以满足图书馆实际应用需求。

(3) 在云平台中的应用

由于应用软件缺乏成熟操作模型作为服务意味着云计算能力尚未开发和研究到充分开发的水平。因此,文献[16]提出在云环境中,自动上传一个新的数据框架后,适当认证和处理它们的任务(收集和共享),以检验正确性假设。然后检查程序能力低于三参数,基于这三个参数可以找到更好的应用软件作为服务的方法。

文献[3]为了能够对云计算服务平台进行数据安全性的管理,提高云计算服务系统的可靠性,基于DIFC模型下,以命题逻辑为基础设计动态信息流的控制机制与系统,从而保证数据模型的清晰性与完整性,并且提高系统的可靠性。 文献[13]提出虚拟化架构的可信云计算平台在建立用户与虚拟机关联后,仅使用数字信封便能封存虚拟机,用户访问或使用资源时通过PKI中间件使用用户的私钥解密虚拟机中的数字信封,最大程度保证数据完整性和安全性。 7 结语

社会发展步伐在不断的加快,网络环境安全与否现在已成为了推动我国发展的重要因素,同时也是现代化建设的重要体现。而随着互联网的快速发展,云计算的各种应用在我国使用的越来越广泛,它的发展光景不可预测,云计算的安全问题便变成了社会各界人士关注的焦点与发展的热点。因此,在云计算环境下,我国的云计算服务供应商必须要给予更多的关注并加强对其安全的管理,不断的完善与提高相关的云计算的安全技术,提升云环境下的网络安全性,让用户通过良好的、健康的云计算安全环境,更为放心的使用云计算系统,以此来促进云计算的发展。 参考文献

[1] 高雪莹, 吴韶波, 陈思锦. 云计算及其安全技术[J]. 物联网技术, 2014(3):88-90. [2] 丁一军, 于桂荣. 云计算:安全技术问题探讨[J]. 科技创新导报, 2015(7):58-59. [3] 肖锟, 袁俊. 云计算平台的数据安全技术分析[J]. 黔南民族师范学院学报, 2014, 34(6):102-105. [4] Tari Z, Yi X, Premarathne U S, et al. Security and Privacy in Cloud Computing: Vision, Trends, and Challenges[J]. IEEE Cloud Computing, 2015, 2(2):30-38. [5] Mahalle S, Jaiswal R. Cloud Computing Security: A Survey[J]. International Journal of Computer Applications, 2015, 115(6):21-25. [6] 闫盛, 石淼. 基于云计算环境下的网络安全技术实现[J]. 计算机光盘软件与应用, 2014(23):168-168. [7]冯朝胜, 秦志光, 袁丁. 云数据安全存储技术[J]. 计算机学报, 2015, 38(1):150-163. [8] Dinadayalan P, Jegadeeswari S, Gnanambigai D. Data Security Issues in Cloud Environment and Solutions[C]// World Congress on Computing and Communication Technologies. 2014:88-91. [9]高其胜, 陈艳峰. 云计算虚拟化安全研究[J]. 图书馆学研究, 2015(11):46-50. [10]王笑帝, 张云勇, 刘镝,等. 云计算虚拟化安全技术研究[J]. 电信科学, 2015, 31(6):1-5. [11] 罗伟. 基于云计算安全的关键技术分析[J]. 电脑知识与技术:学术交流, 2015, 11(2X):51-53. [12] 申璁. 云计算安全的关键技术分析[J]. 科技传播, 2016, 8(8). [13] 白堃. 基于云计算环境下的数据安全保护技术分析[J]. 电子设计工程, 2015, 23(10):149-151. [14] 肖明清, 杨召, 薛辉辉,等. 云计算及其在测试领域的应用探索[J]. 空军工程大学学报·自然科学版, 2015(1):50-55. [15] 余正祥, 胡云. 云计算在图书馆中的应用研究[J]. 图书情报工作, 2014(S1):254-256. [16] S Kembhavi,G Singh auto upload and chi-square test on application software as a service for cloud computing encironment[J].International Journal of Advanced Technology and Engineering Exploration ISSN (Print): 2394-5443 ISSN (Online): 2394-7454 Volume-1 Issue-1 December-2014 [17] Zhao F, Li C, Liu C F. A cloud computing security solution based on fully homomorphic encryption[C]// International Conference on Advanced Communication

第五篇:云计算中MapReduce技术研究

孙香花

(长江师范学院数学与计算机学院,重庆,408100)

要: MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算。本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。

关键词:MapReduce技术;云计算应用;云计算;并行计算;

MapReduce technology of cloud computing

SHUN Xiang-hua (

1、College of Mathematics and Computer Science,Yangtze Normal university, Chongqing,,410081)

Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution. Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data. This paper focus on the cloud of MapReduce technologies. MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis; MapReduce model put forward the current research issues; Finally, the summary text and the future trends. Key words: MapReduce technology; cloud computing applications; cloud computing; parallel computing;

1、引言

随着数字技术和互联网的急速发展,特别是随着Web2.0的发展,互联网上的数据量高速增长,也导致了互联网数据处理能力的相对不足。由于待处理数据越来越多 ,多到了很难在一台或有限数目的存储服务器内容纳,且更无法由一台或数目有限的计算服务器就能处理这样的海量数据。因此,如何实现资源和计算能力的分布式共享以及如何应对当前互联网数据量高速增长的势头,是目前互联网界亟待解决的问题。正是在这样一个发展背景下,云计算应运而生[1]。

云计算是由并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)发展而来[2,3]。云计算的核心技术之一是MapReduce,它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算[4-6]。

近几年来由于数据的大量增长,Mapreduce受到了较多的关注,获得了较大的发展,但还没有形成成熟的、系统化的理论体系[7]。目前国内外进行MapReduce分析技术研究的机构都显示了对MapReduce的高度关注,并在不同的体系结构上都进行了实现,尤其是在开源hadoop平台上对其所做的研究提供了更多的研究机遇。因此对MapReduce的研究不仅具有收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

重要的应用价值,更具有重要的学术意义[8,9]。本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。 2 、MapReduce相关研究

目前国内外文献中对MapReduce模型都有相应的研究。主要体现在以下几个方面: 基于MapReduce的初等研究及改进:在Goole提出的原始模型的基础上提出一些新的改进方法,或是对怎样提高MapReduce算法的效率上去进行研究。如:文献[10]提出了一种改进型的MapReduce编程模型,该模型继承了传统的MapReduee模型对map函数和reduce函数的定义.对map和reduce过程进行了改进优化。文献[11]中的HPMR是建立在多核集群上的高性能计算支撑平台。它继承并改进了MapReduce并行编程模式,使其适合高性能计算需求。并让并行程序的编写和运行变得非常简单,同时又保持很高的性能。

对大规模的数据挖掘:利用MapReduce模型对于云平台的海量数据进行挖掘,抓取网页相关数据,或是对网页内容去重等到相关的大规模数据的研究等。如:文献[12]详细描述SPRINT并行算法在HadooP中的MapReduce编程模型上的执行流程,并利用分析出的决策树模型对输入数据进行分类。

基于MapReduce并行模型的一些设计方法与实现或是计算方法的实现,如:文献[13]结合MapReduce的长处,提出研究和实现一个完整的高性能并行计算系统,以GPU为硬件基础并配合基于MapReduce并行计算模型平台进行大规模数据处理。文献[14]提出了基于MapReduce架构实现分布式光线跟踪渲染的方案。该方案基于Hadoop实现,利用MapReduee架构简化了分布式程序设计。

MapReduce的综述:文献[15]重点讨论了MapReduce模型的相关研究,并对采用或是实现了这些模型的相应公司的技术进行了探讨,是一篇综述类型的学位论文。MapReduce模型的研究与应用:文献[16]介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架,并在Hadoop基础上提出一种通过多重MapReduce操作,实现海量共现矩阵的生成方法。

当前的研究中,对于云计算中并行计算模型的研究主要是针对于MapReduce模型,而对于MapReduce模型的研究主要在两个方面展开,一个方面为对MapReduce模型的改进,但是对于改进后的模型的实现平台没有研究;另一个方面为MapReduce模型的应用,也是当前的主要研究方向。

3、MapReduce相关研究问题

MapReduce是由Google提出的一种并行分布式编程模型[17-19]。在MapRedcue 模型中用户只须指定一个map函数来处理一个输入的key/value对,产生中间结果key/value对集,再通过一个由用户指定的reduce函数来处理中间结果中具有相同key值的value。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理[20-21]。

图1说明了用 MapReduce 来处理大数据集的过程,MapReduce 的计算过程很简单,计算利用一个输入key/value对集,来产生一个输出key/value对集[22]。MapReduce库的用户用两个函数表达这个计算:map和reduce。首先,用户自定义的map函数,接受一个输入对,然后产生一个中间key/value对集。然后,MapReduce库把所有具有相同中间key I的中间value聚合在一起,然后把它们传递给reduce函数。最后,用户自定义的reduce函数,接收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

受一个中间key 和相关的一个value集。它合并这些value,形成一个比较小的value集[23-25]。

图1 、Mapreduce的计算流程

随着数字技术和互联网的急速发展,特别是随着Web2.0的发展,互联网上的数据量高速增长,也导致了对MapReduce这种并行计算模式的研究变得越来越重要,由此也产生了一系列的相关研究问题,分别如下所列出[26-28]:

1、 MapReduce模型只需执行简单的计算,对于隐藏并行化、容错、数据分布、负载均衡的那些问题是如何实现的。

2、 Google的MapReduce执行流程。

3、 对MapReduce模型的实现。

4、 对MapReduce模型进行改进。

5、 提高Mapreduce的运算效率的方法。

6、 基于MapReduce模型的应用。

7、 基于MapReduce模型的设计方法及实现 对于以上所列出这些研究问题,目前国内外都有相关的研究,对于这些研究问题在很大程度上仍然有可研究性。

4、 未来研究趋势

MapReduce作为一个通用可扩展的并行计算模型,它用来有效地处理海量数据,不断地从中挖掘出有价值的信息,成为互联网企业发展的必然选择。很多现实世界对海量数据的处理,都可以用这种模型来表示。当前在云计算中使用的分布式并行运算基本上是采用的MapReduce计算模型,不过国内的研究仍然有点滞后,同时,当前的主要研究都放在其应用上,比如说网页抓取等,真正去研究算法本身的并不多,尤其是在提高算法本身的效率上,以及算法的优化等都研究较少。

根据上面的论述和分析可以看出,对于云计算中并行计算模型的研究和应用主要是对于MapReduce模型的,而对MapReduce模型的应用是当前的主要研究方向。本课题在分析MapReduce模型的基础上,提出了如下的研究内容:

1、利用MapReduce强大的计算能力,把MapReduce模型应用到一些经典的算法中。所要解决的主要问题是经典的算法的选取,即要满足利用MapReduce模型的条件,还要解决的是两个算法的比较及评价问题;

2、利用MapReduce强大的计算能力,把MapReduce模型应用到一些数值计算问题中去,所要解决的主要问题是数值计算问题的分解和结束条件,还要解决的是两个算法的比较问题及新算法的评价问题。

收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

4、 结束语

本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。 参考文献 [1] [2] [3] [4] [5] 张建勋,古志民,郑超. 云计算研究进展综述[J]. 计算机应用研究,2010,27(2):429-433 金海,漫谈. 云计算[J].中国计算机学会通讯,2009,5(6):22-25 吴吉义,平玲娣, 潘雪增等. 云计算:从概念到平台[J].电信科学,2009,12:23-30 陈康, 郑纬民. 云计算:系统实例与研究现状[J].软件学报.2009,20(5):1337-1348 尹国定,卫红. 云计算—实现概念计算的方法[J]. 东南大学学报:自然科学版,2003,33(4):502-506 [6] 武永卫,黄小猛. 云存储[J]. 中国计算机学会通讯,2009,5(6):44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J]. Science of Computer Programming, 2008, 7(1): 208-237. [8] 万至臻.基于Mapreduce模型的并行计算平台的设计与实现[I].浙江大学.2008 [9] 吴晓伟.MapReduce并行编程模式的应用和研究[I].中国科学技术大学.2009. [10] 周锋,李旭伟.一种改进的MapReduce并行编程模型[J].科协论坛.2009.2(11):11-12 [11] 郑启龙,王昊,吴晓伟等.HPMR:多核集群上的高性能计算支撑平台[J].微电子学与计算.2008,25(9):21-23 [12] 王鄂,李铭.云计算下的海量数据挖掘研究[J].现代计算机.2009,22(11):22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行计算模型研究与应用[I].桂林理工大学.2009. [14] 郑欣杰,朱程荣,熊齐邦.基于MapReduce的分布式光线跟踪的设计与实现[J].计算机工程.2007,33(22):83-85 [15] 周敏.MapReduce综述[I].暨南大学.2008. [16] 杨代庆,张智雄.基于Hadoop的海量共现矩阵生成方法[J].现代图书情报技术. 2009, 25(4) 23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner. A break in the clouds: toward a cloud definition. ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G,Gu Yunhong,Michael Sabala,Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems,2009,25(2):179-183 [19] Daniel J A. Data management in the cloud: limitations and opportunities. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 郑启龙.HPMR在并行矩阵计算中的应用[J].计算机工程.2010(8). [21] 徐志伟,廖华明,余海燕.网络计算系统的分类研究[J].计算机学报.2008,31-9:1509—1515. [22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J]. Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007. [23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA). 收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

Phoenix,AZ, February 2007. [24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004. [25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch. Main memory evaluation of monitoring Queries over moving objects. Distributed and Parallel Databases,15(2):117-135,2004. [26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation. In Proc.IEEEP ACT,2006. [27] 钟伟彬,周梁月,潘军彪等. 云计算终端的现状和发展趋势[J].电信科学,2010,3:22-26 [28] 陈国良,孙广中,徐云. 并行计算的一体化研究现状与发展趋势[J].科学通报,2009,54(8):1043-1049

地址:重庆市涪陵区李渡聚龙大道98号长江师范学院数学与计算机学院办公室

孙香花 邮编: 408100

收稿日期:

基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003) 作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.

上一篇:音乐与人类生活范文下一篇:药监局关于汇报范文