大数据时代研究范文

2022-06-08

第一篇:大数据时代研究范文

大数据时代基于云计算的数据监护研究论文

在大数据时代,为了更好地管理和利用科学数据,计算机图灵奖获得者Jim Gray于2002年提出了数据监护(Data Curation)的概念。十余年来,数据监护一直是国内外信息资源管理领域的热点议题,研究主题集中在数据监护的内容、发展策略、合作模式、职业教育、成功实践等领域。111鉴于云计算能够为数据监护提供强有力的技术支撑,如云计算快速提供资源的能力有助于辅助完成资源密集型数据监护任务,网络化云服务有利于实现数据监护的协同工作,基于云计算开展数据监护引起了国外信息资源管理学界和业界的广泛关注。本文对基于云计算的数据监护问题进行探讨,希望对我国的数据监护工作有所借鉴。

一、数据监护工作流程

数据监护是为了确保数据当前的使用目的,并能用于未来再发现及再利用,从数据产生伊始即对其进行管理和完善的活动。121为了有效指导数据监护实践,提高数据监护效率,一些数据监护机构和研究者对数据监护过程进行了概念化,提出了相应的数据监护生命周期模型。本文基于英国数据监护中心的DCC数据监护生命周期模型13与王芳和慎金花提出的细化的数据监护生命周期模型,梳理出了数据监护工作流程,见图1。数据监护工作流程由4个阶段、11个业务环节组成,涵盖了数据监护的所有必要阶段和核心工作。

数据收集阶段:数据采集。数据采集是数据监护活动的起点,指根据采集政策,从数据创建者、档案馆、知识库或数据中心等接收数据。元数据创建。为采集到的数据创建管理、描述、结构和技术元数据,以便进行数据管理和数据维护,以及实现数据共享。

数据处理阶段:数据评价和选择。评估数据并为长期监护和保存选择数据。数据评价和选择直接关系到科学数据库的质量,并且带有一定的主观性。数据剔除。根据成文的政策、指引或法律要求,处理未成为长期监护和保存对象的数据,将这些数据转移到其他档案馆、知识库、数据中心或其他保管机构。根据法律要求,有些数据会被安全销毁。数据导入。将经过选择的数据传送至档案馆、知识库、数据中心或其他数据监护机构。为保证数据的可用性,在导入数据之前,应进行去重、交叉注释、格式认证等。数据迁移。根据存储环境的需求,或者为了确保数据对硬件和软件退化的抗扰性,改换数据的格式、存储系统、存储类型。

数据保存阶段:数据长期保存。长期保存须确保数据的可信性、可靠性、可用性和完整性。长期保存包括数据清洗、数据验证、分配保存元数据、分配表征信息,保证数据具备可接受的数据结构和文件格式。数据存储。遵守相关标准,选择科学的组织方式和安全的存储介质组织并存储数据。数据存储既可以保证数据的安全性,又便于数据被随时使用和加工处理。

数据利用阶段:数据获取。采用适当的标准发布数据,并执行严格的访问控制和验证程序,保证用户安全、准确的访问和获取数据。数据复用。制订数据复用规则,在不违反知识产权的前提下,提供数据复制、链接、引用等服务。数据转换。根据原始数据创建新数据。例如,通过转换格式、建立子集等途径,创建新数据。

二、云计算为数据监护提供支撑

云计算作为分布式计算、网络存储、负载均衡、热备份冗余等计算机和网络技术融合的产物,具有超大规模、虚拟化、通用性、高可扩展性等诸多特点。云计算的特点与数据监护的需求非常契合,可以为数据监护提供强有力的技术支撑。

弹性服务:云计算服务的规模可快速伸缩,以自动适应业务负载的动态变化。用户使用的云计算资源与业务的实际需求相一致,避免了因为资源供需不匹配而导致的服务质量下降或资源浪费。161数据监护的数据剔除和数据迁移等任务不需要持续不断的执行,属偶发性活动。云计算的弹性服务能够很好地满足偶发性数据监护活动的资源调用需求。

按需服务:云计算以服务的形式为用户提供基础设施、存储空间、应用程序等,并能够根据用户的需求,自动分配各种资源。17用户也可以根据需要在云中部署所需的应用程序。云计算的按需服务为数据监护中需要依赖主观意识完成的任务,如元数据创建、数据评价和选择提供了极大的便利。

泛在接入:用户通过互联网可以随时随地利用云计算服务。数据用户越来越多的使用笔记本电脑、智能手机、平板电脑,将数据监护业务流程转移至云,能够极大地方便用户上传、访问和下载数据。数据监护的数据采集、数据获取和数据复用等业务环节,可以从云计算的这一特点中受益。

服务外包:用户进行数据处理所需的计算资源价格昂贵,将提供计算资源的业务委托给云服务商,既能够节省开支,又能够使用户专注于自己的核心工作。云服务商为了利益最大化,保持最优竞争力,都会迅速应对技术变革,以更低的价格提供更快的处理器和更大的存储空间。云计算服务外包的特点使数据监护机构将部分信息技术支持业务委托给云服务商,以获得更低廉的价格和更优质的服务成为可能。

三、基于云计算的数据监护模型

云计算提供从硬件设施到应用软件的多层次服务。根据服务的对象和功能差异可以将云计算划分为三种服务模式:基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS);根据租用云计算的用户对数据和环境的控制权,可以将云计算划分为公有云、私有云和混合云等部署模型。本文根据数据监护不同业务阶段的工作内容和技术需求,并结合云计算的服务模式和部署模型,构建了基于云计算的数据监护模型,见图2。下面分别从数据监护的云计算服务模式和部署模型两个方面分析基于云计算的数据监护模型。

(一)数据监护的云计算服务模式

IaaS层。IaaS提供基础设施部署服务。IaaS通过虚拟化技术整合服务器、存储设备、网络资源、高性能计算集群等物理资源,构建全局统一的动态虚拟化资源池。基于云计算的数据监护模型的IaaS层为上层云计算服务提供海量硬件资源,实现硬件资源的按需酉己置。

PaaS层。PaaS是云计算应用程序运行环境,提供应用程序部署与管理服务。PaaS不仅能够实现海量数据的存储,而且能够提供面向海量数据的分析处理功能。在基于云计算的数据监护模型的PaaS层,数据监护机构使用云供应商的软件工具和开发语言,开发数据收集和数据处理所需的各种应用程序,实现应用程序的多元化和定制化服务,并将科学数据保存于海量数据存储系统。

SaaS层。SaaS提供以服务为形式的应用程序。SaaS允许用户使用部署于供应商云基础设施上的应用程序,用户也可以根据需求向供应商定制应用程序。在基于云计算的数据监护模型的SaaS层,数据监护机构通过应用程序向用户提供数据利用服务,实现数据共享和科研协作。

(二)数据监护的云计算部署模型

数据监护的各个阶段分别面向数据监护方和数据使用方,对应不同的数据存取、处理等操作权限,因此需要采用相适应的云计算部署模型。数据监护过程中的数据利用阶段位于SaaS层,为用户提供方便高效的数据获取等服务,而公有云面向一般公众提供敏捷弹性服务的特点与数据利用阶段的功能需求相契合。用户能够通过网络浏览器像使用个人电脑中的软件那样使用公有云的应用程序,实现应用程序的泛在访问。因此,基于云计算的数据监护模型的SaaS层应采用公有云部署模型。数据收集和数据处理工作要求云计算提供量身定制的服务功能和非常稳定的服务质量,而数据保存工作要求云计算能够切实保障数据安全。私有云部署在用户数据中心的防火墙内,能够提供对数据、安全性和服务质量的最有效控制,而且不会冲击用户已有的业务流程。因此,基于云计算的数据监护模型的PaaS层适宜采用私有云部署模型。上述公有云和私有云的基础设施共同构成了基于云计算的数据监护模型的IaaS层,并且公有云和私有云具有统一的接口标准,保证服务的无缝迁移,即IaaS层采用混合云部署模型。

四、基于云计算的数据监护案例

SRF项目:英国南安普顿大学的SRF项目,针对科学研究工作集成了许多已有的协作型数据管理工具,并将这些工具部署到一个共享的虚拟云平台上,以SaaS的方式提供服务。SRF工具最大的特点是能够在网络日志中自动或者手工创建和共享实验数据。例如,SRF的一款代理软件能够植入实验仪器和计算机,自动抽取仪器在实验过程中记录的数据,并转换为XML格式,然后以博客的形式发布以实现协作复用。通过博客发布平台实现实验过程、实验数据、实验分析的互联,组织实验数据记录,构建实验、实验数据、实验设备之间的关联关系。在数据监护生命周期中,SRF工具主要用于接收和抽取数据,以保证实验数据在上传至云的过程中会被格式化成标准格式。

Data Flow项目:牛津大学的Data Flow项目,旨在创建免费的云托管Data Stage和Data Bank,以便于管理、保存、发布研究数据。其中,Data Stage以在用户电脑上运行映射驱动器的方式,提供研究组水平的、安全的“本地”文件管理环境。另外,Data Stage还提供数据的网络获取和在线存储服务,用户通过访问控制程序的认证之后,即可以访问私人、共享、协作、公众和公共数据目录。Data Bank是一种虚拟化的、基于云部署的机构研究数据仓储。机构可以选择将Data Bank部署在Eduserv教育云或者机构自己的基础设施中。Data Bank还具备包括数据抽取、储存、长期保存、访问在内的一系列数据监护功能。

Kindura项目:伦敦国王学院的Kindura项目,是一个基于混合云部署模型的科学数据管理试点项目,提供基于存储的数据管理服务和基于计算的数据处理服务。Kindura项目通过DuraSpace推出的托管云服务一DuraCloud,将本地服务与各种云服务相衔接。用户利用DuraCloud提供的统一界面,即可享受一站式数据存取服务。Kindura项目通过部署于服务器上的规则引擎,以及面向规则的集成数据管理系统(iRODS)的规则库,决定具体数据存储在本地还是存储于云端:二进制对象存储在云端,元数据和Fedora对象存储在本地。l9Kindura项目证明,混合云能够有效节省数据监护成本,并且能够更加高效地利用本地存储库,提升数据处理能力。

东南大学AMS-02项目:东南大学为大型国际合作项目AMS-02的数据监护工作构建的云计算平台,提供IaaS、PaaS、SaaS服务。该云计算平台架构如图3所示。在IaaS层,云计算基础设施由3500颗CPU内核和500TB高速存储设备构成,提供虚拟机和物理机的按需分配,并且自动配置操作系统、科学计算函数库等运行环境。在PaaS层,数据分析处理平台提供大规模计算能力和海量数据存储能力;应用开发环境为AMS-02数据分析处理应用提供编程接口。在SaaS层,以服务的形式部署云计算应用程序,用户通过访问AMS-02应用,可以获取原始科学数据以及数据处理分析结果。云计算通过超级计算模式,整合大量的存储、计算、带宽等资源,为数据监护提供了经济高效的解决方案。国内的数据监护尚处于起步阶段,对基于云计算的数据监护进行深入的理论探讨和实践探索,有助于推动我国的数据监护实现跨越式发展。

第二篇:面向大数据时代的数据库课程教学改革研究

(阜阳师范学院计算机与信息工程学院安徽阜阳 236037)

摘要:大数据时代带来了数据在存储、组织、管理等理论与方法方面的巨大变化,同时也给传统的数据库课程带来新的挑战,促使其进行改革。本文通?^对大数据时代给数据库课程带来的影响进行深入分析,从高校数据库课程所面临的问题入手,提出适应大数据时代发展需求的新的数据库课程教学模式、教学方法、教学内容。

关键词:大数据;数据库;教学改革

0 引言

目前,对于大数据(Big data)的定义在业界尚未有统一的定义,但通常用大数据一词来表示大量非结构化数据和半结构化数据。这些数据在用传统的关系型数据库分析时会花费较多的时间和金钱[1]。但是,目前国内大多数高校的数据库课程仍然是都是以产生于上世纪80年代的关系型数据库为主,研究的是结构化数据的存储、处理、数据共享等内容。按照"80-20"规则,世界上20%的结构化数据主要是事务数据,产生80%的价值,而80%的数据为非结构化数据,这些非结构化数据大多是一些新型用户产生的数据,它们无法存储到关系数据库中[2]。但是随着数据采集、存储技术和云计算的迅速发展,大量非结构化数据的存储和处理已成为可能,也越来越受到关注。这些现象的出现也对现有的数据库课程产生较大的冲击。现如今,在国内几乎所有的本科院校计算机相关专业都已开设了数据库类课程,该课程的开设初衷是为了解决计算机信息处理过程中大量数据有效组织和存储的问题,同时也是为培养学生进行信息管理、分析、设计、开发和应用等诸方面的能力[3-4]。但存在问题是现有的数据库课程知识体系很难应对由云计算、大数据等技术的兴起而产生的海量数据爆发式增长的局面,已经出现不能满足实际应用对数据库专业人才的需求的局面。因此,本文通过分析大数据时代的特点及社会对数据库专业人才需求,提出适应大数据发展需要的数据库课程内容、教学模式及教学方法。

1 设计面向大数据背景下的教学模式

大数据环境下,以"慕课"、"翻转课堂"等为典型代表的新教学方式正在冲击现有的课堂教学。这些新的教学方式多以个性化、自主性、互动式作为显著特征,它在知识传递上比传统的实体课堂更加符合学习科学的规律与要求,也促使越来越多的师生利用"慕课"等平台寻找和利用教育资源,而且传统教师主导课堂的形式将逐步退出教学历史的舞台。但是,就现阶段的教学环境和教学设施等方面来说,"慕课"等新型教学方式还不能完全取代课堂教学,但可以作为课堂教学的有益补充。因此,在大数据环境下,教师必须实现角色的转换,必须摒弃传统的"灌输式"传授知识方法,树立"学生为本"的课程教学观,根据数据库课程的教学目标、教学内容、学生特点、教学条件等,灵活选择教学方法,形成以学生独立自主学习为主,教师引导启发为辅的教学模式。同时,应充分利用诸如"互联网+"大学生创新创业大赛、大学生软件设计大赛、ACM程序设计大赛等竞赛来锻炼和培养学生的综合素质和创新能力,通过参加各类专业竞赛来扩大学生的专业视野,在锻炼学生实践能力的同时,也能够培养学生的团队合作精神。通过赛前的培训,赛后的总结等环节也能够起到对课堂教学的延伸扩展的作用,同样也能使学生在实践过程中更进一步的体会专业知识技能的学习和实践的乐趣。

2 完善大数据背景下数据库课程体系的教学内容

在传统的数据库类课程中重点讲授关系数据模型、E-R模型和数据库逻辑设计、查询优化和数据库物理设计以及事务管理;详细介绍了关系代数、函数依赖和规范化的基本思想和理念;简单介绍SQL、视图、快照、存储过程和触发的基本思想。为适应大数据时代产生的海量数据的管理、存储、分析和处理。一方面,应在课程内容上增加NoSQL数据管理技术和编程模型。NoSQL数据管理技术是关系型数据管理技术的有益补充,它包括针对异构海量数据的存储、查询和分析技术,是以Web搜索、电子商务、个性化信息服务、社交网络等为典型代表的新型应用的支撑技术,也是大数据时代数据分析的主要支撑技术,是目前信息检索、数据挖掘、机器学习等领域的重要关键技术。另一方面,为应对大数据时代数据管理的新挑战,应增加HBase和Hive为代表的海量数据管理平台、面向OLTP 提供NoSQL 扩展性的NewSQL 代表技术C-Store关系数据库系统、以及针对经典数据挖掘算法的海量数据挖掘与分析算法等方面的内容。

3. 研发实验平台、改革实验教学方法

企业在开发、测试、部署实际项目时需要有特定的软件环境。在实践教学过程中,不但要让学生熟悉这些环境,还要特别注意在实际工作中容易出现的各种问题和错误,找到相应的解决方法。为此,教师应该在校内搭建真实的实验环境,采用企业项目案例进行实践教学。真正的大数据课程需要有分布式的实验环境支撑,基于Hadoop 搭建大数据实验平台,给学生提供大数据分析、储存、管理的实验环境,让学生掌握Hadoop 中HBase、Hive、Zookeeper 等关键技术并熟练掌握数据交换、大数据查询、大数据项目实践等核心内容,在此基础上再结合真实的电商企业数据,培养学生分析问题和解决问题的能力。大数据环境下,传统的实验室无法满足教学需要,需要构建云环境下的虚拟实验室,结合云计算和虚拟技术,打破时空限制,为学生提供开放的实验平台,让教师和学生随时随地都能访问和使用实验资源。

4 结语

本文所提出的是基于数据库课程在大数据时代背景下的教学模式、教学内容、实验平台等的改革研究,目的是为适应大数据带来的变革对数据库课程的要求,通过补充和完善传统数据库的教学内容、实验平台、改善教学模式和教学方法,期望学生通过学习能够满足企业的对大数据设计和管理的需求。在以后的研究中可以可以探索将数据库方面的专业认证环节融入到教学体系中,以增强学生学习的兴趣、目的性、实践性。

参考文献:

[1] 朱建平,李秋雅.大数据对大学教学的影响[J].中国大学教学 2014,(9):41-44

[2] 刘继华,王三虎.数据库技术类课程体系及教学模式改革的研究与实践[J].吕梁学院学报,2011,1(2):34-35.

[3] 孟小峰, 慈祥. 大数据管理: 概念、技术与挑战[J]. 计算机研究与发展, 2013, 50(1): 146-160.

[4] 王树锋, 费贤举, 胡智喜. 基于大数据的数据库课程探究式教学方法研究[J]. 计算机教育, 2014(11): 99-102.

作者简介:李絮 (1983年-),女,安徽宿州人,汉族,现职称:讲师,学历:硕士,研究方向:计算机应用。.

基金项目:"基于云计算的高校网络教学系统研究"(2014zdjy080) 省级重大教学改革研究项目;"MOOC背景下基于ECDIO-KS的模拟电子技术课程教学改革研究"(2015JYXM06)。

第三篇:大数据时代下企业管理模式创新研究

【摘要】大数据时代悄然来临,大数据时代给人们的生活带来了很大的变化,各种数据在生活中起的作用越来越大。企业的管理模式在不同的时代应该有不同的创新,应该顺应时代的发展,寻找最适合的管理模式,采取科学合理的管理模式,营造一个科学良好的企业运行环境。在大数据时代企业模式的创新是很明显的,在进入这个时代以来,各个企业都在不断探索,寻求最适合的管理方案。本文主要针对大数据时代企业管理模式创新进行分析。

【关键词】大数据时代 企业管理模式 创新研究

大数据时代给这个时代带来了很大的改变,在带来机遇的时候也带来了一定的风险。在进入大数据时代以来,很多事情的发展都有了很大的变化,正在大数据时代下该如何发展企业是很多企业在研究的问题。企业的管理包括很多方面内容,例如,对企业数据的管理,对企业工作人员的管理,对企业设备的管理。在进行企业管理的过程中管理模式的选择要与时俱进,去掉一些陈旧传统的方法,加入一些高效率的管理方法,充分利用大数据时代的特点,对企业进行管理。

一、大数据时代

在分析怎么在大数据时代下制定相应的管理模式之前,首先对大数据的相关内容进行了解。大数据,可以分为两部分来理解,一部分是“大”,一部分是“数据”“大”,主要体现在在这个时代的发展过程中在很大范围内都存在着数据,经过学者们的研究,数据几乎出现人们生活的各个方面,成为这个时代一个明显的特征。一部分是“数据”,数据是一个比较抽象的概念,数据主要是对各种情况进行记录的一个体现,用数据体现出需要记录的对象的具体情况,数据的呈现方式具有更高的科学性。

在进行企业的管理过程中,充分了解大数据的特点,在企业管理的过程中充分利用大数据的特点,进行更加科学的管理。大数据的特点主要体现在以下几个方面:①数据多,覆盖范围广。大数据时代下的数据几乎覆盖在各方各面,数据的覆盖范围很广这就给企业进行全体管理提供了机会,方便企业进行各方各面的管理。②大数据时代的数据种类繁多,企业在管理过程中通过不同类型的数据,针对不同的管理对象采取不同的管理方法。③大数据时代的数据在不断进行改变,通过这样的方法可以对局势进行不同的调整。总结起来就是大数据的数据具有很强的时效性。企业通过这样的方式进行更加有效的管理。在进行企业管理的过程中可以充分利用大数据时代的特点,针对具体的实际情况进行实际的管理,为整个企业的运行带来新的生机和活力。

二、企业在大数据时代下管理模式存在的问题

大数据时代的来临脚步是非常快的,在大数据时代来临的情况下很多企业就会有些手足无措,导致不能很好的利用大数据时代的浪潮,在管理模式上存在一些问题,问题主要体现在以下几个方面:继续沿用传统的管理方式,管理效率低;利用大数据时代的特点进行管理,没有做好相关的安全工作;没有处理好新老管理模式之间的衔接问题等。接下来对这些存在的问题进行具体的分析。

(1)继续沿用传统的管理方式,管理效率低。在大数据来临的时候,很多企业都还没有做好充足的准备,有的企业就会选择传统的管理方式,在进行管理的过程中,采用传统的管理方式,这种管理方式管理效率是很低的,不能满足现在大时代浪潮下的时代需求,导致企业的发展跟不上时代发展的脚步,对企业整体的运行产生影响。传统的管理方式有一定的成效存在,这是不容否认,不然也不能让企业采用这种管理方式,但是有更高效率的管理方式可以采用,企业还是可以适当的进行改变,引进更有效率的管理方式,提高企业整体效益。

(2)利用大数据时代的特点对企业进行管理,安全工作方面有所欠缺。在大数据时代的发展中,很多企业都会采取大数据处理模式对企业进行管理。在这个高新技术发展速度快的今天,数据的安全问题变得很严峻。在企业的数据管理过程中,一旦数据库被别人侵人,会造成企业数据的流失,给企业造成很大的损失。数据丢失,泄露是现在很多企业数据安全方面出现的问题,很多企业都很关注如何能够提高企业数据的安全性。在企业的数据管理过程中应该将重点放在数据安全管理上,为整个企业的安全运行提供更多的保障。

(3)在新老管理模式的衔接过程中出现问题。很多企业都有一定的远见,在大数据时代来临的情况下会采取一定的手段对企业的管理模式进行创新。在进行管理模式调整的过程中,模式的调整并不是一蹴而就的,需要一个过度时期。在过渡时期过程中新老的管理模式之间进行衔接,可能会出现一些问题,导致管理模式出现四不像的情况,对企业造成一些影响。

三、大数据时代下企业管理模式创新手段

在大数据时代不断深入发展的今天,企业应该根据时代情况,及时对自身情况进行改变,结合大数据时代发展的特点,创新原本的管理模式,提高企业管理效率,从而提高企业整体效益。关于大数据时代下企业管理模式创新的手段,可以从以下几个方面人手:在管理方式上进行创新,实行全自动化的办公;建立企业自身数据库和网络组群提高企业数据安全性;新老管理模式结合到一起,进行创新等,接下来对这些创新手段进行具体的分析。

(1)在管理方式上进行创新,实行全自动化的办公。在企业的管理过程中,管理的对象主要有两个:一??是企业的数据信息,一个工作人员。在对企业数据的管理过程中进行创新,在以往的企业数据管理过程中由于管理方式比较落后,对于信息的管理大部分是人工进行管理,在进行管理的过程中,由于管理的信息过多,而且比较复杂,工作人员的工作难度是比较大的。如果数据需要在中途进行修改或者增删,还需要找出档案进行处理,工作效率比较低。如果在管理过程中实行全自动化的办公,在数据的处理上,将会减少很多的麻烦,所有数据的处理只需要通过计算机端进行操作,非常便捷,出现错误的概率也比较小。在对企业工作人员进行管理的工作过程中也可以实行全自动化的模式,例如在工作人员出勤情况可以通过打卡的方式直接在系统显示出来。工作系统还可以对员工的工作情况进行记录,工作记录可以成为员工工作评价的一个重要参考。

(2)建立企业自身数据库和网络群组,提高企业数据安全性。在大数据时代来临的背景下,数据的重要性在不断增加,因此一定要提高企业数据的安全性。大数据时代的特点就是数据范围很广,种类繁多,企业的数据信息是很重要的,市场竞争很激烈,一定要对自身的数据进行严格的保护。企业的数据一般都会存在在数据库中,运用公共网络数据的存放是很不安全的, 企业可以建立一个专属的数据库,并且做好相关的安全工作对数据进行保护。企业还可以请专业的技术人员建立一个企业专用网络群组,这样的话可以给企业提供更好的安全保障。

(3)新老管理模式结合到一起,进行创新。在大数据时代下企业管理模式进行创新是需要一个过渡时期,在这个时期内,企业需要采取一些手段避免在衔接中出现尴尬的情况。在进行衔接的过程中,企业可以针对具体的管理的内容采取不同的管理模式,让工作人员的工作有一个缓冲的阶段。在进行创新的过程中,可以借鉴其他企业在进行大数据时代创新的经验,借鉴别人优秀的地方,分析其他企业在过渡时期是如何应对的。在借鉴其他企业的过程中,一定要注意不能照搬别人的经验,要根据自身的情况进行改进,因地制宜因时制宜。在过渡时期企业一定要注意,不能操之过急,一定要尊重事物发展固有的规律。在企业进行创新的过程中要注重和其他企业之间进行交流,交流企业中出现的共性问题,并且探讨相关的解决方法。新老管理模式之间可能会出现一些冲突,在冲突发生的过程一定要全面的分析问题,最后选择对企业最有利的解决方案。在进行创新的过程中,一定要将眼光放长远,充分考虑到可能出现的问题,及时制定相关的解决方案。在企业创新过程中出现问题的时候,可以向一些在该行业有一定地位的专家请教,寻求最专业的指导。

四、结语

大数据时代给企业带来很大的发展空间,企业一定要抓住这个机会,得到更好的发展前景。虽然大数据时代会带来更大的挑战,例如,数据安全隐患问题,日益激烈的市场竞争等,但是如果企业小心应对,还是可以取得一定的发展的。企业的发展和国民经济息息相关,国家肯定会针对大数据时代制定相关的优惠政策,企业一定要充分利用国家的优惠政策,减少发展道路上的困难。大数据时代下企业的管理模式创新是很重要的,企业方面一定要重视起来。

参考文献:

[1]余义勇,段云龙.大数据时代下企业管理模式创新研究[J].技术与创新管理,2016,37(3):302-307.

[2]黎绪钊.大数据时代下企业管理模式创新研究[J].南方农机,2017,48(6):157.

[3]?⑹缙?.大数据时代下企业管理模式创新研究[J].纳税,2017(16):74.

[4]文跃斌.大数据时代背景下企业管理模式创新研究[J].现代商业,2017(25):104-105.

[5]刘鹏.基于大数据时代下企业管理模式创新研究[J].科技展望,2017,27(18).

第四篇:大数据时代下的电子商务研究

【核心期刊网】——中国权威论文发表平台,我们为您提供专业的论文发表咨询和论文发表辅导! 大数据时代下的电子商务研究

王洪军

摘 要:鉴于当今大数据与电子商务的有效结合,传统的方法已不能满足现在的电子商务模式,该文主要讨论了大数据要求电子商务平台的特征匹配,大数据要求电子商务平台的扩展功能和完善,以及在大数据时代,有关职能部门加强电子商务管理等方面的问题。希望为建设大数据电子商务平台建设提供有针对性的指导。

关键词:电子商务 大数据 扩展功能 信息处理 数据分析

电子商务( E-Commerce) 是19世纪90年代随着Internet的普及而发展起来的一套交易系统。它利用国际互联网信息传递快以及覆盖地域广等特性来完成企业内部之间、企业与企业之间以及企业与消费者之间的商业联系[1]。它的出现, 改变了传统的生产、销售、采购方式,实现了资源的有效配置与重新整合,减少了商品销售成本与流通环节, 缩短了商品的生产周期,提高了企业的运营效率, 增强了其市场竞争力。

大数据是近年来出现的比较火的词汇,最初由美国人提出, 近些年来我国政府也十分重视大数据建设,已将大数据技术上升为科技战略问题[2]。大数据与电子商务结合是时代和科技发展的必然趋势,大数据是加深企业创新的利器。在当今大数据时代, 电子商务产生、存储与处理的数据量巨大。巨大的数据一方面给企业与消费者提供了更多的信息量, 可以更为详细的了解企业和商品的信息,为消费者提供了更多的参考信息;另一方面, 巨大的信息量要求更多的存储空间, 以及相应的搜索查询算法, 挖掘更为深层次、更有意义的信息, 同时可能提供更为安全的认证。这些必然要求探索在大数据时代下电子商务平台的开发问题。

1 大数据要求电子商务平台的特征匹配

随着大数据时代的来临,相对于传统的销售企业来讲,爆炸性增长的数据已成为电子商务企业非常具有优势和商业价值的资源,成为未来企业的核心竞争力。近年来,随着大数据资源的增长和有效利用,带来的电子商务交易额逐年走高。表1和表2给出了2008-2010年中国主要省市电子商务交易规模和所占比例。

由表1和表2可以看出, 随着大数据利用程度和效率的增加, 中国主要商业中心电子商务交易规模和比例逐年增加,在大数据支持下电子商务的优势已经逐步显现。但同时,大数据必然对电子商务提出了更多更高的要求。以淘宝网为例,要满足三点要求。

1.1 强大的信息检索功能

对于电子商务而言, 商品种类的丰富性是其提高竞争力的重要手段与措施[3]。在大数据的背景下, 商品的种类和数量等信息越来越多, 同时伴随数据垃圾的增多, 客户很容易受到干扰。在不增加网络和数据库硬件的基础上,开发新的程序和算法,优化网络结构,提高搜索效率。在云计算基础上的大数据处理,能够为客户提供比较全面、强大的信息检索功能,结合用户的个体差异和需求等特点,对海量数据进行搜索,从而提高搜索的准确率。同时,设计一个支持多领域动态数据集成的数据库网络系统,对数据库进行有效管理。在此基础上,对热点信息进行推荐和推送等检索服务,增加获取资源的准确性,排除垃圾信息的干扰,提高查询效率。

1.2 准确的数据分析能力

在大数据时代,数据实时性分析已经成为电子商务最主要的着重点,其主要价值体现在详细快速的分析和利用相关信息。如果数据没有实时性作为保证,数据本身也就没有意义。根据实际需要,在尽量避免过多安装硬件的基础上,开发新的数据挖掘算法,深入分析用户的需求,挖掘深层次相关信息,准确的确定最满意的答案。利用云计算可以在较短的时间内【核心期刊网】——中国权威论文发表平台,我们为您提供专业的论文发表咨询和论文发表辅导! 【核心期刊网】——中国权威论文发表平台,我们为您提供专业的论文发表咨询和论文发表辅导! 对于较多的数据进行收集、存储以及分析与处理。

1.3 快速的弹性处理能力

对于电子商务系统而言,拥有快速的弹性处理能力是其主要目标。特别是在大数据时代,突发访问量的增加、海量的订单以及浏览客户的增多,这些需求都不是算法本身方面所能完全处理的,必须根据客户的具体要求以及不断上涨的业务量来扩充服务器,同时增加相应的存储设备。同时,继续开发相应的具备弹性处理能力的算法,与硬件相互匹配,实行弹性的伸缩,最大限度的整合现有资源,实现资源的合理利用和充分发挥。

2 大数据要求电子商务平台的功能扩展

在大数据时代,除了要求具有强大的信息检索功能,准确的信息分析功能以及快速的弹性处理能力之外,还必须对原功能进行扩展和完善,满足大数据对电子商务的要求。

2.1 加强对逆向物流的重视

随着电子商务的发展,我国逆向物流的发展也在不断的发展,同国外发达国家比起来,差距还很明显。随着电子商务规模持续增长以及订单量的增多,退货量也在不断上涨。我国企业对逆向物流的重视程度不高,服务意识淡薄,致使我国逆向物流的发展受到一定障碍。电子商务逆向物流的发展,将有助于企业效率的增加,物流业的发展壮大,更有利于建立顾客的忠诚度,从而更加促进电子商务的发展。目前,我国的逆向物流存在一系列问题: 商家不重视退货管理,观念跟不上去,退货标准不统一,保障制度不完善。面对上述困难,企业应该从观念上重视逆向物流的发展,加强专业物流人员的培训,制定合理的退货制度,提高顾客的满意率,达到增加效率的目的。

2.2 建立健全电子商务营销渠道

由于开展电子商务有投资成本低、管理方便等优势,很多创业者首选在网上开店,这使得实体店因为销售业绩不好而逐渐关闭,也使得很多消费者不得不去网上购物。网点的店主们为了增加网上市场的占有率和竞争力,不得不用各种营销渠道吸引消费者的注意力。目前,电子商务技术方面的竞争很难拉开企业与企业之间的差距,只有健全的电子商务营销渠道,深入挖掘企业和市场的潜力,企业的综合竞争力才能得到提高。

2.3 妥善处理隐私

大数据环境将使用户的信息越来越公开,针对隐私保护方面的问题,建议增加以下几项措施:(1)电子商务企业应该恪守行业道德,不能将消费者的个人信息进行交易和泄露;(2)

企业应该从技术层面上开发先进的隐私保护技术; (3)随着大数据应用的发展,隐私保护问题和概念不断发展,国家之间应该制定相应的隐私保护法规,确保公民的隐私权。

3 在大数据时代,职能部门加强电子商务管理

在大数据时代,企业和客户得到的关于商品的信息量十分巨大,同时垃圾信息,诈骗信息和虚假信息也呈递增趋势,有关职能部门应该加强对电子商务平台的监督和管理力度,过滤掉有害信息,堵住此类信息的发布渠道,查处有问题的企业和个人,整改评价差的商户,完善电子商务平台交易制度,关注企业的信誉度,净化电子商务平台。建立企业的信誉度排序,同时每间隔一阶段,对信誉度进行重新排序,将最新的考评结果及时发布,反馈到用户手里,使他们能够第一时间掌握企业的信誉度,方便客户购物的判断。

4 结语

当下正值我国大数据和电子商务的发展阶段,以前的商务模式已不再适用大数据时代的电子商务,该文在传统电子商务模式的基础上,主要论述了在大数据背景下,新型电子商务模式具有的特点,以及功能拓展,职能部门应加强电子商务平台的监督和管理,为新型电子商务的发展指明方向。

参考文献

[1] 庞一华,田德鹏.我国电子商务发展中的问题与对策[J].郑州航空工业管理学院学报:【核心期刊网】——中国权威论文发表平台,我们为您提供专业的论文发表咨询和论文发表辅导! 【核心期刊网】——中国权威论文发表平台,我们为您提供专业的论文发表咨询和论文发表辅导! 社会科学版,2006,25(6):133-134,138.

[2] 甘丽新,涂伟.大数据时代电子商务的机务与挑战探讨[J].科技广场,2013(3):137-140.

[3] 全石峰.云计算环境下大数据处理对电子商务发展的作用[J].电脑知识与技术,2013:9(20):4762-4763,4770. 【核心期刊网】——中国权威论文发表平台,我们为您提供专业的论文发表咨询和论文发表辅导!

第五篇:大数据时代背景下网络建设研究论文

大数据的发展与应用不断深入到人们的日常生活中,例如,人们平时使用的网络购物平台、社交聊天平台都属于大数据背景下的产物。大数据丰富了网络发展,也使网络建设更加完善,更加符合现代化标准。因此,在大数据时代背景背景下做好网络建设工作十分重要,要严格把握大数据时代下的网络建设方向。

1大数据发展现状分析

信息技术在社会生活中的应用越来越广泛,因此也使得大数据的发展速度不断提升,在各个行业中的发挥的作用也越来越大,在一定程度上为经济的快速发展提供了便利。大数据的发展带动了不同领域的快速发展,同时也使大数据的发展更加充满动力。据相关数据统计,大数据市场规模在2011年到2015年期间增加近130亿,符合增长率超过40%。通过对以上数据的分析可知,大数据的发展趋势非常好,并且一些系统在大数据中不断更新,不断突破,使智能化计算机和大数据更好的结合在一起,不断推出更好的应用系统。

2大数据时代背景下的网络发展趋势

从目前的网络建设情况来看,大数据时代的到来为网络建设的发展带来了便利条件,但是也为网络技术的发展带来了一定的难题和发展障碍,比如在信息传播和数据安全管理等方面。因此,要保证网络建设能在大数据时代背景下能够健康快速发展,就要采取科学有效的管理措施进行网络设计和建设。

2.1推广网络技术的应用

网络技术环境是网络技术发展的平台,稳定的网络技术环境不仅可以保证网络技术的稳定还可以促进网络技术的快速发展。云计算在许多理财和交易平台中得到广泛应用,云计算是整个运行性过程的核心和基础部分,并且对网络技术等各个相关方面的要求都非常严格,并且随着软件平台的不断更新和发展,对网络技术的要求也不断增多。因此,要做好大数据背景下的网络设计和建设,就必须要做好网络技术的普及和应用,还要进一步开发计算机的硬件和软件功能,做好网络技术的推广应用工作,让更多人参与到网络技术的使用当中,让更多人切实体会到网络技术为生活带来的便利,使网络经济的发展更有动力。

2.2加强数据信息的结构化建设

在目前大数据快速发展的背景下,信息数量的增长速度也越来也快,并且传播的结构形式也变得越来越复杂,因此,在处理和构建数据的过程中会出现很多不利的影响因素,为整个构建过程带来困难。在目前的发展阶段,可以根据信息的结构形式将信息分为两个部分,一部分是结构性的信息,另一部分是非结构性的信息。而在通常情况下,非结构化的信息是位于非组织核心系统,非常容易被忽视。而非结构化信息可以分为两类,一类是不能很好融合的非结构性的数字信息,另一类是纸质的数据信息。从目前的发展状况来看,纸质信息在沟通方面的功能和作用依然发挥着不可替代的作用,尤其是在一些业务流程当中。而结构性信息是根据一些必要的格式整理出的信息,是由其组织内的核心系统构建和管理的。非结构化信息往往会受到忽视,因此导致了相应的结构内的信息交流不顺畅,会使非结构化信息与组织核心系统内部的结构化信息不能很好的对接,甚至会造成失控问题出现。数据结构化对于数据的开发和保障起到了重要作用。结构化的数据管理使数据的处理和加密变得快速有效,并且可以及时准确的分辨出非法侵入的数据信息,保证数据环境的安全。

2.3完善数据的安全控制系统

数据的安全系统要保证用户的账户、个人信息、以及数据库的操作等安全。异结构的数据安全系统对于保证信息安全有着重要作用。因此,要充分利用大数据快速发展带来的便利,不断发展和创新安全管理和访问控制的程序。因此,异构环境的建立非常重要,可以从以下几个方面进行:首先,要保证所有身份在全局范围内的验证没有异常,并且对用户的各种权限要进行合理的设置。其次,要保证系统的完整状态,重视数据库的安全监控与防范,使得数据库的核心部分得到保证。此外,还要严格监控好其他局部问题,做到充分全面的保障。再次,要加强对网络的安全管理和控制。对于一些常见问题要有充分严谨的应对措施,要做好网络信息加密工作,为异构环境的安全和网络信息的安全输出提供保证。最后,要注意对应用系统和数据库的安全管理。开发人员要保证数据的准确性,为系统和数据库建立做好前期准备工作。

2.4完善网络数据存储功能

在大数据发展背景下,海量信息的的储存主要是由相应的硬件设施完成的,如果想要使数据的安全性得到提升,就要不断加强储存环境的安全建设。如果要达到安全的数据存储环境,就要有硬件和软件的防火墙保护系统,这样就能在很大程度上阻止一部分非法网络数据入侵和攻击,使非法信息被隔离,保证数据环境的安全。此外,还要做好入侵检测机制的建立工作。要及时做好系统建立所需信息的收集工作,并准确分析和辨别相应的业务请求,为完善网络数据存储功能做好前期准备工作。

3结束语

综上所述,在大数据时代背景下,网络技术的发展越来越完善,为人们的生活带来越来越多的便利,同时也对数据的安全管理提出更高要求。因此,在大数据的网络建设中,要充分利用各类数据,建立完整的信息安全控制体系,对于不同问题都能及时找出相应的解决对策,为信息安全和网络技术的更好发展提供保障。此外,还要充分认识到大数据时代与信息安全体系的重要联系,要是二者紧密的结合在一起,更好的为网络技术的发展服务。

参考文献:

[1]王元卓,贾岩涛,刘大伟等.基于开放网络知识的信息检索与数据挖掘[J].计算机研究与发展,2015,52(02):456-474.

[2]冯诚,李治军,姜守旭等.无线移动感知网络上的数据聚集传输规划[J].计算机学报,2015,38(03):685-700.

[3]孙莉玲.大数据时代高校网络舆情研判与治理[J].江海学刊,2016(03):204-209.

[4]沈敬伟,周廷刚,张弘等.基于改进AOE网络的低频浮动车数据地图匹配算法[J].西南交通大学学报,2015(03):497-503

上一篇:电气工程师名单范文下一篇:党史课心得体会范文