大数据在信息检索应用

第一篇：大数据在信息检索应用

大数据-信息检索论文（范文）

浅谈大数据的概念、技术与挑战

王涛 (信管110502220)

摘要：计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来.数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据就云计算技术对于大数据时代数据管理所产生的作用进行分析.最后归纳总结大数据时代所面临的新挑战.

关键词：大数据;技术;挑战;数据分析;云计算

Abstract： Data type and amount in human society is growing in amazing speed which is caused by emerging new services such as cloud computing，internet of things and social network，the era of big data has come. Data has been fundamental resource from simple dealing object，and how to manage and utilize big data better has attracted much attention.

key words：big data;technology; Challenge;data analysis; cloud computing

引言

近年来，伴随着物联网、云计算、移动互联网等新技术的迅猛发展，数据正以前所未有的速度不断增长和积累，大数据时代已经成为普遍关注的话题.大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生.对大数据的基本概念进行剖析，并对大数据的主要应用作简单对比.在此基础上，阐述大数据处理的基本框架。这引起了产业界、学术界、科技界和政府机构的广泛关注。

大数据的火热并不意味着对于大数据的了解深入，反而表明大数据存在过度炒作的危险.大数据的基本概念、关键技术以及对其利用上均存在很多的疑问和争议【1】。

一、大数据的基本概念及大数据时代产生的必然

早在1980年，美国著名未来学家阿尔温托夫勒( AlvinToffler) 在 第三次浪潮 一书中就提出了 大数据 ( BigData) 的概念，并将其赞颂为 第三次浪潮的华

1 彩乐章[2]著名的数据库专家 图灵奖获得者吉姆 格雷( JimGray) 认为传统的实验 理论和计算机3大范式在科学研究，特别是一些新的研究领域已经无法很好地发挥作用，于是，其在2007年提出当前科学研究已发展到了 第4种范式( The FourthParadigm)[3]，即以大数据为代表的数据密集型科学近几年，一些国际顶级学术刊物也相继出版专刊对大数据进行探讨研究 2008 年9 月，Nature推出了 Big Data 专刊[4]，从互联网技术环境科学 生物医药等多个方面介绍了海量数据带来的挑战 2011年2月，Science出版关于数据处理的专刊 Dealing with data[5]，讨论了数据洪流( Data Deluge) 所带来的挑战，并阐明了大数据对于科学研究的重要性 2012年4月，欧洲信息学与数学研究协会会刊ERCIM News出版专刊 Big Data[6]，讨论了有关大数据时代的数据管理 数据密集型研究的创新技术等问题，并介绍了欧洲科研机构开展的研究活动和进展情况最早提出大数据时代已经到来的是全球知名咨 询 公 司 麦 肯 锡，其下属机构全球研究所( Mckinsey Global Institute) 于2011年6月份发布的一份专门的研究报告，将 大数据 视为全世界 下一个创新竞争和生产力提高的前沿领域[7]，并指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素; 而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来 著名的市场调研机构IDC( International Data Corporation，国际数据公司) 在同年的报告中指出，全球数据总量在2011年已达到1.8ZB( 1ZB=240GB) ，而这个数据大约以每两年翻一番的速度增长，预计至2020年全球拥有的数据量将达35ZB[8]。《华尔街日报》更是将大数据时代 智能化生产和无线网络革命称为引领未来繁荣的三大技术变革 此外，Gartner、埃森哲、普华永道等咨询公司，以及财富周刊 福布斯 纽约时报 等商业管理刊物也对大数据进行了大量的介绍与研究纵观国际形势，对大数据的研究与应用已引起各国政府部门的高度重视，成为重要的战略布局方向. 各国陆续出台有关大数据的国家政策和战略2012年3月，美国奥巴马政府宣布将投资2亿美元用于启动 大数据研发倡议( Big Data Researchand Development Initiative)[9]，旨在提高从海量和复杂的数据中分析萃取信息的能力，这是继1993年美国宣布 信息高速公路 计划后的又一次重大科技发展部署 继美国率先开启大数据国家战略先河之后，其他各国也随后跟进，已经或者即将出台相应的战略举措 日本政府重新启动2011年日本大地震后一度搁置的政府ICT战略研究，于2012年7月推出新的综合战略 活力ICT日本，重点关注大数据应用所需的云计算 传感器社会化媒体等智能技术开发2013年1月，英国政府宣布将注资6亿英镑，发展大数据 合成生物等8类高新技术，其中信息行业新兴的大数据技术将获得1.89亿英镑，占据总投资的近三分之一 澳大利亚政府在同年3月表示，澳联邦政府大数据战略草案有望在5月份出台，预计会在6 7月间正式颁布一些区域性或全球性组织也对大数据予以高度关注 在过去几年，欧盟

2 已对科学数据信息化基础设施投资1亿多欧元，并将数据信息化基础设施作为Horizon2020计划的优先领域之一[6]2012年初，世界经济论坛一份题为 大数据，大影响( BigData，BigImpact) 的报告宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样联合国也推出了全球脉动( GlobalPulse)[10]倡议项目，希望利用大数据来促进全球经济发展。

尽管各界 各地区 各机构对大数据广泛关注，进行了大量研究，但目前对于大数据尚未形成公认的定义 信息管理专家涂子沛在大数据: 正在到来的数据革命 中这样定义大数据:指那些大小已经超出了传统意义上的尺度，一般的软件工

[11]具难以捕捉 存储管理和分析的数据，一般以 太字节( TB) 为单位 这一定义基本上简单明了地阐述了大数据的内涵。

数据是云计算技术的延伸，更是社会进步和发展的必然结果，大数据时代的到来引领了未来IT技术发展的战略走向。在信息和网络技术飞速发展的今天，越来越多的企业业务及社会活动实现了数字化，特别是随着数据生成的自动化及数据生成速度的加快，数据量也随之快速增长【12】。同时，随着存储设备、内存、处理器等电脑元件成本的稳定下降，使得之前较昂贵的大规模数据存储和处理变得十分经济【13】，也使得大数据的存在成为可能。传感器数据也是大数据的主要来源之一。在物联网时代，成万上亿计的网络传感器嵌入在数量不断增长的智能电表、移动电话、汽车等物理设备中，不断感知、生成并传输超大规模的有关地理位置、振动、温度、湿度等新型数据。此外，移动互联网、三网融合、Web 2.0技术和电子商务技术的飞速发展，也促进了大数据时代的产生和发展。可以发现，数字化已经成为社会发展的必然趋势。与生产过程必须依赖硬件设备和人力资本一样，企业的业务活动、创新、成长也越来越离不开大量数据的支持【14】。也就是说，企业的任何一项业务活动都与大量的数据紧密相联，而我们每一个人都是数据的产生者，数据量与日俱增，数据结构繁杂多变，数据产生速度非常之快，我们已经进入了大数据的时代【15】。

二、大数据的特点及关键技术分析

1.大数据的特点

大数据不是一种新技术，也不是一种新产品，而是一种新现象，是近来研究的一个技术热点 大数据具有以下4个特点，即4个V[16]: ( 1) 数据体量( Volumes) 巨大大型数据集，从TB级别，跃升到PB级别; ( 2) 数据类别( Variety) 繁多 数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据;

( 3) 价值( Value) 密度低 以视频为例，连续不间断监控过程中，可能有用的数据仅仅一两秒钟;

( 4) 处理速度( Velocity) 快 包含大量在线或实时数据分析处理的需求，1秒

3 定律。

随着互联网技术的不断发展，数据本身就是资产云计算为数据资产提供了保管访问的场所和渠道，但如何盘活数据资产，使其为国家治理企业决策乃至个人生活服务，是大数据的核心议题，也是云计算的灵魂和必然的升级方向。

大数据已经出现 IDC多年的研究结果告诉我们: 全球数据量大约每两年翻一番，每年产生的数据量按指数增长，数据增速基本符合摩尔定律 全球有46亿移动电话用户，有20亿人访问互联网，人们以比以往任何时候都高得多的热情在与数据或信息交互 思科公司预计，到2013年，在互联网上流动的数据量将达到每年667艾字节[17]。

关键技术

2.1云计算;大数据的基础平台与支撑技术

如果将各种大数据的应用比作一辆辆“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算.正是云计算技术在数据存储、管理与分析等方面的支撑，才使得大数据有用武之地.文件系统是支撑上层应用的基础。原始的数据存储在文件系统之中，但是用户习惯通过数据库系统来存取文件.因为这样会屏蔽掉底层的细节，且方便数据管理.直接采用关系模型的分布式数据库并不能适应大数据时代的数据存储。据查询是数据库最重要的应用之一，而索引则是解决数据查询问题的有效方案。而数据分析技术是最核心的业务【18】。

2.2大数据处理工具

关系数据库在很长的时间里成为数据管理的最佳选择，但是在大数据时代，数据管理、分析等的需求多样化使得关系数据库在很多场景不再适用.而HadOop

【19】是目前最为流行的大数据处理平台.而Hadoop最先是Doug Cutting模仿GFS，MapReduce实现的一个云计算开源平台，后贡献给Apache.Hadoop已经发展成为包括文件系统(HDFS)、数据库(HBase、Cassandra)、数据处理(MapReduce)等功能模块在内的完整生态系统(Ecosystem)【20】.某种程度上可以说Hadoop已经成为大数据处理工具事实上的标准【21】.

三、大数据时代面临的机遇与挑战

综上所述，大数据时代的数据存在着如下几个特点：多源异构;分布广泛;动态增长;先有数据后有模式.正是这些与传统数据管理迥然不同的特点，使得大数据时代的数据管理面临着新的机遇与挑战。

大数据带来的机遇【22】

1.大数据的挖掘和应用成为核心，将从多个方面创造价值。

大数据的重心将从存储和传输，过渡到数据的挖掘和应用，这将深刻影响企业的商业模式 据麦肯锡测算，大数据的应用每年潜在可为美国医疗健康业和欧洲政府分别节省3000亿美元和1000亿欧元，利用个人位置信息潜在可创造出

【23】6000亿美元价值，因此大数据应用具有远超万亿美元的大市场。

2.大数据利用中安全更加重要，为信息安全带来发展契机。

随着移动互联网物联网等新兴IT技术逐渐步入主流，大数据使得数据价值极大提高，无处不在的数据，对信息安全提出了更高要求 同时，大数据领域出现的许多新兴技术与产品将为安全分析提供新的可能性; 信息安全和云计算贯穿于大数据产业链的各个环节，云安全等关键技术将更安全地保护数据 大数据对信息安全的要求和促进将推动信息安全产业的大发展。

3.大数据时代来临，使商业智能信息安全和云计算具有更大潜力。 大数据产业链按产品形态分为硬件基础软件和应用软件三大领域，商业智能信息安全和云计算主题横跨三大领域，将构成产业链中快速发展的三驾马车就国内而言，商业智能市场已步入成长期，预计未来3年复合年均增长率( CAGR) 为35%，十二五期间潜在产值将超300亿元; 信息安全预计未来3年CAGR有望保持35%～40%的快速增长，十二五期间潜在产值将超4000亿元; 云计算刚进入成长期，预计未来5年CAGR将超50%，2015年产业规模预计将达1万亿元。

(一)面临的挑战 1.大数据集成

数据的广泛存在性使得数据越来越多地散布于不同的数据管理系统中，为了便于进行数据分析需要进行数据的集成.数据集成看起来并不是一个新的问题，但是大数据时代的数据集成却有了新的需求，因此也面临着新的挑战.

1)广泛的异构性.传统的数据集成中也会面对数据异构的问题，但是在大数据时代这种异构性出现了新的变化，大量出现的各种数据本身是非结构化的或弱结构化的，如留言、博客、图像、视频数据等，如何将这些数据转化成一个结构化的格式是研究者面临的一项重大挑战【25】.

2)数据质量.数据量大不一定就代表信息量或者数据价值的增大，相反很多时候意味着信息垃圾的泛滥. 2.大数据分析

大数据最为严重的风险存在于数据分析层面。数据量的增大会带来规律的丧【26】失和严重失真。传统意义上的数据分析主要针对结构化数据展开，且已经形成了一整套行之有效的分析体系.首先利用数据库来存储结构化数据，在此基础上构建数据仓库，根据需要构建数据立方体进行联机分析处理(online analytical processing，OI。AP)，可以进行多个维度的下钻(drill一down)或上卷(roll—up)

5 操作.对于从数据中提炼更深层次的知识的需求促使数据挖掘技术的产生，并发明了聚类、关联分析等一系列在实践中行之有效的方法.这一整套处理流程在处理相对较少的结构化数据时极为高效.但是随着大数据时代的到来，半结构化和非结构化数据量的迅猛增长，给传统的分析技术带来了巨大的冲击和挑战。据阿里巴巴称，虽然其各类业务产生的数据为数据分析创造了非常好的基础条件，然而却招聘不到合适的数据科学家而影响了研发进展【27】。

3.大数据的隐私问题

隐私问题由来已久，这基本也是大家最关心的问题。计算机的出现使得越来越多的数据以数字化的形式存储在电脑中，互联网的发展则使数据更加容易产生和传播，数据隐私问题越来越严重.

大数据高度依赖数据存储与共享，必须考虑寻求更好的方法消除各种隐患与漏洞，才能有效地管控安全风险。数据的隐私保护是大数据分析和处理面临的重要问题，既是技术问题也是社会学问题。如果对私人数据使用不当，尤其是泄漏有一定关联的多组数据，将导致用户的隐私泄漏【28】。

当前，数据安全形势不容乐观，需要保护的数据量增长已超过了数据总量的增长 据IDC统计【29】:2010年仅有不到1/3的数据需要保护，到2020年这一比例将超过2/5; 2012年的统计显示，虽然有35%的信息需要保护，但实际得到保护的不到20% 在亚洲 南美等新兴市场，数据保护的缺失更加严重 首先个人隐私更容易通过网络泄露，随着电子商务 社交网络的兴起，人们通过网络联系的日益紧密，将个人的相关数据足迹聚集起来分析，可以很容易获取个人的相关信息，隐私数据就可能暴露，而数据在网络上的发布机制使得这种暴露似乎防不胜防; 在国家层面，大数据可能给国家安全带来隐患，如果在大数据处理方面落后，就可能导致数据的单向透明。信息安全战略是国家战略不可分割的重要组成部分，其必要性体现在其从上而下，而非从下而上的推动作用。30美国发布大数

【

】据研发计划，大力发展大大数据技术就有增强国家安全方面的战略考量. 4.大数据能耗问题

在能源价格上涨、数据中心存储规模不断扩大的今天，高能耗已逐渐成为制约大数据快速发展的一个主要瓶颈.从小型集群到大规模数据中心都面临着降低能耗的问题，但是尚未引起足够多的重视，相关的研究成果也较少.在大数据管

6 理系统中，能耗主要由两大部分组成：硬件能耗和软件能耗，二者之中又以硬件能耗为主.理想状态下，整个大数据管理系统的能耗应该和系统利用率成正比.但是实际情况并不像预期情况，系统利用率为0时仍然有能量消耗【31】。

5.大数据处理与硬件的协同

硬件的快速升级换代有力地促进了大数据的发展，但是这也在一定程度上造成了大量不同架构硬件共存的局面.大数据处理必须要有舍才有得。可以通过舍

【32】弃一些不必要的性能和精确性来获取更为重要的性能和精确性。

6.大数据管理易用性问题

从数据集成到数据分析，直到最后的数据解释，易用性应当贯穿整个大数据的流程.易用性的挑战突出体现在两个方面：首先大数据时代的数据量大，分析更复杂，得到的结果形式更加多样化.其复杂程度已经远远超出传统的关系数据库.其次大数据已经广泛渗透到人们生活的各个方面，很多行业都开始有了大数据分析的需求.但是这些行业的绝大部分从业者都不是数据分析的专家，在复杂的大数据工具面前，他们只是初级的使用者(naIve users).复杂的分析过程和难以理解的分析结果限制了他们从大数据中获取知识的能力.这两个原因导致易用性成为大数据时代软件工具设计的一个巨大挑战.关于大数据易用性的研究仍处于一个起步阶段.从设计学的角度来看易用性表现为易见(easy to discover)、易学(easy to learn)和易用(easy to use)。

7.性能测试基准

数据库产品的成功离不开以TPC系列为代表的测试基准的产生.正是有了这些测试基准，才能够准确地衡量不同数据库产品的性能，并对其存在的问题进行改进。在过去20年里，产业基准起到了很大的作用。在制定行业的标准时，性能、持有成本和能源效率是成功的三大关键。产业界标准的基准都扮演了非常重要的作用，进一步推动了计算机产业科学的发展

四、结果和结论关系

像互联网、云计算以及物联网等技术一样，大数据时代的到来势必会再次让信息技术领域焕然一新。大数据时代下，每个个体都是数据的产生者，企业的任何一项业务活动都可以用数据来表示，如何保证大数据的质量，如何建模、提取并利用隐藏在大数据中的信息以提升企业信息系统绩效、提升企业决策能力，成

【33】

。 为摆在业界和学术界面前的重大难题。

总的来说，目前对于大数据的研究仍处于一个非常初步的阶段，还有很多基础性的问题有待解决.大数据的几个特征中究竟哪个最重要?面对大数据管理我们需要的是简单的技术上的演变(evo1ution)还是彻底的变革(revoIution)?不同学科的研究者之间怎样协作才能更有利于大数据问题的解决?诸如此类的问题还有许多，要解决大数据问题仍有很长的路要走。

[参考文献]

[1]孟小峰，慈祥: 大数据管理：概念、技术与挑战。计算机研究与发展[146-169,2013] [2]阿尔温 托夫勒. 第三次浪潮[M]. 北京: 三联书店出版社，1984.

[3]Jim Gray. One Science A transformed scientific method[C]//Tony H，Stewart T，Kirstin T. The fourth paradigm: Data-intensive scientific discovery.Redmond，WA: Microsoft Research，2009: 19-33.

[4]Nature.BigData[EB/OL].http:// 【2013年10月31日】

[33]CSDN:大数据：基准测试是一把尚未完成的尺子。IT专家网数据中心，【2013年12月10日】

第二篇：大数据在培训领域的应用

随着信息技术的普及,人类社会进入到了大数据时代,数据已经渗入到我们生活的每一个角落,衣食住行都离不开数据。所谓的大数据在百度百科上的解释是:在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据具有数据容量巨大，数据种类繁多，数据获取速度快速，数据来源真实，数据具有价值性等特点。从大数据的应用来看，大数据包括横向和纵向两方面的大，可以从时间空间来说，可以从数量与质量来说，也可以主观客观来说，一切我们可视可闻可想的都包含在大数据里。正是有这一种大，才可以在精确定位的“小”行业中提现出大的价值。大数据使市场行业更加细分，人们的行为更佳细分，可以使企业更清晰的明白自己的定位，从时间的跨度上来讲，大数据这是由于这种资源的大量整合，可以使得市场具有前瞻性，而大数据的最终效果是使消费者得到最合理最高效价值最大化实现的满足。

20世纪90年代开始，培训行业在中国发展壮大，尽管现在已经到了一个全面发展的时期，但是培训行业依旧存在大量的问题。 培训供求错位，培训没有建立在科学的需求分析上，培训没有针对性，培训项目设置不合理，导致培训效果事倍功半。培训定位模糊，对培训定位不清，致使培训与企业长期发展脱节，培训并没有真正为企业的经营战略做出贡献。培训主体错位，培训只是培训部的事，高层不重视，中层不支持，基层不理解，培训部角色尴尬。培训对象错位，许多企业尽管重视员工培训，却只是关注中基层员工的培训，忽视对高管层的培训。只对中基层员工培训，忽视对高层培训，或者笼统培训管理层，员工的素质愈来愈高，而管理者却没有得到应有的提升。培训方法不当，在培训方法上，企业大多运用传统的模式授课，培训师讲，学员听，从而产生枯燥、效果不好的弊病，使员工失去对培训的兴趣。许多培训师根本没分清培训与教育的界限，培训应是以学习和掌握知识和技能为中心，而关键在于改变学员的技能。

培训定义是一种有组织的知识传递、技能传递、标准传递、信息传递、信念传递、管理训诫行为，培训的目的也是使得这些传递能够实现。在大数据的发展应用之下，无疑为培训发展提供不少有效途径。在大数据时代，最常做的便是将数据产品化，通过对私家车数据的整合，出现了Uber，通过对英语教员的整合，有了现在VIPABC的发展模式，有数据走向产品的案例不胜枚举。在培训领域也可以通过数据实现产品化，比如开发一款可以使用的app，使参与培训的人可以随时随地的利用时间来培训，培训者也可以随时互动。然而这个的实现，必须要依靠大数据，需要前期非常庞大的数据支持，以数据来确定培训的主题，培训的内容，培训的风格，培训的人员，培训的课程等等，而这里大数据可以是通过对很多的学员的调查，对以往培训资料的整合，对同行业的调查，总而言之，离不开大量的数据支持。

在全球化的快速发展下，人才发展已经成为关键，培训的外延拓展到关键人才的界定，能力标准设定，人才评测以及系统性的发展领域，实现这一点必须要对人系统，有差别的培训。运用大数据增强培训针对性显然是不可或缺的，针对性是培训的基本要求，运用大数据，一方面，可以分析培训人员知识储备结构，了解到培训人员哪些方面的专业培训还欠缺，从而有针对性地开展重点专项培训，弥补其专业知识的缺陷;另一方面，可针对性地调训配置学员，改变以往“一锅煮”的方式，做到按需培训、有的放矢，实现组织需求与个体需求的有机统一。同时，通过运用大数据，使人员培训与培训者使用有机结合。通过建立起人员培训的电子档案，使培训管理数字化，通过查看培训档案和分析培训结果，可以动态了解培训人员在若干年内的培训知识储备。除了对被培训者的合理调控以及数据建档，达到学员最大化培训效果之外，通过对培训人员的数据整合，归纳培训人员的知识强项，性格特征，从而帮培训者挑选适合的学员，以及做好自身规划。

大数据的整合使得企业更加清楚自己的定位，明确自己在整个市场中的角色扮演，企业的明确定位又是企业培训的一个重要保证。市场何其之大，人才何其之多，知识何其之广，摆正自己的位置，培训才能有的放矢。运用大数据对公司现状的分析，公司的发展历程的回顾，公司在市场上的定位，才能预估公司未来的发展。公司的发展方向又决定了培训开展的方向，一切又要从自身的定位说起，所以大数据的整合可以使得培训的方向更加明确，企业未来大发展更加明确。

将来的培训的方式由被动向主动转变，培训的内容由普遍竞争向核心竞争转变。这既是对培训人员的要求，也是对企业的要求，而大数据就是这个转换工程中的一个一个媒介，传统的数据诠释宏观、整体的培训情况，用于影响培训的宏观政策与决策;大数据除分析宏观外，可以分析学员个体的课堂教学、实践调研等微观状况，对于调整学员培训行为，实现个体化培训、需求培训等具有重要现实意义，就是从原来的宏观到现在的微观，才实现了培训之间的可交流性，从而使一味的灌输与接收，到培训过程中改变与创新。以前的培训是哪里不会补哪里，但是面对知识经济的挑战和日益激烈的市场竞争，培训仅为补缺是远远不够的，应把挖掘潜力作为培训的重点，把思维变革、观念更新、潜能开发纳入培训的内容，而潜能的开发则是企业发展核心技术的关键，核心技术也是成为企业的核心竞争力，大数据利用将成为提高核心竞争力的关键因素。

运用大数据科学规范培训管理，将大数据技术运用到学员培训管理中，可以建立起立体化的员工培训管理系统，从而实现集中培训、专题培训、网络培训、涉外培训、高端培训等网络化管理目标，实现学员培训管理规范化和科学化。 针对培训缺少技术支持，缺乏针对性，资源分配不合理等问题，大数据利用其数量大，范围广，处理速度快的特点，有效的对培训市场的资源进行精确分类，使得培训行业的一些看是杂乱的问题有规律的呈现，使行业再度细分，从而有效的分配资源，达到资源的最大化使用，整合无数微观数据形成的大数据来使得培训工作井井有条。

陈伟明

05-27

第三篇：大数据时代在物流方面的应用

学院：经济管理学院 专业：市场营销123班 学号：2012016314 姓名：李燕

“大数据时代来了!”两年，从业内到业外，这句口号见诸网媒、报端的频率与日剧增。直至今天，从政府高管到行业巨头，从商界大鳄到微企老板，关于数据创业，他们中有没有直接参与已然不是那么重要了，重要的是现在谁都不敢不重视大数据。更值得期待的是已有先驱驮负大数据颠覆行业规则的构想，开始试水国内物流行业。

“物流业是一个产生大量数据的行业，在货物流转、车辆追踪等过程中都会产生海量的数据，这么多资源如果不用就浪费了。”申通信息技术部总监邱成在接受本报记者采访时说。 目前，业内对大数据并没有统一的定义。不同厂商、不同用户，站的角度不同，对大数据的理解也不一样。麦肯锡报告中对大数据的基本定义是：大数据是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集合。毋庸置疑的是，大数据的价值在于从海量的数据中发现新的知识，创造新的价值。越来越多的企业也意识到了大数据的价值，对数据分析与挖掘的需求与日俱增。

“物流业之所以做大数据，主要是因为：第一，快递走入民生的势头越来越猛，对每一个节点的信息化需求也越来越多，这就需要通过大数据把信息化对接起来。第二，从企业自身角度来讲，信息化对企业管理者的重要性也越来越突出。第三，提高对数据的加工能力，通过‘加工’实现数据的‘增值’。”邱成说。

长期以来，备受指责的行业中总少不了物流业，其对仓储运输车空间的利用不科学、安全性差、燃油效率低下、周转时间随路径而浮动等，这些是导致中国物流业占GDP总量约18%远高于欧美发达国家的最主要原因。

整个物流业尤其电商领域已经几近爆发式成长，若应用大数据分析技术，仓储运输的空间将被系统化布置，物流车行程路径也将被“最短化”、“最畅化”定制。两年前，把一吨蔬菜从广州运到北京比从北京运到美国洛杉矶物流成本都高，今天，当大数据时代到来的时候，物流行业规则能否因其改变，只能拭目以待。因为大数据试水物流行业，“游戏”才刚刚开始。

“现在我们在做淘宝、商业客户的一些数据采集，在构成基础数据网络之后，再做第三方的增值应用。”邱成说。在前不久召开的“京交会”上，申通快递展示了其最新的“信息化智能平台”。该平台通过对数据的归纳、分类和整合，可以清楚地查看申通网络任何一个网点的经营现状和业务构成等。

在百世汇通，通过技术人员运用科技手段进行分析、提炼，大数据正在为企业战略规划、运营管理和日常运作提供重要支持和指导。据百世物流科技(中国)有限公司副总裁张砚冰介绍，百世汇通尝试运用大数据来管理、分析、判断加盟网点的运营行为，通过网点在系统内的足迹建立数据分析模型，成功地预测了几次网点的异动，使工作方式由被动式变为主动式、前置式，减少了大量客户投诉，把问题消灭在萌芽阶段。

不仅仅是物流业，电商企业也越来越关注大数据。早在今年年初，京东商城就已启动云计算研发基地，并成立“京东商城——中国人民大学”电子商务实验室，着力电子商务大数据的分析与合作;在“京交会”上，阿里巴巴集团与中国邮政集团、“四通一达”等十家快递公司合作，核心内容仍以打通物流数据为基础，重点将转向“数据整合与分析”。

“淘宝做大数据是以订单为核心，快递企业做大数据是以快递为核心。以申通为例，我们的客户不只是淘宝，还有很多商业客户。而且不少商业客户都有与快递企业在IT方面合作的想法，未来我们也希望能挖掘更多的数据价值，通过大数据给商业客户提供信息化服务。”邱成说。

物流行业树大根深，大数据在此行业内的应用也是非常广泛的。物流中除去淘宝商城、京东商城、苏宁易购等企业产生的包裹、快递等小部件中短距离之间物品流通的小物流;还有与之相对应的重量大、体积大、长距离运输的物品流通，如港口货物运输、大货车集装箱运输等的大物流。

在亟待改进的物流行业，大物流领域利用大数据分析应用技术其实质就是利用地理信息、位置服务、物联网在物流行业里做信息系统化，将现有的粗放、零散、低效、高耗的物流企业数据资源加以整合，建设成可以依据空间地理信息来统一协调监管的现代化物流。逐步利用大数据驱动信息化物流建设，在信息化的现代物流模式下，大物流领域的任何物流车船归属企业的名称、物流车队的整体油耗、车船的位置信息、车船的行程轨迹、车船的运行周期等这类空间地理数据通过系统智能化处理。

大物流领域成功应用大数据，无非是让物流车队效率提高、流程精简。物流车队本身的管理、设备等条件优化改善了，才有望使得中国物流运输成本降低。理想的前景是联合一个大型物流车队，为其免费装载上一台设备，这种设备搜集的车队车辆所有空间地理位置信息都即时反馈到监视后台。怎样获取这些大数据也就是物流车队提高管理效率的关键所在。然而，在刘俊伟来，这种期望的信息智能化的现代物流模式可能需要3-5年时间方可成熟。怎样获取这些大数据是一个问题，这需在资金投入、研发团队打造方面的决心和魄力。

“随着市场的发展，在未来，快递企业会不断加大在大数据方面的投入。”邱成表示。大数据的核心是发现和预测，利用其这个特点，可以提升快递行业的整体服务水平。此外，对于快递业做大数据的未来发展趋势，也有业内人士指出，快递员获取的数据已不只是企业内部信息，还包括大量的外部信息。大数据则让厂商能够有的放矢，甚至可以做到为每一个客户量身定制符合个体需求的产品和服务，从而颠覆整个商业模式。

尽管企业已熟知大数据所带来的价值和优势，但由于数据规模和种类的增加，处理速度的加快，以及易受攻击的特点，随之而产生的成本和复杂性给企业的IT资源和基础设施带来了更大的压力。如何在降低成本的同时提高IT效率，成为快递企业不得不面对的一大难题。

在邱成看来，投资、技术手段等并不是最大的难点。“快递企业做大数据面临的最大难题在于：一是基础数据的采集。因为到现在为止，不少快递企业的操作及信息传输并不是很规范，这给基础数据的采集带来了不小的困难。二是未来大数据的应用方向。比如我们现在有一些淘宝数据，首先要想好怎么用。”邱成说。

此外，也有业内人士建议，在大数据时代，企业要想用数据制胜，就必须尽早建立数据资产管理策略。只有拥有战略性视野和专业技术，才能更好地获得商业洞察力，才能将数据资产转换成战略资产和竞争力。

对于物流行业而言，必须能够更好地利用大数据，这样就可以更好地为客户提供服务，降低成本，提高燃油效率。与刘俊伟观点大同小异，Teradata天睿公司运输物流业总监肖恩也认为，大数据在大物流领域的应用是一个主要的技术潮流。即目前已经积累下的大数据需要以更加智能的方法加以利用，同时还要开发新技术来更便捷的获取多样化大物流数据。

第四篇：大数据在教育行业中的应用

1. 大数据在实验室管理方面的应用

海量数据已经使我们进入了大数据时代，数据信息的来源、传播速度和传播数量正在影响、改变着人们的思维方式和生活、工作习惯。近年来，基于“大数据”的实验室管理系统的开发以及互联网的实验室管理技术正在兴起。但真正被业内人士承认的教育领域的大数据应用却为数不多，其中被公认的当数东华大学的智能实验室项目。

2009年，东华大学教务处处长吴良提出实验室智能化管理的思路，并将材料学院作为试点单位。实验室智能化管理即用物联网的方式把实验室里所有的仪器设备都管理起来。实验室智能管理过程中记录了学生在实验室内所有的活动情况，包含学生进入实验室的情况，使用的仪器设备情况，使用仪器设备时长等，以及所有仪器的电流、电压都可以监控。如今，东华大学所有学院的实验室都纳入了智能实验室的管理。东华大学通过实验室智能管理系统进行各个方面的数据采集，并对数据进行深度挖掘，形成了各种各样的图表。从图表中可以看出哪些实验室申请的设备根本不必购买，哪些实验室不再需要拨钱。实验室的使用率和第二年的经费完全挂钩，最后实现教育经费使用的集约高效;也可以结合大数据的分析和模拟，建立新型的实验教学课程。

另外，华东大学智能实验室利用云平台(东华云)通过服务器虚拟化和实验教学资源管理系统进行管理，简化了管理流程, 节约了管理成本, 提高了服务器资源申请的灵活性，实现了实验资源管理的信息化和透明化。目前，东华大学智能实验室还实现了24小时开放无人管理、跨学院使用等人工无法实现的管理，数据显示，智能实验室的管理对学生学习自主性的提高有显著影响，学生在实验室的时间甚至超过了在教室的时间。

2. 大数据在校园网用户行为分析方面的应用

经过多年的积累，人类的数据量、数据处理技术和能力都得到了质的飞跃，大数据时代给人类社会带来了诸多具有革命性的变化，而校园网的出现则是传统“言传身教”教育的一次革命。中职学生思想尚不成熟，自律力和识别能力不强，对于开放式的网络有些迷茫。校园网学生用户行为分析的研究是通过对校园网络的测量和分析，挖掘和发现网络中呈现出来的各种行为规律，同时识别一些异常网络行为，最后将用户行为分析展示。这样以便学校采取对应的策略及措施引导中职学生健康上网，从而使校园网真正成为学生获取知识的平台，提高学生的整体综合素质。

广东省电子职业技术学校罗萍设计了一个基于大数据的校园网学生用户行为分析系统，该系统从网站浏览信息、网站发帖留言、搜索关键词、网络购物等四个维度来描述基于校园网的学生用户行为。通过对网络内容的分析，可以进一步细化到学生用户在网络中具体网络行为、发表的言论和帖子、对网络资源的兴趣偏好是什么等等，从而有效掌握学生的上网行为动态。

随着计算机技术的迅速发展，大数据时代的网络行为已经成为当前学生校园生活中的一项重要活动内容，正在悄然的改变着学生的学习和生活。因此，深入研究学生网络行为，理性分析学生网络行为特点，动机和需求，以及如何引导学生合理运用网络资源，树立健康的上网理念，构建有益的校园网络环境，已经成为目前学校研究的重要课题。

3. 数据挖掘在学习分析及干预中的应用

教育领域已经开发和应用了多款学习分析系统，主要集中在绩效评估、学习过程预测与学习活动干预三个方面。

绩效评估: 如美国 Northern Arizona University 研发的 GPS( Grade Performance Status) 系统，可实现全校在校大学生的课堂学习绩效评估。该系统能为教师提供最新的学生出勤情况、学生的反馈意见，为学生提供教师的最新评价以及重大事项的提醒。

学习过程预测: 如澳大利亚 University of Wol-longong 研发的 Snapp( Social Networks Adapting Ped-agogical Practice) 系统。该系统可以记载和分析在线学习者的网络活动情况( 如学生在线时间、浏览论坛次数、聊天内容等) ，使教师能深入了解学习者的行为模式，进而调整教学方式，最大化地为学习者提供适应的教学指导。

学习活动干预: 可分为人工干预和自动干预，现在主要集中在人工干预上，借助绩效评估工具和学习活动预测工具，由教师完成学习干预。自动干预是未来学习分析技术发展的方向，大数据将为这一目标的实现提供强大动力。

在教育管理改革方面，学习分析能为高职院校教育管理系统的方方面面提供指导教学管理活动的相关数据。依靠这些数据，高职院校管理部门可以有针对性地完善不足之处，修订教育管理方案，优化教学资源配置，并最终评估修订方案及资源配置情况。

在教学改革方面，学习分析技术能真正意义上营造信息化的教学环境，保证教师提供的学习服务契合学习者个性化学习、协作学习的需要。传统教学模式中，教师无法保证所提供的学习资源能真正满足学生的学习需求，无法适时调整和分配资源，无法提供个性化地学业指导，无法及时了解学习过程中出现的障碍与疑惑。这些问题都限制了高职院校教育改革的深度，而学习分析技术恰恰可以弥补这些缺陷。通过应用学习分析的相关工具和大数据技术，教师可以及时获取学生的学习行为数据，从而支持一种既能体现教师主导作用，又能兼顾学生主体地位的新型教学方式，以最大化地激发学生的潜能，为新世纪培养创新性人才。

在学习方式改革方面，学习分析技术的作用在于: 自动识别学习情境，能够从大量纷杂的数据中自动分析出学习者的特征信息，根据其需要推送适应的目标资源，并提供学习建议以协助学习者修订自己的学习任务;学习者可以实时调整自己的学习计划，预约辅导以解答学习疑惑;在特定情况下，还可以通过锁定学习者所在地理区域、学习特点等因素划分学习小组，以满足个别学习者的协作学习需求。此外，学习分析能为在校学生提供个性化的学习指导建议，以帮助学生规划在校学习路径，明确其学业成就的期望。

4. 大数据在课程建设方面的应用

大数据时代学习者在数字化学习过程中留下很多数字碎片，通过分析这些数字碎片，我们将会发现学习者的各种学习行为模式。梁文鑫指出：大数据对课堂教学带来的主要影响是使教师从依赖以往的教学经验教学转向依赖海量数据教学分析进行教学，使学习者对自我发展的认识从依赖教师有限理性判断转向对个体学习过程的数据分析，从而使传统的集体教育转向对学习者的个性化教育。

目前流行的大规模在线开放课程(Massive Open Online Course，MOOCs)教育，MOOCs 教育被寄予厚望的主要原因是学习分析技术和大数据对它的支持，有了学习分析和大数据技术，优质的教学、课程资源和服务等通过数据真实客观的被呈现出来。比如：对每一门课程资源和支持服务系统的建设和维护都建立在学习者使用过程的数据分析基础上，从而使提供的课程内容更符合学习者的需求、教学指导更具有针对性，进而提高了学习者的学习积极性，促进了学习成功的实现。学习者在 MOOCs 平台上学习时，教师和程序可以通过大数据对学习者的学习行为进行理性干预，比如：通过预测认知模型为学习者自动提供适合的学习内容和学习活动方案，通过作业情况、留言板以及讨论区的问题讨论情况可以发现存在学习困难的学习者，以确保可以及时对其学习进行有效干预等。

大数据的应用可以实现大规模在线教育的同时可兼顾学习者的个人需求，大数据对海量数据的高速实时处理技术可以为在线教育平台实时洞察学习者的变化、把握学习者的需求、提高学习效果提供支持，还可以对学习过程中产生的不相关信息进行深度分析，以预测和把握学习者的需求变化。

5. 大数据在助学贷款方面的应用

国家助学贷款始于2000年，此后,全国各地普通高等院校陆续开办国家助学贷款业务。但由于政策设计的缺陷、学生个人的诚信缺失、银行的积极性等多方面的问题,贷款业务开展出现较大差异东部好于西部,南部优于北部,部属院校高于地方院校。年国家修正贷款政策,加大贷款工作力度和政策扶持力度,国家助学贷款工作才得以继续进行。但国家对家庭经济困难学生没有给出界定,更缺乏界定标准,因此各高校在确定助学贷款资助对象时,只能依靠学生个人陈述、老师自己的判断、同学之间的投票等方法对困难学生加以界定,以致帮困助学工作困难越来越多。同时,由于信息沟通缺乏有效的渠道,管理缺少统一的工作平台,很大程度制约了贷款工作的开展,影响了学校、银行工作的积极性。缺少信息的沟通,造成信息的不对称,也影响了工作的开展,出现管理的滞后。

2005年，郑爱华作为课题负责人,组织完成校内课题“济南大学帮困助学问题及对策研究”,主持申报了山东省科学技术发展计划软科学科学项目“山东省国家助学贷款中的问题成因及对策研究”,同年获得立项,项目编号：B2005016。

助学贷款决策支持系统是济南大学研究的山东省省级课题“山东省国家助学贷款中的问题成因及对策研究”的子课题之一。目的在于通过该系统,建立家庭经济困难状况指标评价体系,包括评价指标的设立、指标分值的量化、最后计算机进行决策计算,输出决策支持的结果,帮助学校确定贷款资助对象,建立贷款信息数据仓库，并将贷款信息通过计算机进行处理,实现快捷、方便、及时、准确的数据动态管理,克服银行、学校、学生、主管部门之间的信息不对称问题，实现科学决策、信息化管理的目标，有利于山东省助学贷款工作的健康发展,有利于减轻学校贷款工作的管理难度,降低贷款成本,为帮困助学工作开辟有效的途径。

河北省教育厅学贷中心河北省学生贷款管理中心于2007年开始实施助学贷款信息化建设,将先进的计算机技术应用到国家助学贷款管理工作中,建立“河北省国家助学贷款管理信息系统”,使学生对国家助学贷款的申请、学校对助学贷款的管理、银行对学生申请的审批以及其间的各种信息的交互等都实现网络化。 6. 基于大数据证据的教育教学决策

在美国，教育大数据为美国政府、教育管理部门、学校与教师做出合理的教育教学决策提供了可靠的证据。整体上，美国建立了严格的教育问责制度，包括利用州教育问责系统(State Accountability Systems)对各州教育发展情况进行全方位评价，借助于学区级评价系统(District-level Evaluation Systems)评价各学区、各学校的整体教育质量，并要求学校与学区要对后进生进行基于数据的支持性学习干预(Data-driven Interventions)。美国联邦政府以及各州政府基于对教育大数据的分析结果评价各州或州内学区的教育进展水平，并以此作为教育投入的依据以及教育政策制定的根据。

美国学校一般利用基于大数据的教育评价支持本校在规划学校整体发展、优化学生管理、制定教学质量改进计划等方面的教育教学决策。据统计，97%的美国中小学利用来自整个年级或整个学校的教育大数据确定学校需要提升的关键领域;分析学生的个体数据以便于分班或安排相关学习支持服务，包括了解哪些学生需要特殊支持或更多支持。47%的美国中小学通过专门的评价人员分析不同教师讲授同一教学内容或同一教师以不同教学策略讲授同一教学内容时产生的数据，评价教师的教学质量并提出教学方式变革计划。而83%的学校在利用教育大数据尤其是本校产生的大数据了解本校教师教学发展的现状与需求，并据此决策如何支持本校教师的教学发展。

学校教师可以利用教育大数据改进与优化自己的教学决策。整体上，教师可以利用大数据分析需要在何种时机对哪些学生以何种方式安排何种教学内容。教师利用本班学生产生的大数据，或同时借助与外部大数据的对比分析，可以深度评价本班学生的学习表现与学习效果，可以有效分析学生的学习偏好与个性化需求，分析学生群体的学习需求，同时也可以利用数据分析哪些学生更适合在一起进行小组学习，分析怎样分组才更合理。对于那些有学习困难的学生，通过对大数据的利用，可以分析出学生在什么环节、什么类型内容学习方面存在问题，分析哪些因素可能在影响学生的学习，这样便于给出适当的学习支持与干预。

那么，大数据从何而来?美国在教育评价的实施过程中主要依托覆盖全美的立体化教育数据网络，同时注重数据质量保障，有效地解决了教育评价“大数据从何而来”的问题。

国家级、州级(State-level)、学区级(District-level)以及校级(School-level)在内的各级各类教育数据系统(Educational Data System)均服务于教育问责体系。这些数据系统之间相互关联，数据互通，形成立体化数据网络，为美国教育评价用大数据的获取提供了基本的依托。

在国家层面，美国有由教育部与各州教育管理部门及一些企业协同创建与发展的教育数据机构EDFacts，建设了“教育数据快线(ED Data Express)”，还有美国国家教育统计中心(National Center for Education Statistics)，主要任务在于与教育部内部各机构、各州教育管理部门、各地教育机构合作提供可靠的、全国范围内的中小学生学习绩效与成果数据，分析各州报告的教育数据以整合成为联邦政府的教育数据与事实报告，为国家层面的教育规划、政策制定以及教育项目管理提供了有力的数据支持。

2005年，美国教育部启动了“州级纵向数据系统项目(The Statewide Longitudinal Data Systems (SLDS)Program)”，旨在帮助全美各州“设计、开发与利用州级纵向数据系统以便有效地、准确地管理、分析、分类处理与利用每一位学生的数据”，至今全美有47个州至少获得过一次本项目资助。

州级与学区级数据系统主要为区域性教育评价提供数据支撑，其中主要包括本州/学区学生的成长数据，教育工作人员在工作方面的安排与准备等相关数据，以及其它关于学与教条件的关键数据，比如教师人数、学生入学率、学生与学生家长及学校教职员工对于学校氛围、条件等方面的评价数据等，认为这些数据直接反映学校与学区在让学生做好毕业准备方面取得的进展情况。各州的教育数据系统基本都具有测量学生的成长(Student Growth Measures)、提供高中学习反馈报告(High School Feedback Reports)、实施学业预警(Warning Systems)的功能。学校常常利用四种类型数据系统来收集、整合教学过程数据或评价数据：一是在校学生的实时信息系统(Student Information System)，其中包括学生出勤率、人口学特征、考试成绩、选课日程等数据;二是数据软件坊(Data Warehouses)，其中保存了学校当前或历史上的学生、教职员工、财政方面的信息;三是教学或课程管理系统(Instructional or Curriculum Management Systems)，支持学校教师接入教学设计工具、课程计划模板、交流与协作工具，支持教师创建基准性评价;四是评价系统(Assessment Systems)支持快速地组织与分析基准性评价数据。 7. 大数据在招生方面的应用

数据挖掘是一项新兴的技术，是商业智能的重要组成部分。近年来，随着高校数据收集量的不断增加以及教育决策对量化分析结果的愈加依赖，数据挖掘在美国高校管理中的应用呈显著上升趋势。许多研究表明这项技术能帮助大学管理人员更好地分析数据，从而获取潜藏的、有用的信息和知识，最终提高决策效率。

加州大学9所分校在校长办公室的统一协调下通过“综合评审”的原则招收本科生。“综合评审”包括两个步骤：第一步是对申请学生的合格性通过多种方法进行确定;第二步是对合格学生的所有背景、特征及技能进行综合评定，并以此为标准做出录取决定。加州大学虽然保证录取所有合格的学生，但由于有的分校或专业竞争激烈，例如伯克利分校、工程专业等，因此不能保证完全按学生的报考志愿录取。在这种情况下，所有合格、但未被报考分校录取的学生，将被推荐到两所加州大学制定的分校，以确保尽可能录取每位合格的学生。另一方面，这两所分校也通过 录取这些“落榜”的学生来增加其入学人数。由于加州大学的录取审核工作是由各分校负责进行，招生的最后决定到四月初才能见分晓。这时许多学生可能同时接到其他大学的录取通知，并需要在短期内选择自己要上的大学。因此，从吸引合格学生入学的角度来说，这时再向学生推荐这两所大学为时已晚。为了提前做好这一工作，校长办公室招办在一月份申请截止日期之后就对申请学生的录取情况进行预测，并将这些合格但极有可能被拒的学生名单提供给这两所分校，供他们提前向学生宣传学校的情况，鼓励学生来这两所学校就读。校长办公室用来完成这项预测分析研究的工具就是SAS Enterprise Miner数据挖掘技术。

通过这项数据挖掘技术，加州大学可以更有效的招收合格的学生。 8. 大数据在学习成果评估方面的应用

随着大学教学模式由传统的“行为主义”方式向“构建主义”教学过渡，如何更有效地对学生成绩进行评估也成为广大教师和评估工作人员面临的挑战之 一。除了利用传统的考试方法对学生所学知识进行考核外，越来越多的授课教师侧重对学生的学习行为进行评价，譬如合作意识、创新精神、实践能力，等等。这些评价结果更有利于帮助学生提高学习效率，特别是应用知识的能力。但靠传统的评价方法很难有效地完成类似的评估工作，或者说评估结果的可靠性难以得到保证。近几年来，许多学者尝试利用数据挖掘技术提高评估效度。

哈佛大学的研究人员娇蒂·克拉克(Jody Clark)和克里斯·戴迪(Chris Dede)在这方面的尝试非常值得借鉴和参考。他们通过复杂的教育媒体收集丰富的与学生学习行为有关的数据，然后利用数据挖掘技术对其进行分析和研究。

评估结果的价值体现在：1)完成对学生的形成性评估，为教师及时提供信息反馈;2)完成对学生的总结性评估，以真实的实践表现为基础了解学生最终掌握知识的情况;3)根据学生的个性特征，深层了解学生的学习行为以及学习成效;4)合理评判学生合作学习和解决问题的能力;5)通过对学生的学习行为规律和学习成效之间的“路径”关系进行“挖掘”，洞察学生的学习动态。

9. 衢州市柯城区依托大数据为学生“私人定制”成绩单

近年来，随着大数据成为互联网信息技术行业的流行词汇，教育逐渐被认为是大数据可以大有作为的一个重要应用领域，有人大胆地预测大数据将给教育带来革命性的变化。大数据技术允许中小学和大学分析从学生的学习行为、考试分数到职业规划等所有重要的信息。衢州市柯城区以大数据为依托，为学生“私人订制”成绩单。

2015年开始，衢州市柯城区启动教学质量诊断系统项目，采用CC教学测评系统对每个学生进行数据分析，为学生出具“学业诊断分析报告单”。“学业诊断分析报告单”基于对学生一个学期以来成绩的大数据分析，通过“单科成绩对比图”、知识点掌握情况分析表、知识点的个人掌握率和班级平均做对比表，将学生考试各科目考察的每一个知识点的掌握程度作出相应的分析，从数据中分析学生对知识点的掌握程度，对个人能力如识记能力、运用能力做出综合评价，为学生的学业作出一份细致全面的“体检诊断报告”。“学业诊断分析报告单”为学生提供了知识、能力掌握上的优势和不足信息，学生可通过分析原因，提高学习的针对性和有效性，减少重复的试题训练，进而有效减轻学习负担。教师可通过分析了解学生在知识、能力掌握方面存在的优势和缺陷信息，实施补教性教学，从而提高教学质量，促进学校教学、学生学习方式的改革和发展。 10. 大数据在学生扶贫方面的应用案列

西安交通大学学生处立足大学生资助工作实际，按照教育部“教育扶贫，十三五期间实现‘精准资助’”的要求，结合陕西省教育厅关于教育精准扶贫的工作思路，扎实开展了一系列“绿色通道”迎新工作：利用大数据完成学生贫困程度的精准识别，通过实地家访将绿色通道延伸到新生家中，开展“知心工程”让资助教育沁入学生心中，建立七位一体的资助系统让学生没有任何后顾之忧。西安交通大学提供给每个贫困生的，不仅是金钱的资助，更是被尊重及自信积极的人生态度。

资助大数据实现精确认定。在新生来校报到之前，通过“西安交通大学家庭经济困难学生综合认定系统”挖掘学生家庭经济困难指数，认定家庭经济困难学生情况，并以此为依据，主动引导特困新生在家中即可通过网上申请“绿色通道”并顺利入学，消除特困生家庭的后顾之忧，在此基础上与各书院共同主动开展有针对性的帮扶工作。

资助全覆盖实现精准帮扶。学校为每一位通过“绿色通道”入学的学生发放全套床上用品“爱心大礼包”，体现学校的关爱。新生入学后学校将陆续通过“奖、助、贷、补、勤、免、偿”七位一体的资助体系给予学生持续资助，确保每一位学生不会因为经济困难而影响学业。学工系统还通过“知心工程”工作体系，全面跟踪家庭经济困难学生情况，建立建全贫困生信息库。今年学校还将特别为建档立卡户新生每人发放一学期的生活费。 11. 希维塔斯学习”(Civitas Learning)利用大数据帮助学生提高成绩

在教育特别是在学校教育中，数据成为教学改进最为显著的指标。通常，这些数据主要是指考试成绩。当然，也可以包括入学率、出勤率、辍学率、升学率等。对于具体的课堂教学来说，数据应该是能说明教学效果的，比如学生识字的准确率、作业的正确率、多方面发展的表现率——积极参与课堂科学的举手次数，回答问题的次数、时长与正确率，师生互动的频率与时长。进一步具体来说，例如每个学生回答一个问题所用的时间是多长，不同学生在同一问题上所用时长的区别有多大，整体回答的正确率是多少，这些具体的数据经过专门的收集、分类、整理、统计、分析就成为大数据。

现在，大数据分析已经被应用到美国的公共教育中，成为教学改革的重要力量。为了顺应并推动这一趋势，美国联邦政府教育部2012年参与了一项耗资2亿美元的公共教育中的大数据计划。这一计划旨在通过运用大数据分析来改善教育。联邦教育部从财政预算中支出2500万美元，用于理解学生在个性化层面是怎样学习的。其中，“希维塔斯学习”建立了高等教育领域最大的跨学校数据库。

“希维塔斯学习”是一家专门聚焦于运用预测性分析、机器学习从而提高学生成绩的年轻公司。Civitas Learning提供了一套应用程序，学生和老师可以在其中规划自己的课程和安排。“希维塔斯学习”各种基于云的智能手机第三方应用程序(APP)都是用户友好型的，能够根据高校的需要个性化。这意味着高校能聚焦于各自不同的对象，相互不同地用这家公司的分析工具开展大数据工作。

该公司在高等教育领域建立起最大的跨校学习数据库。通过这些海量数据，能够看到学生的分数、出勤率、辍学率和保留率的主要趋势。通过使用100多万名学生的相关记录和700万个课程记录，这家公司的软件能够让用户探测性地知道导致辍学和学习成绩表现不良的警告性信号。此外，还允许用户发现那些导致无谓消耗的特定课程，并且看出哪些资源和干预是最成功的。

12. 电子科大利用大数据寻找校园中最孤独的人

从硅谷到成都，大数据，这个新鲜的话题正在全球同步热传。一场关乎每个人生活、工作和思维的大变革正在悄然发生，大数据时代迎面袭来。

到底什么是大数据?大数据”是“数据化”趋势下的必然产物。数据化的核心理念是：一切都被记录，一切都被数字化。电子科大的周涛解释到，“大数据要求数据能充分发挥其外部性并通过与某些相关数据交叉融合产生远大于简单加和的巨大价值。”比如，国家电网智能电表的数据可以用于估计房屋空置率，淘宝销售数据可以用来判断经济走势，移动通讯基站定位数据可以用于优化城市交通设计，微博上的关注关系和内容信息可以利用于购物推荐和广告推送„„

他们做过一个有意义的课题——寻找校园中最孤独的人。他们从3万名在校生中，采集到了2亿多条行为数据，数据来自学生选课记录、进出图书馆、寝室，以及食堂用餐、超市购物等数据。通过对不同的校园一卡通“一前一后刷卡”的记录进行分析，可以发现一个学生在学校有多少亲密朋友，比如恋人、闺蜜。

最后，通过这个课题找到了800多个校园中最孤独的人，他们平均在校两年半时间，一个知心朋友都没有。这些人中的17%可能产生心理疾病，剩下的则可能用意志力暂时战胜了症状，但需要学校和家长重点予以关爱。

第五篇：大数据在教育管理中的应用

“大数据前沿技术及应用”专题研修活动

大数据技术是“互联网+”时代的利器之一，它可以帮助我们从不同角度和层面来剖析教学，探索教育教学的新规律，大数据的全样本特征解决了教育管理中局部数据或抽样数据的片面性问题，使得教育需求的把握更加整体化。请结合实际，谈谈大数据在教育管理中的应用。(考核要求：内容充实，原创，800字以上;提交得20分，辅导教师评分20分，满分40分。)

最近几年，在我们的教育界中，有那个几个关键词是那么的火，例如翻转课堂、微课、慕课，当然还有大数据，这些都是我们现在甚至将来的教育趋势。翻转课堂、微课、慕课现在我们正如火如荼地进行着，大数据在一些地区和学校也开始试点应用。我个人认为大数据在我们的教育管理应用中发挥着重要作用，主要体现在哪?下面就结合实际情况，谈谈自己的一些粗浅想法：

1、现在社会进入互联网时代，学生在学校的每一次考试，在哪方面有特长、曾经获得过哪些奖励、参加过哪些社会活动等，其实在电子档案中就可以一目了然，再加上现在的学生都会有微博、微信、QQ 等网络社交工具，这些社交平台中会会留下大量的信息，学生的成长轨迹也可以说是非常清晰的。只要把这些信息过程数据化，教师的教育教学工作可以有更明确的指向性，学生也可以更好地了解自己，以后自己的努力方向在哪，这对学生更为重要。

2、在我们的教育领域，有着很多的数据，比如平均分、升学率、就学率等。使用大数据来分析问题，要比传统数据来得更科学，更方便，更有价值，能很好地帮助信息收集方获取精准材料，从而做出更准确的教学分析。如教师可以通过平台统计出学生的普遍的答题情况，大数据可以让教师清楚知道哪道题学生错得最多，哪道题学生掌握得最好，从而在上课时强化训练，这样得出的课程教学模式、师生评估方法等就更具针对性、可行性，得出的结论也更科学、更精确。

3、其实利用大数据也可以开发一些智能数字教科书。简单来说，就是学生可以按照自己的节奏来控制学习进度，而不会受到周围其他学生的行为的影响。然后，系统会给教师一个反馈，告知哪个学生在哪个方面有困难，同时给出全班学生的表现的整体分析数据。

所以，我认为当进入大数据时代后,我们的教育管理和运行会迎来了更多的发展机遇。更多的大数据的预测、分析将逐步融入我们的教育管理和决策中去，从而帮助我们更好地做好教育发展的规划,改变我们的教育教学评价体系,甚至还有更深远的影响，就让我们以积极的态度迎接大数据时代的来临吧!

开展智慧课堂研究，探索智慧课堂建设

2 探索智慧课堂教学如何更有效地激发学生学习兴趣，发展学生数学思维

1.全体教师认真学习有关智慧课堂的网络培训视频，发表感想评论; 2.集体备课，然后每位教师根据自己对智慧课堂的感悟上交一篇数学教学设计; 3.上传教学优质课例，开展听课研讨活动。

科程名称：张齐华讲座《数学课堂的新“常态”》 活动时间：2017-09-30 至2017-11-15 学段/学科

小学

数学

选用教材：人教版五年级《用数对确定位置》、六年级《圆的认识》和一年级《认识1-5》

观摩要求：请各位教师在观看过程中认真做好笔记，把自己的一些感受体会记录下来并实践用于自己的教学当中去。