大数据在高校个性化教育中的应用研究

大数据在高校个性化教育中的应用研究（精选8篇）

篇1：大数据在高校个性化教育中的应用研究

本科毕业论文

《大数据在高校个性化教育中的应用研究》

二零一五年四月

兰州大学本科毕业论文

摘 要

在信息时代的今天，社会正在以惊人的速度产生海量数据，这将对传统教育模式产生巨大的影响。在数据量巨大、种类繁多、信息多样化的大数据背景条件下，全球各大高校教学服务和数据利用方式将发生前所未有的变化，高校中汇聚着大量的信息。

大数据技术的到来，使各大高校实施个性化教育成为可能，真正实现从群体教育的方式转向个体教育。利用大数据技术，我们可以去关注每个学生个体的微观表现。在高校教育中，学生们比中小学更加自由，也更需要这种监督与个性化教育。大数据的到来，使跟踪每一个学习者的详细数据不再困难，从而实现了真正意义上的、全面细致的个性化教育。每一个学生都有机会获得为自己量身定做的教学活动和资源；家长也将可以通过崭新的视角掌握全面、真实的信息；教师也将可以从中获取对教学的客观反馈、对课程内容和学生的学习过程进行评价、挖掘每一位学生的学习模式、改进个性化教学的手段；教育管理者则能够更好地组织教育资源、制定教育改革的方向和措施；教育研究者也能借此技术转变思路，开拓新的研究思维和路径。尽管大数据为教育带来了巨大的启发和机遇，但是作为新鲜事物，许多与之相关的研究仍处于探索和尝试阶段，有待于在实践过程中不断完善。

关键词：信息时代； 大数据技术； 个体教育； 个性化教育；

兰州大学本科毕业论文

目 录

摘 要...............................................................1

兰州大学本科毕业论文

兰州大学本科毕业论文

关的研究目前仍处于探索和尝试阶段，有待于在实践过程中不断完善。

[2]

（二）课题研究方法

1.文献分析

查阅文献资料，对已有的大数据相关文献进行阅读、分析。通过查阅已有文献，得知大数据概念，分析出大数据的特点以及大数据与传统数据的区别；通过查阅大数据产生的背景，分析出大数据技术在个性化教育中的应用；通过查阅国内与国外（以美国为代表）大数据在高校个性化教育中的应用现状，做出国内教育大数据反思，与国外的差距；大数据本身还在不断分析研究阶段，到底能为高校个性化教育带来什么，还得继续研究。

2.访谈法

通过与周围朋友，以及其它高校朋友交流，去倾听他们对于大数据技术的理解，以及他们对大数据技术的期望，去分析研究在目前我国应该如果利用这一技术。

大数据在高校个性化教育中的应用研究 的数据。

（3）产生速度快

数据的创建和移动速度都非常快，这就对数据时效性要求特别高。在高速发展的信息时代，通过高速电脑处理器和服务器来快速创建实时数据流已成为流行趋势。（4）价值密度低

数据信息量非常大，自然它的价值密度就不会很高。数据总量越大，价值密度就越低，两者之间呈反比例，有些单条数据在大数据中可能没有价值，无用数据太多，但它的综合价值大。因此，如何用强大的数据挖掘算法更迅速地提取出有用信息，是大数据时代必须解决的难题之一。

（5）存储要求高

规模巨大、类型多样的数据自然对存储带来很大的问题。目前的存储技术很难解决数据的异质异构、爆炸性增长带来的存储问题，已有的静态的存储方案已经完全不能满足数据的动态演化带来的挑战。因而在海量分布式存储和查询方面仍然需要做更进一步的研究。

（6）管理复杂

很显然，大数据的数据量大、种类多样、产生速度快、价值密度低、难存储等特点，将直接为管理带来很大的困难。

3.大数据与传统数据的区别

大数据技术的到来，会让许多我们曾经没有重视的，或者是因为技术与方法无法去收集的信息，现在都有可能作为“数据”进行收集并分析了，使得人们对于“数据”的理解更为深入了。

传统数据的整理方式更能够凸显学生整体的水平。这些数据没有必要、也不可能进行实时地采集，而是在阶段性、周期性的评估中获得。这些数据的收集，主要是通过考试或量表调查等形式进行获得的，完全是在学生知情的情况下，自然会带有很强的刻意性和压迫性。

而大数据有能力去关注每个学生个体的微观表现：他在听什么话的时候点头，开小差的次数，在不同的课堂上提问多少次，在一道题上停留了多久，在什么时候翻书，会向多少同班同学发起主动交流，等等。这些数据完全是在学生不自知的情况下被收集、观察的，只需要借助一些特殊的设备与观测技术，不会影响学生任何的日常生活与学习，这将使得它的采集也非常的自然、真实。

综上所述，我们可以从以下几个方面对传统数据与大数据进行比较区分：

[4]

兰州大学本科毕业论文

（1）范围不同

传统数据反应的是整体、宏观的教育状况，用于教育工作者进行重大的教育改革等；大数据可以分析每个学生个体实时的、微观的课堂状况，用于及时调整教育行为与实现个体化教育。（2）方式方法不同

传统数据的收集、分析、存储、分类等都已存在特定的规则，方法论也相较完整：而大数据的收集、分析等，由于大数据本身是新鲜东西，所以还没有形成清新的方法、路径以及评判标准。（3）对象不同

传统数据来源于阶段性的、整体性的评估，数据收集过程可能会产生很大误差；大数据记录的是过程性的、实时性的行为现象，用的是 大数据在高校个性化教育中的应用研究

有固定的一个老师上一门课，每个人面对的都是一样的老师，一样的教材，一样的学习任务。

通过以上特征，明显能感觉到相比中小学，高校本身就注重个性化教育，但，要实现对每个个体进行不同的教育方式，只能通过大数据技术对每个人进行跟踪、分析、研究，从而制定个性化的方案。

兰州大学本科毕业论文

2.大数据可以实现过程性评估

教学评估应该是过程性的，而非只看结果。如果我们想象，教师拥有每个学生的上课情况。期末时将这些数据汇总起来，就使得撰写评语时有了更加丰富的素材与数据依据，能对学生的发展提出建议。另一方面，这些数据也可以促使教师反思，自己在哪些地方需要改进。

如果是应用信息化的课程载体对学生的行为进行记录，而不是通过教师的观察，就能真正实现大数据与课堂进程的结合。因此，大数据技术可以对每个学生在课堂中的微观行为进行捕捉，帮助老师了解学生对知识的掌握程度以及感兴趣程度，进而对老师的教学活动进行反馈。

3.大数据实现学生课外学习轨迹的积累

假如家长通过手机就能获得学校的通知公告等信息，可以记录孩子每天课余时间，包括孩子看过哪些书，去了哪里游玩，与谁在一起等等。便捷的积累下了非常有价值的数据，从而可以有针对性地帮助家长发现一些现象。同时可以给他提出如何帮孩子减负的针对性的建议。而对于研究者，可以通过数据库统计一个学校、一个区域的整体情况，获得有价值的数据。所以说大数据，还能够让我们更加了解学生课外学习的轨迹。

可以这样说，大数据时代的到来，让跟踪每一个人的数据成为了可能，从而让研究“人性”成为了可能，而对于教育研究者来说，我们将比任何时候都更接近发现全面的学生信息。[7]

（三）大数据在高校个性化教育中的应用

1.学生方面

每个学生个体都有机会获得为自己量身定做的教学活动和资源。以及联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等信息；

2.家长方面

学生家长能通过崭新的视角掌握全面、真实的学生信息。包括上课表现、成绩情况、交流情况、师生互动等等。

3.教师方面

利用所收集的每个学生学习过程中的全面信息，从中获取对教学的客观反馈、对课程内容和学习过程进行评价、挖掘学生的学习模式、改进个性化教学的手段。以及如何利用大数据技术轻松处理教学任务、课件等教学信息，论文著作、科学研究数据等科研信息；

大数据在高校个性化教育中的应用研究

4.学校方面

学习可以利用大数据技术更好的管理学校的资产信息、师资信息、招生就业信息等。

5.教育管理者方面

教育管理者利用大数据技术更便捷地组织教育资源、制定教育改革的方向和措施。

6.教育研究者方面

能够在大数据技术的影响下，转变思路，开拓新的研究思维和路径。

（四）国内外教育大数据的现状与未来发展趋势

1.国内大数据发展现状

2011年以来，中国计算机学会、中国通信学会先后成立了大数据委员会，研究大数据中的科学与工程问题，科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》等都把大数据技术重点予以支持。其中“十二五”规划上，把信息处理技术作为关键技术创新工程被提出来，其包括海量数据存储、数据挖掘、图像视频智能分析，都是大数据的重要组成部分。

中国三大通信运营商都在积极推进大数据应用工作，并取得了较好的进展。电商企业阿里巴巴提出要做中国数据分析

兰州大学本科毕业论文

件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元用于推动大数据领域的发展。众所周知，法国在数学和统计学领域有独一无二的优势。

日本正在针对大数据推广的现状、发展动向、面临问题等进行探究，为解决社会公共问题作出贡献。2013-2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为“世界最高水准的广泛运用信息产业技术的社会”。

目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场。据统计，印度大数据行业规模在3年内将达到12亿美元，是目前规模的6倍，同时也是全球大数据行业平均增长速度的两倍。

[9]3.国内大数据发展展望

伴随着大数据时代的来临，世界各种对数据的重视达到前所未有的高度。按照世界经济论坛报告的看法，“大数据为新财富，价值堪比石油”。上面介绍了许多国外的动态，自然需要思考本国可能采取的发展道路。2014年2月27日中央网络安全和信息化领导小组宣告成立，组长习近平提出，没有网络安全就没有国家安全，没有信息化就没有现代化。建设网络强国，要有自己的技术，有过硬的技术；要有丰富全面的信息服务，繁荣发展的网络文化；要有良好的信息基础设施，形成实力雄厚的信息经济；要有高素质的网络安全和信息化人才队伍；要积极开展双边、多边的互联网国际交流合作。从话的另一面也说明，目前我们没有过硬的技术，网络文化还有问题，基础设施还是比较差，人才队伍素质不应求，也没有可靠的盟友，信息经济实力太弱。大数据是信息时代的“石油”、开发大数据资源的能力将影响未来核心竞争力。我国不能依靠别人修好路，只能靠自身加速前行，这种能力就是将数据转化为信息和知识的速度与技术，而这种转化速度和技术，则决定了大数据技术能力的高地。

（五）大数据在高校个性化教育中面临的挑战

同时也伴随着不少问题和挑战。

尽管大数据技术为高校个性化教育带来诸多益处，也推动着教育理念的变革，但1.关于相关人才

要在高校有效利用大数据技术，就需要来自数学、统计学或计算机工程等领域的众多专业人员，如收集高质量数据的专员、管理硬件的系统管理员、程序开发人员、数据分析员等等。这些人员不管是招募还是培训都是很大的困难。

2.隐私问题

大数据时代的个性化服务要对每个个体的行为进行追踪和分析，在收集到的大量信息中，也许会有个人无心公于世的个人隐私信息。此类信息的所有权和使用权的归属并不明确。

大数据在高校个性化教育中的应用研究

3.数据主宰的隐忧

为了追求更好的学习成绩基于学生以往的学业表现为其推荐课程，这在一定程度上可能导致学生只学习过于简单的课程，不利于其挑战性的激发，学生也有可能被迫去放弃梦想而转修一些实用课程。

4.数据真实性值得怀疑

当大数据普遍运用于高校时，虽然学生信息是在不自知的情况下被收集的，但普及之后大家就都会知道自己的行为会被记录，而刻意去做一些事情，这样收集到的信息就不会是本真的东西。

5.研究方法不成熟

大数据研究毕竟是一个比较新的领域，目前还没有形成清晰的方法和路径，同时也缺乏统一的标准，每个教育机构都可能采用不同的运作形式，其运用效果值得怀疑。

兰州大学本科毕业论文

结 论

总而言之，随着大数据的发展，科技产业受到深刻影响，收集和解析数据的能力在近年来突飞猛进，其应用范围深入到生活的方方面面。无疑也将会对传统教育模式产生巨大影响。将大数据技术应用于高校个性化教育中，将会使传统的整体教育发生翻天覆地的变化。传统的高校教育是对人的社会责任能力教育，授教统一的内容；而大数据带来的个性化教育是认同个体生理基础的差异，重视每个个体在教育中的中心地位，注重学生的独立意识、自信心、主动性、创造性、向权威挑战的精神和多种差异能力的培养，学校要努力创造条件，让每个个体充分发展这些能力。学生是其中最大的受益方，每一个学生都有机会获得为自己量身定做的教学活动和资源；家长也可以通过崭新的视角掌握全面、真实的教育信息；教师从中获取对教学的客观反馈、对课程内容和学习过程进行评价、挖掘学生的学习模式、改进个性化教学的手段；教育管理者能够更好地组织教育资源、制定教育改革的方向和措施；教育研究者能够借此转变思路，开拓新的研究思维和路径。尽管大数据为教育带来了巨大的启发和机遇，但是作为新鲜事物，许多与之相关的研究仍处于探索和尝试阶段，有待于在实践过程中不断完善。

大数据在高校个性化教育中的应用研究

参考文献

[1]赵姝淳, 孙曙辉.大数据技术及其在教育领域的应用[J].中小学信息技术教育, 2014,(3):64-66.[2]张燕南, 胡继岳.关于大数据应用于教育的思考[J].中国电力教育, 2013,(11):5-7.[3]张生.混合式学习环境下基于学习活动的形成性评价的理论与实践[D].东北师范大学, 2008.[4]张韫.大数据改变教育(节选)[J].基础教育论坛：文摘版, 2014,(11).[5]吕楠.个性化教育与大学生创新能力提升研究[J].重庆电子工程职业学院学报, 2013, 22(5):107-109.[6]杨妮.美国高中个性化教育策略及其启示[J].教育导刊，2013，（1）[7]张韫.大数据改变教育[J].上海教育，2013，

篇2：大数据在高校个性化教育中的应用研究

高校中汇聚着大量的信息，从学生角度来看，包括联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等第二课堂信息;从教师角度来看，包含教学任务、课件等教学信息，论文著作、科学研究数据等科研信息;从管理者的角度来看，包含学校的资产信息、师资信息、招生就业信息等。同时随着移动互联网以及物联网等新技术的兴起，学校师生主动产生和由设备自动收集的信息越来越多，如微博、微信等社交信息，各类搜索点击记录信息等。上述信息存在着数据量大、结构复杂、产生频率快的特点。这导致利用常用软件工具捕获、管理和处理此类数据所耗费时问超过了可容忍的时问。

大数据的处理流程与一般数据的处理过程类似，可以定义为在合适工具的辅助下对广泛异构的数据源进行抽取和集成，将结果按照一定的标准统一存储，利用合适的数据分析技术对存储的数据进行分析从中提取有益的知识，并利用恰当的方式将结果展现给终端用户。具体来说可以分为数据抽取与集成、数据分析和数据展示。

数据抽取与集成

大数据的数据来源非常广泛，既包括传统的关系型数据库，也包括半结构化数据，以及以视频、音频、文本和其他形式存在的非结构化数据。数据抽取和集成要解决的主要问题就是收集各种碎片化的数据，对数据进行清洗，保证数据质量，同时根据时问演进小断更新数据模式，确定数据实体及其之问的关系，最终将数据按照统一的格式进行存储，以便提供给 上层用来进行数据分析。

目前高校已经基本建立了完备的管理信息系统、学习管理系统等，在统一数据中心中积累了大量的结构化数据;同时各类系统中还散布着大量的半结构化和非结构化数据。半结构化和非结构化的数据经过一定处理后，可以转化为更容易分析使用的结构化数据。

数据分析

经过抽取和集成得到的数据，需要经过分析挖掘其潜在的价值。传统的数据挖掘、机器学习、统计分析等方法仍然可以用来对数据进行分析，只是需要根据大数据的特征进行调整。首先，为了实现对海量数据的分析，需要依据模型，将数据拆分处理，然后再将结果汇总，一个完整的分析可能会经过多层类似的处理过程;其次，大数据的应用通常具有实时性的特点，数据的价值会随着时问的流逝而递减，因此分析方法需要平衡处理的效率和准确率;最后，大数据一般构建在云计算平台之上，分析方法需要考虑与云计算平台的集成或做为一种云服务。

数据展示

篇3：大数据在高校中的应用研究

一、大数据产生的背景

大数据是继物联网云计算之后IT产业又一次颠覆性的技术变革。大数据主要在互联网上、物联网、社交网络、智能终端普等中产生大数据, 同样大数据在企业、教学单位正常运行中产生大数据 (big data) 。一提到大数据, 很多人都会想到4V:Volume、Variety、Velocity、Value。这4V代表了量大, 从TB升级到PB甚至ZB, 麦肯锡全球研究中心的最新数据显示仅2009年美国国家教育部的某信息系统的数据库就膨胀至269PB, 国际数据公司 (IDC) 的研究结果表明2011年的数量更是高达1.82ZB, 相当于全球每人产生200GB以上的数据, 而到了2020年, 全世界所产生的数据规模将达到今天的44倍;多样, 数据记录、网页、视频等, 在校园中, 学校管理、教学、科研每时每刻都在产生各种结构化以及非结构化数据;实时, 处理速度快, 能够反馈, 并能预测社会行为;价值密度低, 应用价值高。

二、大数据在高校教学中的应用

(一) 为教师服务

在教师科研上, 教师可以以大数据存储与智能处理方向研究课题, 涉及大数据的存储、处理、检索、挖掘, 如和国家电网、互联网企业建立了长期合作, 从而不但可以使专业知识进行长期积累, 而且还可以创收;大数据往往被用于统计、分析气候信息并用于天气预测, 教师还可以进行以气象科学研究。

在教师教学上, 大数据应用于课堂教学, 大数据有能力去关注每一个学生的微观表现。传统教学方式下教师获得的数据有两个显著的特点:一是宏观整体性的, 即通过检测分析、问卷调查、学生面谈或同学他人侧面了解等方式获得学生整体的学业水平, 关心问题等。第二是经验感知性的, 即教师根据多年的教学经验和日常的观察给出对学生的大概评价。运用大数据技术, 不仅可以获得一个学生在一节40分钟的课堂中所产生的全息数据约5-6GB, 而且可以对这个学生在课堂学习过程中的各种行为表现, 情绪态度等进行全方位分析, 得出学生学业的优缺点和对待学业的态度等。如果能利用大数据的信息我们教师就能在教学上采用针对性地教学方式。

(二) 为学生服务

在学生学习上, 基于以短视频和交互式练习MOOCs大数据的学习不仅能够帮助学生学习网络课程, 还可以使学生自己选择时间和地点学习, 有利于学生自主学习。北京航空航天大学软件开发环境重点实验室副主任吴文峻介绍了开源MOOC (大型开放式网络课程) 项目, 他认为MOOCs将会是大数据时代的教育革命。可以使大学生“逃课”变成了网上“淘课”, 增加学生学习的兴趣。

在学生就业上, 用大数据助推大学生就业难题化解, 对大学生就业相关数据进行收集、存储、计算、挖掘和管理, 并通过深度处理技术和数据建模技术, 使数据具有“智能”的技术能力, 可增强大学生获取就业信息的能力。

(三) 师生互利

每个学生在整个学习过程中对全部学习对象 (Learning object) 的全部学习行为都会被自动记录下来, 数以百万计的学生在线学习的相关数据将会汇集成“学习大数据”, 通过系统化的数据挖掘, 宏观和微观相结合的分析中发现、把握其中隐藏着的学习规律, 使教师能够随时掌握每个学生的学习状况并能及时进行反馈指导及“推荐”学习资源, 能够持续改进课程教学、内容和教学环节设计, 藉以实现“因材施教”式的个性化学习服务。

三、大数据在高校管理中的应用

学校内的数据来自于不同的层次和分类, 既有人事、财务、资产、科研等常规管理型业务产生的结构化数据, 又有多媒体教学资源等非结构化数据;既有用户使用网络产生的行为数据, 又有物联网、移动互联网感知到的位置数据等。这些数据围绕着面对教师或学生的服务与管理而产生。从学校高层管理者的角度来看, 包含学校的固有和流动资产信息、师资信息、科研信息、学生管理信息、师生评价信息、财政信息、外界媒体关注学校、图书信息、信息招生就业信息等。同时随着互联网以及物联网技术等新技术的兴起, 学校师生主动产生和由一些传感器、手机、电脑等终端设备、自动收集的信息越来越多, 如办公软件、校园一卡通、微信和微博等社交信息, 各类搜索点击记录信息等。以上信息存在着数据量大、结构类型多样、产生数据频率快的特点。这导致利用常用软件工具捕获、管理和处理此类数据所耗费时间超过了可容忍的时间。对大数据的有效分析将是现代化大学中的一个必不可少的组成。国内高校为提升综合竞争力, 如拥有正确的信息并能预知未来发展就意味着拥有竞争优势。大数据的核心就是预测, 如果我们能在海量的学生借书的信息中找到学生对哪类图书最爱好;如果通过校园一卡通消费数据来分析了解学生的消费状况, 通过学习成绩记录、入出校门记录和校园一卡通在网络机房的登录记录数据来分析出影响学生的记录因素等。通过大数据分析我们找到最好的预测模式, 当然同样也可以运用在高校预测招生生源情况、就业情况, 预测师生、职工的各种需求情况, 以及学校的未来发展情况等。

四、大数据在高校未来的应用前景

(一) 为高校学生带来实践创新及就业机会

第五届中国智能运输大会暨第三届深圳国际智能交通与卫星导航位置服务展览会6月10~12日在深圳会展中心举办。设八大专业展区关注大数据移动互联。此次大会将首次举办“智能交通创意大赛”, 旨在鼓励高校师生科技创意, 密切产学研用, 增强高等院校师生与行业及市场的契合度。大数据同时也给学生带来了就业机会, 来自Gartner的调查显示, 2015年大数据为全球带来440万个IT岗位。

(二) 为高校带来新的专业设置机会

中国最权威的时政媒体《人民日报》整版报道, “媒体将2013年称之为‘大数据元年’。目前, 几乎所有的世界级的互联网企业, 都将业务触角延伸至大数据产业”。大数据的到来给我国高校专业设置带来了挑战和机遇。北京航空航天大学于2012年9月成立大数据科学与工程国际研究中心, 2013年初成为国内第一所设置“大数据技术与应用”软件工程硕士专业, 从而为国内其他高校设置大数据专业或方向奠定了基础, 同时有助于将来学生更好地就业。

北京航空航天大学校长怀进鹏院士表示, 产业发展, 人才先行。围绕国家“十二五”战略规划及国家中长期教育改革和发展纲要, “大数据技术与应用”软件工程硕士项目“希望以实际行动来回应社会对大学的需求, 以更有力的方式来承担大学应有的责任, 为大数据这样的新兴产业发展输出高水平、复合型精英人才, 确保产业科学、持续、高速的发展”。

(三) 为高校考生报考带来了参考依据

一年一度的全国高考已经结束。高考过后, 考生进入填报志愿阶段。由哈尔滨工业大学管理学院副教授杨洋和中山大学信息学院副教授潘嵘创办的国内首家人才大数据机构i PIN.com历时半年统计分析研究的《2014年i PIN.com中国大学与专业就业数据报告》于6月10日出炉, 此分析研究报告包括男女比例之学校、男女比例之专业、专业稳定性、专业规模、专业冷热度等都为高考生填报志愿、毕业就业提供客观真实的参考依据。

《孙子兵法》中有言:“多算胜, 少算不胜。”今天, 决定能否“多算”的重要因素在于, 掌握数据的多少以及对数据处理能力的高低。有了大数据对象、大数据处理与应用的技术, 再与各类实际应用需求相结合, 大数据将给经济社会发展带来巨大影响。

参考文献

[1]维克托迈尔舍恩伯格.大数据时代[M].杭州:浙江人民出版社, 2012.

[2]郝兴伟.大学计算机-计算机思维的视角 (第3版) [M].北京:高等教育出版社, 2014.

[3]张宁.基于决策树的数据挖掘在招生管理中的应用[J].河北软件职业技术学院学报, 2010 (02) .

[4]徐艳.图书馆个性化服务研究综述[J].吉林广播电视大学学报, 2011 (08) .

[5]黄晓斌, 钟辉新等.基于大数据的企业竞争情报系统模型构建[J].情报杂志, 2013 (03) .

篇4：大数据技术在高校中的应用研究

摘要：随着高校信息化建设的加速，大数据分析应用被广泛提出。本文首先指出了大数据的概念及其特点，罗列了近期主流大数据平台工具。针对不同工具的特点，选择Hadoop构建了一个简单的高校大数据分析平台。

关键词：大数据；Hadoop；HIVE

中国分类号：TP37

1 引言

近年来，大数据在各行各业中掀起了巨大的风波。所有人都在了解大数据，并思考如何利用大数据。随着互联网的普及和校园信息化建设的深入，每所高校都会产生海量的数据。比如在高校中普遍使用的教务管理系统，每个学年都会产生大量的数据。由于数据产生太快，为了不影响系统正常的运行，现在普遍的做法是按照一定的时间周期，定期将某时间段的数据进行分割备份。然而，备份出来的数据基本上只是作为突发情况的查询之用，并没有得到合理的利用。为了充分挖掘数据资源，我们引入了大数据技术，通过大数据分析找到一些有用的信息。

2 大数据概念

2.1 定义

大数据（big data，mega data），或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2.2 大数据特点

大数据的特点有四个层面：第一，数据量比较大。一般大数据都拥有PB级别的量。第二，数据类型比较多。数据类型包括文字、图片、视频、各类日志、地理位置信息等等。第三，处理速度快。可从各种类型的数据中快速获得高价值的信息。第四，只有在合理利用数据并对其进行正确、准确的分析的前提下，才能带来高价值的回报。业界将其归纳为4个“V”——Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。[2]

2.3大数据技术

大数据技术指从各种各样不同类型的数据中，快速获得有价值信息的能力。大数据技术是数据分析的前沿技术。大数据最核心的价值就是在于对于海量数据进行存储和分析。相比现有的其他数据分析技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3大数据处理工具

3.1 HADOOP

Hadoop[3]是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hadoop也是公认的新一代的大数据处理主流平台。在国外EMC、IBM、Informatica、Microsoft以及Oracle都纷纷投入了Hadoop的怀抱；在国内，阿里巴巴、百度等知名公司都在构建自己的Hadoop平台。

Hadoop是一个储存大量数据的优秀平台，我们将数据存储到Hadoop之后利用Hive或者Pig去分析数据，都能从中获得的大量有价值结果。但是，Hadoop用于实时分析并不合适。

3.2 Hydra

Hydra是分布式的任务处理系统，可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统，这使得它可以与ext3、ext4甚至ZFS兼容；它还具有作业/集群管理组件，可以自动为集群分配新的作业和平衡已有的作业；系统还可以自动将数据备份，并自动处理节点故障。

Hydra包括很多的组件：跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统，还有本地备份及远程备份等。Hydra适合用于大数据的实时处理。

4 校園大数据平台构建

由于，校园数据基本上不需要实时处理，我们选择Hadoop来构建校园数据平台。我们的目的是从大量的数据中分析出一些对学生、教师和学校管理人员有用的信息。

4.1 Hadoop环境的搭建

Hadoop环境搭建相对比较简单。一个实验室有30台机器，我们为这些机器安装CentOS系统。下载 Hadoop并进行安装，修改相应的配置信息启动。下载mysql软件，并进行相应的安装配置。下载HIVE软件，配置安装并使用mysql数据库为元数据库。下载Sqoop软件进行配置、安装和启动。

4.2应用场景

校园中因为数据类型比较多，大数据的应用范围比较广泛，我们以在线判题系统的数据进行统计分析作为例子来分析。

ACM在线判题系统是一个为程序设计竞赛爱好者和ACM训练对提供练习、竞赛及交流的平台，同时也可以为程序设计语言、数据结构等课程提供练习、测试的平台。本校ACM在线判题系统每学期大概有1000来名学生在使用，承担了C、JAVA和数据结构三门课程的教学任务及学生程序设计竞赛的训练任务。由于该系统使用的是MYSQL数据库，通过Sqoop工具，我们可以更快速的将数据导入到HIVE中。在 Hive中，我们通过hql 语句（类似sql语句），可以完成数据的分析、排序、去重、结果输出等操作。

4.3校园大数据平台建设存在的问题

目前在校园大数据平台的建设基本上都处于初级阶段，很有很多问题需要注意。

1、数据获取的准确性

在我们收集数据的时候，本身数据的正确性无法判断。由于数据体量较大，我们只能根据一定的收集规则对数据进行收集和导入的系统中，这些收集到的数据可能带有一定的偏向，根据这样的数据分析出来的结论肯定不是一个好的结论，这样势必导致在决策过程中完全依赖数据驱动或分析工具本身具有内在的危险性。

2、复杂数据分析

大数据的优势在于几个不同的平台之间的关系数据分析。如果是针对单一的平台进行数据分析，并不一定比传统的数据分析系统更好。相反，在针对一些相对较小的系统时，大数据分析平台速度完全跟不上实际的要求。只有选择合适的数据、制定分析中的目标、准备好归因模型、再营销和高级细分，才算是对大数据分析做好了准备。

3、校园信息化建设

现有校园中的数据基本上是平时在使用的系统和日志数据，大量的非结构化数据并没有被收集和存储。如果要更好的进行数据分析，需要加强校园信息化建设，进行多种形式的数据采集。

4、个人隐私的保护

现在越来越注重个人的隐私安全问题，如何保护好学社个人隐私和如何真实收集数据将是一个长期存在的矛盾。

5 结论

大数据的兴起对高校的信息化建设和发展带来了新的方向。在未来的高校中，一定会有越来越多这方面的应用。大数据分析的最终结果是为学生培养工作、学校管理和科研提供决策支持。希望通过不断地努力，能真正建立起一个高效、实用的大数据平台，为学校的未来发展提供必要的数据支撑。

参考文献

[1] 杨旭，汤海京，丁刚毅 .数据科学导论[M].北京理工大学出版社 .2014.

[2] 大数据 [ol] . http：//baike.baidu.com [引用日期2014-03-20].

篇5：浅谈大数据在教育管理中的应用

大数据的发展给困境中的教育变革提出了新的挑战。大数据越来越广泛应用于教学，通过在线测试、实时调查等方式获取学生的基本情况、了解学生的学习潜能等，从而使教师更容易针对问题，因材施教。

学校已有的信息采集设备对我们的数据收集具有重大意义。例如：网上阅卷系统，高考、中考阅卷早已采用网上阅卷。可能很多老师知道网上阅卷的优点，如评卷的公正性、准确性、高效性。其实网上阅卷系统更是一个数据的采集系统，采用网上阅卷系统对数据的采集、统计和分析的深度还是广度都大大地超越人工所能及的范围。

如10月中我校进行了本学期第一次统考，语文试题主观题共设了22个采分点，评卷系统采集了22个得分点的数据，很容易发现各知识点的得分情况。教学过程中的成功之处和薄弱点得到了极其详细的反映。网上阅卷的统计分析结果还能对试卷的质量如难度、信度、区分度、效度等指标进行科学的分析，使命题中存在的问题也得以全面地反映。由此可见，玩转当前的 “小数据”对现实的教学有益，也是迎接大数据时代到来的一种准备。

大数据时代教师需具备的三种基本能力：第一种能力是获取及整合学生、学校数据的能力，第二是探索数据背后价值和制定精确教育教学行动计划的能力，第三是把这些计划快速实时地应用于教育教学工作中的能力，应用于课堂的能力。要实现这些能力的提升一方面有赖于学校及教育主管部门对教师的培训，另一方面当然依靠我们老师自身与时俱进的学习。日益强大的互联网、多媒体及概念软件、开源软件等为师生提供了更加自由、灵活的学习和探索空间，求知的视野被极大拓宽。学习与生活、教育与社会不再被孤立，学生、学校与现实生活的体验更为接近，学生学习兴趣、学校办学动力将被大大激发。

篇6：高校教育管理的大数据应用论文

要将大数据有效应用在高校教育管理的各个方面中，最基本的工作就是重视大数据，不断强化大数据意识，并积极采集各类教育信息和校园数据。通过这些基础的教育数据，顺利有序地开展大数据应用工作。现阶段，我国许多高校虽然有了基本的大数据意识，大部分都创建起了相应的教育管理信息系统。但是这些信息系统几乎都处于相对隔离状态，很多都是仅供高校各个部门内部使用，从而制约了教育数据的整合与共享，存在着在大量的“信息孤岛”现象。所以各大高校有必要提升本校教育管理信息系统的性能，建立系统的数据管理机制与完善的高校教育管理网络系统。在此系统内，高校学生的相关信息、学校办学信息、课程设置信息等都被有效收集与汇总，进而构成一个全校范围内的数据集成平台，在此平台上，全校师生能够依据不同的权限共享学校和学生的相关信息，并不断挖掘教育数据价值，促进学校发展和学生进步。

4。2组建高素质的教育大数据管理队伍，加强对教育大数据的研究

在信息化时代，大数据的应用在各行各业都创造了巨大的价值，但是大数据必须在相关的人工操控管理下，才能充分实现其数据分析和数据预测功能。所以拥有科学的大数据思维和精湛的大数据分析技能的人才是各行各业的重要人才。具体到高校教育管理行业，拥有教育大数据思维和教育大数据分析能力的高校教师在我国众多高校中并不多见。这就需要高校积极引进高学历、高技能的大数据管理分析人才，组建一支高素质的.教育大数据管理队伍，不断加强对大数据的研究，充分挖掘大数据背后的潜在价值，更好地为高校教育和管理服务。

4。3实行校企联合，共同推动大数据研究

大数据的研究是一项复杂烦琐而技术性高的工作，它的顺利开展，离不开学校的大力支持。高校要从研究资金、政策机制、硬件配备等方面给予大力支持与保障。同时高校可以尝试推行校企联合机制，积极与社会上专业的大数据采集分析企业、各类在线学习的平台和互联网公司合作，把高校的各类教育大数据与学生日常存储的互联网平台、在线平台上的各类数据结合，并由专业的大数据研究公司开发挖掘大数据的潜在价值。这样就可以充分借助社会企业的力量，加强大数据的应用，进而推动学校办学的发展，建设智慧型的校园。

4。4注重大数据的应用规范，加强大数据监管

信息化的发展与大数据的采集、分析为高校教育管理带来了便利，提升了高校教育质量与高校管理的科学性。但与此同时，也存在着两方面的问题。一是我国许多高校师生数量较多，这些规模巨大、种类繁杂的数据信息是由不同的职能部门分散采集的，如果在采集中应用的数据标准不统一，后期很容易杂乱无章，难以将这些大数据汇总分析。所以在高校必须注重大数据的采集、应用规范，采用统一的数据标准，采集、存储大数据，以真正实现大数据的最大化价值。二是众多数据信息被汇总到不同的数据信息集也面临着巨大的网络安全问题，一旦这些信息被泄露，将给高校师生的人身安全和日常生活带来极大威胁和困扰。所以高校必须不断加强大数据监管，确定严格的数据使用范围与应用权限，努力防范各类网络攻击，提升大数据的安全防范能力。

5结语

综上所述，大数据具有规模庞大、类型繁杂、处理速度快、精确性高的特征，它在高校教育管理中的应用对于优化政府和高校教育决策、革新高校教学模式、监管和引导高校学生思想行为等意义重大。所以，教育部门和相关的高校管理人员必须采取合适的方法，不断加强大数据在高校教育管理中的应用，从而有效提升高校教学质量，确保高校学生安全。

参考文献：

〔1〕张欣泉。大数据在高等教育领域中的应用研究[J]。山东科技大学学报(社会科学版)，2016，18(6)：103―109。

〔2〕崔传滨。大数据在高校学生教育管理中的应用研究[J]。兰州教育学院学报，2016，32(11)：65―66。

〔3〕胡祖辉，徐毅。大数据背景下高校教育数据的分析与应用研究[J]。现代教育科学，2017(1)：109―114。

〔4〕岳坤坤。大数据时代高校教育管理创新的探究[J]。新疆广播电视大学学报，2017，21(2)：60―64。

〔5〕程晓光。大数据时代下高校教育管理信息化创新发展路径[J]。黑龙江教育(理论与实践)，2017(1)：53―54。

〔6〕张诗晗，吴祖峰。大数据时代下高校教育管理创新探究[J]。教育界，2017(18)：12―13。

篇7：大数据在高校个性化教育中的应用研究

—— 保利威视谢晓昉媒体群访内容整理

11月14日-16日，GET2017教育科技大会在北京国际会议中心成功举办。会议期间，保利威视创始人兼董事长谢晓昉接受媒体群访，就在线教育视频技术的发展趋势和视频版权保护等问题展开讨论。

保利威视隶属于广州易方信息科技股份有限公司，为企业级客户、B端客户提供云直播和云点播技术服务公司，长期专注互联网视频领域的技术研发和运营，目前，服务领域有在线教育、医疗、汽车、家电制造等企业，教育是其最大的市场。保利威视云视频平台覆盖近2亿用户，合作客户包括好未来、新东方、北京大学、中国传媒大学、中国国家开放大学、文都教育、跨考教育、启航考研等中国一批高等院校和民办在线教育、职业教育企业。

人工智能与教育结合，如何实现个性化教学，谢晓昉认为人工智能是和大数据结合的，现在在线教育还处于初级阶段，只有当数据积累到了一定数量级之后，这些数据才能够进行行业性的分析，才能萃取出有价值的信息。

谢晓昉提到，AI+教育是现代教育行业的趋势，保利威视作为一家为教育机构提供云视频服务的提供商，在助力教育平台进行技术转型方面，保利威视更注重数据的积累，在AI的概念没有大数据的基础无法实现之前，希望能够跟着在线教育行业发展和用户不断涌入，不断地积累数据，通过保利威视的技术和算法在智能化上有所建树。以下是谢晓昉的群访内容：

问：保利威视在版权保护方面实行了哪些措施？实施过程中用了哪些方法？ 谢晓昉：版权保护是机构线上和线下的核心诉求，很多企业和很多机构线下做得非常好，但是由于地理区域的局限，它的辐射能力相对有限，往线上走的很重要目的是为了推广它的课件，推广它的教学方法。随之而来的问题，有许多优秀的教程、教学资源很容易被复制，基本上一个机构、课件教育资源不受控制的被别人复制，会对自己的产业有毁灭性的打击。让著作权、产权财富以比较好的商业模式去运作的话，它的核心是对课件的保护。

保利威视成立之初最开始也不是完全服务于教育行业的，只不过这个平台发布初期我们有一项技术是关于基于关键帧的视频加密技术，这样的技术自然而然吸引了以教育为主的用户群。我们初期的用户是用了这个技术而自然形成的用户群。在2013年下半年，因为用户的这个特点，我们全面地转向了在线教育，无论是研发还是产品都往这方面走了。这也体现教育行业对版权保护的重视。其他的产业，包括影视产业也存在相同的问题，我们在这个具体的产品当中，不仅仅是防下载，防盗链，还包括视频的溯源，在所有的视频当中会加入我们视频的DNA，是人耳识别不到的声纹，但我们的设备能很快识别出这个视频是从哪儿产生的，是从什么渠道分销出去的。带着这些信息不但不会影响到观看者的用户体验，而且很方便版权机构去溯源，追查它的课件流向，这个技术也是在行业当中独有的。

问：直播行业非常火，包括它在商业变现上的能力也非常强，保利威视作为ToB 的企业，在商业变现能力上是不是也非常强？

谢晓昉：我们的商业模式也非常简单，向B端用户提供技术、产品以及解决方案。企业和教育机构通过流量、空间以及定制功能向我们支付年服务费。我们的收入、现金流还是非常健康的，从2013年成立之初开始就是正向现金流的企业，总体来说，营收情况是非常不错的。

问：刚才您谈到了视频流、高并发，对整个计算、存储基础设施需要做很大的投入，这方面保利威视是采用和阿里云等合作的模式，还是自建CDN的节点？ 谢晓昉：关于我们的基础架构，我们最核心的底层技术架构是自己搭建的，好比分布式的转码平台，云存储、数据库平台（关系型数据库、非关系型数据库），大数据分析平台完全是我们自有知识产权开发的。更上层的技术，比如CDN分发平台，目前我们是有三套CDN模式，也有和阿里合作，网宿这样的专业CDN服务商合作。我们也有自建节点，第一在于我们技术的把握，第二对于访问服务的保证，当我们的服务商出现问题时最后会切到我们自己的平台进行容灾、备份，保证我们教育机构服务的稳定性。

问：随着在线教育的兴起，现在视频的竞品很多，和同类竞品比保利威视的核心竞争力在什么地方？在融资和资本线上有什么样的规划？

谢晓昉：保利威视更关注在线教育，对于产品和技术研发，在定制化上，我们有非常大的优势，响应速度、产品迭代速度，目前有一定的优势。CC视频也有很多的教育用户，但大部分用户还是偏娱乐，偏媒体的，和我们有所差异。问：今天上午很多老师讲了讲人工智能，从直播大班课，双师课堂、在线小班课，这个技术能够使教育资源得到均衡化。其实人工智能还有一个目标是想实现个性化教学，您认为在技术层面上要实现个性化教学还有多远？现在都在做，但还没有实现。比如人工智能在哪些方面进行突破才能离个性化教学更近一些，因为目前资源均衡，什么时候能实现目标？

谢晓昉：人工智能很多时候是和大数据结合的。现在在线教育，我认为还处于初级阶段，它积累的数据不够多。我们的平台在云点播领域在国内是比较领先的，每天七八万个教学视频在我们的平台上传，表面上看这个数量是非常大的，但只有当你的数据到了一定数量级之后，这些数据才能够进行行业性的分析，才能萃取出有价值的信息。

问：现在众多教学教育企业中有越来越多偏向技术驱动型的公司，有的公司也在研发相应的视频系统，您认为，保利威视应该如何应对这样的挑战？

谢晓昉：确实有许多企业有自己的技术，但术业有专攻。服务和教学是两个不同的领域，无论是人、机构还是企业，它的精力是有限的，在本身的领域里强的话，另一方面会相对弱，这是企业的特点，不论是BAT还是小企业都是这样的道理。教育机构技术上的实践肯定会给整个行业带来一些新的东西，也是我们学习的方向。

问：我了解到保利威视也在做VR视频相关的内容，但VR不是适合所有场景的技术，尤其是在现阶段，您是怎么考虑VR和教育的结合？保利威视有哪些具体落地的案例？

谢晓昉：我非常同意你的观点。VR概念在2015年、2016年非常火爆，去年我们也启动了VR研发计划，并且实现了在iOS、Android和主流VR平台的产品发布，但不是所有场景都能够适合VR，现在VR整个应用风向是偏向于回归价值本身。

您的第二个问题，在探索的同时，我们也有一些实践落地，在医疗行业的医疗教学，尤其是手术教学当中，它能够非常好的还原第一人称的视角，就是主刀的感觉能够让实习的医生体会到，我们已经有了一些案例，在医学院和专业医学培训机构我们已经开始了实践。它对于网络、计算的要求还是非常高的，因为医学场景，它的动作和细节要求非常之高，对于带宽的要求、清晰度的要求，随之带来的编解码计算的要求都有很大的挑战。

第二，场景化的教学，比如烹饪的教学、厨师的教学，它也是模拟大厨的感觉，我们也有一些实践，但这些实践由于网络的限制，计算设备的限制，它的推广还是非常缓慢的。这是现状。

问：您如何看待现在整体在线教育发展趋势和特点，保利威视下一步在在线教育的布局是怎样的？

谢晓昉：在线教育现在逐渐趋于健康发展。早两年在热潮推动之下，有一些机构会比较过热。2017年应该是回归之年，很多以概念炒作为目的的机构慢慢地退出了竞争的市场。那些真正有价值的，能够给这个社会，给学生带来真正提升的机构会发展得越来越好。其实我们也是跟随着这些教育机构的成长而成长的，他们在使用我们产品的过程当中不断地提出一些新的需求，让我们帮他解决的同时，我们也获得了技术和产品的进步。这是我们发展的一个模式和现状。第二，请您谈谈包括视频技术在内的新一代信息技术，在在线教育产业发展中应该扮演什么样的角色？

谢晓昉：技术是个工具，其实通俗的定位，可以把我们看成是很多教育机构的内部研发部门，他们的需求通过我们在技术方面的落地，帮助他们压缩开发时间，提升产品用户体验，让这些机构在短期内能达到快速且高的产品体验。有一些机构自己做一些功能，版权保护、直播、互动功能，如果用常规的思想，他们可能要招聘各种人员，组织研讨、开发，最后这种产品，周期非常长。但是使用我们的产品，它就能在很短的周期，大部分用户可以在一个星期之内，通过我们200多项里157项功能是专门为教育机构开发的，这些功能的组合能够帮他们完成80%的教学需求。

问：下一步的重大战略和规划布局是什么？

谢晓昉：我们的重大战略布局，是在加强我们的重大项目比如云点播、云直播的同时开发一些让教育机构更方便制作视频课件的移动端产品，会对企业培训，也就是泛教育、和传统意义上的教育有一定区别的领域，会有一些布局和真实的产品发布。传统的优势项目是云点播、云直播，我们的目的就是为了让这些教育机构完全不需要技术，不仅仅不需要视频的技术，也不需要App和互联网相关的任何技术，我们努力推出一站式产品，让用户只需要关注内容和它的运营本身，而不需要关注复杂的技术，让他们把精力放在长项方面，让我们帮他们把技术实现。

问：在线教育直播呈现蓬勃发展的态势，在您看来，目前的发展环境有哪些机遇？困难是什么？

谢晓昉：目前的困难，大家的想法是如何通过直播技术让线上的教学能够更接近于真实场景或面对面场景，永远都是在接近、赶超，对这个行业来说这不是特别好的情况。我们可以进行类比，舞台剧、话剧这种艺术形式现在还是有非常多的人群参于，但它表现形式更多的是面对面的，现在占市场份额非常大的是电影，从某种意义上来说，电影是舞台剧的扩展，无疑现在电影具有巨大的优势，以前没有电影的时候只有舞台剧的形式。电影可以在几分钟之内浓缩几千年的概念，可以把人从北京瞬间带到纽约、月球或其他地方，这是舞台剧无法实现的。在我们视频技术实现当中，理想要高一点，不仅仅要接近现实的交流，可以通过一些技术，场景化的虚拟现实来超越目前面对面的交流方式，因为它确确实实能够通过技术和影像传输、辅助手段能够达到面对面都无法实现的信息传递。这是我们无论直播还是点播发展的思想。

关于人工智能，您刚才提到了风口，要探索它的价值究竟在哪儿，我认为人工智能、大数据就目前的形式来看，会比VR更加有需求，应用的落点会更大，但就目前大数据来看，它的发展还处于初级阶段，数据积累不是特别多，真正到价值体现的时候还有一定的时段。我认为，人工智能最大的方向是数据积累，能帮助实现个性化的在线教育。

问：您认为，保利威视的定位是纯粹的技术服务商还是技术和产品服务提供商？ 谢晓昉：是技术和产品服务提供商。

问：AI+教育是现代教育行业的趋势，保利威视是为教育机构提供云视频服务的提供商，保利威视如何助力这些平台进行技术转型呢？

谢晓昉：我们还是注重这种数据的积累，在AI的概念没有大数据的基础无法实现之前，我希望能够跟着在线教育行业发展和用户不断涌入，我们不断地积累数据，能够通过我们的技术和算法在智能化上有所建树。

问：大数据上，保利威视相当于是在构建一个在线教育机构的大数据平台，在积累阶段，积累到一定程度以后，保利威视有没有想过很好地利用这些数据帮助在线教育更好地实现教学呢？

谢晓昉：事实上，我们有一个点，在大数据上有很好的想象空间，就是视频的结构化。视频展现的形式非常生动，数据量非常大，但有天生的硬伤，是非结构化数据，无法被检索。教育领域，知识还是始终的一个主题，如何对知识甚至知识点的搜索，在视频当中的搜索其实是很有技术挑战的方向。我们现在正在做这一块，未来在我们的平台能实现知识点在视频上的精确搜索，也就是说无论你视频之中的教学内容多么复杂，场景多少丰富，只要它出现过这个知识点通过搜索就可以让我们的学员精确地到达那个时间点，并且立即开始播放，能在海量数据知识库当中迅速定位那个知识点，这是我们对教育行业基于大数据的应用方向。我认为，这也是未来视频搜索的一个核心技术。问：保利威视未来的发展目标是什么？

篇8：大数据在高校个性化教育中的应用研究

近几年, 随着互联网、云计算和物联网等技术的快速发展, “大数据”开始渗透至各个行业和领域, 逐步影响人们的生活和学习方式[1,2,3]。在大数据时代, 能否激发和利用隐藏于数据内部未被发掘的价值, 实现在教育、经济、交通和医疗等领域的革新, 取决于人们对于数据及其潜在价值和功能的认识和态度[4]。

教育行业中的传统数据体现的是宏观的教育状况、整体的学习水平, 数据更多是在阶段性的评估中获得。而“教育大数据”[5,6]更关注微观、个体层面, 要求时时处处采集信息, 全面客观记录信息, 大量采用可视化展现方法等等, 帮助信息收集方获取精准材料。这种大数据 (全量数据) 与传统的数据相比, 具有非结构化、分布式、数据量巨大、数据分析由专家层变化为用户层等。这些特点恰好适应了个性化的学习变化[7]。

其中, 大数据改善学习的三个核心要素:反馈 (feedback) 、个性化 (individualization) 和概率预测 (probabilistic prediction) [8], 除第一个要素以外, 其余两个都可以通过推荐系统实现和提升。

2 教育大数据和推荐系统

2.1 教育大数据

1) 定义及现状

随着大数据研究的不断积累和深入发展, 其中的教育大数据极大地推动了个性化教育, 对教学模式和教学管理产生了深刻影响。徐鹏等[5]从两个层面定义了“教育大数据”: (1) 广义的教育大数据泛指所有来源于日常教育活动中所有参与者的行为数据, 它具有层级性、时序性和情境性的特征; (2) 狭义的教育大数据是指学习者行为数据, 它主要来源于学生管理系统、在线学习平台 (MOOCs、微课等) 和课程管理平台等。其中, 慕课 (MOOCs) 的一个构成要素就是能产生大数据。根据本文的研究对象, 将教育大数据分类为:学生学习成长过程异构数据、教师教学过程异构数据和教学管理者决策异构数据。

目前, 教育大数据存在若干问题。首先, 与其他行业的大数据相比, 教育行业大数据暂时数据量比较小。例如, 同电子商务大数据相比, 在线教育平台不像电商的用户数量庞大、数据可以累积到海量;其次, 教育数据噪声也比较高。数据噪声简单来讲, 是指干扰性数据、无用数据, 比如用户录播视频行为数据中, 用户行为包括简单的操作:暂停、关闭、重播等, 造成这些操作的原因很多, 并不一定是没看懂内容, 所以干扰性数据较多, 数据统计分析的精度会受影响。此外, 教育垂直属性特别明显, 大量数据会向不同垂直领域分流。而不同垂直领域之间的数据融合度比较低, 比如《大学英语》和《计算机病毒检测技术》两门课程的数据很难整合在一起进行分析。

2) 大数据的来源

教育大数据大致可分为结构化数据和非结构化数据。以描述一个个体来类比, 结构化数据就是个体的身高、体重、性别等特征属性, 比如集中在选择、判断等客观题的题库类产品, 就是教育大数据的一个重要来源。此外, 包括与学习者考试成绩相关联的家庭背景、智力水平、学习态度和努力程度等因素和指标也成为教育大数据的主要来源;非结构化数据则可以是参与者的声音、照片、视频等。

大数据应该被视为促进产品改良的反馈, 而不是对产品使用者进行简单评价的依据。目前, 被收集的有限教育数据几乎都是用来评价学生的, 即学习中的“消费者”。大数据蕴含的巨大潜力在于通过相关算法和系统 (如推荐系统、学习分析技术[9]) 推进个性化学习, 改善教材、教学和管理水平, 并最终提高学生的成绩和能力[8]。

2.2 大数据环境下的推荐系统

1) 典型大数据环境下的推荐系统

大数据环境下, 推荐系统的个性化、高效性和普适性使其具有广泛的应用前景。表1列举了推荐系统在几种应用领域的典型案例。

2) 教育大数据环境下的推荐系统

教育大数据中信息过载已成事实, 为了帮助教学过程参与者 (学习者、教师和管理者) 快速有效地获取所需项目 (对象) , 推荐系统由此产生。参与者与项目之间相关关系见表2。

推荐系统可以在个性化教学中得到出色的应用。例如, 2015年, 在可汗学院[11]《计算机科学》课程的学习中, 有成千上万的学生做错了关于“插入排序算法”的题。但在浏览过可汗论坛第150篇文章的学生中, 则有80%的学习者不会在此题中再出错。以后, 当有学生犯同样的错误时, 系统就会自动推送第150篇论坛文章为他们答疑。在这里, 确定最适合学习的论坛内容, 凭借的是“项目相关性计算”的手段, 而不是学生的自行判断。

3 基于隐式反馈的个性化教学推荐系统

因在教学过程中, 存在海量的不直接反应参与者倾向的数据, 故参考基于大规模隐式反馈的个性化推荐模型 (IFRM) [12], 个性化教学推荐系统 (Personalized Teaching Recommendation System, PTRS) 通过对参与者兴趣进行建模或预测参与者行为, 以此提供信息过滤与推荐服务。

3.1 问题定义

首先形式化地定义基于隐式反馈的个性化教学推荐问题。推荐模型可以利用的信息是参与者-项目选择集合, 如图1左侧矩阵所示。其中, 灰色代表观察到的参与者选择行为, 白色代表参与者尚未选择该项目。当给定任意参与者i以及待推荐列表I (由待推荐候选项目组成) , 推荐模型可以生成I的排序I*, I*应尽可能地将参与者要选择的项目排在其它项目前面。而需要解决的问题是, 如何根据历史选择集合构造出这样一个推荐模型。

3.2 推荐系统基本框架

构建PTRS的关键资源是参与者历史行为数据, 具体可分为两类:显式参与者反馈 (explicit actor feedback) 指参与者给出的显式倾向, 如课程成绩或教学质量评分等;与之对应的是不直接反应出倾向的隐式参与者反馈 (implicit actor feedback) , 如学习时间、浏览在线课程或教学管理文献等。不需要参与者付出额外的工作, 就可以收集隐式反馈数据。教育大数据环境下的推荐系统基本框架如图2所示。

3.3 系统设计

受矩阵分解模型的启发, 本文假设任意参与者i与任意项目j可以在潜在K维特征空间表示为一组向量:Ui= (Ui1, Ui2, …, Ui K) , Vj= (Vj1, Vj2, …, Vj K) , 并且参与者的选择行为由参与者的潜在特征与项目的潜在特征共同决定, 令Sij表示参与者i对项目j的选择倾向强度, 则

隐式反馈模型不同于传统的基于显式反馈推荐方法, 它并不去拟合具体评分值或评分行为, 而是通过建模参与者选择倾向, 从而去最大化可观察用户行为出现的概率。IF-PTRS天然地适用于没有评分而只有选择交互行为的隐式反馈推荐场景。

如果当前参与者是学生, 则系统输出结果Sij为适应此学习者个体的学习课程、内容或习惯;如果参与者是教师, 则系统输出结果Sij为适应此教师主体的课程教材、教学内容或方法;如果参与者是教学管理者, 则系统输出结果Sij为适应此管理者主体的教学策略或管理制度。

4 结论

基于在线学习和推荐系统, 教育大数据在个性化教学的各个要素和环节中, 将会有更多应用和更重要的意义。

在学生的自主学习方面, 网络将跟踪学生的整个学习过程, 从中了解学生的学习方法和习惯, 了解学生的个性、兴趣、爱好, 从而获取相关隐式数据, 帮助学生了解自己的学习成果, 通过选择IF-PTRS系统推荐的相关性最大的项目, 更好地进行自主地适应性学习;在老师教学方面, 相关大数据将便于老师了解学生的学习能力和认知能力, 同时根据已有教师的教学活动过程和本教师的知识水平和教学能力等隐式数据, 通过选择IF-PTRS系统推荐的相关性最大的项目, 及时更新教学内容和改进教学方法, 使教学更有针对性。

而在教学管理和决策方面, 对于教育行政部门和学校的不同层次的管理者而言, 大数据环境下的IF-PTRS系统将帮助他们在管理行为上做出更加科学而非经验判断式的决策;对于教育研究者来说, 他们能够重新审视学生的需求, 通过大数据和推荐系统以及学习分析技术, 找到怎样的课程、课堂、教师能够更加吸引学生。

摘要：随着互联网、云计算和物联网等技术的快速发展, “大数据”开始渗透至各个行业和领域, 逐步影响人们的生活和学习方式。大数据可以改善学习的三个核心要素:反馈、个性化和概率预测。通过构建大数据环境下的隐式反馈推荐系统 (IF-PTRS) , 教学活动参与者 (学生、教师和教学管理者) 选择与自身相关性最强的项目 (学习内容和习惯、教材和教学内容、管理策略等) 实施自主活动, 从而达到个性化教学的目的和效果。