大数据在计算机信息处理技术中的应用

2022-09-12

计算机海量数据的产生, 促使人们进入到了大数据时代。在这种情况下, 常规的衡量方式已经不适应数据量的计算需求。数据有着十分繁多的种类, 包括结构化数据、非结构化数据等两种类型。为了对这些海量数据进行处理, 就要求计算机具有较高的运算速度。

一、大数据和计算机信息处理技术概述

大数据不单单指的是数据有庞大的信息量, 还指的是信息比较复杂和重复。大数据具有较大优势, 具有更大的信息规模和更快的速度, 且大数据的资源利用率较高, 成本低, 能够有效记录存档人们生产、生活活动产生的各项数据。计算机信息处理技术指的是有机结合信息的分析、处理、使用和传输等多个环节, 以便更加方便和快捷的管理数据信息。目前, 在企业数据管理、现代化办公中已经开始充分利用计算机信息处理技术, 借助于专业设备, 可以更加高效的开展工作, 有机结合了人、软件和硬件三个部分, 可以显著提升工作效率[1]。

二、大数据处理技术

(一) 流处理模型和批处理模型

通常情况下, 计算机会采用串行和并行两种方式处理数据。而大数据在处理数据时, 也可以分为流处理模型和批处理模型两种类型。具体来讲, 流处理模型指的是直接处理信息, 不需要存储信息;而批处理技术则是首先存储信息, 之后再处理信息。 (1) 流处理模型。部分数据需要较快的处理响应速度, 那么就可以将流处理技术运用过来, 如果处理之前进行了存储, 那么可能处理结果与当时的条件就不相适应, 数据处理的意义也得不到保证。同此情况下, 流处理技术被运用到银行、证券以及股票等领域内, 因为其需要实时交换数据。在流处理模型下, 数据就好比水流, 立即处理获取到的数据, 然后迅速返回数据处理结果, 数据处理对象不断形成数据流结构。在这种处理技术下, 具有较高的实时性, 直接在内存中处理数据, 那么数据的处理效率会受到内存容量的影响。因此, 在流处理模型应用中, 就需要结合处理对象, 对数据结构巧妙设计, 以便促使大数据处理效率得到提升。 (2) 批处理模型。相较于流处理模型, 批处理模型存在着较大的差异, 其首先分块待处理数据, 然后由不同的处理区分别处理不同的数据块。简单来讲, 批处理就是首先分割问题, 然后由专门的处理区来处理数据, 这样空间消耗、时间消耗就可以得到有效避免。不管是采用流处理模型还是批处理模型, 都可以有效处理大数据。在具体实践中, 通常会结合使用流处理模型和批处理模型。以电子商务为例, 近些年来获得了快速发展, 有海量数据产生, 在处理实践中, 就需要结合数据对实时性的差异化要求, 将不同的处理模型给运用过来, 利用流处理模型处理那些要求较高处理速度的数据, 而利用批处理模型处理那些对速度要求不高的数据。

(二) 大数据处理流程

一般情况下, 大数据处理流程是这样的:首先提取海量数据源信息, 采用适当的方式存储这些提取出来的数据, 结合数据对处理速度、空间的要求差异, 采用针对性的方式处理数据, 然后向用户返回数据处理结果。简单来讲, 可以从数据提取、分析、解释等三个环节来划分大数据处理工作[2]。数据分析是大数据处理的核心, 指的是分析数据提取得到的中间数据。在大数据处理的最终阶段则是数据解释。因为只有相应的技术人员方可以看懂数据处理结果, 那么为了促使用户能够对数据分析结果有效理解, 就需要解释处理结果。过去主要是借助于显示终端将结果呈现给用户, 但是大数据具有庞大的数据量, 且数据之间具有十分复杂的关系, 那么传统方法就逐渐暴露出来了很多的问题。目前, 在数据解释中, 一般将可视化技术运用过来, 其中比较典型的有标签云、历史流等技术。

三、大数据应用发展面临的机遇和挑战分析

在大数据时代下, 计算机技术、互联网技术的日趋成熟, 优化了用户的体验, 但是也有一些问题和挑战出现。具体来讲, 可以从这些方面理解:

(一) 数据转化

上文已经提到, 在大数据时代下, 信息处理对象具有十分庞大的量, 且在各地分布, 要想有效处理这些海量复杂数据, 就数据集成处理异地异构数据。相较于传统的数据集成技术, 大数据下的集成技术具有较大差异, 其数据类型比较复杂, 混合了半结构化数据、结构化数据以及非结构化数据等。特别是手机、平板等智能终端设备应用范围不断扩大, 在较大程度上改变了数据的产生时间和空间。且数据存储方式也发生了改变, 传统数据库方式逐渐暴露出来很多的问题。针对这种情况, 为了更好的处理海量数据, 在处理之前, 就需要科学转换数据的存储方式。

(二) 数据的安全防护

大数据因为具有较大的数据量和繁杂的信息来源, 安全系数较低, 很容易遭到计算机病毒和其他网络的攻击。且用户对大数据应用的信任度会直接受到信息安全技术的影响, 还会制约到大数据的发展。因此, 在未来的发展中, 非常重要的一个方面就是大力发展数据安全技术。

(三) 数据足迹保护

在大数据时代下, 会详细记录用户在计算机、网络以及互联网中的各项行为, 因此, 对于用户隐私保护是一个巨大的挑战。网络中用户的各个行为之间具有较强的联系, 如果仅仅泄露掉用户某一时刻的数据, 用户的数据安全并不会受到威胁;但是如果泄露掉多个时刻的信息, 且有机联系这些信息与用户行为, 就很可能会泄露用户的隐私。