基于大数据思维的统计学相关理论研究

2023-02-25

随着科学技术的不断发展, 大数据思维正在悄然改变人们的生活生产方式, 很多专家学者将大数据比喻为“新兴石油”, 可见大数据对社会经济发展具有非常重要的作用。而统计学则是一门研究如何测定、收集、整理、分析反映客观现象总体数量、数据的一门社会学科, 对整个社会的发展有举足轻重的作用。在这样的基础上, 开展基于大数据思维的统计学相关理论研究就显得尤为重要。

一、大数据思维内涵概述

纵观全球各个国家对大数据的解读, 大部分专家学者认为大数据很难用传统的方法和技术进行处理, 但多数都局限在大数据自身特性上进行研究。如果从资源的角度而言, 大数据是一种处理数据状态的工具。如果从社会运行的角度而言, 大数据可以看作为一种基础社会制度, 对未来社会的运行方式有非常深远的影响。总而言之, 大数据属于一种思维方式, 改变了人们看待世界事物的角度, 因此, 大数据思维是一种基于多源异构和跨域管理海量数据分析产生的数据价值挖掘思维。信息技术的快速发展, 为大数据思维的不断演进和发展奠定了坚实基础。传感器以及社会网络的发展是大数据产生的主要来源, 云计算技术和数据处理中心的不断发展, 为大数据储存提供良好的环境等。因此大数据思维是技术进步并发展到一定程度的主要产物, 这种思维具有推动人类认知世界, 甚至是改造世界的能力。

二、统计学相关理论

从而内容上而言, 统计学有三种统计方法:一种是针对大量随机现象的统计方法, 常见的有:概率论和数理统计方法;一种是针对非随机非概率的统计方法, 常见的有:指数编制、实地调查等方法;另一种是处理和某种特定学科相关联的统计方法, 常见的有:经济统计法、环境科学统计法等[1]。

通常情况下, 在统计中, 由于受到数据收集工具和数据处理能力的影响, 很难收集到某项事物的全部数据和信息, 而统计学理论需要在大量数据样本上开展。即便是可以收集到所有数据, 但也需要消耗大量的成本, 因此, 通常情况下, 也会放弃对全部信息和数据的收集, 通过抽样法和统计分析法, 同样可以有效还原某项事物的特性。总而言之, 统计学是一种建立在数据采集样本基础上, 是一种以点带面的统计分析技术, 通过对所测对象的分析而获得研究对象总体本质的一项学科。

三、基于大数据思维的统计学重构

(一) 基于大数据思维统计学相关理论研究

1. 总体理论框架

在统计学理论中, 所测样本数据都来自于样本总体, 可通过收集到的数据对总体本质和内部规律进行分析。而大数据思维下, 样品是总体的一个分支, 不再是随机样本, 也就不需要进行假定总体分析。

2. 抽样理论

目前很多抽样分析法都或多或少存在一些问题, 在具体应用中, 为有效降低这些因素的造成的影响, 需要进行多种尝试。而自从进入大数据时代后, 就无需进行抽样检测, 得到数据的精度也远远高于过去统计的精度, 可有效剔除数据中某些无用的数据, 提升数据提取的速度。

3. 统计学新理论

传统统计学是利用概率论对统计理论进行分析和验证, 而在大数据时代中, 无需进行抽样, 数据总体即为数据样本。在此种情况下, 需要充分注意精确性是目前时代所缺乏的主要东西, 只有一小部分数据能够被应用在传统数据库中, 从而造成了巨大的浪费。

(二) 基于大数据思维的统计学研究框架

1. 统计学方法

统计学相关理念研究的重点是概率分布指数族, 此方面的研究内容包括:罗协变量信息效应、图表指数族等。其中指数族中包括数据库中很多已知概率分布情况, 应用其应用范围非常广泛, 因此, 指数族在整个统计学理论中占据非常重要的位置, 需要高度重视, 才能发挥出其应有的价值和作用。

2. 大数据吝啬建模

在大数据和云计算的背景下, 快速线上算法被应用在各大领域, 通常情况下, 数据非常庞大, 传统挑选和调取技术很难满足实际需求。快速线上算法的应用则有效解决了这一问题[2]。

3. 巨型分布系统建模

随着社会经济的不断发展, 每天都会产生大量的数据, 这对数据处理和存储平台提出了更高的要求。如果内存系统中遍布数据时, 小数目会带来很高的代价, 此时就可以通过亿亿兆系统来进行解决。利用分布式综合大型科学数据集来进行建模, 再利用空间降维技术, 就可以研究出更多种类的算法。

4. 基于大数据思维统计学相关理论的应用

不同形式、不同种类的大数据思维应用领域和应用重点也不尽相同, 其中分析大数据统计工作流程的影响非常大。因此, 在具体应用中, 各大领域都要积极推广大数据的经验做法, 在推广中积极探索行之有效的解决对策, 并作为大数据思维应用的核心, 同时还要积极改进统计工作, 确保各项工作得以顺利开展[3]。

四、结束语

综上所述, 本文结合理论实践, 研究了基于大数据思维的统计学相关理论。研究结果表明, 大数据思维和统计学相关理论之间有非常密切的联系, 统计学是大数据应用的工具和处理技术, 而大数据则是统计学更深价值体现的主要途径。因此, 具有大数据思维的统计学, 要紧跟时代发展步伐, 促使统计学相关理论能更好的应用在大数据思维中。

摘要：在大数据的背景下, 统计学是大数据得以开发和应用的核心, 而基于大数据思维, 统计学的研究对象、性质、任务并没有发生改变, 但被统计学研究的数据却发生不同程度的变化, 如:数据内涵有了全新的理解、数据来源方式多种多样、数据不确定性更加突出等。大数据思维为统计学相关理论的研究和发展提供了全新的平台, 需要从数据重构和应用等方面入手。

关键词：大数据思维,统计学,理论,数据重构