数据挖掘技术在经济统计中的应用研究

2022-10-21

1 引言

经济统计学是一门综合性学科, 和数学、统计学、经济学密切相关, 是基于大量的数据, 通过整理、分析、建模等手段, 揭示经济领域数据背后规律的一门学科。现在的统计学对于数据的挖掘还在探索之中, 对于经济学理论的探究也不及数学来得有效。但事实上, 在应用方面, 统计与分析, 对于一个企业, 甚至一个社会大环境来说, 都格外重要。我们需要深究其背后的意义。

2 数据挖掘技术的应用

数据挖掘技术目前是一种经济统计分析的常用手段, 它利用统计学的思想并结合计算机技术, 对一个经济问题展开深层次的分析。在获取原始数据后, 从最初的预处理开始, 逐层深入, 最终通过模型检验与应用, 来完成数据的挖掘工作。以下为经济领域应用的具体实例:

2.1 预处理

统计的第一步, 也是后续数据挖掘的基础, 就是数据的预处理, 因为最开始的原始数据, 一般会呈现杂乱化、不整齐化, 有的还会存在一定的不完整性, 作为系统的操作人员, 首先要将这部分收集到的数据进行归类整理, 剔除异常值, 再从收集的数据中, 对目标数据进行提取和处理, 数据挖掘系统才能更好地完成后续的分析和挖掘工作。

2.2 数据处理

数据的处理内容主要是在大样本等情况下, 通过作散点图、R语言操作等方法剔除缺失值;在不允许删除数据的情况下, 要对缺失数据进行填补。把真正需要进行分析的数据进行尽量准确的处理, 进行深入挖掘, 然后得出有助于解决当下某个经济问题的有效模型。以下为笔者整理的具体方法:

第一, 均值法。通过计算均值, 把在均值范围内波动的数据收集起来, 作为准确数据。对于严重偏离均值曲线的数据做剔除处理。在这个过程中, 要注意算法工具和算法曲线的应用。例如我国国税局在统计纳税情况时, 工作人员发现某年的税务情况出现了异常, 并经过查证, 发现当年并没有特殊的经济现象, 例如自然灾害、经济危机等, 这就说明在最初统计收集数据时出现了故障, 于是相关人员剔除了错误数据, 并得出了相对准确的经济学结论。

第二, 加权平均法。和上述方法类似, 此类方法又可以称为平滑法, 是针对经济问题中一些常见占比问题的均值计算而提出的方法, 例如学校评选奖学金的资格, 是按照一个学生的加权成绩作为衡量的标准的, 如对德育、智育、体育三方面进行加权平均得出最终成绩, 而不仅仅是单纯相加的和。

第三, 预测法。预测法同样是借助数学方法, 来进行经济探讨的常用手段, 一般常见的手段就是以数学建模的方法, 建立回归方程, 再通过曲线之间的拟合度, 来判断经济现象之间是否存在相关性。

2.3 数据集成

数据集成可以简单地理解为数据的收集工作, 将一个地区内所有的经济生产总值分类整理, 再集中探讨就是数据集成思想的应用, 例如省级单位的国民生产总值计算和区级国民生产总值之间的计算, 就是借助这种思想[2]。以下为实际中, 常见问题及其处理方法:

第一, 模式的集成。现在我国互联网技术逐渐进步, 利用计算机来进行数据的挖掘也成为一种常态, 但是因为数据库之间存在并列与包含等错综复杂的关系, 如何判断同名文件夹是否为同一内容, 就需要对其模式进行集成, 从而方便这一过程。

第二, 冗余问题。冗余问题还是一种相关关系的判定, 两个存在关系的具体对象, 通过其方差等决定性因素, 代入公式中, 判断r的值和1以及0的关系, 越接近于1的绝对值, 相关性越大。相反则密切程度越低, 例如我国房价与人民工资水平的关系, 就可以按照这种方法来探讨。

3 回归模型分析

在数据挖掘中, 回归模型的分析格外关键, 需要结合经济现象, 先建立模型基础, 再做出合理的假设来确定变量之间的关系, 再通过实际的案例, 来判断两者之间的协调关系, 如果经济现象具有因果关系, 则我们需要完成变量之间的稳定工作, 然后再进行实验结果的校验。例如shift-share模型的建立等。

4 相关建议

在经济建设的过程中, 数据处理还需要逐渐的发展, 整个过程中, 应该注意专业人员的培养工作的渗入, 现在的数据行业不仅仅需要具有统计学基础的学科技术性人才, 还需要熟悉互联网的综合性人才, 可以对一些数据进行复杂的编程和建模。管理人员应该积极地落实人才的培养工作, 通过开设讲座等方式, 来对从业人员进行培养, 提高行业内部的整体素质。

5 结语

现代社会, 经济正在迅速发展, 行业内部对于数据的挖掘的要求也在逐渐增加, 互联网行业为数据处理带来了新的机遇, 也是对统计行业的一次挑战, 合理地运用数据, 可以为行业内部工作的顺利开展提供较大的帮助, 从而更好地促进整个社会经济的繁荣发展。

摘要：目前, 在我国经济学领域, 大数据的应用也十分广泛, 这和社会的信息化发展趋势密切相关。经济学传统的数据处理方式为整理和筛选, 对于概念的研究缺乏深入性, 所以造成很多经济现象无法直接解释。如何让数据的甄别不仅仅停留在表面, 就需要重新探究数据的挖掘技术。本文结合经济统计学基础, 对数据挖掘做了探索。

关键词：数据挖掘,经济统计,应用