大数据技术支持下的电子商务系统的MapReduce架构设计与分析

2022-09-11

随着互联网、云计算、物联网技术的发展和普及, 数据增长的速度不断加快, 数据的存储单位也发生了较大的变化, 数据数量的不断扩大, 对软件工具提出了更高的需求, 传统的软件工具已经无法满足数据的需求。为了解决时代的需要, 降低电子商务系统的经济成本, 必须要对Map Reduce编程模型进行全面深入的研究, 从而提高电子商务企业的核心竞争力, 推动电商企业的持续发展。

一、Map Reduce编程模型分布式大数据文件系统

目前, 大部分企业都采用的是分布式大数据文件系统对大数据进行处理, 这种方法的硬件成本相对较低, 但是节点规模较大, 虽然可靠性较强, 但是灵活性较差。因此采用Map Reduce编程模型展开软件系统设计, 可以有效解决灵活性这一问题, 而且Map Reduce编程模型可以高效快速完成数据处理工作, 在电子商务系统中具有着较强的优势[1]。因此, 首先针对Map Reduce编程模型分布式大数据文件系统进行设计。想要设计出电子商务系统的Map Reduce架构, 就要建立一个的支持Map Reduce编程模型的分布式大数据文件系统。在这个系统中包括了数据和数据文件, 也一个管理系统, 借助这个系统可以实现Map任务和Reduce任务, 并且让二者进行相互协调, 如果出现任务失败的情况, 也能够进行应对。分布式大数据文件系统可以对数据文件进行常规处理, 也可以存储、备份文件副本, 传统的SQL只是基础的数据库管理系统。

二、Map Reduce编程模型的具体构成

在建立了支持Map Reduce编程模型的分布式大数据文件系统后, 就要对Map Reduce编程模型的构成进行分析, Map Reduce编程模型是一种由两个基本函数形式组成的任务, 并不是任何一种计算机语言, Map Reduce编程模型可以分为Map任务和Reduce任务。前者是将输入的文件块转换成键值对序列, 后者是将所有的键关联值组合起来, 而无论是Map任务的转换方式和Reduce任务的组合方式, 都取决于用户编写的Map函数代码和Reduce的函数代码。而在上文中设计出来的分布式大数据文件系统的作用是借助主控制器协调这两个任务, 让通过Map任务形成的键值对序列, 按照键值大小顺序进行排列, 并且传递到Reduce任务中去, 再由Reduce任务进行工艺统一。

三、Map Reduce编程模型的典型计算设计

在分布式大数据文件系统的基础上, 编写Map函数代码和Reduce的函数代码, 就可以完成大数据的搜索和查找, 但是想要真正的实现这一功能, 还需要编写Map Reduce编程模型的计算方法, 具体的计算方法有三种, 分别为:矩阵向量计算、递归计算、关系计算以及集合计算。其中递归计算最为常见, Map Reduce编程模型的递归计算就是递归求解的过程, 将Map Reduce编程模型作为计算步骤, 完成未知数目迭代, 但是需要注意的是, 在递归计算工作系统中, 存在失效问题, 简单的重启并不能够从根本上解决, 因此必须要在递归计算的工作系统中引入特别机制。在递归计算中, 递归迭代并不是必须过程, 因此作为递归工作的连接任务和查重任务机制引入也非必要引入, 但是引入这两个任务机制后, 可以优化计算过程。查重任务可以对输入的元组进行判断, 如果出现重复, 那么重复的元组就会被忽略, 如果没有重复, 就会将该元组进行保存, 进入输入给下一个任务, 以此循环到最终。这种递归计算法, 不会发生重复输入的问题, 也不会在某个任务失效后, 丢失数据, 只需要寻找到前驱任务就可以找到被保留下来的输出文件, 继而继续调用任务[2]。

四、结束语

综上所述, 随着大数据技术的全面发展, 数据搜索计算的模式日益复杂, 简单的使用Map Reduce编程模型已经不能够满足新时期社会对数据计算工作的需求, 因此必须要对Map Reduce编程模型进行拓展, 以此将多个不同功能的Map Reduce编程模型组合在一起, 满足计算任务的需求, 并且利用不同节点的存储功能, 通过这一功能可以有效协调不同功能的Map Reduce编程模型进行设计, 继而形成全新的算法, 满足电子商务系统的需求。

摘要：大数据环境下, 数据挖掘技术不断发展, 互联网技术发展过程中, 电子商务也在迈入了崛起的历程, 借助MapReduce编程模型处理流量数据是目前的主要研究方向, 尤其是在大数据技术背景下, 利用MapReduce编程模型, 设计形成电子商务系统, 可以更好地收集挖掘展开数据分析工作。本文从MapReduce编程模型的分布式大数据文件系统、具体构成、典型计算设计三个方面进行分析, 以此为互联网应用提供良好的大数据基础技术。

关键词：MapReduce编程模型,大数据,电子商务系统