大数据云计算技术论文提纲

论文题目：基于云计算技术的微电网大数据平台设计与开发

摘要：现有微电网的在线监控管理系统大多使用关系型数据库存储运行数据,采用计算资源有限的单机运行方式分析处理数据。面对日益增长的微电网运行数据,现有的微电网管理系统不能满足大规模运行数据的存储和计算分析需求。同时,不同微电网独立而分散,无法实现多个微电网之间的数据共享。文章以云计算技术中并行化计算技术与分布式存储技术为核心,结合主流Web前后端和网络通信技术,对微电网大数据平台进行设计与开发。首先,介绍了本课题的研究背景与意义,分析了云计算研究现状以及其在微电网中的应用现状,并阐述了构建微电网大数据平台所需的Web前后端、并行化计算与分布式存储、高性能NIO通信技术的原理。其次,对微电网大数据平台从数据采集、存储与检索、分析与计算可视化四个方面进行功能需求分析,并对不同的功能需求进行了技术方案设计。针对数据采集问题,提出并实现了一种基于Netty的微电网实时数据传输采集方式。针对数据存储与检索问题,对MySQL并发存储、索引与事务控制进行设计开发,设计并实现了基于Solr的HBase二级索引方案。针对分析计算需求,实现了随机森林并行化光伏发电预测的离线计算与多微电网实时发电量统计的流计算业务功能。针对可视化需求,通过SVG技术结合电力系统公共信息模型CIM实现电气线路的Web可视化,Vue.js实现微电网大数据分析结果可视化。最后,通过分析并发请求下基于Netty的微电网实时采集方式的吞吐量、响应时间、接收端堆栈运行情况,验证了该实时数据采集方式的可行性。在测试多种数据库连接池并发性能后,选用BoneCP作为存储程序连接池,验证了多消费者进行并发执行读写任务方案可以有效提高存储效率。通过对比不同列族数对分布式存储系统HBase的性能影响,验证HBase表采用1至3个列族数作为存储海量微电网数据的合理性。在分析随机森林并行化算法预测光伏发电的平均绝对误差与加速比后,验证了随机森林并行化算法具有良好预测精度与加速比。

关键词：微电网;并行化计算;分布式存储;大数据;网络通信

学科专业：控制工程（专业学位）

摘要

ABSTRACT

第一章 绪论

1.1 课题研究的背景及意义

1.2 国内外研究现状

1.2.1 云计算研究现状

1.2.2 云计算技术在微电网中的应用现状

1.3 本论文的研究内容

第二章 微电网大数据平台相关理论及技术介绍

2.1 Web前后端技术与框架

2.1.1 Ajax技术

2.1.2 SVG技术

2.1.3 Spring框架

2.1.4 Vue.js框架

2.2 并行化计算与分布式存储技术

2.2.1 Hadoop

2.2.2 Spark

2.2.3 HBase

2.3 高性能NIO通信框架Netty

2.4 本章小结

第三章 微电网大数据平台需求分析与架构设计

3.1 微电网大数据平台系统架构需求分析

3.1.1 数据采集功能

3.1.2 数据存储与检索功能

3.1.3 数据计算与分析功能

3.1.4 数据可视化功能

3.2 微电网大数据平台架构设计

3.2.1 平台数据采集传输设计

3.2.2 平台存储与检索设计

3.2.3 平台的计算设计

3.2.4 平台可视化设计

3.3 本章小结

第四章 平台关键技术的开发与实现

4.1 平台数据采集实现

4.1.1 基于Netty的微电网实时数据采集实现

4.1.2 基于Sqoop的微电网历史数据导入实现

4.2 平台存储实现

4.2.1 MySQL存储关键技术实现

4.2.2 微电网大数据HBase存储实现

4.3 并行化计算实现

4.3.1 Spark编程概述

4.3.2 基于随机森林并行化光伏发电预测

4.3.3 多微电网实时发电量流计算实现

4.4 平台可视化实现

4.4.1 微电网电气线路可视化实现

4.4.2 大数据可视化开发实现

4.5 本章小结

第五章 测试分析与可视化展示

5.1 数据采集通信测试

5.2 数据存储与检索测试

5.2.1 MySQL并发存储测试

5.2.2 分布式数据存储性能测试

5.3 随机森林光伏发电并行预测结果分析

5.4 部分功能效果展示

5.4.1 电气线路可视化

5.4.2 大数据分析结果可视化

5.5 本章小结

第六章 结论与展望

6.1 结论

6.2 展望

参考文献

致谢

1 作者简历

3 参与的科研项目及获奖情况