风电储能电力市场论文提纲

论文题目：基于深度强化学习的风电日前交易策略研究

摘要：风能是增长最快的可再生能源之一。随着风力发电的快速增长,世界各国都快速地将风力发电集成到电力市场中。但是,由于风能具有很强的不确定性,造成了风力发电商在参与短期电力市场风电竞价交易时,常常由于竞价策略的不当而受到处罚。因此,如何优化风力发电商在短期电力市场风电日前交易策略,将是本文的主要研究内容。研究工作基于国家重点研发计划-中国和埃及政府间联合研究项目（2018YFE0127600）-弱互联混合可再生能源系统规划与稳定控制关键技术研究。本文基于深度强化学习对短期电力市场中的风电日前交易策略进行研究,其主要原因是电力市场中的交易主体复杂,涉及到多方的竞争合作行为,而深度强化学习能够对复杂的环境进行认知与学习,能够很好地解决多方交互性博弈的决策问题。首先,本文分析了强化学习的基本理论与模型,包括其学习的基本框架以及构成要素,总结了基于值函数与随机梯度策略的两类强化学习算法及其流程:一类用于本文的仿真对比,一类为本文所用的算法异步演员-评论家即A3C算法的基础。然后本文以北欧电力市场为背景,分析其结构特点以及各市场成员的功能,并基于风能与电价之间的关系,建立了两种短期电力市场风力发电商的竞价交易模型:一种为仅考虑传统电力市场的电能交易,另一种还考虑了储能市场中的电能交易,并将A3C算法分别用于两种风电竞价交易模型,构建了基于深度强化学习的电力市场风电日前交易的两种策略。最后,选择丹麦西部的一处风力发电厂分别对两种竞价交易策略进行仿真,分析了仿真结果,并与两种传统强化学习优化的策略以及风力发电商所采用的原始策略进行了对比。结果表明,基于深度强化学习A3C的风电竞价交易策略在两种电力市场交易场景中均能优化风力发电商的收益,所用策略在传统的电力市场交易中每天收入分别高出两种传统强化学习优化策略2.2%与3.3%;在考虑了储能市场的电力市场交易场景中,所提出的策略比风力发电商所采用的原始策略降低了29.5%的成本。综上所述,本文提出的基于深度强化学习A3C的风电竞价策略既能够较好地提高风力发电商的利润,也可以应对风力发电预测的不确定性和电力市场的动态变化。

关键词：风力发电;短期电力市场;储能市场;竞价策略;强化学习;A3C算法

学科专业：电气工程

摘要

abstract

第一章 绪论

1.1 研究工作的背景与意义

1.1.1 研究背景

1.1.2 研究意义

1.2 国内外研究历史与现状

1.2.1 短期电力市场风电竞价策略研究现状

1.2.2 强化学习发展历史与现状

1.3 本论文的结构安排

1.4 本章小结

第二章 强化学习的基本理论及方法

2.1 强化学习模型

2.1.1 马尔可夫决策过程

2.1.2 策略、奖励与值函数

2.1.3 贝尔曼方程与最优策略及其值函数

2.2 基于值函数的强化学习方法

2.2.1 基于时间差分的强化学习

2.2.2 基于动态规划的强化学习

2.3 基于随机梯度策略的强化学习方法

2.3.1 蒙特卡洛策略梯度法

2.3.2 演员-评论家(actor-critic)策略梯度法

2.4 本章小结

第三章 电力市场的结构体系与风电竞价模型

3.1 北欧电力市场结构体系

3.1.1 现货市场

3.1.2 平衡市场

3.1.3 规范市场

3.2 电价与风能之间的关系

3.3 风电竞价模型

3.3.1 仅考虑在电力市场交易

3.3.2 考虑与储备市场交易

3.4 本章小结

第四章 基于深度强化学习的短期电力市场风电日前竞价策略

4.1 电力市场风电竞价问题转化为马尔可夫决策过程

4.2 基于A3C算法的短期电力市场风电竞价策略

4.2.1 基于A3C算法的actor网络与critic网络模型

4.2.2 A3C算法的培训流程

4.2.3 竞价策略总体结构

4.3 算例仿真

4.3.1 实验装置及参数设置

4.3.2 训练过程

4.3.3 测试数据结果

4.3.4 结果对比

4.4 本章小结

第五章 参与储能市场的电力市场风电日前竞价策略

5.1 参与储能市场的风电竞价问题转化为MDP

5.2 参与储能市场的竞价策略

5.2.1 各网络模块设置

5.2.2 算法流程

5.3 算例仿真

5.3.1 实验装置及参数设置

5.3.2 培训过程

5.3.3 测试数据结果

5.3.4 结果对比

5.4 本章小结

第六章 全文总结与展望

6.1 全文总结

6.2 后续工作展望

致谢

参考文献