2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

考虑电网调峰需求的工业园区主动配电系统调度学习优化

唐昊 刘畅 杨明 汤必强 许丹 吕凯

唐昊, 刘畅, 杨明, 汤必强, 许丹, 吕凯. 考虑电网调峰需求的工业园区主动配电系统调度学习优化. 自动化学报, 2019, 45(x): 1−15. doi: 10.16383/j.aas.c190079
引用本文: 唐昊, 刘畅, 杨明, 汤必强, 许丹, 吕凯. 考虑电网调峰需求的工业园区主动配电系统调度学习优化. 自动化学报, 2019, 45(x): 1−15. doi: 10.16383/j.aas.c190079
Tang Hao, Liu Chang, Yang Ming, Tang Bi-Qiang, Xu Dan, Lv Kai. Learning-based optimization of active distribution system dispatch in industrial park considering the peak operation demand of power grid. Acta Automatica Sinica, 2019, 45(x): 1−15. doi: 10.16383/j.aas.c190079
Citation: Tang Hao, Liu Chang, Yang Ming, Tang Bi-Qiang, Xu Dan, Lv Kai. Learning-based optimization of active distribution system dispatch in industrial park considering the peak operation demand of power grid. Acta Automatica Sinica, 2019, 45(x): 1−15. doi: 10.16383/j.aas.c190079

考虑电网调峰需求的工业园区主动配电系统调度学习优化


DOI: 10.16383/j.aas.c190079
详细信息
    作者简介:

    合肥工业大学电气与自动化工程学院教授, 2002年获中国科技大学博士学位, 主要研究方向为离散事件动态系统, 随机决策与优化理论, 智能电网调度与控制方法. 本文通信作者. E-mail: htang@hfut.edu.cn

    合肥工业大学电气与自动化工程学院硕士研究生, 2016年获得合肥工业大学学士学位, 主要研究方向为源荷不确定电力系统的调度学习优化. E-mail: cliu@mail.hfut.edu.cn

    高级工程师, 主要研究方向为电力系统仿真与经济调度. E-mail: yangming@epri.sgcc.com.cn

    研究员级高级工程师, 主要研究方向为智能电网调度、电力系统仿真. E-mail: tangbiqiang@epri.sgcc.com.cn

    高级工程师, 主要研究方向为电力系统节能经济调度. E-mail: xudan@epri.sgcc.com.cn

    合肥工业大学电气与自动化工程学院博士研究生. 2012年获得辽宁大学学士学位. 主要研究方向为人工智能及其在电网调度优化中的应用. E-mail: kail@mail.hfut.edu.cn

  • 基金项目:  国家重点研发计划项目(2017YFB0902600), 国家电网公司科技项目(SGJS0000DKJS1700840)资助

Learning-Based Optimization of Active Distribution System Dispatch in Industrial Park Considering the Peak Operation Demand of Power Grid

More Information
  • Fund Project:  Supported by the National Key R&D of China (2017YFB0902600) and the State Grid Corporation of China Project (SGJS0000DKJS1700840)
  • 摘要: 本文针对含光伏(PV)、全钒液流电池(VRB)储能装置与多类型柔性负荷的工业园区主动配电系统, 研究在考虑源荷随机性情况下该系统的动态经济调度问题. 首先, 将PV出力、多类型负荷需求和电网调峰需求的随机动态变化近似描述为连续马尔可夫过程, 并根据系统内VRB的充放电特性对储能系统进行建模; 然后, 以各决策时刻下PV出力、负荷需求、调峰需求以及储能荷电状态(SOC)的离散等级为状态, 以储能充放电及多类型柔性负荷调整方案为行动, 在系统功率平衡等相关约束下, 以应对电网调峰需求和提高系统经济运行水平为目标, 将工业园区主动配电网系统动态经济调度优化问题建立成随机动态规划模型; 最后, 引入强化学习方法进行策略求解. 算例仿真结果表明所得策略可有效提高系统经济运行效益, 并在一定程度上满足电网调峰需求.
     收稿日期 xxxx-xx-xx    录用日期 xxxx-xx-xx Manuscript received xx xx, xxxx; accepted xx xx, xxxx 国家重点研发计划项目 (2017YFB0902600), 国家电网公司科技项目(SGJS0000DKJS1700840) 资助 Supported by the National Key R&D of China (2017YFB0902600)and the State Grid Corporation of China Project (SGJS0000DKJS 1700840) 本文责任编委 张哲 Recommended by Associate Editor 1. 合肥工业大学 电气与自动化工程学院 安徽 合肥 230009    2. 国网江苏省电力公司电力科学研究院 江苏 南京 211103    3. 中国电力科学研究院 (南京) 江苏 南京 210003    4. 中国电力科学研究院(北京) 北京 100192 1. Electrical Engineering and Automation, Hefei University ofTechnology, Hefei Anhui, 230009, China 100190    2. Electric
    Power Research Institute of State Grid Jiangsu Electric PowerCompany, Nanjing Jiangsu, 211103, China    3. China ElectricPower Research Institute (Nanjing), Nanjing Jiangsu, 210003,China    4. Editorial China Electric Power Research Institute(Beijing), Beijing, 100192, China
  • 图  1  工业园区主动配电系统结构模型

    Fig.  1  Structure model of active distribution system in industrial park

    图  2  VRB等效电路图

    Fig.  2  Equivalent circuit model of VRB

    图  3  采用三段式充放电策略时VRB的充电曲线

    Fig.  3  Charging curve using strategy three-phase of VRB

    图  4  工业园区内PV出力与总负荷需求预测曲线

    Fig.  4  Prediction curves of PV and loads demand in industrial parks

    图  5  工业园区内各类柔性负荷典型日曲线

    Fig.  5  Prediction curves of multi-type flexible loads in industrial parks

    图  6  不同学习优化算法下的系统总学习优化过程曲线

    Fig.  6  The optimal curve of the system under different learning optimization algorithm

    图  7  系统学习优化过程的策略性能曲线

    Fig.  7  The strategic performance curve of the system learning optimization process

    图  8  调峰学习优化曲线

    Fig.  8  The optimal curve of peak operation

    图  10  各时段电网调峰指令完成情况示意图

    Fig.  10  The completion of peak adjustment instruction

    图  9  末代价学习优化曲线

    Fig.  9  The optimal curve of final cost

    图  11  不同初始荷电状态下各时段SOC变化情况

    Fig.  11  Changing process of SOC under different initial values

    图  12  学习优化前后系统负荷曲线

    Fig.  12  The curves of load before and after learning optimization in the system

    图  13  学习优化后各时段典型柔性负荷调整量

    Fig.  13  Adjustment of multi-type flexible loads after optimization

    图  14  不同调度模式下的调峰效果比较图

    Fig.  14  Comparison effect of peak operation under different dispatching modes

    图  15  不同调度模式下负荷优化结果比较图

    Fig.  15  Comparison diagram of load optimal results under different dispatching modes

    图  16  不同储能容量占比下的各项代价比较图

    Fig.  16  Comparison of costs under different proportion of energy storage capacity

    图  17  不同柔性负荷占比下的各项代价比较图

    Fig.  17  Comparison of costs under different proportion of flexible load

    图  18  不同方案下的调峰需求未完成量比较图

    Fig.  18  Unfinished amount of peak operation demand under different projects

    图  19  优化策略下各时段行动选取情况

    Fig.  19  Choice of action pairs under optimal policy

    图  20  优化策略下不同模式的调峰需求未完成量比较图

    Fig.  20  Unfinished amount of peak operation demand under different modes in optimal policy

    表  1  部分变量符号

    Table  1  Partial variable symbols

    参数/变量 符号
    $t$时刻与电网交互功率 $P_{grid}^t$
    $t$时刻光伏出力 $P_{pv}^t$
    $t$时刻刚性负荷功率 $P_{rl}^t$
    $t$时刻可削减负荷功率 $P_{cu}^t$
    $t$时刻可转移负荷功率 $P_{sh}^t$
    $t$时刻电网调峰需求 $P_{peak}^t$
    $t$时刻电网调峰需求未完成量 $P_{unf}^t$
    $t$时刻储能装置充放电功率 $P_{vrb}^t$
    $t$时刻储能装置功率上/下限 ${P_{vrbmax}^t/P_{vrbmin}^t}$
    调度周期始/末时刻 ${t_{beg}}/{t_{end}}$
    储能装置充/放电电流 ${I_d^{charge}/I_d^{discharge}}$
    储能装置充/放电电压 ${U_d^{charge}/U_d^{discharge}}$
    储能装置端电压上/下限 ${U_d^{max}U_d^{min}}$
    储能装置额定电流 ${I_d^{max}}$
    储能装置涓流充放电电流 ${I_d^{min}}$
    储能装置SOC上/下限 ${SOC_{vrb}^{max}/SOC_{vrb}^{min}}$
    始末时刻荷电状态期望值 ${{C_{con}}}$
    下载: 导出CSV

    表  2  VRB模型参数设置表

    Table  2  Parameters of VRB

    VRB本体参数名称 数值/单位 VRB模型参数名称 数值/单位
    能量 30 kwh $R_1$ 0.045 Ω
    容量 630 Ah $R_2$ 0.03 Ω
    额定功率 5 kw $R_f$ 13.889 Ω
    端电压 42-60 V $C_e$ 0.154 F
    额定电流 105 A $I_p$ 5 A
    下载: 导出CSV

    表  3  学习优化前后系统总负荷特征

    Table  3  The characteristic of load before and after learning optimization in the system

    类型/单位 峰值(kw) 谷值(kw) 峰谷差(kw)
    优化前 5 289 2 600 2 689
    优化后 4 995 2 460 2 535
    下载: 导出CSV

    表  4  不同调度模式下的相关指标

    Table  4  Related indexes under different dispatching modes

    总体代价(元) 调峰代价(元) 购电代价(元) VRB充放代价(元) 柔性负荷补偿金额(元/d)
    模式1 44 500 1 421 37 910 342 4 743
    模式2 48 870 7 483 40 997 362 0
    模式3 46 260 1 845 37 986 0 6 432
    模式4 55 160 12 780 42 380 0 0
    下载: 导出CSV

    表  5  不同方案下的相关指标

    Table  5  Related indexes under different projects

    总体代价(元) 调峰代价(元) 调峰完成度
    方案1 44 500 1421 88.9%
    方案2 45 120 1772.9 86.1%
    下载: 导出CSV

    表  6  优化策略下部分状态行动

    Table  6  Partial state-action pairs under optimal policy

    状态编号 407 8832 18549 24075 25533 33491 38955 42845
    决策时刻 0时 4时 9时 12时 13时 17时 20时 22时
    各类负荷状态 (1,1,0,2) (1,1,2,1) (1,1,1,0) (2,1,1,0) (2,1,1,0) (0,1,2,0) (1,0,1,0) (1,0,2,0)
    储能装置动作 充电 充电 放电 放电 闲置 放电 放电 闲置
    柔性负荷动作 (0,1,0) (0,1,1) (1,0,0) (0,-1,0) (2,-1,0) (2,0,0) (1,0,0) (0,1,0)
    下载: 导出CSV

    表  7  优化策略下不同模式的相关指标

    Table  7  Related indexes under different modes in optimal policy

    总体代价(元) 调峰代价(元) 购电代价(元) VRB充放代价(元) 柔性负荷补偿金额(元/d)
    模式1 42 370 1 125 35 800 389 5 056
    模式2 50 856 8 266 42 049 350 0
    模式3 47 555 1 566 39 867 0 6 122
    模式4 55 297 13 131 42 166 0 0
    下载: 导出CSV
  • [1] 赵冬梅, 张楠, 刘燕华, 张旭. 基于储能的微网并网和孤岛运行模式平滑切换综合控制策略. 电网技术, 2013, 37(2): 301−306

    1 Zhao Dong-Mei, Zhang Nan, Liu Yan-Hua, Zhang Xu. Synthetical control strategy for smooth switching between grid-connected and islanded operation modes of microgrid based on energy storage system. Power System Technology, 2013, 37(2): 301−306
    [2] 赵波, 王财胜, 周金辉, 赵俊晖, 杨野青, 余金龙. 主动配电网现状与未来发展. 电力系统自动化, 2014, 38(18): 125−135 doi:  10.7500/AEPS20131218007

    2 Zhao Bo, Wang Cai-Sheng, Zhou Jin-Hui, Zhao Jun-Hui, Yang Ye-Qing, Yu Jin-Long. Present and Future Development Trend of Active Distribution Network. Automation of Electric Power Systems, 2014, 38(18): 125−135 doi:  10.7500/AEPS20131218007
    [3] 范明天. 主动配电系统定义与研究. 供用电, 2015, 32(2): 45−47 doi:  10.3969/j.issn.1006-6357.2015.02.011

    3 Fan Ming-Tian. The definition and research of the active power distribution. Distribution & Utilization, 2015, 32(2): 45−47 doi:  10.3969/j.issn.1006-6357.2015.02.011
    [4] 马钊, 梁惠施, 苏剑. 主动配电系统规划和运行中的重要问题. 电网技术, 2015, 39(6): 1499−1503

    4 Ma Zhao, Liang Hui-Shi, Su Jian. Important issues in planning and operation of active distribution system. Power System Technology, 2015, 39(6): 1499−1503
    [5] 朱泽锋, 赵晋泉, 魏文辉, 等. 主动配电网中电池储能系统最优充放电策略. 电力系统自动化, 2016, 40(20): 47−53 doi:  10.7500/AEPS20160417004

    5 Zhu Ze-Feng, Zhao Jin-Quan, Wei Wen-Hui, et al. Optimal charging and discharging scheme of battery energy storage system in active distribution network. Automation of Electric Power Systems, 2016, 40(20): 47−53 doi:  10.7500/AEPS20160417004
    [6] 6 Liu W, Niu S, Huiting X U. Optimal planning of battery energy storage considering reliability benefit and operation strategy in active distribution system. Journal of Modern Power Systems & Clean Energy, 2017, 5(2): 177−186
    [7] 盛四清, 刘梦. 主动配电系统中分布式电源和储能系统协调规划. 电力系统及其自动化学报, 2017, 29(2): 71−76 doi:  10.3969/j.issn.1003-8930.2017.02.012

    7 Sheng Si-Qing, Liu Meng. Coordination planning of distributed generation and energy storage system in active distribution system. Proceedings of the CSU-EPSA, 2017, 29(2): 71−76 doi:  10.3969/j.issn.1003-8930.2017.02.012
    [8] 8 Shi J, Fei X, Li Y, et al. Active Distribution System Planning for Low-Carbon Objective Using Immune Binary Firefly Algorithm. Journal of Tianjin University, 2017, 50(5): 507−513
    [9] 9 Chen Q, Zhao X, Gan D. Active-reactive scheduling of active distribution system considering interactive load and battery storage. Protection & Control of Modern Power Systems, 2017, 2(1): 29
    [10] 魏庆来, 宋睿卓, 孙秋野. 迭代自适应动态规划理论及应用. 科学出版社, 2015

    Wei Qing-Lai, Song Rui-Zhuo, Sun Qiu-Ye. Iterative Adaptive Dynamic Programming Theory and Application. Science press, 2015
    [11] 王澄, 刘德荣, 魏庆来, 赵冬斌, 夏振超. 带有储能设备的智能电网电能迭代自适应动态规划最优控制. 自动化学报, 2014, 40(9): 1984−1990

    11 Wang Cheng, Liu De-Rong, Wei Qing-Lai, Zhao Dong-Bin, Xia Zhen-Chao. Iterative adaptive dynamic programming approach to power optimal control for smart grid with energy storage devices. Acta Automatica Sinica, 2014, 40(9): 1984−1990
    [12] 孙秋野, 杨凌霄, 张化光. 智慧能源—–人工智能技术在电力系统中的应用与展望. 控制与决策, 2018, v.33(05): 173−184

    12 Sun Qiu-Ye, Yang Ling-Xiao, Zhang Hua-Guang. Smart energy — Applications and prospects of artificial intelligence technology in power system. Control and Decision, 2018, v.33(05): 173−184
    [13] 马韬韬, 郭创新, 曹一家, 等. 电网智能调度自动化系统研究现状及发展趋势. 电力系统自动化, 2010, 34(9): 7−11

    13 Ma Tao-Tao, Guo Chuang-Xin, Cao Yi-Jia, et al. Current status and development trend of intelligent dispatching automation system of power system. Automation of Electric Power Systems, 2010, 34(9): 7−11
    [14] 刘爱华, 王双虎, 梁顺, 朱朝阳, 张楠. 工业园区主动配电网关键技术研究及应用. 供用电, 2017, 34(7): 21−27

    14 Liu Ai-Hua, Wang Shuang-Hu, Liang Shun, Zhu Chao-Yang, Zhang Nan. Research and Application of Key Technology of Active Distribution Network in Industrial Park. Distribution & Utilization, 2017, 34(7): 21−27
    [15] 杨锡运, 董德华, 李相俊, 等. 商业园区储能系统削峰填谷的有功功率协调控制策略. 电网技术, 2018, 42(8)

    15 Yang Xi-Yun, Dong De-Hua, Li Xiang-Jun, et al. Active power coordinated control strategy of peak load shifting for energy storage system in business park. Power System Technology, 2018, 42(8
    [16] 杨楠, 王波, 刘涤尘, 等. 考虑柔性负荷调峰的大规模风电随机优化调度方法. 电工技术学报, 2013, 28(11): 231−238 doi:  10.3969/j.issn.1000-6753.2013.11.032

    16 Yang Nan, Wang Bo, Liu Di-Chen, et al. Large-scale wind power scochastic optimation scheduling method considering flexible load peaking. Transaction of China Electrotechnical Society, 2013, 28(11): 231−238 doi:  10.3969/j.issn.1000-6753.2013.11.032
    [17] 李东, 牟强, 申佃涛, 吕笃润, 李智. 智能化园区柔性负荷调控技术研究. 电子技术与软件工程, 2016(12): 230−230

    17 Li Dong, Mou Qiang, Shen Dian-Tao, Lv Du-Run, Li Zhi. Research on flexible load control technology in intelligent park. Electronic Technology & Software Engineering, 2016(12): 230−230
    [18] 王珂, 姚建国, 姚良忠, 杨胜春, 雍太有. 电力柔性负荷调度研究综述. 电力系统自动化, 2014, 38(20): 127−135 doi:  10.7500/AEPS20140422005

    18 Wang Ke, Yao Jian-Guo, Yao Liang-Zhong, Yang Sheng-Chun, Yong Tai-You. Survey of research on flexible loads scheduling technologies. Automation of Electric Power Systems, 2014, 38(20): 127−135 doi:  10.7500/AEPS20140422005
    [19] 19 Lawrence D J. 2001 performance of New York ISO demand response programs. IEEE Power Engineering Society Winter Meeting, 2002: 995−998
    [20] 王珂, 郭晓蕊, 周竞, 毛文博, 王勇, 杨胜春. 智能电网" 源-荷”协同调度框架及实现. 电网技术, 2018, 42(8)

    20 Wang Ke, Guo Xiao-Rui, Zhou Jing, Mao Wen-Bo, Wang Yong, Yang Sheng-Chun. Framework and Realization for Smart Grid "Source - Load" Coordinated Scheduling. Power System Technology, 2018, 42(8
    [21] 江琦, 路改香, 唐昊, 谭琦. 智能电网弹性响应时间业务需求的接入控制. 控制与决策, 2014(7): 1311−1315

    21 Jiang Qi, Lu Gai-Xiang, Tang Hao, Tan Qi. Access control of demand requests with response time flexibility in smart grids. Control and Decision, 2014(7): 1311−1315
    [22] 李怡瑾, 唐昊, 吕凯, 郭晓蕊, 许丹. 源荷不确定冷热电联供微网能量调度的建模与学习优化. 控制理论与应用, 2018(1) doi:  10.7641/CTA.2017.60615

    22 Li Yi-Jin, Tang Hao, Lv Kai, Guo Xiao-Rui, Xu Dan. Modeling and learning-based optimization of the energy dispatch for a combined cooling, heat and power microgrid system with uncertain sources and loads. Control Theory & Applications, 2018(1 doi:  10.7641/CTA.2017.60615
    [23] 23 Li Y Z, Niu J C. Forecast of Power Generation for Grid-Connected Photovoltaic System Based on Markov Chain. IEEE Power and Energy Engineering Conference, 2009: 1729−1733
    [24] 24 Liang H, Tamang A K, Zhuang W, et al. Stochastic Information Management in Smart Grid. IEEE Communications Surveys & Tutorials, 2014, 16(3): 1746−1770
    [25] 25 Hong Y Y, Lian R C. Optimal Sizing of Hybrid Wind/PV/Diesel Generation in a Stand-Alone Power System Using Markov-Based Genetic Algorithm. IEEE Transactions on Power Delivery, 2014, 27(2): 640−647
    [26] 26 Breipohl A M, Lee F N, Zhai D, et al. A Gauss-Markov load model for application in risk evaluation and production simulation. IEEE Transactions on Power Systems, 1992, 7(4): 1493−1499 doi:  10.1109/59.207373
    [27] 27 Zhai D, Breipohl A M, Lee F N, et al. The effect of load uncertainty on unit commitment risk. IEEE Transactions on Power Systems, 1994, 9(1): 510−517 doi:  10.1109/59.317572
    [28] 28 CHAHWAN J, ABBEY C, JOOS G. VRB modelling for the study of output terminal voltages, internal losses and performance. IEEE Electrical Power Conference, 2007: 387−392
    [29] 邱亚, 李鑫, 魏达, 余玲. 全钒液流电池的柔性充放电控制. 储能科学与技术, 2017, 6(1): 78−84 doi:  10.12028/j.issn.2095-4239.2016.0006

    29 Qiu Ya, Li Xin, Wei Da, Yu Ling. Flexible charge-discharge control of vanadium redox battery. Energy Storage Science and Technology, 2017, 6(1): 78−84 doi:  10.12028/j.issn.2095-4239.2016.0006
    [30] 沈玉明, 胡博, 谢开贵, 向彬, 万凌云. 计及储能寿命损耗的孤立微电网最优经济运行. 电网技术, 2014, 38(9): 2371−2378

    30 Shen Yu-Ming, Hu Bo, Xie Kai-Gui, Xiang Bin, Wan Ling-Yun. Optimal economic operation of isolated microgrid considering battery life loss. Power System Technology, 2014, 38(9): 2371−2378
    [31] 李衍杰. 扩展Markov决策过程的性能灵敏度分析与优化[D]. 中国科学技术大学, 2006

    Li Yan-Jie. Performance sensitivity analysis and optimization of extended Markov decision[Ph. D. dissertation], University of Science and Technology of China, 2006
    [32] 田兵, 喻磊, 雷金勇, 等. 工业型用户侧微电网储能运行方式与微电网的运营模式. 南方电网技术, 2016, 10(8): 48−55

    32 Tian Bing, Yu Lei, Lei Jin-Yong, et al. Energy storage operation mode and business mode of industrial type user-side microgrid. Southern Power System Technology, 2016, 10(8): 48−55
    [33] 邱亚, 李鑫, 陈薇, 魏达, 段泽民. 基于RLS和EKF算法的全钒液流电池SOC估计. 控制与决策, 2018, 33(1): 37−44

    33 Qiu Ya, Li Xin, Chen Wei, Wei Da, Duan Ze-Min. Vanadium redox battery SOC estimation based on RLS and EKF algorithm. Control and Decision, 2018, 33(1): 37−44
    [34] 赵娟, 谭忠富, 李强. 我国峰谷分时电价的状况分析. 现代电力, 2005, 22(2): 82−85 doi:  10.3969/j.issn.1007-2322.2005.02.019

    34 Zhao Juan, Tan Zhong-Fu, Li Qiang. Analysis of time-of-use power price in China. Modern Electric Power, 2005, 22(2): 82−85 doi:  10.3969/j.issn.1007-2322.2005.02.019
  • [1] 殷林飞, 陈吕鹏, 余涛, 张孝顺. 基于CPSS平行系统懒惰强化学习算法的实时发电调控[J]. 自动化学报, doi: 10.16383/j.aas.c180215
    [2] 刘乃军, 鲁涛, 蔡莹皓, 王硕. 机器人操作技能学习方法综述[J]. 自动化学报, doi: 10.16383/j.aas.c180076
    [3] 张耀中, 胡小方, 周跃, 段书凯. 基于多层忆阻脉冲神经网络的强化学习及应用[J]. 自动化学报, doi: 10.16383/j.aas.c180685
    [4] 袁兆麟, 何润姿, 姚超, 李佳, 班晓娟, 李潇睿. 基于强化学习的浓密机底流浓度在线控制算法[J]. 自动化学报, doi: 10.16383/j.aas.c190348
    [5] 张一珂, 张鹏远, 颜永红. 基于对抗训练策略的语言模型数据增强技术[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170464
    [6] 秦蕊, 曾帅, 李娟娟, 袁勇. 基于深度强化学习的平行企业资源计划[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160664
    [7] 徐茂鑫, 张孝顺, 余涛. 迁移蜂群优化算法及其在无功优化中的应用[J]. 自动化学报, doi: 10.16383/j.aas.2017.c150791
    [8] 田渊栋. 阿法狗围棋系统的简要分析[J]. 自动化学报, doi: 10.16383/j.aas.2016.y000001
    [9] 陈兴国, 俞扬. 强化学习及其在电脑围棋中的应用[J]. 自动化学报, doi: 10.16383/j.aas.2016.y000003
    [10] 刘德荣, 李宏亮, 王鼎. 基于数据的自学习优化控制:研究进展与展望[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.01858
    [11] 程玉虎, 冯涣婷, 王雪松. 基于参数探索的期望最大化策略搜索[J]. 自动化学报, doi: 10.3724/SP.J.1004.2012.00038
    [12] 朱美强, 程玉虎, 李明, 王雪松, 冯涣婷. 一类基于谱方法的强化学习混合迁移算法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2012.01765
    [13] 程玉虎, 冯涣婷, 王雪松. 基于状态-动作图测地高斯基的策略迭代强化学习[J]. 自动化学报, doi: 10.3724/SP.J.1004.2011.00044
    [14] 唐昊, 万海峰, 韩江洪, 周雷. 基于多Agent强化学习的多站点CSPS系统的协作Look-ahead控制[J]. 自动化学报, doi: 10.3724/SP.J.1004.2010.00289
    [15] 王雪松, 田西兰, 程玉虎, 易建强. 基于协同最小二乘支持向量机的Q学习[J]. 自动化学报, doi: 10.3724/SP.J.1004.2009.00214
    [16] 蒋建国, 苏兆品, 齐美彬, 张国富. 基于强化学习的多任务联盟并行形成策略[J]. 自动化学报, doi: 10.3724/SP.J.1004.2008.00349
    [17] 江琦, 奚宏生, 殷保群. 动态电源管理的随机切换模型与在线优化[J]. 自动化学报, doi: 10.1360/aas-007-0066
    [18] 魏英姿, 赵明扬. 一种基于强化学习的作业车间动态调度方法[J]. 自动化学报
    [19] 高阳, 陈世福, 陆鑫. 强化学习研究综述[J]. 自动化学报
    [20] 胡光华, 吴沧浦. 平均准则问题的即时差分学习算法[J]. 自动化学报
  • 加载中
图(20) / 表(7)
计量
  • 文章访问数:  151
  • HTML全文浏览量:  74
  • PDF下载量:  3
  • 被引次数: 0
出版历程
  • 网络出版日期:  2020-01-02

考虑电网调峰需求的工业园区主动配电系统调度学习优化

doi: 10.16383/j.aas.c190079
    作者简介:

    合肥工业大学电气与自动化工程学院教授, 2002年获中国科技大学博士学位, 主要研究方向为离散事件动态系统, 随机决策与优化理论, 智能电网调度与控制方法. 本文通信作者. E-mail: htang@hfut.edu.cn

    合肥工业大学电气与自动化工程学院硕士研究生, 2016年获得合肥工业大学学士学位, 主要研究方向为源荷不确定电力系统的调度学习优化. E-mail: cliu@mail.hfut.edu.cn

    高级工程师, 主要研究方向为电力系统仿真与经济调度. E-mail: yangming@epri.sgcc.com.cn

    研究员级高级工程师, 主要研究方向为智能电网调度、电力系统仿真. E-mail: tangbiqiang@epri.sgcc.com.cn

    高级工程师, 主要研究方向为电力系统节能经济调度. E-mail: xudan@epri.sgcc.com.cn

    合肥工业大学电气与自动化工程学院博士研究生. 2012年获得辽宁大学学士学位. 主要研究方向为人工智能及其在电网调度优化中的应用. E-mail: kail@mail.hfut.edu.cn

基金项目:  国家重点研发计划项目(2017YFB0902600), 国家电网公司科技项目(SGJS0000DKJS1700840)资助

摘要: 本文针对含光伏(PV)、全钒液流电池(VRB)储能装置与多类型柔性负荷的工业园区主动配电系统, 研究在考虑源荷随机性情况下该系统的动态经济调度问题. 首先, 将PV出力、多类型负荷需求和电网调峰需求的随机动态变化近似描述为连续马尔可夫过程, 并根据系统内VRB的充放电特性对储能系统进行建模; 然后, 以各决策时刻下PV出力、负荷需求、调峰需求以及储能荷电状态(SOC)的离散等级为状态, 以储能充放电及多类型柔性负荷调整方案为行动, 在系统功率平衡等相关约束下, 以应对电网调峰需求和提高系统经济运行水平为目标, 将工业园区主动配电网系统动态经济调度优化问题建立成随机动态规划模型; 最后, 引入强化学习方法进行策略求解. 算例仿真结果表明所得策略可有效提高系统经济运行效益, 并在一定程度上满足电网调峰需求.

 收稿日期 xxxx-xx-xx    录用日期 xxxx-xx-xx Manuscript received xx xx, xxxx; accepted xx xx, xxxx 国家重点研发计划项目 (2017YFB0902600), 国家电网公司科技项目(SGJS0000DKJS1700840) 资助 Supported by the National Key R&D of China (2017YFB0902600)and the State Grid Corporation of China Project (SGJS0000DKJS 1700840) 本文责任编委 张哲 Recommended by Associate Editor 1. 合肥工业大学 电气与自动化工程学院 安徽 合肥 230009    2. 国网江苏省电力公司电力科学研究院 江苏 南京 211103    3. 中国电力科学研究院 (南京) 江苏 南京 210003    4. 中国电力科学研究院(北京) 北京 100192 1. Electrical Engineering and Automation, Hefei University ofTechnology, Hefei Anhui, 230009, China 100190    2. Electric
Power Research Institute of State Grid Jiangsu Electric PowerCompany, Nanjing Jiangsu, 211103, China    3. China ElectricPower Research Institute (Nanjing), Nanjing Jiangsu, 210003,China    4. Editorial China Electric Power Research Institute(Beijing), Beijing, 100192, China

English Abstract

  • 近年来, 由于能源危机和生存环境的不断恶化, 各国政府纷纷出台政策鼓励和推进新能源发展. 随着光伏(photovoltaic, PV)、风电等新能源的大规模应用, 配电网的分布式特性愈发明显, 电网调峰形势愈加严峻[1], 传统配电网逐渐演变成为可对分布式发电、柔性负荷和储能三者进行主动控制的主动配电系统[2, 3]. 如何有效利用需求响应资源以及对新能源、储能、柔性负荷等分布式调峰资源进行协调优化控制, 提高新能源利用率, 缓解电网调峰压力, 保持配电系统运行的经济性, 增强电力系统的可靠性和可控性, 是主动配电系统研究的重要发展趋势[4, 5].

    国内外学者通过不同的建模与求解方法对各类主动配电系统的运行、管理、优化等问题展开了大量研究. 文献[6]在考虑分布式能源特性的基础上建立了主动配电系统优化调度模型, 并提出了基于智能单粒子优化算法的求解方法, 实现完整调度周期内主动配电系统优化调度策略求解. 文献[7]建立了分布式电源和储能系统的多目标协调规划模型, 并采用了改进的生物地理学优化算法对主动配电系统多目标调度问题进行求解, 但以上文献均未考虑到柔性负荷对调度问题的影响. 文献[8]建立了考虑分布式能源和柔性负荷的主动配电系统调度规划模型, 并提出了一种免疫二叉萤火虫算法来求解多目标优化问题的最优策略, 但没有考虑储能装置和柔性负荷的协调调度作用. 文献[9]提出一种新的多周期柔性负荷与储能系统协调调度模型, 并通过改进的粒子群算法对主动配电系统经济调度问题进行求解. 上述文献均是在预测数据的基础上对主动配电系统的运行优化问题进行研究, 并未考虑到系统中新能源出力和各类负荷变化过程的随机动态特性对系统运行效率的影响. 但新能源出力及各类负荷需求的不确定性是普遍存在且不可避免的, 当实际值与日前预测值相差较大时, 若以预测数据为基础确定相应的优化控制策略, 将难以保证主动配电系统的长期经济运行.

    另外, 随着新能源渗透率的日益增加以及用电环节的不断智能化, 主动配电系统源荷双侧的不确定性不断加大, 电力系统调度也不断向智能化发展, 传统的基于模型的静态优化算法变得越发不适用[10, 11]. 在智能电网背景下, 利用人工智能技术为电力系统动态调度问题提供智能化解决方案是当前调度计划研究的重点[12, 13].

    目前, 主动配电系统的优化研究主要针对居民用户和商业用户, 对工业用户的研究较少, 且较少考虑需求侧调峰问题[14]. 为此, 储能系统和柔性负荷作为需求侧调峰资源参与电力调度问题越发值得关注. 文献[15]提出了一种储能系统削峰填谷的变参数功率差控制方法, 实现在满足商业园区运行经济性的同时降低自身负荷峰谷差的目标. 文献[16]构建了供需侧联合随机调度模型, 并通过仿真验证了柔性负荷的调峰效益. 文献[17]论证了对工业园区内的柔性负荷进行控制能够降低用电高峰期用户集中用电给电网带来的调峰压力, 提高大电网运行的安全性和稳定性.

    因此, 在上述研究基础上, 本文研究了工业园区主动配电系统实时响应大电网系统下发电随机调峰需求的优化调度问题. 首先, 本文根据VRB储能装置的充放电特性建立其数学模型, 并采用三段式安全充放电控制策略求解模型; 然后, 本文考虑了多类型柔性负荷, 并针对各类柔性负荷特性分别进行了建模处理; 最后, 考虑到当前电力系统调度问题一般为离散时段决策, 并且各个决策时刻间具有时序相关性, 将考虑电网调峰随机需求和源荷双侧随机性的工业园区主动配电系统内多类型柔性负荷与储能装置协同动态调度问题建成离散时间马尔可夫决策过程(discrete time Markov decision process, DTMDP)模型, 并采用学习优化方法对该动态调度优化问题进行策略求解.

    在系统实际运行过程中, 可根据观测状态及最优策略选择最优的控制行动, 实时制定出各类型柔性负荷调整计划和储能装置充放电计划, 从而在发、供、用电平衡协调基础上缓解电网调峰压力并实现系统安全经济运行的目标.

    • 本文研究的是由工业园区调度中心、屋顶光伏、VRB储能系统以及多类型用户负荷等组成的工业园区主动配电系统. 其中, 园区调度中心作为协调电网调控中心与工业用户的中间机构, 可实现系统内整个负荷群的宏观整体协调响应以及微观灵活分散自治[18], 进而可以调控需求侧配电系统内各类调峰资源以满足大电网实时调峰需求, 同时实现系统的供需平衡以及经济运行, 系统结构如图1所示.

      图  1  工业园区主动配电系统结构模型

      Figure 1.  Structure model of active distribution system in industrial park

      主动配电系统在任意时刻$ t $都需要满足实时供需平衡, 即:

      $$ \sum\limits_{n = 1}^{{N_p}} {P_{pv}^{t,n}} + P_{grid}^t = \sum\limits_{n = 1}^{{N_{vrb}}} {P_{vrb}^{t,n}} + \sum\limits_{n = 1}^{{N_{load}}} {P_{load}^{t,n}} $$ (1)

      式中, $ P_{pv}^{t,n} $表示$ t $时刻第$ n $台PV发电机组发电功率, $ {N_p} $为园区内PV发电机组台数; $ P_{vrb}^{t,n} $表示$ t $时刻第$ n $台VRB储能装置充放电功率, $ {N_{vrb}} $为园区内VRB储能装置数量; $ P_{load}^{t,n} $表示$ t $时刻第$ n $种负荷的电力需求功率, $ {N_{load}} $为工业园区内负荷的种类数, 其它变量参见表1.

      表 1  部分变量符号

      Table 1.  Partial variable symbols

      参数/变量 符号
      $t$时刻与电网交互功率 $P_{grid}^t$
      $t$时刻光伏出力 $P_{pv}^t$
      $t$时刻刚性负荷功率 $P_{rl}^t$
      $t$时刻可削减负荷功率 $P_{cu}^t$
      $t$时刻可转移负荷功率 $P_{sh}^t$
      $t$时刻电网调峰需求 $P_{peak}^t$
      $t$时刻电网调峰需求未完成量 $P_{unf}^t$
      $t$时刻储能装置充放电功率 $P_{vrb}^t$
      $t$时刻储能装置功率上/下限 ${P_{vrbmax}^t/P_{vrbmin}^t}$
      调度周期始/末时刻 ${t_{beg}}/{t_{end}}$
      储能装置充/放电电流 ${I_d^{charge}/I_d^{discharge}}$
      储能装置充/放电电压 ${U_d^{charge}/U_d^{discharge}}$
      储能装置端电压上/下限 ${U_d^{max}U_d^{min}}$
      储能装置额定电流 ${I_d^{max}}$
      储能装置涓流充放电电流 ${I_d^{min}}$
      储能装置SOC上/下限 ${SOC_{vrb}^{max}/SOC_{vrb}^{min}}$
      始末时刻荷电状态期望值 ${{C_{con}}}$

      本文将该系统中总负荷按需求管理模式分为刚性负荷和柔性负荷[1], 其中工业园区内刚性负荷属于不可调节的用电需求, 应优先被满足; 园区内柔性负荷属于可控负荷, 常被用于参与系统紧急调峰的需求响应[19]. 现将柔性负荷按响应特性分为可削减负荷、可转移负荷和可平移负荷三种类型. 其中, 可削减负荷指可根据需要对用电量进行部分或全部削减的负荷; 可转移负荷在一个调度周期内总用电量不变, 但各时段用电量可灵活调节; 可平移负荷受生产流程约束, 其用电曲线只能在不同时段间平移[18]. 各类负荷需求可表示为:

      $$ \sum\limits_{n = 1}^{{N_{load}}} {P_{load}^{t,n}} = \sum\limits_{n = 1}^{{N_r}} {P_{rl}^{t,n}} + \sum\limits_{n = 1}^{{N_f}} {P_{fl}^{t,n}} \quad \quad \quad \;\;\;$$ (2)
      $$ \sum\limits_{n = 1}^{{N_f}} {P_{fl}^{t,n}} = \sum\limits_{n = 1}^{{N_c}} {P_{cu}^{t,n}} + \sum\limits_{n = 1}^{{N_s}} {P_{sh}^{t,n}} + \sum\limits_{n = 1}^{{N_h}} {P_{hs}^{t,n}} $$ (3)

      式中, $ P_{rl}^{t,n} $, $ P_{fl}^{t,n} $, $ P_{cu}^{t,n} $, $ P_{sh}^{t,n} $, $ P_{hs}^{t,n} $分别为$ t $时刻第$ n $个刚性负荷, 柔性负荷, 可削减负荷, 可转移负荷及可平移负荷需求功率; $ {N_r} $, $ {N_f} $, $ {N_c} $, $ {N_s} $, $ {N_h} $分别为园区内刚性负荷、柔性负荷、可削减负荷, 可转移负荷及可平移负荷的数量.

      本文园区调度中心采取基于合同的直接负荷控制策略, 考虑的柔性负荷只限于与园区调度中心签订合同服从其调度指令的负荷. 在调度周期内, 调度中心对负荷具有直接调控权, 可直接控制各类柔性负荷在时序上重新调度, 并在调度结束后根据负荷调整量给予一定补偿[20].

    • 由于环境和用户行为的随机特性, 新能源出力与各类负荷实际需求变化既具有一定统计特征, 同时也具有随机不确定性[21, 22]. 本文涉及到的随机变量分别为PV出力、各类负荷需求和电网调峰需求.

    • 在系统实际运行过程中, 可以根据气象数据预测得到次日的PV出力预测曲线. 设根据预测得到的$ t $时刻PV出力为$ P_{pvbase}^t $, 由于预测准确性有限, 在$ t $时刻实际PV出力$ P_{pv}^t $可视为预测值$ P_{pvbase}^t $与随机不确定部分$ \Delta P_{pv}^t $的叠加, 表达式为:

      $$ P_{pv}^t = P_{pvbase}^t + \Delta P_{pv}^t $$ (4)

      本文将PV出力随机不确定部分的最大范围离散为$ - {N_{pv}} \sim {N_{pv}} $$ 2{N_{pv}}+1 $个等级, 并将该不确定量随时间的变化过程用连续时间马尔可夫过程近似描述[23, 24]. 即假设状态等级$ n_{{\rm{pv}}}^t $的逗留时间服从参数为$ \lambda _{{\rm{pv}}}^t $的指数分布, 在各时刻下的转移概率服从以自身状态为中心的离散高斯分布. 在$ t $时刻PV实际出力可近似描述为:

      $$ P_{pv}^t = P_{pvbase}^t + n_{{\rm{pv}}}^t\Delta {P_{pv}} $$ (5)

      其中, $ n_{{\rm{pv}}}^t $表示在$ t $时刻PV出力不确定部分的功率等级; $ \Delta {P_{pv}} $表示PV出力不确定部分离散后的最小单位功率.

    • 在系统实际运行过程中, 可以通过对环境以及用户历史用电行为预测得到$ t $时刻各类负荷需求功率. 但由于各类负荷用电随机性大, 影响预测的准确性, 在$ t $时刻各类负荷实际需求功率与预测值存在偏差(其中由于可平移负荷一般为固定流程生产线, 故本文不考虑其随机性), 则$ t $时刻刚性负荷、可削减负荷及可转移负荷实际需求功率可分别表示为:

      $$ \left\{ \begin{aligned} &P_{rl}^t = P_{rlbase}^t + \Delta P_{rl}^t \\ & P_{cu}^t = P_{cubase}^t + \Delta P_{cu}^t\\ & P_{sh}^t = P_{shbase}^t + \Delta P_{sh}^t \end{aligned} \right. $$ (6)

      其中, $ P_{rlbase}^t $, $ P_{cubase}^t $, $ P_{shbase}^t $分别表示$ t $时刻各类负荷的预测需求功率; $ \Delta P_{rl}^t $, $ \Delta P_{cu}^t $, $ \Delta P_{sh}^t $分别表示$ t $时刻各类负荷需求的随机不确定部分.

      类似地, 各类负荷需求随机不确定部分随时间的变化过程也可看作高斯—马尔可夫过程[25, 26, 27], 将各类负荷随机不确定部分的最大范围区间分别离散为相应的状态等级$ - {N_{{\rm{rl}}}}\sim {N_{{\rm{rl}}}} $$ - {N_{{\rm{cu}}}} \sim {N_{{\rm{cu}}}} $$ - {N_{{\rm{sh}}}} \sim {N_{{\rm{sh}}}} $, 则在$ t $时刻相应状态等级下的各类负荷实际需求功率可分别描述如下:

      $$ \left\{ \begin{aligned} & P_{rl}^t = P_{rlbase}^t + n_{rl}^t\Delta {P_r} \\ & P_{cu}^t = P_{cubase}^t + n_{cu}^t\Delta {P_c}\\ & P_{sh}^t = P_{shbase}^t + n_{sh}^t\Delta {P_s} \end{aligned} \right. $$ (7)

      其中, $ n_{{\rm{rl}}}^t $, $ n_{{\rm{cu}}}^t $$ n_{{\rm{sh}}}^t $分别表示在$ t $时刻刚性负荷、可削减负荷及可转移负荷需求随机不确定部分的功率等级, $ \Delta {P_r} $, $ \Delta {P_c} $$ \Delta {P_s} $分别表示各类负荷不确定部分离散后的最小单位功率.

    • 电网日负荷峰谷差严重影响着电力系统稳定性和发电效率, 峰谷差越大, 发电效率越低. 调度日内, 电网实时下发相应调峰指令以期减小日负荷峰谷差, 从而提高电力系统运行稳定性、实现节能减排. 为此, 本文通过对系统内VRB储能装置和多类型柔性负荷等需求侧调峰资源进行协调控制以满足电网调峰需求, 缓解电网实时调峰压力.

      由于受环境气候以及用户行为等诸多随机因素影响, 电网实际下发给工业园区的调峰指令存在着相应的随机不确定部分, 任意时刻$ t $电网实际调峰需求$ P_{peak}^t $可表示为:

      $$ P_{peak}^t = P_{pebase}^t + \Delta P_{peak}^t $$ (8)

      其中, $ P_{pebase}^t $表示电网调峰需求与时间$ t $相关的规律性变化函数, $ \Delta P_{peak}^t $$ t $时刻电网调峰需求的随机不确定部分.

      类似地, 将电网调峰需求随机不确定部分随时间的变化过程建模为连续马尔可夫过程, 并将随机不确定部分的最大范围$ [ - \Delta P_{pemax}^t,\Delta P_{pemax}^t] $离散为$ - {N_{peak}} \sim {N_{peak}} $$ 2{N_{peak}} + 1 $个等级, 则在$ t $时刻相应状态等级$ n_{{\rm{peak}}}^t $下的电网实际调峰需求可描述为:

      $$ P_{peak}^t = P_{pebase}^t + n_{{\rm{peak}}}^t\Delta {P_{pe}} $$ (9)

      其中, $ \Delta {P_{pe}} $表示$ t $时刻电网调峰指令不确定部分离散化后的最小单位功率, 状态等级$n_{{ \rm peak }}^t \in \{ { - {N_{peak}}},$$ \cdots 0,1, \cdots,{N_{peak}}\}$.

    • VRB的电气模型有很多种, 为了充分反映其充放电过程中的端电压、端电流以及SOC等的动态变化特性, 本文采用的VRB等效电路如图2所示[28, 29].

      图  2  VRB等效电路图

      Figure 2.  Equivalent circuit model of VRB

      图中, $ {U_d} $$ {V_s} $分别为VRB外部端电压和内核电压, $ {I_d} $$ {I_p} $分别为充放电电流和泵损电流, $ {R_1} $$ {R_2} $为等效内阻, $ {R_f} $$ {C_e} $分别为寄生损耗和电极电容.

      根据VRB等效电路图, 可得到其非线性数学模型如下:

      $$\left\{ {\begin{aligned}& \displaystyle{\frac{{{\rm{d}}{U_{\rm{c}}}}}{{{\rm{d}}t}} = - \frac{{{R_1} + {R_2} + {R_f}}}{{{R_1} \times ({R_2} + {R_f}) \times {C_e}}} \times {U_{\rm{c}}} + }\\& \displaystyle{\;\;\;\;\;\;\;\;\;\;\frac{{{R_f}}}{{({R_2} + {R_f}) \times {C_e}}} \times ({I_{\rm{d}}} - {I_{\rm{p}}}) + }\\& \displaystyle{\;\;\;\;\;\;\;\;\;\;\frac{N}{{{R_1} \times {C_e}}} \times ({V_{\rm{1}}} + \frac{{2RT}}{F}\ln \frac{{SOC}}{{1 - SOC}})}\\& \displaystyle{\frac{{{\rm{d}}SOC}}{{{\rm{d}}t}} = \frac{1}{{{C_{\rm{N}}}}} \times {I_{\rm{d}}}}\\& \displaystyle{{U_{\rm{d}}} = \frac{{{R_f}}}{{{R_2} + {R_f}}} \times {U_{\rm{c}}} + \frac{{{R_{\rm{2}}} \times {R_f}}}{{{R_2} + {R_f}}} \times ({I_{\rm{d}}} - {I_{\rm{p}}})} \end{aligned}} \right.$$ (10)

      在系统实际运行中, 需尽量将VRB储能装置的SOC控制在0.2-0.8之间以保证VRB工作于安全区内, 防止出现过充过放现象, 提高电池充放电效率. 本文以VRB的端电压和SOC作为安全充放电切换控制的约束条件, 采用先恒流再恒压最后涓流充放电的三阶段式控制策略求解所建立的VRB非线性数学模型. 其中, 三段式安全充放电控制策略的给定值可分别表示如下:

      $$ \left\{ \begin{aligned}& I_d^{charge} \; = I_d^{max} \;\;\;\;\;\;U_d^{min} \le {U_d} \le U_d^{max} \\ & U_d^{charge} = U_d^{max} \;\;\;\;\; {U_d} \ge U_d^{max},SOC \le 0.8\\ & I_d^{charge}\; = I_d^{min} \;\;\;\;\;\; SOC \ge 0.8 \end{aligned} \right.$$ (11)
      $$ \left\{ \begin{aligned}& I_d^{discharge}\; = - I_d^{max}\;\;\;U_d^{min} \le {U_d} \le U_d^{max} \\ & U_d^{discharge} = U_d^{min}\;\;\;\; {U_d} \le U_d^{min},SOC \ge 0.2\\ & I_d^{discharge} \; = - I_d^{min}\;\;\;SOC \le 0.2 \end{aligned} \right.$$ (12)

      在VRB储能装置的三段式充电过程中, 端电压$ {U_d} $、端电流$ {I_d} $及SOC随时间的变化特性如图3所示.

      图  3  采用三段式充放电策略时VRB的充电曲线

      Figure 3.  Charging curve using strategy three-phase of VRB

      在一个周期内, VRB储能装置约束如下[30]:

      1)充放电功率约束:

      $$ P_{vrbmin}^t \le P_{vrb}^t \le P_{vrbmax}^t $$ (13)

      2)端电压约束:

      $$ U_d^{\min } \le U_{d}^t \le U_d^{\max } $$ (14)

      3)荷电状态(剩余容量)约束:

      $$ SOC_{vrb}^{min} \le SOC_{vrb}^t \le SOC_{vrb}^{max} $$ (15)

      4)储能装置始末荷电状态一致约束:

      $$ SOC_{vrb}^{{t_{beg}}} = SOC_{vrb}^{{t_{end}}} = {C_{con}} $$ (16)
    • 为制定各类柔性负荷调整计划和储能系统充放电计划, 所求调度优化策略需考虑到任意决策时刻所有可能出现的源荷出力随机情况. 为此, 本文将系统决策过程建立为相应的DTMDP模型, 该调度优化模型包括状态、行动、转移代价及优化目标函数.

    • 将一天时间等分为$ K + 1 $个决策周期, 采用等周期决策方式, 决策时刻为$ {t_k} $, 其中$ k\in\left\{ {0,1, \cdots ,K} \right\} $, $ \Delta {t_{\rm{k}}} $表示决策周期$ k $的持续时间.

      按照VRB储能装置的最大容量将其充放电过程中的SOC离散为$ 0 \sim N_{vrb} $状态等级, 各个决策周期$ k $内储能装置的动作$ {a_{vrb}^k} \in \left\{ {{\rm{ - }}1,0,1} \right\} $, 其中, $ {a_{vrb}^k} = 1 $表示储能装置充电, $ {a_{vrb}^k} = 0 $表示储能装置闲置, $ {a_{vrb}^k} = - 1 $表示储能装置放电.

      根据工业园区主动配电系统内各类柔性负荷不同的响应特性, 将第$ k $个决策周期内实际可削减负荷平均削减功率$ {P_{cu}^k} $离散为$ 0 \sim N_{{a_{cu}}} $个等级, 各个决策周期$ k $内可削减负荷削减动作$a_{cu}^k \in \{ { - {N_{{a_{cu}}}}, \cdots ,}$$ 0,1, \cdots ,{N_{{a_{cu}}}} \} $, 故调度日全天各决策周期$ k $内可削减负荷实际调整量$ Q_{cu}^k $可表示如下:

      $$ Q_{cu}^k = \frac{{P_{cu}^k\Delta {t_{\rm{k}}}}}{{{N_{{a_{cu}}}}}}a_{cu}^k $$ (17)

      由于可转移负荷在调度周期内总用电量不变, 即应将各个决策周期$ k $内负荷实际转移量依次记录下来并叠加至末时段$ K $, 按公式(18)来确定末时段内负荷实际转移量和相应的转移动作, 以保证在各个决策周期内负荷实际转移量叠加之和为0. 将调度日内各个决策周期$ K $内实际可转移负荷平均转移功率$ P_{sh}^k $离散为$ 0 \sim N_{{a_{sh}}} $个等级, 设置各决策周期可转移负荷转移动作$a_{sh}^k \in \{ { - {N_{{a_{sh}}}}, \cdots ,0,1,} \cdots ,$$ {N_{{a_{sh}}}}\} $, 其中$ a_{sh}^k > 0 $代表转入, $ a_{sh}^k < 0 $代表转出, $ a_{sh}^k = 0 $代表不转移, 并记录各决策周期$ k $内可转移负荷动作等级, 将其作为状态$ n_{ash}^k $. 故调度日全天各决策周期$ k $内可转移负荷实际调整量$ Q_{sh}^k $可表示如下:

      $$ Q_{sh}^k = \left\{ \begin{aligned}&\displaystyle \frac{{P_{sh}^k\Delta {t_{\rm{k}}}}}{{{N_{{a_{sh}}}}}}a_{sh}^k\;\;\;\;\;,k \ne K \\ & - \displaystyle\sum\limits_{k = 0}^{K - 1} {Q_{sh}^k\;\;\;\;,k = K } \end{aligned} \right.\ $$ (18)

      可平移负荷应满足平移前后负荷用电曲线形状不变, 故将实际可平移负荷平均平移功率$ P_{hs}^k $离散为$ \left\{ {0,1} \right\} $两个等级, 设置可平移负荷平移动作$ a_{hs}^k \in \left\{ {0,1} \right\} $. 其中, 平移动作$ a_{hs}^k = 0 $代表可平移负荷在决策周期$ k $内不平移, $ a_{hs}^k = 1 $代表可平移负荷在决策周期$ k $内平移. 为保证平移过程不会改变曲线形状, 应将各个决策周期$ k $内可平移负荷的平移动作记录下来作为状态$ {n_{ahs}^k} \in \left\{ {0,1} \right\} $. 调度日全天各决策周期内可平移负荷实际调整量$ Q_{hs}^k $可表示如下:

      $$ Q_{hs}^k = \left\{ \begin{aligned}& 0\;\;\;\;\;\;\;\;\;\;,a_{hs}^k = 0 \\ & P_{hs}^k\Delta {t_{\rm{k}}}\;,a_{hs}^k = 1 \end{aligned} \right. $$ (19)

      其中, $ Q_{cu}^k $, $ Q_{sh}^k $$ Q_{hs}^k $分别表示在决策周期$ k $内可削减负荷、可转移负荷和可平移负荷三种柔性负荷的实际调整量.

      定义系统状态向量$ {s_k} $由决策周期$ {k} $、VRB储能状态等级$ {n_{vrb}^k} $、电网实时调峰需求等级$ {n_{peak}^k} $、PV出力等级$ {n_{pv}^k} $、工业园区内各类负荷需求功率等级$ {n_{rl}^k} $, $ {n_{cu}^k} $, $ {n_{sh}^k} $以及记录的各个决策周期内可转移与可平移负荷调整动作的状态等级$ {n_{ash}^k} $$ {n_{ahs}^k} $组成, 即: $ {s_k} = \left( {k,n_{vrb}^k,n_{peak}^k,n_{pv}^k,n_{rl}^k,n_{cu}^k,n_{sh}^k,n_{ash}^k,n_{ahs}^k} \right)$$\in{\Phi} $, $ {\Phi} $为系统状态空间, 状态总数为:

      $$ \begin{split} N = \;\;&2\left( {K + 1} \right)\left( {{N_{vrb}} + 1} \right)\left( {2{N_{peak}} + 1} \right)\\ &\left( {2{N_{pv}} + 1} \right)\left( {2{N_{rl}} + 1} \right)\left( {2{N_{cu}} + 1} \right)\\ &\left( {2{N_{sh}} + 1} \right)\left( {2{N_{{a_{sh}}}} + 1} \right) \end{split} $$ (20)

      系统行动包括当前状态下VRB储能装置的充放电动作$ {a_{vrb}} \in {D_{vrb}} = \left\{ { - 1,0,1} \right\} $, 可削减负荷削减动作$ {a_{cu}} \in {D_{cu}} = \left\{ {0,1, \cdots ,{N_{{a_{cu}}}}} \right\} $, 可转移负荷转移动作$ {a_{sh}} \in {D_{sh}} = \left\{ { - {N_{{a_{sh}}}} \cdots 0,1, \cdots ,{N_{{a_{sh}}}}} \right\} $以及可平移负荷平移动作$ {a_{hs}} \in {D_{hs}} = \left\{ {0,1, \cdots ,{N_{{a_{hs}}}}} \right\} $. 系统行动向量为$ a = \left( {{a_{vrb}},{a_{cu}},{a_{sh}},{a_{hs}}} \right) \in D $, 系统行动集为$ D = {D_{vrb}} \times {D_{cu}} \times {D_{sh}} \times {D_{hs}} $.

      定义系统策略$ \pi $为状态空间–行动集的映射, 即对于任意状态$ {s_k} $, 均可根据策略$\text{π}$选择行动$ {a_{{s_k}}} = \text{π} \left( s_k\right) $用以控制系统运行.

    • 本文的优化目标是在考虑系统功率平衡、储能装置等各类约束情况下, 通过学习优化的方法制定多类型柔性负荷调整计划和储能系统充放电计划, 以缓解电网调峰压力并降低系统日运行代价.

      假设当前时间到达决策时刻$ {t_k} $, 通过观测可知系统处于当前状态$ {s_k} $, 在该状态下选择行动$ {a_{{s_k}}} $, 经过一个决策周期后, 系统状态转移到下一决策周期的状态$ {s_{k + 1}} $, 并产生转移代价$ {c^k} $, 由此得到一个状态转移过程为$ <{s_k},{a_{{s_k}}},{s_{k + 1}},{c^k}> $. 其中, 在决策周期$ k $内系统运行过程中产生的各类代价可分别表示如下:

      $$ {\rm{c}}_{peak}^k = \lambda _{peak}^k\int_{{t_k}}^{{t_{k + 1}}} {\left| {P_{unf}^t} \right|} dt \qquad \qquad \quad \;\;$$ (21)
      $$ {\rm{c}}_{grid}^k = f_{grid}^k\int_{{t_k}}^{{t_{k + 1}}} {P_{grid}^t} dt \qquad \qquad \quad \;\;\quad $$ (22)
      $$ \begin{array}{l} {\rm{c}}_{vrb}^k = \lambda _{vrb}^k\int_{{t_k}}^{{t_{k + 1}}} {[\mu \left( {1 - {\eta _{charge}}} \right)P_{vrb}^t}+ \\ \displaystyle\;\;\;\;\;\;\;\; \left( {\mu - 1} \right)\left( {1 - {\eta _{discharge}}} \right)\frac{{P_{vrb}^t}}{{{\eta _{discharge}}}}]dt \end{array} $$ (23)
      $$ c_{fl}^k = f_{cu}^kQ_{cu}^k{\rm{ + }}f_{sh}^kQ_{sh}^k{\rm{ + }}f_{hs}^kQ_{hs}^k \quad \quad \quad \quad \;$$ (24)

      其中, $ c_{peak}^k $表示在决策周期$ k $内系统未满足电网调峰需求的调峰代价, $ \lambda _{peak}^k $为调峰代价系数; $ {\rm{c}}_{grid}^k $表示决策周期$ k $内系统购电代价, $ f_{grid}^k $为决策周期$ k $内的电价; $ {\rm{c}}_{vrb}^k $表示决策周期$ k $内VRB储能装置的充放电损耗代价, $ \lambda _{vrb}^k $为代价系数, $ {\eta _{charge}} $$ {\eta _{discharge}} $分别为储能充、放电效率; $ {\rm{c}}_{cu}^k $表示在决策周期$ k $内对柔性负荷的补偿代价, $ f_{cu}^k $为对柔性负荷中断的补偿系数, $ f_{sh}^k $为对柔性负荷转移的补偿系数, $ f_{hs}^k $为对柔性负荷平移的补偿系数.

      在决策周期$ k $内通过执行行动$ {a_k} $状态转移过程中产生的运行代价$ {c^k} $可表示为:

      $$ {c^k} = c_{peak}^k + c_{grid}^k + c_{vrb}^k + c_{fl}^k $$ (25)

      主动配电系统调度呈一定周期性, 应使每个调度周期末VRB储能装置剩余容量等级与调度周期起始时刻一致并达到期望的容量等级, 故将末状态代价设置为如下所示的差值函数${c_{vrb}}\left( {{s_{K + 1}}} \right)$:

      $$ {c_{vrb}}\left( {{s_{K + 1}}} \right) = \lambda _{vrb}^{K + 1}\left| {n_{vrb}^{K + 1} - n_{vrb}^{con}} \right| $$ (26)

      其中, $ n_{vrb}^{K + 1} $为末决策时刻VRB储能装置的实际容量等级, $ n_{vrb}^{con} $为设定的末时刻VRB储能装置期望达到的容量等级, $ \lambda _{vrb}^{K + 1} $为末状态代价系数.

      定义系统在策略$ {\pi} $下以初始状态为$ s_0 $的有限时段内优化性能准则为$ {V^{\rm{\pi }}}\left( {{s_0}} \right) $, 可表示如下:

      $$ {V^\text{π} }\left( {{s}} \right){\rm{ \!= }}{E_\text{π} }\!\!\left[ {\left( {\sum\limits_{k = 0}^K {{c^k}} \left( {{s_k},\pi \left( {{s_k}} \right)} \right) \!+\! {c_{vrb}}\left( {{s_{K + 1}}} \right)} \right)|{s \!=\! s_{\rm{0}}}} \right] $$ (27)

      系统的优化目标为在策略集$ \Omega $中找到一个最优策略$ {\pi^* } $, 使得在该策略下系统平均日运行代价最低, 即$ {\pi ^ * }{\rm{ = }}\arg \mathop {\min }\limits_{\pi \in \Omega } {V^\pi({s_0}) } $.

    • 针对考虑源荷双侧随机性的工业园区主动配电系统的动态调度问题, 本文采用强化学习方法对该问题进行策略求解. 其中, Q学习算法是一种模型无关的基于强化学习的随机动态规划方法, 适用于求解随机环境下的最优控制策略[31]. 为此, 本文采用基于模拟退火的有限时段Q学习算法对所建调度优化模型进行策略求解, 具体求解过程如下:

      步骤 1. 初始化Q值表, 样本轨道总数$ L $, 单条样本轨道决策周期数$ K + 1 $, 学习率$ {\alpha _l} $, 学习率更新系数$ {\eta _\alpha } $, 模拟退火温度$ {T_{{\rm{temp}}}} $及模拟退火系数$ {\eta _{{\rm{temp}}}} $, 并令当前样本轨道数$ l = 0 $;

      步骤 2. $ k = 0 $, 并随机初始化系统状态$ {s_k} $;

      步骤 3. 根据Q值表和贪婪策略, 选取在当前状态$ {s_k} $下对VRB储能装置和各类柔性负荷的贪婪行动${a_{{\rm{greedy}}}} = \arg \mathop {\min }\limits_{{a_{{s_k}}} \in D} Q({s_k},{a_{{s_k}}})$, 同时随机选取有效行动$ {a_{{\rm{rand}}}} $. 若$ {e^{\left( {Q\left( {{s_k},{a_{{\rm{greedy}}}}} \right) - Q\left( {{s_k},{a_{{\rm{rand}}}}} \right)} \right)/{T_{{\rm{temp}}}}}} < {\mathop{\rm random}\nolimits}$$ \left( {0,1}\right) $, 则选取当前行动$ {a_{{s_k}}} = {a_{{\rm{greedy}}}} $, 否则$ {a_{{s_k}}} = {a_{{\rm{rand}}}} $. 若$ k < K $, 跳转至步骤4; 若$ k = K $, 跳转至步骤5;

      步骤 4. 执行当前所选行动$ {a_{{s_k}}} $, 根据所建系统模型观察下一决策周期对应的系统状态$ {s_{k + 1}} $, 并计算在决策周期$ k $内通过执行行动$ {a_{{s_k}}} $状态转移过程中产生的代价$ {c^k} $, 根据式(28)更新Q值表, 同时更新策略, 即通过不断更新各状态-行动对对应的Q值和选取各状态下最小的Q值对应的储能装置充放电方案和各类柔性负荷调整方案作为该状态下新的行动, 达到更新策略的目的. 并令$ k: = k + 1 $, 返回步骤3;

      $$ \begin{array}{l} Q({s_k},{a_{{s_k}}}) = Q({s_k},{a_{{s_k}}}) + {\alpha _l}({c^k} - Q({s_k},{a_{{s_k}}})+\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{ }}\mathop {\min }\limits_{^{{a_{{s_{k + 1}}}} \in D}} Q({s_{k + 1}},{a_{{s_{k + 1}}}})) \end{array} $$ (28)

      步骤 5. 执行当前状态$ {s_K} $所选行动$ {a_{{s_K}}} $, 并计算在决策周期$ K $内通过执行行动$ {a_{{s_K}}} $状态转移过程中产生的代价$ {c^K} $及末状态代价$ {c_{{\rm{vrb}}}}({s_{K + 1}}) $, 并根据式(29)更新Q值表, 同时更新策略, 并令$ l: = l + 1 $, $ {\alpha _l}{\rm{:}} = {\eta _\alpha } * {\alpha _l} $;

      $$ \begin{array}{l} Q({s_K},{a_{{s_K}}}) = Q({s_K},{a_{{s_K}}}) + {\alpha _l}({c^K}+\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; {c_{{\rm{vrb}}}}({s_{K + 1}}) - Q({s_K},{a_{{s_K}}})) \end{array} $$ (29)

      步骤 6. 若$ l < L $, 根据退火系数$ {\eta _{{\rm{temp}}}} $更新温度$ {T_{{\rm{temp}}}}{\rm{:}} = {\eta _{{\rm{temp}}}}{T_{{\rm{temp}}}} $, 返回步骤2; 否则结束程序.

    • 在本文算例中, 根据某市各类负荷、PV相关数据特征[21, 32], 拟合典型的工业园区主动配电系统内PV出力、总负荷需求以及各类柔性负荷需求等随机因素的相应统计预测曲线如图4图5所示. 其中, 柔性负荷占园区内总体负荷需求的比例为16%, 可削减、可转移、可平移3类柔性负荷的比例分别为10 %、4.8 %、1.2 %. 全天负荷整体平稳, 但在早、中、晚各有一个低谷, 且早晚低谷相对更低, 呈现明显的日峰夜谷特点. 在PV发电装置附近配备有容量为3 MWh的VRB储能装置, 单个VRB储能单元相关参数如表2所示[33]. 设置本文动态调度问题的决策周期为24个时段, 每个时段的持续时间为1 h.

      图  4  工业园区内PV出力与总负荷需求预测曲线

      Figure 4.  Prediction curves of PV and loads demand in industrial parks

      图  5  工业园区内各类柔性负荷典型日曲线

      Figure 5.  Prediction curves of multi-type flexible loads in industrial parks

      表 2  VRB模型参数设置表

      Table 2.  Parameters of VRB

      VRB本体参数名称 数值/单位 VRB模型参数名称 数值/单位
      能量 30 kwh $R_1$ 0.045 Ω
      容量 630 Ah $R_2$ 0.03 Ω
      额定功率 5 kw $R_f$ 13.889 Ω
      端电压 42-60 V $C_e$ 0.154 F
      额定电流 105 A $I_p$ 5 A

      本文参照江苏省工业用户峰谷分时电价标准设定工业园区主动配电系统内各时段的具体电价, 其中, 高峰时段8:00—12:00和17:00—21:00, 电价为0.9947元/kWh; 低谷时段0:00—8:00, 电价为0.2989元/kWh; 剩余时段的平电价为0.5968元/kWh[34].

      根据小节2.1可知, 本文考虑到的系统状态变量和控制变量种类较多, 仿真算例中所选取的状态- 行动对个数更是多达7558272, 由此形成的策略空间庞大, 难以通过传统数值求解方法进行求解, 因此本文采用学习优化方法对该动态调度问题进行策略求解.

    • 1)学习优化过程分析

      本文以一天24小时为调度周期, 充分利用各类柔性负荷和储能装置等可调度资源对工业园区主动配电系统进行调度协调控制, 并采用基于模拟退火Q的学习算法对该系统的动态调度优化问题进行求解. 在学习过程中, 通过Q值更新公式不断更新Q值表, 得到Q学习优化策略. 设一条样本轨道为系统一日内运行过程, 每经过20000条样本轨道, 对所得策略进行一次评估, 并设置策略评估过程中评估样本轨道数为3000, 对评估样本轨道结果取均值以估算系统日运行代价, 图6分别给出了传统Q学习、双Q学习、模拟退火Q学习以及模拟退火双Q学习的日平均代价学习优化曲线, 各学习优化方法的收敛时间分别为54 820 s、14 803 s、44 508 s和11 154 s. 从图6中可以看出各优化算法下系统日运行代价均随着学习步数的增加而逐渐下降, 并最终趋于收敛, 其中, 双Q学习收敛速度较Q学习快很多, 这是因为双Q学习是双重学习, 可避免最大值带来的偏差影响, 收敛更快, 但Q学习较双Q的优化效果更胜一筹; 同时模拟退火Q学习算法可利用模拟退火思想解决探索和利用的平衡问题, 进而可提高收敛速度和算法性能, 相较于传统Q学习的收敛速度更快. 在实际应用中, 可综合考虑时间和效果进行相应优化算法的选取和实验.

      图  6  不同学习优化算法下的系统总学习优化过程曲线

      Figure 6.  The optimal curve of the system under different learning optimization algorithm

      图7给出了基于模拟退火的Q学习过程的策略性能曲线, 学习曲线为每一条样本轨道所记录的日运行代价的平均值, 填充区间为这3 000条样本轨道所得数据在各点处的标准差区间, 填充区域面积越小, 则表明不同样本轨道得出的结果越接近, 学习稳定性越好. 由学习曲线可以看出系统日运行代价均随着学习步数的增加而逐渐下降, 并趋于收敛, 系统日运行平均代价较学习优化前降低28.7%, 显著提高了系统运行效益; 同时学习过程中不同样本轨道得到的数据波动并不大且随着学习步数的增加在不断减小直至趋于较小的稳定值. 综上所述, 本文采用的基于模拟退火法的Q学习算法所求得的策略可以稳定、有效的适用于工业园区型主动配电系统的优化研究.

      图  7  系统学习优化过程的策略性能曲线

      Figure 7.  The strategic performance curve of the system learning optimization process

      图8给出了电网调峰需求未完成度的学习曲线, 经过学习优化, 调峰需求未完成度逐渐降低并最终稳定在11.1% 左右; 图10为学习优化过后, 各时段内电网调峰需求完成情况, 明显可以看出在用电高峰时段实际调峰量完全满足其调峰需求, 在用电低谷时段实际调峰量也基本完成了电网调峰需求. 例如在5$ \sim $7时段, 系统实际调峰量较电网调峰需求量相差较大, 主要是因为从凌晨至今, 大电网调峰需求均趋向于填谷, 系统内储能装置SOC已临近极值, 故这段时间调峰效果稍差.

      图  8  调峰学习优化曲线

      Figure 8.  The optimal curve of peak operation

      图  10  各时段电网调峰指令完成情况示意图

      Figure 10.  The completion of peak adjustment instruction

      图9给出的是在随机初始SOC情况下末状态代价的优化曲线, 从图9可以看出, 通过学习优化, 末状态代价可收敛在0左右, 即末状态储能剩余容量等级可达到期望值; 图11给出在不同初始荷电状态情况下, 所得优化策略在一条样本轨道运行中系统内储能装置SOC的变化情况. 可以看出在不同初始荷电状态下, 所得优化策略均可将荷电状态在夜间降至较低水平, 且趋向于在低电价时段选取充电或闲置, 而在用电高峰时段趋向于放电或闲置, 以获取因电价差值产生的收益, 缓解大电网的调峰压力, 进而提高工业园区主动配电系统运行的经济性并提升需求侧调峰效果.

      图  9  末代价学习优化曲线

      Figure 9.  The optimal curve of final cost

      图  11  不同初始荷电状态下各时段SOC变化情况

      Figure 11.  Changing process of SOC under different initial values

      图12为学习优化前后需求侧负荷曲线, 由图12可以看出, 与原负荷曲线相比, 学习优化策略对工业园区主动配电系统有一定的调峰效果, 学习优化前后系统总负荷特征如表3所示. 由表3可知, 学习优化前系统负荷峰谷差为2 689 kW, 通过学习优化对系统内多类型柔性负荷选取控制行动, 使峰谷差减少为2 535 kW, 系统峰谷差降低5.7 %. 上述结果说明通过学习优化不但可以满足电网调峰需求, 而且可以在一定程度上降低系统自身峰谷差, 有利于主动配电系统安全经济运行.

      图  12  学习优化前后系统负荷曲线

      Figure 12.  The curves of load before and after learning optimization in the system

      表 3  学习优化前后系统总负荷特征

      Table 3.  The characteristic of load before and after learning optimization in the system

      类型/单位 峰值(kw) 谷值(kw) 峰谷差(kw)
      优化前 5 289 2 600 2 689
      优化后 4 995 2 460 2 535

      图13为学习优化后系统内3类典型柔性负荷在调度日内各时段下的实际调整量, 可以看出可削减负荷的削减量在负荷用电高峰期明显高于用电低谷期, 可转移负荷趋向于将自身负荷用电从用电高峰转移到用电低谷, 可平移负荷由于自身特性和限制只会小范围向后平移. 通过对各类柔性负荷的动态调整可在一定程度上减缓电网调峰压力, 并在一定程度上实现峰电谷用.

      图  13  学习优化后各时段典型柔性负荷调整量

      Figure 13.  Adjustment of multi-type flexible loads after optimization

      2)不同调度模式下的优化结果对比分析

      在相同配置情况下, 将VRB储能装置与柔性负荷协同优化调度模式记为模式1; 将仅考虑VRB储能装置的优化调度模式记为模式2; 将仅考虑柔性负荷的优化调度模式记为模式3; 将既不考虑VRB储能装置也不考虑柔性负荷的优化调度模式记为模式4. 4种模式对应于系统不同的物理结构, 其策略维度也不同, 故分别对应不同的策略, 分别记为策略1,2,3,4. 现分别将其它模式对应的优化效果与模式1进行比较, 在各优化调度模式下主动配电系统运行过程中产生的日运行代价和调峰完成情况对比如图14所示, 各项代价指标的具体数值如表4所示.

      图  14  不同调度模式下的调峰效果比较图

      Figure 14.  Comparison effect of peak operation under different dispatching modes

      表 4  不同调度模式下的相关指标

      Table 4.  Related indexes under different dispatching modes

      总体代价(元) 调峰代价(元) 购电代价(元) VRB充放代价(元) 柔性负荷补偿金额(元/d)
      模式1 44 500 1 421 37 910 342 4 743
      模式2 48 870 7 483 40 997 362 0
      模式3 46 260 1 845 37 986 0 6 432
      模式4 55 160 12 780 42 380 0 0

      表4数据可以看出各模式下系统优化效果由好到差分别为: 模式1、模式3、模式2、模式4. 由图14可以看出, 模式1下的电网调峰需求完成度明显优于其它3种模式, 且模式1下的系统日平均运行代价最低: 模式2的调峰完成度较差, 主要是因为在模式2下电网调峰需求由VRB储能装置充放电来完成, 然而各时刻下充放电功率与储能装置实际容量有关, 无法动态调节, 在一定程度上受到很大限制, 而模式1和模式3中电网调峰需求可通过调节各类典型柔性负荷来完成, 可动态调节, 更有利于大电网调峰任务的完成. 上述结论充分说明了本文引入VRB储能装置与多类型柔性负荷进行协同优化调度的有效性.

      图15可以看出, 模式1与模式2的策略相比, 负荷需求有明显差异, 在负荷用电高峰时段模式1的负荷需求明显低于模式2, 而在负荷用电低谷时段模式1的负荷用电需求又高于模式2, 说明了策略1通过在不同时段对各类型柔性负荷选取不同行动, 即用电高峰选取削负荷行动, 并将部分可转移、可平移负荷由高峰用电移至低谷, 在一定程度上实现了削峰填谷, 发挥了柔性负荷的调峰作用.

      图  15  不同调度模式下负荷优化结果比较图

      Figure 15.  Comparison diagram of load optimal results under different dispatching modes

      以模式1选取的VRB储能装置容量配置为基准, 分别求解不同储能装置容量配置下对应的优化调度方案, 经优化得到不同容量占比下系统运行过程中的各项代价比较情况如图16所示. 由图16可知, 随着储能装置容量的增加, 系统日运行总代价缓慢降低, 并且未完成电网调峰需求产生的调峰代价以及柔性负荷的补偿代价逐渐减小, 储能装置充放电过程产生的损耗也逐渐增加, 说明了在允许范围内适当增加储能装置的容量配置可以提高电网调峰需求完成度和降低系统日运行代价.

      图  16  不同储能容量占比下的各项代价比较图

      Figure 16.  Comparison of costs under different proportion of energy storage capacity

      以模式1设置的各类柔性负荷占比为基准, 分别求解不同柔性负荷占比下的优化调度方案, 所得系统运行过程中产生的各项代价指标的变化趋势如图17所示. 由图17可明显看出, 随着柔性负荷的占比增加, 系统运行过程中因调节各类柔性负荷需补偿的代价逐渐增加, 而因未完成电网调峰需求产生的调峰代价先是逐渐降低直至柔性负荷占比为所设基准值的90%左右, 此时若继续增加柔性负荷占比调峰代价则呈上升趋势, 并且系统总体运行代价趋势与调峰代价趋势基本一致.

      图  17  不同柔性负荷占比下的各项代价比较图

      Figure 17.  Comparison of costs under different proportion of flexible load

      根据光伏及负荷统计预测曲线, 在模式1结构下, 将源荷双侧随机因素作为系统状态和不作为系统状态的两种优化求解方式分别记为方案1和方案2. 将方案2与方案1所得的优化策略在随机环境下进行评估比较, 结果如表5图18所示.

      表 5  不同方案下的相关指标

      Table 5.  Related indexes under different projects

      总体代价(元) 调峰代价(元) 调峰完成度
      方案1 44 500 1421 88.9%
      方案2 45 120 1772.9 86.1%

      图  18  不同方案下的调峰需求未完成量比较图

      Figure 18.  Unfinished amount of peak operation demand under different projects

      图18可以看出总体上各时段内方案1的优化策略对应的电网调峰需求未完成量要小于方案2, 且方案1在用电高峰时段下的调峰未完成量均趋于0, 故方案1的调峰效果明显好于方案2. 由表5可知方案1下的系统日运行代价相比于方案2更低, 且其调峰完成度也高于方案2. 以上现象均说明了本文采用的将源荷双侧随机因素作状态的方案1与不将随机因素作状态的方案2相比, 其所得优化策略能够更加经济地适用于实际的随机环境, 并可进一步提高电网调峰需求完成度.

      3)学习优化策略分析

      在所得优化策略下对一条样本轨道进行学习, 可以观测得到该条仿真样本轨道中各时段PV发电功率、各类负荷需求、电网调峰需求和电池荷电状态等实际状态值, 以及相应状态下采取的最优控制行动如图19所示, 表6记录了调度日内该样本典型状态和行动.

      图  19  优化策略下各时段行动选取情况

      Figure 19.  Choice of action pairs under optimal policy

      表 6  优化策略下部分状态行动

      Table 6.  Partial state-action pairs under optimal policy

      状态编号 407 8832 18549 24075 25533 33491 38955 42845
      决策时刻 0时 4时 9时 12时 13时 17时 20时 22时
      各类负荷状态 (1,1,0,2) (1,1,2,1) (1,1,1,0) (2,1,1,0) (2,1,1,0) (0,1,2,0) (1,0,1,0) (1,0,2,0)
      储能装置动作 充电 充电 放电 放电 闲置 放电 放电 闲置
      柔性负荷动作 (0,1,0) (0,1,1) (1,0,0) (0,-1,0) (2,-1,0) (2,0,0) (1,0,0) (0,1,0)

      图19表6可知, VRB储能装置在低电价时更趋向于选取充电动作来储存电量以备即将到来的负荷用电高峰, 在高电价时则倾向于选取放电动作, 利用存储的电能为负荷供电, 以降低在用电高峰购电代价以及负荷高峰期的用电需求, 获取“低价储电, 高价卖电”的经济收益, 这种低储高放方式不但可以赚取电价差的利润而且可以缓解电网调峰压力; 可削减负荷在用电高峰期倾向于大幅度的削减负荷用电, 在用电低谷期则不削减负荷用电; 可转移负荷倾向于将负荷从高峰用电转移到低谷用电; 可平移负荷向后平移2个时段, 使时间跨度由3:00—15:00变为5:00—17:00, 避免了夜间工作为工人带来的不便利. 例如, 在4时低负荷、低电价的情况选择储能装置的动作为充电, 可削减负荷的动作为不削减, 可转移负荷的动作为转入, 可平移负荷的动作是向后平移.

      针对模式1,2,3所得相应的调度优化策略1,2,3, 可得到各策略在同一样本轨道下各时段的调峰完成情况如图20 所示, 可以看出模式1下该样本的调峰未完成量明显小于模式2,3, 且其在负荷高峰期的调峰未完成量均为0, 完全满足电网在用电高峰期的调峰需求. 表7给出了各优化策略在该样本轨道下产生的各项代价指标, 根据表中数据分析可知模式1下的日运行费用也明显小于其他模式, 说明了在单条样本下, 考虑多类型柔性负荷与储能装置协同调度所得策略的优化效果更好, 进一步证明了本文优化方法的有效性.

      图  20  优化策略下不同模式的调峰需求未完成量比较图

      Figure 20.  Unfinished amount of peak operation demand under different modes in optimal policy

      表 7  优化策略下不同模式的相关指标

      Table 7.  Related indexes under different modes in optimal policy

      总体代价(元) 调峰代价(元) 购电代价(元) VRB充放代价(元) 柔性负荷补偿金额(元/d)
      模式1 42 370 1 125 35 800 389 5 056
      模式2 50 856 8 266 42 049 350 0
      模式3 47 555 1 566 39 867 0 6 122
      模式4 55 297 13 131 42 166 0 0
    • 本文研究的是考虑电网调峰需求的工业园区主动配电系统内动态经济调度优化问题, 并在此基础上考虑了源荷双侧不确定因素, 将工业园区主动配电系统调度问题建立为马尔可夫决策过程模型, 采用模拟退火Q学习算法对该动态问题进行策略求解. 仿真结果表明, 考虑多类型柔性负荷和储能系统协同调度相比于传统单一模式可显著降低电网调峰需求未完成度以及提高系统运行效益, 并且学习优化所得控制策略能够在考虑源荷随机情况下降低系统的运行成本, 降低自身峰谷差, 可在很大程度上满足电网调峰需求, 有利于主动配电系统经济运行和提高电力系统运行稳定性.

      由于本文考虑的系统状态和行动种类多, 若后续考虑将系统状态和行动连续化以获取更加精确的模型和更高精度的控制效果, 可能会导致维数灾问题, 探索解决该类问题的方法十分值得进一步研究; 同时, 由于系统故障或人为行为等因素带来的系统物理结构的动态变化, 考虑系统结构动态切换场景下的策略优化问题也是值得深入研究的一个方向; 此外, 随着新能源渗透率和柔性负荷规模的日益增大, 考虑在源荷互动、多方参与的复杂电力市场交易环境下系统内各部分利益间的博弈问题以及多类型市场机制对系统调度优化的影响也是有意义的研究方向.

参考文献 (34)

目录

    /

    返回文章
    返回