-
摘要: 深度卷积神经网络在单图像超分辨率重建方面取得了卓越成就，但其良好表现通常以巨大的参数数量为代价.本文提出一种简洁紧凑型递归残差网络结构，该网络通过局部残差学习减轻训练深层网络的困难，引入递归结构保证增加深度的同时控制模型参数数量，采用可调梯度裁剪方法防止产生梯度消失/梯度爆炸，使用反卷积层在网络末端直接上采样图像到超分辨率输出图像.基准测试表明，本文在重建出同等质量超分辨率图像的前提下，参数数量及计算复杂度分别仅为VDSR方法的1/10和1/（2n2）.Abstract: Despite the great success in single image super-resolution reconstruction achieved by deep convolutional neural network, the number of the computational parameters is often very large. This paper proposes a concise and compact recursive residual network. The local residual learning method is adopted to mitigate the difficulty of training very deep network, the recursive structure is configured to control the number of model parameters while increasing the model depth, the adjustable gradient clipping strategy is applied to prevent the gradient disappearance/gradient explosion, and a deconvolutional layer is set to directly up sample the image to a super-resolution image at the end of the residual network. According to benchmark tests, in the premise that the same quality super-resolution image is reconstructed, the number of parameters and the computational complexity of the proposed method are reduced to about 1/10 and 1/(2n2) of VDSR, respectively.
-
发展新能源能够解决化石燃料燃烧引起的环境恶化问题, 集成了源、荷、气、热、储等多种分布式能源[1]的综合能源系统[2-3]势在必行, 但规模化的分布式新能源并网将带来强随机扰动, 以及由于传统机组惯性降低、缺乏辅助频率支持、调频容量不足等引起的频率失稳问题[4], 给现代电力系统的运行和控制提出了新的挑战. 因此, 本文从自动发电控制(Automatic generation control, AGC)角度面向多区域多能微网群提出一种新的频率控制方法以实现多区域协同控制.
当前AGC控制方法主要分为传统解析式和机器学习两大类. 基于传统解析式的控制方法, 以PID控制方法为代表[5-6]. 文献[7]提出了基于灰狼优化算法的分数阶PID控制器参数优化整定方案, 解决了网络化时滞互联电网的负荷频率控制(Load frequency control, LFC)问题. 文献[8]提出了一种基于社会学习自适应细菌觅食算法的最优PI/PID控制器设计方法, 以解决互联电网AGC控制器参数优化整定问题. 文献[9]提出了基于随机帝国竞争算法的级联模糊分数阶CFFOPI–FOPID控制器, 以解决AGC问题. 传统控制方法主要根据区域控制偏差误差(Area control error, ACE)单一化地确定总调节功率, 控制机组出力. 然而电力系统新形态下区域间互动变化灵活, 需要根据长期历史数据进行学习、分析、存储, 以对多区域进行协同控制[10].
随着人工智能的崛起, 一些学者将人工智能方法应用于AGC, 试图解决上述问题. 基于人工智能的强化学习能够通过与环境探索试错积累经验分析获取最优策略, 机器学习体系应用在AGC, 尤以基于强化学习的Q学习应用最为广泛. 文献[11]基于Q学习提出了一种改进的极限Q学习算法, 对微电网的下垂控制进行参数整定, 从而实现频率调节与经济调度的一体化. 文献[12]提出了一种孤岛运行模式下基于平均报酬模型的多步R(
$\lambda $ )算法的AGC控制器, 以实现对微电网的智能发电控制与频率调整. 文献[13]提出了一种基于模型预测控制的孤岛微电网频率二次控制策略, 以解决不确定延时对系统频率的影响, 并采用小信号模型和参与因子分析系统的稳定性. 然而上述文献为单区域模型, 同样算法也为单智能体算法, 这种无多区域协同的模式, 可等效看作“集中式”控制, 无法满足日益发展的综合能源模式下分布式多区域协同发展趋势.多智能体强化学习是解决多智能体系统问题的一种有效方法, 而协作多智能体强化学习专注于解决协作问题. 协作多智能体强化学习与分布式优化有非常密切的联系, 因此求解分布式优化的高效最优化方法可以引入求解协作多智能体强化学习问题[14]. 文献[15]针对多区域互联微网系统, 结合线性自抗扰控制算法和基于原对偶梯度算法的多智能体系统, 提出了一种新的分布式优化控制算法, 有效地结合系统动态特性与优化过程解决负荷频率控制问题. 文献[16]在微网分层控制结构的框架下, 提出多智能体自适应控制算法, 使频率恢复额定值, 且有功功率按各分布式电源的额定功率比例分配. 文献[17]在Q学习基础上提出了一种面向混合交互环境的基于多智能体系统（Multi-agent system, MAS）和元胞自动机的微网分布式协调自趋优控制策略, 调节微源的有功和无功出力及系统频率. 文献[18]提出一种基于多智能体微电网控制框架的多智能体协作学习算法, 有效管理微网中的微电源促使微网协调控制. 文献[19]面向分布式能源提出一种基于虚拟狼群控制策略的分层分布式控制—PDWoLF-PHC (
$\lambda $ ), 算法中融入资格迹[20], 能够解决算法的时间信度分配问题, 以提高算法收敛速度, 进而来获得区域的最优控制. 然而上述的控制算法均为基于传统强化学习算法, 此类算法在随机环境中容易出现动作值在探索过程中的“高估”现象, 会导致决策质量低. 且上述算法均属于离策略, 其面临的主要问题是离策略算法难以收敛、收敛速度慢以及收敛精度低.因此, 为解决上述问题, 通过引入参数
$\sigma $ 统一离策略与在策略的优缺点, 提出了基于“将各种看似不同的算法思想联合统一以产生更好的算法”思想的Q$(\sigma) $ 算法[21]. 为解决随机环境中传统强化学习算法的高估动作值, 提高算法收敛速度, 以实现多区域电力系统协同控制, 本文根据协作多智能体强化学习在Q$(\sigma) $ 算法基础上融入资格迹与双重学习[22], 提出了一种基于多步统一强化学习的多智能体协同DQ$(\sigma ,\lambda)$ 控制算法. 算法中固有的偏差与方差权衡主要取决于参数$\sigma, $ 当$\sigma=0 $ 时, DQ$(\sigma,\lambda )$ 处于全采样Double Q$(\lambda) $ 算法; 当$\sigma=1 $ 时, DQ$(\sigma ,\lambda)$ 处于纯期望Double Expected-Sarsa$(\lambda )$ 算法; 当$\sigma=0.5 $ 时, DQ$(\sigma ,\lambda)$ 处于采样和期望的混合算法. 通过对改进的IEEE标准两区域负荷频率控制模型以及分布式三区域多能微网AGC模型进行仿真, 验证所提算法的有效性.1. DQ (
${{\sigma}} {{,}}{{\lambda}}$ )算法由于传统强化学习过度追求长期折扣回报奖励最大, 在策略往往选择对应最大Q值的动作, 使策略探索过程出现动作值的高估, 进而产生累积高偏差, 影响智能体学习到最优策略. 为此, 本文根据协作多智能体强化学习在Q(
$\sigma$ )算法基础上, 融入了资格迹及双重学习, 进而提出一种新型DQ($\sigma,\lambda $ ), 通过解决传统强化学探索过程中动作值高估问题, 进而获得分布式多区域多能微网群的协同控制.1.1 Q (
${{\sigma}}$ )学习算法时间差分学习(Temporal-difference learning, TD)[23]是无模型强化学习中最重要的策略之一, TD方法结合了蒙特卡罗方法和动态规划的优点, 适用于无模型、持续进行的任务. 常见TD有Q、Sarsa、Expected-Sarsa[24]等, 其中Q学习应用最广泛. 同样, 文献[21]通过引入采样参数
$\sigma $ , 统一了Sarsa算法(全采样)和Expected-Sarsa算法(纯期望), 提出了一种统一在策略与离策略的TD算法, 即Q ($\sigma $ ).其中, 离策略和在策略主要区别是在策略一般只有一个策略(常用$\varepsilon $ 贪婪策略). 而离策略一般有两个策略, 行为策略(常用$\varepsilon $ 贪婪策略)用于选择新的动作, 目标策略(常用Max贪婪法)用于更新价值函数. 本文所有提及算法所涉及策略均为上述常用策略.Sarsa是一种经典的在策略TD算法, 它将动作值函数作为其估计值, 而非状态值函数. 特别地, 对于在策略算法, 其必须根据当前行为策略与所有状态动作估算最优Q值. Sarsa算法至始至终只使用
$\varepsilon $ 贪婪策略更新价值函数和选择新的动作, 其更新方式如下:$$\qquad\qquad {Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^s$$ (1) $$ \delta _k^s = {R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}}) - {Q_k}({s_k},{a_k}) $$ (2) 其中,
${R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}})$ 称为TD目标, 奖励加上下一个状态和下一个动作的折扣值组成.Expected-Sarsa作为一种离策略学习算法, 可将Q学习算法推广到任意目标政策, 根据目标策略利用下一个状态−动作值对的期望值进行Q值估算:
$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^{es}\qquad\qquad\qquad\qquad$$ (3) $$\begin{split} \delta _k^{es} = &\;{R_{k + 1}} +\gamma \displaystyle\sum\limits_{a \in A} \pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a) -\\ &\; {Q_k}({s_k},{a_k})\\[-14pt] \end{split}\quad \qquad $$ (4) 其中,
$\delta _k^{es}$ 是第k个预期TD误差. 虽然Expected-Sarsa在计算上比Sarsa更复杂, 但作为回报, 它消除了由于下一个动作随机选择而产生的方差. 当经历相同的探索经验, Expected-Sarsa的表现优于Sarsa. 此外, 在步长参数$\alpha $ 的取值范围内, Expected-Sarsa表现比Sarsa有显著改善.当
$0<\sigma<1 $ 时, 性能优于$\sigma =0$ 或1极端情况, 故Q ($\sigma $ )算法是通过采样参数$\sigma $ 在Sarsa ($\sigma=1 $ , 全采样)更新和Expected-Sarsa ($\sigma=0, $ 纯期望)更新之间进行线性加权:$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^\sigma \qquad\qquad\qquad\qquad\;\;$$ (5) $$ \begin{split} \delta _k^\sigma = &{R_{k + 1}} + \gamma [\sigma {Q_k}({s_{k + 1}},{a_{k + 1}}) + \\ &(1 - \sigma )\displaystyle\sum\limits_{a \in A} {\pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a)] - {Q_k}({s_k},{a_k})} \\ \end{split} $$ (6) 式中,
$\delta _k^\sigma $ 是经参数$\sigma $ 加权后的TD误差.1.2 DQ(
${{\sigma ,\lambda}}$ )算法以离散时间马尔科夫决策过程为数学基础, 基于Q (
$\sigma $ )算法并融入资格迹, 提出了一种新颖的快速多步算法Q ($\sigma ,\lambda$ ), 以解决Q ($\sigma $ )的时间信度分配问题, 进而可提高AGC机组功率调节快速性. 其TD目标是Sarsa和Expected-Sarsa的加权, 其中参数$\sigma $ 为控制权重. 当$\sigma =0$ 时, Q ($\sigma ,\lambda$ )的目标等于Q ($\lambda $ )目标, 因此资格迹更新减少到标准累积资格迹更新. 当$\sigma=1 $ 时, Q ($\sigma,\lambda $ )的目标等于Expected-Sarsa ($\lambda $ )目标, 资格迹是目标策略当前动作概率的线性加权. 资格迹更新方式为$$ \begin{split} {e_k}&(s,a) =\; \gamma \lambda {e_{k - 1}} (s,a)\times\\ &[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})] + 1, \\ & \quad \quad\quad\quad\quad\quad{Q_{k - 1}}({s_k},{a_k}) = {\max _a}{Q_{k - 1}}({s_k},a) \end{split} $$ (7) $$ \begin{split} {e_k}& (s,a) =\;\gamma \lambda {e_{k - 1}}(s,a)\times\\ &\;[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})],\quad\quad\quad\quad\quad\quad\! {\text{其他}} \end{split} $$ (8) Q(
$\sigma,\lambda $ )的迭代更新式为$$ {Q_k}({s_k},{a_k}) = {Q_k}({s_k},{a_k}) + \alpha \delta _k^\sigma {e_k}(s,a) $$ (9) 同时, 为了解决本文的核心问题, 即策略探索过程中动作值高估问题, 在Q (
$\sigma ,\lambda$ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习, 进而形成Double Q ($\sigma,\lambda $ ), 下面简称DQ ($\sigma,\lambda $ ). 本文中使用两个不同的值函数${Q_A}$ 和${Q_B}$ 替代单一值函数$Q$ , 对${Q_A} + {Q_B}$ 使用行为策略并对动作进行采样, 在每次迭代中随机更新值函数${Q_A}$ 与${Q_B}$ :$$ {Q_A}({s_k},{a_k}) = {Q_A}({s_k},{a_k}) + \alpha \delta _k^A{e_k}(s,a) $$ (10) $$ {Q_B}({s_k},{a_k}) = {Q_B}({s_k},{a_k}) + \alpha \delta _k^B{e_k}(s,a) $$ (11) 当更新
${Q_A}$ 或${Q_B}$ 时, DQ ($\sigma ,\lambda$ )的TD误差则按以下方式进行更新:$$ \begin{split} \delta _k^A = &\;{R_{k + 1}} + \gamma [\sigma {Q_B}({s_{k + 1}},{a_{k + 1}}) +\\ & \; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_B}({s_{k + 1}},a)] - {Q_A}({s_k},{a_k})} \\ \end{split} $$ (12) $$ \begin{split} \delta _k^B = &\;{R_{k + 1}} + \gamma [\sigma {Q_A}({s_{k + 1}},{a_{k + 1}}) +\\ &\; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_A}({s_{k + 1}},a)] - {Q_B}({s_k},{a_k})} \\ \end{split} $$ (13) 其中,
$\delta _k^A$ 为更新时${Q_A}$ 产生的TD误差,$\delta _k^B$ 为更新${Q_B}$ 时产生的TD误差,$\gamma $ 为折扣因子$\pi (a|{s_{k + 1}})$ 是将状态映射到动作概率的动作函数.2. 基于DQ(
${{\sigma ,\lambda}}$ )算法的AGC设计基于DQ (
$\sigma,\lambda $ )的多能微网群分布式多区域多智能体协同控制架构如图1所示, 智能体全面感知源−网−荷−储设备运行信息. 对于多区域互联电网联络线和频率偏差模式下的AGC, 国内外常用的评估方法是北美电力可靠性委员会提出的CPS标准[25].
图 1 多能微网群多区域协同控制架构Fig. 1 Multi-energy microgrid group multi-region cooperative control architecture2.1 AGC奖励函数
本文将以CPS、ACE、频率偏差作为综合目标函数以获取最优AGC机组出力, 进而在最优AGC控制策略下达到系统功率平衡. 基于DQ (
$\sigma,\lambda $ )的AGC控制器某i区域的综合奖励函数表示为$$ {R_i}(k) = {\tau _i},\;\;\;\;{\tau _i} \ge 0,\;\;\;{C_{\rm{CPS}1}}_i(k) \ge 200\quad\quad\quad $$ (14) $$ \begin{split} {R_i}(k) = &\; - \{ {\omega _{1i}}{[{E_{{{\rm{ACE}}i}}}(k) - E_{{{\rm{ACE}}i}}^*]^2} +\\ &\; {\mu _{1i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{\rm{{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad{C_{{{\rm{CPS}}}1i}}(k) \in [100,200) \end{split} $$ (15) $$ \begin{split} {R_i}(k) = & - \{ {\omega _{2i}}{[{C_{{{\rm{CPS}}}1i}}(k) - C_{{{\rm{CPS}}}1i}^*]^2} + \\ & {\mu _{2i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{{\rm{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad\quad\quad\;{C_{{{\rm{CPS}}}1i}}(k) < 100 \end{split} $$ (16) 其中,
${\tau _i}$ 为任意非负数, 本文取0;${C_{{\rm{{CPS}}}1i}} \;(k)$ 与${E_{{\rm{{ACE}}}i}}\; (k)$ 分别为CPS1和ACE在第k步迭代时刻的瞬时值;${a_{{\rm{{ord}}} - i}}\;(k)$ 为k时刻的控制动作集A的指针;$a_{{{\rm{ord}}} - i}^*$ 即功率控制动作为0时的指针, 引入动作变化项, 是为了限制控制器输出功率指令频繁大幅度升降引起的系统振荡和经济代价;${\omega _{1i}},{\omega _{2i}}$ 和${\mu _{1i}},{\mu _{2i}}$ 分别为状态输入和控制动作的优化权值, 相当于线性二次型调节器控制性能指标中的Q和R权值参数[26];$C_{{{\rm{CPS}}}1i}^*$ 为CPS1指标控制期望值;${\rm{E}}_{{{\rm{ACE}}}i}^*$ 为ACE控制期望值.2.2 参数设置及算法流程
AGC控制系统的设计需要对系统参数进行合理的设置, 其中:
1)学习率
$\alpha \;(0 < \alpha<1),\alpha$ 表示要给改善的算法更新部分多少信任度, 较大的$\alpha $ 值会加快DQ$(\sigma,\lambda) $ 算法的收敛速度, 而较小的$\alpha $ 值能保证控制器的搜索空间, 从而提高DQ ($\sigma,\lambda $ )算法收敛的稳定性, 本文$\alpha $ 取为0.1.2)折扣因子
$\gamma $ (0<$\gamma $ <1), 函数的未来奖励的衰减值, 当$\gamma $ 趋向于1时, 考虑长期奖励, 当$\gamma $ 趋近于零时, 只能看到当前奖励. 本文$\gamma $ 取为0.9.3)资格迹衰退系数
$\lambda $ (0<$\lambda$ <1), 其主要作用是在状态−动作对中分配信誉, 影响收敛速度, 本文$\lambda $ 取为0.95.4)控制采样权重
$\sigma $ (0<$\sigma $ <1), 具有中等$\sigma $ 的Q ($\sigma $ )可以胜过Double Q ($\lambda $ )、Double Expected Sarsa ($\lambda $ )和Double Sarsa ($\lambda $ )算法. 本文参数$\sigma $ 取为0.5.5)探索率
$\varepsilon $ (0<$\varepsilon$ <1), 策略以1−$\varepsilon $ 的概率选择当前最大值的动作, 以$\varepsilon $ 的概率随机选择新动作. 本文仿真预学习时$\varepsilon $ 取0.5, 在线运行时$\varepsilon $ 取0.9. DQ ($\sigma,\lambda$ )的算法流程如图2所示.3. 仿真研究
3.1 改进的IEEE标准两区域负荷频率控制模型
将电池储能系统(Battery energy storage system, BESS)[27-28] (如图3)融入IEEE标准两区域负荷频率控制模型[29], 改进后的模型如图4所示. 其中, Pref 为储能系统目标指令; Preq为经过并网能量转换系统和响应延时后的功率需求; TPCS、TDB分别为并网能量转换环节和响应延时−时间转换环节的时间常数; Ts为仿真时间与实际时间关系的转换系数;
$P′_{\rm{BESS}} $ , PBESS, SSOC分别为经过电池储能电源后的有功功率、实际的有功功率、荷电状态; KT为积分电量计算时间常数, 其值与仿真时间步长相关; EB为储能系统额定容量; SSOCinit为储能荷电状态初始值; f (SSOC)描述了储能输出功率与荷电状态的映射关系. Bi为各区域的频率偏差因子,${\Delta}{P_G}$ 为发电机输出功率, Tg为调速器时间常数, Tt为汽轮机组时间常数, Tp为频率响应等效函数系数, Ts为二次时间延时, Kp为频率响应等效函数系数, T12为联络线时间常数,${\Delta}{P_{tie}}$ 为联络线交换功率. 采样周期为4 s, TPCS = 0.01 s, TDB = 0 s, Ts = 1 s; 荷电状态限幅环节的控制区间为(10, 90); 荷电状态理想运行区间设定为[30, 70], 仿真初始储能荷电状态为50%.
图 4 改进的IEEE标准两区域负荷频率控制模型Fig. 4 Improved IEEE standard two-area load frequency control model在线运行之前, DQ (
$\sigma,\lambda $ )需进行充分的预学习, 即通过随机探索试错训练, 使控制器收敛于最优策略${{\pi}^*}$ , 再投入到真实仿真环境参与在线优化运行. 而对于多能微网群的控制性能, 可通过CPS、联络线交换功率偏差Ptie、频率偏差${\Delta}{f}$ (合格范围±($0.05\sim 0.2 $ ) Hz)进行评估. 为兼顾互联区域的频率稳定性和本区域的经济性, 取CPS1接近而不是大于200%为最优. CPS标准具体如下:1) 若CPS1≥ 200%, 且CPS2为任意值, CPS指标合格;
2) 若100% ≤ CPS1< 200%, 且CPS2 ≥ 90%, CPS指标合格;
3) 若CPS1< 100%, CPS指标不合格.
3.1.1 正弦负荷离线预学习
在预学习阶段, 引入正弦负荷扰动(周期1 200 s, 幅值1 000 kW, 时长10 000 s), 对DQ
$(\sigma,\lambda) $ 进行训练探索使其收敛于最优策略. 图5给出了DQ$(\sigma,\lambda) $ 控制器负荷扰动下两区域预学习性能指标, 由图5(a)可见两区域DQ$(\sigma,\lambda) $ 控制器在2 000 s以内基本可以跟踪负荷扰动曲线. 图5(b)为联络线交换功率偏差变化曲线, 两区域Ptie (交换功率偏差绝对值的平均值)为1.2255 kW. 图5(c)是扰动下的频率变化曲线, 两区域的${\Delta}f_{\rm{{max}}}$ (最大频率偏差)分别为0.049 Hz和0.055 Hz, 远小于实际工程要求0.2 Hz, 可见控制器具有较强的稳定性. 图5(d)为两区域EAVE-10-min (10 min ACE的平均值)的学习曲线, 其值分别为1.7214 kW、1.9864 kW, ACE的10 min考核指标值始终保持在2 kW (2‰)以内. 图5(e)为A、B两区域CPS1AVE-10-min (10 min CPS1的平均值)在学习过程的变化曲线, A、B区域的CPS1AVE-10-min分别是199.4934%、199.2681%, CPS1的10 min考核指标值保持在185%以上.另外, 在最优策略中, 选择2范数
$| | {Q_k}\left( {s,{\rm{ }}a} \right) −$ ${Q_{k - 1}}\left ( {s,{\rm{ }}a} \right) | |^2 \le \varsigma\; (\varsigma =0.0001$ 为指定标准)作为预学习达到最优策略的终止标准[30], 图5(f)中为预学习期间A区域Q函数差分的收敛结果. DQ ($\sigma,\lambda $ )收敛于第255步(仿真步长为4, 即预学习需1004 s). 基于全球微波互联无线通信技术, 每次信息传输和迭代计算所需时间为1 ms, 即系统的调节时间为 1.004 s, 满足实际电网AGC系统4 s的时间尺度要求. 图5(g)为引入Q, Q$(\lambda), $ Q$(\sigma ),$ PDWoLF-PHC$(\lambda )$ 智能算法的对比收敛效果, 由图可知DQ ($\sigma,\lambda $ )算法可提高收敛速度93.92%$\sim $ 98.98%. 综上表明, 在经过大量的训练探索后, DQ ($\sigma,\lambda $ )控制器已逼近确定性最优CPS控制策略, 可将DQ($\sigma,\lambda $ )控制器投入真实环境运行.3.1.2 阶跃、随机白噪声负荷在线运行
在线运行时, 对两区域模型引入阶跃负荷扰动, 模拟大规模随机扰动情况. 对Q, Q (
$\lambda $ ), Q ($\sigma $ ), PDWoLF-PHC($\lambda $ ), DQ ($\sigma,\lambda $ )五种算法的控制器引入了时长9 000 s、幅值1 000 kW的阶跃负荷扰动进行仿真对比分析. 图6为A区域分别基于5种智能算法的AGC控制器的控制性能指标, 图6(a)是联络线交换功率偏差变化曲线, 各算法Ptie分别为9.7430 kW、1.5367 kW、0.6725 kW、0.6296 kW、0.4514 kW, DQ ($\sigma,\lambda $ )控制器所产生的交换功率偏差最小. 图6(b)是5种算法频率变化曲线对比效果图, 各算法|${\Delta}{f}|$ 分别为0.0047 Hz、0.0016 Hz、0.0014 Hz、0.0014 Hz、0.0008 Hz, 相较于其他算法, DQ ($\sigma,\lambda $ )的|${\Delta}{f}|$ 降低了42.85%$\sim $ 82.97%. 图6(c)为10 min ACE的平均值, 各算法值分别为19.8983 kW、4.4539 kW、3.3934 kW、3.4009 kW、2.5961 kW, DQ ($\sigma,\lambda $ )的ACE降低了23.66%$\sim $ 86.95%. 图6(d)为10 min CPS1的平均值变化曲线, 5种算法值分别是199.4404%、199.8431%、199.8849%、199.8998%、199.9122%, DQ ($\sigma ,\lambda$ )的CPS1提高了0.0062%$\sim $ 0.2365%.
图 6 阶跃负荷扰动下不同算法的性能指标Fig. 6 Performance index of different algorithms under step load disturbance为考虑更加实际的运行情况, 进一步验证所提算法的控制性能. 通过引入随机白噪声(噪声功率: 10000 kW; 检测周期: 60 s; seed: 23341)作为负荷扰动, 模拟接入未知的分布式新能源的随机负荷扰动情况, 以5小时的负荷扰动为考核周期, 测试DQ (
$\sigma,\lambda $ )、PDWoLF-PHC ($\lambda $ )、Q ($\sigma $ )、Q ($\lambda $ )、Q等5种控制器的性能. 图7为上述5种智能算法在A区域的各项性能考核指标, DQ ($\sigma,\lambda $ )能降低|Δf | 28.17%$\sim $ 57.73%, 减少|ACE| 6.63%$\sim $ 33.85%. 仿真结果表明, DQ ($\sigma,\lambda $ )在能源出力不确定、负荷随机波动的情况下仍然能保持稳定的控制效果.
图 7 随机白噪声扰动下不同算法的控制性能Fig. 7 Control performance of different algorithms under stochastic white noise disturbance3.2 分布式多区域多能微网群协同AGC模型
综合能源系统作为能源互联网的物理载体, 能够利用其多能互补的优势, 对不同类型的能源进行协调管理和分配, 在满足用户多种能源需求的同时, 进一步减少温室气体排放、提高能源综合利用率和降低能源供应成本. 在传统模式下, 多区域综合能源系统由于地理位置分散, 往往都是独立运行, 彼此间缺乏协调控制, 容易存在资源配置不合理等问题.
因此, 本文搭建了融入大量新能源的分布式多区域(以3区域为例)多能微网群协同AGC模型, 以验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 模型中包括光伏、风电、小水电、微型燃气轮机、柴油发电机储、生物质能、燃料电池[31-33], 其拓扑结构如图8, 模型参数如表1. 其中Area 1和Area 3模型参数和机组参数相同, 3区域的调节功率分别为2 350 kW、2 590 kW和1 840 kW, 表2为AGC机组的参数. 其中, 光伏发电、风电和电动汽车不参与系统调频, 仅作负荷扰动处理.表 1 模型传递函数的参数Table 1 Parameters of the model transfer function机组 参数 数值 小水电机组 二次时延TSH 3 伺机电动机时间常数TP 0.04 伺机增益KS 5 永态转差系数RP 1 复位时间TR 0.3 暂态转差系数RT 1 闸门最大开启率Rmaxopen/(pu/s) 0.16 闸门最大关闭率Rmaxclose/(pu/s) 0.16 机组启动时间TWH 1 生物发电机组 二次时延TSB 10 调速器的时间常数TGB 0.08 蒸汽启动时间TWB 5 机械启动时间TMB 0.3 微型燃气轮机机组 二次时延TSM 5 燃油系统滞后时间常数T1 0.8 燃油系统滞后时间常数T2 0.3 负荷限制时间常数T3 3 温度控制环路增益KT 1 负荷限制Lmax 1.2 燃料电池机组 二次时延TSF 2 调速器的时间常数TF 10.056 逆变器增益KF 9.205 柴油发电储能机组 二次时延TSD 7 调速器的时间常数TGD 2 蒸汽启动时间TWF 1 机械启动时间TMD 3 表 2 AGC机组参数Table 2 AGC unit parameters区域 类型 机组序号 $\Delta P_{\rm{in}}^{\max }$
(kW/s)$\Delta P_{\rm{in}}^{\min }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate }+ }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate} - }$
(kW/s)区域1和区域3 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 G7 100 − 100 7 − 7 微型燃气轮机 G8 100 − 100 1.2 − 1.2 G9 100 − 100 1.2 − 1.2 G10 150 − 150 1.8 − 1.8 G11 150 − 150 1.8 − 1.8 燃料电池 G12 200 − 200 7 − 7 G13 200 − 200 7 − 7 G14 150 − 150 6 − 6 G15 150 − 150 6 − 6 区域2 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 柴油发电机储 G7 250 − 250 2 − 2 G8 250 − 250 2 − 2 G9 120 − 120 1 − 1 G10 120 − 120 1 − 1 生物质能 G11 200 − 200 3 − 3 G12 200 − 200 3 − 3 G13 200 − 200 3 − 3 G14 200 − 200 3 − 3 
图 8 分布式3区域多能微网群协同AGC模型Fig. 8 Coordinated AGC model of a distributed three-area multi-energy microgrid group考虑到众多新能源的间歇性和强随机性, 再通过引入随机负荷(幅值1000 kW, 周期300 s)信号模拟真实电网环境中所面临的不确定性, 进行24小时实时仿真, 验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 分别针对嵌入了DQ ($\sigma ,\lambda$ ), PDWoLF-PHC ($\lambda $ ), Q ($\sigma $ ), Q ($\lambda $ ), Q等5种算法的控制器进行仿真. 图9为各控制器输出曲线(方便效果对比, 仅截取前2 000 s). 相较其他算法, DQ ($\sigma,\lambda $ )控制器仿真曲线更加平滑、收敛速度更快; 图10为频率曲线, 上述5种算法最大频率偏差分别为0.17 Hz、0.12 Hz、0.18 Hz、0.17 Hz、0.06 Hz均满足实际工程要求, 可各控制器A区域24小时|Δf |分别为0.0005 Hz、0.0013 Hz、0.0017 Hz、0.0027 Hz、0.0045 Hz, 对比可知所提算法频率调整效果最优调整时间更短; 图11为区域联络线功率偏差曲线, Ptie-max (最大联络线交换功率偏差)分别为22 kW、108 kW、18 kW、27 kW、99 kW, 除Q ($\sigma $ )算法, 均能在之后保持在3 kW的范围内. 此外, A区域24小时的CPS1分别为199.9807%、199.9338%、199.9201%、199.7749%、199.4645%, ACE分别为0.8673 kW、1.6622 kW、2.5792 kW、4.6971 kW、5.6927 kW. 上述指标进一步证明, 相较于其他传统算法, DQ$(\sigma,\lambda) $ 算法不仅均满足控制性能标准(如第3.1.1节所述), 能实现各自区域内的电热功率平衡, 具有最优控制性能, 进而能够对分布式多区域多能微网群进行协同控制. 同时, 多区域协同控制能够使区域间能量互补, 有效地缓和储能设备的运行压力, 提高了多区域综合能源系统的灵活性和可靠性, 提高资源的利用率.4. 结论
为了对综合能源模式下的分布式多区域进行协同控制, 本文搭建了融入大量分布式能源的分布式多区域多能微网群协同的AGC模型, 并针对该模型提出了一种多智能体协同的DQ (
$\sigma,\lambda $ )控制算法.所提算法融入了资格迹, 不仅用于解决强化学习的时间信度分配问题, 而且“后向估计”机理提供了一个逼近最优值函数Q*的渐进机制, 可提高AGC机组功率调节快速性; 同时为解决策略探索过程中动作值的高估, 所提算法在Q(
$\sigma,\lambda $ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习.通过对改进的IEEE标准两区域负荷频率控制模型以及分布式3区域多能微网AGC模型进行仿真, 结果显示, 与其他智能算法相比, 所提算法能提高收敛速度93.92%
$\sim $ 98.98%; 在能源出力不确定、负荷随机波动的情况下, DQ ($\sigma,\lambda $ ) 仍能保持稳定的控制效果, 区域|Δf|降低61.54%$\sim $ 88.89%、区域联络线功率偏差降低18.51%$\sim $ 79.62%、CPS1提高0.023%$\sim $ 0.25%、ACE降低47.82%$\sim $ 84.76%, 能获得综合能源模式下分布式多区域协同.
-
图 5 各种U、C组合所构成网络的性能对比图
Fig. 5 The performance of various networks at U and C combinations
图 6 各种SISR方法的×3模型在Set5测试集上的平均PSNR值及参数数量
Fig. 6 Average PSNR and number of parameters on the testset Set5 for scale factor ×3 of various SISR methods
图 7 测试集BSD100中的"img_092"重建结果对比图
Fig. 7 A comparison of the reconstruction results of "img_092" in the testset BSD100
图 8 测试集Set5中的"butterfly"重建对比图
Fig. 8 A comparison of the reconstruction results of "butterfly" in the testset Set5
表 1 不同RRSR组件构成的$\times3$模型在Set5测试集上的平均PSNR值及参数量
Table 1 Average PSNR and number of parameters when different RRSR components are turned on or off, for scale factor $\times3$ on testset Set5
局部残差 递归结构 PSNR (dB) 参数数量($\times10^3$) × × 33.27 371 √ × 33.58 371 √ √ 33.70 39 
下载: 导出CSV
表 2 各种SISR方法的$\times2$, $\times3$和$\times4$模型在测试集Set5、Set14和BSD100上的平均PSNR值与SSIM值
Table 2 Average PSNR/SSIMs of various SISR methords for scale factor $\times2$, $\times3$ and $\times4$ on Set5, Set14 and BSD100
测试集 放大倍数 Bicubic PSNR/SSIM SelfEx PSNR/SSIM SRCNN PSNR/SSIM FSRCNN PSNR/SSIM VDSR PSNR/SSIM RRSR PSNR/SSIM Set5 ×2 33.66/0.9299 36.49/0.9537 36.66/0.9542 37.00/0.9558 37.53/0.9587 37.55/0.9588 Set5 ×3 30.39/0.8682 32.58/0.9093 32.75/0.9090 33.16/0.9140 33.66/0.9213 33.70/0.9208 Set5 ×4 28.42/0.8104 30.31/0.8619 30.48/0.8628 30.71/0.8657 31.35/0.8838 31.32/0.8836 Set14 ×2 30.24/0.8688 32.22/0.9034 32.42/0.9063 32.64/0.9088 33.03/0.9124 33.04/0.9125 Set14 ×3 27.55/0.7742 29.16/0.8196 29.28/0.8209 29.43/0.8242 29.77/0.8314 29.75/0.8307 Set14 ×4 26.00/0.7027 27.40/0.7518 27.49/0.7503 27.60/0.7535 28.01/0.7674 28.00/0.7675 BSD100 ×2 29.56/0.8431 31.18/0.8855 31.36/0.8879 31.51/0.8906 31.90/0.8960 31.91/0.8961 BSD100 ×3 27.21/0.7385 28.29/0.7840 28.41/0.7863 28.52/0.7897 28.82/0.7976 28.78/0.7969 BSD100 ×4 25.96/0.6675 26.84/0.7106 26.90/0.7101 26.97/0.7128 27.29/0.7251 27.25/0.7249
下载: 导出CSV
-
[1] Oktay O, Bai W, Lee M, Guerrero R, Kamnitsas K, Caballero J, et al. Multi-input cardiac image super-resolution using convolutional neural networks. In: Proceedings of the 2016 International Conference on Medical Image Computing and Computer-assisted Intervention. Athens, Greece: Springer, Cham, 2016. 246-254 [2] Luo Y, Zhou L, Wang S, Wang Z Y. Video satellite imagery super resolution via convolutional neural networks. IEEE Geoscience and Remote Sensing Letters, 2017, 14(12):2398-2402 doi: 10.1109/LGRS.2017.2766204 [3] Rasti P, Uiboupin T, Escalera S, Anbarjafari G. Convolutional neural network super resolution for face recognition in surveillance monitoring. In: Proceedings of the 2016 International Conference on Articulated Motion and Deformable Objects. Palma de Mallorca, Spain: Springer, Cham, 2016. 175-184 [4] 陆志芳, 钟宝江.基于预测梯度的图像插值算法.自动化学报, 2018, 44(6):1072-1085 http://www.aas.net.cn/CN/abstract/abstract19297.shtmlLu Zhi-Fang, Zhong Bao-Jiang. Image interpolation with predicted gradients. Acta Automatica Sinica, 2018, 44(6):1072-1085 http://www.aas.net.cn/CN/abstract/abstract19297.shtml [5] 熊娇娇, 卢红阳, 张明辉, 刘且根.基于梯度域的卷积稀疏编码磁共振成像重建.自动化学报, 2017, 43(10):1841-1849 http://www.aas.net.cn/CN/abstract/abstract19159.shtmlXiong Jiao-Jiao, Lu Hong-Yang, Zhang Ming-Hui, Liu Qie-Gen. Convolutional sparse coding in gradient domain for MRI reconstruction. Acta Automatica Sinica, 2017, 43(10):1841-1849 http://www.aas.net.cn/CN/abstract/abstract19159.shtml [6] Dong C, Chen C L, He K M, Tang X O. Learning a deep convolutional network for image super-resolution. In: Proceedings of the 13th European Conference on Computer Vision, Zurich Switzerland: Springer, Cham, 2014. 184-199 [7] Dong C, Chen C L, Tang X O. Accelerating the super-sesolution convolutional neural network. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, Cham, 2016. 391-407 [8] Kim J, Lee J K, Lee K M. Accurate image super-resolution using very deep convolutional networks. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1646-1654 [9] Lim B, Son S, Kim H, Nah S, Lee K M. Enhanced deep residual networks for single image super-resolution. In: Proceedings of the 2017 IEEE Computer Vision and Pattern Recognition Workshops. Honolulu, USA: IEEE, 2017. 1132-1140 [10] Lai W S, Huang J B, Ahuja N, Yang M H. Deep laplacian pyramid networks for fast and accurate super-resolution. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 5835-5843 [11] Ledig C, Theis L, Huszar F, Caballero J, Cunningham A, Acosta A, et al. Photo-realistic single image super-resolution using a generative adversarial network. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 105-114 [12] Dong C, Chen C L, He K M, Tang X O. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 38(2):295-307 http://d.old.wanfangdata.com.cn/Periodical/jsjfzsjytxxxb201709007 [13] Timofte R, De Smet V, Van Gool L. A+: Adjusted anchored neighborhood regression for fast super-resolution. In: Proceedings of the 2015 Asian Conference on Computer Vision. Singapore, Singapore: Springer, Cham. 2015. 111-126 [14] 胡长胜, 詹曙, 吴从中.基于深度特征学习的图像超分辨率重建.自动化学报, 2017, 43(5):814-821 http://www.aas.net.cn/CN/abstract/abstract19059.shtmlHu Chang-Sheng, Zhan Shu, Wu Cong-Zhong. Image super-resolution based on deep learning features. Acta Automatica Sinica, 2017, 43(5):814-821 http://www.aas.net.cn/CN/abstract/abstract19059.shtml [15] Kim J, Lee J K, Lee K M. Deeply-recursive convolutional network for image super-resolution. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, Nevada, USA: IEEE, 2016. 1637-1645 [16] Yang W H, Feng J S, Xie G S, Liu J Y, Guo Z M, Yan S C. Video super-resolution based on spatial-temporal recurrent residual networks. Computer Vision and Image Understanding, 2018, 168:79-92 doi: 10.1016/j.cviu.2017.09.002 [17] LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11):2278-2324 doi: 10.1109/5.726791 [18] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, Nevada, USA: IEEE, 2016. 770-778 [19] Mao X J, Shen C H, Yang Y B. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: NIPS, 2016. 2810-2818 [20] Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines. In: Proceedings of the 27th International Conference on Machine Learning. Haifa, Israel: ICML, 2010. 807-814 [21] Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks. In: Proceedings of the 30th International Conference on Machine Learning. Atlanta, USA: ICML, 2013, 28(3): 1310-1318 [22] Perez-Pellitero E, Salvador J, Ruiz-Hidalgo J, Rosenhahn B. PSyCo: Manifold span reduction for super resolution. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1837-1845 [23] Huang Y, Wang W, Wang L. Video super-resolution via bidirectional recurrent convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4):1015-1028 doi: 10.1109/TPAMI.2017.2701380 [24] Yang J C, Wright J, Huang T S, Ma Y. Image super-resolution via sparse representation. IEEE Transactions on Image Processing, 2010, 19(11):2861-2873 doi: 10.1109/TIP.2010.2050625 [25] Schulter S, Leistner C, Bischof H. Fast and accurate image upscaling with super-resolution forests. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 3791-3799 [26] Martin D, Fowlkes C, Tal D, Malik J. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In: Proceedings of the 2002 International Conference on Computer Vision. Vancouver, BC, Canada: IEEE, 2002. 416-423 [27] Bevilacqua M, Roumy A, Guillemot C, Alberi Morel M L. Low-complexity single-image super-resolution based on nonnegative neighbor embedding. In: Proceedings of the 23rd British Machine Vision Conference. Surrey UK: BMVA Press, 2012. 1-10 [28] Zeyde R, Elad M, Protter M. On single image scaleup using sparse-representations. In: Proceedings of the 2012 International Conference on Curves and Surfaces. Avignon, France: Springer, Berlin, Heidelberg, 2012. 711-730 [29] Jia Y Q, Shelhamer E, Donahue J, Karayev S, Long J, Girshick R, et al. Caffe: convolutional architecture for fast feature embedding. In: Proceedings of the 22nd ACM International Conference on Multimedia. New York, USA: ACM, 2014. 675-678 [30] He K M, Zhang X Y, Ren S Q, Sun J. Delving deep into rectifiers: surpassing human-level performance on imagenet classification. In: Proceedings of the 2015 International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 1026-1034 [31] Huang J B, Singh A, Ahuja N. Single image super-resolution from transformed self-exemplars. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 5197-5206 [32] Shi W Z, Caballero J, Huszar F, Totz J, P Aitken A, Bishop R, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1874-1883 [33] Wang Z W, Liu D, Yang J C, Han W, Huang T. Deep networks for image super-resolution with sparse prior. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile: OALib Journal, 2015. 370-378 [34] Vedaldi A, Lenc K. MatConvNet: convolutional neural networks for MATLAB. In: Proceedings of the 23rd ACM International Conference on Multimedia. New York, USA: ACM, 2015. 689-692 期刊类型引用(10)
1. 周博奇，柳丹，席磊，李彦营. 基于超松弛双Q学习的源荷储协同频率稳定算法研究. 中国电机工程学报. 2024(04): 1419-1430 . 
百度学术2. 张彬文，王新迎，李烨，闫冬. 基于双层功率分配的智能配电网协同优化策略. 高电压技术. 2024(07): 3029-3038 . 百度学术3. 陈宋宋，张路涛，周颖，陈珂，王忠东，席磊. 面向新能源并网的分布式AGC协同算法. 南方电网技术. 2023(04): 58-68 . 百度学术4. 席磊，杜雄，李彦营，李浩恺. 基于具有强化学习思想的集成学习自动发电控制算法. 南方电网技术. 2023(07): 74-82 . 百度学术5. 解立辉，席磊. 强化学习在自动发电控制中的研究进展与展望. 三峡大学学报(自然科学版). 2023(05): 133-141 . 百度学术6. 胡逸，王锡淮，肖健梅. 基于改进灰狼优化算法的多区域频率协同控制. 控制工程. 2023(09): 1630-1639+1657 . 百度学术7. 李彦营，席磊，郭宜果，王昱昊，孙梦梦，金澄心. 基于权重双Q-时延更新学习算法的自动发电控制. 中国电机工程学报. 2022(15): 5459-5471 . 百度学术8. 席磊，孙梦梦，陈宋宋，朱继忠，孙秋野，刘宗静. 面向分布式电网的多区域协同控制方法研究. 电机与控制学报. 2021(12): 75-86 . 百度学术9. 张化光，孙宏斌，刘德荣，王剑辉，孙秋野. “分布式信息能源系统”专题特约主编寄语. 中国电机工程学报. 2020(17): 5401-5403 . 百度学术10. 滕菲，单麒赫，李铁山. 智能船舶综合能源系统及其分布式优化调度方法. 自动化学报. 2020(09): 1809-1817 . 本站查看其他类型引用(9)
-
下载:
计量
- 文章访问数: 3330
- HTML全文浏览量: 653
- PDF下载量: 640
- 被引次数: 19
