Coordinated AGC Algorithm for Distributed Multi-region Multi-energy Micro-network Group
-
摘要: 综合能源多区域协同是电网发展趋势, 而核心问题是采用何种方法对多区域进行协同. 本文基于Q (
$\sigma $ )融入了资格迹及双重Q学习, 提出一种面向多区域多能微网群的多智能体协同控制算法, 即DQ ($\sigma ,\lambda $ ), 避免传统强化学习动作探索值高估的同时, 来获取分布式多区域的协同. 通过对改进的IEEE两区域负荷频率控制模型及三区域多能微网群自动发电控制(Automatic generation control, AGC)模型仿真, 结果表明, 与传统方法相比, 所提算法具有快速收敛性和更优动态性能, 能获得分布式多区域多能微网群的协同.Abstract: Comprehensive energy multi-region coordination is the development trend of the power grid, and the core question is what method to use for multi-region coordination. Based on the integration of the qualification trace and dual Q-learning in Q ($\sigma $ ), this paper proposes a multi-agent collaborative control algorithm for multi-region and multi-energy micro-grid group, named DQ ($\sigma ,\lambda$ ), to avoid high exploration value of traditional reinforcement learning actions. At the same time of evaluation, the distributed multi-region collaboration is obtained. Simulations of the improved IEEE two area load frequency control model and the three area multi-energy microgrid group automatic generation control (AGC) model show that the proposed algorithm has fast convergence and better dynamic performance than traditional methods, and can achieve distributed Synergy of regional multi-energy microgrid groups. -
发展新能源能够解决化石燃料燃烧引起的环境恶化问题, 集成了源、荷、气、热、储等多种分布式能源[1]的综合能源系统[2-3]势在必行, 但规模化的分布式新能源并网将带来强随机扰动, 以及由于传统机组惯性降低、缺乏辅助频率支持、调频容量不足等引起的频率失稳问题[4], 给现代电力系统的运行和控制提出了新的挑战. 因此, 本文从自动发电控制(Automatic generation control, AGC)角度面向多区域多能微网群提出一种新的频率控制方法以实现多区域协同控制.
当前AGC控制方法主要分为传统解析式和机器学习两大类. 基于传统解析式的控制方法, 以PID控制方法为代表[5-6]. 文献[7]提出了基于灰狼优化算法的分数阶PID控制器参数优化整定方案, 解决了网络化时滞互联电网的负荷频率控制(Load frequency control, LFC)问题. 文献[8]提出了一种基于社会学习自适应细菌觅食算法的最优PI/PID控制器设计方法, 以解决互联电网AGC控制器参数优化整定问题. 文献[9]提出了基于随机帝国竞争算法的级联模糊分数阶CFFOPI–FOPID控制器, 以解决AGC问题. 传统控制方法主要根据区域控制偏差误差(Area control error, ACE)单一化地确定总调节功率, 控制机组出力. 然而电力系统新形态下区域间互动变化灵活, 需要根据长期历史数据进行学习、分析、存储, 以对多区域进行协同控制[10].
随着人工智能的崛起, 一些学者将人工智能方法应用于AGC, 试图解决上述问题. 基于人工智能的强化学习能够通过与环境探索试错积累经验分析获取最优策略, 机器学习体系应用在AGC, 尤以基于强化学习的Q学习应用最为广泛. 文献[11]基于Q学习提出了一种改进的极限Q学习算法, 对微电网的下垂控制进行参数整定, 从而实现频率调节与经济调度的一体化. 文献[12]提出了一种孤岛运行模式下基于平均报酬模型的多步R(
$\lambda $ )算法的AGC控制器, 以实现对微电网的智能发电控制与频率调整. 文献[13]提出了一种基于模型预测控制的孤岛微电网频率二次控制策略, 以解决不确定延时对系统频率的影响, 并采用小信号模型和参与因子分析系统的稳定性. 然而上述文献为单区域模型, 同样算法也为单智能体算法, 这种无多区域协同的模式, 可等效看作“集中式”控制, 无法满足日益发展的综合能源模式下分布式多区域协同发展趋势.多智能体强化学习是解决多智能体系统问题的一种有效方法, 而协作多智能体强化学习专注于解决协作问题. 协作多智能体强化学习与分布式优化有非常密切的联系, 因此求解分布式优化的高效最优化方法可以引入求解协作多智能体强化学习问题[14]. 文献[15]针对多区域互联微网系统, 结合线性自抗扰控制算法和基于原对偶梯度算法的多智能体系统, 提出了一种新的分布式优化控制算法, 有效地结合系统动态特性与优化过程解决负荷频率控制问题. 文献[16]在微网分层控制结构的框架下, 提出多智能体自适应控制算法, 使频率恢复额定值, 且有功功率按各分布式电源的额定功率比例分配. 文献[17]在Q学习基础上提出了一种面向混合交互环境的基于多智能体系统(Multi-agent system, MAS)和元胞自动机的微网分布式协调自趋优控制策略, 调节微源的有功和无功出力及系统频率. 文献[18]提出一种基于多智能体微电网控制框架的多智能体协作学习算法, 有效管理微网中的微电源促使微网协调控制. 文献[19]面向分布式能源提出一种基于虚拟狼群控制策略的分层分布式控制—PDWoLF-PHC (
$\lambda $ ), 算法中融入资格迹[20], 能够解决算法的时间信度分配问题, 以提高算法收敛速度, 进而来获得区域的最优控制. 然而上述的控制算法均为基于传统强化学习算法, 此类算法在随机环境中容易出现动作值在探索过程中的“高估”现象, 会导致决策质量低. 且上述算法均属于离策略, 其面临的主要问题是离策略算法难以收敛、收敛速度慢以及收敛精度低.因此, 为解决上述问题, 通过引入参数
$\sigma $ 统一离策略与在策略的优缺点, 提出了基于“将各种看似不同的算法思想联合统一以产生更好的算法”思想的Q$(\sigma) $ 算法[21]. 为解决随机环境中传统强化学习算法的高估动作值, 提高算法收敛速度, 以实现多区域电力系统协同控制, 本文根据协作多智能体强化学习在Q$(\sigma) $ 算法基础上融入资格迹与双重学习[22], 提出了一种基于多步统一强化学习的多智能体协同DQ$(\sigma ,\lambda)$ 控制算法. 算法中固有的偏差与方差权衡主要取决于参数$\sigma, $ 当$\sigma=0 $ 时, DQ$(\sigma,\lambda )$ 处于全采样Double Q$(\lambda) $ 算法; 当$\sigma=1 $ 时, DQ$(\sigma ,\lambda)$ 处于纯期望Double Expected-Sarsa$(\lambda )$ 算法; 当$\sigma=0.5 $ 时, DQ$(\sigma ,\lambda)$ 处于采样和期望的混合算法. 通过对改进的IEEE标准两区域负荷频率控制模型以及分布式三区域多能微网AGC模型进行仿真, 验证所提算法的有效性.1. DQ (
${{\sigma}} {{,}}{{\lambda}}$ )算法由于传统强化学习过度追求长期折扣回报奖励最大, 在策略往往选择对应最大Q值的动作, 使策略探索过程出现动作值的高估, 进而产生累积高偏差, 影响智能体学习到最优策略. 为此, 本文根据协作多智能体强化学习在Q(
$\sigma$ )算法基础上, 融入了资格迹及双重学习, 进而提出一种新型DQ($\sigma,\lambda $ ), 通过解决传统强化学探索过程中动作值高估问题, 进而获得分布式多区域多能微网群的协同控制.1.1 Q (
${{\sigma}}$ )学习算法时间差分学习(Temporal-difference learning, TD)[23]是无模型强化学习中最重要的策略之一, TD方法结合了蒙特卡罗方法和动态规划的优点, 适用于无模型、持续进行的任务. 常见TD有Q、Sarsa、Expected-Sarsa[24]等, 其中Q学习应用最广泛. 同样, 文献[21]通过引入采样参数
$\sigma $ , 统一了Sarsa算法(全采样)和Expected-Sarsa算法(纯期望), 提出了一种统一在策略与离策略的TD算法, 即Q ($\sigma $ ).其中, 离策略和在策略主要区别是在策略一般只有一个策略(常用$\varepsilon $ 贪婪策略). 而离策略一般有两个策略, 行为策略(常用$\varepsilon $ 贪婪策略)用于选择新的动作, 目标策略(常用Max贪婪法)用于更新价值函数. 本文所有提及算法所涉及策略均为上述常用策略.Sarsa是一种经典的在策略TD算法, 它将动作值函数作为其估计值, 而非状态值函数. 特别地, 对于在策略算法, 其必须根据当前行为策略与所有状态动作估算最优Q值. Sarsa算法至始至终只使用
$\varepsilon $ 贪婪策略更新价值函数和选择新的动作, 其更新方式如下:$$\qquad\qquad {Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^s$$ (1) $$ \delta _k^s = {R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}}) - {Q_k}({s_k},{a_k}) $$ (2) 其中,
${R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}})$ 称为TD目标, 奖励加上下一个状态和下一个动作的折扣值组成.Expected-Sarsa作为一种离策略学习算法, 可将Q学习算法推广到任意目标政策, 根据目标策略利用下一个状态−动作值对的期望值进行Q值估算:
$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^{es}\qquad\qquad\qquad\qquad$$ (3) $$\begin{split} \delta _k^{es} = &\;{R_{k + 1}} +\gamma \displaystyle\sum\limits_{a \in A} \pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a) -\\ &\; {Q_k}({s_k},{a_k})\\[-14pt] \end{split}\quad \qquad $$ (4) 其中,
$\delta _k^{es}$ 是第k个预期TD误差. 虽然Expected-Sarsa在计算上比Sarsa更复杂, 但作为回报, 它消除了由于下一个动作随机选择而产生的方差. 当经历相同的探索经验, Expected-Sarsa的表现优于Sarsa. 此外, 在步长参数$\alpha $ 的取值范围内, Expected-Sarsa表现比Sarsa有显著改善.当
$0<\sigma<1 $ 时, 性能优于$\sigma =0$ 或1极端情况, 故Q ($\sigma $ )算法是通过采样参数$\sigma $ 在Sarsa ($\sigma=1 $ , 全采样)更新和Expected-Sarsa ($\sigma=0, $ 纯期望)更新之间进行线性加权:$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^\sigma \qquad\qquad\qquad\qquad\;\;$$ (5) $$ \begin{split} \delta _k^\sigma = &{R_{k + 1}} + \gamma [\sigma {Q_k}({s_{k + 1}},{a_{k + 1}}) + \\ &(1 - \sigma )\displaystyle\sum\limits_{a \in A} {\pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a)] - {Q_k}({s_k},{a_k})} \\ \end{split} $$ (6) 式中,
$\delta _k^\sigma $ 是经参数$\sigma $ 加权后的TD误差.1.2 DQ(
${{\sigma ,\lambda}}$ )算法以离散时间马尔科夫决策过程为数学基础, 基于Q (
$\sigma $ )算法并融入资格迹, 提出了一种新颖的快速多步算法Q ($\sigma ,\lambda$ ), 以解决Q ($\sigma $ )的时间信度分配问题, 进而可提高AGC机组功率调节快速性. 其TD目标是Sarsa和Expected-Sarsa的加权, 其中参数$\sigma $ 为控制权重. 当$\sigma =0$ 时, Q ($\sigma ,\lambda$ )的目标等于Q ($\lambda $ )目标, 因此资格迹更新减少到标准累积资格迹更新. 当$\sigma=1 $ 时, Q ($\sigma,\lambda $ )的目标等于Expected-Sarsa ($\lambda $ )目标, 资格迹是目标策略当前动作概率的线性加权. 资格迹更新方式为$$ \begin{split} {e_k}&(s,a) =\; \gamma \lambda {e_{k - 1}} (s,a)\times\\ &[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})] + 1, \\ & \quad \quad\quad\quad\quad\quad{Q_{k - 1}}({s_k},{a_k}) = {\max _a}{Q_{k - 1}}({s_k},a) \end{split} $$ (7) $$ \begin{split} {e_k}& (s,a) =\;\gamma \lambda {e_{k - 1}}(s,a)\times\\ &\;[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})],\quad\quad\quad\quad\quad\quad\! {\text{其他}} \end{split} $$ (8) Q(
$\sigma,\lambda $ )的迭代更新式为$$ {Q_k}({s_k},{a_k}) = {Q_k}({s_k},{a_k}) + \alpha \delta _k^\sigma {e_k}(s,a) $$ (9) 同时, 为了解决本文的核心问题, 即策略探索过程中动作值高估问题, 在Q (
$\sigma ,\lambda$ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习, 进而形成Double Q ($\sigma,\lambda $ ), 下面简称DQ ($\sigma,\lambda $ ). 本文中使用两个不同的值函数${Q_A}$ 和${Q_B}$ 替代单一值函数$Q$ , 对${Q_A} + {Q_B}$ 使用行为策略并对动作进行采样, 在每次迭代中随机更新值函数${Q_A}$ 与${Q_B}$ :$$ {Q_A}({s_k},{a_k}) = {Q_A}({s_k},{a_k}) + \alpha \delta _k^A{e_k}(s,a) $$ (10) $$ {Q_B}({s_k},{a_k}) = {Q_B}({s_k},{a_k}) + \alpha \delta _k^B{e_k}(s,a) $$ (11) 当更新
${Q_A}$ 或${Q_B}$ 时, DQ ($\sigma ,\lambda$ )的TD误差则按以下方式进行更新:$$ \begin{split} \delta _k^A = &\;{R_{k + 1}} + \gamma [\sigma {Q_B}({s_{k + 1}},{a_{k + 1}}) +\\ & \; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_B}({s_{k + 1}},a)] - {Q_A}({s_k},{a_k})} \\ \end{split} $$ (12) $$ \begin{split} \delta _k^B = &\;{R_{k + 1}} + \gamma [\sigma {Q_A}({s_{k + 1}},{a_{k + 1}}) +\\ &\; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_A}({s_{k + 1}},a)] - {Q_B}({s_k},{a_k})} \\ \end{split} $$ (13) 其中,
$\delta _k^A$ 为更新时${Q_A}$ 产生的TD误差,$\delta _k^B$ 为更新${Q_B}$ 时产生的TD误差,$\gamma $ 为折扣因子$\pi (a|{s_{k + 1}})$ 是将状态映射到动作概率的动作函数.2. 基于DQ(
${{\sigma ,\lambda}}$ )算法的AGC设计基于DQ (
$\sigma,\lambda $ )的多能微网群分布式多区域多智能体协同控制架构如图1所示, 智能体全面感知源−网−荷−储设备运行信息. 对于多区域互联电网联络线和频率偏差模式下的AGC, 国内外常用的评估方法是北美电力可靠性委员会提出的CPS标准[25].2.1 AGC奖励函数
本文将以CPS、ACE、频率偏差作为综合目标函数以获取最优AGC机组出力, 进而在最优AGC控制策略下达到系统功率平衡. 基于DQ (
$\sigma,\lambda $ )的AGC控制器某i区域的综合奖励函数表示为$$ {R_i}(k) = {\tau _i},\;\;\;\;{\tau _i} \ge 0,\;\;\;{C_{\rm{CPS}1}}_i(k) \ge 200\quad\quad\quad $$ (14) $$ \begin{split} {R_i}(k) = &\; - \{ {\omega _{1i}}{[{E_{{{\rm{ACE}}i}}}(k) - E_{{{\rm{ACE}}i}}^*]^2} +\\ &\; {\mu _{1i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{\rm{{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad{C_{{{\rm{CPS}}}1i}}(k) \in [100,200) \end{split} $$ (15) $$ \begin{split} {R_i}(k) = & - \{ {\omega _{2i}}{[{C_{{{\rm{CPS}}}1i}}(k) - C_{{{\rm{CPS}}}1i}^*]^2} + \\ & {\mu _{2i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{{\rm{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad\quad\quad\;{C_{{{\rm{CPS}}}1i}}(k) < 100 \end{split} $$ (16) 其中,
${\tau _i}$ 为任意非负数, 本文取0;${C_{{\rm{{CPS}}}1i}} \;(k)$ 与${E_{{\rm{{ACE}}}i}}\; (k)$ 分别为CPS1和ACE在第k步迭代时刻的瞬时值;${a_{{\rm{{ord}}} - i}}\;(k)$ 为k时刻的控制动作集A的指针;$a_{{{\rm{ord}}} - i}^*$ 即功率控制动作为0时的指针, 引入动作变化项, 是为了限制控制器输出功率指令频繁大幅度升降引起的系统振荡和经济代价;${\omega _{1i}},{\omega _{2i}}$ 和${\mu _{1i}},{\mu _{2i}}$ 分别为状态输入和控制动作的优化权值, 相当于线性二次型调节器控制性能指标中的Q和R权值参数[26];$C_{{{\rm{CPS}}}1i}^*$ 为CPS1指标控制期望值;${\rm{E}}_{{{\rm{ACE}}}i}^*$ 为ACE控制期望值.2.2 参数设置及算法流程
AGC控制系统的设计需要对系统参数进行合理的设置, 其中:
1)学习率
$\alpha \;(0 < \alpha<1),\alpha$ 表示要给改善的算法更新部分多少信任度, 较大的$\alpha $ 值会加快DQ$(\sigma,\lambda) $ 算法的收敛速度, 而较小的$\alpha $ 值能保证控制器的搜索空间, 从而提高DQ ($\sigma,\lambda $ )算法收敛的稳定性, 本文$\alpha $ 取为0.1.2)折扣因子
$\gamma $ (0<$\gamma $ <1), 函数的未来奖励的衰减值, 当$\gamma $ 趋向于1时, 考虑长期奖励, 当$\gamma $ 趋近于零时, 只能看到当前奖励. 本文$\gamma $ 取为0.9.3)资格迹衰退系数
$\lambda $ (0<$\lambda$ <1), 其主要作用是在状态−动作对中分配信誉, 影响收敛速度, 本文$\lambda $ 取为0.95.4)控制采样权重
$\sigma $ (0<$\sigma $ <1), 具有中等$\sigma $ 的Q ($\sigma $ )可以胜过Double Q ($\lambda $ )、Double Expected Sarsa ($\lambda $ )和Double Sarsa ($\lambda $ )算法. 本文参数$\sigma $ 取为0.5.5)探索率
$\varepsilon $ (0<$\varepsilon$ <1), 策略以1−$\varepsilon $ 的概率选择当前最大值的动作, 以$\varepsilon $ 的概率随机选择新动作. 本文仿真预学习时$\varepsilon $ 取0.5, 在线运行时$\varepsilon $ 取0.9. DQ ($\sigma,\lambda$ )的算法流程如图2所示.3. 仿真研究
3.1 改进的IEEE标准两区域负荷频率控制模型
将电池储能系统(Battery energy storage system, BESS)[27-28] (如图3)融入IEEE标准两区域负荷频率控制模型[29], 改进后的模型如图4所示. 其中, Pref 为储能系统目标指令; Preq为经过并网能量转换系统和响应延时后的功率需求; TPCS、TDB分别为并网能量转换环节和响应延时−时间转换环节的时间常数; Ts为仿真时间与实际时间关系的转换系数;
$P′_{\rm{BESS}} $ , PBESS, SSOC分别为经过电池储能电源后的有功功率、实际的有功功率、荷电状态; KT为积分电量计算时间常数, 其值与仿真时间步长相关; EB为储能系统额定容量; SSOCinit为储能荷电状态初始值; f (SSOC)描述了储能输出功率与荷电状态的映射关系. Bi为各区域的频率偏差因子,${\Delta}{P_G}$ 为发电机输出功率, Tg为调速器时间常数, Tt为汽轮机组时间常数, Tp为频率响应等效函数系数, Ts为二次时间延时, Kp为频率响应等效函数系数, T12为联络线时间常数,${\Delta}{P_{tie}}$ 为联络线交换功率. 采样周期为4 s, TPCS = 0.01 s, TDB = 0 s, Ts = 1 s; 荷电状态限幅环节的控制区间为(10, 90); 荷电状态理想运行区间设定为[30, 70], 仿真初始储能荷电状态为50%.在线运行之前, DQ (
$\sigma,\lambda $ )需进行充分的预学习, 即通过随机探索试错训练, 使控制器收敛于最优策略${{\pi}^*}$ , 再投入到真实仿真环境参与在线优化运行. 而对于多能微网群的控制性能, 可通过CPS、联络线交换功率偏差Ptie、频率偏差${\Delta}{f}$ (合格范围±($0.05\sim 0.2 $ ) Hz)进行评估. 为兼顾互联区域的频率稳定性和本区域的经济性, 取CPS1接近而不是大于200%为最优. CPS标准具体如下:1) 若CPS1≥ 200%, 且CPS2为任意值, CPS指标合格;
2) 若100% ≤ CPS1< 200%, 且CPS2 ≥ 90%, CPS指标合格;
3) 若CPS1< 100%, CPS指标不合格.
3.1.1 正弦负荷离线预学习
在预学习阶段, 引入正弦负荷扰动(周期1 200 s, 幅值1 000 kW, 时长10 000 s), 对DQ
$(\sigma,\lambda) $ 进行训练探索使其收敛于最优策略. 图5给出了DQ$(\sigma,\lambda) $ 控制器负荷扰动下两区域预学习性能指标, 由图5(a)可见两区域DQ$(\sigma,\lambda) $ 控制器在2 000 s以内基本可以跟踪负荷扰动曲线. 图5(b)为联络线交换功率偏差变化曲线, 两区域Ptie (交换功率偏差绝对值的平均值)为1.2255 kW. 图5(c)是扰动下的频率变化曲线, 两区域的${\Delta}f_{\rm{{max}}}$ (最大频率偏差)分别为0.049 Hz和0.055 Hz, 远小于实际工程要求0.2 Hz, 可见控制器具有较强的稳定性. 图5(d)为两区域EAVE-10-min (10 min ACE的平均值)的学习曲线, 其值分别为1.7214 kW、1.9864 kW, ACE的10 min考核指标值始终保持在2 kW (2‰)以内. 图5(e)为A、B两区域CPS1AVE-10-min (10 min CPS1的平均值)在学习过程的变化曲线, A、B区域的CPS1AVE-10-min分别是199.4934%、199.2681%, CPS1的10 min考核指标值保持在185%以上.另外, 在最优策略中, 选择2范数
$| | {Q_k}\left( {s,{\rm{ }}a} \right) −$ ${Q_{k - 1}}\left ( {s,{\rm{ }}a} \right) | |^2 \le \varsigma\; (\varsigma =0.0001$ 为指定标准)作为预学习达到最优策略的终止标准[30], 图5(f)中为预学习期间A区域Q函数差分的收敛结果. DQ ($\sigma,\lambda $ )收敛于第255步(仿真步长为4, 即预学习需1004 s). 基于全球微波互联无线通信技术, 每次信息传输和迭代计算所需时间为1 ms, 即系统的调节时间为 1.004 s, 满足实际电网AGC系统4 s的时间尺度要求. 图5(g)为引入Q, Q$(\lambda), $ Q$(\sigma ),$ PDWoLF-PHC$(\lambda )$ 智能算法的对比收敛效果, 由图可知DQ ($\sigma,\lambda $ )算法可提高收敛速度93.92%$\sim $ 98.98%. 综上表明, 在经过大量的训练探索后, DQ ($\sigma,\lambda $ )控制器已逼近确定性最优CPS控制策略, 可将DQ($\sigma,\lambda $ )控制器投入真实环境运行.3.1.2 阶跃、随机白噪声负荷在线运行
在线运行时, 对两区域模型引入阶跃负荷扰动, 模拟大规模随机扰动情况. 对Q, Q (
$\lambda $ ), Q ($\sigma $ ), PDWoLF-PHC($\lambda $ ), DQ ($\sigma,\lambda $ )五种算法的控制器引入了时长9 000 s、幅值1 000 kW的阶跃负荷扰动进行仿真对比分析. 图6为A区域分别基于5种智能算法的AGC控制器的控制性能指标, 图6(a)是联络线交换功率偏差变化曲线, 各算法Ptie分别为9.7430 kW、1.5367 kW、0.6725 kW、0.6296 kW、0.4514 kW, DQ ($\sigma,\lambda $ )控制器所产生的交换功率偏差最小. 图6(b)是5种算法频率变化曲线对比效果图, 各算法|${\Delta}{f}|$ 分别为0.0047 Hz、0.0016 Hz、0.0014 Hz、0.0014 Hz、0.0008 Hz, 相较于其他算法, DQ ($\sigma,\lambda $ )的|${\Delta}{f}|$ 降低了42.85%$\sim $ 82.97%. 图6(c)为10 min ACE的平均值, 各算法值分别为19.8983 kW、4.4539 kW、3.3934 kW、3.4009 kW、2.5961 kW, DQ ($\sigma,\lambda $ )的ACE降低了23.66%$\sim $ 86.95%. 图6(d)为10 min CPS1的平均值变化曲线, 5种算法值分别是199.4404%、199.8431%、199.8849%、199.8998%、199.9122%, DQ ($\sigma ,\lambda$ )的CPS1提高了0.0062%$\sim $ 0.2365%.为考虑更加实际的运行情况, 进一步验证所提算法的控制性能. 通过引入随机白噪声(噪声功率: 10000 kW; 检测周期: 60 s; seed: 23341)作为负荷扰动, 模拟接入未知的分布式新能源的随机负荷扰动情况, 以5小时的负荷扰动为考核周期, 测试DQ (
$\sigma,\lambda $ )、PDWoLF-PHC ($\lambda $ )、Q ($\sigma $ )、Q ($\lambda $ )、Q等5种控制器的性能. 图7为上述5种智能算法在A区域的各项性能考核指标, DQ ($\sigma,\lambda $ )能降低|Δf | 28.17%$\sim $ 57.73%, 减少|ACE| 6.63%$\sim $ 33.85%. 仿真结果表明, DQ ($\sigma,\lambda $ )在能源出力不确定、负荷随机波动的情况下仍然能保持稳定的控制效果.3.2 分布式多区域多能微网群协同AGC模型
综合能源系统作为能源互联网的物理载体, 能够利用其多能互补的优势, 对不同类型的能源进行协调管理和分配, 在满足用户多种能源需求的同时, 进一步减少温室气体排放、提高能源综合利用率和降低能源供应成本. 在传统模式下, 多区域综合能源系统由于地理位置分散, 往往都是独立运行, 彼此间缺乏协调控制, 容易存在资源配置不合理等问题.
因此, 本文搭建了融入大量新能源的分布式多区域(以3区域为例)多能微网群协同AGC模型, 以验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 模型中包括光伏、风电、小水电、微型燃气轮机、柴油发电机储、生物质能、燃料电池[31-33], 其拓扑结构如图8, 模型参数如表1. 其中Area 1和Area 3模型参数和机组参数相同, 3区域的调节功率分别为2 350 kW、2 590 kW和1 840 kW, 表2为AGC机组的参数. 其中, 光伏发电、风电和电动汽车不参与系统调频, 仅作负荷扰动处理.表 1 模型传递函数的参数Table 1 Parameters of the model transfer function机组 参数 数值 小水电机组 二次时延TSH 3 伺机电动机时间常数TP 0.04 伺机增益KS 5 永态转差系数RP 1 复位时间TR 0.3 暂态转差系数RT 1 闸门最大开启率Rmaxopen/(pu/s) 0.16 闸门最大关闭率Rmaxclose/(pu/s) 0.16 机组启动时间TWH 1 生物发电机组 二次时延TSB 10 调速器的时间常数TGB 0.08 蒸汽启动时间TWB 5 机械启动时间TMB 0.3 微型燃气轮机机组 二次时延TSM 5 燃油系统滞后时间常数T1 0.8 燃油系统滞后时间常数T2 0.3 负荷限制时间常数T3 3 温度控制环路增益KT 1 负荷限制Lmax 1.2 燃料电池机组 二次时延TSF 2 调速器的时间常数TF 10.056 逆变器增益KF 9.205 柴油发电储能机组 二次时延TSD 7 调速器的时间常数TGD 2 蒸汽启动时间TWF 1 机械启动时间TMD 3 表 2 AGC机组参数Table 2 AGC unit parameters区域 类型 机组序号 $\Delta P_{\rm{in}}^{\max }$
(kW/s)$\Delta P_{\rm{in}}^{\min }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate }+ }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate} - }$
(kW/s)区域1和区域3 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 G7 100 − 100 7 − 7 微型燃气轮机 G8 100 − 100 1.2 − 1.2 G9 100 − 100 1.2 − 1.2 G10 150 − 150 1.8 − 1.8 G11 150 − 150 1.8 − 1.8 燃料电池 G12 200 − 200 7 − 7 G13 200 − 200 7 − 7 G14 150 − 150 6 − 6 G15 150 − 150 6 − 6 区域2 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 柴油发电机储 G7 250 − 250 2 − 2 G8 250 − 250 2 − 2 G9 120 − 120 1 − 1 G10 120 − 120 1 − 1 生物质能 G11 200 − 200 3 − 3 G12 200 − 200 3 − 3 G13 200 − 200 3 − 3 G14 200 − 200 3 − 3 考虑到众多新能源的间歇性和强随机性, 再通过引入随机负荷(幅值1000 kW, 周期300 s)信号模拟真实电网环境中所面临的不确定性, 进行24小时实时仿真, 验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 分别针对嵌入了DQ ($\sigma ,\lambda$ ), PDWoLF-PHC ($\lambda $ ), Q ($\sigma $ ), Q ($\lambda $ ), Q等5种算法的控制器进行仿真. 图9为各控制器输出曲线(方便效果对比, 仅截取前2 000 s). 相较其他算法, DQ ($\sigma,\lambda $ )控制器仿真曲线更加平滑、收敛速度更快; 图10为频率曲线, 上述5种算法最大频率偏差分别为0.17 Hz、0.12 Hz、0.18 Hz、0.17 Hz、0.06 Hz均满足实际工程要求, 可各控制器A区域24小时|Δf |分别为0.0005 Hz、0.0013 Hz、0.0017 Hz、0.0027 Hz、0.0045 Hz, 对比可知所提算法频率调整效果最优调整时间更短; 图11为区域联络线功率偏差曲线, Ptie-max (最大联络线交换功率偏差)分别为22 kW、108 kW、18 kW、27 kW、99 kW, 除Q ($\sigma $ )算法, 均能在之后保持在3 kW的范围内. 此外, A区域24小时的CPS1分别为199.9807%、199.9338%、199.9201%、199.7749%、199.4645%, ACE分别为0.8673 kW、1.6622 kW、2.5792 kW、4.6971 kW、5.6927 kW. 上述指标进一步证明, 相较于其他传统算法, DQ$(\sigma,\lambda) $ 算法不仅均满足控制性能标准(如第3.1.1节所述), 能实现各自区域内的电热功率平衡, 具有最优控制性能, 进而能够对分布式多区域多能微网群进行协同控制. 同时, 多区域协同控制能够使区域间能量互补, 有效地缓和储能设备的运行压力, 提高了多区域综合能源系统的灵活性和可靠性, 提高资源的利用率.4. 结论
为了对综合能源模式下的分布式多区域进行协同控制, 本文搭建了融入大量分布式能源的分布式多区域多能微网群协同的AGC模型, 并针对该模型提出了一种多智能体协同的DQ (
$\sigma,\lambda $ )控制算法.所提算法融入了资格迹, 不仅用于解决强化学习的时间信度分配问题, 而且“后向估计”机理提供了一个逼近最优值函数Q*的渐进机制, 可提高AGC机组功率调节快速性; 同时为解决策略探索过程中动作值的高估, 所提算法在Q(
$\sigma,\lambda $ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习.通过对改进的IEEE标准两区域负荷频率控制模型以及分布式3区域多能微网AGC模型进行仿真, 结果显示, 与其他智能算法相比, 所提算法能提高收敛速度93.92%
$\sim $ 98.98%; 在能源出力不确定、负荷随机波动的情况下, DQ ($\sigma,\lambda $ ) 仍能保持稳定的控制效果, 区域|Δf|降低61.54%$\sim $ 88.89%、区域联络线功率偏差降低18.51%$\sim $ 79.62%、CPS1提高0.023%$\sim $ 0.25%、ACE降低47.82%$\sim $ 84.76%, 能获得综合能源模式下分布式多区域协同. -
表 1 模型传递函数的参数
Table 1 Parameters of the model transfer function
机组 参数 数值 小水电机组 二次时延TSH 3 伺机电动机时间常数TP 0.04 伺机增益KS 5 永态转差系数RP 1 复位时间TR 0.3 暂态转差系数RT 1 闸门最大开启率Rmaxopen/(pu/s) 0.16 闸门最大关闭率Rmaxclose/(pu/s) 0.16 机组启动时间TWH 1 生物发电机组 二次时延TSB 10 调速器的时间常数TGB 0.08 蒸汽启动时间TWB 5 机械启动时间TMB 0.3 微型燃气轮机机组 二次时延TSM 5 燃油系统滞后时间常数T1 0.8 燃油系统滞后时间常数T2 0.3 负荷限制时间常数T3 3 温度控制环路增益KT 1 负荷限制Lmax 1.2 燃料电池机组 二次时延TSF 2 调速器的时间常数TF 10.056 逆变器增益KF 9.205 柴油发电储能机组 二次时延TSD 7 调速器的时间常数TGD 2 蒸汽启动时间TWF 1 机械启动时间TMD 3 表 2 AGC机组参数
Table 2 AGC unit parameters
区域 类型 机组序号 $\Delta P_{\rm{in}}^{\max }$
(kW/s)$\Delta P_{\rm{in}}^{\min }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate }+ }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate} - }$
(kW/s)区域1和区域3 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 G7 100 − 100 7 − 7 微型燃气轮机 G8 100 − 100 1.2 − 1.2 G9 100 − 100 1.2 − 1.2 G10 150 − 150 1.8 − 1.8 G11 150 − 150 1.8 − 1.8 燃料电池 G12 200 − 200 7 − 7 G13 200 − 200 7 − 7 G14 150 − 150 6 − 6 G15 150 − 150 6 − 6 区域2 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 柴油发电机储 G7 250 − 250 2 − 2 G8 250 − 250 2 − 2 G9 120 − 120 1 − 1 G10 120 − 120 1 − 1 生物质能 G11 200 − 200 3 − 3 G12 200 − 200 3 − 3 G13 200 − 200 3 − 3 G14 200 − 200 3 − 3 -
[1] Meng L X, Savaghebi M, Andrad F, Vasquez J C, Guerrero J M, Graells M. Microgrid central controller development and hierarchical control implementation in the intelligent microgrid lab of Aalborg University. In: Proceedings of the 2015 IEEE Applied Power Electronics Conference and Exposition (APEC), Charlotte, NC, USA: IEEE, 2015. 2585−2592 [2] Brijesh P, Jiju K, Dhanesh P R, Joseph A. Microgrid for sustainable development of remote villages. In: Proceedings of the 2019 IEEE Region 10 Conference, Kochi, India: IEEE, 2019. 2433−2438 [3] Wang J, Cisse B M, Brown D, Crabb A. Development of a microgrid control system for a solar-plus-battery microgrid to support a critical facility. In: Proceedings of the 2017 IEEE Power and Energy Society Innovative Smart Grid Technologies Conference (ISGT), Washington, DC, USA: IEEE, 2017. 1−5 [4] Suyanto H, Irawati R. Study trends and challenges of the development of microgrids. In: Proceedings of the 6th IEEE International Conference on Advanced Logistics and Transport (ICALT), Bali, Indonesia: IEEE, 2017. 160−164 [5] Behera A, Panigrahi T K, Ray P K, Sahoo A K. A novel cascaded PID controller for automatic generation control analysis with renewable sources. IEEE/CAA Journal of Automatica Sinica, 2019, 6(6): 1438−1451 doi: 10.1109/JAS.2019.1911666 [6] Jagatheesan K, Anand B, Samanta S, Dey N, Ashour A S, Balas V E. Design of a proportional-integral-derivative controller for an automatic generation control of multi-area power thermal systems using firefly algorithm. IEEE/CAA Journal of Automatica Sinica, 2019, 6(2): 503−515 doi: 10.1109/JAS.2017.7510436 [7] 赵熙临, 林震宇, 付波, 何莉, 徐光辉. 预测优化PID方法在含风电电力系统AGC中的应用. 电力系统及其自动化学报, 2019, 31: 16−22Zhao Xi- Lin, Lin Zhen-Yu, Fu Bo, He Li, Xu Guang-Hui. Application of predictive optimization PID method to AGC of power system with windy power. Journal of Power System and Automation, 2019, 31: 16−22 [8] 谢平平, 李银红, 刘晓娟, 石东源, 段献忠. 基于社会学习自适应细菌觅食算法的互联电网AGC最优PI/PID控制器设计. 中国电机工程学报, 2016, 36(20): 5440−5448Xie Ping-Ping, Li Yin-Hong, Liu Xiao-Juan, Shi Dong-Yuan, Duan Xian-Zhong. Optimal PI/PID controller design of AGC based on social learning adaptive bacteria foraging algorithm for interconnected power grids. Proceedings of the Chinese Society of Electrical Engineering, 2016, 36(20): 5440−5448 [9] Arya Y. A novel CFFOPI-FOPID controller for AGC performance enhancement of single and multi-area electric power systems. ISA Transactions, 2020, 100: 126−135 [10] Xi L, Yu L, Xu Y C, Wang S X, Chen X. A novel multi-agent DDQN-AD method-based distributed strategy for automatic generation control of integrated energy systems. IEEE Transactions on Sustainable Energy, 2019, DOI: 10.1109/TSTE.2019.2958361 [11] 吴新, 史军, 马伟哲, 陈俊斌. 基于极限Q学习算法的微电网自动发电控制. 新型工业化, 2019, 9(4): 22−26Wu Xin, Shi Jun, Ma Wei-Zhe, Chen Jun-Bin. Automatic generation control of micro grid based on extreme Q-learning algorithm. The Journal of New Industrialization, 2019, 9(4): 22−26 [12] 余涛, 梁海华, 周斌. 基于R(λ) 学习的孤岛微电网智能发电控制. 电力系统保护与控制, 2012, 40(13): 7−13 doi: 10.7667/j.issn.1674−3415.2012.13.002Yu Tao, Liang Hai-Hua, Zhou Bin. Smart power generation control for microgrids islanded operation based on R(λ) learning. Power System Protection and Control, 2012, 40(13): 7−13 doi: 10.7667/j.issn.1674−3415.2012.13.002 [13] 吴丽珍, 雷艾虎, 郝晓弘. 基于模型预测控制的孤岛微电网频率二次控制策略. 兰州理工大学学报, 2019, 45(6): 99−107 doi: 10.3969/j.issn.1673−5196.2019.06.018Wu Li-Zhen, Lei Ai-Hu, Hao Xiao-Hong. Secondary control strategy of microgrid frequency of isolated island based on model predictive control. Journal of Lanzhou University of Technology, 2019, 45(6): 99−107 doi: 10.3969/j.issn.1673−5196.2019.06.018 [14] 李文浩. 去中心化多智能体强化学习算法研究[硕士学位论文]. 华东师范大学, 中国, 2019.Li Wen-hao. Decentralized Multi-Agent Reinforcement Learning Algorithm Research. [Master thesis]. East China Normal University, China, 2019. [15] 綦晓. 基于多智能体系统及自抗扰控制理论的微网负荷频率控制策略研究[博士学位论文]. 华北电力大学(北京), 中国, 2019.Qi Xiao. Research on Microgrid Load Frequency Control Strategy Based on Multi-Agent System and Active Disturbance Rejection Control Algorithm [Ph.D. dissertation]. North China Electric Power University, China, 2019. [16] 曹倩. 多智能体系统一致性算法及其在微网中的应用[博士学位论文]. 电子科技大学, 中国, 2016.Cao Qian. Consensus Algorithms Of Multi-Agent Systems And Its Application On Micro-Grid [Ph.D. dissertation]. University of Electronic Science and Technology of China, China, 2016. [17] 衣楠. 微网分布式协调控制系统设计及仿真实现[硕士学位论文]. 华北电力大学, 中国, 2014.Yi Nan. Design and Simulation of Microgrid Distributed Coordination Control System [Master thesis]. North China Electric Power University, China, 2014. [18] 李楠芳. 基于多智能体技术的微电网控制算法的研究[硕士学位论文]. 华北电力大学, 中国, 2011.Li Nan-Fang. Research on Control Algorithms Based on Multi-agent Technology of Microgrid [Master thesis]. North China Electric Power University, China, 2011. [19] Xi L, Li Y D, Huang Y H, Lu L, Chen J F. A novel automatic generation control method based on the ecological population cooperative control for the islanded smart grid. Complexity, 2018, 2018: 1−17 [20] Watkins C J C H. Learning from Delayed Rewards. [Ph.D. dissertation]. King's College, Cambridge, England, 1989. [21] De Asis K, Hernandez-Garcia J F, Holland G Z, Sutton R S. Multi-step reinforcement learning: A unifying algorithm. AAAI, 2018, arXiv: 1703.01327 [22] Hasselt H V. Double Q-learning. Neural Information Processing Systems 23, Curran Associates, Inc. 2613–2621 [23] Sutton R S. Learning to predict by the methods of temporal differences. Machine Learning, 1988, 3(1): 9–44 [24] Van Seijen H, Van Hasselt H, Whiteson S, Wiering M A. A theoretical and empirical analysis of expected sarsa. In: Proceedings of the 2009 IEEE Symposium Conference on Adaptive Dynamic Programming and Reinforcement Learning. 2009. 177−184 [25] Jaleeli N, Vanslyck L S. NERC's new control performance standards. IEEE Transactions on Power Systems, 1999, 14(3): 1091−1099 [26] Zhang X S, Yu T, Pan Z N, Yang B, Bao T. Lifelong learning for complementary generation control of interconnected power grids with high-penetration renewables and EVs. IEEE Transactions on Power Systems, 2018, 33(4): 4097−4110 doi: 10.1109/TPWRS.2017.2767318 [27] 黄际元. 储能电池参与电网调频的优化配置及控制策略研究[博士学位论文]. 湖南大学, 中国, 2015.Huang Ji-Yuan. Study on Optimal Allocation and Control Strategy Design of Battery Energy Storage System for Power Grid Frequency Regulation [Ph.D. dissertation]. Hunan University, China, 2015. [28] Sun Q Y, Huang B N, Li D S, Ma D H, Zhang Y B. Optimal placement of energy storage devices in microgrids via structure preserving energy function, IEEE Transactions on Industrial Informatics, 2016, 12(3): 1166−1179 [29] Xu D, Wu Q, Zhou B, Li C, Bai L, Huang S. Distributed multi-energy operation of coupled electricity, heating and natural gas networks, IEEE Transactions on Sustainable Energy, 2019, DOI: 10.1109/TSTE.2019.2961432 [30] Yu T, Zhou B, Chan K W, Chen L, Yang B. Stochastic optimal relaxed automatic generation control in non-Markov environment based on multi-step Q (λ) learning. IEEE Transactions on Power Systems, 2011, 26 (3): 1272−1282 [31] Sun Q Y, Han R K, Zhang H G, Zhou J G, Guerrero J M. A multi-agent-based consensus algorithm for distributed coordinated control of distributed generators in the energy internet. IEEE Transactions on Smart Grid, 2015, 6(6): 3006−3019 doi: 10.1109/TSG.2015.2412779 [32] Saha A K, Chowdhury S, Chowdhury S P, Crossley A. Modelling and simulation of microturbine in islanded and grid-connected mode as distributed energy resource. In: Proceedings of the 2008 IEEE Power and Energy Society General Meeting-Conversion and Delivery of Electrical Energy in the 21st Century. Pittsburgh, PA, USA: IEEE, 2008. 1−7 [33] Zhang X S, Li Q, Yu T, Yang B. Consensus transfer Q-learning for decentralized generation command dispatch based on virtual generation tribe. IEEE Transactions on Smart Grid, 2018, 9(3): 2152−2165 期刊类型引用(10)
1. 周博奇,柳丹,席磊,李彦营. 基于超松弛双Q学习的源荷储协同频率稳定算法研究. 中国电机工程学报. 2024(04): 1419-1430 . 百度学术
2. 张彬文,王新迎,李烨,闫冬. 基于双层功率分配的智能配电网协同优化策略. 高电压技术. 2024(07): 3029-3038 . 百度学术
3. 陈宋宋,张路涛,周颖,陈珂,王忠东,席磊. 面向新能源并网的分布式AGC协同算法. 南方电网技术. 2023(04): 58-68 . 百度学术
4. 席磊,杜雄,李彦营,李浩恺. 基于具有强化学习思想的集成学习自动发电控制算法. 南方电网技术. 2023(07): 74-82 . 百度学术
5. 解立辉,席磊. 强化学习在自动发电控制中的研究进展与展望. 三峡大学学报(自然科学版). 2023(05): 133-141 . 百度学术
6. 胡逸,王锡淮,肖健梅. 基于改进灰狼优化算法的多区域频率协同控制. 控制工程. 2023(09): 1630-1639+1657 . 百度学术
7. 李彦营,席磊,郭宜果,王昱昊,孙梦梦,金澄心. 基于权重双Q-时延更新学习算法的自动发电控制. 中国电机工程学报. 2022(15): 5459-5471 . 百度学术
8. 席磊,孙梦梦,陈宋宋,朱继忠,孙秋野,刘宗静. 面向分布式电网的多区域协同控制方法研究. 电机与控制学报. 2021(12): 75-86 . 百度学术
9. 张化光,孙宏斌,刘德荣,王剑辉,孙秋野. “分布式信息能源系统”专题特约主编寄语. 中国电机工程学报. 2020(17): 5401-5403 . 百度学术
10. 滕菲,单麒赫,李铁山. 智能船舶综合能源系统及其分布式优化调度方法. 自动化学报. 2020(09): 1809-1817 . 本站查看
其他类型引用(9)
-