-
摘要: 虽然深度神经网络 (Deep neural networks, DNNs) 在许多任务上取得了显著的效果, 但是由于其可解释性 (Interpretability) 较差, 通常被当做“黑盒”模型. 本文针对图像分类任务, 利用对抗样本 (Adversarial examples) 从模型失败的角度检验深度神经网络内部的特征表示. 通过分析, 发现深度神经网络学习到的特征表示与人类所理解的语义概念之间存在着不一致性. 这使得理解和解释深度神经网络内部的特征变得十分困难. 为了实现可解释的深度神经网络, 使其中的神经元具有更加明确的语义内涵, 本文提出了加入特征表示一致性损失的对抗训练方式. 实验结果表明该训练方式可以使深度神经网络内部的特征表示与人类所理解的语义概念更加一致.Abstract: Deep neural networks (DNNs) have demonstrated impressive performance on many tasks, but they are usually considered opaque due to their poor interpretability. In this paper, we examine the internal representations of DNNs on image classification tasks using adversarial examples, which enable us to analyze the interpretability of DNNs in the perspective of their failures. Based on the analyses, we find that the learned features of DNNs are inconsistent with human-understandable semantic concepts, making it problematic for understanding and interpreting the representations inside DNNs. To realize interpretable deep neural networks, we further propose an adversarial training scheme with a consistent loss such that the neurons are endowed with the human-interpretable concepts to improve the interpretability of DNNs. Experiments show that the proposed method can make the features in DNNs more consistent with semantic concepts.
-
发展新能源能够解决化石燃料燃烧引起的环境恶化问题, 集成了源、荷、气、热、储等多种分布式能源[1]的综合能源系统[2-3]势在必行, 但规模化的分布式新能源并网将带来强随机扰动, 以及由于传统机组惯性降低、缺乏辅助频率支持、调频容量不足等引起的频率失稳问题[4], 给现代电力系统的运行和控制提出了新的挑战. 因此, 本文从自动发电控制(Automatic generation control, AGC)角度面向多区域多能微网群提出一种新的频率控制方法以实现多区域协同控制.
当前AGC控制方法主要分为传统解析式和机器学习两大类. 基于传统解析式的控制方法, 以PID控制方法为代表[5-6]. 文献[7]提出了基于灰狼优化算法的分数阶PID控制器参数优化整定方案, 解决了网络化时滞互联电网的负荷频率控制(Load frequency control, LFC)问题. 文献[8]提出了一种基于社会学习自适应细菌觅食算法的最优PI/PID控制器设计方法, 以解决互联电网AGC控制器参数优化整定问题. 文献[9]提出了基于随机帝国竞争算法的级联模糊分数阶CFFOPI–FOPID控制器, 以解决AGC问题. 传统控制方法主要根据区域控制偏差误差(Area control error, ACE)单一化地确定总调节功率, 控制机组出力. 然而电力系统新形态下区域间互动变化灵活, 需要根据长期历史数据进行学习、分析、存储, 以对多区域进行协同控制[10].
随着人工智能的崛起, 一些学者将人工智能方法应用于AGC, 试图解决上述问题. 基于人工智能的强化学习能够通过与环境探索试错积累经验分析获取最优策略, 机器学习体系应用在AGC, 尤以基于强化学习的Q学习应用最为广泛. 文献[11]基于Q学习提出了一种改进的极限Q学习算法, 对微电网的下垂控制进行参数整定, 从而实现频率调节与经济调度的一体化. 文献[12]提出了一种孤岛运行模式下基于平均报酬模型的多步R(
$\lambda $ )算法的AGC控制器, 以实现对微电网的智能发电控制与频率调整. 文献[13]提出了一种基于模型预测控制的孤岛微电网频率二次控制策略, 以解决不确定延时对系统频率的影响, 并采用小信号模型和参与因子分析系统的稳定性. 然而上述文献为单区域模型, 同样算法也为单智能体算法, 这种无多区域协同的模式, 可等效看作“集中式”控制, 无法满足日益发展的综合能源模式下分布式多区域协同发展趋势.多智能体强化学习是解决多智能体系统问题的一种有效方法, 而协作多智能体强化学习专注于解决协作问题. 协作多智能体强化学习与分布式优化有非常密切的联系, 因此求解分布式优化的高效最优化方法可以引入求解协作多智能体强化学习问题[14]. 文献[15]针对多区域互联微网系统, 结合线性自抗扰控制算法和基于原对偶梯度算法的多智能体系统, 提出了一种新的分布式优化控制算法, 有效地结合系统动态特性与优化过程解决负荷频率控制问题. 文献[16]在微网分层控制结构的框架下, 提出多智能体自适应控制算法, 使频率恢复额定值, 且有功功率按各分布式电源的额定功率比例分配. 文献[17]在Q学习基础上提出了一种面向混合交互环境的基于多智能体系统（Multi-agent system, MAS）和元胞自动机的微网分布式协调自趋优控制策略, 调节微源的有功和无功出力及系统频率. 文献[18]提出一种基于多智能体微电网控制框架的多智能体协作学习算法, 有效管理微网中的微电源促使微网协调控制. 文献[19]面向分布式能源提出一种基于虚拟狼群控制策略的分层分布式控制—PDWoLF-PHC (
$\lambda $ ), 算法中融入资格迹[20], 能够解决算法的时间信度分配问题, 以提高算法收敛速度, 进而来获得区域的最优控制. 然而上述的控制算法均为基于传统强化学习算法, 此类算法在随机环境中容易出现动作值在探索过程中的“高估”现象, 会导致决策质量低. 且上述算法均属于离策略, 其面临的主要问题是离策略算法难以收敛、收敛速度慢以及收敛精度低.因此, 为解决上述问题, 通过引入参数
$\sigma $ 统一离策略与在策略的优缺点, 提出了基于“将各种看似不同的算法思想联合统一以产生更好的算法”思想的Q$(\sigma) $ 算法[21]. 为解决随机环境中传统强化学习算法的高估动作值, 提高算法收敛速度, 以实现多区域电力系统协同控制, 本文根据协作多智能体强化学习在Q$(\sigma) $ 算法基础上融入资格迹与双重学习[22], 提出了一种基于多步统一强化学习的多智能体协同DQ$(\sigma ,\lambda)$ 控制算法. 算法中固有的偏差与方差权衡主要取决于参数$\sigma, $ 当$\sigma=0 $ 时, DQ$(\sigma,\lambda )$ 处于全采样Double Q$(\lambda) $ 算法; 当$\sigma=1 $ 时, DQ$(\sigma ,\lambda)$ 处于纯期望Double Expected-Sarsa$(\lambda )$ 算法; 当$\sigma=0.5 $ 时, DQ$(\sigma ,\lambda)$ 处于采样和期望的混合算法. 通过对改进的IEEE标准两区域负荷频率控制模型以及分布式三区域多能微网AGC模型进行仿真, 验证所提算法的有效性.1. DQ (
${{\sigma}} {{,}}{{\lambda}}$ )算法由于传统强化学习过度追求长期折扣回报奖励最大, 在策略往往选择对应最大Q值的动作, 使策略探索过程出现动作值的高估, 进而产生累积高偏差, 影响智能体学习到最优策略. 为此, 本文根据协作多智能体强化学习在Q(
$\sigma$ )算法基础上, 融入了资格迹及双重学习, 进而提出一种新型DQ($\sigma,\lambda $ ), 通过解决传统强化学探索过程中动作值高估问题, 进而获得分布式多区域多能微网群的协同控制.1.1 Q (
${{\sigma}}$ )学习算法时间差分学习(Temporal-difference learning, TD)[23]是无模型强化学习中最重要的策略之一, TD方法结合了蒙特卡罗方法和动态规划的优点, 适用于无模型、持续进行的任务. 常见TD有Q、Sarsa、Expected-Sarsa[24]等, 其中Q学习应用最广泛. 同样, 文献[21]通过引入采样参数
$\sigma $ , 统一了Sarsa算法(全采样)和Expected-Sarsa算法(纯期望), 提出了一种统一在策略与离策略的TD算法, 即Q ($\sigma $ ).其中, 离策略和在策略主要区别是在策略一般只有一个策略(常用$\varepsilon $ 贪婪策略). 而离策略一般有两个策略, 行为策略(常用$\varepsilon $ 贪婪策略)用于选择新的动作, 目标策略(常用Max贪婪法)用于更新价值函数. 本文所有提及算法所涉及策略均为上述常用策略.Sarsa是一种经典的在策略TD算法, 它将动作值函数作为其估计值, 而非状态值函数. 特别地, 对于在策略算法, 其必须根据当前行为策略与所有状态动作估算最优Q值. Sarsa算法至始至终只使用
$\varepsilon $ 贪婪策略更新价值函数和选择新的动作, 其更新方式如下:$$\qquad\qquad {Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^s$$ (1) $$ \delta _k^s = {R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}}) - {Q_k}({s_k},{a_k}) $$ (2) 其中,
${R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}})$ 称为TD目标, 奖励加上下一个状态和下一个动作的折扣值组成.Expected-Sarsa作为一种离策略学习算法, 可将Q学习算法推广到任意目标政策, 根据目标策略利用下一个状态−动作值对的期望值进行Q值估算:
$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^{es}\qquad\qquad\qquad\qquad$$ (3) $$\begin{split} \delta _k^{es} = &\;{R_{k + 1}} +\gamma \displaystyle\sum\limits_{a \in A} \pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a) -\\ &\; {Q_k}({s_k},{a_k})\\[-14pt] \end{split}\quad \qquad $$ (4) 其中,
$\delta _k^{es}$ 是第k个预期TD误差. 虽然Expected-Sarsa在计算上比Sarsa更复杂, 但作为回报, 它消除了由于下一个动作随机选择而产生的方差. 当经历相同的探索经验, Expected-Sarsa的表现优于Sarsa. 此外, 在步长参数$\alpha $ 的取值范围内, Expected-Sarsa表现比Sarsa有显著改善.当
$0<\sigma<1 $ 时, 性能优于$\sigma =0$ 或1极端情况, 故Q ($\sigma $ )算法是通过采样参数$\sigma $ 在Sarsa ($\sigma=1 $ , 全采样)更新和Expected-Sarsa ($\sigma=0, $ 纯期望)更新之间进行线性加权:$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^\sigma \qquad\qquad\qquad\qquad\;\;$$ (5) $$ \begin{split} \delta _k^\sigma = &{R_{k + 1}} + \gamma [\sigma {Q_k}({s_{k + 1}},{a_{k + 1}}) + \\ &(1 - \sigma )\displaystyle\sum\limits_{a \in A} {\pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a)] - {Q_k}({s_k},{a_k})} \\ \end{split} $$ (6) 式中,
$\delta _k^\sigma $ 是经参数$\sigma $ 加权后的TD误差.1.2 DQ(
${{\sigma ,\lambda}}$ )算法以离散时间马尔科夫决策过程为数学基础, 基于Q (
$\sigma $ )算法并融入资格迹, 提出了一种新颖的快速多步算法Q ($\sigma ,\lambda$ ), 以解决Q ($\sigma $ )的时间信度分配问题, 进而可提高AGC机组功率调节快速性. 其TD目标是Sarsa和Expected-Sarsa的加权, 其中参数$\sigma $ 为控制权重. 当$\sigma =0$ 时, Q ($\sigma ,\lambda$ )的目标等于Q ($\lambda $ )目标, 因此资格迹更新减少到标准累积资格迹更新. 当$\sigma=1 $ 时, Q ($\sigma,\lambda $ )的目标等于Expected-Sarsa ($\lambda $ )目标, 资格迹是目标策略当前动作概率的线性加权. 资格迹更新方式为$$ \begin{split} {e_k}&(s,a) =\; \gamma \lambda {e_{k - 1}} (s,a)\times\\ &[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})] + 1, \\ & \quad \quad\quad\quad\quad\quad{Q_{k - 1}}({s_k},{a_k}) = {\max _a}{Q_{k - 1}}({s_k},a) \end{split} $$ (7) $$ \begin{split} {e_k}& (s,a) =\;\gamma \lambda {e_{k - 1}}(s,a)\times\\ &\;[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})],\quad\quad\quad\quad\quad\quad\! {\text{其他}} \end{split} $$ (8) Q(
$\sigma,\lambda $ )的迭代更新式为$$ {Q_k}({s_k},{a_k}) = {Q_k}({s_k},{a_k}) + \alpha \delta _k^\sigma {e_k}(s,a) $$ (9) 同时, 为了解决本文的核心问题, 即策略探索过程中动作值高估问题, 在Q (
$\sigma ,\lambda$ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习, 进而形成Double Q ($\sigma,\lambda $ ), 下面简称DQ ($\sigma,\lambda $ ). 本文中使用两个不同的值函数${Q_A}$ 和${Q_B}$ 替代单一值函数$Q$ , 对${Q_A} + {Q_B}$ 使用行为策略并对动作进行采样, 在每次迭代中随机更新值函数${Q_A}$ 与${Q_B}$ :$$ {Q_A}({s_k},{a_k}) = {Q_A}({s_k},{a_k}) + \alpha \delta _k^A{e_k}(s,a) $$ (10) $$ {Q_B}({s_k},{a_k}) = {Q_B}({s_k},{a_k}) + \alpha \delta _k^B{e_k}(s,a) $$ (11) 当更新
${Q_A}$ 或${Q_B}$ 时, DQ ($\sigma ,\lambda$ )的TD误差则按以下方式进行更新:$$ \begin{split} \delta _k^A = &\;{R_{k + 1}} + \gamma [\sigma {Q_B}({s_{k + 1}},{a_{k + 1}}) +\\ & \; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_B}({s_{k + 1}},a)] - {Q_A}({s_k},{a_k})} \\ \end{split} $$ (12) $$ \begin{split} \delta _k^B = &\;{R_{k + 1}} + \gamma [\sigma {Q_A}({s_{k + 1}},{a_{k + 1}}) +\\ &\; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_A}({s_{k + 1}},a)] - {Q_B}({s_k},{a_k})} \\ \end{split} $$ (13) 其中,
$\delta _k^A$ 为更新时${Q_A}$ 产生的TD误差,$\delta _k^B$ 为更新${Q_B}$ 时产生的TD误差,$\gamma $ 为折扣因子$\pi (a|{s_{k + 1}})$ 是将状态映射到动作概率的动作函数.2. 基于DQ(
${{\sigma ,\lambda}}$ )算法的AGC设计基于DQ (
$\sigma,\lambda $ )的多能微网群分布式多区域多智能体协同控制架构如图1所示, 智能体全面感知源−网−荷−储设备运行信息. 对于多区域互联电网联络线和频率偏差模式下的AGC, 国内外常用的评估方法是北美电力可靠性委员会提出的CPS标准[25].
图 1 多能微网群多区域协同控制架构Fig. 1 Multi-energy microgrid group multi-region cooperative control architecture2.1 AGC奖励函数
本文将以CPS、ACE、频率偏差作为综合目标函数以获取最优AGC机组出力, 进而在最优AGC控制策略下达到系统功率平衡. 基于DQ (
$\sigma,\lambda $ )的AGC控制器某i区域的综合奖励函数表示为$$ {R_i}(k) = {\tau _i},\;\;\;\;{\tau _i} \ge 0,\;\;\;{C_{\rm{CPS}1}}_i(k) \ge 200\quad\quad\quad $$ (14) $$ \begin{split} {R_i}(k) = &\; - \{ {\omega _{1i}}{[{E_{{{\rm{ACE}}i}}}(k) - E_{{{\rm{ACE}}i}}^*]^2} +\\ &\; {\mu _{1i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{\rm{{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad{C_{{{\rm{CPS}}}1i}}(k) \in [100,200) \end{split} $$ (15) $$ \begin{split} {R_i}(k) = & - \{ {\omega _{2i}}{[{C_{{{\rm{CPS}}}1i}}(k) - C_{{{\rm{CPS}}}1i}^*]^2} + \\ & {\mu _{2i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{{\rm{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad\quad\quad\;{C_{{{\rm{CPS}}}1i}}(k) < 100 \end{split} $$ (16) 其中,
${\tau _i}$ 为任意非负数, 本文取0;${C_{{\rm{{CPS}}}1i}} \;(k)$ 与${E_{{\rm{{ACE}}}i}}\; (k)$ 分别为CPS1和ACE在第k步迭代时刻的瞬时值;${a_{{\rm{{ord}}} - i}}\;(k)$ 为k时刻的控制动作集A的指针;$a_{{{\rm{ord}}} - i}^*$ 即功率控制动作为0时的指针, 引入动作变化项, 是为了限制控制器输出功率指令频繁大幅度升降引起的系统振荡和经济代价;${\omega _{1i}},{\omega _{2i}}$ 和${\mu _{1i}},{\mu _{2i}}$ 分别为状态输入和控制动作的优化权值, 相当于线性二次型调节器控制性能指标中的Q和R权值参数[26];$C_{{{\rm{CPS}}}1i}^*$ 为CPS1指标控制期望值;${\rm{E}}_{{{\rm{ACE}}}i}^*$ 为ACE控制期望值.2.2 参数设置及算法流程
AGC控制系统的设计需要对系统参数进行合理的设置, 其中:
1)学习率
$\alpha \;(0 < \alpha<1),\alpha$ 表示要给改善的算法更新部分多少信任度, 较大的$\alpha $ 值会加快DQ$(\sigma,\lambda) $ 算法的收敛速度, 而较小的$\alpha $ 值能保证控制器的搜索空间, 从而提高DQ ($\sigma,\lambda $ )算法收敛的稳定性, 本文$\alpha $ 取为0.1.2)折扣因子
$\gamma $ (0<$\gamma $ <1), 函数的未来奖励的衰减值, 当$\gamma $ 趋向于1时, 考虑长期奖励, 当$\gamma $ 趋近于零时, 只能看到当前奖励. 本文$\gamma $ 取为0.9.3)资格迹衰退系数
$\lambda $ (0<$\lambda$ <1), 其主要作用是在状态−动作对中分配信誉, 影响收敛速度, 本文$\lambda $ 取为0.95.4)控制采样权重
$\sigma $ (0<$\sigma $ <1), 具有中等$\sigma $ 的Q ($\sigma $ )可以胜过Double Q ($\lambda $ )、Double Expected Sarsa ($\lambda $ )和Double Sarsa ($\lambda $ )算法. 本文参数$\sigma $ 取为0.5.5)探索率
$\varepsilon $ (0<$\varepsilon$ <1), 策略以1−$\varepsilon $ 的概率选择当前最大值的动作, 以$\varepsilon $ 的概率随机选择新动作. 本文仿真预学习时$\varepsilon $ 取0.5, 在线运行时$\varepsilon $ 取0.9. DQ ($\sigma,\lambda$ )的算法流程如图2所示.3. 仿真研究
3.1 改进的IEEE标准两区域负荷频率控制模型
将电池储能系统(Battery energy storage system, BESS)[27-28] (如图3)融入IEEE标准两区域负荷频率控制模型[29], 改进后的模型如图4所示. 其中, Pref 为储能系统目标指令; Preq为经过并网能量转换系统和响应延时后的功率需求; TPCS、TDB分别为并网能量转换环节和响应延时−时间转换环节的时间常数; Ts为仿真时间与实际时间关系的转换系数;
$P′_{\rm{BESS}} $ , PBESS, SSOC分别为经过电池储能电源后的有功功率、实际的有功功率、荷电状态; KT为积分电量计算时间常数, 其值与仿真时间步长相关; EB为储能系统额定容量; SSOCinit为储能荷电状态初始值; f (SSOC)描述了储能输出功率与荷电状态的映射关系. Bi为各区域的频率偏差因子,${\Delta}{P_G}$ 为发电机输出功率, Tg为调速器时间常数, Tt为汽轮机组时间常数, Tp为频率响应等效函数系数, Ts为二次时间延时, Kp为频率响应等效函数系数, T12为联络线时间常数,${\Delta}{P_{tie}}$ 为联络线交换功率. 采样周期为4 s, TPCS = 0.01 s, TDB = 0 s, Ts = 1 s; 荷电状态限幅环节的控制区间为(10, 90); 荷电状态理想运行区间设定为[30, 70], 仿真初始储能荷电状态为50%.
图 4 改进的IEEE标准两区域负荷频率控制模型Fig. 4 Improved IEEE standard two-area load frequency control model在线运行之前, DQ (
$\sigma,\lambda $ )需进行充分的预学习, 即通过随机探索试错训练, 使控制器收敛于最优策略${{\pi}^*}$ , 再投入到真实仿真环境参与在线优化运行. 而对于多能微网群的控制性能, 可通过CPS、联络线交换功率偏差Ptie、频率偏差${\Delta}{f}$ (合格范围±($0.05\sim 0.2 $ ) Hz)进行评估. 为兼顾互联区域的频率稳定性和本区域的经济性, 取CPS1接近而不是大于200%为最优. CPS标准具体如下:1) 若CPS1≥ 200%, 且CPS2为任意值, CPS指标合格;
2) 若100% ≤ CPS1< 200%, 且CPS2 ≥ 90%, CPS指标合格;
3) 若CPS1< 100%, CPS指标不合格.
3.1.1 正弦负荷离线预学习
在预学习阶段, 引入正弦负荷扰动(周期1 200 s, 幅值1 000 kW, 时长10 000 s), 对DQ
$(\sigma,\lambda) $ 进行训练探索使其收敛于最优策略. 图5给出了DQ$(\sigma,\lambda) $ 控制器负荷扰动下两区域预学习性能指标, 由图5(a)可见两区域DQ$(\sigma,\lambda) $ 控制器在2 000 s以内基本可以跟踪负荷扰动曲线. 图5(b)为联络线交换功率偏差变化曲线, 两区域Ptie (交换功率偏差绝对值的平均值)为1.2255 kW. 图5(c)是扰动下的频率变化曲线, 两区域的${\Delta}f_{\rm{{max}}}$ (最大频率偏差)分别为0.049 Hz和0.055 Hz, 远小于实际工程要求0.2 Hz, 可见控制器具有较强的稳定性. 图5(d)为两区域EAVE-10-min (10 min ACE的平均值)的学习曲线, 其值分别为1.7214 kW、1.9864 kW, ACE的10 min考核指标值始终保持在2 kW (2‰)以内. 图5(e)为A、B两区域CPS1AVE-10-min (10 min CPS1的平均值)在学习过程的变化曲线, A、B区域的CPS1AVE-10-min分别是199.4934%、199.2681%, CPS1的10 min考核指标值保持在185%以上.另外, 在最优策略中, 选择2范数
$| | {Q_k}\left( {s,{\rm{ }}a} \right) −$ ${Q_{k - 1}}\left ( {s,{\rm{ }}a} \right) | |^2 \le \varsigma\; (\varsigma =0.0001$ 为指定标准)作为预学习达到最优策略的终止标准[30], 图5(f)中为预学习期间A区域Q函数差分的收敛结果. DQ ($\sigma,\lambda $ )收敛于第255步(仿真步长为4, 即预学习需1004 s). 基于全球微波互联无线通信技术, 每次信息传输和迭代计算所需时间为1 ms, 即系统的调节时间为 1.004 s, 满足实际电网AGC系统4 s的时间尺度要求. 图5(g)为引入Q, Q$(\lambda), $ Q$(\sigma ),$ PDWoLF-PHC$(\lambda )$ 智能算法的对比收敛效果, 由图可知DQ ($\sigma,\lambda $ )算法可提高收敛速度93.92%$\sim $ 98.98%. 综上表明, 在经过大量的训练探索后, DQ ($\sigma,\lambda $ )控制器已逼近确定性最优CPS控制策略, 可将DQ($\sigma,\lambda $ )控制器投入真实环境运行.3.1.2 阶跃、随机白噪声负荷在线运行
在线运行时, 对两区域模型引入阶跃负荷扰动, 模拟大规模随机扰动情况. 对Q, Q (
$\lambda $ ), Q ($\sigma $ ), PDWoLF-PHC($\lambda $ ), DQ ($\sigma,\lambda $ )五种算法的控制器引入了时长9 000 s、幅值1 000 kW的阶跃负荷扰动进行仿真对比分析. 图6为A区域分别基于5种智能算法的AGC控制器的控制性能指标, 图6(a)是联络线交换功率偏差变化曲线, 各算法Ptie分别为9.7430 kW、1.5367 kW、0.6725 kW、0.6296 kW、0.4514 kW, DQ ($\sigma,\lambda $ )控制器所产生的交换功率偏差最小. 图6(b)是5种算法频率变化曲线对比效果图, 各算法|${\Delta}{f}|$ 分别为0.0047 Hz、0.0016 Hz、0.0014 Hz、0.0014 Hz、0.0008 Hz, 相较于其他算法, DQ ($\sigma,\lambda $ )的|${\Delta}{f}|$ 降低了42.85%$\sim $ 82.97%. 图6(c)为10 min ACE的平均值, 各算法值分别为19.8983 kW、4.4539 kW、3.3934 kW、3.4009 kW、2.5961 kW, DQ ($\sigma,\lambda $ )的ACE降低了23.66%$\sim $ 86.95%. 图6(d)为10 min CPS1的平均值变化曲线, 5种算法值分别是199.4404%、199.8431%、199.8849%、199.8998%、199.9122%, DQ ($\sigma ,\lambda$ )的CPS1提高了0.0062%$\sim $ 0.2365%.
图 6 阶跃负荷扰动下不同算法的性能指标Fig. 6 Performance index of different algorithms under step load disturbance为考虑更加实际的运行情况, 进一步验证所提算法的控制性能. 通过引入随机白噪声(噪声功率: 10000 kW; 检测周期: 60 s; seed: 23341)作为负荷扰动, 模拟接入未知的分布式新能源的随机负荷扰动情况, 以5小时的负荷扰动为考核周期, 测试DQ (
$\sigma,\lambda $ )、PDWoLF-PHC ($\lambda $ )、Q ($\sigma $ )、Q ($\lambda $ )、Q等5种控制器的性能. 图7为上述5种智能算法在A区域的各项性能考核指标, DQ ($\sigma,\lambda $ )能降低|Δf | 28.17%$\sim $ 57.73%, 减少|ACE| 6.63%$\sim $ 33.85%. 仿真结果表明, DQ ($\sigma,\lambda $ )在能源出力不确定、负荷随机波动的情况下仍然能保持稳定的控制效果.
图 7 随机白噪声扰动下不同算法的控制性能Fig. 7 Control performance of different algorithms under stochastic white noise disturbance3.2 分布式多区域多能微网群协同AGC模型
综合能源系统作为能源互联网的物理载体, 能够利用其多能互补的优势, 对不同类型的能源进行协调管理和分配, 在满足用户多种能源需求的同时, 进一步减少温室气体排放、提高能源综合利用率和降低能源供应成本. 在传统模式下, 多区域综合能源系统由于地理位置分散, 往往都是独立运行, 彼此间缺乏协调控制, 容易存在资源配置不合理等问题.
因此, 本文搭建了融入大量新能源的分布式多区域(以3区域为例)多能微网群协同AGC模型, 以验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 模型中包括光伏、风电、小水电、微型燃气轮机、柴油发电机储、生物质能、燃料电池[31-33], 其拓扑结构如图8, 模型参数如表1. 其中Area 1和Area 3模型参数和机组参数相同, 3区域的调节功率分别为2 350 kW、2 590 kW和1 840 kW, 表2为AGC机组的参数. 其中, 光伏发电、风电和电动汽车不参与系统调频, 仅作负荷扰动处理.表 1 模型传递函数的参数Table 1 Parameters of the model transfer function机组 参数 数值 小水电机组 二次时延TSH 3 伺机电动机时间常数TP 0.04 伺机增益KS 5 永态转差系数RP 1 复位时间TR 0.3 暂态转差系数RT 1 闸门最大开启率Rmaxopen/(pu/s) 0.16 闸门最大关闭率Rmaxclose/(pu/s) 0.16 机组启动时间TWH 1 生物发电机组 二次时延TSB 10 调速器的时间常数TGB 0.08 蒸汽启动时间TWB 5 机械启动时间TMB 0.3 微型燃气轮机机组 二次时延TSM 5 燃油系统滞后时间常数T1 0.8 燃油系统滞后时间常数T2 0.3 负荷限制时间常数T3 3 温度控制环路增益KT 1 负荷限制Lmax 1.2 燃料电池机组 二次时延TSF 2 调速器的时间常数TF 10.056 逆变器增益KF 9.205 柴油发电储能机组 二次时延TSD 7 调速器的时间常数TGD 2 蒸汽启动时间TWF 1 机械启动时间TMD 3 表 2 AGC机组参数Table 2 AGC unit parameters区域 类型 机组序号 $\Delta P_{\rm{in}}^{\max }$
(kW/s)$\Delta P_{\rm{in}}^{\min }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate }+ }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate} - }$
(kW/s)区域1和区域3 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 G7 100 − 100 7 − 7 微型燃气轮机 G8 100 − 100 1.2 − 1.2 G9 100 − 100 1.2 − 1.2 G10 150 − 150 1.8 − 1.8 G11 150 − 150 1.8 − 1.8 燃料电池 G12 200 − 200 7 − 7 G13 200 − 200 7 − 7 G14 150 − 150 6 − 6 G15 150 − 150 6 − 6 区域2 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 柴油发电机储 G7 250 − 250 2 − 2 G8 250 − 250 2 − 2 G9 120 − 120 1 − 1 G10 120 − 120 1 − 1 生物质能 G11 200 − 200 3 − 3 G12 200 − 200 3 − 3 G13 200 − 200 3 − 3 G14 200 − 200 3 − 3 
图 8 分布式3区域多能微网群协同AGC模型Fig. 8 Coordinated AGC model of a distributed three-area multi-energy microgrid group考虑到众多新能源的间歇性和强随机性, 再通过引入随机负荷(幅值1000 kW, 周期300 s)信号模拟真实电网环境中所面临的不确定性, 进行24小时实时仿真, 验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 分别针对嵌入了DQ ($\sigma ,\lambda$ ), PDWoLF-PHC ($\lambda $ ), Q ($\sigma $ ), Q ($\lambda $ ), Q等5种算法的控制器进行仿真. 图9为各控制器输出曲线(方便效果对比, 仅截取前2 000 s). 相较其他算法, DQ ($\sigma,\lambda $ )控制器仿真曲线更加平滑、收敛速度更快; 图10为频率曲线, 上述5种算法最大频率偏差分别为0.17 Hz、0.12 Hz、0.18 Hz、0.17 Hz、0.06 Hz均满足实际工程要求, 可各控制器A区域24小时|Δf |分别为0.0005 Hz、0.0013 Hz、0.0017 Hz、0.0027 Hz、0.0045 Hz, 对比可知所提算法频率调整效果最优调整时间更短; 图11为区域联络线功率偏差曲线, Ptie-max (最大联络线交换功率偏差)分别为22 kW、108 kW、18 kW、27 kW、99 kW, 除Q ($\sigma $ )算法, 均能在之后保持在3 kW的范围内. 此外, A区域24小时的CPS1分别为199.9807%、199.9338%、199.9201%、199.7749%、199.4645%, ACE分别为0.8673 kW、1.6622 kW、2.5792 kW、4.6971 kW、5.6927 kW. 上述指标进一步证明, 相较于其他传统算法, DQ$(\sigma,\lambda) $ 算法不仅均满足控制性能标准(如第3.1.1节所述), 能实现各自区域内的电热功率平衡, 具有最优控制性能, 进而能够对分布式多区域多能微网群进行协同控制. 同时, 多区域协同控制能够使区域间能量互补, 有效地缓和储能设备的运行压力, 提高了多区域综合能源系统的灵活性和可靠性, 提高资源的利用率.4. 结论
为了对综合能源模式下的分布式多区域进行协同控制, 本文搭建了融入大量分布式能源的分布式多区域多能微网群协同的AGC模型, 并针对该模型提出了一种多智能体协同的DQ (
$\sigma,\lambda $ )控制算法.所提算法融入了资格迹, 不仅用于解决强化学习的时间信度分配问题, 而且“后向估计”机理提供了一个逼近最优值函数Q*的渐进机制, 可提高AGC机组功率调节快速性; 同时为解决策略探索过程中动作值的高估, 所提算法在Q(
$\sigma,\lambda $ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习.通过对改进的IEEE标准两区域负荷频率控制模型以及分布式3区域多能微网AGC模型进行仿真, 结果显示, 与其他智能算法相比, 所提算法能提高收敛速度93.92%
$\sim $ 98.98%; 在能源出力不确定、负荷随机波动的情况下, DQ ($\sigma,\lambda $ ) 仍能保持稳定的控制效果, 区域|Δf|降低61.54%$\sim $ 88.89%、区域联络线功率偏差降低18.51%$\sim $ 79.62%、CPS1提高0.023%$\sim $ 0.25%、ACE降低47.82%$\sim $ 84.76%, 能获得综合能源模式下分布式多区域协同. -
图 1 语义概念与神经元学习到的特征存在不一致性的示意图
Fig. 1 Demonstration of the inconsistency betweena semantic concept and the learned features of a neuron
图 2 VGG-16网络中神经元(来自conv5_3层)特征可视化
Fig. 2 The visualization results of the neuron (from the conv5_3 layer) features in VGG-16
图 4 AlexNet网络中神经元(来自conv5层)特征可视化
Fig. 4 The visualization results of the neuron (from the conv5 layer) features in AlexNet
图 5 ResNet-18网络中神经元(来自conv5b层)特征可视化
Fig. 5 The visualization results of the neuron (from the conv5b layer) features in ResNet-18
图 6 AlexNet-Adv网络中神经元(来自conv5层)特征可视化
Fig. 6 The visualization results of the neuron (from the conv5 layer) features in AlexNet-Adv
图 7 VGG-16-Adv网络中神经元(来自conv5_3层)特征可视化
Fig. 7 The visualization results of the neuron (from the conv5_3 layer) features in VGG-16-Adv
图 8 ResNet-18-Adv网络中神经元(来自conv5b层)特征可视化
Fig. 8 The visualization results of the neuron (from the conv5b layer) features in ResNet-18-Adv
图 9 Adv-Inc-v3网络中神经元(来自最后一层)特征可视化
Fig. 9 The visualization results of the neuron (from the last layer) features in Adv-Inc-v3
表 1 各个模型面对真实图片和对抗图片时其中与语义概念关联的神经元的比例(%)
Table 1 The ratio (%) of neurons that align with semantic concepts for each model when showing real and adversarial images respectively
模型 真实图片 对抗图片 C T M S P O C T M S P O AlexNet 0.5 13.4 0.4 0.4 4.1 6.1 0.5 10.3 0.1 0.0 1.6 2.3 AlexNet-Adv 0.5 12.7 0.3 0.6 5.5 7.8 0.5 11.6 0.3 0.2 4.8 6.3 VGG-16 0.6 13.2 0.4 1.3 6.8 14.7 0.5 9.5 0.0 0.0 2.3 5.2 VGG-16-Adv 0.6 13.0 0.4 1.6 8.0 16.2 0.5 11.4 0.3 0.9 6.9 14.8 ResNet-18 0.3 14.2 0.3 1.9 4.1 14.1 0.3 8.2 0.1 0.6 2.1 4.8 ResNet-18-Adv 0.3 14.0 0.3 2.1 5.3 17.2 0.3 10.8 0.3 1.5 4.7 15.3 Inc-v3 0.4 11.2 0.6 4.0 8.1 23.6 0.4 7.6 0.3 0.2 2.9 6.7 Adv-Inc-v3 0.4 10.7 0.5 4.5 8.6 25.3 0.4 8.6 0.4 2.5 5.3 15.4 VGG-16-Place 0.6 12.4 0.5 7.0 5.9 16.7 0.6 9.3 0.0 1.3 2.1 6.8 
下载: 导出CSV
表 2 各个模型在ImageNet验证集及对于FGSM攻击的准确率(%) (扰动规模为
$ {\rm{\epsilon}} =4 $ )Table 2 Accuracy (%) on the ImageNet validation set and adversarial examples generated by FGSM with
$ {\rm{\epsilon}}=4 $ 模型 真实图片 对抗图片 Top-1 Top-5 Top-1 Top-5 AlexNet 54.53 78.17 9.04 32.77 AlexNet-Adv 49.89 74.28 21.16 49.34 VGG-16 68.20 88.33 15.13 39.82 VGG-16-Adv 64.73 86.35 47.67 71.23 ResNet-18 66.38 87.13 4.38 31.66
下载: 导出CSV
-
[1] LeCun Y, Bengio Y, Hinton G. Deep Learning. Nature, 2015, 521(7553): 436-444 doi: 10.1038/nature14539 [2] Bengio Y, Courville A, Vincent P. Representation learning: A review and new perspectives. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(8): 1798-1828 doi: 10.1109/TPAMI.2013.50 [3] Zhou B L, Khosla A, Lapedriza A, Oliva A, Torralba A. Learning deep features for discriminative localization. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2921−2929 [4] Koh P W, Liang P. Understanding black-box predictions via influence functions. In: Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia: PMLR, 2017. 1885−1894 [5] Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps. In: Proceedings of the 2014 International Conference on Learning Representations. Banff, Canada: 2014. [6] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks. In: Proceedings of the 2014 European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 818−833 [7] Liu M, Shi J, Li Z, Li C, Zhu J, Liu S. Towards better analysis of deep convolutional neural networks. IEEE Transactions on Visualization and Computer Graphics, 2017, 23(1): 91-100 doi: 10.1109/TVCG.2016.2598831 [8] Zhou B L, Khosla A, Lapedriza A, Oliva A, Torralba A. Object detectors emerge in deep scene CNNs. In: Proceedings of the 2015 International Conference on Learning Representations. San Diego, USA: 2015. [9] Szegedy C, Zaremba W, Sutskever I, Bruna J, Erhan D, Goodfellow I, Fergus R. Intriguing properties of neural networks. In: Proceedings of the 2014 International Conference on Learning Representations. Banff, Canada: 2014. [10] Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples. In: Proceedings of the 2015 International Conference on Learning Representations. San Diego, USA: 2015. [11] Kurakin A, Goodfellow I, Bengio S. Adversarial examples in the physical world. arXiv preprint arXiv: 1607.02533, 2016. [12] Carlini N, Wagner D. Towards evaluating the robustness of neural networks. In: Proceedings of the 2017 IEEE Symposium on Security and Privacy. San Jose, USA: 2017. 39−57 [13] Dong Y P, Liao F Z, Pang T U, Su H, Zhu J, Hu X L, Li J G. Boosting adversarial attacks with momentum. In: Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE 2018. 9185−9193 [14] Dong Y P, Pang T U, Su H, Zhu J. Evading defenses to transferable adversarial examples by translation-invariant attacks. In: Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE 2019. 4312−4321 [15] Bau D, Zhou B L, Khosla A, Oliva A, Torralba A. Network dissection: Quantifying interpretability of deep visual representations. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE 2017. 3319−3327 [16] Zhang Q S, Cao R M, Shi F, Wu Y N, Zhu S C. Interpreting CNN knowledge via an explanatory graph. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence. New Orleans, USA: AAAI, 2018. 4454−4463 [17] Dong Y P, Su H, Zhu J, Zhang B. Improving interpretability of deep neural networks with semantic information. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE 2017. 975−983 [18] Al-Shedivat M, Dubey A, Xing E P. Contextual explanation networks. arXiv preprint arXiv: 1705.10301, 2017. [19] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules. In: Proceedings of the 2017 Advances in Neural Information Processing Systems. Long Beach, USA: Curran Associates, Inc., 2017. 3856−3866 [20] Kurakin A, Goodfellow I, Bengio S. Adversarial machine learning at scale. In: Proceedings of the 2017 International Conference on Learning Representations. Toulon, France: 2017. [21] Tramer F, Kurakin A, Papernot N, Boneh D, McDaniel P. Ensemble adversarial training: Attacks and defenses. In: Proceedings of the 2018 International Conference on Learning Representations. Vancouver, Canada: 2018. [22] Madry A, Makelov A, Schmidt L, Tsipras D, Vladu A. Towards deep learning models resistant to adversarial attacks. In: proceedings of the 2018 International Conference on Learning Representations. Vancouver, Canada: 2018. [23] Zhang H Y, Yu Y D, Jiao J T, Xing E P, Ghaoui L E, Jordan M I. Theoretically principled trade-off between robustness and accuracy. In: Proceedings of the 36th International Conference on Machine Learning. Long Beach, USA: PMLR, 2019. 7472−7482 [24] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. In: Proceedings of the 2015 International Conference on Learning Representations. San Diego, USA: 2015. [25] 张芳, 王萌, 肖志涛, 吴骏, 耿磊, 童军, 王雯. 基于全卷积神经网络与低秩稀疏分解的显著性检测. 自动化学报, 2019, 45(11): 2148-2158.Zhang Fang, Wang Meng, Xiao Zhi-Tao, Wu Jun, Geng Lei, Tong Jun, Wang Wen. Saliency detection via full convolutional neural network and low rank sparse decomposition. Acta Automatica Sinica, 2019, 45(11): 2148-2158 [26] 李阳, 王璞, 刘扬, 刘国军, 王春宇, 刘晓燕, 郭茂祖. 基于显著图的弱监督实时目标检测. 自动化学报, 2020, 46(2): 242-255Li Yang, Wang Pu, Liu Yang, Liu Guo-Jun, Wang Chun-Yu, Liu Xiao-Yan, Guo Mao-Zu. Weakly supervised real-time object detection based on saliency map. Acta Automatica Sinica, 2020, 46(2): 242-255 [27] Liao F Z, Liang M, Dong Y P, Pang T Y, Zhu J, Hu X L. Defense against adversarial attacks using high-level representation guided denoiser. In: Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE 2018. 1778−1787 [28] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, Huang Z, Karpathy A, Khosla A, Bernstein M, et al. Imagenet large scale visual recognition challenge. International Journal of Computer Vision, 2015, 115(3): 211-252 doi: 10.1007/s11263-015-0816-y [29] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks. In: Proceedings of the 2012 Advances in Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates, Inc., 2012. 1097−1105 [30] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770−778 [31] 刘建伟, 赵会丹, 罗雄麟, 许鋆. 深度学习批归一化及其相关算法研究进展. 自动化学报, 2020, 46(6): 1090-1120Liu Jian-Wei, Zhao Hui-Dan, Luo Xiong-Lin, Xu Jun. Research progress on batch normalization of deep learning and its related algorithms. Acta Automatica Sinica, 2020, 46(6): 1090-1120 [32] Miller G A, Beckwith R, Fellbaum C, Gross D, Miller K J. Introduction to wordnet: An on-line lexical database. International journal of lexicography, 1990, 3(4): 235-244 doi: 10.1093/ijl/3.4.235 [33] Szegedy C, Vanhoucke V, Ioffe S, Shlens J, Wojna Z. Rethinking the inception architecture for computer vision. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2818−2826 [34] Tsipras D, Santurkar S, Engstrom L, Turner A, Madry A. Robustness may be a odds with accuracy. In: Proceedings of the 2019 International Conference on Learning Representations. New Orleans, USA: 2019. 期刊类型引用(10)
1. 周博奇，柳丹，席磊，李彦营. 基于超松弛双Q学习的源荷储协同频率稳定算法研究. 中国电机工程学报. 2024(04): 1419-1430 . 
百度学术2. 张彬文，王新迎，李烨，闫冬. 基于双层功率分配的智能配电网协同优化策略. 高电压技术. 2024(07): 3029-3038 . 百度学术3. 陈宋宋，张路涛，周颖，陈珂，王忠东，席磊. 面向新能源并网的分布式AGC协同算法. 南方电网技术. 2023(04): 58-68 . 百度学术4. 席磊，杜雄，李彦营，李浩恺. 基于具有强化学习思想的集成学习自动发电控制算法. 南方电网技术. 2023(07): 74-82 . 百度学术5. 解立辉，席磊. 强化学习在自动发电控制中的研究进展与展望. 三峡大学学报(自然科学版). 2023(05): 133-141 . 百度学术6. 胡逸，王锡淮，肖健梅. 基于改进灰狼优化算法的多区域频率协同控制. 控制工程. 2023(09): 1630-1639+1657 . 百度学术7. 李彦营，席磊，郭宜果，王昱昊，孙梦梦，金澄心. 基于权重双Q-时延更新学习算法的自动发电控制. 中国电机工程学报. 2022(15): 5459-5471 . 百度学术8. 席磊，孙梦梦，陈宋宋，朱继忠，孙秋野，刘宗静. 面向分布式电网的多区域协同控制方法研究. 电机与控制学报. 2021(12): 75-86 . 百度学术9. 张化光，孙宏斌，刘德荣，王剑辉，孙秋野. “分布式信息能源系统”专题特约主编寄语. 中国电机工程学报. 2020(17): 5401-5403 . 百度学术10. 滕菲，单麒赫，李铁山. 智能船舶综合能源系统及其分布式优化调度方法. 自动化学报. 2020(09): 1809-1817 . 本站查看其他类型引用(9)
-
下载:
计量
- 文章访问数: 2897
- HTML全文浏览量: 910
- PDF下载量: 718
- 被引次数: 19
