Trajectory Control of Quadrotor With Cable-Suspended Load via Dynamic Feedback Linearization
-
摘要: 三维空间下的四旋翼吊挂运输系统是一种欠驱动、强耦合、多变量的非线性系统. 根据系统的动力学特点, 将系统分解为双质点系绳连接子系统和四旋翼姿态控制子系统. 选择与系统自由度维数相同的广义坐标并基于虚位移原理计算对应的广义力, 从而建立系统的拉格朗日动力学方程. 利用微分平滑特性证明了运输系统存在平凡零动态, 因此可通过动态反馈转化为线性和能控系统. 经过2次动态扩展和变量代换, 原系统扩展为总相对阶等于系统状态维度的线性能控系统. 基于赫尔维茨稳定性判据, 设计了跟踪误差指数收敛的动态反馈控制律. 该方法可作为一类非线性系统控制器设计的标准方法. 最后以三维空间的螺旋曲线及水平面内频率变化的圆周曲线为参考轨迹进行仿真, 仿真结果验证了控制系统的有效性.Abstract: A quadrotor with cable-suspended load in 3-D space is considered, which is underactuated, strongly coupling and nonlinear. According to the dynamic feature, the system is decoupled into quadrotor attitude control subsystem and double points link subsystem. The generalized coordinate with the same dimension of the system freedom is selected and the generalized force is calculated based on the principle of virtual displacement, then the Lagrange dynamic equation of the system is established. The quadrotor-load system is proved to have ordinary zero dynamics based on differentially flat property, so it can be transformed into linear and controllable system by dynamic feedback. After 2 dynamic expansions and variable substitutions, the original system is extended to a linear controllable system whose total relative orders are equal to the system state dimensions. Based on Hurwitz stability criterion, a dynamic feedback controller with exponential convergence of position error is designed. This method can be used as a standard method for a class of nonlinear systems. Finally, the spiral curve in 3-D space and the circular curve in the horizontal plane with varying frequency are taken as the reference trajectory for simulation. Simulation results demonstrate the effectiveness of the proposed method.
-
Key words:
- Quadrotor /
- transport /
- zero dynamics /
- dynamic feedback
-
发展新能源能够解决化石燃料燃烧引起的环境恶化问题, 集成了源、荷、气、热、储等多种分布式能源[1]的综合能源系统[2-3]势在必行, 但规模化的分布式新能源并网将带来强随机扰动, 以及由于传统机组惯性降低、缺乏辅助频率支持、调频容量不足等引起的频率失稳问题[4], 给现代电力系统的运行和控制提出了新的挑战. 因此, 本文从自动发电控制(Automatic generation control, AGC)角度面向多区域多能微网群提出一种新的频率控制方法以实现多区域协同控制.
当前AGC控制方法主要分为传统解析式和机器学习两大类. 基于传统解析式的控制方法, 以PID控制方法为代表[5-6]. 文献[7]提出了基于灰狼优化算法的分数阶PID控制器参数优化整定方案, 解决了网络化时滞互联电网的负荷频率控制(Load frequency control, LFC)问题. 文献[8]提出了一种基于社会学习自适应细菌觅食算法的最优PI/PID控制器设计方法, 以解决互联电网AGC控制器参数优化整定问题. 文献[9]提出了基于随机帝国竞争算法的级联模糊分数阶CFFOPI–FOPID控制器, 以解决AGC问题. 传统控制方法主要根据区域控制偏差误差(Area control error, ACE)单一化地确定总调节功率, 控制机组出力. 然而电力系统新形态下区域间互动变化灵活, 需要根据长期历史数据进行学习、分析、存储, 以对多区域进行协同控制[10].
随着人工智能的崛起, 一些学者将人工智能方法应用于AGC, 试图解决上述问题. 基于人工智能的强化学习能够通过与环境探索试错积累经验分析获取最优策略, 机器学习体系应用在AGC, 尤以基于强化学习的Q学习应用最为广泛. 文献[11]基于Q学习提出了一种改进的极限Q学习算法, 对微电网的下垂控制进行参数整定, 从而实现频率调节与经济调度的一体化. 文献[12]提出了一种孤岛运行模式下基于平均报酬模型的多步R(
$\lambda $ )算法的AGC控制器, 以实现对微电网的智能发电控制与频率调整. 文献[13]提出了一种基于模型预测控制的孤岛微电网频率二次控制策略, 以解决不确定延时对系统频率的影响, 并采用小信号模型和参与因子分析系统的稳定性. 然而上述文献为单区域模型, 同样算法也为单智能体算法, 这种无多区域协同的模式, 可等效看作“集中式”控制, 无法满足日益发展的综合能源模式下分布式多区域协同发展趋势.多智能体强化学习是解决多智能体系统问题的一种有效方法, 而协作多智能体强化学习专注于解决协作问题. 协作多智能体强化学习与分布式优化有非常密切的联系, 因此求解分布式优化的高效最优化方法可以引入求解协作多智能体强化学习问题[14]. 文献[15]针对多区域互联微网系统, 结合线性自抗扰控制算法和基于原对偶梯度算法的多智能体系统, 提出了一种新的分布式优化控制算法, 有效地结合系统动态特性与优化过程解决负荷频率控制问题. 文献[16]在微网分层控制结构的框架下, 提出多智能体自适应控制算法, 使频率恢复额定值, 且有功功率按各分布式电源的额定功率比例分配. 文献[17]在Q学习基础上提出了一种面向混合交互环境的基于多智能体系统（Multi-agent system, MAS）和元胞自动机的微网分布式协调自趋优控制策略, 调节微源的有功和无功出力及系统频率. 文献[18]提出一种基于多智能体微电网控制框架的多智能体协作学习算法, 有效管理微网中的微电源促使微网协调控制. 文献[19]面向分布式能源提出一种基于虚拟狼群控制策略的分层分布式控制—PDWoLF-PHC (
$\lambda $ ), 算法中融入资格迹[20], 能够解决算法的时间信度分配问题, 以提高算法收敛速度, 进而来获得区域的最优控制. 然而上述的控制算法均为基于传统强化学习算法, 此类算法在随机环境中容易出现动作值在探索过程中的“高估”现象, 会导致决策质量低. 且上述算法均属于离策略, 其面临的主要问题是离策略算法难以收敛、收敛速度慢以及收敛精度低.因此, 为解决上述问题, 通过引入参数
$\sigma $ 统一离策略与在策略的优缺点, 提出了基于“将各种看似不同的算法思想联合统一以产生更好的算法”思想的Q$(\sigma) $ 算法[21]. 为解决随机环境中传统强化学习算法的高估动作值, 提高算法收敛速度, 以实现多区域电力系统协同控制, 本文根据协作多智能体强化学习在Q$(\sigma) $ 算法基础上融入资格迹与双重学习[22], 提出了一种基于多步统一强化学习的多智能体协同DQ$(\sigma ,\lambda)$ 控制算法. 算法中固有的偏差与方差权衡主要取决于参数$\sigma, $ 当$\sigma=0 $ 时, DQ$(\sigma,\lambda )$ 处于全采样Double Q$(\lambda) $ 算法; 当$\sigma=1 $ 时, DQ$(\sigma ,\lambda)$ 处于纯期望Double Expected-Sarsa$(\lambda )$ 算法; 当$\sigma=0.5 $ 时, DQ$(\sigma ,\lambda)$ 处于采样和期望的混合算法. 通过对改进的IEEE标准两区域负荷频率控制模型以及分布式三区域多能微网AGC模型进行仿真, 验证所提算法的有效性.1. DQ (
${{\sigma}} {{,}}{{\lambda}}$ )算法由于传统强化学习过度追求长期折扣回报奖励最大, 在策略往往选择对应最大Q值的动作, 使策略探索过程出现动作值的高估, 进而产生累积高偏差, 影响智能体学习到最优策略. 为此, 本文根据协作多智能体强化学习在Q(
$\sigma$ )算法基础上, 融入了资格迹及双重学习, 进而提出一种新型DQ($\sigma,\lambda $ ), 通过解决传统强化学探索过程中动作值高估问题, 进而获得分布式多区域多能微网群的协同控制.1.1 Q (
${{\sigma}}$ )学习算法时间差分学习(Temporal-difference learning, TD)[23]是无模型强化学习中最重要的策略之一, TD方法结合了蒙特卡罗方法和动态规划的优点, 适用于无模型、持续进行的任务. 常见TD有Q、Sarsa、Expected-Sarsa[24]等, 其中Q学习应用最广泛. 同样, 文献[21]通过引入采样参数
$\sigma $ , 统一了Sarsa算法(全采样)和Expected-Sarsa算法(纯期望), 提出了一种统一在策略与离策略的TD算法, 即Q ($\sigma $ ).其中, 离策略和在策略主要区别是在策略一般只有一个策略(常用$\varepsilon $ 贪婪策略). 而离策略一般有两个策略, 行为策略(常用$\varepsilon $ 贪婪策略)用于选择新的动作, 目标策略(常用Max贪婪法)用于更新价值函数. 本文所有提及算法所涉及策略均为上述常用策略.Sarsa是一种经典的在策略TD算法, 它将动作值函数作为其估计值, 而非状态值函数. 特别地, 对于在策略算法, 其必须根据当前行为策略与所有状态动作估算最优Q值. Sarsa算法至始至终只使用
$\varepsilon $ 贪婪策略更新价值函数和选择新的动作, 其更新方式如下:$$\qquad\qquad {Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^s$$ (1) $$ \delta _k^s = {R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}}) - {Q_k}({s_k},{a_k}) $$ (2) 其中,
${R_{k + 1}} + \gamma {Q_k}({s_{k + 1}},{a_{{\rm{k}} + 1}})$ 称为TD目标, 奖励加上下一个状态和下一个动作的折扣值组成.Expected-Sarsa作为一种离策略学习算法, 可将Q学习算法推广到任意目标政策, 根据目标策略利用下一个状态−动作值对的期望值进行Q值估算:
$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^{es}\qquad\qquad\qquad\qquad$$ (3) $$\begin{split} \delta _k^{es} = &\;{R_{k + 1}} +\gamma \displaystyle\sum\limits_{a \in A} \pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a) -\\ &\; {Q_k}({s_k},{a_k})\\[-14pt] \end{split}\quad \qquad $$ (4) 其中,
$\delta _k^{es}$ 是第k个预期TD误差. 虽然Expected-Sarsa在计算上比Sarsa更复杂, 但作为回报, 它消除了由于下一个动作随机选择而产生的方差. 当经历相同的探索经验, Expected-Sarsa的表现优于Sarsa. 此外, 在步长参数$\alpha $ 的取值范围内, Expected-Sarsa表现比Sarsa有显著改善.当
$0<\sigma<1 $ 时, 性能优于$\sigma =0$ 或1极端情况, 故Q ($\sigma $ )算法是通过采样参数$\sigma $ 在Sarsa ($\sigma=1 $ , 全采样)更新和Expected-Sarsa ($\sigma=0, $ 纯期望)更新之间进行线性加权:$${Q_{k + 1}}(s,a) = {Q_k}(s,a) + \alpha \delta _k^\sigma \qquad\qquad\qquad\qquad\;\;$$ (5) $$ \begin{split} \delta _k^\sigma = &{R_{k + 1}} + \gamma [\sigma {Q_k}({s_{k + 1}},{a_{k + 1}}) + \\ &(1 - \sigma )\displaystyle\sum\limits_{a \in A} {\pi ({s_{k + 1}},a){Q_k}({s_{k + 1}},a)] - {Q_k}({s_k},{a_k})} \\ \end{split} $$ (6) 式中,
$\delta _k^\sigma $ 是经参数$\sigma $ 加权后的TD误差.1.2 DQ(
${{\sigma ,\lambda}}$ )算法以离散时间马尔科夫决策过程为数学基础, 基于Q (
$\sigma $ )算法并融入资格迹, 提出了一种新颖的快速多步算法Q ($\sigma ,\lambda$ ), 以解决Q ($\sigma $ )的时间信度分配问题, 进而可提高AGC机组功率调节快速性. 其TD目标是Sarsa和Expected-Sarsa的加权, 其中参数$\sigma $ 为控制权重. 当$\sigma =0$ 时, Q ($\sigma ,\lambda$ )的目标等于Q ($\lambda $ )目标, 因此资格迹更新减少到标准累积资格迹更新. 当$\sigma=1 $ 时, Q ($\sigma,\lambda $ )的目标等于Expected-Sarsa ($\lambda $ )目标, 资格迹是目标策略当前动作概率的线性加权. 资格迹更新方式为$$ \begin{split} {e_k}&(s,a) =\; \gamma \lambda {e_{k - 1}} (s,a)\times\\ &[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})] + 1, \\ & \quad \quad\quad\quad\quad\quad{Q_{k - 1}}({s_k},{a_k}) = {\max _a}{Q_{k - 1}}({s_k},a) \end{split} $$ (7) $$ \begin{split} {e_k}& (s,a) =\;\gamma \lambda {e_{k - 1}}(s,a)\times\\ &\;[\sigma + (1 - \sigma )\pi ({a_{k + 1}}|{s_{k + 1}})],\quad\quad\quad\quad\quad\quad\! {\text{其他}} \end{split} $$ (8) Q(
$\sigma,\lambda $ )的迭代更新式为$$ {Q_k}({s_k},{a_k}) = {Q_k}({s_k},{a_k}) + \alpha \delta _k^\sigma {e_k}(s,a) $$ (9) 同时, 为了解决本文的核心问题, 即策略探索过程中动作值高估问题, 在Q (
$\sigma ,\lambda$ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习, 进而形成Double Q ($\sigma,\lambda $ ), 下面简称DQ ($\sigma,\lambda $ ). 本文中使用两个不同的值函数${Q_A}$ 和${Q_B}$ 替代单一值函数$Q$ , 对${Q_A} + {Q_B}$ 使用行为策略并对动作进行采样, 在每次迭代中随机更新值函数${Q_A}$ 与${Q_B}$ :$$ {Q_A}({s_k},{a_k}) = {Q_A}({s_k},{a_k}) + \alpha \delta _k^A{e_k}(s,a) $$ (10) $$ {Q_B}({s_k},{a_k}) = {Q_B}({s_k},{a_k}) + \alpha \delta _k^B{e_k}(s,a) $$ (11) 当更新
${Q_A}$ 或${Q_B}$ 时, DQ ($\sigma ,\lambda$ )的TD误差则按以下方式进行更新:$$ \begin{split} \delta _k^A = &\;{R_{k + 1}} + \gamma [\sigma {Q_B}({s_{k + 1}},{a_{k + 1}}) +\\ & \; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_B}({s_{k + 1}},a)] - {Q_A}({s_k},{a_k})} \\ \end{split} $$ (12) $$ \begin{split} \delta _k^B = &\;{R_{k + 1}} + \gamma [\sigma {Q_A}({s_{k + 1}},{a_{k + 1}}) +\\ &\; \displaystyle\sum\limits_a {\pi (a|{s_{k + 1}}){Q_A}({s_{k + 1}},a)] - {Q_B}({s_k},{a_k})} \\ \end{split} $$ (13) 其中,
$\delta _k^A$ 为更新时${Q_A}$ 产生的TD误差,$\delta _k^B$ 为更新${Q_B}$ 时产生的TD误差,$\gamma $ 为折扣因子$\pi (a|{s_{k + 1}})$ 是将状态映射到动作概率的动作函数.2. 基于DQ(
${{\sigma ,\lambda}}$ )算法的AGC设计基于DQ (
$\sigma,\lambda $ )的多能微网群分布式多区域多智能体协同控制架构如图1所示, 智能体全面感知源−网−荷−储设备运行信息. 对于多区域互联电网联络线和频率偏差模式下的AGC, 国内外常用的评估方法是北美电力可靠性委员会提出的CPS标准[25].
图 1 多能微网群多区域协同控制架构Fig. 1 Multi-energy microgrid group multi-region cooperative control architecture2.1 AGC奖励函数
本文将以CPS、ACE、频率偏差作为综合目标函数以获取最优AGC机组出力, 进而在最优AGC控制策略下达到系统功率平衡. 基于DQ (
$\sigma,\lambda $ )的AGC控制器某i区域的综合奖励函数表示为$$ {R_i}(k) = {\tau _i},\;\;\;\;{\tau _i} \ge 0,\;\;\;{C_{\rm{CPS}1}}_i(k) \ge 200\quad\quad\quad $$ (14) $$ \begin{split} {R_i}(k) = &\; - \{ {\omega _{1i}}{[{E_{{{\rm{ACE}}i}}}(k) - E_{{{\rm{ACE}}i}}^*]^2} +\\ &\; {\mu _{1i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{\rm{{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad{C_{{{\rm{CPS}}}1i}}(k) \in [100,200) \end{split} $$ (15) $$ \begin{split} {R_i}(k) = & - \{ {\omega _{2i}}{[{C_{{{\rm{CPS}}}1i}}(k) - C_{{{\rm{CPS}}}1i}^*]^2} + \\ & {\mu _{2i}}{[{a_{{{\rm{ord}}} - i}}(k) - a_{{{\rm{ord}}} - i}^*]^2}\} ,\\ &\quad\quad\quad\quad\quad\quad\quad\quad\quad\;{C_{{{\rm{CPS}}}1i}}(k) < 100 \end{split} $$ (16) 其中,
${\tau _i}$ 为任意非负数, 本文取0;${C_{{\rm{{CPS}}}1i}} \;(k)$ 与${E_{{\rm{{ACE}}}i}}\; (k)$ 分别为CPS1和ACE在第k步迭代时刻的瞬时值;${a_{{\rm{{ord}}} - i}}\;(k)$ 为k时刻的控制动作集A的指针;$a_{{{\rm{ord}}} - i}^*$ 即功率控制动作为0时的指针, 引入动作变化项, 是为了限制控制器输出功率指令频繁大幅度升降引起的系统振荡和经济代价;${\omega _{1i}},{\omega _{2i}}$ 和${\mu _{1i}},{\mu _{2i}}$ 分别为状态输入和控制动作的优化权值, 相当于线性二次型调节器控制性能指标中的Q和R权值参数[26];$C_{{{\rm{CPS}}}1i}^*$ 为CPS1指标控制期望值;${\rm{E}}_{{{\rm{ACE}}}i}^*$ 为ACE控制期望值.2.2 参数设置及算法流程
AGC控制系统的设计需要对系统参数进行合理的设置, 其中:
1)学习率
$\alpha \;(0 < \alpha<1),\alpha$ 表示要给改善的算法更新部分多少信任度, 较大的$\alpha $ 值会加快DQ$(\sigma,\lambda) $ 算法的收敛速度, 而较小的$\alpha $ 值能保证控制器的搜索空间, 从而提高DQ ($\sigma,\lambda $ )算法收敛的稳定性, 本文$\alpha $ 取为0.1.2)折扣因子
$\gamma $ (0<$\gamma $ <1), 函数的未来奖励的衰减值, 当$\gamma $ 趋向于1时, 考虑长期奖励, 当$\gamma $ 趋近于零时, 只能看到当前奖励. 本文$\gamma $ 取为0.9.3)资格迹衰退系数
$\lambda $ (0<$\lambda$ <1), 其主要作用是在状态−动作对中分配信誉, 影响收敛速度, 本文$\lambda $ 取为0.95.4)控制采样权重
$\sigma $ (0<$\sigma $ <1), 具有中等$\sigma $ 的Q ($\sigma $ )可以胜过Double Q ($\lambda $ )、Double Expected Sarsa ($\lambda $ )和Double Sarsa ($\lambda $ )算法. 本文参数$\sigma $ 取为0.5.5)探索率
$\varepsilon $ (0<$\varepsilon$ <1), 策略以1−$\varepsilon $ 的概率选择当前最大值的动作, 以$\varepsilon $ 的概率随机选择新动作. 本文仿真预学习时$\varepsilon $ 取0.5, 在线运行时$\varepsilon $ 取0.9. DQ ($\sigma,\lambda$ )的算法流程如图2所示.3. 仿真研究
3.1 改进的IEEE标准两区域负荷频率控制模型
将电池储能系统(Battery energy storage system, BESS)[27-28] (如图3)融入IEEE标准两区域负荷频率控制模型[29], 改进后的模型如图4所示. 其中, Pref 为储能系统目标指令; Preq为经过并网能量转换系统和响应延时后的功率需求; TPCS、TDB分别为并网能量转换环节和响应延时−时间转换环节的时间常数; Ts为仿真时间与实际时间关系的转换系数;
$P′_{\rm{BESS}} $ , PBESS, SSOC分别为经过电池储能电源后的有功功率、实际的有功功率、荷电状态; KT为积分电量计算时间常数, 其值与仿真时间步长相关; EB为储能系统额定容量; SSOCinit为储能荷电状态初始值; f (SSOC)描述了储能输出功率与荷电状态的映射关系. Bi为各区域的频率偏差因子,${\Delta}{P_G}$ 为发电机输出功率, Tg为调速器时间常数, Tt为汽轮机组时间常数, Tp为频率响应等效函数系数, Ts为二次时间延时, Kp为频率响应等效函数系数, T12为联络线时间常数,${\Delta}{P_{tie}}$ 为联络线交换功率. 采样周期为4 s, TPCS = 0.01 s, TDB = 0 s, Ts = 1 s; 荷电状态限幅环节的控制区间为(10, 90); 荷电状态理想运行区间设定为[30, 70], 仿真初始储能荷电状态为50%.
图 4 改进的IEEE标准两区域负荷频率控制模型Fig. 4 Improved IEEE standard two-area load frequency control model在线运行之前, DQ (
$\sigma,\lambda $ )需进行充分的预学习, 即通过随机探索试错训练, 使控制器收敛于最优策略${{\pi}^*}$ , 再投入到真实仿真环境参与在线优化运行. 而对于多能微网群的控制性能, 可通过CPS、联络线交换功率偏差Ptie、频率偏差${\Delta}{f}$ (合格范围±($0.05\sim 0.2 $ ) Hz)进行评估. 为兼顾互联区域的频率稳定性和本区域的经济性, 取CPS1接近而不是大于200%为最优. CPS标准具体如下:1) 若CPS1≥ 200%, 且CPS2为任意值, CPS指标合格;
2) 若100% ≤ CPS1< 200%, 且CPS2 ≥ 90%, CPS指标合格;
3) 若CPS1< 100%, CPS指标不合格.
3.1.1 正弦负荷离线预学习
在预学习阶段, 引入正弦负荷扰动(周期1 200 s, 幅值1 000 kW, 时长10 000 s), 对DQ
$(\sigma,\lambda) $ 进行训练探索使其收敛于最优策略. 图5给出了DQ$(\sigma,\lambda) $ 控制器负荷扰动下两区域预学习性能指标, 由图5(a)可见两区域DQ$(\sigma,\lambda) $ 控制器在2 000 s以内基本可以跟踪负荷扰动曲线. 图5(b)为联络线交换功率偏差变化曲线, 两区域Ptie (交换功率偏差绝对值的平均值)为1.2255 kW. 图5(c)是扰动下的频率变化曲线, 两区域的${\Delta}f_{\rm{{max}}}$ (最大频率偏差)分别为0.049 Hz和0.055 Hz, 远小于实际工程要求0.2 Hz, 可见控制器具有较强的稳定性. 图5(d)为两区域EAVE-10-min (10 min ACE的平均值)的学习曲线, 其值分别为1.7214 kW、1.9864 kW, ACE的10 min考核指标值始终保持在2 kW (2‰)以内. 图5(e)为A、B两区域CPS1AVE-10-min (10 min CPS1的平均值)在学习过程的变化曲线, A、B区域的CPS1AVE-10-min分别是199.4934%、199.2681%, CPS1的10 min考核指标值保持在185%以上.另外, 在最优策略中, 选择2范数
$| | {Q_k}\left( {s,{\rm{ }}a} \right) −$ ${Q_{k - 1}}\left ( {s,{\rm{ }}a} \right) | |^2 \le \varsigma\; (\varsigma =0.0001$ 为指定标准)作为预学习达到最优策略的终止标准[30], 图5(f)中为预学习期间A区域Q函数差分的收敛结果. DQ ($\sigma,\lambda $ )收敛于第255步(仿真步长为4, 即预学习需1004 s). 基于全球微波互联无线通信技术, 每次信息传输和迭代计算所需时间为1 ms, 即系统的调节时间为 1.004 s, 满足实际电网AGC系统4 s的时间尺度要求. 图5(g)为引入Q, Q$(\lambda), $ Q$(\sigma ),$ PDWoLF-PHC$(\lambda )$ 智能算法的对比收敛效果, 由图可知DQ ($\sigma,\lambda $ )算法可提高收敛速度93.92%$\sim $ 98.98%. 综上表明, 在经过大量的训练探索后, DQ ($\sigma,\lambda $ )控制器已逼近确定性最优CPS控制策略, 可将DQ($\sigma,\lambda $ )控制器投入真实环境运行.3.1.2 阶跃、随机白噪声负荷在线运行
在线运行时, 对两区域模型引入阶跃负荷扰动, 模拟大规模随机扰动情况. 对Q, Q (
$\lambda $ ), Q ($\sigma $ ), PDWoLF-PHC($\lambda $ ), DQ ($\sigma,\lambda $ )五种算法的控制器引入了时长9 000 s、幅值1 000 kW的阶跃负荷扰动进行仿真对比分析. 图6为A区域分别基于5种智能算法的AGC控制器的控制性能指标, 图6(a)是联络线交换功率偏差变化曲线, 各算法Ptie分别为9.7430 kW、1.5367 kW、0.6725 kW、0.6296 kW、0.4514 kW, DQ ($\sigma,\lambda $ )控制器所产生的交换功率偏差最小. 图6(b)是5种算法频率变化曲线对比效果图, 各算法|${\Delta}{f}|$ 分别为0.0047 Hz、0.0016 Hz、0.0014 Hz、0.0014 Hz、0.0008 Hz, 相较于其他算法, DQ ($\sigma,\lambda $ )的|${\Delta}{f}|$ 降低了42.85%$\sim $ 82.97%. 图6(c)为10 min ACE的平均值, 各算法值分别为19.8983 kW、4.4539 kW、3.3934 kW、3.4009 kW、2.5961 kW, DQ ($\sigma,\lambda $ )的ACE降低了23.66%$\sim $ 86.95%. 图6(d)为10 min CPS1的平均值变化曲线, 5种算法值分别是199.4404%、199.8431%、199.8849%、199.8998%、199.9122%, DQ ($\sigma ,\lambda$ )的CPS1提高了0.0062%$\sim $ 0.2365%.
图 6 阶跃负荷扰动下不同算法的性能指标Fig. 6 Performance index of different algorithms under step load disturbance为考虑更加实际的运行情况, 进一步验证所提算法的控制性能. 通过引入随机白噪声(噪声功率: 10000 kW; 检测周期: 60 s; seed: 23341)作为负荷扰动, 模拟接入未知的分布式新能源的随机负荷扰动情况, 以5小时的负荷扰动为考核周期, 测试DQ (
$\sigma,\lambda $ )、PDWoLF-PHC ($\lambda $ )、Q ($\sigma $ )、Q ($\lambda $ )、Q等5种控制器的性能. 图7为上述5种智能算法在A区域的各项性能考核指标, DQ ($\sigma,\lambda $ )能降低|Δf | 28.17%$\sim $ 57.73%, 减少|ACE| 6.63%$\sim $ 33.85%. 仿真结果表明, DQ ($\sigma,\lambda $ )在能源出力不确定、负荷随机波动的情况下仍然能保持稳定的控制效果.
图 7 随机白噪声扰动下不同算法的控制性能Fig. 7 Control performance of different algorithms under stochastic white noise disturbance3.2 分布式多区域多能微网群协同AGC模型
综合能源系统作为能源互联网的物理载体, 能够利用其多能互补的优势, 对不同类型的能源进行协调管理和分配, 在满足用户多种能源需求的同时, 进一步减少温室气体排放、提高能源综合利用率和降低能源供应成本. 在传统模式下, 多区域综合能源系统由于地理位置分散, 往往都是独立运行, 彼此间缺乏协调控制, 容易存在资源配置不合理等问题.
因此, 本文搭建了融入大量新能源的分布式多区域(以3区域为例)多能微网群协同AGC模型, 以验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 模型中包括光伏、风电、小水电、微型燃气轮机、柴油发电机储、生物质能、燃料电池[31-33], 其拓扑结构如图8, 模型参数如表1. 其中Area 1和Area 3模型参数和机组参数相同, 3区域的调节功率分别为2 350 kW、2 590 kW和1 840 kW, 表2为AGC机组的参数. 其中, 光伏发电、风电和电动汽车不参与系统调频, 仅作负荷扰动处理.表 1 模型传递函数的参数Table 1 Parameters of the model transfer function机组 参数 数值 小水电机组 二次时延TSH 3 伺机电动机时间常数TP 0.04 伺机增益KS 5 永态转差系数RP 1 复位时间TR 0.3 暂态转差系数RT 1 闸门最大开启率Rmaxopen/(pu/s) 0.16 闸门最大关闭率Rmaxclose/(pu/s) 0.16 机组启动时间TWH 1 生物发电机组 二次时延TSB 10 调速器的时间常数TGB 0.08 蒸汽启动时间TWB 5 机械启动时间TMB 0.3 微型燃气轮机机组 二次时延TSM 5 燃油系统滞后时间常数T1 0.8 燃油系统滞后时间常数T2 0.3 负荷限制时间常数T3 3 温度控制环路增益KT 1 负荷限制Lmax 1.2 燃料电池机组 二次时延TSF 2 调速器的时间常数TF 10.056 逆变器增益KF 9.205 柴油发电储能机组 二次时延TSD 7 调速器的时间常数TGD 2 蒸汽启动时间TWF 1 机械启动时间TMD 3 表 2 AGC机组参数Table 2 AGC unit parameters区域 类型 机组序号 $\Delta P_{\rm{in}}^{\max }$
(kW/s)$\Delta P_{\rm{in}}^{\min }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate }+ }$
(kW/s)$\Delta P_{\rm{in}}^{\rm{rate} - }$
(kW/s)区域1和区域3 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 G7 100 − 100 7 − 7 微型燃气轮机 G8 100 − 100 1.2 − 1.2 G9 100 − 100 1.2 − 1.2 G10 150 − 150 1.8 − 1.8 G11 150 − 150 1.8 − 1.8 燃料电池 G12 200 − 200 7 − 7 G13 200 − 200 7 − 7 G14 150 − 150 6 − 6 G15 150 − 150 6 − 6 区域2 小水电 G1 250 − 250 15 − 15 G2 250 − 250 15 − 15 G3 150 − 150 8 − 8 G4 150 − 150 8 − 8 G5 150 − 150 8 − 8 G6 100 − 100 7 − 7 柴油发电机储 G7 250 − 250 2 − 2 G8 250 − 250 2 − 2 G9 120 − 120 1 − 1 G10 120 − 120 1 − 1 生物质能 G11 200 − 200 3 − 3 G12 200 − 200 3 − 3 G13 200 − 200 3 − 3 G14 200 − 200 3 − 3 
图 8 分布式3区域多能微网群协同AGC模型Fig. 8 Coordinated AGC model of a distributed three-area multi-energy microgrid group考虑到众多新能源的间歇性和强随机性, 再通过引入随机负荷(幅值1000 kW, 周期300 s)信号模拟真实电网环境中所面临的不确定性, 进行24小时实时仿真, 验证DQ (
$\sigma,\lambda $ )的实际工程应用效果. 分别针对嵌入了DQ ($\sigma ,\lambda$ ), PDWoLF-PHC ($\lambda $ ), Q ($\sigma $ ), Q ($\lambda $ ), Q等5种算法的控制器进行仿真. 图9为各控制器输出曲线(方便效果对比, 仅截取前2 000 s). 相较其他算法, DQ ($\sigma,\lambda $ )控制器仿真曲线更加平滑、收敛速度更快; 图10为频率曲线, 上述5种算法最大频率偏差分别为0.17 Hz、0.12 Hz、0.18 Hz、0.17 Hz、0.06 Hz均满足实际工程要求, 可各控制器A区域24小时|Δf |分别为0.0005 Hz、0.0013 Hz、0.0017 Hz、0.0027 Hz、0.0045 Hz, 对比可知所提算法频率调整效果最优调整时间更短; 图11为区域联络线功率偏差曲线, Ptie-max (最大联络线交换功率偏差)分别为22 kW、108 kW、18 kW、27 kW、99 kW, 除Q ($\sigma $ )算法, 均能在之后保持在3 kW的范围内. 此外, A区域24小时的CPS1分别为199.9807%、199.9338%、199.9201%、199.7749%、199.4645%, ACE分别为0.8673 kW、1.6622 kW、2.5792 kW、4.6971 kW、5.6927 kW. 上述指标进一步证明, 相较于其他传统算法, DQ$(\sigma,\lambda) $ 算法不仅均满足控制性能标准(如第3.1.1节所述), 能实现各自区域内的电热功率平衡, 具有最优控制性能, 进而能够对分布式多区域多能微网群进行协同控制. 同时, 多区域协同控制能够使区域间能量互补, 有效地缓和储能设备的运行压力, 提高了多区域综合能源系统的灵活性和可靠性, 提高资源的利用率.4. 结论
为了对综合能源模式下的分布式多区域进行协同控制, 本文搭建了融入大量分布式能源的分布式多区域多能微网群协同的AGC模型, 并针对该模型提出了一种多智能体协同的DQ (
$\sigma,\lambda $ )控制算法.所提算法融入了资格迹, 不仅用于解决强化学习的时间信度分配问题, 而且“后向估计”机理提供了一个逼近最优值函数Q*的渐进机制, 可提高AGC机组功率调节快速性; 同时为解决策略探索过程中动作值的高估, 所提算法在Q(
$\sigma,\lambda $ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习.通过对改进的IEEE标准两区域负荷频率控制模型以及分布式3区域多能微网AGC模型进行仿真, 结果显示, 与其他智能算法相比, 所提算法能提高收敛速度93.92%
$\sim $ 98.98%; 在能源出力不确定、负荷随机波动的情况下, DQ ($\sigma,\lambda $ ) 仍能保持稳定的控制效果, 区域|Δf|降低61.54%$\sim $ 88.89%、区域联络线功率偏差降低18.51%$\sim $ 79.62%、CPS1提高0.023%$\sim $ 0.25%、ACE降低47.82%$\sim $ 84.76%, 能获得综合能源模式下分布式多区域协同. -
图 3 两种控制方法下螺旋曲线跟踪轨迹对比((a)动态反馈控制方法; (b)几何控制方法)
Fig. 3 Track a spiral curve via two control methods. ((a) Dynamic feedback control; (b) Geometry control)
图 4 两种控制方法下跟踪螺旋曲线误差收敛情况对比((a)动态反馈控制方法; (b)几何控制方法)
Fig. 4 Position errors convergence when tracking a spiral curve via two control methods. ((a) Dynamic feedback control; (b) Geometry control)
图 8 螺旋曲线跟踪过程中系绳振荡角曲线
Fig. 8 Curve of swing angel on the cable when tracking a spiral curve
图 9 两种控制方法跟踪圆周曲线轨迹对比(a)动态反馈控制方法; (b)分段控制方法
Fig. 9 Track a circle via two control methods. (a) Dynamic feedback control; (b) Two-time-scale control
图 10 两种控制方法跟踪圆周曲线误差收敛情况对比((a)动态反馈方法; (b)分段控制方法)
Fig. 10 Position errors convergence when tracking a circle curve via two control methods. ((a) Dynamic feedback control; (b) Two-time-scale control)
表 1 仿真中使用的模型参数
Table 1 Model parameters in the simulations
变量 参数 单位 mq 0.4 kg ml 0.1 kg l1 0.8 m l2 0.2 m g −9.8 m·s−2 
下载: 导出CSV
-
[1] 梁潇, 方勇纯, 孙宁. 平面四旋翼无人飞行器运送系统的轨迹规划与跟踪控制器设计. 控制理论与应用, 2015, 32(11): 1430−1438Liang Xiao, Fang Yong-Chun, Sun Ning. Trajectory planning and tracking controller design for a planar quadrotor unmanned aerial vehicle transportation system. Control Theory and Applications, 2015, 32(11): 1430−1438 [2] Alothman Y, Gu D B. Quadrotor transporting cablesuspended load using iterative Linear Quadratic regulator (iLQR) optimal control. In: Proceedings of the 8th IEEE Conference on Computer Science and Electronic Engineering. Colchester, UK: IEEE, 2017. 168−173 [3] Qian L H, Liu H H T. Dynamics and control of a quadrotor with a cable suspended payload. In: Proceedings of the 30th IEEE Canadian Conference on Electrical and Computer Engineering. Windsor, Canada: IEEE, 2017. 1−4 [4] 王诗章, 鲜斌, 杨森. 无人机吊挂飞行系统的减摆控制设计. 自动化学报, 2018, 44(10): 45−54Wang Shi-Zhang, Xian Bin, Yang Sen. Anti-swing controller design for an unmanned aerial vehicle with a slung-load. Acta Automatica Sinica, 2018, 44(10): 45−54 [5] Cruz P J, Oishi M, Fierro R. Lift of a cable-suspended load by a quadrotor: A hybrid system approach. In: Proceedings of the 2015 IEEE American Control Conference. Chicago, IL, USA: IEEE, 2015. 1887−1892 [6] Cruz P J, Fierro R. Cable-suspended load lifting by a quadrotor UAV: Hybrid model, trajectory generation, and control. Autonomous Robots, 2017, 41(8): 1629−1643 doi: 10.1007/s10514-017-9632-2 [7] de Angelis E L, Giulietti F, Pipeleers G. Two-time-scale control of a multirotor aircraft for suspended load transportation. Aerospace Science and Technology, 2019, 84(2019): 193−203 [8] Isidori A, Wang B, Zhuang S X. Nonlinear Control System I. Beijing: Electronics Industry Press, 2012. [9] 梁晓, 胡欲立. 基于微分平滑的四旋翼运输系统轨迹跟踪控制. 控制理论与应用, 2019, 36(4): 525−532Liang Xiao, Hu Yu-Li. Trajectory control of a quadrotor with a cable-suspended load based on differential Flatness. Control Theory and Applications, 2019, 36(4): 525−532 [10] Lee T, Leok M, McClamroch N H. Geometric tracking control of a quadrotor UAV on SE(3). In: Proceedings of the 49th IEEE Conference on Decision and Control (CDC). Atlanta, GA, USA: IEEE, 2010. 5420−5425 [11] 王宁, 王永. 基于模糊不确定观测器的四旋翼飞行器自适应动态面轨 迹跟踪控制. 自动化学报, 2018, 44(4): 685−695Wang Ning, Wang Yong. Fuzzy uncertainty observer based adaptive dynamic surface control for trajectory tracking of a quadrotor. Acta Automatica Sinica, 2018, 44(4): 685−695 [12] 陈乐生, 王以伦. 多刚体动力学基础. 哈尔滨: 哈尔滨工程大学出版社, 1995.Chen Le-Sheng, Wang Yi-Lun. Multi-body System Dynamics. Harbin: Harbin Engineering University Press, 1995. [13] 赵杰梅, 胡忠辉. 基于动态反馈的AUV水平面路径跟踪控制. 浙江大学学报(工学版), 2018, 52(18): 1467−1481Zhao Jie-Mei, Hu Zhong-Hui. Path following control of AUV in horizontal plane based on dynamic feedback control. Journal of Zhejiang University (Engineering Science), 2018, 52(18): 1467−1481 [14] 苏善伟, 朱波, 向锦武, 林岩. 非线性非最小相位系统的控制研究综 述. 自动化学报, 2015, 41(1): 9−21Su Shan-Wei, Zhu Bo, Xiang Jin-Wu, Lin Yan. A survey on the control of nonlinear non-minimum phase systems. Acta Automatica Sinica, 2015, 41(1): 9−21 [15] 易国, 毛建旭, 王耀南, 郭斯羽, 缪志强. 非完整移动机器人目标环绕动态反馈 线性化控制. 控制理论与应用, 2017, 34(7): 895−902 doi: 10.7641/CTA.2017.60962Yi Guo, Mao Jian-Xu, Wang Yao-Nan, Guo Si-Yu, Miao Zhi-Qiang. Circumnavigation of a target with nonholonomic mobile robots via dynamic feedback linearization. Control Theory and Applications, 2017, 34(7): 895−902 doi: 10.7641/CTA.2017.60962 [16] Fliess M. Flatness and defect of non-linear systems: Introductory theory and examples. International Journal of Control, 1995, 61(6): 1327−1361 doi: 10.1080/00207179508921959 [17] Taniguchi T, Eciolaza L, Sugeno M. Quadrotor control using dynamic feedback linearization based on piecewise bilinear models. In: Proceedings of the 2014 IEEE Symposium on Computational Intelligence in Control and Automation (CICA). Orlando, USA: IEEE, 2014. 1−7 [18] Choi I H, Bang H C. Quadrotor-tracking controller design using adaptive dynamic feedback-linearization method. Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering, 2013, 228(12): 2329−2342 [19] Rego B S, Raffo G V. Suspended load path tracking control based on zonotopic state estimation using a tilt-rotor UAV. In: Proceedings of the 19th IEEE International Conference on Intelligent Transportation Systems (ITSC). Rio de Janeiro, Brazil: IEEE, 2016. 1445−1451 期刊类型引用(10)
1. 周博奇，柳丹，席磊，李彦营. 基于超松弛双Q学习的源荷储协同频率稳定算法研究. 中国电机工程学报. 2024(04): 1419-1430 . 
百度学术2. 张彬文，王新迎，李烨，闫冬. 基于双层功率分配的智能配电网协同优化策略. 高电压技术. 2024(07): 3029-3038 . 百度学术3. 陈宋宋，张路涛，周颖，陈珂，王忠东，席磊. 面向新能源并网的分布式AGC协同算法. 南方电网技术. 2023(04): 58-68 . 百度学术4. 席磊，杜雄，李彦营，李浩恺. 基于具有强化学习思想的集成学习自动发电控制算法. 南方电网技术. 2023(07): 74-82 . 百度学术5. 解立辉，席磊. 强化学习在自动发电控制中的研究进展与展望. 三峡大学学报(自然科学版). 2023(05): 133-141 . 百度学术6. 胡逸，王锡淮，肖健梅. 基于改进灰狼优化算法的多区域频率协同控制. 控制工程. 2023(09): 1630-1639+1657 . 百度学术7. 李彦营，席磊，郭宜果，王昱昊，孙梦梦，金澄心. 基于权重双Q-时延更新学习算法的自动发电控制. 中国电机工程学报. 2022(15): 5459-5471 . 百度学术8. 席磊，孙梦梦，陈宋宋，朱继忠，孙秋野，刘宗静. 面向分布式电网的多区域协同控制方法研究. 电机与控制学报. 2021(12): 75-86 . 百度学术9. 张化光，孙宏斌，刘德荣，王剑辉，孙秋野. “分布式信息能源系统”专题特约主编寄语. 中国电机工程学报. 2020(17): 5401-5403 . 百度学术10. 滕菲，单麒赫，李铁山. 智能船舶综合能源系统及其分布式优化调度方法. 自动化学报. 2020(09): 1809-1817 . 本站查看其他类型引用(9)
-
下载:
计量
- 文章访问数: 1733
- HTML全文浏览量: 152
- PDF下载量: 230
- 被引次数: 19
