近年来, 由于能源危机和生存环境的不断恶化, 各国政府纷纷出台政策鼓励和推进新能源发展. 随着光伏(Photovoltaic, PV)、风电等新能源的大规模应用, 配电网的分布式特性愈发明显, 电网调峰形势愈加严峻^[1], 传统配电网逐渐演变成为可对分布式发电、柔性负荷和储能三者进行主动控制的主动配电系统^[2-3]. 如何有效利用需求响应资源以及对新能源、储能、柔性负荷等分布式调峰资源进行协调优化控制, 提高新能源利用率, 缓解电网调峰压力, 保持配电系统运行的经济性, 增强电力系统的可靠性和可控性, 是主动配电系统研究的重要发展趋势^[4-5].

国内外学者通过不同的建模与求解方法对各类主动配电系统的运行、管理、优化等问题展开了大量研究. 文献[6]在考虑分布式能源特性的基础上建立了主动配电系统优化调度模型, 并提出了基于智能单粒子优化算法的求解方法, 实现完整调度周期内主动配电系统优化调度策略求解. 文献[7]建立了分布式电源和储能系统的多目标协调规划模型, 并采用了改进的生物地理学优化算法对主动配电系统多目标调度问题进行求解, 但以上文献均未考虑到柔性负荷对调度问题的影响. 文献[8]建立了考虑分布式能源和柔性负荷的主动配电系统调度规划模型, 并提出了一种免疫二叉萤火虫算法来求解多目标优化问题的最优策略, 但没有考虑储能装置和柔性负荷的协调调度作用. 文献[9]提出一种新的多周期柔性负荷与储能系统协调调度模型, 并通过改进的粒子群算法对主动配电系统经济调度问题进行求解. 上述文献均是在预测数据的基础上对主动配电系统的运行优化问题进行研究, 并未考虑到系统中新能源出力和各类负荷变化过程的随机动态特性对系统运行效率的影响. 但新能源出力及各类负荷需求的不确定性是普遍存在且不可避免的, 当实际值与日前预测值相差较大时, 若以预测数据为基础确定相应的优化控制策略, 将难以保证主动配电系统的长期经济运行.

另外, 随着新能源渗透率的日益增加以及用电环节的不断智能化, 主动配电系统源荷双侧的不确定性不断加大, 电力系统调度也不断向智能化发展, 传统的基于模型的静态优化算法变得越发不适用^[10-11]. 在智能电网背景下, 利用人工智能技术为电力系统动态调度问题提供智能化解决方案是当前调度计划研究的重点^[12-13].

目前, 主动配电系统的优化研究主要针对居民用户和商业用户, 对工业用户的研究较少, 且较少考虑需求侧调峰问题^[14]. 为此, 储能系统和柔性负荷作为需求侧调峰资源参与电力调度问题越发值得关注. 文献[15]提出了一种储能系统削峰填谷的变参数功率差控制方法, 实现在满足商业园区运行经济性的同时降低自身负荷峰谷差的目标. 文献[16]构建了供需侧联合随机调度模型, 并通过仿真验证了柔性负荷的调峰效益. 文献[17]论证了对工业园区内的柔性负荷进行控制能够降低用电高峰期用户集中用电给电网带来的调峰压力, 提高大电网运行的安全性和稳定性.

因此, 在上述研究基础上, 本文研究了工业园区主动配电系统实时响应大电网系统下发电随机调峰需求的优化调度问题. 首先, 本文根据VRB储能装置的充放电特性建立其数学模型, 并采用三段式安全充放电控制策略求解模型; 然后, 本文考虑了多类型柔性负荷, 并针对各类柔性负荷特性分别进行了建模处理; 最后, 考虑到当前电力系统调度问题一般为离散时段决策, 并且各个决策时刻间具有时序相关性, 将考虑电网调峰随机需求和源荷双侧随机性的工业园区主动配电系统内多类型柔性负荷与储能装置协同动态调度问题建成离散时间马尔科夫决策过程(Discrete time Markov decision process, DTMDP)模型, 并采用学习优化方法对该动态调度优化问题进行策略求解.

在系统实际运行过程中, 可根据观测状态及最优策略选择最优的控制行动, 实时制定出各类型柔性负荷调整计划和储能装置充放电计划, 从而在发、供、用电平衡协调基础上缓解电网调峰压力并实现系统安全经济运行的目标.

1.   工业园区主动配电系统模型

1.1   工业园区主动配电系统

本文研究的是由工业园区调度中心、屋顶光伏、VRB储能系统以及多类型用户负荷等组成的工业园区主动配电系统. 其中, 园区调度中心作为协调电网调控中心与工业用户的中间机构, 可实现系统内整个负荷群的宏观整体协调响应以及微观灵活分散自治^[18], 进而可以调控需求侧配电系统内各类调峰资源以满足大电网实时调峰需求, 同时实现系统的供需平衡以及经济运行, 系统结构如图1所示.

图 1  工业园区主动配电系统结构模型

Fig. 1  Structure model of active distribution system in industrial park

下载: 全尺寸图片 幻灯片

主动配电系统在任意时刻$ t $都需要满足实时供需平衡, 即:

式中, $ P_{pv}^{t,n} $表示$ t $时刻第$ n $台PV发电机组发电功率, $ {N_p} $为园区内PV发电机组台数; $ P_{vrb}^{t,n} $表示$ t $时刻第$ n $台VRB储能装置充放电功率, $ {N_{vrb}} $为园区内VRB储能装置数量; $ P_{load}^{t,n} $表示$ t $时刻第$ n $种负荷的电力需求功率, $ {N_{load}} $为工业园区内负荷的种类数, 其它变量参见表1.

表 1  部分变量符号

Table 1  Partial variable symbols

参数/变量	符号
$t$时刻与电网交互功率	$P_{grid}^t$
$t$时刻光伏出力	$P_{pv}^t$
$t$时刻刚性负荷功率	$P_{rl}^t$
$t$时刻可削减负荷功率	$P_{cu}^t$
$t$时刻可转移负荷功率	$P_{sh}^t$
$t$时刻电网调峰需求	$P_{peak}^t$
$t$时刻电网调峰需求未完成量	$P_{unf}^t$
$t$时刻储能装置充放电功率	$P_{vrb}^t$
$t$时刻储能装置功率上/下限	${P_{vrbmax}^t/P_{vrbmin}^t}$
调度周期始/末时刻	${t_{beg}}/{t_{end}}$
储能装置充/放电电流	${I_d^{charge}/I_d^{discharge}}$
储能装置充/放电电压	${U_d^{charge}/U_d^{discharge}}$
储能装置端电压上/下限	${U_d^{max}U_d^{min}}$
储能装置额定电流	${I_d^{max}}$
储能装置涓流充放电电流	${I_d^{min}}$
储能装置SOC上/下限	${SOC_{vrb}^{max}/SOC_{vrb}^{min}}$
始末时刻荷电状态期望值	${{C_{con}}}$

下载: 导出CSV 

| 显示表格

本文将该系统中总负荷按需求管理模式分为刚性负荷和柔性负荷^[1], 其中工业园区内刚性负荷属于不可调节的用电需求, 应优先被满足; 园区内柔性负荷属于可控负荷, 常被用于参与系统紧急调峰的需求响应^[19]. 现将柔性负荷按响应特性分为可削减负荷、可转移负荷和可平移负荷三种类型. 其中, 可削减负荷指可根据需要对用电量进行部分或全部削减的负荷; 可转移负荷在一个调度周期内总用电量不变, 但各时段用电量可灵活调节; 可平移负荷受生产流程约束, 其用电曲线只能在不同时段间平移^[18]. 各类负荷需求可表示为:

式中, $ P_{rl}^{t,n} $, $ P_{fl}^{t,n} $, $ P_{cu}^{t,n} $, $ P_{sh}^{t,n} $, $ P_{hs}^{t,n} $分别为$ t $时刻第$ n $个刚性负荷, 柔性负荷, 可削减负荷, 可转移负荷及可平移负荷需求功率; $ {N_r} $, $ {N_f} $, $ {N_c} $, $ {N_s} $, $ {N_h} $分别为园区内刚性负荷、柔性负荷、可削减负荷, 可转移负荷及可平移负荷的数量.

本文园区调度中心采取基于合同的直接负荷控制策略, 考虑的柔性负荷只限于与园区调度中心签订合同服从其调度指令的负荷. 在调度周期内, 调度中心对负荷具有直接调控权, 可直接控制各类柔性负荷在时序上重新调度, 并在调度结束后根据负荷调整量给予一定补偿^[20].

1.2   不确定性随机变量建模

由于环境和用户行为的随机特性, 新能源出力与各类负荷实际需求变化既具有一定统计特征, 同时也具有随机不确定性^[21-22]. 本文涉及到的随机变量分别为PV出力、各类负荷需求和电网调峰需求.

1.2.1   建立PV出力模型

在系统实际运行过程中, 可以根据气象数据预测得到次日的PV出力预测曲线. 设根据预测得到的$ t $时刻PV出力为$ P_{pvbase}^t $, 由于预测准确性有限, 在$ t $时刻实际PV出力$ P_{pv}^t $可视为预测值$ P_{pvbase}^t $与随机不确定部分$ \Delta P_{pv}^t $的叠加, 表达式为:

本文将PV出力随机不确定部分的最大范围离散为$ - {N_{pv}} \sim {N_{pv}} $共$ 2{N_{pv}}+1 $个等级, 并将该不确定量随时间的变化过程用连续时间马尔科夫过程近似描述^[23-24]. 即假设状态等级$ n_{{\rm{pv}}}^t $的逗留时间服从参数为$ \lambda _{{\rm{pv}}}^t $的指数分布, 在各时刻下的转移概率服从以自身状态为中心的离散高斯分布. 在$ t $时刻PV实际出力可近似描述为:

其中, $ n_{{\rm{pv}}}^t $表示在$ t $时刻PV出力不确定部分的功率等级; $ \Delta {P_{pv}} $表示PV出力不确定部分离散后的最小单位功率.

1.2.2   建立各类负荷需求模型

在系统实际运行过程中, 可以通过对环境以及用户历史用电行为预测得到$ t $时刻各类负荷需求功率. 但由于各类负荷用电随机性大, 影响预测的准确性, 在$ t $时刻各类负荷实际需求功率与预测值存在偏差(其中由于可平移负荷一般为固定流程生产线, 故本文不考虑其随机性), 则$ t $时刻刚性负荷、可削减负荷及可转移负荷实际需求功率可分别表示为:

其中, $ P_{rlbase}^t $, $ P_{cubase}^t $, $ P_{shbase}^t $分别表示$ t $时刻各类负荷的预测需求功率; $ \Delta P_{rl}^t $, $ \Delta P_{cu}^t $, $ \Delta P_{sh}^t $分别表示$ t $时刻各类负荷需求的随机不确定部分.

类似地, 各类负荷需求随机不确定部分随时间的变化过程也可看作高斯—马尔科夫过程^[25-27], 将各类负荷随机不确定部分的最大范围区间分别离散为相应的状态等级 $- {N_{{\rm{rl}}}}\sim {N_{{\rm{rl}}}} {\text{、}}$ $- {N_{{\rm{cu}}}} \sim {N_{{\rm{cu}}}} {\text{、}}$ $- {N_{{\rm{sh}}}} \sim $$ {N_{{\rm{sh}}}}$, 则在$ t $时刻相应状态等级下的各类负荷实际需求功率可分别描述如下:

其中, $n_{{rl}}^t$, $n_{{cu}}^t$和$n_{{sh}}^t$分别表示在$ t $时刻刚性负荷、可削减负荷及可转移负荷需求随机不确定部分的功率等级, $ \Delta {P_r} $, $ \Delta {P_c} $和$ \Delta {P_s} $分别表示各类负荷不确定部分离散后的最小单位功率.

1.2.3   建立电网调峰需求模型

电网日负荷峰谷差严重影响着电力系统稳定性和发电效率, 峰谷差越大, 发电效率越低. 调度日内, 电网实时下发相应调峰指令以期减小日负荷峰谷差, 从而提高电力系统运行稳定性、实现节能减排. 为此, 本文通过对系统内VRB储能装置和多类型柔性负荷等需求侧调峰资源进行协调控制以满足电网调峰需求, 缓解电网实时调峰压力.

由于受环境气候以及用户行为等诸多随机因素影响, 电网实际下发给工业园区的调峰指令存在着相应的随机不确定部分, 任意时刻$ t $电网实际调峰需求$ P_{peak}^t $可表示为:

其中, $ P_{pebase}^t $表示电网调峰需求与时间$ t $相关的规律性变化函数, $ \Delta P_{peak}^t $为$ t $时刻电网调峰需求的随机不确定部分.

类似地, 将电网调峰需求随机不确定部分随时间的变化过程建模为连续马尔科夫过程, 并将随机不确定部分的最大范围$ [ - \Delta P_{pemax}^t,\Delta P_{pemax}^t] $离散为$ - {N_{peak}} \sim {N_{peak}} $共$ 2{N_{peak}} + 1 $个等级, 则在$ t $时刻相应状态等级$ n_{{\rm{peak}}}^t $下的电网实际调峰需求可描述为:

其中, $ \Delta {P_{pe}} $表示$ t $时刻电网调峰指令不确定部分离散化后的最小单位功率, 状态等级$n_{{ \rm peak }}^t \in \{ { - {N_{peak}}},$$ \cdots 0,1, \cdots,{N_{peak}}\}$.

1.3   VRB储能模型

VRB的电气模型有很多种, 为了充分反映其充放电过程中的端电压、端电流以及SOC等的动态变化特性, 本文采用的VRB等效电路如图2所示^[28-29].

图 2  VRB等效电路图

Fig. 2  Equivalent circuit model of VRB

下载: 全尺寸图片 幻灯片

图中, $ {U_d} $和$ {V_s} $分别为VRB外部端电压和内核电压, $ {I_d} $和$ {I_p} $分别为充放电电流和泵损电流, $ {R_1} $和$ {R_2} $为等效内阻, $ {R_f} $和$ {C_e} $分别为寄生损耗和电极电容.

根据VRB等效电路图, 可得到其非线性数学模型如下:

在系统实际运行中, 需尽量将VRB储能装置的SOC控制在0.2 ~ 0.8之间以保证VRB工作于安全区内, 防止出现过充过放现象, 提高电池充放电效率. 本文以VRB的端电压和SOC作为安全充放电切换控制的约束条件, 采用先恒流再恒压最后涓流充放电的三阶段式控制策略求解所建立的VRB非线性数学模型. 其中, 三段式安全充放电控制策略的给定值可分别表示如下:

在VRB储能装置的三段式充电过程中, 端电压$ {U_d} $、端电流$ {I_d} $及SOC随时间的变化特性如图3所示.

图 3  采用三段式充放电策略时VRB的充电曲线

Fig. 3  Charging curve using strategy three-phase of VRB

下载: 全尺寸图片 幻灯片

在一个周期内, VRB储能装置约束如下^[30]:

1)充放电功率约束:

2)端电压约束:

3)荷电状态(剩余容量)约束:

4)储能装置始末荷电状态一致约束:

2.   调度优化模型及求解

为制定各类柔性负荷调整计划和储能系统充放电计划, 所求调度优化策略需考虑到任意决策时刻所有可能出现的源荷出力随机情况. 为此, 本文将系统决策过程建立为相应的DTMDP模型, 该调度优化模型包括状态、行动、转移代价及优化目标函数.

2.1   调度优化模型

将一天时间等分为$ K + 1 $个决策周期, 采用等周期决策方式, 决策时刻为$ {t_k} $, 其中$ k\in\left\{ {0,1, \cdots ,K} \right\} $, $ \Delta {t_{\rm{k}}} $表示决策周期$ k $的持续时间.

按照VRB储能装置的最大容量将其充放电过程中的SOC离散为$ 0 \sim N_{vrb} $状态等级, 各个决策周期$ k $内储能装置的动作$ {a_{vrb}^k} \in \left\{ {{\rm{ - }}1,0,1} \right\} $, 其中, $ {a_{vrb}^k} = 1 $表示储能装置充电, $ {a_{vrb}^k} = 0 $表示储能装置闲置, $ {a_{vrb}^k} = - 1 $表示储能装置放电.

根据工业园区主动配电系统内各类柔性负荷不同的响应特性, 将第$ k $个决策周期内实际可削减负荷平均削减功率$ {P_{cu}^k} $离散为$ 0 \sim N_{{a_{cu}}} $个等级, 各个决策周期$ k $内可削减负荷削减动作$a_{cu}^k \in$$\{ 0,1, \cdots , $$ {N_{{a_{cu}}}} \}$, 故调度日全天各决策周期$ k $内可削减负荷实际调整量$ Q_{cu}^k $可表示如下:

由于可转移负荷在调度周期内总用电量不变, 即应将各个决策周期$ k $内负荷实际转移量依次记录下来并叠加至末时段$ K $, 按式(18)来确定末时段内负荷实际转移量和相应的转移动作, 以保证在各个决策周期内负荷实际转移量叠加之和为0. 将调度日内各个决策周期$ K $内实际可转移负荷平均转移功率$ P_{sh}^k $离散为$ 0 \sim N_{{a_{sh}}} $个等级, 设置各决策周期可转移负荷转移动作$a_{sh}^k \in \{ { - {N_{{a_{sh}}}}, \cdots ,0,1,} \cdots ,$$ {N_{{a_{sh}}}}\} $, 其中$ a_{sh}^k > 0 $代表转入, $ a_{sh}^k < 0 $代表转出, $ a_{sh}^k = 0 $代表不转移, 并记录各决策周期$ k $内可转移负荷动作等级, 将其作为状态$ n_{ash}^k $. 故调度日全天各决策周期$ k $内可转移负荷实际调整量$ Q_{sh}^k $可表示如下:

可平移负荷应满足平移前后负荷用电曲线形状不变, 故将实际可平移负荷平均平移功率$ P_{hs}^k $离散为$ \left\{ {0,1} \right\} $两个等级, 设置可平移负荷平移动作$ a_{hs}^k \in \left\{ {0,1} \right\} $. 其中, 平移动作$ a_{hs}^k = 0 $代表可平移负荷在决策周期$ k $内不平移, $ a_{hs}^k = 1 $代表可平移负荷在决策周期$ k $内平移. 为保证平移过程不会改变曲线形状, 应将各个决策周期$ k $内可平移负荷的平移动作记录下来作为状态$ {n_{ahs}^k} \in \left\{ {0,1} \right\} $. 调度日全天各决策周期内可平移负荷实际调整量$ Q_{hs}^k $可表示如下:

其中, $ Q_{cu}^k $, $ Q_{sh}^k $和$ Q_{hs}^k $分别表示在决策周期$ k $内可削减负荷、可转移负荷和可平移负荷三种柔性负荷的实际调整量.

定义系统状态向量$ {s_k} $由决策周期$ {k} $、VRB储能状态等级$ {n_{vrb}^k} $、电网实时调峰需求等级$ {n_{peak}^k} $、PV出力等级$ {n_{pv}^k} $、工业园区内各类负荷需求功率等级$ {n_{rl}^k} $, $ {n_{cu}^k} $, $ {n_{sh}^k} $以及记录的各个决策周期内可转移与可平移负荷调整动作的状态等级$ {n_{ash}^k} $和$ {n_{ahs}^k} $组成, 即: $ {s_k} = \left( {k,n_{vrb}^k,n_{peak}^k,n_{pv}^k,n_{rl}^k,n_{cu}^k,n_{sh}^k,n_{ash}^k,n_{ahs}^k} \right)$$\in{\Phi} $, $ {\Phi} $为系统状态空间, 状态总数为:

系统行动包括当前状态下VRB储能装置的充放电动作$ {a_{vrb}} \in {D_{vrb}} = \left\{ { - 1,0,1} \right\} $, 可削减负荷削减动作$ {a_{cu}} \in {D_{cu}} = \left\{ {0,1, \cdots ,{N_{{a_{cu}}}}} \right\} $, 可转移负荷转移动作${a_{sh}} \in {D_{sh}} = \left\{ { - {N_{{a_{sh}}}} ,\cdots, 0,1, \cdots ,{N_{{a_{sh}}}}} \right\}$以及可平移负荷平移动作$ {a_{hs}} \in {D_{hs}} = \left\{ {0,1, \cdots ,{N_{{a_{hs}}}}} \right\} $. 系统行动向量为$a = \left( {{a_{vrb}},{a_{cu}},{a_{sh}},{a_{hs}}} \right) \in D,$ 系统行动集为$ D = {D_{vrb}} \times {D_{cu}} \times {D_{sh}} \times {D_{hs}} $.

定义系统策略$ \pi $为状态空间–行动集的映射, 即对于任意状态$ {s_k} $, 均可根据策略$\text{π}$ 选择行动$ {a_{{s_k}}} = \text{π} \left( s_k\right) $用以控制系统运行.

2.2   目标函数及代价

本文的优化目标是在考虑系统功率平衡、储能装置等各类约束情况下, 通过学习优化的方法制定多类型柔性负荷调整计划和储能系统充放电计划, 以缓解电网调峰压力并降低系统日运行代价.

假设当前时间到达决策时刻$ {t_k} $, 通过观测可知系统处于当前状态$ {s_k} $, 在该状态下选择行动$ {a_{{s_k}}} $, 经过一个决策周期后, 系统状态转移到下一决策周期的状态$ {s_{k + 1}} $, 并产生转移代价$ {c^k} $, 由此得到一个状态转移过程为$\langle {s_k},{a_{{s_k}}},{s_{k + 1}},{c^k} \rangle$. 其中, 在决策周期$ k $内系统运行过程中产生的各类代价可分别表示如下:

其中, $ c_{peak}^k $表示在决策周期$ k $内系统未满足电网调峰需求的调峰代价, $ \lambda _{peak}^k $为调峰代价系数; ${{c}}_{grid}^k$表示决策周期$ k $内系统购电代价, $ f_{grid}^k $为决策周期$ k $内的电价; ${{c}}_{vrb}^k$表示决策周期$ k $内VRB储能装置的充放电损耗代价, $ \lambda _{vrb}^k $为代价系数, $ {\eta _{charge}} $和$ {\eta _{discharge}} $分别为储能充、放电效率; ${{c}}_{cu}^k$表示在决策周期$ k $内对柔性负荷的补偿代价, $ f_{cu}^k $为对柔性负荷中断的补偿系数, $ f_{sh}^k $为对柔性负荷转移的补偿系数, $ f_{hs}^k $为对柔性负荷平移的补偿系数.

在决策周期$ k $内通过执行行动$ {a_k} $状态转移过程中产生的运行代价$ {c^k} $可表示为:

主动配电系统调度呈一定周期性, 应使每个调度周期末VRB储能装置剩余容量等级与调度周期起始时刻一致并达到期望的容量等级, 故将末状态代价设置为如下所示的差值函数${c_{vrb}}\left( {{s_{K + 1}}} \right)$:

其中, $ n_{vrb}^{K + 1} $为末决策时刻VRB储能装置的实际容量等级, $ n_{vrb}^{con} $为设定的末时刻VRB储能装置期望达到的容量等级, $ \lambda _{vrb}^{K + 1} $为末状态代价系数.

定义系统在策略$ {\pi} $下以初始状态为$ s_0 $的有限时段内优化性能准则为$ {V^{\rm{\pi }}}\left( {{s_0}} \right) $, 可表示如下:

其中, $c^k $取决于状态$s_k$及根据策略$ \pi $选取的动作$a_{s_k}.$系统的优化目标为在策略集$ \Omega $中找到一个最优策略$ {\pi^* } $, 使得在该策略下系统平均日运行代价最低, 即${\pi ^ * }{\rm{ = }}\arg \mathop {\min }\nolimits_{\pi \in \Omega } {V^\pi({s_0}) }$.

2.3   学习优化过程

针对考虑源荷双侧随机性的工业园区主动配电系统的动态调度问题, 本文采用强化学习方法对该问题进行策略求解. 其中, Q学习算法是一种模型无关的基于强化学习的随机动态规划方法, 适用于求解随机环境下的最优控制策略^[31]. 为此, 本文采用基于模拟退火的有限时段Q学习算法对所建调度优化模型进行策略求解, 具体求解过程如下:

步骤 1. 初始化Q值表, 样本轨道总数$ L $, 单条样本轨道决策周期数$ K + 1 $, 学习率$ {\alpha _l} $, 学习率更新系数$ {\eta _\alpha } $, 模拟退火温度$ {T_{{\rm{temp}}}} $及模拟退火系数$ {\eta _{{\rm{temp}}}} $, 并令当前样本轨道数$ l = 0 $;

步骤 2. $ k = 0 $, 并随机初始化系统状态$ {s_k} $;

步骤 3. 根据Q值表和贪婪策略, 选取在当前状态$ {s_k} $下对VRB储能装置和各类柔性负荷的贪婪行动${a_{{\rm{greedy}}}} = \arg \mathop {\min }\nolimits_{{a_{{s_k}}} \in D} Q({s_k},{a_{{s_k}}})$, 同时随机选取有效行动$ {a_{{\rm{rand}}}} $. 若${{\rm e}^{\left( {Q\left( {{s_k},{a_{{\rm{greedy}}}}} \right) - Q\left( {{s_k},{a_{{\rm{rand}}}}} \right)} \right)/{T_{{\rm{temp}}}}}} < {\mathop{\rm random}\nolimits}$$ \left( {0,1}\right) $, 则选取当前行动$ {a_{{s_k}}} = {a_{{\rm{greedy}}}} $, 否则$ {a_{{s_k}}} = {a_{{\rm{rand}}}} $. 若$ k < K $, 跳转至步骤4; 若$ k = K $, 跳转至步骤5;

步骤 4. 执行当前所选行动$ {a_{{s_k}}} $, 根据所建系统模型观察下一决策周期对应的系统状态$ {s_{k + 1}} $, 并计算在决策周期$ k $内通过执行行动$ {a_{{s_k}}} $状态转移过程中产生的代价$ {c^k} $, 根据式(28)更新Q值表, 同时更新策略, 即通过不断更新各状态-行动对对应的Q值和选取各状态下最小的Q值对应的储能装置充放电方案和各类柔性负荷调整方案作为该状态下新的行动, 达到更新策略的目的. 并令$ k: = k + 1 $, 返回步骤3;

步骤 5. 执行当前状态$ {s_K} $所选行动$ {a_{{s_K}}} $, 并计算在决策周期$ K $内通过执行行动$ {a_{{s_K}}} $状态转移过程中产生的代价$ {c^K} $及末状态代价$ {c_{{\rm{vrb}}}}({s_{K + 1}}) $, 并根据式(29)更新Q值表, 同时更新策略, 并令$l: = l + 1,$ $ {\alpha _l}{\rm{:}} = {\eta _\alpha } * {\alpha _l} $;

步骤 6. 若$ l < L $, 根据退火系数$ {\eta _{{\rm{temp}}}} $更新温度$ {T_{{\rm{temp}}}}{\rm{:}} = {\eta _{{\rm{temp}}}}{T_{{\rm{temp}}}} $, 返回步骤2; 否则结束程序.

3.   算例分析

3.1   算例描述

在本文算例中, 根据某市各类负荷、PV相关数据特征^{[21, 32]}, 拟合典型的工业园区主动配电系统内PV出力、总负荷需求以及各类柔性负荷需求等随机因素的相应统计预测曲线如图4、图5所示. 其中, 柔性负荷占园区内总体负荷需求的比例为16%, 可削减、可转移、可平移3类柔性负荷的比例分别为10 %、4.8 %、1.2 %. 全天负荷整体平稳, 但在早、中、晚各有一个低谷, 且早晚低谷相对更低, 呈现明显的日峰夜谷特点. 在PV发电装置附近配备有容量为3 MWh的VRB储能装置, 单个VRB储能单元相关参数如表2所示^[33]. 设置本文动态调度问题的决策周期为24个时段, 每个时段的持续时间为1 h.

图 4  工业园区内PV出力与总负荷需求预测曲线

Fig. 4  Prediction curves of PV and loads demand in industrial parks

下载: 全尺寸图片 幻灯片

图 5  工业园区内各类柔性负荷典型日曲线

Fig. 5  Prediction curves of multi-type flexible loads in industrial parks

下载: 全尺寸图片 幻灯片

表 2  VRB模型参数设置表

Table 2  Parameters of VRB

VRB本体参数名称	数值	VRB模型参数名称	数值
能量	30 kWh	$R_1$	0.045 Ω
容量	630 Ah	$R_2$	0.03 Ω
额定功率	5 kW	$R_f$	13.889 Ω
端电压	42 ~ 60 V	$C_e$	0.154 F
额定电流	105 A	$I_p$	5 A

下载: 导出CSV 

| 显示表格

本文参照江苏省工业用户峰谷分时电价标准设定工业园区主动配电系统内各时段的具体电价, 其中, 高峰时段8:00—12:00和17:00—21:00, 电价为0.9947元/kWh; 低谷时段0:00—8:00, 电价为0.2989元/kWh; 剩余时段的平电价为0.5968元/kWh^[34].

根据第2.1节可知, 本文考虑到的系统状态变量和控制变量种类较多, 仿真算例中所选取的状态−行动对个数更是多达7 558 272, 由此形成的策略空间庞大, 难以通过传统数值求解方法进行求解, 因此本文采用学习优化方法对该动态调度问题进行策略求解.

3.2   仿真结果分析

1)学习优化过程分析

本文以一天24小时为调度周期, 充分利用各类柔性负荷和储能装置等可调度资源对工业园区主动配电系统进行调度协调控制, 并采用基于模拟退火Q的学习算法对该系统的动态调度优化问题进行求解. 在学习过程中, 通过Q值更新公式不断更新Q值表, 得到Q学习优化策略. 设一条样本轨道为系统一日内运行过程, 每经过20 000条样本轨道, 对所得策略进行一次评估, 并设置策略评估过程中评估样本轨道数为3 000, 对评估样本轨道结果取均值以估算系统日运行代价, 图6分别给出了传统Q学习、双Q学习、模拟退火Q学习以及模拟退火双Q学习的日平均代价学习优化曲线, 各学习优化方法的收敛时间分别为54 820 s、14 803 s、44 508 s和11 154 s. 从图6中可以看出各优化算法下系统日运行代价均随着学习步数的增加而逐渐下降, 并最终趋于收敛, 其中, 双Q学习收敛速度较Q学习快很多, 这是因为双Q学习是双重学习, 可避免最大值带来的偏差影响, 收敛更快, 但Q学习较双Q的优化效果更胜一筹; 同时模拟退火Q学习算法可利用模拟退火思想解决探索和利用的平衡问题, 进而可提高收敛速度和算法性能, 相较于传统Q学习的收敛速度更快. 在实际应用中, 可综合考虑时间和效果进行相应优化算法的选取和实验.

图 6  不同学习优化算法下的系统总学习优化过程曲线

Fig. 6  The optimal curve of the system under different learning optimization algorithm

下载: 全尺寸图片 幻灯片

图7给出了基于模拟退火的Q学习过程的策略性能曲线, 学习曲线为每一条样本轨道所记录的日运行代价的平均值, 填充区间为这3 000条样本轨道所得数据在各点处的标准差区间, 填充区域面积越小, 则表明不同样本轨道得出的结果越接近, 学习稳定性越好. 由学习曲线可以看出系统日运行代价均随着学习步数的增加而逐渐下降, 并趋于收敛, 系统日运行平均代价较学习优化前降低28.7%, 显著提高了系统运行效益; 同时学习过程中不同样本轨道得到的数据波动并不大且随着学习步数的增加在不断减小直至趋于较小的稳定值. 综上所述, 本文采用的基于模拟退火法的Q学习算法所求得的策略可以稳定、有效的适用于工业园区型主动配电系统的优化研究.

图 7  系统学习优化过程的策略性能曲线

Fig. 7  The strategic performance curve of the system learning optimization process

下载: 全尺寸图片 幻灯片

图8给出了电网调峰需求未完成度的学习曲线, 经过学习优化, 调峰需求未完成度逐渐降低并最终稳定在11.1% 左右; 图9为学习优化过后, 各时段内电网调峰需求完成情况, 明显可以看出在用电高峰时段实际调峰量完全满足其调峰需求, 在用电低谷时段实际调峰量也基本完成了电网调峰需求. 例如在5 ~ 7时段, 系统实际调峰量较电网调峰需求量相差较大, 主要是因为从凌晨至今, 大电网调峰需求均趋向于填谷, 系统内储能装置SOC已临近极值, 故这段时间调峰效果稍差.

图 8  调峰学习优化曲线

Fig. 8  The optimal curve of peak operation

下载: 全尺寸图片 幻灯片

图 10  末代价学习优化曲线

Fig. 10  The optimal curve of final cost

下载: 全尺寸图片 幻灯片

图10给出的是在随机初始SOC情况下末状态代价的优化曲线, 从图10可以看出, 通过学习优化, 末状态代价可收敛在0左右, 即末状态储能剩余容量等级可达到期望值; 图11给出在不同初始荷电状态情况下, 所得优化策略在一条样本轨道运行中系统内储能装置SOC的变化情况. 可以看出在不同初始荷电状态下, 所得优化策略均可将荷电状态在夜间降至较低水平, 且趋向于在低电价时段选取充电或闲置, 而在用电高峰时段趋向于放电或闲置, 以获取因电价差值产生的收益, 缓解大电网的调峰压力, 进而提高工业园区主动配电系统运行的经济性并提升需求侧调峰效果.

图 9  各时段电网调峰指令完成情况示意图

Fig. 9  The completion of peak adjustment instruction

下载: 全尺寸图片 幻灯片

图 11  不同初始荷电状态下各时段SOC变化情况

Fig. 11  Changing process of SOC under different initial values

下载: 全尺寸图片 幻灯片

图12为学习优化前后需求侧负荷曲线, 由图12可以看出, 与原负荷曲线相比, 学习优化策略对工业园区主动配电系统有一定的调峰效果, 学习优化前后系统总负荷特征如表3所示. 由表3可知, 学习优化前系统负荷峰谷差为2 689 kW, 通过学习优化对系统内多类型柔性负荷选取控制行动, 使峰谷差减少为2 535 kW, 系统峰谷差降低5.7 %. 上述结果说明通过学习优化不但可以满足电网调峰需求, 而且可以在一定程度上降低系统自身峰谷差, 有利于主动配电系统安全经济运行.

图 12  学习优化前后系统负荷曲线

Fig. 12  The curves of load before and after learning optimization in the system

下载: 全尺寸图片 幻灯片

表 3  学习优化前后系统总负荷特征

Table 3  The characteristic of load before and after learning optimization in the system

类型	峰值(kW)	谷值(kW)	峰谷差(kW)
优化前	5 289	2 600	2 689
优化后	4 995	2 460	2 535

下载: 导出CSV 

| 显示表格

图13为学习优化后系统内3类典型柔性负荷在调度日内各时段下的实际调整量, 可以看出可削减负荷的削减量在负荷用电高峰期明显高于用电低谷期, 可转移负荷趋向于将自身负荷用电从用电高峰转移到用电低谷, 可平移负荷由于自身特性和限制只会小范围向后平移. 通过对各类柔性负荷的动态调整可在一定程度上减缓电网调峰压力, 并在一定程度上实现峰电谷用.

图 13  学习优化后各时段典型柔性负荷调整量

Fig. 13  Adjustment of multi-type flexible loads after optimization

下载: 全尺寸图片 幻灯片

2)不同调度模式下的优化结果对比分析

在相同配置情况下, 将VRB储能装置与柔性负荷协同优化调度模式记为模式1; 将仅考虑VRB储能装置的优化调度模式记为模式2; 将仅考虑柔性负荷的优化调度模式记为模式3; 将既不考虑VRB储能装置也不考虑柔性负荷的优化调度模式记为模式4. 4种模式对应于系统不同的物理结构, 其策略维度也不同, 故分别对应不同的策略, 分别记为策略1, 2, 3, 4. 现分别将其他模式对应的优化效果与模式1进行比较, 在各优化调度模式下主动配电系统运行过程中产生的日运行代价和调峰完成情况对比如图14所示, 各项代价指标的具体数值如表4所示.

图 14  不同调度模式下的调峰效果比较图

Fig. 14  Comparison effect of peak operation under different dispatching modes

下载: 全尺寸图片 幻灯片

表 4  不同调度模式下的相关指标

Table 4  Related indexes under different dispatching modes

	总体代价(元)	调峰代价(元)	购电代价(元)	VRB充放代价(元)	柔性负荷补偿金额(元/d)
模式1	44 500	1 421	37 910	342	4 743
模式2	48 870	7 483	40 997	362	0
模式3	46 260	1 845	37 986	0	6 432
模式4	55 160	12 780	42 380	0	0

下载: 导出CSV 

| 显示表格

由表4数据可以看出各模式下系统优化效果由好到差分别为: 模式1、模式3、模式2、模式4. 由图14可以看出, 模式1下的电网调峰需求完成度明显优于其他3种模式, 且模式1下的系统日平均运行代价最低: 模式2的调峰完成度较差, 主要是因为在模式2下电网调峰需求由VRB储能装置充放电来完成, 然而各时刻下充放电功率与储能装置实际容量有关, 无法动态调节, 在一定程度上受到很大限制, 而模式1和模式3中电网调峰需求可通过调节各类典型柔性负荷来完成, 可动态调节, 更有利于大电网调峰任务的完成. 上述结论充分说明了本文引入VRB储能装置与多类型柔性负荷进行协同优化调度的有效性.

由图15可以看出, 模式1与模式2的策略相比, 负荷需求有明显差异, 在负荷用电高峰时段模式1的负荷需求明显低于模式2, 而在负荷用电低谷时段模式1的负荷用电需求又高于模式2, 说明了策略1通过在不同时段对各类型柔性负荷选取不同行动, 即用电高峰选取削负荷行动, 并将部分可转移、可平移负荷由高峰用电移至低谷, 在一定程度上实现了削峰填谷, 发挥了柔性负荷的调峰作用.

图 15  不同调度模式下负荷优化结果比较图

Fig. 15  Comparison diagram of load optimal results under different dispatching modes

下载: 全尺寸图片 幻灯片

以模式1选取的VRB储能装置容量配置为基准, 分别求解不同储能装置容量配置下对应的优化调度方案, 经优化得到不同容量占比下系统运行过程中的各项代价比较情况如图16所示. 由图16可知, 随着储能装置容量的增加, 系统日运行总代价缓慢降低, 并且未完成电网调峰需求产生的调峰代价以及柔性负荷的补偿代价逐渐减小, 储能装置充放电过程产生的损耗也逐渐增加, 说明了在允许范围内适当增加储能装置的容量配置可以提高电网调峰需求完成度和降低系统日运行代价.

图 16  不同储能容量占比下的各项代价比较图

Fig. 16  Comparison of costs under different proportion of energy storage capacity

下载: 全尺寸图片 幻灯片

以模式1设置的各类柔性负荷占比为基准, 分别求解不同柔性负荷占比下的优化调度方案, 所得系统运行过程中产生的各项代价指标的变化趋势如图17所示. 由图17可明显看出, 随着柔性负荷的占比增加, 系统运行过程中因调节各类柔性负荷需补偿的代价逐渐增加, 而因未完成电网调峰需求产生的调峰代价先是逐渐降低直至柔性负荷占比为所设基准值的90%左右, 此时若继续增加柔性负荷占比调峰代价则呈上升趋势, 并且系统总体运行代价趋势与调峰代价趋势基本一致.

图 17  不同柔性负荷占比下的各项代价比较图

Fig. 17  Comparison of costs under different proportion of flexible load

下载: 全尺寸图片 幻灯片

根据光伏及负荷统计预测曲线, 在模式1结构下, 将源荷双侧随机因素作为系统状态和不作为系统状态的两种优化求解方式分别记为方案1和方案2. 将方案2与方案1所得的优化策略在随机环境下进行评估比较, 结果如表5和图18所示.

表 5  不同方案下的相关指标

Table 5  Related indexes under different projects

	总体代价(元)	调峰代价(元)	调峰完成度
方案1	44 500	1421	88.9%
方案2	45 120	1772.9	86.1%

下载: 导出CSV 

| 显示表格

图 18  不同方案下的调峰需求未完成量比较图

Fig. 18  Unfinished amount of peak operation demand under different projects

下载: 全尺寸图片 幻灯片

从图18可以看出总体上各时段内方案1的优化策略对应的电网调峰需求未完成量要小于方案2, 且方案1在用电高峰时段下的调峰未完成量均趋于0, 故方案1的调峰效果明显好于方案2. 由表5可知方案1下的系统日运行代价相比于方案2更低, 且其调峰完成度也高于方案2. 以上现象均说明了本文采用的将源荷双侧随机因素作状态的方案1与不将随机因素作状态的方案2相比, 其所得优化策略能够更加经济地适用于实际的随机环境, 并可进一步提高电网调峰需求完成度.

3)学习优化策略分析

在所得优化策略下对一条样本轨道进行学习, 可以观测得到该条仿真样本轨道中各时段PV发电功率、各类负荷需求、电网调峰需求和电池荷电状态等实际状态值, 以及相应状态下采取的最优控制行动如图19所示, 表6记录了调度日内该样本典型状态和行动.

图 19  优化策略下各时段行动选取情况

Fig. 19  Choice of action pairs under optimal policy

下载: 全尺寸图片 幻灯片

表 6  优化策略下部分状态行动

Table 6  Partial state-action pairs under optimal policy

状态编号	407	8832	18549	24075	25533	33491	38955	42845
决策时刻	0时	4时	9时	12时	13时	17时	20时	22时
各类负荷状态	(1, 1, 0, 2)	(1, 1, 2, 1)	(1, 1, 1, 0)	(2, 1, 1, 0)	(2, 1, 1, 0)	(0, 1, 2, 0)	(1, 0, 1, 0)	(1, 0, 2, 0)
储能装置动作	充电	充电	放电	放电	闲置	放电	放电	闲置
柔性负荷动作	(0, 1, 0)	(0, 1, 1)	(1, 0, 0)	(0, −1, 0)	(2, −1, 0)	(2, 0, 0)	(1, 0, 0)	(0, 1, 0)

下载: 导出CSV 

| 显示表格

由图19和表6可知, VRB储能装置在低电价时更趋向于选取充电动作来储存电量以备即将到来的负荷用电高峰, 在高电价时则倾向于选取放电动作, 利用存储的电能为负荷供电, 以降低在用电高峰购电代价以及负荷高峰期的用电需求, 获取“低价储电, 高价卖电”的经济收益, 这种低储高放方式不但可以赚取电价差的利润而且可以缓解电网调峰压力; 可削减负荷在用电高峰期倾向于大幅度的削减负荷用电, 在用电低谷期则不削减负荷用电; 可转移负荷倾向于将负荷从高峰用电转移到低谷用电; 可平移负荷向后平移2个时段, 使时间跨度由3:00—15:00变为5:00—17:00, 避免了夜间工作为工人带来的不便利. 例如, 在4时低负荷、低电价的情况选择储能装置的动作为充电, 可削减负荷的动作为不削减, 可转移负荷的动作为转入, 可平移负荷的动作是向后平移.

针对模式1, 2, 3所得相应的调度优化策略1, 2, 3, 可得到各策略在同一样本轨道下各时段的调峰完成情况如图20 所示, 可以看出模式1下该样本的调峰未完成量明显小于模式2、3, 且其在负荷高峰期的调峰未完成量均为0, 完全满足电网在用电高峰期的调峰需求. 表7给出了各优化策略在该样本轨道下产生的各项代价指标, 根据表中数据分析可知模式1下的日运行费用也明显小于其他模式, 说明了在单条样本下, 考虑多类型柔性负荷与储能装置协同调度所得策略的优化效果更好, 进一步证明了本文优化方法的有效性.

图 20  优化策略下不同模式的调峰需求未完成量比较图

Fig. 20  Unfinished amount of peak operation demand under different modes in optimal policy

下载: 全尺寸图片 幻灯片

表 7  优化策略下不同模式的相关指标

Table 7  Related indexes under different modes in optimal policy

	总体代价(元)	调峰代价(元)	购电代价(元)	VRB充放代价(元)	柔性负荷补偿金额(元/d)
模式1	42 370	1 125	35 800	389	5 056
模式2	50 856	8 266	42 049	350	0
模式3	47 555	1 566	39 867	0	6 122
模式4	55 297	13 131	42 166	0	0

下载: 导出CSV 

| 显示表格

4.   结论

本文研究的是考虑电网调峰需求的工业园区主动配电系统内动态经济调度优化问题, 并在此基础上考虑了源荷双侧不确定因素, 将工业园区主动配电系统调度问题建立为马尔科夫决策过程模型, 采用模拟退火Q学习算法对该动态问题进行策略求解. 仿真结果表明, 考虑多类型柔性负荷和储能系统协同调度相比于传统单一模式可显著降低电网调峰需求未完成度以及提高系统运行效益, 并且学习优化所得控制策略能够在考虑源荷随机情况下降低系统的运行成本, 降低自身峰谷差, 可在很大程度上满足电网调峰需求, 有利于主动配电系统经济运行和提高电力系统运行稳定性.

由于本文考虑的系统状态和行动种类多, 若后续考虑将系统状态和行动连续化以获取更加精确的模型和更高精度的控制效果, 可能会导致维数灾问题, 探索解决该类问题的方法十分值得进一步研究; 同时, 由于系统故障或人为行为等因素带来的系统物理结构的动态变化, 考虑系统结构动态切换场景下的策略优化问题也是值得深入研究的一个方向; 此外, 随着新能源渗透率和柔性负荷规模的日益增大, 考虑在源荷互动、多方参与的复杂电力市场交易环境下系统内各部分利益间的博弈问题以及多类型市场机制对系统调度优化的影响也是有意义的研究方向.