Missing Data Generation Method Based on Flow Model and Its Application in Remaining Life Prediction
-
摘要: 针对缺失数据生成模型精度低和训练速度慢的问题, 本文基于流模型框架提出了一种改进非线性独立成分估计(Nonlinear independent components estimation, NICE)的缺失时间序列生成方法. 该方法依靠流模型框架生成模型精度高、训练过程速度快的优势, 并结合粒子群优化算法(Particle swarm optimization, PSO) 优化NICE生成网络采样的退火参数, 训练学习监测数据的真实分布, 从而实现对数据缺失部分的最优填补. 为进一步拓宽所提方法的应用范围, 利用基于流模型的缺失数据生成方法得到的生成数据, 通过建立融合注意力机制的双向长短时记忆网络(Bidirectional long short-term memory with attention, Bi-LSTM-Att)的退化设备预测模型, 实现设备剩余寿命的准确预测. 最后, 通过锂电池退化数据的实例研究, 验证了该方法的有效性和潜在应用价值.Abstract: Aiming at the problems of low accuracy and slow training speed of the missing data generation model, this paper proposes a missing time series generation method based on the flow model framework, which improves the nonlinear independent components estimation (NICE). The method relies on the flow model framework. The advantages of the high accuracy of the generative model and the fast training process are combined with the particle swarm optimization (PSO) algorithm to optimize the annealing parameters of the NICE generation network sampling, and the training and learning to monitor the real distribution of the data, so as to achieve the most optimal part of the missing data. In order to further broaden the application scope of the proposed method, this paper uses the generated data obtained by the missing data generation method based on the flow model, and establishes a bidirectional long short-term memory network (Bidirectional long short-term memory with attention, Bi-LSTM-Att) degradation device prediction model to achieve accurate prediction of the remaining life of the device. Finally, the effectiveness and potential application value of the proposed method are verified through a case study of lithium battery degradation data.
-
城市污水处理过程通过微生物吸附、分解以及氧化等过程, 将污水中的污染物去除, 是维持水资源可持续利用的重要手段[1-3]. 近年来, 随着城市污水排放量不断增加和国家排放标准的日趋严格, 城市污水处理厂规模不断增容, 导致城市污水处理过程运行能耗逐渐增大, 且出水水质不稳定[4-6]. 因此, 如何降低运行能耗和提高出水水质是城市污水处理过程亟待解决的问题.
为了降低城市污水处理过程运行能耗, Sun等提出了基于活性污泥2d模型的优化控制策略, 该优化控制策略建立了能耗与化学需氧量(Chemical oxygen demand, COD)、生化需氧量(Biochemical oxygen demand, BOD)、氨氮、总氮等状态变量的关系, 利用氨氮偏差计算溶解氧浓度的优化设定值[7]. 应用结果表明, 该优化控制策略能够有效降低能耗. De Gussem等提出了一种能耗实时优化控制策略, 该优化控制策略采用活性污泥能耗模型实现能耗与城市污水处理过程运行状态之间的关系描述, 并基于计算流体力学完成曝气池中叶轮开闭数量优化[8]. 应用效果表明, 该优化控制策略可以在不影响有机物去除效率的情况下降低能耗. 上述优化控制策略构建了基于机理分析的能耗目标模型描述城市污水处理过程运行能耗与运行状态变量的关系. 然而, 由于城市污水处理过程入水流量、入水水质等动态变化, 模型精度难以保证, 影响优化控制效果[9-11]. 因此, 基于数据驱动优化目标模型的优化控制方法获得了一些学者的关注, Zeng等提出了基于混合整数非线性规划模型的优化控制方法, 该优化控制方法完成了泵送能耗与泵送速度、操作时间的动态关系表达, 并采用贪婪类电磁机制算法获取最优的泵送速度和操作时间[12]. 仿真结果表明, 该优化控制方法可以显著地降低城市污水处理过程泵送能耗. Filipe等提出了能耗优化控制策略, 该优化控制策略采用梯度增强树建立了泵送能耗与运行状态变量之间的动态关系, 并基于深度强化学习实现控制变量优化设定值的求解[13]. 仿真结果表明, 该优化控制策略可以有效节约城市污水处理过程泵送能耗. 然而, 城市污水处理过程出水水质也是一个重要的运行指标, 如何降低城市污水处理过程能耗的同时提高出水水质是亟待解决的问题[14-16].
为了同时优化能耗和出水水质, Vega等提出了实时优化控制策略, 该优化控制策略采用实时优化算法实现溶解氧和硝态氮浓度优化设定值的求解[17]. 仿真结果表明, 该优化控制策略能够在降低能耗成本的同时提高出水水质. Zhang等提出了基于城市污水处理过程动态特征的优化控制方法, 该优化控制方法采用动态遗传算法求解水力停留时间、内循环比等控制变量的优化设定值, 并利用反向传播算法获取能耗和出水水质的权重系数[18]. 仿真结果表明, 该优化控制方法能够有效降低城市污水处理过程能耗并提高出水水质. 上述两种优化控制策略主要通过引入权重系数, 将多目标优化问题转化为单目标优化问题对控制变量设定值进行求解. 然而, 由于城市污水处理过程运行状态难以确定, 导致权重系数难以准确获取[19-20]. 因此, De Faria等提出了基于档案多目标进化算法的优化控制策略, 该优化控制策略能够通过Pareto支配关系平衡能耗成本、出水水质和生命周期影响, 获得合适的溶解氧浓度、外部碳源等控制变量优化设定值[21]. 仿真结果表明, 该优化控制策略有效降低了能耗成本, 提高了出水水质. Qiao等提出了基于自适应多目标差分进化算法的优化控制策略, 该优化控制策略能够获取合适的溶解氧和硝态氮浓度的优化设定值, 实现了城市污水处理过程能耗和出水水质同时优化[22]. 另外, 一些学者提出了基于多目标优化算法的优化控制方法同时优化了能耗和出水水质[23-25]. 然而, 城市污水处理过程优化目标模型是时变的, 如何获得有效的控制变量优化设定值依然是城市污水处理过程面临的挑战性问题[26].
城市污水处理过程优化控制方法主要包括以下三个过程: 首先, 建立运行过程目标模型, 描述运行目标与系统状态变量的动态特征; 其次, 设计优化方法, 获取控制变量优化设定值; 最后, 利用控制器跟踪设定值, 实现城市污水处理过程优化控制[27-29].文中提出了一种数据和知识驱动的多目标优化控制(Data-knowledge driven multiobjective optimal control, DK-MOC)方法, 主要贡献如下:
1) 设计基于自适应模糊神经网络(Adaptive fuzzy neural network, AFNN)的数据驱动优化目标模型, 描述能耗、出水水质以及相关状态变量的动态关系.
2) 提出基于知识迁徙学习的动态多目标粒子群优化算法, 将目标变化前具有较好分布性的解应用于目标变化后控制变量设定值的求解过程, 并检测种群进化状态调整种群进化方向, 提高种群的搜索性能, 获取有效的控制变量优化设定值.
1. 城市污水处理过程能耗分析
城市污水处理过程能耗主要包括泵送能耗和曝气能耗, 其中, 泵送能耗主要指内回流、外回流和污泥排放所产生的能耗, 与泵送能耗有关的主要状态变量有入水流量、硝态氮浓度、混合固体悬浮物浓度; 曝气能耗主要指控制生化反应池中的曝气过程产生的能耗, 与曝气能耗有关的主要状态变量有入水流量、溶解氧浓度、硝态氮浓度、氨氮浓度、混合固体悬浮物浓度. 为了实现对能耗的定量描述, 文中给出基于城市污水处理过程基准仿真模型1 (Benchmark simulation model No. 1, BSM1)的曝气能耗计算方式[30]:
$${\rm{AE(}}t{\rm{) = }}\frac{{{S_{O,sat}}}}{{1\;800\tau }}\int_t^{t + \tau } {\sum\limits_{i = 1}^{ 5} {{V_i} \times {K_L}a_i(t){\rm{d}}t} } $$ (1) 式中, AE(t)为t时刻曝气能耗,
$\tau $ 为计算间隔,${{{S_{O,sat}}}} $ 为溶解氧饱和浓度, Vi为第i个反应池的体积,${K_L}a_i(t)$ 为t时刻氧传递系数, 溶解氧浓度可通过调整氧传递系数进行调节. 泵送能耗的计算方式为$$\begin{split} {\rm{PE}}(t)=\;&\frac{1}{\tau }\int_t^{t + \tau } ( 0.004 \times {Q_a}(t) + 0.05 \times {Q_w}(t)+\\ & 0.008 \times {Q_r}(t) ) {\rm{d}}t \\[-10pt]\end{split}$$ (2) 式中, PE(t)为t时刻泵送能耗, Qa(t)为t时刻的内回流量, 硝态氮浓度可通过调整内回流量进行调节, Qr(t)为t时刻的外回流量, Qw(t)为t时刻的污泥排放量.
城市污水处理过程的能耗和出水水质是相互冲突的目标, 同时受多个变量共同影响. 为了提高城市污水处理过程出水水质, 城市污水处理厂通常采用增加曝气量, 延长曝气时间, 调节内外回流等方式调节生化反应过程. 然而, 曝气量和回流流量的增加会导致能耗提高. 目前, 高能耗已成为制约城市污水处理厂发展的瓶颈问题, 给国家能源和资源节约产生了严峻挑战. 为此, 城市污水处理多目标优化控制得到了广泛的研究, 成为提高出水水质, 降低能耗, 促进可持续发展的重要技术手段. 然而, 在城市污水处理过程中, 能耗和出水水质受入水水质、入水流量等多个变量的影响, 具有动态时变特性. 在动态时变环境下, 如何获取合适的控制变量设定值是城市污水处理过程优化控制面临的挑战性问题.
2. 数据和知识驱动的城市污水处理过程多目标优化控制
文中提出了DK-MOC方法, 主要包括以下部分: 首先, 建立数据驱动的优化目标模型, 实现能耗、出水水质和运行状态变量之间动态关系的准确描述. 其次, 设计基于知识迁徙学习的动态多目标粒子群优化算法求解控制变量优化设定值. 最后, 采用比例积分微分(Proportional integral differential, PID)控制器跟踪优化设定值. DK-MOC流程如图1所示.
2.1 运行过程目标模型构建
为了描述城市污水处理过程优化目标与系统运行状态变量之间的动态关系, 文中建立了基于AFNN的出水水质和能耗优化目标模型:
$$\min {{F}}(t) = {[{{EQ}}(t),{{EC}}(t)]^{\rm{T}}}$$ (3) 式中, F(t)表示运行目标函数, EQ(t)为出水水质模型, EC(t)为能耗模型.
$${{EQ}}(t) = {\boldsymbol{\varphi }}(t){{\boldsymbol{w}}^{1{\rm{T}}}}(t)$$ (4) $${{EC}}(t) = {\boldsymbol{\varphi }}(t){{\boldsymbol{w}}^{2{\rm{T}}}}(t)$$ (5) 式中,
${\boldsymbol{\varphi }}(t)=[{{\varphi }}_1(t),\cdots,{{\varphi }}_{10}(t) ]$ 为模糊神经网络归一化层输出向量,${{\boldsymbol{w}}^q}(t)=[{{{w_1}}^q}(t),\cdots,{{{w}_{10}}^q}(t)]$ 为模糊神经网路归一化层与第q个输出连接的权重向量, 当q = 1时, 输出为出水水质, 当q = 2时, 输出为能耗. 归一化层的输出为$${\varphi _l}(t) = {{{\phi _l}(t)} \bigg/ {\sum\limits_{j = 1}^{10} {{\phi _j}} }}(t)$$ (6) 式中,
$l=1,\cdots,10 $ 为归一化层神经元数量.${\phi _j} (t)$ 为模糊规则层第j个神经元的输出.$${\phi _j}(t) = \prod\limits_{i = 1}^4 {{{\rm{e}}^{ - \tfrac{{{{({s_i}(t) - {\mu _{ij}}(t))}^2}}}{{2{{({{\rm{\sigma}} _{ij}}(t))}^2}}}}}} $$ (7) 式中, si(t)为输入层第i个输入,
${\boldsymbol{\mu}}_j(t) =[\mu_{1j}(t),\cdots, $ $ \;\mu_{ij}(t),\cdots,\;\mu_{4j}(t)]$ 为模糊规则层的中心向量,${\boldsymbol{\sigma}}_j(t) = $ $ [\sigma_{1j}(t),\cdots, \;\sigma_{ij}(t),\cdots,\;\sigma_{4j}(t)]$ 为模糊规则层宽度向量, 输入向量通过主成分分析和指标可操作性确定, 表示为$${\boldsymbol{s}}(t) = [{S_O}(t),{S_{NO}}(t),{S_{NH}}(t),MLSS(t)]$$ (8) 式中,
${\boldsymbol{s}}(t) $ 为t时刻模糊神经网络的输入向量,${S_O}(t) $ 为t时刻溶解氧浓度,${S_{NO}}(t) $ 为t时刻硝态氮浓度,${S_{NH}}(t) $ 为t时刻氨氮浓度,$MLSS(t) $ 为t时刻混合固体悬浮物浓度.为了提高模糊神经网络的自适应能力, 其参数更新规则为
$${{{\boldsymbol{\Theta}} }}(t + 1) = {{{\boldsymbol{\Theta}} }}(t) + {({{{\boldsymbol{\Phi}} }}(t) + \chi (t) \times {\boldsymbol{I}})^{ - 1}} \times {{{\boldsymbol{\Lambda}} }}(t)$$ (9) 式中,
${\boldsymbol{\Theta }}(t)\;=\;[{\boldsymbol{w}}^1(t),\;\;{\boldsymbol{w}}^2(t),\;\;{\boldsymbol{\mu}}_1(t),\cdots,\;\;{\boldsymbol{\mu}}_{10}(t), $ $ \;{\boldsymbol{\sigma}}_1(t),\cdots,\; {\boldsymbol{\sigma}}_{10}(t)]^{\rm{T}}$ 为参数矩阵,${\boldsymbol{\Phi }}(t)$ 为拟海瑟矩阵,${\boldsymbol{\Lambda }}(t)$ 为梯度向量, I为单位矩阵,$ \chi(t) $ 为自适应参数, 更新方式为$$\chi (t) = \chi (t - 1) \cdot { \frac{{\delta ^{\min }}(t) + \chi (t - 1)}{{\delta ^{\max }}(t) + 1}}$$ (10) ${\delta ^{\min }}(t) $ 和${\delta ^{\max }}(t) $ 分别为拟海瑟矩阵${\boldsymbol{\Phi }}(t)$ 的最小和最大特征值, 自适应参数$ \chi(t) $ 满足$0 < \chi(t)<1$ . 拟海瑟矩阵${\boldsymbol{\Phi }}(t)$ 和梯度向量${\boldsymbol{\Lambda }}(t)$ 的计算方式为$${\boldsymbol{\Phi }}(t) = \sum\limits_{q = 1}^2 {{{{\boldsymbol{J}}}}_q^{\rm{T}}(t){{\boldsymbol{J}}_q}(t)} $$ (11) $${\boldsymbol{\Lambda }}(t) = \sum\limits_{q = 1}^2 {{\boldsymbol{J}}_q^{\rm{T}}(t){{{{{e}}}}_q}(t)} $$ (12) 式中,
${{{e}}}_{{q}}(t)$ 为输出层第q个神经元的误差,${{\boldsymbol{J}}_q}(t) $ 为雅克比矩阵.AFNN充分考虑了城市污水处理过程动态以及易受扰动特性, 描述了出水水质、能耗以及运行状态变量之间的动态关系, 基于模糊规则增加了模型的抗干扰能力. 另外, 模型的参数更新规则能够提高模型的自适应能力, 提高模型精度.
2.2 控制变量优化设定值求解
为了降低能耗, 提高出水水质, 文中提出了基于知识迁徙学习的动态多目标优化算法, 获取控制变量溶解氧和硝态氮浓度的优化设定值. 在优化过程中, 知识的表示形式为
$${\boldsymbol{A}}{\rm{(}}t{\rm{) = [}}{\boldsymbol{a}}_1^*{\rm{(}}t{\rm{ - 1),}}\;{\boldsymbol{a}}_2^*{\rm{(}}t{\rm{ - 1),}} \cdots {\rm{,}}\;{\boldsymbol{a}}_H^*{\rm{(}}t{\rm{ - 1)]}}$$ (13) 式中, A(t)为t时刻种群初始化过程获得的知识,
$ {\boldsymbol{a}}_h^*{\rm{(}}t{\rm{ - 1)}}$ 为在t – 1 时刻转移的作为知识的第h个粒子位置信息, 即控制变量溶解氧和硝态氮浓度的优化值,$h=1,\;2,\cdots,\;H ,$ H为所转移的知识量.在新优化周期开始, 种群中H个粒子采用A(t)进行初始化, A(t)包括t − 1代中Pareto前沿上的边缘粒子和具有较强收敛性的粒子Knee points的位置信息, 剩余粒子采用如下公式分别生成
$${{\boldsymbol{x}}_i}{\rm{(}}0{\rm{) = }}{{\boldsymbol{x}}_{{\rm{min}}}}{\rm{ + (}}{{\boldsymbol{x}}_{{\rm{max}}}}{\rm{ - }}{{\boldsymbol{x}}_{{\rm{min}}}}{\rm{)}}\circ{{\boldsymbol{r}}_{1 \times 2}}$$ (14) 式中,
${\boldsymbol{x}}_i(0)$ 为第i个粒子的初始位置向量,$i\in [H+ $ $ 1,\;N]$ , N为种群规模,${{\boldsymbol{x}}_{{\rm{max}}}}=[S_{O,\;\max}, \;S_{NO,\;\max}]$ 和${{\boldsymbol{x}}_{{\rm{min}}}}=[S_{O,\;\min},\;S_{NO,\;\min}]$ 分别为溶解氧和硝态氮浓度的上界和下界,${{\boldsymbol{r}}_{1 \times 2}} $ 为分布于[0, 1]的1×2维随机向量.为了提高多目标粒子群优化算法的搜索能力, 文中基于历史信息的种群进化状态检测机制, 设计自适应进化方向选择策略, 平衡种群的探索和开发能力. 其中, 种群进化状态通过种群收敛性和种群多样性检测, 种群收敛性表示为
$${P_C}{\rm{(}}k{\rm{) = }}\sum\limits_{n = 1}^N {\sum\limits_{u = k - {k_0}}^k {{{\rm{e}}^{ \tfrac{{{{\tilde C}_n}{\rm{(}}k{\rm{)}}}}{{k - u + 1}}}}} } $$ (15) 式中,
${P_C}(k)$ 为第k代种群收敛性指标, k0表示历史迭代次数,$ {\tilde C_n}(k)$ 为种群中第n个粒子在第k代的收敛性, 计算方式为$${\tilde C_n}{\rm{(}}k{\rm{) = }}{{{E{{Q}}}}_n}{\rm{(}}k{\rm{ - }}1{\rm{) - }}{{{E{{Q}}}}_n}{\rm{(}}k{\rm{)}} + {{E}}{{C}_n}{\rm{(}}k{\rm{ - }}1{{) - E}}{{{C}}_n}{\rm{(}}k{\rm{)}}$$ (16) ${{{E{{Q}}}}_n}(k)$ 和${{{E{{C}}}}_n}(k)$ 分别为第n个粒子在第k代的出水水质和能耗值. 种群多样性表示为$${P_D}{\rm{(}}k{\rm{) = }}\sum\limits_{n = 1}^N {\sum\limits_{u = k - {k_0}}^k {{{\rm{e}}^{ \tfrac{{{{\tilde D}_n}{\rm{(}}k{\rm{)}}}}{{k - u + 1}}}}} } $$ (17) 式中,
${P_D}(k)$ 为第k代种群多样性指标,$ {\tilde D_n}(k)$ 表示第n个粒子在第k代的多样性分布信息, 计算方式为$$\begin{split} {\tilde D_n}{\rm{(}}k{\rm{)}} =\;& \left( \sum\limits_{i = 1}^N {|({{E}}{{{Q}}_n}(k) - {{E}}{{{Q}}_i}(k)|}\right. \\ & \left.+ \sum\limits_{i = 1}^N {|({{E}}{{{C}}_n}(k) - {{E}}{{{C}}_i}(k)|} \right)\bigg/N\end{split}$$ (18) 根据种群的收敛性和多样性, 文中将进化状态划分为5个阶段, 并设计自适应进化方向选择策略平衡种群的探索和开发能力, 自适应进化方向选择策略如下所示:
阶段1. 当PC(k) − PC(k − 1) > 0且PD(k) − PD(k − 1)>0时, 种群处于进化阶段, 速度和位置的更新公式为
$$\begin{split} v_{i,d}^{}(k + 1) =\;& \omega {v_{i,d}}(k) + {c_1}{r_1}({p_{i,d}}(k) - {x_{i,d}}(k))+\\ &{c_2}{r_2}({g_d}{\rm{(}}k{\rm{)}} - {x_{i,d}}(k))\\[-10pt] \end{split}$$ (19) $$x_{i,d}^{}(k + 1) = {x_{i,d}}(k) + v_{i,d}^{}(k + 1)$$ (20) 式中,
${x_{i,d}}(k) $ 为第i个粒子在第k代的第d维位置,${v_{i,d}}(k) $ 为第i个粒子在第k代的第d维速度,${p_{i,d}}(k) $ 为第i个粒子在第k代个体最优解的第d个维度,${g_{d}}(k) $ 为种群在第k代全局最优解的第d个维度, w为惯性权重, r1和r2为区间[0, 1]的随机数, c1和c2分别为自我认知参数和社会认知参数.阶段2. 当PC(k) − PC(k − 1) < 0且PD(k) −PD(k − 1) > 0时, 种群处于探索阶段, 速度和位置的更新公式为
$$\begin{split} {v_{i,d}}(k{\rm{ + }}1) = \;&\omega {v_{i,d}}(k){\rm{ + }}{c_1}{r_1}({p_{i,d}}(k){\rm{ - }}{x_{i,d}}(k))+\\ &{c_2}{r_2}({g_d}{\rm{(}}k{\rm{) - }}{x_{i,d}}(k)){\rm{ + }}{c_{\rm{3}}}{r_3}{C_d}(k) \end{split}$$ (21) $$x_{i,d}^{}(k + 1) = {x_{i,d}}(k) + v_{i,d}^{}(k + 1)$$ (22) 式中, r3为分布于区间[0, 1]的随机数, c3为收敛性方向飞行参数, Cd(k)为第k代收敛性方向的第d个维度, 表示为
$${C_d}(k){\rm{ = }}\frac{1}{{{k_0}{\rm{ + }}1}}({x_{l(k),d}}(k){\rm{ - }}{x_{l(k),d}}(k - {k_0}))$$ (23) $$l(k)=\mathop {{\rm{argmax}}}\limits_{n \in [1,N]} \left(\sum\limits_{u = k - {k_0}}^k {{{{{\rm{e}}}}^{ \tfrac{{{{\tilde C}_n}(k)}}{{k - u + 1}}}}} \right)$$ (24) 式中, l(k)表示在第k次迭代中具有最大收敛性的粒子编号.
阶段3. 当PC(k) − PC(k − 1) > 0且PD(k) − PD(k − 1) < 0时, 种群处于开发阶段, 速度和位置的更新公式为
$$\begin{split} v_{i,d}^{}(k+1) =\;& \omega {v_{i,d}}(k)+{c_1}{r_1}({p_{i,d}}(k)-{x_{i,d}}(k))+\\ &{c_2}{r_2}({g_d}(k) - {x_{i,d}}(k))+{c_4}{r_4}{D_d}(k) \end{split}$$ (25) $$x_{i,d}^{}(k +1) = {x_{i,d}}(k) + v_{i,d}^{}(k +1)$$ (26) 式中, r4为分布于区间[0, 1]的随机数, c4为多样性方向飞行参数, Dd(k)表示第k代多样性方向的第d个维度, 计算方式为
$${D_d}(k){\rm{ = }}\frac{1}{{{k_0} + 1}}({x_{p(k),d}}(k) - {x_{p(k),d}}(k - {k_0}))$$ (27) $$p(k)=\mathop {{\rm{argmax}}}\limits_{n \in [1,N]} \left(\sum\limits_{u = k - {k_0}}^k {{{\rm{e}}^{ \tfrac{{{{\tilde D}_n}(k)}}{{k - u + 1}}}}} \right)$$ (28) 式中, p(k)表示第k次迭代中种群多样性最大的粒子编号.
阶段4. 当PC(k) − PC(k − 1) < 0且PD(k) − PD(k − 1) < 0时, 种群处于退化阶段, 速度和位置的更新公式为
$$\begin{split} v_{i,d}^{}(k+1)=\;&\omega {v_{i,d}}(k)+{c_1}{r_1}({p_{i,d}}(k)-{x_{i,d}}(k))+\\ & {c_2}{r_2}({g_d}{\rm{(}}k{\rm{) - }}{x_{i,d}}(k))+\\ & 0{\rm{.5}}\times({c_3}{r_3}{C_d}(k)+{c_4}{r_4}{D_d}(k))\\[-10pt] \end{split}$$ (29) $$x_{i,d}^{}(k{\rm{ + }}1) = {x_{i,d}}(k){\rm{ + }}v_{i,d}^{}(k{\rm{ + }}1)$$ (30) 阶段5. 当PC(k) − PC(k − 1) = 0或PD(k) − PD(k −1) = 0时, 种群处于停滞阶段, 速度和位置的更新公式为
$$\begin{split} v_{i,d}^{}(k+1) =\;& \omega {v_{i,d}}(k)+{c_1}{r_1}({p_{i,d}}(k)-{x_{i,d}}(k))+\\ &{c_2}{r_2}({g_d}(k) -{x_{i,d}}(k))\\[-10pt] \end{split}$$ (31) $$x_{i,d}^{}(k{\rm{ + }}1) = \left\{ {\begin{aligned} &{x_{d,{\rm{min}}}}{\rm{ + }}({x_{d,{\rm{max}}}}{\rm{ - }}{x_{d,{\rm{min}}}}) \times G(0,1),\\ &\qquad\qquad\qquad\;\,{{r_{\rm{3}}} \le {p_b}(k{\rm{ + }}1)}\\ & {x_{i,d}}(k),\;\;\;\;\qquad{{r_{\rm{3}}} > {p_b}(k{\rm{ + }}1)} \end{aligned}} \right.$$ (32) 式中, G(0, 1)是一个服从均匀分布的随机值,
${x_{d,{\rm{min}}}} $ 和${x_{d,{\rm{max}}}} $ 是第d维的最小值和最大值, pb(k)为突变率:$${p_b}(k) = 0.5 - 0.5\times\frac{k}{K}$$ (33) 式中, K为种群最大迭代次数.
基于Pareto支配关系建立的外部档案采用拥挤距离维护并选择全局最优粒子. 城市污水处理过程水质达标即可排放, 因此, 在第K代外部档案中选择溶解氧和硝态氮浓度优化设定值时, 增加决策者偏好信息, 控制变量优化设定值选择对应能耗值最低的非支配解, t时刻溶解氧和硝态氮的优化设定值为SO*(K)和SNO*(K).
基于知识迁徙学习的动态多目标粒子群优化算法采用t时刻的最优粒子对t + 1时刻种群的位置进行初始化, 并利用历史信息来检测种群进化状态, 为种群提供不同的进化方向, 提高种群的搜索能力, 求解溶解氧和硝态氮浓度的优化设定值. 其中, Tmax为终止时间. 控制变量优化设定值的获取流程如图2所示.
基于知识迁徙学习的动态多目标粒子群优化算法的计算复杂度分析如下: 假设粒子群规模为N, 计算种群目标值的时间复杂度为O(MN), 计算每个粒子收敛性的时间复杂度为O(N), 计算每个粒子的多样性指标的时间复杂度为O(MN2), 计算种群收敛性和多样性指标的时间复杂度均为O(N), 粒子速度和位置更新的计算复杂度为O(N), 外部档案更新的计算复杂度为O(MN2), 选择全局最优解的计算复杂度为O(N), 因此, 基于知识迁徙学习的动态多目标粒子群优化算法的计算复杂度为O(MN2). 在城市污水处理过程中, 优化控制的周期一般为2小时, 因此, 多目标粒子群优化算法的计算复杂度是可以满足实际应用需求的.
3. 实验结果及分析
文中从优化目标模型和优化控制性能两方面验证DK-MOC策略的有效性, 采用BSM1仿真平台作为公共验证平台, 该平台是国际水协会专家提出的基于生物脱氮策略的城市污水处理过程仿真平台, 主要用于城市污水处理过程控制策略的测试, 能够为不同优化控制策略提供相同的测试环境, 可以公平地比较不同策略的性能. 而且, 该平台可设置不同的实验环境, 文中设置了干旱和阴雨天气两种实验环境. 实验在Windows10、CPU 1.80 GHz、MATLAB 2018上运行. 为了保证评价结果的有效性, 所有的实验运行30次, 取平均值作为结果.
3.1 优化目标模型性能
AFNN与自适应核函数(Adaptive kernel function, AKF)[22, 25]、遗传算法−人工神经网络(Genetic algorithm-artificial neural network, GA-ANN)[23] 以及最小二乘支持向量机(Least squares support vector machine, LSSVM)[24] 进行比较, 所有模型的更新频率为15 min, 训练过程中的迭代次数设置为10次. 均方根误差(Root mean square error, RMSE)和预测精度(Prediction accuracy, PA)用于评价模型的性能
$${\rm{RMSE}}=\sqrt{\frac{\sum\limits_{i = 1 }^L({y_i-{\hat{y}}_i})} {L}}$$ (34) $${\rm{PA}} = \left[ {1 - \left| {\frac{{\sum\limits_{i = 1}^L {({y_i} - {{\hat y}_i})} }}{{\sum\limits_{i = 1}^L {{y_i}} }}} \right|} \right] \times 100\;{\text {\%}} $$ (35) 式中, yi为第i次测试的实际值,
$ {\hat y_i}$ 为第i次测试时模型输出值, L为测试总次数.在干旱和阴雨天气下, RMSE和PA如表1和表2所示, 可以看出, 在能耗和出水水质指标预测中, 与AKF、GA-ANN和LSSVM相比, AFNN在干旱天气和阴雨天气下具有较低的RMSE和较高PA, 说明AFNN能够更精确地构建能耗和出水水质模型. 另外, 图3 ~ 4给出了干旱天气下基于AFNN的能耗和出水水质建模结果. 由于每日出水水质和能耗值为每日采样多次的累加和, 因此, 图3和图4的出水水质和能耗在数值上相对图5和图6较小. 图3 ~ 4的建模结果表明, 所采用的AFNN可以准确描述能耗和出水水质以及运行状态变量之间的动态关系.
表 1 干旱天气下能耗和出水水质的测量精度Table 1 The measurement accuracy of energy consumption and effluent quality in dry weather模型 EC EQ RMSE PA RMSE PA AKF 0.0082 98.71 % 0.0079 97.06 % GA-ANN 0.0123 93.36 % 0.0124 95.52 % LSSVM 0.0115 96.21 % 0.0139 94.31 % AFNN 0.0079 98.99 % 0.0070 98.73 % 表 2 阴雨天气下能耗和出水水质的测量精度Table 2 The measurement accuracy of energy consumption and effluent quality in rainy weather模型 EC EQ RMSE PA RMSE PA AKF 0.0093 96.60 % 0.0833 97.37 % GA-ANN 0.0146 95.72 % 0.1002 94.32 % LSSVM 0.0138 95.74 % 0.0940 96.76 % AFNN 0.0089 98.88 % 0.0776 98.89 % 3.2 优化控制性能
DK-MOC主要包括AFNN、基于知识迁徙学习的动态多目标粒子群优化算法和PID控制器. 为了验证基于知识迁徙学习的动态多目标粒子群优化算法与PID控制器共同构成的优化控制器的有效性, 文中利用文献[23-25]中提出的优化方法与PID控制器共同构建优化控制器, 建模方法都选择具有较高精度的AFNN. 对比的优化方法主要包括非支配排序遗传算法II (NSGAII)[23]、基于聚类的多目标粒子群优化(Cluster-based multiobjective particle swarm optimization, CMOPSO)[24]和自适应多目标粒子群优化(Adaptive multiobjective particle swarm optimization, AMOPSO)[25]. 另外, 为了验证基于多目标优化方法和基于单目标优化方法的优化控制性能, 文中根据基于知识迁徙学习的动态多目标粒子群优化算法设计基于知识迁徙的动态单目标粒子群优化算法(Knowledge transfer-based dynamic single objective particle swarm optimization, KT-DSOPSO), 其中, 出水水质作为约束, 能耗作为优化目标. 同时, 在所有的优化控制策略中, PID控制器的参数设置: 溶解氧比例系数为20, 硝态氮比例系数为10000, 溶解氧积分系数为5, 硝态氮积分系数为3000, 溶解氧微分系数为1, 硝态氮微分系数为100. 在所有的优化算法中, 设置种群规模和外部档案最大尺寸为40, 种群迭代次数均为50. BSM1中设置的总采样时间为14天, 优化周期为2小时, 在动态多目标粒子群优化算法中, 惯性权重ω为0.7, c1、c2、c3和c4分别为2.5、2.5、0.5和0.5, k0为4, H为8.
文中采用能耗和出水水质两个指标对优化控制策略的性能进行验证, 能耗值低说明优化控制过程中产生较少的能耗. 根据国际污水排放检测标准, 出水水质采用出水中氨氮、总氮、悬浮物、COD、BOD的浓度计算, 浓度越低, 水质越好. 干旱天气下平均每天的出水水质和能耗表示如图5 ~ 6所示. 为了描述DK-MOC的优化控制性能, 图7 ~ 8给出了干旱天气下溶解氧和硝态氮浓度的优化设定值和跟踪值, 可以看出, 所提出的优化算法可以获得动态的控制变量优化设定值, 使用PID可以跟踪变化的优化设定值. 根据图9所示, 干旱天气下溶解氧和硝态氮的平均跟踪误差为SO < 0.5 mg·L−1, SNO < 0.2 mg·L−1, 结果表明, 在DK-MOC策略中, PID能较好地跟踪SO和SNO的优化设定值, 保证了跟踪控制的有效性.
为了精确描述DK-MOC性能, 表3给出了DK-MOC的出水水质的组分结果, SNH表示氨氮浓度, Ntot表示总氮浓度, TSS表示悬浮物浓度, 表4给出了不同优化控制策略在干旱和阴雨天气下的能耗和出水水质结果, 由表3 ~ 4可以看出, 在干旱天气下, DK-MOC的TSS、COD和BOD浓度均远小于排放标准. 虽然SNH、Ntot接近排放标准, 但所有的水质指标都达标, 且其总出水水质指标优于其他优化控制策略; 在阴雨天气下, DK-MOC的SNH浓度为3.89 mg·L−1, Ntot浓度为17.01 mg·L−1, 水质指标均达标, 且运行能耗具有最小值. 另外, DK-MOC与基于KT-DSOPSO的优化控制器对比, 可以看出, 所提出的基于知识迁徙学习的动态多目标粒子群优化方法可以权衡能耗和出水水质的关系. 结果表明, DK-MOC可以通过获取动态优化设定值, 有效降低能耗, 提高出水水质.
表 3 DK-MOC的出水水质结果Table 3 Effluent quality results obtained by DK-MOC水质指标 干旱天气 阴雨天气 排放标准 SNH (mg·L−1) 3.44 3.89 <4 Ntot (mg·L−1) 17.41 17.01 <18 TSS (mg·L−1) 12.57 13.51 <30 COD (mg·L−1) 47.75 46.53 <100 BOD (mg·L−1) 2.71 2.93 <10 表 4 不同优化控制策略的比较结果Table 4 Comparison results of different optimal control strategies优化控制策略 干旱天气 阴雨天气 EC
(kW·h)EQ
(kg poll.
units)EC
(kW·h)EQ
(kg poll.
units)AFNN+NSGAII+PID 4015 8867 4969 9049 AFNN+CMOPSO+PID 4770 8915 4869 9293 AFNN+AMOPSO+PID 3848 7695 3870 7 944 AFNN+KT-DSOPSO+PID 3727 9062 3892 9479 DK-MOC 3 641 7 179 3 821 8106 4. 结论
文中提出的DK-MOC方法主要包括以下优点:
1) 设计数据驱动的城市污水处理过程多目标优化模型, 实现运行状态变量与出水水质、能耗之间的动态关系的准确描述.
2) 提出了基于知识迁徙学习的动态多目标粒子群优化算法, 通过知识迁徙学习和自适应进化方向选择策略提高种群搜索性能, 从而获取有效的优化设定值.
BSM1平台的测试效果显示: 与其他建模方式相比, AFNN可以提高出水水质和能耗模型精度; 与一些优化控制策略相比, 所提出的DK-MOC方法可以获得有效的控制变量优化设定值, 提高了出水水质, 降低了能耗. 结果证明了DK-MOC方法的有效性.
-
图 5 70%缺失率下不同方法的生成效果
Fig. 5 The generation effect of different methods under 70% missing rate
图 6 不同缺失率下PSO迭代优化过程
Fig. 6 Iterative optimization process of PSO under different missing rates
图 8 0%缺失率下现有常用方法的预测效果
Fig. 8 Prediction effect of existing common methods under 0% missing rate
图 9 不同缺失率填补后Bi-LSTM-Att的预测效果
Fig. 9 The prediction effect of Bi-LSTM-Att after filling with different missing rates
图 10 四种缺失率填补后Bi-LSTM-Att重复预测效果
Fig. 10 Bi-LSTM-Att repeated prediction effect after four missing rates imputation
表 1 CS2_37构造的原始数据和不同缺失率下的训练数据
Table 1 Original data constructed by CS2_37 and training data with different missing rates
数据类型 缺失率 样本数量 原始数据 0 850 缺失数据 10% 771 30% 643 50% 513 70% 438 
下载: 导出CSV
表 2 CS2数据集构造RUL预测的训练样本和验证样本
Table 2 CS2 dataset constructs training samples and validation samples for RUL prediction
样本类型 样本组成 样本量 训练样本 CS2_35 851 CS2_36 944 CS2_38 991 CS2_37 (0$\sim$600) 600 验证样本 CS2_37 (601$\sim$1006) 406
下载: 导出CSV
表 3 不同缺失率下的PSO-NICE模型参数
Table 3 PSO-NICE model parameters with different missing rates
训练数据缺失率 样本剩余量 分块加性耦合层数 耦合层数 每层神经元 批处理量 NICE迭代次数 粒子维度大小 粒子群大小 PSO迭代次数 10% 771 16 5 1000 128 1000 2 2 15 30% 643 14 5 1000 64 1000 2 2 15 50% 513 12 5 1000 64 1000 2 2 15 70% 438 10 5 1000 64 1000 2 2 15
下载: 导出CSV
表 4 不同缺失率下各方法生成样本与完整样本的EM距离
Table 4 The EM distance between generation sample and the complete sample under different missing rates
缺失率 不处理 VAE GAN NICE PSO-NICE DCGAN-KS[11] 10% 0.081 0.064 0.056 0.012 0.007 0.024 30% 0.218 0.175 0.159 0.014 0.011 0.049 50% 0.357 0.282 0.207 0.024 0.013 0.072 70% 0.431 0.397 0.284 0.028 0.015 0.122
下载: 导出CSV
表 5 现有常用预测网络的参数
Table 5 Parameters of existing common prediction networks
预测网络 网络层数 每层单元数 Attention单元数 全连接层数 每层神经元个数 随机种子 批处理量 迭代次数 RNN 1 64 0 1 1 3 16 4 GRU 1 64 0 1 1 0 16 5 LSTM 1 64 0 1 1 0 16 5 Bi-LSTM 2 64 0 1 1 0 16 5 Bi-LSTM-Att 2 64 1 1 1 0 16 5
下载: 导出CSV
表 6 不同预测方法的效果评估
Table 6 Effectiveness evaluation of different forecasting methods
预测方法 缺失率 RMSE $R^2$ 运行时间 (秒) RNN 0% 0.1679 –0.77041 14 GRU 0.1376 0.72191 15 LSTM 0.0902 0.8713 15 Bi-LSTM 0.0746 0.9114 17 Bi-LSTM-Att 0% 0.0213 0.9907 26 10% 0.022 0.99 30% 0.0224 0.9898 50% 0.0328 0.978 70% 0.0424 0.9632
下载: 导出CSV
表 7 不同缺失率填补后Bi-LSTM-Att重复预测量化结果
Table 7 Quantification results of Bi-LSTM-Att repeated prediction after imputation with different missing rates
缺失率 预测均值 95%置信区间 0% 0.0213 [0.0379, 0.0468] 10% 0.0215 [0.0460, 0.0493] 30% 0.0294 [0.0526, 0.0657] 50% 0.0300 [0.0428, 0.1024] 70% 0.0468 [0.0560, 0.1054]
下载: 导出CSV
-
[1] Si X S, Wang W, Hu C H, et al. Remaining useful life estimation–a review on the statistical data driven approaches. European Journal of Operational Research, 2011, 213(1): 1-14 doi: 10.1016/j.ejor.2010.11.018 [2] 周东华, 魏慕恒, 司小胜. 工业过程异常检测、寿命预测与维修决策的研究进展. 自动化学报, 2013, 39(6): 711-722Zhou Dong-Hua, Wei Mu-Heng, Si Xiao-Sheng. A survey on anomaly detection, life prediction and maintenance decision for industrial processes. Acta Automatica Sinica, 2013, 39(6): 711-722 [3] 董青, 郑建飞, 胡昌华, 李冰, 牟含笑. 基于两阶段自适应Wiener过程的剩余寿命预测方法. 自动化学报, 2022, 48(2):539-553Dong Qing, Zheng Jian-Fei, Hu Chang-Hua, Li Bing, Mu Han-Xiao. Remaining useful life prognostic method based on two-stage adaptive Wiener process. Acta Automatica Sinica, 2022, 48(2): 539-553 [4] Zheng J F, Si X S, Hu C H, et al. A nonlinear prognostic model for degrading systems with three-source variabilit. IEEE Transactions on Reliability, 2016, 65(2): 736-750 doi: 10.1109/TR.2015.2513044 [5] Saha B, Goebel K. Battery Data Set, NASA ames prognostics data repository[Online], available: https://ti.arc.nasa.gov/tech/dash/groups/pcoe/prognostic-data-repository/, December 23, 2022 [6] Pecht M, Osterman M. Battery Research Data, Center for Advanced Life Cycle Engineering (CALCE) [Online], available: https://web.calce.umd.edu/batteries/data.html, December 23, 2022 [7] 杜党波, 张伟, 胡昌华, 周志杰, 司小胜, 张建勋. 含缺失数据的小波-卡尔曼滤波故障预测方法. 自动化学报, 2014, 40(10):2115--2125Du Dang-Bo, Zhang Wei, Hu Chang-Hua, Zhou Zhi-Jie, Si Xiao-Sheng, Zhang Jian-Xun. A failure prognosis method based on wavelet-Kalmanfiltering with missing data. Acta Automatica Sinica, 2014, 40(10): 2115-2125 [8] 裴洪, 胡昌华, 司小胜, 张建勋, 庞哲楠, 张鹏. 基于机器学习的设备剩余寿命预测方法综述. 机械工程学报, 2019, 55(8):1-13 doi: 10.3901/JME.2019.08.001Pei Hong, Hu Chang-Hua, Si Xiao-Sheng, Zhang Jian-Xun, Pang Zhe-Nan, Zhang Peng. Overview of machine learning-based equipment remaining life prediction methods. Journal of Mechanical Engineering, 2019, 55(8): 1-13 doi: 10.3901/JME.2019.08.001 [9] 胡铭菲, 左信, 刘建伟. 深度生成模型综述. 自动化学报, 2022, 48(1):40-74 doi: 10.16383/j.aas.c190866Hu Ming-Fei, Liu Jian-Wei, Zuo Xin. Survey on deep generate model. Acta Automatica Sinica, 2022, 48(1):40-74 doi: 10.16383/j.aas.c190866 [10] Yoon J, Jordon J, Schaar M. Gain: missing data imputation using generative adversarial nets. In: Proceedings of the Machine Learning Research. Stockholm, Sweden, PMLR, 2018: 5689−5698 [11] 张晟斐, 李天梅, 胡昌华, 杜党波, 司小胜. 基于深度卷积生成对抗网络的缺失数据生成方法及其在剩余寿命预测中的应用. 航空学报, 2022, 43(8):441-455 doi: 10.7527/j.issn.1000-6893.2022.8.hkxb202208032Zhang Sheng-Fei, Li Tian-Mei, Hu Chang-Hua, Du Dang-Bo, Si Xiao-Sheng. Deep convolutional generative adversarial network based missing data generation method and its application in remaining useful life prediction. Acta Aeronautica et Astronautica Sinica, 2022, 43(8):441-455 doi: 10.7527/j.issn.1000-6893.2022.8.hkxb202208032 [12] Nazabal A, Olmos P M, Ghahramani Z, et al. Handling incomplete heterogeneous data using vaes. Pattern Recognition, 2020, 107: 107501 doi: 10.1016/j.patcog.2020.107501 [13] Dinh L, Krueger D, Bengio Y. Nice: non-linear independent components estimation. arXiv preprint arXiv: 1410.8516, 2014 [14] Dinh L, Sohl-Dickstein J, Bengio S. Density estimation using real nvp. arXiv preprint arXiv: 1605.08803, 2016 [15] Kingma D P, Dhariwal P. Glow: generative flow with invertible 1x1 convolutions. arXiv preprint arXiv: 1807.03039, 2018 [16] Prenger R, Valle R, Catanzaro B. Waveglow: a flow-based generative network for speech synthesis. In: Proceedings of the International Conference on Acoustics, Speech and Signal Processing. Brighton, UK, IEEE, 2019: 3617−3621 [17] Ge L, Liao W, Wang S, et al. Modeling daily load profiles of distribution network for scenario generation using flow-based generative network. IEEE Access, 2020, 8: 77587-77597 doi: 10.1109/ACCESS.2020.2989350 [18] 薛阳, 杨艺宁, 廖文龙, 杨德昌. 基于非线性独立成分估计的分布式光伏窃电数据增强方法. 电力系统自动化, 2022, 46(2):171-179Xue Yang, Yang Yi-Ning, Liao Wen-Long, Yang De-Chang. Distributed photovoltaic power stealing data enhancement method based on nonlinear independent component estimation. Automation of Electric Power Systems, 2022, 46(2):171-179 [19] Su Jian-Lin. NICE: basic concept and implementation of flow model [Online], available: https://spaces.ac.cn/archives/5776, December 23, 2022 [20] 余海燕, 陈京京, 邱航, 王永, 王若凡. 嵌套删失数据期望最大化的高斯混合聚类算法.自动化学报, 2021, 47(6):1302-1314 doi: 10.16383/j.aas.c190081Yu Hai-Yan, Chen Jing-Jing, Qiu Hang, Wang Yong, Wang Ruo-Fan. Adapted expectation maximization algorithm for Gaussian mixture clustering with censored data. Acta Automatica Sinica, 2021, 47(6): 1302-1314 doi: 10.16383/j.aas.c190081 期刊类型引用(5)
1. 胡艳艳，白雅婷. 基于贝叶斯图注意力Transformer的航空发动机剩余使用寿命概率预测. 工程科学学报. 2025(02): 374-388 . 
百度学术2. 郑卫东，熊伟，李晓燕，白培强，林思宇，崔雄华，吕延军，石瑞. 基于VSG-ELM模型的疲劳裂纹扩展剩余寿命预测. 热力发电. 2025(02): 145-153 . 百度学术3. 钟圣华，张智. 基于多示例学习图卷积网络的隐写者检测. 自动化学报. 2024(04): 771-789 . 本站查看4. 詹兆康，胡旭光，赵浩然，张思琪，张峻凯，马大中. 基于多变量时空融合网络的风机数据缺失值插补研究. 自动化学报. 2024(06): 1171-1184 . 本站查看5. 王雪松，王荣荣，程玉虎. 基于表征学习的离线强化学习方法研究综述. 自动化学报. 2024(06): 1104-1128 . 本站查看其他类型引用(3)
-
下载:
计量
- 文章访问数: 1450
- HTML全文浏览量: 318
- PDF下载量: 296
- 被引次数: 8
