-
摘要: 近年来, 变分自编码器(Variational auto-encoder, VAE)模型由于在概率数据描述和特征提取能力等方面的优越性, 受到了学术界和工业界的广泛关注, 并被引入到工业过程监测、诊断和软测量建模等应用中. 然而, 传统基于VAE的软测量方法使用高斯分布作为潜在变量的分布, 限制了其对复杂工业过程数据, 尤其是多模态数据的建模能力. 为了解决这一问题, 本论文提出了一种混合变分自编码器回归模型(Mixture variational autoencoder regression, MVAER), 并将其应用于复杂多模态工业过程的软测量建模. 具体来说, 该方法采用高斯混合模型来描述VAE的潜在变量分布, 通过非线性映射将复杂多模态数据映射到潜在空间, 学习各模态下的潜在变量, 获取原始数据的有效特征表示. 同时, 建立潜在特征表示与关键质量变量之间的回归模型, 实现软测量应用. 通过一个数值例子和一个实际工业案例, 对所提模型的性能进行了评估, 验证了该模型的有效性和优越性.
-
关键词:
- 软测量 /
- 变分自编码器 /
- 高斯混合模型 /
- 混合变分自编码器回归模型 /
- 多模态工业过程
Abstract: Recently, variational autoencoder (VAE) has caught much attention from academia and industry owing to its superiority in probabilistic data description and feature extraction, and has been introduced into industrial applications such as process monitoring, diagnosis and soft sensor modeling. However, traditional soft sensing methods based on VAE use the Gaussian distribution as the distribution of latent variables, which limits their ability to model complex industrial process data, especially multimode data. To tackle this issue, a mixture variational autoencoder regression (MVAER) model is proposed and applied to soft sensor modeling for complex multimode industrial processes in this paper. Specifically, the proposed model maps multimode data to the latent space by nonlinear mapping and uses the Gaussian mixture model to describe the distribution of latent variables. Thus, the latent variables under each mode are learned to obtain the effective feature representation of the original data. Meanwhile, a regression model between latent features and key quality variables is established for soft sensor application. Case studies including a numerical example and a real-world industrial process are carried out to assess the performance of the MVAER model, which demonstrate the effectiveness and superiority of the proposed approach. -
在实际工业生产过程中, 需要对一些关键的质量变量进行实时测量, 如产品浓度、过程气体含量、催化剂活性和熔体指数等, 这对实现有效的过程控制和提高产品质量具有重要意义[1-5]. 然而, 由于极端的测量环境、昂贵的仪器成本、大的分析测量延迟等因素, 关键质量变量的物理测量难以实现[6-8]. 因此, 软测量技术应运而生. 软测量是一种虚拟传感器技术, 通过构建数学模型, 以一组容易测量的相关过程变量为输入, 以过程关键质量变量为输出, 来快速准确地估计这些难以直接测量的质量变量[9-11]. 一般来说, 软测量方法可大致分为两种, 模型驱动的软测量和数据驱动的软测量[12-13]. 与前者相比, 数据驱动的软测量方法不需要精准的机理模型和大量的过程专家知识, 更加具有灵活性和实用性. 此外, 随着分布式控制系统(Distributed control systems, DCSs)在现代工业过程中的广泛使用, 收集到的数据也日益增多, 为数据驱动建模方法提供了丰富的数据保证[14]. 因此, 数据驱动的软测量方法受到了越来越多的关注. 经典的基于数据驱动的软测量建模方法有主成分回归分析(Principal component regression, PCR)[15]、偏最小二乘法(Partial least squares, PLS)[16]、支持向量机(Support vector machine, SVM)[17]和人工神经网络(Artificial neural-network techniques, ANN)[18]等.
近年来, 深度学习作为一种新兴技术, 在图像处理、计算机视觉、自然语言处理等应用领域都取得了很大的进展. 与传统的浅层方法相比, 深度学习方法具有更深的网络结构, 它能够通过多层非线性映射, 从数据中提取更深层的抽象特征, 具有强大的数据建模能力. 因此, 面对越来越复杂的大规模现代工业过程, 深度学习具有不可替代的优势, 已经被应用到了软测量领域当中[19]. 例如, Yao和Ge提出了一种基于分层极限学习机的半监督深度学习软测量模型[20]. Yuan等开发出一种质量相关自动编码器, 用于提取深层次的输出相关特征[21]. Zhang和Ge基于门控循环单元和编码解码网络, 设计了一种深度可迁移动态特征提取器, 并应用于软测量[22]. Zheng等将集成策略、深度信念网络和核学习集成到软测量框架中, 建立了集成深度核回归模型, 并扩展到半监督形式[23]. 然而, 由于过程的随机扰动等原因, 几乎所有的过程数据都会受到随机噪声的污染, 从本质上来说, 过程变量都属于随机变量[14, 24-25]. 最近, Kingma和Welling提出了变分自编码器[26], 一种深度生成模型, 它结合了深度学习和贝叶斯变分推断. 作为一种以深层神经网络为结构的概率框架模型, VAE既具有深度学习的非线性特征提取能力, 又能像概率模型那样对过程不确定性和数据噪声进行建模. 基于这些优点, VAE已经被引入到工业过程中, 并逐渐被用于过程监测和软测量建模等应用场景[27-31].
尽管目前VAE在软测量应用中取得了一些进展, 但是传统的VAE通常假设其潜在变量分布服从高斯分布, 因此模型学习到的特征表示只能是单峰形式, 难以充分发挥潜在空间编码的能力和灵活性. 这在很大程度上限制了VAE对复杂特性过程数据的描述, 如工业领域广泛存在的多模态数据, VAE的建模性能很难得到有效的保障. 在实际工业过程中, 由于原料比例、产品需求、制造策略等因素的变化, 经常会发生操作条件的转变, 即工况发生变化, 从而使过程数据呈现典型的多模态特性[32-34]. 近年来, 学者们提出了一些VAE变体模型, 通过使用复杂的先验等手段来促进编码的灵活性, 但他们的目标大多是进行无监督聚类[35-37]. 到目前为止, 还没有VAE在多模态工业过程软测量应用中的相关研究报导. 基于以上讨论, 本文结合高斯混合模型的思想, 基于VAE框架提出一种混合变分自编码器回归(MVAER)模型, 用于解决多模态过程的质量预测问题. 该方法采用高斯混合模型来描述VAE的潜在空间变量分布, 分别对应工业过程中的多个模态. 通过非线性映射将复杂多模态数据映射到潜在空间, 学习各模态下的潜在变量, 获取原始数据的有效特征表示. 同时, 建立潜在特征表示与关键质量变量之间的回归模型, 实现软测量应用. 通过一个数值算例和一个实际工业案例, 验证了所提方法的有效性和可行性.
本文的其余部分组织如下. 在第1节中, 简要回顾了VAE模型. 在第2节中, 介绍了所提出的MVAER模型的主要思想和详细的推导过程, 并介绍了基于MVAER的软测量建模与应用方法. 在第3节中, 通过两个案例对MVAER进行了性能评估. 最后, 在第4节中得出本论文的结论.
1. VAE概述
VAE是一种无监督的深度生成模型, 结合了深度学习和贝叶斯概率推断的观点. 它假设数据
$ x $ 是由某个具有不可观测的连续随机隐变量$ z $ 的随机过程产生的. 观测数据的边际似然可以写为:$$ p(x) = \int {{p_\theta}(x|z)p(z){\rm{d}}z} $$ (1) 其中,
$ {p_\theta}(x|z) $ 是生成模型, 可以被描述为多元高斯分布,$ p(z) $ 是先验, 通常被简单地设置为标准高斯分布${\rm{N}}(0,1)$ .根据贝叶斯定理, 可以得到隐变量
$ z $ 的后验分布为$p(z|x) = \dfrac{{{p_\theta }(x|z)p(z)}}{{p(x)}}$ . 然而, 由于生成模型的参数$ \theta $ 和隐变量都是未知的, 这里隐变量的积分和后验概率都是难以处理的. 因此, VAE根据变分推断的思想, 引入一个额外的变分分布$ {q_\phi}(z|x) $ 作为推断模型, 来近似难解的真实后验. 与生成模型相似, 推断模型$ {q_\phi}(z|x) $ 也可以描述为多元高斯分布.VAE的优化目标是最大化边际似然函数的证据下界.
$$ L(\theta ,\phi ) = {{\rm{E}}_{{q_\phi }(z|x)}}[\ln {p_\theta }(x|z)] - {{\rm{D}}_{KL}}[{q_\phi }(z|x)||p(z)] $$ (2) 其中, 等号右边的第一项是给定
$ {p_\theta }(x|z) $ 时,$\ln {p_\theta }(x|z)$ 的期望, 用来保证重建数据与真实数据之间的匹配程度; 第二项是一个Kullback-Leibler (KL)散度项, 可以被看作是一种正则化, 指导近似后验分布尽可能地接近先验分布.VAE的模型结构如图1所示. 可以看到, 在VAE中, 推断模型
$ {q_\phi}(z|x) $ 被参数化为一个参数为$ \phi $ 的神经网络, 称为概率编码器. 它将输入数据映射到低维潜在空间, 得到其隐变量表示$ z, $ 这可以看作是对输入数据的特征提取;$ {p_\theta}(x|z) $ 被参数化为另一个参数为$ \theta $ 的神经网络, 称为概率解码器, 它从潜在空间中重建原始数据. 通过最小化负变分证据下界, 同时优化模型的参数$ \phi $ 和$ \theta. $ 更多详细内容可以参考文献[26, 38-39].2. 基于混合变分自编码器回归模型的软测量方法
在实际应用中, 传统的基于VAE的软测量方法难以对工业中广泛存在的多模态数据进行有效的特征提取. 为了解决这一问题, 本节将提出一种混合变分自编码器回归模型, 并将其应用于软测量模型的构建. 总体而言, 该方法结合了VAE框架和高斯混合模型, 并将特征提取和回归建模融为一体, 使其对复杂多模态过程的关键质量指标数据具有更好的预测性能.
2.1 混合变分自编码器回归模型
混合变分自编码器回归模型本质上是建立在VAE框架上, 同样可以通过生成模型和推断模型来描述.
模型假设输入数据
$ x $ 由随机连续潜在变量$ z $ 生成,$ z $ 在潜在空间中服从高斯混合分布. 为了建立关键质量变量, 即输出变量$ y $ 的回归模型, 假设$ y $ 也由潜在变量$ z $ 生成, 那么生成过程可以描述为:$$ \begin{split} &p({c_k} = 1) = {\pi _k}\\ &p(z|{c_k}{\rm{ = }}1) = {\rm{N}}(z|{\mu _k},\sigma _k^2)\\ &{p_{{\theta _x}}}(x|z) = {\rm{N}}(x|{\mu _x},\sigma _x^2)\\ &{p_{{\theta _y}}}(y|z) = {\rm{N}}(y|{\mu _y},\sigma _y^2) \end{split} $$ (3) 其中
$ {\bf{\pi }} = \{ {\pi _k}\} _{k = 1}^K $ 代表各个高斯成分的混合系数, 满足$ \sum\nolimits_{k = 1}^K {{\pi _k}} = 1 $ . 变量$ c $ 是一个one-hot形式的类别向量, 表示数据样本的潜在成分标签,$ c_k $ 表示向量$ c $ 中的第$ k $ 个元素,$ {c_k} = 1 $ 则表示选中了潜在空间中的第$ k $ 个高斯成分, 为了简便, 之后涉及到的$ {c_k} = 1 $ 都简化为$ c_k $ . 假设$ x $ 和$ y $ 相互条件独立, 当从选择好的高斯类中采样得到隐变量$ z $ , 将其经过由$ {\theta_x} $ 参数化的神经网络(被称为解码器), 生成$ x $ : 同时, 经过由$ {\theta_y} $ 参数化的神经网络(被称为回归器), 则可得到$ y $ .根据上述生成过程, 生成模型可以用联合概率分布表示并被分解为:
$$ \begin{split} &{p_\theta }(x,y,z,c) = \sum\limits_{k = 1}^K {{p_{{\theta _k}}}(x,y,z,{c_k})} =\\ &\qquad\sum\limits_{k = 1}^K {{p_{{\theta _x}}}(x|z){p_{{\theta _y}}}(y|z)p(z|{c_k})p({c_k})} \end{split} $$ (4) 数据样本点的边缘概率
$ p(x,y) $ 的$ \log $ 似然函数可以推导为:$$ \begin{split} &\ln p(x,y) = \int_z {\sum\limits_{k = 1}^K {q(z,{c_k}|x)\ln p(x,y)} } {\rm{d}}z=\\ &\qquad\int_z {\sum\limits_{k = 1}^K {q(z,{c_k}|x)\ln \frac{{p(x,y,z,{c_k})}}{{p(z,{c_k}|x)}}} } {\rm{d}}z=\\ &\qquad\int_z {\sum\limits_{k = 1}^K {q(z,{c_k}|x)\ln \frac{{p(x,y,z,{c_k})}}{{p(z,{c_k}|x)}}\frac{{q(z,{c_k}|x)}}{{q(z,{c_k}|x)}}} } {\rm{d}}z=\\ &\qquad\int_z {\sum\limits_{k = 1}^K {q(z,{c_k}|x)\ln \frac{{p(x,y,z,{c_k})}}{{q(z,{c_k}|x)}}} } {\rm{d}}z+ \\ &\qquad\int_z {\sum\limits_{k = 1}^K {q(z,{c_k}|x)\ln \frac{{q(z,{c_k}|x)}}{{p(z,{c_k}|x)}}} } {\rm{d}}z=\\ &ELBO(\theta ,\phi ;x,y)+ {{\rm{D}}_{KL}}(q(z,c|x)||p(z,c|x)) \end{split} $$ (5) 其中,
$ ELBO(\theta ,\phi ;x,y) $ 是边缘概率似然函数的证据下界;$ {q_\phi}(z,c|x) $ 是推断模型, 作为一个额外引入的变分后验, 用来逼近难以计算的真实复杂后验$ p(z,c|x) $ , 可以被分解为:$$ {q_\phi }(z,c|x) = {q_{{\phi _z}}}(z|x,c){q_{{\phi _c}}}(c|x) $$ (6) 其中,
$ {q_{{\phi _c}}}(c|x) $ 部分用来计算样本点属于每个混合成分的概率, 可以参数化为最后一层是Softmax层的神经网络;$ {q_{{\phi_z}}}(z|x,c) $ 部分用于学习每个模态下数据在潜在空间中的特征表示, 同样被参数化为神经网络, 我们称之为编码器. 所提模型的详细结构图如图2所示.结合式(4) ~ (6), 模型的ELBO可以重写为:
$$ \begin{split} &ELBO(\theta ,\phi ;x,y)=\\ &\int_z {\sum\limits_{k = 1}^K {{q_\phi }(z,{c_k}|x)\ln \frac{{{p_\theta }(x,y,z,{c_k})}}{{{q_\phi }(z,{c_k}|x)}}} } {\rm{d}}z=\\ &\int_z {\sum\limits_{k = 1}^K {{q_\phi }(z|x,{c_k}){q_\phi }({c_k}|x)\ln \frac{{{p_\theta }(x,y|z)p(z|{c_k})p({c_k})}}{{{q_\phi }(z|x,{c_k}){q_\phi }({c_k}|x)}}} } {\rm{d}}z=\\ &\int_z \sum\limits_{k = 1}^K {q_\phi }(z|x,{c_k}){q_\phi }({c_k}|x)\ln [{p_\theta }(x,y|z) - \frac{{{q_\phi }(z|x,{c_k})}}{{p(z|{c_k})}} - \\ &\frac{{{q_\phi }({c_k}|x)}}{{p({c_k})}}] {\rm{d}}z= \int_z {\sum\limits_{k = 1}^K {{q_\phi }(z|x,{c_k}){q_\phi }({c_k}|x)(\ln {p_{{\theta _x}}}(x|z)} }+ \\ & \ln {p_{{\theta _y}}}(y|z)){\rm{d}}z- \sum\limits_{k = 1}^K {q_\phi }({c_k}|x)\int_z {q_\phi }(z|x,{c_k})\times \\ &\ln \frac{{{q_\phi }(z|x,{c_k})}}{{p(z|{c_k})}}{\rm{d}}z - \sum\limits_{k = 1}^K {q_\phi }({c_k}|x)\ln \frac{{{q_\phi }({c_k}|x)}}{{p({c_k})}}= \\ & \int_z {\sum\limits_{k = 1}^K {{q_\phi }(z|x,{c_k}){q_\phi }({c_k}|x)\ln {p_{{\theta _x}}}(x|z)} } {\rm{d}}z + \\ &\int_z {\sum\limits_{k = 1}^K {{q_\phi }(z|x,{c_k}){q_\phi }({c_k}|x)\ln {p_{{\theta _y}}}(y|z)} } {\rm{d}}z-\\ &\sum\limits_{k = 1}^K {{q_\phi }({c_k}|x)} {{\rm{D}}_{KL}}({q_\phi }(z|x,{c_k})||p(z|{c_k})) -\\ & {{\rm{D}}_{KL}}({q_\phi }(c|x)||p(c))\\[-10pt] \end{split} $$ (7) 与VAE相似, 为了计算参数
$ \phi $ 和$ \theta $ , 需要最大化上述的证据下界$ ELBO(\theta ,\phi;x,y) $ , 这相当于最大化边缘概率似然函数.$$ \begin{split} \mathop {\max }\limits_{\theta ,\phi }& ELBO(\theta ,\phi ;x,y)=\\ & {\mathop {\max }\limits_{\theta ,\phi }} \{ {{\rm{E}}_{{q_\phi }(z|x,c){q_\phi }(c|x)}}[\ln {p_{{\theta _x}}}(x|z)]+\\ &{{\rm{E}}_{{q_\phi }(z|x,c){q_\phi }(c|x)}}[\ln {p_{{\theta _y}}}(y|z)]-\\ &{{\rm{E}}_{{q_\phi }(c|x)}}[{{\rm{D}}_{KL}}({q_\phi }(z|x,c)||p(z|c))] -\\ &{{\rm{D}}_{KL}}({q_\phi }(c|x)||p(c))\} \end{split} $$ (8) 假定近似后验
$ {q_{{\phi _z}}}(z|x,c) $ 服从高斯分布, 并把$ {p_{{\theta _x}}}(x|z) $ 和$ {p_{{\theta _y}}}(y|z) $ 分别简化为${p_{{\theta _x}}}(x|z) = {\rm{N}}({\mu _x},I)$ 、${p_{{\theta _y}}}(y|z) = {\rm{N}}({\mu _y},I)$ , MVAER模型的损失函数可以被简化为:$$ \begin{split} &Loss(\theta ,\phi ) = - ELBO(\theta ,\phi ;x,y)=\\ &\qquad{{\rm{E}}_{{q_\phi }(c|x)}}[||x - {\mu _x}||_2^2] + {{\rm{E}}_{{q_\phi }(c|x)}}[||y - {\mu _y}||_2^2]+\\ &\qquad{{\rm{E}}_{{q_\phi }(c|x)}}[{{\rm{D}}_{KL}}({q_\phi }(z|x,c)||p(z|c))]+ \\ &\qquad{{\rm{D}}_{KL}}({q_\phi }(c|x)||p(c)) \end{split} $$ (9) 其中,
$ {\mu _x} $ 通过模型解码器得到,$ {\mu _y} $ 通过模型回归器得到;${q_\phi }(z|x,c){\rm{ \;=\; }}{\rm{N}}({\mu _{z,c}},\sigma _{z,c}^2)$ 表示数据在每个模式下的潜在特征所服从的高斯分布, 其均值和方差$ [{\mu _{z,c}}, \sigma _{z,c}^2] $ 通过模型编码器得到;$ {q_\phi }(c|x) $ 表示数据属于每个模式的可能性, 通过带有Softmax层的编码器计算得到. 基于最小化损失函数的优化目标, 可以通过随机梯度下降等优化算法, 对模型参数$ \phi $ 和$ \theta $ 进行更新优化.损失函数中的前两项是输入数据的重构误差和输出数据的预测误差项, 能够鼓励模型很好地重构输入数据和预测输出数据; 后两项是有关连续潜变量
$ z $ 和离散潜变量$ c $ 的KL散度项, 有助于将原始数据中的变化传播到潜在空间中的隐变量中去, 并使后验和先验之间更好地匹配. 模型期望潜在空间中的离散隐变量$ c $ 能够表示与原始混合分布中相对应的数据集群; 潜在空间中的连续隐变量$ z $ 能够表示每个集群内的数据变化.2.2 基于MVAER模型的在线软测量方法
在上一小节中,详细推导了MVAER模型. 当该模型用于工业过程在线软测量时, 就是对当前样本, 表示为
$ {x_{new}} $ , 提供相应的质量变量预测.假设模型中
$p(y|z) = {\rm{N}}({\mu _{y,k}},I)$ , 其中$z \sim q(z|{x_{new}}, $ $ {c_k}),\;k = 1,2, \cdots ,K$ , 那么当前数据样本的质量变量预测值计算为:$$ \hat y = \sum\limits_{k = 1}^K {q({c_k}|x{}_{new}){\mu _{y,k}}} $$ (10) 其中,
$ q({c_k}|x) $ 表示当前数据样本属于第$ k $ 个混合成分的可能性, 可以通过模型中的编码器得到, 计算公式如式(11)所示, 公式中$ f( \cdot \;;\phi _c') $ 表示该编码器除最后Softmax层之外的部分所代表的函数,$ \phi _c' $ 则代表该部分的网络参数;$ {\mu _{y,k}} $ 表示当前样本质量变量$ y $ 服从的高斯分布的均值, 将其视为$ y $ 的预测值, 可以使用样本的潜在特征$ {z_k} $ 为输入, 通过模型中的回归器得到, 计算公式如式(12)所示, 公式中$ f( \cdot \;;{\theta _y}) $ 表示回归器所代表的函数,$ {\theta _y} $ 则代表回归器的参数. 取所有混合成分下的预测值的加权和作为质量变量的最终预测值.$$ q({c_k}|x{}_{new}){\rm{ = }}\frac{{{{\rm{e}}^{{h_k}}}}}{{\sum\limits_{j = 1}^K {{{\rm{e}}^{{h_j}}}} }}{\rm{ = }}\frac{{{{\rm{e}}^{f{{({x_{new}};\phi _c')}_k}}}}}{{\sum\limits_{j = 1}^K {{{\rm{e}}^{f{{({x_{new}};\phi _c')}_j}}}} }} $$ (11) $$ {\mu _{y,k}}{\rm{ = }}f({z_k};{\theta _y}) $$ (12) 接下来,我们详细介绍基于MVAER模型的实际工业过程软测量应用过程. 该过程主要包括两部分, 离线建模和在线预测.
在离线建模阶段, 首先要根据理论分析和操作经验选择模型的输入变量, 并采集数据(包括输入变量和质量变量). 对收集到的数据进行标准化处理, 然后训练MVAER模型. 当模型训练完成后, 保存模型参数用于在线质量预测. 在线预测时, 对于新采集的待预测样本, 需要对其进行与离线建模时相同的数据预处理, 然后将其送入训练好的模型中, 得到质量变量的预测结果. 所提出的基于MVAER模型的软测量建模算法总结如算法1所示, 并将整个过程直观地体现在如图3所示的流程图中.
图 3 基于MVAER的软测量建模流程图Fig. 3 Flowchart for soft sensor modeling based on the MVAER model为了直观地评价模型的性能, 本文使用均方根误差(Root mean squared error, RMSE)和R2系数两个指标来量化模型的预测效果. RMSE和R2定义如下:
$$ RMSE = \sqrt {\frac{1}{N}\sum\limits_{i = 1}^N {{{({y_i} - {{\hat y}_i})}^2}} } $$ (13) $$ {R^2} = 1 - \frac{{\sum\limits_{i = 1}^N {{{({y_i} - {{\hat y}_i})}^2}} }}{{\sum\limits_{i = 1}^N {{{({y_i} - \bar y)}^2}} }} $$ (14) 其中,
$ N $ 是样本个数,$ {y_i} $ 是第$ i $ 个样本的实际输出值,$ \hat{y}_i $ 是第$ i $ 个样本的预测输出值,$ \bar y $ 是所有样本实际输出值的平均值. RMSE代表预测误差, R2表示实际值和预测值之间的平方相关关系. 通常, RMSE越小, R2越接近于1, 模型的预测性能越好.算法1. 基于MVAER的软测量建模算法
输入. 训练数据集
$ X{\rm{ = \{ }}{x_1},{x_2}, \cdots ,{x_N}\} $ ,$Y=\{{y_1}, $ $ {y_2}, \cdots ,{y_N}\}$ ; 待预测样本$ x_{new} $ ;输出. 待预测样本的质量变量预测值
$ \hat y $ ;步骤 1. 将过程变量数据集
$ X $ 标准化为$ {X_s} $ ;步骤 2. 确定MVAER的结构参数及混合成分个数
$ K $ ;步骤 3. 初始化MVAER的网络结构和连接权重及偏置等参数;
步骤 4. 使用标准化数据集
$ {X_s} $ 作为MVAER的输入, 计算数据样本的重构值和质量变量预测值;1) 使用标准化数据集
$ {X_s} $ 作为第一个编码器的输入, 计算样本属于每个混合成分的概率$ {q_\phi}(c|x) $ , 即$q({c_k}|x),k = $ $ 1,2, \cdots, K$ ;2) 使用标准化数据集
$ {X_s} $ 作为第二个编码器的输入, 计算每个模式下样本在潜在空间中的特征所服从分布$ {q_\phi}(z|x,c) $ 的均值和方差, 即$ [{\mu _{z,k}},\sigma_{z,k}^2],k = 1,2, \cdots ,K $ ;3) 使用重参数化技巧, 根据均值和方差
$ [{\mu _{z,k}},\sigma _{z,k}^2] $ 采样得到样本的潜在特征$ {z_k},k = 1,2, \cdots ,K $ ;4) 使用潜在特征
$ {z_k} $ 作为解码器的输入, 计算样本的重构值${p_\theta }(x|{z_k}) = {\rm{N}}({\mu _{x,k}},I),k = 1,2, \cdots ,K$ ;5) 使用潜在特征
$ {z_k} $ 作为回归器的输入, 计算样本的预测值${p_\theta }(y|{z_k}) = {\rm{N}}({\mu _{y,k}},I),k = 1,2, \cdots ,K$ ;步骤 5. 根据步骤4中得到的结果, 计算MVAER的损失函数
$ Loss(\theta ,\phi) $ , 用随机梯度下降等优化算法更新模型参数;步骤 6. 重复步骤4和步骤5训练模型, 并保存训练好的模型参数, 用于在线预测;
步骤 7. 在线预测时, 根据步骤4计算待预测样本
$ x_{new} $ 的预测值, 并取所有混合成分下预测值的加权和作为质量变量最终预测值$ \hat y $ .3. 案例分析
3.1 数值例子
本节设置了一个具有三种运行模式的数值算例
$, $ 各个高斯组分和关系的具体情况如表1所示. 每个模式下输入和输出之间的关系都是非线性的. 为了构建模型, 生成500个样本作为训练集用于模型训练, 生成500个样本作为测试集用于模型性能测试. 图4中分别显示了X和Y的数据分布, 可以直观地看出该算例具有多模态行为.表 1 数值算例的配置Table 1 Configuration of the numerical example变量参数 $X({x_1},{x_2})$ $Y({y_1})$关系 $\pi$ $\mu$ $\Sigma $ $k = 1$ 0.3 [18 12] $\left[ \begin{aligned} \;\;{7.5}\;\; - 2.5\\{ - 2.5}\;\;\;{4.5}\;\;\end{aligned} \right]$ ${y_1} = 5{x_1}\sin {x_2}$ $k = 2$ 0.4 [1 10] $\left[ \begin{aligned} {4.5}\;\;{1.6}\\{1.6}\;\;{6.6}\end{aligned} \right]$ ${y_1} = {x_1} + x_2^2$ $k = 3$ 0.4 [12 5] $\left[ \begin{aligned}{8.2}\;\;{ - 2.5}\\{ - 2.5}\;\;\;{6.0}\;\;\end{aligned} \right]$ ${y_1} = {x_1}{x_2}$ 为了验证MVAER算法的有效性, 将其与偏最小二乘(Partial least squares, PLS)、高斯混合回归(Gaussian mixture regression, GMR)、自编码器(Auto-encoder, AE)、变分自编码器(Variational auto-encoder, VAE)方法进行比较. 其中, PLS是一种传统回归模型, GMR是一种典型的多模式建模方法, AE是常用的深度学习建模方法, VAE则是所提出的MVAER模型的基础框架.
在MVAER算法中, 将编码器和译码器设置为具有单层隐藏层, 隐藏层的神经单元个数为6; 潜在变量的维度设为2; 为了方便, 回归网络设为一个全连接层, 即在提取的特征和输出之间建立一个线性关系; 组分个数设为3, 这是已知的. GMR的组分个数设为3. 每个模型在测试集上的数值评价指标在表2中列出.
表 2 PLS、GMR、AE、VAE和MVAER模型的性能评价指标Table 2 Performance evaluation indices of PLS, GMR, AE, VAE and MVAER models模型 PLS GMR AE VAE MVAER RMSE 33.2076 9.2463 25.0299 25.3014 6.1914 R2 0.3964 0.9532 0.6571 0.6496 0.9797 从中可以发现, MVAER模型的性能明显优于其他模型. PLS、GMR、AE、VAE和MVAER的详细预测值如图5所示, 散点图如图6所示.
图 5 PLS、GMR、AE、VAE和MVAER模型的预测结果图Fig. 5 Predicted results of PLS, GMR, AE, VAE and MVAER models从预测曲线中可以直观地看出, PLS在每个模态下都不能很好对输出值进行预测. 相比之下, AE和VAE模型对于该过程的回归预测效果有所改善, 对第二模态样本有较好的预测效果. 然而, AE和VAE模型对第一模态和第三模态样本具有较差的预测能力, 从图中可以看出在这两个模态下它们的预测结果趋于直线, 这表明模型没有学习到相关的数据特性和耦合关系. GMR和MVAER对所有模式下的数据样本都有良好的拟合能力, 但与GMR相比, MVAER的预测曲线更加贴合真实曲线, 具有更高的预测精度. 从散点图中, 也能得到相似的结论. 散点图结果表明, PLS等模型的预测结果分布较为分散, 存在较大的预测偏差, 而MVAER模型的预测结果更加集中和靠近主对角线, 这意味着它的预测效果最好. 以上比较和分析表明, PLS作为线性模型, 不能有效提取数据中的非线性和多模态特性, 因此不能很好地处理具有复杂特性的过程, 而 AE和VAE模型虽然可以处理非线性关系, 但无法同时对多个模态下的耦合关系进行建模. GMR和MVAER模型则可以较好地适应多模态过程, 并且当输入输出之间非线性相关时, MVAER的性能优于GMR.
3.2 工业例子
该工业案例取自于合成氨过程中的制氢装置, 氢气是合成氨气的重要原料之一. 根据工艺设计, 氢气生产过程中的关键反应在一段转化炉中进行, 主要是通过脱碳反应将脱硫天然气转化为氢气. 过程的工艺流程图如图7[28]所示. 根据反应机理, 温度对氢气的含量和纯度有很大的影响, 而炉内温度主要取决于稠密燃烧器的燃烧条件. 燃烧条件则是通过调节炉内氧气含量来控制的. 因此, 控制一段炉顶部氧气浓度在规定的范围内是十分重要的. 在实际生产过程中, 氧气含量通常由昂贵的质谱仪测量得到. 为了降低生产成本, 有必要构建一种软传感器在线估计氧气含量.
选择13个过程变量作为软测量模型的输入变量, 包括温度、流量和压力, 它们易于测量且和氧气含量变化有关. 这13个过程变量的详细说明列于表3. 收集5000个样本用于构建软测量模型, 其中2500个样本作为训练集, 其余样本作为测试集. 为了展示MVAER的有效性, 构建PLS、GMR和VAE模型进行性能比较. 通过试错方法, 将MVAER的组分个数K设置为4, 编码器的隐藏层神经单元个数设置为32, 隐变量的维度设为10, 解码器的结构与编码器对称, 回归器与上述数值算例中的一样, 是一层全连接层. GMR的组分个数设置为9. VAE模型的结构参数与MVAER中对应的参数保持一致.
表 3 一段炉过程变量描述Table 3 The description of the process instruments in the primary reformer标签 名称 U1 燃料天然气流量 U2 燃料尾气流量 U3 E3 出口燃料天然气压力 U4 PR 出口炉膛烟气压力 U5 E3 出口燃料尾气温度 U6 PH 出口燃料天然气温度 U7 PR 入口工艺气温度 U8 PR 顶部左侧炉膛烟气温度 U9 PR 顶部右侧炉膛烟气温度 U10 PR 顶部混合炉膛烟气温度 U11 PR 出口转换气温度 U12 PR 右侧出口转换气温度 U13 PR 出口转换气温度 Y 炉内顶部氧气含量 各种方法的性能评价指标, RMSE和R2, 列于表4. 通过比较这些结果可以发现, 多模态建模方法优于非多模态方法, 非线性方法优于线性方法. 其中, MVAER模型的预测性能最好.
表 4 PLS、GMR、VAE和MVAER模型的性能评价指标Table 4 Performance evaluation indices of PLS, GMR, VAE and MVAER models模型 PLS GMR VAE MVAER RMSE 1.7329 1.0844 1.1379 0.8940 R2 0.6129 0.8484 0.8331 0.8970 PLS、GMR、VAE和MVAER对氧气浓度的预测结果如图8所示. 直观上, 从图中可以看出, PLS模型的预测结果比较平稳, 不能很好地追踪氧气浓度的变化. 其余三种方法的预测效果都优于PLS模型. 其中, VAE虽然大体上能捕捉氧气浓度的变化趋势, 但其预测波动较大, 预测曲线上有较多的毛刺; 相比之下, GMR模型能较好地对氧气浓度进行预测, 但是其预测曲线存在较多的尖峰现象. 与VAE和GMR相比, MVAER模型的预测效果则有了明显改善. MVAER模型的预测曲线毛刺、尖峰现象更少, 与真实值曲线吻合度较高, 这意味着我们的模型有更强的拟合能力和更高的预测精度. 几种模型的预测误差和预测散点图分别如图9和图10所示, 从中也能得到相似的结论. 具体来说, 图9中显示MVAER模型的预测误差小于其他几种方法, 大多处于−2和+2之间. 图10中显示, MVAER模型的预测结果分布更加集中, 并且最为接近主对角线, 这些结果都反映出MVAER模型具有较好的预测性能.
图 8 PLS、GMR、VAE和MVAER模型的预测结果图Fig. 8 Predicted results of PLS, GMR, VAE and MVAER models总体而言, 以上两个实例的比较和分析表明, 面对复杂多模态过程, 本文所提出的MVAER模型在捕获数据多模态特性和非线性等方面表现出较强的能力, 能够有效地对关键质量变量进行预测.
4. 结论
本文提出了一种新的混合变分自编码器回归模型, 并将其用于复杂多模态工业过程的产品质量软测量. 通过结合高斯混合模型的思想, 该方法打破了传统VAE中潜在空间单峰分布的限制, 能够有效地提取复杂多模态数据的潜在特征, 并利用潜在特征对产品质量变量进行回归建模. 此外, 该方法由于其混合概率框架, 在不同模态下将会自动进行质量预测. 在两个案例中, 包括一个数值例子和一个合成氨生产过程一段炉实际工业过程, 与其他几种方法相比, 基于混合变分自编码器回归模型的软传感器预测性能最好, 验证了所提方法的有效性和可行性. 最后, 考虑到过程数据中有标签数据稀少的实际情况, 后续研究工作可以结合半监督学习, 将所提方法扩展为半监督软测量方法.
-
图 3 基于MVAER的软测量建模流程图
Fig. 3 Flowchart for soft sensor modeling based on the MVAER model
图 5 PLS、GMR、AE、VAE和MVAER模型的预测结果图
Fig. 5 Predicted results of PLS, GMR, AE, VAE and MVAER models
图 8 PLS、GMR、VAE和MVAER模型的预测结果图
Fig. 8 Predicted results of PLS, GMR, VAE and MVAER models
表 1 数值算例的配置
Table 1 Configuration of the numerical example
变量参数 $X({x_1},{x_2})$ $Y({y_1})$关系 $\pi$ $\mu$ $\Sigma $ $k = 1$ 0.3 [18 12] $\left[ \begin{aligned} \;\;{7.5}\;\; - 2.5\\{ - 2.5}\;\;\;{4.5}\;\;\end{aligned} \right]$ ${y_1} = 5{x_1}\sin {x_2}$ $k = 2$ 0.4 [1 10] $\left[ \begin{aligned} {4.5}\;\;{1.6}\\{1.6}\;\;{6.6}\end{aligned} \right]$ ${y_1} = {x_1} + x_2^2$ $k = 3$ 0.4 [12 5] $\left[ \begin{aligned}{8.2}\;\;{ - 2.5}\\{ - 2.5}\;\;\;{6.0}\;\;\end{aligned} \right]$ ${y_1} = {x_1}{x_2}$ 
下载: 导出CSV
表 2 PLS、GMR、AE、VAE和MVAER模型的性能评价指标
Table 2 Performance evaluation indices of PLS, GMR, AE, VAE and MVAER models
模型 PLS GMR AE VAE MVAER RMSE 33.2076 9.2463 25.0299 25.3014 6.1914 R2 0.3964 0.9532 0.6571 0.6496 0.9797
下载: 导出CSV
表 3 一段炉过程变量描述
Table 3 The description of the process instruments in the primary reformer
标签 名称 U1 燃料天然气流量 U2 燃料尾气流量 U3 E3 出口燃料天然气压力 U4 PR 出口炉膛烟气压力 U5 E3 出口燃料尾气温度 U6 PH 出口燃料天然气温度 U7 PR 入口工艺气温度 U8 PR 顶部左侧炉膛烟气温度 U9 PR 顶部右侧炉膛烟气温度 U10 PR 顶部混合炉膛烟气温度 U11 PR 出口转换气温度 U12 PR 右侧出口转换气温度 U13 PR 出口转换气温度 Y 炉内顶部氧气含量
下载: 导出CSV
表 4 PLS、GMR、VAE和MVAER模型的性能评价指标
Table 4 Performance evaluation indices of PLS, GMR, VAE and MVAER models
模型 PLS GMR VAE MVAER RMSE 1.7329 1.0844 1.1379 0.8940 R2 0.6129 0.8484 0.8331 0.8970
下载: 导出CSV
-
[1] Sun, Q, Ge Z. A survey on deep learning for data-driven soft sensors. IEEE Transactions on Industrial Informatics, 2021, 17(9): 5853-5866 doi: 10.1109/TⅡ.2021.3053128 [2] Yin S, Li X, Gao H, et al. Data-based techniques focused on modern industry: An overview. IEEE Transactions on Industrial Electronics, 2014, 62(1): 657-667. [3] Liu Y, Yang C, Liu K, et al. Domain adaptation transfer learning soft sensor for product quality prediction. Chemometrics and Intelligent Laboratory Systems, 2019, 192: 103813. doi: 10.1016/j.chemolab.2019.103813 [4] Liu Y, Yang C, Gao Z, et al. Ensemble deep kernel learning with application to quality prediction in industrial polymerization processes. Chemometrics and Intelligent Laboratory Systems, 2018, 174: 15-21. doi: 10.1016/j.chemolab.2018.01.008 [5] 柴天佑. 复杂工业过程运行优化与反馈控制. 自动化学报, 2013, 39(11): 1744-1757 doi: 10.3724/SP.J.1004.2013.01744Chai Tian-You. Operational optimization and feedback control for complex industrial processes. Acta Automatica Sinica, 2013, 39(11): 1744-1757 doi: 10.3724/SP.J.1004.2013.01744 [6] Sun, Q, Ge Z. Deep Learning for Industrial KPI Prediction: When Ensemble Learning Meets Semi-Supervised Data.IEEE Transactions on Industrial Informatics, 2021, 17: 260-269. doi: 10.1109/TII.2020.2969709 [7] Shao W, Tian X, Wang P, et al. Online soft sensor design using local partial least squares models with adaptive process state partition. Chemometrics and Intelligent Laboratory Systems, 2015, 144: 108-121. doi: 10.1016/j.chemolab.2015.04.003 [8] Yuan X, Ou C, Wang Y, et al. A novel semi-supervised pre-training strategy for deep networks and its application for quality variable prediction in industrial processes. Chemical Engineering Science, 2020, 217: 115509. doi: 10.1016/j.ces.2020.115509 [9] Zheng W, Liu Y, Gao Z, et al. Just-in-time semi-supervised soft sensor for quality prediction in industrial rubber mixers. Chemometrics and Intelligent Laboratory Systems, 2018, 180: 36-41. doi: 10.1016/j.chemolab.2018.07.002 [10] Xie R, Hao K, Huang B, et al. Data-Driven Modeling Based on Two-Stream λ Gated Recurrent Unit Network With Soft Sensor Application. IEEE Transactions on Industrial Electronics, 2019, 67(8): 7034-7043. [11] Yan W, Tang D, Lin Y. A data-driven soft sensor modeling method based on deep learning and its application. IEEE Transactions on Industrial Electronics, 2016, 64(5): 4237-4245. [12] Kadlec P, Gabrys B, Strandt S. Data-driven soft sensors in the process industry. Computers & chemical engineering, 2009, 33(4): 795-814. [13] Yuan X, Huang B, Wang Y, et al. Deep learning-based feature representation and its application for soft sensor modeling with variable-wise weighted SAE. IEEE Transactions on Industrial Informatics, 2018, 14(7): 3235-3243. doi: 10.1109/TII.2018.2809730 [14] Ge Z. Process data analytics via probabilistic latent variable models: A tutorial review. Industrial & Engineering Chemistry Research, 2018, 57(38): 12646-12661. [15] Chen N, Dai J, Yuan X, et al. Temperature prediction model for roller kiln by ALD-based double locally weighted kernel principal component regression. IEEE Transactions on Instrumentation and Measurement, 2018, 67(8): 2001-2010. doi: 10.1109/TIM.2018.2810678 [16] Peng K, Zhang K, You B, et al. Quality-related prediction and monitoring of multi-mode processes using multiple PLS with application to an industrial hot strip mill. Neurocomputing, 2015, 168: 1094-1103. doi: 10.1016/j.neucom.2015.05.014 [17] Kaneko H, Funatsu K. Database monitoring index for adaptive soft sensors and the application to industrial process. AIChE Journal, 2014, 60(1): 160-169. doi: 10.1002/aic.14260 [18] Gonzaga J C B, Meleiro L A C, Kiang C, et al. ANN-based soft-sensor for real-time process monitoring and control of an industrial polymerization process. Computers & chemical engineering, 2009, 33(1): 43-49. [19] Shang C, Yang F, Huang D, et al. Data-driven soft sensor development based on deep learning technique. Journal of Process Control, 2014, 24(3): 223-233. doi: 10.1016/j.jprocont.2014.01.012 [20] Yao L, Ge Z. Deep learning of semisupervised process data with hierarchical extreme learning machine and soft sensor application. IEEE Transactions on Industrial Electronics, 2018, 65(2): 1490-1498. doi: 10.1109/TIE.2017.2733448 [21] Yuan X, Zhou J, Huang B, et al. Hierarchical quality-relevant feature representation for soft sensor modeling: a novel deep learning strategy. IEEE Transactions on Industrial Informatics, 2019, 16(6): 3721-3730. [22] Zhang X, Ge Z. Automatic Deep Extraction of Robust Dynamic Features for Industrial Big Data Modeling and Soft Sensor Application. IEEE Transactions on Industrial Informatics, 2020, 16(7): 4456-4467. doi: 10.1109/TII.2019.2945411 [23] Zheng S, Liu K, Xu Y, et al. Robust soft sensor with deep kernel learning for quality prediction in rubber mixing processes. Sensors, 2020, 20(3): 695. doi: 10.3390/s20030695 [24] Zhou L, Chen J, Song Z, et al. Probabilistic latent variable regression model for process-quality monitoring. Chemical Engineering Science, 2014, 116: 296-305. doi: 10.1016/j.ces.2014.04.045 [25] Yuan X, Ge Z, Huang B, et al. A probabilistic just-in-time learning framework for soft sensor development with missing data. IEEE Transactions on Control Systems Technology, 2016, 25(3): 1124-1132. [26] Kingma D P, Welling M. Auto-encoding variational bayes. arXiv preprint arXiv: 1312.6114, 2013. [27] Wang K, Forbes M G, Gopaluni B, et al. Systematic development of a new variational autoencoder model based on uncertain data for monitoring nonlinear processes. IEEE Access, 2019, 7: 22554-22565. doi: 10.1109/ACCESS.2019.2894764 [28] Lee S, Kwak M, Tsui K L, et al. Process monitoring using variational autoencoder for high-dimensional nonlinear processes. Engineering Applications of Artificial Intelligence, 2019, 83: 13-27. doi: 10.1016/j.engappai.2019.04.013 [29] Shen B, Yao L, Ge Z. Nonlinear probabilistic latent variable regression models for soft sensor application: From shallow to deep structure. Control Engineering Practice, 2020, 94: 104198. doi: 10.1016/j.conengprac.2019.104198 [30] Guo F, Xie R, Huang B. A deep learning just-in-time modeling approach for soft sensor based on variational autoencoder. Chemometrics and Intelligent Laboratory Systems, 2020, 197: 103922. doi: 10.1016/j.chemolab.2019.103922 [31] Shen B, Ge Z. Supervised nonlinear dynamic system for soft sensor application aided by variational auto-encoder[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(9): 6132-6142. [32] Grbić R, Slišković D, Kadlec P. Adaptive soft sensor for online prediction and process monitoring based on a mixture of Gaussian process models. Computers & chemical engineering, 2013, 58: 84-97. [33] Souza F A A, Araújo R. Mixture of partial least squares experts and application in prediction settings with multiple operating modes. Chemometrics and Intelligent Laboratory Systems, 2014, 130: 192-202. doi: 10.1016/j.chemolab.2013.11.006 [34] 郭小萍, 刘诗洋, 李元. 基于稀疏残差距离的多工况过程故障检测方法研究. 自动化学报, 2019, 45(3): 617-625Guo Xiao-Ping, Liu Shi-Yang, Li Yuan. Fault Detection of Multi-mode Processes Employing Sparse Residual Distance. Acta Automatica Sinica, 2019, 45(3): 617-625 [35] Dilokthanakul N, Mediano P A M, Garnelo M, et al. Deep unsupervised clustering with gaussian mixture variational autoencoders. arXiv preprint arXiv: 1611.02648, 2016. [36] Jiang Z, Zheng Y, Tan H, et al. Variational deep embedding: An unsupervised and generative approach to clustering. arXiv preprint arXiv: 1611.05148, 2016. [37] Yang L, Cheung N M, Li J, et al. Deep clustering by Gaussian mixture variational autoencoders with graph embedding. In: Proceedings of International Conference on Computer Vision. Seoul, Korea: IEEE, 2019. 6439−6448 [38] Doersch C. Tutorial on variational autoencoders. arXiv preprint arXiv: 1606.05908, 2016. [39] 胡铭菲, 左信, 刘建伟. 深度生成模型综述. 自动化学报, 2022, 48(2): 40-74Hu Ming-Fei, Zuo Xin, Liu Jian-Wei. Survey on deep generative model. Acta Automatica Sinica, 2020, 41(x): 1-34 期刊类型引用(6)
1. 王晨. 工业加氢裂化过程深度学习模型的对抗样本攻击研究. 石油学报(石油加工). 2025(02): 352-361 . 
百度学术2. 陈晶，程连元，李俊红，朱全民. 结构未知系统降维辨识方法——变量消去算法. 控制与决策. 2024(01): 171-179 . 百度学术3. 郭小萍，种佳林，李元. 基于半监督动态深度融合神经网络的软测量. 计算机应用研究. 2024(02): 521-526 . 百度学术4. 柴旭清，乔一航，范黎林. 一种基于随机森林分类器构建高性能应用程序性能分析模型的方法. 计算机工程与科学. 2024(07): 1218-1228 . 百度学术5. 于雪彬，贾宇琛，高立艾，周加栋，霍利民. 计及改进粒子群算法优化BP神经网络的沼气产量软测量预测模型. 太阳能学报. 2024(08): 643-650 . 百度学术6. 杜先君，柴俊伟. 基于优化特征选择的污水处理过程BOD神经网络软测量模型. 兰州理工大学学报. 2024(06): 85-91 . 百度学术其他类型引用(18)
-
下载:
计量
- 文章访问数: 2305
- HTML全文浏览量: 776
- PDF下载量: 502
- 被引次数: 24
