Transfer Interacting Multiple Model State Estimator for Markovian Jump Linear Systems With Multi-rate Measurements
-
摘要: 实际工业过程中, 量测数据除了在线仪表采集的快速率数据, 还有离线化验等慢速率辅助量测数据. 为了更好地利用离线化验数据, 增加在线估计的精度, 针对随机跳变系统, 引入迁移学习思想, 提出迁移交互多模型估计 (Transfer interacting multiple model state estimator, IMM-TF) 新策略. 首先, 将离线化验数据的边缘分布作为可以迁移的知识, 迁移到贝叶斯后验分布, 实现辅助量测数据的充分利用. 其次, 利用KL (Kullback-Leibler) 散度度量知识迁移前后任务间的差异性, 求解最优的贝叶斯迁移估计器. 同时, 结合慢速率量测, 利用平滑策略获取待迁移的估计值, 解决多率量测下的迁移估计难题. 然后, 利用影响力函数构建辅助量测数据与估计性能之间的解析关系, 从而对迁移效果进行定量评价. 最后, 通过在目标跟踪实例中的应用, 表明所提方法的有效性及优越性.Abstract: In industrial processes some measurements are sampled frequently while other measurements are available infrequently and often slow rate. To utilize the slow rate measurements better for improving the accuracy of online estimation, this paper proposes a powerful transfer interacting multiple model state estimator (IMM-TF) for Markovian jump linear systems with multi-rate measurements based on the transfer learning strategy. First, the form of knowledge to be transferred to the Bayesian posterior distribution is designated as the observation predictor derived by using the slow rate measurements. We define universal evaluation of relatedness between the distribution transferred knowledge and ideal posterior distribution from the perspective of Kullback-Leibler (KL) divergence to obtain the optimal Bayesian transfer state estimator. Integrated with the slow rate measurements, the smoothing strategy is then proposed to obtain the transferred estimates for solving the difficult problem of transfer state estimator facing multi-rate measurements. Furthermore, the influence function is defined to construct the analytical relationship between the slow rate measurements and the estimation performance, so as to quantitatively evaluate the transfer effect. Finally, the effectiveness and superiority of the proposed method are illustrated by an example of target tracking.
-
电熔镁砂(Fused magnesium furnace, FMF)具有熔点高、结构致密、抗氧化性强、耐压强度高、耐腐蚀性强以及化学性能稳定等优良特性, 在工业、军事领域乃至航天工业中都是不可或缺的战略资源.目前, 提炼电熔镁砂的工艺流程通常是利用三相交流电熔镁炉(简称电熔镁炉)通过电弧来对以菱镁矿石为主的粉末状原料加热熔炼.通过吸收电弧产生的热量将矿石粉末加热到近3 000℃, 分解为熔液状态的氧化镁(MgO)和二氧化碳(CO$_2$)气体, 再通过降温结晶过程排除杂质, 从而得到高纯度的MgO晶体, 即电熔镁砂[1-3].而熔炼所用容器为有限使用次数的铁制炉壳, 并通过水循环系统进行冷却.
电熔镁炉的运行主要包括加热熔化、加料和排气三种正常工况.由于我国电熔镁矿石存在品位低、矿物组成复杂以及成分波动大等特性, 物料在熔化过程中电阻和熔点不稳定, 易发生欠烧等异常工况[4-5], 对生产安全、人员安全和产品质量产生很大影响, 通常是由于原料杂质成分导致局部熔点升高, 以及不适当的电流设定值使局部熔炼区温度低于原料熔化温度, 熔池过于粘稠, 使CO$_2$气体无法正常排出, 迫使溶液穿透炉壳保护层与铁质炉壳直接接触, 造成炉壳温度过高至烧红烧透, 处理不及时甚至会导致烧漏、熔液漏出现象.
由于超高温电熔镁炉熔液温度不直接可测, 目前欠烧异常工况主要通过现场工人定期观察炉壳特征来诊断.但人工巡检工作强度大、危险性高, 且准确性高度依赖操作人员的经验和状态.此外, 通常从正常工况到产生欠烧工况仅需2 $\sim$ 3分钟, 而巡检工人通常需要对每个厂区内的三台电熔镁炉进行往返巡视, 滞后性大, 处理不及时会导致漏检.针对上述问题, 亟需一种自动且快速有效的电熔镁炉工况诊断方法.文献[4]提出了一种基于电流数据的工况诊断方法, 通过各工况的历史电流数据提取出一系列专家规则库, 再利用该规则库对现场运行工况进行实时诊断.但实际生产的众多不稳定因素导致该方法无法准确、稳定地工作, 例如熔池中不断产生的CO$_2$气泡导致熔液翻滚, 使液面与三相电极间距不断变化, 电阻也会随之改变, 导致电流无规律的波动.此外, 根据电流数据人为制定专家规则也高度依赖于专家经验, 易发生漏报和误报.在计算机视觉领域, 卷积神经网络(Convolutional neural network, CNN)由于出色的空间特征提取性能被用于图像分割[6]、图像超分辨率复原[7-8]以及图像识别[9-10].利用CNN的空间特征提取特性以及生成式对抗神经网络(Generative adversarial networks, GAN)的样本生成特性, 文献[11]通过静态图像信息进行工况诊断, 但在训练与预测过程仅利用单帧图片输入, 缺少对连续时间信息的感知, 因此模型无法描述实际生产的动态过程.而在动态过程的表征及识别方面, 循环神经网络(Recurrent neural network, RNN)由于特殊的时序编码结构被广泛应用于语音辨识[12-13]、视频识别[14]以及视频预测中[15].但RNN结构仅利用全连接结构作为输入, 因此往往忽略了图像序列中的空间特征.
根据前文所述, 电熔镁炉欠烧工况时溶液凝固在炉壳内壁导致炉壳烧红烧透, 为异常工况诊断提供了更直观的视觉信息.本文主要工作如下:
为排除熔炼现场众多随机因素的干扰, 提出灰度一致性变换和时序残差图像提取的预处理方法; 针对电熔镁炉异常工况发生发展的视觉特征, 提出将CNN与RNN相结合的工况诊断方法, 其中CNN对预处理后的序列图像提取空间特征并编码为时间独立的特征向量, 再将一系列按时间序列排列的特征向量输入至RNN用以提取时序特征, 从而挖掘出异常工况从无到有再到显著的时空特性; 针对电熔镁炉异常工况标记数据稀疏及获取困难等问题, 且为了避免人工逐帧标记, 结合电熔镁炉异常工况的位置相对固定以及随时间变化缓慢的特性, 提出一种基于加权中值滤波的欠烧工况标记方法, 并利用电熔镁炉实际生产过程的视频信号, 对所提方法与现有两种深度学习模型(基于CNN的模型与基于RNN的模型)进行了实验比较, 验证了所提方法的有效性.
1. 电熔镁炉欠烧工况视觉特征分析
电熔镁炉生产现场如图 1 (a)所示, 其中实线框内为所标记的炉壳区域.当欠烧工况开始发生时, 炉壳的局部区域会被粘稠MgO熔液烧红(如图 1 (b)所示, 其中欠烧工况发生的部位被标记在实线框内).通过识别炉壳的图像序列中的高亮度区域便能对这一工况进行判断.但由于高亮度水雾以及炉壳上固有的白斑干扰, 直接通过图像中高亮度区域来判断往往导致极高概率的误报.通过对原始图像序列提取出时序残差信息(如图 1 (c)显示了某时刻欠烧工况下的时序残差图像, 两处高亮度区域为欠烧区域), 可有效抑制炉壳上固有特征(如白斑)带来的干扰, 以及由于不同图像序列中光照不一致造成的环境干扰.
图 1 电熔镁炉欠烧工况视觉特征分析Fig. 1 Analysis of visual features of semimolten condition for an FMF在空间维度上, 虽然欠烧工况的区域形状不定, 但由于其形成的内在机理是由于熔液凝固在炉壳内壁所致, 因此具有一定的空间特征规律(如图 1 (b)所示).最直接的异常工况诊断方法是对残差图像进行逐帧空间特征提取, 再对工况进行分类.然而, 由于环绕在炉壳周围的水雾也呈现出高亮度特征, 且区域形状不定, 会对最终的分类结果造成较大干扰.因此, 大量水雾带来的干扰成为从空间维度准确诊断电熔镁炉欠烧工况的主要难点.简单地将空间特征作为判断依据并无法完整描述欠烧工况.
在时间维度上, 欠烧区域一旦发生则位置随时间相对固定, 且亮度与范围随时间递增的特征不同, 水雾在时间维度中呈现出持续时间短且空间位置不确定性强的特征.图 1 (d)为图 1 (c)中竖线标记位置处残差随时间的变化, 其中横坐标为时间序列, 纵坐标为图像空间维度中的垂直维度$ y $.图 1 (d)中, 虚线框内为水雾干扰区域, 随时间呈现出类似噪声分布特征; 实线框内为欠烧工况区域, 在时间维度上呈现出位置相对固定而强度递增的特征.但由于各种因素干扰, 欠烧工况区域并不是严格随时间变大, 即会在某些时刻变小甚至在短时间内消失(如图 1 (d)箭头所示).因此, 在利用每一时刻图像的空间信息的同时, 需要结合其在长时间跨度的整体动态特性作为诊断依据.
2. 基于卷积循环神经网络的电熔镁炉异常工况诊断
2.1 电熔镁炉异常工况诊断策略
本文利用电熔镁炉现场生产过程的视频信号, 结合欠烧(异常)工况的视觉特征, 分别利用CNN与RNN提取空间与时间维度上的特征, 并建立如图 2所示的基于卷积循环神经网络(Convolutional recurrent neural network, CRNN)的电熔镁炉欠烧工况诊断结构.该结构主要由三部分组成:图像序列预处理模块、基于卷积循环神经网络的特征提取模块和基于加权中值滤波的工况区域标记模块.
图 2 基于CRNN的电熔镁炉欠烧工况诊断策略结构图Fig. 2 Framework of the proposed semimolten condition diagnosis based on CRNN for FMF将图像序列预处理得到的结果作为网络输入, 基于加权中值滤波的工况区域标记作为网络的期望输出, 建立基于CRNN的特征提取模型.在实时诊断过程中(图 2中实线框部分), 对于实时视频信号首先通过视频序列预处理模块, 处理后的图像序列输入训练得到的CRNN模型得到诊断结果输出.
具体地, 图像序列预处理模块由图像序列灰度一致性变换与时序残差图像提取步骤组成, 前者用以排除电熔镁炉炉口火焰亮度波动造成的相机不稳定曝光干扰, 后者用以排除不同炉壳表面固有视觉特征带来的干扰.在基于RNN的特征提取模块中, CNN利用输入的图像提取空间特征, 并输出时序上无关联的空间特征向量, 而RNN则利用该特征向量在时序维度上进行特征提取, 并最终获得工况诊断信息.本文使用对时间感知能力较强的长短期记忆(Long short-term memory, LSTM)结构[16]作为RNN的基本单元.由于对实际视频信号进行逐帧的异常工况区域标记过程复杂且成本过高, 本文结合欠烧异常工况的视觉特征, 利用基于加权中值滤波的工况区域标记模块对标记数据进行稠密化与区域优化, 而初始标签数据获取阶段仅需要粗略与时序稀疏的人工标记.
2.2 异常工况诊断算法
2.2.1 图像序列预处理
首先对相机采集的原始图像序列依次进行灰度一致性变换和时序残差图像提取.
1) 图像序列灰度一致性变换.在生产过程中, 电熔镁炉炉口亮度波动会对相机曝光产生随机干扰, 相机自动调整曝光量会使拍摄的炉体图像明暗不一.这种整体的环境光波动会对后续空间特征提取产生干扰.因此, 本文利用灰度一致性约束[17]对炉壳图像序列进行处理.令$ V_ {\rm RGB} = \{I_1, I_2, \cdots, I_N\} $为相机拍摄的图像序列, 其中$ I_n $为第$ n $帧RGB空间的图像.首先通过颜色空间映射将RGB空间的图像序列$ V $转换到Lab空间, 即$ V_ {\rm Lab} = f_{\rm Lab}(V_ {\rm RGB}) = $ $ \{f_ {\rm Lab}(I_1) $, $ f_ {\rm Lab}(I_2), \cdots, f_ {\rm Lab}(I_N)\} $, 其中$ f_ {\rm Lab} $为颜色空间映射函数(将RGB空间图像映射到Lab空间).现将Lab空间的图像$ f(I_n) $简写为$ H_n $, 则经过灰度一致性约束的图像$ \hat{H} $为
$ \begin{align} &\hat{H}^l_n = \frac{\varphi(H^l_t)}{\varphi(H^l_n)}(H^l_n-\bar{H}^l_n)+\bar{H}^l_t, \ \ l\in\{{\rm L, a, b}\}\\ &H_t = \frac{1}{N_1}\sum\limits_{i = 1}^{N_1}H_i \end{align} $
(1) 其中, L, a, b分别为Lab颜色空间的三个通道, $ H^l_n $为第$ n $帧Lab空间中的第$ l $通道的图像, $ \hat{H}^l_n $为约束后对应的图像, $ H^l_t $为参考帧$ t $下的图像, $ \bar{H} $表示对图像$ H $取均值, $ \varphi(H) $表示对图像$ H $取标准差.为排除相机噪声干扰, 将$ H_t $取为前$ N_1 $帧图像的平均值作为参考图像而非单一帧图像. $ N_1 $的取值主要依据熔炼过程中炉口火焰的闪烁周期和炉壳周围的水雾移动速度共同决定, 本文取经验值50.则通过灰度一致性变换后的图像序列$ \hat{V}_{\rm Lab} = $ $ \{\hat{H}_1, \hat{H}_2, \cdots $, $ \hat{H}_N\} $.最后将Lab空间的图像序列转换回RGB空间, 得到$ \hat{V}_ {\rm RGB} = $ $ \{\hat{I}_1, \hat{I}_2, \cdots, \hat{I}_N\} $.
2) 时序残差图像提取.不同电熔镁炉可能存在固有的视觉特征差异, 例如图 1 (b)中炉壳上的白斑, 以及不同的环境光源.为排除这些固有视觉特征差异对工况诊断的干扰以及使后续网络模型可以用于不同电熔镁炉, 本文对经过灰度一致性变换后的图像序列进行时序残差图像(图 1 (c))提取, 其值为
$ \begin{align} R_n = f_{\rm YUV}(\hat{I}_n)-\frac{1}{N_2}\sum\limits_{i = N_1+1}^{N_1+N_2}f_ {\rm YUV}(\hat{I}_i) \end{align} $
(2) 其中, $ R_n $表示第$ n $帧时序残差图像, $ f_ {\rm YUV} $为将图像从RGB空间映射到YUV空间的函数.类似式(1), 取前$ N_2 $帧图像的平均值作为参考图像, 其中$ N_2 $取经验值50.本文仅采用式(2)中时序残差图像$ R_n $的Y通道作为后续基于深度学习的工况诊断的网络模型输入, 即时序残差图像序列$ V_R = $ $ \{R_1 $, $ R_2 $, $ \cdots $, $ R_N\} $.
需要注意的是, 本文提到的时序残差图像是指相对于初始状态(即前50帧的平均状态)的残差而非相对于上一时刻的残差.另一点需要注意的是, 由于熔炼初期不会发生欠烧工况, 使用熔炼初期的前$ N_2 $帧图像的平均值作为参考图像.因此, 该预处理不会带来诊断延迟.
2.2.2 基于卷积循环神经网络的特征提取
1) 基于CNN的空间特征提取.传统图像处理方法依靠人为定义的算子(如梯度算子、Sobel算子和SIFT算子)提取图像特征.这些由算子提取特征的操作可视为算子$ \omega $与残差图像$ R $的卷积操作, 即$ F = \omega\ast R $, 其中, $ \ast $代表卷积操作, $ F $为图像特征矩阵.与传统方法不同, CNN将卷积算子也称为卷积核$ W $, 视为可以调节的网络参数, 即依靠大量训练数据和优化算法对这些参数进行自动调整, 从而达到提取图像特征的目的.因此本文将一层卷积网络描述为
$ \begin{align} L_ {\rm conv}^j = {\rm ReLu}(W^j\ast L_ {\rm conv}^{j-1}+B^j) \end{align} $
(3) 其中, $ L_ {\rm conv}^j $为第$ j $层网络输出, $ L_ {\rm conv}^{j-1} $为前一层网络输入(对于第1层网络, $ L_ {\rm conv}^{j-1} $为输入数据, 即时序残差图像), $ B_i $为偏置参数, ReLu$ (\cdot) $为修正线性单元(Rectified linear units, ReLu), $ {\rm ReLu}(x) = $ $ {\rm max}(x, 0) $.本文使用每10帧时序残差图像$ R = $ $ \{R_1, R_2, \cdots, R_{10}\} $作为CNN的输入, 即输入为一个$ w\times h\times10 $的三维矩阵, 其中$ w $为图像宽度, $ h $为图像高度.本文采用6层卷积网络(即$ j = 1, 2 $, $ \cdots $, $ 6 $), 其结构以及每一层网络的卷积核$ W $大小如图 3所示.第1层网络的卷积核为$ 10 \times 11 \times 11 $ $ \times $ $ 64 $, 输出大小为$ 64\times(w-10)\times (h - 10) $; 第2层的卷积核为$ 64\times 5 \times 5 \times128 $, 输出大小为$ 128\times (w $ $ - $ $ 14)\times (h-14) $; 第3层的卷积核为$ 128 \times 3 \times 3 $ $ \times $ $ 128 $, 输出大小为$ 128\times(w-16)\times(h-16) $; 第4层的卷积核为$ 128\times3\times3 \times 64 $, 输出大小为$ 64 $ $ \times $ $ (w-18)\times (h-18) $; 第5层的卷积核为$ 64 \times 5 \times 5 $ $ \times $ $ 64 $, 输出大小为$ 64 \times (w-22) \times (h-22) $; 第6层的卷积核为$ 64\times11\times11\times 64 $, 输出大小为$ 64 $ $ \times $ $ (w-32)\times (h-32) $.为了使网络具有非线性映射关系, 第1 $ \sim $ 5层网络后均包括一层ReLu操作(图 3中为便于观察网络结构没有给出).由于每层网络无填充(Padding)操作, 因此输出的空间维度大小逐层降低.例如, 对于空间维度大小为$ 33 \times 33 \times 10 $的输入, 最终输出为64维的向量.
2) 基于RNN的时序特征提取.本文使用的循环神经网络直接利用CNN的输出$ y_ {\rm conv} $作为输入, 结构如图 4所示, 其中网络输入$ x $对应于卷积网络输出$ y_ {\rm conv} $. RNN的隐含层单元不仅输出结果$ y $, 还包括状态$ h $, 且该状态$ h $通过不断循环(如图 4 (a)所示), 将时间序列信息引入网络.本文将输入$ x $的当前时刻及历史时刻的序列作为RNN的输入, 展开为如图 4 (b)所示的结构.需要注意的是, 由于状态$ h $通过不断循环传递时序信息, 时间$ t $的状态$ h^t $为该时刻的输入$ x $, 即$ y_ {\rm conv}^t $, 以及之前时刻的输入$ \{x^{t-1} $, $ x^{t-2}, \cdots\} $, 即$ \{y_ {\rm conv}^{t-1}, y_ {\rm conv}^{t-2}, \cdots\} $共同作用的结果.因此, RNN的循环结构使得该网络能够描述输入序列的时间特性.
传统循环神经网络单元, 存在随着时间递增, 后节点对前节点的感知能力下降, 即长期依赖问题[18].而长短期记忆单元, 即LSTM单元, 通过门的设计来保护与控制每个节点的状态, 其中一个门仅允许少量的线性交互, 使得时间较早的信息不会流失[19].因此, 本文利用LSTM作为RNN结构的核心单元来提取来自于CNN的时序特征, 结构如图 5所示, 其中
$ \begin{align} f^t& = \sigma(W_f\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_f)\\ i^t& = \sigma(W_i\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_i)\\ \tilde{C}^t& = \tanh(W_C\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_C)\\ C^t& = f^t\odot C^{t-1}+i^t\odot\tilde{C}^t\\ o^t& = \sigma(W_o\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_o)\\ h^t& = o^t\odot\tanh(C^t) \end{align} $
(4) 其中, $ f^t $, $ i^t $, $ \tilde{C}^t $, $ o^t $均为LSTM单元内部变量; $ \sigma(\cdot) $为sigmoid非线性单元, 即$ \sigma(x) = (1+{\rm e}^{-x})^{-1} $, $ \tanh $为双曲正切函数; $ \odot $为哈达马积, $ W_f $, $ W_i $, $ W_C $和$ W_o $为LSTM单元权值, $ b_f $, $ b_i $, $ b_C $和$ b_o $为LSTM单元偏置; $ y_{\rm conv}^t $为序列$ t $的卷积神经网络输出, $ h^{t-1} $与$ C^{t-1} $为$ t-1 $时刻LSTM单元输出; $ C^{t} $与$ h^{t} $为$ t $时刻LSTM单元输出.通过对LSTM单元输出$ h_t $使用softmax回归, 最终LSTM网络输出$ t $时刻(即第$ t $帧图像序列)诊断结果的概率分布$ P(y_t) $为
$ \begin{align} &P(y_t = k) = {\rm softmax}(h^t) = \\ &\qquad\frac{\exp(W_{hk}h^t_k+b_k)}{\sum\limits_{k'\in K}\exp(W_{hk}h^t_{k'}+b_k)} \end{align} $
(5) 其中, $ K $为诊断结果类别空间, $ K = [0, 1] $ (0代表正常区域, 1代表欠烧区域).最终诊断结果$ \hat{y}_t $为
$ \begin{align} \hat{y}_t = \arg\mathop{\max}_k(P(y_t = k), k\in K) \end{align} $
(6) 本文将两个网络(CNN与LSTM)作为一个整体进行训练, 其损失函数$ L_ {\rm Loss} $为交叉熵, 定义如下
$ \begin{align} L_ {\rm Loss} = -\sum\limits_{x\in X}\sum\limits_{k\in K}Q(y = k)\log(P(y = k)) \end{align} $
(7) 其中, $ (x, y) $为一组数据对, $ X $为批处理数据中数据对数量, $ Q(y = k) $为标签数据的概率分布, 即对于正常区域$ Q(y = 0) = 1 $, $ Q(y = 1) = 0 $, 而欠烧区域$ Q(y = 0) = 0 $, $ Q(y = 1) = 1 $.
2.2.3 基于加权中值滤波的工况区域标记
电熔镁炉欠烧工况主要依赖于人工判断, 但人为地对训练集图像序列的每一帧进行标签制作成本较高.例如, 对一段持续1小时的图像序列进行标签制作, 视频为30帧/s, 则需要对10万帧数据进行欠烧工况发生位置的标记.尽管训练集不成对的网络训练方法已被提出[20], 但需要利用只有输入数据和只有标签数据分别对网络进行训练, 再通过同时有输入和标签的数据对进行网络参数调整.因此, 仍然需要获取大量带有标签的工况数据.
为了快速并准确获取大量已标记数据, 本文首先做出下述观察:
1) 欠烧工况一旦发生, 其空间位置保持不变, 在残差图像中呈现出的区域大小随时间增加.
2) 欠烧区域形状不规则, 但是一旦发生, 其形状不随时间发生较大变化.
产生这两项观察的根本原因是由于接触炉壳内壁的MgO高粘度溶液不会随时间发生较大变化.
结合上述两项观察, 本文提出一种从稀疏标记数据中自动得到密集标记数据的方法, 仅需手动对图像序列中的2帧图像进行欠烧工况的粗略定位, 就能够通过自动标记优化方法对整段图像序列的欠烧工况发生区域进行准确标记, 其具体步骤如下:
1) 对图像序列进行稀疏粗略标记.对一段时序残差图像中欠烧工况发生的起始帧$ G_1 $与结束帧$ G_N $进行人工定位, 构成含有粗略定位的参考标记图像$ \bar{Y}_1 $, $ \bar{Y}_N $ (如图 6 (c)所示).
图 6 基于加权中值滤波的训练集标签生成Fig. 6 Generation of training labels based on weighted median filter2) 将稀疏粗略标记传播至其他帧图像.利用线性投影将第一步中的两帧参考标记图像$ \bar{Y}_1, \bar{Y}_N $, 的标记区域传播至其他帧, 构成$ \bar{Y}_1, \bar{Y}_2, \cdots, \bar{Y}_N $, 其中线性投影可描述为
$ \begin{align} \mathit{\boldsymbol{O}}_i = \mathit{\boldsymbol{O}}_1+\frac{\mathit{\boldsymbol{O}}_N-\mathit{\boldsymbol{O}}_1}{N-1}(i-1) \end{align} $
(8) 其中, $ \mathit{\boldsymbol{O}}_i $为第$ i $帧对应的人工定位坐标.
3) 标记区域优化.前两步得到的标记区域仅为粗略定位, 因此本文利用加权中值滤波对每一帧的参考标记图像$ \bar{Y}_N $进行优化处理以得到最终的标签数据$ Y_n $:
$ \begin{align} Y_n(p)& = \arg\mathop{ {\rm med}}_{k\in K}(h_p(k))\\ h_p(k)& = \sum\limits_{q\in \mathit{\boldsymbol{N}}(p)}\omega(p, q)\delta(\bar{Y}_n(q)-k)\bar{Y}_n(q)\\ \omega(p, q)& = \exp\left(-\frac{|R_i(p)-R_i(q)|^2}{2\rho_R^2}-\frac{|x_p-x_q|^2}{2\rho_x^2}\right) \end{align} $
(9) 其中, $ \mathit{\boldsymbol{N}}(p) $为像素$ p $的邻域, $ x_p $为像素$ p $的空间坐标, $ \delta $为克罗内克函数(Kronecker delta function), 即当内部变量为0时$ \delta(\cdot) = 1 $, 否则为$ \delta(\cdot) = 0 $, $ R_i $为预处理得到的第$ i $帧时序残差图像, $ \rho_R $和$ \rho_x $为加权中值滤波器的固有参数.本文取$ \rho_R = 0.08 $, $ \rho_x $ $ = $ $ 2 $.图 6 (d)为经过加权中值滤波后的标签, 结合图 6 (a)和图 6 (b)可以看到该标签能够对欠烧区域进行准确定位.
3. 应用验证与实验结果与分析
本节结合实际的电熔镁炉过程介绍卷积循环神经网络的具体实现细节, 并从电熔镁炉欠烧工况的诊断率与诊断敏感度两方面, 对提出的深度学习网络模型进行评价.其中, 诊断率由网络模型对所有测试帧的诊断正确率表示, 包括漏诊断率(欠烧工况发生时未检测出)、误诊断率(正常状态下诊断为欠烧工况)和总诊断率(总的诊断准确率); 诊断敏感度用从实际发生欠烧工况到由模型诊断出欠烧工况发生所历经的帧数表示.
实验主要与现有的纯卷积神经网络模型[21]和纯循环神经网络模型[12]进行对比.其中, 文献[21]对输入图像分别提取局部空间特征与全局空间特征进行图像的显著性检测.具体地, 文献[21]对局部裁剪图像以及整体图像, 分别利用两个卷积神经网络进行空间特征提取, 再通过一层全连接层融合不同尺度的空间特征.而文献[12]利用含有多层LSTM单元的RNN进行语言识别.为了尽可能保证不同网络之间的对比公平性, 对文献[21]及文献[12]均采用7层网络结构, 即对文献[21]采用4层CNN与2层全连接层进行不同尺度的空间特征提取, 并利用1层全连接层进行特征融; 对文献[12]采用7层LSTM单元(本文提出的网络包含6层卷积层与1层LSTM单元).此外, 通过去除预处理步骤中的图像序列灰度一致性变换和时序残差图像提取这两步来分析提出的预处理方法对最终诊断结果的影响.
3.1 卷积循环神经网络训练
本文使用从电熔镁炉熔炼现场采集的5组图像序列, 分辨率分别为$ 330\times380\times300 $, $ 330\times380\times 367 $, $ 315\times385\times800 $, $ 360\times480\times201 $和$ 360\times321\times200 $, 其中, 前两个维度分别为水平与垂直方向的空间维度, 最后一个维度为时间维度(即视频帧数).将第1 $ \sim $ 3组序列作为训练数据集, 第4组和第5组用于进行应用验证.由于工业背景下存在数据获取困难的问题, 直接使用采集到的图像序列用于会导致训练集过小, 网络容易产生过拟合现象.为此, 本文对第1 $ \sim $ 3组训练数据进行窗口化处理. CNN网络输入为$ 33\times33\times10 $的数据(即空间维度取$ 33\times33 $), LSTM网络总共所需的输入为$ 64\times10 $的数据, 则网络需要$ 33\times33\times19 $的数据输入.从欠烧工况开始时刻进行训练数据选取, 3组数据的开始时刻分别为121、266、290帧, 数据选取步幅为[14, 14, 8].共产生51 452组训练数据对.使用第2.2.3节中的训练数据集标记方法对训练与评价数据进行标记仅耗时60.46 s (除去对欠烧工况区域的人工定位时间).网络训练采用批处理方法, 每批含有128组数据, 则共产生401批数据, 其中350批作为训练数据, 50批作为验证数据.
本文利用tensorflow[22]框架建立卷积循环神经网络模型(CNN网络与LSTM网络), 并利用式(7)中的损失函数对两个网络同时进行训练.使用均值为0、方差为$ 1\times10^{-3} $的高斯分布来初始化网络模型的权值, 偏置则初始化为0.使用Adam优化算法[23]进行网络训练, 初始学习率为$ 1\times10^{-3} $, 学习衰减率为0.99, 即对所有训练集训练一次则学习率衰减为之前的0.99倍.网络训练在i7-4770, 3.40 GHz的4核CPU、内存为16 GB的电脑中运行.通过$ 4 $ $ \times $ $ 10^5 $次训练, 网络模型逐渐收敛, 收敛曲线如图 7所示, 其中, 训练Loss和训练Acc分别表示训练时的损失函数Loss和准确率; 验证Loss和验证Acc分别表示验证时的损失函数Loss和准确率.
3.2 诊断结果分析
本文利用电熔镁炉熔炼现场采集的图像序列4和5对提出的卷积循环神经网络进行测试.将测试集中每一帧图像及其对应的工况作为一组测试数据, 即总测试数据数量为序列总帧数(401组).漏诊断率$ r_O $、误诊断率$ r_F $和总诊断率$ r_A $定义为
$ \begin{align} r_O& = \frac{\mbox{未诊断出的欠烧工况帧数}}{\mbox{序列总帧数}} \times100 \%\\ r_F& = \frac{\mbox{错误诊断为欠烧工况的帧数}}{\mbox{序列总帧数}} \times100 \%\\ r_A& = \frac{\mbox{诊断正确的帧数}}{\mbox{序列总帧数}}\times100 \% \end{align} $
(10) 表 1显示了文献[21]提出的卷积神经网络模型、文献[12]采用的循环神经网络模型和本文使用的卷积循环神经网络对电熔镁炉欠烧工况的诊断率.所有方法均使用第2.2.1节描述的预处理后的时序残差图像作为输入.
表 1 电熔镁炉欠烧工况的诊断率(%)Table 1 Diagnosis rates of semimolten condition for FMF (%)从表 1可以看出, 由于缺少在时间维度上的特征提取, 文献[21]中的卷积神经网络模型的总诊断率最低; 文献[12]中的循环神经网络模型由于缺少对图像序列中每个像素的领域像素进行编码(即空间特征提取)而导致总的诊断率低于本文提出的方法; 本文提出的CNN与RNN结合的方法通过对图像序列的空间特征和时序特征同时进行提取, 从而能够达到较高的诊断率, 且误诊断率较低(对本次实验的序列4和5, 误诊断率为0).
图 8显示了对图像序列4和5的欠烧工况诊断结果, 包括序列中炉壳表面某一欠烧区域的平均灰度值, 对应的时序残差图像平均灰度值, 以及文献[12]中的循环神经网络模型和本文方法的诊断结果.文献[12]中的循环神经网络模型对欠烧工况的诊断在序列4中滞后标签数据8帧(0.27 s), 在序列5 (图 8 (b))中滞后27帧(0.90 s), 而本文方法在对欠烧工况的诊断序列4中滞后标签数据17帧(0.57 s), 在序列5中滞后1帧(0.03 s), 因此本文提出的方法对异常工况有着更高的敏感度.此外, 从图 8可以看出, 循环神经网络模型[12]的诊断结果稳定性较差, 例如在图 8 (b)中判断当前工况为异常工况后仍然可能将后续序列判断为正常工况, 而本文提出的方法相对而言更加稳定.为了方便方法比较, 对序列4从101 $ \sim $ 181帧(显示间隔为10帧)的结果进行了可视化展示, 每列自上而下分别为输入序列、CNN[21]、LSTM[12]和本文方法的结果, 诊断的欠烧区域以最小包围矩形标记显示如图 9所示.从图 9可以看到, 文献[12]中仅使用LSTM的诊断模型与文献[21]中仅使用CNN的诊断模型相比诊断结果更加稳定, 但两者均倾向于将高亮度水雾区域误诊断为欠烧区域(例如, 文献[21]诊断结果的第101, 111, 161, 181帧, 文献[12]诊断结果的第101, 141帧).而本文所提的卷积神经网络与循环神经网络相结合的方法则能够很大程度地避免这类误诊断现象.
图 9 电熔镁炉欠烧工况诊断结果可视化Fig. 9 Visualization of diagnosis result of semimolten condition for FMF在算法运行角度方面, 在与训练所用电脑相同配置(i7-4770, 3.40 GHz的4核CPU, 16 GB内存)条件下, 所提方法在线诊断时对分辨率为360 $ \times $ 480的视频信号的执行速率为0.0271 s/帧, 其中预处理耗时0.0057 s/帧, 卷积循环神经网络耗时0.0214 s/帧.因此, 整个算法流程每秒可处理约37帧图像, 能够满足实时性要求.
3.3 预处理与网络可视化分析
本节对第2.2节描述的预处理步骤(图像序列灰度一致性变换和时序残差图像提取)对最终欠烧工况诊断结果的影响进行分析, 并对训练中间结果, 即CNN的第一层卷积核进行可视化, 以分析空间特征对整个工况诊断的意义.
表 2为预处理步骤对欠烧工况诊断率的影响结果, 其中, 无预处理为去除灰度一致性变换和时序残差图像提取步骤的结果, 无预处理1为去除灰度一致性变换步骤的结果, 无预处理2为去除时序残差图像提取步骤的结果.本文提出的两步预处理步骤分别解决了炉口火焰对相机曝光产生的影响和冗余信息对网络模型产生的影响.从表 2可以看出, 两者对最终的诊断结果均产生较为重要的影响, 其中图像序列灰度一致性变换(即预处理1)对诊断结果的影响更大.此外, 从图 8中输入图像平均灰度值与残差图像平均灰度值这两条曲线可以看出, 未做任何处理的图像序列, 图像灰度值在异常工况发生时无任何变化, 而经过时序残差图像提取后, 其灰度值变化较为明显.
表 2 预处理对诊断率的影响(%)Table 2 Influences of two preprocessing procedures on diagnosis rates (%)漏诊断率 误诊断率 总诊断率 无预处理 11.47 7.23 81.30 无预处理1 10.22 6.73 83.04 无预处理2 7.48 2.74 89.77 本文方法 4.99 0.00 95.01 图 10为本文使用的卷积循环神经网络模型中CNN权值参数的可视化结果, 其中卷积核按照方差从大到小排列, 且每个卷积核均被归一化到$ [0, 1] $区间.图 10 (a)为$ L_ {\rm conv}^{1} $层$ (10\times11\times11\times64) $卷积核$ W^1 $的第一个通道(共10个通道).在这些卷积核中, 部分核呈现出类似噪声分布的状态, 主要是由于相机本身的噪声以及生产现场的水雾在空间与时间上呈现出无规律的变化; 另一部分核呈现出较为规律的模式, 类似人为定义的特征提取算子, 例如边缘提取算子点提取算子和纹理提取算子.这些卷积核通过将分布在不同空间位置的图像信息聚合为一个整体输入到LSTM网络中, 并通过参数训练来调整每个空间位置对最终输出结果的影响, 从而将异常工况在炉壳的空间分布信息利用起来, 使之在最终的工况诊断中发挥作用.
由于本文使用的CNN模型采用多帧残差图像作为输入, 网络也起到一部分时序特征提取作用, 则卷积核$ W^1 $的通道可以理解为卷积核随时间的分布.图 10 (b)展示了$ L_ {\rm conv}^1 $层第3个卷积核(即图 10 (a)中实线框标记出的卷积核)随输入通道(即时间维度)的变化结果, 可以看到卷积核随时序呈现较为缓慢的变化.但仅从10帧图像无法判断该特征是由故障工况引起还是由大范围水雾干扰引起.因此仅采用10帧图像作为CNN的输入无法提取足够的时序信息来判断故障工况的发生, 而利用更多的时序图像来将图像随时间的变化建立到CNN中代价较高[24] (例如, 将30帧图像序列建立到模型中则需要第一层核函数为30层), 这对网络收敛速度和后续的诊断速度都会产生较大的影响.由于循环神经网络有着出色的时序记忆特性, 可以充分提取出序列图像随时间的变化关系, 因此本文对电熔镁炉异常工况的时序特征提取主要通过循环神经网络来实现.
4. 结论
本文结合生产现场的实际视频信息, 提出了一种基于卷积循环神经网络的异常工况诊断方法.通过图像序列灰度一致性变换和时序残差预处理, 排除了生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰, 提高了诊断精度.在此基础上, 使用工况的视频信号, 从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征, 并诊断异常工况, 相比其他方法具有更高的诊断精度.
本文提出的卷积循环神经网络可推广于其他具有强时空特征的其他工业过程的工况诊断, 以及难以利用电流电压等易受到强干扰的一维数据进行工况诊断的工业过程; 所提出的基于加权中值滤波方法可推广应用于工况标记困难的其他工业过程.
结合现有视频语义预测方法[25]以及基于过程数据故障趋势预测方法[26], 下一步将在本文提出的卷积循环神经网络框架基础上, 开展基于视频信号的故障趋势预测研究工作.
-
图 1 多率量测过程 (实线表示真实状态, 虚线表示目标域量测 (在线快速率数据), 点表示源域量测 (离线化验数据), 其采样时间可能不规律)
Fig. 1 Multiple source measurements of the process with different sampling rates (Solid lines are true states, and dashed lines represent target measurements. Dots denote source measurements, whose sample time may be irregular)
图 2 迁移交互多模型估计器结构图
Fig. 2 Basic operation diagram of the transfer interacting multiple model state estimator
图 3 源域数据对迁移估计器的影响力曲线
Fig. 3 The influence function of source measurements on the transfer state estimator
图 4 不同算法在运动目标跟踪中的均方根误差
Fig. 4 RMSEs of different algorithms for the moving target tracking
图 5 源域数据质量对迁移估计器算法性能的影响
Fig. 5 Demonstration of the performance of IMM-TF in the presence of source measurements of different quality
表 1 不同数量的源域数据迁移后的 RMSEs
Table 1 Average RMSEs (per sample) of IMM-TF in the presence of different amount source measurements
源域数据比重 (%) 位置 (m) 速度 (m/s) 10 5.8755 2.0266 30 5.4070 1.9567 50 4.8868 1.8798 70 4.5314 1.8465 99 4.0999 1.7674 
下载: 导出CSV
-
[1] Wu Y, Luo X L. A novel calibration approach of soft sensor based on multirate data fusion technology. Journal of Process Control, 2010, 20(10): 1252-1260 doi: 10.1016/j.jprocont.2010.09.003 [2] Fatehi A, Huang B. Kalman filtering approach to multi-rate information fusion in the presence of irregular sampling rate and variable measurement delay. Journal of Process Control, 2017, 53: 15-25 doi: 10.1016/j.jprocont.2017.02.010 [3] Fatehi A, Huang B. State estimation and fusion in the presence of integrated measurement. IEEE Transactions on Instrumentation and Measurement, 2017, 66(9): 2490-2499 doi: 10.1109/TIM.2017.2701143 [4] Gou B, Cheng Y M, de Ruiter A H J. INS/CNS navigation system based on multi-star pseudo measurements. Aerospace Science and Technology, 2019, 95: Article No. 105506 doi: 10.1016/j.ast.2019.105506 [5] Bar-Shalom Y, Campo L. The effect of the common process noise on the two-sensor fused-track covariance. IEEE Transactions on Aerospace and Electronic Systems, 1986, 22(6): 803-805 [6] Gao J B, Harris C J. Some remarks on Kalman filters for the multisensor fusion. Information Fusion, 2002, 3(3): 191-201 doi: 10.1016/S1566-2535(02)00070-2 [7] Xie L, Zhu Y J, Huang B, Zheng Y S. Kalman filtering approach to multirate information fusion for soft sensor development. In: Proceedings of the 15th International Conference on Information Fusion. Singapore: IEEE, 2012. 641−648 [8] Tian T, Sun S L. Distributed fusion estimation for multisensor multirate systems with packet dropout compensations and correlated noises. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2021, 51(9): 5762-5772 doi: 10.1109/TSMC.2019.2956259 [9] Gopalakrishnan A, Kaisare N S, Narasimhan S. Incorporating delayed and infrequent measurements in Extended Kalman Filter based nonlinear state estimation. Journal of Process Control, 2011, 21(1): 119-129 doi: 10.1016/j.jprocont.2010.10.013 [10] Guo Y F, Zhao Y, Huang B. Development of soft sensor by incorporating the delayed infrequent and irregular measurements. Journal of Process Control, 2014, 24(11): 1733-1739 doi: 10.1016/j.jprocont.2014.09.006 [11] Zhou J, Zhu Y M, You Z S, Song E B. An efficient algorithm for optimal linear estimation fusion in distributed multisensor systems. IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans, 2006, 36(5): 1000-1009 doi: 10.1109/TSMCA.2006.878986 [12] Wang D, Ha M M, Zhao M M. The intelligent critic framework for advanced optimal control. Artificial Intelligence Review, 2022, 55(1): 1-22 doi: 10.1007/s10462-021-10118-9 [13] 王鼎, 赵明明, 哈明鸣. 基于折扣广义值迭代的智能最优跟踪及应用验证. 自动化学报, 2022, 48(1): 182-193Wang Ding, Zhao Ming-Ming, Ha Ming-Ming. Intelligent optimal tracking with application verifications via discounted generalized value iteration. Acta Automatica Sinica, 2022, 48(1): 182-193 [14] Salehi Y, Fatehi A, Nayebi M A. State estimation of slow-rate integrated measurement systems in the presence of parametric uncertainties. IEEE Transactions on Instrumentation and Measurement, 2018, 68(10): 3983-3991 [15] Lin H L, Sun S L. Distributed fusion estimator for multisensor multirate systems with correlated noises. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2017, 48(7): 1131-1139 [16] Yan L P, Di C Y, Wu Q M J, Xia Y Q. Sequential fusion for multirate multisensor systems with heavy-tailed noises and unreliable measurements. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 52(1): 523-532 [17] Smith D, Singh S. Approaches to multisensor data fusion in target tracking: A survey. IEEE Transactions on Knowledge and Data Engineering, 2006, 18(12): 1696-1710 doi: 10.1109/TKDE.2006.183 [18] Li W L, Jia Y M. Consensus-based distributed multiple model UKF for jump Markov nonlinear systems. IEEE Transactions on Automatic Control, 2011, 57(1): 227-233 [19] Li W L, Jia Y M. Distributed consensus filtering for discrete-time nonlinear systems with non-Gaussian noise. Signal Processing, 2012, 92(10): 2464-2470 doi: 10.1016/j.sigpro.2012.03.009 [20] Song H, Shin V, Jeon M. Mobile node localization using fusion prediction-based interacting multiple model in cricket sensor network. IEEE Transactions on Industrial Electronics, 2012, 59(11): 4349-4359 doi: 10.1109/TIE.2011.2151821 [21] Fu Z, Angelini F, Chambers J, Naqvi S M. Multi-level cooperative fusion of GM-PHD filters for online multiple human tracking. IEEE Transactions on Multimedia, 2019, 21(9): 2277-2291 doi: 10.1109/TMM.2019.2902480 [22] Shen X J, Zhu Y M, Song E B, Luo Y T. Optimal centralized update with multiple local out-of-sequence measurements. IEEE Transactions on Signal Processing, 2009, 57(4): 1551-1562 doi: 10.1109/TSP.2009.2012885 [23] Chi X B, Jia X C, Cheng F Q, Fan M H. Networked H∞ filtering for Takagi-Sugeno fuzzy systems under multi-output multi-rate sampling. Journal of the Franklin Institute, 2019, 356(6): 3661-3691 doi: 10.1016/j.jfranklin.2018.10.040 [24] Zhou W D, Liu M M. Robust interacting multiple model algorithms based on multi-sensor fusion criteria. International Journal of Systems Science, 2016, 47(1): 92-106 doi: 10.1080/00207721.2015.1029566 [25] Fu X, Jia Y, Du J, Yu F. New interacting multiple model algorithms for the tracking of the manoeuvring target. IET Control Theory and Applications, 2010, 4(10): 2184-2194 doi: 10.1049/iet-cta.2009.0583 [26] Li Z, Teng J, Qiu J B, Gao H J. Filtering design for multirate sampled-data systems. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(11): 4224-4232 doi: 10.1109/TSMC.2018.2839674 [27] Li X R, Bar-Shalom Y. Multiple-model estimation with variable structure. IEEE Transactions on Automatic Control, 1996, 41(4): 478-493 doi: 10.1109/9.489270 [28] Katsikas S K, Likothanassis S D, Beligiannis G N, Berkeris K G, Fotakis D A. Genetically determined variable structure multiple model estimation. IEEE Transactions on Signal Processing, 2001, 49(10): 2253-2261 doi: 10.1109/78.950781 [29] Zhao S Y, Ahn C K, Shi P, Shmaliy Y S, Liu F. Bayesian state estimation for Markovian jump systems: Employing recursive steps and pseudocodes. IEEE Systems Man and Cybernetics Magazine, 2019, 5(2): 27-36 doi: 10.1109/MSMC.2018.2882145 [30] Wen L, Gao L, Li X Y. A new deep transfer learning based on sparse auto-encoder for fault diagnosis. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 49(1): 136-144 doi: 10.1109/TSMC.2017.2754287 [31] Wang B, Li Z C, Dai Z W, Lawrence N, Yan X F. Data-driven mode identification and unsupervised fault detection for nonlinear multimode processes. IEEE Transactions on Industrial Informatics, 2019, 16(6): 3651-3661 [32] Sun L, Ho W K, Ling K V, Chen T P, Maciejowski J. Recursive maximum likelihood estimation with t-distribution noise model. Automatica, 2021, 132: Article No. 109789 doi: 10.1016/j.automatica.2021.109789 [33] Xue W, Luan X L, Zhao S Y, Liu F. A fusion Kalman filter and UFIR estimator using the influence function method. IEEE/CAA Journal of Automatica Sinica, 2021, 9(4): 709-718 [34] Li X R. Multiple-model estimation with variable structure. II. Model-set adaptation. IEEE Transactions on Automatic Control, 2000, 45(11): 2047-2060 doi: 10.1109/9.887626 期刊类型引用(1)
1. 唐力，赵志宇，张建文，李标奇，徐敏. 结合非负矩阵分解和流形学习的大数据聚类方法研究. 制造业自动化. 2024(09): 170-178+220 . 
百度学术其他类型引用(10)
-
下载:
计量
- 文章访问数: 705
- HTML全文浏览量: 83
- PDF下载量: 187
- 被引次数: 11
