Research on Fused Magnesium Furnace Working Condition Recognition Method Based on Deep Convolutional Stochastic Configuration Networks
-
摘要: 为解决电熔镁炉工况识别模型泛化能力和可解释性弱的缺陷, 提出一种基于深层卷积随机配置网络(Deep convolutional stochastic configuration networks, DCSCN)的可解释性电熔镁炉异常工况识别方法. 首先, 基于监督学习机制生成具有物理含义的高斯差分卷积核, 采用增量式方法构建深层卷积神经网络(Deep convolutional neural network, DCNN), 确保识别误差逐级收敛, 避免反向传播算法迭代寻优卷积核参数的过程. 定义通道特征图独立系数获取电熔镁炉特征类激活映射图的可视化结果, 定义可解释性可信度评测指标, 自适应调节深层卷积随机配置网络层级, 对不可信样本进行再认知以获取最优工况识别结果. 实验结果表明, 所提方法较其他方法具有更优的识别精度和可解释性.
-
关键词:
- 电熔镁炉 /
- 深层卷积随机配置网络 /
- 高斯差分卷积核 /
- 类激活映射图 /
- 可解释性
Abstract: In order to solve the defects of generalization ability and weak interpretability of fused magnesium furnace working condition recognition model, an interpretable fused magnesium furnace abnormal working condition recognition method based on deep convolutional stochastic configuration networks (DCSCN) is proposed in this paper. Firstly, based on the supervised learning mechanism to generate Gaussian differential convolution kernel with physical meaning, an incremental method is used to construct a deep convolutional neural network (DCNN) to ensure that the recognition error converges step by step, and to avoid the process that back propagation algorithm iteratively finds the optimal convolutional kernel parameters. This paper defines channel feature map independent coefficients to obtain visualization results of fused magnesium furnace feature class activation mapping map, defines interpretable credibility measure to adaptively adjust deep convolutional stochastic configuration network layers, and recognizes untrustworthy samples to obtain optimal working condition recognition results. The experimental results show that the proposed method in this paper has better recognition accuracy and interpretability than other methods. -
随着人工智能和传感器技术的发展, 人体姿态估计(Human pose estimation, HPE)逐渐应用于各种不同的领域, 如人机交互、运动捕捉[1-2]、虚拟替身、康复训练[3]、自动驾驶、视频监控和运动表现分析等[4-6]. 然而, 受视觉遮挡等因素影响[7], 这将增加视觉人体姿态估计中腕、肘等人体部件误识别的风险, 从而导致量测不确定性的存在, 而多视觉融合方法是处理视觉遮挡下HPE的主流方法之一[8-11].
针对多视觉融合估计问题, 文献[8]提出一种面向人体关节点位置信息的可靠性判别方法, 通过调节加权观测融合中的量测融合权重, 以提高HPE的鲁棒性. 而在文献[12]中, 将多视觉下的融合估计问题转换为优化问题, 利用骨骼长度作为约束条件, 并基于关节点位置信息的可靠性, 来调整优化过程中的权重大小, 从而减小视觉遮挡时的人体骨架抖动. 然而, 在求目标函数的过程中, 该方法易受初始数据的影响. 针对基于多视角融合的HPE问题, 文献[9]首次提出信息加权一致性滤波器(Information weighted consensus filter, IWCF), 通过平均一致性(Average consensus)[13]来获得邻近节点的信息. 同时, 使用Metropolis权重来提高IWCF的收敛速度, 实验证明融合后的人体姿态信息可获得更高的动作识别精度. 之后, 针对多视觉HPE中各传感器节点估计误差引起的关节点波动问题, 文献[10]将IWCF与交互式多模型(Interacting multiple model-based, IMM)相结合, 获得混合恒定速度(Constant velocity, CV)、恒定加速度(Constant acceleration, CA)和Singer运动等多模型下的姿态估计, 从而减小视觉遮挡的影响以及提高估计的精度.
另一方面, 针对人体姿态量测存在的噪声问题, 卡尔曼滤波(Kalman filtering, KF)[14]是一种有效的去噪方法. 其不仅在目标跟踪领域应用广泛[15-17], 而且在人体姿态估计领域也发挥重要的作用[18-20]. 例如, 文献[19]利用卡尔曼滤波器提高人体姿态估计的准确性. 针对人体姿态量测噪声统计特性的难以精确描述问题, 文献[20]提出一种基于鲁棒卡尔曼滤波的HPE方法, 利用假设检验对视觉遮挡下的复杂噪声进行识别, 并引入自适应因子来对量测噪声协方差进行调整, 从而减小量测不确定性对滤波器性能的影响. 此外, 针对量测信息缺失的目标跟踪问题, 文献[21]同样利用假设检验对量测信息进行有效筛选, 并利用渐进滤波方法来处理量测信息缺失造成的误差增大问题, 从而提高滤波器的鲁棒性. 针对渐进滤波对量测不确定性补偿的问题, 文献[22-23]提出带自适应量测更新的渐进高斯滤波方法, 给出渐进量测更新的终止条件. 这不仅有利于计算效率, 而且提高了对量测不确定性的自适应能力. 然而, 针对视觉遮挡造成量测噪声的复杂性, 现有估计方法并未充分考虑到局部量测不确定性的差异. 同时, 基于假设检验的方法局限于单一维度对量测进行筛选, 没有充分考虑到先验信息和局部量测以及不同局部量测之间的相容性问题.
为此, 本文构建分布式的渐进贝叶斯滤波融合框架, 提出基于渐进高斯滤波融合的人体姿态估计方法. 针对量测信息包含的复杂噪声, 设计分层性能评估方法, 从空间维度到时间维度对量测进行分类处理. 为解决量测不确定性下的融合估计问题, 设计一种分层分类的融合估计方法. 特别地, 针对量测统计特性变化问题, 引入渐进滤波方法, 利用局部估计间的交互信息来引导渐进量测更新, 从而隐式地补偿量测不确定性. 最后, 仿真与实验结果表明, 相比于现有的方法, 提高了人体姿态估计的准确性和鲁棒性.
1. 问题描述
如图1所示, 考虑一类多视觉融合环境下的人体姿态估计系统, 其中, 视觉传感器为深度相机, 用于采集人体目标的深度信息. 本文将人体目标视为由头、躯干、臂、手、腿、足等部件相互连接构成的多刚体系统. 这样, 人体姿态估计问题可看作人体各关节点位置估计问题. 首先, 利用卷积神经网络(Convolutional neural network, CNN) 的方法[24]从图像中识别出人体各部件, 并计算出人体各关节点在各个相机坐标系下的3D位置; 其次, 通过棋盘格标定法可获得相机坐标系相对于世界坐标系(即, 棋盘格)的旋转矩阵$ {R^{{c_i}2w}} $和平移向量$ {\boldsymbol{t}}^{{c_i}2w} $, 从而将在不同相机坐标系下检测的3D关节点统一到世界坐标系. 同时, 对人体运动建模如下:
$$ {{\boldsymbol{x}}_k} = {F_k}{{\boldsymbol{x}}_{k - 1}} + {{\boldsymbol{w}}_k} $$ (1) 其中, $k=1, 2,\cdots$ 表示离散时间序列, ${{\boldsymbol{x}}_k} = [{{( {{{\boldsymbol{x}}_{k,1}}} )}^\text{T}} \;\; \cdots\;\; {{{( {{{\boldsymbol{x}}_{k,L}}} )}{}^{\rm{T}}}} ]{}^{\rm{T}}$表示$ {k} $时刻人体姿态的状态, $ {{\boldsymbol{x}}_{k,l}} $表示关节点$ l $状态, $ l = 1, \cdots , L $, $ {L} $为选取的人体关节数量; $ {F_k} = {\rm{diag}}\{ {{F_{k,1}}}\;\; \cdots \;\; {{F_{k,L}}}\} $表示状态转移矩阵; 过程噪声${{\boldsymbol{w}}_k} = {[ {{{( {{{\boldsymbol{w}}_{k,1}}} )}^\text{T}}}\;\; \cdots \;\; {{{( {{{\boldsymbol{w}}_{k,L}}} )}{}^\text{T}}} ]{}^\text{T}}$服从零均值高斯分布, 其方差为$ {\mathop{\rm{cov}}} ( {{{\boldsymbol{w}}_k}} ) = {Q_k} $. 最后, 在此基础上, 将融合运动模型和单视觉量测信息形成人体姿态的局部估计, 进而融合各局部估计形成人体姿态的全局估计. 注意到视觉遮挡程度的不同, 将给人体关节点的检测与测量带来不同程度的影响, 从而导致复杂的量测噪声.
因此, 对人体姿态量测建模如下:
$$ {\boldsymbol{z}}_k^i = H_k^i{{\boldsymbol{x}}_k} + {\boldsymbol{v}}_k^i + {\boldsymbol{\xi}}_k^i $$ (2) 其中, ${\boldsymbol{z}}_k^i = {[ {{{( {{\boldsymbol{z}}_{k,1}^i} )}{}^\text{T}} \;\cdots\; {{( {{\boldsymbol{z}}_{k,L}^i} )}{}^\text{T}}} ]^\text{T}}$表示传感器$ i $的量测值, $ i = 1, \cdots , N $, $ {N} $为传感器总数, ${\boldsymbol{z}}_{k,l}^i = [ {z_{x,l}^i} \;\;{z_{y,l}^i}\;\;{z_{z,l}^i} ]^\text{T}$ 表示关节点的位置量测信息, $z_{x,l}^i, z_{y,l}^i, z_{z,l}^i$分别为关节点$ l $在$ {x} $、$ {y} $和$ {z} $轴上的量测值. $H_k^i = [ {{{( {H_{k,1}^i} )}^\text{T}}} \;\; \cdots \;\;{{{( {H_{k,L}^i} )}{}^\text{T}}} ]{}^\text{T}$为量测矩阵; 量测噪声${\boldsymbol{v}}_k^i = {[ {{{( {{\boldsymbol{v}}_{k,1}^i} )}^\text{T}}}\;\; \cdots \;\;{{{( {{\boldsymbol{v}}_{k,L}^i} )}{}^\text{T}}} ]{}^\text{T}}$服从零均值高斯分布, 且其协方差为$ {\mathop{\rm{cov}}} ( {{\boldsymbol{v}}_k^i} ) = R_k^i $. $ {\boldsymbol{\xi}}_k^i = U_k^i {\boldsymbol{\alpha}}_k^i + b{\boldsymbol{\beta}}_k^i $用来描述不同遮挡程度影响下引起的量测噪声. 其中, $ U_k^i = \text{diag}\{{{\boldsymbol{u}}_{k,1}^i}\;\; \cdots \;\;{{\boldsymbol{u}}_{k,L}^i} \} $, $ {\boldsymbol{u}}_{k,l}^i $服从零均值且协方差为$ R_{k, + }^i $的高斯分布; $ b $为幅值较大的数值, $ {\boldsymbol{\alpha}}_k^i $和$ {\boldsymbol{\beta}}_k^i $为随机变量且分别服从参数为$ {y_1}\;( {0 < {y_1} < 1} ) $和$ {y_2}\;( {0 < {y_2} < 1} ) $的伯努利分布.
相应地, 针对量测信息包含的复杂噪声, 将对量测进行检测和分类处理, 从而剔除高程度视觉遮挡下的量测野值, 同时通过渐进滤波隐式地补偿低程度视觉遮挡下的量测.
注1. 针对视觉遮挡程度的不同, 本文将量测主要分为两类. 即: 1)低程度视觉遮挡下的量测, 例如, 人体双臂交叉引起的腕、肘等关节小面积视觉遮挡, 用$ U_k^i {\boldsymbol{\alpha}}_k^i $来描述该情形下的量测不确定性; 2)高程度视觉遮挡下的量测, 例如, 人体侧身时腕、肘等关节受背部大面积视觉遮挡, 用$ b{\boldsymbol{\beta}}_k^i $来描述这种情况下的量测野值.
2. 自适应渐进高斯滤波融合
不同程度的视觉遮挡将造成量测统计特性变化, 进而导致局部滤波器性能下降并最终影响融合结果. 因此, 分两步从空间维度和时间维度上分别对量测进行相容性检测来实现量测筛选和分类处理.
考虑多视觉传感器的坐标位置和感知范围不同, 可能导致量测具有不同的噪声特性与误差模型. 如图2所示, 首先, 在空间维度上检测不同量测间马氏距离的平方, 即
$$ \begin{split} \gamma \left( {{\boldsymbol{z}}_k^i, {\boldsymbol{z}}_k^j} \right) = {\left( {{\boldsymbol{z}}_k^i - {\boldsymbol{z}}_k^j} \right)^\text{T}}\Sigma _{zz}^{ - 1}\left( {{\boldsymbol{z}}_k^i - {\boldsymbol{z}}_k^j} \right) \end{split} $$ (3) 其中, $ \Sigma _{zz}^{ - 1} $表示$( {\boldsymbol{z}}_k^i - {\boldsymbol{z}}_k^j ) $的协方差矩阵. 若$ \gamma ({\boldsymbol{z}}_k^i,{\boldsymbol{z}}_k^j) $落在置信区间内, 即$ \gamma ({\boldsymbol{z}}_k^i,{\boldsymbol{z}}_k^j) < {\chi _n} $, 则表示量测相容, 即视为正常量测, 否则认为其中可能存在异常量测, 需进一步在时间维度上分析相容性, 即检测预测值与量测的马氏距离平方:
$$ \begin{split} \gamma ({\boldsymbol{z}}_k^j, H_k^f\hat {{\boldsymbol{x}}}_{k|k - 1}^f) = \, & {\left( {{\boldsymbol{z}}_k^j - H_k^f\hat {{\boldsymbol{x}}}_{k|k - 1}^f} \right)^\text{T}}\Sigma _{zx}^{ - 1} \;\times \\ &\left( {{\boldsymbol{z}}_k^j - H_k^f\hat {{\boldsymbol{x}}}_{k|k - 1}^f} \right) \end{split} $$ (4) 其中, $ \Sigma _{zx}^{ - 1} $表示$ ( {{\boldsymbol{z}}_k^j - H_k^f\hat {{\boldsymbol{x}}}_{k|k - 1}^f} ) $的协方差矩阵. 若$ \gamma ({\boldsymbol{z}}_k^j, H_k^f\hat {{\boldsymbol{x}}}_{k|k - 1}^f) $ 落在置信区间内, 即
$$\gamma ({\boldsymbol{z}}_k^j, H_k^f\hat {{\boldsymbol{x}}}_{k|k - 1}^f) < {\chi _a} $$ 则表示量测中存在额外干扰, 否则视为野值.
根据量测相容性的检测结果, 将量测${Z_k} = \{ {\boldsymbol{z}}_k^1, \cdots , {\boldsymbol{z}}_k^N \}$分为$ G_k^n $, $ G_k^a $, $ G_k^d $等3组. 正常量测集合表示为
$$ \begin{split} G_k^n = &\left\{{{\boldsymbol{z}}_k^j|\gamma ({\boldsymbol{z}}_k^j,{\boldsymbol{z}}_k^i) < {\chi _n},{\boldsymbol{z}}_k^j,{\boldsymbol{z}}_k^i \in {Z_k},}\right.\\ & \left.{{\boldsymbol{z}}_k^j \ne {\boldsymbol{z}}_k^i,j = 1,2, \cdots}\right\} \end{split} $$ (5) 低程度视觉遮挡下的量测集合表示为
$$ \begin{split} G_k^a =\, & \left\{ {{\boldsymbol{z}}_k^j|\gamma ({\boldsymbol{z}}_k^j,H_k^f\hat {{\boldsymbol{x}}}_{k|k - 1}^f) < {\chi _a},\gamma \left( {{\boldsymbol{z}}_k^j,{\boldsymbol{z}}_k^i} \right) \ge } \right. \\ &\left.{{\chi _n},{\boldsymbol{z}}_k^j,{\boldsymbol{z}}_k^i \in {Z_k},{\boldsymbol{z}}_k^j \ne {\boldsymbol{z}}_k^i,j = 1,2, \cdots} \right\} \end{split} $$ (6) 集合$ G_k^d = {Z_k} - G_k^n - G_k^a $表示高程度视觉遮挡下的量测野值. $ {\chi_n} $, $ {\chi_a} $为置信区间, $ \hat {{\boldsymbol{x}}}_{k|k - 1}^f $为全局状态预测. 量测分组后, 得到不同视觉遮挡下的量测$ {\boldsymbol{z}}_k^{{n_j}} $, $ {\boldsymbol{z}}_k^{{a_j}} $, $ {\boldsymbol{z}}_k^{{d_j}} $, 其中${\boldsymbol{z}}_k^{{n_j}} \in G_k^n,{\boldsymbol{z}}_k^{{a_j}} \in G_k^a,{\boldsymbol{z}}_k^{{d_j}} \in G_k^d$.
本文方法框图如图3所示, 首先, 通过分层性能评估对量测进行分层和分类; 其次, 在局部估计中, 将拒绝量测野值$ {\boldsymbol{z}}_k^{{d_j}} $, 以避免量测野值对系统滤波性能造成较大的负面影响. 特别地, 在量测$ {\boldsymbol{z}}_k^{{a_j}} $更新过程中, 将渐进地引入量测信息对当前局部状态进行补偿, 即通过多次量测迭代得到相应补偿下的后验状态, 并通过局部估计间的交互信息来引导渐进量测更新. 最后, 融合人体姿态的各局部估计形成全局估计. 为此, 构建分布式渐进贝叶斯滤波融合框架如下.
1)人体姿态全局估计
$$ p({{\boldsymbol{x}}_k}|{Z_{1:k - 1}}) = \int {p({{\boldsymbol{x}}_k}|{{\boldsymbol{x}}_{k - 1}})p({{\boldsymbol{x}}_{k - 1}}|{Z_{1:k - 1}})\text{d}{{\boldsymbol{x}}_{k - 1}}} $$ (7) $$ \begin{split} & p({{\boldsymbol{x}}_k}|{Z_{1:k}}) = p({{\boldsymbol{x}}_k}|{Z_{1:k - 1}})\;\times\\ & \quad \frac{{\prod\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {p\left( {{{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k}^{{n_j}}} \right)} \prod\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {p\left( {{{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k}^{{a_j}}} \right)} }}{{\prod\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {p\left( {{{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k - 1}^{{n_j}}} \right)} \prod\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {p\left( {{{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}}} \right)} }} \end{split}$$ (8) 2)人体姿态局部估计
$$ p({{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k - 1}^i) = \int {p({{\boldsymbol{x}}_k}|{{\boldsymbol{x}}_{k - 1}})p({{\boldsymbol{x}}_{k - 1}}|{\boldsymbol{z}}_{1:k - 1}^i)\text{d}{{\boldsymbol{x}}_{k - 1}}} $$ (9) $$ p({{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k}^i) = \frac{{p({{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k - 1}^i)p({\boldsymbol{z}}_k^i|{{\boldsymbol{x}}_k})}}{{p({\boldsymbol{z}}_k^i|{\boldsymbol{z}}_{1:k - 1}^i)}} $$ (10) 对于量测$ {\boldsymbol{z}}_k^{{n_j}} \in G_k^n $, 采用卡尔曼滤波方法得到人体姿态局部估计; 而对$ {\boldsymbol{z}}_k^{{a_j}} \in G_k^a $, 则采用渐进高斯滤波(Progressive Gaussian filtering, PGF)方法对量测不确定性进行隐式补偿. 可将量测分解为多个伪量测的集成, 即
$$ \begin{align} &R_k^{{a_j}} = {\left[ {\sum\limits_{m = 1}^M {{{\left( {R_{k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}}} } \right]^{ - 1}} \end{align} $$ (11) $$ \begin{align} &{\boldsymbol{z}}_k^{{a_j}} = {\left[ {\sum\limits_{m = 1}^M {{{\left( {R_{k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}}} } \right]^{ - 1}}\sum\limits_{m = 1}^M {\left[ {{{\left( {R_{k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}}{\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}}} \right]} \end{align} $$ (12) 利用量测迭代更新, 渐进地引入量测信息. 其中$ {\lambda _m} $表示伪时间, 且满足
$$\left\{ \begin{aligned} &{\Delta _m} = {\lambda _m} - {\lambda _{m - 1}}\\ &{\Delta _m} > 0 \\ & \sum\limits_{m = 1}^M {{\Delta _m} = 1} \end{aligned}\right. $$ (13) 其中, $ {\lambda _0} = 0 $, $ m = 1, \cdots , M $, $ M $为总渐进步数, $ {\Delta _m} $表示渐进步长, ${\boldsymbol{z}}_{k, {\lambda _1}:{\lambda _M}}^{{a_j}} = \{ {{\boldsymbol{z}}_{k, {\lambda _1}}^{{a_j}}, \cdots, {\boldsymbol{z}}_{k, {\lambda _M}}^{{a_j}}} \}$表示整个渐进过程中的伪量测, $ {\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}} $表示第$ m $步的伪量测. 在不考虑视觉遮挡所引起的量测不确定性时, $ p\left( {{\boldsymbol{z}}_k^{{a_j}}|{{\boldsymbol{x}}_k}} \right) $可以表示为
$$ \begin{split} & p\left( {{\boldsymbol{z}}_k^{{a_j}}|{{\boldsymbol{x}}_k}} \right) =\\ &\;\;\; \frac{1}{{\sqrt {2\pi \left| {R_k^{{a_j}}} \right|} }}\exp \Bigg[ { - \frac{1}{2}{{\left( {{\boldsymbol{z}}_k^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k}} \right)}^\text{T}}} \;\times \\ &\;\;\; {{{\left( {R_k^{{a_j}}} \right)}^{ - 1}}\left( {{\boldsymbol{z}}_k^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k}} \right)} \Bigg]= \\ &\;\;\; \frac{1}{{\sqrt {2\pi \left| {R_k^{{a_j}}} \right|} }}\prod\limits_{m = 1}^M {\frac{1}{{{{\left( {\sqrt {2\pi \left| {\frac{{R_k^{{a_j}}}}{{{\Delta _m}}}} \right|} } \right)}^{ - 1}}}}\frac{1}{{\sqrt {2\pi \left| {\frac{{R_k^{{a_j}}}}{{{\Delta _m}}}} \right|} }}} \;\times \\ &\;\;\; \exp \Bigg[ - \frac{1}{2}{\left( {{\boldsymbol{z}}_k^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k}} \right)^\text{T}}\times\Bigg. \\ &\;\;\; \Bigg.{\left( {\frac{{R_k^{{a_j}}}}{{{\Delta _m}}}} \right)^{ - 1}}\left( {{\boldsymbol{z}}_k^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k}} \right)\Bigg]\\[-15pt] \end{split} $$ (14) 因此, $p( {{\boldsymbol{z}}_k^{{a_j}}|{{\boldsymbol{x}}_k}} ) = c_k^{{a_j}}\prod\nolimits_{m = 1}^M {p( {{\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}}|{{\boldsymbol{x}}_k}} )},$ 其中,
$$ \begin{split} &p({\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}}|{{\boldsymbol{x}}_k}) = {\left(\sqrt {2\pi \left| {R_{k, {\lambda _m}}^{{a_j}}} \right|} \right)^{ - 1}}\;\times\\ & \qquad\exp \Bigg[ - \frac{1}{2}{({\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k})^\text{T}}\;\times \Bigg. \\ & \qquad \Bigg.{(R_{k, {\lambda _m}}^{{a_j}})^{ - 1}}({\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k})\Bigg] \end{split} $$ (15) $R_{k, {\lambda _m}}^{{a_j}} = \frac{{R_k^{{a_j}}}}{{{\Delta _m}}}$, $ {\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}} = {\boldsymbol{z}}_k^{{a_j}} $, 归一化因子为
$$ \begin{split} c_k^{{a_j}} = {\left( {\sqrt {2\pi \left| {R_k^{{a_j}}} \right|} } \right)^{ - 1}}\prod\limits_{m = 1}^M {\sqrt {2\pi \left| {\frac{{R_k^{{a_j}}}}{{{\Delta _m}}}} \right|} } \end{split} $$ (16) 对于$ G_k^a $中的量测, 其局部后验分布可进一步描述为
$$ \begin{split} p({{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k}^{{a_j}}) = \frac{{p({{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}})\prod\limits_{m = 1}^M {p\left( {{\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}}|{{\boldsymbol{x}}_k}} \right)} }}{{{{\left( {c_k^{{a_j}}} \right)}^{ - 1}}p({\boldsymbol{z}}_k^{{a_j}}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}})}} \end{split} $$ (17) 同时, 在其渐进量测更新过程中, 引入$ G_k^n $中量测作为参照量来引导其渐进迭代, 令
$$ \begin{split} {\varphi _{{\lambda _m}}} =\, & \gamma \left( {{\boldsymbol{z}}_k^{{n_j}},H_k^{{a_j}}\hat {{\boldsymbol{x}}}_{k|k, {\lambda _m}}^{{a_j}}} \right)-\\ &\gamma \left( {{\boldsymbol{z}}_k^{{n_j}},H_k^{{a_j}}\hat {{\boldsymbol{x}}}_{k|k, {\lambda _{m - 1}}}^{{a_j}}} \right) \end{split} $$ (18) $ {\varphi _{{\lambda _m}}} $表示在渐进量测更新前后的估计值与参照量间马氏距离的差值, 当$ {\varphi _{{\lambda _m}}} \ge 0 $时停止$ p({{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k}^{{a_j}}) $中的渐进量测更新, 从而对量测不确定性隐式地补偿, 即通过$ {\varphi _{{\lambda _m}}} $值来判断是否继续引入伪量测$ {\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}} $来渐进迭代和逐步修正状态估计, 而无需显式地将不确定性(如协方差矩阵)作为输入. 结合式(17)和式(18), 量测渐进更新过程中的后验概率密度函数(Probability density function, PDF)可以表示为
$$ \begin{split} &p\left({{\boldsymbol{x}}_k}, {\lambda _m}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}}, {\boldsymbol{z}}_{k, {\lambda _1}:{\lambda _m}}^{{a_j}}\right) = \\ & \qquad {\eta _{k, {\lambda _m}}}p\left({{\boldsymbol{x}}_k}, {\lambda _1}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}}, {\boldsymbol{z}}_{k, {\lambda _1}}^{{a_j}}\right)\times \\ & \qquad\prod\limits_{m = 2}^{{\varphi _{{\lambda _m}}} < 0} {p\left({\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}}|{{\boldsymbol{x}}_k}\right)} \end{split} $$ (19) 其中, $ {\eta _{k, {\lambda _m}}} $表示归一化因子.
注2. 在量测渐进更新过程中, $ {\varphi _{{\lambda _m}}} < 0 $表示估计值与参照量之间马氏距离的趋势减小, 即所修正的状态估计有效; 由式(14)可知, 渐进量测集成的等效协方差$ \bar R_k^{{a_j}} = {( {\Delta _1}+{\sum\nolimits_{m = 2}^{{\varphi _{{\lambda _m}}} < 0} {{\Delta _m}} } )^{ - 1}}R_k^{{a_j}} $, $ m = 2 $表示至少渐进一步(将简化为$ {\sum\nolimits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0}} $). 通过控制量测渐进更新的步长从而自适应调整其协方差, 将量测不确定性的补偿问题转换为对量测渐进更新的步长控制问题.
令$ k-1 $时刻的局部估计和全局估计均为高斯分布, 即$p({{\boldsymbol{x}}_{k - 1}}|{\boldsymbol{z}}_{1:k - 1}^i) = \text{N}( {{{\boldsymbol{x}}_{k - 1}};\hat {{\boldsymbol{x}}}_{k - 1|k - 1}^i, P_{k-1|k-1}^i} ),$ $ p({{\boldsymbol{x}}_{k - 1}}|{Z_{1:k - 1}}) = \text{N}( {{{\boldsymbol{x}}_{k - 1}};\hat {{\boldsymbol{x}}}_{k - 1|k - 1}^f, P_{k-1|k-1}^f} ) $, 由状态方程(1)可得$ p({{\boldsymbol{x}}_k}|{{\boldsymbol{x}}_{k - 1}}) $ = $\text{N}( {{{\boldsymbol{x}}_k};{F_k}{{\boldsymbol{x}}_{k - 1}}, {Q_k}} ),$ 则由$ k $时刻的状态预测分布易知
$$ \begin{split} p\left( {{{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k - 1}^i} \right) = \text{N}\left( {{{\boldsymbol{x}}_k};\hat {{\boldsymbol{x}}}_{k|k - 1}^i, P_{k|k - 1}^i} \right) \end{split} $$ (20) $$ \begin{split} p\left( {{{\boldsymbol{x}}_k}|{Z_{1:k - 1}}} \right) = \text{N}\left( {{{\boldsymbol{x}}_k};\hat {{\boldsymbol{x}}}_{k|k - 1}^f, P_{k|k - 1}^f} \right) \end{split} $$ (21) 其中,
$$ \begin{split} \hat {{\boldsymbol{x}}}_{k|k - 1}^i = {F_k}\hat {{\boldsymbol{x}}}_{k - 1|k - 1}^i \end{split} $$ (22) $$ \begin{split} P_{k|k - 1}^i = {F_k}P_{k - 1|k - 1}^iF_k^\text{T} + {Q_k} \end{split} $$ (23) $$ \begin{split} \hat {{\boldsymbol{x}}}_{k|k - 1}^f = {F_k}\hat {{\boldsymbol{x}}}_{k - 1|k - 1}^f \end{split} $$ (24) $$ \begin{split} P_{k|k - 1}^f = {F_k}P_{k - 1|k - 1}^fF_k^\text{T} + {Q_k} \end{split} $$ (25) 定理1. 考虑系统(1)和(2)中, 当$ G_k^n \ne \emptyset $, $ G_k^a \ne \emptyset $, 若先验概率密度函数给出如式(20)和式(21), 则可得到全局状态滤波融合估计, 即
$$ \begin{split} &{\left( {P_{k|k}^f} \right)^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k}^f = {\left( {P_{k|k - 1}^f} \right)^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k - 1}^f\; + \\ &\;\;\sum\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {\left[ {{{\left( {P_{k|k}^{{n_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k}^{{n_j}} - {{\left( {P_{k|k - 1}^{{n_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}}} \right]}\;+\\ &\;\;\sum\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {\left[ {{{\left( {P_{k|k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k, {\lambda _m}}^{{a_j}} - {{\left( {P_{k|k - 1}^{{a_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k - 1}^{{a_j}}} \right]} \end{split} $$ (26) $$ \begin{split} {\left( {P_{k|k}^f} \right)^{ - 1}} =\;& {\left( {P_{k|k - 1}^f} \right)^{ - 1}}\;+\\ & \sum\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {\left[ {{{\left( {P_{k|k}^{{n_j}}} \right)}^{ - 1}} - {{\left( {P_{k|k - 1}^{{n_j}}} \right)}^{ - 1}}} \right]}\;+\\ & \sum\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {\left[ {{{\left( {P_{k|k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}} - {{\left( {P_{k|k - 1}^{{a_j}}} \right)}^{ - 1}}} \right]} \end{split} $$ (27) 其中,
$$ \begin{split} \hat {{\boldsymbol{x}}}_{k|k}^{{n_j}} = \hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}} + K_k^{{n_j}}\left( {{\boldsymbol{z}}_k^{{n_j}} - H_k^{{n_j}}\hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}}} \right) \end{split} $$ (28) $$ \begin{split} P_{k|k}^{{n_j}} = \left( {{{I}} - K_k^{{n_j}}H_k^{{n_j}}} \right)P_{k|k - 1}^{{n_j}} \end{split} $$ (29) $$ \begin{split} K_k^{{n_j}} = P_{k|k}^{{n_j}}{\left( {H_k^{{n_j}}} \right)^\text{T}}{\left( {R_k^{{n_j}}} \right)^{ - 1}} \end{split} $$ (30) $$ \begin{split} &{\left( {P_{k|k,{\lambda _m}}^{{a_j}}} \right)^{ - 1}}\hat {\boldsymbol{x}}_{k|k,{\lambda _m}}^{{a_j}} = {\left( {P_{k|k - 1}^{{a_j}}} \right)^{ - 1}}\hat {\boldsymbol{x}}_{k|k - 1}^{{a_j}} \;+\\ &\qquad\;\;\sum\limits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0} {\left[ {{{\left( {H_k^{{a_j}}} \right)}^\text{T}}{{\left( {R_{k,{\lambda _m}}^{{a_j}}} \right)}^{ - 1}}{\boldsymbol{z}}_{k,{\lambda _m}}^{{a_j}}} \right]} \end{split} $$ (31) $$ \begin{split} &{\left( {P_{k|k, {\lambda _m}}^{{a_j}}} \right)^{ - 1}} = {\left( {P_{k|k - 1}^{{a_j}}} \right)^{ - 1}}\;+\\ &\qquad \;\;\sum\limits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0} {\left[ {{{\left( {H_k^{{a_j}}} \right)}^\text{T}}{{\left( {R_{k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}}H_k^{{a_j}}} \right]} \end{split} $$ (32) 式中, ${{I}}$表示单位矩阵.
证明. 见附录A.
最后, 带量测分类处理的渐进高斯滤波融合算法(Progressive Gaussian filtering fusion with classification, PGFFwC)给出如下:
算法1. PGFFwC算法
1) 初始化;
2) while
3) 由式(21)得$\hat {\boldsymbol{x}}_{k{{|}}k - 1}^f, P_{k|k - 1}^f$;
4) for $i = 1:N$ do
5) 基于式(3)和式(4), 对量测$ {\boldsymbol{z}}_k^{i}$分层分类处理得$ {\boldsymbol{z}}_k^{j}$;
6) if $ {\boldsymbol{z}}_k^{j} \in G_k^n$
7) 由式(28)和式(29)得到局部估计$\hat {\boldsymbol{x}}_{k|k}^{{n_j}}, P_{k|k}^{{n_j}}\,;$
8) end if
9) if $ {\boldsymbol{z}}_k^{j} \in G_k^a$
10) 渐进量测更新;
11) while${\varphi _{{\lambda _m}}} < 0$ and $m<M$
12) 由式(31)和式(32), 渐进量测更新得$\hat {\boldsymbol{x}}_{k|k, {\lambda _m}}^{{a_j}},$ $ P_{k|k, {\lambda _m}}^{{a_j}} $;
13) end while
14) end if
15) if $ {\boldsymbol{z}}_k^{j} \in G_k^d$
16) 剔除该量测野值;
17) end if
18) end for
19) 由式(26)和式(27)状态融合, 得到$\hat {\boldsymbol{x}}_{k|k}^f, P_{k|k}^f\,;$
20) end while
如定理1所示, 人体姿态估计性能改善表现在两方面: 1)通过量测分层性能评估, 对量测进行分类处理; 2)利用局部估计间的交互信息来引导渐进量测更新, 从而隐式地补偿量测不确定性. 此外, 当渐进滤波中截止条件尚未触发时, 定理1将等价于集中式融合. 特别地, 当量测信息均为同一种情形下时, 则具有如下的等价形式:
推论1. 当$ G_k^n = \emptyset $, $ G_k^a \ne \emptyset $时, 式(26)和式(27)可以表示为
$$ \begin{split} &{\left( {P_{k|k}^f} \right)^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k}^f = {\left( {P_{k|k - 1}^f} \right)^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k - 1}^f\;{\rm{ + }}\\ &\qquad\sum\limits_{i = 1}^N {\sum\limits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0} {\left[ {{{\left( {H_k^i} \right)}^\text{T}}{{\left( {R_{k, {\lambda _m}}^i} \right)}^{ - 1}} {\boldsymbol{z}}_{k, {\lambda _m}}^i} \right]} } \end{split} $$ (33) $$ \begin{split} &{\left( {P_{k|k}^f} \right)^{ - 1}} = {\left( {P_{k|k - 1}^f} \right)^{ - 1}}\;+\\ &\qquad \sum\limits_{i = 1}^N {\sum\limits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0} {\left[ {{{\left( {H_k^i} \right)}^\text{T}}{{\left( {R_{k, {\lambda _m}}^i} \right)}^{ - 1}}H_k^i} \right]} } \end{split} $$ (34) 证明从略.
3. 仿真与实验
3.1 仿真验证
为验证本文方法的合理性与有效性, 设计由多个视觉传感器组成环境下的人体姿态估计仿真. 考虑存在不同程度视觉遮挡等因素, 采用式(2)的观测模型, 并假设人体关节目标的运动学模型如式(1), 状态转移矩阵参照文献[9, 19], 设置为${F_k} = {\rm{diag}}\left\{ {{F_0}}\;\;\cdots \;\;{{F_0}}\right\} ,$ 其中, ${F_0} = {\rm{diag}}\left\{ {{F_b}}\;\;{{F_b}}\;\;{{F_b}}\right\}$, ${F_b} = \left[ {\begin{aligned} & 1\;\;{\Delta t}\\& 0\;\;\;1 \end{aligned}} \right] ,$ 量测矩阵$ H_k^i = {\rm{diag}}\left\{ {H_0}\;\cdots \;{H_0}\right\} , $ 其中
$$ \begin{split} {H_0} = \left[ {\begin{array}{*{20}{l}} 1&0&0&0&0&0\\ 0&0&1&0&0&0\\ 0&0&0&0&1&0 \end{array}} \right] \end{split} $$ (35) $ {{\boldsymbol{x}}_{k,l}}={\left[{{x_{x,l}}}\;\;{{{\dot x}_{x,l}}}\;\;{{x_{y,l}}}\;\;{{{\dot x}_{y,l}}}\;\;{{x_{z,l}}}\;\;{{{\dot x}_{z,l}}} \right]^\text{T}} $, $ {x_{x,l}} $, $ {x_{y,l}} $, $ {x_{z,l}} $和$ {\dot {x}_{x,l}} $, $ {\dot {x}_{y,l}} $, $ {\dot {x}_{z,l}} $分别为人体关节点在$ x $, $ y $和$ z $轴上的位置和速度, 人体关节的总数量取为$ L $ = 17, 系统的采样时间$\Delta t =$ 0.03 s, 过程噪声$ {{\boldsymbol{w}}_k} $的协方差为$ {Q_k} = {\rm{diag}}\left\{{{Q_0}}\;\; \cdots\;\;{{Q_0}} \right\}$, 其中
$$ \begin{split} Q_0=\; &{\rm{diag}} \{0.09\;{\rm{cm}}^2, \;0.005\;{\rm{cm}}^2/{\rm{s}}^2, 0.09\;{\rm{cm}}^2,\;\\& 0.005 \;{\rm{cm}}^2/{\rm{s}}^2,\; 0.09\;{\rm{cm}}^2,\; 0.005 \;{\rm{cm}}^2/{\rm{s}}^2\} \end{split} $$ 人体骨架量测噪声$ {\boldsymbol{v}}_k^i $的协方差矩阵为$R_k^i =$${\rm{diag}}\left\{ {R_0} \cdots {R_0} \right\}$, 其中$R_0 =$ $ 5.0{I_{3 \times 3}} $$ {\rm{c}}{{\rm{m}}^{\rm{2}}} $, $ {I_{3 \times 3}} $表示3 × 3的单位阵. 设置不确定噪声$ {\boldsymbol{\xi}}_k^i $中低程度视觉遮挡干扰的协方差矩阵$ R_{k, + }^i $ = 5.0$ {I_{3 \times 3}} $$ {\rm{c}}{{\rm{m}}^{\rm{2}}} $, 出现的概率为$ {y_1} $ = 0.4; 高程度视觉遮挡下的野值设为幅值大小为40 cm的噪声, 即$ b= $40 cm, 出现的概率为$ {y_2}= $0.05. 以人体右臂腕关节点为例进行分析, 假设初始真实状态向量$ {{\boldsymbol{x}}_0} =$ [ 0 cm, 2.4 cm/s, 0 cm, 2.4 cm/s, 0 cm, 2.4 cm/s ]T, 关节点初始状态估计误差协方差为${P_0}= {I_{3 \times 3}}$, 状态估计初始值$ {\hat {{\boldsymbol{x}}}_{0|0}} $由高斯分布$ \text{N}\left( {{{\boldsymbol{x}}_0}, {P_0}} \right) $随机生成. PGF中渐进过程的总步数$ M $设为10步, 渐进步长$ \Delta _m $= 0.1, 量测评估机制中$ {\chi _n}= $ 15 cm, $ {\chi _a}= $ 30 cm.
便于仿真结果分析与比较, 定义位置误差指标为均方根误差(Root mean square error, RMSE), 其计算式为
$$ \begin{split}F_ {\rm{RMSE}} = \sqrt {\frac{1}{S}\sum\limits_{s = 1}^S {{{\left( {{H_k}{{\boldsymbol{x}}_k} - {H_k}{{\hat {{\boldsymbol{x}}}}_{k|k}}} \right)}^2}} } \end{split} $$ (36) 其中, $F_{\rm{RMSE}} $表示均方根误差, $ s = 1, \cdots , S $为仿真实验的序号, $ S $为蒙特卡罗仿真总次数, $ {\hat {{\boldsymbol{x}}}_{k|k}} $表示$ k $时刻的状态估计值, $ {{\boldsymbol{x}}_k} $表示$ k $时刻的状态真实值. 在局部滤波中采用带量测分类处理的渐进高斯滤波(PGF with classification, PGFwC) (即, PGFFwC中局部的滤波结果)、卡尔曼滤波、粒子滤波(Particle filtering, PF)、 鲁棒卡尔曼滤波(Robust Kalman filtering, RKF)[20]. 同时为进一步验证量测分层分类处理的作用, 加入不带量测分类处理的渐进高斯滤波方法(PGF without classification, PGFwoC) (即, 采用PGF方法无差别地处理量测数据)进行对比. 另外, 为验证PGFFwC的性能, 在融合算法中对比了集中式融合(Centralized fusion, CF)、协方差交叉(Covariance intersection, CI)融合、基于观测融合的自适应卡尔曼滤波(Adaptive measurement fusion-based Kalman filter, AMFKF)[25], 以及IWCF[9]的方法, 蒙特卡罗仿真结果如图4所示. 通过仿真结果可知, 无论在局部滤波还是在全局状态融合中, 本文所提方法的性能都更好. 同时, 通过图4可知, 带有量测分类处理的方法(PGFwC, PGFFwC)比未带量测分类处理的方法(PGFwoC, PGFFwoC)误差更小. 特别地, 包含量测分类处理的分布式状态融合方法(PGFFwC)提升的精度明显高于其他方法, 说明通过对量测进行分类处理后, 滤波器对量测不确定性的描述更准确, 从而在状态融合的过程中获得更高的精度.
3.2 实验验证
为进一步验证所提方法的有效性, 设计多视觉人体姿态估计实验, 实验平台如图5所示, 由两台微软公司的Azure Kinect DK相机[26-27], 一台Windows10操作系统的电脑和一个人体姿态估计对象组成. Azure Kinect DK视觉传感器包括彩色摄像头和深度摄像头, 采集到的彩色图像分辨率为1 920$ \times $1 080像素, 深度图像分辨率为512$ \times $512像素, 拍摄速度为30帧/s, 使用同步线缆硬件触发对两台相机进行同步数据采集, 并通过张正友相机标定法, 计算出从相机到主相机的旋转矩阵与平移向量, 以主相机坐标系作为世界坐标系. 在计算机上, 编写基于Visual Studio 2017的开发环境, 利用CNN的方法得到在深度相机空间下人体骨骼关节点的空间位置信息.
实验场景设置如下: 实验环境位于室内, 两台Azure Kinect DK呈约$ {45^ \circ } $角摆放, 人体目标位于两台相机前方1.5 m左右的位置进行挥臂运动, 用Azure Kinect DK来完成对人体关节点的捕捉, 整个过程会引入自遮挡以及由手持物遮挡造成的误识别. 这里需要补充说明的是, 人体关节点对应的实际人体位置并不明确, 即人体关节点的物理意义是不明确的. 故以高精度动作捕捉系统OptiTrack System[28] (精度0.5 mm) 来获取人体关节点的真实轨迹, 如图5所示, 该定位系统由12个Prime 13相机组成, 能够实时捕捉运动目标的位姿, 以追踪到的光学标记点的位置为真值, 即视为真实人体关节点位置进行对比.
在实验中, 采用的对比方法与仿真一致, 局部滤波分别采用PF, KF, RKF, PGFwC和PGFwoC的方法对比, 全局融合分别采用CF, CI, AMFKF, IWCF, PGFFwC和PGFFwoC的方法对比. 捕捉对象为人体右臂, 其中包括肩关节、肘关节和腕关节. 以人体右臂腕关节点为例分析, 滤波参数与仿真设置的一致, 图6表示该关节点在运动过程中, 不同方法处理下的累积位置误差分析图. 进一步, 表1所示为腕关节点、肘关节点以及肩关节点的位置误差均值, 从中可看出, PGFFwC方法下得到的误差更低. 由此说明该方法能有效提高人体姿态估计的精度和鲁棒性. 另外, 从3组关节点误差均值的整体对比中, 可看出腕关节点的误差相对更大, 肩关节点的误差相对更小, 表明机动性更强的关节点存在的误差也更大.
图 6 不同滤波融合方法下的累积位置误差Fig. 6 Cumulative position error under different filtering fusion methods表 1 累积误差均值统计(mm)Table 1 Cumulative error mean statistics (mm)实验方法 腕关节 肘关节 肩关节 观测融合 166.44 124.44 96.56 CF 157.55 118.00 95.00 AMFKF 147.81 113.85 93.08 CI 127.63 117.85 99.62 IWCF 153.12 113.21 92.53 PGFFwoC 151.77 114.12 92.83 PGFFwC 119.47 108.98 84.11 4. 结束语
为处理视觉遮挡下人体姿态估计性能下降问题, 提出基于渐进高斯滤波融合的姿态估计方法. 首先, 采用CNN的方法从深度图像中识别并得出人体各关节点在相机坐标系下的3D位置, 并将其转换到世界坐标系下; 其次, 在多视觉骨架数据融合中, 构建分布式的渐进贝叶斯滤波融合框架并提出基于渐进高斯滤波融合的人体姿态估计方法. 针对量测信息中包含的复杂噪声, 分别从空间、时间维度对量测进行相容性分析与分类处理. 同时, 引入渐进量测更新与引导机制, 隐式地补偿量测不确定性.
附录 A. 定理1的证明
证明. 因为$ p({\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}}|{{\boldsymbol{x}}_k}) $, $ p({{\boldsymbol{x}}_k}|{\boldsymbol{z}}_{1:k{\rm{ - }}1}^{{a_j}}) $为高斯分布, 易知$ p({{\boldsymbol{x}}_k}, {\lambda _m}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}}, {\boldsymbol{z}}_{k, {\lambda _1}:{\lambda _m}}^{{a_j}}) $, $ p({{\boldsymbol{x}}_k}|{Z_{1:k}}) $也为高斯分布. 令
$$ \begin{split} &o({\boldsymbol{x}}_k) = \\ &\quad-\frac{1}{2}{\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^f} \right)^\text{T}}{\left( {P_{k|k - 1}^f} \right)^{ - 1}}\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^f} \right)-\\ &\quad\frac{1}{2}\sum\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {\left[ {{{\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k}^{{n_j}}} \right)}^\text{T}}{{\left( {P_{k|k}^{{n_j}}} \right)}^{ - 1}}\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k}^{{n_j}}} \right)} \right]}\;- \\ &\quad\frac{1}{2}\sum\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {\left[ {{{\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k,{\lambda _m}}^{{a_j}}} \right)}^\text{T}}{{\left( {P_{k|k,{\lambda _m}}^{{a_j}}} \right)}^{ - 1}}\left( {{{\boldsymbol{x}}_k} \;- } \right.} \right.} \\ &\;\;\left. {\left. {\hat {{\boldsymbol{x}}}_{k|k,{\lambda _m}}^{{a_j}}} \right)} \right] + \frac{1}{2}\sum\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {\left[ {{{\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}}} \right)}^\text{T}}{{\left( {P_{k|k}^{{n_j}}} \right)}^{ - 1}}} \right.} \times \\ \end{split} $$ $$\begin{split}&\quad\left. {\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}}} \right)} \right] + \frac{1}{2}\sum\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {\left[ {{{\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^{{a_j}}} \right)}^\text{T}}} \right.} \times\\&\quad \left. {{{\left( {P_{k|k,{\lambda _m}}^{{a_j}}} \right)}^{ - 1}}\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^{{a_j}}} \right)} \right]\end{split} \tag{A1} $$ 根据后验概率密度函数(8), 可得最大后验估计为
$$ \begin{split} \hat {{\boldsymbol{x}}}_{k|k}^f = &\arg \max p({{\boldsymbol{x}}_k}|{Z_{1:k}}) = \\ &\arg \mathop {\max }\limits_{{{\boldsymbol{x}}_k}} o\left( {{{\boldsymbol{x}}_k}} \right) \end{split} \tag{A2}$$ 求解$ \frac{{\partial o\left( {{{\boldsymbol{x}}_k}} \right)}}{{\partial {{\boldsymbol{x}}_k}}} = 0 $, 得全局状态估计为
$$ \begin{split} &{\left( {P_{k|k}^f} \right)^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k}^f = {\left( {P_{k|k - 1}^f} \right)^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k - 1}^f\;+ \\ &\qquad\sum\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {\left[ {{{\left( {P_{k|k}^{{n_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k}^{{n_j}} - {{\left( {P_{k|k - 1}^{{n_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}}} \right]} \;+ \\ &\qquad\sum\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {\left[ {{{\left( {P_{k|k,{\lambda _m}}^{{a_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k,{\lambda _m}}^{{a_j}}} \right.}\; - \\ &\qquad\left. { {{\left( {P_{k|k - 1}^{{a_j}}} \right)}^{ - 1}}\hat {{\boldsymbol{x}}}_{k|k - 1}^{{a_j}}} \right] \end{split}\tag{A3} $$ $$ \begin{split} &{\left( {P_{k|k}^f} \right)^{ - 1}} = {\left( {P_{k|k - 1}^f} \right)^{ - 1}}\; +\\ & \qquad\sum\limits_{{\boldsymbol{z}}_k^{{n_j}} \in G_k^n} {\left[ {{{\left( {P_{k|k}^{{n_j}}} \right)}^{ - 1}}} \right.} \left. { - \;{{\left( {P_{k|k - 1}^{{n_j}}} \right)}^{ - 1}}} \right] +\\ &\qquad\sum\limits_{{\boldsymbol{z}}_k^{{a_j}} \in G_k^a} {\left[ {{{\left( {P_{k|k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}} - {{\left( {P_{k|k - 1}^{{a_j}}} \right)}^{ - 1}}} \right]} \end{split} \tag{A4}$$ 其中, 由于量测$ {\boldsymbol{z}}_k^{{n_j}} \in G_k^n $中不含额外噪声干扰与野值, 局部状态估计$ \hat {{\boldsymbol{x}}}_{k|k}^{{n_j}} $即可用卡尔曼滤波得到
$$ {\hat{\boldsymbol{x}}_{k|k}^{{n_j}}} = \hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}} + K_k^{{n_j}}\left( {{\boldsymbol{z}}_k^{{n_j}} - H_k^{{n_j}}\hat {{\boldsymbol{x}}}_{k|k - 1}^{{n_j}}} \right) \tag{A5}$$ $$ P_{k|k}^{{n_j}} = \left( {I - K_k^{{n_j}}H_k^{{n_j}}} \right)P_{k|k - 1}^{{n_j}} \tag{A6}$$ $$ K_k^{{n_j}} = P_{k|k}^{{n_j}}{\left( {H_k^{{n_j}}} \right)^\text{T}}{\left( {R_k^{{n_j}}} \right)^{ - 1}}\tag{A7} $$ 对于${\boldsymbol{z}}_k^{{a_j}} \in G_k^a\, ,$ 在其局部状态更新中, 通过PDF式(19), 可求得最大后验状态估计
$$ \begin{split} \hat {{\boldsymbol{x}}}_{k|k}^{{a_j}} = \arg \max p({{\boldsymbol{x}}_k}, {\lambda _m}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}}, {\boldsymbol{z}}_{k, {\lambda _1}:{\lambda _m}}^{{a_j}}) \end{split} $$ 根据高斯分布的连乘性质, $p({{\boldsymbol{x}}_k}, {\lambda _m}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}}, {\boldsymbol{z}}_{k, {\lambda _1}:{\lambda _m}}^{{a_j}} )$也为高斯分布, 求得
$$ \begin{split} &\hat {{\boldsymbol{x}}}_{k|k, {\lambda _m}}^{{a_j}} = \arg \mathop { \max }\limits_{{{\boldsymbol{x}}_k}} p({{\boldsymbol{x}}_k}, {\lambda _m}|{\boldsymbol{z}}_{1:k - 1}^{{a_j}}, {\boldsymbol{z}}_{k, {\lambda _1}:{\lambda _m}}^{{a_j}}) = \\ &\quad\arg \mathop {\max }\limits_{{{\boldsymbol{x}}_k}} \exp \left\{ - \frac{1}{2}{\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^{{a_j}}} \right)^\text{T}}{\left( {P_{k|k - 1}^{{a_j}}} \right)^{ - 1}}\;\times\right. \end{split} $$ $$ \begin{split} & \quad\left( {{{\boldsymbol{x}}_k} - \hat {{\boldsymbol{x}}}_{k|k - 1}^{{a_j}}} \right) - \frac{1}{2}\sum\limits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0} \left[{{\left( {{\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k}} \right)}^\text{T}} \;\times \right.\\ &\left.\left.\quad{\left( {R_{k, {\lambda _m}}^{{a_j}}} \right)^{ - 1}}\left( {{\boldsymbol{z}}_{k, {\lambda _m}}^{{a_j}} - H_k^{{a_j}}{{\boldsymbol{x}}_k}} \right)\right]\right\} \end{split}\tag{A8} $$ 解法与式(A1) ~ (A4)类似, 得
$$ \begin{split} &{\left( {P_{k|k,{\lambda _m}}^{{a_j}}} \right)^{ - 1}}\hat {\boldsymbol{x}}_{k|k,{\lambda _m}}^{{a_j}} = {\left( {P_{k|k - 1}^{{a_j}}} \right)^{ - 1}}\hat {\boldsymbol{x}}_{k|k - 1}^{{a_j}} \;+\\ & \qquad\sum\limits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0} {\left[ {{{\left( {H_k^{{a_j}}} \right)}^\text{T}}{{\left( {R_{k,{\lambda _m}}^{{a_j}}} \right)}^{ - 1}}{\boldsymbol{z}}_{k,{\lambda _m}}^{{a_j}}} \right]} \end{split}\tag{A9} $$ $$ \begin{split} &{\left( {P_{k|k, {\lambda _m}}^{{a_j}}} \right)^{ - 1}} = {\left( {P_{k|k - 1}^{{a_j}}} \right)^{ - 1}}\;+\\ &\qquad\sum\limits_{m = 1}^{{\varphi _{{\lambda _m}}} < 0} {\left[ {{{\left( {H_k^{{a_j}}} \right)}^\text{T}}{{\left( {R_{k, {\lambda _m}}^{{a_j}}} \right)}^{ - 1}}H_k^{{a_j}}} \right]} \end{split}\tag{A10}$$ □ -
图 1 基于深层卷积随机配置网络的可解释电熔镁炉工况识别模型结构图
Fig. 1 Structure of interpretable fused magnesium furnace working condition recognition model based on deep convolutional stochastic configuration networks
图 2 深层卷积随机配置网络结构图
Fig. 2 Deep convolutional stochastic configuration networks structure diagram
图 3 基于特征图独立性得分的类激活映射示意图
Fig. 3 Schematic diagram of the class activation mapping based on feature map independence scores
图 5 欠烧工况图像数据增强后的结果
Fig. 5 Results after image data enhancement for underburning conditions
图 6 过热工况图像数据增强后的结果
Fig. 6 Results after image data enhancement for superheated operating conditions
图 7 异常排气工况图像数据增强后的结果
Fig. 7 Results after image data enhancement for abnormal exhaust conditions
图 8 不同卷积核大小条件下的识别精度曲线
Fig. 8 Recognition accuracy curves under different convolutional kernel sizes
图 9 强化学习训练过程的平均奖励曲线
Fig. 9 Average reward curves for training process of reinforcement learning methods
图 11 本文方法与基于强化学习的类激活映射图对比
Fig. 11 Comparison of the method proposed in this paper with the class activation mapping maps based on reinforcement learning
图 12 本文方法与基于强化学习的可信识别样本比例变化曲线
Fig. 12 The proportion change curves of trusted recognition samples based on reinforcement learning and the method proposed in this paper
图 13 不同网络模型的训练样本识别精度曲线
Fig. 13 Recognition accuracy curves of training samples for different network models
表 1 基于强化学习的漏诊率、误诊率和精度对比 (%)
Table 1 Comparison of missed diagnosis rate, misdiagnosis rate and accuracy based on reinforcement learning (%)
模型 训练集 测试集 漏诊率 误诊率 精度 漏诊率 误诊率 精度 单层 本文方法 7.61 ± 0.189 9.15 ± 0.331 83.24 ± 0.195 9.95 ± 0.216 10.30 ± 0.231 79.75 ± 0.108 强化学习 9.08 ± 0.082 10.14 ± 0.354 80.76 ± 0.228 10.51 ± 0.172 12.81 ± 0.390 76.68 ± 0.305 三层 本文方法 5.31 ± 0.239 1.96 ± 0.165 92.73 ± 0.166 5.24 ± 0.245 2.45 ± 0.203 92.31 ± 0.283 强化学习 7.36 ± 0.361 2.58 ± 0.313 90.06 ± 0.313 6.57 ± 0.361 3.61 ± 0.313 89.82 ± 0.329 
下载: 导出CSV
表 2 消融实验结果 (%)
Table 2 Results of ablation experiments (%)
模型 训练集 测试集 漏诊率 误诊率 精度 漏诊率 误诊率 精度 本文方法 5.31 ± 0.239 1.96 ± 0.165 92.73 ± 0.166 5.24 ± 0.245 2.45 ± 0.203 92.31 ± 0.283 未加入可解释性模块 5.57 ± 0.232 2.51 ± 0.223 91.92 ± 0.278 7.29 ± 0.173 1.59 ± 0.181 91.12 ± 0.347 未加入高斯卷积核 4.29 ± 0.274 4.51 ± 0.391 91.20 ± 0.264 3.45 ± 0.255 2.50 ± 0.329 90.54 ± 0.231 未加入可解释性模块以及高斯卷积核 6.02 ± 0.183 4.25 ± 0.231 89.73 ± 0.325 4.13 ± 0.242 6.73 ± 0.228 89.14 ± 0.179
下载: 导出CSV
表 3 不同高斯噪声的实验结果 (%)
Table 3 Experimental results with different Gaussian noises (%)
模型 训练集 测试集 漏诊率 误诊率 精度 漏诊率 误诊率 精度 本文方法($\eta=0.3$) 5.31 ± 0.239 1.96 ± 0.165 92.73 ± 0.166 5.24 ± 0.245 2.45 ± 0.203 92.31 ± 0.283 $\eta=0.6$模型 6.92 ± 0.232 2.21 ± 0.223 90.87 ± 0.206 7.19 ± 0.173 2.52 ± 0.181 90.29 ± 0.347 $\eta=0.9$模型 8.31 ± 0.423 2.29 ± 0.248 89.40 ± 0.297 7.45 ± 0.382 7.01 ± 0.274 85.54 ± 0.288
下载: 导出CSV
表 4 不同模型的测试样本漏诊率、误诊率和精度对比 (%)
Table 4 Comparison of missed diagnosis rate, misdiagnosis rate and accuracy of test samples with different models (%)
模型 漏诊率 误诊率 精度 SCN 14.21 ± 0.228 14.21 ± 0.228 76.14 ± 0.215 块增量BSC 12.58 ± 0.285 10.57 ± 0.153 76.85 ± 0.233 2DSCN 6.49 ± 0.263 15.52 ± 0.303 77.99 ± 0.353 DeepSCN 9.04 ± 0.285 7.32 ± 0.075 83.64 ± 0.209 CNN 6.82 ± 0.376 5.46 ± 0.167 87.72 ± 0.231 贝叶斯网络[6] 5.36 ± 0.268 4.72 ± 0.252 89.92 ± 0.256 CNN+LSTM[8] 6.91 ± 0.201 3.52 ± 0.184 89.57 ± 0.337 本文方法 5.24 ± 0.245 2.45 ± 0.203 92.31 ± 0.283
下载: 导出CSV
表 5 不同识别模型的综合性能对比
Table 5 Comprehensive performance comparison of different recognition models
下载: 导出CSV
表 6 太阳能电池板数据集实验结果对比 (%)
Table 6 Comparison of experimental results for solar panel dataset (%)
模型 漏诊率 误诊率 精度 单层 本文方法 7.31$\pm$0.187 7.86$\pm$0.259 84.83$\pm$0.245 未加入可解释性模块 9.87$\pm$0.252 6.94$\pm$0.243 83.19$\pm$0.279 三层 本文方法 3.45$\pm$0.213 3.51$\pm$0.169 93.04$\pm$0.323 未加入可解释性模块 4.13$\pm$0.192 4.22$\pm$0.257 91.65$\pm$0.236
下载: 导出CSV
-
[1] 卢绍文, 温乙鑫. 基于图像与电流特征的电熔镁炉欠烧工况半监督分类方法. 自动化学报, 2021, 47(4): 891-902Lu Shao-Wen, Wen Yi-Xin. Semi-supervised classification of semi-molten working condition of fused magnesium furnace based on image and current features. Acta Automatica Sinica, 2021, 47(4): 891-902 [2] 刘强, 孔德志, 郎自强. 基于多级动态主元分析的电熔镁炉异常工况诊断. 自动化学报, 2021, 47(11): 2570-2577Liu Qiang, Kong De-Zhi, Lang Zi-Qiang. Multi-level dynamic principal component analysis for abnormality diagnosis of fused magnesia furnaces. Acta Automatica Sinica, 2021, 47(11): 2570-2577 [3] Wu Z W, Wu Y J, Chai T Y, Sun J. Data-driven abnormal condition identification and self-healing control system for fused magnesium furnace. IEEE Transactions on Industrial Electronics, 2015, 62(3): 1703-1715 doi: 10.1109/TIE.2014.2349479 [4] 吴志伟. 嵌入式电熔镁炉智能控制系统研究 [博士学位论文], 东北大学, 中国, 2015.Wu Zhi-Wei. Embedded Intelligent Control System for Fused Magnesium Furnace [Ph.D. dissertation], Northeastern University, China, 2015. [5] 李荟, 王福利, 李鸿儒. 电熔镁炉熔炼过程异常工况识别及自愈控制方法. 自动化学报, 2020, 46(7): 1411-1419Li Hui, Wang Fu-Li, Li Hong-Ru. Abnormal condition identification and self-Healing control scheme for the electro-fused magnesia smelting process. Acta Automatica Sinica, 2020, 46(7): 1411-1419 [6] 闫浩, 王福利, 孙钰沣, 何大阔. 基于贝叶斯网络参数迁移学习的电熔镁炉异常工况识别. 自动化学报, 2021, 47(1): 197-208Yan Hao, Wang Fu-Li, Sun Yu-Feng, HE Da-Kuo. Abnormal condition identification based on bayesian network parameter transfer learning for the electro-fused magnesia. Acta Automatica Sinica, 2021, 47(1): 197-208 [7] Lu S W, Wen Y X. Semi-supervised condition monitoring and visualization of fused magnesium furnace. IEEE Transactions on Automation Science and Engineering, 2022, 19(4): 3471-3482 doi: 10.1109/TASE.2021.3124015 [8] 吴高昌, 刘强, 柴天佑, 秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报, 2019, 45(8): 1475-1485Wu Gao-Chang, Liu Qiang, Chai Tian-You, Qin Si-Zhao. Abnormal condition diagnosis through deep learning of image sequences for fused magnesium furnaces. Acta Automatica Sinica, 2019, 45(8): 1475-1485 [9] Lu S W, Gao H R. Deep learning based fusion of RGB and infrared images for the detection of abnormal condition of fused magnesium furnace. In: Proceedings of the IEEE 15th International Conference on Control and Automation (ICCA). Edinburgh, UK: IEEE, 2019. 987−993 [10] Bu K Q, Liu Y, Wang F L. Operating performance assessment based on multi-source heterogeneous information with deep learning for smelting process of electro-fused magnesium furnace. ISA Transactions, 2022, 128: 357-371 doi: 10.1016/j.isatra.2021.10.024 [11] 卢绍文, 王克栋, 吴志伟, 李鹏琦, 郭章. 基于深度卷积网络的电熔镁炉欠烧工况在线识别. 控制与决策, 2019, 34(7): 1537-1544Lu Shao-Wen, Wang Ke-Dong, Wu Zhi-Wei, Li Peng-Qi, Guo Zhang. Online detection of semi-molten of fused magnesium furnace based ondeep convolutional neural network. Control and Decision, 2019, 34(7): 1537-1544 [12] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks. In: Proceedings of the 13th European Conference on Computer Vision (ECCV). Zurich, Switzerland: Springer, 2014. 818−833 [13] Samek W, Binder A, Montavon G, Lapuschkin S, Müller K R. Evaluating the visualization of what a deep neural network has learned. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(11): 2660-2673 doi: 10.1109/TNNLS.2016.2599820 [14] Larsen A B L, Sonderby S K, Larochelle H, Winther O. Autoencoding beyond pixels using a learned similarity metric. In: Proceedings of the 33rd International Conference on Machine Learning. New York, USA: PMLR, 2016. 1558−1566 [15] Zhang Q S, Wu Y N, Zhu S C. Interpretable convolutional neural networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 8827−8836 [16] Pham H, Guan M, Zoph B, Le Q, Dean J. Efficient neural architecture search via parameters sharing. In: Proceedings of the 35th International Conference on Machine Learning. Stockholm, Sweden: PMLR, 2018. 4095−4104 [17] Ding Z X, Chen Y R, Li N N, Zhao D B, Sun Z Q, Chen C L P. BNAS: Efficient neural architecture search using broad scalable architecture. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(9): 5004-5018 doi: 10.1109/TNNLS.2021.3067028 [18] Alvarez J M, Salzmann M. Learning the number of neurons in deep networks. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: Curran Associates Inc., 2016. 2270−2278 [19] Kawaguchi K. Deep learning without poor local minima. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: Curran Associates Inc., 2016. 586−594 [20] Pao Y H, Park G H, Sobajic D J. Learning and generalization characteristics of the random vector functional-link net. Neurocomputing, 1994, 6(2): 163-180 doi: 10.1016/0925-2312(94)90053-1 [21] Wang D H, Li M. Stochastic configuration networks: Fundamentals and algorithms. IEEE Transactions on Cybernetics, 2017, 47(10): 3466-3479 doi: 10.1109/TCYB.2017.2734043 [22] Li M, Wang D H. 2-D stochastic configuration networks for image data analytics. IEEE Transactions on Cybernetics, 2021, 51(1): 359-372 doi: 10.1109/TCYB.2019.2925883 [23] Wang D H, Li M. Deep stochastic configuration networks with universal approximation property. In: Proceedings of the International Joint Conference on Neural Networks (IJCNN). Rio de Janeiro, Brazil: IEEE, 2018. 1−8 [24] Pratama M, Wang D H. Deep stacked stochastic configuration networks for lifelong learning of non-stationary data streams. Information Sciences, 2019, 495: 150-174 doi: 10.1016/j.ins.2019.04.055 [25] Li W T, Zhang Q, Wang D H, Sun W, Li Q Y. Stochastic configuration networks for self-blast state recognition of glass insulators with adaptive depth and multi-scale representation. Information Sciences, 2022, 604: 61-79 doi: 10.1016/j.ins.2022.04.061 [26] Li W T, Deng Y L, Ding M S, Wang D H, Sun W, Li Q Y. Industrial data classification using stochastic configuration networks with self-attention learning features. Neural Computing and Applications, 2022, 34: 22047-22069 doi: 10.1007/s00521-022-07657-9 [27] Peng S Y, Ding L J, Li W T, Sun W, Li Q Y. Research on intelligent recognition method for self-blast state of glass insulator based on mixed data augmentation. High Voltage, 2023, 8(4): 668-681 doi: 10.1049/hve2.12296 [28] Zhang Q, Li W T, Li H, Wang J P. Self-blast state detection of glass insulators based on stochastic configuration networks and a feedback transfer learning mechanism. Information Sciences, 2020, 522: 259-274 doi: 10.1016/j.ins.2020.02.058 [29] Li W T, Tao H, Li H, Chen K Q, Wang J P. Greengage grading using stochastic configuration networks and a semi-supervised feedback mechanism. Information Sciences, 2019, 488: 1-12 doi: 10.1016/j.ins.2019.02.041 [30] Li W T, Chen K Q, Wang D H. Industrial image classification using a randomized neural-net ensemble and feedback mechanism. Neurocomputing, 2016, 173: 708-714 doi: 10.1016/j.neucom.2015.08.019 [31] He Y, Ding Y H, Liu P, Zhu L C, Zhang H W, Yang Y. Learning filter pruning criteria for deep convolutional neural networks acceleration. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 2006−2015 [32] Sutton R S, Barto A G. Reinforcement Learning: An Introduction. Cambridge: MIT Press, 1998. [33] Dai W, Li D P, Zhou P, Chai T Y. Stochastic configuration networks with block increments for data modeling in process industries. Information Sciences, 2019, 484: 367-386 doi: 10.1016/j.ins.2019.01.062 [34] LeCun Y. LeNet-5, convolutional neural networks [Online], available: http://yann.lecun.com/exdb/lenet, January 11, 2024 [35] Deitsch S, Christlein V, Berger S, Buerhop-Lutz C, Maier A, Gallwitz F, et al. Automatic classification of defective photovoltaic module cells in electroluminescence images. Solar Energy, 2019, 185: 455-468 doi: 10.1016/j.solener.2019.02.067 期刊类型引用(0)
其他类型引用(1)
-
下载:
计量
- 文章访问数: 462
- HTML全文浏览量: 230
- PDF下载量: 203
- 被引次数: 1
