Semi-supervised Classification of Semi-molten Working Condition of Fused Magnesium Furnace Based on Image and Current Features
-
摘要: 针对电熔镁炉异常工况识别任务, 在半监督学习框架下提出一种将电流与图像两类特征融合的解决方案. 主要贡献为: 使用多元图像分析(Multivariate image analysis, MIA)技术代替人眼, 更为准确客观地对镁炉火焰进行特征提取; 利用基于熵正则化(Entropy regularization, ER)的半监督学习框架, 同时使用具有强互补性的生产图像与电流数据进行工况分类, 从而弥补了基于单一特征分类的某些缺点; 采用交叉熵方法(Cross-entropy method, CEM)优化分类器目标函数, 较传统优化方法显著地提升了训练速度. 通过仿真数据与公开数据集测试并讨论了本文算法的优势, 并通过工业数据验证了所提方法的有效性、应用价值与良好的鲁棒性.Abstract: Aiming at the task of identifying abnormal working conditions of fused magnesium furnace, this paper proposes a solution that combines the two types of features of current and image under the framework of semi-supervised learning. The main contributions of this paper are: Using multivariate image analysis (MIA) technology to replace the human eyes, and extracting features of magnesium furnace flames more accurately and objectively; using a semi-supervised learning framework based on entropy regularization (ER), and at the same time using strong complementary production images and current data to classify working conditions, thereby making up for some shortcomings in classification based on single feature; the cross-entropy method (CEM) is used to optimize the objective function of the classifier, which significantly improves the training speed compared with the traditional optimization method. The advantages of the algorithm in this paper are tested and discussed through simulation data and public data sets; and the effectiveness, application value and good robustness of the method proposed in this paper are verified through industrial data.
-
电熔镁砂具有耐火、耐高温、耐腐蚀、抗氧化等特性, 是我国重要战略性原材料, 在航空、军工等众多领域应用广泛[1-3]. 我国电熔镁砂制备大多以菱镁矿石为原料, 利用三相交流电熔镁炉将其加热至2800 ℃以上进行熔炼, 再将熔炼得到的氧化镁进行降温结晶、去除杂质后得到高品质的电熔镁砂. 电熔镁炉熔炼过程包括启炉、加料、正常熔炼、欠烧等工况. 其中, 欠烧工况是一种异常工况, 它的出现通常由于原料中的杂质导致原材料不完全熔融, 由此产生的气泡致使炉内局部温度过高[3]. 若欠烧工况未能及时发现并处理, 不仅会大大降低产品的质量, 还可能导致炉壁烧漏、熔融状原料泄漏等重大事故, 威胁人员安全[1]. 因此, 及时判断欠烧工况对电熔镁砂的制备非常重要. 在实际生产中, 欠烧工况主要靠工人巡检, 观察炉壁及火焰状态来判断. 但是该方法依赖操作人员的经验, 易发生误判或漏判; 同时生产现场环境恶劣. 为此, 亟需一种自动、快速且准确的异常工况判别方法, 将工人从危险、高强度的工作中解放出来, 实现安全生产.
目前, 电熔镁炉异常工况的识别研究大致可分为两类. 一类方法利用三相电流的变化模式进行工况识别. 如文献[4-6]提出了基于三相电流值的规则推理算法, 通过分析不同工况下的历史电流统计特征, 归纳出一套工况判断专家规则库, 进而根据现场实时采集的电流值进行异常工况判别. 但由于电流值存在大量噪声, 仅凭电流特征进行工况判别并不理想, 其适合作为一种辅助特征. 另一类方法主要利用电熔镁炉生产的监控图像进行工况识别. 这类方法利用炉壁、炉口火焰图像蕴含的直观信息, 建立工况的感知模型[7]. 如卢绍文等[1]提出一种基于可见光RGB图像与红外热像相结合的电熔镁炉欠烧工况感知技术, 利用深度卷积网络学习联合两类图像特征的分类模型, 但是该技术采用的热像装置成本较高, 难以实现大规模工业应用; 赵磊等[2]利用动态纹理建立火焰图像的线性动态模型, 利用Martin距离建立基于核支持向量机的工况分类模型; 刘强等[8]提出一种基于多级动态主元分析的无监督异常工况诊断方法, 将动态内模型主元分析应用于故障工况诊断; 吴高昌等[3]提出一种基于卷积循环神经网络的电熔镁炉异常工况诊断方法, 从时间、空间两个维度提取特征并诊断异常工况, 该方法特别依赖于欠烧工况下炉壁亮斑的特征.
然而, 在工业现场对上述两类方法的测试发现, 单一采用电流或者图像的欠烧工况识别技术, 在实时性和准确性上均难以达到满意的程度. 一方面, 虽然电流的变化模式能够在某种程度上反映生产工况, 但是这类特征很难被人识别, 因此目前对于电流数据的工况标记仍需通过对应时刻的监控视频予以间接确定. 另一方面, 对电熔镁炉生产图像进行人工标记的代价较高, 而且欠烧初期或过渡状态下难以准确标记. 因此, 如何将电流特征的敏感快速特点与图像特征的准确性相结合, 以期在欠烧工况尚未完全成型时即予以准确预警, 是亟需解决的问题. 将电流与图像两类特征结合起来进行工况判断, 涉及特征融合问题. 在机器学习中, 特征融合是指在分类器设计中综合利用多种特征的方法, 目的是实现各特征优势的互补. 其经典方法有基于贝叶斯决策理论的分类器融合方法[9], 基于稀疏表示理论的方法[10-12], 基于深度学习的方法[13]等.
此外, 考虑到电流数据一般无标记(只能通过图像进行间接标记), 而图像数据标记代价高的问题, 本文期望在半监督学习框架下设计分类, 以利用大量的无标记数据样本. 半监督学习是在学习器训练中同时利用有标记样本和无标记样本的一类方法[14-16]. 半监督学习的核心是如何利用无标记样本中蕴含的信息. 早期常用的方法包括协同训练(Co-training)[17-18], 基于图的半监督学习[19-20]等. 其中, 与本文方法关系较密切的是基于样本分布的方法, 这类方法假设无标记数据样本的类别分布具有低密度可分性(Low density separation), 据此尽量使得决策界面通过样本分布密度较低的区域. 基于该思想, 无标记数据样本在某个度量空间中的聚类特性可被用于监督学习器的训练. 其中较为经典的方法包括半监督支持向量机(Semi-supervised support vector machine,
${\rm{S}} ^3 $ VM)[21], 它在低密度分离假设条件下使得支持向量机的决策超平面尽量穿过低密度区域. 此外, 样本的聚类信息可通过条件熵的方式引入到结构风险目标函数中, 通过加入的正则化项迫使决策边界穿过低密度样本区域[22-25].本文介绍一种半监督学习框架下的电流与图像特征融合的电熔镁炉异常工况识别方法. 该方法在基于图像的工况分类器基础上引入电流数据的特征, 期望提高视频工况识别的精度, 特别是对仅靠视频特征难以分类的样本(如过渡态)的识别精度. 本文的主要贡献在于: 将电流与图像的特征融合问题转化为半监督学习问题, 在Grandvalet等提出的熵正则化(Entropy regularization, ER)半监督学习框架下构造分类器, 并且给出基于交叉熵方法(Cross-entropy method, CEM)的高效训练方法, 显著提升了训练效率; 利用仿真数据和公开数据集讨论了本文所提方法的性能, 并利用工业数据进行测试, 结果表明本文方法显著优于仅采用电流或图像的工况识别方法. 此外, 本文提出的基于交叉熵的训练方案对于未来生产应用中的分类模型的实时快速更新具有现实意义.
1. 问题描述与技术路线
1.1 问题描述
本文研究的问题是: 根据电熔镁炉生产过程采集到的三相电流、炉口火焰视频数据, 判断当前生产工况是否处于欠烧状态. 其中, 三相电流数据无标记, 炉口火焰数据含有少量标记. 本文的目标是构建一个融合上述两类特征的分类器, 实现欠烧工况判别.
定义两类数据样本的特征集
${{X}}^C = \{{{x}}^C_1,\cdots,\;{{x}}^C_{n}\}$ 和${{X}}^V = \{{{x}}^V_1,\cdots,\;{{x}}^V_{n} \}$ , 分别表示电熔镁炉电流和生产过程图像数据样本的特征向量集, 其中${{x}}^C_i \in $ $ { {\bf{R}}}^{d_1},$ ${{x}}^V_i \in { {\bf{R}}}^{d_2}$ . 不失一般性, 总可以通过时间戳对齐从总体样本中选取相同数量的两类样本. 根据前文分析, 人工操作员只能依据生产过程的图像(炉口火焰)进行工况的识别, 而对于电流数据的标记只能通过相同时刻的图像予以间接识别. 假设${{X}}^C$ 是无标记的, 而${{X}}^V$ 是部分标记的. 其中,${{X}}^V$ 中的有标记部分样本定义为${{X}}^V_l = \{{{x}}^V_1,\cdots,\;{{x}}^V_{n_l}\}$ , 无标记部分样本定义为${{X}}^V_u = \{{{x}}^V_{n_l + 1},\cdots,\;{{x}}^V_{n_l+n_u}\}$ ,$n = $ $ n_l+n_u$ . 本文的目标是通过数据学习一个映射关系$\phi:{{X}} \to {{y}}$ , 其中${{ X }}$ 为将两类特征向量${{X}}^C$ 与${{X}}^V$ 以某种方式组合得到的联合特征集;${{y}} = [ y_1,\cdots, $ $ y_n ]$ 为每个数据样本的工况标记, 其中$ y_i = 1 $ 表示欠烧工况,$ y_i = 0 $ 表示非欠烧工况.1.2 总体技术路线
根据工艺经验知识, 欠烧工况能够更为敏感地反映于电流. 虽然电流数据本身是无标记的, 但是如果电流的数据分布能够表现出与工况相关的聚类特征, 那么通过构造电流与图像的联合数据, 在半监督学习框架下, 将电流数据的边缘分布的先验信息传导至图像分类器的训练中, 可望提高基于图像的分类器的准确性. 基于以上思路, 本文提出的方法可分为三步:
1)对采集到的生产过程电流和图像数据进行预处理, 提取特征, 进行部分标记, 得到电流特征数据集
${{X}}^C,$ 图像特征数据集${{X}}^V,$ 图像数据的标记向量${{y}}^V.$ 2)采用图像特征子空间的标记来确定无标记的电流样本, 则样本
${{X}}$ 的标记向量${{y}} = {{y}}^V.$ 然后, 构建联合特征向量集${{X}} = \{ {{x}}_1,\cdots,\;{{x}}_{n} \}$ , 其中,${{x}}_i = $ $ [ {{x}}_i^C,\; {{x}}_i^V ]$ , 即${{x}}_i^C \in { {\bf{R}}}^{d_1}$ 表示电流特征子空间,${{x}}_i^V \in { {\bf{R}}}^{d_2}$ 表示图像特征子空间.3)通过构造联合数据样本, 在形式上将特征融合问题转化为基于样本
${{ X}}$ 的半监督学习问题. 为了在联合特征分类器的训练过程中引入电流样本分布的聚类属性, 本文采用熵正则化半监督学习方法. 即在最大后验概率估计框架下, 引入无标记电流样本分布的条件熵作为正则化项, 使得决策界面尽量通过样本的低密度区域. 然而, 由此得到的似然函数一般是非凸的, 为此本文提出一种基于交叉熵的训练算法实现目标函数的优化.2. 图像特征提取
根据现场巡检工人的经验, 在电熔镁炉熔炼过程不同工况下的可视化特征主要体现在炉口火焰. 如图1所示, 左图为正常熔炼工况, 右图为欠烧工况. 因此, 本文选定电熔镁炉炉口火焰区域作为感兴趣区域(Region of interest, ROI)进行图像特征提取, 以减少处理时间、增加精度[26].
本文采用多元图像分析(Multivariate image analysis, MIA)技术提取炉口火焰特征. MIA是从化学分析领域发展而来, 早在1989年, 由Esbensen等人首次提出[27]; 1996年, Geladi等人对其进行补充并在工业过程中应用和完善[28]. MIA技术能够根据多个图像通道间变量的相关信息, 对单个像素进行无监督聚类, 量化图像的光谱特性[29].
根据巡检工人的经验, 正常熔炼工况与欠烧工况在可视化特征上的差异主要体现在火焰高亮区域的面积、炉口火焰的颜色、火焰的亮度随时间变化的规律上. 为减少在图像特征提取时的计算时间及图像背景区域的干扰, 本文直接利用MIA分割出炉口火焰区域, 再提取图像的特征信息, 这样做能够在损失较少图像信息的前提下降低图像矩阵的维度[30], 从而减少运算时间. 鉴于篇幅所限, 以下简要介绍特征提取方法, 详细步骤参考文献[7, 31].
算法1. 基于MIA的图像特征提取.
1)根据RGB强度将彩色图像转换为三维矩阵.
2)将三维矩阵展开为二维矩阵, 每一列表示一个通道.
3)通常情况下, 彩色图像的三个主成分中的前两个能够解释彩色图像中原始数据的大部分可变性[32]. 因此, 利用PCA (Principal component analysis)对原始图像进行降维重构.
4)绘制得分图、得分密度图, 根据其分割炉口火焰区域.
5)根据得分图与得分密度图, 将图像量化为二进制方阵.
6)根据方阵的统计特征, 设计特征计算公式, 最终得到以下7个图像特征: 火焰区域面积、火焰亮度、火焰亮度的一致性、不发光区域的平均亮度、整个图像的平均颜色、火焰发光区域的平均颜色、火焰区域中出现的颜色总数.
上述操作从每一帧炉口火焰的图像提取7个特征. 最后, 请有经验的操作工人对一部分图像进行工况标记.
3. 基于熵正则化的特征融合方法
3.1 熔炼电流数据的分布
采集的电熔镁炉熔炼电流为插入熔池的三相电极的电流值, 它可迅速反映出当前工况状态的变化. 图2所示为含有欠烧工况的某生产炉次的三相熔炼电流采样数据的分布图, 数据分布分为两个部分: 右上角稠密聚集的一簇和其余稀疏分布的部分. 对照与电流数据同一时间的生产过程图像的工况状态, 右上角稠密的一簇数据对应于正常工况, 其余的稀疏部分则对应于非正常工况. 可以想象两类电流数据可由一个二维平面予以分隔. 需要指出, 欠烧工况的电流数据只是非正常工况中的一个子集.
基于上述分析, 本文期望对无标记电流数据分布的特点加以利用, 以提高基于图像的工况分类的快速性和准确性. 提出的特征融合思路是: 对于在图像样本中存在难以准确分类的情况, 如过渡期和早期欠烧工况下图像特征尚不明显时, 参考与之同时刻的电流样本, 在分类器的训练过程中使得决策界面尽量通过该电流样本中的稀疏区域.
3.2 图像与电流的联合数据的构造
电熔镁炉生产电流与图像特征均能反映工况信息, 但电流更为敏感快速, 图像存在滞后; 特征空间上, 前者类间稀疏, 后者类间重叠严重. 对二者的融合, 本质上是对特征向量的升维, 电流特征的加入可以提高类间距离及空间可分性. 从生产工艺上看, 两类特征之间存在耦合, 但根据目前的工艺知识还无法定量分析.
在图像特征样本的基础上, 通过增加电流特征构造联合数据. 每个联合特征数据样本, 是将经MIA步骤提取的7维图像特征向量与3维电流特征串联, 构成的10维扩展特征数据. 设样本总量为
$ n\ , $ 则得到的扩展样本总体为$n \times d$ 维样本矩阵${{X}} = ({{x}}_i^{\rm{T}})^{\rm{T}}_{i \in [n]}$ . 不失一般性, 根据${{x}}_i^V$ 的标记重排顺序, 得到如下式所示的联合数据.$$\begin{split} &{{X}} = \begin{bmatrix} {{X}}^C_l & {{X}}^V_l \\ {{X}}^C_u & {{X}}^V_u \\ \end{bmatrix} = \\ &\left( \begin{array}{ccc|ccc} {x}_1^{(1)} & \cdots & {x}_{d_1}^{(1)} & {x}_{d_1+1}^{(1)} & \cdots & {x}_{d}^{(1)} \\ \vdots & \cdots & \vdots & \vdots & \cdots & \vdots \\ {x}_1^{(n_l)}& \cdots & {x}_{d_1}^{(n_l)}& {x}_{d_1+1}^{(n_l)} & \cdots & {x}_{d}^{(n_l)}\\ \hline {x}_1^{(n_l+1)} & \cdots & {x}_{d_1}^{(n_l+1)} & {x}_{d_1+1}^{(n_l+1)} & \cdots & {x}_{d}^{(n_l+1)} \\ \vdots & \cdots & \vdots & \vdots & \cdots & \vdots \\ {x}_1^{(n)}& \cdots & {x}_{d_1}^{(n)} & {x}_{d_1+1}^{(n)} & \cdots & {x}_{d}^{(n)}\\ \end{array} \right) \end{split} $$ (1) 其中,
$ x_i^{(j)} $ 表示第$ j $ 个样本的第$ i $ 个特征,$d_1 = 7,$ $d_2 = 3,$ $ d = d_1+d_2 = 10 $ .上述过程为特征级早期融合方法中的串接(Concatenation)操作, 其目的是为了将具有较强互补性的两个特征结合起来. 为此构造如图3所示的例子说明升维的目的. 图中,
${{XY}}$ 平面的两类二维数据点部分重叠, 因此仅在${{XY}}$ 空间很难找到一个决策界面将其分隔开. 然而, 如果将其提升到三维空间, 明显能观察到升维后的数据类间距增大, 更容易将其分隔开. 通过升维, 我们期望在高维特征空间中更容易找到一个超平面将异常工况区分处理. 此外, 具有较大类间隔空间分布的电流特征能够“指导”不易分类的图像特征进行分类, 降低了扩展特征数据类间密度, 使得分类效果更好.3.3 基于熵正则化的目标函数
在实际工业过程中, 约80%的图像数据是无标记的, 且直接利用无标记的图像数据较为困难. 如前所述, 熔炼电流表现出与工况相关的分布特性. 为利用这一特性, 本文采用半监督学习框架来设计分类器, 尽管电流是完全无标记的, 但是通过堆叠构造联合数据样本后, 未标记的电流样本分布特性将传导到相对应的图像样本. 通过目标函数设计, 期望电流样本能够引导基于图像的学习器训练尽可能选择穿过低密度区域的决策面[33]. 为此, 在将图像特征与电流特征融合后, 利用电流数据分布稀疏性的特点, 选用基于低密度分离的算法来提升分类器性能.
本文将采用Grandvalet等提出的熵正则化[33]方法. 该方法通过计算无标记样本的香农条件熵作为类重叠程度的度量, 进而在最大后验估计框架下将上述条件熵以正则化项的形式引入到风险函数中, 从而迫使决策边界从低密度区域穿过. Grandvalet等提出的目标函数采用如下形式:
$$ C({{\theta}},\;\lambda;\; {\cal{L}}_n) = L({{\theta}};\; {\cal{L}}_n) - \lambda H({{y}}|{{x}},\;h = 1) $$ (2) 其中,
$L({{\theta}} ;\; {\cal{L}}_n)$ 为对于数据$ {\cal{L}}_n $ 的分类器对数似然估计函数;$H ({{y}}|{{x}},\;h = 1 )$ 为无标记样本的香农条件熵.对于本文所讨论的实际问题, 由于特征空间由图像特征
${{x}}^V$ 和电流特征${{x}}^C$ 组成, 式(2)并不能直接应用. 为此, 首先将特征写成分解形式${{x}} = ({{x}}^V,\;{{x}}^C)$ , 模型参数也作相应的分解写成${{ \theta}} = ({{\theta}}_1^{\rm{T}},\; {{\theta}}_2^{\rm{T}})^{\rm{T}}$ , 则有如下分解形式:$$ \begin{split} C({{\theta}},\;\lambda_1,\;\lambda_2; \;{\cal{L}}_n) & = L({{\theta}};\; {\cal{L}}_n) - \lambda_1 H({{y}}|{{x}}^V,\;h = 1) -\\ & \quad \lambda_2 H({{y}}|{{x}}^C,\;h = 1) \\[-10pt]\end{split} $$ (3) 上式中, 目标函数包含两部分熵正则化项, 分别对应图像和电流特征空间. 为化简, 首先将上式右侧第三项利用式(1)进行升维, 即将电流特征
${{x}}^C$ 与相应的图像特征${{x}}^V$ 串接. 由于这两类特征分处不同子空间, 且均只与当前工况${{y}}$ 相关, 可以认为${{x}}^V$ 和${{x}}^C$ 本身是相互独立的. 因此, 利用条件熵的定义, 式(3)中右侧第三项的电流样本条件熵可以表示为联合样本条件熵与子空间样本条件熵的差:$$ \begin{split} H({{y}}|{{x}}^C,\;h \!=\! 1) =\;& \!\!-\!\underset{({{x}}^C,\;{{y}})} {{ {\rm{E}}}} \!\log P_{{{y}}|{{x}}^C}({{y}}|{{x}}^C,\;h \!=\! 1)\!=\! -\\ & \underset{({{x}},\;{{y}})}{{ {\rm{E}}}} \log P_{{{y}}|{{x}}}({{y}}|{{x}},\;h = 1)+\\ & \underset{({{x}}^V,\;{{y}})}{{ {\rm{E}}}} \log P_{{{y}}|{{x}}^V}({{y}}|{{x}}^V,\;h = 1)=-\\ \; &\!\! H({{y}}|{{x}},\;h = 1) \!+\! H({{y}}|{{x}}^V,\;h \!=\! 1) \end{split} $$ (4) 将式(4)代入到式(3), 且选择正则化控制系数
$ \lambda_1 = \lambda_2 $ 与$ \lambda = \lambda_2 $ , 得到:$$ \begin{split} &C({{\theta}},\;\lambda_1,\;\lambda_2; \;{\cal{L}}_n) = L({{\theta}};\; {\cal{L}}_n) \;-\\ & \quad (\lambda_1-\lambda_2) H({{y}}|{{x}}^V,\;h = 1) -\lambda_2 H({{y}}|{{x}},\;h = 1)=\\ &\quad L({{\theta}};\; {\cal{L}}_n) - \lambda H({{y}}|{{x}},\;h = 1) \\[-10pt]\end{split} $$ (5) 由于融合特征的标记是图像数据传导过来的, 因此上式第一项可以看作图像数据的小样本有监督学习, 而融合进去的电流特征是为第二项设计的. 由前期实验可知, 图像特征的单特征分类效果不好, 因此本文希望只考虑电流, 即通过选择正则化控制系数
$ \lambda_1 = \lambda_2 $ , 从而只保留电流特征样本的正则化项. 最终将上式简化为与Grandvalet等给出的目标函数(式(2))相同形式的熵正则化目标函数.4. 半监督分类器的训练
定义本文所用到的数据集
${\cal{L}}_n = \{ ({{x}}_1,\;y_1),\cdots, $ $ ({{x}}_{n_l},\;y_{n_l}), \;{{x}}_{n_l+1},\cdots,\;{{x}}_{n}\}$ , 其中, 前$ n_l $ 个数据带标记, 后$ n_u = n - n_l $ 个数据未标记. 利用样本分布来近似目标函数式(5)中的条件熵[33], 得到最大值目标函数:$$ \begin{split} C({{\theta}} ,\;\lambda ;\;{{{\cal{L}}}_{n}}) =\;& L({{\theta}} ;\;{{{\cal{L}}}_{n}})-\lambda {{H}_{\text{emp}}}(y|{{x}} ,\;h = 1;\;{{{\cal{L}}}_{n}})= \\ & \sum\limits_{i = 1}^{n_l}{\ln P({{y}_{i}}|{{{{x}} }_{i}};\;{{\theta}} )} \;+\\ & \!\! \lambda \sum\limits_{i = n_l+1}^{n}{\sum\limits_{m = 0}^{1}{P(m|{{{{x}} }_{i}};\;{{\theta}} )\ln }}P(m|{{{{x}} }_{i}};\;{{\theta}} ) \end{split} $$ (6) 其中,
$ m $ 表示类别;$ h $ 为标志变量, 标记缺失时为1, 否则为0;$H_{{\rm{emp}}}$ 为通过经验估计的香农条件熵, 其越小代表类重叠度越小, 数据密度越低. 由于条件熵只与未标记数据有关, 因此将$ h = 1 $ 作为条件. 至此, 已经在形式上将双特征融合的工况识别问题转化为以式(6)为目标函数的半监督学习问题.4.1 确定性退火EM算法
由于式(6)右侧两项在
$P(m | {{x}};\;{{\theta}})$ 通常是非凸的, 基于梯度下降的方法难以获得最优解. 对于这个问题, 文献[22]提出采用确定性退火EM (Expectation-maximization)算法求解. 确定性退火EM[34]是EM算法的简单泛化. 令$ T = 1 - \lambda $ 为模拟温度, 从“高温”时的解开始, 通过逐渐增大$ \lambda $ 来计算全局最优解. 每一步迭代中的优化子问题利用迭代重加权最小二乘法(Iterative reweighted least squares, IRLS)[35]求解.4.2 基于交叉熵方法的优化算法
当问题的规模较大时, 确定性模拟退火EM算法存在迭代收敛慢、计算代价大的问题. 这是因为每步迭代均需要计算高维矩阵的乘法及其逆矩阵, 将耗费大量计算时间. 此外, 本文构造的目标函数中包含大量幂指数形式的函数. 针对以上问题, 本文提出采用交叉熵方法[36], 据此设计了半监督分类器的学习算法(Cross entropy method-entropy regularization, CEM-ER), 有效提高训练效率. 需要指出的是, 本文方法获得的训练速度的提升, 得益于交叉熵优化方法对于幂指数形式的目标函数可获得最优解析解, 从而避免在每步迭代过程中的复杂计算过程. 而本文提出的训练算法依赖于逻辑回归(Logistic regression, LR)作为内嵌学习器, 这一加速训练方法并不能用于其他形式的目标函数.
交叉熵方法源于基于方差最小化的用于稀有事件仿真的自适应算法, 对其简单修改还可以用于解决复杂的组合优化问题及连续多极值问题[37]. CEM已被证明是快速且在某些定义明确的数学意义上是“最优的”[38-39].
CEM将本文的最大值优化问题:
$$ C({{{\theta}} ^*}) = {\gamma ^*} = \mathop {\max }\limits_{{{\theta}} \in \varTheta } \;C({{\theta }}) $$ (7) 与稀有事件的概率估计问题联系起来, 然后使用重要性采样(Importance sampling, IS)、蒙特卡洛模拟等手段求取最优解. 基于CEM-ER的半监督算法步骤可被总结如下, 详情可见文献[36].
算法2. 基于CEM-ER的半监督算法.
1)初始化各个超参数, 并置当前迭代步数
$ t = 1. $ 2)利用高斯分布概率密度函数生成
$ N $ 个数据样本.3)计算目标函数
$C({{\theta}} _1),\cdots,\;C({{\theta}}_N)$ 并排序, 定义其中最大的$N^{{\rm{elite}}}$ 个样本作为精英样本集.4)置
$ t = t + 1 $ , 并利用精英样本集平滑地更新高斯分布的均值与方差.5)当方差小于某一阈值
$ \varepsilon $ , 或者迭代次数达到最大次数$t_{{\rm{max}}}$ 时, 停止迭代. 否则, 返回步骤2).6)在迭代结束后, 高斯分布的均值即为逻辑回归的权重参数.
5. 仿真实验与讨论
5.1 仿真数据测试
为进一步比较特征融合前后的分类效果, 本文使用ER、
${\rm{S}} ^3$ VM、Self-training (Sf-T)三种算法对图3中的仿真数据进行测试, 对比结果如图4. 其中在${{XY}}$ 平面的直线为仅考虑二维数据情况下获得的决策界面. 可见, 特征融合之后类间隔增大, 决策面清晰, 分类准确率较特征融合前有很大提升.
图 4 特征融合前后分类实验结果对比Fig. 4 Comparison of classification experiment results before and after feature fusion此外, 基于低密度分离的半监督分类算法假设类被很好地分离, 这样才能使得决策边界在特征空间中处于一个低密度区域, 不需要经过密集的未标记数据. 如果这个假设不成立, 这些算法可能会计算出极其错误的决策边界. 为测试本文算法在违反上述假设情况下的鲁棒性, 按以下原则生成数据: 低密度区域并不对应于真正的决策边界, 并将其与分类性能优异的
$ {\rm{S}}^3 $ VM算法进行比较, 结果如图5.图5中左右两半部分对应两类数据点, 低密度区域垂直于真正的决策平面. 从图5可以看到,
${\rm{S}}^3$ VM对低密度区域极其敏感, 而ER在假设不成立情况下仍表现出较好鲁棒性, 准确率是${\rm{S}}^3$ VM的两倍.5.2 公开数据集测试
本节使用UCI (University of California, Irvine)数据集中的8个二分类数据集对分类器准确率与训练速度进行测试. 8个数据集为Bupa、Blood、Haberman、Ionoaphere、Sonar、Statlog、Tic-tac-toe、WBC, 为了简洁, 将在后文的实验结果中以数字1至8代替.
本文对比算法包括经典的半监督学习算法: 自训练模型(Self-training, Sf-T)、半监督支持向量机(S3VM)、协同训练模型(Co-training, Co-T), 此外还包括近几年提出的对比悲观似然估计(Contrastive pessimistic likelihood estimation, CPLE)[40]和阶梯网络(Ladder networks, LaN)[41]. 其中, CPLE算法是由Loog提出的新的半监督学习框架, 它的基本思想是“对比”半监督算法的性能不低于基于部分标记数据的监督算法性能, 采用“悲观”原则考虑未标记数据分配的软标签与实际值相差甚远为最差情况, 进而将“对比悲观”原则通过“约束”的形式引入到学习过程中. CPLE采用生成模型和基于似然估计的风险函数框架, 其适用性较广, 且与本文思想相对接近. LaN算法为采用深度学习的代表性半监督学习算法, 它以自编码器为框架, 由两个编码器、一个解码器组成. 由于监督学习、无监督学习对数据处理方式不同, LaN通过设计两条网络分支将监督任务相关的信息和无关的信息尽可能地分开, 利用两个分支间隐变量的差异构造损失函数. 由于该算法不依赖卷积网络, 因此适用于本文实验数据集. 在下文的测试中, 为便于对比, 包装类算法的内部算法均采用逻辑回归; 为保持实验一致性, 对基于生成模型提出的CPLE算法进行调整, 以适应内部的逻辑回归; LaN算法的网络参数随数据集规模调整.
设置实验数据处理方式如下: 数据集按7 : 3划分为训练集、测试集; 按 97%、95%、92%、90%、80%、60%的不同比例设置无标记数据样本集, 其中无标记样本随机选取, 且样本集之间有重叠; 训练集与测试集数据从整体样本中随机选取并运行算法10次, 且每次运行均重新随机划分数据集, 最后取平均准确率.
5.2.1 分类器准确率比较
表 1 分类准确率结果比较(97%与95%无标记占比)Table 1 Comparison of classification accuracy (97% and 95% unlabeled)数据 无标记占比: 97% 无标记占比: 95% CEM-ER Sf-T S3VM Co-T CPLE LaN CEM-ER Sf-T S3VM Co-T CPLE LaN 1 $56.8{\pm4.2}$ $53.8{\pm6.8}$ $52.2{\pm5.7}$ $49.7{\pm6.3}$ $56.0{\pm3.0}$ $52.3{\pm4.7}$ $59.9{\pm5.7}$ $48.0{\pm7.8}$ $50.5{\pm5.8}$ $50.8{\pm8.0}$ $53.7{\pm3.6}$ $53.9{\pm5.8}$ 2 $63.2{\pm15.0}$ $65.5{\pm20.0}$ $50.2{\pm16.0}$ $64.8{\pm21.0}$ $75.7{\pm3.6}$ $57.5{\pm16.0}$ $64.0{\pm8.1}$ $50.6{\pm22.0}$ $49.9{\pm13.0}$ $60.9{\pm13.0}$ $76.1{\pm2.3}$ $60.5{\pm11.0}$ 3 $51.9{\pm9.0}$ $51.7{\pm12.0}$ $52.7{\pm13.0}$ $41.2{\pm13.0}$ $28.5{\pm3.3}$ $53.0{\pm10.1}$ $62.3{\pm7.7}$ $60.1{\pm17.0}$ $53.6{\pm11.0}$ $56.2{\pm9.8}$ $30.9{\pm3.5}$ $58.8{\pm8.8}$ 4 $72.9{\pm6.4}$ $61.3{\pm16.0}$ $69.7{\pm6.7}$ $59.1{\pm12.0}$ $60.9{\pm3.8}$ $45.0{\pm7.5}$ $73.2{\pm11.0}$ $57.6{\pm13.0}$ $75.7{\pm9.2}$ $65.7{\pm11.0}$ $35.8{\pm11.0}$ $47.5{\pm10.0}$ 5 $57.9{\pm5.9}$ $51.8{\pm8.3}$ $56.7{\pm8.3}$ $57.3{\pm8.0}$ $45.7{\pm8.8}$ $52.7{\pm6.6}$ $58.9{\pm4.8}$ $52.5{\pm11.0}$ $57.8{\pm9.0}$ $56.4{\pm10.0}$ $47.6{\pm4.2}$ $52.5{\pm6.5}$ 6 $67.2{\pm9.7}$ $67.8{\pm12.0}$ $70.1{\pm8.7}$ $69.8{\pm16.0}$ $42.7{\pm5.3}$ $54.7{\pm9.8}$ $62.1{\pm5.0}$ $60.9{\pm8.9}$ $71.4{\pm5.1}$ $75.7{\pm6.3}$ $46.4{\pm4.4}$ $57.7{\pm7.5}$ 7 $53.5{\pm5.8}$ $51.0{\pm7.0}$ $56.9{\pm3.0}$ $52.4{\pm4.6}$ $61.1{\pm1.3}$ $47.8{\pm6.0}$ $50.0{\pm4.2}$ $51.7{\pm4.6}$ $57.6{\pm6.0}$ $49.7{\pm2.2}$ $62.2{\pm1.2}$ $52.0{\pm5.2}$ 8 $93.1{\pm1.5}$ $96.2{\pm1.6}$ $96.6{\pm1.4}$ $94.1{\pm1.7}$ $68.8{\pm 5.3}$ $89.5{\pm1.8}$ $94.0{\pm1.0}$ $96.5{\pm1.3}$ $96.3{\pm1.2}$ $93.7{\pm1.5}$ $70.7{\pm4.8}$ $89.7{\pm1.5}$ 平均 64.56 62.38 63.14 61.01 54.93 56.56 65.54 59.73 64.08 63.61 52.91 59.07 表 3 分类准确率结果比较(80%与60%无标记占比)Table 3 Comparison of classification accuracy (80% and 60% unlabeled)数据 无标记占比: 80% 无标记占比: 60% CEM-ER Sf-T S3VM Co-T CPLE LaN CEM-ER Sf-T S3VM Co-T CPLE LaN 1 $65.1{\pm5.5}$ $47.8{\pm8.8}$ $50.9{\pm5.5}$ $45.5{\pm6.3}$ $59.0{\pm2.8}$ $56.7{\pm6.1}$ $63.7{\pm3.6}$ $55.7{\pm5.9}$ $49.8{\pm6.6}$ $52.9{\pm4.3}$ $56.6{\pm3.3}$ $58.7{\pm4.6}$ 2 $64.9{\pm3.9}$ $50.2{\pm13.0}$ $64.9{\pm8.0}$ $71.7{\pm6.8}$ $72.2{\pm1.9}$ $68.0{\pm7.0}$ $68.8{\pm4.3}$ $53.2{\pm5.4}$ $65.9{\pm3.5}$ $72.1{\pm5.4}$ $67.6{\pm2.6}$ $71.6{\pm4.8}$ 3 $66.4{\pm8.0}$ $50.8{\pm19.0}$ $59.8{\pm9.7}$ $58.4{\pm10.0}$ $34.7{\pm2.7}$ $67.4{\pm8.5}$ $64.4{\pm7.2}$ $44.1{\pm23.0}$ $62.6{\pm11.0}$ $58.6{\pm7.5}$ $39.2{\pm19.0}$ $69.6{\pm8.9}$ 4 $80.8{\pm3.0}$ $68.5{\pm3.9}$ $83.8{\pm4.4}$ $74.9{\pm8.1}$ $39.5{\pm13.0}$ $67.9{\pm4.7}$ $81.6{\pm2.8}$ $73.7{\pm3.0}$ $85.9{\pm3.0}$ $83.9{\pm4.9}$ $67.5{\pm20.0}$ $77.4{\pm3.1}$ 5 $60.0{\pm7.4}$ $61.6{\pm8.0}$ $70.5{\pm7.2}$ $66.8{\pm5.7}$ $54.6{\pm6.8}$ $57.1{\pm7.2}$ $66.5{\pm5.8}$ $61.9{\pm7.6}$ $73.0{\pm6.7}$ $72.4{\pm6.8}$ $58.1{\pm7.7}$ $58.7{\pm6.4}$ 6 $76.3{\pm2.7}$ $71.0{\pm3.6}$ $78.2{\pm5.4}$ $80.0{\pm2.9}$ $52.4{\pm8.8}$ $71.6{\pm6.1}$ $81.0{\pm2.9}$ $76.1{\pm4.2}$ $82.8{\pm4.8}$ $83.0{\pm3.9}$ $64.6{\pm6.8}$ $80.3{\pm4.8}$ 7 $59.7{\pm2.2}$ $34.7{\pm3.5}$ $60.4{\pm3.1}$ $51.4{\pm4.2}$ $65.3{\pm2.7}$ $55.6{\pm3.2}$ $61.1{\pm2.1}$ $36.8{\pm3.9}$ $61.5{\pm2.8}$ $58.3{\pm2.5}$ $64.2{\pm3.0}$ $56.9{\pm2.9}$ 8 $96.0{\pm1.0}$ $96.7{\pm1.2}$ $96.8{\pm1.3}$ $96.2{\pm1.4}$ $80.4{\pm9.3}$ $96.2{\pm1.9}$ $95.9{\pm1.0}$ $96.7{\pm1.0}$ $96.9{\pm0.8}$ $96.8{\pm1.0}$ $90.6{\pm3.1}$ $97.1{\pm1.0}$ 平均 71.15 60.15 70.64 68.11 57.26 67.57 72.86 62.28 72.29 72.24 63.56 71.27 表 2 分类准确率结果比较(92%与90%无标记占比)Table 2 Comparison of classification accuracy (92% and 90% unlabeled)数据 无标记占比: 92% 无标记占比: 90% CEM-ER Sf-T S3VM Co-T CPLE LaN CEM-ER Sf-T S3VM Co-T CPLE LaN 1 $59.1{\pm5.5}$ $51.3{\pm8.9}$ $48.2{\pm7.1}$ $49.0{\pm6.5}$ $56.7{\pm2.8}$ $53.4{\pm6.6}$ $61.1{\pm5.6}$ $48.4{\pm9.0}$ $47.4{\pm7.1}$ $47.3{\pm5.7}$ $58.4{\pm4.6}$ $53.8{\pm5.8}$ 2 $65.6{\pm7.7}$ $50.1{\pm21.0}$ $58.1{\pm15.0}$ $72.6{\pm11.0}$ $73.7{\pm1.6}$ $63.1{\pm9.5}$ $64.7{\pm5.5}$ $49.4{\pm15.0}$ $58.2{\pm11.0}$ $72.2{\pm4.2}$ $77.9{\pm2.3}$ $65.8{\pm6.5}$ 3 $60.3{\pm8.4}$ $53.8{\pm23.0}$ $61.7{\pm11.0}$ $51.7{\pm11.0}$ $28.2{\pm3.0}$ $52.4{\pm8.8}$ $62.0{\pm10.0}$ $44.4{\pm13.0}$ $56.3{\pm6.7}$ $56.9{\pm10.4}$ $27.5{\pm3.5}$ $57.6{\pm7.8}$ 4 $73.3{\pm11.0}$ $61.8{\pm13.0}$ $82.7{\pm9.5}$ $68.4{\pm10.0}$ $38.5{\pm11.0}$ $57.8{\pm11.0}$ $78.4{\pm10.0}$ $57.5{\pm19.0}$ $80.7{\pm6.9}$ $72.2{\pm4.4}$ $37.6{\pm6.6}$ $64.2{\pm9.5}$ 5 $57.1{\pm6.5}$ $56.7{\pm8.6}$ $65.7{\pm8.0}$ $56.7{\pm8.4}$ $47.3{\pm9.7}$ $51.1{\pm8.5}$ $59.5{\pm6.8}$ $54.3{\pm7.0}$ $66.7{\pm9.9}$ $58.7{\pm9.2}$ $48.4{\pm4.8}$ $55.6{\pm8.7}$ 6 $70.4{\pm5.0}$ $66.9{\pm8.5}$ $77.4{\pm3.5}$ $79.8{\pm5.2}$ $44.7{\pm7.8}$ $58.5{\pm6.5}$ $71.0{\pm4.2}$ $71.1{\pm4.7}$ $78.6{\pm4.6}$ $80.5{\pm6.2}$ $50.2{\pm8.5}$ $65.4{\pm5.5}$ 7 $54.2{\pm4.3}$ $49.3{\pm4.5}$ $51.7{\pm6.0}$ $51.4{\pm2.5}$ $65.6{\pm2.1}$ $54.2{\pm5.8}$ $58.2{\pm3.3}$ $49.9{\pm4.5}$ $59.0{\pm3.5}$ $57.6{\pm4.7}$ $61.4{\pm3.3}$ $54.9{\pm4.7}$ 8 $94.1{\pm1.3}$ $96.4{\pm1.5}$ $96.2{\pm2.0}$ $94.9{\pm1.9}$ $70.2{\pm4.6}$ $91.9{\pm1.9}$ $95.7{\pm1.3}$ $97.2{\pm1.4}$ $96.8{\pm1.1}$ $96.0{\pm1.5}$ $69.1{\pm3.0}$ $95.7{\pm2.2}$ 平均 66.76 60.77 67.74 65.56 53.11 60.30 68.82 59.00 67.96 67.68 53.79 64.12 从结果可以看出, 除92%无标记占比情况外, 本文提出的算法在另外5种无标记占比情况下对8组数据集的平均准确率最高, 实验稳定性好.
${\rm{S}}^3$ VM表现几乎相当, 但鲁棒性不及本文算法; CPLE的性能不够稳定, 在个别数据集上的准确率极好或者极差, 这是因为CPLE倾向于考虑“悲观”情况; 另外, 由于数据集复杂度不高, 未能体现出LaN算法的优势.为更全面地评估分类器性能差异, 增加了Friedman 检验与Nemenyi后续检验. 对6种无标记比例情况的Friedman检验与Nemenyi后续检验图如图6所示.
实验结果表明: 从平均序值上看, 本文算法能够达到
${\rm{S}}^3$ VM同样的分类性能, 且略优于其他算法. 但是, 在Friedman检验与Nemenyi后续检验时仅考虑不同分类器在同一数据集上分类性能的排序, 而非具体分类精度, 因此参考性有限.5.2.2 分类器训练速度比较
利用UCI数据集对基于CEM的优化算法与确定性退火EM算法进行比较, 结果如表4所示(以秒为单位).
表 4 分类器训练速度比较(UCI数据集)Table 4 Comparison of classifiers′ training speed (UCI dataset)数据集 无标记 97% 无标记 95% 无标记 92% 无标记 90% 无标记 80% 无标记 60% ER CEM-ER ER CEM-ER ER CEM-ER ER CEM-ER ER CEM-ER ER CEM-ER Bupa 6.94 1.77 6.95 1.77 6.73 1.71 6.94 1.73 7.17 1.75 7.12 1.79 Blood 20.06 2.34 20.31 2.36 20.22 2.41 20.16 2.45 20.14 2.36 19.44 2.47 Haberman 8.31 2.55 7.58 2.25 7.28 1.92 7.66 2.27 6.31 2.27 6.97 1.91 Ionosphere 9.16 1.92 8.98 1.80 7.59 2.22 8.98 2.55 8.63 1.80 7.95 1.80 Sonar 6.19 2.25 5.05 1.83 5.16 1.80 5.67 1.92 5.23 1.86 5.55 1.70 Statlog (Heart) 6.19 2.16 6.05 1.89 5.81 2.05 5.97 1.86 6.31 1.77 5.64 1.81 Tic-tac-toe 31.00 2.97 28.75 2.88 20.03 2.89 30.14 3.11 32.36 3.08 32.58 3.20 WBC 28.66 5.16 21.76 3.02 21.58 2.78 19.69 2.56 20.91 2.56 16.45 2.64 平均值 14.56 2.64 13.18 2.22 11.80 2.22 13.15 2.31 13.38 2.18 12.71 2.17 从结果可以看出: 在所有情况下, 本文提出的基于交叉熵的训练算法, 提速效果明显(尤其对于数据量较大的数据集), 平均速度提升在81%左右.
6. 电熔镁炉工业生产数据测试
本节将基于熵正则化的半监督分类算法应用于辽宁省营口市大石桥某电熔镁炉生产企业的现场数据. 将本文结构与其他方法进行对比, 涉及的分类器为基于图像的半监督分类器
$\phi_v^{{\rm{SSL}}}$ 、基于联合特征的半监督分类器$\phi_{vc}^{{\rm{SSL}}}$ 、基于图像的监督分类器$\phi_{v}^{{\rm{SL}}}$ 、基于电流的监督分类器$\phi_{c}^{{\rm{SL}}}$ . 监督分类器中完全标记的图像与电流数据, 分别取自原样本集中部分标记的图像数据与同一时刻继承了图像标记的电流数据; 半监督与监督分类器的训练算法分别为本文提出的CEM-ER与逻辑回归(LR)算法.6.1 欠烧工况识别准确性
为体现特征融合对分类准确率的提升, 将算法应用于部分标记的图像特征数据并进行比较. 选取带标记的图像与电流特征融合数据1341组, 以及相同数量的图像特征数据. 数据集的划分与第5节相同, 实验结果如表5. 从表中结果可以看出: 特征融合后的分类准确率较特征融合前提升30%左右. 根据前文所述, 在对现场特征数据融合及标签处理后, 约80%的数据为无标记数据, 此时的实验准确率为94.30%, 具有较好的实用潜力.
表 5 电熔镁炉生产数据实验结果Table 5 Experimental results of fused magnesium furnace production data无标记占比 $\phi_v^{{\rm{SSL}}}$准确率 $\phi_{vc}^{{\rm{SSL}}}$准确率 准确率提升 97% 66.72% 86.77% 30.05% 95% 67.79% 91.84% 35.49% 92% 70.72% 93.01% 31.51% 90% 71.67% 93.98% 31.14% 80% 72.86% 94.30% 29.43% 60% 74.00% 94.68% 27.93% 同时, 考虑针对图像与电流标记数据的监督分类(逻辑回归)准确率, 结果为
$\phi_{v}^{{\rm{SL}}}$ 是 65.09%,$\phi_{c}^{{\rm{SL}}}$ 是92.31%,$\phi_{vc}^{{\rm{SSL}}}$ 是 94.30%. 可以看出本文算法准确率较基于图像的监督分类准确率有很大提升, 同时也略高于基于电流的监督分类准确率.6.2 过渡态工况识别准确性
由前文可知, 电熔镁炉欠烧工况的标记来源于工人基于图像的判断. 过渡状态下的工况, 由于图像特征并不显著, 如果仅采用基于图像的半监督学习方法, 不易准确地辨识过渡状态下得到的图像. 这种情况下, 引入电流信息可以在一定程度上改善对于过渡态图像的辨识准确性. 为说明这一点, 从总体样本中选取了部分过渡态样本, 测试集的预期类别由多名有经验的操作工人通过投票方式判断. 然后, 利用分类器对无标记的过渡态图像样本进行分类测试. 测试算法除了本文提出的算法, 还有上文提到的 Sf-T、
${\rm{S}} ^3 $ VM、Co-T、CPLE、LaN, 测试结果见表6. 由结果可以发现: 本文提出的算法与CPLE、LaN的准确率在50$ \pm $ 1%; 其他经典算法的准确率在47$ \pm $ 1%. 测试结果间接地反映出本文特征融合思想的必要性与优势.表 6 过渡态样本准确率测试Table 6 Accuracy of the test on transition state samples无标记占比 CEM-ER Sf-T ${\rm{S}}^3$VM Co-T CPLE LaN 97% 52.22% 48.89% 48.89% 46.67% 50.00% 49.53% 95% 50.00% 49.17% 47.78% 48.61% 50.00% 49.07% 92% 48.33% 47.50% 47.78% 46.94% 50.00% 50.00% 90% 49.72% 48.61% 50.83% 49.17% 50.00% 54.17% 80% 50.83% 45.00% 48.33% 47.50% 50.00% 50.27% 60% 52.22% 50.56% 50.83% 46.39% 50.00% 50.92% 6.3 基于不同拍摄角度视频的欠烧工况识别准确性
为检验分类器在改变工业摄像机摆设位置、环境中存在烟雾干扰等情形下的鲁棒性, 还准备了一些具有不同拍摄角度的电熔镁炉图像数据, 如图7, 并对这些图像样本进行ROI提取、MIA特征提取与人工标记. 同时, 为这些视频数据匹配具有相同标记的电流样本以组成联合特征, 并作为测试集用事先训练好的分类器测试. 准确性测试结果见表7. 通过与分类器原始准确率进行对比得出, 设计训练出的分类器鲁棒性较好, 外界干扰对分类效果的影响不大.
表 7 分类器鲁棒性测试结果Table 7 Classifier robustness test results无标记占比 原准确率 新测试集准确率 97% 86.77% 84.06% 95% 91.84% 86.63% 92% 93.01% 88.32% 90% 93.98% 89.75% 80% 94.30% 91.02% 60% 94.68% 91.14% 6.4 分类器训练速度
为测试本文算法的效率, 基于电熔镁炉数据, 对比了基于确定性模拟退火的ER算法和本文提出的CEM-ER算法的训练时间, 结果见表8 (以秒为单位). 同时, 比较了熵正则化的传统优化算法与交叉熵方法的准确率, 结果见表9.
表 8 分类器训练速度测试(生产数据)Table 8 Comparison of classifiers′ training speed (production data)无标记占比 ER CEM-ER 速度提升 97% 94.57 4.12 95.64% 95% 86.63 4.06 95.31% 92% 83.92 4.15 95.05% 90% 73.48 4.18 94.31% 80% 59.47 4.24 92.87% 60% 15.21 4.39 71.14% 表 9 优化算法准确率对比测试结果Table 9 Comparison of accuracy in different optimization algorithms无标记占比 ER CEM-ER 97% 88.33% 92.04% 95% 89.62% 90.80% 92% 91.00% 93.11% 90% 92.16% 93.16% 80% 93.76% 93.58% 60% 94.50% 94.15% 由两个表格可以看出: 在保证准确率不降低的前提下, 本文提出的基于CEM-ER的半监督分类算法比传统的熵正则化算法快90%以上(当无标记数据占比大于60%时).
7. 结论
欠烧工况是电熔镁炉生产过程中严重的异常工况之一, 及时、准确地识别欠烧工况对于保障生产安全、提高电熔镁砂品质至关重要. 目前的基于电流特征或者熔炼视频的方法仍然存在诸多问题. 基于电熔镁炉生产图像的工况识别方法, 难以准确识别早期工况, 而且不易获得完全标记的样本. 熔炼电流虽然能够更敏感地反映工况变化, 但是由于特征单一、不易标记等原因, 不易作为独立的识别特征.
本文针对电熔镁炉欠烧工况识别这一实际任务, 在半监督学习框架下提出多元特征的融合与训练方法. 本文所提方法, 将具有较强互补性的电流和图像数据特征融合起来, 由对比测试结果可以发现, 该方法能够提高整体分类的准确性.
本文所提出的方法, 对于电熔镁炉生产现场的欠烧工况识别、提高产品质量和改善工人工作环境均有积极意义. 此外, 针对扩展特征的空间构造的结构风险目标函数, 本文提出的基于交叉熵的半监督学习训练算法, 能够大幅度降低计算负载、提高收敛速度; 训练得到的分类器准确率高、鲁棒性好. 该方法也可应用于其他类似问题.
-
图 4 特征融合前后分类实验结果对比
Fig. 4 Comparison of classification experiment results before and after feature fusion
表 1 分类准确率结果比较(97%与95%无标记占比)
Table 1 Comparison of classification accuracy (97% and 95% unlabeled)
数据 无标记占比: 97% 无标记占比: 95% CEM-ER Sf-T S3VM Co-T CPLE LaN CEM-ER Sf-T S3VM Co-T CPLE LaN 1 $56.8{\pm4.2}$ $53.8{\pm6.8}$ $52.2{\pm5.7}$ $49.7{\pm6.3}$ $56.0{\pm3.0}$ $52.3{\pm4.7}$ $59.9{\pm5.7}$ $48.0{\pm7.8}$ $50.5{\pm5.8}$ $50.8{\pm8.0}$ $53.7{\pm3.6}$ $53.9{\pm5.8}$ 2 $63.2{\pm15.0}$ $65.5{\pm20.0}$ $50.2{\pm16.0}$ $64.8{\pm21.0}$ $75.7{\pm3.6}$ $57.5{\pm16.0}$ $64.0{\pm8.1}$ $50.6{\pm22.0}$ $49.9{\pm13.0}$ $60.9{\pm13.0}$ $76.1{\pm2.3}$ $60.5{\pm11.0}$ 3 $51.9{\pm9.0}$ $51.7{\pm12.0}$ $52.7{\pm13.0}$ $41.2{\pm13.0}$ $28.5{\pm3.3}$ $53.0{\pm10.1}$ $62.3{\pm7.7}$ $60.1{\pm17.0}$ $53.6{\pm11.0}$ $56.2{\pm9.8}$ $30.9{\pm3.5}$ $58.8{\pm8.8}$ 4 $72.9{\pm6.4}$ $61.3{\pm16.0}$ $69.7{\pm6.7}$ $59.1{\pm12.0}$ $60.9{\pm3.8}$ $45.0{\pm7.5}$ $73.2{\pm11.0}$ $57.6{\pm13.0}$ $75.7{\pm9.2}$ $65.7{\pm11.0}$ $35.8{\pm11.0}$ $47.5{\pm10.0}$ 5 $57.9{\pm5.9}$ $51.8{\pm8.3}$ $56.7{\pm8.3}$ $57.3{\pm8.0}$ $45.7{\pm8.8}$ $52.7{\pm6.6}$ $58.9{\pm4.8}$ $52.5{\pm11.0}$ $57.8{\pm9.0}$ $56.4{\pm10.0}$ $47.6{\pm4.2}$ $52.5{\pm6.5}$ 6 $67.2{\pm9.7}$ $67.8{\pm12.0}$ $70.1{\pm8.7}$ $69.8{\pm16.0}$ $42.7{\pm5.3}$ $54.7{\pm9.8}$ $62.1{\pm5.0}$ $60.9{\pm8.9}$ $71.4{\pm5.1}$ $75.7{\pm6.3}$ $46.4{\pm4.4}$ $57.7{\pm7.5}$ 7 $53.5{\pm5.8}$ $51.0{\pm7.0}$ $56.9{\pm3.0}$ $52.4{\pm4.6}$ $61.1{\pm1.3}$ $47.8{\pm6.0}$ $50.0{\pm4.2}$ $51.7{\pm4.6}$ $57.6{\pm6.0}$ $49.7{\pm2.2}$ $62.2{\pm1.2}$ $52.0{\pm5.2}$ 8 $93.1{\pm1.5}$ $96.2{\pm1.6}$ $96.6{\pm1.4}$ $94.1{\pm1.7}$ $68.8{\pm 5.3}$ $89.5{\pm1.8}$ $94.0{\pm1.0}$ $96.5{\pm1.3}$ $96.3{\pm1.2}$ $93.7{\pm1.5}$ $70.7{\pm4.8}$ $89.7{\pm1.5}$ 平均 64.56 62.38 63.14 61.01 54.93 56.56 65.54 59.73 64.08 63.61 52.91 59.07 
下载: 导出CSV
表 3 分类准确率结果比较(80%与60%无标记占比)
Table 3 Comparison of classification accuracy (80% and 60% unlabeled)
数据 无标记占比: 80% 无标记占比: 60% CEM-ER Sf-T S3VM Co-T CPLE LaN CEM-ER Sf-T S3VM Co-T CPLE LaN 1 $65.1{\pm5.5}$ $47.8{\pm8.8}$ $50.9{\pm5.5}$ $45.5{\pm6.3}$ $59.0{\pm2.8}$ $56.7{\pm6.1}$ $63.7{\pm3.6}$ $55.7{\pm5.9}$ $49.8{\pm6.6}$ $52.9{\pm4.3}$ $56.6{\pm3.3}$ $58.7{\pm4.6}$ 2 $64.9{\pm3.9}$ $50.2{\pm13.0}$ $64.9{\pm8.0}$ $71.7{\pm6.8}$ $72.2{\pm1.9}$ $68.0{\pm7.0}$ $68.8{\pm4.3}$ $53.2{\pm5.4}$ $65.9{\pm3.5}$ $72.1{\pm5.4}$ $67.6{\pm2.6}$ $71.6{\pm4.8}$ 3 $66.4{\pm8.0}$ $50.8{\pm19.0}$ $59.8{\pm9.7}$ $58.4{\pm10.0}$ $34.7{\pm2.7}$ $67.4{\pm8.5}$ $64.4{\pm7.2}$ $44.1{\pm23.0}$ $62.6{\pm11.0}$ $58.6{\pm7.5}$ $39.2{\pm19.0}$ $69.6{\pm8.9}$ 4 $80.8{\pm3.0}$ $68.5{\pm3.9}$ $83.8{\pm4.4}$ $74.9{\pm8.1}$ $39.5{\pm13.0}$ $67.9{\pm4.7}$ $81.6{\pm2.8}$ $73.7{\pm3.0}$ $85.9{\pm3.0}$ $83.9{\pm4.9}$ $67.5{\pm20.0}$ $77.4{\pm3.1}$ 5 $60.0{\pm7.4}$ $61.6{\pm8.0}$ $70.5{\pm7.2}$ $66.8{\pm5.7}$ $54.6{\pm6.8}$ $57.1{\pm7.2}$ $66.5{\pm5.8}$ $61.9{\pm7.6}$ $73.0{\pm6.7}$ $72.4{\pm6.8}$ $58.1{\pm7.7}$ $58.7{\pm6.4}$ 6 $76.3{\pm2.7}$ $71.0{\pm3.6}$ $78.2{\pm5.4}$ $80.0{\pm2.9}$ $52.4{\pm8.8}$ $71.6{\pm6.1}$ $81.0{\pm2.9}$ $76.1{\pm4.2}$ $82.8{\pm4.8}$ $83.0{\pm3.9}$ $64.6{\pm6.8}$ $80.3{\pm4.8}$ 7 $59.7{\pm2.2}$ $34.7{\pm3.5}$ $60.4{\pm3.1}$ $51.4{\pm4.2}$ $65.3{\pm2.7}$ $55.6{\pm3.2}$ $61.1{\pm2.1}$ $36.8{\pm3.9}$ $61.5{\pm2.8}$ $58.3{\pm2.5}$ $64.2{\pm3.0}$ $56.9{\pm2.9}$ 8 $96.0{\pm1.0}$ $96.7{\pm1.2}$ $96.8{\pm1.3}$ $96.2{\pm1.4}$ $80.4{\pm9.3}$ $96.2{\pm1.9}$ $95.9{\pm1.0}$ $96.7{\pm1.0}$ $96.9{\pm0.8}$ $96.8{\pm1.0}$ $90.6{\pm3.1}$ $97.1{\pm1.0}$ 平均 71.15 60.15 70.64 68.11 57.26 67.57 72.86 62.28 72.29 72.24 63.56 71.27
下载: 导出CSV
表 2 分类准确率结果比较(92%与90%无标记占比)
Table 2 Comparison of classification accuracy (92% and 90% unlabeled)
数据 无标记占比: 92% 无标记占比: 90% CEM-ER Sf-T S3VM Co-T CPLE LaN CEM-ER Sf-T S3VM Co-T CPLE LaN 1 $59.1{\pm5.5}$ $51.3{\pm8.9}$ $48.2{\pm7.1}$ $49.0{\pm6.5}$ $56.7{\pm2.8}$ $53.4{\pm6.6}$ $61.1{\pm5.6}$ $48.4{\pm9.0}$ $47.4{\pm7.1}$ $47.3{\pm5.7}$ $58.4{\pm4.6}$ $53.8{\pm5.8}$ 2 $65.6{\pm7.7}$ $50.1{\pm21.0}$ $58.1{\pm15.0}$ $72.6{\pm11.0}$ $73.7{\pm1.6}$ $63.1{\pm9.5}$ $64.7{\pm5.5}$ $49.4{\pm15.0}$ $58.2{\pm11.0}$ $72.2{\pm4.2}$ $77.9{\pm2.3}$ $65.8{\pm6.5}$ 3 $60.3{\pm8.4}$ $53.8{\pm23.0}$ $61.7{\pm11.0}$ $51.7{\pm11.0}$ $28.2{\pm3.0}$ $52.4{\pm8.8}$ $62.0{\pm10.0}$ $44.4{\pm13.0}$ $56.3{\pm6.7}$ $56.9{\pm10.4}$ $27.5{\pm3.5}$ $57.6{\pm7.8}$ 4 $73.3{\pm11.0}$ $61.8{\pm13.0}$ $82.7{\pm9.5}$ $68.4{\pm10.0}$ $38.5{\pm11.0}$ $57.8{\pm11.0}$ $78.4{\pm10.0}$ $57.5{\pm19.0}$ $80.7{\pm6.9}$ $72.2{\pm4.4}$ $37.6{\pm6.6}$ $64.2{\pm9.5}$ 5 $57.1{\pm6.5}$ $56.7{\pm8.6}$ $65.7{\pm8.0}$ $56.7{\pm8.4}$ $47.3{\pm9.7}$ $51.1{\pm8.5}$ $59.5{\pm6.8}$ $54.3{\pm7.0}$ $66.7{\pm9.9}$ $58.7{\pm9.2}$ $48.4{\pm4.8}$ $55.6{\pm8.7}$ 6 $70.4{\pm5.0}$ $66.9{\pm8.5}$ $77.4{\pm3.5}$ $79.8{\pm5.2}$ $44.7{\pm7.8}$ $58.5{\pm6.5}$ $71.0{\pm4.2}$ $71.1{\pm4.7}$ $78.6{\pm4.6}$ $80.5{\pm6.2}$ $50.2{\pm8.5}$ $65.4{\pm5.5}$ 7 $54.2{\pm4.3}$ $49.3{\pm4.5}$ $51.7{\pm6.0}$ $51.4{\pm2.5}$ $65.6{\pm2.1}$ $54.2{\pm5.8}$ $58.2{\pm3.3}$ $49.9{\pm4.5}$ $59.0{\pm3.5}$ $57.6{\pm4.7}$ $61.4{\pm3.3}$ $54.9{\pm4.7}$ 8 $94.1{\pm1.3}$ $96.4{\pm1.5}$ $96.2{\pm2.0}$ $94.9{\pm1.9}$ $70.2{\pm4.6}$ $91.9{\pm1.9}$ $95.7{\pm1.3}$ $97.2{\pm1.4}$ $96.8{\pm1.1}$ $96.0{\pm1.5}$ $69.1{\pm3.0}$ $95.7{\pm2.2}$ 平均 66.76 60.77 67.74 65.56 53.11 60.30 68.82 59.00 67.96 67.68 53.79 64.12
下载: 导出CSV
表 4 分类器训练速度比较(UCI数据集)
Table 4 Comparison of classifiers′ training speed (UCI dataset)
数据集 无标记 97% 无标记 95% 无标记 92% 无标记 90% 无标记 80% 无标记 60% ER CEM-ER ER CEM-ER ER CEM-ER ER CEM-ER ER CEM-ER ER CEM-ER Bupa 6.94 1.77 6.95 1.77 6.73 1.71 6.94 1.73 7.17 1.75 7.12 1.79 Blood 20.06 2.34 20.31 2.36 20.22 2.41 20.16 2.45 20.14 2.36 19.44 2.47 Haberman 8.31 2.55 7.58 2.25 7.28 1.92 7.66 2.27 6.31 2.27 6.97 1.91 Ionosphere 9.16 1.92 8.98 1.80 7.59 2.22 8.98 2.55 8.63 1.80 7.95 1.80 Sonar 6.19 2.25 5.05 1.83 5.16 1.80 5.67 1.92 5.23 1.86 5.55 1.70 Statlog (Heart) 6.19 2.16 6.05 1.89 5.81 2.05 5.97 1.86 6.31 1.77 5.64 1.81 Tic-tac-toe 31.00 2.97 28.75 2.88 20.03 2.89 30.14 3.11 32.36 3.08 32.58 3.20 WBC 28.66 5.16 21.76 3.02 21.58 2.78 19.69 2.56 20.91 2.56 16.45 2.64 平均值 14.56 2.64 13.18 2.22 11.80 2.22 13.15 2.31 13.38 2.18 12.71 2.17
下载: 导出CSV
表 5 电熔镁炉生产数据实验结果
Table 5 Experimental results of fused magnesium furnace production data
无标记占比 $\phi_v^{{\rm{SSL}}}$准确率 $\phi_{vc}^{{\rm{SSL}}}$准确率 准确率提升 97% 66.72% 86.77% 30.05% 95% 67.79% 91.84% 35.49% 92% 70.72% 93.01% 31.51% 90% 71.67% 93.98% 31.14% 80% 72.86% 94.30% 29.43% 60% 74.00% 94.68% 27.93%
下载: 导出CSV
表 6 过渡态样本准确率测试
Table 6 Accuracy of the test on transition state samples
无标记占比 CEM-ER Sf-T ${\rm{S}}^3$VM Co-T CPLE LaN 97% 52.22% 48.89% 48.89% 46.67% 50.00% 49.53% 95% 50.00% 49.17% 47.78% 48.61% 50.00% 49.07% 92% 48.33% 47.50% 47.78% 46.94% 50.00% 50.00% 90% 49.72% 48.61% 50.83% 49.17% 50.00% 54.17% 80% 50.83% 45.00% 48.33% 47.50% 50.00% 50.27% 60% 52.22% 50.56% 50.83% 46.39% 50.00% 50.92%
下载: 导出CSV
表 7 分类器鲁棒性测试结果
Table 7 Classifier robustness test results
无标记占比 原准确率 新测试集准确率 97% 86.77% 84.06% 95% 91.84% 86.63% 92% 93.01% 88.32% 90% 93.98% 89.75% 80% 94.30% 91.02% 60% 94.68% 91.14%
下载: 导出CSV
表 8 分类器训练速度测试(生产数据)
Table 8 Comparison of classifiers′ training speed (production data)
无标记占比 ER CEM-ER 速度提升 97% 94.57 4.12 95.64% 95% 86.63 4.06 95.31% 92% 83.92 4.15 95.05% 90% 73.48 4.18 94.31% 80% 59.47 4.24 92.87% 60% 15.21 4.39 71.14%
下载: 导出CSV
表 9 优化算法准确率对比测试结果
Table 9 Comparison of accuracy in different optimization algorithms
无标记占比 ER CEM-ER 97% 88.33% 92.04% 95% 89.62% 90.80% 92% 91.00% 93.11% 90% 92.16% 93.16% 80% 93.76% 93.58% 60% 94.50% 94.15%
下载: 导出CSV
-
[1] 卢绍文, 王克栋, 吴志伟, 李鹏琦, 郭章. 基于深度卷积网络的电熔镁炉欠烧工况在线识别. 控制与决策, 2017, 23(9): 1−8Lu Shao-Wen, Wang Ke-Dong, Wu Zhi-Wei, Li Peng-Qi, Guo Zhang. Online detection of semi-molten of fused magnesium furnace based on deep convolutional neural network. Control and Decision, 2017, 23(9): 1−8 [2] 赵磊, 卢绍文, 郑秀萍. 基于火焰动态纹理的电熔镁炉工况识别. 控制理论与应用, 2019, 36(9): 1565−1572 doi: 10.7641/CTA.2018.80556Zhao Lei, Lu Shao-Wen, Zheng Xiu-Ping. Conditions recognition of fused magnesia furnace based on flame dynamic texture. Control Theory and Applications, 2019, 36(9): 1565−1572 doi: 10.7641/CTA.2018.80556 [3] 吴高昌, 刘强, 柴天佑, 秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报, 2019, 45(8): 1475−1485Wu Gao-Chang, Liu Qiang, Chai Tian-You, Qin S. Joe. Abnormal condition diagnosis through deep learning of image sequences for fused magnesium furnaces. Acta Automatica Sinica, 2019, 45(8): 1475−1485 [4] 吴志伟. 嵌入式电熔镁炉智能控制系统研究 [博士学位论文], 东北大学, 中国, 2014Wu Zhi-Wei. Embedded Intelligent Control System for Fused Magnesium Furnace [Ph. D. dissertation], Northeastern University, China, 2014 [5] 吴志伟, 方正, 柴天佑, 张新海, 王超. 电熔镁炉嵌入式专用控制器及其控制方法研究. 仪器仪表学报, 2012, 33(6): 1261−1267 doi: 10.3969/j.issn.0254-3087.2012.06.009Wu Zhi-Wei, Fang Zheng, Chai Tian-You, Zhang Xin-Hai, Wang Chao. Research on special embedded controller and its control method for fused magnesium furnace. Chinese Journal of Scientific Instrument, 2012, 33(6): 1261−1267 doi: 10.3969/j.issn.0254-3087.2012.06.009 [6] 吴永健. 电熔镁炉智能控制系统研究 [博士学位论文], 东北大学, 中国, 2012Wu Yong-Jian. Intelligent Control System of Electro-Fused Magnesia Furnace [Ph. D. dissertation], Northeastern University, China, 2012 [7] 卢绍文, 李鹏琦, 郑秀萍, 郭章. 动态火焰图像分割及在电熔镁炉视频监控中的应用. 东北大学学报(自然科学版), 2019, 40(2): 153−157 doi: 10.12068/j.issn.1005-3026.2019.02.001Lu Shao-Wen, Li Peng-Qi, Zheng Xiu-Ping, Guo Zhang. A dynamic flame image segmentation method and its application in video monitoring of fused magnesium furnace process. Journal of Northeastern University (Natural Science), 2019, 40(2): 153−157 doi: 10.12068/j.issn.1005-3026.2019.02.001 [8] 刘强, 孔德志, 郎自强. 基于多级动态主元分析的电熔镁炉异常工况诊断. 自动化学报, DOI: 10.16383/j.aas.c190313Liu Qiang, Kong De-Zhi, Lang Zi-Qiang. Multi-level dynamic principal component analysis for abnormality diagnosis of fused magnesia furnaces. Acta Automatica Sinica, DOI: 10.16383/j.aas.c190313 [9] Kittler J, Hatef M, Duin R P W, Matas J. On combining classifiers. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(3): 226−239 doi: 10.1109/34.667881 [10] Li S T, Yin H T, Fang L Y. Remote sensing image fusion via sparse representations over learned dictionaries. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(9): 4779−4789 doi: 10.1109/TGRS.2012.2230332 [11] Qiao L S, Chen S C, Tan X Y. Sparsity preserving projections with applications to face recognition. Pattern Recognition, 2010, 43(1): 331−341 doi: 10.1016/j.patcog.2009.05.005 [12] Singh M, Singh S, Gupta S. An information fusion based method for liver classification using texture analysis of ultrasound images. Information Fusion, 2014, 19: 91−96 doi: 10.1016/j.inffus.2013.05.007 [13] 薛丽霞, 钟欣, 汪荣贵, 杨娟, 胡敏. 基于深度特征融合的中低分辨率车型识别. 计算机工程, 2019, 45(1): 233−238Xue Li-Xia, Zhong Xin, Wang Rong-Gui, Yang Juan, Hu Min. Mid-low resolution vehicle type recognition based on deep feature fusion. Computer Engineering, 2019, 45(1): 233−238 [14] Chapelle O, Schölkopf B, Zien A. Semi-Supervised Learning. Cambridge: The MIT Press, 2006. [15] Zhu X J, Goldberg A B. Introduction to Semi-Supervised Learning. San Rafael: Morgan & Claypool Publishers, 2009. [16] 周志华. 基于分歧的半监督学习. 自动化学报, 2013, 39(11): 1871−1878 doi: 10.3724/SP.J.1004.2013.01871Zhou Zhi-Hua. Disagreement-based semi-supervised learning. Acta Automatica Sinica, 2013, 39(11): 1871−1878 doi: 10.3724/SP.J.1004.2013.01871 [17] Chapelle O, Schölkopf B, Zien A. Semi-supervised learning (Chapelle, O. et al., Eds.; 2006) [Book reviews]. IEEE Transactions on Neural Networks, 2009, 20(3): 542 [18] Blum A, Mitchell T. Combining labeled and unlabeled data with co-training. In: Proceedings of the 11th Annual Conference on Computational Learning Theory. Madison, Wisconsin, USA: Association for Computing Machinery, 1998. 92−100 [19] Zhu X J, Ghahramani Z, Lafferty J D. Semi-supervised learning using gaussian fields and harmonic functions. In: Proceedings of the 20th International Conference on Machine learning. Washington D.C., USA: Kluwer Academic Publishers, 2003. 912−919 [20] Zhou D Y, Bousquet O, Lal T N, Weston J, Schölkopf B. Learning with local and global consistency. In: Proceedings of the 16th International Conference on Neural Information Processing Systems. Cambridge, MA, United States: MIT Press, 2003. 321−328 [21] Vapnik V N. Statistical Learning Theory. New York: Wiley, 1998. [22] Yves G, Yoshua B. Entropy regularization. Semi-Supervised Learning. Cambridge, MA: MIT Press, 2006. 151−168 [23] Adrian C, Tommi J. Data-dependent regularization. Semi-Supervised Learning. Cambridge, MA: MIT Press, 2006. 169−190 [24] Wang C Y, Xu Z F, Wang S T, Zhang H B, Chen Z C. Research on semi-supervised learning for hyperspectral remote sensing imaging classification base on confidence entropy. In: Proceedings of the 2016 IEEE International Conference on Parallel and Distributed Systems (ICPADS). Wuhan, China: IEEE, 2016. 1225−1228 [25] Hu T C, Yu J H. Generalized entropy based semi-supervised learning. In: Proceedings of the 2015 IEEE/ACIS International Conference on Computer and Information Science (ICIS). Las Vegas, USA: IEEE, 2015. 259−263 [26] Kim H I, Kim J B, Lee J E, Lee T Y, Park R H. Gaze estimation using a webcam for region of interest detection. Signal, Image and Video Processing, 2016, 10(5): 895−902 doi: 10.1007/s11760-015-0837-6 [27] Esbensen K, Geladi P. Strategy of multivariate image analysis (MIA). Chemometrics and Intelligent Laboratory Systems, 1989, 7(1−2): 67−86 [28] Geladi P, Grahn H. Multivariate Image Analysis. Britain: Wiley, 1996. [29] 徐德刚, 赵盼磊, 陈晓, 谢永芳, 阳春华. 基于多变量图像分析的铜矿泡沫浮选分类与识别. 北京工业大学学报, 2014, 40(7): 967−973Xu De-Gang, Zhao Pan-Lei, Chen Xiao, Xie Yong-Fang, Yang Chun-Hua. Classification and recognition for copper froth flotation process based on multivariate image analysis. Journal of Beijing University of Technology, 2014, 40(7): 967−973 [30] 李帷韬. 水泥回转窑烧成状态识别与熟料质量指标软测量的研究 [博士学位论文], 东北大学, 中国, 2012Li Wei-Tao. A Study on Burning State Recognition and Estimations of Clinker Quality Index in Cement Rotary Kiln Process [Ph. D. dissertation], Northeastern University, China, 2012 [31] 郭章, 王克栋, 卢绍文, 吴志伟. 基于图像的电熔镁炉欠烧工况的判别系统. 第28届中国过程控制会议. 重庆, 中国: 中国自动化学会过程控制专业委员会, 2017. 210Guo Zhang, Wang Ke-Dong, Lu Shao-Wen, Wu Zhi-Wei. Image based semimolten condition diagnosis system of fused magnesium furnace. In: Proceedings of the 28th Chinese Process Control Conference (CPCC). Chongqing, China: CAA, 2017. 210 [32] Castiñeira D, Rawlings B C, Edgar T F. Multivariate image analysis (MIA) for industrial flare combustion control. Industrial & Engineering Chemistry Research, 2012, 51(39): 12642−12652 [33] Grandvalet Y, Bengio Y. Semi-supervised learning by entropy minimization. In: Proceedings of the 17th International Conference on Neural Information Processing Systems. Cambridge, MA, United States: MIT Press, 2004. 529−536 [34] Ueda N, Nakano R. Deterministic annealing EM algorithm. Neural Networks, 1998, 11(2): 271−282 doi: 10.1016/S0893-6080(97)00133-0 [35] Friedman J, Hastie T, Tibshirani R. Additive logistic regression: A statistical view of boosting. The Annals of Statistics, 2000, 28(2): 337−407 [36] Rubinstein R Y, Kroese D P. The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation and Machine Learning. New York: Springer, 2004. [37] Rubinstein R Y. Optimization of computer simulation models with rare events. European Journal of Operational Research, 1997, 99(1): 89−112 doi: 10.1016/S0377-2217(96)00385-2 [38] Rubinstein R Y, Kroese D P. The Cross-Entropy Method. New York: Springer, 2004. [39] Rubinstein R Y, Shapiro A. Discrete Event Systems: Sensitivity Analysis and Stochastic Optimization by the Score Function Method. New York: John Wiley & Sons Inc., 1993. [40] Loog M. Contrastive pessimistic likelihood estimation for semi-supervised classification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(3): 462−475 doi: 10.1109/TPAMI.2015.2452921 [41] Rasmus A, Valpola H, Honkala M, Berglund M, Raiko T. Semi-supervised learning with ladder networks. In: Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge, MA, United States: MIT Press, 2015. 3546−3554 期刊类型引用(3)
1. 李帷韬，童倩倩，王殿辉，吴高昌. 基于深层卷积随机配置网络的电熔镁炉工况识别方法研究. 自动化学报. 2024(03): 527-543 . 
本站查看2. 卢明，王程，谢永芳. 多元纹理图像构造方法及应用. 控制理论与应用. 2024(03): 555-566 . 百度学术3. 谢娟英，吴肇中，郑清泉，王明钊. 一种改进的特征子集区分度评价准则. 自动化学报. 2022(05): 1292-1306 . 本站查看其他类型引用(8)
-
下载:
计量
- 文章访问数: 1365
- HTML全文浏览量: 386
- PDF下载量: 204
- 被引次数: 11
