Combustion States Recognition Method of MSWI Process Based on Mixed Data Enhancement
-
摘要: 国内城市固废焚烧(Municipal solid waste incineration, MSWI)过程通常依靠运行专家观察炉内火焰识别燃烧状态后再结合自身经验修正控制策略以维持稳定燃烧, 存在智能化水平低、识别结果具有主观性与随意性等问题. 由于MSWI过程的火焰图像具有强污染、多噪声等特性, 并且存在异常工况数据较为稀缺等问题, 导致传统目标识别方法难以适用. 对此, 提出一种基于混合数据增强的MSWI过程燃烧状态识别方法. 首先, 结合领域专家经验与焚烧炉排结构对燃烧状态进行标定; 接着, 设计由粗调和精调两级组成的深度卷积生成对抗网络(Deep convolutional generative adversarial network, DCGAN)以获取多工况火焰图像; 然后, 采用弗雷歇距离(Fréchet inception distance, FID)对生成式样本进行自适应选择; 最后, 通过非生成式数据增强对样本进行再次扩充, 获得混合增强数据构建卷积神经网络以识别燃烧状态. 基于某MSWI电厂实际运行数据实验, 表明该方法有效地提高了识别网络的泛化性与鲁棒性, 具有良好的识别精度.
-
关键词:
- 城市固废焚烧 /
- 深度卷积生成对抗网络 /
- 燃烧状态识别 /
- 非生成式数据增强 /
- 混合数据增强
Abstract: The municipal solid waste incineration (MSWI) process usually relies on operating experts to observe the flame inside furnace for recognizing the combustion states. Then, by combining the experts＇ own experience to modify the control strategy to maintain the stable combustion. Thus, this manual mode has disadvantages of low intelligence and the subjectivity and randomness recognition results. The traditional methods are difficult to apply to the MSWI process, which has the characteristics of strong pollution, multiple noise, and scarcity of samples under abnormal conditions. To solve the above problems, a combustion states recognition method of MSWI process based on mixed data enhancement is proposed. Firstly, combustion states are labeled by combining the experience of domain experts and the design structure of furnace grate. Next, a deep convolutional generative adversarial network (DCGAN) consisting of two levels of coarse and fine-tuning was designed to acquire multi-situation flame images. Then, the Fréchet inception distance (FID) is used to adaptively select generated samples. Finally, the sample features are enriched at the second time by using non-generative data enhancement strategy, and a convolutional neural network is constructed based on the mixed enhanced data to recognize the combustion state. Experiments based on actual operating data of a MSWI plant show that this method effectively improves the generalization and robustness of the recognition network and has good recognition accuracy. -
城市固废(Municipal solid waste, MSW)受居民生活习惯、季节气候、分类程度等因素的影响, 具有杂质多、含水率高、热值波动大等特点[1]. 城市固废焚烧(Municipal solid waste incineration, MSWI)作为一种世界范围内广泛运用的MSW典型处理方式, 具有减小体量、降低二次污染以及通过产热发电实现资源回收利用等优势[2−3]. 目前, 发展中国家的MSWI技术仍处于落后局面, 存在诸多问题有待解决, 其中最突出的是燃烧状态不稳定造成的污染物排放不达标问题[4-6]. 此外, MSWI燃烧状态的不稳定易造成炉膛内结焦、积灰、腐蚀等问题, 严重时甚至会引起炉膛爆炸[7]. 因此, 维持稳定燃烧状态是保障MSWI过程运行高效、污染物排放达标的关键之一. 如图1所示, 针对国内MSWI过程[8], 运行专家通过观察火焰图像识别燃烧状态进而修正控制策略[9]. 然而, 依据运行专家经验的燃烧状态识别方法存在主观性与随意性的缺点, 并且智能化程度较低, 难以满足当前MSWI过程的优化运行需求. 针对复杂多变的MSWI环境, 如何构造鲁棒性强的MSWI过程燃烧状态识别模型仍是一个开放性难题.
MSWI过程的炉内燃烧火焰具有亮度差异、遮挡、类内形变、运动模糊等特征, 进而导致不同状态下的燃烧图像像素差异较大, 使得基于硬编码的燃烧状态识别方法难以适用[10]. 近年来, 基于数据驱动的研究方法在尝试解决语义鸿沟问题等方面取得重大进展[11-14], 这为MSWI过程的燃烧状态识别奠定了基础.
目前, 基于数据驱动的识别模型包括近邻分类器[15]、贝叶斯分类器[16]、线性分类器、支持向量机(Support vector machine, SVM)[17]、神经网络分类器[18]、随机森林[19]以及多算法融合识别模型[20]等, 其策略可分为两类: 一类是基于特征提取与分类器相组合的方法, 又称为特征工程; 一类是基于深度学习的端到端方法, 后者以卷积神经网络(Convolutional neural network, CNN)[21]为代表.
相比于深度学习算法, 特征工程对大样本数据依赖性相对较弱, 已应用于许多需进行燃烧状态识别的工业过程. 文献[9]针对MSWI过程的燃烧状态识别问题, 采用颜色模型(Hue, saturation, value, HSV)和主成分分析(Principal component analysis, PCA)算法对火焰进行特征提取和降维, 并结合最小二乘支持向量机(Least squares support vector machine, LSSVM)进行分类. 文献[22]针对电站煤粉锅炉的燃烧状态识别问题, 提取7种火焰图像特征用于SVM分类. 文献[23]指出火焰图像色调、饱和度和强度是燃烧状态识别的关键特征, 并在重油装置上进行验证. 然而, MSWI过程是具有强不确定性特征的工业过程, 其燃烧火焰图像易受环境干扰. 现有的火焰特征选择方法通常依赖于专家先验知识, 导致基于特征工程的识别算法的鲁棒性较弱且泛化性较差.
基于CNN的识别模型因具有良好的特征提取能力和泛化性能, 已在诸多领域得到广泛应用[24]. 然而, 以CNN为代表的监督学习网络模型的准确率取决于标签样本的规模与质量, 而MSWI过程的图像采集设备长期处于强干扰环境中, 导致样本标定存在困难. 因此, 如何基于现有技术获得高质量样本是提升燃烧状态识别模型性能所面临的难点之一.
常用的图像数据增强方法包含几何变换、颜色抖动、随机噪声等[25], 其本质是对原始数据进行非生成式变换以实现样本的增加, 从而缓解识别模型的过拟合现象. 然而, 以上方法并未增加新样本的信息, 因此缓解过拟合的效果有限. 2014年, Goodfellow等[26]提出基于零和博弈思想的生成式对抗网络(Generative adversarial network, GAN), 其能够拟合真实数据的概率密度分布, 有效地提升了机器的创造能力. 随着GAN的发展[27-29], 其“创造”出的数据不仅能够节省大量人力标定成本, 而且能够有效地解决数据稀缺问题. 在近两年的研究中, 文献[30]针对焊接自动检测问题, 提出基于GAN的数据增强算法; 文献[31]针对自动表面缺陷检测研究, 利用GAN生成非常规缺陷图像, 扩充有限的缺陷检测样本集; 文献[32]针对工业站点缺陷图像不足和标定成本高的问题, 提出一种生成缺陷图像的方法; 文献[33]提出ResMaskGAN, 解决表面缺陷自动检测中异常工况数据集稀缺的问题.
本文针对MSWI过程的燃烧状态识别问题的研究表明, 基于GAN的数据增强策略博弈最终将达到纳什均衡状态[34]. 此时, 生成器虽然能够生成符合小样本数据的概率分布的数据, 却难以“创造”出新特征. 因此, 基于GAN的数据增强识别模型的鲁棒性难以得到实质性的提升; 非生成式数据增强操作在本质上未改变图像内容, 模型的泛化性能提升有限, 但通过平移、旋转、填充火焰图像等方式却能够获得新的特征. 因此, 本文混合生成式和非生成式两种增强方式, 在生成式数据增强的数据集基础上, 再次对其进行非生成式变换.
本文主要工作包括:
1) 针对目前燃烧状态识别方法存在的局限性, 归纳总结研究中存在的问题, 首次将GAN用于MSWI过程燃烧状态识别;
2) 分析生成式数据增强的缺陷, 并提出一种混合式数据增强的方法, 弥补生成对抗式数据增强的不足;
3) 设计一种切实可行的实验策略, 通过弗雷歇距离(Fréchet inception distance, FID)[35-36]对不同生成模型生成的图像质量进行评估, 为生成样本筛选提供评价指标;
4) 通过与其他识别模型对比, 表明本文所构建的燃烧状态识别模型泛化性能好、识别率高且鲁棒性强.
1. 相关知识
1.1 生成式数据增强
数据增强是一种常用的数据集扩充方法, 其通过某种方式增加训练样本数量以提升模型的泛化性能. 样本质量的好坏是评价数据增强算法的重要指标. GAN因具有学习旧样本概率分布的能力, 在生成新样本策略中优势明显, 其已成为目前数据增强的常用算法.
1.1.1 GAN的原理
GAN由生成器G和判别器D组成. G通过随机噪声(z)生成图像, D判断输入图像为真的概率. GAN是G与D的相互竞争, 该竞争过程可分为判别过程和欺骗过程, 其中, 判别过程为D判别图像真假时的参数更新过程; 欺骗过程为G企图欺骗D时通过D的损失更新G的过程. 文献[21]首次提出表示G与D的竞争过程的GAN目标函数, 具体为
$$ \begin{split} &\mathop {\min }\limits_G \mathop {\max }\limits_D V(D,G)={{{\rm{E}}} _{{\boldsymbol{x}}\sim {p_{{\text{r}}({\boldsymbol{x}})}}}}[\log (D({\boldsymbol{x}}))] \;+\\ & \qquad{{{\rm{E}}} _{{\boldsymbol{z}}\sim {p_{\boldsymbol{z}}}({\boldsymbol{z}})}}[\log (1 - D(G({\boldsymbol{z}})))] \end{split} $$ (1) 其中, ${p_{\text{r}}}$表示真实数据的概率分布, ${p_{\boldsymbol{z}}}$表示z服从的高斯分布. 首先, 考虑任何给定G, 求解最佳D, 即$D^* $. 采用真实数据的概率分布${p_{\text{r}}}$和生成数据的概率分布${p_{\text{g}}}$为定值, D可拟合任意函数. 训练D时, 固定G的参数, 在$ {\max_D} V(D,G)$过程中, $D^* $的计算式为
$$ {D^*}({\boldsymbol{x}})=\frac{{{p_{\text{r}}}({\boldsymbol{x}})}}{{{p_{\text{r}}}({\boldsymbol{x}}) + {p_{\text{g}}}({\boldsymbol{x}})}} $$ (2) 然后, 假设每轮D均是最优的, 且G可拟合任意函数. 固定判别网络参数, 更新生成网络参数, ${\min_G} V(D,G)$的结果为
$$ \mathop {\min }\limits_G V(D,G)=\mathop {\min }\limits_G (2{D_{{\text{JS}}}}({p_{\text{r}}}||{p_{\text{g}}}) - 2\log 2) $$ (3) 式中, ${D_{{\text{JS}}}}$为Jensen-Shannon (JS)散度.
由式(3)可得${p_{\text{g}}}={p_{\text{r}}}$为最优解, 即生成器能够拟合真实数据的概率分布.
最后, G根据其学习到的概率分布生成符合真实数据概率分布的新样本.
1.1.2 DCGAN的引入
GAN是一种生成网络和判别网络相互博弈的网络, 生成网络的生成能力由两个因素决定: 1) 生成网络的特征提取融合能力; 2) 判别网络的判别能力. GAN通过判别网络损失以更新生成器, 因此判别网络的识别能力将直接影响生成网络的生成能力. 生成网络因具有特征提取能力, 其相互博弈的过程中必然体现出更强的生成能力. 因此将卷积引入到GAN中以构建深度卷积GAN (Deep convolution GAN, DCGAN)[37], 能够有效增强生成网络和判别网络的特征提取和融合能力. 为使网络更加稳定, 文献[38-39]给出设计网络结构的建议: 1) 使用卷积层代替池化层; 2) 去除全连接层; 3) 使用批归一化; 4) 使用恰当的激活函数, 即生成网络的中间层、输出层和判别网络的中间层分别用ReLU、Tanh和LeakyReLU函数.
1.2 非生成式数据增强
非生成式数据增强主要包括几何变换和非几何变换, 其中, 前者主要从图像数据形态出发进行数据增强, 包括翻转、旋转、裁剪、缩放变形等操作; 后者常见操作包括噪声、模糊、颜色变换、随机擦除以及超像素法等. 虽然非生成式的扩增数据简单、常用, 但过多地使用这些方法将导致扩增的数据样本较为单一, 且会产生大量无实际应用价值的样本.
1.3 基于卷积神经网络的识别
1.3.1 卷积
卷积的定义为
$$ {R_{jk}}=\sum\limits_{u,v} {{H_{j - u,k - v}}{F_{u,v}}} $$ (4) 其中, F为图像, H为卷积核. 卷积具有叠加性和平移不变性, 同时也符合交换律、结合律和分配律等, 这些特性使其具有以下优势: 1) 卷积能够进行基础的图像操作, 如平移、平滑锐化等; 2) 卷积能够实现图像去噪, 如高斯卷积核能够根据领域像素与中心的远近程度分配权重, 抑制噪声和实现平滑; 3) 卷积能够提取边缘特征, 如Candy边缘检测器, 编码图像语义和形状信息; 4) 卷积核组对图像进行卷积操作后得到特征相应图, 进而可表示图像中的纹理信息.
1.3.2 CNN识别技术
CNN是卷积层和池化层的堆叠. 卷积层不同于全连接层, 其通过窗口滑动方式学习局部特征. 由于视觉世界具有平移不变性和空间层次结构, 卷积的性质使得CNN具有如下优势: 1) 与全连接层不同, 模型不存在出现新模式后只能重新学习的问题; 因CNN学到的模型具有平移不变性, 其可高效利用数据, 进而能够使用更少的训练样本学习到更具泛化能力的特征; 2) CNN学习模式具有空间层次结构, 这使得浅层卷积学习较小的局部模式, 深层卷积学习由上一层特征组成的更大模式, 进而CNN可有效学习更复杂和更抽象的视觉概念. 因此, 在拥有大规模优质数据的情况下, CNN能够自适应提取目标的有价值特征用于分类. 目前, CNN在识别领域已取得巨大成功. 以大规模视觉竞赛为例, 2012年AlexNet[40]在Top-5识别准确率达到83.6%; 随后CNN识别性能持续提升[41-43], 2015年ResNet-50[44]在该项目上的识别率达到96.4%, 已超越人类平均水平[45].
2. 建模策略
本节提出如图2所示的基于混合数据增强的MSWI过程燃烧状态识别模型, 该模型由燃烧状态标定模块、生成式数据增强模块、增强图像选择模块和燃烧状态识别模块4部分组成.
图 2 基于DCGAN数据增强的燃烧状态识别策略Fig. 2 Strategy of combustion state recognition based on DCGAN data enhancement图2中, 各变量含义如表A1 (见附录A)所示, 不同模块的功能描述如下:
1) 燃烧状态标定模块: 依据领域专家经验和焚烧炉设计原理, 标定得到典型工况下的三种燃烧状态图像, 并将其划分为训练样本集、验证样本集和测试样本集.
2) 生成式数据增强模块: 由1个粗调DCGAN子模块和3个精调DCGAN子模块组成. 在燃烧图像粗调DCGAN子模块中, 其输入是在所有燃烧图像中随机采样获取的数据集, 输出是判别网络和生成网络的结构参数; 在3个精调DCGAN子模块中, 其输入为对应燃烧状态的训练样本集和粗调DCGAN中生成网络和判别网络的结构参数, 输出为对应燃烧状态的生成图像, 主要目的是通过博弈生成不同燃烧状态下的优质样本.
3) 增强图像选择模块: 其输入为生成的不同燃烧状态的优质样本和对应状态下的训练样本, 输出为构建不同燃烧状态的训练集、验证集和测试集, 通过分别计算对应子模块中真实数据与生成数据间的FID值, 当其大于阈值时重新博弈, 否则将虚拟样本放入训练集.
4) 燃烧状态识别模块: 其输入为上述模块构建的训练集、验证集和测试集, 输出为验证集、测试集的准确率和损失, 通过对上述模块构建的训练样本进行非生成式数据增强, 获得混合数据以训练CNN识别模型.
综上所述, 不同模块分别实现燃烧状态标定、基于生成对抗式的数据增强、基于FID的增强图像选择和基于混合式数据增强的燃烧状态识别功能. 针对燃烧状态图像进行生成式和非生成式数据增强建模, 并将二者融合的策略是本文所提方法的核心.
2.1 燃烧状态标定模块
首先, 燃烧火焰视频通过电缆传输和视频卡采集, 然后将采集的视频以分钟为周期进行存储, 最后结合领域专家经验、炉排等比例结构的设计图纸以及停炉状态下各炉排在摄像头中的成像位置判断燃烧状态下MSW所处的位置. 炉排的等比例结构、燃烧和停炉状态的图像标定示意图如图3和图4所示.
结合领域专家经验, 考虑到料层厚度、摄像头角度等因素, 并根据图3和图4分析可得: 在正常工况下, MSW应位于图3所示的燃烧炉排处焚烧, 此时, 燃烧线的位置位于图4(a)的V和VI区域, 对应于图4(b)标注的燃烧线正常区域; 若MSW燃烧发生在图3所示的干燥炉排处, 燃烧线会前移, 此时, 燃烧线位于图4(a)的III和IV区域, 对应于图4(b)标注的燃烧线前移区域; 若燃烧发生在图3所示的燃烬炉排处, 燃烧线会后移, 此时, 燃烧线位于图4(a)的VII和VIII区域, 对应于图4(b)标注的燃烧线后移区域.
2.2 生成式数据增强模块
如图2所示, 生成式数据增强模块主要由4个DCGAN子模块组成, 其中, 燃烧图像粗调DCGAN子模块随机选取固废燃烧图像进行博弈, 从而获得较好的网络结构; 其余子模块采用燃烧图像粗调DCGAN的网络结构, 并对其超参数进行精调.
以粗调DCGAN子模块中第t轮博弈为例, 首先, 将随机获取的燃烧图像作为DCGAN的${X_{{\text{real}}}}$, 由z通过生成网络得到${X_{{\text{false,}}t}}$; 接着, ${X_{{\text{real}}}}$和${X_{{\text{false,}}t}}$经过网络参数为${\theta _{D,t}}$的判别网络后得到$ {D}_{t}(\cdot, \cdot ) $, 通过将真实图片标记为1和虚假图片标记为0得到${Y_{D,t}}$, 将$ {D}_{t}(\cdot, \cdot ) $ 和${Y_{D,t}}$ 根据损失函数计算得到$los{s_{D,t}}$, 其经过优化器得到判别网络的新参数${\theta _{D,t + 1}}$以更新判别网络; 然后, ${X_{{\text{real}}}}$和${X_{{\text{false,}}t}}$经过网络参数为${\theta _{D,t + 1}}$的判别网络后得到$ {D}_{t+1}(\cdot, \cdot ) $, 通过将真实图片和虚假图片均标记为1得到${Y_{G,t}}$, 将$ {D}_{t+1}(\cdot, \cdot ) $和${Y_{G,t}}$根据损失函数的计算得到$los{s_{G,t}}$, 其经过优化器得到生成网络的新参数${\theta _{G,t + 1}}$以更新生成网络; 最后, 重复进行上述博弈过程以获得优质的生成数据.
下面以粗调DCGAN子模块为例, 详细描述网络结构、网络学习算法和网络博弈过程, 并通过注释阐述多工况图像对抗生成的必要性.
2.2.1 DCGAN网络结构
DCGAN由生成网络和判别网络两个前馈网络组成. 生成网络由全连接层、批归一化层、形状变换层、上采样层、卷积层和激活层组成, 结构如图5所示.
生成网络的设计目标是将潜在空间100维的随机向量z生成符合真实图像分布的图像, 过程为: 首先, 全连接层输出具有16 × 16 × 128 = 32768个变量的一维向量; 接着, 通过形状变换将其变为(16, 16, 128)的张量; 然后, 通过上采样操作将形状为(16, 16, 128)的张量转化成形状为(32, 32, 128)的张量, 进一步将形状为(32, 32, 128)的张量转化成形状为(64, 64, 128)的张量, 再通过卷积层的堆叠使网络能够记录火焰图像的空间特征, 并最终变换成(64, 64, 3)的目标形状, 即RGB图像的目标形状; 最后, 采用Tanh激活函数将最终输出转换成 –1 ~ 1之间的实数, 以方便生成图像时将其转换成对应的像素. 其中, 将批量归一化层添加在全连接层后以缓解内部协变量转移问题, 进而提高网络训练速度与稳定性; 激活函数LeakyReLU在增加网络非线性描述能力的同时, 保证梯度下降的稳定性, 提高了与判别网络进行博弈时的稳定性.
判别网络由全连接层、形状变换层、上采样层、卷积层和激活层组成, 结构如图6所示.
判别网络的目标是给出图片为真的概率, 过程为: 首先, 由卷积层的叠加实现特征提取, 在卷积层中间添加LeakyReLU, 增加网络非线性的同时保证判别网络在与生成网络博弈过程中的稳定性, Dropout层通过随机丢失神经元缓解网络过拟合问题; 接着, 由Flatten层将特征图铺平; 最后, 将激活函数为“sigmoid”的Dense层作为分类器, 获得图片为真的概率.
2.2.2 网络学习算法
在DCGAN中, 生成网络和判别网络均属于前馈神经网络, 以燃烧图像粗调DCGAN中第t轮判别网络的更新为例进行描述, 步骤包括反向传播算法[46]计算梯度和Adam[47]算法更新权重参数.
1) 反向传播算法计算梯度. 为表述方便, 将图像集$[{X_{{\text{real}}}};{X_{{\text{false,}}t}}]$表示为$X$, 即$[{{\boldsymbol{x}}_{{1}}};{{\boldsymbol{x}}_{{2}}};\cdots;{{\boldsymbol{x}}_{{a}}};\cdots]$, 其中, ${{\boldsymbol{x}}_{{a}}}$表示第$a$幅图片; ${D_t}(X)$表示判别网络预测值集合, 即$ {D}_{t}(\cdot, \cdot ) $; ${Y_{D,t}}$表示判别网络真实输出集合$[{y_1};{y_2}; \cdots ;{y_a};\cdots]$, 其中, ${y_a}$表示第$a$幅图片的真值; $L$为损失函数, 表达式为$L({Y_{D,t}},{D_t}(X)),$ 进而将某个具体的损失函数表示为$L({y_a},{D_t}({{\boldsymbol{x}}_a}))$, 其梯度为
$$ \frac{{\partial L}}{{\partial {{\boldsymbol{x}}_{{a}}}}}=\frac{{\partial L}}{{\partial {D_t}({{\boldsymbol{x}}_{{a}}})}} \times \frac{{\partial {D_t}({{\boldsymbol{x}}_{{a}}})}}{{\partial {{\boldsymbol{x}}_{{a}}}}} $$ (5) 由于判别网络的结构复杂, ${D_t}$难以直接求得. 因此, 采用反向传播算法通过链式法则由后往前推导, 从而简化判别网络节点的梯度, 即
$$ {\delta _i}=- ({Y_{D,t}} - {D_t}({O_{i - 1}}))\frac{{\partial {D_t}({O_{i - 1}})}}{{\partial {O_{i - 1}}}} $$ (6) $$ {\delta _{i - 1}}={\delta _i}{W_{i - 1}}\frac{{\partial {D_t}({O_{i - 2}})}}{{\partial {O_{i - 2}}}}$$ (7) $$ {\nabla _{{W_{i - 1}}}}=\frac{{{\delta _i}O_{_{i - 2}}^{{\rm{T}}} }}{L} $$ (8) $$ {\nabla _{{B_{i - 1}}}}=\frac{{{\delta _i}}}{L} $$ (9) 式中, 第i层的误差为${\delta _i}$, 第$i$层输出为${O_i}$, 第$i$层的权重和偏置为${W_i}$和${B_i}$, 第$i - 1$层的权重和偏置的当前梯度分别为${\nabla _{{W_{i - 1}}}}$和${\nabla _{{B_{i - 1}}}}$.
2) Adam梯度下降算法更新判别网络参数, 更新权重的计算式为
$$ {\theta _{D,t + 1}}={\theta _{D,t}} - \alpha \frac{{{m_{D,t}}}}{{\sqrt {{v_{D,t}} + \gamma } }} $$ (10) 式中, ${\theta _{D,t}}$为第t次判别网络参数; $\alpha $为学习率; $\gamma $为防止分母为0的很小正实数; ${m_{D,t}}$表示第t次判别网络的一阶动量, 如式(11)所示, ${v_{D,t}}$表示第t次判别网络的二阶动量, 如式(12)所示, 即
$$ {m_{D,t}}={\beta _1}^*{m_{D,t - 1}} + (1 - {\beta _1}){\nabla _t} $$ (11) $$ {v_{D,t}}={\beta _2}{v_{D,t - 1}} + (1 - {\beta _2})\nabla _{D,t}^2 $$ (12) 式中, ${\beta _1}$和${\beta _2}$为超参数, ${\nabla _{D,t}}$为第t次判别网络参数的梯度.
对于第t轮迭代, 判别网络参数的更新步骤为: 首先, 根据式(6) ~ (9)计算当前每层参数的梯度, 进而获得整个网络参数的梯度${\nabla _{D,t}}$; 接着, 根据历史梯度计算一阶动量${m_{D,t}}$与二阶动量${v_{D,t}}$; 然后, 计算第t次的下降梯度${\eta _{D,t}}$, 即
$$ {\eta _{D,t}}=\alpha \frac{{{m_{D,t}}}}{{\sqrt {{v_{D,t}} + \gamma } }} $$ (13) 最后, 采用${\eta _{D,t}}$更新第t次的网络参数${\theta _{D,t}}$, 以得到第$t+1 $次的网络参数${\theta _{D,t + 1}}$, 即
$$ {\theta _{D,t + 1}}={\theta _{D,t}} - {\eta _{D,t}} $$ (14) 因${m_{D,0}}=0$, ${v_{D,0}}=0$, 所以一阶动量与二阶动量在更新参数的初始阶段接近于0. 因此, 式(11)和式(12)经偏差修正后, 得到
$$ {\widehat m_{_{D,t}}}=\frac{{{m_{D,t}}}}{{1 - \beta _1^t}} $$ (15) $$ {\widehat v_{_{D,t}}}=\frac{{{v_{D,t}}}}{{1 - \beta _2^t}} $$ (16) 2.2.3 网络博弈过程
生成对抗式数据增强是通过生成网络与判别网络的博弈参数进行更新, 因此梯度信息尤为重要. 式(1)在更新G时, 得到
$$ \begin{split} \mathop {\max }\limits_D V(D,G)=\;&{{{\rm{E}}} _{{\boldsymbol{x}}\sim {p_{\text{r}}}({\boldsymbol{x}})}}[\log D_{}^*({\boldsymbol{x}})]\; +\\ &{{{\rm{E}}} _{{\boldsymbol{z}}\sim {p_{\boldsymbol{z}}}({\boldsymbol{z}})}}[\log (1 - D_{}^*(G({\boldsymbol{z}})))] \end{split}$$ (17) 式中, D(G(z))为自变量, 其变化趋势为0到1, D的参数被固定, 即仅更新G的参数. 由于log(1−D(G(z)))的梯度在D(G(z))为0时较小, 在D(G(z))为1时较大, 这导致前期更新缓慢, 后期又极易梯度爆炸, 因此, 需要对目标函数进行改进. 以燃烧图像粗调DCGAN为例进行描述, 更新判别和生成网络参数的目标函数如式(18)和式(19)所示, 即
$$ \begin{split} & \mathop {\max }\limits_{{\theta _{D,t + 1}}} [{{{\rm{E}}} _{{\boldsymbol{x}}\sim {p_{\text{r}}}({\boldsymbol{x}})}}\log {D_t}({\boldsymbol{x}})\; +\\ &\qquad {{{\rm{E}}} _{{\boldsymbol{z}}\sim {p_{\boldsymbol{z}}}({\boldsymbol{z}})}}\log (1 - {D_t}({G_t}({\boldsymbol{z}})))] \end{split} $$ (18) $$ \mathop {\max }\limits_{{\theta _{G,t + 1}}} {{{\rm{E}}} _{{\boldsymbol{z}}\sim p({\boldsymbol{z}})}}\log ({D_{t + 1}}({G_t}({\boldsymbol{z}}))) $$ (19) 在博弈过程中, 需要交替更新判别网络和生成网络参数, 该目标函数能够有效解决早期梯度不足与训练困难的问题以及后期梯度下降过快导致梯度爆炸等问题. 实现上述目标函数的方式为: 设GAN的损失函数为二元交叉熵函数, 则
$$ \begin{split} L(Y,f(X))=\;&- \frac{1}{n}\sum\limits_{a=1}^n [{y_a}\log (f({{\boldsymbol{x}}_{{a}}})) \;+ \\ &(1 - {y_a})\log (1 - f({{\boldsymbol{x}}_{{a}}}))] \end{split}$$ (20) 式中, Y表示神经网络真值集合, $f(X)$表示神经网络预测值集合, n表示图片数量.
当训练D时, 将真实图像标记为1, 生成图像标记为0, 目的是使$\min_{{\theta }_{D,t+1}}L({Y}_{D,t},{D}_{t}(\cdot, \cdot ))$等价于式(18), 步骤如下:
步骤1. 若输入一幅真实图像, 即${y_a}=1$, 相应地, 损失为$- \log (D({{\boldsymbol{x}}_{{a}}}))=- \log D({\boldsymbol{x}})$; 当输入一组真实图像数据集时, 可获得
$$ - \sum\limits_{a=1}^n {{y_a}} \log ({D_t}({{\boldsymbol{x}}_{{a}}}))=- {{{\rm{E}}} _{{\boldsymbol{x}}\sim {p_{\text{r}}}({\boldsymbol{x}})}}\log {D_t}({\boldsymbol{x}}) $$ (21) 步骤2. 若输入一幅虚假图像, 即${y_a}=0$, 相应地, 损失为$\log (1 - {D_t}({{\boldsymbol{x}}_{{a}}}))=- \log (1 - {D_t}({G_t}({\boldsymbol{z}})))$; 若输入一组生成图像数据集时, 可获得
$$ \begin{split} - \frac{1}{n}& \sum\limits_{a=1}^n {(1 - {y_a})} \log (1 - {D_t}({{\boldsymbol{x}}_{{a}}}))= \\ &- {{{\rm{E}}} _{{\boldsymbol{z}}\sim {p_{\boldsymbol{z}}}({\boldsymbol{z}})}}\log (1 - {D_t}({G_t}({\boldsymbol{z}}))) \end{split} $$ (22) 综合步骤1和步骤2, 可得$\min_{{\theta}_{D,t+1}} L({Y}_{D,t}, {D}_{t}(\cdot, \cdot ))$等价于式(18).
当训练G时, 真实图像与虚假图像都标记为1, 即${y_a}=1$, 输入一个真实图像和虚假图像的损失均为$\log ({D_{t + 1}}({{\boldsymbol{x}}_a}))$, 可知$ \min_{{\theta }_{G,t+1}}L({Y}_{G,t},{D}_{t+1}(\cdot, \cdot )) $等价于式(19).
多工况图像对抗生成的必要性分析如下. 本文中的对抗网络生成模型共有4个, 即燃烧图像粗调DCGAN、燃烧线前移精调DCGAN、燃烧线正常精调DCGAN和燃烧线后移精调DCGAN. 进行多工况图像对抗生成的原因在于: 式(1)在${p_{\text{r}}}$和${p_{\text{g}}}$是常数的情况下已被证明网络能够收敛, 而实际${p_{\text{r}}}$和${p_{\text{g}}}$却是混合高斯分布. 式(1)推导为
$$ \begin{split} & \mathop {\min }\limits_G \mathop {\max }\limits_D V(D,G)={{{\rm{E}}} _{{\boldsymbol{x}}\sim {p_{\text{r}}}({\boldsymbol{x}})}}[\log (D({\boldsymbol{x}}))] \;+\\ & \qquad {{{\rm{E}}} _{{\boldsymbol{z}}\sim {p_{\boldsymbol{z}}}({\boldsymbol{z}})}}[\log (1 - D(G({\boldsymbol{z}})))] =\\ & \qquad \int {{p_{\rm{r}}}({\boldsymbol{x}})} \log (D({\boldsymbol{x}})){{\rm{d}}} {\boldsymbol{x}} + \int {{p_{\rm{g}}}({\boldsymbol{x}})} \log (D({\boldsymbol{x}})){{\rm{d}}} {\boldsymbol{x}} \end{split} $$ 首先, 获取D参数, 固定G参数, 在$\max_D V(D,G)$过程中, 对上式求导并令其为零, 表达式为
$$ \frac{{{{\rm{d}}} {p_{\rm{r}}}({\boldsymbol{x}})\log (D({\boldsymbol{x}}))}}{{{{\rm{d}}} {\boldsymbol{x}}}} + \frac{{{{\rm{d}}} {p_{\rm{g}}}({\boldsymbol{x}})(D({\boldsymbol{x}}))}}{{{{\rm{d}}} {\boldsymbol{x}}}}=0 $$ 进一步推导, 得到
$$\begin{split} &\log (D({\boldsymbol{x}}))\frac{{{\rm{d}} {p_{\rm{r}}}({\boldsymbol{x}})}}{{{\rm{d}} {\boldsymbol{x}}}} + {p_{\rm{r}}}({\boldsymbol{x}})\frac{{{{\rm{d}}} \log (D({\boldsymbol{x}}))}}{{{\rm{d}} {\boldsymbol{x}}}}\; + \\ & \quad{p_{\rm{g}}}({\boldsymbol{x}})\frac{{{{\rm{d}}} (1 - \log D({\boldsymbol{x}}))}}{{{\rm{d}} {\boldsymbol{x}}}} + (1 - \log D({\boldsymbol{x}}))\frac{{{\rm{d}} {p_{\rm{g}}}({\boldsymbol{x}})}}{{{\rm{d}} {\boldsymbol{x}}}}=0 \end{split} $$ 从而求得$ {D^*}({\boldsymbol{x}}) $关于$ {\boldsymbol{x}} $的表达式. 由于${p_{\text{r}}}({\boldsymbol{x}})$和${p_{\text{g}}}({\boldsymbol{x}})$的导数难以求得, 因此文献[25]将其作为常数处理. 相应地, 新的求导方程为
$$ {p_{\rm{r}}}({\boldsymbol{x}})\frac{{{{\rm{d}}} \log (D({\boldsymbol{x}}))}}{{{{\rm{d}}} {\boldsymbol{x}}}} + {p_{\rm{g}}}({\boldsymbol{x}})\frac{{{{\rm{d}}} (1 - \log D({\boldsymbol{x}}))}}{{{{\rm{d}}} {\boldsymbol{x}}}}=0 $$ 这样, 才能够得到式(2). 在此基础上, 文献[25]又证明了式(3), 从而说明GAN网络能够收敛.
实际训练GAN过程中, 针对不同的工况, 数据集的${p_{\text{r}}}({\boldsymbol{x}})$和${p_{\text{g}}}({\boldsymbol{x}})$不同, 相应地, 同一网络对不同工况的性能必然不同. 因此, 针对不同工况下焚烧图像数据分布存在差异的情况, 先选取包括多工况的燃烧图像训练燃烧图像粗调DCGAN以获得较好的网络模型, 再对每个工况的燃烧状态基于粗调网络精调其超参数, 包含网络结构、学习算法等, 以保证不会出现梯度塌陷或梯度消失等问题.
2.3 增强图像选择模块
在上述精调DCGAN模型更新的过程中, 采用的FID指标具体为
$$ \begin{split} {\text{FID}}=\;&||{\mu _{\text{r}}} - {\mu _{\text{g}}}|{|^2}\; + \\ &{{\rm{tr}}}(Co{v_{\text{r}}} + Co{v_{\text{g}}} - 2{(Co{v_{\text{r}}}Co{v_{\text{g}}})^{\frac{1}{2}}}) \end{split} $$ (23) 式中, ${\mu _{\text{r}}}$与${\mu _{\text{g}}}$表示真实图像集和生成图像集的多元正态分布均值; $Co{v_{\text{r}}}$与$Co{v_{\text{g}}}$表示真实图像集和生成图像集的协方差矩阵; ${\rm{tr}}(\cdot)$表示真实图像集矩阵的迹. 其中FID分数越低说明模型性能越好, 相应地, 生成具有多样性、高质量图像的能力也越强.
图像的选择过程描述为: 首先, 抽取Inception网络的中间层映射, 构建一个多元正态分布学习这些特征映射的概率分布; 然后, 使用式(23)计算真实图像集与生成图像集间的FID分数; 最后, 基于设定阈值采用FID对生成模型的图像质量进行评估, 当FID小于设定阈值时, 视为燃烧图像合格并将其放入训练集.
2.4 燃烧状态识别模块
本文利用混合增强数据训练基于CNN的燃烧状态识别模型. 包括两部分: 1) 非生成式数据增强: 将所有数据集像素点值除以255, 同时对训练集的数据随机旋转0° ~ 5°, 沿水平方向随机平移比例0 ~ 0.3, 再随机将图片水平翻转, 最后, 以映射的方法填充缺失像素; 2) CNN结构: 首先将4层卷积和池化层堆叠以提取特征, 然后通过Flatten层将张量拉平, 结合Dropout机制防止过拟合, 最后以全连接层为分类器; 其中, 网络采用的损失函数为交叉熵、采用Adam优化器的学习率为0.001, 其他参数均为默认值.
3. 实验结果与分析
3.1 数据描述
在北京市某MSWI电厂焚烧炉的炉膛后壁安装摄像头, 采集的数据通过电缆传送至工控机的视频采集卡, 采用相应软件获取单通道视频, 并对火焰图像按每分钟进行存储. 根据专家经验, 选取每种典型工况下各90幅图像. 按时间段将每种工况数据集划分为T1 ~ T10, 每个时间段的数据为9幅图像, 其中T9和T10时间段的数据受噪声影响较大, 存在图像不清晰、MSW焚烧不均匀等问题. 本文选取两种划分数据集的方式, 其中, 方式A按时间次序划分训练集、验证集和测试集; 方式B采用随机抽样策略划分上述3个数据集, 如表1所示.
表 1 数据集划分Table 1 Dataset partition数据集 划分方式 训练集 验证集 测试集 A 时间次序 9 × 8 9 × 1 9 × 1 B 随机抽样 9 × 8 9 × 1 9 × 1 由表1可知, 按时间次序的划分方式可测试识别模型的鲁棒性; 按随机抽样的划分方式可反映模型的泛化性能. 为确保结果的严谨, 对每种方式进行10次重复实验, 结果以均值和方差的形式呈现.
3.2 实验结果
3.2.1 燃烧状态标定结果
将燃烧状态标定为燃烧线前移、正常和后移3种状态, 典型图片如图7 ~ 9所示.
由图7 ~ 9可知, 当燃烧线在图中虚线1的上方时, 处于燃烧线前移状态; 当燃烧线在图中虚线1和虚线2中间时, 处于燃烧线正常状态; 当燃烧线在图中虚线2下方时, 处于燃烧线后移状态.
结合领域专家经验, 考虑到料层厚度等原因, 虚线1和虚线2相对于图4中标记的位置线偏下. 工业实际表明, 完全符合燃烧线前移、正常和后移图像仅是少数, 多数图像仅是部分前移或后移. 显然, 燃烧图片的状态标定具有一定主观性, 进而为燃烧状态识别模型构建造成困难.
3.2.2 数据增强结果
针对燃烧状态数据, 本文采取先随机取部分火焰图像构建DCGAN结构、再针对不同燃烧状态图像对DCGAN超参数单独微调的策略, 以此保证DCGAN尽可能生成不同燃烧状态下质量优异的新数据.
首先, 随机选取部分火焰图像构建粗调DCGAN, 并采用FID算法对最后500批次进行评估, 如图10所示.
图 10 粗调DCGAN迭代过程中FID对生成燃烧状态图像的评估结果Fig. 10 Assessment of FID for generating combustion state images during rough DCGAN iteration图10中, FIDmin = 36.10, FIDaverage = 48.51. 这表明本文设计的DCGAN模型性能优异.
然后, 针对不同燃烧状态图像对DCGAN超参数单独微调, 对燃烧线前移、正常和后移模型生成图像进行评估. 依据文献[35]给定的生成图像清晰与否的判定经验, 结合博弈过程中所生成的图像情况, 对燃烧线前移、正常和后移的阈值分别设定为60、60和63. 最后, 完成生成式数据增强.
3.2.3 生成式增强图像选择结果
本文中, 方式A燃烧线前移、正常和后移训练集扩充图像数量分别为5060、3452和3312. 方式B燃烧线前移、正常和后移训练集扩充图像数量分别为6912, 7632和9360. 其中, 方式A的部分增强图像如图11 ~ 13所示.
3.2.4 燃烧状态识别模块结果
采用前面所述的非生成式数据增强方式, 某幅燃烧线前移图像增强的效果如图14所示.
由图14可知, 该方式的非生成式数据增强对模型的优化效果相对较好. 随机进行非生成式数据增强会对识别模型造成负优化, 如图15所示, 显然该方式下的数据增强导致识别精度降低.
基于本文前面所述的CNN模型, 方式A时, 识别模型的验证集和测试集识别准确率为72.69%和84.82%, 损失为0.9768和0.5520; 方式B时, 识别模型验证集和测试集识别准确率为97.41%和94.07%, 损失为0.0699和0.2019. 参考表1可得: 方式A按照时序划分, 其训练集、验证集和测试集的样本概率分布存在一定差异; 方式B是数据集的随机采样, 训练集样本分布更能够代表数据集的全集分布. 因此, 方式B的准确率和损失相对于方式A更佳, 方式B的实验结果侧重验证说明识别模型的泛化性能优异, 而方式A的实验结果侧重验证说明识别模型的鲁棒性良好.
3.3 对比分析
3.3.1 生成模型的对比实验结果
将本文的方法与GAN、最小二乘GAN (Least square GAN, LSGAN)[48]、DCGAN进行比较, 结果如表2所示, 生成图像质量对比如图16所示.
表 2 不同生成模型生成数据的评估结果Table 2 Evaluation results of data generated by different generation models方法 评价指标 FIDmin FIDaverage Epoch GAN 250.00 254.50 10000 LSGAN 58.56 51.94 3000 DCGAN 43.81 49.67 2500 本文方法 36.10 48.51 2500 
图 16 不同生成模型生成的燃烧状态图像Fig. 16 Combustion state images generated by different generation models实验表明, 本文设计的DCGAN模型结构相比于GAN、LSGAN、DCGAN能够在更短的epoch中获得更优结果.
3.3.2 燃烧状态识别模型对比实验结果
本文采用的4组对比实验分别为基于CNN、基于非生成式数据增强、基于DCGAN数据增强以及基于DCGAN和非生成式组合的数据增强(本文方法). 每组实验重复10次, 相应的平均值和方差如表3所示.
表 3 识别模型的性能对比Table 3 Performance comparison of recognition models方法 测试集准确率 测试集损失 验证集准确率 验证集损失 方式A CNN 0.7518±0.00245 0.6046±0.02882 0.6115±0.00212 1.6319±0.11640 非生成式数据增强+CNN 0.8272±0.00206 0.6504±0.04038 0.7830±0.00183 0.9077±0.03739 DCGAN数据增强+CNN 0.8000±0.00098 0.8776±0.01063 0.5885±0.00396 1.9024±0.11050 本文方法 0.8482±0.00105 0.5520±0.01006 0.7269±0.00377 0.9768±0.05797 方式B CNN 0.8926±0.00105 0.2298±0.00309 0.8519±0.00061 0.2519±0.00167 非生成式数据增强+CNN 0.9371±0.00184 0.1504±0.00825 0.9704±0.00055 0.1093±0.01037 DCGAN数据增强+CNN 0.9000±0.00123 0.3159±0.01150 0.8445±0.00207 0.2913±0.00396 本文方法 0.9407±0.00367 0.2019±0.01498 0.9741±0.00044 0.0699±0.00195 由表3可知: 在方式A中, 本文方法的识别模型测试集准确率为84.82%, 损失为0.5520, 相比于其他方法, 本文方法能够提高模型鲁棒性; 在方式B中, 本文方法的MSWI识别模型测试集准确率为94.07%, 相比于其他方法, 模型的泛化性能更好. 因此, 本文将非生成式和生成式数据增强结合后, CNN的鲁棒性和泛化性能均得到明显的提升.
表3还表明, 基于DCGAN数据增强的燃烧状态识别模型相比于未做数据增强, 泛化性能与鲁棒性有一定提升. 但仅采用生成式数据增强却不如仅采用非生成式数据增强, 本文给出以下解释: 1) 本文设计的非生成式数据增强能够有效增加火焰图像新的特征, 从而提高模型的鲁棒性能; 2) 基于DCGAN的数据增强虽然创造出新的样本, 但当DCGAN通过博弈达到纳什均衡状态时, 生成网络为欺骗判别网络, 仅根据学习到的特征形成新的火焰图像而非创造新的特征, 因此该图像对CNN的鲁棒性能的提升有限; 3) 方式A的测试集、验证集与训练集源于不同的时间段, 其特征差异大, 且部分图像的标定存在主观性; 4) 基于DCGAN数据增强将原270样本扩充到方式A的11824样本和方式B的23904样本后, 由于其特征的相似性, 导致CNN在训练过程中难以控制迭代次数与批次. 因此, 如何实现两者的均衡仍有待深入研究.
4. 结束语
本文提出一种基于混合数据增强的MSWI过程燃烧状态识别模型, 其创新性表现在: 1) 指出基于对抗生成式数据增强的不足, 并针对生成式和非生成式数据增强的缺陷, 提出混合数据增强策略; 2) 构建基于DCGAN的生成式数据增强模块, 设计面向燃烧图像的多层次生成网络结构; 3) 针对火焰燃烧图像, 设计非生成式数据增强的方法. 实验结果表明, 本文方法能够有效结合生成式数据增强与非生成式数据增强的优点, 能够有效生成优质的虚拟样本, 从而使得MSWI状态识别模型具有较好的泛化性能与鲁棒性.
需要指出的是, 工业现场并非缺少数据, 而是标记困难. 如何充分利用海量数据实现自动标记以及通过半监督或无监督学习、提高模型的泛化性和鲁棒性是下一步研究方向.
附录 A. 各变量具体说明
表 A1 符号及含义Table A1 Symbols and their descriptions符号 符号含义 D 判别器 G 生成器 $ V(D,G)$ GAN 原始的目标函数 ${\boldsymbol{z}} $ 潜在空间的随机噪声 $ D^*$ 固定G 参数, 在$\mathop {\max }\nolimits_D V \left({D,G} \right)$过程中, D 的最优解 ${D_{{\text{JS}}}}$ JS 散度 ${R_{jk}}$ 图像中经过卷积核扫描后的第 j 行第 k 列的结果 ${H_{j - u,k - v}}$ 卷积核 ${F_{u,v}}$ 图像 $X$ 燃烧状态数据集, 包含前移、正常和后移的数据集, 即燃烧图像粗调 DCGAN 中判别网络输入值集合$[ { {\boldsymbol{x} }_{{1} } };{ {\boldsymbol{x} }_{{2} } }; $ ${ {\boldsymbol{x} }_{{3} } }; \cdots ;{ {\boldsymbol{x} }_{\rm{a}}} \cdots ]$, 即$ \left[ {{X_{{\rm{real}}}};{X_{{\rm{false}}}}} \right]$ $ X_{{\rm{FW}}}$ 燃烧线前移数据集 $ X_{{\rm{NM}}}$ 燃烧线正常数据集 $ X_{{\rm{BC}}}$ 燃烧线后移数据集 $ X'_{{\rm{FW}}}$ 训练集燃烧线前移数据集 $ X'_{{\rm{NM}}}$ 训练集燃烧线正常数据集 $ X'_{{\rm{BC}}}$ 训练集燃烧线后移数据集 $ X''_{{\rm{FW}}}$ 测试、验证燃烧线前移数据集 $ X''_{{\rm{NM}}}$ 测试、验证燃烧线正常数据集 $ X''_{{\rm{BC}}}$ 测试、验证燃烧线后移数据集 $ {D_t}(\cdot, \cdot )$ 燃烧图像粗调 DCGAN 子模块中, 判别网络参数为${\theta _{D,t}}$时, 判别网络预测值集合 $ {D_{t+1}}(\cdot, \cdot )$ 燃烧图像粗调 DCGAN 子模块中, 判别网络参数为${\theta _{D,t+1}}$时, 判别网络预测值集合 $ Y_{D,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈训练判别网络的真实值集合 $ Y_{G,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈训练生成网络的真实值集合 $ loss_{D,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈更新判别网络的损失值 $ loss_{G,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈更新生成网络的损失值 $ X_{{\rm{real}}}$ 在燃烧图像粗调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}$ 在燃烧图像粗调 DCGAN 子模块中参加第 t 次博弈的生成的数据 $ G_t({\boldsymbol{z}})$ 在燃烧图像粗调 DCGAN 子模块第 t 次博弈中由随机噪声经过生成网络得到的虚拟样本 ${S_{D,t}}$ 燃烧图像粗调 DCGAN 中获得的判别网络的结构参数 ${S_{G,t}}$ 燃烧图像粗调 DCGAN 中获得的生成网络的结构参数 ${\theta _{D,t}}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 ${\theta _{G,t}}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 $ X_{{\rm{real}}}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}^{{\rm{FW}}}$ 在燃烧线前移精调 DCGAN 子模块中参加第 t 次博弈的生成数据 $ X_{{\rm{real}}}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}^{{\rm{NM}}}$ 在燃烧线正常精调 DCGAN 子模块中参加第 t 次博弈的生成数据 $ X_{{\rm{real}}}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}^{{\rm{BC}}}$ 在燃烧线后移精调 DCGAN 子模块中参加第 t 次博弈的生成数据 $ D_t^{{\rm{FW}}}(\cdot, \cdot )$ 在燃烧线前移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t}^{{\text{FW}}}$时, 判别网络预测值集合 $ D_t^{{\rm{NM}}}(\cdot, \cdot )$ 在燃烧线正常精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t}^{{\text{NM}}}$时, 判别网络预测值集合 $ {D}_{t}^{\text{BC}}(\cdot, \cdot ) $ 在燃烧线后移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t}^{{\text{BC}}}$时, 判别网络预测值集合 $ D_{t+1}^{{\rm{FW}}}(\cdot, \cdot )$ 在燃烧线前移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t + 1}^{{\text{FW}}}$时, 判别网络预测值集合 $ D_{t+1}^{{\rm{NM}}}(\cdot, \cdot )$ 在燃烧线正常精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t + 1}^{{\text{NM}}}$时, 判别网络预测值集合 $ D_{t+1}^{{\rm{BC}}}(\cdot, \cdot )$ 在燃烧线后移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t + 1}^{{\text{BC}}}$时, 判别网络预测值集合 $ Y_{D,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈训练 D 的真实值集合 $ Y_{G,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈训练G的真实值集合 $ Y_{D,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈训练 D 的真实值集合 $ Y_{G,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈训练G的真实值集合 $ Y_{D,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈训练 D 的真实值集合 $ Y_{G,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈训练G的真实值集合 $ loss_{D,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈更新 D 的损失值 $ loss_{G,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈更新G的损失值 $ loss_{D,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈更新 D 的损失值 $ loss_{G,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈更新 G 的损失值 $ loss_{D,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈更新 D 的损失值 $ loss_{G,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈更新G的损失值 $\theta _{D,t}^{{\text{FW}}}$ 燃烧线前移 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 $\theta _{G,t}^{{\text{FW}}}$ 燃烧线前移 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 $\theta _{D,t}^{{\text{NM}}}$ 燃烧线正常 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 $\theta _{G,t}^{{\text{NM}}}$ 燃烧线正常 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 $\theta _{D,t}^{{\text{BC}}}$ 燃烧线后移 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 $\theta _{G,t}^{{\text{BC}}}$ 燃烧线后移 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 ${\widehat Y_{{\text{ CNN }},t}}$ 燃烧状态识别模块第 t 次更新 CNN 模型预测值集合 $los{s_{{\text{ CNN }},t}}$ 燃烧状态识别模块第 t 次更新 CNN 的损失 $ \theta _{{\rm{ CNN }},t}$ 燃烧状态识别模块第 t 次更新 CNN 的网络更新参数 $ loss$ 神经网络的损失 ${\boldsymbol{x} }_{{a} }$ 神经网络第 a 幅输入图像 $y_a $ 第 a 幅输入图像输入神经网络后的输出值 $ D_t(X)$ 判别网络预测值集合, 即$ {D_t}(\cdot, \cdot )$ $L $ 损失函数 $\delta_i $ 第 i 层的误差 $O_i $ 第 i 层输出 $W_i$ 第 i 层的所有权重参数 $B_i $ 第 i 层的所有偏置参数 $ {\nabla _{{W_{i - 1}}}}$ 第$i-1 $层的权重的当前梯度 $ {\nabla _{{B_{i - 1}}}}$ 第$i-1 $层的偏置的当前梯度 $ {\theta _{D,t}}$ 第 t 次判别网络的参数 $ {m _{D,t}}$ 第 t 次判别网络一阶动量 $ {v _{D,t}}$ 第 t 次判别网络的二阶动量 $\alpha $ 学习率 $\gamma $ 很小的正实数 $ {\nabla _{D,t}}$ 第 t 次判别网络参数的梯度 $\beta_1 $ Adam 超参数 $\beta_2 $ Adam 超参数 $ {\eta _{D,t}}$ 计算第 t 次的下降梯度 $ {\widehat m_{D,t}}$ 初始阶段判别网络的第 t 次一阶动量 $ {\widehat v_{D,t}}$ 初始阶段判别网络的第 t 次的二阶动量 $Y $ 神经网络真值集合 $ f(X)$ 神经网络预测值集合 $p $ 概率分布 ${p_{\text{r}}}$ 真实图像的概率分布 ${p_{\text{g}}}$ 生成图像的概率分布 ${p_{\boldsymbol{z}}}$ z 所服从的正态分布 Cov 协方差矩阵 -
图 2 基于DCGAN数据增强的燃烧状态识别策略
Fig. 2 Strategy of combustion state recognition based on DCGAN data enhancement
图 10 粗调DCGAN迭代过程中FID对生成燃烧状态图像的评估结果
Fig. 10 Assessment of FID for generating combustion state images during rough DCGAN iteration
图 16 不同生成模型生成的燃烧状态图像
Fig. 16 Combustion state images generated by different generation models
表 1 数据集划分
Table 1 Dataset partition
数据集 划分方式 训练集 验证集 测试集 A 时间次序 9 × 8 9 × 1 9 × 1 B 随机抽样 9 × 8 9 × 1 9 × 1 
下载: 导出CSV
表 2 不同生成模型生成数据的评估结果
Table 2 Evaluation results of data generated by different generation models
方法 评价指标 FIDmin FIDaverage Epoch GAN 250.00 254.50 10000 LSGAN 58.56 51.94 3000 DCGAN 43.81 49.67 2500 本文方法 36.10 48.51 2500
下载: 导出CSV
表 3 识别模型的性能对比
Table 3 Performance comparison of recognition models
方法 测试集准确率 测试集损失 验证集准确率 验证集损失 方式A CNN 0.7518±0.00245 0.6046±0.02882 0.6115±0.00212 1.6319±0.11640 非生成式数据增强+CNN 0.8272±0.00206 0.6504±0.04038 0.7830±0.00183 0.9077±0.03739 DCGAN数据增强+CNN 0.8000±0.00098 0.8776±0.01063 0.5885±0.00396 1.9024±0.11050 本文方法 0.8482±0.00105 0.5520±0.01006 0.7269±0.00377 0.9768±0.05797 方式B CNN 0.8926±0.00105 0.2298±0.00309 0.8519±0.00061 0.2519±0.00167 非生成式数据增强+CNN 0.9371±0.00184 0.1504±0.00825 0.9704±0.00055 0.1093±0.01037 DCGAN数据增强+CNN 0.9000±0.00123 0.3159±0.01150 0.8445±0.00207 0.2913±0.00396 本文方法 0.9407±0.00367 0.2019±0.01498 0.9741±0.00044 0.0699±0.00195
下载: 导出CSV
A1 符号及含义
A1 Symbols and their descriptions
符号 符号含义 D 判别器 G 生成器 $ V(D,G)$ GAN 原始的目标函数 ${\boldsymbol{z}} $ 潜在空间的随机噪声 $ D^*$ 固定G 参数, 在$\mathop {\max }\nolimits_D V \left({D,G} \right)$过程中, D 的最优解 ${D_{{\text{JS}}}}$ JS 散度 ${R_{jk}}$ 图像中经过卷积核扫描后的第 j 行第 k 列的结果 ${H_{j - u,k - v}}$ 卷积核 ${F_{u,v}}$ 图像 $X$ 燃烧状态数据集, 包含前移、正常和后移的数据集, 即燃烧图像粗调 DCGAN 中判别网络输入值集合$[ { {\boldsymbol{x} }_{{1} } };{ {\boldsymbol{x} }_{{2} } }; $ ${ {\boldsymbol{x} }_{{3} } }; \cdots ;{ {\boldsymbol{x} }_{\rm{a}}} \cdots ]$, 即$ \left[ {{X_{{\rm{real}}}};{X_{{\rm{false}}}}} \right]$ $ X_{{\rm{FW}}}$ 燃烧线前移数据集 $ X_{{\rm{NM}}}$ 燃烧线正常数据集 $ X_{{\rm{BC}}}$ 燃烧线后移数据集 $ X'_{{\rm{FW}}}$ 训练集燃烧线前移数据集 $ X'_{{\rm{NM}}}$ 训练集燃烧线正常数据集 $ X'_{{\rm{BC}}}$ 训练集燃烧线后移数据集 $ X''_{{\rm{FW}}}$ 测试、验证燃烧线前移数据集 $ X''_{{\rm{NM}}}$ 测试、验证燃烧线正常数据集 $ X''_{{\rm{BC}}}$ 测试、验证燃烧线后移数据集 $ {D_t}(\cdot, \cdot )$ 燃烧图像粗调 DCGAN 子模块中, 判别网络参数为${\theta _{D,t}}$时, 判别网络预测值集合 $ {D_{t+1}}(\cdot, \cdot )$ 燃烧图像粗调 DCGAN 子模块中, 判别网络参数为${\theta _{D,t+1}}$时, 判别网络预测值集合 $ Y_{D,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈训练判别网络的真实值集合 $ Y_{G,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈训练生成网络的真实值集合 $ loss_{D,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈更新判别网络的损失值 $ loss_{G,t}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈更新生成网络的损失值 $ X_{{\rm{real}}}$ 在燃烧图像粗调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}$ 在燃烧图像粗调 DCGAN 子模块中参加第 t 次博弈的生成的数据 $ G_t({\boldsymbol{z}})$ 在燃烧图像粗调 DCGAN 子模块第 t 次博弈中由随机噪声经过生成网络得到的虚拟样本 ${S_{D,t}}$ 燃烧图像粗调 DCGAN 中获得的判别网络的结构参数 ${S_{G,t}}$ 燃烧图像粗调 DCGAN 中获得的生成网络的结构参数 ${\theta _{D,t}}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 ${\theta _{G,t}}$ 在燃烧图像粗调 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 $ X_{{\rm{real}}}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}^{{\rm{FW}}}$ 在燃烧线前移精调 DCGAN 子模块中参加第 t 次博弈的生成数据 $ X_{{\rm{real}}}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}^{{\rm{NM}}}$ 在燃烧线正常精调 DCGAN 子模块中参加第 t 次博弈的生成数据 $ X_{{\rm{real}}}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中参加博弈的真实数据 $ X_{{\rm{false}},t}^{{\rm{BC}}}$ 在燃烧线后移精调 DCGAN 子模块中参加第 t 次博弈的生成数据 $ D_t^{{\rm{FW}}}(\cdot, \cdot )$ 在燃烧线前移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t}^{{\text{FW}}}$时, 判别网络预测值集合 $ D_t^{{\rm{NM}}}(\cdot, \cdot )$ 在燃烧线正常精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t}^{{\text{NM}}}$时, 判别网络预测值集合 $ {D}_{t}^{\text{BC}}(\cdot, \cdot ) $ 在燃烧线后移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t}^{{\text{BC}}}$时, 判别网络预测值集合 $ D_{t+1}^{{\rm{FW}}}(\cdot, \cdot )$ 在燃烧线前移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t + 1}^{{\text{FW}}}$时, 判别网络预测值集合 $ D_{t+1}^{{\rm{NM}}}(\cdot, \cdot )$ 在燃烧线正常精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t + 1}^{{\text{NM}}}$时, 判别网络预测值集合 $ D_{t+1}^{{\rm{BC}}}(\cdot, \cdot )$ 在燃烧线后移精调 DCGAN 子模块中判别网络参数为参数$\theta _{D,t + 1}^{{\text{BC}}}$时, 判别网络预测值集合 $ Y_{D,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈训练 D 的真实值集合 $ Y_{G,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈训练G的真实值集合 $ Y_{D,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈训练 D 的真实值集合 $ Y_{G,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈训练G的真实值集合 $ Y_{D,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈训练 D 的真实值集合 $ Y_{G,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈训练G的真实值集合 $ loss_{D,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈更新 D 的损失值 $ loss_{G,t}^{{\rm{FW}}}$ 燃烧线前移精调 DCGAN 子模块中第 t 次博弈更新G的损失值 $ loss_{D,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈更新 D 的损失值 $ loss_{G,t}^{{\rm{NM}}}$ 燃烧线正常精调 DCGAN 子模块中第 t 次博弈更新 G 的损失值 $ loss_{D,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈更新 D 的损失值 $ loss_{G,t}^{{\rm{BC}}}$ 燃烧线后移精调 DCGAN 子模块中第 t 次博弈更新G的损失值 $\theta _{D,t}^{{\text{FW}}}$ 燃烧线前移 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 $\theta _{G,t}^{{\text{FW}}}$ 燃烧线前移 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 $\theta _{D,t}^{{\text{NM}}}$ 燃烧线正常 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 $\theta _{G,t}^{{\text{NM}}}$ 燃烧线正常 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 $\theta _{D,t}^{{\text{BC}}}$ 燃烧线后移 DCGAN 子模块中第 t 次博弈判别网络更新前的网络参数 $\theta _{G,t}^{{\text{BC}}}$ 燃烧线后移 DCGAN 子模块中第 t 次博弈生成网络更新前的网络参数 ${\widehat Y_{{\text{ CNN }},t}}$ 燃烧状态识别模块第 t 次更新 CNN 模型预测值集合 $los{s_{{\text{ CNN }},t}}$ 燃烧状态识别模块第 t 次更新 CNN 的损失 $ \theta _{{\rm{ CNN }},t}$ 燃烧状态识别模块第 t 次更新 CNN 的网络更新参数 $ loss$ 神经网络的损失 ${\boldsymbol{x} }_{{a} }$ 神经网络第 a 幅输入图像 $y_a $ 第 a 幅输入图像输入神经网络后的输出值 $ D_t(X)$ 判别网络预测值集合, 即$ {D_t}(\cdot, \cdot )$ $L $ 损失函数 $\delta_i $ 第 i 层的误差 $O_i $ 第 i 层输出 $W_i$ 第 i 层的所有权重参数 $B_i $ 第 i 层的所有偏置参数 $ {\nabla _{{W_{i - 1}}}}$ 第$i-1 $层的权重的当前梯度 $ {\nabla _{{B_{i - 1}}}}$ 第$i-1 $层的偏置的当前梯度 $ {\theta _{D,t}}$ 第 t 次判别网络的参数 $ {m _{D,t}}$ 第 t 次判别网络一阶动量 $ {v _{D,t}}$ 第 t 次判别网络的二阶动量 $\alpha $ 学习率 $\gamma $ 很小的正实数 $ {\nabla _{D,t}}$ 第 t 次判别网络参数的梯度 $\beta_1 $ Adam 超参数 $\beta_2 $ Adam 超参数 $ {\eta _{D,t}}$ 计算第 t 次的下降梯度 $ {\widehat m_{D,t}}$ 初始阶段判别网络的第 t 次一阶动量 $ {\widehat v_{D,t}}$ 初始阶段判别网络的第 t 次的二阶动量 $Y $ 神经网络真值集合 $ f(X)$ 神经网络预测值集合 $p $ 概率分布 ${p_{\text{r}}}$ 真实图像的概率分布 ${p_{\text{g}}}$ 生成图像的概率分布 ${p_{\boldsymbol{z}}}$ z 所服从的正态分布 Cov 协方差矩阵
下载: 导出CSV
-
[1] 乔俊飞, 郭子豪, 汤健. 面向城市固废焚烧过程的二噁英排放浓度检测方法综述. 自动化学报, 2020, 46(6): 1063-1089Qiao Jun-Fei, Guo Zi-Hao, Tang Jian. Dioxin emission concentration measurement approaches for municipal solid wastes incineration process: A survey. Acta Automatica Sinica, 2020, 46(6): 1063-1089 [2] Lu J W, Zhang S K, Hai J, Lei M. Status and perspectives of municipal solid waste incineration in China: A comparison with developed regions. Waste Management, 2017, 69: 170-186 doi: 10.1016/j.wasman.2017.04.014 [3] Kalyani K A, Pandey K K. Waste to energy status in India: A short review. Renewable and Sustainable Energy Reviews, 2014, 31: 113-120 doi: 10.1016/j.rser.2013.11.020 [4] 汤健, 乔俊飞. 基于选择性集成核学习算法的固废焚烧过程二噁英排放浓度软测量. 化工学报, 2018, 70(2): 696-706Tang Jian, Qiao Jun-Fei. Dioxin emission concentration soft measuring approach of municipal solid waste incineration based on selective ensemble kernel learning algorithm. CIESC Journal, 2019, 70(2): 696-706 [5] 汤健, 王丹丹, 郭子豪, 乔俊飞. 基于虚拟样本优化选择的城市固废焚烧过程二噁英排放浓度预测. 北京工业大学学报, 2021, 47(5): 431-443Tang Jian, Wang Dan-Dan, Guo Zi-Hao, Qiao Jun-Fei. Prediction of dioxin emission concentration in the municipal solid waste incineration process based on optimal selection of virtual samples. Journal of Beijing University of Technology, 2021, 47(5): 431-443 [6] 汤健, 乔俊飞, 徐喆, 郭子豪. 基于特征约简与选择性集成算法的城市固废焚烧过程二噁英排放浓度软测量. 控制理论与应用, 2021, 38(1): 110-120Tang Jian, Qiao Jun-Fei, Xu Zhe, Guo Zi-Hao. Soft measuring approach of dioxin emission concentration in municipal solid waste incineration process based on feature reduction and selective ensemble algorithm. Control Theory & Applications, 2021, 38(1): 110-120 [7] Kolekar K A, Hazra T, Chakrabarty S N. A review on prediction of municipal solid waste generation models. Procedia Environmental Sciences, 2016, 35: 238-244 doi: 10.1016/j.proenv.2016.07.087 [8] Li X M, Zhang C M, Li Y Z, Zhi Q. The status of municipal solid waste incineration (MSWI) in China and its clean development. Energy Procedia, 2016, 104: 498-503 doi: 10.1016/j.egypro.2016.12.084 [9] 乔俊飞, 段滈杉, 汤健, 蒙西. 基于火焰图像颜色特征的MSWI燃烧工况识别. 控制工程, 2022, 29(7): 1153-1161Qiao Jun-Fei, Duan Hao-Shan, Tang Jian, Meng Xi. Recognition of MSWI combustion conditions based on color features of flame images. Control Engineering of China, 2022, 29(7): 1153-1161 [10] 高济, 何志均. 基于规则的联想网络. 自动化学报, 1989, 15(4): 318-323Gao Ji, He Zhi-Jun. The associative network based on rules. Acta Automatica Sinica, 1989, 15(4): 318-323 [11] Roy S K, Krishna G, Dubey S R, Chaudhuri B B. HybridSN: Exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281 doi: 10.1109/LGRS.2019.2918719 [12] Ahammad S H, Rajesh V, Rahman Z U, Lay-Ekuakille A. A hybrid CNN-based segmentation and boosting classifier for real time sensor spinal cord injury data. IEEE Sensors Journal, 2020, 20(17): 10092-10101 doi: 10.1109/JSEN.2020.2992879 [13] Sun Y, Xue B, Zhang M J, Yen G G, Lv J C. Automatically designing CNN architectures using the genetic algorithm for image classification. IEEE Transactions on Cybernetics, 2020, 50(9): 3840-3854 doi: 10.1109/TCYB.2020.2983860 [14] Zhou P, Gao B H, Wang S, Chai T Y. Identification of abnormal conditions for fused magnesium melting process based on deep learning and multisource information fusion, IEEE Transactions on Industrial Electronics, 2022, 69(3): 3017-3026 doi: 10.1109/TIE.2021.3070512 [15] 张震, 汪斌强, 李向涛, 黄万伟. 基于近邻传播学习的半监督流量分类方法. 自动化学报, 2013, 39(7): 1100-1109Zhang Zhen, Wang Bin-Qiang, Li Xiang-Tao, Huang Wan-Wei. Semi-supervised traffic identification based on affinity propagation. Acta Automatica Sinica, 2013, 39(7): 1100-1109 [16] 王松涛, 周真, 靳薇, 曲寒冰. 基于贝叶斯框架融合的RGB-D图像显著性检测. 自动化学报, 2020, 46(4): 695-720Wang Song-Tao, Zhou Zhen, Jin Wei, Qu Han-Bing. Saliency detection for RGB-D images under Bayesian framework. Acta Automatica Sinica, 2020, 46(4): 695-720 [17] 陶剑文, 王士同. 领域适应核支持向量机. 自动化学报, 2012, 38(5): 797-811 doi: 10.3724/SP.J.1004.2012.00797Tao Jian-Wen, Wang Shi-Tong. Kernel support vector machine for domain adaptation. Acta Automatica Sinica, 2012, 38(5): 797-811 doi: 10.3724/SP.J.1004.2012.00797 [18] 李强, 王正志. 基于人工神经网络和经验知识的遥感信息分类综合方法. 自动化学报, 2000, 26(2): 233-239Li Qiang, Wang Zheng-Zhi. Remote sensing information classification based on artificial neural network and knowledge. Acta Automatica Sinica, 2000, 26(2): 233-239 [19] 罗珍珍, 陈靓影, 刘乐元, 张坤. 基于条件随机森林的非约束环境自然笑脸检测. 自动化学报, 2018, 44(4): 696-706Luo Zhen-Zhen, Chen Jing-Ying, Liu Le-Yuan, Zhang Kun. Conditional random forests for spontaneous smile detection in unconstrained environment. Acta Automatica Sinica, 2018, 44(4): 696-706 [20] 郝红卫, 王志彬, 殷绪成, 陈志强. 分类器的动态选择与循环集成方法. 自动化学报, 2011, 37(11): 1290-1295Hao Hong-Wei, Wang Zhi-Bin, Yin Xu-Cheng, Chen Zhi-Qiang. Dynamic selection and circulating combination for multiple classifier systems. Acta Automatica Sinica, 2011, 37(11): 1290-1295 [21] 常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 等. 图像理解中的卷积神经网络. 自动化学报, 2016, 42(9): 1300-1312Chang Liang, Deng Xiao-Ming, Zhou Ming-Quan, Wu Zhong-Ke, Yuan Ye, Yang Shuo, et al. Convolutional neural networks in image understanding. Acta Automatica Sinica, 2016, 42(9): 1300-1312 [22] Bai W D, Yan J H, Ma Z Y. Method of flame identification based on support vector machine. Power Engingeering, 2004, 24(4): 548-551 [23] Sun D, Lu G, Zhou H, Yan Y, Liu S. Quantitative assessment of flame stability through image processing and spectral analysis. IEEE Transactions on Instrumentation and Measurement, 2015, 64(12): 3323-3333 doi: 10.1109/TIM.2015.2444262 [24] Khan A, Sohail A, Zahoora U, Qureshi A S. A survey of the recent architectures of deep convolutional neural networks. Artificial Intelligence Review, 2020, 53(8): 5455-5516 doi: 10.1007/s10462-020-09825-6 [25] 冯晓硕, 沈樾, 王冬琦. 基于图像的数据增强方法发展现状综述. 计算机科学与应用, 2021, 11(2): 370-382 doi: 10.12677/CSA.2021.112037Feng Xiao-Shuo, Shen Yue, Wang Dong-Qi. A survey on the development of image data augmentation. Computer Science and Application, 2021, 11(2): 370-382 doi: 10.12677/CSA.2021.112037 [26] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montréal, Canada: MIT Press, 2014. 2672−2680 [27] 唐贤伦, 杜一铭, 刘雨微, 李佳歆, 马艺玮. 基于条件深度卷积生成对抗网络的图像识别方法. 自动化学报, 2018, 44(5): 855-864Tang Xian-Lun, Du Yi-Ming, Liu Yu-Wei, Li Jia-Xin, Ma Yi-Wei. Image recognition with conditional deep convolutional generative adversarial networks. Acta Automatica Sinica, 2018, 44(5): 855-864 [28] 刘建伟, 谢浩杰, 罗雄麟. 生成对抗网络在各领域应用研究进展. 自动化学报, 2020, 46(12): 2500-2536Liu Jian-Wei, Xie Hao-Jie, Luo Xiong-Lin. Research progress on application of generative adversarial networks in various fields. Acta Automatica Sinica, 2020, 46(12): 2500-2536 [29] 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃. 生成式对抗网络GAN的研究进展与展望. 自动化学报, 2017, 43(3): 321-332Wang Kun-Feng, Gou Chao, Duan Yan-Jie, Lin Yi-Lun, Zheng Xin-Hu, Wang Fei-Yue. Generative adversarial networks: The state of the art and beyond. Acta Automatica Sinica, 2017, 43(3): 321-332 [30] Yang L, Liu Y H, Peng J Z. An automatic detection and identification method of welded joints based on deep neural network. IEEE Access, 2019, 7: 164952-164961 doi: 10.1109/ACCESS.2019.2953313 [31] Lian J, Jia W K, Zareapoor M, Zheng Y J, Luo R, Jain D K, et al. Deep-learning-based small surface defect detection via an exaggerated local variation-based generative adversarial network. IEEE Transactions on Industrial Informatics, 2020, 16(2): 1343-1351 doi: 10.1109/TII.2019.2945403 [32] Niu S L, Li B, Wang X G, Lin H. Defect image sample generation with GAN for improving defect recognition. IEEE Transactions on Automation Science and Engineering, 2020, 17(3): 1611-1622 [33] Wu X J, Qiu L T, Gu X D, Long Z L. Deep learning-based generic automatic surface defect inspection (ASDI) with pixelwise segmentation. IEEE Transactions on Instrumentation and Measurement, 2021, 70: Article No. 5004010 [34] Bichler M, Fichtl M, Heidekrüger S, Kohring N, Sutterer P. Learning equilibria in symmetric auction games using artificial neural networks. Nature Machine Intelligence, 2021, 3(8): 687-695 doi: 10.1038/s42256-021-00365-4 [35] Heusel M, Ramsauer H, Unterthiner T, Nessler B, Hochreiter S. GANs trained by a two time-scale update rule converge to a local Nash equilibrium. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: Curran Associates Inc., 2017. 6629−6640 [36] Lucic M, Kurach K, Michalski M, Bousquet O, Gelly S. Are GANs created equal? A large-scale study. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal, Canada: Curran Associates Inc., 2018. 698−707 [37] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. In: Proceedings of the 4th International Conference on Learning Representations. San Juan, Puerto Rico: 2016. [38] Suárez P L, Sappa A D, Vintimilla B X. Infrared image colorization based on a triplet DCGAN architecture. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, USA: IEEE, 2017. 18−23 [39] Yeh R A, Chen C, Lim T Y, Schwing A G, Hasegawa-Johnson M, Do M N. Semantic image inpainting with deep generative models. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 5485−5493 [40] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 26th Annual Conference on Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates Inc., 2012. 1106−1114 [41] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 818−833 [42] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [Online], available: http://arxiv.org/abs/1409.1556, April 10, 2015 [43] Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, et al. Going deeper with convolutions. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 1−9 [44] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770−778 [45] 林景栋, 吴欣怡, 柴毅, 尹宏鹏. 卷积神经网络结构优化综述. 自动化学报, 2020, 46(1): 24-37Lin Jing-Dong, Wu Xin-Yi, Chai Yi, Yin Hong-Peng. Structure optimization of convolutional neural networks: A survey. Acta Automatica Sinica, 2020, 46(1): 24-37 [46] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors. Nature, 1986, 323(6088): 533-536 doi: 10.1038/323533a0 [47] Kingma D P, Ba J. Adam: A method for stochastic optimization. arXiv preprint arXiv: 1412.6980, 2017. [48] Mao X D, Li Q, Xie H R, Lau R Y K, Wang Z, Smolley S P. Least squares generative adversarial networks. In: Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 2813−2821 期刊类型引用(4)
1. 汤健，田昊，夏恒，乔俊飞. 基于区间Ⅱ型FNN的MSWI过程炉膛温度控制. 北京工业大学学报. 2025(02): 157-172 . 
百度学术2. 胡开成，严爱军，汤健. 城市固废焚烧过程炉温与烟气含氧量多目标鲁棒预测模型. 自动化学报. 2024(05): 1001-1014 . 本站查看3. 郭海涛，汤健，夏恒，乔俊飞. 城市固废焚烧过程燃烧线极端异常火焰图像对抗生成. 中国电机工程学报. 2024(11): 4376-4387 . 百度学术4. 王印松，赵佳玉. 基于深度自编码器的城市固废焚烧过程燃烧状态识别. 控制工程. 2024(10): 1729-1737 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 1029
- HTML全文浏览量: 502
- PDF下载量: 183
- 被引次数: 6
