Image Recognition With Conditional Deep Convolutional Generative Adversarial Networks
-
摘要: 生成对抗网络（Generative adversarial networks，GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN，DCGAN）在传统生成对抗网络的基础上，引入卷积神经网络（Convolutional neural networks，CNN）进行无监督训练；条件生成对抗网络（Conditional GAN，CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点，建立条件深度卷积生成对抗网络模型（Conditional-DCGAN，C-DCGAN），利用卷积神经网络强大的特征提取能力，在此基础上加以条件辅助生成样本，将此结构再进行优化改进并用于图像识别中，实验结果表明，该方法能有效提高图像的识别准确率.Abstract: Generative adversarial network (GAN) is a prevalent generative model. Deep convolutional generative adversarial network (DCGAN), based on traditional generative adversarial networks, introduces convolutional neural networks (CNN) into the training for unsupervised learning to improve the effect of generative networks. Conditional generative adversarial network (CGAN) is a conditional model which adds condition extension into GAN. The generative model of conditional-DCGAN (C-DCGAN) is a combination of DCGAN and CGAN, which integrates the feature extraction of convolutional networks and condition auxiliary generative sample for image recognition. The result of simulation experiments shows that this model can improve the accuracy of image recognition.
-
随着大数据时代的到来, 人们对数据的处理正面临巨大挑战.在大数据应用研究中, 高维数据分析与研究是其主要内容之一.在现代机器学习与统计学的研究背景下, 高维数据所引发的维数灾难主要表现为:众多低维空间中表现良好的算法在面对高维数据时性能急剧下降.其主要原因有: 1)维数增加导致数据空间体积急剧膨胀、同等数量样本分布非常稀疏, 难以形成有效的簇; 2)高维空间中存在测度``集中现象", 使样本点间距离度量的类区分性随着维数增加而减弱; 3)样本数据包含大量冗余信息对聚类或分类无用, 甚至会降低算法的性能.基于上述原因, 对降维方法进行研究是十分有必要的.
总体上说, 面向聚类的降维方法均为无监督降维方法, 可分为线性降维和非线性降维.当前, 多数无监督线性降维方法假设观测数据落在一个低维流形子空间中, 通过寻找高维空间到低维子空间的线性投影实降维, 如主成分分析(Principal component analysis, PCA)[1]、局部保持投影(Locality preserving projections, LPP)[2]、近邻保持嵌入(Neighborhood preserving embedding, NPE)[3]和稀疏保持投影(Sparsity preserving projections, SPP)[4]. PCA是最经典的线性降维方法, 以最大化投影散度为目标, 但未考虑样本间的近邻结构关系, 不适合分布于流形上的非线性数据; LPP和NPE则考虑了样本间的近邻结构, LPP以保持降维前后样本间的近邻关系不变为目标, 而NPE旨在保持降维前后样本间的局部近邻结构; SPP的优化目标是使降维前后样本间的稀疏表示结构得以保持.但当数据非线性分布时, 上述线性降维算法就会失效.为弥补线性降维算法的不足, 各种非线性扩展方法被提出, 如核主成分分析(Kernel component analysis, KPCA)[5]和局部线性嵌入(Locally linear embedding, LLE)[6]. KPCA是PCA基于核技巧的非线性推广, 用于对非线性分布数据降维; LLE以保持投影前后局部线性关系不变为目的构造目标函数.然而这些非线性降维方法无法求出显式的映射函数, 当有新样本加入时, 需要重新学习优化模型.
极限学习机(Extreme learning machine, ELM)[7-8]最早被用于训练单隐层前馈神经网络, 具有学习速度快、泛化能力强等特点, 为有监督学习如分类和回归提供了简单有效的方法[9-10]. 2014年, Huang等基于流形正则的思想将ELM推广到无监督学习任务, 提出了一种新的非线性降维方法无监督极限学习机(Unsupervised extreme learning machine, US-ELM)[11].该方法很好地利用了ELM的逼近能力, 通过非线性映射将原数据投影到低维空间中, 并能够得到显式的非线性映射函数.但该方法利用高斯函数描述近邻样本间的相似度, 由于高斯函数用到距离测度, 难以避免地也存在高维空间中测度``集中现象", 即样本点间高斯相似性度量的类区分性随着维数增加而减弱, 进而影响降维算法性能.此外, US-ELM直接利用给定高斯函数计算样本近邻表示系数, 不具有数据自适应性.
针对上述问题, 本文对US-ELM进行改进, 同时考虑非线性数据的局部线性表示和全局稀疏表示.其中, 局部线性表示用于解决非线性流形数据的刻画问题, 以获取数据的局部结构[12];全局稀疏表示用于描述数据的全局结构[13];并通过加权参数融合近邻线性表示信息和稀疏表示信息.由此, 我们提出基于稀疏和近邻保持的极限学习机降维方法(SNP-ELM), 使得降维前后样本间的局部近邻表示关系和全局稀疏性保持不变. SNP-ELM通过学习得到近邻表示系数, 较之US-ELM具有更好的数据自适应性.
1. 极限学习机
极限学习机本质上是一种单隐含层前馈神经网络, 其结构如图 1所示[14]. ELM网络的训练主要分为两个阶段.第一个阶段是ELM网络结构构建, 隐含层将输入数据映射到$n$维的特征空间中, $n_h $为隐节点个数.定义隐含层关于${x_i}$的输出向量为。其中, $x\in {\mathbf R}^m$, 是第$i$个隐节点的输出, 其输出函数可以表示为:
$ \begin{equation} \hbox{$h_i(x)=g(a_i, b_i, x), a_i\in {\mathbf R}^m, b_i\in {\mathbf R}$} \end{equation} $
(1) 其中, $g(a_i, b_i, x)$为非线性激励函数, 常用的函数有Sigmoid函数和Gaussian函数.本文采用Sigmoid函数, 其表达式为:
$ \begin{equation} g(a_i, b_i, x)=\frac{1}{1+\exp(-a_ix+b_i)} \end{equation} $
(2) 式中, $a_i$为第$i$个隐节点的输入权值, $b_i$为第$i$个隐节点的偏差, 在ELM网络中输入权向量$a_i$和隐节点偏差$b_i$是随机产生的.
对于数据集$X$, ELM隐藏层输出为:
$ \begin{align} H(X)&=\left[ \begin{array}{c} h(x_1)\\ \vdots\\ h(x_n)\\ \end{array} \right]=\nonumber\\ &\left[ \begin{array}{ccc} g(a_1, b_1, x_1)&\cdots&g(a_{n_h}, b_{n_h}, x_1)\\ \vdots&\ddots&\vdots\\ g(a_1, b_1, x_n)&\cdots&g(a_{n_h}, b_{n_h}, x_n)\\ \end{array} \right] \end{align} $
(3) 若隐藏层到输出层的权重矩阵为$\beta=[\beta_1, \beta_2, \cdots, \beta_m]$, 则ELM网络的输出为
$ \begin{equation} Y=H(X) \beta \end{equation} $
(4) 第二阶段是基于ELM网络结构求解输出权重矩阵$\beta$, 通常根据ELM网络学习任务的不同构建不同的模型来求解输出权重矩阵$\beta$.经典的ELM模型用于解决有监督学习问题, 如:分类和回归.对于含$n$个样本的训练集, $x_i$为输入变量, $y_i$为输出变量, 则其模型表示:
$ \begin{equation} \begin{split} &\min \left(\frac{1}{2}||\beta||^2 +\frac{C}{2}\sum\limits_{i=1}^{N}e_i^2\right)\\ {\rm s. t.}&\quad y_i=h(x_i)\beta+e_i, i=1, \cdots, n \end{split} \end{equation} $
(5) 其中, 目标函数的第一项为正则项, 用来控制模型的复杂度; 第二项为表示误差, $e_i \in {\mathbf R}^d$是第$i$个样本的误差向量, $C$为惩罚系数.
近年来, Huang等将ELM推广到无监督学习, 提出基于流形无监督极限学习机, 其模型为:
$ \begin{equation} \begin{split} \min\limits_{\beta \in {\mathbf R}^{n_h \times d}} &\left\{||\beta||^2+\lambda {\rm tr}(\beta^\mathit{\boldsymbol{T}}H(X)^\mathit{\boldsymbol{T}}LH(X)\beta)\right\} \\ {\rm s. t.}\quad&(H(X)\beta)^\mathit{\boldsymbol{T}}H(X)\beta=I \ \end{split} \end{equation} $
(6) 第二项为流形正则项, 目的是使网络结构输出$Y$保持原输入数据$X$的流形结构不变, 其中, ${\rm tr}(\cdot)$表示矩阵的迹, $ L$为数据$X$的拉普拉斯矩阵, $I$为单位阵, $H(X)\in {\mathbf R}^{n\times n_h}$为隐含层输出矩阵. US-ELM将输入数据投影到$d$维空间中, 当$d <m$时, US-ELM是一种非线性降维方法.
2. 基于稀疏和近邻保持的极限学习机降维
US-ELM算法引入流形正则化的思想, 使得原始数据的流形结构经过US-ELM投影后得以保持, 即若在原空间近邻的两个样本在投影空间中仍然保持近邻[2]. US-ELM算法的流形结构直接用Gaussian距离刻画, 随着数据维数的增加, 该距离度量的类分类性会随之减弱.针对这一问题, 本文采用近邻表示来自适应地获取数据的低流形结构, 同时用稀疏表示来挖掘数据的全局结构.在此基础上提出SNP-ELM算法, 使得数据在新的投影空间中保持其在原空间的近邻和稀疏表示结构.
2.1 近邻表示和稀疏表示
近邻表示[4]:在样本集中用$x_i$的$k$近邻进行线性表示$x_i$, 其表达式为:
$ \begin{equation} \min\left \|x_i-\sum\limits_{x_i\in N_k(x_i)}w_{ij}x_j\right\| \end{equation} $
(7) 其中, $N_k(x_i)$表示$x_i$的$k$近邻, $w_{ij}$为近邻表示系数, 当$x_i\in N_k(x_i)$时, $w_{ij}=0$.
稀疏表示[5]:样本$x_i$可大致由该样本集中的少量样本线性表示.而当$x_i$由整个样本空间$X$进行线性表示时, 其表示系数是稀疏的.其数学模型表示为:
$ \begin{equation} \begin{split} \ &\min _{s_i}||s_i||_0\\ {\rm s. t.}\quad& x_i=Xs_i \end{split} \end{equation} $
(8) 其中, $s_i\in {\mathbf R}^n$为稀疏表示系数, $||s||_0$是$s$非零元素个数.由于$l_0$范数非凸且NP难, 因此用凸的$l_1$范数代替.同时为了确保稀疏表示的平移不变性, 我们引入表示系数和为1的约束, 则式$(8)$变为:
$ \begin{equation} \begin{split} \ &\min\limits_{s_i}||s_i||_1\\ {\rm s. t.}\quad& x_i=Xs_i, 1=I_is_i \end{split} \end{equation} $
(9) 其中, $I_1$为所有元素均为1的$n$维向量.式$(9)$是凸的, 可以利用线性规划方法求解, 如基追踪算法(Basis pursuit, BP)[15].
2.2 基于稀疏和近邻保持的极限学习机降维算法
SNP-ELM模型为:
$ \begin{align} \min\limits_\beta\big\{ ||\beta||_F^2+&\lambda\sum\limits_{i=1}^n||(h(x_i)\beta)^\mathit{\boldsymbol{T}}- \nonumber\\&(H(X)\beta)^\mathit{\boldsymbol{T}}(\delta w_i+\eta s_i)||_2^2\big\} \end{align} $
(10) 第二项的目的是使得投影后的数据保持原数据的近邻和稀疏表示结构, 其中为近邻表示系数矩阵, 表示$x_i$的近邻表示系数, 可以用模型$(7)$求解: $S=[s_1, s_2, \cdots, s_n]$为稀疏表示系数矩阵, $s_i$表示$x_i$的稀疏表示系数, 可以用模型$(9)$求解. 和是权重系数, 分别反映$W$和$S$的重要性.映射函数为$y=f(x)=(h(x)\beta)^\mathit{\boldsymbol{T}}$.
令$Z=\delta W+\eta S$, 则式$(10)$可写成:
$ \begin{equation} \min\limits_\beta \left\{||\beta||_F^2+\lambda\sum\limits_{i=1}^n||(h(x_i)\beta)^\mathit{\boldsymbol{T}}-(H(X)\beta)^\mathit{\boldsymbol{T}}z_i||_2^2\right\} \end{equation} $
(11) 通过简单的代数运算, 可以得到:
$ \begin{align} \sum\limits_{i=1}^n||&(h(x_i) \beta)^\mathit{\boldsymbol{T}}-(H^\mathit{\boldsymbol{T}}(X)\beta) z_i||_2^2=\nonumber\\ &{\rm tr}\Bigg(\beta^\mathit{\boldsymbol{T}}\Bigg(\sum\limits_{i=1}^n(h^\mathit{\boldsymbol{T}}(x_i)- H^\mathit{\boldsymbol{T}}(X)z_i)\times\nonumber\\ &(h^\mathit{\boldsymbol{T}}(x_i)-H^\mathit{\boldsymbol{T}}(X)z_i)^\mathit{\boldsymbol{T}}\Bigg)\beta\Bigg) \end{align} $
(12) 令$e_i$为$n$维单位向量, 则式$(12)$等价于:
$ \begin{align} \small\begin{split} &{\rm tr}\Bigg(\beta^\mathit{\boldsymbol{T}}\left(\sum\limits_{i=1}^n(H^\mathit{\boldsymbol{T}}(X)e_i- H^\mathit{\boldsymbol{T}}(X)z_i)\right)\times\nonumber\\ &\qquad (H^\mathit{\boldsymbol{T}}(X)e_i-H^\mathit{\boldsymbol{T}}(X)z_i)^\mathit{\boldsymbol{T}})\beta\Bigg)=\nonumber\\ &\qquad {\rm tr}\left(\beta^\mathit{\boldsymbol{T}}H^\mathit{\boldsymbol{T}}(X)\left(\sum\limits_{i=1}^n(e_i-z_i) (e_i-z_i)^\mathit{\boldsymbol{T}}\right)H(X)\beta\right)=\nonumber\\ &\qquad {\rm tr}\Bigg(\beta^\mathit{\boldsymbol{T}}H^\mathit{\boldsymbol{T}}(X)\Bigg(\sum\limits_{i=1}^n\Big(e_ie_i^\mathit{\boldsymbol{T}} -z_ie_i^\mathit{\boldsymbol{T}}-\nonumber\\ &\qquad e_iz_i^\mathit{\boldsymbol{T}}z_iz_i^\mathit{\boldsymbol{T}}\Big)\Bigg)H(X)\beta\Bigg)=\nonumber\\ &\qquad{\rm tr}(\beta^\mathit{\boldsymbol{T}}H^\mathit{\boldsymbol{T}}(X)(I-Z-Z^\mathit{\boldsymbol{T}}+ Z^\mathit{\boldsymbol{T}}Z)H(X)\beta)\end{split}\\ \end{align} $
(13) 式$(11)$可变形为:
$ \begin{align} \min\limits_\beta&\big\{||\beta||_F^2+\lambda {\rm tr}(\beta^\mathit{\boldsymbol{T}}H^\mathit{\boldsymbol{T}}(X)\times\nonumber\\ & (I-Z-Z^\mathit{\boldsymbol{T}}+Z^\mathit{\boldsymbol{T}}Z)H(X)\beta)\big\} \end{align} $
(14) 为避免平凡解, 在此引入约束$(H(X)\beta)^\mathit{\boldsymbol{T}}H(X)\beta=I$, 则模型变为:
$ \begin{align} \min\limits_\beta &\big\{||\beta||_F^2+\lambda {\rm tr}(\beta^\mathit{\boldsymbol{T}}H^\mathit{\boldsymbol{T}}(X)\nonumber\\ &(I-Z-Z^\mathit{\boldsymbol{T}}+Z^\mathit{\boldsymbol{T}}Z)H(X)\beta)\big\}\nonumber\\ {\rm s. t.}\quad& (H(X)\beta)^\mathit{\boldsymbol{T}}H(X)\beta=I \end{align} $
(15) 2.3 模型求解
为求解模型$(15)$, 利用拉格朗日乘子法, 得到以下拉格朗日函数:
$ \begin{align} L(\beta)= &{\rm tr}(\beta^\mathit{\boldsymbol{T}}\beta)+\frac{\lambda}{2} {\rm tr}(\beta^\mathit{\boldsymbol{T}}H^\mathit{\boldsymbol{T}}(X)AH(X)\beta)-\nonumber\\ &\theta {\rm tr}(\beta^\mathit{\boldsymbol{T}}H^\mathit{\boldsymbol{T}}(X)H(X)\beta-I) \end{align} $
(16) 其中, $A=I-Z-Z^\mathit{\boldsymbol{T}}+Z^\mathit{\boldsymbol{T}}Z$, 令, 得:
$ \begin{equation} \left(I+\frac{\lambda}{2}H^\mathit{\boldsymbol{T}}(X)AH(X)\right)\beta=\theta H^\mathit{\boldsymbol{T}}(X)H(X)\beta \end{equation} $
(17) 求解广义特征值问题$(17)$得到最小的$d$个特征值及对应的特征向量构成最优的输出权重矩阵$\beta^*$.
当$n_h>n$时, $H^\mathit{\boldsymbol{T}}(X)H(X)$的维数比较高, 直接求解式$(17)$广义特征值问题, 需要消耗较大的内存.为解决这个问题, 令$\beta=H^\mathit{\boldsymbol{T}}(X)\alpha$, 式$(17)$两边同时左乘$(H(X)H^\mathit{\boldsymbol{T}}(X))^{-1}H(X)$.得到:
$ \begin{equation} \left(I+\frac{\lambda}{2}AH(X)H^\mathit{\boldsymbol{T}}(X)\right)\alpha=\theta H(X)H^\mathit{\boldsymbol{T}}(X)\alpha \end{equation} $
(18) 易知模型$(17)$与模型$(18)$具有相同特征值.特征向量具有以下关系
$ \begin{equation} \beta^*=H^\mathit{\boldsymbol{T}}(X)\alpha^* \end{equation} $
(19) 因此解得广义特征值问题$(18)$的最小的$d$个特征值及对应的特征向量构成矩阵$\alpha^*$.进而可获得模型$(17)$的解矩阵$\beta^*=H^\mathit{\boldsymbol{T}}(X)\alpha^*$.
基于上述分析, 基于稀疏和近邻保持的极限学习机降维算法归纳如下:
算法1. SNP-ELM算法
输入:数据矩阵$X$, 参数$\lambda, \delta, \eta$.
输出:降维后样本矩阵$Y$.
1) 计算$k$近邻图.
2) 通过式(8)计算近邻重构矩阵$W$.
3) 通过式(10)计算稀疏重构矩阵$S$, 计算$Z=\delta W+\eta S$, $A=I-Z-Z^\mathit{\boldsymbol{T}}+Z^\mathit{\boldsymbol{T}}Z$.
4) 初始化ELM网络, $n_h$为隐藏层节点个数, 随机初始化输入权重, 偏置根据式$(3$)计算隐藏层输出矩阵.
5) 当$n>n_h$时, 利用式$(17)$计算得到输出权重矩阵$\beta$; 否则, 利用式$(18)$计算得到$\alpha$, 再计算输出权重矩阵$\beta=H^\mathit{\boldsymbol{T}}(X)\alpha$.
6) 计算降维后样本矩阵$Y=H(X)\beta$
2.4 算法分析
SNP-ELM算法中计算$k$近邻图的时间复杂度是O; 计算近邻重构矩阵$W$是求解了$n$次式$(8)$, 其时间复杂度为O$(nk^3)$; 用BP算法求解式$(10)$的时间复杂度为O$(n^3)$, 因此计算稀疏重构矩阵$S$的时间复杂度为O$(n^4)$; 计算广义特征值式$(18)$的时间复杂度为O$(n_h^3)$, 求解广义特征值式$(20)$的时间复杂度为O$(n^3)$.因此SNP-ELM算法的时间复杂度为O$(mn{\rm log}n+n^4+nk^3)$.
3. 实验
本文提出的SNP-ELM降维算法有两个重要目的, 其一是便于高维数据的可视化分析, 其二是面向聚类分析的降维可有效地提高聚类准确性, 故进行数据可视化及高维基因数据降维聚类实验, 两个实验的实验环境均为Win7系统, 内存4 GB, 所有方法均用Matlab2012b编程实现.两个实验均采用相同的参数设置, LPP、NPE、US-ELM和SNP-ELM的近邻数$k$均设为5; US-ELM和SNP-ELM的隐藏层节点个数均设为1 000; US-ELM的参数$\lambda$及SNP-ELM的参数$\lambda$统一取$\{10^{-4}, 10^{-3}, \cdots, 10^4\}$, SNP-ELM的参数$\delta$和$\eta$的搜索范围为$[-1, 1]$, 变化步长为0.2.
本文实验所对比的降维方法主要有以下几种: 1)线性降维方法: PCA、LPP、NPE和SPP; 2)非线性降维方法: LLE和US-ELM.其中LPP、NPE、LEE和US-ELM都使得降维后的数据保持原数据的近邻结构, SPP保持数据的稀疏表示结构, PCA的目标是使得降维后数据方差最大.
3.1 数据可视化实验
本实验中, 我们分别用PCA、LPP、NPE、SPP、LEE、US-ELM和SNP-ELM 7种方法将一个人造数据和一个真实的UCI数据Wine分别投影到一维和二维空间, 直观地展示SNP-ELM算法的性能, 并选取每个降维方法的最优结果进展示.
1) 一维可视化
本实验使用的三维人造数据如图 2所示, 该数据包含3类, 每类有50个样本, 该实验分别将数据降到一维, 实验结果如图 3所示.
从图 3可以看出PCA以投影后的样本方差最大为目标, 其降维结果近似于把该数据投影到$Z$轴方向, 但其将该数据投影到一维时三类数据的可分性较差. LPP、NPE、LLE和US-ELM均以降维后样本保持原样本的近邻结构为目的, 因此其降维效果略有改善.其中LLE和US-ELM是非线性降维方法, 其降维后不同类样本的分离程度较LPP和NPE高些.稀疏保持投影方法SPP以降维后样本保持原样本的稀疏结构为目的, 该方法将数据投影到一维后不同类样本的分离程度与US-ELM相当. SNP-ELM是一种非线性降维方法, 它使降维后样本同时保持数据的近邻结构和稀疏结构不变. SNP-ELM虽然无法使得该数据投影到一维后三类样本完全分离, 但其降维后不同类样本可分性是7种降维方法中最优的, 只有少数第三类样本与第二类样本相互重叠.
2) 二维可视化
本实验使用UCI数据集Wine数据, Wine数据包含来自3个类的178个样本, 每个样本有14个特征.实验结果如图 4所示.
由图 4可以看出, 经7种降维方法将Wine数据投影到2维时仍无法完全分离3类样本.但从不同类样本的重叠程度上可以看出, SPP将数据降到二维后3类数据完全重叠在一起, 降维效果最差.用PCA、LPP、NPE、LLE和US-ELM这5种方法降维后第一类数据能较好地分离, 而第二类和第三类数据完全重叠在一起.本文方法将Wine数据降到二维后, 不同类数据的重叠程度最低, 不同类样本的可分性最好.
3.2 基因表达数据实验
本实验采用高维基因表达数据测试本文方法与对比方法面向聚类任务时的降维效果.为了观察本文降维方法将数据投影到不同维数, 特别是投影到较低维时基因表达数据聚类效果, 将数据分别投影到维.该实验以降维后样本的$k$-means聚类准确率衡量降维质量, 实验中的聚类准确类采用文献[13]的计算方法.计算公式如下:
$ \begin{equation} ACC=\frac{1}{n}\sum\limits_{i=1}^n\delta(s_i, {\rm map}(r_i)) \end{equation} $
(20) 其中, $n$为样本数, $\delta(x, y)$表示当$x=y$时, $\delta=1$, 否则$\delta=0$; $s_i$和$r_i$分别为样本原始类标签和经聚类算法聚类后得到的类标签: map$(r_i)$将聚类得到的类标签映射成与样本数据自带的类标签等价的类标签.
1) 实验数据集
实验所选用的6个公开的基因数据集: SBCRT、DLBCL、Leukemia2、Prostate[16]、Prostate0和Colon[17], 这些数据的详细描述见表 1.
表 1 基因表达数据集描述Table 1 Summary of gene expression data sets数据集 样本数 基因数(维数) 类别数 SRBCT 83 2 308 4 DLBCL 77 5 469 2 Prostate0 102 6 033 2 Prostate 102 10 509 2 Leukemia2 72 11 225 3 Colon 62 2 000 2 2) 聚类准确率比较
为减少$k$-means初始中心随机选取以及US-ELM和SNP-ELM方法随机权重产生的随机误差.为便于比较, 减少实验结果随机性的影响, 实验中US-ELM和SNP-ELM分别运行10次, 再将每次降维后数据集执行10次$k$-means聚类, 取100次聚类准确率的平均值作为各自方法的最终准确率, 而其他降维方法的聚类准确率是10次$k$-means聚类准确率的平均值.最终实验结果如表 2所示, 表中给出聚类准确率的均值(方差、维数), 其中维数为每个数据最优聚类结果所对应的维数.对两种极限学习机降维方法US-ELM和SNP-ELM分别给出最优聚类结果所对应的参数. LPP、NPE、LLE、US-ELM和SNP-ELM这5种方法都在降维时保持了原始数据的近邻结构, SPP和SNP-ELM都保持了原始数据的稀疏结构, 其中LLE、US-ELM和SNP-ELM是非线性降维方法, SNP-ELM同时保持原始数据的近邻结构和稀疏结构.将这5种方法降维后的聚类准确率进行对比可以发现: 1)将NPE和LPP分别与LLE和US-ELM的准确率进行对比, 可以发现后者的准确率比前者高, 这是因为LEE和US-ELM分别是NPE和LPP的非线性推广, 非线性降维方法更适用于非线性分布的基因表达数据. 2) SPP与LPP、NPE进行比较其聚类结果各有千秋, 在DLBCL、Prostate0和Colon这3个数据集上SPP的结果较好, 而在其他数据集上LPP和NPE的结果较好, 这说明稀疏保持和近邻保持各有优势. 3) SNP-ELM的聚类准确率是最高的, 其主要原因是SNP-ELM既是非线性降维方法, 又同时保持了原始数据的近邻表示结构和稀疏表示结构使得降维后低维空间的数据保持了更多的判别信息.将表 2中的所有方法进行对比, 可以发现基于ELM的2种降维方法的准确率普遍优于其他降维方法.特别是SNP-ELM算法考虑到降维后样本局部近邻关系和全局稀疏性保持不变, 从而使其在全部6个基因数据降维后的聚类准确率最高, 且高于其他方法及US-ELM方法10 %以上.这说明SNP-ELM是一种有效的高维非线性降维方法.
表 2 基因数据集上聚类准确率(%)Table 2 Clustering accuracy comparison (variance) on gene expression data sets (%)Data $k$-means PCA LPP NPE SPP LLE US-ELM
$(\lambda)$SNP-ELM
$(\lambda, \eta, \delta)$Leukemia2 63.89 63.89 70.72 63.89 59.72 65.83 64.44 87.17 (0.00) (0.00, 2) (3.20, 4) (0, 32) (0.00, 72) (6.65, 4) (1.34, 2) (3.56, 8) (0.0001) (0.0001, $-$1, $-$1) SRBCT 43.61 48.86 64.19 48.43 38.55 49.76 64.55 82.92 (6.27) (2.09, 83) (2.21, 83) (0.76, 8) (0.00, 2) (4.33, 8) (10.29, 8) (6.03, 8) (0.1) (0.001, $-$0.4, 0) DLBCL 68.83 68.83 63.55 69.09 74.02 72.23 76.62 86.34 (0.00) (0.00, 2) (1.86, 8) (0.82, 32) (0.00, 4) (0.00, 2) (0.00, 32) (1.78, 8) (0.0001) (0.001, 0.2, $-$0.6) Prostate0 56.86 56.83 56.86 56.86 59.80 56.96 64.09 82.92 (0.00) (0.00, 2) (0.00, 2) (0.00, 4) (0.00, 102) (0.93, 4) (5.83, 2) (2.19, 102) (0.01) (0.1, 0.2, 0.8) Prostate 63.33 63.73 59.80 59.80 56.86 59.51 67.57 82.73 (0.83) (0.00, 2) (0.00, 2) (0.00, 4) (0.00, 102) (0.93, 4) (5.83, 2) (2.19, 102) (0.0001) (1, $-$1, 0.6) Colon 54.84 54.84 54.84 56.45 64.19 59.52 67.06 85.95 (0.00) (0.00, 2) (0.00, 2) (0.00, 2) (0.68, 62) (6.99, 32) (4.19, 32) (3.69, 8) (0.0001) (0.001, $-$0.8, 1) 为进一步对比几种降维方法在不同维数下的聚类准确率, 分别选取目标维数2, 4, 8, 16, 32, $\cdots$执行各种降维算法, 各种降维算法在不同维数下的聚类准确率如图 5所示.从图 5可以看出SNP-ELM及其余6种降维算法将6个数据集投影到相同维数的特征空间时, SNP-ELM的聚类准确率都是最高的.而对于SNP-ELM算法, 除Prostate和Prostate0两个数据集, 在其他4个基因数据集上都在8维处得到最高的聚类准确率.
图 5 将6个数据集映射到不同维度特征空间时的聚类准确率Fig. 5 Clustering accuracy on six gene expression data in different dimensions3) 参数分析
SNP-ELM模型有3个参数$\lambda, \delta$和$\eta$, 其中$\lambda$为正则参数. $\delta$和$\eta$为权重系数, 分别表示近邻重构系数和稀疏重构系数的重要性.本节讨论不同参数对实验结果的影响, 由前面的实验结果可知将基因表达数据降到8维时能够得到较高的聚类准确率, 因此在进行参数分析时我们固定维数为8.根据3个参数在SNP-ELM中的不同作用, 将其分为两组分别进行分析, 正则参数$\lambda$单独分析, 权重系数$\delta$和$\eta$一起分析.其中, $\lambda$的取值范围为$\{10^{-4}, 10^{-3}, \cdots, 10^4\}$, $\delta$和$\eta$的取值范围为$[-1, 1]$, 取值步长为0.2.
图 6给出$\delta=\eta=-0.2$时, SNP-ELM降维的聚类准确率随参数$\lambda$不同取值的变化情况.从图 6可以看出, 除了Leukema2在$\lambda=10^{-4}$时聚类准确率达到最高, 其余5个基因表达数据均在$\lambda=10^{-3}$时聚类准确率达到最高.这说明对高维基因数据而言, $\lambda$取较小值时本文方法能达到较好效果.
图 6 聚类准确率随参数λ的变化情况 $(\delta=\eta=-0.2) $Fig. 6 Variation of accuracy with respect of parameters $ \lambda (\delta=\eta=-0.2))$图 7给出$\lambda=0.001$时, 不同$\delta$和$\eta$取值下的聚类准确率.从图 7可以看出当$\delta$ 取值自$[-0.6, -0.2]$, $\eta$取值自时, 对高维基因表达数据而言SNP-ELM算法可以取得较高的聚类准确率.
图 7 不同$\delta$和$\eta$取值下的聚类准确率$(\lambda=0.001)$Fig. 7 ariation of accuracy with respect of parameters $\delta $ and $ \eta(\lambda=0.001)$4. 结论
目前, ELM模型主要用于有监督分类或回归问题, 本文则对ELM模型推广到无监督降维问题进行了进一步研究, 提出基于稀疏和近邻结构保持的极限学习机降维算法SNP-ELM. SNP-ELM通过模型优化求解计算近邻表示系数, 具有一定的数据自适应性, 实验结果表明SNP-ELM算法在Wine数据和基因表达数据集上性能优于其他对比方法.从研究中我们可以得到以下2个结论: 1)对Wine数据、高维基因表示数据降维时, 同时考虑稀疏结构和近邻结构比只考虑单一结构更有效; 2)基于ELM的非线性降维方法在Wine数据和基因表达数据上优于线性降维方法.
-
表 1 MNIST上各方法准确率对比
Table 1 The recognition accuracy comparison on MNIST
识别方法 预训练 准确率(%) linear classifier (1-layer NN) 去斜 91.60 K-nearest-neighbors, Euclidean (L2) - 95.00 40 PCA+quadratic classifier - 96.70 SVM, Gaussian Kernel - 98.60 Trainable feature extractor+SVMs [no distortions] - 99.17 Convolutional net LeNet-5, [no distortions] - 99.05 Convolutional net LeNet-5, [huge, distortions] huge distortions 99.15 Convolutional net LeNet-5, [distortions] distortions 99.20 CNN 归一化 98.40 C-DCGAN+Softmax - 99.45 
下载: 导出CSV
表 2 CIFAR-10上各方法准确率对比
Table 2 The recognition accuracy comparison on CIFAR-10
识别方法 准确率(%) 1 Layer K-means 80.6 3 Layer K-means Learned RF 82.0 View Invariant K-means 81.9 Cuda-convnet (CNN) 82.0 DCGAN+L2-SVM 82.8 C-DCGAN+Softmax 84
下载: 导出CSV
-
[1] 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报, 2017, 43(3):321-332 http://www.aas.net.cn/CN/abstract/abstract19012.shtmlWang Kun-Feng, Gou Chao, Duan Yan-Jie, Lin Yi-Lun, Zheng Xin-Hu, Wang Fei-Yue. Generative adversarial networks:the state of the art and beyond. Acta Automatica Sinica, 2017, 43(3):321-332 http://www.aas.net.cn/CN/abstract/abstract19012.shtml [2] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A, Bengio Y. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2014. 2672-2680 [3] Ratliff L J, Burden S A, Sastry S S. Characterization and computation of local Nash equilibria in continuous games. In: Proceedings of the 51st Communication, Control, and Computing (Allerton). Monticello, IL, USA: IEEE, 2013. 917-924 [4] Goodfellow I. NIPS 2016 tutorial: generative adversarial networks. arXiv preprint arXiv: 1701.00160, 2016. [5] Li J W, Monroe W, Shi T L, Jean S, Ritter A, Jurafsky D. Adversarial learning for neural dialogue generation. arXiv preprint arXiv: 1701.06547, 2017. [6] Yu L T, Zhang W N, Wang J, Yu Y. SeqGAN: sequence generative adversarial nets with policy gradient. In: Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, CA, USA: AAAI, 2017. 2852-2858 [7] Hu W W, Tan Y. Generating adversarial malware examples for black-box attacks based on GAN. arXiv preprint arXiv: 1702.05983, 2017. [8] Chidambaram M, Qi Y J. Style transfer generative adversarial networks: learning to play chess differently. arXiv preprint arXiv: 1702.06762, 2017. [9] Mirza M, Osindero S. Conditional generative adversarial nets. arXiv preprint arXiv: 1411.1784, 2014. [10] 常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 王宏安.图像理解中的卷积神经网络.自动化学报, 2016, 42(9):1300-1312 http://www.aas.net.cn/CN/abstract/abstract18919.shtmlChang Liang, Deng Xiao-Ming, Zhou Ming-Quan, Wu Zhong-Ke, Yuan Ye, Yang Shuo, Wang Hong-An. Convolutional neural networks in image understanding. Acta Automatica Sinica, 2016, 42(9):1300-1312 http://www.aas.net.cn/CN/abstract/abstract18919.shtml [11] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv: 1511.06434, 2015. [12] 金连文, 钟卓耀, 杨钊, 杨维信, 谢泽澄, 孙俊.深度学习在手写汉字识别中的应用综述.自动化学报, 2016, 42(8):1125-1141 http://www.aas.net.cn/CN/abstract/abstract18903.shtmlJin Lian-Wen, Zhong Zhuo-Yao, Yang Zhao, Yang Wei-Xin, Xie Ze-Cheng, Sun Jun. Applications of deep learning for handwritten Chinese character recognition:a review. Acta Automatica Sinica, 2016, 42(8):1125-1141 http://www.aas.net.cn/CN/abstract/abstract18903.shtml [13] 陈荣, 曹永锋, 孙洪.基于主动学习和半监督学习的多类图像分类.自动化学报, 2011, 37(8):954-962 http://www.aas.net.cn/CN/abstract/abstract17514.shtmlChen Rong, Cao Yong-Feng, Sun Hong. Multi-class image classification with active learning and semi-supervised learning. Acta Automatica Sinica, 2011, 37(8):954-962 http://www.aas.net.cn/CN/abstract/abstract17514.shtml [14] Arjovsky M, Bottou L. Towards principled methods for training generative adversarial networks. arXiv preprint arXiv: 1701.04862, 2017. [15] Srivastava N, Hinton G, Krizhevsky A, Sutskever I, Salakhutdinov R. Dropout:a simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 2014, 15(1):1929-1958 https://www.mendeley.com/research-papers/dropout-simple-way-prevent-neural-networks-overfitting/ [16] Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: PMLR, 2015. 448-456 [17] Simon M, Rodner E, Denzler J. ImageNet pre-trained models with batch normalization. arXiv preprint arXiv: 1612.01452, 2016. [18] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: ACM, 2012. 1097-1105 [19] LeCun Y, Cortes C, Burges C J C. The MNIST database of handwritten digits[Online], available: http://yann.lecun.com/exdb/mnist/, July 12, 2016 [20] 许可. 卷积神经网络在图像识别上的应用的研究[硕士学位论文]. 浙江大学, 中国, 2012.Xu Ke. Study of Convolutional Neural Network Applied on Image Recognition[Master thesis], Zhejiang University, China, 2012. [21] Krizhevsky A, Nair V, Hinton G. The CIFAR-10 dataset[Online], available: http://www.cs.toronto.edu/kriz/cifar.html, July 24, 2017 期刊类型引用(142)
1. 袁雪丰，杜洪波，朱立军，刘雪莉. 融合高效注意力的生成对抗网络图像修复算法. 沈阳工程学院学报(自然科学版). 2025(01): 63-70 . 
百度学术2. 伍海洋，马川越，刘登辉. 基于Diffusers框架的电商产品图制作方法研究. 无线互联科技. 2024(02): 104-106 . 百度学术3. 王文，何剑锋，朱文松，李卫东，聂逢君，夏菲，汪雪元，钟国韵，瞿金辉. 小样本下基于改进ACGAN数据增强的X射线矿石图像分类方法. 有色金属工程. 2024(03): 122-132 . 百度学术4. 郭海涛，汤健，丁海旭，乔俊飞. 基于混合数据增强的MSWI过程燃烧状态识别. 自动化学报. 2024(03): 560-575 . 本站查看5. 梁礼明，董信，何安军，阳渊. 融合注意力线性特征多样化的DR分级模型. 光电子·激光. 2024(06): 612-622 . 百度学术6. 郭海涛，汤健，夏恒，乔俊飞. 城市固废焚烧过程燃烧线极端异常火焰图像对抗生成. 中国电机工程学报. 2024(11): 4376-4387 . 百度学术7. 刘铭文，喻浩天，常家斌，毛逸飞. 基于ResNet的肺部CT影像识别的分析与实现. 技术与市场. 2024(06): 51-55+59 . 百度学术8. 贵昭祯，秦淳，杨逸潇，张继娟. 基于深度学习的板式家具纹理生成设计. 湖南包装. 2024(03): 169-171+184 . 百度学术9. 杨雪，谭宇. 基于条件生成对抗网络的图像增强方法. 江苏通信. 2024(03): 96-99 . 百度学术10. 邰志艳，李黛黛，刘铭. 基于自注意力机制生成对抗网络的医学图像生成. 长春工业大学学报. 2024(03): 208-215 . 百度学术11. 何文轩，李云涛，马新博，柴青平，刘小刚. 基于深度学习的岩体结构面特征提取研究. 自动化应用. 2024(16): 256-262+271 . 百度学术12. 严晓明. 一种多条件生成对抗网络模型. 福建师范大学学报(自然科学版). 2024(06): 47-54 . 百度学术13. 徐子涵，刘志锋，沈项军，吴蔚，孙家栋. 基于对抗数据增强的低秩关联SAR目标分类算法. 指挥信息系统与技术. 2024(06): 64-73 . 百度学术14. 陈凯，雷少华，代文，王春，刘爱利，李敏. 基于开源数据和条件生成对抗网络的地形重建方法. 地球信息科学学报. 2023(02): 252-264 . 百度学术15. 赵亚丽，余正涛，郭军军，高盛祥，相艳. 基于情感语义对抗的跨语言情感分类模型. 计算机工程与科学. 2023(02): 338-345 . 百度学术16. 梁礼明，董信，李仁杰，何安军. 基于注意力机制多特征融合的视网膜病变分级算法. 光电工程. 2023(01): 100-112 . 百度学术17. 王华忠，田子蕾. 基于改进CGAN算法的工控系统入侵检测方法. 信息网络安全. 2023(01): 36-43 . 百度学术18. 岳云飞，孙抗. 少样本条件下的电缆局部放电模式识别. 软件导刊. 2023(02): 60-66 . 百度学术19. 李宽宏. 基于Wasserstein条件生成对抗网络的新能源出力场景生成方法. 供用电. 2023(03): 86-94 . 百度学术20. 何进荣，孙娅妮. 基于生成对抗网络的色盲测试图像自动生成方法研究. 电视技术. 2023(02): 9-11 . 百度学术21. 郭保收. 基于GAN的广播通讯过程多链路信息融合方法. 信息技术. 2023(03): 70-74+79 . 百度学术22. 黄文育，孟斌. 基于计算兴波云图的舰船航速智能识别方法. 舰船科学技术. 2023(10): 147-151 . 百度学术23. 汤健，王子轩，夏恒，徐喆，韩红桂. 面向智能回收装置的废旧手机深度森林识别. 控制工程. 2023(05): 886-893 . 百度学术24. 丁满，袁云磊，张新新，孙鸣宇. 基于深度学习的产品色彩情感化设计. 计算机集成制造系统. 2023(05): 1647-1656 . 百度学术25. 于文家，胡晓青，韩国璇，左昱昊. 基于条件生成对抗网络的图像超分辨率重建研究. 信息技术与信息化. 2023(05): 27-30 . 百度学术26. 岑逸翔，孙绍哲，谢玮松，刘杨，杨晓琴. 一种基于生成对抗网络的电波传播数据增强方法. 电声技术. 2023(02): 134-137 . 百度学术27. 赵译文，刘云鹏. 基于子空间流形的图像集识别方法. 计算机应用. 2023(S1): 207-211 . 百度学术28. 朱俊东，卓广平，吴诗雨，张光华. 基于迁移学习的糖尿病视网膜病变的分类检测. 中北大学学报(自然科学版). 2023(04): 478-486 . 百度学术29. 魏财根，林炜鑫，赵晨. 基于深度卷积生成对抗网络和卷积神经网络的叶片病虫害问题研究. 木工机床. 2023(02): 16-20+36 . 百度学术30. 欧莉莉，杜芳芳. 基于半监督编码的深度卷积对抗网络模型研究. 软件工程. 2023(08): 53-57 . 百度学术31. 王列伟，闫科学，夏宝前，王凯，李阳，唐亮，连捷. 隧道智能安全监测与绿色照明融合系统研制及应用. 铁路技术创新. 2023(05): 107-112 . 百度学术32. 陈彤，郭剑锋，韩心中，谢学立，席建祥. 基于生成对抗模型的可见光-红外图像匹配方法. 浙江大学学报(工学版). 2022(01): 63-74 . 百度学术33. 姚军财，申静，黄陈蓉. 基于多层BP神经网络的无参考视频质量客观评价. 自动化学报. 2022(02): 594-607 . 本站查看34. 张强，杨吉斌，张雄伟，曹铁勇，郑昌艳. CS-Softmax:一种基于余弦相似性的Softmax损失函数. 计算机研究与发展. 2022(04): 936-949 . 百度学术35. 赵玉明，顾慎凯. 融合残差密集块自注意力机制和生成对抗网络的对抗攻击防御模型. 计算机应用. 2022(03): 921-929 . 百度学术36. 李良福，黎光耀，王楠，张晰. 基于渐进式特征推理的裂缝图像修复方法研究. 光电子·激光. 2022(04): 393-402 . 百度学术37. 胡贵恒，张震，陈翠红. 基于Zernike矩与灰度计算的微弱光学图像智能识别方法. 上海电机学院学报. 2022(02): 100-105 . 百度学术38. 吴钉捷，李晓露，陆一鸣. 基于生成对抗网络和联邦学习的非侵入式负荷分解方法. 电测与仪表. 2022(06): 37-45 . 百度学术39. 张承圣，邵振国，陈飞雄，江昌旭，冯健冰. 基于条件深度卷积生成对抗网络的新能源发电场景数据迁移方法. 电网技术. 2022(06): 2182-2190 . 百度学术40. 宣萌，刘坤. 基于半监督生成对抗网络的乳腺癌图像分类. 光电子·激光. 2022(07): 770-777 . 百度学术41. 王军，韩淑雨，潘在宇，申政文. 复杂多源数据表征学习理论研究与应用. 中国基础科学. 2022(03): 40-46 . 百度学术42. 王伟喆，郭威彤，杨鸿武. 手语到情感语音的转换. 计算机工程与科学. 2022(10): 1869-1876 . 百度学术43. 黄屿璁，张潮，吕鑫，曾涛，王鑫元，丁辰龙. 基于深度学习的网络入侵检测研究综述. 信息安全研究. 2022(12): 1163-1177 . 百度学术44. 何方圆. 基于图像识别技术的隧道工程监控管理系统设计. 计算机测量与控制. 2022(11): 46-51 . 百度学术45. 申珺妤，李许辰，胡超，孙小语，丘双飞，聂小伟，乐光学. 基于深度神经网络的秒变妆容系统. 电脑知识与技术. 2022(27): 33-35+39 . 百度学术46. 裴卉宁，谭昭芸，张金勇，赵芳华，黄雪芹. DCGAN在汽车造型设计模型中的应用. 机械科学与技术. 2022(10): 1567-1576 . 百度学术47. 周晓敏，李雄，李丽琦，巩宪锋，张清东，张勃洋. 基于自适应矩估计算法的冷连轧机板形反馈优化控制策略. 冶金自动化. 2022(06): 102-110 . 百度学术48. 武洋名，宗学军，何戡. 基于数据增强的DBN-ELM入侵检测方法. 科学技术与工程. 2022(34): 15195-15202 . 百度学术49. 熊鹏文，童小宝，宋爱国，刘小平. 基于变分贝叶斯高斯混合噪声模型的机器人跨模态生成对抗网络. 中国科学:信息科学. 2021(01): 104-121 . 百度学术50. 于文家，丁世飞. 基于自注意力机制的条件生成对抗网络. 计算机科学. 2021(01): 241-246 . 百度学术51. 杨彦利，矫红岩. 基于DCGAN的绝缘子图像生成方法. 自动化与仪表. 2021(01): 5-9 . 百度学术52. 王铁强，鲁鹏，曹欣，杨晓东，王维，吕昊，冯春贤，田潮，石皓岩，梁海平. 基于堆叠自动编码器的电网运行断面相似性匹配研究. 电力建设. 2021(01): 117-124 . 百度学术53. 杨剑锋，秦钟，庞小龙，贺志华，崔春晖. 基于深度学习网络的输电线路异物入侵监测和识别方法. 电力系统保护与控制. 2021(04): 37-44 . 百度学术54. 赵海霞，石洪波，武建，陈鑫. 基于条件生成对抗网络的不平衡学习研究. 控制与决策. 2021(03): 619-628 . 百度学术55. 张凝，杨贵军，赵春江，张竞成，杨小冬，潘瑜春，黄文江，徐波，李明，朱西存，李振海. 作物病虫害高光谱遥感进展与展望. 遥感学报. 2021(01): 403-422 . 百度学术56. 欧莉莉，邵峰晶，孙仁诚，隋毅. 基于半监督方法的脑梗死图像识别. 计算机应用. 2021(04): 1221-1226 . 百度学术57. 尹玉婷，肖秦琨. 基于深度卷积生成对抗网络的图像生成. 计算机技术与发展. 2021(04): 86-92 . 百度学术58. 顾永涛，徐泽禹，盛庆博，张卫，李炜，谭嘉，李知艺. 基于生成对抗网络的光伏出力区间预测方法. 哈尔滨理工大学学报. 2021(02): 100-109 . 百度学术59. 杨艳华，崔灿，姚立纲. 基于循环编码生成对抗网络的小样本辨识方法. 武汉大学学报(工学版). 2021(05): 467-476 . 百度学术60. 顾洁，刘书琪，胡玉，孟璐. 基于深度卷积生成对抗网络场景生成的间歇式分布式电源优化配置. 电网技术. 2021(05): 1742-1751 . 百度学术61. 吴巍. 基于机器学习利用较少样本数据生成卡通图的算法研究. 微型电脑应用. 2021(05): 113-115+118 . 百度学术62. 程换新，张志浩，刘文翰，郭占广. 基于生成对抗网络的图像识别. 计算机技术与发展. 2021(06): 175-180 . 百度学术63. 廖志雄，尚文祥，王士斌. 时空嵌入式生成对抗网络特殊逻辑函数检测. 计算机仿真. 2021(06): 233-237 . 百度学术64. 陈何伟，向宸. 生成对抗网络在计算机视觉领域中的应用探究. 信息与电脑(理论版). 2021(08): 208-210 . 百度学术65. 华志刚，范佳卿，郭荣，汪勇，吴潇翔. 人工智能技术在火电行业的应用探讨. 中国电力. 2021(07): 198-207 . 百度学术66. 兰天，辛月兰，殷小芳，何晓明. 基于生成对抗网络的面部属性迁移算法. 现代电子技术. 2021(15): 75-80 . 百度学术67. 孟晓娟，张月琴，郝晓丽，吕进来. 多分类深度卷积生成对抗网络的皮带撕裂检测. 计算机工程与应用. 2021(16): 269-275 . 百度学术68. 龚道庆，彭昱忠，邓楚燕，袁程，曹爱清，李红亚. 基于改进的基因表达式编程自动优化CNN. 计算机工程与设计. 2021(08): 2186-2194 . 百度学术69. 刘明，王亚刚. 基于条件生成对抗网络的舌体图像分割. 计算机与数字工程. 2021(06): 1218-1223 . 百度学术70. 李祥霞，谢娴，李彬，尹华，许波，郑心炜. 生成对抗网络在医学图像处理中的应用. 计算机工程与应用. 2021(18): 24-37 . 百度学术71. 李静，刘哲，黄文准. 基于快速非局部均值和超分辨率重建的图像降噪算法. 兵工学报. 2021(08): 1716-1727 . 百度学术72. 王海霞，李凯勇. 基于机器学习的图像敏感信息识别方法. 现代电子技术. 2021(19): 66-70 . 百度学术73. 周宇. 生成对抗网络X光图像多模态融合. 激光杂志. 2021(09): 139-143 . 百度学术74. 魏占国，宋娅萍，李亚. 基于激励压缩空洞卷积改进U-Net网络的物流托盘图像分割算法. 包装学报. 2021(05): 35-41 . 百度学术75. 于龙泽，肖白，孙立国. 风光出力场景生成的条件深度卷积生成对抗网络方法. 东北电力大学学报. 2021(06): 90-99 . 百度学术76. 赵立新，邢润哲，白银光，张宏昌，何春燕. 深度学习在目标检测的研究综述. 科学技术与工程. 2021(30): 12787-12795 . 百度学术77. 郑雯，沈琪浩，任佳. 基于Improved DR-Net算法的糖尿病视网膜病变识别与分级. 光学学报. 2021(22): 72-83 . 百度学术78. 卫星，李佳，孙晓，刘邵凡，陆阳. 基于混合生成对抗网络的多视角图像生成算法. 自动化学报. 2021(11): 2623-2636 . 本站查看79. 韦延方，吴郑磊，王鹏，王浩，杨明，曾志辉，王晓卫. 基于CNN与DCGAN的柔性直流配电网故障检测. 煤炭学报. 2021(S2): 1201-1208 . 百度学术80. 陈莹，陈湟康. 基于多模态生成对抗网络和三元组损失的说话人识别. 电子与信息学报. 2020(02): 379-385 . 百度学术81. 杨昌东，余烨，徐珑刀，付源梓，路强. 基于AT-PGGAN的增强数据车辆型号精细识别. 中国图象图形学报. 2020(03): 593-604 . 百度学术82. 刘云鹏，许自强，和家慧，王权，高树国，赵军. 基于条件式Wasserstein生成对抗网络的电力变压器故障样本增强技术. 电网技术. 2020(04): 1505-1513 . 百度学术83. 朱永红，夏力，王俊祥. 基于改进BP神经网络陶瓷梭式窑火焰图像识别方法. 中国陶瓷工业. 2020(01): 16-20 . 百度学术84. 刘尚争，刘斌. 生成对抗网络图像类别标签跨模态识别系统设计. 现代电子技术. 2020(08): 173-175 . 百度学术85. 亢伉. 利用对抗生成网络的视觉显著性预测研究. 电子设计工程. 2020(08): 180-183+193 . 百度学术86. 杜泽星，殷进勇，杨建. 基于半监督学习的遥感飞机图像检测方法. 激光与光电子学进展. 2020(06): 131-139 . 百度学术87. 王德文，李业东. 基于WGAN图片去模糊的绝缘子目标检测. 电力自动化设备. 2020(05): 188-198 . 百度学术88. 赵超. AI换脸技术的法律风险评估——从APP“ZAO”谈起. 江苏工程职业技术学院学报. 2020(01): 103-108 . 百度学术89. 王星，杜伟，陈吉，陈海涛. 基于深度残差生成式对抗网络的样本生成方法. 控制与决策. 2020(08): 1887-1894 . 百度学术90. 李素梅，陈圣. 基于密集连接的生成对抗网络实现单图像超分辨率方法研究. 电子设计工程. 2020(12): 70-74 . 百度学术91. 杨旺功，淮永建. 基于深度卷积生成对抗网络的花朵图像增强与分类. 计算机科学. 2020(06): 176-179 . 百度学术92. 王冠群. 深度卷积生成对抗网络的计算机视觉系统测试用例生成方案. 电子技术与软件工程. 2020(08): 123-127 . 百度学术93. 杨春勇，祁宏达，彭焱秋，尹滨，侯金，舒振宇，陈少平. 融合声纹信息的能量谱图在鸟类识别中的研究. 应用声学. 2020(03): 453-463 . 百度学术94. 李鑫，焦斌，林蔚天. 基于条件信息卷积生成对抗网络的图像识别. 计算机工程与应用. 2020(14): 191-198 . 百度学术95. 李昆，朱卫纲. 基于MDGAN网络的数据集扩增方法. 雷达科学与技术. 2020(02): 211-217 . 百度学术96. 杨婉香，严严，陈思，张小康，王菡子. 基于多尺度生成对抗网络的遮挡行人重识别方法. 软件学报. 2020(07): 1943-1958 . 百度学术97. 杨俊豪，李东升，陈春晓，闫强，陆熊. 基于生成对抗网络的乳腺癌组织病理图像样本均衡化. 生物医学工程研究. 2020(02): 161-166 . 百度学术98. 武鹏，郭晓芸，陈鹏，王宗伟，曹璐，金鹏. 基于LSTM网络的语音服务质检推荐技术. 计算机与现代化. 2020(07): 76-79 . 百度学术99. 蒋文杰，罗晓曙，戴沁璇. 一种改进的生成对抗网络的图像上色方法研究. 计算机技术与发展. 2020(07): 56-59 . 百度学术100. 丁娜，钟宝江. 手写液晶体数字及识别技术. 计算机工程与应用. 2020(16): 97-104 . 百度学术101. 吴晓燕，钱真坤. 基于深度卷积生成式对抗网络的人脸恢复方法. 计算机应用与软件. 2020(08): 207-212 . 百度学术102. 朱克凡，王杰贵. 小样本条件下SCGAN+CNN低分辨雷达目标一步识别算法. 系统工程与电子技术. 2020(01): 67-75 . 百度学术103. 陈扬，李旦，张建秋. 互补色小波颜色恒常性/白平衡方法. 自动化学报. 2020(07): 1378-1389 . 本站查看104. 王颢. 深度学习在图像识别中的研究与应用. 科技视界. 2020(24): 37-38 . 百度学术105. 周创，居兴国，李子昂，刘小民. 基于深度卷积生成对抗网络的地震初至拾取. 石油物探. 2020(05): 795-803 . 百度学术106. 孙秋野，刘月，胡旌伟，胡旭光. 基于GAN的非侵入式自能源建模. 中国电机工程学报. 2020(21): 6784-6794 . 百度学术107. 黎杨梅. 商超自动货架巡检系统设计. 襄阳职业技术学院学报. 2020(06): 69-72 . 百度学术108. 陈清江，屈梅. 基于级联残差生成对抗网络的低照度图像增强. 激光与光电子学进展. 2020(14): 223-232 . 百度学术109. 黄友文，赵朋，游亚东. 融合反馈机制的姿态引导人物图像生成. 激光与光电子学进展. 2020(14): 111-121 . 百度学术110. 黄汉林，景军锋，张缓缓，王震，周君. 基于MF-SSD网络的织物疵点检测. 棉纺织技术. 2020(12): 11-16 . 百度学术111. 吴俊清，倪建成，魏媛媛. 语音情感识别中面向小数据集的CGRU方法. 计算机技术与发展. 2020(12): 77-82 . 百度学术112. 胡龙辉，王朝立，孙占全，杨爱俊. 基于WGAN的图像识别方法. 控制工程. 2020(12): 2168-2175 . 百度学术113. 盖杉，鲍中运. 基于深度学习的高噪声图像去噪算法. 自动化学报. 2020(12): 2672-2680 . 本站查看114. 韩辉，徐赫，杨森林，程德权. 基于生成对抗网络的轴承不平衡数据研究. 一重技术. 2020(05): 40-46 . 百度学术115. 王庆飞，姜燕，鲍娟. 基于条件生成对抗网络的手势图像背景去除方法. 计算机应用研究. 2020(S2): 401-403 . 百度学术116. 肖白，黄钰茹，姜卓，施永刚，焦明曦，王徭. 数据匮乏场景下采用生成对抗网络的空间负荷预测方法. 中国电机工程学报. 2020(24): 7990-8001 . 百度学术117. 唐骞. 基于对抗学习的图像修复. 计算机产品与流通. 2019(01): 210 . 百度学术118. 王守相，陈海文，潘志新，王建明. 采用改进生成式对抗网络的电力系统量测缺失数据重建方法. 中国电机工程学报. 2019(01): 56-64+320 . 百度学术119. 韦连春. 基于深度网络ACGAN的图像识别研究. 电脑迷. 2019(01): 123 . 百度学术120. 沈杰，瞿遂春，任福继，邱爱兵，徐杨. 基于SGAN的中文问答生成研究. 计算机应用与软件. 2019(02): 194-199 . 百度学术121. 谢江荣，李范鸣，卫红，李冰. 基于生成对抗式神经网络的红外目标仿真方法. 光学学报. 2019(03): 150-156 . 百度学术122. 王杨，张鑫，许闪闪，童珺仪，张卫东. 基于维纳滤波器和生成对抗网络的动态模糊图像处理方法. 计算机系统应用. 2019(04): 145-150 . 百度学术123. 吴海丽. 基于卷积神经网络的图像大数据识别. 山西大同大学学报(自然科学版). 2019(02): 23-25+37 . 百度学术124. 郑远攀，李广阳，李晔. 深度学习在图像识别中的应用研究综述. 计算机工程与应用. 2019(12): 20-36 . 百度学术125. 姜斌，赵梓良，黄灏，钟云鹏，赵永健，曲美霞. 基于反贝叶斯学习的WDMS光谱自动识别研究. 光谱学与光谱分析. 2019(06): 1829-1833 . 百度学术126. 王旺，徐俊武. 基于GAN的图像超分辨率方法研究. 软件导刊. 2019(06): 181-183+187 . 百度学术127. 李策，贾盛泽，曲延云. 一种自然场景图像的目标材质视觉特征映射算法. 自动化学报. 2019(06): 1198-1206 . 本站查看128. 贾少鹏，高红菊，杭潇. 基于深度学习的农作物病虫害图像识别技术研究进展. 农业机械学报. 2019(S1): 313-317 . 百度学术129. 贾俊杰，李捷. 基于半监督生成对抗网络的病虫害图像识别算法. 武汉轻工大学学报. 2019(04): 45-52 . 百度学术130. 刘坤，王典，荣梦学. 基于半监督生成对抗网络X光图像分类算法. 光学学报. 2019(08): 117-125 . 百度学术131. 曾琦，向德华，李宁，肖红光. 基于半监督深度生成对抗网络的图像识别方法. 测控技术. 2019(08): 37-42 . 百度学术132. 杜翠凤，温云龙，李建中. 基于深度卷积对抗神经网络的多状态自适应人脸识别方法. 移动通信. 2019(09): 75-78+85 . 百度学术133. 周林勇，谢晓尧，刘志杰，谭宏卫，游善平. 基于ACGAN的图像识别算法. 计算机工程. 2019(10): 246-252+259 . 百度学术134. 顾杨，陈昭炯，陈灿，叶东毅. 基于CGAN的中国山水画布局可调的仿真生成方法. 模式识别与人工智能. 2019(09): 844-854 . 百度学术135. 余鹰，王乐为，张应龙. 基于特征提取偏好与背景色相关性的数据增强算法. 计算机应用. 2019(11): 3172-3177 . 百度学术136. 欧华杰. 基于机器学习反馈的黑暗环境车辆路况自动化识别方法. 环境技术. 2019(05): 172-176 . 百度学术137. 余传明，王峰，胡莎莎，安璐. 基于生成对抗网络的跨语言文本情感分析. 情报理论与实践. 2019(11): 135-141 . 百度学术138. 苏赋，吕沁，罗仁泽. 基于深度学习的图像分类研究综述. 电信科学. 2019(11): 58-74 . 百度学术139. 金侠挺，王耀南，张辉，刘理，钟杭，贺振东. 基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统. 自动化学报. 2019(12): 2312-2327 . 本站查看140. 朱克凡，王杰贵，吴世俊. 基于GAN的半监督低分辨雷达目标识别算法. 探测与控制学报. 2019(06): 57-63 . 百度学术141. 马春光，郭瑶瑶，武朋，刘海波. 生成式对抗网络图像增强研究综述. 信息网络安全. 2019(05): 10-21 . 百度学术142. 易珂. 基于深度网络ACGAN的图像识别. 电子技术与软件工程. 2018(18): 60-61 . 百度学术其他类型引用(200)
-
下载:
计量
- 文章访问数: 5119
- HTML全文浏览量: 1814
- PDF下载量: 2298
- 被引次数: 342
