Regression GAN Based Prediction for Physical Properties of Total Hydrogen in Crude Oil
-
摘要: 针对生成对抗网络（Generative adversarial network，GAN）不适用于原油物性回归预测的问题，本文提出一种回归生成对抗网络（Regression GAN，RGAN）结构，该结构由生成模型G、判别模型D及回归模型R组成.通过判别模型D与生成模型G间的对抗学习，D提取原油物性核磁共振氢谱（1H NMR）谱图的潜在特征.首层潜在特征是样本空间的浅层表示利于解决回归问题，采用首层潜在特征建立回归模型R，提高了预测的精度及稳定性.通过增加条件变量和生成样本间的互信息约束，并采用回归模型R的MSE损失函数估计互信息下界，生成模型G产生更真实的样本.实验结果表明，RGAN有效地提高了原油总氢物性回归预测精度及稳定性，同时加快了生成模型的收敛速度，提高了谱图的生成质量.Abstract: In view that generative adversarial network (GAN) is not applicable to prediction of physical properties of crude oil, a novel regression GAN (RGAN) framework is proposed in this study, which consists of a generator G, a discriminator D and a regression model R. Through adversarial learning between discriminator D and generator G, D extracts a series of latent features of 1H nuclear magnetic resonance spectroscopy (1H NMR) of crude oil. The first layer of latent features is shallow representation of the data space, which helps to solve the regression task. The regression model R is established using the first layer of latent features, which improves the accuracy and stability of the prediction. At the same time, the MSE loss function of the regression model R is applied to estimate the lower bound of the mutual information between conditional variables and generated samples, therefore generator G can produce more realistic samples. Experiment results demonstrate that RGAN can improve the prediction accuracy and stability of physical properties of total hydrogen in crude oil efficiently, and also improve the convergence speed of the generator as well as the quality of spectra generation.
-
核磁共振氢谱($^{1}$H nuclear magnetic resonance spectroscopy, $^{1}$H NMR)可用于检测有机化合物中氢原子与周围化学官能团的相互作用, 在化学、中药材质量及药物分析方面早已得到广泛研究[1-2].近年来, 该技术得到迅速发展.作为新的原油物性预测手段之一, 该技术制样简单、灵敏度与分辨率较高, 提供结构信息丰富, 具有良好的发展潜力与应用前景[3-5].
由于原油物性复杂多变, 常用的建模方法诸如偏最小二乘回归(Partial least square regression, PLSR)、支持向量机(Support vector machine, SVM)、卷积神经网络(Convolutional neural network, CNN)等往往无法适用于实际复杂的非线性关系, 因此模型的泛化能力在一定程度上受到限制[6-8].近年来, 生成对抗网络(Generative adversarial network, GAN)以其对抗学习成为人工智能领域的一个热门方向[9], 其基本思想在于判别模型D通过对抗学习提取样本空间的潜在特征表示, 迫使生成器G的概率分布匹配于未知的真实的数据分布.与传统的生成模型不同, GAN不是直接对样本空间中每个样本点进行概率密度估计, 而是通过生成器G对样本分布进行隐式表达.因此, 如何将GAN对抗学习获得的潜在特征表示充分利用以提高回归模型的泛化能力是一个值得思考的问题.
本文尝试解决预测回归问题, 同时能够学习得到一个生成模型.近年来, 在分类任务中采用生成模型的研究受到了广泛的关注, 并取得了许多进展. Kingma等[10]采用变分方法改进深度生成模型和近似贝叶斯推理, 使得生成方法适用于半监督分类问题; Radford等[11]将判别模型D中全部特征层应用于分类, 取得了不错的效果, 但其存在判别模型D与分类模型C不能同时联合训练的问题; Springenberg等[12]提出CatGAN (Categorical generative adversarial networks)对GAN进行半监督形式拓展, 通过引入类别损失来进行指导GAN的学习, 其基于熵损失的无监督学习方法表现较好.然而, 以上工作均是应用于分类问题中, 为此, 我们提出一种回归生成对抗网络(Regression generative adversarial network, RGAN)对GAN进行拓展, 从而应用于回归问题中, 该模型同时训练得到回归模型R与生成模型G, 且R与判别模型D共享首层潜在特征, 在RGAN框架下, G, D及R相互促进, 使得RGAN模型的预测精度及生成质量均得到提高.
1. 基本原理与方法
1.1 GAN的基本理论
生成对抗网络GAN引入一种新的生成模型训练框架, 该框架包括两部分: 1)生成模型G捕获真实样本的概率分布, 学习如何产生新的样本尽可能"欺骗"判别模型; 2)判别模型D尽可能判断输入的样本是否来自于生成器G, G和D互相对抗, 形成一个最大最小博弈游戏的价值函数.
$ \begin{align} &\mathop{\min }\limits_G \mathop{\max }\limits_D {\mathbb{E}_{x \sim {p_{\rm data}}(x)}}\left[ {\log D\left( x \right)} \right] + \notag\\ &\qquad {\mathbb{E}_{z\sim p(z)}}\left[ {\log \left( {1 - D\left( {G\left( z \right)} \right)} \right)} \right] \end{align} $
(1) 其中, $z$表示从特定分布$p\left( z \right)$中随机采样所得的向量, ${p_{\rm data}}\left( x \right)$表示真实样本数据的概率分布. GAN同样存在训练过程不稳定、模型崩溃等问题.在过去的几年中, 从各个方面提出了很多模型用于提高其性能. DCGAN (Deep convolutional generative adversarial networks)[12]采用反卷积神经网络与卷积神经网络分别构造生成模型G与判别模型D, 并对如何建立一个稳定的GAN网络提供了实验性的指导; CGAN (Conditional generative adversarial nets)[13]将条件变量同时加入G与D中, 使得样本数据的生成基于条件变量; EBGAN (Energy-based generative adversarial network)[14]从能量模型的角度对GAN进行改进; WGAN (Wasserstein GAN)[15]将Wasserstein距离代替JS散度(Jensen-Shannon divergence), 用于估计真实样本数据分布与生成样本分布之间的距离, 使得模型的对抗学习更加稳定, 其目标函数为
$ \begin{align} \mathop {\min }\limits_\theta \mathop {\max }\limits_w {\mathbb{E}_{x \sim {p_{\rm data}}(x)}}\left[ {{f_w}\left( x \right)} \right] -{\mathbb{E}_{z\sim p(z)}}\left[ {{f_w}\left( {{g_\theta }(z)} \right)} \right] \end{align} $
(2) 其中, ${f_w}$, ${g_\theta }$分别为判别模型D与生成模型G的参数形式, 考虑WGAN训练的稳定性及指示性, 因此, RGAN采用Wasserstein距离作为生成样本概率分布与真实样本概率分布之间距离的度量.
1.2 RGAN模型
回归生成对抗网络(RGAN)包括一个生成模型G、一个判别模型D及一个回归模型R.其基本思想是基于判别模型D通过对抗学习得到一系列潜在特征层, 而这些特征层对于下游任务(例如分类或回归)往往具有促进作用, 即通过R与D共享特征层可以提高回归模型R的性能表现.同时, 利用回归模型R估计生成模型G的条件变量与生成样本之间互信息的下界值, 约束生成模型G, 并使生成模型G产生更真实的样本.由于对抗的性质, G迫使D的判别能力得到提升, 这又有利于回归模型R预测性能的提升, 因此就有可能利用这个闭环.在这个闭环中G, R, D可以交替训练使得各自模型趋于最优.但回归问题与分类问题的不同在于与判别模型共享的特征层不同, 对于RGAN, 回归模型R与判别模型D共享首层潜在特征对问题的解决起关键作用, RGAN具体结构如图 1所示.
在图 1中, G的输入为噪声$z$及条件变量$c$, 输出为生成样本$x' = G(z, c)$.由于对抗性, D迫使G根据条件变量产生生成样本. R根据判别模型D对输入样本提取的首层潜在特征, 进行回归预测, 同时作用于生成模型G的生成过程. G采用反卷积神经网络, D由卷积神经网络及全连接层组成, R的结构则可根据具体问题选取, 本文取为卷积神经网络.
1.2.1 RGAN的目标函数
假设真实样本的数据分布为${p_{\rm data}}\left( x \right)$, 随机噪声$z$服从已知分布$p\left( z \right)$, 条件变量$c$的分布为$p\left( c \right)$, ${f_w}$, ${g_\theta }$和${r_\psi }$分别为判别模型D, 生成模型G与回归模型R的参数形式.根据Wasserstein距离, 将最大最小游戏目标函数作为G与D的价值函数.
$ \begin{align} &\mathop {\min }\limits_\theta \mathop {\max }\limits_w {\mathbb{E}_{x, c\sim {p_{\rm data}}\left( {x, c} \right)}}\left[ {{f_w}\left( {x, c} \right)} \right] -\notag \\ &\qquad {\mathbb{E}_{z, c \sim p\left( {z, c} \right)}}\left[ {{f_w}\left( {{g_\theta }\left( {z, c} \right), c} \right)} \right] \end{align} $
(3) 回归模型R包括两个部分:
1) 当其输入为真实样本$x$, 回归模型R需要尽可能根据输入的样本数据做出正确的预测, 采用MSE评估回归网络的预测效果.
$ \begin{align} \mathop {\min }\limits_\psi {\mathbb{E}_{x, c\sim {p_{\rm data}}\left( {x, c} \right)}}{\left[ {c - {r_\psi }\left( x \right)} \right]^2} \end{align} $
(4) 2) 当其输入为生成数据$G\, (z, c)$时, 根据变分法, 采用回归模型R估计$G\, (z, c)$与条件变量$c$之间的互信息$I\left[ {c;G\left( {z, c} \right)} \right]$的下界值[16-17], 该下界值通过最大化${\mathbb{E}_{x \sim G\left( {z, c} \right), c}}\left[ {\log {r_\psi }\left( {c|x} \right)} \right]$获得, 即最小化${r_\psi }\left( {c|{g_\theta }\left( {z, c} \right)} \right)$的负对数似然性(Negative log likelihood, NLL), 通过基于MSE的损失函数实现.
$ \begin{align} \mathop {\min }\limits_\theta {\mathbb{E}_{z, c \sim p\left( {z, c} \right)}}{\left[ {c - {r_\psi }\left( {{g_\theta }\left( {z, c} \right)} \right)} \right]^2} \end{align} $
(5) 因此, RGAN的目标函数表示如下:
$ \begin{align} & \mathop {\min }\limits_{\theta , \psi} \mathop {\max }\limits_w {\mathbb{E}_{x, c \sim {p_{\rm data}}(x, c)}}\left[ {{f_w}\left( {x, c} \right)} \right] -\notag \\ &\qquad {\mathbb{E}_{z, c\sim p(z, c)}}\left[ {{f_w}\left( {{g_\theta }(z, c), c} \right)} \right] +\notag \\ &\qquad {\mathbb{E}_{x, c\sim {p_{\rm data}}(x, c)}}{\left[ {c - {r_\psi }\left( x \right)} \right]^2} \, +\notag \\ &\qquad \lambda {\mathbb{E}_{z, c \sim p\left( {z, c} \right)}}{\left[ {c - {r_\psi }\left( {{g_\theta }\left( {z, c} \right)} \right)} \right]^2} \end{align} $
(6) 其中, $\lambda $表示平衡判别模型D与回归模型R对生成模型G的约束作用, 然而当$\lambda =0$时, RGAN仅仅将判别模型D的首层潜在特征用于回归问题中, 对生成模型G无任何作用.
1.2.2 D与R共享首层潜在特征层
RGAN模型中, 判别模型D与回归模型R共享首层潜在特征层, 并非全部特征层.原因是判别模型D与生成模型G通过对抗学习逐层对真实样本进行特征提取, 并逐层凸显有利于D判断样本是否来自于生成器G的特征, 这些特征逐层越来越有利于分类问题, 并且深层特征表示与回归问题所需要的特征并不一致, 因此不能简单地利用判别模型D的全部特征层来做回归.但考虑判别模型D的首层潜在特征是对真实样本空间的浅层表达, 有利于回归问题, 因此, 将其应用于回归模型以提高其泛化能力与预测精度.如图 2所示, RGAN分别基于判别模型D的一系列特征层建立回归模型R, 其中Conv1, Conv2及Conv3分别表示回归模型D中第一卷积层、第二卷积层及第三卷积层, 可以看到回归模型R的训练集及测试集的损失函数均随周期数逐渐减小, 同时在预测精度及训练稳定性方面, 首层潜在特征Conv1均优于其后的特征层.因此D与R共享首层潜在特征对于提高回归模型的稳定性及预测精度至关重要.
图 2 基于不同特征层RGAN回归模型R的表现Fig. 2 Performance of regression model R of RGAN based on different feature maps2. 实验与方法
2.1 实验数据的获得
本实验所用原油样本均来自中国某石油化工实际生产过程, 采用核磁共振分析仪测定样品的核磁共振氢谱, 共采集479组数据, 如图 3所示, 横坐标为化学位移值, 纵坐标为峰强度.对应的原油物性总氢, 通过实验室标准方法测取, 其取值范围为12.95%~13.96%.所有核磁共振氢谱谱图及物性信息均不经过预处理, 仅归一化至$[-1, 1]$.
2.2 回归模型定量分析的评价参数
为了评估回归模型R的模型预测精度及泛化能力, 本文采用相关系数与均方误差.相关系数越大, 均方误差越小, 模型性能越好.计算公式如下:
$ \begin{align} r = \dfrac{{\sum\limits_{i = 1}^n {\left( {{y_i} - \bar y} \right)\left( {{y_{i, p}} - {{\bar y}_p}} \right)} }}{{\sqrt {\sum\limits_{i = 1}^n {\left( {{y_i} - \bar y} \right)} } \sqrt {\sum\limits_{i = 1}^n {\left( {{y_{i, p}} - {{\bar y}_p}} \right)} } }} \end{align} $
(7) $ \begin{align} MSE = \frac{1}{n}{\sum\limits_{i = 1}^n {\left( {{y_{i, p}} - {y_i}} \right)} ^2} \end{align} $
(8) 式中, $n$为测试样本集中样本数目, ${y_i}$, ${y_{i, p}}$, $\bar y$和${\bar y_p}$分别表示测试样本集中第$i$个样本对应物性的化学值、模型预测值、样本集的物性化学值均值和模型预测值均值.
2.3 RGAN的实现
根据RGAN的目标函数及基本思想, 分为三个部分构造: 1)生成模型G, 输入为服从分布均值为0、方差为0.3的高斯噪声$z$及$[-1, 1]$间均匀分布的条件变量$c$.采用三个反卷积层, 卷积核大小均为$5$ $\times$ $1$, 中间层和输出层的激活函数分别采用ReLU及双正切函数; 2)判别网络D采用卷积神经网络, 卷积核大小为$10 \times 1$, 条件变量$c$与上层输出合并输入最后一个卷积层, 中间层均采用Leaky ReLU函数作为激活函数, 输出层为线性函数; 3)回归模型R与D共享首个卷积层, 输出层的激活函数为双正切函数. G, D与R的中间层均采用批标准化, 训练过程中, 超参数$\lambda $分别设置为$\lbrace0, 0.001, 1\rbrace$, 批次大小为32, 优化器为ADAM, 学习率为$2\times 10^{-4}$, G, D与R交替训练, 经过约200周期, RGAN训练过程趋于稳定, 具体模型结构参数见表 1.
表 1 RGAN网络结构及超参数Table 1 The network structure and hyperparameters of RGANOperation Kernel Strides Feature maps BN Nonlinearity $G(z)-121 \times 1$ Input Linear(Reshape) N/A N/A 256 × ReLU Tansposed Convolution 5$\times{}$1 2$\times{}$1 128 √ ReLU Tansposed Convolution 5$\times{}$1 2$\times{}$1 64 √ ReLU Tansposed Convolution 5$\times{}$1 2$\times{}$1 1 × TANH $D(x) - 1 \times 688 \times 1$ Input Convolution $(M)$ 10$\times{}$1 2$\times{}$1 64 × Leaky ReLU Convolution 10$\times{}$1 2$\times{}$1 128 √ Leaky ReLU $C - 1 \times 177 \times 1$ Input Convolution 10$\times{}$1 2$\times{}$1 256 √ Leaky ReLU Fully Connected N/A N/A 1 024 √ Leaky ReLU Fully Connected N/A N/A 1 × NONE $R(M) - 1\times 344 \times 64$ Input Convolution 10$\times{}$1 1$\times{}$1 128 √ Leaky ReLU Fully Connected N/A N/A 1 024 √ Leaky ReLU Fully Connected N/A N/A 1 √ TANH Optimizer Adam ($\alpha{}=2\times 10^{-4}$, $\beta{}_1=0.9$, $\beta{}_2=0.999$) Batch size 32 Iterations 1 000 Leaky ReLU slope 0.2 Weight, bias initialization Isotropic Gaussian ($\mu{}=0, $ $\sigma{}=0.02$) 3. 讨论与分析
3.1 回归模型R与生成模型G的影响
RGAN引入一个额外的超参数$\lambda$, 目的是使得回归模型估计的互信息下界值可以有效作用于生成模型中, 并且超参数$\lambda{}$的取值对谱图生成与回归预测十分重要.当超参数$\lambda=0$, RGAN退化为WGAN, 而回归模型R仅仅利用了判别模型的首层潜在特征, 而无法作用于生成模型G.当超参数$\lambda{}$不为零时, 回归模型R对G的条件变量与生成样本的互信息估计并最大化, 使得生成模型G生成与条件变量相关且类似于真实样本, 同时由于对抗性质, G迫使判别模型D提高性能, 并使得D特征层能够与条件变量相关, 从而利于基于D首层潜在特征建立的回归模型R, 因此在R, G与D形成相互促进过程中, 各自模型的性能得到优化, 不仅增强了生成模型G的稳定性, 而且提高了回归网络R的预测性能.
超参数$\lambda{}$对生成G的影响如图 4所示, RGAN生成模型G的损失函数在初期波动随$\lambda{}$值的增大而变得剧烈, 原因在于在回归模型的约束作用增强使得生成模型能够对生成空间进行有效搜索, 然后经过短暂调整后快速收敛至上界值, 而随着训练的进行, 判别模型"突然记起"某些特征, 使得分辨真实样本与生成样本十分容易, 因此生成模型的损失函数出现会骤降, 同时由于对抗性质, 生成模型随后学习到如何生成这些特征以"欺骗"判别模型以恢复原来达到纳什均衡, 此外, 生成模型由于回归模型R的作用的增大, 其稳态偏差与骤降范围均较小, 其恢复能力增强.
图 4 超参数$\lambda{}$对生成模型G的影响Fig. 4 Effect of hyper parameter$\lambda{}$ on generative model G超参数$\lambda{}$对回归模型R的影响如图 5所示, 随$\lambda{}$值的增大, 回归模型R初期收敛速度加快, 稳定偏差范围变小, 模型泛化能力得到增强, 从而提高了模型预测精度.按照一般对等原则, 超参数$\lambda{}$应使得GAN目标函数与R估计的互信息值数量级一致, 太大的$\lambda{}$会导致生成模型G趋于强化条件变量有关的区域, 从而影响谱图生成整体效果以致不利于生成模型G与判别模型D取得纳什均衡, 此外, 对回归模型R也有不利影响, 因此超参数$\lambda{}$的取值往往小于对等原则对应的取值, 使得回归模型对生成过程起辅助作用.
图 5 超参数$\lambda{}$对回归模型R的影响Fig. 5 Effect of hyper parameter$\lambda{}$ on regression model R3.2 回归模型R的预测精度
本文分别构造一个卷积神经网络CNN预测模型和一个预训练模型CGAN + R.与RGAN结构参数一致, CGAN + R不同的是在对抗训练过程完成之后, 将CGAN的首层特征应用于回归模型R中.设定CNN与回归模型结构参数相同, CNN与CGAN + R的优化器及其相关训练参数一致.结果如表 2所示, 与CNN预测模型相比, RGAN明显提高了预测相关系数$R_{p}$, 减小了预测集的均方误差MSEP, 且$R_{p}$和MSEP随$\lambda{}$的增大先分别增大、减小, 之后分别减小、增大, 表明$\lambda{}$的取值过大会严重影响对抗过程的进行, 从而不利于回归模型泛化能力的提高.与预训练模型CGAN + R相比, RGAN ($\lambda{}=0$)联合训练对应于动态寻优过程, 在G与D相互对抗的过程中, 判别模型R以次梯度逼近于全局最优解, 使得RGAN ($\lambda{}=0$)的预测效果略优于预训练模型.在数据集不进行相关预处理的情况下, SVM与PLS应用于原油物性预测模型的建立, PLS的预测性能高于CNN, 低于RGAN, 因此RGAN通过共享首层特征, 联合训练, 使得回归模型的预测精度及泛化能力得到了有效提升.
表 2 RGAN与不同预测模型的比较Table 2 Comparison between RGAN and different prediction modelsModels $R_p$ MSEP SVM 0.573 0.084 PLS 0.755 0.028 CNN 0.727 0.030 CGAN + R 0.756 0.027 RGAN $(\lambda{}=0)$ 0.768 0.026 RGAN $(\lambda{}=0.001)$ 0.787 0.024 RGAN $(\lambda{}=1)$ 0.792 0.023 RGAN $(\lambda{}=5)$ 0.776 0.025 3.3 NMR谱图的生成
将服从高斯分布的随机噪声$z$及服从均匀分布的条件变量$c$分别采样, 作为RGAN训练得到生成模型G的输入, G的输出以谱图的形式展现, 如图 6所示, 当超参数$\lambda{}$分别为0, 0.001与1时, 每组共有320个$^{1}$H NMR谱图生成样本, 不经过任何挑选, 图 6(d)中真实$^{1}$H NMR样本有479组.由于采样的随机性及缺乏相应评价手段, 因此无法对NMR谱图生成的真实度进行定量分析, 但可以定性地观察到随着RGAN中回归模型R对生成模型G的作用逐渐增强, 生成的NMR谱图在化学位移值500左右的区域波形逐渐丰富, 抑制了生成谱图中"假峰"及"杂波"的产生, 因此产生的特征峰更类似于真实谱图, 表明RGAN通过回归模型R对G的约束作用, 使得生成模型G的NMR谱图生成性能得到了提高.
图 6 超参数$\lambda{}$对NMR谱图生成的影响Fig. 6 Effect of hyper parameter $\lambda{}$ on generation of $^{1}$H nuclear magnetic resonance spectrum4. 结论
近年来, GAN在图像生成领域中已取得令人瞩目的成就, 本文提出一种新的GAN网络的拓展结构——RGAN, 将GAN模型由图像领域应用到核磁共振氢谱原油物性定量分析中. RGAN通过判别模型与生成模型的对抗学习, 使得判别模型提取了NMR谱图的一系列的潜在特征, 采用判别模型的首层潜在特征建立回归模型, 提高回归模型预测精度及泛化能力.通过增加互信息约束, 采用回归模型估计其下界, 生成模型产生更类似于真实的生成样本. RGAN各模型联合训练, 相互促进, 趋于各自最优.实验表明, RGAN提高了原油物性回归模型的预测精度及其稳定性, 同加快了生成模型的收敛速度, 提高了谱图的生成质量.
-
图 2 基于不同特征层RGAN回归模型R的表现
Fig. 2 Performance of regression model R of RGAN based on different feature maps
图 4 超参数$\lambda{}$对生成模型G的影响
Fig. 4 Effect of hyper parameter$\lambda{}$ on generative model G
图 5 超参数$\lambda{}$对回归模型R的影响
Fig. 5 Effect of hyper parameter$\lambda{}$ on regression model R
图 6 超参数$\lambda{}$对NMR谱图生成的影响
Fig. 6 Effect of hyper parameter $\lambda{}$ on generation of $^{1}$H nuclear magnetic resonance spectrum
表 1 RGAN网络结构及超参数
Table 1 The network structure and hyperparameters of RGAN
Operation Kernel Strides Feature maps BN Nonlinearity $G(z)-121 \times 1$ Input Linear(Reshape) N/A N/A 256 × ReLU Tansposed Convolution 5$\times{}$1 2$\times{}$1 128 √ ReLU Tansposed Convolution 5$\times{}$1 2$\times{}$1 64 √ ReLU Tansposed Convolution 5$\times{}$1 2$\times{}$1 1 × TANH $D(x) - 1 \times 688 \times 1$ Input Convolution $(M)$ 10$\times{}$1 2$\times{}$1 64 × Leaky ReLU Convolution 10$\times{}$1 2$\times{}$1 128 √ Leaky ReLU $C - 1 \times 177 \times 1$ Input Convolution 10$\times{}$1 2$\times{}$1 256 √ Leaky ReLU Fully Connected N/A N/A 1 024 √ Leaky ReLU Fully Connected N/A N/A 1 × NONE $R(M) - 1\times 344 \times 64$ Input Convolution 10$\times{}$1 1$\times{}$1 128 √ Leaky ReLU Fully Connected N/A N/A 1 024 √ Leaky ReLU Fully Connected N/A N/A 1 √ TANH Optimizer Adam ($\alpha{}=2\times 10^{-4}$, $\beta{}_1=0.9$, $\beta{}_2=0.999$) Batch size 32 Iterations 1 000 Leaky ReLU slope 0.2 Weight, bias initialization Isotropic Gaussian ($\mu{}=0, $ $\sigma{}=0.02$) 
下载: 导出CSV
表 2 RGAN与不同预测模型的比较
Table 2 Comparison between RGAN and different prediction models
Models $R_p$ MSEP SVM 0.573 0.084 PLS 0.755 0.028 CNN 0.727 0.030 CGAN + R 0.756 0.027 RGAN $(\lambda{}=0)$ 0.768 0.026 RGAN $(\lambda{}=0.001)$ 0.787 0.024 RGAN $(\lambda{}=1)$ 0.792 0.023 RGAN $(\lambda{}=5)$ 0.776 0.025
下载: 导出CSV
-
[1] Jackman L M, Sternhell S. Application of Nuclear Magnetic Resonance Spectroscopy in Organic Chemistry:International Series in Organic Chemistry (2nd edition). Amsterdam:Elsevier, 2013. [2] Simmler C, Napolitano J G, McAlpine J B, Chen S N, Pauli G F. Universal quantitative NMR analysis of complex natural samples. Current Opinion in Biotechnology, 2014, 25:51-59 doi: 10.1016/j.copbio.2013.08.004 [3] Molina V D, Angulo R, Dueñez F Z, Gunmán A. Partial least squares (PLS) and multiple linear correlations between heithaus stability parameters (P0) and the colloidal instability indices (CⅡ) with the 1H nuclear magnetic resonance (NMR) spectra of Colombian crude oils. Energy and Fuels, 2014, 28(3):1802-1810 doi: 10.1021/ef4022224 [4] Adams A, Piechatzek A, Schmitt G, Siegmund G. Single-sided nuclear magnetic resonance for condition monitoring of cross-linked polyethylene exposed to aggressive media. Analytica Chimica Acta, 2015, 887:163-171 doi: 10.1016/j.aca.2015.07.005 [5] Chen J J, Hürlimann M, Paulsen J, Freed D, Mandal S, Song Y Q. Dispersion of T1 and T2 nuclear magnetic resonance relaxation in crude oils. ChemPhysChem, 2014, 15(13):2676-2681 doi: 10.1002/cphc.v15.13 [6] Duarte L M, Filgueiras P R, Dias J C M, Oliveira L M S L, Castro E V R, de Oliveira M A L. Study of distillation temperature curves from Brazilian crude oil by 1H nuclear magnetic resonance spectroscopy in association with partial least squares regression. Energy and Fuels, 2017, 31(4):3892-3897 doi: 10.1021/acs.energyfuels.7b00187 [7] Zhang Y D, Chen S F, Wang S H, Yang J F, Phillips P. Magnetic resonance brain image classification based on weighted-type fractional Fourier transform and nonparallel support vector machine. International Journal of Imaging Systems and Technology, 2015, 25(4):317-327 doi: 10.1002/ima.v25.4 [8] LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521(7553):436-444 doi: 10.1038/nature14539 [9] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montréal, Canada: NIPS, 2014. 2672-2680 [10] Kingma D P, Rezende D J, Mohamed S, Welling M. Semi-supervised learning with deep generative models. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montréal, Canada: NIPS, 2014. 3581-3589 [11] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv: 1511.06434, 2015. http://www.oalib.com/paper/4054347 [12] Springenberg J T. Unsupervised and semi-supervised learning with categorical generative adversarial networks. arXiv preprint arXiv: 1511.06390, 2015. http://arxiv.org/abs/1511.06390 [13] Mirza M, Osindero S. Conditional generative adversarial nets. arXiv preprint arXiv: 1411.1784, 2014. http://www.oalib.com/paper/4066323 [14] Zhao J B, Mathieu M, LeCun Y. Energy-based generative adversarial network. arXiv preprint arXiv: 1609.03126, 2016. http://arxiv.org/abs/1609.03126 [15] Arjovsky M, Chintala S, Bottou L. Wasserstein gan. arXiv preprint arXiv: 1701.07875, 2017. http://arxiv.org/abs/1701.07875 [16] Chen X, Duan Y, Houthooft R, Schulman J, Sutskever I, Abbeel P. Infogan: interpretable representation learning by information maximizing generative adversarial nets. In: Proceedings of the 29th International Conference on Neural Information Processing Systems. Barcelona, Spain: NIPS, 2016. 2172-2180 http://arxiv.org/abs/1606.03657 [17] Kingma D P, Welling M. Auto-encoding variational Bayes. arXiv preprint arXiv: 1312.6114, 2013. http://www.oalib.com/paper/4042889 期刊类型引用(7)
1. 牟天昊，邹媛媛，李少远. 工业过程关键指标预测的知识协同进化增强图卷积网络方法（英文）. 控制理论与应用. 2024(03): 416-427 . 
百度学术2. 严钰文，毕文豪，张安，张百川. 基于序列生成对抗网络的无人机集群任务分配方法. 兵工学报. 2023(09): 2672-2684 . 百度学术3. 谢霖铨，曾孟麒，杨火根. 高斯骨架差分进化算法与回声状态网络的结合应用. 南昌大学学报(理科版). 2022(03): 363-370+378 . 百度学术4. 许美玲，王依雯. 基于改进差分进化和回声状态网络的时间序列预测研究. 自动化学报. 2021(07): 1589-1597 . 本站查看5. 江涛，刘鑫容，朱耀琴，曲慧杨. 基于GAN-CNN联合网络的复杂产品费用预测. 电子设计工程. 2020(17): 174-179+184 . 百度学术6. 王利，陈宇综，张辉. 深度学习下AI生成印象派美术及全景画的微观艺术研究. 艺术工作. 2020(05): 19-23 . 百度学术7. 杨柳，潘冰. 计及风光储差异化峰谷调度的LSTM微电网负荷预测模型. 电器与能效管理技术. 2019(19): 69-75 . 百度学术其他类型引用(9)
-
下载:
计量
- 文章访问数: 1850
- HTML全文浏览量: 366
- PDF下载量: 980
- 被引次数: 16
