-
摘要: 针对湿式球磨机多工况运行过程中标签样本难以获取和工况改变导致的原测量模型失准问题，本文引入域适应随机权神经网络（Domain adaptive random weight neural network，DARWNN），实现待测工况中少量标签样本与原工况样本共同进行迁移学习.DARWNN网络解决了不同工况间难以共同进行机器学习的问题，但其只考虑经验风险，而未考虑结构风险，从而泛化性能较差，预测精度较低.在此基础上，本文引入流形正则化，并构建基于流形正则化的域适应随机权神经网络（Domain adaptive manifold regularization random weight neural network，DAMRRWNN），以保持数据几何结构，提高相应模型性能.实验结果表明，所提方法可以有效提高DARWNN的学习精度，解决多工况情况下湿式球磨机负荷参数软测量问题.Abstract: The problem of misalignment of the original measurement model is caused by the difficulty in obtaining the labeled sample and the change of working condition during the operation of the wet-type ball mill. In this paper, we introduce a domain adaptive random weight neural network (DARWNN), thus a small number of labeled samples in the working condition combined with the original working condition samples can be used to implement transfer learning. The DARWNN network can solve the problem of machine learning in different working conditions, however it considers only the empirical risk but not the structural risk. Thus the generalization performance is poor and the prediction accuracy is low. On this basis, we propose a domain adaptive manifold regularization random weight neural network (DAMRRWNN) in terms of manifold regularization to maintain data geometry structure, so as to improve the performance of the corresponding model. Experimental results indicate that the performance of the proposed methods is superior to or at least comparable with the existing benchmarking methods and that the proposed methods can effectively improve the learning accuracy of DARWNN and solve the problem of soft sensor for wet ball mill load parameters under multiple loading conditions.
-
Key words:
- Transfer learning /
- domain adaption /
- mill load /
- manifold regularization /
- soft sensor
-
磨机负荷(Mill load, ML)是指磨机中球、料、水的总和, 是选矿行业磨矿过程的重要参数[1].准确检测ML是实现磨矿过程优化控制、节能降耗及提高磨矿效率、磨矿产品质量的关键.但由于球磨机物理条件限制及其多变量、强耦合和非线性等特性使得负荷参数的监测难度大、性能不稳定、精度低, 从而制约了这类基础设备自动化水平的提高.
湿式球磨机负荷检测主要针对能够准确表征ML的磨机内部参数(料球比(Material to ball volume ratio, MBVR)、矿浆浓度(Pulp density, PD)、充填率CVR (Charge volume ratio, CVR))[2].文献[3]对不同研磨工况下的实验球磨机筒体振动信号进行了分析, 并建立了基于主元分析(Principal component analysis, PCA)和最小二乘支持向量机的磨机负荷参数软测量模型, 但支持向量机训练时需要求解凸二次规划问题, 当样本规模较大时, 需要较多的训练时间和存储空间.近年来, 众多学者将随机学习思想应用于训练不同结构的神经网络, 并提出多种类型的随机权神经网络(Random weight neural network, RWNN)模型, 如单隐含层前馈神经网络[4]、多隐含层前馈神经网络[5]、随机权递归神经网络[6]等.文献[7]将RWNN用于软测量建模, 有效提高算法学习速度及泛化能力.文献[8]提出磨机负荷参数在线集成建模方法, 以解决单一模型存在的信息融合不充分或信息冗余导致的泛化性能差、精度低问题.但是, 钢球磨损或物料材质改变导致设备特性缓慢漂移问题依然存在.文献[9]针对多工况系统存在的非线性及工况漂移导致的预测精度下降问题, 提出基于即时学习的自适应软测量方法, 从而使软测量模型能够一定程度适应工况变化.
然而上述软测量建模方法均要求建模与测试样本数据基本满足独立同分布假设.在实际工业过程中, 运行任务与设定值变化、原料及环境变化、设备重组等情况, 容易导致系统工况发生突变, 工况间数据分布不一致、系统具有多模态特性.对这样的多工况系统建模需要解决模态数据差异性问题, 并考虑如何使模型具有适应模态变化、数据漂移的能力.因此本文有针对性的引入迁移学习(Transfer learning)[10]策略, 通过迁移原有工况下的知识结构和模型解决待测工况仅有少量标记样本, 且待测工况与原有工况数据分布不同的问题.
文献[11]对RWNN模型进行改进, 并提出域适应随机权神经网络(Domain adaptive random weight neural network, DARWNN), 将其用于解决因传感器特性漂移引起的分类器性能恶化问题.但对数据的空间结构变化并未予以关注, 且RWNN的权值随机初始化会使数据产生非线性结构, 因此在软测量建模的回归问题中结果并不理想.
本文引入DARWNN, 针对未建模的新工况, 迁移源域所建模型的知识结构, 从而完成或改进新工况的建模任务, 实现待测工况负荷参数的测量, 同时采用可以保持数据几何结构的流形正则化算法[12-13]建立软测量模型.
综上, 本文采用基于流形正则化的域适应随机权神经网络(Domain adaptive manifold regularization random weight neural network, DAMRRWNN), 解决工况变化引起的模型失准问题.通过玉米样品的近红外光谱数据集和实验室球磨机数据进行实验验证, 表明建立的软测量模型具有良好的适应性和较高的测量精度.
1. 相关理论与算法
1.1 域适应随机权神经网络(DARWNN)[11]
域适应随机权神经网络是一种基于单隐含层前馈神经网络(Single-hidden layer feed forward network, SLFN)的学习算法[14].常用的单隐层随机权神经网络数学描述如下:
设训练集样本为$\{ {\pmb{x}^{(i)}}, {\pmb{t}^{(i)}}\} _{i = 1}^M$, RWNN的隐含层单元个数为${n_h}$, 则RWNN模型的输出为:
$ {\pmb{t}^{(i)}} = \sum\limits_{j = 1}^{{{n}_h}} {{\pmb{\beta}_j}\phi \left( {{{\pmb{w}}_j}{{\pmb{x}}^{(i)}} + {{\pmb{b}}_j}} \right)}, {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} i = 1, \cdots, M\ $
(1) 整理矩阵形式为:
$ H{\beta} = T $
(2) 式中, ${{\beta}}$为输出权值矩阵, ${w}$为输入权值矩阵, ${b}$为偏置.在随机权神经网络中, ${w}$和${b}$均随机选取, $\beta$通过求解线性方程(3)计算获得, 有效解决了基于梯度类学习算法训练速度慢、泛化性能差等问题[15]:
$ {\beta =}{{H}^{\dagger }}{T = (}{{H}^{{\rm T}}}{H}{{)}^{{{ - 1}}}}{{H}^{{\rm T}}}{T} $
(3) 式中, ${H^{\dagger}}$表示矩阵${H}$的Moore-Penrose广义逆.文献[16-17]分别在式(3)中添加L1、L2正则项来提高随机权神经网络的泛化性能, 改善输出的鲁棒性.
为便于描述多模态问题, 以下分别用下标$S$和$T$表示源域和目标域数据(在实际工业过程中分别代表原建模工况及待测工况).假设所有源域数据均有标签, 目标域数据少部分有标签. DARWNN旨在通过源域所有标签样本及目标域少量标签样本训练得到模型参数, 目标函数如下:
$ \begin{array}{*{20}{l}} {\mathop {\min }\limits_{\beta, \pmb{\xi} _S^i, \pmb{\xi} _T^i} \left(\dfrac{1}{2}||\beta |{|^2} + {C_S}\dfrac{1}{2}\sum\limits_{i = 1}^{{N_S}} {||\pmb{\xi} _S^i|{|^2}} +\right. }\\ \quad \left.{C_T}\dfrac{1}{2}\sum\limits_{i = 1}^{{N_T}} {||\pmb{\xi} _T^i|{|^2}}\right) \end{array} $
(4) $ {\rm{s.\, t.}}\left\{ \begin{array}{l} \pmb{H}_S^i\beta = \pmb{t}_S^i - \pmb{\xi} _S^i\begin{array}{*{20}{c}}, &{i = 1, \cdots, {N_S}} \end{array}\\ \pmb{H}_T^j\beta = \pmb{t}_T^j - \pmb{\xi} _T^j\begin{array}{*{20}{c}}, &{j = 1, \cdots, {N_T}} \end{array} \end{array} \right. $
(56) 其中, 分别表示源域的隐含层输出, 预测误差及其第${i}$个训练样本标签; 分别表示目标域的隐含层输出、预测误差及第${j}$个训练样本标签; $\beta \in {{\bf{R}}^{L \times m}}$表示所求输出权重; ${{N}_S}, {{N}_T}$分别表示源域样本个数和目标域少部分有标签样本的个数; ${{C}_S}, {{C}_T}$表示由带标签的源域训练样本及部分带标签的目标域训练样本分别训练所得预测误差的惩罚系数.
由式(4)和(5)可知, 通过目标域的少量标签样本可以使${\beta}$具有可迁移性. $M$个目标域的DARWNN架构如图 1所示:
图 1中实线箭头表示用源域训练数据${D_S}$进行学习, 虚线表示用目标域有标签数据${D_T^l}$进行模型训练, ${D_T^u}$是目标域无标签数据.
通过拉格朗日算子对式(4)进行优化, 得:
$ \begin{array}{l} \beta = {({I} + {{C}_S}{H}_S^{\rm{T}}{{H}_S} + {{C}_T}{H}_T^{\rm{T}}{{H}_T})^{ - 1}\times}\\ \begin{array}{*{20}{c}} {}&{} \end{array}({{C}_S}{H}_S^{\rm{T}}{{t}_S} + {{C}_T}{H}_T^{\rm{T}}{{t}_T}) \end{array} $
(6) 其中, ${I}$是维度为${L}$的单位阵.
1.2 流形正则化
软测量建模的回归任务与分类任务所依赖的“聚类假设”有所不同, 需要保持源领域和目标领域的数据结构信息, 从而使源领域建立的模型能够适用于目标领域数据的预测.流形正则化[18]的本质思想是使数据在新的投影空间(这里指决策空间)中能够保持其在原特征空间(这里指DARWNN特征空间)中的局部几何结构[19-20].该目标函数可以表示如下:
$ \min :\frac{1}{2}\sum\limits_{ij} {{\omega _{ij}}||{\pmb{y}_i} - {\pmb{y}_j}||_2^2} $
(7) 其中, ${{\pmb{y}_i}}$和${{\pmb{y}_j}}$分别是样本${\pmb{z}_i}$和${\pmb{z}_j}$的输出预测向量(在DARWNN结构中, ${{\pmb{y}_i}}$是决策层输出向量, ${\pmb{z}_i}$是隐含层输出向量), 表示${\pmb{z}_i}$和${\pmb{z}_j}$的相似度.通常采用$K$近邻方法计算两个样本间的相似度, 通过高斯核函数计算各点与${\pmb{z}_i}$的权值, , 相应的相似度矩阵${W} = {[{\omega _{ij}}]_{{{N \times N}}}}$.
最小化式(7)中的目标函数相当于最小化下述函数:
$ \min :{\rm{tr}}({{Y}^{\rm{T}}}{LY}) $
(8) 其中, ${{\rm{tr}}\left( \cdot \right)}$表示矩阵的迹, ${Y}$是所有训练样本的输出预测向量构成的矩阵, 矩阵${L}$表示拉普拉斯矩阵, 即, ${D}$为一个对角阵, 其中元素:
$ {D_{ii}} = \sum\limits_{j = 1}^N {{W_{ij}}} $
(9) 2. 软测量策略及实现
综合上述分析可知, 为解决建模数据与待测数据不满足独立同分布假设, 并且分布差异较大的问题, 需要引入域适应算法.同时, 在模型建立过程中要求保持数据几何结构相对稳定.因此, 本文采用基于流形正则化的域适应随机权神经网络, 其在算法上融合了流形结构保持及领域自适应思想, 以克服RWNN算法将数据从原始特征空间随机映射到RWNN特征空间时, 数据分布差异过大, 且可能使数据在RWNN特征空间中呈现出某种难以预测的非线性分布的问题.软测量策略如图 2所示.
以DARWNN特征空间作为出发点, 不同工况下的数据具有不同的内在结构, 假设各工况数据分布在该高维特征空间中的一个低维流形上, 这种数据的几何结构需要通过上述流形学习的方法加以挖掘, 只有保持数据的内在结构才能更好地使迁移学习用于回归任务, 所以, 这里将式(8)引入到DARWNN目标函数式(4)中, 则DAMRRWNN的目标函数如下所示:
$ \begin{array}{l} \mathop {\min }\limits_{\hat \beta, \pmb{\xi} _S^i, \pmb{\xi} _T^i} \left(\dfrac{1}{2}||\hat \beta |{|^2} + {{C}_S}\dfrac{1}{2}\sum\limits_{i = 1}^{{{N}_S}} {||{\pmb{\xi}} _S^i|{|^2}}\right. + \\ \begin{array}{*{20}{c}} {}&{{{C}_T}\dfrac{1}{2}\sum\limits_{i = 1}^{{{N}_T}} {||{\pmb{\xi}} _T^i|{|^2} + } } \end{array}\left.{{C}_g}\dfrac{1}{2}{\rm{tr}}({{Y}^T}{LY})\right) \end{array} $
(10) 式中, 各参数定义与式(4)相同, ${{C}_g}$为流形正则项惩罚系数, 拉普拉斯矩阵${L}$是由特征空间中的样本求得, 目标函数中第4项的意义是添加流形正则约束项使得在DARWNN的特征空间中相似度较大的数据在决策空间中的距离较小, 即在决策空间中保持数据原有的几何性质.目标函数(10)可以表示为:
$ \begin{array}{l} \mathop {\min }\limits_{} :\dfrac{1}{2}||\hat \beta |{|^2} + {{C}_S}\dfrac{1}{2}\sum\limits_{i = 1}^{{{N}_S}} {||{\pmb{t}}_S^i - {\pmb{H}}_S^i\hat \beta |{|^2}} + \\ \begin{array}{*{20}{c}} {}&{{{C}_T}\dfrac{1}{2}\sum\limits_{i = 1}^{{{N}_T}} {||{\pmb{t}}_T^j - {\pmb{H}}_T^j\hat \beta |{|^2} + } } \end{array}{{C}_g}\dfrac{1}{2}{\rm{tr}}(\hat {{\beta}} _{}^{\rm{T}}{H}_S^{\rm{T}}{L}{H}_S^{}\hat {{\beta}} ) \end{array} $
(11) 对式(11)求导可得:
$ \begin{array}{*{20}{l}} {\nabla = \hat \beta - {{C}_{S}}{H}_S^{\rm{T}}({{t}_S} - {{H}_S}\hat \beta ) - }\\ {\begin{array}{*{20}{c}} {}&{} \end{array}{{C}_{T}}{H}_T^{\rm{T}}({{t}_T} - {{H}_T}\hat \beta ) + {{C}_{g}}{H}_S^{\rm{T}}{L}{{H}_S}\hat \beta } \end{array} $
(12) 令$\nabla = 0$, 有:
$ \begin{array}{l} {\hat{\beta }} = {({I} + {C_S}{H}_S^{\rm{T}}{{H}_S} + {C_T}{H}_T^{\rm{T}}{{H}_T} + {C_g}{H}_S^{\rm{T}}{LH}_S^{})^{ - 1}}\times\\ \begin{array}{*{20}{c}} {}&{} \end{array}({C_S}{H}_S^{\rm{T}}{{t}_S} + {C_T}{H}_T^{\rm{T}}{{t}_T}) \end{array} $
(13) DAMRRWNN算法流程如算法1所示.
算法1. DAMRRWNN算法流程
输入. 源域数据, 目标域无标签数据少量有标签数据, RWNN的隐含层节点数${l}$, 惩罚系数${{C}_S}, {{C}_T}, {{C}_g}$
输出. 输出权值, 预测标签${\pmb{y}_j}$
步骤1. 数据预处理.
步骤2. 模型参数初始化.
for $i = 1 \to n$
根据RWNN算法训练源域模型, 根据式(3)输出权值${\beta _0}$.
for $l = 1 \to m$
使用目标域标签数据迁移源域模型, 根据式(6)计算输出权值${\beta}$.
for $j = 1 \to r$
对目标域无标签数据, 根据式(13)计算计算预测输出.
end for
end for
end for
3. 算法评估及应用
3.1 算法评估标准介绍
为了量化各种方法的预测性能, 将均方根误差(Root mean square error, RMSE)、标准均方根误差(Normalized root mean squared error, NRMSE)作为衡量模型预测性能的评价标准, 如式(14)和式(15)所示:
$ {\rm RMSE} = \sqrt {\frac{{\sum\limits_{i = 1}^{{N_t}} {{{({y_i} - {{\hat y}_i})}^2}} }}{{{{N}_t}}}} $
(14) $ {\rm NRMSE} = \frac{{\rm RMSE}}{{{y_{\max }} - {y_{\min }}}} $
(15) 式中, ${y_i}$和分别表示第${i}$个样本的实际值和估计值, ${{N}_t}$为测试样本的个数.
3.2 公开数据集
实验采用了玉米样品的近红外光谱数据集验证DAMRRWNN算法的有效性(http://www.eigenvector.com/data/Corn/).光谱数据集包含了3台不同的光谱仪(分别命名为m5、mp5、mp6)上测得的80个玉米样品的近红外光谱, 其波长范围是1 100~2 498 nm.同时包含80个玉米样本的4种组成成分:水分、油、蛋白质和淀粉量的参考值.图 3给出了经PCA降维后数据的散点图, 表明不同光谱仪测量的数据存在较大的分布差异.
将设备m5的数据随机分成75%的训练集和25%的测试集, 分别采用随机权神经网络(RWNN)、集成学习方法(Bagging)、即时学习(Just in time learning, JITL)对油脂含量进行满足数据同分布情况下的预测, 结果如表 1所示.
表 1 m5油脂含量预测结果Table 1 Prediction result of oil content in m5评价标准 RWNN Bagging JITL RMSE 0.0490 0.1615 0.0803 NRMSE 0.0655 0.2171 0.1079 迁移学习实验中假设光谱仪m5所产生的数据为源域数据, 令光谱仪mp5、mp6产生的数据为目标域数据, 分别对数据集中的油脂含量和淀粉含量进行预测.本文引入RWNN、Bagging、JITL以及DARWNN与本文所建立的流形正则化域适应随机权神经网络(DAMRRWNN)预测结果进行对比. DAMRRWNN实验中通过SSA (Sample selection algorithm)方法[11]选取25个目标域有标签数据, ${{{n}_h}, {{C}_S}, {{C}_T}, {{C}_g}}$分别设置为500, , ${1 \times {10^{ 3}}}$, 0.3.结果如图 4和表 2所示.
表 2 m5为源域的不同算法实验结果对比Table 2 Comparison of experimental results of difierent algorithms for m5 as source domain方法 为目标域 为目标域 油脂含量 淀粉含量 油脂含量 淀粉含量 RMSE NRMSE RMSE NRMSE RMSE NRMSE RMSE NRMSE RWNN 0.7723 1.0380 1.1142 0.3056 0.8612 0.1575 1.1701 0.3209 Bagging 0.2346 0.3153 0.9127 0.2503 0.2253 0.3028 0.9707 0.2662 JITL 0.5866 0.7844 2.7080 0.7427 0.8021 1.0781 3.3141 0.9090 DARWNN 0.1047 0.1407 0.5066 0.1389 0.1090 0.1465 0.5294 0.1452 DAMRRWNN 0.0908 0.1220 0.4660 0.1278 0.0911 0.1224 0.4958 0.1360 根据同分布情况下近红外光谱数据集上的实验结果(表 1)可知, 数据在满足独立同分布的前提下, 传统的机器学习算法可以满足测量精度要求, 获得较为理想的预测精度.结合表 1和表 2的实验结果可以看出, 当数据独立同分布前提不满足时, 建立在传统机器学习算法上的软测量方法存在较大的误差.
从表 2和图 4中可以看出DARWNN比传统随机权神经网络及其他算法的预测精度显著提高, 说明迁移学习策略在数据分布不同时有效.同时可以看出引入流形正则框架后形成的DAMRRWNN在玉米样品近红外光谱数据集上拥有更理想的预测结果, 可以有效提高数据分布不同情况下模型的预测精度, 降低数据分布不同对软测量结果的影响.
3.3 湿式球磨机实验
3.3.1 数据预处理
实际工业过程中介质充填率(Medium filling rate, MFR)在0.3~0.5之间变化, 为了模拟实际工业过程中的工况变化, 对实验室小型湿式球磨机进行负荷参数软测量实验研究, 实验采取了分别固定介质充填率的5组实验方案数据, 即每组实验都固定相应的磨机滚筒内钢球和水的质量, 通过改变物料的质量以获得不同的负荷参数.对不同工况分别同步采集球磨机筒体振动信号, 各工况实验次数如表 3所示.
表 3 不同工况振动信号采集次数Table 3 Acquisition times of vibration signals under difierent working conditionsMFR 0.3 0.35 0.4 0.45 0.5 次数 139 103 88 95 102 在此基础上将每次实验采集的振动信号平均分为28个样本(每个样本覆盖球磨机旋转1周以上的数据), 对每个样本以$w=1\, 024$的窗口进行不重叠滑动, 每个窗口进行快速傅立叶变化(Fast Fourier transformation, FFT), 最后将每个窗口的变化结果取均值, 完成特征值提取过程[21].具体处理流程如图 5所示.
3.3.2 实验结果与分析
为了验证基于流形正则化的域适应随机权神经网络(DAMRRWNN)的有效性, 同样将随机权神经网络(RWNN)、集成学习(Bagging)、即时学习(JITL)以及域适应随机权神经网络(DARWNN)作为对比方法, 分别对料球比MBVR、矿浆浓度PD、充填率CVR三种磨机负荷参数进行预测实验.在磨机负荷参数的软测量建模中, 均以工况1作为源域, 以其他4种工况分别作为目标域, 测试结果分别用1-2、1-3、1-4、1-5表示.
表 4为不同预测模型软测量结果的均方根误差RMSE值, 表中1-1表示训练集测试集数据均来源于工况1, 可以看出RWNN、Bagging以及JITL在数据满足独立同分布时, 均能获得理想的预测精度, 相较于其他预测模型, DAMRRWNN在工况发生改变的情况下对三种磨机负荷参数的预测误差均能达到最低.图 6表示目标域为工况2情况下分别采用RWNN及DAMRRWNN建模时各磨机负荷参数的预测结果.根据预测结果可知, 引入迁移学习可有效解决工况变化带来的数据分布失配情况下的软测量建模问题.图 7表示三种对比算法, 集成学习、即时学习以及域适应随机权神经网络分别在目标域为工况2时对浓度的预测结果.
表 4 磨机负荷参数预测结果对比(RMSE)Table 4 Comparison of prediction results of mill load parameters (RMSE)建模算法 负荷参数 1-1 1-2 1-3 1-4 1-5 RWNN MBVR 0.0279 0.6219 1.0044 1.2182 1.1312 PD 0.0040 0.1546 0.0656 0.1763 0.2541 CVR 0.0021 0.0817 0.3063 0.2516 0.3607 Bagging MBVR 0.0923 0.1618 0.3379 0.3919 0.2346 PD 0.0157 0.0470 0.0897 0.0880 0.1263 CVR 0.0086 0.0808 0.1270 0.1395 0.2012 JITL MBVR 0.0829 0.3688 0.4490 0.7043 0.9147 PD 0.0138 0.0695 0.1149 0.3406 0.3467 CVR 0.0094 0.0908 0.1428 0.1777 0.2471 DARWNN MBVR $-$ 0.1349 0.0854 0.0843 0.0709 PD $-$ 0.0270 0.0170 0.0153 0.0178 CVR $-$ 0.0159 0.0114 0.0084 0.0081 DAMRRWNN MBVR $-$ 0.1058 0.0693 0.0457 0.0365 PD $-$ 0.0219 0.0149 0.0120 0.0162 CVR $-$ 0.0141 0.0108 0.0074 0.0072 
图 6 目标域为工况2时RWNN和DAMRRWNN的负荷参数预测结果Fig. 6 Prediction results of RWNN and DAMRRWNN on load parameter, when the condition 2 is the target domain
图 7 目标域为工况2时三种对比算法对负荷参数浓度的预测结果Fig. 7 Prediction results of three algorithms on load parameter PD, when the condition 2 is the target domain结合图 6中浓度预测结果可知, DAMRRWNN算法在三种负荷参数软测量实验中均可获得最佳预测结果, DARWNN预测结果与DAMRRWNN的预测结果对比可以看出, 引入流形约束后, 预测结果更加稳定且误差降低, 图 8表示以工况1为源域进行域适应学习的三种磨机负荷参数的预测结果.
图 9表示目标域为工况2条件下各建模方法对三种磨机负荷参数的预测误差对比, 图 10表示对磨机负荷参数进行预测时, 各建模方法预测误差对比(图例与图 9相同).实验证明, 湿式球磨机工况发生变化时, 历史数据建立的软测量模型性能急速下降.为解决工况改变引起的软测量模型失准, 引入域适应随机权神经网络对源域数据构建的模型进行知识结构迁移, 从而提高模型适应能力.由图 9、图 10对比结果可以看出, 进一步引入流形正则化后, DAMRRWNN模型的泛化性能及预测精度较DARWNN模型均有所提高, 从而可以验证该方法的有效性.
图 9 目标域为工况2时建模方法对比Fig. 9 The target domain is the working condition 2 and the prediction results are compared4. 结论
为解决湿式球磨机工作过程中, 由于工况突然变化造成的实时数据与历史数据不再满足传统建模方法要求的概率同分布问题, 本文引入迁移学习策略, 建立了一种基于流形正则化域适应随机权神经网络(DAMRRWNN)的湿式球磨机负荷参数软测量模型.对预处理后的特征数据, 首先通过域适应随机权神经网络进行迁移学习, 然后添加流形正则约束项保持数据结构, 实现变工况情况下湿式球磨机负荷参数回归预测.实验结果表明, 磨机工况发生改变时, 引入迁移学习策略, 能够充分利用原有数据, 降低数据收集成本, 有效提高模型的泛化能力, 并且该方法引入的流形正则化约束能够一定程度上降低结构风险, 提高预测结果的准确性和可信性.
-
图 6 目标域为工况2时RWNN和DAMRRWNN的负荷参数预测结果
Fig. 6 Prediction results of RWNN and DAMRRWNN on load parameter, when the condition 2 is the target domain
图 7 目标域为工况2时三种对比算法对负荷参数浓度的预测结果
Fig. 7 Prediction results of three algorithms on load parameter PD, when the condition 2 is the target domain
图 9 目标域为工况2时建模方法对比
Fig. 9 The target domain is the working condition 2 and the prediction results are compared
表 1 m5油脂含量预测结果
Table 1 Prediction result of oil content in m5
评价标准 RWNN Bagging JITL RMSE 0.0490 0.1615 0.0803 NRMSE 0.0655 0.2171 0.1079 
下载: 导出CSV
表 2 m5为源域的不同算法实验结果对比
Table 2 Comparison of experimental results of difierent algorithms for m5 as source domain
方法 为目标域 为目标域 油脂含量 淀粉含量 油脂含量 淀粉含量 RMSE NRMSE RMSE NRMSE RMSE NRMSE RMSE NRMSE RWNN 0.7723 1.0380 1.1142 0.3056 0.8612 0.1575 1.1701 0.3209 Bagging 0.2346 0.3153 0.9127 0.2503 0.2253 0.3028 0.9707 0.2662 JITL 0.5866 0.7844 2.7080 0.7427 0.8021 1.0781 3.3141 0.9090 DARWNN 0.1047 0.1407 0.5066 0.1389 0.1090 0.1465 0.5294 0.1452 DAMRRWNN 0.0908 0.1220 0.4660 0.1278 0.0911 0.1224 0.4958 0.1360
下载: 导出CSV
表 3 不同工况振动信号采集次数
Table 3 Acquisition times of vibration signals under difierent working conditions
MFR 0.3 0.35 0.4 0.45 0.5 次数 139 103 88 95 102
下载: 导出CSV
表 4 磨机负荷参数预测结果对比(RMSE)
Table 4 Comparison of prediction results of mill load parameters (RMSE)
建模算法 负荷参数 1-1 1-2 1-3 1-4 1-5 RWNN MBVR 0.0279 0.6219 1.0044 1.2182 1.1312 PD 0.0040 0.1546 0.0656 0.1763 0.2541 CVR 0.0021 0.0817 0.3063 0.2516 0.3607 Bagging MBVR 0.0923 0.1618 0.3379 0.3919 0.2346 PD 0.0157 0.0470 0.0897 0.0880 0.1263 CVR 0.0086 0.0808 0.1270 0.1395 0.2012 JITL MBVR 0.0829 0.3688 0.4490 0.7043 0.9147 PD 0.0138 0.0695 0.1149 0.3406 0.3467 CVR 0.0094 0.0908 0.1428 0.1777 0.2471 DARWNN MBVR $-$ 0.1349 0.0854 0.0843 0.0709 PD $-$ 0.0270 0.0170 0.0153 0.0178 CVR $-$ 0.0159 0.0114 0.0084 0.0081 DAMRRWNN MBVR $-$ 0.1058 0.0693 0.0457 0.0365 PD $-$ 0.0219 0.0149 0.0120 0.0162 CVR $-$ 0.0141 0.0108 0.0074 0.0072
下载: 导出CSV
-
[1] 汤健, 赵立杰, 柴天佑, 岳恒.基于振动频谱的磨机负荷在线软测量建模.信息与控制, 2012, 41(1):123-128 http://d.old.wanfangdata.com.cn/Periodical/xxykz201201020Tang Jian, Zhao Li-Jie, Chai Tian-You, Yue Heng. On-line soft-sensing modelling of mill load based on vibration spectrum. Information and Control, 2012, 41(1):123-128 http://d.old.wanfangdata.com.cn/Periodical/xxykz201201020 [2] 汤健, 田福庆, 贾美英, 李东.基于频谱数据驱动的旋转机械设备负荷软测量.北京:国防工业出版社, 2015.Tang Jian, Tian Fu-Qing, Jia Mei-Ying, Li Dong. Soft Sensing of Rotating Machinery Equipment Load Based on Spectrum Data Drive. Beijing:National Defense Industry Press, 2015. [3] 汤健, 赵立杰, 岳恒, 柴天佑.湿式球磨机筒体振动信号分析及负荷软测量.东北大学学报(自然科学版), 2010, 31(11):1521-1524 http://d.old.wanfangdata.com.cn/Periodical/dbdxxb201011001Tang Jian, Zhao Li-Jie, Yue Heng, Chai Tian-You. Analysis of vibration signal of wet ball mill shell and soft sensoring for mill load. Journal of Northeastern University (Natural Science), 2010, 31(11):1521-1524 http://d.old.wanfangdata.com.cn/Periodical/dbdxxb201011001 [4] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine:theory and applications. Neurocomputing, 2006, 70(1-3):489-501 doi: 10.1016/j.neucom.2005.12.126 [5] Tang J, Deng C, Huang G B. Extreme learning machine for multilayer perceptron. IEEE Transactions on Neural Networks and Learning Systems, 2017, 27(4):809-821 http://ieeexplore.ieee.org/document/7103337 [6] Maass W. Liquid state machines: motivation, theory, and applications. Computability in Context: Computation and Logic in the Real World. Hackensack, NJ: Imperial College Press, 2009. 275-296 [7] Zhang M, Liu X G, Zhang Z Y. A soft sensor for industrial melt index prediction based on evolutionary extreme learning machine. Chinese Journal of Chemical Engineering, 2016, 24(8):1013-1019 doi: 10.1016/j.cjche.2016.05.030 [8] 汤健, 柴天佑, 余文, 赵立杰.在线KPLS建模方法及在磨机负荷参数集成建模中的应用.自动化学报, 2013, 39(5):471-486 http://www.aas.net.cn/CN/abstract/abstract17934.shtmlTang Jian, Chai Tian-You, Yu Wen, Zhao Li-Jie. On-line KPLS algorithm with application to ensemble modeling parameters of mill load. Acta Automatica Sinica, 2013, 39(5):471-486 http://www.aas.net.cn/CN/abstract/abstract17934.shtml [9] Shao W M, Tian X M, Wang P. Supervised local and non-local structure preserving projections with application to just-in-time learning for adaptive soft sensor. Chinese Journal of Chemical Engineering, 2015, 23(12):1925-1934 doi: 10.1016/j.cjche.2015.11.012 [10] Pan S J, Yang Q. A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10):1345-1359 doi: 10.1109/TKDE.2009.191 [11] Zhang L, Zhang D. Domain adaptation extreme learning machines for drift compensation in E-nose systems. IEEE Transactions on Instrumentation and Measurement, 2015, 64(7):1790-1801 doi: 10.1109/TIM.2014.2367775 [12] Tenenbaum J B, de Silva V, Langford J C. A global geometric framework for nonlinear dimensionality reduction. Science, 2000, 290(5000):2319-2323 doi: 10.1126-science.290.5500.2319/ [13] Liu B, Xia S X, Meng F R, Zhou Y. Manifold regularized extreme learning machine. Neural Computing and Applications, 2016, 27(2):255-269 http://d.old.wanfangdata.com.cn/Periodical/txxb201611007 [14] Schmidt W F, Kraaijveld M A, Duin R P W. Feedforward neural networks with random weights. In: Proceedings of the 11th IAPR International Conference on Pattern Recognition Vol.Ⅱ Conference B: Pattern Recognition Methodology & Systems. The Hague, Netherlands: IEEE, 1992. 1-4 [15] Liu X, Lin S B, Fang J, Xu, Z B. Is extreme learning machine feasible? A theoretical assessment (Part Ⅰ). IEEE Transactions on Neural Networks and Learning Systems, 2014, 26(1):7-20 http://ieeexplore.ieee.org/document/6862852/ [16] 韩敏, 李德才.基于替代函数及贝叶斯框架的1范数ELM算法.自动化学报, 2011, 37(11):1344-1350 http://www.aas.net.cn/CN/abstract/abstract17624.shtmlHan Min, Li De-Cai. A norm 1 regularization term ELM algorithm based on surrogate function and Bayesian framework. Acta Automatica Sinica, 2011, 37(11):1344-1350 http://www.aas.net.cn/CN/abstract/abstract17624.shtml [17] Deng W Y, Zheng Q H, Chen L. Regularized extreme learning machine. In: Proceedings of the 2009 IEEE Symposium on Computational Intelligence and Data Mining, 2009. CIDM'09. Nashville, TN, USA: IEEE, 2009. 389-395 [18] Tomar V S, Rose R C. Manifold regularized deep neural networks. In: Proceedings of the 15th Annual Conference of the International Speech Communication Association. Singapore: ISCA, 2014. 348-352 [19] Guan N Y, Tao D C, Luo Z G, Yuan B. Manifold regularized discriminative nonnegative matrix factorization with fast gradient descent. IEEE Transactions on Image Processing, 2011, 20(7):2030-2048 doi: 10.1109/TIP.2011.2105496 [20] 徐嘉明, 张卫强, 杨登舟, 刘加, 夏善红.基于流形正则化极限学习机的语种识别系统.自动化学报, 2015, 41 (9):1680-1685 http://www.aas.net.cn/CN/abstract/abstract18741.shtmlXu Jia-Ming, Zhang Wei-Qiang, Yang Deng-Zhou, Liu Jia, Xia Shan-Hong. Manifold regularized extreme learning machine for language recognition. Acta Automatica Sinica, 2015, 41(9):1680-1685 http://www.aas.net.cn/CN/abstract/abstract18741.shtml [21] Amar M, Gondal I, Wilson C. Vibration spectrum imaging:a novel bearing fault classification approach. IEEE Transactions on Industrial Electronics, 2015, 62(1):494-502 doi: 10.1109/TIE.2014.2327555 期刊类型引用(15)
1. 刘义鹏，曾东旭. 眼底数据频域增强算法. 小型微型计算机系统. 2024(01): 177-184 . 
百度学术2. 高云鹏，孟雪晴，张其旺，王庆凯，杨佳伟，董一隆. 基于深度宽卷积残差收缩网络的球磨机负荷状态诊断. 湖南大学学报(自然科学版). 2023(02): 102-111 . 百度学术3. 周阅昇，熊伟丽. 基于迁移成分分析的发酵过程集成软测量建模. 系统仿真学报. 2023(03): 623-631 . 百度学术4. 代伟，南静. 随机权神经网络增量构造学习方法研究进展. 控制与决策. 2023(08): 2231-2242 . 百度学术5. 潘福成，殷航，周晓锋，李帅，刘舒锐，贾冬妮. 基于自适应网络的球磨机负荷预测方法. 计算机集成制造系统. 2023(10): 3229-3238 . 百度学术6. 毛文涛，田思雨，窦智，张迪，丁玲. 一种基于深度迁移学习的滚动轴承早期故障在线检测方法. 自动化学报. 2022(01): 302-314 . 本站查看7. 范苍宁，刘鹏，肖婷，赵巍，唐降龙. 深度域适应综述:一般情况与复杂情况. 自动化学报. 2021(03): 515-548 . 本站查看8. 刘卓，汤健，柴天佑，余文. 基于多模态特征子集选择性集成建模的磨机负荷参数预测方法. 自动化学报. 2021(08): 1921-1931 . 本站查看9. 潘红光，宋浩骞，苏涛，马彪. 基于SVM的煤炭低位发热量软测量. 西安科技大学学报. 2021(06): 1130-1137 . 百度学术10. 巩师鑫，任怀伟，杜毅博，赵国瑞，文治国，周杰. 基于MRDA-FLPEM集成算法的综采工作面矿压迁移预测. 煤炭学报. 2021(S1): 529-538 . 百度学术11. 杜宇浩，阎高伟，李荣，王芳. 基于局部线性嵌入的测地线流式核多工况软测量建模方法. 化工学报. 2020(03): 1278-1287 . 百度学术12. 屈武，阎高伟. 集成最大均值差异正则约束的迁移子空间软测量. 重庆理工大学学报(自然科学). 2020(04): 108-114 . 百度学术13. 汤健，乔俊飞，刘卓，周晓杰，余刚，赵建军. 面向磨机负荷参数预测的多通道机械信号分析评估与优化组合. 北京工业大学学报. 2020(09): 997-1007 . 百度学术14. 来颜博，阎高伟，程兰，陈泽华. 基于动态独立成分分析和动态主成分分析的测地线流式核无监督回归模型. 上海交通大学学报. 2020(12): 1269-1277 . 百度学术15. 姜乐，周平. 优化增量型随机权神经网络及应用. 化工学报. 2019(12): 4710-4721 . 百度学术其他类型引用(22)
-
下载:
计量
- 文章访问数: 2143
- HTML全文浏览量: 322
- PDF下载量: 548
- 被引次数: 37
