Missing Data Generation Method Based on Flow Model and Its Application in Remaining Life Prediction
-
摘要: 针对缺失数据生成模型精度低和训练速度慢的问题, 本文基于流模型框架提出了一种改进非线性独立成分估计(Nonlinear independent components estimation, NICE)的缺失时间序列生成方法. 该方法依靠流模型框架生成模型精度高、训练过程速度快的优势, 并结合粒子群优化算法(Particle swarm optimization, PSO) 优化NICE生成网络采样的退火参数, 训练学习监测数据的真实分布, 从而实现对数据缺失部分的最优填补. 为进一步拓宽所提方法的应用范围, 利用基于流模型的缺失数据生成方法得到的生成数据, 通过建立融合注意力机制的双向长短时记忆网络(Bidirectional long short-term memory with attention, Bi-LSTM-Att)的退化设备预测模型, 实现设备剩余寿命的准确预测. 最后, 通过锂电池退化数据的实例研究, 验证了该方法的有效性和潜在应用价值.Abstract: Aiming at the problems of low accuracy and slow training speed of the missing data generation model, this paper proposes a missing time series generation method based on the flow model framework, which improves the nonlinear independent components estimation (NICE). The method relies on the flow model framework. The advantages of the high accuracy of the generative model and the fast training process are combined with the particle swarm optimization (PSO) algorithm to optimize the annealing parameters of the NICE generation network sampling, and the training and learning to monitor the real distribution of the data, so as to achieve the most optimal part of the missing data. In order to further broaden the application scope of the proposed method, this paper uses the generated data obtained by the missing data generation method based on the flow model, and establishes a bidirectional long short-term memory network (Bidirectional long short-term memory with attention, Bi-LSTM-Att) degradation device prediction model to achieve accurate prediction of the remaining life of the device. Finally, the effectiveness and potential application value of the proposed method are verified through a case study of lithium battery degradation data.
-
云资源的按使用付费模式以及弹性扩展能力, 为大规模科学应用的分布式管理与高效执行提供了快速、灵活、可扩展的部署环境[1-3]. 科学应用的分布式管理与高效执行的关键在于工作流调度, 而调度算法的设计、调度性能的优劣以及调度方案的可实施性, 直接取决于任务执行时间的估计精度[4-5].
在实际云数据中心环境下, 大量、频繁的用户服务请求与响应, 使数据中心的运行数据规模呈指数级增长. 其中, 工作流执行日志数据包含了大量的任务执行时间历史及其相关影响因素数据, 并在数据驱动的任务执行时间预测中发挥着重要作用. 任务执行时间的影响因素数据, 可根据其特征划分为类别型数据和数值型数据. 类别型数据与任务和资源的多样性、异构性相关, 其数值离散且取值范围广, 如任务名称和机器ID等; 数值型数据则与云环境的动态特性相关, 其数值连续, 且在一定范围内波动, 如资源利用率和网络带宽等. 在大数据环境下, 类别型数据的高维稀疏特性会扩大模型的搜索空间, 数值型数据的低维稠密特性会降低部分特征之间的差异性, 从而加大了模型寻优和学习的难度, 给任务执行时间预测带来了巨大挑战[6].
本文提出了一种基于多维度特征融合(Multi-dimensional feature fusion, MDFF)的云工作流任务执行时间预测算法. 针对类别型数据和数值型数据的特点, 设计不同的特征提取方法, 分别提取类别型和数值型特征. 同时, 通过将提取的特征和原始数据特征进行有选择地融合, 并采用轻量梯度提升机算法对融合特征进行挖掘与利用, 实现云工作流任务执行时间的精准预测.
本文的主要贡献如下:
1)构建具有注意力机制的堆叠残差循环网络, 将类别型数据从高维稀疏空间映射到低维稠密空间, 通过减小搜索空间, 提升模型对类别型数据的解析能力, 同时增强模型对类别型特征的关注度, 以有效提取类别型特征, 提高预测精度.
2)引入极限梯度提升算法, 对数值型数据进行离散化编码, 通过将过于稠密的数值型数据稀疏化, 突出特征之间的差异性, 避免模型训练陷入局部最优的可能, 提升模型的非线性信息表达能力, 有效提取数值型特征, 改善预测精度.
3)设计多维异质特征融合策略, 将具有注意力机制的堆叠残差循环网络提取的类别型特征、极限梯度提升(Extreme gradient boosting, XGB)模型提取的数值型特征与原始样本数据进行选择性融合, 以充分挖掘与利用任务执行时间的多维度特征, 学习更全面的任务执行时间知识, 降低预测误差.
1. 研究现状
传统的云计算任务执行时间估计方法, 大多基于微分测量[7]、相似性分析[8-9]以及数学表达式[10-11]等统计学习算法, 忽略了云资源的动态变化以及云环境的复杂特性, 难以实现任务执行时间的准确估计. 随着机器学习的不断发展, 数据驱动的执行时间预测方法被广泛应用于各种云应用场景. 近年来, 研究人员一直在探索如何将各种机器学习算法(如传统机器学习、深度学习与集成学习算法)应用于云计算任务执行时间预测, 以从海量、异构、复杂和多维的工作流任务执行数据中挖掘出更有效的信息.
基于传统机器学习的云工作流任务执行时间预测, 大多采用多元线性回归、支持向量回归等早期机器学习算法. Nouri等[12]和Tahvili等[13]建立了任务执行时间及其影响因素的多元回归模型, 实现任务执行时间的估计. 可是, 多元线性回归模型更适合捕捉线性关系, 难以学习工作流任务执行时间及其影响因素之间的非线性关系. Park等[14]与郑婷婷等[15]利用支持向量回归, 进行任务执行时间预测. 但是, 支持向量回归采用二次规划计算支持向量, 导致很大的内存和时间开销, 特别是在大数据样本时, 其模型训练时间过长.
深度学习具有超强的特征映射能力, 能够从海量数据中学习并挖掘数据之间的非线性关系, 为数据驱动的任务执行时间预测提供了新思路[16-17]. 伍章俊等[18]和Nadeem等[19]采用径向基函数(Radial basis function, RBF)神经网络, 构建了云工作流活动执行时间预测模型. 但是, RBF网络是一种单隐含层的前馈网络, 难以有效学习序列数据驱动的任务执行时间变化趋势相关的知识, 不适用于云环境下的任务执行时间预测. 因此, Rehse等[20]引入循环神经网络(Recurrent neural network, RNN), 通过捕捉任务执行时间的变化趋势来进行任务运行时间预测. Zhu等[21]提出了基于长短时记忆网络(Long short-term memory, LSTM)的预测方法, 解决RNN因梯度爆炸/消失而引起的预测精度降低问题. Bi等[22]选择Savitzky-Golay滤波器, 滤除原始数据序列的极值点和噪声干扰, 并利用LSTM进行任务执行时间预测.
神经网络(Neural network, NN)强大的非线性拟合能力和大数据学习能力, 使基于深度学习的任务执行时间预测效果得到了明显改善, 但是, NN固有的层级连接结构和大量神经元计算, 不仅使优化超平面变得十分复杂, 也大大增加了模型寻优的难度, 从而影响预测精度. 此外, 这些研究工作大多基于单一机器学习算法, 即使特征空间包含非常有效的信息, 但是单一模型有限的学习能力, 很难找到最优解, 直接影响预测精度[23].
集成学习可以综合相同/不同模型的学习能力, 为云计算任务执行时间预测开辟了新的途径. 一些学者将多个单一模型有机结合, 通过不同模型的优势互补来增强集成模型的学习能力, 并减少预测误差. 郑顾平等[24]综合线性、非线性和多项式回归等拟合技术, 搭建了基于参数变化的云应用程序执行时间预估模型. 类似地, 李帅标等[25]将朴素贝叶斯、支持向量回归和LSTM有机结合, 通过Stacking策略进行模型融合, 提出了一种业务过程剩余时间预测算法. Nadeem等[26]通过集成局部学习和进化计算, 实现了对e-Science工作流执行时间的预测. Hilman等[27]基于LSTM和K最近邻技术, 设计了在线增量学习方法, 用于工作流任务运行时间预测. Gao等[28]采用基于受限玻尔兹曼机(Restricted Boltzmann machine, RBM)堆叠的深度置信网络(Deep belief network, DBN), 建立了并发请求云服务响应时间与虚拟机资源之间的映射模型. Pham等[29]提出了基于随机森林(Random forest, RF)的两阶段预测算法, 实现对云工作流任务执行时间的估计. 实践证明, 在大多数情况下, 集成方法的预测精度优于单一机器学习算法. 因此, 本文利用集成学习方法解决大数据驱动的云工作流任务执行时间预测问题.
集成学习在大数据驱动的云计算任务执行时间预测方面取得了一定效果, 但它们大多基于仿真数据, 且仿真环境难以模拟云环境下资源的动态接入、撤离以及网络的不稳定性. 因此, 仿真数据给出的离散型或者连续型任务执行时间的影响因素数据, 其取值都在一定范围内, 使得类别型数据和数值型数据难以区分. 也就是说, 仿真数据与实际云数据中心环境下的工作流执行日志数据存在很大差异. 然而, 现有采用仿真数据的集成学习方法往往忽略了这种差异性, 在对类别型和数值型数据进行相似处理的基础上, 进行云计算任务执行时间预测. 现有的集成学习方法存在以下问题: 1)对类别型数据的解析能力不足, 即类别型数据的高维稀疏特性使搜索空间过大, 模型很难找到最优解, 从而影响预测精度; 2)缺乏足够的非线性表达能力, 且模型学习困难、易于陷入局部最优, 难以应对数值型数据的低维稠密特性所带来的特征差异性降低问题, 影响预测效果; 3)直接对提取到的特征进行学习, 导致学习效率低甚至学到无效或错误信息, 影响预测结果的准确性.
2. 相关理论基础
本节介绍本文算法涉及的主要理论基础, 即XGB算法[30]和轻量梯度提升机(Light gradient boosting machine, LGBM)算法[31].
2.1 极限梯度提升算法
作为梯度提升机(Gradient boosting machine, GBM)的一种高效实现, XGB利用梯度提升技术, 通过迭代生成残差下降的决策树(即基学习器), 将低精度的基学习器组合成一个较高精度的强学习器, 并利用正则化和二阶泰勒展开防止过拟合, 提高了模型的泛化能力. 因此, XGB模型能获得较好且不同的特征表达, 适合处理取值范围固定、数值连续的数值型数据.
数据集
$D = \{ ({X_i},{Y_i})\} $ 含有n个样本和m个特征, 其中${X_i}$ 为第i个样本的输入向量,${Y_i}$ 为${X_i}$ 对应的输出,${Y_i} \in {{\bf{R}}}$ ,$i = 1,2, \cdots ,n$ . 假设XGB模型由K棵树集成, 其预测函数如下:$${\hat Y_i} = \varphi ({X_i}) = \sum\limits_{k = 1}^K {{f_k}({X_i})} ,\;\;\;{f_k} \in F$$ (1) 式中,
$F =\{ {f(X) = {\omega _{q(X)}}} \}\;( q:\,{{\bf{R}}^m} \to \{1,2,\cdots,T\},$ $\omega \in {{\bf{R}}^T})$ 为一组回归树,${\hat Y_i}$ 为样本$X_i $ 的预测值, q表示每棵树的结构,$\omega $ 表示叶子权重, T为叶子节点的数量,${f_k}$ 对应第k棵树的结构和叶子权重,$f _k(X_i) $ 为第k棵树对样本$X_i $ 的预测分数. 目标函数可定义为:$$L(\varphi ) = \sum\limits_{i = 1}^n {l({{\hat Y}_i},{Y_i})} + \sum\limits_{k = 1}^K {\Omega ({f_k})} $$ (2) 式中, l为可导凸函数, 表示预测值
${\hat Y_i}$ 和真实值${Y_i}$ 的差异.$ \Omega ( \cdot )$ 是正则化惩罚项, 用以避免树的结构过于复杂、平滑学习权重并缓解过拟合.在XGB模型迭代添加树的过程中, 第t次的目标函数可表示为:
$${L^t} = \sum\limits_{i = 1}^n {l\left( {{Y_i},\;{{\hat Y}_i}^{t - 1} + {f_t}({X_i})} \right)} + \Omega ({f_t})$$ (3) 式中,
$\hat Y_i^{t - 1}$ 为第t−1次迭代时第i个样本的预测值. 对式(3)进行二阶泰勒级数展开并去掉常数项, 可得:$${L^t} \simeq \sum\limits_{i = 1}^n {\left[ {{g_i}{f_t}(X{}_i) + \frac{1}{2}{h_i}{f_t}^2(X{}_i)} \right]} + \Omega ({f_t})$$ (4) 式中,
$\Omega ({f_t}) \;=\; \gamma T \;+\; ({1}/{2})\lambda \sum\nolimits_{j = 1}^T {\omega _j^2},$ ${f_t}(X{}_i) = {\omega _{{q_t}({X_i})}},$ $\gamma $ 和$\lambda$ 为自然系数,${g_i} = {\partial _{{{\hat Y}_i^{t - 1}}}}l( {{Y_i},{{\hat Y}_i^{t - 1}}} )$ 和${h_i} = \partial _{{{\hat Y}_i^{t - 1}}}^2l( {{Y_i},{{\hat Y}_i^{t - 1}}} )$ 分别为损失函数的一阶和二阶泰勒展开. 定义${I_j} = \left\{ {i|q({X_i}) = j} \right\}$ 为叶子节点j上样本的集合, 对于一个固定的结构$q\left( X \right)$ , 可按式(5)和(6)计算最优权重$\omega _j^ * $ 和最优目标函数值${L^ * }$ :$$\omega _j^ * = - \frac{{\sum\limits_{i \in {I_j}} {{g_i}} }}{{\sum\limits_{i \in {I_j}} {{h_i}} + \lambda }}$$ (5) $${L^*} = - \frac{1}{2}\sum\limits_{j = 1}^T {\frac{{{{\bigg( {\sum\limits_{i \in {I_j}} {{g_i}} } \bigg)}^2}}}{{\sum\limits_{i \in {I_j}} {{h_i}} + \lambda }}} + \gamma T$$ (6) 2.2 轻量梯度提升机
LGBM基于单边梯度采样(Gradient-based one-side sampling, GOSS)和互斥特征捆绑技术(Exclusive feature bundling, EFB), 能够在不损失预测精度的情况下加速梯度提升过程, 提高模型训练效率. 因此, 相比于XGB模型, LGBM模型易于扩展、训练效率高, 更适合处理特征维度高、数据量大的数据, 满足云工作流任务执行时间预测问题的需求.
作为一种在保证精度的前提下能减少数据量的算法, GOSS在决策树迭代生成过程中根据梯度绝对值对数据进行排序, 选取前
$a \%$ 个样本, 并在剩余的样本数据中随机采样b个样本. 在计算信息增益时, 通过对采样的小梯度数据乘以系数(1−a)/b, 来缓解甚至消除数据分布的影响, 使算法更加关注训练不足的实例. 在分割点d分割特征j的信息增益的计算如式(7)所示:$$\begin{split} {{\hat V}_j}(d) = \;& \frac{1}{I}\left[ \frac{{{{\left( {\sum\limits_{{X_i} \in {A_l}} {{\vartheta _i}} + \frac{{1 - a}}{b}\sum\limits_{{X_i} \in {B_l}} {{\vartheta _i}} } \right)}^2}}}{{I_l^j(d)}} +\right.\\ &\left. \frac{{{{\left( {\sum\limits_{{X_i} \in {A_r}} {{\vartheta _i}} + \frac{{1 - a}}{b}\sum\limits_{{X_i} \in {B_r}} {{\vartheta _i}} } \right)}^2}}}{{I_r^j(d)}} \right] \end{split} $$ (7) 式中, I、
$ I_l^j\left( d \right) $ 和$I_r^j\left( d \right) $ 分别为叶子节点d及其左右两个子节点上的样本个数;${A_l}$ 和${A_r}$ 分别为d的左、右两个子节点上的大梯度样本集合;${B_l}$ 和${B_r}$ 分别为d的左、右两个子节点上的小梯度样本集合;${\vartheta _i}$ 为第i个样本${X_i}$ 的梯度.通过将互斥的特征绑定为单一特征, EFB从捆绑的特征中构建直方图, 达到了在不损失精度的情况进行特征降维的目的. 首先, EFB计算并判断特征之间的互斥程度, 若两个特征之间的互斥程度之和小于设定的阈值, 则绑定它们的特征, 减少参与训练的特征数, 提高模型训练效率. 其中, 两个特征是否互斥及其互斥程度, 可按式(8)和式(9)进行判断:
$$ {E}_{i}^{u,v}=\left\{\begin{aligned} &0,\;\;\;{X}_{i}^{u}\ne 0\;{\text{且}\;}{X}_{i}^{v}\ne 0\\ &1,\;\;\;{\text{其他}} \end{aligned}\right.$$ (8) $$\sum\limits_{i = 1}^n {E_i^{u,v}} \leq E$$ (9) 式中,
$X_i^u$ 和$X_i^v$ 分别为样本i的第u和第v个特征的数值, E为判断两个特征互斥程度的阈值.3. 基于多维度特征融合的云工作流任务执行时间预测
现有的任务执行时间预测算法缺乏有效的非线性表达能力和高维稀疏数据解析能力, 导致任务执行时间预测精度低, 难以满足大数据环境下的云工作流任务执行时间预测要求. 为此, 本文提出了一种基于多维度特征融合的云工作流任务执行时间预测算法. 首先, 针对类别型数据
${x_{Ca}}$ 和数值型数据${x_{Nu}}$ , 设计异质特征提取器, 实现对类别型特征${\tilde x_{Ca}}$ 和数值型特征${\tilde x_{Nu}}$ 的有效提取. 其次, 有选择地融合原始数据特征和提取到的特征, 为预测模型提供更全面、更深层的融合知识. 最后, 基于融合特征数据${\tilde x_{Fu}}$ 构建预测模型, 实现对云工作流任务执行时间的精准预测. 本文基于多维度特征融合的云工作流任务执行时间预测模型如图1所示, 主要包括特征提取、特征融合和预测3个部分.
图 1 基于多维度特征融合的云工作流任务执行时间预测模型Fig. 1 The multi-dimensional feature fusion-based runtime prediction model for cloud workflow tasks3.1 基于SARR的类别型特征提取
基于神经网络的预测任务, 通常包括特征提取和预测两个步骤. 为充分挖掘类别型数据相关的知识, 本文MDFF算法采用具有注意力机制的堆叠残差循环网络(Stacked attention residual recurrent neural network, SARR)提取类别型特征. 在RNN网络的基础上, 通过引入注意力机制和添加残差连接, 构建堆叠残差循环网络, 设计基于SARR的类别型特征提取器.
SARR包括Embedding模块、门控循环单元(Gate recurrent unit, GRU)模块和LSTM模块三个部分, 如图2所示. 图2中, Embedding模块包含基于RNN的Embedding单元; GRU模块包括GRU单元、Attention单元以及残差连接; LSTM模块包含LSTM单元、Attention单元以及残差连接.
如图2所示, 样本影响因素数据中的类别型向量
${x_{Ca}}$ ,${x_{Ca}} \in {{\bf{R}}^{1 \times {N_{Ca}}}}$ , 依次经过SARR的Embedding模块、GRU模块和LSTM模块处理, 最终提取到相应的类别型特征向量$\tilde x_{Ca}$ ,${\tilde x_{Ca}} \in {{\bf{R}}^{1 \times {N_{SARR}}}}$ . 图2中, LSTM模块输出的特征向量即为SARR提取到的类别型特征. 在SARR模型中, Embedding 模 块、GRU模块和LSTM模块的计算过程分别如式(10) ~ (12)所示:$$ y_{E}=W_{e} x_{C a}+b_{e} $$ (10) $$ y_{G R U}=W_{g r u} y_{E}+b_{g r u} $$ (11) $$ \tilde{x}_{C a}=y_{L S T M}=W_{l s t m} y_{G R U}+b_{l s t m} $$ (12) 式中,
$y_{E} $ 、$ y_{G R U}$ 和$y_{L S T M} $ 分别为Embedding模块、GRU模块和LSTM模块的输出向量,$W_e $ 和$b_e $ 、$W_{g r u} $ 和$b_{g r u} $ 、$W_{l s t m} $ 和$b_{l s t m} $ 分别为Embedding模块、GRU模块和LSTM模块的线性权值矩阵和偏差.SARR在不增加网络层数的情况下, 解决了梯度消失可能引起的网络退化问题, 能够提取与任务执行时间显著相关的特征, 并通过为最终的预测器提供更有效的特征, 改善预测精度.
3.2 基于XGB的数值型特征提取
基于梯度提升机的预测方法, 通常包括特征提取和预测两个步骤. 为充分挖掘数值型数据相关的知识, 本文设计了基于XGB的数值型特征提取器, 如图3所示. 其中, 从每一个XGB基学习器的根节点到叶子节点所进行的运算为特征提取过程, 从所有基学习器的叶子节点到输出节点的计算属于预测过程.
如图3所示, 本文利用XGB提取样本影响因素数据中数值型向量
$ x_{Nu} $ 对应的特征向量$\tilde x_{Nu} $ , 其中${x_{Nu}} \in {{\bf{R}}^{1 \times {N_{Nu}}}}$ ,${\tilde x_{Nu}} \in {{\bf{R}}^{1 \times {N_{XGB}}}}$ . 首先, 计算$ x_{Nu}$ 在每棵树的每个叶子节点上分裂后的损失减少值$L_{split} $ , 根据该损失减少值判断是否需继续分裂, 并最终确定XGB模型中每棵树的结构. 其中, 分裂损失的计算公式如下:$$ {L_{{{split }}}} = \frac{1}{2}\left| {\frac{{G_L^2}}{{{H_L} + \lambda }} + \frac{{G_R^2}}{{{H_R} + \lambda }} - \frac{{G_j^2}}{{{H_j} + \lambda }}} \right| - \gamma $$ (13) 式中,
$G_j $ 和$H_j$ 分别为在叶子$j $ 上所有数值型数据集合$I_j $ 的损失函数的一阶、二阶梯度统计量之和;${G_L} = \sum\nolimits_{i \in {I_L}} {{g_i}} $ 和$ {H_L} = \sum\nolimits_{i \in {I_L}} {{h_i}} $ 、${G_R} = \sum\nolimits_{i \in {I_R}} {{g_i}} $ 和${H_R} = \sum\nolimits_{i \in {I_R}} {{h_i}} $ 分别为叶子节点j分裂后的左、右叶子节点的一阶、二阶梯度统计量之和;$I_R $ 和$I_L $ 分别为当前叶子节点分裂后的左、右叶子节点上的数值型数据集合,$\gamma $ 为常数.然后, 通过树的结构函数
$q\left( \cdot \right) $ 寻找每个数值型向量在每棵树的每个分支最深一层中所属叶子的下标, 并标记为1, 对每个数值型向量进行离散化编码. 结构函数$q\left( \cdot \right) $ 如式(14)所示:$${q_k}\left( {{x_{Nu}}} \right):\;{\bf R}^{{N_{Nu}}} \to {T_k}$$ (14) 式中,
$T_k $ 为第k棵树的叶子节点数量. 利用XGB对数值型向量进行离散化编码后获得的新向量, 即为数值型特征向量${\tilde x_{Nu}} $ .3.3 多维异质特征融合
在提取的类别型特征和数值型特征基础上, 本文进一步提出了多维异质特征融合策略, 旨在同时收集低维和高维特征信息之间的交互信息, 使预测模型学习到更全面且有效的任务执行时间知识, 降低预测误差.
本文提出的多维异质特征融合策略, 包含特征拼接、特征重要性计算、特征排序和筛选几个步骤. 首先, 将SARR与XGB模型提取到的特征向量与原始输入向量进行拼接, 得到一个式(15)所示的新输入向量
${x_{fu1}}$ , 且${x_{fu1}} \in {{\bf{R}}^{1 \times ({N_{Ca}} + {N_{Nu}} + {N_{SARR}} + {N_{XGB}})}}$ :$${x_{fu1}} = \left( {{x_{Ca}},\;{x_{Nu}},\;{{\tilde x}_{Ca}},\;{{\tilde x}_{Nu}}} \right)$$ (15) 然后, 利用
${x_{fu1}}$ 训练LGBM模型, 用于计算不同特征的重要性, 并按重要性对特征进行排序:$$ {f_{imp}}\left( {{x_i}} \right) = {\rm{rank}}\left( {{N_{split}}\left( {{x_i}} \right)} \right),{x_i} \in {x_{fu1}} $$ (16) 式中,
$x_i $ 为拼接向量$x_{fu1} $ 中的第i维特征,${f_{imp}}\left( \cdot \right) $ 为特征重要性计算与排序函数,${N_{split}}\left( {{x_i}} \right)$ 为整个特征重要性排序模型生成过程中${x_i}$ 被选取为分裂节点的次数. 最后, 从排序表中筛选出更具判别力的特征, 构成用于任务执行时间预测的多维度融合输入特征向量${\tilde x_{Fu}} $ :$$ {\tilde x_{Fu}} = \left(x_i | {{f_{imp}}\left( {{x_i}} \right) \ge {\rm{ }}threshold{\rm{ }}} ,\;{x_i} \in {x_{fu1}}\right) $$ (17) 式中,
$threshold $ 为特征筛选阈值, 且${x_i}$ 被选为分裂点的次数越多, 说明${x_i}$ 对预测结果的贡献越大.多维度融合特征
$ {\tilde x_{Fu}}$ 舍弃了部分信息含量少或者与输出关联性弱的特征, 在保证预测精度的同时降低了特征空间的维度, 进一步减少了预测所需的计算开销.3.4 云工作流任务执行时间预测
在获得多维异质融合特征的基础上, 本文采用LGBM模型对多维异质特征进行充分挖掘与利用, 以精准地预测任务执行时间, 为大数据环境下的云工作流调度提供决策支持.
本文基于多维度特征融合的云工作流任务执行时间预测方法, 包括3个部分: 1)针对类别型数据和数值型数据, 设计不同的特征提取方法, 分别提取类别型和数值型特征; 2)将提取到的特征数据与原始数据进行选择性融合, 为预测模型提供更全面的特征输入; 3)构建基于融合特征的预测模型, 获得云工作流任务执行时间预测结果. 整体流程如下:
步骤1. 输入云工作流任务执行时间数据集
$D = \{ ({X_i},{Y_i})\} $ , 其中,${X_i}$ 为第i个样本的任务执行时间影响因素向量;${Y_i}$ 为第i个样本的任务执行时间.步骤2. 将一个输入数据向量
${X_i}$ 划分为类别型数据向量$x_{Ca} $ 和数值型数据向量$x_{Nu} $ , 即${X_i} = \{ {x_{Ca}}, {x_{Nu}}\}$ .步骤3. 利用类别型数据向量
$ x_{Ca}$ , 训练SARR模型, 不断调整参数, 直至获得误差最小的SARR模型.步骤4. 对训练好的SARR模型, 去掉其输出层以及输出层的所有连接参数, 得到类别型特征提取器, 并对
$x_{Ca} $ 进行特征提取, 获得类别型特征向量${\tilde x_{Ca}}$ .步骤5. 利用数值型数据向量
$x_{Nu} $ , 训练XGB模型, 并对$x_{Nu} $ 进行特征提取, 获得初始数值型特征向量${\tilde x_{Nu\_1}}$ .步骤6. 利用类别型特征向量
${\tilde x_{Ca}}$ 和初始数值型特征向量${\tilde x_{Nu\_1}} $ , 训练LGBM评判模型.步骤7. 调整XGB模型参数, 重复步骤5 ~ 6, 直至LGBM评判模型的误差稳定在一定范围内, 且波动不超过5%; 挑选出使LGBM评判模型误差最小的XGB模型参数, 并基于该组参数训练XGB模型.
步骤8. 对训练好的XGB模型, 去掉其输出层以及输出层的所有连接参数, 获得数值型特征提取器, 并对
$x_{Nu} $ 进行特征提取, 获得最终数值型特征向量$\tilde x_{Nu} $ .步骤9. 构建多维异质特征融合器, 将类别型数据向量
$ x_{Ca}$ 、数值型数据向量$x_{Nu} $ 、类别型特征向量${\tilde x_{Ca}}$ 和数值型特征向量$\tilde x_{Nu} $ 进行融合, 获得融合后的特征向量$\tilde x_{Fu}$ .步骤10. 基于融合特征向量
$ \tilde x_{Fu}$ , 利用网格寻优算法训练LGBM预测模型, 直至获得误差最小的LGBM模型, 并将其作为预测器.步骤11. 取出类别型特征提取器、数值型特征提取器、多维异质特征融合器和预测器, 构建基于多维度特征融合的云工作流任务执行时间预测模型.
步骤12. 输出云工作流任务执行时间预测模型.
4. 实验结果与分析
为了验证所提出的基于多维度特征融合的云工作流任务执行时间预测模型的有效性, 本文选择2018年阿里巴巴集群数据集行进行仿真实验, 通过在不同指标下与6种基线预测方法进行对比说明本文方法的优越性.
4.1 实验配置
4.1.1 数据集
本文实验数据来源于阿里巴巴2018年集群运行日志数据集Cluster-trace-v2018[32]. Cluster-trace-v2018记录了阿里巴巴某个生产集群中约4000台服务器8天的运行详细日志, 具体可查阅
https://github.com/alibaba/clusterdata/blob/master/Cluster-trace-v2018. 在进行云工作流任务执行时间预测前, 本文对Cluster-trace-v2018数据集进行了预处理. 首先, 分析Cluster-trace-v2018数据集, 寻找任务执行时间相关的关键属性, 并根据这些关键属性匹配不同数据表中的数据, 获得包含任务执行时间和相关影响因素的数据集. 其次, 对该数据集存在的异常值和缺失值进行处理, 获得包含22155组云工作流任务的执行时间及其对应的所有影响因素数据, 即最终可用于检验算法的云工作流任务执行时间数据集. 最后, 在获取的数据集上随机抽取17724组数据构成训练集, 将剩余的4431组数据作为测试集.
4.1.2 对比算法
为了验证MDFF的有效性和优越性, 本文选取了六种对比算法, 包括深度兴趣网络(Deep interest network, DIN)[33]、深度交叉网络(Deep & cross network, DCN)[34]、深度因子分解机(Deep factorization machine, DeepFM)[35]、宽度与深度模型(Wide & Deep, W&D)[36]、两阶段预测方法(Two stage approach, TSA)[37]和梯度提升树与线性回归的结合方法(Gradient boosting decision tr-ee + linear regression, GBDT
$+ $ LR)[38]. 其中, DI-N和DCN侧重于类别型数据的处理, 其数值型特征提取能力弱; TSA以及GBDT$+ $ LR偏向于数值型数据的处理, 类别型特征的提取能力弱; DeepFM和W&D能同时提取类别型特征和数值型特征. 所有方法采用的参数组合均为使预测效果最好的参数组合, 其具体模型结构或参数设置如下:在DIN中, 嵌入单元1和2的维度分别为82和80, Dense单元的神经元个数为16, 隐含神经元个数为32, 激活函数为Relu, 输出层神经元个数为1, 激活函数为Relu; 最大迭代次数为500, 批量大小为100, 优化器为Adam.
DCN的嵌入维度为8, 网络的随机失活(Dropout)比例均为0.5, 隐含层的神经元个数为64-64, 领域维度设为原始特征维度, 交叉宽度设为领域维度与嵌入维度的乘积; 最大迭代次数为450, 批量大小为100, 批量标准化因子为1, 批量标准化衰减因子为0.95, 学习率为0.01, L2正则化系数为0.01, 优化器为Adam.
DeepFM的嵌入维度为80, 其因子分解机和网络的随机失活(Dropout)比例分别为1和0.5, 网络部分的神经元个数为32-32, 激活函数为Relu; 最大迭代次数为500, 批量大小为100, 批量标准化因子为1, 批量标准化衰减因子为0.995, 学习率为0.01, L2正则化系数为0.01, 优化器为Adam.
在W&D中, Wide部分采用线性回归方法, 并选用默认参数. Deep部分采用含两个隐含层的神经网络, 其结构为325-100-50-1, 网络部分神经元个数为32-32, 激活函数为Relu. 最大迭代次数为500, 批量大小为100, 优化器为Adam.
在TSA中, 第1阶段预测采用随机森林, 基学习器数量为200, 最大树深度为7; 第2阶段采用线性回归, 且选用默认参数.
在GBDT
$+ $ LR中, GBDT部分的基学习器数量为150, LR部分采用线性回归, 且选取默认参数.在MDFF中, 类别型特征提取模型SARR的嵌入单元1和2的维度分别为82和80, Dense单元神经元个数为16, GRU单元和LSTM单元的神经元个数均为32, 最大迭代次数为400, 批量大小为100, 随机失活(Dropout)比例为0.15, 激活函数为Relu, 优化器为Adam. 数值型特征提取模型XGB的基学习器数量为30, 学习率为0.15, 最大树深度为8, 列采样比例为0.4. 任务执行时间预测模型LGBM的学习率为0.15, 基学习器数量为1000, 最大树深度为9, 最多叶子结点个数为31, 列采样比例为0.4.
4.1.3 评价指标
为了检验本文MDFF算法的预测精度, 本文选取了平均绝对误差(Mean absolute error, MAE)、均方根误差(Root mean square error, RMSE)、均方根对数误差(Root mean square log error, RMS-LE)和决定系数(R square, R2)四种评价指标[39-40], 并在这些评价指标的基础上, 设计了预测精度差值
$\delta $ 和预测精度改善比例$\eta $ 两个指标, 分别用于反映MDFF算法的预测精度提升的数值大小以及提升程度.1) MAE表示目标真实值和预测值之差的平均绝对值, 用于度量两个变量之间的差异. MAE具有较强的可解释性和鲁棒性, 且MAE的值越小, 说明预测模型的性能越好. MAE的具体计算如式(18)所示:
$$MAE = \frac{1}{n}\sum\limits_{i = 1}^n {|{Y_i} - {{\hat Y}_i}} |$$ (18) 式中, n为样本数量,
${Y_i}$ 、${\hat Y_i}$ 分别为第i个样本的真实值和预测值.2) RMSE表示目标真实值和预测值的样本标准差, 用于度量模型的预测误差大小. RMSE与数值范围紧密相关, 相对于MAE来说, RMSE对数值预测的错误更加敏感, 但鲁棒性较弱. RMSE的值越小, 说明预测模型的性能越好. 计算公式如下:
$$RMSE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {({Y_i} - {{\hat Y}_i}} {)^2}} $$ (19) 3) RMSLE. 鉴于RMSE容易被数值较大的样本所主导, RMSLE在RMSE的基础上增加了取对数操作, 以便在保持RMSE敏感性的基础上, 对模型进行公平地评价. RMSLE的值越小, 说明预测模型的性能越好. 计算公式如下:
$$RMSLE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left[ {\lg ({Y_i} + 1) - \lg ({{\hat Y}_i} + 1)} \right]}^2}} } $$ (20) 4) R2通过数据的变化来表征一个预测算法的拟合程度. R2的值越大, 说明预测模型的性能越好. 计算公式如下:
$$R2 = 1 - \frac{{\sum\limits_{i = 1}^n {({Y_i} - {{\hat Y}_i}} {)^2}}}{{\sum\limits_{i = 1}^n {({Y_i} - \bar Y} {)^2}}}$$ (21) 式中,
$\bar Y$ 为所有样本真实值的平均值.$\sum\nolimits_{i = 1}^n {{{( {{Y_i} - \bar Y} )}^2}}$ 表示原始数据的离散程度,$\sum\nolimits_{i = 1}^n {{{( {{Y_i} - {{\hat Y}_i}} )}^2}}$ 反映预测数据与真实数据的误差. R2越接近1, 说明模型对输出的解释能力越强, 即对数据的拟合性能越好; 反之亦然.5)预测精度差值
$\delta $ 用于表示本文MDFF算法预测精度提升的数值大小. 计算公式如下:$$ {\delta }_{i}^{j}=\left\{\begin{aligned} &{e}_{MDFF}^{j}-{e}_{i}^{j},\;\;j=R2 \\ &{e}_{i}^{j}-{e}_{MDFF}^{j},\;\;{\text{其他}} \end{aligned}\right.$$ (22) 式中,
${\delta }_{i}^{j} $ 为MDFF算法与第$i $ 个对比算法在评价指标$j $ 下的预测精度差值, 且j$ \in $ {MAE, RMSE, RMSLE, R2}; i为不同的对比算法, 即i$ \in $ {DIN, DCN, DeepFM, W&D, TSA, GBDT+LR}.${e}_{i}^{j} $ 为第i个对比算法在评价指标j下的数值,${e}_{MDFF}^{j} $ 为MDFF在评价指标$j $ 下的数值.$\delta _i^j$ 越大, 说明在第j个评价指标下, 本文MDFF算法与第i个对比算法预测精度的差值越大, 即MDFF算法对预测性能的改善越多.6)预测精度提升比例
$\eta $ 表示MDFF算法的预测精度改善程度. 计算公式如下:$$ {\eta }_{i}^{j}=\left\{\begin{aligned} &\frac{{e}_{MDFF}^{j}-{e}_{i}^{j}}{{e}_{i}^{j}},\;\;\;j=R2\\ &\frac{{e}_{i}^{j}-{e}_{MDFF}^{j}}{{e}_{i}^{j}},\;\;\;{\text{其他}}\end{aligned}\right.$$ (23) 式中,
${\eta }_{i}^{j} $ 为MDFF比第$i $ 个对比算法在评价指标$j $ 下的预测精度改善程度.${\eta }_{i}^{j} $ 越大, 说明在第j个评价指标下, 本文MDFF算法比第i个对比算法预测精度的提升比例越高.4.2 实验结果分析
为了避免随机性, 本文采用10次实验结果的平均值进行性能比较. 针对不同的评价指标, 分别计算所有方法的MAE、RMSE、RMSLE和R2值, 如图4 ~ 7所示. 由图4 ~ 图6可知, 本文MDFF算法的MAE、RMSE、RMSLE值达到了最小, 说明其预测结果的平均绝对误差和均方根误差更小, 且对大数值样本的偏向性最小. 由图7可知, M-DFF的R2值最大, 说明该算法的拟合程度最好.
1)由于DIN、DCN、TSA和GBDT
$+ $ LR要么侧重提取类别型特征, 要么侧重提取数值型特征, 而忽略另外一类特征, 使模型很难获得全面的特征知识. 因此, 其模型对特征的非线性表达能力和解析能力不足. 在本文提出的MDFF算法中, 针对类别型数据和数值型数据的特点, 分别设计不同的特征提取器, 有效地从原始数据中提取类别型特征和数值型特征, 挖掘更全面的任务执行时间知识, 提高了工作流任务执行时间的预测精度. 在上述四类评价指标下, MDFF算法的预测性能均优于四类对比算法, 即DIN、DCN、TSA和GBDT$+ $ LR.值得注意的是, 注意力机制的引入, 使得DIN的RMSE和R2仅次于MDFF, 预测误差波动相对较小且获得了较好的拟合效果. 这也说明了本文采用具有注意力机制的SARR模型, 在提取类别型特征方面的有效性. 由于梯度提升算法对数值型数据进行了离散化编码, 所以GBDT
$+ $ LR的RMSE和R2值仅次于DIN, 且预测误差较小, 达到了较好的拟合效果, 这说明本文设计的基于XGB的特征提取算法, 能够有效地提取数值型特征.2)虽然DeepFM和W&D算法能同时提取类别型特征和数值型特征, 但是与本文MDFF算法相比, 其预测结果相对较差. 主要原因如下: a)本文提出的MDFF算法, 通过具有堆叠循环网络结构、注意力机制和残差连接的SARR模型, 将类别型数据从高维稀疏的特征空间映射到低维稠密的特征空间, 提高了模型对类别型特征的关注度. 因此, 与DeepFM和W&D采用DNN进行类别型特征提取相比, MDFF算法能够更有效地提取类别型特征; b) DeepFM和W&D分别采用因子分解机和线性回归模型提取数值型特征, 而本文MDFF算法利用XGB对数值型数据进行离散化编码, 通过对过于稠密的输入向量空间进行稀疏化处理, 提高了特征之间的差异性, 从而能更有效地提取数值型特征. 此外, 通过异质多维度特征融合策略, 本文MDFF算法能够有效避免因直接使用类别型特征和数值型特征而引入冗余信息或者噪声的可能性. 总的来说, SARR和XGB的使用, 使得MDFF具有更强的提取类别型和数值型特征的能力, 结合多维异质特征融合策略, MDFF不仅能够提取有效的深层特征, 还能学习更全面的任务执行时间知识, 使预测性能得到了明显改善.
为了进一步说明本文提出的MDFF算法与对比算法在不同指标上的精度提升程度, 表1和表2给出了MDFF与其他对比算法在四种性能指标下的差值和性能提升比例.
表 1 预测精度的差值Table 1 The difference of prediction performancei $ \delta _i^{MAE}$ $\delta _i^{RMSE} $ $ \delta _i^{RMSLE}$ $\delta _i^{R2} $ DIN 1.439 1.825 0.679 0.006 DCN 0.286 4.043 0.048 0.014 DeepFM 0.373 1.811 0.043 0.009 W&D 0.810 3.576 0.141 0.012 TSA 0.942 6.408 0.030 0.025 GBDT + LR 1.257 2.143 0.117 0.007 表 2 预测精度提升的比例(%)Table 2 The proportion of performance improvement (%)i $ \eta _i^{MAE}$ $\eta _i^{RMSE} $ $ \eta _i^{RMSLE}$ $\eta _i^{R2} $ DIN 36.94 22.06 82.60 0.61 DCN 10.43 36.95 16.49 1.43 DeepFM 13.18 18.85 15.03 0.92 W&D 24.80 34.14 36.72 1.22 TSA 27.72 48.16 10.99 2.59 GBDT + LR 33.85 23.70 32.50 0.71 由表1和表2可以看出, 不同算法在不同性能指标下具有不同的性能表现, 且MDFF与对比算法的性能差值以及MDFF算法的性能提升比例也不相同, 但相对来说, 本文提出的MDFF算法在不同性能指标下的表现更优. 这也说明了MDFF具有更强的类别型和数值型特征提取能力, 同时对特征进行重要性排序并有选择性地融合, 大大提高了预测性能.
在上述性能指标的对比中, 本文提出的MDFF算法都能取得良好的性能表现, 即MDFF算法具有较强的异质特征提取与融合能力, 获得了更高的预测精度. 与各类对比算法相比, MDFF算法主要有以下3个方面的优势: 1) MDFF算法采用SARR提取类别型特征, 将类别型数据从高维稀疏的特征空间映射到低维稠密的特征空间, 避免了搜索空间过大的问题, 提高了模型对类别型特征的关注度. 因此, 相对于普通DNN网络, MDFF算法能更有效地、更具针对性地提取类别型特征; 2) MDFF采用XGB提取数值型特征, 即借助于XGB对数值型数据进行离散化编码, 并对过于稠密的输入向量空间进行稀疏化处理, 提高了特征之间的差异性, 实现了数值型特征的有效提取; 3) MDFF采取多维异质特征融合策略, 对SARR和XGB提取到的特征进行有选择性地融合, 以充分挖掘与利用多维度特征, 为任务执行时间的预测提供更全面有效的知识, 改善了预测性能. 由此可见, 通过类别型特征和数值型特征的有效提取与融合, MDFF算法的预测精度得到了明显提升.
综上所述, 本文提出的基于多维度特征融合的预测算法预测平均误差、预测误差波动和预测偏向性更小, 不仅对类别型特征和数值型特征有较强的解析和表达能力, 而且能够对异质特征进行充分地挖掘与利用, 实现了对云工作流任务执行时间的精准预测, 可以满足大数据环境下的云工作流任务执行时间估计需求.
5. 结束语
云计算中的工作流调度和资源配置依赖于任务执行时间的准确估计. 本文针对工作流任务执行时间预测问题, 提出了一种基于多维度特征融合的预测方法. 首先, 构建具有注意力机制的堆叠残差循环网络, 对类别型数据进行特征提取, 增强了模型对类别型数据的解析能力. 其次, 引入XGB对数值型数据进行离散化编码, 提取数值型特征, 提高了模型的非线性表达能力. 然后, 融合提取到的特征和原始样本特征, 获得多维异质特征, 给预测模型提供了更全面的任务执行时间知识. 最后, 利用LGBM对多维异质特征进行充分挖掘, 构建预测模型, 实现对云工作流任务执行时间的精准预测, 并采用阿里巴巴的集群数据集进行了实验验证. 实验结果表明, 该方法优于现有的基线预测算法, 在MAE、RMSE、RMSLE以及R2四种评价指标下, 均达到了更好的性能. 因此, 本文所提出的基于多维度特征融合的预测方法, 能够满足大数据环境下云工作流任务执行时间预测的需求. 然而, 本文仅在集群数据集上进行了预测模型的搭建, 如何将预测模型部署到实际云数据中心, 实现工作流任务执行时间的在线预测, 仍需进一步探索研究.
-
图 5 70%缺失率下不同方法的生成效果
Fig. 5 The generation effect of different methods under 70% missing rate
图 6 不同缺失率下PSO迭代优化过程
Fig. 6 Iterative optimization process of PSO under different missing rates
图 8 0%缺失率下现有常用方法的预测效果
Fig. 8 Prediction effect of existing common methods under 0% missing rate
图 9 不同缺失率填补后Bi-LSTM-Att的预测效果
Fig. 9 The prediction effect of Bi-LSTM-Att after filling with different missing rates
图 10 四种缺失率填补后Bi-LSTM-Att重复预测效果
Fig. 10 Bi-LSTM-Att repeated prediction effect after four missing rates imputation
表 1 CS2_37构造的原始数据和不同缺失率下的训练数据
Table 1 Original data constructed by CS2_37 and training data with different missing rates
数据类型 缺失率 样本数量 原始数据 0 850 缺失数据 10% 771 30% 643 50% 513 70% 438 
下载: 导出CSV
表 2 CS2数据集构造RUL预测的训练样本和验证样本
Table 2 CS2 dataset constructs training samples and validation samples for RUL prediction
样本类型 样本组成 样本量 训练样本 CS2_35 851 CS2_36 944 CS2_38 991 CS2_37 (0$\sim$600) 600 验证样本 CS2_37 (601$\sim$1006) 406
下载: 导出CSV
表 3 不同缺失率下的PSO-NICE模型参数
Table 3 PSO-NICE model parameters with different missing rates
训练数据缺失率 样本剩余量 分块加性耦合层数 耦合层数 每层神经元 批处理量 NICE迭代次数 粒子维度大小 粒子群大小 PSO迭代次数 10% 771 16 5 1000 128 1000 2 2 15 30% 643 14 5 1000 64 1000 2 2 15 50% 513 12 5 1000 64 1000 2 2 15 70% 438 10 5 1000 64 1000 2 2 15
下载: 导出CSV
表 4 不同缺失率下各方法生成样本与完整样本的EM距离
Table 4 The EM distance between generation sample and the complete sample under different missing rates
缺失率 不处理 VAE GAN NICE PSO-NICE DCGAN-KS[11] 10% 0.081 0.064 0.056 0.012 0.007 0.024 30% 0.218 0.175 0.159 0.014 0.011 0.049 50% 0.357 0.282 0.207 0.024 0.013 0.072 70% 0.431 0.397 0.284 0.028 0.015 0.122
下载: 导出CSV
表 5 现有常用预测网络的参数
Table 5 Parameters of existing common prediction networks
预测网络 网络层数 每层单元数 Attention单元数 全连接层数 每层神经元个数 随机种子 批处理量 迭代次数 RNN 1 64 0 1 1 3 16 4 GRU 1 64 0 1 1 0 16 5 LSTM 1 64 0 1 1 0 16 5 Bi-LSTM 2 64 0 1 1 0 16 5 Bi-LSTM-Att 2 64 1 1 1 0 16 5
下载: 导出CSV
表 6 不同预测方法的效果评估
Table 6 Effectiveness evaluation of different forecasting methods
预测方法 缺失率 RMSE $R^2$ 运行时间 (秒) RNN 0% 0.1679 –0.77041 14 GRU 0.1376 0.72191 15 LSTM 0.0902 0.8713 15 Bi-LSTM 0.0746 0.9114 17 Bi-LSTM-Att 0% 0.0213 0.9907 26 10% 0.022 0.99 30% 0.0224 0.9898 50% 0.0328 0.978 70% 0.0424 0.9632
下载: 导出CSV
表 7 不同缺失率填补后Bi-LSTM-Att重复预测量化结果
Table 7 Quantification results of Bi-LSTM-Att repeated prediction after imputation with different missing rates
缺失率 预测均值 95%置信区间 0% 0.0213 [0.0379, 0.0468] 10% 0.0215 [0.0460, 0.0493] 30% 0.0294 [0.0526, 0.0657] 50% 0.0300 [0.0428, 0.1024] 70% 0.0468 [0.0560, 0.1054]
下载: 导出CSV
-
[1] Si X S, Wang W, Hu C H, et al. Remaining useful life estimation–a review on the statistical data driven approaches. European Journal of Operational Research, 2011, 213(1): 1-14 doi: 10.1016/j.ejor.2010.11.018 [2] 周东华, 魏慕恒, 司小胜. 工业过程异常检测、寿命预测与维修决策的研究进展. 自动化学报, 2013, 39(6): 711-722Zhou Dong-Hua, Wei Mu-Heng, Si Xiao-Sheng. A survey on anomaly detection, life prediction and maintenance decision for industrial processes. Acta Automatica Sinica, 2013, 39(6): 711-722 [3] 董青, 郑建飞, 胡昌华, 李冰, 牟含笑. 基于两阶段自适应Wiener过程的剩余寿命预测方法. 自动化学报, 2022, 48(2):539-553Dong Qing, Zheng Jian-Fei, Hu Chang-Hua, Li Bing, Mu Han-Xiao. Remaining useful life prognostic method based on two-stage adaptive Wiener process. Acta Automatica Sinica, 2022, 48(2): 539-553 [4] Zheng J F, Si X S, Hu C H, et al. A nonlinear prognostic model for degrading systems with three-source variabilit. IEEE Transactions on Reliability, 2016, 65(2): 736-750 doi: 10.1109/TR.2015.2513044 [5] Saha B, Goebel K. Battery Data Set, NASA ames prognostics data repository[Online], available: https://ti.arc.nasa.gov/tech/dash/groups/pcoe/prognostic-data-repository/, December 23, 2022 [6] Pecht M, Osterman M. Battery Research Data, Center for Advanced Life Cycle Engineering (CALCE) [Online], available: https://web.calce.umd.edu/batteries/data.html, December 23, 2022 [7] 杜党波, 张伟, 胡昌华, 周志杰, 司小胜, 张建勋. 含缺失数据的小波-卡尔曼滤波故障预测方法. 自动化学报, 2014, 40(10):2115--2125Du Dang-Bo, Zhang Wei, Hu Chang-Hua, Zhou Zhi-Jie, Si Xiao-Sheng, Zhang Jian-Xun. A failure prognosis method based on wavelet-Kalmanfiltering with missing data. Acta Automatica Sinica, 2014, 40(10): 2115-2125 [8] 裴洪, 胡昌华, 司小胜, 张建勋, 庞哲楠, 张鹏. 基于机器学习的设备剩余寿命预测方法综述. 机械工程学报, 2019, 55(8):1-13 doi: 10.3901/JME.2019.08.001Pei Hong, Hu Chang-Hua, Si Xiao-Sheng, Zhang Jian-Xun, Pang Zhe-Nan, Zhang Peng. Overview of machine learning-based equipment remaining life prediction methods. Journal of Mechanical Engineering, 2019, 55(8): 1-13 doi: 10.3901/JME.2019.08.001 [9] 胡铭菲, 左信, 刘建伟. 深度生成模型综述. 自动化学报, 2022, 48(1):40-74 doi: 10.16383/j.aas.c190866Hu Ming-Fei, Liu Jian-Wei, Zuo Xin. Survey on deep generate model. Acta Automatica Sinica, 2022, 48(1):40-74 doi: 10.16383/j.aas.c190866 [10] Yoon J, Jordon J, Schaar M. Gain: missing data imputation using generative adversarial nets. In: Proceedings of the Machine Learning Research. Stockholm, Sweden, PMLR, 2018: 5689−5698 [11] 张晟斐, 李天梅, 胡昌华, 杜党波, 司小胜. 基于深度卷积生成对抗网络的缺失数据生成方法及其在剩余寿命预测中的应用. 航空学报, 2022, 43(8):441-455 doi: 10.7527/j.issn.1000-6893.2022.8.hkxb202208032Zhang Sheng-Fei, Li Tian-Mei, Hu Chang-Hua, Du Dang-Bo, Si Xiao-Sheng. Deep convolutional generative adversarial network based missing data generation method and its application in remaining useful life prediction. Acta Aeronautica et Astronautica Sinica, 2022, 43(8):441-455 doi: 10.7527/j.issn.1000-6893.2022.8.hkxb202208032 [12] Nazabal A, Olmos P M, Ghahramani Z, et al. Handling incomplete heterogeneous data using vaes. Pattern Recognition, 2020, 107: 107501 doi: 10.1016/j.patcog.2020.107501 [13] Dinh L, Krueger D, Bengio Y. Nice: non-linear independent components estimation. arXiv preprint arXiv: 1410.8516, 2014 [14] Dinh L, Sohl-Dickstein J, Bengio S. Density estimation using real nvp. arXiv preprint arXiv: 1605.08803, 2016 [15] Kingma D P, Dhariwal P. Glow: generative flow with invertible 1x1 convolutions. arXiv preprint arXiv: 1807.03039, 2018 [16] Prenger R, Valle R, Catanzaro B. Waveglow: a flow-based generative network for speech synthesis. In: Proceedings of the International Conference on Acoustics, Speech and Signal Processing. Brighton, UK, IEEE, 2019: 3617−3621 [17] Ge L, Liao W, Wang S, et al. Modeling daily load profiles of distribution network for scenario generation using flow-based generative network. IEEE Access, 2020, 8: 77587-77597 doi: 10.1109/ACCESS.2020.2989350 [18] 薛阳, 杨艺宁, 廖文龙, 杨德昌. 基于非线性独立成分估计的分布式光伏窃电数据增强方法. 电力系统自动化, 2022, 46(2):171-179Xue Yang, Yang Yi-Ning, Liao Wen-Long, Yang De-Chang. Distributed photovoltaic power stealing data enhancement method based on nonlinear independent component estimation. Automation of Electric Power Systems, 2022, 46(2):171-179 [19] Su Jian-Lin. NICE: basic concept and implementation of flow model [Online], available: https://spaces.ac.cn/archives/5776, December 23, 2022 [20] 余海燕, 陈京京, 邱航, 王永, 王若凡. 嵌套删失数据期望最大化的高斯混合聚类算法.自动化学报, 2021, 47(6):1302-1314 doi: 10.16383/j.aas.c190081Yu Hai-Yan, Chen Jing-Jing, Qiu Hang, Wang Yong, Wang Ruo-Fan. Adapted expectation maximization algorithm for Gaussian mixture clustering with censored data. Acta Automatica Sinica, 2021, 47(6): 1302-1314 doi: 10.16383/j.aas.c190081 期刊类型引用(8)
1. 郑俊，申铁. 利用帕累托原理推断细胞为适应特定环境代谢流的权衡与代谢途径的调控. 自动化应用. 2025(02): 57-61+71 . 
百度学术2. 李鑫，余墨多，姜庆超，范勤勤. 基于分区搜索和强化学习的多模态多目标头脑风暴优化算法. 计算机应用研究. 2024(08): 2374-2383 . 百度学术3. 闵芬，董文波，丁炜超. 基于决策变量时域变化特征分类的动态多目标进化算法. 自动化学报. 2024(11): 2154-2176 . 本站查看4. Wenhua Li，Xingyi Yao，Kaiwen Li，Rui Wang，Tao Zhang，Ling Wang. Coevolutionary Framework for Generalized Multimodal Multi-Objective Optimization. IEEE/CAA Journal of Automatica Sinica. 2023(07): 1544-1567 . 必应学术5. 章恩泽，赵哲萱，韦静月，葛蕤，蒋超. 基于环形拓扑结构和动态邻域的多模态多目标粒子群优化算法. 扬州大学学报(自然科学版). 2023(04): 19-24 . 百度学术6. 孙铁军，王明瑞，刘斌，崔文超，李鹏威，曲丽萍. 基于大数据挖掘技术的热轧板带钢轧后冷却多目标优化. 北华大学学报(自然科学版). 2023(06): 820-827 . 百度学术7. 张东旭，李永华，白肖宁，王裕沣. 基于RBF-CLNSGA-Ⅱ算法的转向架构架多目标优化. 铁道科学与工程学报. 2023(11): 4311-4320 . 百度学术8. 王卓，孔祥韶，吴卫国. 基于遗传算法的邮轮舷侧开口结构补强技术研究. 中国造船. 2023(06): 86-100 . 百度学术其他类型引用(22)
-
下载:
计量
- 文章访问数: 1449
- HTML全文浏览量: 311
- PDF下载量: 294
- 被引次数: 30
