Review of Complex Artifact Reduction Methods for Industrial Computerized Tomography Imaging
-
摘要: X射线工业计算机断层(Computerized tomography, CT)技术是一种先进的非接触式无损三维检测技术, 能在无损伤情况下以灰度图像的形式对物体内部结构进行全面、详细地分析, 在航空航天、工业生产、安检等领域发挥着重要的作用. 针对工业CT伪影严重降低图像质量问题, 对工业CT成像过程复杂伪影形成机理进行分析, 对不同类型伪影抑制方法进行归纳总结. 阐述了基于射线衰减、探测器及高密度差异、采样数据及重建等不同过程伪影成因及伪影消除相关算法的最新技术进展, 并对近年来人工智能深度学习背景下新兴的基于深度学习及神经网络的工业CT无损检测研究与发展方向进行了总结和展望.Abstract: Computerized tomography (CT) technology is an advanced non-destructive three-dimensional detection technology that can completely investigate the interior structure of an item in the form of grayscale images without contacting. It plays an important role in aerospace, industrial production, security inspection and other fields. Because industrial CT artifacts have had a significant impact on image resolution, this study examines the mechanism of coupling artifacts in the industrial CT imaging process, as well as the most recent technical advancements in artifact suppression methods. For the artifacts created during the ray attenuation process, the item containing scattering artifacts and cupping artifacts is described first. Second, the related technologies for artifact generated by the detector and the object suppression, such as ring artifacts and metal artifacts are discussed. And then, the latest developments in the suppression of streaking artifacts, banding artifacts and blocking artifacts are presented for the accessories generated by sampling data and reconstruction methods. By reviewing the research of industrial CT artifact suppression in recent years, the challenges and the development in the field of high-resolution imaging based on artificial intelligence in deep learning are summarized and prospected.
-
Key words:
- Industrial CT /
- artifact suppression /
- deep learning /
- intelligent detection
-
气象、水文、金融、医学以及工程等领域, 其数据多以时间序列的形式进行存储. 时间序列是某种变量或统计指标的数值随时间排序所形成的序列集合, 其中既含有全部变量的历史信息, 又含有参与系统动态演化的变量信息, 例如在气象数据中, 温度、湿度、风速、风向、气压、降雨量、日照时数、紫外线强度的变化等. 从时间序列数据的历史信息中预测未来的变化, 以提前做好防护措施, 对保障人类生命财产安全具有重要意义[1-6].
近年来, 随着对时间序列研究的深入化, 传统的线性自适应滤波算法[7], 例如最小均方(Least mean squares, LMS)算法、递归最小二乘(Recursive least squares, RLS)算法等都不满足预测要求. LMS 收敛过程缓慢, 步长与收敛速度、失调之间也存在矛盾. RLS具有计算复杂度较高、所需存储量较大的缺陷. 同时, 它们的应用实时性也较差, 在处理非线性、非平稳、高复杂性等问题时效果并不理想. 所以对非线性、非平稳、复杂系统的研究已经引起了许多国内外专家学者的广泛关注, 并取得了一定的研究成果.
对于上述问题, 出现的建模方法主要包括: 人工神经网络(Artificial neural networks, ANN)[8-10]、支持向量机(Support vector machines, SVM)[11]、核自适应滤波器(Kernel adaptive filter, KAF)[12-13]以及一些其他非线性方法. ANN和SVM都属于离线方法, 不满足在线实时性要求. 而KAF是指线性自适应滤波器在核空间(Kernel space, KS)的扩展[14-15], 该过程满足在线预测要求, 对复杂时间序列预测具有实时输出的特点. 其中“核技巧”操作不需被显式地知道训练样本在特征空间内的映射[16], 它直接通过核函数计算来完成特征空间的内积计算, 整个计算过程被简化, 该映射过程如图1.
图 1 从输入空间到特征空间的非线性映射f(·)Fig. 1 Nonlinear mapping f(·) from input space to feature space目前, 国内外学者使用最多的是高斯核函数. 核函数是先将输入数据映射到高维空间, 再在高维空间进行线性操作.该过程对解决非线性问题具有明显的优势[17-18]. 随着对核函数[15-18]研究的深入, 学者们相继提出了应用于时间序列的计算复杂度较低、跟踪时变能力较强的KAF在线预测算法.
近年来, 由于时间序列组成的非线性系统越来越复杂, 简单的离线预测已经不能满足用户的要求. 对于上述问题, 多种时间序列在线预测方法相继出现. 目前, 时间序列在线预测方法主要分为以下几类: 重新建模方法、动态神经网络方法、在线支持向量回归方法、递归贝叶斯估计方法和KAF方法.
KAF使用核方法实现非线性传递函数. 在KAF中, 信号被映射到高维线性特征空间, 并且非线性函数被近似为核的总和, 其域是特征空间. 如果这是在再生核希尔伯特空间(Reproducing kernel Hilbert space, RKHS) 中完成的, 则核方法可以是非线性函数的通用逼近器. 内核方法具有凸损函数的优点, 同时没有局部最小值[13]. 近年来, 随着环境的不断复杂化, 其预测、跟踪问题也日趋复杂化. 在线预测作为一种实时预测、跟踪时变的有效方法, 在时间序列预测方面展现出较好的能效结果, 并满足用户的实时监测与控制的要求[19-21]. 基于KAF 的在线预测方法在许多实际应用领域中都已展现出较好的预测性能, 其中主要包括三类: 核最小均方(Kernel least mean squares, KLMS)[19]算法、核递归最小二乘(Kernel recursive least squares, KRLS)[20]算法和核仿射投影算法(Kernel affine projection algorithm, KAPA)[21]. 在此基础上, 许多学者也提出相应的改进算法, 根据KAF的发展进程, KAF在线预测模型的研究进展具体如图2 所示, 它详细地概括了文章的整体研究脉络.
然而, KAF方法在时间序列在线预测过程中还存在以下的问题: 随着新样本的加入, 系统所占用的内存不断增加(主要表现为核矩阵维度的增加), 计算复杂度会随样本量的增加而增长. 针对该问题, 学者们对以上三类KAF方法进行了相应的改进[22-36]. 在一定程度上, 在线预测帮助研究者实现了对非线性、非平稳、复杂时间序列系统的实时预测, 对进一步将要发生的变化做出更科学、合理的决策.
本文的贡献主要集中在: 总结基于KAF的时间序列在线预测研究进展, 重点介绍基于KAF的时间序列在线预测方法, 主要包括KLMS、 KRLS和KAPA三类, 在本文还介绍了这一研究领域的研究趋势和发展延伸, 并展望未来的挑战, 即充分理解基于KAF的时间序列在线预测的发展趋势, 以供进一步研究.
1. 基于KLMS在线预测算法
对于KLMS中存在的计算复杂度和核矩阵的增长问题, 文献[22]提出一种量化核最小均方(Quantization kernel least mean square, QKLMS)算法, 其量化操作限制了核函数维数的无限增长, 基本思想是通过量化操作压缩输入数据, 而不像其他稀疏化方法那样直接丢弃冗余数据. 文献[23] 提出了单反馈核最小均方(Single feedback kernel least mean square, SF-KLMS)算法, 它使用单个延迟输出以循环方式更新权重, 过去信息的使用也显著加快了收敛速度. 文献[24] 提出了改进的量化核最小均方(Modification quantization kernel least mean square, M-QKLMS)算法, 它在使用预测误差的同时还用梯度下降方法来更新滤波器系数. 不同于QKLMS 只考虑预测误差, M-QKLMS 采用新的训练数据和预测误差来调整字典中最接近中心的系数. 文献[25]提出了一种基于随机特征网络的KLMS算法(Kernel least mean square base on random feature networks, KLMS-RFN), 它与理论上隐式地将输入映射到无限维空间高斯核相反, 随机特征映射是将样本输入到相对低维的特征空间, 并使变换后的样本与使用移位不变内核的特征空间中近似等效.
KAF作为在线预测模型, 已经在时间序列预测领域展现出较好的性能[18]. 以下将详细说明基于KLMS及其改进方法的时间序列在线预测机理.
1.1 核最小均方算法
目前, 对于复杂难预测环境, LMS与核方法结合的应用方式随之出现. 2008年, Liu等将LMS嵌入KS提出KLMS[19]. KLMS是指在RKHS中进行的自适应过程, 它结合核技巧和LMS来实现样本到样本的更新[37].
对于一个有限的训练数据集, KLMS可通过未知映射将输入样本由低维的原始空间映射到高维特征空间, 再在高维特征空间执行简单的线性计算. 其中涉及步进参数的预设置, 主要有两种方法实现: 1) 根据经验设置步进参数; 2) 随着新样本的到来, 自适应更新权重
$ {{w}}\left( i \right) $ 的同时实时改变步进参数.$$ \begin{array}{l} {{w}}\left( i \right) = {{w}}\left( {i - 1} \right) + \mu {{e}}\left( i \right){{\varphi}} \left( i \right) \end{array} $$ (1) 其中,
$ \mu $ 是步进参数.$ {{e}}\left( i \right) $ 表示预测误差,$ {{\varphi}} \left( i \right) $ 表示在特征空间映射后的输入样本.$$ \begin{array}{l} {{e}}\left( i \right) = {{d}}\left( i \right) - {{w}}^{\rm{T}}{\left( {i - 1} \right)}{{\varphi}} \left( i \right) \end{array} $$ (2) 其中,
${{d}}\left( i \right) = {{\varphi}}^{\rm{T}} {\left( i \right)}{{w}}\left( i \right)$ .上述过程在增加较少运算量的情况下加快了模型收敛速度, 可较快跟踪到自适应参数, 减少训练序列的预处理时间, 从而提高自适应参数的利用效率. 通过以上过程, 得到KLMS模型的预测输出
$ {{y}}\left( i \right) $ .$$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {{{{\alpha}} _j}\left( i \right)k\left( {{{u}}\left( i \right),{{u}}\left( j \right)} \right)} \end{array} $$ (3) 其中,
$ {{{\alpha}} _j}\left( i \right) = \eta {{e}}\left( j \right) $ ,$ \eta $ 表示学习率.$ k\left( { \cdot , \cdot } \right) $ 表示核函数, 该计算过程也被称为核技巧.总的来说, KAF在时间序列预测中是一个记忆强化操作. 同时KAF还属于在线操作范畴, 它通过使用之前的样本和预测误差来逐步构造出KAF的输出.
随着KLMS不断应用于时间序列预测, 其预测也出现了许多亟待解决的问题[38]. 随着预测样本的不断增多, 预测过程中出现计算复杂度较大的问题, 即随着新样本的不断到来, 核矩阵维数不断增大, 模型内存消耗也不断增大, 从而出现预测时间长、效率低、精度低等问题. 对于上述问题, 第1.2节 ~ 第1.5节对给出的多种解决方案进行详细说明.
1.2 量化核最小均方算法
2012年Chen等在KLMS的基础上提出矢量量化(Vector quantization, VQ)操作, 得到量化核最小均方算法. VQ 方法不同于近似依赖准则(Approximate linear dependence, ALD)[20], 惊奇准则(Surprise criterion, SC), 固定预算准则(Fixed budget, FB)[39-40] 和新奇准则(Novel criterion, NC)等稀疏方法. VQ 作为稀疏[41-42]的一种替代方法, 其基本思想是矢量量化并以此压缩输入或特征空间, 用以遏制自适应滤波器中高斯核结构的增长. QKLMS 中权重
$ {{\Omega}} \left( i \right) $ 的更新过程如下所示:$$ \begin{array}{l} {{\Omega}} \left( i \right) = {{\Omega}} \left( {i - 1} \right) + {{\eta}} e\left( i \right)Q\left[ {{{\varphi}} \left( i \right)} \right] \end{array} $$ (4) 其中,
$ Q\left[ \cdot \right] $ 是量化算子. 与稀疏方法不同, VQ操作是使用“冗余”数据来更新最接近中心的系数, 该过程提高了数据的利用效率[22].QKLMS的预测输出
$ {{y}}\left( i \right) $ 如下式所示:$$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^{size\left( {C\left( {i - 1} \right)} \right)} {{{{\alpha}} _j}\left( i \right)k\left( {{{{C}}_j}\left( {i - 1} \right),{{u}}\left( i \right)} \right)} \end{array} $$ (5) 其中,
$ {{{C}}_j}\left( \cdot \right) $ 表示字典$ {{C}} $ 中的第$ j $ 个元素.QKLMS已经应用于短时混沌时间序列预测[22]. 同时VQ利用“冗余”数据来更新最接近的中心系数, 以产生更紧凑的网络, 最终在时间序列在线预测上得到更高的预测精度和预测效率.
1.3 单反馈核最小均方算法
前述的KLMS和QKLMS都是前馈网络, 2015年Zhao等首次提出具有单反馈结构的单反馈核最小均方(SF-KLMS)算法. 在SF-KLMS中只有一个延迟输出被用于以循环方式更新权重, 过去信息的使用显著地加快了模型的收敛速度. SF-KLMS 具有更紧凑、更高效的循环结构.
在SF-KLMS中包含两个权重更新过程: 1) 前馈权重
${{w}}\left( i \right);$ 2) 反馈权重$\gamma \left( i \right).$ $$ \begin{split} {{w}}\left( {i + 1} \right) =\;& {{w}}\left( i \right){\rm{ + }}\frac{{{\eta _w}\left( i \right)}}{{{\rho _w}\left( i \right)}}e\left( i \right){{k}}\left( i \right) {\rm{ + }}\\[-5pt] &\frac{{{\eta _w}\left( i \right)}}{{{\rho _w}\left( i \right)}}e\left( i \right){\beta _w}\left( i \right)\gamma \left( i \right){{{D}}_w}\left( {i - 1} \right) \end{split} $$ (6) $$ \begin{split} \gamma \left( {i + 1} \right) =& \gamma \left( i \right){\rm{ + }}\frac{{{\eta _\gamma }\left( i \right)}}{{{\rho _\gamma }\left( i \right)}}e\left( i \right)y\left( {i - 1} \right)+ \\[-3pt] &\frac{{{\eta _\gamma }\left( i \right)}}{{{\rho _\gamma }\left( i \right)}}e\left( i \right){\beta _\gamma }\left( i \right)\gamma \left( i \right){D_\gamma }\left( {i - 1} \right) \end{split}$$ (7) 其中,
$ {\eta _w} $ 和$ {\eta _\gamma} $ 是学习率,$ {\rho _w} $ 和$ {\rho _\gamma } $ 是归一化参数,$ {\beta _w} $ 和$ {\beta _\gamma } $ 是调整最新梯度信息的参数,${{{D}}_w}\left( i \right) = {{k}}\left( i \right) + $ $ {\beta _w}\left( i \right)\gamma \left( i \right){{{D}}_w}\left( {i - 1} \right) $ 是当前梯度信息,${D_\gamma }\left( i \right){\rm{ = }} $ $y\left( {i - 1} \right) + {\beta _\gamma }\left( i \right)\gamma \left( i \right){D_\gamma }\left( {i - 1} \right).$ SF-KLMS具有以下优势: 1) SF-KLMS利用延迟输出的先前梯度信息
$ {{{D}}_w}\left( {i - 1} \right) $ 来更新当前梯度${{{D}}_w}\left( i \right);$ 2) 与无反馈的KAF (如KLMS)和含多反馈的KAF (如LRKOL)相比, SF-KLMS具有更紧凑的结构, 更快的收敛速度和更好的预测性能.根据上述分析, 得到SF-KLMS模型的输出
${{y}}\left( i \right).$ $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{l = 1}^m {k\left( {{{u}}\left( i \right),{{u}}\left( {{C_l}} \right)} \right){w_l} + \gamma \left( i \right)y\left( {i - 1} \right)} \end{array} $$ (8) 其中,
$ {{u}}\left( {{C_l}} \right) $ 表示字典的第$ l $ 个信号.在短时时间序列预测中, 调节因子
$ {\beta _w} $ 被设置成较小值, 而$ {\beta _\gamma } $ 可被设置为相对较大的值用以提高反馈的效果[43].1.4 改进的量化核最小均方算法
KAF在线预测算法已经在解决复杂系统的预测、跟踪方面展现出强大的能力. 改进的量化核最小均方(M-QKLMS)算法于2016年被Zheng等提出, 该方法是在QKLMS方法的基础上进行的改进[24]. M-QKLMS 采用梯度下降方法来更新核自适应滤波器系数, 不同于QKLMS只考虑预测误差, 该方法还采用新训练数据与预测误差来共同调整字典最接近中心的系数.
计算新样本与现存字典之间的距离.
$$ \begin{array}{l} \begin{array}{l} dis\left( {{{u}}\left( i \right),D\left( {i - 1} \right)} \right)=\\ \quad\mathop {\min }\limits_{1 \le l \le {D\left( {i - 1} \right)} } \left\| {{{u}}\left( i \right) - {D_l}\left( {i - 1} \right)} \right\| > \gamma \end{array} \end{array} $$ (9) 其中,
$ \gamma $ 是量化参数. 如果$dis\left( {{{u}}\left( i \right),D\left( {i - 1} \right)} \right) \le \gamma,$ 那么权重矩阵为${{w}}_{{l^ * }}\left( i \right) = {{{{{w}}}}_{{l^ * }}}\left( {i - 1} \right) + \eta \kappa ( {D_{{l^ * }}}\left( {i - 1} \right)\!,$ ${{u}}\left( i \right) )e\left( i \right).$ 否则, 权重矩阵为$ {{w}}\left( i \right) = [ {{w}}\left( {i - 1} \right),$ $\eta e\left( i \right) ]. $ 根据上述判断结果, 得到输出
${{y}}\left( i \right)\!.$ $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {{{{w}}_j}\left( {i - 1} \right)k\left( {{{{D}}_j}\left( {i - 1} \right),{{u}}\left( i \right)} \right)} \end{array} $$ (10) M-QKLMS先执行VQ操作, 再利用梯度下降方法与预测误差共同作用, 从而有效地降低网络结构复杂度. 该过程提高了历史信息的利用效率[24]. 总之, M-QKLMS利用新训练数据隐藏的信息, 达到了更好的预测精度.
1.5 基于随机特征网络的核最小均方算法
为了在非静态环境中构建在线KAF, Liu等于2018年提出了基于随机特征网络的核最小均方算法[25]. KLMS-RFN与将输入映射到高维特征空间的高斯核相比, 随机特征映射变换是将样本输入到相对低维的特征空间, 其中变换后的样本近似等于在特征空间中使用一个移位不变核, 如下所示:
$$ \begin{array}{l} {{k}} \left( {{{{x}}_1},{{{x}}_2}} \right) = \left\langle {\Phi \left( {{{{x}}_1}} \right),\Phi \left( {{{{x}}_2}} \right)} \right\rangle \approx \varphi^{\rm T} {\left( {{{{x}}_1}} \right)}\varphi \left( {{{{x}}_2}} \right) \end{array} $$ (11) 其中,
$\varphi \left( {{x}} \right):{{\rm R}^m} \to {{\rm R}^M}$ , 表示特征映射后的输入矩阵.然后, KLMS-RFN模型的预测过程可总结为:
1) 计算随机傅立叶特征向量
$ \varphi \left( {{{x}}\left( n \right)} \right) $ $$ \begin{array}{l} \varphi \left( {{{x}}\left( n \right)} \right) = {\left[ \begin{array}{c} \cos \left( {{{w}}_1^{\rm{T}}{{{x}}_n}} \right)\\ \vdots \\ \cos \left( {{{w}}_M^{\rm{T}}{{{x}}_n}} \right)\\ \sin \left( {{{w}}_1^{\rm{T}}{{{x}}_n}} \right)\\ \vdots \\ \sin \left( {{{w}}_M^{\rm{T}}{{{x}}_n}} \right) \end{array} \right]^{\rm{T}}} \end{array} $$ (12) 2) 得到自适应滤波器的输出
$ {{y}}\left( n \right) $ $$ \begin{array}{l} {{y}}\left( n \right) = {{{w}}^{\rm T}}\left( {n - 1} \right)\varphi \left( {{{x}}\left( n \right)} \right) \end{array} $$ (13) 3) 得到权重更新矩阵
$ {{w}}\left( n \right) $ $$ \begin{array}{l} {{w}}\left( n \right) = {{w}}\left( {n - 1} \right){\rm{ + }}\eta e\left( n \right)\varphi \left( {{{x}}\left( n \right)} \right) \end{array} $$ (14) 其中,
$ e\left( n \right) = d\left( n \right) - y\left( n \right) $ 表示预测误差.KLMS-RFN不需要存储重要样本, 可节省大量存储成本. 当所选样本较多时, KLMS-RFN的计算复杂度明显低于核矩阵的计算复杂度. 此外, KLMS-RFN还可以约束不断增长的权重网络的结构, 同时更新样本来跟踪输入的特征变化. 该模型已经在时间序列得到应用, 明显的提高了模型在非平稳环境下的预测性能[25].
1.6 基于KLMS在线预测的总结分析
通过对KLMS及其改进模型的说明, 就降低核矩阵维数、提高历史信息的利用效率方面来说, 可以看出KAF在时间序列在线预测领域已得到广泛的应用[44-46]. 在本节, 主要讨论基于KLMS在时间序列在线预测中出现的核矩阵计算量大, “冗余”信息利用效率低等问题的解决方法. 针对上述问题, 通过VQ来提高历史信息的利用效率, 并在此基础上采用预测误差来自适应更新滤波器结构, 降低核矩阵的维数.
KLMS是在高维特征空间中推导的, 它使用随机梯度方法解决最小二乘问题, 从Hadamard意义上来讲, KLMS不需要明确的正则化. KLMS及相应的改进模型已经在复杂时间序列中得到广泛的应用[19, 22, 24, 47]. KAF在一定程度上缩短了预测时间, 简化了核矩阵的计算步骤, 降低了计算复杂度, 也通过使用“冗余”样本, 提高了信息的利用效率, 提高了时间序列在线预测精度.
2. 基于KRLS在线预测算法
对于KRLS建模中出现的在线样本量和核矩阵维数的限制问题, 文献[26]提出滑动窗口核递归最小二乘方法(Sliding window kernel recursive least squares, SW-KRLS), 它只选取固定长度的序列样本进行计算, 从而降低核矩阵维度. 文献[27] 提出扩展核递归最小二乘(Extended kernel recursive least squares, EX-KRLS)算法, 该方法可以在KS内表达状态空间模型, 还可以利用状态空间模型动态表示在时变环境条件下的时间序列的变化趋势. 文献[28]提出固定预算核递归最小二乘(Fixed budget kernel recursive least squares, FB-KRLS)算法, 它只选取固定数量样本, 且保留相关性较强的数据样本进行计算, 抛弃相关性弱的数据样本, 该过程不仅降低了核矩阵的维度, 而且提高了预测精度. 文献[29] 提出核递归最小二乘跟踪(Kernel recursive least squares with tracker, KRLS-T)算法, 包括遗忘因子原则和数值稳定的方式, 它固定了内存量和每一个时间步长的计算, 限制了核矩阵的维数, 并以自然的方式结合正则化, 从而跟踪每次预测的时变特性. 与文献[22]类似, 文献[30]提出了量化核递归最小二乘(Quantization kernel recursive least squares, QKRLS)算法, 其基本思想也是通过量化操作压缩输入数据, 限制核矩阵维数, 该方法将“冗余”数据利用起来, 用以提高预测精度. 文献[31] 提出了多反馈核递归最小二乘(Multi-feedback kernel recursive least squares, MF-KRLS)算法, 它是利用多个先前输出来递归更新结构参数, 具有跟踪时变的特性. 文献[32] 提出自适应归一化稀疏核递归最小二乘(Adaptive normalized sparse kernel recursive least squares, ANS-KRLS)算法, 它结合一致性准则、ALD 和动态自适应调整来限制核矩阵维数, 同时提高了预测精度.
目前, KRLS已经广泛应用于数据挖掘、机器学习等领域[20]. KRLS将输入样本通过Mercer 核映射到高维特征空间, 然后在高维特征空间中利用矩阵反演引理执行线性回归, 从而在线解决复杂时间序列预测问题[48-57]. 以下将详细说明基于KRLS及其改进方法的时间序列在线预测机理.
2.1 核递归最小二乘算法
KRLS利用矩阵反演引理简化核矩阵的求逆过程, 目的在于简化计算, 并降低存储要求、提高预测效率. 目前, KRLS 已经在复杂时间序列预测中展现出较好的预测性能[20], 它能够以在线的形式实时处理样本序列.
KRLS模型的ALD阈值是根据经验获得, 太大或太小都会降低预测精度[20]. 当样本进入KRLS模型后, 计算该样本与当前字典在特征空间的线性扩展距离
$\delta \left( i \right),$ 如果大于$\nu,$ 那么该样本满足要求被加入字典进行预测. 反之, 如果小于$\nu,$ 那么该数据样本被移除, 这保证了核矩阵维数的有限性.$$ \begin{array}{l} \delta \left( i \right) = {\left\| {\displaystyle\sum\limits_{k = 1}^{i - 1} {\alpha \left( k \right)\varphi \left( {{{x}}\left( k \right)} \right) - \varphi \left( {{{x}}\left( i \right)} \right)} } \right\|^2} > \nu \end{array} $$ (15) 其中,
$ \nu $ 是设置的ALD阈值.根据以上过程, 得到权重矩阵
${{w}}\left( i \right)\!.$ $$ \begin{split} {{w}}\left( i \right) =&{\left[ {\lambda {{I}} + \Phi {{\left( i \right)}^{\rm{T}}}\Phi \left( i \right)} \right]^{ - 1}}\Phi \left( i \right){{d}}\left( i \right) = \Phi \left( i \right)\times\\ &{\left[ {\lambda {{I}} + \Phi {{\left( i \right)}^{\rm{T}}}\Phi \left( i \right)} \right]^{ - 1}}{{d}}\left( i \right) \end{split} $$ (16) 其中,
$ \lambda $ 是正则化参数,$ {{\Phi}} \left( i \right) $ 表示特征空间映射后的输入矩阵,$ {{I}} $ 表示单位矩阵,$ d\left( i \right) $ 表示期望输出. 该过程使用矩阵反演引理.再将
${{w}}\left( i \right)$ 代入输出模型, 得到输出结果$f\left( {{{{u}}_ * }} \right)\!.$ $$ \begin{array}{l} f\left( {{{{u}}_ * }} \right) = \displaystyle\sum\limits_{j = 1}^i {{{{\alpha}} _j}\left( i \right)k\left( {{{u}}\left( j \right),{{{u}}_ * }} \right)} \end{array} $$ (17) 根据上述过程对预测结果进行分析[48-51], 得到复杂系统下一步的发展趋势及实时信息, 最终做出更科学的决策.
与第1节的KLMS相比, 就收敛速度而言, KRLS模型比KLMS模型小一个数量级, 但是这种性能的改善是以增加计算复杂度为代价的. 所以, 如何改善预测模型的计算复杂度? 第2.2节
$\sim $ 第2.8节对给出的多种改进方法进行详细说明.2.2 滑动窗口核递归最小二乘算法
滑动窗口核递归最小二乘方法[26]是Van Vaerenbergh等于2006年提出. SW-KRLS是结合滑动窗和传统L2范数正则化得到的. SW-KRLS中滑动窗对核矩阵维数的要求是固定而非限制, 是始终保持字典的维度不变. L2范数正则化则是改进了模型的泛化能力. 该方法多用于无记忆非线性系统, 并在时变环境、跟踪突变问题上体现出较好的预测性能. 在SW方法中, 选定窗口
$n,$ 得到正则化核矩阵${{{K}}_n}.$ $$ \begin{array}{l} {{{K}}_n} = {{\tilde{ X}}_n}{\tilde{ X}}_n^{\rm{T}} + c{{I}} \end{array} $$ (18) 其中,
$ c $ 是正则化参数,$ {{I}} $ 表示单位矩阵, 观测矩阵被表示为$ {{{X}}_n} = {\left[ {{X_n},{X_{n - 1}}, \cdot \cdot \cdot ,{X_{n - N + 1}}} \right]^{\rm{T}}} .$ 当处于在线环境时, 核矩阵的维数取决于观测值$ N. $ 如何保持核矩阵维度固定不变？对于新到来样本, 核矩阵添加新行和新列通过式(20)实现, 核矩阵移除最旧行和列可通过式(19)实现.
$$ \begin{array}{l} {{{K}}^{ - 1}} = \left[ {\begin{array}{*{20}{c}} {{{{A}}^{ - 1}}\left( {{{I}} + {{b}}{{{b}}^{\rm{T}}}{{{A}}^{ - 1\rm{H}}}g} \right)}&{ - {{{A}}^{ - 1}}{{b}}g}\\ { - {{\left( {{{{A}}^{ - 1}}{{b}}} \right)}^{\rm T}}g}&g \end{array}} \right]\\[-18pt] \end{array} $$ (19) $$ \begin{array}{l} {{{D}}^{ - 1}} = {{G}} - \frac{{{f}}{{f}}^{\rm{T}}}{e} \end{array}\qquad\qquad\qquad\qquad \quad$$ (20) 其中,
$ {{A}} $ 是非奇异矩阵,$g = {\left( {d - {{{b}}^{\rm{T}}}{{{A}}^{ - 1}}{{b}}} \right)^{ - 1}},$ $ {{K}} $ 是添加新行和列后的矩阵,$ {{D}} $ 是移除最旧行和列后的矩阵,$ {{{b}}^{\rm{T}}}{{f}}{\rm{ + }}dg = 1 .$ 根据以上过程, 得到系数矩阵
${{{\alpha}} _n}.$ $$ \begin{array}{l} {{{\alpha}} _n} = {{K}}_n^{ - 1}{{{y}}_n} \end{array} $$ (21) 其中,
$ {{y}}\left( n \right) = \left[ {{y_n},{y_{n - 1}}, \cdot \cdot \cdot ,{y_{n - N + 1}}} \right] $ 表示观测向量,${{K}}_n^{ - 1} = \left( {{{K}} + c{{I}}} \right).$ SW-KRLS采用正则化解决了过拟合问题, 并结合滑动窗口(Sliding window, SW)和矩阵反演引理来解决计算复杂度的限制问题, 不仅节省了内存空间, 简化了计算, 也提高了预测精度[26].
2.3 扩展核递归最小二乘算法
2009年Liu等又提出了在RKHS中的扩展递归最小二乘算法的核化形式, 即扩展核递归最小二乘算法[27]. EX-KRLS在RKHS中首次实现了一般线性状态模型.
EX-KRLS使用显式状态转移和卡尔曼滤波器来学习内核回归权向量, 也通过样本数据完成在线学习[27]. 当
$ {{A}} = \alpha {{I}} $ 时, 得到的状态转换模型(22)与观测模型(23).$$ \begin{array}{l} {{x}}\left( {i + 1} \right) = \alpha {{x}}\left( i \right) + {{n}}\left( i \right) \end{array} $$ (22) $$ \begin{array}{l} {{d}}\left( i \right) = {{\varphi}} ^{\rm{T}}{\left( i \right)}{{x}}\left( i \right) + {{v}}\left( i \right) \end{array} $$ (23) 其中,
$ {{\varphi}} \left( i \right) \in {{F}} $ 代替${{u}}\left( i \right) \in {{U}},$ $ \alpha $ 是一个升降参数, 既可放大也可衰减.EX-KRLS具有明确的状态转移过程, 且可以提高KRLS的跟踪能力[27], 其跟踪模型如式(24).
$$ \begin{array}{l} {{a}}\left( i \right) = \left[ {\begin{array}{*{20}{c}} {{{a}}\left( {i - 1} \right) - {{z}}\left( i \right){{r}}^{ - 1}{{\left( i \right)}}e\left( i \right)}\\ {{{r}}^{ - 1}{{\left( i \right)}}e\left( i \right)} \end{array}} \right] \end{array} $$ (24) 其中,
${{r}}\left( i \right) = \lambda {\rm{ + }}{{\varphi}}^{\rm{T}} {\left( i \right)}{{\varphi}} \left( i \right) - {{z}}^{\rm{T}}{\left( i \right)}{{k}}\left( i \right),\ \lambda$ 是用以控制初始状态向量的正则化参数,$ {{z}}\left( i \right) $ 表示非奇异矩阵,$ {{k}}\left( i \right) $ 表示核矩阵,$ e\left( i \right) $ 是预测误差,$ {{a}}\left( i \right) $ 是系数矩阵, 它们都是根据样本点不断地自适应更新. 所以, EX-KRLS适合于慢衰落、状态变化小的非线性系统建模.2.4 固定预算核递归最小二乘算法
对于计算复杂度较大问题, 固定预算核递归最小二乘方法于2010年被Van Vaerenbergh等提出[28]. 其中FB准则在限制内存的同时, 不仅减少预测时间, 还提高历史信息的利用效率.
FB准则是Dekel等在2006年提出的. 在预测时间序列样本时, 随着新样本的加入, 直到字典达到预设阈值M之前, FB 准则不起作用. 当样本达到M+1时, 核矩阵如式(25), FB起作用, 抛弃最不重要、不相关的数据如式(26), 期间字典大小始终为M, 即当新样本满足条件时, 就删除最不相关的数据. 反之, 新样本如果不满足条件, 那么新样本就不被允许加入字典, 即字典保持原来的状态不变. 该过程不仅限制了输入数据的维数, 也提高了数据利用效率.
$$ \begin{array}{l} {\hat{ K}}_n^{ - 1} = \left[ {\begin{array}{*{20}{c}} {{{K}}_{n - 1}^{ - 1} + g{{e}}{{{e}}^{\rm{T}}}}&{ - g{{e}}}\\ { - g{{{e}}^{\rm{T}}}}&g \end{array}} \right] \end{array}\qquad\qquad $$ (25) $$ \begin{array}{l} {\hat{ K}}_n^{ - 1} = \left[ {\begin{array}{*{20}{c}} e&{{{{f}}^{\rm{T}}}}\\ {{f}}&{{G}} \end{array}} \right] \Rightarrow {{K}}_n^{ - 1} = {{G}} - \frac{{{f}}{{{f}}^{\rm{T}}}}{e} \end{array} $$ (26) 其中,
$ {{\hat{ K}}_n} $ 表示添加新行和列的核矩阵,${{e}} = {{K}}_{n - 1}^{ - 1}{{b}},$ $ g = {\left( {d - {{{b}}^T}e} \right)^{ - 1}} $ ,${{{b}}^{\rm{T}}}{{f}}{\rm{ + }}dg = 1,$ $ {{{K}}_n} $ 表示移除任意行和列的核矩阵.为保持核矩阵维度不变, FB准则中的抛弃计算如下所示:
$$ \begin{array}{l} d\left( {{{{x}}_i},{y_i}} \right) = \dfrac{\left| {{{{\alpha}} _i}} \right|}{{\left[ {{\hat{ K}}_n^{ - 1}} \right]_{i,i}}} \end{array} $$ (27) 根据上述抛弃准则, FB-KRLS模型可以有效地跟踪时变序列的信息[28]. FB-KRLS 主要应用于非线性系统识别问题. 它不仅能够保持内存不变, 抛弃最不重要的样本点, 提高信息利用效率, 而且其标签更新过程也表现出模型的跟踪时变特性, 更拓宽了FB-KRLS的应用范围[28].
2.5 核递归最小二乘跟踪算法
不同于SW-KRLS、EX-KRLS和FB-KRLS, 核递归最小二乘跟踪[29]是引入贝叶斯框架, 在统一现有的KRLS 理论下, 提出的“遗忘”的概念, 即通过明确方式处理复杂的时间序列数据. 为保证最优性能, 需要确定核参数、正则化参数, 以及在非平稳环境中的遗忘因子.
由于KRLS-T等价于特定时空协方差的高斯过程(Gaussian processing, GP)回归模型, 所以可通过GP 超参数估计来确定KRLS-T 的所有参数. 采用潜在函数边缘化的方法, 用超参数表示观测数据的概率[29].
$$\begin{split} \ln p\left( {{y}|\delta ,\sigma ,\varepsilon } \right) =& - \frac{1}{2}{{{y}}^{\rm{T}}}{\left( {{{\Lambda}} \circ {{K}} + {\sigma ^2}{{I}}} \right)^{ - 1}}{{y}}-\\ & \frac{1}{2}\left| {{{\Lambda}} \circ {{K}} + {\sigma ^2}{{I}}} \right| - \frac{n}{2}\ln \left( {2 \text{π} } \right) \end{split} $$ (28) 其中,
$ \circ $ 表示Hadamard乘积,$ {{\Lambda}} $ 是一个对角矩阵, 它的第$ j $ 个对角元素值为$ {\lambda ^{\frac{{\left| j \right|}}{2}}} $ ,$\lambda \in \left( {0,1} \right].$ 在KRLS-T中, 需要存储和更新三个变量: 1) 字典中与基对应的当前预测均值
$ {{{\mu}} _t} $ ; 2) 表示先验值的核逆矩阵$ {{{Q}}_t} = {{K}}_t^{ - 1} $ ; 3) 相应的预测方差$ {{\Sigma} _t} $ 它可以捕获后验协方差.$$\begin{array}{l} {{{\mu}} _{_t}} = \dfrac{{{y_t}k\left( {{{{x}}_t},{{{x}}_t}} \right)}}{{\sigma _n^2 + k\left( {{{{x}}_t},{{{x}}_t}} \right)}}n \end{array}\qquad\quad$$ $${{K}}_t^{ - 1} = {{{Q}}_t} = k\left( {{{{x}}_i},{{{x}}_j}} \right) + \varepsilon {\delta _{ij}}$$ $${{{h}}_{t + 1}} = \sum_t {{{q}}_{t + 1}}\qquad\qquad\quad$$ 其中,
${{{q}}_{t + 1}} = {{{Q}}_t}{{{k}}_{t + 1}},$ $ \varepsilon $ 是遗忘因子且$\varepsilon \in \left( {0,1} \right),$ $ {\sigma ^2} $ 是超参数,$ \delta $ 是正则化参数.因为KRLS-T不能提供对过去时刻的预测, 仅保留与当前时刻相关的小部分样本, 所以对短期时间序列预测有更好的预测效果. 同时这样的预测机制极大降低了计算成本[29].
2.6 量化核递归最小二乘算法
Chen等于2013年又将VQ应用到KRLS模型, 它是以递归形式被推导得到量化核递归最小二乘算法[30]. QKRLS也是将输入空间量化分配, 其基本思想也是使用较小数据集来表示整个输入数据的信息, 从而提高预测精度[23, 30].
VQ具有多种优势: 1) 计算简单; 2) 量化的大小比较容易选择; 3) 冗余数据可以很容易的被利用, 用以提高预测性能.
首先在线VQ需要设置量化尺码
$\varepsilon,$ 然后计算$ {{u}}\left( i \right) $ 和$ {{C}}\left( {i - 1} \right) $ 之间的距离.$$ \begin{array}{l} dis\left( {{{u}}\left( i \right),{{C}}\left( {i - 1} \right)} \right) = \left\| {{{u}}\left( i \right) - {{{C}}_{{j^ * }}}\left( {i - 1} \right)} \right\| \end{array} $$ (29) 其中,
${j^ * } = \mathop {\arg \min }\nolimits_{1\le j \le\left| {{{{{C}}}}\left( {i - 1} \right)} \right|} \left\| {{{u}}\left( i \right) - {{{C}}_j}\left( {i - 1} \right)} \right\|,$ $ {{{C}}_j}\left( {i - 1} \right) $ 表示$ {{C}}\left( {i - 1} \right) $ 的第$ j $ 个元素.当新样本
$ {{u}}\left( i \right) $ 进入预测模型时, 如果$ dis ( {{u}}\left( i \right),$ $ {{C}}\left( {i - 1} \right)) $ 不大于$\varepsilon,$ 此时的量化码本保持不变, 用式(30)更新权重系数矩阵. 如果$dis ( {{u}}\left( i \right),{{C}}\left( {i - 1} \right)) $ 小于$\varepsilon,$ 那么新样本被加入到量化码本$ {{C}}\left( \cdot \right) $ 中, 用式(31)更新权重系数.$$ \begin{split} {{\tilde{ \alpha}} ^ * }\left( i \right) =\;& {{\tilde{ \alpha}} ^ * }\left( {i - 1} \right) + \\ &\frac{{{{{P}}_{{j^ * }}}\left( {i - 1} \right)\left[ {{{y}}\left( i \right) - {\tilde{ K}}_{j^ * }^{\rm{T}}{{\left( {i - 1} \right)}}{{{\tilde{ \alpha}} }^ * }\left( {i - 1} \right)} \right]}}{{1 + {{\tilde{ K}}}_{j^ * }^{\rm{T}}{{\left( {i - 1} \right)}}{{{P}}_{{j^ * }}}\left( {i - 1} \right)}} \end{split} $$ (30) $$ \begin{array}{l} {{\tilde{ \alpha}} ^ * }\left( i \right) = \left[ {\begin{array}{*{20}{c}} {{{{\tilde{ \alpha}} }^ * }\left( {i - 1} \right) - {{{z}}_\Lambda }\left( i \right){{r}}^{ - 1}{{\left( i \right)}}{{e}}\left( i \right)}\\ {r^{ - 1}{{\left( i \right)}}{{e}}\left( i \right)} \end{array}} \right] \end{array}\quad $$ (31) 其中,
${{{z}}_\Lambda }( i ) = {{P}}( {i - 1} ){{\Lambda}} ( {i - 1} ){{h}}( i ), {{e}}( i ) = {{y}}( i ) -$ ${{h}}^{\rm{T}}{\left( i \right)}{{\tilde{ \alpha}} ^ * }\left( {i \!-\! 1} \right) , {{z}}\left( i \right) \!=\! {{P}}^{\rm{T}}{\left( {i \!-\! 1} \right)}{{h}}\left( i \right), {{r}}\left( i \right) \!=\! \gamma \!+\! {{\kappa}} ( {{u}}\left( i \right)\!,$ ${{u}}\left( i \right) ) - {{h}}^{\rm{T}}{\left( i \right)}{{{z}}_\Lambda }\left( i \right)\!.$ QKRLS在预测时间序列时, 除了能够保持期望性能, 在产生紧凑模型方面也非常有效[30]. 计算复杂度和预测精度之间的折衷也可以通过改变量化码本的大小进行简单、有效地控制.
2.7 多反馈核递归最小二乘算法
近年来, 大多数KAF都是无反馈结构的预测模型[26-30]. 在第1.3节, SF-KLMS首次将反馈结构引入KAF模型. 随后Wang等在2017年提出了具有反馈结构的多反馈核递归最小二乘算法[31]. MF-KRLS 是将延迟输出与最近的输入结合来估计最近输出的过程.
在MF-KRLS结构中, 它的前馈系数(Feed forward coefficient, FFC)和反馈系数(Feedback coefficient, FBC)利用最速下降法进行更新. 同时MF-KRLS采用多个先前的输出以递归的形式更新结构参数. FFC和FBC都采用最速下降法进行在线更新.
$$ \begin{array}{l} {{\alpha}} \left( {i + 1} \right) = \left[ {\begin{array}{*{20}{c}} {{{\alpha}} \left( i \right)}\\ 0 \end{array}} \right] + \dfrac{{{\eta _\alpha }\left( i \right)}}{{{\rho _\alpha }\left( i \right)}}{{{D}}_\alpha }\left( i \right){{e}}\left( i \right) \end{array} $$ (32) $$ \begin{array}{l} {{\lambda}} \left( {i + 1} \right) = \left[ {\begin{array}{*{20}{c}} {{{\lambda}} \left( i \right)}\\ 0 \end{array}} \right] + \dfrac{{{\eta _\lambda }\left( i \right)}}{{{\rho _\lambda }\left( i \right)}}{{{D}}_\lambda }\left( i \right){{e}}\left( i \right) \end{array} $$ (33) 其中,
$ {\mu _\alpha }\left( i \right) = {\eta _\alpha }\left( i \right)/{\rho _\alpha }\left( i \right) $ 表示FFC的步进参数,$ {\mu _\lambda }\left( i \right) = {\eta _\lambda }\left( i \right)/{\rho _\lambda }\left( i \right) $ 表示FBC的步进参数.${{{D}}_\alpha }\left( i \right) = $ $\partial {{y}}\left( i \right)/\partial {{\alpha}} \left( i \right),$ ${{{D}}_\lambda }\left( i \right) = \partial {{y}}\left( i \right)/\partial {{\lambda}} \left( i \right).$ 根据上述分析, 在时变环境中, MF-KRLS具有较好的自适应更新调整能力, 在估计精度和收敛速率上也得到改善[31].
将FFC和FBC代入输出模型得到
${{y}}\left( i \right)\!.$ $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {k\left( {{{u}}\left( i \right),{{u}}\left( {{C_j}} \right)} \right){{\alpha}} \left( j \right) + {{\lambda}} \left( j \right){{y}}\left( {i - 1} \right)}\end{array} $$ (34) 在MF-KRLS的时间序列在线预测应用中, 其前馈和反馈结构的有效结合不仅提高了KRLS的滤波精度, 还加快了收敛速度[31].
2.8 自适应归一化稀疏核递归最小二乘算法
随着在线稀疏方法的不断发展, Han等于2017年提出自适应归一化稀疏核递归最小二乘方法[32], 该方法已经在多元混沌时间序列在线预测方面得到较好的预测性能.
ANS-KRLS是结合动态调整策略和一致性准则(Coherence criterion, CC), 并基于KRLS得到的改进模型. 在ANS-KRLS中, 一致性准则不仅可以减少核矩阵维度, 还可以降低模型的计算复杂度. 动态调整策略在时变环境中具有自适应调整权值的能力.
首先, 动态调整过程权重系数
$ {\tilde{ \alpha}} \left( i \right) $ 的更新过程如下所示:$$ \begin{split} {\tilde{ \alpha}} \left( i \right) =\;& {\tilde{ \alpha}} \left( {i - 1} \right) + \\ &\frac{{{{q}}\left( i \right){{{\tilde{ K}}}^{ - 1}}\left( i \right)\left( {{{y}}\left( i \right) - {\tilde{ k}}_{i - 1}^{\rm{T}}\left( {{{x}}\left( i \right)} \right){\tilde{ \alpha}} \left( {i - 1} \right)} \right)}}{{\varepsilon + {{\left\| {{\tilde{ k}}_{i - 1}^{\rm{T}}\left( {{{{{x}}}}\left( i \right)} \right)} \right\|}^2}}} \end{split} $$ (35) 其中,
${{q}}\left( i \right) = \dfrac{{{{q}}\left( i \right){{\alpha}} \left( i \right)}}{{1 + {{\alpha}}^{\rm{T}} {{\left( i \right)}}{{q}}\left( i \right){{\alpha}} \left( i \right)}},$ $ {{q}}\left( i \right) $ 是正则自相关矩阵,$ \varepsilon $ 用以避免误调的发生.其次, 一致性稀疏准则如下式所示:
$$ \begin{array}{l} \mu = \mathop {\max }\limits_{j = 1,2, \cdot \cdot \cdot ,i - 1} \left| {k\left( {{{x}}\left( i \right),{{x}}\left( j \right)} \right)} \right| \end{array} $$ (36) 其中,当
$\mathop {\max }\nolimits_{j = 1,2, \cdot \cdot \cdot ,i - 1} \left| {k\left( {{{x}}\left( i \right),{{x}}\left( j \right)} \right)} \right| \le{\mu _0},$ $ {{x}}\left( j \right) $ 被加入字典. 否则, 字典保持不变, 且$\mu \in \left( {0,1} \right).$ 当新样本到来时, 如果
$ {{x}}\left( j \right) $ 不满足式(15)且式(36)不大于$ {\mu _0} $ 时, 新样本$ {{x}}\left( j \right) $ 被加入字典, 权重系数根据式(37)进行更新. 如果$ {{x}}\left( j \right) $ 不满足式(15), 或式(36)大于$ {\mu _0} $ 时, 字典大小保持不变, 此时根据式(35)更新权重系数.$$ \begin{split} \begin{array}{l} {\tilde{ \alpha}} \left( i \right) = \dfrac{1}{{\delta \left( i \right)}}\\ \quad \left[ {\begin{array}{*{20}{c}} {{\tilde{ \alpha}} \left( {i \!-\! 1} \right) \!-\! {\tilde{ \alpha}} \left( i \right)\left( {{{y}}\left( i \right) \!- \!{\tilde{ k}}_{i \!-\! 1}^{\rm{T}}\left( {{{x}}\left( i \right)} \right){\tilde{ \alpha}} \left( {i - 1} \right)} \right)}\\ {\left( {{{y}}\left( i \right) \!-\! {\tilde{ k}}_{i \!-\! 1}^{\rm{T}}\left( {{{x}}\left( i \right)} \right){\tilde{ \alpha}} \left( {i \!-\! 1} \right)} \right)} \end{array}} \right] \end{array} \end{split} $$ (37) 其中,
$ \delta \left( i \right) $ 表示ALD阈值.总之, ANS-KRLS在时间序列在线预测可通过上述稀疏过程降低计算复杂度. ANS-KRLS还具有在线操作和在时变环境中自适应调整的能力. 所以, ANS-KRLS在提高预测精度和效率方面更具优势[32].
2.9 基于KRLS在线预测的总结分析
通过以上对KRLS及其改进模型的介绍, 就基于KRLS时间序列在线预测方法中改进的KAF模型而言, SW-KRLS、FB-KRLS、QKRLS和ANS-KRLS是以不同类型的“稀疏”方式来简化核矩阵维数, 从而降低计算复杂度、提高预测精度. EX-KRLS、KRLS-T 除了降低计算复杂度和提升预测精度外, 在跟踪时变方面也展现出优越的性能. 而MF-KRLS是以添加反馈结构的形式来提高模型的预测精度.
KRLS改进方法的自相关矩阵在后期运算时会出现秩亏的现象, 引入正则化可以解决秩亏的问题. 和第1 节的KLMS模型相比, KRLS的不同之处在于需要明确的正则化. 但该正则化过程也存在以下问题: 随着数据样本的增加, 正则化的效率会开始缓慢地减弱.
从以上分析可知, 基于KAF的时间序列在线预测在降低计算复杂度、提高预测精度和效率, 以及在跟踪时变方面都展现出较好的优势[58-60].
3. 基于KAPA在线预测算法
对于KAPA建模中出现的计算复杂度和核矩阵维数限制问题, 文献[33]提出了归一化复合核仿射投影算法(Normalized composite kernel affine projection algorithm, NC-KAPA). 文献[34]提出并行滑动窗口核仿射投影算法(Parallel sliding window kernel affine projection algorithm, PSW-KAPA)和级联滑动窗口核仿射投影算法(Cascade sliding window kernel affine projection algorithm, CSW-KAPA). 文献[35]首次将多核引入APA 中, 提出混合核仿射投影算法(Kernel hybrid affine projection algorithm, KHAPA), 它将最大相关熵准则与均方误差策略结合来改进KAPA. 文献[36]提出了量化核仿射投影算法(Quantization kernel affine projection algorithm, QKAPA), 它将矢量量化操作应用于KAPA 来提高预测精度.
KAPA是Liu等在2008年提出的, 它是由核技巧与APA (Affine projection algorithm)[61] 结合产生的非线性扩展方法[21, 62]. KAPA使用随机梯度法解决最小二乘问题, 该非线性扩展已经在时间序列在线预测领域得到广泛应用[21]. 以下将详细说明基于KAPA 及其改进方法的时间序列在线预测机理.
3.1 核仿射投影算法
KAPA通过类似KLMS的方法将APA扩展到RKHS中, 除了样本数量以外, 还存在另外两个自由度: 1) 代价函数的正则化; 2) Newton更新方法. 文献[21]通过输入相关矩阵的特征值扩展来解决梯度下降法收敛速度慢的问题.
根据不同的参数设置得到不同KAPA, 从而组成KAPA族.
1) 根据梯度下降法得到KAPA-1的权重矩阵
${{{w}}_1}\left( i \right).$ $$ \begin{array}{l} {{{w}}_1}\left( i \right) = {{w}}\left( {i - 1} \right) + \eta {{\Phi}} \left( i \right)\left[ {{{d}}\left( i \right) - {{{\Phi}} ^{\rm{T}}}\left( i \right){{w}}\left( {i - 1} \right)} \right] \end{array} $$ (38) 其中,
$ \eta $ 表示学习率,$ d\left( i \right) $ 表示期望输出.2) 根据Newton法得到KAPA-2的权重矩阵
${{{w}}_2}\left( i \right).$ $$ \begin{split} {{{w}}_2}\left( i \right) =& {{w}}\left( {i - 1} \right) + \eta {{\Phi}} \left( i \right){\left[ {{{{\Phi}} ^{\rm{T}}}\left( i \right){{\Phi}} \left( i \right){\rm{ + }}\varepsilon {{I}}} \right]^{ - 1}}\times \\ & \left[ {{{d}}\left( i \right) - {{{\Phi}} ^{\rm{T}}}\left( i \right){{w}}\left( {i - 1} \right)} \right] \end{split} $$ (39) 其中,
$ {{\Phi}} \left( i \right) = \left[ {\varphi \left( {i - K + 1} \right), \cdot \cdot \cdot ,\varphi \left( i \right)} \right] $ ,$ \varepsilon $ 是正则化参数.3) 再给定正则化代价函数, 根据随机梯度下降法可得到KAPA-3的权重矩阵
${{{w}}_3}\left( i \right).$ $$ \begin{split} {{{w}}_3}\left( i \right) = &\left( {1 - \lambda \eta } \right){{w}}\left( {i - 1} \right) +\\ & \eta {{\Phi}} \left( i \right)\left[ {{{d}}\left( i \right) - {{{\Phi}} ^{\rm{T}}}\left( i \right){{w}}\left( {i - 1} \right)} \right] \end{split} $$ (40) 4) 相应地, 再根据Newton法得到KAPA-4的权重矩阵
${{{w}}_4}\left( i \right).$ $$ \begin{split} {{{w}}_4}\left( i \right) =& \left( {1 - \eta } \right){{w}}\left( {i - 1} \right) +\\ & \eta {{\Phi}} \left( i \right){\left[ {{{{\Phi}} ^{\rm{T}}}\left( i \right){{\Phi}} \left( i \right){\rm{ + }}\lambda {{I}}} \right]^{ - 1}}{{d}}\left( i \right) \end{split} $$ (41) 其中,
$ \lambda $ 也是正则化参数, 当传统风险最小化病态时, 通常是约束解的范数$\mathop {\min }\nolimits_w E{\left| {{{d}} - {{{w}}^{\rm{T}}}{{\varphi}} \left( i \right)} \right|^2} +$ $ \lambda {\left\| {{w}} \right\|^2} $ , 得到式(40). 与KAPA-1 不同, KAPA-3添加了尺度因子$ \left( {1 - \lambda \eta } \right) $ 用于对先前数据强加“遗忘”机制, 并使该部分数据的影响呈指数下降趋势.上述的4种变换中, 前三种都需要误差信息来更新网络, 计算量较大. 而KAPA-4不需要, 因为它只需对一个 阶的矩阵求逆. 总之, KAPA算法的性能已经在时间序列、信道均衡方面得到体现[21, 62].
3.2 归一化复合核仿射投影算法
近年来, KLMS和KRLS及其改进模型的研究都集中在单核形式. Ogunfunmi等在2011年首次将复合核应用于APA 模型, 得到归一化复合核仿射投影算法[33]. 该算法适用于复杂数据的实时非线性建模.
在NC-KAPA中, 使用复杂核函数
$ \kappa \left( {{{z}},{{w}}} \right)\!. $ $$ \begin{array}{l} \kappa \left( {{{z}},{{w}}} \right) = \exp \left( { - \sigma \displaystyle\sum\limits_{i = 1}^N {{{\left( {{{{z}}_i} - {{w}}_i^ * } \right)}^2}} } \right) \end{array} $$ (42) 其中,
${{z}},{{w}} \in {C^N},\sigma $ 是影响转换映射的核参数.定义
${{{X}}_{ap}}\left( i \right) = \left[ {{{\Phi}} \left( {{{z}}\left( {i - K + 1} \right)} \right) \cdot \cdot \cdot {{\Phi}} \left( {{{z}}\left( i \right)} \right)} \right],$ 得到权重矩阵$ {{w}}\left( i \right) .$ $$\begin{split} {{w}}\left( i \right) =\;& {{w}}\left( {i - 1} \right) + \mu {{{X}}_{ap}}\left( i \right) \times \\ &{\left[ {{{X}}_{_{ap}}^{\rm{T}}\left( i \right){{{X}}_{ap}}\left( i \right){\rm{ + }}\varepsilon {{I}}} \right]^{ - 1}}{{e}}_{ap}^ * \left( i \right) \end{split}$$ 其中,
$ {{{\lambda}} _{ap}}\left( i \right) = {\left( {{{X}}_{_{ap}}^{\rm{T}}\left( i \right){{{X}}_{ap}}\left( i \right)} \right)^{ - 1}}{{e}}_{ap}^ * \left( i \right), \varepsilon $ 正平滑因子,$ {{{e}}_{ap}} = {\left( {{{X}}_{_{ap}}^{\rm{T}}\left( i \right){{{X}}_{ap}}\left( i \right){{{\lambda}} _{ap}}\left( i \right)} \right)^ * } , \mu $ 的选择需考虑稳定性、收敛速度和失调.NC-KAPA算法在理论上推导并扩展了复杂RKHS的Wirtinger演算, 最终还得到APA的梯度MSE代价函数. 该算法更适用于对收敛速率要求较高的高维复杂的混沌时间序列的在线预测[33].
3.3 并行、级联滑动窗口核仿射投影算法
由上节Ogunfunmi等提出的NC-KAPA[33]可知, KAF的发展已经由单核研究逐渐过渡到多核研究[63]. 2012年Gil-Cacho等提出并行和级联滑动窗口核仿射投影算法[34]. 该类算法由线性核和高斯核的加权和组成. 机理是分离线性和非线性子问题.
PSW-KAPA的并行配置在KAPA-3中可直接应用得到核矩阵
${{{k}}_{wsk}}.$ $$ \begin{array}{l} {{{k}}_{wsk}}\left( {i,j} \right) = \alpha {{{k}}_L}\left( {i,j} \right) + \beta {{{k}}_G}\left( {i,j} \right) \end{array} $$ (43) 其中,
${{k}}\left( {i,j} \right) = \exp \left( { - \kappa {{\left\| {{{X}}\left( i \right) - {{X}}\left( j \right)} \right\|}^2}} \right),$ $ \kappa $ 是高斯核参数,$\alpha < 1,$ $\beta {\rm{ = 1 - }}\alpha.$ CSW-KAPA中的级联结构由以下2个步骤组成: 1) 独立执行标准线性归一化最小均方算法(Normalized least mean square, NLMS), 存储滤波器输出. 2) 将存储的NLMS输出用作SW-KAPA 的输入. 得到基于PSW-KAPA和CSW-KAPA 的预测输出
${\hat{ y}}\left( i \right).$ $$ \begin{array}{l} {\hat{ y}}\left( i \right) = {{\hat{ h}}^{\rm{T}}}\left( i \right){{X}}\left( i \right) \end{array} $$ (44) 其中,
$ {\hat{ h}}\left( i \right) $ 是NLMS的权重向量.与KAPA相比, PSW-KAPA和CSW-KAPA降低了计算复杂度. 与线性NLMS相比, 它提高了预测性能. PSW-KAPA和CSW-KAPA 中核函数的分离、加权和过程都在滑动窗口方法中执行. 当对其施加不同的“遗忘”机制时, 它又转化为更灵活的正则化形式, 进一步提高时间序列的预测性能[34].
3.4 核混合仿射投影算法
2014年Yang等提出了核混合仿射投影算法[35]. KHAPA将混合准则(Hybrid criteria, HC)应用于APA 中, 并将得到的HAPA映射到RKHS. HC是均方误差和最大相关熵准则(Maximum correntropy criterion, MCC)的混合.
HC是从最小裁剪平方(Least trimmed squares, LTS)估计的角度避免异常值的过度影响. 在LTS中, 数据通过排序的方式被分为两类: 正常数据集和异常值数据集, 且异常值数据被完全丢弃. HC不是单纯地丢弃这些数据, 而是对大数据采用鲁棒MCC 准则. KHAPA就是利用上述准则来进一步提高预测性能[35].
HC准则不仅避免了异常值的过度影响, 还充分利用了异常值, 从而获得更好的性能. 定义HC如式(45), 并将HC 应用于KAPA模型, 用
$ {f_i} $ 表示它的学习映射.$$ \begin{split} {{{W}}_{HC}} = &\arg \min {{{J}}_{HC}} = \\\arg \min &\left( {\sum\limits_{i = 1}^M {{{e}}_{_{j\left( i \right)}}^2} - \sum\limits_{i = M + 1}^N {{{e}}\exp \left( { - \frac{{{{e}}_{_{j\left( i \right)}}^2}}{{2{\sigma ^2}}}} \right)} } \right) \end{split} $$ (45) $$ \begin{array}{l} {f_i} = {f_{i - 1}} + \eta {K_i}{\xi _i} \end{array} $$ (46) 其中,
$ {{{K}}_i} = \left[ {\kappa \left( {{x_{i{\rm{ - }}L{\rm{ + }}j\left( 1 \right)}}, \cdot } \right), \cdot \cdot \cdot ,\kappa \left( {{x_{i{\rm{ - }}L{\rm{ + }}j\left( L \right)}}, \cdot } \right)} \right], $ $ {\xi _i} = \left[ {{{{e}}_{i - L + j\left( i \right)}},{{{e}}_{i - L + j\left( {i + 1} \right)}}\exp \left( { - \dfrac{{{{e}}_{_{{e_{i - L + j\left( {i + 1} \right)}}}}^2}}{{2{\sigma ^2}}}} \right)} \right] $ $ \left( {i = 1, \cdot \cdot \cdot ,M} \right) $ ,$ \eta $ 是学习率.HC充分利用了数据, 避免了异常值数据集的不恰当影响. 所以KHAPA在时间序列预测过程中提高了数据的利用效率, 同时也得到了更准确的预测结果[35].
3.5 量化核仿射投影算法
2015年Ren等提出量化核仿射投影算法[36]. QKAPA和QKLMS、QKRLS算法相似, QKAPA是在KAPA 模型上加入VQ 用以约束网络, 并进一步减小计算负担和内存占用.
在QKAPA中, 计算
$ dis\left( {{{{x}}_i},{{C}}\left( {n,i - 1} \right)} \right) $ 如式(47), 如果它小于$ {\varepsilon _X} $ , 此时$ {x_i} $ 是“冗余”的, 然后字典保持不变, 权重系数根据式(48)更新. 否则,$ {x_i} $ 不是“冗余”的, 加入字典, 此时权重系数根据式(49)更新.$$ \begin{array}{l} dis\left( {{{{x}}_i},{{C}}\left( {n,i - 1} \right)} \right) = \min \left( {\left\| {{{{x}}_i} - {{{C}}_j}\left( {n,i - 1} \right)} \right\|} \right) \end{array} $$ (47) 其中,
$1\le j \le size\left( {{{C}}\left( {n,i - 1} \right)} \right).$ $$ \begin{array}{l} {{{\alpha}} _{{j^ * }}}\left( {n,i} \right) = {{{\alpha}} _{{j^ * }}}\left( {n,i - 1} \right) + \eta {{e}}\left( {n,i} \right) \end{array} $$ (48) 其中,
${j^ * } \!=\! \mathop {\arg \min }\nolimits_{1\le j\le size\left( {C\left( {n,i \!-\! 1} \right)} \right)} \left\| {{{{x}}_i} \!-\! {{{C}}_j}\left( {n,i \!-\! 1} \right)} \right\|,$ ${{e}}\left( {n,i} \right) = {{{d}}_n} - f\left( {n,i} \right).$ $$ \begin{array}{l} {{\alpha}} \left( {n,i} \right) = \left\{ {{{\alpha}} \left( {n,i - 1} \right),\eta {{e}}\left( {n,i} \right)} \right\} \end{array} $$ (49) 根据上述更新过程, 得到QKAPA模型的预测输出
$f\left( {n,i} \right).$ $$ \begin{array}{l} f\left( {n,i} \right) \!=\! \displaystyle\sum\limits_{j = 1}^{size\left( {C\left( {n,i - 1} \right)} \right)} \!\!\!\!{{\alpha _j}\left( {n,i - 1} \right)\kappa \left( {{x_i},{C_j}\left( {n,i - 1} \right)} \right)} \end{array} $$ (50) 其中,
$ \kappa \left( { \cdot , \cdot } \right) $ 表示核函数.由于时间序列都是复杂的, 且包含未知噪声. QKAPA模型在预测中不仅减小了梯度噪声, 而且约束了网络规模, 提高了“冗余”数据的利用效率, 进一步减小了计算负担和存储占用, 明显加快了运算速度, 提高了预测性能[36].
3.6 基于KAPA在线预测的总结分析
通过以上对KAPA及其改进模型的说明, 就基于KAPA的改进模型来说, PSW-KAPA、CSW-KAPA[34]和NC-KAPA[33]以投影次梯度的方式简化了预测模型. QKAPA[36]和KAPHA[35]分别通过VQ 和HC 稀疏方式降低了计算复杂度, 并提升了预测精度. KAPA及其改进模型都在RKHS中应用随机梯度法解决最小二乘问题. 同KLMS或KRLS相比, KAPA能提供灵活的在线非线性滤波器计算方法. 根据实际预测需求, 还可在应用性能与计算复杂度之间选择平衡点, 以达到最优结果.
KAPA的通用形式是基于自适应投影次梯度法被推导. 通过投影映射测度完成分类, 再通过正交投影实现稀疏化, 还可以通过斜投影解决在线存储需求和自适应跟踪能力[32]. 此外, KAPA也为径向基函数(如NN)、正则化提供了理论认识基础.
在性能方面, KAPA介于KLMS和KRLS之间, KAPA的性能可以通过窗口长度
$ K $ 调整, 同时窗口长度也控制计算复杂度. 而且大部分时间序列都呈现非线性、非平稳、复杂的特点, 通常的离线算法不能满足在线实时性要求. 所以基于KAF的时间序列在线预测方法在降低计算复杂度、提高预测精度和效率方面都展现出独特的优势[32-36].总的来说, 基于KAF的3类在线预测方法已经在多元混沌时间序列中得到较好的预测性能[12-13]. 其中, 模型中部分参数的设置也起着关键的作用, 比如步进参数
$ \mu \in \left( {0,1} \right) $ , 学习率$ \eta \in \left( {0,1} \right) $ 等, 它们的选取对模型的预测效果有较大的影响. 一般情况下, 步进参数和学习率都会选取$ \left( {0.5,1} \right) $ 之间的值, 这样可以得到较好的性能结果[19-36]. 同样的, 正则化参数$\lambda,$ 调整参数$ \beta $ 等参数的选取也会影响实验结果[29], 比如正则化参数$ \lambda $ 可以根据高斯过程回归的标准超参数估计来进行选取[17, 29], 此时得到的$ \lambda $ 更适合模型的后续预测. 所以, 参数的恰当选择可以有效地反映模型的某些性能[41-42, 61, 64], 这里不再赘述.4. 基于KAF在线预测的应用
目前, 动态神经网络(Dynamic neural network, DNN)、支持向量回归(Support vector regression, SVR)、KAF等方法已应用于复杂时间序列预测[8-10]. DNN与SVR都是离线操作, 前者在更新过程中涉及大量计算[65], 后者适用于小样本预测与跟踪[13]. 而KAF不仅具有较低的计算复杂度和简单的递归更新形式, 且满足在线预测的要求, 因此受到许多学者的青睐[11-13]. Frieb 和Harrison 根据“核化”思想提出ADALINE, 该方法基于所有的训练数据并采用确定性梯度法得到[65]. Kivinen等提出NORMA, 该方法直接对正则化代价函数进行微分获取随机梯度[17]. Engel等使用矩阵求逆引理研究了KRLS[20]. Liu等研究了具有正则化特性的KLMS[19]. Liu 和Principe, Ogunfunmi 和Paul, Ren 和Yu 等从不同角度研究了KAPA[21, 33-36, 61].
根据KLMS、KRLS和KAPA三类模型在时间序列中的预测效率、预测精度、收敛速度以及相应的特点, 三类典型KAF方法在时间序列在线预测中的性能对比结果如表1所示. 由表1可知, 与KLMS和KAPA相比, KRLS 的预测效率较低, 但在收敛速度和预测精度方面更具优势. 所以, 我们可以得到以下结论: 1) 在实际应用中, 如果将预测效率放在首位而不追求收敛速度, 那么KLMS模型可以得到较好的结果; 2) 如果以提高目标预测精度为目的, 同时要求较快的收敛速度, KRLS模型无疑成为最佳选择; 3) 如果预测目标中包含多种噪声, KAPA 模型更具优势.
表 1 不同KAF方法的时间序列在线预测特性对比结果Table 1 Comparison of online prediction characteristics of time series of different KAF methods目前, 大多数时间序列都表现出非线性、非平稳、复杂难预测的特点, 所以对其进行合理的预测具有十分重要的意义. 例如, 从气象数据的历史信息预测未来天气变化[1-2]. 从水文数据的历史信息预测水资源的变化趋势, 并作出合理的控制及调配[3-4]. 根据医学上的不同症状序列进行提前预测并做好预防, 降低发病几率等[5-6]. 复杂系统中包含着许多相关的有用信息, 而且随着时间的推移, 其中包含的信息量也在不断增加. 随着信息技术的发展, 时间序列的数据量和应用也随之快速增长.
如何实现复杂时间序列的实时预测, 并跟踪其将要发生的变化, 是诸多研究领域非常关注的问题. 文献[55-56]在LSSVM的基础上添加过滤窗、迭代误差补偿和组合核函数的形式对复杂时间序列进行预测. 文献[66]采用卡尔曼滤波在高频金融时间序列进行预测. 文献[57]采用自适应遗传算法和基于大脑情感学习模型预测时间序列. 对于含噪声和数据缺失的时间序列来说, 文献[58-60]给出了很好地解决方案. 但是, 传统的数据预测方法集中于建模检验预测、自适应预测等, 难以实时预测数据将要发生的变化. 现有的真实数据本身较复杂, 在实际应用中会出现计算时间长、效率低、存储空间占用量大、预测精度低、跟踪能力差等问题.
因此, 通常需要对复杂时间序列进行稀疏选择来降低核矩阵维度, 然后再进行更为有效地预测与跟踪. 综上所述, 用KAF模型对复杂难预测系统进行在线预测、跟踪具有十分重要的意义[52-54].
KAF通过分析现有时间序列的有效信息, 能较好地反映当前时间序列的潜在特征. 然后再根据所得特征跟踪时变信息, 并进行相关分析总结, 以提醒相应部门对于将要到来的各种变化做出科学的决策[67-71].
KAF是人工智能领域中常用于时滞时变预测的技术, 它采用滤波的形式解决预测中出现的问题[37-38], 并能够有效地增强预测模型的泛化性能与自适应跟踪能力. 总的来说, KAF在处理非线性系统时, 随着新样本的不断到来, 模型不断地迭代更新. 就已提出的KAF模型来说, 不同的在线预测模型对应不同的计算复杂度. 原始核矩阵的计算的复杂度为
${\rm O}( {{L^3}})$ , 当采用ALD准则时, 其计算复杂度为${\rm O}( {{L^2}} )$ . 对于不同的稀疏方法得到的KAF模型, 其复杂度也不同. 表2给出了三类KAF模型在每次迭代过程涉及的计算复杂度(其中,$ L $ 表示样本长度,$ K $ 表示字典大小). 从表2可以看出: 首先, 表述的8种在线稀疏方法都在不同程度上降低了核矩阵的维度, 即降低了模型的计算复杂度. 其次, 由于SW、FB和CC准则在预测过程中都需要固定字典的大小(K远小于L), 所以它们在降低核矩阵维度、模型内存占用和计算复杂度上都表现出较大优势. 最后, SF、MF和HC不仅在降低模型计算复杂度上出较大贡献, 而且在对有效利用历史信息上也具优势(主要是反馈信息的有效利用).表 2 每次迭代过程涉及的计算复杂度比较Table 2 Comparison of computational complexity involved in each iteration核自适应滤
波器类型在线稀
疏类型计算复杂度 KLMS[19] VQ 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L^2} } )$ 在线VQ ${\rm O}( { {L} } )$ SF 更新$ {\omega} \left( i \right) $ ${\rm O}( { {L} } )$ 更新$ {e}\left( i \right) $ ${\rm O}( { {L} } )$ KRLS[20] VQ 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L} } )$ 在线VQ ${\rm O}( { {L} } )$ 更新$ {P}\left( i \right) $ ${\rm O}( { {L^2} } )$ ALD 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L^2} } )$(${\rm O}( { {L^2} } )$
假如字典改变)更新ALD ${\rm O}( { {L^2} } )$ 更新${P}\left( i \right)$ ${\rm O}( { {L^2} } )$ SW 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {K^2} } )$(${\rm O}( { {K} } )$
假如字典改变)更新${P}\left( i \right)$ ${\rm O}( { {K^2} } )$ 更新${D}\left( i \right)$ ${\rm O}( { {K^2} } )$ FB 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {K^2} } )$(${\rm O}( { {K} } )$
假如字典改变)更新${P}\left( i \right)$ ${\rm O}( { {K^2} } )$ 更新$ {{\hat K}_n}\left( i \right) $ ${\rm O}( { {K^2} } )$ MF 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L} } )$ 更新$ {e}\left( i \right) $ ${\rm O}( { {L} } )$ 更新${D}\left( i \right)$ ${\rm O}( { {L^2} } )$ CC 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {K^2} } )$(${\rm O}( { {K} } )$
假如字典改变)更新$ {e}\left( i \right) $ ${\rm O}( { {K^2} } )$ 更新${D}\left( i \right)$ ${\rm O}( { {K^2} } )$ KAPA[21] VQ 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L} } )$ 在线VQ ${\rm O}( { {L} } )$ 更新${P}\left( i \right)$ ${\rm O}( { {L^2} } )$ HC 更新$ {e}\left( i \right) $ ${\rm O}( { {L} } )$ 更新$ {\bf{\zeta }}\left( i \right) $ ${\rm O}( { {L} } )$ 由于KAF具有自适应更新能力, 因此常用于复杂时间序列预测. 基于KLMS的随机行为分析, 如文献[72] 在LMS的基础上采用核在线技术提出顺序优化方法, 并采用随机梯度法顺序更新权重, 分析网络流量序列的行为特征, 从而实现网络流量序列的在线预测. 基于KRLS的在线异常检测, 如文献[55]通过迭代误差补偿弥补SVM的误差特性, 从而减少冗余信息的残差干扰, 最终达到异常检测的效果. 基于KAPA的在线时间序列分类等[56], 如文献[36]在KAPA的基础上添加可重构的FPGA加速器, 该过程减小了梯度噪声, 在处理数据路径和处理单元数量方面具有突出的优势. 总之, KAF通用的非线性建模能力对复杂时间序列预测更具优势.
所以, 根据KAF的特殊思想, 许多学者已经将KAF应用于时间在线序列预测[72-77]. 由于环境变化不断加剧, 时间序列包含的噪声也不断复杂化, 传统的线性模型并不适应非线性、复杂系统的剧烈变化, 所以KAF在线模型在数据挖掘处理噪声方面也展现出较好的结果[67]. 文献[72] 是以在线形式将KAF 应用于含噪声的时间序列, 过滤冗余噪声信息, 从而实现平滑太阳黑子数量时间序列的预测. KAF还通过最小平均绝对第三损失函数来滤除噪声, 从而得到更好的预测性能. 文献[74] 在时间序列上执行在线学习, 使用遗憾最小化技术解决在噪声条件下的最小假设问题, 为执行有效地在线学习过程剔除干扰项. 文献[75]结合奇异鲁棒策略和KRLS来解决非线性系统识别问题. 文献[76] 采用序贯在线学习方法预测水文时间序列(包括气温、水位、风速、总发电量等), 由于水文数据包含噪声, 所以该方法在滤除噪声方面具有更好的特性. 文献[77]通过“核技巧”以循环在线训练的方式来执行学习过程, 该过程在循环损失函数中涉及自动更新权重的正则化项, 在提升泛化能力的同时执行在线学习. 文献[78] 将KAF以递归的形式应用于脑电和自适应天线阵列过程, 该过程排除了脑电和天线阵列的噪声信号. 文献[79] 将VQ和MC准则应用于KAF模型, 它在处理异常值和脉冲噪声方面更具特色. 文献[80, 82] 基于贝叶斯框架建立“遗忘”机制, 它能很好地处理带噪的脑电信号, 衰落和突变信道的跟踪.
此外, 文献[83]推导和分析了用于二元和多元分类、回归和预测的算法, 它们的更新步骤都是基于简单约束优化问题的分析解决方案. 文献[84-85]提出采用矩阵分解或负矩阵分解的降维方式来实现在线稀疏学习, 它已经广泛应用于图像处理和模式识别. 文献[86]提出子梯度方法动态地结合早期迭代中观察到的数据几何知识, 以执行更具信息性的基于梯度的在线学习过程. 文献[87]介绍了在线凸优化, 在线分类, 在线批量转换以及在线预测过程的约束限制问题. 文献[88-89]提出预算方法实现对核的约束, 从而推导出以预算随机梯度下降和近似逼近的方式来适应大规模SVM预测. 文献[90]提出一个用于大规模在线分类任务的高效且可扩展的在线学习算法库. 文献[91]讨论了在线预测和批处理在使用有限计算资源的过程中渐近地提供最佳的泛化性能的有效方法. 文献[92]介绍了基于LS回归的收敛率问题, 该方法通过对初始条件和Hessian矩阵的假设进行分析, 并最终实现平均加速正则梯度下降. 文献[93]研究了与凸损失函数相关的RKHS中的在线学习算法.
就预期的超额泛化误差而言, 它们可以作为基于内核的批量学习算法快速收敛. 从而实现对学习序列规范的预期值和在线学习算法的精确误差分解的敏锐估计.
文献[94]提出KNLMS方法, 它使用自适应步长加速学习, 并在收敛速度和稳态之间提供合适的折中. 文献[95]提出具有非线性主路径的有源噪声控制系统的KxLMS方法, 主要用于改进在参考噪声与多个窄带信号和附加高斯白噪声混合时的预测性能. 文献[96]研究了在RKHS中没有正则化条件时在线梯度下降法的收敛性, 以收敛期望中的超泛化误差. 文献[97]提出了改进的在线随机梯度下降法, 由于特征稀疏性的异质性, 该方法用于解决收敛速度慢和方差大的问题. 文献[98]建立了高斯核参数的自适应更新方法并应用于KAF, 该方法的更新规则与L1正则化一同作用来避免预测中的过拟合和维数高问题. 文献[99]提出尺度自适应在线学习方法, 通过评估核函数和系数向量之间的内积实现KAF. 文献[100]提出了基于L2 空间迭代投影的新型在线非线性函数学习、估计方法. 文献[101]提出了一种由节点网络进行非线性函数分布式学习的自适应方案, 基于多个RKHS的笛卡尔积度量, 证明了方法的全面收敛性.
综上所述, KAF在时间序列预测领域已经得到了广泛的应用[96-101]. 由KAF的改进模型可以看出, 其计算复杂度被明显降低, 内存空间的占用也明显减小, 相应的预测效率和预测精度也显著提高. 同时, 对于含噪声和缺失值的时间序列还具有特殊的滤除噪声和补差性能[58-59].
5. 结论与展望
KAF的研究在近年来受到了越来越广泛的关注, 诸多学者对KAF学习机理和应用进行了全面的研究. KLMS、KRLS和KAPA奠定了LMS、RLS和APA在核空间应用的基础. 近年来对KAF的研究已经取得了一定的进展, 并广泛应用于时间序列在线预测, 如气象领域的温度、湿度、风速、风向、日照时数、气压等实时性预测, 水文领域的水位、水温、流量、凝结度等预测, 金融领域的股票联动性和股指期货套期保值预测, 医疗领域的心电、脑电数据异常检测, 交通领域的车流量、密度预测等. 本文首先对KAF的学习方法和发展现状进行了详细综述, 探讨了KLMS、KRLS和KAPA的基本原理, 以及其改进模型在提高时间序列在线预测精度和预测效率, 跟踪时变特性和如何利用有效数据信息等方面的机理, 同时将KLMS、KRLS和KAPA 作为KAF在线预测的研究基础, 分析在线稀疏策略在具有时变特性的非线性系统上的预测精度和预测效率的提高, 接着结合其在线稀疏过程对计算复杂度进行分析, 最后总结KAF模型在时间序列预测、数据挖掘噪声处理、性能补差、性能估计等方面的实际应用. 然而随着研究的不断深入, 仍存在着一些值得研究和关注的问题:
1) KAF在线预测方法中包含KLMS、 KRLS、KAPA等多种模型, 对于不同的模型所对应的预测领域存在较大差异. 例如, KLMS模型多用于非线性系统建模, 即在非线性时间序列预测、信道均衡领域获得较好的性能. KRLS模型多用于慢衰落和状态变化很小的非线性时间序列跟踪领域. KAPA模型多用于时间序列预测、非线性信道均衡和非线性滤除噪声等领域. 所以, 不同的模型可能对应不同领域及不同的问题, 这是当前研究的一个重点. 同时如何对预测模型进行正则化, 提高模型的泛化能力也是一个研究重点.
2) KAF在线预测方法对复杂时间序列预测具有更好的跟踪性能, 通过建模过程中的动态更新机制, 使在线预测过程能够实时反映核矩阵权重更新和系数矩阵更新, 最终得到的预测模型具有自适应实时更新能力. 然而KAF在预测样本时, 随着新样本的不断加入, 核矩阵维数不断增加, 其计算复杂度也随之增大(线性关系), 同时内存消耗(占用量)也增大, 相应的降低了计算效率. 对于上述问题, 有学者已经提出了ALD、NC、SC、HC等多种在线稀疏方法来解决此类问题. 因此, 在预测模型中如何对输入样本进行在线稀疏已经成为继续深入研究KAF的方向之一.
3) 在时间序列在线预测过程中, 随着ALD、NC、SC、HC等多种在线稀疏方法加入预测模型, 一些“冗余”的数据被剔除, 在这个过程中也会伴随数据利用效率的降低, 即剔除的数据可能包含有效的历史信息, 如何判断稀疏后的样本序列是否包含有效信息也是需要研究的重点. 所以, 在加入在线稀疏方法时如何保持稀疏后数据的“有效性”也是KAF在线预测未来研究的重要方向之一.
4) 目前, 随着单核自适应滤波器研究的深入, 多核自适应滤波器也不断地发展. 大多数多核算法是将两个相同类型的核函数应用于预测模型, 或者将两种不同的核函数的加权和应用于预测模型, 此类方法已经取得了较好的预测结果. 由于核函数表示的是一种将输入(数据)空间非线性映射到高维(隐藏)特征空间的过程, 该过程是隐式的、未知的. 所以在选用单核函数或多核函数的过程中, 不同的选择得到的预测结果大相径庭, 其预测性能也存在较大差异. 所以, 如何在复杂的非线性预测系统中选择合适的核函数及其参数, 也是KAF在线预测的研究热点之一.
-
图 5 均匀分布和优化后光束阻滞示意图
Fig. 5 Schematic diagram of the beam block after uniform distribution and optimization
图 9 多能谱衰减过程产生硬化射束
Fig. 9 Hardened beam produced by multi-energy spectral attenuation process
图 13 不同物体重建切片环形伪影示意图
Fig. 13 Schematic diagram of ring artifacts in reconstructed slices of different objects
图 17 条件生成对抗网络金属伪影校正流程
Fig. 17 Conditional generative adversarial network metal artifact correction process
表 1 不同伪影的表现和产生原因及对应特征示意图
Table 1 Types of manifestations and causes corresponding to the characteristics of different artifacts
类型 成因 影响因素 特征 示例 散射伪影 射线强度空间频率较低,
散射光子干扰探测器接收到的光子并不
全是初始光子, 还包括散射
光子偏振干扰图像出现模糊, 边界
出现质量退化
硬化伪影 (杯状伪影) 射线能谱发生变化,
射线光子吸收不均衡,
高能射线比重较大不同密度材料对射线能
量衰减程度不同图像出现外亮内暗的
灰度不均匀分布
杯状伪影 探测器受潮, 探测器不稳定 探测器的余晖效应、探测器
的响应不一致图像上出现圆圈状伪影环 
金属伪影 被检测物体中仅有单个金属 被扫描物中类似金属的
高衰减物质图像中呈现出明暗相间
的放射状伪影
条状伪影 投影数据的不连续或中断 检测对象的移动和数据损失 重建图像存在线条状亮线区域 
带状伪影 光源的空间非均匀性 面源辐射波动性或光源不稳定性 图像局部偏亮或者偏暗 
块状伪影 重建方法及数据结构 反映图像结构的字典训练不足 图像边缘细小结构扭曲 
下载: 导出CSV
表 2 工业CT散射伪影抑制方法研究现状
Table 2 Research status of scattering artifact suppression methods for industrial CT
方法 主要贡献 实验结果 方法来源 主调制器掩模 补偿掩模影响的校正矩阵, 基于 B 样条曲线
的散射模型光谱 CT 对能谱先验信息依赖性比较强, 存在适应性问题 文献[38] 分段估计投影生成 提出一种最优的阻挡器分布, 以最小化缺失数据 将平均 CT 数误差从 86 个 Hounsfield 单位(HU) 减少到 9 HU, 并将图像对比度提高了 1.45 倍 文献[39] 增加距离减小散射 使用蒙特卡洛计算机模拟来计算散射投影比 (SPR) SPR 随着 X 射线能量的增加、材料密度的降低或 SID 的增加而降低 文献[40] 基于投影的等心和非等心成像法 构建了一个深度卷积自动编码器 (DCAE) 在非等中心患者 CT 采集中得到了成功运用 文献[48] 路径采样的散射估计 以规划 CT 图像的精确 CT 值作为先验信息, 自动控制每个粒子路径, 最终加速收敛 图像对比度提高, 散射伪影消除, 但是大量光子在传输过程中无法到达探测器, 使得估算不准确 文献[33] 卷积神经网络的散射校正 将深度卷积神经网络 (DCNN) 和残差学习框架 (RLF) 相结合 与没有 RLF 的网络相比, 所提出的方法具有更高的散射校正精度 文献[51]
下载: 导出CSV
表 3 工业CT硬化伪影/杯状伪影抑制方法研究现状
Table 3 Research status of cupping artifact suppression methods for industrial CT
方法 主要贡献 实验结果 方法来源 投影数据一致性条件约束 通过最小化一组投影对的不一致性, 迭代估计用于减少伪影的最佳多项式系数 减少了其他物理测量和几何误差对模型系数的干扰, 不需要校准也不需要先验信息 文献[61] 一种多项式射束硬化校正 利用三项式拟合构造一种多色投影模型, 并应用该模型来逼近实际投影数据 该模型能够有效地去除 X 射线硬化伪影, 但对于高密度物体往往效果有限, 且多项式系数获取过程复杂, 计算效率低 文献[63] 基于泰勒公式的曲线补偿 提出了一种获取光线穿过二值图像长度的方法, 构建了一种新的加权补偿校正模型 多色投影的伪影得到了有效的抑制, 该算法有望在工业无损检测中得到应用 文献[66] 基于光子计数探测器硬件 使用基于能量判别的 PCD 可以从本质上减少散射和射束硬化对图像质量的影响 与传统探测器相比, 能够在减少散射和波束硬化方面改善CT图像质量 文献[69]
下载: 导出CSV
表 4 工业CT金属伪影抑制方法研究现状
Table 4 Research status of metal artifact suppression methods for industrial CT
方法 主要贡献 实验结果 方法来源 基于投影校正 建立对金属区域投影值的校正模型, 采用单纯
形法迭代求解熵最小对多金属伪影的校正起到了良好的效果, 且校正后的图像质量优于插值校正法 文献[83] 基于先验图像校正 获得不含金属信息的先验图像, 后将先验数据与含金属投影进行插值 校正图像均方根误差最小、峰值信噪比最大, 保留图像边缘的同时, 可有效地抑制金属伪影 文献[85] 基于局部模型迭代校正 描述了一种将重建体自动划分为金属和非金属区域的方法 与常规重建相比, 该方案可使金属内部的硬化杯状伪影更少 文献[86] 基于残差编解码网络、混合GAN网络校正 利用投影数据开发了一种混合生成对抗网络
(GANs)的新组合掩模金字塔网络解决金属伪影校正研究中伪影消除不彻底、组织结构缺失等问题, 与传统重建算法相比, 结合迁移学习提高了学习网络的泛化性能 文献[88, 90]
下载: 导出CSV
-
[1] 戚俊成, 刘宾, 陈荣昌, 夏正德, 肖体乔. X射线光场成像技术研究. 物理学报, 2019, 68(2): Article No. 024202 doi: 10.7498/aps.68.20181555Qi Jun-Cheng, Liu Bin, Chen Rong-Chang, Xia Zheng-De, Xiao Ti-Qiao. X-ray three-dimensional imaging based on light field imaging technology. Acta Physica Sinica, 2019, 68(2): Article No. 024202 doi: 10.7498/aps.68.20181555 [2] 王林元, 刘宏奎, 李磊, 闫镔, 张瀚铭, 蔡爱龙, 等. 基于稀疏优化的计算机断层成像图像不完全角度重建综述. 物理学报, 2014, 63(20): Article No. 208702 doi: 10.7498/aps.63.208702Wang Lin-Yuan, Liu Hong-Kui, Li Lei, Yan Bin, Zhang Han-Ming, Cai Ai-Long, et al. Review of sparse optimization-based computed tomography image reconstruction from few-view projections. Acta Physica Sinica, 2014, 63(20): Article No. 208702 doi: 10.7498/aps.63.208702 [3] Jin S, Liu C H, Lai X M, Li F, He B. Bayesian network approach for ceramic shell deformation fault diagnosis in the investment casting process. The International Journal of Advanced Manufacturing Technology, 2017, 88(1-4): 663-674 doi: 10.1007/s00170-016-8795-x [4] du Plessis A, Rossouw P. X-ray computed tomography of a titanium aerospace investment casting. Case Studies in Nondestructive Testing and Evaluation, 2015, 3: 21-26 doi: 10.1016/j.csndt.2015.03.001 [5] Gameros A, De Chiffre L, Siller H R, Hiller J, Genta G. A reverse engineering methodology for nickel alloy turbine blades with internal features. CIRP Journal of Manufacturing Science and Technology, 2015, 9: 116-124 doi: 10.1016/j.cirpj.2014.12.001 [6] Li B, Chen L, Wang Y G, Gao M Q. 3D detection of internal defects for gas turbine blades. Insight-Non-Destructive Testing and Condition Monitoring, 2017, 59(7): 364-370 doi: 10.1784/insi.2017.59.7.364 [7] Przysowa R, Chalimoniuk M, Grzelka-Gajek D, Shakalo R, Karpenko A. CT inspection of cooled turbine blades. Journal of KONBiN, 2020, 50(3): 307-331 doi: 10.2478/jok-2020-0064 [8] 张辉, 张邹铨, 陈煜嵘, 吴天月, 钟杭, 王耀南. 工业铸件缺陷无损检测技术的应用进展与展望. 自动化学报, 2022, 48(4): 935-956Zhang Hui, Zhang Zou-Quan, Chen Yu-Rong, Wu Tian-Yue, Zhong Hang, Wang Yao-Nan. Application advance and prospect of nondestructive testing technology for industrial casting defects. Acta Automatica Sinica, 2022, 48(4): 935-956 [9] 朱雄泳, 吴炆芳, 陆许明, 谭洪舟, 邹兵兵. 基于一致性敏感哈希块匹配的HDR图像去伪影融合方法. 自动化学报, 2020, 46(7): 1496-1506Zhu Xiong-Yong, Wu Wen-Fang, Lu Xu-Ming, Tan Hong-Zhou, Zou Bing-Bing. High-dynamic-range image de-ghosting fusion method based on coherency sensitive hashing patch-match. Acta Automatica Sinica, 2020, 46(7): 1496-1506 [10] 李阳, 赵于前, 廖苗, 廖胜辉, 杨振. 基于水平集和形状描述符的腹部CT序列肝脏自动分割. 自动化学报, 2021, 47(2): 327-337Li Yang, Zhao Yu-Qian, Liao Miao, Liao Sheng-Hui, Yang Zhen. Automatic liver segmentation from CT volumes based on level set and shape descriptor. Acta Automatica Sinica, 2021, 47(2): 327-337 [11] 张朋, 张慧滔, 赵云松. X射线CT成像的数学模型及其有关问题. 数学建模及其应用, 2012, 1(1): 1-12 doi: 10.3969/j.issn.2095-3070.2012.01.001Zhang Peng, Zhang Hui-Tao, Zhao Yun-Song. The mathematical models on X-ray CT and their related issues. Mathematical Modeling and its Applications, 2012, 1(1): 1-12 doi: 10.3969/j.issn.2095-3070.2012.01.001 [12] Yang F Q, Zhang D H, Zhang H, Huang K D, Du Y, Teng M X. Streaking artifacts suppression for cone-beam computed tomography with the residual learning in neural network. Neurocomputing, 2020, 378: 65-78 doi: 10.1016/j.neucom.2019.09.087 [13] 袁翠云, 齐宏亮, 陈梓嘉, 吴书裕, 徐圆, 周凌宏. 基于投影域校正的CT图像环形伪影去除方法. 计算机工程与设计, 2017, 38(3): 735-738Yuan Cui-Yun, Qi Hong-Liang, Chen Zi-Jia, Wu Shu-Yu, Xu Yuan, Zhou Ling-Hong. CT image ring artifact reduction based on projection correction. Computer Engineering and Design, 2017, 38(3): 735-738 [14] Hu D L, Liu J, Lv T L, Zhao Q L, Zhang Y K, Quan G T, et al. Hybrid-domain neural network processing for sparse-view CT reconstruction. IEEE Transactions on Radiation and Plasma Medical Sciences, 2021, 5(1): 88-98 doi: 10.1109/TRPMS.2020.3011413 [15] Xu M R, Hu D L, Luo F L, Liu F L, Wang S Y, Wu W W. Limited-angle X-ray CT reconstruction using Image gradient ℓ_0-norm with dictionary learning. IEEE Transactions on Radiation and Plasma Medical Sciences, 2021, 5(1): 78-87 doi: 10.1109/TRPMS.2020.2991887 [16] 沈康, 刘松德, 施钧辉, 田超. 基于双域神经网络的稀疏视角光声图像重建. 中国激光, 2022, 49(5): Article No. 0507017Shen Kang, Liu Song-De, Shi Jun-Hui, Tian Chao. Dual-domain neural network for sparse-view photoacoustic image reconstruction. Chinese Journal of Lasers, 2022, 49(5): Article No. 0507017 [17] Greffier J, Frandon J, Larbi A, Beregi J P, Pereira J. CT iterative reconstruction algorithms: A task-based image quality assessment. European Radiology, 2020, 30(1): 487-500 doi: 10.1007/s00330-019-06359-6 [18] 胡伟达, 李庆, 陈效双, 陆卫. 具有变革性特征的红外光电探测器. 物理学报, 2019, 68(12): Article No. 120701 doi: 10.7498/aps.68.20190281Hu Wei-Da, Li Qing, Chen Xiao-Shuang, Lu Wei. Recent progress on advanced infrared photodetectors. Acta Physica Sinica, 2019, 68(12): Article No. 120701 doi: 10.7498/aps.68.20190281 [19] 沈百飞, 吉亮亮, 张晓梅, 步志刚, 徐建彩. 强场X射线激光物理. 物理学报, 2021, 70(8): Article No. 084101Shen Bai-Fei, Ji Liang-Liang, Zhang Xiao-Mei, Bu Zhi-Gang, Xu Jian-Cai. High field X-ray laser physics. Acta Physica Sinica, 2021, 70(8): Article No. 084101 [20] Kak A C, Slaney M, Wang G. Principles of computerized tomographic imaging. Medical Physics, 2002, 29(1): Article No. 107 [21] Ito S, Toda N. Improvement of CT reconstruction using scattered X-rays. IEICE Transactions on Information and Systems, 2021, E104.D(8): 1378-1385 doi: 10.1587/transinf.2020EDP7241 [22] Wiegert D I J, Ohm U D I J R. Scattered Radiation in Cone-beam Computed Tomography: Analysis, Quantification and Compensation. Germany: Publication Server of RWTH Aachen University, 2007. 12−19 [23] 刘建邦, 席晓琦, 韩玉, 李磊, 卜海兵, 闫镔. 基于K-N模型的锥束CT散射伪影校正方法. 光学学报, 2018, 38(11): Article No. 1134001 doi: 10.3788/AOS201838.1134001Liu Jian-Bang, Xi Xiao-Qi, Han Yu, Li Lei, Bu Hai-Bing, Yan Bin. A new scattering artifact correction method based on K-N formula for cone-beam computed tomography. Acta Optica Sinica, 2018, 38(11): Article No. 1134001 doi: 10.3788/AOS201838.1134001 [24] 张定华, 胡栋材, 黄魁东, 孔永茂. 基于射束衰减网格的锥束CT散射校正方法. 中国机械工程, 2009, 20(6): 639-643 doi: 10.3321/j.issn:1004-132X.2009.06.003Zhang Ding-Hua, Hu Dong-Cai, Huang Kui-Dong, Kong Yong-Mao. Beam attenuation grid-based scatter correction method for cone beam CT. China Mechanical Engineering, 2009, 20(6): 639-643 doi: 10.3321/j.issn:1004-132X.2009.06.003 [25] 胡栋材, 陈浩, 张定华. 基于平板探测器的锥束CT散射校正方法. CT理论与应用研究, 2009, 18(1): 16-22Hu Dong-Cai, Chen Hao, Zhang Ding-Hua. Scatter correction method for flat-panel detector-based cone beam CT. CT Theory and Applications, 2009, 18(1): 16-22 [26] Bootsma G J, Verhaegen F, Jaffray D A. The effects of compensator and imaging geometry on the distribution of X-ray scatter in CBCT. Medical Physics, 2011, 38(2): 897-914 doi: 10.1118/1.3539575 [27] 谢世朋, 罗立民. 基于衰减板的锥束CT散射校正. 电子学报, 2011, 39(7): 1708-1711Xie Shi-Peng, Luo Li-Min. Scatter correction for cone beam CT using attenuation baffle. Acta Electronica Sinica, 2011, 39(7): 1708-1711 [28] Maier J, Sawall S, Knaup M, Kachelrieß M. Deep scatter estimation (DSE): Accurate real-time scatter estimation for X-ray CT using a deep convolutional neural network. Journal of Nondestructive Evaluation, 2018, 37(3): Article No. 57 doi: 10.1007/s10921-018-0507-z [29] Zhou X, Sun J F, Jiang P, Liu D, Wang Q. Effect of optical-scattering characteristics with modified kernel-based model on the triggering probability of Gm-APD. Journal of Quantitative Spectroscopy and Radiative Transfer, 2020, 243: Article No. 106814 doi: 10.1016/j.jqsrt.2019.106814 [30] Ouyang L, Song K, Wang J. A moving blocker system for cone-beam computed tomography scatter correction. Medical Physics, 2013, 40(7): Article No. 071903 [31] Ritschl L, Fahrig R, Knaup M, Maier J, Kachelrieß M. Robust primary modulation-based scatter estimation for cone-beam CT. Medical Physics, 2015, 42(1): 469-478 doi: 10.1118/1.4903261 [32] Bier B, Berger M, Maier A, Kachelrieß M, Ritschl L, Müller K, et al. Scatter correction using a primary modulator on a clinical angiography C-arm CT system. Medical Physics, 2017, 44(9): e125-e137 doi: 10.1002/mp.12094 [33] Zhang Y M, Chen Y S, Zhong A N. Jia X, Wu S Y, Qi H L, et al. Scatter correction based on adaptive photon path-based Monte Carlo simulation method in multi-GPU platform. Computer Methods and Programs in Biomedicine, 2020, 194: Article No. 105487 doi: 10.1016/j.cmpb.2020.105487 [34] Xiang H W, Lim H, Fessler J A, Dewaraja Y K. A deep neural network for fast and accurate scatter estimation in quantitative SPECT/CT under challenging scatter conditions. European Journal of Nuclear Medicine and Molecular Imaging, 2020, 47(13): 2956-2967 doi: 10.1007/s00259-020-04840-9 [35] Iskender B, Bresler Y. A physics-motivated DNN for X-ray CT scatter correction. In: Proceedings of the 17th International Symposium on Biomedical Imaging. Iowa, USA: IEEE, 2019. 609−613 [36] Tien H J, Yang H C, Shueng P W, Chen J C. Cone-beam CT image quality improvement using Cycle-Deblur consistent adversarial networks (Cycle-Deblur GAN) for chest CT imaging in breast cancer patients. Scientific Reports, 2021, 11(1): Article No. 1133 doi: 10.1038/s41598-020-80803-2 [37] Liang X K, Li N, Zhang Z C, Yu S D, Qin W J, Li Y F, et al. Shading correction for volumetric CT using deep convolutional neural network and adaptive filter. Quantitative Imaging in Medicine and Surgery, 2019, 9(7): 1242-1254 doi: 10.21037/qims.2019.05.19 [38] Pivot O, Fournier C, Tabary J, Letang J M, Rit S. Scatter correction for spectral CT using a primary modulator mask. IEEE Transactions on Medical Imaging, 2020, 39(6): 2267-2276 doi: 10.1109/TMI.2020.2970296 [39] Liang X K, Jiang Y K, Zhao W, Zhang Z C, Luo C, Xiong J, et al. Scatter correction for a clinical cone-beam CT system using an optimized stationary beam blocker in a single scan. Medical physics, 2019, 46(7): 3165-3179 doi: 10.1002/mp.13568 [40] Tu S J. Scatter-to-primary ratio in cone beam computed tomography with extended source to image-receptor distance for image-guided proton beam therapy system. Radiation Physics and Chemistry, 2020, 170: Article No. 108667 doi: 10.1016/j.radphyschem.2019.108667 [41] Siewerdsen J H, Moseley D J, Bakhtiar B, Richard S, Jaffray D A. The influence of antiscatter grids on soft-tissue detectability in cone-beam computed tomography with flat-panel detectors. Medical Physics, 2004, 31(12): 3506-3520 doi: 10.1118/1.1819789 [42] Yang F Q, Zhang D H, Zhang H, Huang K D. Scattering measurement and estimation in angular sequence for cone-beam CT based on projection structural tensor and modeling. Journal of X-Ray Science and Technology, 2019, 27(5): 965-979 doi: 10.3233/XST-190528 [43] Yang F Q, Zhang D H, Huang K D, Shi W L, Wang X Y. Scattering estimation for cone-beam CT using local measurement based on compressed sensing. IEEE Transactions on Nuclear Science, 2018, 65(3): 941-949 doi: 10.1109/TNS.2018.2803739 [44] Sun M, Star-Lack J M. Improved scatter correction using adaptive scatter kernel superposition. Physics in Medicine & Biology, 2010, 55(22): 6695-6720 [45] Bootsma G J, Verhaegen F, Jaffray D A. Efficient scatter distribution estimation and correction in CBCT using concurrent Monte Carlo fitting. Medical Physics, 2015, 42(1): 54-68 [46] Yan H, Mou X Q, Tang S J, Xu Q, Zankl M. Projection correlation based view interpolation for cone beam CT: Primary fluence restoration in scatter measurement with a moving beam stop array. Physics in Medicine & Biology, 2010, 55(21): 6353-6375 [47] 戎军艳, 刘文磊, 高鹏, 廖琪梅, 卢虹冰. 锥束CT散射抑制方法综述. CT理论与应用研究, 2016, 25(2): 235-250 doi: 10.15953/j.1004-4140.2016.25.02.15Rong Jun-Yan, Liu Wen-Lei, Gao Peng, Liao Qi-Mei, Lu Hong-Bing. The review of scatter suppression methods in cone beam CT. CT Theory and Applications, 2016, 25(2): 235-250 doi: 10.15953/j.1004-4140.2016.25.02.15 [48] van der Heyden B, Uray M, Fonseca G P, Huber P, Us D, Messner I, et al. A Monte Carlo based scatter removal method for non-isocentric cone-beam CT acquisitions using a deep convolutional autoencoder. Physics in Medicine & Biology, 2020, 65(14): Article No. 145002 [49] 施俊, 汪琳琳, 王珊珊, 陈艳霞, 王乾, 魏冬铭, 等. 深度学习在医学影像中的应用综述. 中国图象图形学报, 2020, 25(10): 1953-1981 doi: 10.11834/jig.200255Shi Jun, Wang Lin-Lin, Wang Shan-Shan, Chen Yan-Xia, Wang Qian, Wei Dong-Ming, et al. Applications of deep learning in medical imaging: A survey. Journal of Image and Graphics, 2020, 25(10): 1953-1981 doi: 10.11834/jig.200255 [50] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, 2016. 770−778 [51] Jiang Y K, Yang C L, Yang P F, Hu X, Luo C, Xue Y, et al. Scatter correction of cone-beam CT using a deep residual convolution neural network (DRCNN). Physics in Medicine & Biology, 2019, 64(14): Article No. 145003 [52] Hansen D C, Landry G, Kamp F, Li M L, Belka C, Parodi K, et al. ScatterNet: A convolutional neural network for cone-beam CT intensity correction. Medical Physics, 2018, 45(11): 4916-4926 doi: 10.1002/mp.13175 [53] Nomura Y, Xu Q, Shirato H, Shimizu S, Xing L. Projection-domain scatter correction for cone beam computed tomography using a residual convolutional neural network. Medical Physics, 2019, 46(7): 3142-3155 doi: 10.1002/mp.13583 [54] Cao W C, Hawker S, Fardell G, Price B, Dewulf W. An improved segmentation method for multi-material beam hardening correction in industrial X-ray computed tomography. Measurement Science and Technology, 2019, 30(12): Article No. 125403 doi: 10.1088/1361-6501/ab30bb [55] Tang S J, Huang K D, Cheng Y Y, Mou X Q, Tang X Y. Optimization based beam-hardening correction in CT under data integral invariant constraint. Physics in Medicine & Biology, 2018, 63(13): Article No. 135015 [56] Sarkar S, Wahi P, Munshi P. An empirical correction method for beam-hardening artifact in computerized tomography (CT) images. NDT & E International, 2019, 102: 104-113 [57] Ahmed O M H, Song Y S. A review of common beam hardening correction methods for industrial X-ray computed tomography. Sains Malaysiana, 2018, 47(8): 1883-1890 doi: 10.17576/jsm-2018-4708-29 [58] Yang Q, Fullagar W K, Myers G R, Latham S J, Varslot T, Sheppard A P, et al. X-ray attenuation models to account for beam hardening in computed tomography. Applied Optics, 2020, 59(29): 9126-9136 doi: 10.1364/AO.402304 [59] Shi H L, Yang Z, Luo S Q. Reduce beam hardening artifacts of polychromatic X-ray computed tomography by an iterative approximation approach. Journal of X-Ray Science and Technology, 2017, 25(3): 417-428 doi: 10.3233/XST-16187 [60] Luo S H, Wu H Z, Sun Y, Li J, Li G, Gu N. A fast beam hardening correction method incorporated in a filtered back-projection based MAP algorithm. Physics in Medicine & Biology, 2017, 62(5): 1810-1830 [61] Abdurahman S, Frysch R, Bismark R, Melnik S, Beuing O, Rose G. Beam hardening correction using cone beam consistency conditions. IEEE Transactions on Medical Imaging, 2018, 37(10): 2266-2277 doi: 10.1109/TMI.2018.2840343 [62] Levi J, Wu H, Eck B L, Fahmi R, Vembar M, Dhanantwar A, et al. Comparison of automated beam hardening correction (ABHC) algorithms for myocardial perfusion imaging using computed tomography. Medical Physics, 2021, 48(1): 287-299 doi: 10.1002/mp.14599 [63] Xiu G Y, Yuan C Y, Chen X H, Li X S. An innovative beam hardening correction method for computed tomography systems. Traitement du Signal, 2019, 36(6): 515-520 doi: 10.18280/ts.360606 [64] Ahmed O M H, Song Y S, Xie Z Y, Ayoub A A T. Calculation of beam hardening in industrial X-ray computed tomography and its correction using filtration and linearization methods. IOP Conference Series: Earth and Environmental Science, 2020, 461: Article No. 012082 [65] Lifton J J. Multi-material linearization beam hardening correction for computed tomography. Journal of X-Ray Science and Technology, 2017, 25(4): 629−640 [66] Yang F Q, Zhang D H, Zhang H, Huang K D. Cupping artifacts correction for polychromatic X-ray cone-beam computed tomography based on projection compensation and hardening behavior. Biomedical Signal Processing and Control, 2020, 57: Article No. 101823 doi: 10.1016/j.bspc.2019.101823 [67] Bismark R N K, Frysch R, Abdurahman S, Beuing O, Blessing M, Rose G. Reduction of beam hardening artifacts on real C-arm CT data using polychromatic statistical image reconstruction. Zeitschrift Für Medizinische Physik, 2020, 30(1): 40-50 [68] Abella M, Martínez C, Desco M, Vaquero J J, Fessler J A. Simplified statistical image reconstruction for X-ray CT with beam-hardening artifact compensation. IEEE Transactions on Medical Imaging, 2020, 39(1): 111-118 doi: 10.1109/TMI.2019.2921929 [69] Schumacher D, Sharma R, Grager J C, Schrapp M. Scatter and beam hardening reduction in industrial computed tomography using photon counting detectors. Measurement Science and Technology, 2018, 29(7): Article No. 075101 [70] Kimoto N, Hayashi H, Asakawa T, Lee C, Asahara T, Maeda T, et al. Effective atomic number image determination with an energy-resolving photon-counting detector using polychromatic X-ray attenuation by correcting for the beam hardening effect and detector response. Applied Radiation and Isotopes, 2021, 170: Article No. 109617 doi: 10.1016/j.apradiso.2021.109617 [71] Watanabe M, Sato E, Yoshida S, Yoshioka K, Oda Y, Moriyama H, et al. Photon-counting X-ray computed tomography using a YAP(Ce)-PMT detector and beam hardening. In: Proceedings of SPIE 11114, Hard X-Ray, Gamma-Ray, and Neutron Detector Physics XXI. San Diego, USA: SPIE, 2019. Article No. 111141D [72] Šalplachta J, Zikmund T, Zemek M, Břínek A, Takeda Y, Omote K, et al. Complete ring artifacts reduction procedure for lab-based X-ray nano CT systems. Sensors, 2021, 21(1): Article No. 238 [73] Sadi F, Lee S Y, Hasan K. Removal of ring artifacts in computed tomographic imaging using iterative center weighted median filter. Computers in Biology and Medicine, 2010, 40(1): 109-118 doi: 10.1016/j.compbiomed.2009.11.007 [74] Hasan K, Sadi F, Lee S Y. Removal of ring artifacts in micro-CT imaging using iterative morphological filters. Signal, Image and Video Processing, 2012, 6(1): 41-53 doi: 10.1007/s11760-010-0170-z [75] Prell D, Kyriakou Y, Kalender W A. Comparison of ring artifact correction methods for flat-detector CT. Physics in Medicine & Biology, 2009, 54(12): 3881-3895 [76] Wei Z P, Wiebe S, Chapman D. Ring artifacts removal from synchrotron CT image slices. Journal of Instrumentation, 2013, 8: Article No. C06006 [77] Anas E M A, Kim J G, Lee S Y, Hasan K. High-quality 3D correction of ring and radiant artifacts in flat panel detector-based cone beam volume CT imaging. Physics in Medicine & Biology, 2011, 56(19): 6495-6519 [78] Eldib M E, Hegazy M, Mun Y J, Cho M H, Cho M H, Lee S Y. A ring artifact correction method: Validation by micro-CT imaging with flat-panel detectors and a 2D photon-counting detector. Sensors, 2017, 17(2): Article No. 269 doi: 10.3390/s17020269 [79] 王珏, 黄苏红, 蔡玉芳. 工业CT图像环形伪影校正. 光学 精密工程, 2010, 18(5): 1226-1233Wang Jue, Huang Su-Hong, Cai Yu-Fang. Ring artifact correction for ICT images. Optics and Precision Engineering, 2010, 18(5): 1226-1233 [80] 霍其润, 李建武, 陆耀, 秦明. 基于变分的CT图像环形伪影校正. 自动化学报, 2019, 45(9): 1713-1726 doi: 10.16383/j.aas.c180258Huo Qi-Run, Li Jian-Wu, Lu Yao, Qin Ming. Variation-based ring artifact correction in CT images. Acta Automatica Sinica, 2019, 45(9): 1713-1726 doi: 10.16383/j.aas.c180258 [81] Yang Y F, Zhang D H, Yang F Q, Teng M X, Du Y, Huang K D. Post-processing method for the removal of mixed ring artifacts in CT images. Optics Express, 2020, 28(21): 30362-30378 doi: 10.1364/OE.401088 [82] 汪涛, 夏文军, 赵云松, 张意. CT金属伪影去除研究进展. 中国体视学与图像分析, 2020, 25(3): 207-223 doi: 10.13505/j.1007-1482.2020.25.03.001Wang Tao, Xia Wen-Jun, Zhao Yun-Song, Zhang Yi. Review of metal artifact reduction in computed tomography. Chinese Journal of Stereology and Image Analysis, 2020, 25(3): 207-223 doi: 10.13505/j.1007-1482.2020.25.03.001 [83] 魏星, 闫镔, 张峰, 李永丽, 席晓琦, 李磊. 多金属物体CT图像的金属伪影校正. 物理学报, 2014, 63(5): Article No. 058702Wei Xing, Yan Bin, Zhang Feng, Li Yong-Li, Xi Xiao-Qi, Li Lei. Reduction of metal artifacts caused by multiple metallic objects in computed tomography. Acta Physica Sinica, 2014, 63(5): Article No. 058702 [84] 李磊, 韩玉, 席晓琦, 王敬雨, 闫镔. 基于能谱滤波和图像残差重投影的CT图像金属伪影校正方法. 信息工程大学学报, 2017, 18(3): 288-293 doi: 10.3969/j.issn.1671-0673.2017.03.007Li Lei, Han Yu, Xi Xiao-Qi, Wang Jing-Yu, Yan Bin. Metal artifact correction method in computed tomography based on spectra filtering and image residual reprojection. Journal of Information Engineering University, 2017, 18(3): 288-293 doi: 10.3969/j.issn.1671-0673.2017.03.007 [85] 刘仰川, 高鹏, 朱叶晨, 高欣. 一种基于先验图像的锥束CT金属伪影校正算法. 图学学报, 2020, 41(4): 529-538Liu Yang-Chuan, Gao Peng, Zhu Ye-Chen, Gao Xin. A prior-image-based metal artifact reduction method for cone beam CT. Journal of Graphics, 2020, 41(4): 529-538 [86] Van Slambrouck K, Nuyts J. Metal artifact reduction in computed tomography using local models in an image block-iterative scheme. Medical Physics, 2012, 39(11): 7080-7093 doi: 10.1118/1.4762567 [87] Hegazy M A A, Cho M H, Cho M H, Lee S Y. U-net based metal segmentation on projection domain for metal artifact reduction in dental CT. Biomedical Engineering Letters, 2019, 9(3): 375-385 doi: 10.1007/s13534-019-00110-2 [88] 马燕, 余海军, 钟发生, 刘丰林. 基于残差编解码网络的CT图像金属伪影校正. 仪器仪表学报, 2020, 41(8): 160-169 doi: 10.19650/j.cnki.cjsi.J2006503Ma Yan, Yu Hai-Jun, Zhong Fa-Sheng, Liu Feng-Lin. CT metal artifact reduction based on the residual encoder-decoder network. Chinese Journal of Scientific Instrument, 2020, 41(8): 160-169 doi: 10.19650/j.cnki.cjsi.J2006503 [89] Zhang Y B, Yu H Y. Convolutional neural network based metal artifact reduction in X-ray computed tomography. IEEE Transactions on Medical Imaging, 2018, 37(6): 1370-1381 doi: 10.1109/TMI.2018.2823083 [90] Gomi T, Sakai R, Hara H, Watanabe Y, Mizukami S. Usefulness of a metal artifact reduction algorithm in digital tomosynthesis using a combination of hybrid generative adversarial networks. Diagnostics, 2021, 11(9): Article No. 1629 doi: 10.3390/diagnostics11091629 [91] Hao S L, Liu J, Chen Y, Liu B D, Wei C F, Zhu J, et al. A wavelet transform-based photon starvation artifacts suppression algorithm in CT imaging. Physics in Medicine & Biology, 2020, 65(23): Article No. 235039 [92] Yazdi M, Beaulieu L. Artifacts in spiral X-ray CT scanners: Problems and solutions. International Journal of Electrical, Computer, Energetic, Electronic and Communication Engineering, 2007, 1(11): 1599−1603 [93] 李保磊, 莫阳, 张萍宇, 李斌, 张耀军. X射线CT成像条状伪影校正. 原子能科学技术, 2017, 51(11): 2075-2078 doi: 10.7538/yzk.2017.youxian.0225Li Bao-Lei, Mo Yang, Zhang Ping-Yu, Li Bin, Zhang Yao-Jun. Streak artifact correction in X-ray CT imaging. Atomic Energy Science and Technology, 2017, 51(11): 2075-2078 doi: 10.7538/yzk.2017.youxian.0225 [94] Yang F Q, Zhang D H, Zhang H, Huang K D, Du Y. Fusion reconstruction algorithm to ill-posed projection (FRAiPP) for artifacts suppression on X-ray computed tomography. Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, 2020, 976: Article No. 164263 doi: 10.1016/j.nima.2020.164263 [95] 康慧, 高红霞, 胡跃明, 郭琪伟. 基于Bregman迭代的CT图像重建算法. 自动化学报, 2013, 39(9): 1570-1575Kang Hui, Gao Hong-Xia, Hu Yue-Ming, Guo Qi-Wei. Reconstruction algorithm based on Bregman iteration. Acta Automatica Sinica, 2013, 39(9): 1570-1575 [96] 王娜, 张权, 刘祎, 贾丽娜, 桂志国. 基于可变阶变分模型的医用低剂量CT图像去噪. 北京航空航天大学学报, 2019, 45(9): 1757-1764 doi: 10.13700/j.bh.1001-5965.2018.0775Wang Na, Zhang Quan, Liu Yi, Jia Li-Na, Gui Zhi-Guo. Medical low-dose CT image denoising based on variable order variational model. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(9): 1757-1764 doi: 10.13700/j.bh.1001-5965.2018.0775 [97] 卢洪义, 陈庆贵, 周红梅, 赵汝岩, 张宗伟, 喻舟. 固体火箭发动机CT图像条状伪影校正. 航空动力学报, 2016, 31(10): 2515-2521 doi: 10.13224/j.cnki.jasp.2016.10.027Lu Hong-Yi, Chen Qing-Gui, Zhou Hong-Mei, Zhao Ru-Yan, Zhang Zong-Wei, Yu Zhou. Streak artifacts correction of solid rocket motor's CT image. Journal of Aerospace Power, 2016, 31(10): 2515-2521 doi: 10.13224/j.cnki.jasp.2016.10.027 [98] Xu Q, Yu H Y, Mou X Q, Zhang L, Hsieh J, Wang G. Low-dose X-ray CT reconstruction via dictionary learning. IEEE Transactions on Medical Imaging, 2012, 31(9): 1682-1697 doi: 10.1109/TMI.2012.2195669 [99] Karimi D, Ward R. Reducing streak artifacts in computed tomography via sparse representation in coupled dictionaries. Medical Physics, 2016, 43(3): 1473-1486 doi: 10.1118/1.4942376 [100] Yang F Q, Zhang D H, Huang K D, Gao Z Z, Yang Y F. Incomplete projection reconstruction of computed tomography based on the modified discrete algebraic reconstruction technique. Measurement Science and Technology, 2018, 29(2): Article No. 025405 [101] Mori I, Machida Y, Osanai M, Iinuma K. Photon starvation artifacts of X-ray CT: Their true cause and a solution. Radiological Physics and Technology, 2013, 6(1): 130-141 doi: 10.1007/s12194-012-0179-9 [102] 孔慧华, 杨玉双. 同步辐射CT投影数据中的带状伪影及重建误差分析. 中北大学学报(自然科学版), 2016, 37(1): 61-66, 75Kong Hui-Hua, Yang Yu-Shuang. Analysis on reconstructed errors and band-artifacts in projections for synchrotron radiation computed tomography. Journal of North University of China (Natural Science Edition), 2016, 37(1): 61-66, 75 [103] Sun B Y, Hayakawa Y. Impact of statistical reconstruction and compressed sensing algorithms on projection data elimination during X-ray CT image reconstruction. Oral Radiology, 2018, 34(3): 237-244 doi: 10.1007/s11282-017-0308-6 [104] Sun L Y, Fan Z W, Fu X Y, Huang Y, Ding X H, Paisley J. A deep information sharing network for multi-contrast compressed sensing MRI reconstruction. IEEE Transactions on Image Processing, 2019, 28(12): 6141-6153 doi: 10.1109/TIP.2019.2925288 [105] Dinh K Q, Shim H J, Jeon B. Weighted overlapped recovery for blocking artefacts reduction in block-based compressive sensing of images. Electronics Letters, 2015, 51(1): 48-50 doi: 10.1049/el.2014.3200 [106] He G, Huang N J. A new particle swarm optimization algorithm with an application. Applied Mathematics and Computation, 2014, 232: 521-528 doi: 10.1016/j.amc.2014.01.028 [107] Singh A, Singh J. A content adaptive method of de-blocking and super-resolution of compressed images. Multimedia Tools and Applications, 2021, 80(7): 11095-11131 doi: 10.1007/s11042-020-10112-3 [108] 张娜, 曹琨, 刘亚轩. 基于块分割的新型压缩感知算法. 东北大学学报(自然科学版), 2017, 38(4): 486-491, 496 doi: 10.12068/j.issn.1005-3026.2017.04.007Zhang Na, Cao Kun, Liu Ya-Xuan. New compressive sensing algorithm based on block segmentation. Journal of Northeastern University (Natural Science), 2017, 38(4): 486-491, 496 doi: 10.12068/j.issn.1005-3026.2017.04.007 [109] Cavigelli L, Hager P, Benini L. CAS-CNN: A deep convolutional neural network for image compression artifact suppression. In: Proceedings of the International Joint Conference on Neural Networks (IJCNN). Anchorage, AK, USA: IEEE, 2017. 752−759 [110] Lin M H, Yeh C H, Lin C H, Huang C H, Kang L W. Deep multi-scale residual learning-based blocking artifacts reduction for compressed images. In: Proceedings of the IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS). Hsinchu, Taiwan, China: IEEE, 2019. 18−19 [111] Xiao Y S, Han F D, Chen Z Q. Correct block artifacts by differential projection for a dynamic computed tomography system. Measurement Science and Technology, 2017, 28(9): Article No. 094001 [112] Wang B, Chen Z Q, Dewulf W, Pauwels R, Yao Z Y, Hou Q H, et al. U-net-based blocked artifacts removal method for dynamic computed tomography. Applied Optics, 2019, 58(14): 3748-3753 doi: 10.1364/AO.58.003748 [113] Zhao Z S, Sun Q, Yang H R, Qiao H, Wang Z G, Wu D O. Compression artifacts reduction by improved generative adversarial networks. EURASIP Journal on Image and Video Processing, 2019, 2019(1): Article No. 62 doi: 10.1186/s13640-019-0465-0 [114] 李少波, 杨静, 王铮, 朱书德, 杨观赐. 缺陷检测技术的发展与应用研究综述. 自动化学报, 2020, 46(11): 2319-2336 doi: 10.16383/j.aas.c180538Li Shao-Bo, Yang Jing, Wang Zheng, Zhu Shu-De, Yang Guan-Ci. Review of development and application of defect detection technology. Acta Automatica Sinica, 2020, 46(11): 2319-2336 doi: 10.16383/j.aas.c180538 [115] Podgorsak A R, Bhurwani M M S, Ionita C N. CT artifact correction for sparse and truncated projection data using generative adversarial networks. Medical Physics, 2021, 48(2): 615-626 doi: 10.1002/mp.14504 [116] Lu Y H, Zheng K, Li W J, Wang Y R, Harrison A P, Lin C, et al. Contour transformer network for one-shot segmentation of anatomical structures. IEEE Transactions on Medical Imaging, 2021, 40(10): 2672-2684 doi: 10.1109/TMI.2020.3043375 [117] Gabbar H A, Chahid A, Khan J A, Adegboro O G, Samson M I. CTIMS: Automated defect detection framework using computed tomography. Applied Sciences, 2022, 12(4): Article No. 2175 doi: 10.3390/app12042175 [118] Anvari P, Ashrafkhorasani M, Habibi A, Falavarjani K G. Artifacts in optical coherence tomography angiography. Journal of Ophthalmic & Vision Research, 2021, 16(2): 271-286 [119] 柴天佑. 工业人工智能发展方向. 自动化学报, 2020, 46(10): 2005-2012 doi: 10.16383/j.aas.c200796Chai Tian-You. Development directions of industrial artificial intelligence. Acta Automatica Sinica, 2020, 46(10): 2005-2012 doi: 10.16383/j.aas.c200796 期刊类型引用(11)
1. 刘鑫屏，陈艺文，董子健. 基于混合算法下RBF神经网络的执行机构非线性特性在线辨识与补偿. 动力工程学报. 2024(05): 792-801 . 
百度学术2. 曾科军，张慧娟，赵书圆. 结合EEMD的噪声对消方法在遥测振动信号降噪中的应用. 兵工自动化. 2024(06): 15-20 . 百度学术3. 胡磊，韩敏. 基于核共轭梯度演化模糊系统的混沌时间序列在线预测. 控制与决策. 2024(09): 3099-3107 . 百度学术4. 张小洁，白蕾. 基于LMS的三阶Volterra自适应滤波器的时间序列数据预测算法的研究. 工业仪表与自动化装置. 2023(01): 108-111+115 . 百度学术5. 邓真平. 基于集成深度神经网络的短时电力负荷曲线预测方法. 重庆电力高等专科学校学报. 2023(01): 5-10 . 百度学术6. 孙蓉，李强，吴盛军，刘伟伟. 基于多尺度通道融合学习的时空数据预测模型. 计算机仿真. 2023(02): 524-529 . 百度学术7. 汤兴恒，郭强，徐天慧，张彩明. 基于多尺度核自适应滤波的股票收益预测. 计算机应用. 2023(05): 1385-1393 . 百度学术8. 李艳，杨丽芝，张磊，张万杰，李宏梅. 基于时间序列数据库的电网访问服务端风险预警研究. 电子设计工程. 2023(18): 123-126+131 . 百度学术9. 陈怡，谢金凤，徐千淞，刘彦鹏. 一种非高斯脉冲干扰下的混合线性和非线性自适应滤波算法研究. 信息记录材料. 2022(03): 205-207 . 百度学术10. 刘辉，曾鹏飞. 基于WGRA-FCM样本相似性度量的转炉炼钢终点碳温软测量方法. 控制与决策. 2021(09): 2170-2178 . 百度学术11. 王小平，施新岚. 道路复杂交通场景下的改进MDnet目标跟踪算法. 重庆交通大学学报(自然科学版). 2021(12): 19-26 . 百度学术其他类型引用(16)
-
下载:
计量
- 文章访问数: 1296
- HTML全文浏览量: 1068
- PDF下载量: 461
- 被引次数: 27
