-
摘要: 孪生网络跟踪算法在训练阶段多数采用
$ {L_2}$ 正则化, 而忽略了网络架构的层次和特点, 因此跟踪的鲁棒性较差. 针对该问题, 提出一种分段式细粒度正则化跟踪(Segmented fine-grained regularization tracking, SFGRT)算法, 将孪生网络的正则化划分为滤波器、通道和神经元三个粒度层次. 创新性地建立了分段式细粒度正则化模型, 分段式可针对不同层次粒度组合, 利用组套索构造惩罚函数, 并通过梯度自平衡优化函数自适应地优化各惩罚函数系数, 该模型可提升网络架构的泛化能力并增强鲁棒性. 最后, 基于VOT2019跟踪数据库的消融实验表明, 与基线算法SiamRPN++比较, 在鲁棒性指标上降低了7.1%及在平均重叠期望(Expected average overlap, EAO)指标上提升了1.7%, 由于鲁棒性指标越小越好, 因此鲁棒性得到显著增强. 基于VOT2018、VOT2019、UAV123和LaSOT等主流数据库的实验也表明, 与国际前沿跟踪算法相比, 所提算法具有较好的鲁棒性和跟踪性能.Abstract: Most of the Siamese network tracking algorithms use$ {L_2}$ regularization in the training stage, while ignoring the hierarchy and characteristic of the network architecture. As a result, such trackers have poor robustness. With this insight, we propose a segmented fine-grained regularization tracking (SFGRT) algorithm, which divides the regularization of Siamese network into three fine-grained levels, namely filter level, channel level and shape level. Then we creatively build a segmented fine-grained regularization model that constructs penalty functions based on group lasso, which combines with different levels of granularity to improve generalization ability and robustness. In addition, aiming at the imbalance of gradient magnitude of each penalty function, our approach constructs a gradient self-balancing optimization function to adaptively optimize the coefficients of each penalty function. Finally, ablation study on VOT2019 show that compared with the baseline algorithm SiamRPN++, our approach achieves relative gains of 7.1% and 1.7% in terms of robustness and expected average overlap (EAO) metrics, respectively. It means that the robustness of our tracker is significantly enhanced over baseline tracker since the smaller the robustness metrics, the better. Extensive experiments based on VOT2018, VOT2019, UAV123 and LaSOT show that the proposed algorithm has better robustness and tracking performance than related state-of-the-art methods.-
Key words:
- Visual tracking /
- Siamese network /
- fine-grained regularization /
- group lasso
-
生成式对抗网络(Generative adversarial networks, GANs)是2014年 Goodfellow等[1]依据零和博弈思想和纳什均衡原理提出的一种数据生成模型, 被广泛应用于图像生成领域. GANs在网络结构上主要由生成器G网络和判别器D网络组成[1-3]. G网络的目的是将随机噪声映射到训练集分布中, 对随机噪声和训练数据的联合概率密度进行建模, 关注于数据生成过程. D网络的目的是区分出馈入样本的类别问题, 关注于生成数据和训练数据的最优分界面. GANs的最大特点是对抗学习方式, 训练过程中G网络和D网络交替对抗训练, 两者的能力同步提升.
由于GANs在图像数据生成上的出色表现, 此后为提高GANs生成图像的多样性(模式坍塌问题)和质量等, 研究者提出了许多GANs衍生模型.
从加入条件变量和图像隐码控制方面进行改进. Mirza等[4]提出的条件生成式对抗网络尝试利用训练集样本的某些信息(如图像类别标签)来提高随机噪声
$ z $ 的可解释性, 使得生成图像质量有所提高. Odena[5]提出的半监督学习生成式对抗网络将GANs进行拓展, 利用半监督学习使得D网络分类能力提高, 能够有效提高生成图像质量及收敛速度. Odena等[6]提出的辅助分类器生成式对抗网络可实现多分类问题, 输出的则是对应标签的概率值, 有效提高了GANs模型模拟多类别、高分辨率数据集的效果. Chen等[7]提出的信息极大化生成式对抗网络在GANs对抗学习的基础上, 通过引入一个训练集样本对应的隐含信息(如类别标签, 倾斜度), 使得隐含信息与生成样本具有较高的互信息, 有效提高图像生成质量. Donahue等[8]提出双向生成式对抗网络 (Bidirectional generative adversarial networks, BiGANs)是一种双向结构的对抗模型, 增加了一个训练好的编码器E 网络用于提取训练样本隐码c, 在D网络的馈入信息是随机噪声z与对应生成样本配对或样本隐码c与对应的训练样本配对, 在生成实际场景图像上能取得很好的效果. 以上GANs中对于需要标签信息的GANs模型限制了其在无监督对抗学习中的应用. 双向生成式对抗网络中隐码的引入使得训练样本反复被编码器编码, 而且馈入到D网络的数据不仅仅是图像样本, 还有隐码c, 整个GANs网络框架变得更复杂, 增加训练代价.从GANs网络结构或框架设计方面进行改进. Radford等[9]提出的深度卷积生成式对抗网络(Deep convolutional generative adversarial networks, DCGANs)使用重新设计的卷积神经网络作为G和D网络, 能够有效提高图像生成质量, 并且成为GANs网络结构设计上的标准模型之一. Denton等[10]提出的一种拉普拉斯金字塔生成式对抗网络模型, 结合GANs和条件GANs的一些优点, 使用多个GANs逐层地生成高质量自然图像. Brock等[11]基于残差网络设计的大型生成式对抗网络能有效生成大尺寸, 高质量的自然图像, 但参数量明显大于一般GANs模型, 需要更多的硬件资源和时间成本. Nguyen等[12]提出的双判别器生成式对抗网络使用两个D网络更细化GANs中D网络的分类任务, 能使得训练收敛速度变快及提高生成图像的多样性. 张龙等[13]提出一种协作式结构的GANs模型提高生成图像质量, 一定程度避免了模式坍塌现象的发生. GANs网络结构的设计通常难度较大, 这也是到目前为止, 通过结构设计提升GANs能力的经典GANs模型很少的主要原因.
从优化目标函数梯度消失方面进行改进. GANs优化Jensen-Shannon (JS)散度时可能导致梯度消失, 使得训练效果相对较差, 多样性不足[14]. 研究者主要是使用其他散度代替JS散度. Arjovsky等[14]提出沃瑟斯坦距离生成式对抗网络, 利用沃瑟斯坦距离来描述作为两个分布的相似度; 这有效避免了优化JS散度容易出现的梯度消失现象, 但对D网络权重剪枝比较粗暴. Mao等[15]提出的最小二乘生成式对抗网络(Least squares generative adversarial networks, Least squares GANs或LSGANs)是利用最小二乘原理, 将G和D网络的损失函数设计成最小二乘形式, 使得GANs优化生成数据分布和训练数据分布的Pearson散度, 避免梯度消失, 并且损失函数收敛过程更平稳. Berthelot等[16]提出的边界平衡生成式对抗网络(Boundary equilibrium generative adversarial networks, BEGANs)将一个自编码器作为D网络, 设计了G和D网络的平衡度量方法来优化沃瑟斯坦距离, 进而引入新的超参数来平衡两个网络训练, 以期得到更好的生成图像. Gulrajani等[17]提出的梯度惩罚沃瑟斯坦距离生成式对抗网络(WGANs with gradient penalty, WGANsGP), Wu等[18]提出的沃瑟斯坦散度生成式对抗网络均是WGANs的改进模型, 其中WGANsGP通过梯度惩罚的方式替换掉权重剪切, 从而避免因权重剪切导致的权重集中化和调参上的梯度消失问题. 沃瑟斯坦散度生成式对抗网络通过引入沃瑟斯坦散度, 从而去除WGANs中D网络的Lipschitz条件, 又能保留沃瑟斯坦距离度量两个分布的良好性质(如JS散度的梯度消失问题). Su[19]提出的对偶GANs模型, 通过引入合理的概率散度并找出它的对偶表达, 再将其转化成极小−极大博弈形式, 从而避免了类似于WGANs需要的Lipschitz条件和多数GANs容易发生梯度消失问题. Zhao等[20]提出基于能量的生成式对抗网络是将D网络看成能量函数, 提供了一种基于能量解释的GANs, 并且通过pull-away term策略来防止梯度消失问题导致的模式坍塌. 王功明等[21]等提出一种基于重构误差能量函数的GANs模型, 利用深度置信网络作为G网络, 能预防网络梯度消失, 在生成效果和网络学习效率上有所提升. 这些方法虽然能有效解决梯度消失问题, 但普遍需要比较多的迭代次数, 特别是优化沃瑟斯坦距离的GANs, 通常为使得D网络满足1-Lipschitz条件, 每个批次的训练中很可能需要对其进行多次训练.
除此之外还有其他的改进途径. Qi[22]提出的损失敏感型生成式对抗网络主要为了限制GANs试图模拟任意训练集分布的能力, 让生成模型能够更偏向于改进真实度不高的样本从而提高图像生成效果. Zhang等[23]提出的自注意力生成式对抗网络 (Self-attention generation adversarial networks, SAGANs), 利用注意力机制嵌入G网络和D网络中, 使得两个网络能更好地学习网络自发关注的训练图像特征提高了生成图像质量和多样性, 但其网络规模和训练迭代次数有所增加.
考虑到优化JS散度容易带来的梯度消失问题, 无监督GANs模型在训练上更便利的优点. 本文依然将JS散度作为主优化目标的前提下, 提出了一种基于训练集样本特征解码损失约束的无监督GANs模型. 所设计的模型不仅尽量避免优化JS散度可能带来的梯度消失问题, 同时也通过改进GANs网络拓扑结构, 融入样本本身的特征信息进行训练以提高GANs图像生成能力. 首先利用无监督特征学习模型预训练出训练集样本的中间层特征; 然后构建一个与G网络结构一致和权重共享的解码器Dec, 在每次对抗训练前使用本文设计的约束条件进行图像特征解码; 最后再进行优化JS散度的GANs对抗学习. 为验证所设计的GANs性能, 利用Celeba和Cifar10数据集, 对比分析了几种典型GANs模型的生成效果. 实验结果表明, 本文方法能有效提高生成图像的多样性和质量的同时, 还能减少训练所需的epoch数.
1. 对抗原理
GANs的典型结构由一个生成器G和判别器D组成. G网络的任务是模拟训练集
$ X $ 进行数据生成, D网络的任务是分辨出馈入的样本属于$ X $ 或者$G(Z) $ .G网络的每个输入量为一个随机噪声
$z, \;z \in Z$ 且$Z\sim F_Z(z)$ , 随机噪声$ z $ 的分布函数$ F_Z(z) $ 通常为正态分布或均匀分布. 记训练样本$x,\; x \in X$ 且$X\sim F_X(x)$ , 其中$ F_X(x) $ 为训练样本集$ X $ 的分布函数. 那么D和G网络的损失函数分别为:$$ \begin{array}{l} loss_D = \dfrac{1}{m}\displaystyle\sum\limits_{i = 1}^{m} \left[\ln{D(x_i) + \ln(1 - D(G(z_i)))}\right] \end{array} $$ (1) $$ \begin{array}{l} loss_G = \dfrac{1}{m}\displaystyle\sum\limits_{i = 1}^{m} \ln(1 - D(G(z_i))) \end{array} $$ (2) 式中,
$ m $ 是每次馈入神经网络样本的个数. 从而整个网络的博弈损失函数为:$$ \begin{split} \min\limits_G \max\limits_D V(G, D) =& {\rm{E}}_{X \sim F_X(x)}\left[\ln{D(x)}\right] + \\ &{\rm{E}}_{Z \sim F_Z(z)}\left[\ln(1 - D(G(z))) \right] \end{split} $$ (3) 式中,
$ V(G, D) $ 是一个二元极小极大零和博弈函数,${\rm{E}}(\cdot)$ 为期望函数. 优化损失函数最终目的为使得$G(Z)$ 的统计分布$ F_G(x) $ 趋近于训练样本集$ X $ 的分布$ F_X(x) $ . 为便于以下讨论, 使用概率密度函数代替分布函数来描述分布.2. 解码约束的GANs
本节先分析优化JS散度可能带来的梯度消失问题; 然后提出了本文解决方法, 同时给出了理论推导, 为本文的解决方法提供依据; 最后给出本文方法的训练步骤.
2.1 问题分析
为便于分析和讨论, 先引入Kullback-Leibler (KL)散度和JS散度的定义.
定义1[24]. 设两个具有相同样本空间
$ \Omega $ 的随机变量$ X $ 和$ G $ 的概率密度函数分别为$ f_X(x) $ 和$ f_G(x) .$ KL散度定义为:$$ \begin{array}{l} KL(f_X(x) || f_G(x)) = \int f_X(x) \ln{\frac{f_X(x)}{f_G(x)}} {\rm{d}}x \end{array} $$ (4) 上式定量了
$ f_G(x) $ 和$ f_X(x) $ 之间的相似程度, 如果$ f_G(x) $ 与$ f_X(x) $ 越相似, 那么$ KL(f_X(x)||f_G(x)) $ 值就越小.$ KL(f_X(x)||f_G(x)) $ 是非负函数, 当且仅当$ f_G(x) = f_X(x) $ 时取得最小值0. 它不具有通常距离函数中的对称和三角不等性质. 在信息论中KL散度表示的是用$ f_G(x) $ 拟合已知的$ f_X(x) $ 时产生的信息损耗.定义2[25]. 设两个具有相同样本空间
$ \Omega $ 的随机变量$ X $ 和$ G $ 的概率密度函数分别为$ f_X(x) $ 和$ f_G(x) .$ 它们的JS散度定义为:$$ \begin{split}& JS(f_X(x) || f_G(x)) = \frac{1}{2} KL\left(f_X(x) || \frac{f_X(x) + f_G(x)}{2}\right)+\\ &\qquad\frac{1}{2} KL\left(f_G(x) || \frac{f_X(x)+f_G(x)}{2}\right) \\[-15pt] \end{split} $$ (5) JS散度为非负函数,
$ f_G(x) $ 与$ f_X(x) $ 越相似时$ JS(f_X(x)||f_G(x)) $ 越小, 当且仅当$ f_G(x) = f_X(x) $ 时取得最小值0.$ f_G(x) $ 与$ f_X(x) $ 越不相似时$ JS(f_X(x)||$ $f_G(x)) $ 越接近常数1. 它具有距离函数中的对称和三角不等的性质.式(3)给出了GANs对抗表达形式, Goodfellow等[1]指出GANs 虚拟训练准则
$C(G) $ 当且仅当$ f_G(x) = f_X(x) $ 时取得全局最小值. 在最小点时,$C(G) $ 的极小值为 $-{\rm{ln}}4$ .$C(G) $ 如下所示:$$ \begin{array}{l} C(G) = -\ln4 + 2\cdot JS(f_X(x) || f_G(x)) \end{array} $$ (6) 式(6)表明, 式(3)的优化目标其实是最小化训练集
$ X $ 的概率密度函数$ f_X(x) $ 和生成集$G(Z) $ 的概率密度函数$ f_G(x) $ 的JS散度.Arjovsky等[14]在WGANs的分析过程中指出当生成样本集分布
$ f_G(x) $ 与训练样本集分布$ f_X(x) $ 的相似度越低, 即当两个分布的交叉区域越小,$ JS(f_X(x)||f_G(x)) $ 越接近于常数1. 这可能引发损失函数梯度消失的现象. 在GANs训练过程中,$ f_G(x) $ 是逐渐拟合$ f_X(x) $ 的过程, JS散度的固有性质可知, 在GANs 训练的起步阶段梯度消失现象更明显. 即使GANs能够继续通过优化方法进行参数更新, 为使得$ f_G(x) $ 与$ f_X(x) $ 有足够的相交区域, 也需要更多epoch数进行训练. 解决这个问题的一般方法是使用Pearson散度或沃瑟斯坦距离代替JS散度重新设计损失函数.2.2 特征解码约束的GANs
由第2.1节分析可知, JS散度为常数而导致梯度消失的一个重要前提是
$ f_G(x) $ 与$ f_X(x) $ 的相似度足够低. 那么通过添加约束条件利于$ f_G(x) $ 相似于$ f_X(x) $ 可以达到尽量避免JS散度为常数的目的, 为此本文设计了一种JS +$ \lambda \cdot $ KL混合散度的约束方法. 约束条件$ KL(f_X(x)||f_G(x)) $ 的目的是为使得$ f_G(x) $ 与$ f_X(x) $ 的相交区域变大.如图1所示, 本文设计的GANs分为3个部分: 1)特征学习部分: 目的是预训练出训练集
$ X $ 的特征集$ C $ . 2)解码学习部分: 目的是先通过本文设计的解码约束条件对特征集$ C $ 进行解码, 完成$ KL(f_X(x)||f_{Dec}(x)) $ 约束. 又通过解码器Dec与G网络结构一致, 参数共享, 以近似达到$ KL(f_X(x)|| f_G(x)) $ 约束. 最终使得在优化JS散度前$ f_G(x) $ 与$ f_X(x) $ 相交区域变大, JS散度不易为常数, 从而尽量避免出现梯度消失现象. 3)对抗学习部分: 通过优化JS散度使得$ f_G(x) $ 模拟$ f_X(x) $ . 其中特征学习部分是预训练, 解码学习和对抗学习部分需要一起动态学习. 与一般含自动编码机GANs不同的是, 本文自动编码机主要目的是预训练出可用的隐含特征. 例如, 与双向生成式对抗网络相比, 隐含特征$ c $ 不会馈入D网络对其参数更新及直接参与对抗训练, 仅用于解码学习; 与BEGANs相比, D网络的任务仍然是二分类, 无编码功能.2.2.1 特征学习
在图像特征学习中, 需要提取出图像的隐含信息, 用此表征原始图像. 自编码特征学习是一种有效的图像特征学习方法[26]. 常用的自动编码机较多, 除噪自动编码机[26-28]经过对训练样本加入噪声并进行降噪的训练过程, 能够强迫网络学习到更加鲁棒的不变性特征, 获得馈入图像的更有效和更鲁棒的表达. 收缩自动编码机[26, 29]能够较好地重构训练样本, 并且对训练样本一定程度的扰动具有不变性. 稀疏自动编码机[26, 30]将稀疏编码和自编码机结合, 可以提取馈入样本的稀疏显著性特征. 对于一般任务, 最常用的依然是经典自动编码机模型[26].
由于随机噪声z维度相对较低(如64或100维), 特征提取任务相对简单, 且为获取更好的重构图像效果. 本文将经典自动编码机结合U-Net网络模型[31], 建立了5层的全连接类似U-Net的自动编码机用于
$ C $ 的获取, 并且使得特征$ c $ 的维度与随机噪声$ z $ 的维度是相同的. 图2给出了U-Net型自动编码机用于获取$ X $ 的特征集$ C $ 的示意图. 该网络由5层神经元组成, 第3层用于特征提取, 特征图像像素个数与随机噪声$ z $ 维度相一致.训练过程中, 损失函数选用均方差损失函数:
$$ \begin{array}{l} loss_{AE} = \dfrac{1}{m} \displaystyle\sum\limits_{i = 1}^m (x_i - x_i^*)^2 \end{array} $$ (7) 式中,
$ x_i^* $ 是$ x_i $ 对应的重构图像.2.2.2 解码及对抗学习
设训练样本集
$ X $ 对应的特征集为$ C $ , 解码器为Dec, 它与G网络共享权重, 网络结构一致. 记$ X $ 的概率密度函数为$ f_X(x) $ . 解码集$Dec(C)$ 的概率密度函数为$ f_{Dec}(x) $ . 解码损失函数为:$$ \begin{array}{l} loss_{Dec} = \dfrac{1}{m} \displaystyle\sum\limits_{i = 1}^m ||x_i - Dec(c_i))|| \end{array} $$ (8) 式中,
$ x_i $ 为$ X $ 中的样本,$ c_i $ 为$ x_i $ 对应于$ C $ 中的样本,$ m $ 为样本个数.$ || \cdot || $ 为度量两个样本的距离函数, 常用的函数类型有L1和L2 型函数.在原有的JS散度对抗损失函数中引入解码损失函数进行约束, 需要控制解码约束条件对Dec网络梯度下降的贡献. 主要原因有以下3点: 1) G网络模拟的是训练集
$ X $ 的主要特征, 不需要按像素严格一致. 解码损失函数是按像素严格一致进行图像重构, 因此后者约束更强势. 2)对抗损失函数是优化$ JS(f_X(x)||f_G(x)), $ 解码损失函数是优化$ KL(f_X(x)||$ $f_{Dec}(x)) ,$ 优化后者虽然对避免$ JS(f_X(x)||f_G(x)) $ 为常数有益, 但各自的梯度下降方向并不完全一致, 应保证$ JS(f_X(x)||f_G(x)) $ 是主优化方向. 3)优化二元组$ (f_X(x), f_G(x)) $ 相对于优化三元组$(f_X(x), f_G(x), $ $ f_{Dec}(x)) $ 难度更低. 当$ f_{Dec}(x)\approx f_G(x) $ 时, 相当于近似优化前者.为达到以上目的, 可以通过对解码损失函数权重系数, 训练频次及学习率加以控制. 当解码损失函数式(8)选用L2型函数时, 本文设计的解码损失函数如下:
$$ \begin{array}{l} loss_{Dec} = \delta \cdot \lambda \cdot \dfrac{1}{m} \displaystyle\sum\limits_{i = 1}^m (x_i - Dec(c_i))^2 \end{array} $$ (9) 式中,
$ \delta $ 是判别函数, 1表示进行解码训练, 0表示屏蔽解码训练;$ \lambda $ 是解码损失函数权重系数.$$ \begin{array}{l} \delta = \begin{cases} 1, & (t \; {\rm{mod}} \; r) = 0 \wedge t < l \\ 0, & 否则 \end{cases} \end{array} $$ (10) 式中,
$ t $ 是当前的迭代epoch数,$ r $ 是控制调用解码约束的频次,$ l $ 是控制最后一次解码的控制变量. 每次对抗学习前, 依据条件判别式(10)以此来控制解码约束条件的使用总次数和频率.由此, 最终的对抗网络损失函数为:
$$ \begin{split} &\min\limits_{G, Dec} \max\limits_D V(D, G, Dec) |_{f_{Dec}(x) \approx f_G(x)} =\\ &\qquad \qquad\quad V(D, G) + loss_{Dec} \end{split} $$ (11) 由于D网络是一个二分类网络, 利用单向标签平滑[32]处理能对分类性能有一定提高, 这有益于降低分类网络的训练难度. 在实际训练操作中可以使用这种方式对式(1)进行标签平滑处理.
为使得上面所提供的解决方法有所依据. 分析了以下3点: 1)优化
${\rm{JS}} + \lambda \cdot {\rm{KL}}$ 混合散度对JS散度不为常数的影响. 2)优化${\rm{JS}} + \lambda \cdot {\rm{KL}}$ 混合散度对优化原有JS散度相对于分布对$ (f_X(x), f_G(x)) $ 的极小值点及单调性的影响. 3)优化KL散度时解码损失函数类型选择的依据. 为此下面3个命题进行了讨论分析.命题1. 限制解码器Dec解码约束条件对Dec网络参数更新的梯度贡献, 且使得
$ f_{Dec}(x) \approx $ $f_G(x). $ 那么训练过程中引入解码约束条件有利于避免$ JS(f_X(x) || f_G(x) $ 为常数.证明. 要证明命题结论, 只需要证明引入约束条件后有利于
$ f_G(x) $ 相似于$ f_X(x) $ 即可.记第
$ t $ 次解码训练后解码集Dec($ C, t )$ 对应的概率密度函数为$ f_{Dec}(x, t), $ 第$ t $ 次对抗训练后生成数据集G($ Z, t )$ 对应的概率密度函数为$ f_G(x, t). $ 由式(6)的C(G)条件知, G网络仅仅是使得
$ f_G(x) $ 模拟$ f_X(x) $ , 并不要求$G(Z) = X$ . 所以优化过程是一个依分布收敛的过程, 即:$$ \begin{array}{l} \lim\limits_{t \to \infty} f_G(x, t) = f_X(x) \end{array} $$ (12) 由式(8)可知, 对于解码器Dec的理想目标是求解
$ C \rightarrow X $ 的映射, 使得Dec$(C) =X$ , 即:$$ \begin{array}{l} || x_i - Dec(c_i) || = 0 \end{array} $$ (13) 式中,
$ x_i $ 和Dec($ c_i $ )分别是各自样本空间中的任意样本, 且$ c_i $ 是$ x_i $ 的特征码. 故而解码器Dec的理想目标是使得Dec($ C, t $ )几乎处处收敛于$ X .$ 但由于训练中, 通常只能达到如下情况:$$ \begin{array}{l} || x_i - Dec(c_i) || < \varepsilon_1 \end{array} $$ (14) 故而Dec(
$ C, t $ )是依概率收敛于$ X $ , 即:$$ \begin{array}{l} {\rm{P}}\left\{ \lim\limits_{t \to \infty} | Dec(C, t) - X | < \varepsilon_2 \right\} = 1 \end{array} $$ (15) 其蕴含于
$$ \begin{array}{l} {\rm{P}}\left\{ \lim\limits_{t \to \infty} || f_{Dec}(x, t) - f_X(x) || < \varepsilon_3 \right\} = 1 \end{array} $$ (16) 式中,
$ \varepsilon $ 为任意小的正实数.因为依概率收敛强于依分布收敛(前者是后者的充分非必要条件). 并且存在条件
$ f_{Dec}(x) \approx f_G(x) .$ 所以引入约束条件后, 能够使得
$ f_G(x) $ 相似于$ f_X(x) $ 的概率变大. □命题2. 限制解码约束条件对Dec网络参数更新的梯度贡献, 且使得
$ f_{Dec}(x) \approx f_G(x) .$ 相对于分布对$ ( f_X(x), f_G(x)) $ 引入解码约束条件后可基本不影响新构建的损失函数的单调性及极小值点.证明. 优化式(8), 由距离函数的单调性和非负性可知, 当且仅当
$Dec( C ) =X$ 时取得极小值0, 此时$ f_{Dec}(x) = f_X(x). $ 因为解码过程是使解码概率密度函数
$ f_{Dec}(x) $ 模拟逼近已知的$f_X(x)$ , 式(8)的残差项是解码后信息$Dec(C) $ 相对原信息$ X $ 的信息损耗. 故而解码的目的为:$$ \begin{array}{l} \min\limits_{Dec} KL(f_X(x) || f_{Dec}(x)) \end{array} $$ (17) 先证明式(6)引入
$ KL(f_X(x)||f_G(x)) $ 条件并不影响新损失函数的单调性和极小值点. 记新的损失函数表达式为:$$ \begin{array}{l} C_1(G) = C(G) + KL(f_X(x) || f_G(x)) \end{array} $$ (18) 因为JS散度和KL散度对于任意的分布对
$ (f_X(x), $ $ f_G(x)) $ 为非负单调递增函数.又因为JS散度和KL散度均为当且仅当
$ f_G(x) = $ $ f_X(x) $ 时取得极小值0. 故而式(18)当且仅当$ f_G(x) = f_X(x) $ 时取得极小值点$ -\ln4 $ .又因为
$ f_{Dec}(x) \approx f_G(x) $ . 所以下式的单调性和极值点相对于分布对$(f_X(x),\;$ $ f_G(x)) $ 基本不变:$$ \begin{array}{l} C_2(G) = C(G) + KL(f_X(x) || f_{Dec}(x)) \end{array} $$ (19) 故而基本不影响新构建的损失函数的单调性及极小值点. □
命题3. 当训练集
$X$ 符合正态分布时, 解码器$Dec $ 应选用L2型函数.证明. 记X对应的训练集为C, 解码集为
$Dec(C) $ .$ f_{X}(x|c)$ 为$C$ 给定时,$ X $ 的条件概率密度函数.$f_{Dec}(x|c)$ 为$C $ 给定时, 解码集$Dec (C)$ 等于训练集X的条件概率密度函数, 那么解码器$Dec $ 解码的目的可表达为使得$ f_{Dec}(x|c) \approx $ $f_X(x|c) $ , 即:$$ \begin{array}{l} || f_{Dec}(x|c) - f_X(x|c) || < \varepsilon \end{array} $$ (20) 式中,
$ \varepsilon $ 是任意小的正实数.其蕴含于(由KL散度的信息论含义可得):
$$ \begin{split} &\min\limits_{Dec} KL(f_X(x|c) || f_{Dec}(x|c)) =\\ &\qquad \min\limits_{Dec} {\rm{E}}_{c \in C} \left[ \ln f_X(x|c) - \ln f_{Dec}(x|c) \right] \end{split} $$ (21) 因为
$ \ln f_X(x|c) $ 为已知的训练集$ X $ 及其对应的特征集$ C $ 表达的信息. 所以其为常数, 在梯度下降优化时不对梯度做贡献. 由此式(21)等价于优化下式:$$ \begin{array}{l} \min\limits_{Dec}-{\rm{E}}_{c \in C} \ln f_{Dec}(x|c) \end{array} $$ (22) 又因为
$$ -{\rm{E}}_{c \in C} \ln f_{Dec}(x|c)= -\sum\limits_{i = 1}^m f(c_i) \cdot \ln f_{Dec}(x_i | c_i) $$ (23) 式中,
$ m $ 是馈入神经网络样本的数量.由于
$ c_i $ 在$ C $ 中, 训练过程中$ c_i $ 必然出现. 所以$ f(c_i) = 1 $ .又因为,
$ X $ 符合正态分布,$X \sim {\rm{N}}(x; x^*, \sigma^2) .$ 其中$ x^* $ 是$ x $ 的估计($Dec $ 解码$ x $ 特征$ c $ 的结果, 即$x^*=Dec(c)$ . 从而式(23)等于:$$ \begin{split} &-\sum\limits_{i = 1}^m \ln f_{Dec}(x_i | c_i)= \\ &\qquad -\sum\limits_{i = 1}^m \ln \left(\frac{1}{\sqrt{2 \pi} \sigma} \cdot {\rm{exp}}\left( -\frac{(x_i-x_i^*)^2}{2\sigma^2}\right) \right) = \\ &\qquad \frac{m}{2} \cdot \ln (2\pi) + m \cdot \ln \sigma + \sum\limits_{i = 1}^m \frac{(x_i-x_i^*)^2}{2\sigma^2} \end{split} $$ (24) 式中,
$ x_i^* $ = Dec($ c_i $ ),$ c_i $ 为$ x_i $ 的特征. 前2项是常数项, 梯度下降过程中对梯度不做贡献, 仅最后一项对梯度下降做出贡献. 均方差损失函数为:$$ \begin{array}{l} loss_{MSE} = \frac{1}{m} \sum\limits_{i = 1}^m (x_i - x_i^*)^2 \end{array} $$ (25) 对比式(24)的最后1项和式(25)可知. 优化式(24)等价于优化式(25). □
由命题1可知, 引入解码约束条件当
$ f_{Dec}(x) \approx $ $ f_G(x) $ 时将有利于$ f_G(x) $ 与$ f_X(x) $ 更相似. 从而达到尽量避免$ JS(f_X(x)||f_G(x)) $ 为常数和近似常数的目的, 有利于避免损失函数梯度消失的问题.由命题2可知, 引入解码约束条件基本不影响函数的单调性和极小值点, 表明它们相对于分布对
$ (f_X(x), f_G(x)) $ 的最优解一致, 优化任务的总体目的相近.由命题3可知, 若训练样本
$ X $ 符合正态分布, 应选用均方差损失函数. 由于训练集$ X $ 中样本的结构信息(几何结构量)、颜色信息和清晰度(与图像纹理相关)等关键特征信息, 依据三大中心极限定理可知是满足正态分布假设或近似正态分布假设.2.3 网络训练
通过以上描述, 可以得到整个网络的训练方法, 如下所示:
步骤1. 依据式(7)充分训练U-Net型自动编码机, 获取训练集
$ X $ 的特征集$ C $ .步骤2. 依据式(10)计算出判别值
$ \delta $ , 如果$ \delta $ = 1则对解码器Dec (解码器与生成器G权重共享, 网络结构一致)使用均方根传播优化方法进行解码训练. 每次馈入批量尺寸个$ x $ 和对应的特征码$ c $ .步骤3. 分别馈入批量尺寸个
$ x $ 和$G(z) $ 到判别器D网络, 使用均方根传播优化方法对其进行权重更新.步骤4. 馈入批量尺寸个
$ z $ 到生成器G网络, 使用均方根传播优化方法对其进行权重更新. 连续训练2次G.步骤5. 重复步骤
$2 \sim$ 4, 直到达到最大epoch数为止.3. 实验及分析
本文实验中, 选取的主要软硬件环境为, Tensor-Flow1.12.0 GPU版本, CUDA 9.0, cuDNN 7.4, 英伟达GTX1080, GTX1080Ti, RTX2080Ti显卡. 实验的其他部分如下.
3.1 评价指标及数据集
为定量对比分析多个生成模型的生成图像效果, 选取Inception score (IS)[33-34]、弗雷歇距离(Frechet inception distance, FID)[33-34]和平均清晰度进行评价. IS是评价生成图像的质量和模式类别多样性的指标(对多样性描述更准确一些), 指标值越高越好. FID也是评价生成图像质量和多样性, 越低越好. 计算IS指标不需要训练集做对比, 计算FID指标需要训练集做对比, FID越小表明与训练集的图像质量及多样性越接近. 清晰度是图像重要的视觉质量指标, 越高则有更多纹理结构信息. 清晰度方法选取常用的基于能量梯度表达计算公式:
$$ \begin{split} S(x) = &\sum\limits_{i = 0}^{w-2} \sum\limits_{j = 0}^{h-2} (|I(i+1, j) - I(i, j)|^2+ \\ & |I(i, j+1) - I(i, j)|^2) \end{split} $$ (26) 式中,
$ I(i, j) $ 表示在图像样本$ x $ 中坐标$ (i, j) $ 处的像素值大小,$ w $ 和$ h $ 分别表示样本图像$ x $ 的宽度和高度. 使用$ S(x) $ 除以图像像素个数以获取平均清晰度.为验证本文GANs模型的生成图像的效果, 选取Celeba和Cifar10数据集进行测试. 数据集详细信息如下所示.
Celeba数据集共含有202599张彩色人物上半身图像, 每张图像大小为178
$ \times $ 218像素. 在实验中选取前50000张图像, 裁剪出64$ \times $ 64的人脸图像作为训练集. Cifar10数据集含有50000张训练集彩色图像和10000张测试集彩色图像. 每张图片大小为32$ \times $ 32, 10个类别的图像在训练集和测试集中比例相同. 实验选用Cifar10的训练集作为GANs的训练集. 图3 ~ 4展示了训练集的样本图像.3.2 特征学习实验
在图像特征学习中, 使用类似于U-Net的5层全连接自编码机用于特征学习, 每层神经元数量为:
$ w\times h $ 、$10 \times 10$ 、$10 \times 10$ 、$10 \times 10 $ 和$ w\times h $ $( w$ 和$ h $ 是图像宽度和高度), 激活函数为softsign, 使用Adam方法进行优化, 学习率为0.001, 动量因子为0.9. 每批提取100个样本图像的中间层特征, 迭代次数为 7000. 在GTX1080Ti 显卡条件下, Cifar10数据集上所耗时间约为7小时, Celeba数据集上所耗时间约为18小时.图5展示了部分训练样本重构效果和提取的特征图. 前后3行图像各为一个单元, 每个单元中第1行是原图, 第2行是重构图, 第3行是对应的特征图. 在特征图中, 每1个格子对应原特征图的1个彩色像素.
由图5可以看出, U-Net结构下的自编码机都有比较好的图像重构视觉效果, 所提取的隐含特征都有比较好的特征表达能力. 从图5可以观察出图像颜色和纹理结构越丰富, 隐含特征色彩也越丰富. 反之, 特征的颜色也比较单一. 例如图5人脸图像中, 第
$1 \sim 4$ 列头发颜色和背景颜色都偏暗, 面部方向为正面. 第$5 \sim8 $ 列背景图像, 面部角度及头发颜色都比较鲜明. 与之对应, 它们的特征也有比较明显的颜色区分度, 从而表明所学习到的特征包含了原始图像的一些信息, 如颜色和面部方向. 在Cifar10数据集中依然有类似的规律, 能明显看出, 后4列图像是颜色鲜明的, 特征也鲜明.表1给出了Celeba和Cifar10数据集重构样本与训练集的峰值信噪比(Peek signal to noise ratio, PSNR)和结构相似度(Structural similarity, SSIM)质量评估指标.
表 1 原图像与重构图像的PSNR和SSIM值统计Table 1 PSNR & SSIM between original and reconstructed images数据集 指标 均值 标准差 极小值 极大值 Celeba PSNR 40.588 5.558 22.990 61.158 SSIM 0.9984 0.0023 0.9218 1.0000 Cifar10 PSNR 46.219 6.117 28.189 66.779 SSIM 0.9993 0.0019 0.8180 1.0000 由表1可以看出, 在Celeba和Cifar10数据集上, U-Net型自动编码机重构的样本在PSNR和SSIM指标上都有不错的表现. 结合图5来看, 其提取的特征具有训练集样本的特征表达能力.
3.3 不同解码实验对比
本节实验为验证样本特征有效性, 限制解码约束条件的必要性及解码函数类型选择的重要性做了如下实验. 1)正态特征(每个训练样本对应的特征符合标准正态分布); 2)均匀特征(每个训练样本对应的特征符合[−1, 1]的均匀分布); 3) L1解码约束条件. 4) L2解码约束条件, 但不限制其对损失函数的梯度贡献. 5)本文方法(L2解码约束条件, 限制对损失函数梯度贡献); 除此, 还计算了训练集的指标信息用以对比分析.
所有实验选用均方根传播优化方法, 学习率为0.0002, 动量因子为0.9, 批量尺寸为64, epoch 数为15. 在第1至3或5组实验中, 式(9)选取参数
$ \lambda =$ $1.0\times10^{-7}$ ; 式(10)中,$r = 2,\; l= 11.$ 在第4组实验中,$\lambda = 1.0,\; r = 1,\; l =$ epoch. Celeba和Cifar10实验每组生成50000张图片进行统计分析. 表2 ~ 3展示了统计图像数据得到的各项指标结果, 其中上标 * 项是来自不限L2约束对损失函数梯度贡献权重实验, 第5列是计算与训练集清晰度均值的差距值, 粗体表示最优值.表 2 Celeba中不同解码实验结果Table 2 Results of different decoding experiments in Celeba对比项 IS ($ \sigma \times 0.01 $) FID 清晰度均值 清晰度均值差值 训练集 2.71 ± 2.48 0.00 107.88 0.00 正态特征 1.88 ± 1.25 42.54 121.40 13.52 均匀特征 1.82 ± 1.48 43.04 123.02 15.14 L1 1.99 ± 1.53 32.95 120.16 12.28 L2* 1.69 ± 0.97 46.08 96.88 11.00 L2 (本文) 2.05 ± 1.84 25.62 114.95 7.07 表 3 Cifar10中不同解码实验结果Table 3 Results of different decoding experiments in Cifar10对比项 IS ($ \sigma \times 0.1 $) FID 清晰度均值 清晰度均值差值 训练集 10.70 ± 1.47 0.00 120.56 0.00 正态特征 5.63 ± 0.64 48.21 139.88 19.32 均匀特征 5.51 ± 0.79 46.57 137.13 16.57 L1 5.63 ± 0.79 44.53 138.04 17.48 L2* 4.69 ± 0.55 79.10 119.62 0.94 L2 (本文) 5.83 ± 0.70 42.70 134.97 14.41 1)分析对于馈入图像特征
$ c $ 的必要性. 对比表2 ~ 3中的正态特征, 由均匀特征和L2 (本文)表项可知, 本文方法在IS和FID这两项关键指标上, 均是最优. 特别是在FID指标上有显著提升, 表明使用图像特征$ c $ 进行解码是必要的, 馈入的特征类型是不能随意选取. 对比清晰度, 本文方法的清晰度均值虽不是最大, 但是本文清晰度更接近训练集的清晰度水平, 表明能更合理地模拟训练集高频信息.2)分析解码损失函数类型的必要性. 对比表2 ~ 3中L1和L2 (本文)可知, IS和FID指标依然是本文占优. 清晰度均值表项L1约束占优表明其生成的图像填充的纹理信息更多, 但本文方法清晰度依然最接近训练集清晰度.
3)分析限制解码约束条件对梯度贡献的必要性. 对比表2 ~ 3中L2*和L2 (本文)可知, L2*的IS和FID指标明显占劣势, 这表明其多样性和生成图像的指标较差. 对比清晰度指标可以发现不限制L2约束条件对梯度的贡献, 会影响生成图像的细节纹理填充. 应注意表3中L2*和训练集表项的清晰度均值相近的原因, 前者是因为纹理细节丢失导致清晰度下降, 后者是因为图像前景或背景本身纹理较少(如舰船、马匹、汽车、飞机等类别)导致整体清晰度下降.
通过以上3个方面的分析可以发现, 本文方法中使用图像特征进行解码是必要的, 馈入的解码特征类型不具有随意性; 对于解码损失函数使用L2效果更优, 具有一定必要性; 限制解码损失函数对梯度的贡献, 使得
$ f_{Dec}(x) $ 和$ f_G(x) $ 应近似相等是必要的. 后两点也与模型的理论分析部分一致.图6 ~ 11展示了在Celeba和Cifar10数据集中, 均匀特征、不限制权重的L2约束以及本文方法实验生成样本.
图 7 Celeba中L2解码不限制权重实验样本Fig. 7 L2 decoding with not restrict weight experimental samples in Celeba
图 10 Cifar10中L2解码不限制权重实验样本Fig. 10 L2 decoding with not restrict weight experimental samples in Cifar10由图3和图6 ~ 8可以看出, 本文方法(图8)生成的图像更细腻, 图像纹理填充主要是填充到头发部分, 视觉效果更好. 而均匀特征生成的图像中(图6), 一些纹理信息不仅填充到面部, 而且还填充到背景区域, 这也是表2中其清晰度均值偏高的原因. 表明它能够生成更多的纹理细节, 但是填充位置未必合理. 对于
${\rm{L}}2^*$ 生成的图像中(图7)能够发现, 生成的样本比较模糊, 纹理信息填充比较差, 影响了视觉效果. 表明限制解码损失函数对梯度下降的贡献是必要的.由图9 ~ 11可以看出, 本文方法(图11)能更明显地生成图像中背景和前景部分. 而均匀特征生成图像(图9)纹理填充得更多. 对于L2*生成的图像(图10)也能够发现图像相对模糊. 通过以上的数据及生成图像对比分析表明, 在本文方法中, 为生成更好质量的图像, 需要选取合适的解码特征类型, 限制解码约束条件权重以及选取合适的解码函数类型.
3.4 耗时分析
本文GANs所使用的G和D网络内部结构均与DCGANs一致, 并且本文将JS散度作为主优化目标, 后者将JS散度作为优化目标. 为验证模型的所耗时间代价, 在同一台含GTX1080Ti显卡的计算机上测试了DCGANs和本文GANs模型的耗时, 以此对比分析出本文的训练时间代价.
由表4可以看出, 在预训练出训练集样本特征前提下, 本文GANs总耗时有所下降, 这得益于总的epoch数减少. 但单位耗时有所提高, 这源于本文GANs在某些epoch训练周期内会使用解码约束条件. 由第3.3节实验设置可以看出, 解码约束的使用仅在0和0到11之内的偶数训练周期中, 共6次. 在特征提取的过程中, 由第3.2节可知, 其耗时远大于用于解码和对抗训练耗时. 表明本文GANs在特征学习过程中的预训练耗时代价较大. 总耗时的减少为模型的参数调试带来了比较大的便利.
表 4 时间代价测试Table 4 Test of time cost3.5 不同GANs实验对比
在对抗训练实验中, 本文选取的G网络和D网络结构与DCGANs一致, LSGANs、WGANs和WGANsGP的网络结构处理方法相同. 选取均方根传播优化方法, 学习率和动量因子分别为0.0002和0.9.
BEGANs和SAGANs分别依据文献[16, 23]代码单独实验, 关键参数与原文一致, 选用Adam优化. 所有实验中批量尺寸为64. 在Celeba和Cifar10上每组实验均生成50000张图片进行数据统计, 获得表5 ~ 6实验数据. 在表5 ~ 6中, SAGANs1使用WGANsGP损失函数(优化沃瑟斯坦距离), SAGANs2使用DCGANs损失函数(优化JS散度); 关于本文所设计GANs参数统计, 前半部分是解码及对抗学习模型参数量, 后半部分是U-Net自动编码机模型参数量.
表 5 Celeba中不同GANs对比Table 5 Comparsion of different GANs in CelebaGANs 模型 epoch 数 优化项 参数量 ($ \times 10^6 $) IS ($ \sigma \times 0.01 $) FID 清晰度均值 清晰度均值差值 训练集 — — — 2.71 ± 2.48 0.00 107.88 0.00 BEGANs[16] 35 沃瑟斯坦距离 4.47 1.74 ± 1.29 46.24 77.58 30.30 DCGANs[9] 20 JS 散度 9.45 1.87 ± 1.58 50.11 124.82 16.94 LSGANs[15] 35 Pearson 散度 9.45 2.02 ± 1.63 39.11 122.19 14.31 WGANs[14] 35 沃瑟斯坦距离 9.45 2.03 ± 1.75 40.31 117.15 9.27 WGANsGP[17] 35 沃瑟斯坦距离 9.45 1.98 ± 1.82 37.01 121.16 13.28 SAGANs1[23] 30 沃瑟斯坦距离 10.98 2.06 ± 1.79 21.94 109.94 2.06 SAGANs2[23] 30 JS 散度 10.98 1.99 ± 1.79 31.04 99.57 8.31 本文方法 15 JS + $ \lambda \cdot $KL 散度 9.45 + 0.84 2.05 ± 1.84 25.62 114.95 7.07 表 6 Cifar10中不同GANs对比Table 6 Comparsion of different GANs in Cifar10GANs 模型 epoch 数 优化项 参数量 ($ \times 10^6 $) IS ($ \sigma \times 0.1 $) FID 清晰度均值 清晰度均值差值 训练集 — — — 10.70 ± 1.47 0.00 120.56 0.00 BEGANs[16] 35 沃瑟斯坦距离 3.67 5.36 ± 0.65 107.64 80.89 39.67 DCGANs[9] 20 JS 散度 8.83 5.04 ± 0.27 54.27 139.12 18.56 LSGANs[15] 35 Pearson 散度 8.83 5.70 ± 0.36 43.35 135.80 15.24 WGANs[14] 35 沃瑟斯坦距离 8.83 5.25 ± 0.33 53.88 136.74 16.18 WGANsGP[17] 35 沃瑟斯坦距离 8.83 5.39 ± 0.30 50.60 139.17 18.61 SAGANs1[23] 30 沃瑟斯坦距离 8.57 6.09 ± 0.47 42.90 126.28 5.72 SAGANs2[23] 30 JS 散度 8.57 5.37 ± 0.46 53.49 133.54 12.98 本文方法 15 JS + $ \lambda \cdot $KL 散度 8.83 + 0.23 5.83 ± 0.70 42.70 134.97 14.41 对比分析表5实验数据可知:
1)对比前5个和本文GANs模型. 由IS指标可以看出, 本文虽稍好于LSGANs、WGANs和WGANsGP, 但它们之间IS指标基本一致; DCGANs和BEGANs较差, 表明两者多样性和质量差于其他方法. 在FID指标上, 本文GANs模型明显优于这5个GANs模型, 表明本文GANs模型相对地更能有效模拟训练集分布. 在清晰度指标上, 虽然清晰度均值不是最大, 但是它与训练集之间的清晰度均值差距更小, 表明本文GANs对高频细节模拟更合理. 对比模型参数可知, 由于特征学习网络的参数量较少, 所以本文GANs模型并没有明显增加参数量. 最后对比epoch数可以看出, 本文相对于上述GANs模型有明显优势.
2)对比SAGANs和本文GANs效果. 从SAGA-Ns1和本文GANs的实验数据可知, 优化沃瑟斯坦距离的SAGANs的综合性能很好, IS指标与本文相当, FID指标稍好于本文GANs; 在清晰度指标上, 它能更合理地模拟人脸纹理信息, 虽然参数量两者基本一致, 但其训练epoch数明显多于本文GANs模型. 再对比SAGANs2和本文GANs可知, 本文综合效果又较明显优于优化JS散度的SAGANs模型. 说明当JS散度作为优化目标或主优化目标时, 本文GANs模型比融入注意力机制和谱归一化优化的SAGANs模型表现更佳. 同时, 通过对应地对比DCGANs与WGANs、SAGANs1与SAGANs2, 可以看出, 优化JS散度模型生成图像质量差于优化沃瑟斯坦距离模型生成图像质量. 这也证明了WGANs[14] 的分析, JS散度的确可能带来梯度消失问题, 导致生成图像质量下降.
由表6可知, 在Cifar10数据集中依然存在上述类似的实验现象, 但从统计的数据来看, 没有单类别数据集那么明显.
通过以上实验数据及分析可知, 本文GANs综合性能达到除了优化沃瑟斯坦距离的SAGANs外的最优效果. 相对而言, 本文GANs在仍以JS散度为主优化目标时, 模型综合性能靠近优化沃瑟斯坦距离的SAGANs, 并且网络结构并没有使用注意力机制和谱归一化优化. 同时在预训练提取出训练特征的前提下, 本文GANs模型明显减少epoch数.
由图12 ~ 19的展示, 可以直观地对比BEGANs、DCGANs、WGANsGP和SAGANs1的GANs生成效果.
对比分析使用Celeba数据集训练GANs而生成的图像. 由图12可知, BEGANs虽然能很好对形态特征进行学习, 但的确存在比较严重的高频信息丢失现象, 并且生成的图像出现斑块. 由图13 ~ 14可知, DCGANs和WGANsGP生成的图像纹理信息填充区域过多, 比如训练图像面部的高频信息较少, 但是生成图像存在面部填充高频信息的现象, 这也是表4对应的清晰度均值项偏高的原因之一. 图15能很明显地观察到优化沃瑟斯坦距离的SAGANs生成的图像, 在面部形态和纹理等特征更合理, 并且结合图8 (本文效果), 也能发现更好地生成图像样本, 其形态和纹理等信息都比较协调. 对比Cifar10数据集生成的图像, 除图16可以明显看出差异外, 难以直接进行视觉评估, 在第3.5节和表6数据进行了分析.
综上所述, 本文方法(JS +
$ \lambda \cdot $ KL散度)相对于DCGANs (JS散度)有较明显的提升, 在IS指标上也能达到LSGANs (Pearson散度)、WGANs (沃瑟斯坦距离)等GANs模型的图像生成效果, 并且在FID指标上进一步有所提高. 此外, 本文方法生成的图像效果能逼近优化沃瑟斯坦距离的SAGANs图像效果, 并且参数量并没明显增加. 在训练集样本特征预学习完成后, 解码及对抗学习能有效减少训练所需的epoch数.4. 结束语
为提高GANs图像生成质量, 考虑到JS散度可能为近似常数时带来对生成图像效果的不利影响, 本文尝试通过增加样本特征解码约束条件来减弱这些影响. 实验结果表明, 利用样本特征解码约束条件进行对抗训练的约束, 有利于图像生成质量提高和减少epoch数. 同时, 本文方法能够更合理地模拟训练集的高频信息部分. 本文方法需对训练样本预学习出样本特征, 虽较少地增加了网络参数量, 但需要较多的特征提取预训练时间. 对于其他特征提取方法, 特征分布与随机噪声分布的关系对生成效果的影响值得进一步研究.
-
图 1 分段式细粒度正则化跟踪算法的训练框架图
Fig. 1 The training framework of the segmented fine-grained regularization tracking
图 3 细粒度组套索正则化在各网络分段的效果对比
Fig. 3 Comparison of the effects of fine-grained group lasso regularization in each network segment
图 6 分段式细粒度正则化和细粒度组套索的跟踪效果对比
Fig. 6 Comparison of tracking results between segmented fine-grained regularization and fine-grained group lasso
图 10 UAV123和LaSOT基准上的多挑战属性下精度对比
Fig. 10 Comparison of precision under different challenging attributes on UAV123 and LaSOT benchmarks
图 11 VOT2019测试集部分视频序列的跟踪结果
Fig. 11 Tracking results for some video sequences on VOT2019
表 1 VOT2019上的消融实验
Table 1 Ablation study on VOT2019
基线算法 +细粒度组套索 +分段式细粒度正则化 EAO↑ 0.287 0.293 0.304 Accuracy↑ 0.595 0.600 0.586 Robustness↓ 0.467 0.456 0.396 
下载: 导出CSV
表 2 在VOT2018上与SOTA算法的比较
Table 2 Comparison with SOTA trackers on VOT2018
算法 出版 EAO↑ Accuracy↑ Robustness↓ SiamRPN CVPR2018 0.383 0.586 0.276 SiamRPN++ CVPR2019 0.414 0.600 0.234 SiamMask CVPR2019 0.380 0.609 0.276 LADCF ITIP2019 0.389 0.503 0.159 ATOM CVPR2019 0.401 0.590 0.204 GFS-DCF ICCV2019 0.397 0.511 0.143 SiamBAN CVPR2020 0.452 0.597 0.178 SFGRT (Ours) — 0.422 0.589 0.197
下载: 导出CSV
表 3 在VOT2019上与SOTA算法的比较
Table 3 Comparison with SOTA trackers on VOT2019
算法 出版 EAO↑ Accuracy↑ Robustness↓ SPM CVPR2019 0.275 0.577 0.507 SiamRPN++ CVPR2019 0.287 0.595 0.467 SiamMask CVPR2019 0.287 0.594 0.461 SiamDW CVPR2019 0.299 0.600 0.467 MemDTC PAMI2019 0.228 0.485 0.587 ATOM CVPR2019 0.292 0.603 0.411 Roam++ CVPR2020 0.281 0.561 0.438 SiamBAN CVPR2020 0.327 0.602 0.396 SFGRT (Ours) — 0.304 0.586 0.396
下载: 导出CSV
表 4 在UAV123基准上与SOTA算法在8个挑战性属性下的精度对比
Table 4 Comparison of precision with SOTA trackers on 8 challenging attributes on UAV123
Attribute ECO SiamRPN DaSiamRPN SiamRPN++ SiamCAR SiamBAN HiFT SFGRT CVPR2017 CVPR2018 ECCV2018 CVPR2019 CVPR2020 CVPR2020 ICCV2021 — POC 0.669 0.674 0.701 0.733 0.724 0.765 0.684 0.744 IV 0.710 0.703 0.710 0.775 0.748 0.766 0.700 0.779 CM 0.721 0.778 0.786 0.819 0.797 0.848 0.799 0.838 FM 0.652 0.701 0.737 0.724 0.742 0.805 0.778 0.774 SV 0.707 0.739 0.754 0.780 0.791 0.813 0.768 0.806 BC 0.624 0.589 0.670 0.633 0.659 0.645 0.594 0.651 OV 0.590 0.638 0.693 0.789 0.735 0.789 0.700 0.778 LR 0.683 0.648 0.663 0.658 0.693 0.719 0.655 0.699 Overall 0.741 0.768 0.781 0.804 0.813 0.833 0.787 0.828
下载: 导出CSV
表 5 在LaSOT基准上与SOTA算法在8个挑战性属性下的归一化精度对比
Table 5 Comparison of norm precision with SOTA trackers on 8 challenging attributes on LaSOT
Attribute SPLT C-RPN SiamDW SiamMask SiamRPN++ GFS-DCF ATOM SiamBAN CLNet SFGRT ICCV2019 CVPR2019 CVPR2019 CVPR2019 CVPR2019 ICCV2019 CVPR2019 CVPR2020 ICCV2021 — DEF 0.520 0.578 0.500 0.593 0.604 0.436 0.574 0.609 0.606 0.620 VC 0.505 0.491 0.350 0.499 0.502 0.427 0.493 0.526 0.494 0.531 IV 0.524 0.603 0.436 0.625 0.633 0.581 0.560 0.642 0.640 0.678 MB 0.465 0.486 0.412 0.493 0.510 0.443 0.564 0.556 0.508 0.557 ROT 0.488 0.520 0.418 0.534 0.552 0.425 0.524 0.579 0.555 0.583 ARC 0.473 0.518 0.415 0.524 0.539 0.423 0.544 0.567 0.546 0.567 SV 0.496 0.540 0.433 0.548 0.568 0.447 0.563 0.595 0.572 0.589 OV 0.447 0.438 0.368 0.458 0.474 0.372 0.473 0.495 0.471 0.507 Overall 0.494 0.542 0.437 0.552 0.570 0.453 0.570 0.598 0.574 0.590
下载: 导出CSV
表 6 不同跟踪算法的模型大小和平均帧速率对比
Table 6 Comparison of model size and average framerate for different trackers
算法 出版 模型大小(MB) 帧速率(FPS) SiamRPN++ CVPR2019 431.2 80.20 SiamMask CVPR2019 86.1 106.43 SiamBAN CVPR2020 430.9 81.76 SFGRT (Ours) — 431.2 79.99
下载: 导出CSV
-
[1] Xing D T, Evangeliou N, Tsoukalas A, Tzes A. Siamese transformer pyramid networks for real-time UAV tracking. In: Proceedings of IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, USA: IEEE, 2022. 1898−1907 [2] Fang L P, Liang N X, Kang W X, Wang Z Y, Feng D D. Real-time hand posture recognition using hand geometric features and fisher vector. Signal Processing: Image Communication, 2020, 82: Article No. 115729 doi: 10.1016/j.image.2019.115729 [3] Ballester I, Fontán A, Civera J, Strobl K H, Triebel R. DOT: Dynamic object tracking for visual SLAM. In: Proceedings of IEEE International Conference on Robotics and Automation (ICRA). Xi＇an, China: IEEE, 2021. 11705−11711 [4] Wu Y, Lim J, Yang M H. Object tracking benchmark. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848 doi: 10.1109/TPAMI.2014.2388226 [5] Tang M, Yu B, Zhang F, Wang J Q. High-speed tracking with multi-kernel correlation filters. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 4874−4883 [6] Sun Y X, Sun C, Wang D, He Y, Lu H C. ROI pooled correlation filters for visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 5783−5791 [7] 仇祝令, 查宇飞, 吴敏, 王青. 基于注意力学习的正则化相关滤波跟踪算法. 电子学报, 2020, 48(9): 1762-1768 doi: 10.3969/j.issn.0372-2112.2020.09.014Qiu Zhu-Ling, Zha Yu-Fei, Wu Min, Wang Qing. Learning attentional regularized correlation filter for visual tracking. Acta Electronica Sinica, 2020, 48(9): 1762-1768 doi: 10.3969/j.issn.0372-2112.2020.09.014 [8] 朱建章, 王栋, 卢湖川. 学习时空一致性相关滤波的视觉跟踪. 中国科学: 信息科学, 2020, 50(1): 128-150 doi: 10.1360/N112018-00232Zhu Jian-Zhang, Wang Dong, Lu Hu-Chuan. Learning temporal-spatial consistency correlation filter for visual tracking. Scientia Sinica Informationis, 2020, 50(1): 128-150 doi: 10.1360/N112018-00232 [9] Hu H W, Ma B, Shen J B, Shao L. Manifold regularized correlation object tracking. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(5): 1786-1795 doi: 10.1109/TNNLS.2017.2688448 [10] Xu T Y, Feng Z H, Wu X J, Kittler J. Joint group feature selection and discriminative filter learning for robust visual object tracking. In: Proceedings of IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, South Korea: IEEE, 2019. 7949−7959 [11] Zhang T Z, Xu C S, Yang M H. Multi-task correlation particle filter for robust object tracking. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 4819−4827 [12] 黄树成, 张瑜, 张天柱, 徐常胜, 王直. 基于条件随机场的深度相关滤波目标跟踪算法. 软件学报, 2019, 30(4): 927-940 doi: 10.13328/j.cnki.jos.005662Huang Shu-Cheng, Zhang Yu, Zhang Tian-Zhu, Xu Chang-Sheng, Wang Zhi. Improved deep correlation filters via conditional random field. Journal of Software, 2019, 30(4): 927-940 doi: 10.13328/j.cnki.jos.005662 [13] 张伟俊, 钟胜, 徐文辉, Wu Ying. 融合显著性与运动信息的相关滤波跟踪算法. 自动化学报, 2021, 47(7): 1572-1588 doi: 10.16383/j.aas.c190122Zhang Wei-Jun, Zhong Sheng, Xu Wen-Hui, Wu Ying. Correlation filter based visual tracking integrating saliency and motion cues. Acta Automatica Sinica, 2021, 47(7): 1572-1588 doi: 10.16383/j.aas.c190122 [14] 郭文, 游思思, 高君宇, 杨小汕, 张天柱, 徐常胜. 深度相对度量学习的视觉跟踪. 中国科学: 信息科学, 2018, 48(1): 60-78 doi: 10.1360/N112017-00124Guo Wen, You Si-Si, Gao Jun-Yu, Yang Xiao-Shan, Zhang Tian-Zhu, Xu Chang-Sheng. Deep relative metric learning for visual tracking. Scientia Sinica Informationis, 2018, 48(1): 60-78 doi: 10.1360/N112017-00124 [15] Bertinetto L, Valmadre J, Henriques J F, Vedaldi A, Torr P H S. Fully-convolutional Siamese networks for object tracking. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016. 850−865 [16] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, USA: ACM, 2012. 1097−1105 [17] Li B, Yan J J, Wu W, Zhu Z, Hu X L. High performance visual tracking with Siamese region proposal network. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 8971−8980 [18] Li B, Wu W, Wang Q, Zhang F Y, Xing J L, Yan J J. SiamRPN++: Evolution of Siamese visual tracking with very deep networks. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 4282−4291 [19] Wang Q, Zhang L, Bertinetto L, Hu W M, Torr P H S. Fast online object tracking and segmentation: A unifying approach. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 1328−1338 [20] Zhang Z P, Peng H W. Deeper and wider Siamese networks for real-time visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 4591−4600 [21] Chen Z D, Zhong B N, Li G R, Zhang S P, Ji R R. Siamese box adaptive network for visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 6667−6676 [22] Chen Z D, Zhong B N, Li G R, Zhang S P, Ji R R, Tang Z J, et al. SiamBAN: Target-aware tracking with Siamese box adaptive network. IEEE Transactions on Pattern Analysis and Machine Intelligence, DOI: 10.1109/TPAMI.2022.3195759 [23] 谭建豪, 郑英帅, 王耀南, 马小萍. 基于中心点搜索的无锚框全卷积孪生跟踪器. 自动化学报, 2021, 47(4): 801-812 doi: 10.16383/j.aas.c200469Tan Jian-Hao, Zheng Ying-Shuai, Wang Yao-Nan, Ma Xiao-Ping. AFST: Anchor-free fully convolutional Siamese tracker with searching center point. Acta Automatica Sinica, 2021, 47(4): 801-812 doi: 10.16383/j.aas.c200469 [24] Chen X, Yan B, Zhu J W, Wang D, Yang X Y, Lu H C. Transformer tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, USA: IEEE, 2021. 8122−8131 [25] Cao Z, Fu C H, Ye J J, Li B W, Li Y M. HiFT: Hierarchical feature transformer for aerial tracking. In: Proceedings of IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, Canada: IEEE, 2021. 15437−15446 [26] Xu T Y, Feng Z H, Wu X J, Kittler J. AFAT: Adaptive failure-aware tracker for robust visual object tracking. arXiv preprint arXiv: 2005.13708, 2020. [27] Kristan M, Matas J, Leonardis A, Felsberg M, Pflugfelder R, Kämäräinen J K, et al. The seventh visual object tracking VOT2019 challenge results. In: Proceedings of IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). Seoul, South Korea: IEEE, 2019. 2206−2241 [28] Kristan M, Leonardis A, Matas J, Felsberg M, Pflugfelder R, Zajc L Č, et al. The sixth visual object tracking VOT2018 challenge results. In: Proceedings of the 14th European Conference on Computer Vision Workshops. Munich, Germany: Springer, 2018. 3−53 [29] Mueller M, Smith N, Ghanem B. A benchmark and simulator for UAV tracking. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016. 445−461 [30] Fan H, Lin L T, Yang F, Chu P, Deng G, Yu S J, et al. LaSOT: A high-quality benchmark for large-scale single object tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 5369−5378 [31] Zhu Z, Wang Q, Li B, Wu W, Yan J J, Hu W M. Distractor-aware Siamese networks for visual object tracking. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 103−119 [32] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 770−778 [33] He A F, Luo C, Tian X M, Zeng W J. A twofold Siamese network for real-time object tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 4834−4843 [34] Wang Q, Teng Z, Xing J L, Gao J, Hu W M, Maybank S. Learning attentions: Residual attentional Siamese network for high performance online visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 4854−4863 [35] Du F, Liu P, Zhao W, Tang X L. Correlation-guided attention for corner detection based visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 6835−6844 [36] Li F, Tian C, Zuo W M, Zhang L, Yang M H. Learning spatial-temporal regularized correlation filters for visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 4904−4913 [37] Huang Z Y, Fu C H, Li Y M, Lin F L, Lu P. Learning aberrance repressed correlation filters for real-time UAV tracking. In: Proceedings of IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, South Korea: IEEE, 2019. 2891−2900 [38] Li Y M, Fu C H, Ding F Q, Huang Z Y, Lu G. AutoTrack: Towards high-performance visual tracking for UAV with automatic spatio-temporal regularization. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 11920−11929 [39] Liu X N, Zhou Y, Zhao J Q, Yao R, Liu B, Zheng Y. Siamese convolutional neural networks for remote sensing scene classification. IEEE Geoscience and Remote Sensing Letters, 2019, 16(8): 1200-1204 doi: 10.1109/LGRS.2019.2894399 [40] Fiaz M, Mahmood A, Baek K Y, Farooq S S, Jung S K. Improving object tracking by added noise and channel attention. Sensors, 2020, 20(13): Article No. 3780 doi: 10.3390/s20133780 [41] Jia S, Ma C, Song Y B, Yang X K. Robust tracking against adversarial attacks. In: Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer, 2020. 69−84 [42] Yuan M, Lin Y. Model selection and estimation in regression with grouped variables. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 2006, 68(1): 49-67 doi: 10.1111/j.1467-9868.2005.00532.x [43] Nie F P, Huang H, Cai X, Ding C. Efficient and robust feature selection via joint $ \ell_2, 1$-norms minimization. In: Proceedings of the 23rd International Conference on Neural Information Processing Systems. Vancouver, Canada: ACM, 2010. 1813−1821 [44] Bach F, Jenatton R, Mairal J, Obozinski G. Structured sparsity through convex optimization. Statistical Science, 2012, 27(4): 450-468 [45] Yoon J, Hwang S J. Combined group and exclusive sparsity for deep neural networks. In: Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia: JMLR.org, 2017. 3958−3966 [46] Hu Y H, Li C, Meng K W, Qin J, Yang X Q. Group sparse optimization via $ L_p, q$ regularization. The Journal of Machine Learning Research, 2017, 18(1): 960-1011[47] Wen W, Wu C P, Wang Y D, Chen Y R, Li H. Learning structured sparsity in deep neural networks. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: ACM, 2016. 2082−2090 [48] Szegedy C, Zaremba W, Sutskever I, Bruna J, Erhan D, Goodfellow I, et al. Intriguing properties of neural networks. arXiv preprint arXiv: 1312.6199, 2013. [49] Chen Z, Badrinarayanan V, Lee C Y, Rabinovich A. GradNorm: Gradient normalization for adaptive loss balancing in deep multitask networks. In: Proceedings of the 35th International Conference on Machine Learning. Stockholm, Sweden: PMLR, 2018. 793−802 [50] Lin T Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, et al. Microsoft COCO: Common objects in context. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 740−755 [51] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S A, et al. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, 2015, 115(3): 211-252 doi: 10.1007/s11263-015-0816-y [52] Real E, Shlens J, Mazzocchi S, Pan X, Vanhoucke V. YouTube-BoundingBoxes: A large high-precision human-annotated data set for object detection in video. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 7464−7473 [53] Huang L H, Zhao X, Huang K Q. GOT-10k: A large high-diversity benchmark for generic object tracking in the wild. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(5): 1562-1577 doi: 10.1109/TPAMI.2019.2957464 [54] Guo D Y, Wang J, Cui Y, Wang Z H, Chen S Y. SiamCAR: Siamese fully convolutional classification and regression for visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 6268−6276 [55] Dong X P, Shen J B, Shao L, Porikli F. CLNet: A compact latent network for fast adjusting Siamese trackers. In: Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer, 2020. 378−395 [56] Yang T Y, Xu P F, Hu R B, Chai H, Chan A B. ROAM: Recurrently optimizing tracking model. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 6717−6726 [57] Danelljan M, Bhat G, Khan F S, Felsberg M. ATOM: Accurate tracking by overlap maximization. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 4660−4669 [58] Yan B, Zhao H J, Wang D, Lu H C, Yang X Y. ‘Skimming-perusal’ tracking: A framework for real-time and robust long-term tracking. In: Proceedings of IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, South Korea: IEEE, 2019. 2385−2393 [59] Fan H, Ling H B. Siamese cascaded region proposal networks for real-time visual tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 7952−7961 [60] Yang T Y, Chan A B. Visual tracking via dynamic memory networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(1): 360-374 [61] Xu T Y, Feng Z H, Wu X J, Kittler J. Learning adaptive discriminative correlation filters via temporal consistency preserving spatial feature selection for robust visual object tracking. IEEE Transactions on Image Processing, 2019, 28(11): 5596-5609 doi: 10.1109/TIP.2019.2919201 [62] Danelljan M, Bhat G, Khan F S, Felsberg M. ECO: Efficient convolution operators for tracking. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 6931−6939 [63] Wang G T, Luo C, Xiong Z W, Zeng W J. SPM-Tracker: Series-parallel matching for real-time visual object tracking. In: Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 3643−3652 期刊类型引用(1)
1. 陈泓佑，陈帆，和红杰，蒋桐雨. 基于多任务对抗和抗噪对抗学习的人脸超分辨率算法. 模式识别与人工智能. 2022(10): 863-880 . 
百度学术其他类型引用(3)
-
下载:
计量
- 文章访问数: 798
- HTML全文浏览量: 138
- PDF下载量: 224
- 被引次数: 4
