A Survey on Multi-source Person Re-identification
-
摘要: 行人重识别是近年来计算机视觉领域的热点问题, 经过多年的发展, 基于可见光图像的一般行人重识别技术已经趋近成熟. 然而, 目前的研究多基于一个相对理想的假设, 即行人图像都是在光照充足的条件下拍摄的高分辨率图像. 因此虽然大多数的研究都能取得较为满意的效果, 但在实际环境中并不适用. 多源数据行人重识别即利用多种行人信息进行行人匹配的问题. 除了需要解决一般行人重识别所面临的问题外, 多源数据行人重识别技术还需要解决不同类型行人信息与一般行人图片相互匹配时的差异问题, 如低分辨率图像、红外图像、深度图像、文本信息和素描图像等. 因此, 与一般行人重识别方法相比, 多源数据行人重识别研究更具实用性, 同时也更具有挑战性. 本文首先介绍了一般行人重识别的发展现状和所面临的问题, 然后比较了多源数据行人重识别与一般行人重识别的区别, 并根据不同数据类型总结了5 类多源数据行人重识别问题, 分别从方法、数据集两个方面对现有工作做了归纳和分析. 与一般行人重识别技术相比, 多源数据行人重识别的优点是可以充分利用各类数据学习跨模态和类型的特征转换. 最后, 本文讨论了多源数据行人重识别未来的发展.Abstract: Person re-identification (Re-ID) has been a popular and well-investigated topic in computer vision community. However, current researches have a relatively ideal assumption that person images are captured under a sufficient light condition and with high-resolution. Although most researches can achieve very exciting performances, they are not suitable for practical applications. Since practical conditions are a little complicated, and there are multiple sources to represent persons' appearance. In this paper, we focus on the multi-source person Re-ID, which refers to the problem of using multiple sources of data for person re-identification. Compared with general person Re-ID methods, multi-source person Re-ID researches are more practical, yet more challenging in reality. We need to face challenges caused by domain gap among different data sources, such as low-resolution images, infrared images, depth images, text information and sketch images. In this paper, we start with a brief introduction of general person Re-ID. The differences between general and multi-source person Re-ID are then compared. Five types of multi-source person Re-ID are further analyzed and summarized. From these discussions, it will become evident that several advantages exist in multi-source person Re-ID over general person Re-ID methods, as the former can make full use of data sources to learn cross-modality feature transformation. Finally, the future trends of multi-source person Re-ID are discussed.
-
数据降维方法在众多领域应用广泛, 其划分依据也不尽相同, 按照数据结构特征保持与否的准则进行划分, 则可根据数据的全局结构保持和局部结构保持分成两类[1], 前者反映了数据的外部形状, 后者反映了数据的内在属性, 可以寻找出高维观测数据中所隐藏的低维流形结构.其中, 主成分分析(Principal component analysis，PCA)[2]、独立元分析[3]和人工神经网络[4]等方法均为数据全局特征结构保持的代表方法, 核主成分分析(Kernel principal component analysis, KPCA)[5]通过非线性映射函数将线性不可分的原始样本数据输入空间通过投影变换到线性可分的高维特征空间, 然后在新的特征空间中利用线性方法完成主成分分析, 从而实现数据整体方差最大化, 但KPCA方法只能够提取数据的全局结构信息, 若数据中低维局部结构中包含较多特征信息的话, 则效果较差.另外, 流形学习能够从高维历史信息中获取数据间有效的内部联系, 从而得以保持局部结构特征, 具有良好的非线性数据内部属性的处理能力[6-7], 代表性的流行学习[8]方法主要包括等距特征映射算法(Isometric feature mapping, ISOMAP)[9], 拉普拉斯特征映射算法(Laplacian eigenmaps, LE)[10], 局部线性嵌入算法(Locally linear embedding, LLE)[11], 局部保持投影算法(Locality preserving projections, LPP)[12]等, 其中, 有学者在LPP算法中引入核方法, 提出核局部保持投影(Kernel locality preserving projection, KLPP)[13], 其在保持局部结构特征的同时实现线性计算, 反映出数据的局部结构特征, 但本质上KLPP是一种基于局部结构保持的降维方法, 它并不能有效提取出数据的全局特征信息[14].
针对以上问题, 本研究拟对KPCA与KLPP相结合的降维方法进行探讨, 提出了本文的解决办法, 并把新提出的算法命名为改进全局与局部结构保持算法(Global and local structure preserving, GLSP), 在进行原始数据的投影变换时, 既考虑全局结构得以保持, 也兼顾保持局部近邻结构.首先使用局部与全部特征提取方法, 解决数据有效降维的问题, 使用聚类分析中类内距离与类间距离等作为衡量指标, 并使用K近邻(K-nearest neighbor, KNN)方法进行故障的检测[15].本文数据使用柴油机仿真故障数据[16]和TE过程公共数据集, 用于验证方法的有效性.
1. 改进结构保持方法
作为非线性特征提取的经典方法, KPCA通过非线性映射将线性不可分的原始数据从低维空间变换到一个线性可分的高维特征空间, 运用线性方法进行数据降维与特征提取, 其目标是使得数据方差最大化, 但数据方差指标主要用来描述数据集的全局结构信息.此外, KLPP是通过建立样本点之间的近邻关系来保持数据集的局部结构, 本质是保持原始数据局部结构和内部属性.综合考虑KPCA与KLPP两种投影保持方法的思想, 本文提出GLSP, 其目标函数可以理解为由全局目标函数和局部目标函数共同组成.
1.1 局部结构保持算法描述
KLPP通过非线性投影映射, 在投影空间建立近邻图, 最大限度地保持了数据集的近邻结构, 其局部结构保持目标函数定义如下[17]:假设数据集$ {\pmb X} = {\left[ {{{\pmb x}_1}, {{\pmb x}_2}, \cdots , {{\pmb x}_n}} \right]^{\rm T}} \in {\textbf{R}^{n \times m}} $, n为样本个数, m为数据维数, 通过非线性映射$ {\pmb \Phi} $将原始数据映射到高维空间中, 记为$ {\pmb \Phi} \left( {{\pmb x}_i} \right) $, $ {{\pmb J}_{\rm{local}}}\left( {\pmb w} \right) $的目标是在特征空间中找到投影向量$ {\pmb w} $, 使得投影$ {{\pmb y}_i} = {\pmb \Phi}^{\rm T} {\left( {{{\pmb x}_i}} \right)}{\pmb w} $在高维特征空间保持数据点之间的近邻关系, 可以认为, 如果$ {\pmb \Phi} \left( {{{\pmb x}_i}} \right) $和$ {\pmb \Phi} \left( {{{\pmb x}_j}} \right) $是近邻, 那么$ {{\pmb y}_i} = {\pmb \Phi}^{\rm T}{\left( {{{\pmb x}_i}} \right)}{\pmb w} $和$ {{\pmb y}_j} = {\pmb \Phi}^{\rm T} {\left( {{{\pmb x}_j}} \right)}{\pmb w} $也是近邻的.其局部结构保持的目标函数定义为:
$$ \begin{align} &{{\pmb J}_{\rm{local}}}\left( {\pmb w} \right) = \mathop {\min }\limits_{\pmb w} \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{{\left\| {{{\pmb y}_i} - {{\pmb y}_j}} \right\|}^2}{{\pmb s}_{ij}}} } = \\&\quad \mathop {\min }\limits_{\pmb w} \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{{\left\| {{\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_i}} \right)}}{\pmb w} - {\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_j}} \right)}} {\pmb w}} \right\|}^2}{{\pmb s}_{ij}}} } = \\&\quad \mathop {\min }\limits_{\pmb w} \left\{ {{{\pmb w}^{\rm T}}{\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_i}} \right)}}\left( {{\pmb D} - {\pmb S}} \right){\pmb \Phi} \left( {{{\pmb x}_j}} \right){\pmb w}} \right\} \end{align} $$ (1) 式中, $ {{\pmb s}_{ij}} $为权重参数, 表示数据点之间的近邻关系, $ {\pmb S} $为权重矩阵, $ {\pmb D} $为对角矩阵, $ {{\pmb D}_{ii}} = \sum_{j = 1}^n {{{\pmb s}_{ij}}} $, $ {{\pmb s}_{ij}} $取值一般为:
$$ \begin{align*} {\pmb s}_{ij} = \begin{cases} \dfrac{{\exp \left( { - {{\left\| {{{\pmb x}_i} - {{\pmb x}_j}} \right\|}^2}} \right)}}{t}, &{{\pmb x}_i} \in \Omega _{{{\pmb x}_j}}^k, {{\pmb x}_j} \in \Omega _{{{\pmb x}_i}}^k\\ 0, &\mbox{其他} \end{cases} \end{align*} $$ (2) 式中, $ \Omega _{{{\pmb x}_i}}^k $为$ {{\pmb x}_i} $的k邻域.
引入核函数$ {{\pmb K}_{ij}} = {\pmb K}\left( {{{\pmb x}_i}, {{\pmb x}_j}} \right) = {\pmb \Phi}^{\rm T} {\left( {{{\pmb x}_i}} \right)}{\pmb \Phi} \left( {{{\pmb x}_j}} \right) $, 并存在系数$ {\pmb \alpha} = [{\alpha _1}, {\alpha _2}, \cdots , {\alpha _n}] $对特征空间中的样本线性表示为$ {\pmb w} = \sum_{i = 1}^n {{\alpha _i}{\pmb \Phi} \left( {{{\pmb x}_i}} \right)} $, 局部结构保持的目标函数转化为:
$$ \begin{align} &{{\pmb J}_{\rm{local}}}\left( {\pmb \alpha} \right) = \mathop {\min }\limits_{\pmb \alpha} \Big\{ {{\pmb \alpha} ^{\rm T}}{\pmb \Phi} \left( {{{\pmb x}_i}} \right){\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_j}} \right)}}\\&\quad \left( {{\pmb D} - {\pmb S}} \right) {\pmb \Phi} \left( {{{\pmb x}_i}} \right)\boldsymbol {\Phi} ^{\rm T}{{\left( {{{\pmb x}_j}} \right)}}\boldsymbol {\alpha} \Big\} = \\&\quad \mathop {\min }\limits_{\pmb \alpha} \left\{ {{\boldsymbol {\alpha} ^{\rm T}}{\pmb \Phi} \left( {{{\pmb x}_i}} \right){\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_j}} \right)}}{\pmb L}{\pmb \Phi} \left( {{{\pmb x}_i}} \right){\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_j}} \right)}}{\pmb \alpha} } \right\} = \\&\quad \mathop {\min }\limits_{\pmb \alpha} {{\pmb \alpha} ^{\rm T}}{\pmb{ KLK}}{\pmb \alpha} = \mathop {\min }\limits_{\pmb \alpha} {{\pmb \alpha} ^{\rm T}}{\pmb L}'{\pmb \alpha} \end{align} $$ (3) 式中, $ {\pmb L} = {\pmb D} - {\pmb S} $为Laplacian矩阵, $ {\pmb L}' = \pmb{ KLK} $.
KLPP算法的目的是使数据在高维映射空间中, 仍能保持数据之间的近邻结构, 但是算法本身忽略了对数据集的整体结构特征描述.其本质是因为局部目标函数表达式中没有显式地考虑样本点的全局特征, 只是利用局部结构来代替全局信息, 导致了数据在低维映射中全局特征的扭曲显示.
1.2 全局结构保持算法描述
PCA算法常用于数据主要成分的分析与维度约简, 其本质是将线性数据变换为各个维度线性无关表示的几组数据, 便于对数据中主要特征分量的提取. KPCA算法由核映射将数据映射到高维核空间, 然后使用PCA方法, 与KLPP算法类似, 通过非线性映射$ {\pmb \Phi} $将原始数据$ {\pmb X} = {\left[ {{{\pmb x}_1}, {{\pmb x}_2}, \cdots , {{\pmb x}_n}} \right]^{\rm T}} \in {\textbf{R}^{n \times m}} $映射到高维空间, 记为$ {\pmb \Phi}( {\pmb x} _i ) $, 经过投影向量$ {\pmb w} $投影后的映射$ {{\pmb y} _i} = {\pmb \Phi}^{\rm T}{\left( {{{\pmb x}_i}} \right)}{\pmb w} $, 在投影方向上保证数据方差最大化, 这样可以充分利用高阶统计信息和全局特征结构保持.其全局结构目标函数定义为:
$$ \begin{align} {{\pmb J} _{\rm{global}}}\left( {\pmb w} \right) = \, & \mathop {\max }\limits_{\pmb w} \sum\limits_{i = 1}^n {{{\pmb y}_i}^2} = \\& \mathop {\max }\limits_{\pmb w} \sum\limits_{i = 1}^n {{{\left( {{\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_i}} \right)}}{\pmb w}} \right)}^2}} \end{align} $$ (4) 式中, $ {{\pmb w}^{\rm T}}{\pmb w} = 1 $.
引入核函数$ {{\pmb K}_{ij}} = {\pmb K}\left( {{{\pmb x}_i}, {{\pmb x}_j}} \right) = {\pmb \Phi}^{\rm T} {\left( {{{\pmb x}_i}} \right)}{\pmb \Phi} \left( {{{\pmb x}_j}} \right) $, 可看出即使不确定核函数的具体表达形式, 但是其转化为映射后的数据的内积运算, 存在系数$ {\pmb \alpha} = [{\alpha _1}, {\alpha _2}, \cdots , {\alpha _n}] $对特征空间中的样本线性表示为$ {\pmb w} = \sum_{i = 1}^n {{\alpha _i}{\pmb \Phi} \left( {{{\pmb x}_i}} \right)} $, 全局结构保持的目标函数转化为:
$$ \begin{align} {{\pmb J}_{\rm{global}}}\left( {\pmb \alpha} \right) = \, & \mathop {\max }\limits_{\pmb \alpha} \sum\limits_{i = 1}^n {{{\left( {{\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_i}} \right)}}\sum\limits_{j = 1}^n {{\alpha _j}{\pmb \Phi} \left( {{{\pmb x}_j}} \right)} } \right)}^2}} = \\& \mathop {\max }\limits_{\pmb \alpha} \sum\limits_{i = 1}^n {{{\left( {\sum\limits_{j = 1}^n {{{\pmb \alpha}_j} {\pmb \Phi}^{\rm T} {{\left( {{{\pmb x}_i}} \right)}} {\pmb \Phi} \left( {{{\pmb x}_j}} \right)} } \right)}^2}} = \\& \mathop {\max }\limits_{\pmb \alpha} {{\pmb \alpha} ^{\rm T}}\pmb{ KK}{\pmb \alpha} = \mathop {\max }\limits_{\pmb \alpha} {{\pmb \alpha}^{\rm T} }{\pmb C}{\pmb \alpha} \end{align} $$ (5) 式中, $ {{\pmb \alpha} ^{\rm T}}{\pmb K}{\pmb \alpha} = 1 $, $ {\pmb C} = \pmb{ KK} $.
因为KPCA是一种面向全局的变换方法, 由于其保持了原始数据的大部分方差信息, 所以实现了全局结构的特征提取.然而, 保持全局结构的目标函数中没有考虑各类数据点之间的内部联系, 在低维空间里, 数据点之间的局部几何关系与内在属性可能被忽视, 甚至导致重要信息的丢失.
1.3 改进的整体目标函数
全局结构目标保持函数的思想是在最大程度保持全局信息方差不变的情况下, 提取出样本数据的非线性特征; 而局部结构保持目标函数的思想是在投影中保持样本对之间的远近亲疏关系, 在低维空间中最小化近邻样本间的距离加权平方和, 即尽量避免样本集的发散.
结合全局结构保持目标函数和局部结构保持目标函数的意义, 构造一种新的结构保持目标函数, 使得映射后的特征空间能够保留全局结构的同时, 又可以保持数据间的局部近邻结构[18-19], 构造出如式(6)的最大值选择问题, 由于局部结构保持的目标函数为求取最小值, 所以式(6)中引入其相反数:
$$ \begin{equation} {\pmb J}\left( {\pmb \alpha} \right) = \mathop {\max }\limits_{\pmb \alpha} \left\{ {{{\pmb J}_{\rm{global}}}\left( {\pmb \alpha} \right), - {{\pmb J}_{\rm{local}}}\left( {\pmb \alpha} \right)} \right\} \end{equation} $$ (6) 由于式(6)只从两个目标函数中选择其一, 是一个典型的多目标求取最值问题, 由于未考虑两个目标函数的综合效果, 通常很难求解到全局最优解, 因此, 将式(6)中两个目标函数进行求和操作, 求和后的目标函数如式(7)所示:
$$ \begin{align} {\pmb J}\left( {\pmb \alpha} \right) = \, &\mathop {\max }\limits_{\pmb \alpha} \left( {{{\pmb J}_{\rm{global}}} \left( {\pmb \alpha} \right) - {{\pmb J}_{\rm{local}}} \left( {\pmb \alpha} \right)} \right) = \\& \mathop {\max }\limits_{\pmb \alpha} \left( {{{\pmb \alpha} ^{\rm T}} {\pmb C}{\pmb \alpha} - {{\pmb \alpha} ^{\rm T}}{\pmb L}'{\pmb \alpha} } \right) = \\& \mathop {\max }\limits_{\pmb \alpha} \left( {{{\pmb \alpha} ^{\rm T}} \left( {{\pmb C} - {\pmb L}'} \right) {\pmb \alpha} } \right) \end{align} $$ (7) 同理, 这两个目标函数很难同时达到最佳效果.考虑到两个目标函数之间的差异, 所以, 引入一个权重参数$ \beta $来平衡上述两个目标函数, $ \beta $是一个介于0和1之间的值, 其值的大小对于新的目标函数$ {\pmb J}\left( {\pmb \alpha} \right) $有很大影响, 因为它决定着两个原始目标函数的重要性问题[20].实际上$ \beta $可以看作是平衡两个目标函数的能量变化. $ \beta $越小越侧重于全局特征的提取, $ \beta $越大越侧重于局部特征的提取, $ \beta $值的选取按照如下准则:
$$ \begin{equation} \beta {S_{\rm{global}}} = \left( {1 - \beta } \right){S_{\rm{local}}} \end{equation} $$ (8) 其中, $ {S_{\rm{global}}} $和$ {S_{\rm{local}}} $分别表示$ {{\pmb J}_{\rm{global}}}\left( {\pmb w} \right) $和$ {{\pmb J}_{\rm{local}}}\left( {\pmb w} \right) $的规模大小, 受到参考文献[18, 21]启发, 定义为:
$$ \begin{equation} {S_{\rm{global}}} = \rho \left( {\pmb C} \right) \end{equation} $$ (9) $$ \begin{equation} {S_{\rm{local}}} = \rho \left( {{\pmb L}'} \right) \end{equation} $$ (10) 式中, $ \rho \left( \cdot \right) $是相关矩阵谱半径.结果表明, 该平衡参数的引入策略能够很好地平衡全局和局部的行为, GLSP的降维性能也可以得到保证.事实上, 权重参数也可以根据不同背景下原始数据的特性, 赋予不同定义, 而不仅限于本文所提方法, 这使得改进的结构保持算法更加灵活.结合式(8)~(10), 可得到权重参数$ \beta $的计算公式如下:
$$ \begin{equation} {\beta _{\pmb C} } = \frac{{\rho \left( {\pmb C} \right)}}{{\rho \left( {\pmb C} \right) + \rho \left( {{\pmb L}'} \right)}}, \beta _{{\pmb L}'} = 1 - {\beta _{\pmb C}} \end{equation} $$ (11) 因此, 改进的整体目标函数表示为:
$$ \begin{align} {\pmb J}\left( {\pmb \alpha} \right) = \, &\mathop {\max } \limits_{\pmb \alpha} \left( {{{\beta _{\pmb C} }{\pmb J}_{\rm{global}}} \left( {\pmb \alpha} \right) - {{\beta _{{\pmb L}'} }{\pmb J}_{\rm{local}}} \left( {\pmb \alpha} \right)} \right) = \\& \mathop {\max }\limits_{\pmb \alpha} \left( {{{\pmb \alpha} ^{\rm T}} \left( {{\beta _{\pmb C} }{\pmb C} - \beta _{{\pmb L}'}{\pmb L}'} \right){\pmb \alpha} } \right) = \\& \mathop {\max }\limits_{\pmb \alpha} {{\pmb \alpha} ^{\rm T}}{\pmb M}{\pmb \alpha} \end{align} $$ (12) 式中$ {\pmb M} = {\beta _{\pmb C}}{\pmb C} - \beta _{{\pmb L}'}{\pmb L}', 0 \le {\beta _{\pmb C}} \le 1, 0 \le \beta _{{\pmb L}'} \le 1 $.
最后将上述目标函数的优化问题转化为求解特征向量问题.确定权重参数$ \beta $的值之后, 结合式(5)中的条件, 引入拉格朗日乘子法, 求解特征向量:
$$ \begin{equation} {\pmb L} = {{\pmb \alpha} ^{\rm T}}{\pmb M}{\pmb \alpha} - \lambda \left( {{{\pmb \alpha} ^{\rm T}}{\pmb K}{\pmb \alpha} - 1} \right) \end{equation} $$ (13) 当$ \frac{{\partial {\pmb L}}}{{\partial {\pmb \alpha} }} = 0 $, 可得:
$$ \begin{equation} {\pmb M}{\pmb \alpha} = \lambda {\pmb K}{\pmb \alpha} \end{equation} $$ (14) 非线性问题的求解过程中, 引入正则化方法, 我们用$ {\pmb K} + \eta {{\pmb I}_n} $来代替式(14)中的$ {\pmb K} $, 其中, $ \eta $是一个很小的正整数, $ {{\pmb I}_n} $是一个$ n \times n $的单位向量.
与PCA类似, 本文使用累积方差贡献率准则选取满足贡献率达到要求的主成分个数, 依据式(15)选取前$ p $个特征值确定主成分个数, 本研究中贡献率选定为$ 85\, \% $.
$$ \begin{equation} \frac{{\sum\limits_{k = 1}^p {{\lambda _k}} }}{{\sum\limits_{k = 1}^N {{\lambda _k}} }} > 85\, \% \end{equation} $$ (15) 2. 降维方法实现
原始数据在降维时, 将面临难以全面提取有用信息的困难, 为解决这一问题, 本文提供一种结合全局与局部结构保持的数据降维思想, 实现方法为:采集原始数据, 建立能够从多角度反映数据信息的高维数据集, 并加以验证; 再将数据集输入所提全局与局部结构保持算法中进行降维处理:将低维特征子集输入KNN最近邻分类器, 计算KNN的识别率, 并将聚类分析中类间距与类内距的比值$ {{\pmb S}_B}/{{\pmb S}_W} $作为衡量降维效果指标[22].
2.1 降维评价指标
Fisher判别分析是模式识别方法中的一种数据降维与分类方法.其通过投影将测试数据映射到不同方向, 使得不同类别的测试样本的投影的类间离散度最大, 类内离散度最小[23].类内距$ {{\pmb S}_W} $描述同一类样本内部分布的紧密程度, 而类间距$ {{\pmb S}_B} $用反映不同类别之间的分离程度, 定义如下[15, 24]:
$$ \begin{align} {{\pmb S}_B} = \, & \frac{1}{N}\sum\limits_{i = 1}^C {{N_i}\left( {{{\pmb m}_i} - {\pmb m}} \right){{\left( {{{\pmb m}_i} - {\pmb m}} \right)}^{\rm T}}} \end{align} $$ (16) $$ \begin{align} {{\pmb S}_W} = \, & \frac{1}{N}\sum\limits_{i = 1}^C \sum\limits_{j = 1}^{{N_i}} \left[ {{\pmb \Phi} \left( {{\pmb x}_i^j} \right) - {{\pmb m}_i}} \right]\times\\&{{\left[ {{\pmb \Phi} \left( {{\pmb x}_i^j} \right) - {{\pmb m}_i}} \right]}^{\rm T}} \end{align} $$ (17) 其中, $ {{\pmb m}_i} $表示特征空间中第$ i $类采样均值, $ {\pmb m} $表示所有样本点在特征空间中的均值.显然, $ {{\pmb S}_B}/{{\pmb S}_W} $越大说明该方法的分类与聚类效果越好, 因此将该指标作为降维效果的综合衡量指标之一.
KNN是对不同类别的数据信息根据训练样本特征进行分类的方法, 具有操作直观、效果稳定、时效性强等优点, 广泛应用到各类数据分类领域, 尤其是故障数据的诊断与分类中.原始数据进行降维操作, 其最终目的是实现不同故障类别的准确分类, 故KNN方法的识别率越高, 其反映出对数据的初始降维方法越好[25-26].
2.2 降维方法流程
总结局部与全局结构保持算法的流程图如图 1所示.
算法主要流程如下.
步骤1. 对于数据集$ {\pmb X} = {\left[ {{{\pmb x}_1}, {{\pmb x}_2}, \cdots , {{\pmb x}_n}} \right]^{\rm T}} \in $ $ {\textbf{R}^{n \times m}} $, 构造局部结构保持函数$ {{\pmb J}_{\rm{local}}}\left( {\pmb \alpha} \right) $.
步骤2. 构造全局方差最大目标函数$ {{\pmb J}_{\rm{global}}}\left( {\pmb \alpha} \right) $.
步骤3. 构造整体目标函数$ {\pmb J}\left( {\pmb \alpha} \right) $.
步骤4. 根据式(14)求解特征值$ {\lambda _1}, {\lambda _2}, \cdots , {\lambda _n} $与对应的特征向量$ {{\pmb A}} = \left[ {{\alpha _1}, {\alpha _2}, \cdots , {\alpha _n}} \right] $.
步骤5. 根据式(15)求解前$ p $个特征值$ {\lambda _1} $, $ {\lambda _2} $, $ \cdots $, $ {\lambda _p} $与对应的特征向量$ {{\pmb A'}} = \left[ {{\alpha _1}, {\alpha _2}, \cdots , {\alpha _p}} \right] $.
步骤6. 根据公式$ {\pmb T} = {{\pmb K}^{\rm T}}{{\pmb A'}} $, 获得样本集在低维正交特征子空间的投影.
步骤7. 通过映射矩阵对训练及测试样本进行维数约简, 再将得到的低维特征子集输入到KNN, 并计算低维特征子集的$ {{\pmb S}_B} $, $ {{\pmb S}_W} $及$ {{\pmb S}_B}/{{\pmb S}_W} $指标.
3. 仿真实验与分析
3.1 柴油机故障数据仿真
船舶柴油机广泛应用于实际航运工程中, 其安全稳定的运行状态对整个系统起着至关重要的影响.因此, 在船舶柴油机发生故障时, 如果能够准确将故障信号的有效特征提取并分析, 则可提供足够多有效信息, 便于故障的分类和诊断[27-28].
1) 模型设计
本文以MAN公司S35ME-B9型柴油机为主要研究对象, 利用专业模拟软件AVL Boost完成柴油机故障模型仿真模拟系统, 图 2为柴油机仿真模型.
图 2中, SB1、SB2、SB3为系统边界, 外界气体通过SB1进入系统, 系统工质通过SB3排出系统, MP1$ \sim $MP8为测点, MP1和MP2测量中冷器前后的气体压力、温度, MP3和MP4测量气体进入和流出进气管PL1的气体压力、温度, MP5和MP6测量进入和流出1号缸的气体压力、温度, MP7和MP8测量废气进入和流出涡轮增压的气体压力、温度, C1$ \sim $C6为气缸, 1$ \sim $29为管道连接, PL1为进气管, CO1为中冷器, TC1为涡轮增压器.
本文对正常工况以及三种常见的船舶柴油机故障进行仿真模拟, 包括空冷器冷却不足, 排气口堵塞以及涡轮增压器效率降低, 如表 1所示, 由于本文采用的数值仿真模型, 因此采用设置关键参数的方式对故障进行模拟.在每种工况下, 记录模型中8个测量点的15个状态参数作为原始数据, 分别为功率(kW), 最大爆发压力(100 kPa), 压力机流量(kg/c), 压力机出口温度($ ^\circ $C), 压力机出口压力(100 kPa), 中冷器后温度($ ^\circ $C), 中冷器温差($ ^\circ $C), 中冷器后压力(100 kPa), 中冷器压差(100 kPa), 扫气温度($ ^\circ $C), 扫气压力(100 kPa), 排气管温度($ ^\circ $C), 排气管压力(100 kPa), 废气进涡轮机温度($ ^\circ $C), 涡轮增压出口温度($ ^\circ $C).
表 1 正常工况与故障工况模拟Table 1 The simulation of normal and fault conditionsNo. 工况类型 样本个数 数据维数 1 正常工况 960 15 2 故障1_空冷器冷却不足 960 15 3 故障2_排气口堵塞 960 15 4 故障3_涡轮增压效率降低 960 15 将故障数据集经本文所提降维方法进行处理, 选取KPCA、KLPP、核Fisher判别分析(Kernel fisher discriminant analysis, KFDA)[29]、局部和全局主成分分析(Local and global principal component analysis, LGPCA)[30]、全局–局部结构张量分析(Tensor global-local structure analysis, TGLSA)[20]和本文共6种算法进行对比, 在本研究中选取的目标维数为3维, 研究中采用了交叉验证方法选取最优高斯核参数, 实验从降维效果可视化、降维效果综合衡量指标和特征提取速度分析三方面验证方法的有效性.
2) 模型验证
使用AVL Boost进行柴油机工作状态仿真模型的建立, 选择台架实验的关键状态参数数据和AVL Boost对应状态参数进行对比验证.以柴油机功率、排气温度对柴油机模型正确性进行验证, 以排气阀堵塞和空冷器冷却不足等故障对柴油机模型进行故障模拟验证.
表 2是使用三种不同的工作状态的特定工作参数平均值与台架实验中对应参数的比较, 可以发现台架实验数据与AVL Boost相差较小, 可以认为使用AVL Boost建立的柴油机模型与台架实验使用柴油机具有相同的工作参数.
表 2 数据与台架实验数据多工况对比Table 2 The data contrast between AVL Boost and bench test under multiple working conditions负荷 排气温度(℃) 相对误差(%) 功率(kW) 相对误差(%) 模型数据 台架实验数据 模型数据 台架实验数据 90%负荷 329.89 328.50 0.42 3 281.40 3 277.00 0.13 75%负荷 304.39 307.30 0.95 2 839.20 2 844.00 0.17 75%推进 319.23 320.90 0.37 2 866.85 2 864.00 0.10 排气口堵塞是采用逐渐减小单个气缸的排气口直径的方法进行仿真验证, 排气口堵塞会造成排气效率不佳, 气缸内废气无法及时排出, 会造成气缸内气体逐渐增加, 缸内压力逐渐增大, 引起扫气压力增大, 进气逐渐减少, 也就是压力机流量减小.排气口堵塞还会造成气缸内高速积碳, 引起后燃现象, 使得排气温度上升, 燃烧效率下降, 但由于上述故障因素只是增加在一个气缸中, 其余五个气缸的燃烧过程影响不大, 因此对柴油机的功率影响不大.使用AVL Boost仿真这种故障, 上述提到的理论上的参数变化均获得了较好的验证.
空冷器冷却不足是使用逐渐增加冷却液温度, 逐渐降低空冷器冷却效率的方法仿真验证.这种故障最直观的反映就是空冷器前后温差降低, 另外由于空冷器冷却效率下降, 增压之后的气体无法较好地得到冷却, 扫气温度上升, 进入气缸内的气体质量会下降, 随之扫气压力上升, 流经压力机的空气流量会相应减小, 由于进入气缸的新鲜空气减少, 功率和最大爆发压力都会出现下降趋势, 同时由于进入气缸的空气温度上升, 排气温度也会上升.
3) 降维效果可视化
为验证本文降维方法的有效性, 将故障数据集经KPCA、KLPP、KFDA、LGPCA、TGLSA和本文所提降维方法进行处理, 选取前480个样本作为训练样本, 后480个样本作为测试样本.根据本文所提算法选取降维后的前三个主成分即可较为直观有效的表现降维效果, 图 3为根据贡献率原则, 选择不同降维维数与对应的主元贡献率, 由图中可知, 本文中选择主成分为前三维, 其贡献率之和即可达到总贡献率的85$ \% $, 因此仿真实验中的贡献率选择为85$ \% $即可.得到降维后的测试样本三维特征量分布见图 4~9.
从图 4可以看出, KPCA可以分辨正常工况与故障1, 但对于故障2和故障3有较严重的数据重叠现象.从图 5可以看出, KLPP对于4种工况均不能较为有效地进行区分.
图 6~8分别为KFDA、LGPCA、TGLSA三种不同降维方法的对比实验效果图, KFDA效果较差, 样本数据大部分呈现混叠状态, LGPCA和TGLSA算法也综合保持了全局结构和局部结构, 因此其效果略好于KFDA、LGPCA和TGLSA三种算法, 但由于其主要应用于维数较低的数据, 因此对于船舶柴油机的高维复杂数据, 效果一般.
本文所提降维方法效果图如图 9所示, 其中, 权重参数根据计算得到$ {\beta _{\pmb C}} = 0.79 $, $ {\beta _{{\pmb L}'}} = 0.21 $, 可见对于柴油机故障数据, KPCA方法所侧重的全局特征占主导地位.由于全局和局部结构特征提取过程的综合考虑, 在完成数据约简和可视化的同时, 有效地分离了四种状态, 同时具有良好的聚类能力.因此, 本文提出的方法能够提取故障特征, 解决了数据降维可视化问题.
4) 降维效果综合衡量指标
为直观有效地可视化各类方法的降维效果, 将类间距$ {{\pmb S}_B} $, 类内距$ {{\pmb S}_W} $及二者的比值$ {{\pmb S}_B}/{{\pmb S}_W} $作为衡量指标, 类间距$ {{\pmb S}_B} $及二者的比值$ {{\pmb S}_B}/{{\pmb S}_W} $越大, 表明分类效果明显, 得到的评价结果见图 10, 从图中可以看出, 六种方法中, 本文所提GLSP方法对应的类间距及二者的比值具有最大值.分析如下:
a) KPCA降维效果及识别率一般, 虽然可以去除特征空间中的数据冗余信息, 但并未达到能够有效表达最佳情况的条件; KLPP局部结构保持的方法的类间距明显提高, 该方法能有效提取出数据集中局部结构, 但对于综合全局与结构方法所得到的类间距与类内距的比值, 还有一定差距; KFDA方法具有较高类内距, 但是对于类内距没有很好的聚合效果; LGPCA和TGLSA两种方法均具有较好类内聚合作用, 但是由于不同类别的类间距离较小, 导致综合类间距与类内距比值较小.
b) 本文所提方法的降维效果及识别率要高于其他对比方法, 该方法能够避免子空间重构, 更利于故障类别的划分, 且具有较强的全局与局部判别信息的挖掘能力.
故障诊断的实质是模式识别, 考虑船舶柴油机故障诊断的实船应用性, 选择极限学习机(Extreme learning machine, ELM)、支持向量机(Support vector machine, SVM)、相关向量机(Relevance vector machine, RVM)、KNN四种基础有效的分类方法进行检验, 将低维样本分别应用于上述四种方法进行分类效果比较, 表 3~5给出了测试样本的故障诊断结果, 可知相较传统的分类方法, 对于仿真所得故障数据的诊断率均不高, 但是所提出的GLSP降维方法所获得的低维有效数据在大部分情况下获得最高的故障识别精度, 未获得最高识别精度情况下, 其精度与最高精度相差不大.
表 3 故障1识别准确率($ \% $)Table 3 The accuracy of fault1 diagnosis ($ \% $)方法 Fault1 KPCA KLPP KFDA LGPCA TGLSA GLSP ELM 55.32 61.38 60.58 54.21 58.69 62.97 SVM 58.69 70.61 71.68 65.34 68.49 69.27 RVM 72.77 69.59 74.21 68.98 63.40 76.35 KNN 72.26 66.86 70.38 75.49 77.36 78.53 表 4 故障2识别准确率($ \% $)Table 4 The accuracy of fault2 diagnosis ($ \% $)方法 Fault2 KPCA KLPP KFDA LGPCA TGLSA GLSP ELM 80.95 76.85 79.65 77.49 70.28 82.62 SVM 78.36 77.32 77.05 74.39 72.15 80.09 RVM 79.74 74.16 78.66 85.68 81.29 83.62 KNN 82.35 82.63 75.39 78.91 86.54 88.84 表 5 故障3识别准确率($ \% $)Table 5 The accuracy of fault3 diagnosis ($ \% $)方法 Fault3 KPCA KLPP KFDA LGPCA TGLSA GLSP ELM 70.65 72.39 77.16 74.29 70.53 79.26 SVM 66.34 68.29 68.49 65.39 60.87 66.58 RVM 59.38 62.58 55.21 59.86 60.13 66.34 KNN 58.62 62.38 65.98 63.24 61.09 65.08 5) 降维效果综合衡量指标
时间性能比较是在实验室中台式机电脑上进行, 其配置为Intel Core i3 CPU 3.3GHz, RAM 4GB, Win7操作系统, 仿真软件为MATLAB 2010a, 计算结果如表 6所示.由表 6可知, 本文所提方法降维所需时间相对于其他方法有所增加, 但是都是在一个数量级, 且运行速度均在5s以内, 满足实际情况中对于实时的要求.
表 6 特征提取所需时间(s)Table 6 Feature extraction time (s)维度 特征提取方法 KPCA KLPP KFDA LGPCA TGLSA GLSP 3 0.651 1.155 1.039 2.598 2.134 1.596 5 0.795 1.159 1.118 2.019 1.495 1.632 8 0.815 1.209 0.975 1.069 1.396 1.885 10 0.867 1.344 1.185 1.563 2.098 1.962 3.2 TE数据仿真
TE过程是一个公认的对比各种控制和监控方案的平台, 为验证本文所提方法的通用性, 将本文算法应用于故障检测与诊断领域被广泛使用的TE化工数据集上. TE过程是基于真实工业过程的仿真平台, 包含了一组正常状态和21组不同故障状态, 分别涵盖了12个操纵变量和41个测量变量, 每组状态包含480组训练数据和960组测试数据, 每一组故障从第160个数据点引入, 过程的详细描述、工艺流程图以及其故障形式的具体介绍见文献[31].
从TE数据集中选取1组正常工况数据和3组故障数据(故障4、故障8和故障14), 使用本文所提GLSP算法得到降维后的前两维特征矢量, 对于TE数据, 前两维即可较好体现降维效果, 本文权重参数根据计算得到$ {\beta _{\pmb C}} = 0.64, {\beta _{{\pmb L}'}} = 0.36 $, 并将本文算法与KPCA、KLPP、KFDA、LGPCA和TGLSA五种降维方法进行比较, 如图 11至图 16.
从图 11和图 12前两维降维效果可以看出, KPCA和KLPP对于4类数据分离效果较差, 特别是正常工况与故障4和故障14存在大量重合现象; 图 13和图 14中KFDA和LGPCA方法对于正常工况和故障14难以有效区分; 图 15和图 16的特征提取效果略好于前几种方法, 但TGLSA方法虽然能够较好地区分故障4和故障14, 但是正常工况和故障8仍有较大重叠, 而本文所提算法提取了更为丰富的全局与局部结构信息, 在完成数据降维可视化的同时能够将四类数据有效分离.
4. 结论
本文通过融合全局特征提取KPCA与局部特征提取KLPP两种降维方法, 提出一种结合两种降维方法的数据维数约简方法GLSP, 增强了数据低维可视化效果, 同时提高了识别精度, 并将其应用于故障诊断中.所提方法将流形学习保持局部结构的思想融入核主成分分析的目标函数中, 使得到的特征空间不仅具有原始样本空间的整体结构, 还保持样本空间相似的局部近邻结构, 可以包含更丰富的特征信息.使用AVL Boost软件对船舶柴油机工作过程进行故障仿真, 提取正常工况与故障工况下的仿真数据, 并将AVL Boost软件仿真数据和TE化工公共故障数据应用到所提方法中, 实验结果证明, 本文所提GLSP算法具有较好的维度约简效果, 并具有较高分类精度的优势.
-
图 2 多源数据行人重识别类型
Fig. 2 Scope of multi-source data person re-identification studied in this survey
图 3 一般行人重识别与多源数据行人重识别论文数量和最优效果对比
Fig. 3 The state-of-the-art performance and number of papers between general Re-ID and multi-source data Re-ID
表 1 一般行人重识别与多源数据行人重识别的对比
Table 1 Comparison of general Re-ID and multi-source data Re-ID
一般行人重识别 多源数据行人重识别 定义 给定一个监控行人图像, 检索跨设备下的该行人图像的技术 给定一个监控行人的跨类型或模态信息/图像, 检索跨设备跨模态下的该行人图像的技术 数据类型 单一类型的图像 多类型的图像/视频、文本、语言、素描等数据信息 方法 针对输入图像提取稳定、鲁棒且能描述和区分不同行人的特征信息, 计算特征相似性, 根据相似性大小排序 使用特定于类型/域的网络提取该类型/域的特征信息, 通过共享网络生成特征, 使用合适的损失函数进行训练并与普通网络相连确保重识别工作的有效性 数据集 单一的可见光图像、二分类属性数据集 多种图像、多种信息、多属性数据集 解决重点和难点 低分辨率、视角和姿势变化、光照变化、遮挡和视觉模糊性问题 模态变化以及一般行人重识别需要克服的问题 
下载: 导出CSV
表 2 多源数据行人重识别工作中的代表性方法
Table 2 A summary of representational methods in multi-source data Re-ID
方法 模态 年份 会议/期刊 方法类别 数据集 度量学习 特征模型 统一模态 JUDEA[7] 高−低分辨率图像 2015 ICCV 度量学习 ⑩⑪⑫ √ × × SLD2L[9] 2015 CVPR 字典学习 ⑪⑬⑭ × √ × SALR-REID[8] 2016 IJCAI 子空间学习 ⑩⑮⑯ √ √ × SING[14] 2018 AAAI 超分辨率 ⑰⑱⑲ × √ √ CSR-GAN[15] 2018 IJCAI 超分辨率 ⑩⑮⑯ × √ √ DSPDL[11] 2018 AAAI 字典学习 ⑪⑭⑳ × √ × Zhuang[18] 2018 CVPR 深度对偶学习 ㉑㉒㉓ √ × √ Wu[22] 红外−可见光图像 2017 ICCV 深度零填充 ㉔ × √ × TONE[24] 2018 AAAI 度量学习 ㉕ √ √ × Ye[23] 2018 IJCAI 特征学习 ㉔㉕ √ √ × cmGAN[25] 2018 IJCAI 特征嵌入 ㉔ × √ × D2RL[26] 2019 CVPR 图像生成 ㉔㉕ × √ √ Barbosa[27] 深度−可见光图像 2012 ECCV 度量学习 ㉖ √ × × Wu[30] 2017 TIP 子空间学习 ㉖㉗㉘ √ √ × Hafner[31] 2018 CVPR 模态转移 ㉗㉚ × √ √ Ye[40] 文本−可见光图像 2015 ACM 度量学习 ①④㉛ √ × × Shi[35] 2015 CVPR 属性识别 ①⑤㉛ √ × × APR[37] 2017 CVPR 属性识别 ⑦⑧ √ × × GNA-RNN[42] 2017 CVPR 密切关系学习 ㉜ × √ × CNN-LSTM[41] 2017 ICCV 特征学习 ㉜ × √ × MTL-LORAE[39] 2018 PAMI 特征学习 ①③④⑨ √ √ × Pang[45] 素描−可见光图像 2018 ACM MM 特征学习 ㉝ × √ ×
下载: 导出CSV
表 3 常用的一般行人重识别数据集与跨模态行人重识别数据集
Table 3 A summary of general Re-ID dataset and multi-source data Re-ID datase
类别 数据集名称 发布时间 数据集类型 人数 相机数量 数据集大小 一般行人数据集 ①VIPeR[51] 2008 真实数据集 632 2 1 264幅 RGB 图像 ②3DPES[52] 2011 192 8 1 011 幅 RGB 图像 ③i-LIDS[50] 2009 119 2 476 幅 RGB 图像 ④PRID2011[53] 2011 934 2 1 134 幅 RGB 图像 ⑤CUHK01[48] 2012 971 2 3 884幅 RGB 图像 ⑥CUHK03[6] 2014 1 467 10 13 164幅 RGB 图像 ⑦Market-1501[54] 2015 1 501 6 32 217 幅 RGB 图像 ⑧DukeMT MC-REID[55] 2017 1 812 8 36 441 幅 RGB 图像 ⑨SAIVT-SoftBio[56] 2012 152 8 64 472 幅 RGB 图像 低分辨率行人数据集 ⑩CAVIAR[57] 2011 真实数据集 72 2 720 幅高分辨率图像 500 幅低分辨率图像 ⑪LR-VIPeR[7, 9-11] 2015 模拟数据集 632 2 1 264 幅 RGB 图像 ⑫LR-3DPES[7] 2015 192 8 1 011 幅 RGB 图像 ⑬LR-PRID2011[9, 15] 2015 100 2 200 幅 RGB 图像 ⑭LR-i-LDIS[9, 11] 2015 119 2 238 幅 RGB 图像 ⑮SALR-VIPeR[8, 15] 2016 632 2 1 264 幅 RGB 图像 ⑯SALR-PRID[8, 15] 2016 450 2 900 幅 RGB 图像 ⑰MLR-VIPeR[14] 2018 632 2 1 264 幅 RGB 图像 ⑱MLR-SYSU[14] 2018 502 2 3 012 幅 RGB 图像 ⑲MLR-CUHK03[14] 2018 1 467 2 14 000 幅 RGB 图像 ⑳LR-CUHK01[11] 2018 971 2 1 942 幅 RGB 图像 ㉑LR-CUHK03[18] 2018 1 467 10 13 164 幅 RGB 图像 ㉒LR-Market-1501[18] 2018 1 501 6 32 217 幅 RGB 图像 ㉓LR-DukeMTMC-REID[18] 2018 1 812 8 36 441 幅 RGB 图像 红外行人数据集 ㉔SYSU-MM01[22] 2017 真实数据集 491 6 287 628 幅 RGB 图像 15 792幅红外图像 ㉕RegDB[58] 2017 412 2 4 120 幅 RGB 图像 4 120 幅红外图像 深度图像行人数据集 ㉖PAVIS[27] 2012 真实数据集 79 − 316 组视频序列 ㉗BIWI RGBD-ID[28] 2014 50 − 22 038 幅 RGB-D 图像 ㉘IAS-Lab RGBD-ID[28] 2014 11 − 33 个视频序列 ㉙Kinect REID[59] 2016 71 − 483 个视频序列 ㉚RobotPKU RGBD-ID[60] 2017 90 − 16 512 幅 RGB-D 图像 文本行人数据集 ㉛PETA[34] 2014 真实数据集 8 705 − 19 000 幅图像 66 类文字标签 ㉜CUHK-PEDES[42] 2017 13 003 − 40 206 幅图像 80 412 个句子描述 素描行人数据集 ㉝Sketch Re-ID[45] 2018 真实数据集 200 2 400 幅 RGB 图像 200 幅素描
下载: 导出CSV
表 4 几种多源数据行人重识别方法在常用的行人数据集上的识别结果
Table 4 Comparison of state-of-the-art methods on infra-red person re-identification dataset
数据集 算法 年份 Rank1 (%) Rank5 (%) Rank10 (%) 低分辨率 VIPeR SLD2L[9] 2015 16.86 41.22 58.06 MVSLD2L[10] 2017 20.79 45.08 61.24 DSPDL[11] 2018 28.51 61.08 76.11 CAVIAR JUDEA[7] 2015 22.12 59.56 80.48 SLD2L[9] 2015 18.40 44.80 61.20 SING[14] 2018 33.50 72.70 89 红外 SYSU-MM01 Wu等[22] 2017 24.43 − 75.86 Ye等[23] 2018 17.01 − 55.43 CMGAN[25] 2018 37.00 − 80.94 RegDB Ye等[23] 2018 33.47 − 58.42 TONE[24] 2018 16.87 − 34.03 深度图像 BIWI RGBD-ID Wu等[30] 2017 39.38 72.13 − Hafner[31] 2018 36.29 77.77 94.44 PAVIS Wu等[30] 2017 71.74 88.46 − Ren等[63] 2017 76.70 87.50 96.10 素描 SKETCH Re-ID Pang等[45] 2018 34 56.30 72.50 文本 VIPeR Shi等[35] 2015 41.60 71.90 86.20 SSDAL[38] 2016 43.50 71.80 81.50 MTL-LORAE[39] 2018 42.30 42.30 81.6 PRID SSDAL[38] 2016 22.60 48.70 57.80 MTL-LORAE[39] 2018 18 37.40 50.10 Top1 Top10 文本 CUHK-PEDES CNN-LSTM[41] 2017 25.94 60.48 GNA-RNN[42] 2017 19.05 53.64
下载: 导出CSV
-
[1] 宋婉茹, 赵晴晴, 陈昌红, 干宗良, 刘峰. 行人重识别研究综述. 智能系统学报, 2017, 12(6): 770−780Song Wan-Ru, Zhao Qing-Qing, Chen Chang-Hong, Gan Zong-Liang, Liu Feng. Survey on pedestrian re-identification research. CAAI Transactions on Intelligent Systems, 2017, 12(6): 770−780 [2] 李幼蛟, 卓力, 张菁, 李嘉锋, 张辉. 行人再识别技术综述. 自动化学报, 2018, 44(9): 1554−1568Li You-Jiao, Zhuo Li, Zhang Jing, Li Jia-Feng, Zhang Hui. A survey of person re-identification. Acta Automatica Sinica, 2018, 44(9): 1554−1568 [3] 郑伟诗, 吴岸聪. 非对称行人重识别: 跨摄像机持续行人追踪. 中国科学: 信息科学, 2018, 48(5): 545−563Zheng Wei-Shi, Wu An-Cong. Asymmetric person re-identification: cross-view person tracking in a large camera network. Scientia Sinica Informationis, 2018, 48(5): 545−563 [4] 王正. 条件复杂化行人重识别关键技术研究[博士学位论文]. 武汉大学, 中国, 2017.Wang Zheng. Person Re-identification in Complicated Conditions [Ph.D. dissertation], Wuhan University, China, 2017. [5] Zhu X, Jing X Y, You X, Zuo W, Shan S, Zheng W S. Image to video person re-identification by learning heterogeneous dictionary pair with feature projection matrix. IEEE Transactions on Information Forensics and Security, 2018, 13(3): 717−732 doi: 10.1109/TIFS.2017.2765524 [6] Li W, Zhao R, Xiao T, Wang X G. DeepReID: deep filter pairing neural network for person re-identification. In: Proceedings of the 27th IEEE International Conference of Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 152−159 [7] Li X, Zheng W, Wang X, Xiang T, Gong S. Multi-scale learning for low-resolution person re-identification. In: Proceedings of the 28th IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 3765−3773 [8] Wang Z, Hu R M, Yu Y, Jiang J J, Chao L, Wang J Q. Scale-adaptive low-resolution person re-identification via learning a discriminating surface. In: Proceedings of the 2016 International Joint Conference on Artificial Intelligence. New York, USA, 2016. 2669−2675 [9] Jing X Y, Zhu X K, Wu F, You X G, Liu Q L, Yue D, et al. Super-resolution person re-identification with semi-coupled low-rank discriminant dictionary learning. In: Proceedings of the 28th IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 695−704 [10] Jing X Y, Zhu X K, Wu F, Hu R M, You X G, Wang Y H, et al. Super-resolution person re-identification with semi-coupled low-rank discriminant dictionary learning. IEEE Transactions Image Process, 2017, 26(3): 1363−1378 doi: 10.1109/TIP.2017.2651364 [11] Li K, Ding Z M, Li S, Fu Y. Discriminative semi-coupled projective dictionary learning for low-resolution person re-identification. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Louisiana, USA: IEEE, 2018. 2331−2338 [12] Wang S Y, Ding Z M, Fu Y. Coupled marginalized auto-encoders for cross-domain multi-view learning. In: Proceedings of the 2016 International Joint Conference on Artificial Intelligence. New York, USA, 2016. 2125−2131 [13] Liao S C, Li S Z. Efficient psd constrained asymmetric metric learning for person re-identification. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 3685−3693 [14] Jiao J N, Zheng W S, Wu A C, Zhu X T, Gong S G. Deep low-resolution person re-identification. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Louisiana, USA: IEEE, 2018. 6967−6974 [15] Wang Z, Ye M, Yang F, Bai X, Satoh S I. Cascaded SR-GAN for scale-adaptive low resolution person re-identification. In: Proceedings of the 2018 International Joint Conferences on Artificial Intelligence. Stockholm, Sweden, 2018. 3891−3897 [16] Wang Y, Wang L Q, You Y R, Zou X, Chen V, Li S, et al. Resource aware person re-identification across multiple resolutions. In: Proceedings of the 31st IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1−10 [17] He K M, Zhang X Y, Ren S Q, Jian S. Deep residual learning for image recognition. In: Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770−778 [18] Zhuang Z J, Ai H Z, Chen L, Shang C. Cross-resolution person re-identification with deep antithetical learnin. In: Proceedings of the 31st IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1−16 [19] Kai J L, Arens M. Local feature based person reidentification in infrared image sequences. In: Proceedings of the 7th IEEE International Conference on Advanced Video and Signal Based Surveillance. Boston, USA: IEEE, 2010. 448−455 [20] Møgelmose A, Bahnsen C, Moeslund T B, Clapes A, Escalera S. Tri-modal person re-identification with RGB, depth and thermal features. In: Proceedings of the 26th IEEE Conference on Computer Vision and Pattern Recognition Workshops. Portland, USA: IEEE, 2013. 301−307 [21] Bay H, Ess A, Tuytelaars T, Gool L V. Speeded-up robust features. Computer Vision and Image Understanding, 2008, 110(3): 346−359 doi: 10.1016/j.cviu.2007.09.014 [22] Wu A C, Zheng W S, Yu H X, Gong S G, Lai J H. RGB-infrared cross-modality person re-identification. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 5390−5399 [23] Ye M, Wang Z, Lan X Y, Yuen P C. Visible thermal person re-identification via dual-constrained top-ranking. In: Proceedings of the 2018 International Joint Conferences on Artificial Intelligence. Stockholm, Sweden, 2018. 1092−1099 [24] Ye M, Lan X Y, Li J W, Yuen P C. Hierarchical discriminative learning for visible thermal person re-identification. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Louisiana, USA: AAAI, 2018. 7501−7508 [25] Dai P Y, Ji R R, Wang H B, Wu Q, Huang Y Y. Cross-modality person re-identification with generative adversarial training. In: Proceedings of the 2018 International Joint Conference on Artificial Intelligence. Stockholm, Sweden, 2018. 677−683 [26] Wang Z X, Wang Z, Zheng Y Q, Chuang Y-Y, Satoh S I. Learning to reduce dual-level discrepancy for infrared-visible person re-identification. In: Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, California, USA: IEEE, 2019. 618−626 [27] Barbosa I B, Cristani M, Bue A D, Bazzani L, Murino V. Re-identification with RGB-D sensors. In: Proceedings of the 12th International Conference on Computer Vision. Florence, Italy: ECCV, 2012. 433−442 [28] Matteo M, Alberto B, Andrea F, Luc V G, Menegatti E. 3D reconstruction of freely moving persons for reidentification with a depth sensor. In: Proceedings of the 2014 IEEE International Conference on Robotics and Automation. Hong Kong, China: IEEE, 2014. 4512−4519 [29] Haque A, Alahi A, Li F F. Recurrent attention models for depth-based person identification. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1229−1238 [30] Wu A C, Zheng W S, Lai J H. Robust depth-based person re-identification. IEEE Transactions on Image Processing, 2017: 2588−2603 [31] Hafner F, Bhuiyan A, Kooij J F P, Granger E. A cross-modal distillation network for person re-identification in rgb-depth. In: Proceedings of the 31st IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1−18 [32] Gupta S, Hoffman J, Malik J. Cross modal distillation for supervision transfer. In: Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2827−2836 [33] Jason T, Jeanette B G, Daniel B, Michael C, Heather Z. Person attribute search for large-area video surveillance. In: Proceedings of the 2012 IEEE International Conference on Technologies for Homeland Security. Boston, USA: IEEE, 2012. 55−61 [34] Deng Y B, Luo P, Loy C C, Tang X O. Pedestrian attribute recognition at far distance. In: Proceedings of the 22nd ACM International Conference on Multimedia. Orlando, USA: ACM MM, 2014. 789−792 [35] Shi Z Y, Hospedales T M, Xiang T. Transferring a semantic representation for person re-identification and search. In: Proceedings of the 28th IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA: IEEE, 2015. 4184−4193 [36] Wang Z, Hu R M, Yu Y, Liang C, Huang W X. Multi-level fusion for person re-identification with incomplete marks. In: Proceedings of the 23rd ACM International Conference on Multimedia. Brisbane, Australia: ACM MM, 2015. 1267−1270 [37] Lin Y T, Liang Z, Zheng Z D, Yu W, Yi Y. Improving person re-identification by attribute and identity learning. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition, Hawaii, USA: IEEE, 2017: 1−10 [38] Su C, Zhang S L, Xing J L, Wen G, Qi T. Deep attributes driven multi-camera person re-identification. In: Proceedings of the 2016 European Conference on Computer Vision. Amsterdam, the Netherlands, 2016. 475−491 [39] Su C, Yang F, Zhang S L, Tian Q, Davis L S, Gao W. Multi-task learning with low rank attribute embedding for multi-camera person re-identification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(5): 1167−1181 doi: 10.1109/TPAMI.2017.2679002 [40] Ye M, Liang C, Wang Z, Leng Q M, Chen J, Liu J. Specific person retrieval via incomplete text description. In: Proceedings of the 5th ACM on International Conference on Multimedia Retrieval. Shanghai, China: ACM, 2015. 547−550 [41] Li S, Xiao T, Li H S, Yang W, Wang X G. Identity-aware textual-visual matching with latent co-attention. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 1890−1899 [42] Li S, Xiao T, Li H S, Zhou B L, Yue D Y, Wang X G. Person search with natural language description. In: Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition. Hawaii, USA: IEEE, 2017. 5187−5196 [43] Galoogahi H K, Sim T. Face photo retrieval by sketch example. In: Proceedings of the 20th ACM International Conference on Multimedia. Nara, Japan: ACM, 2012. 949−952 [44] Zhang W, Wang X G, Tang X O. Coupled information-theoretic encoding for face photo-sketch recognition. In: Proceedings of the 24th IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA: IEEE, 2011. 513−520 [45] Pang L, Wang Y W, Song Y Z, Huang T J, Tian Y H. Cross-domain adversarial feature learning for sketch re-identification. In: Proceedings of the 2018 ACM Multimedia Conference on Multimedia Conferenc. Seoul, Korea: ACM, 2018. 609−617 [46] Yu Q, Liu F, Song Y Z, Xiang T, Hospedales T M, Chen C L. Sketch me that shoe. In: Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 799−807 [47] Gray D, Brennan S, Tao H. Evaluating appearance models for recognition, reacquisition, and tracking. In: Proceedings of the 10th International Workshop on Performance Evaluation for Tracking and Surveillance. Rio de Janeiro, Brazil: IEEE, 2007. 1−7 [48] Li W, Zhao R, Wang X G. Human reidentification with transferred metric learning. In: Proceedings of the 2012 Asian Conference on Computer Vision. Daejeon, Korea, 2012. 31−44 [49] Roth P M, Martin H, Köstinger M, Beleznai C, Bischof H. Mahalanobis distance learning for person re-identification. Person Re-Identification, 2014: 247−267 [50] Zheng W S, Gong S G, Tao X. Associating groups of people. In: Proceedings of the 2009 British Machine Vision Conference. London, UK, 2009: 1−11 [51] Gray D, Hai T. Viewpoint invariant pedestrian recognition with an ensemble of localized features. In: Proceedings of the 10th European Conference on Computer Vision. Marseille, France, 2008. 262−275 [52] Baltieri D, Vezzani R, Cucchiara R. 3Dpes: 3D people dataset for surveillance and forensics. In: Proceedings of the 2011 ACM Joint ACM Workshop on Human Gesture and Behavior Understanding. Scottsdale, USA: ACM, 2011. 59−64 [53] Hirzer M, Beleznai C, Roth P M, Bischof H. Person re-identification by descriptive and discriminative classification. In: Proceedings of the 2011 Scandinavian Conference on Image Analysis. Ystad, Sweden, 2011. 91−102 [54] Zheng L, Shen L Y, Tian L, Wang S J, Wang J D, Tian Q. Scalable person re-identification: A benchmark. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 2380−7504 [55] Zheng Z D, Zheng L, Yang Y. Unlabeled samples generated by gan improve the person re-identification baseline in vitro. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Honolulu, USA: IEEE, 2017. 3774−3782 [56] Bialkowski A, Denman S, Sridharan S, Fookes C, Lucey P. A database for person re-identification in multi-camera surveillance networks. In: Proceedings of the 2012 International Conference on Digital Image Computing Techniques and Applications. Fremantle, Australia, 2012. 1−8 [57] Dong S C, Cristani M, Stoppa M, Bazzani L, Murino V. Custom pictorial structures for re-identification. In: Proceedings of the 2011 British Machine Vision Conference. Dundee, Scotland, 2011. 1−11 [58] Nguyen D T, Hong H G, Kim K W, Park. K R. Person recognition system based on a combination of body images from visible light and thermal cameras. Sensors, 2017, 17(3): 605−633 doi: 10.3390/s17030605 [59] Pala F, Satta R, Fumera G, Roli F. Multimodal person reidentification using RGB-D cameras. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(4): 788−799 doi: 10.1109/TCSVT.2015.2424056 [60] Hong L, Liang H, Ma L Q. Online RGB-D person re-identification based on metric model update. CAAI Transactions on Intelligence Technology, 2017, 2(1): 48−55 doi: 10.1016/j.trit.2017.04.001 [61] Joost V D W, Cordelia S, Jakob V, Diane L. Learning color names for real-world applications. IEEE Transactions on Image Processing, 2009, 18(7): 1512−1523 doi: 10.1109/TIP.2009.2019809 [62] Zhu J Q, Liao S C, Lei Z, Yi D, Li S. Pedestrian attribute classification in surveillance: Database and evaluation. In: Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops. Sydney, Australia: IEEE, 2013. 331−338 [63] Ren L L, Lu J W, Feng J J, Zhou J. Multi-modal uniform deep learning for RGB-D person re-identification. Pattern Recognition, 2017, 72: 446−457 doi: 10.1016/j.patcog.2017.06.037 期刊类型引用(23)
1. 范慧杰，郁航，赵颖畅，唐延东. 可见光红外跨模态行人重识别方法综述. 信息与控制. 2025(01): 50-65 . 
百度学术2. 崔振宇 ，周嘉欢 ，彭宇新 . 跨模态目标重识别研究综述. 计算机科学. 2024(01): 13-25 . 百度学术3. 熊明福，肖应雄，陈佳，胡新荣，彭涛. 二次聚类的无监督行人重识别方法. 计算机工程与应用. 2024(01): 227-235 . 百度学术4. 赵铁柱，梁校伦，杨秋鸿，张国斌，龚莨皓. 基于异质信息对齐和重排序的跨模态行人重识别方法. 山东科技大学学报(自然科学版). 2024(02): 79-89 . 百度学术5. 张鸽，闫京，魏巍，梁吉业. 基于样本旋转的生成困难样本的深度度量学习方法. 山西大学学报(自然科学版). 2024(05): 973-981 . 百度学术6. 姚英茂，姜晓燕. 基于图卷积网络与自注意力图池化的视频行人重识别方法. 计算机应用. 2023(03): 728-735 . 百度学术7. 马志钢，南新元，高丙朋，李恒. 一种基于Mobilenetv3的行人检测算法研究. 现代电子技术. 2023(16): 149-154 . 百度学术8. 周非，舒浩峰，白梦林，王锦华. 生成对抗网络协同角度异构中心三元组损失的跨模态行人重识别. 电子学报. 2023(07): 1803-1811 . 百度学术9. 张誉馨，张索非，王文龙，吴晓富. 面向行人重识别的多域批归一化问题研究. 计算机技术与发展. 2022(01): 91-97 . 百度学术10. 李御瑾，张雅丽，葛馨阳，赵佳鑫，施新凯. 基于空间信息的泛洪算法在行人重识别系统中的应用研究. 现代计算机. 2022(06): 1-10 . 百度学术11. 金磊，郎彬，瞿崇晓，范长军，张永晋，陈久红. 基于监控视频的知识图谱数据挖掘. 工业控制计算机. 2022(05): 76-78+81 . 百度学术12. 周传华，周东东，夏徐东，周子涵. 基于卷积注意力机制和多损失联合的跨模态行人重识别. 微电子学与计算机. 2022(06): 22-30 . 百度学术13. 刘孙相与，李贵涛，詹亚锋，高鹏. 基于多阶运动参量的四旋翼无人机识别方法. 自动化学报. 2022(06): 1429-1447 . 本站查看14. 孟繁乐，张峰. 城市人员目标光学特性及探测手段分析. 电视技术. 2022(08): 201-204 . 百度学术15. 许伟，翟煜锦. 基于跨模态特征融合的行人重识别系统设计. 信息与电脑(理论版). 2022(12): 179-181 . 百度学术16. 罗舜，于娟. 改进多尺度网络的行人目标检测算法. 福州大学学报(自然科学版). 2022(05): 587-594 . 百度学术17. 郭迎春，冯放，阎刚，郝小可. 基于自适应融合网络的跨域行人重识别方法. 自动化学报. 2022(11): 2744-2756 . 本站查看18. 陈莉，王洪元，张云鹏，曹亮，殷雨昌. 联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法. 计算机应用. 2021(01): 164-169 . 百度学术19. 张玉康，谭磊，陈靓影. 基于图像和特征联合约束的跨模态行人重识别. 自动化学报. 2021(08): 1943-1950 . 本站查看20. 程德，郝毅，周靖宇，王楠楠，高新波. 利用混合双通路神经网络的跨模态行人重识别. 西安电子科技大学学报. 2021(05): 190-200 . 百度学术21. 张云鹏，王洪元，张继，陈莉，吴琳钰，顾嘉晖，陈强. 近邻中心迭代策略的单标注视频行人重识别. 软件学报. 2021(12): 4025-4035 . 百度学术22. 赵才荣，齐鼎，窦曙光，涂远鹏，孙添力，柏松，蒋忻洋，白翔，苗夺谦. 智能视频监控关键技术:行人再识别研究综述. 中国科学:信息科学. 2021(12): 1979-2015 . 百度学术23. 彭春蕾，高新波，王楠楠，李洁. 基于可视数据的可信身份识别和认证方法. 电信科学. 2020(11): 1-17 . 百度学术其他类型引用(53)
-
下载:
计量
- 文章访问数: 3439
- HTML全文浏览量: 970
- PDF下载量: 843
- 被引次数: 76
