-
摘要: 在视觉计算研究中，对复杂环境的适应能力通常决定了算法能否实际应用，已经成为该领域的研究焦点之一.由人工社会（Artificial societies）、计算实验（Computational experiments）、平行执行（Parallel execution）构成的ACP理论在复杂系统建模与调控中发挥着重要作用.本文将ACP理论引入智能视觉计算领域，提出平行视觉的基本框架与关键技术.平行视觉利用人工场景来模拟和表示复杂挑战的实际场景，通过计算实验进行各种视觉模型的训练与评估，最后借助平行执行来在线优化视觉系统，实现对复杂环境的智能感知与理解.这一虚实互动的视觉计算方法结合了计算机图形学、虚拟现实、机器学习、知识自动化等技术，是视觉系统走向应用的有效途径和自然选择.Abstract: In vision computing, the adaptability of an algorithm to complex environments often determines whether it is able to work in the real world. This issue has become a focus of recent vision computing research. Currently, the ACP theory that comprises artificial societies, computational experiments, and parallel execution is playing an essential role in modeling and control of complex systems. This paper introduces the ACP theory into the vision computing field, and proposes parallel vision and its basic framework and key techniques. For parallel vision, photo-realistic artificial scenes are used to model and represent complex real scenes, computational experiments are utilized to train and evaluate a variety of visual models, and parallel execution is conducted to optimize the vision system and achieve perception and understanding of complex environments. This virtual/real interactive vision computing approach integrates many technologies including computer graphics, virtual reality, machine learning, and knowledge automation, and is developing towards practically effective vision systems.
-
Key words:
- Parallel vision /
- complex environments /
- ACP theory /
- data-driven /
- virtual/real interaction
-
非刚性点阵配准(Non-rigid point set registration)是将某一点阵(称为源点阵)与其发生形变后的点阵(称为目标点阵)进行匹配的过程.该技术在计算机视觉、机器学习、医学图像处理、模式识别以及地理信息系统中扮演着极其重要的角色.基于当前算法的特点,非刚性点阵配准算法大体可以分为两大类:基于迭代或非迭代的算法 和基于学习或非学习的算法.由于本文算法主要涉及基于迭代的问题,所以我们主要从基于迭代或非迭代的角度来介绍当前的非刚性点阵配准算法.
在基于非迭代的非刚性点阵配准算法中,两组点阵之间的对应关系是通过使用某种高级结构特征(High level structural features)仅进行一次相似性评估后直接找回两组点阵之间的对应关系. 在基于非迭代的配准模型中,直线[1]、曲线[2]、表面结构[3]、Shape context[4-5]和图论(Graphs)[6-7]等特征被用于两个点阵之间相似度的评估.在非迭代算法中,Shape context和Graphs是最受欢迎的两种特征描述法,其核心是通过最小化两个点阵之间的分布差异(使用Shape context时)或者拓扑结构差异(使用Graphs时)来找回点阵之间的对应关系[4-9].最近,一部分研究人员[10-14] 在传统的基于Graphs特征算法的基础上加入了学习要素,通过在配准前使用适当的学习样本进行学习来优化算法中的参数设置,从而提高了算法的配准精度.但是这类算法由于使用了Shape context 或Graphs特征,当相邻点较为接近时该类特征则变得非常相似以至于这类算法并不能达到较好的配准效果[8, 15-16].
基于迭代的算法通常包括两个相互交替的过程:对应关系评估(Correspondence estimation)和空间变换更新(Transformation updating).相对于基于非迭代的算法,基于迭代的算法的优势在于它们在迭代过程中逐步地调整源点阵的初始几何形状和空间位置使得源点阵在几何形状和空间位置上变得越来越接近目标点阵,从而使得通过几何结构特征寻找它们之间的对应关系变得更加容易.TPS-RPM[17]是第一个利用迭代技术来进行非刚性点阵配准的算法.它通过使用点阵到点阵的距离、Softassign[18-19]和退火算法[20-21]来评估点阵之间的对应概率和控制薄板样条函数(Thin plate spline,TPS)[22]的更新. Myronenko等[23] 在TPS-RPM算法框架基础上提出了在空间变换更新中增加运动一致性约束条件(Motion coherence constraint)[24]来提高配准过程中空间变换的稳定性,并利用最大似然法(Maximum likelihood)来评估点阵之间的对应关系. 之后,Myronenko等[25]在文献[23]的基础上发表了著名的CPD算法(Coherent points drift algorithm),他们改良了空间变换模型使之既可以适用于刚性和非刚性的点阵配准问题,并可以在配准精度要求相对不高的情况下通过使用快速高斯变换(Fast Gauss transform)[26]和矩阵低秩逼近(Low-rank matrix approximation)[27]技术减少计算量来提升算法的配准速度.近期,Jian等[16]提出了一种基于高斯混合模型(Gaussian mixture model)的非刚性点阵配准算法(称为GMMREG).该算法不直接在几何空间中配准两个点阵,而是把两个点阵先转变成为两个高斯混合模型,然后在这基础上进行对应关系评估,空间变换更新基于最小化两个高斯混合模型的L2距离[28].最近,国内的Ma等[29]提出了一种基于Shape context特征和L2E评估[30]的算法,Wang等[31]通过使用不对称的高斯模型捕捉空间点阵的不对称分布,并用其作为特征描述进行点阵的非刚性配准.
本文中,我们提出了一种基于混合特征的非刚性点阵配准算法.本算法的主要贡献体现在以下3个方面:
1) 全局结构特征描述算法:我们提出了一种利用和向量来描述点阵中各点的全局结构特征的描述算法.
2) 局部结构特征描述算法:我们提出了一种利用点阵之间的局部区域相邻点的距离和描述点阵中各点的局部结构特征的描述算法.
3) 基于混合特征的点阵对应评估算法:我们通过混合全局和局部结构特征描述算法提出了一种基于混合特征的能量方程,该方程允许使用混合特征进行点阵对应评估,使得在配准过程中所使用的特征不再单一化,使配准精度得到了提高并在大部分实验中超越了当前相关算法.
1. 方法
我们首先定义了全局和局部特征描述法以及混合特征能量优化方程,然后对本文算法的两个核心步骤进行介绍.在本章的后面部分,我们将对本文算法的参数设定以及本文算法与当前相关方法的差异进行说明.假设 $\{{\pmb a}_{i},i=1,2,\cdots,n\}$ 和 $\{{\pmb b}_{j},j=1,2,\cdots,m\}$ 是两组需要进行配准的点阵, ${\pmb a}$ 和 ${\pmb b}$ 分别为源点阵和目标点阵.
1.1 全局和局部结构特征差异
我们首先定义了两种特征描述法,分别被用来评估源点阵 ${\pmb a}$ 与目标点阵 ${\pmb b}$ 之间的全局与局部几何结构特征差异.
1.1.1 全局结构特征差异
全局几何结构特征差异被定义为
\begin {equation} G_{{\pmb a}_{i}{\pmb b}_{j}}= |{\pmb v}_{{\pmb a}_{i}}-{\pmb v}_{{\pmb b}_{j}} |\end {equation}
(1) 其中 $G_{\pmb{ab}}$ 为全局结构差异矩阵,矩阵中的每个元素值为两个向量 ${\pmb v}_{{\pmb a}_{i}}$ 与 ${\pmb v}_{{\pmb b}_{j}}$ 相减后的模. $G_{\pmb{ab}}$ 被用于评估点阵 ${\pmb a}$ 与点阵 ${\pmb b}$ 之间的全局结构特征差异. ${\pmb v}_{{\pmb a}_{i}}$ 与 ${\pmb v}_{{\pmb b}_{j}}$ 则是我们提出的全局结构特征描述法,定义为
\begin {equation} {\pmb v}_{{\pmb a}_{i}}=\sum_{k=1,,kneqi}^{n}\overrightarrow{{\pmb a}_{i}{\pmb a}_{k}}\end {equation}
(2) \begin {equation} {\pmb v}_{{\pmb b}_{j}}=\sum_{k=1,,kneqj}^{m}\overrightarrow{{\pmb b}_{j}{\pmb b}_{k}}\end {equation}
(3) 其中 $\overrightarrow{{\pmb a}_{i}{\pmb a}_{k}}$ 与 $\overrightarrow{{\pmb b}_{j}{\pmb b}_{k}}$ 分别是点 ${\pmb a}_{i}$ 到点 ${\pmb a}_{k}$ 与点 ${\pmb b}_{j}$ 到 ${\pmb b}_{k}$ 的几何向量. ${\pmb v}_{{\pmb a}_{i}}$ 与 ${\pmb v}_{{\pmb b}_{j}}$ 则是分别用来描述点 ${{\pmb a}_{i}}$ 与点 ${{\pmb b}_{j}}$ 的全局结构特征的和向量.
1.1.2 局部结构特征差异
局部结构特征差异被定义为
\begin {equation}L_{{\pmb a}_{i}{\pmb b}_{j}}=\sum_{k=1}^{K}\parallel T({ N}({\pmb a}_{i})_{k},{\pmb b}_{j})-{N}({\pmb b}_{j})_{k}\parallel^{2}\end {equation}
(4) 其中 $L_{{\pmb a}{\pmb b}}$ 是点阵 ${\pmb a}$ 与点阵 ${\pmb b}$ 之间的局部结构差异矩阵,K 为相邻点的个数. ${N}({\pmb a}_{i})_{k}$ 和 ${N}({\pmb b}_{j})_{k}$ 分别为点 ${\pmb a}_{i}$ 和点 ${\pmb b}_{j}$ 的第 k 个最近点. T 则是平移方程,被定义为
\begin {equation}T({N}({\pmb a}_{i})_{k},{\pmb b}_{j})={N}({\pmb a}_{i})_{k}+({\pmb b}_{j}-{\pmb a}_{i})\end {equation}
(5) 其主要思想为考虑在点阵 ${\pmb a}$ 与 ${\pmb b}$ 中的每一个点与其相邻点( ${N}({\pmb a}_{i})_{k=1,\cdots,K}$ 或 $N{{({{a}_{i}})}_{k=1,\cdots ,K}}$ )构成了一个局部小段,评估点阵 ${\pmb a}$ 与 ${\pmb b}$ 之间的对应关系就可以转化为评估局部小段的相似度. 例如,首先将 ${\pmb a}_{i}$ 以及它的 K个相邻点 ${N}({\pmb a}_{i})_{k=1,\cdots,K}$ 根据平移向量 $\overrightarrow{{\pmb a}_{i}{\pmb b}_{j}}$ 移动到 点 ${\pmb b}_{j}$ . 然后把点 ${\pmb a}_{i}$ 的相邻点 ${N}({\pmb a}_{i})_{k=1,\cdots,K}$ 与点 ${\pmb b}_{j}$ 的相邻点 ${N}({\pmb b}_{j=1,2,\cdots,m})$ 之间的几何距离进行累加.最后,点 ${\pmb a}_{i}$ 在点阵 ${\pmb b}$ 中的对应点被确定为拥有最小距离和的点 ${N}({\pmb b}_{j})$ .其中,局部结构特征差异主要决定于相邻点个数 K,同时 K也决定了两个点阵之间局部结构相似度的评估.
在这里,我们使用Linear assignment技术来最小化全局结构特征差异矩阵 $G_{\pmb{ab}}$ 与局部结构特征差异矩阵 $L_{{\pmb{ab}}}$ ,我们将会获得两种对应关系,它们分别是基于最小化的全局结构特征差异和局部结构特征差异计算而来的.
1.2 基于混合特征的能量优化方程
本文中提出的基于混合特征的能量优化方程被定义为
\begin {equation}E(M)=\sum_{i=1}^n\sum_{j=1}^m G_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}+\alpha \sum_{i=1}^n\sum_{j=1}^m L_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}\end {equation}
(6) 其中 $\sum_{i=1}^n \sum_{j=1}^m G_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 和 $\sum_{i=1}^n\sum_{j=1}^m L_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 分别描述了基于最小化全局和局部结构特征差异计算的能量,可以被考虑为Linear assignment问题. $G_{{\pmb a}{\pmb b}}$ 和 $L_{{\pmb a}{\pmb b}}$ 分别正规化至[0,1]区间. n 和 m分别代表了点阵 ${\pmb a}$ 与 ${\pmb b}$ 中的序列长度. Mij是对应矩阵,表示了点阵 ${\pmb a}$ 与 点阵 ${\pmb b}$ 之间的对应关系,当点 ${\pmb a}_{i}$ 与点 ${\pmb b}_{j}$ 相对应时赋值为1,反之则赋值为0. Mij 始终满足 ${\sum_{j=1}^m}M_{ij}=1$ 和 ${\sum_{i=1}^n}M_{ij}=1$ . $\alpha$ 为权重参数用于调节能量优化时 $\sum_{i=1}^n\sum_{j=1}^m G_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 与 $\sum_{i=1}^n\sum_{j=1}^m L_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 的比重. 在配准过程中,能量调节参数 $\alpha$ 通过退火算法在每次迭代中逐渐减小,最后趋近为0.
1.3 配准过程
首先我们创建一个可变形的代理点阵 ${{\pmb a}^{w}}$ ,并使其在配准开始时满足 ${\pmb a}^{w}={\pmb a}$ .本文算法的主要过程是:1) 首先利用前述基于混合特征的能量优化方程在每次迭代中评估 ${{\pmb a}^{w}}$ 和 ${\pmb b}$ 的对应关系(前述式(1) $\thicksim$ (6) 中的 ${{\pmb a}_{i}}$ 应使用 ${{\pmb a}^{w}}$ ); 2) 随后使用TPS空间变换更新 ${{\pmb a}^{w}}$ 的空间位置及几何形状,该TPS空间变换由步骤1) 中获取的对应关系建立而来.这两个步骤1) 和2) 相互交替迭代以至于代理点阵 ${{\pmb a}^{w}}$ 能逐渐在空间位置和几何形状上越来越接近其目标点阵 ${\pmb b}$ ,最终准确地匹配上它在点阵 ${\pmb b}$ 中的真实对应点.使用代理点阵 ${\pmb a}^{w}$ 评估获得的对应点即为点阵 ${\pmb a}$ 的对应关系.
1.3.1 步骤1:对应关系评估
在每一次迭代中,点阵 ${{\pmb a}^{w}}$ 与 ${\pmb b}$ 的对应关系通过最小化基于混合特征的能量优化方程(6) 获得.基于混合特征的能量优化在本文中被看作一个线性分配问题,所以式(6) 可以使用Jonker-Volgenant算法[32]求解.Jonker-Volgenant算法已被广泛用于解决线性分配问题,它可以提供最短广增路(Shortest augmenting path)并拥有O $(N^3) $ 的计算复杂度.
对于线性分配中的Integer cost问题,在配准前我们首先将需要配准的点阵坐标缩放至[0,1]之间,然后在每一次迭代中把计算出的全局与局部结构特征差异矩阵通过使用 $\lfloor{G_{{\pmb a}^{w}{\pmb b}}}× R \rceil$ 和 $\lfloor {L_{{\pmb a}^{w}{\pmb b}}}× R \rceil$ 进行数值处理,其中R被设为 $10^{6}$ .对于非方形矩阵问题(点阵 ${\pmb b}$ 包含冗余点),非方形矩阵 ${{ G}_{{\pmb a}^{w}{\pmb b}}}$ 和 ${L_{{\pmb a}^{w}{\pmb b}}}$ 可以通过分配虚拟项(Dummy entries)[33]来转换为方形矩阵,而且不会影响整体能量优化.转换后 $E(M)$ 则可以使用通常手段求解,并且仍然给出最优解.虽然我们提供了一种针对目标点阵包含冗余点的配准解决方案,但是本文算法并不能很好地处理包含冗余点的配准问题.原因是用于描述各点全局结构特征的和向量 ${\pmb v}_{{\pmb a}_{i}}$ 和 ${\pmb v}_{{\pmb b}_{j}}$ 容易受冗余点的影响.
通过使用Jonker-Volgenant算法求解的对应关系矩阵M确保了从点阵 ${{\pmb a}^{w}}$ 到点阵 ${\pmb b}$ 的一一对应关系. 当前迭代的对应点集 ${\pmb b}^{c}$ 由式(7) 进行更新
\begin{equation}{\pmb b}^{c}= M \cdot {\pmb b}\end{equation}
(7) 本文提出的基于混合特征的能量优化方程为使用混合特征来评估对应关系提供了一个灵活方法.例如,当 $\alpha$ 非常大时,最小化E等于最小化局部结构特征差异 ${L_{{\pmb a}^{w}{\pmb b}}}$ ,求出的点对点的对应关系是基于最小化两个点阵之间的局部结构特征差异.当 $\alpha$ 逐渐变小时,对应关系评估开始转向使用最小化全局结构特征差异,求出的点对点的对应关系是基于最小化两个点阵之间的全局结构特征差异.
1.3.2 步骤 2:空间变换更新
当更新完当前对应点集 ${\pmb b}^{c}$ 后,空间变换通过使用 ${\pmb b}^{c}$ 和源点阵 ${\pmb a}$ 的对应关系进行更新(由于 ${\pmb a}$ 和 ${{\pmb a}^{w}}$ 拥有相同的点阵序列,所以 ${\pmb b}^{c}$ 也是源点阵 ${\pmb a}$ 的对应点集).本文中,我们使用TPS空间变换来建立从 ${\pmb a}$ 到 ${\pmb b}^{c}$ 的映射关系
\begin{equation}f({\pmb a},{\pmb d},{ w})={\pmb a}\cdot {d} + \phi({\pmb a})\cdot{ w}\end{equation}
(8) 其中 ${d}$ 为一个仿射系数矩阵, ${ w}$ 为一个非刚性形变系数矩阵. $\phi({\pmb a})$ 称为TPS内核方程(TPS kernel function),分别在二维和三维映射中被定义为 $\phi({\pmb a})=\|{\pmb a}-{{\pmb a}_{c}}\|^{2}\log \|{\pmb a}-{{\pmb a}_{c}}\|$ 和 $\phi({\pmb a})=\|{\pmb a}-{{\pmb a}_{c}}\|$ . ${{\pmb a}_{c}}$ 是从点阵 ${\pmb a}$ 中选取的一组控制点.
为了使用适当的仿射系数 ${ d}$ 和非刚性形变系数 ${ w}$ 来建立从 ${\pmb a}$ 到它的对应点集 ${\pmb b}^{c}$ 的映射关系,TPS能量方程被定义为
\begin{equation}E_{\textrm{TPS}}({ d},{w})=\|{\pmb b}^{c}-{\pmb a} {d}- \Phi {w}\|^{2}+λ \textrm{tr}({w}^{\rm T} \Phi { w})\end{equation}
(9) 其中正规化参数λ用于调节非刚性形变系数 ${w}$ ,同时它也被前述使用在式(6) 中用来控制权重参数 $\alpha$ 的能量权重调节所控制. ${\Phi}$ 是TPS内核矩阵,由前述TPS内核方程 $\phi({\pmb a})$ 计算而来.
为了计算 ${d}$ 和 ${w}$ 的最小二乘解,矩阵的QR分解技术[34]被用于分离点阵的仿射和非刚性形变空间
\begin{equation}{\pmb a}=QR=[Q_{1}|Q_{2}] \left(\begin{array}{c}{R}_{1} \\0 \\\end{array} \right)\end{equation}
(10) 其中,Q1 $\in {\bf R}^{N× D}$ , ${ Q}_{2}$ $\in {\bf R}^{N×(N-D)}$ , ${R}_{1}$ $\in {\bf R}^{D× D}$ . 此外,Q1与Q2拥有相同的正交列. 所以式(9) 可以转换为
\begin{equation}\begin{aligned}E_{\textrm{TPS}}(\boldsymbol{\gamma},{d})=\|Q^{\rm T}_{2}{\pmb b}^{c}-Q^{\rm T}_{2} \Phi Q_{2} \boldsymbol{\gamma}\|^{2}+ \|Q^{\rm T}_{1}{\pmb b}^{c}-\\{ R}_{1}{ d}-Q^{\rm T}_{1}\Phi Q_{2}\boldsymbol{\gamma}\|^{2} +λ\boldsymbol{\gamma}^{\rm T}Q^{\rm T}_{2} \Phi Q_{2}\boldsymbol{\gamma}\end{aligned}\end{equation}
(11) 其中 ${ w}=Q_{2}\boldsymbol{\gamma}$ , $\boldsymbol{\gamma}$ $\in{\bf R}^{(N-D-1) × (D+1) }$ .式(11) 的最小二乘解可以通过先最小化 $\boldsymbol{\gamma}$ ,然后最小化 ${d}$ 来求解. ${ w}$ 和 ${ d}$ 的解为
\begin{equation}\hat{{ w}}=Q_{2}\boldsymbol{\gamma}=Q_{2}(Q^{\rm T}_{2} \Phi Q_{2}+λ I_{N-D-1})^{-1}Q^{\rm T}_{2}{\pmb b}^{c}\end{equation}
(12) \begin{equation}\hat{{ d}}={R}^{-1}(Q^{\rm T}_{1}{\pmb b}^{c}-\Phi {w})\end{equation}
(13) 代理点阵 ${\pmb a}^{w}$ 的空间位置与几何形状被更新为
\begin{equation}{\pmb a}^{w}={\pmb a}\cdot {d} + \Phi \cdot { w}\end{equation}
(14) 代理点阵 ${\pmb a}^{w}$ 的空间位置与几何形状更新后,本文算法重新回到步骤1(第1.3.1节)进行对应关系评估,两个步骤交替进行直到能量权重调节中的T达到终止设置(Tfinal).
1.4 算法伪代码及参数设置
算法 1给出了本文算法的伪代码.
算法 1. 基于混合特征的非刚性配准算法
输入. 点阵 ${\pmb a}$ , ${{\pmb a}^{w}}$ 和 ${\pmb b}$ .
预处理. 初始化参数Tinit,Tfinal,r, $λ_{init}$ 和 $\alpha_{init}$ . 设定 K并且确定点阵 ${{\pmb a}^{w}}$ 和 ${\pmb b}$ 的相邻点集 ${N}({\pmb a}_{i})$ 和 ${ N}({\pmb b}_{j})$ .
开始 . 能量权重调节计划.
步骤 1. 使用式(6) 和(7) 评估当前对应关系 ${\pmb b}^{c}$ .
步骤 2. 使用式(12) 和(13) 更新TPS空间变 换.
使用式(14) 更新 ${{\pmb a}^{w}}$ .
通过调节减小T,然后更新参数 $\alpha$ 和λ.
结束. 直至满足 $T\leq T_{final}$ .
输出. 代理点阵 ${{\pmb a}^{w}}$ }.\vskip2
本文提出的基于混合特征的非刚性点阵配准算法包含四组重要参数:调节参数Tinit,Tfinal 和 r,权重参数 $\alpha$ ,正规化参数λ 以及相邻点个数参数K.每组参数的详细设定如下
1) 调节参数:能量权重调节中所使用的T[20-21]在配准开始前被设定为一个较高的值Tinit,随后在每次迭代中利用一个线性调节计划 $T=T × r$ 使得T值在配准过程中被逐步降低,其中 r为调节率.当到达一个较低的设定值 Tinit 时,调节计划停止.本文中设计该线性调节计划的目的主要有2方面: 首先利用T来逐步减小式(6) 中的权重参数 $\alpha$ ,使得式(6) 的能量优化问题可以从首先最小化局部结构特征差异逐步过度到最小化全局结构特征差异;其次利用T来逐步减小式(9) 和(12) 中的正规化参数λ,使得TPS空间变换可以从更加刚性的形变更新逐渐转化为更加非刚性的形变更新.由于调节参数从根本上决定了算法迭代的次数,所以Tinit,Tfinal 和r 的参数设定原则为满足配准所需的足够迭代次数.基于前期使用Fish 1点阵[17]进行的试错实验(Trial-and-error experiment),起始Tinit值被设为点阵 ${\pmb a}$ 到 ${\pmb b}$ 最大距离平方的 $1/10$ ,终止Tfinal 值被设为点阵 ${\pmb a}$ 中各点到其最近点平均距离平方的 $1/8$ ,调节率r 通常被设为0.7.
2) 权重参数:权重参数 $\alpha$ 在每次迭代中,通过使用 $\alpha=\alpha_{init} × T$ 被逐渐减小, $\alpha$ 的初始值设定原则为能够保证在配准前期整个算法可以集中在利用最小化局部结构特征差异来评估点阵的对应关系.初始值 $\alpha_{init}$ 被设为相邻点个数的平方 $K^{2}$ .
3) 正规化参数:正规化参数λ在每次迭代中,通过使用 $λ=λ_{init}× T$ 被逐渐减小,由于λ主要用来控制TPS变换中的刚性和非刚性形变(λ较大时,TPS呈现出刚性变换; λ较小时,TPS转为呈现非刚性形变),所以λ的初始值设定原则为能够确保在配准前期TPS处于刚性变换.初始值 $λ_{init}$ 被设为点阵 ${\pmb a}$ 中点的数量.
4) 相邻点数量参数:参数K的默认值设定是基于用于区别局部结构差异所需的最少相邻点数.例如,当我们需要区别角(Corner,其中包含2个相邻点)和十字(Cross,其中包含4个相邻点)时,我们至少需要借助4个相邻点来判断.基于上述考虑,我们将参数K在二维和三维配准情况下的默认值设为5.
2. 相关研究
当前主要有TPS-RPM[17],CPD[25],GMMREG (L2 +TPS)[16],Ma等[29]和Wang等[31]5种算法与本文算法相似,表 1详细列举了本文算法与上述5种算法之间存在的差异.
表 1 本文算法与相关算法的不同Table 1 Methodological differences between our method and the current methods算法 对应关系评估 空间变换更新 使用的特征 对应关系 约束条件 空间变换方程 本文算法 混合特征 B TPS 能量方程 1 TPS TPS-RPM 高斯概率密度 F TPS 能量方程 2 TPS CPD 高斯概率密度 F MCC-NLL GRBF GMMREG 高斯概率密度 F 最小化 L2 距离 TPS Ma 等[29] Shape context B L2E 评估子[30] RKHS Wang 等[31] MoAG F 最小化 L2 距离 RKHS 注: B: 二值对应; F: 模糊对应; GRBF (Gaussian radial basis function): 高斯径向基函数; TPS: 薄板样条函数; MCC-NLL(Motion coherence constraint based negative log-likelihod):基于运动一致性的负对数似然; RKHS (Reproducing kernel Hilbert space): 再生核Hilbert空间; MoAG (Mixture of asymmetric Gaussian model): 混合非对称高斯模型; 在TPS能量方程 2中, $λ_{2}\textrm{tr}(d-I)^{\rm T}(d-I)$ 被加到了式(7) (TPS能量方程 1) 来控制仿射变换. 1) 对应关系评估:与上述基于单一特征配准的5种算法不同,本文算法是一种基于混合特征的能量优化问题,且允许使用混合特征进行点阵之间的对应关系评估.因为本文算法与Ma等使用了线性分配技术求解对应关系,所以我们都提供了一个二值对应关系,即在对应关系矩阵Mij中仅使用0和1来描述对应关系.在TPS-RPM,CPD,GMMREG和Wang等[31]算法中,空间变换方程是建立在模糊对应(Fuzzy correspondences,即对应概率)关系基础上的,所以在指导代理点阵 ${{\pmb a}^{w}}$ 改变其空间位置和几何形状时会发生模糊更新,同时也会需要更多的迭代次数才能完成配准.在本文算法中,建立在最小化全局或局部结构特征差异的二值对应关系可以为代理点阵 ${{\pmb a}^{w}}$ 提供一个正确且清晰的空间位置与几何形状的更新指导.
2) 空间变换更新: 本文算法使用的是标准TPS能量方程.TPS-RPM在式(6) 中增加了 $λ_{2} \textrm{tr} [d-I]^{\rm T}[d-I]$ 项用于控制仿射参数.由于本文算法在每次迭代中提供了一个较为精确的二值对应关系给TPS空间变换,所以我们仅需要使用λ来控制 ${w}$ 系数在刚性和非刚性变换上的作用.同时一个自由的仿射变换(也就是不受控制的仿射系数 ${d}$ )可以帮助代理点阵 ${{\pmb a}^{w}}$ 快速(使用更少的迭代次数)地找到更加接近目标点阵 ${\pmb b}$ 的空间位置和几何形状来完成接下来的非刚性配准.此外,与CPD中强制相邻点集保持运动一致性不同,本文算法通过在整个配准过程中固定相邻点集 ${N}({\pmb a}_{i}^{w})$ 和 ${N}({\pmb b}_{j})$ ,来保护代理点阵 ${{\pmb a}^{w}}$ 的拓扑结构特征.
3. 实验
我们使用Matlab实现了本文算法的主要过程,其中Jonker-Volgenant算法使用C++编写并利用Matlab mex function调用Jonker-Volgenant算法的C++函数.我们首先基于以下四种配准模式测试了本文算法的各项性能,
1) 轮廓配准 (2D synthetic point set);
2) 3D 轮廓配准 (3D face point set);
3) 序列图像 (CMU house and CMU hotel sequence);
4) 真实图像特征点配准 (Pascal 2007 challenge datasets).
而且,本文算法还与下列当前典型的8种算法进行了性能比较实验,
1) 基于迭代的算法: TPS-RPM[17],CPD[25],GMMREG(L2 + TPS)[16],Wang等[31];
2) 基于Graph的学习算法: Caetano等[10],Leordeanu等[13],Torresani等[14];
3) 基于Graph的非学习算法: Zhou等[9].
最后,我们评估了本文算法的计算复杂度并且讨论了如何降低本文算法的计算复杂度.
3.1 实验设计
Line[17]、Fish 1[17]、Fish 2[25]、Chinese character[17]和3D face[25]是非刚性点阵算法在轮廓点阵配准测试中普遍使用的几个流行点阵,它们分别来自TPS-RPM[17]和CPD[25].本文首先使用这5个点阵作为源点阵,并使用下面人工合成的方法创建了一系列丰富的目标点阵与TPS-RPM,CPD和GMMREG进行了性能对比实验.为了达到公平的实验对比,在目标点阵的生成、误差测量和性能评估上我们遵循了TPS-RPM[17]和CPD[25]中所用的方法.由于本文中提出的全局特征描述法(见第1.1.1节)是由和向量设计而来,当配准目标点阵中包含冗余点时,本文算法并不能很好地处理包含冗余点的配准问题,所以在本实验中我们不进行包含冗余点的配准模式性能测试.
目标点阵:
1) 形变级别: 我们设置8个控制点(三维配准情况是为6个控制点)在每组轮廓点阵边缘.为了创建一系列不同形变级别且适合的目标点阵,每个控制点拥有上、下、左、右4个方向的自由移动以及0.2的移动步长.8个(或6个)控制点的移动循序以及方向被随机设定. 在本实验中,TPS空间变换被用于使用这8个(或6个)控制点使前述源点阵发生形变创建新目标点阵.因为被移动的控制点数量反映了点阵的形变大小,所以本实验中形变级别被定义为移动控制点的数量(二维和三维情况下的最大形变级别分别为8和6) .
2) 噪音比:我们通过利用均值为0且标准偏差从0.01至0.05的高斯白噪声(Gaussian white noise)创建了5个噪音级别的目标点阵.
3) 旋转角度:我们认为在适当旋转下的配准性能测试是必要的,因为通常形变发生时都会伴随着旋转.但是过大旋转会导致相关算法产生不稳定或无价值的配准结果,所以我们主要专注于在以 $15^{\circ}$ 为间隔,旋转 $-30^{\circ}$ 到 $30^{\circ}$ 的情况下的配准性能测试.在三维配准实验中,源点阵被沿Z轴旋转来创建新目标点阵.
误差测量: 在误差测量中,通常可以选择的测量方法很多.例如,正确匹配百分比、配准后点阵之间的平均距离等.为了保证直接和公平的比较,我们遵循了TPS-RPM与CPD中的误差测量法,即代理点阵 ${{\pmb a}^{w}}$ 与目标点阵 ${\pmb b}$ 之间平均距离的平方.
性能评估:平均误差(即100次测试中的平均距离平方与标准偏差)在本实验中被用来比较不同算法之间的配准性能.对于每组点阵,在每种形变级别、噪音比、旋转角度下执行了100次的随机实验.
3.2 二维轮廓点阵的配准结果
在第一系列的实验中,我们在不同的二维人造轮廓点阵上评估了本文算法的性能.与后面的序列图像(CMU sequences and Pascal 2007challenge)以及真实图像特征点(Pascal 2007challenge)配准相比,这些二维轮廓点阵拥有更多的点数以及较密的点阵分布.在这类点阵配准中,由于相邻点彼此靠近且拥有相似的局部结构特征,所以在评价各点的局部特征结构相似度时变得更加困难.本文算法与相关算法的比较结果如下.
3.2.1 Line
在点阵Line的配准测试中,本文算法仅与TPS-RPM进行对比测试.因为其他算法并没有在该点阵上进行测试并公布相关的参数设定.性能测试统计数据(平均误差与标准偏差)展示在图 1的第1 行.本文算法在所有的实验中展现了准确的配准结果,并且在所有形变级别、噪音比、旋转角度的测试中,给出了最优的配准结果.图 2给出了本文算法的一个配准实例.
图 1 二维轮廓点阵配准下的性能对比(误差线表示了100次随机测试中平均误差的标准偏差值.从第1行至第4行分别为点阵Line,Fish 1,Chinese character以及Fish2的实验结果.Fig. 1 Comparison of our results against CPD,TPS-RPM and GMMREG on 2D contour point set registration (The error bars indicate the standard deviations of the mean errors in100 random experiments. From the top row to bottom row are: Line,Fish 1,Chinese character and Fish 2,respectively.3.2.2 Fish 1
在点阵Fish 1的配准测试中,我们测试了本文算法与CPD,TPS-RPM 和GMMREG的性能,图 1的第2行展示了测试结果.这4种算法均给出了准确的配准结果,本文算法在所有的形变级别和所有旋转角度的测试中展现了最优的性能结果.在目标点阵含有噪音的配准测试中,这四种算法均展现了准确的配准结果,GMMREG 表现得更好. 图 3给出了本文算法的一个配准实例.
3.2.3 Chinese character
在点阵Chinese character的配准测试中,本文算法仅与TPS-RPM进行对比实验.因为CPD与GMMREG并未在非刚性配准中测试过该点阵(GMMREG仅在刚性配准中测试过该点阵).本文算法在所有形变级别、噪音比从0.01至0.03、所有旋转角度的测试中给出了最优的配准结果.图 4给出了一个本文算法的配准实例.
图 4 本文算法的配准实例: Chinese characterFig. 4 Registration examples on Chinese character point set3.2.4 Fish 2
本文算法与CPD的性能测试结果展示在图 1的第4行.本文算法在所有的实验中展现了准确的配准结果,并且在所有形变级别、噪音比以及旋转角度的测试中给出了最优的配准性能.图 5给出了本文算法的一个配准实例.
在二维轮廓点阵配准测试中,所有的算法均给出了准确的配准结果,但是本文算法在形变与旋转测试中明显地超越了相关算法.
3.3 三维人脸点阵的配准结果
在第二系列的实验中,我们评估了本文算法在三维配准中的性能.本实验中使用的3D face点阵已被CPD和GMMREG等算法用于测试其在三维配准中的性能. 图 6 给出了本文算法与CPD、GMMREG算法的性能测试结果.本文算法在所有实验中给出了准确的配准结果,同时在所有形变级别、噪音比从0.01至0.04以及所有旋转角度的实验中给出了最优的性能结果.图 7给出了一个本文算法的配准实例.
图 6 三维Face轮廓点阵配准下的性能对比 (误差线表示了100次随机测试中平均误差的标准偏差值.)Fig. 6 Comparison of our results against CPD and GMMREG on3D face contour point set registration (The error bars indicate the standard deviations of the mean errors in 100 random experiments.)3.4 序列图像的配准结果
在第三系列的实验中,我们测试了本文算法在序列图像特征点配准问题上的性能.与二维和三维人造点阵相比,序列图像拥有更少的特征点,这些点稀疏地分布在图像中.CMU house和CMU hotel序列图像是目前用于测试基于Graph的学习算法最流行的实验数据.两个序列图像分别由111和101幅图组成,每幅图拥有30个标记的特征点.在本实验中,我们使用正确配准点数的百分比(称为配准率)为误差测量法.
本文算法与三种基于Graph的学习算法{[10, 13-14],一种基于Graph的非学习算法[9],和三种基于迭代的算法[16, 25, 31]分别在这两组序列图像的所有配准可能中进行了性能对比实验.
表 2展示了实验结果.在House序列图像的配准中,对于Caetano等[10]与Zhou等[9],我们报告了他们公布的配准率的上限值,对于Leordeanu等[13]、Torresani等[14]和Wang等[31],我们给出了他们公布的配准率. 本文算法,Wang等[31]和Torresani等[14]给出了完美的配准结果,也超越了其他算法.但是从算法运行时间角度来看,本文算法的运行时间(平均0.049秒)比Torresani等公布的平均运行时间4.8秒[14]快了很多(该对比也考虑了使用电脑的性能问题).在CMU hotel序列图像的配准中,Wang等[14, 31]与Zhou等[9]没有提供他们的实验结果. 与CPD,GMMREG,Leordeanu等[13]和Caetano等[10]相比较,本文算法展现了更好的配准精度. 图 8给出了本文算法的两个配准实例.
表 2 CMU house和CMU hotel序列图像中所有可能的图像配准结果 (%)Table 2 Matching rates on the CMU house and CMU hotel for all possible image pairs (%)3.5 图像特征点的配准结果
在第四系列的实验中,我们使用Leordeanu等[13]的测试数据测试了本文算法的性能.这套测试数据集从Pascal 2007 challenge数据库中挑选出来的,包含30对汽车图像与20对摩托车图像. 每对图像中包含 $30\sim60$ 个特征点.本文算法与CPD,GMMREG,Zhou等[9]和Leordeanu等[13]进行了性能对比,其结果在表 3中列出,对于Zhou等[9] (A)和 Leordeanu等[13] (B),我们报告了他们公布的实验结果. 本文算法给出了最优的配准率.图 9给出了本文算法的两个配准实例.
表 3 汽车与摩托车图像库的配准结果 (%)Table 3 Matching rates on cars and motorbikes (%)本文算法 CPD GMMREG A B 93 80 82 80 80 3.6 计算复杂度
本文算法的计算复杂度主要与两个方面相关:1) 决定收敛性的能量权重调节参数 Tinit,Tfinal 与 r;2) 用于求解基于混合特征的能量优化方程的线性分配算法.
3.6.1 收敛范围
收敛范围主要与形变级别和能量权重调节参数设定相关.在其他相关算法中,TPS-RPM的收敛范围由退火算法决定,CPD和GMMREG则分别由容差停止准则(Tolerance stopping criterion)以及最大迭代次数所决定.我们调查了上述这四种算法在点阵Chinese character形变实验中的收敛范围.本文算法、TPS-RPM、CPD与GMMREG的参数设定值遵循前述Fish1实验中的设定值.CPD和TPS-RPM分别平均需要43次与85次迭代来完成整个配准过程,而GMMREG则需要最大迭代次数(100次)才能完成配准. 原因是由于容差停止准则被设定为 $10^{-10}$ ,GMMREG在配准中最小化后的L2距离很难达到该标准.本文算法仅需要17次迭代就可以完成配准.
此外,我们也调查了本文算法在不同能量权重调节参数设定下的收敛范围.图 10给出了在Chinese character点阵形变实验中的例子.对于每一个能量权重调节参数设定值,我们在每一个形变级别下运行了100次随机实验.基于图 10展示的实验结果,随着调节初始值Tinit降低为默认值的 $1/10$ 时,本文算法的性能发生了轻微的退化,配准所需迭代次数减少了 $41%$ (平均迭代次数从17次减少至10次);随着最终值Tfinal增加为默认值的10倍时,本文算法的性能发生了退化,配准所需迭代次数减少了 $41%$ (平均迭代次数从17次减少到10 次);随着调节速率r减少为默认值的 $1/2$ ,本文算法的性能轻微退化,配准所需迭代次数减少了 $65%$ (从17次减少至仅需6 次).即便能量权重调节参数被显著地改变了,所有的实验依旧展现了非常高的配准精度(也就是误差低于0.0013且标准偏差在 $\pm 0.0015$ 之内).基于这些结果,本文算法的计算复杂度可以通过调整能量权重调节参数设定大幅降低,同时算法依旧维持了很高的配准精度.
图 10 不同能量权重调节参数设定下的配准性能Fig. 10 Relationships between performances and different energy tradeoff adjustment parameter settings3.6.2 Jonker-Volgenant算法性能
为了使用线性分配技术求解二值对应矩阵M,本文算法使用了Jonker-Volgenant算法[32],该算法提供了O $(N^{3})$ 的计算复杂度. 我们在一台4GB内存和2.67GHz Intel(R)Xeon(R) CPU的电脑上使用Matlab mex function功能测试了C++代码的Jonker-Volgenant算法性能. 表 4给出了使用Jonker-Volgenant 算法求解不同大小的二值对应矩阵所需时间.Jonker-Volgenant算法展现了快速的求解能力,同时也为本文算法实现快速非刚性点阵配准提供了支撑.
表 4 Jonker-Volgenant 算法性能 (测试矩阵由 Matlab 的 rand 函数自动生成.)Table 4 Performance of Jonker-Volgenant algorithm (The cost matrices were generated by Matlab rand function.)矩阵大小 200 500 1 000 2 000 3 000 所需时间 (秒) 0.002 0.016 0.100 0.316 0.588 4. 结论
我们已经介绍了一种基于混合特征的非刚性点阵配准算法:1) 设计出了一种基于和向量特征的全局结构特征描述算法;2) 提出了一种利用点阵之间的局部区域相邻点的距离和描述点阵中各点的局部结构特征的描述算法;3) 提出一种基于混合特征的能量方程并设计了该方程的能量权重调节,该方程允许使用混合特征进行点阵对应评估.最后将本文算法与8种当前典型算法进行了性能对比测试,本文算法在绝大多数的形变和旋转配准情况中展现了最好的配准结果.
致谢: 感谢Chui Hai-Li,Rangarajan Anand,Myronenko Andriy,Song Xu-Bo,Jian Bing,Vemuri Baba,Zhou Feng,De la Torre Fernando,Leordeanu Marius,Torresani Lorenzo 和 Caetano Tiberio 提供了他们的算法源代码和测试数据. 这极大地促进了对比实验.我们无偿提供本文算法的Matlab源代码供学术研究. -
图 1 虚拟火车站的平面图[26](包括站台和火车轨道(左)、主候车室(中)和购物商场(右).该摄像机网络包括16台虚拟摄像机)
Fig. 1 Plan view of the virtual train station[26] (Revealing the concourses and train tracks (left), the main waiting room (middle), and the shopping arcade (right). An example camera network comprising 16 virtual cameras is illustrated.)
图 2 虚拟KITTI数据集[32] (上: KITTI多目标跟踪数据集中的一帧图像; 中:虚拟KITTI数据集中对应的图像帧, 叠加了被跟踪目标的标注边框; 下:自动标注的光流(左)、语义分割(中)和深度(右))
Fig. 2 The virtual KITTI dataset[32]. (Top: a frame of a video from the KITTI multi-object tracking benchmark. Middle: the corresponding synthetic frame from the virtual KITTI dataset with automatic tracking ground truth bounding boxes. Bottom: automatically generated ground truth for optical flow (left), semantic segmentation (middle), and depth (right).)
表 1 人工室外场景的构成要素
Table 1 Components for artificial outdoor scenes
场景要素 内容 静态物体 建筑物、天空、道路、人行道、围墙、植物、立柱、交通标志、路面标线等 动态物体 汽车(轿车、货车、公交车)、自行车、摩托车、行人等 季节 春、夏、秋、冬 天气 晴、阴、雨、雪、雾、霾等 光源 太阳、路灯、车灯等 
下载: 导出CSV
-
[1] 王飞跃.平行系统方法与复杂系统的管理和控制.控制与决策, 2004, 19 (5):485-489, 514 http://www.cnki.com.cn/Article/CJFDTOTAL-KZYC200405001.htmWang Fei-Yue. Parallel system methods for management and control of complex systems. Control and Decision, 2004, 19(5):485-489, 514 http://www.cnki.com.cn/Article/CJFDTOTAL-KZYC200405001.htm [2] Wang F Y. Parallel control and management for intelligent transportation systems:concepts, architectures, and applications. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(3):630-638 doi: 10.1109/TITS.2010.2060218 [3] 王飞跃.平行控制:数据驱动的计算控制方法.自动化学报, 2013, 39 (4):293-302 http://www.aas.net.cn/CN/Y2013/V39/I4/293Wang Fei-Yue. Parallel control:a method for data-driven and computational control. Acta Automatica Sinica, 2013, 39(4):293-302 http://www.aas.net.cn/CN/Y2013/V39/I4/293 [4] Wang K F, Liu Y Q, Gou C, Wang F Y. A multi-view learning approach to foreground detection for traffic surveillance applications. IEEE Transactions on Vehicular Technology, 2016, 65(6):4144-4158 doi: 10.1109/TVT.2015.2509465 [5] Wang K F, Yao Y J. Video-based vehicle detection approach with data-driven adaptive neuro-fuzzy networks. International Journal of Pattern Recognition and Artificial Intelligence, 2015, 29(7):1555015 doi: 10.1142/S0218001415550150 [6] Gou C, Wang K F, Yao Y J, Li Z X. Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(4):1096-1107 doi: 10.1109/TITS.2015.2496545 [7] Liu Y Q, Wang K F, Shen D Y. Visual tracking based on dynamic coupled conditional random field model. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(3):822-833 doi: 10.1109/TITS.2015.2488287 [8] Goyette N, Jodoin P M, Porikli F, Konrad J, Ishwar P. A novel video dataset for change detection benchmarking. IEEE Transactions on Image Processing, 2014, 23(11):4663-4679 doi: 10.1109/TIP.2014.2346013 [9] Felzenszwalb P F, Girshick R B, McAllester D, Ramanan D. Object detection with discriminatively trained part-based models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9):1627-1645 doi: 10.1109/TPAMI.2009.167 [10] INRIA person dataset[Online], available:http://pascal.inrialpes.fr/data/human/, September26, 2016. [11] Caltech pedestrian detection benchmark[Online], available:http://www.vision.caltech.edu/Image_Datasets/Caltech-Pedestrians/, September26, 2016. [12] The KITTI vision benchmark suite[Online], available:http://www.cvlibs.net/datasets/kitti/, September26, 2016. [13] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In:Advances in Neural Information Processing Systems 25(NIPS 2012). Nevada:MIT Press, 2012. [14] LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521(7553):436-444 doi: 10.1038/nature14539 [15] Ren S Q, He K M, Girshick R, Sun J. Faster R-CNN:towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, to be published http://es.slideshare.net/xavigiro/faster-rcnn-towards-realtime-object-detection-with-region-proposal-networks [16] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV:IEEE, 2016. 770-778 [17] ImageNet[Online], available:http://www.image-net.org/, September26, 2016. [18] The PASCAL visual object classes homepage[Online], available:http://host.robots.ox.ac.uk/pascal/VOC/, September26, 2016. [19] COCO——Common objects in context[Online], available:http://mscoco.org/, September26, 2016. [20] Torralba A, Efros A A. Unbiased look at dataset bias. In:Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Colorado, USA:IEEE, 2011. 1521-1528 [21] Bainbridge W S. The scientific research potential of virtual worlds. Science, 2007, 317(5837):472-476 doi: 10.1126/science.1146930 [22] Miao Q H, Zhu F H, Lv Y S, Cheng C J, Chen C, Qiu X G. A game-engine-based platform for modeling and computing artificial transportation systems. IEEE Transactions on Intelligent Transportation Systems, 2011, 12(2):343-353 doi: 10.1109/TITS.2010.2103400 [23] Sewall J, van den Berg J, Lin M, Manocha D. Virtualized traffic:reconstructing traffic flows from discrete spatiotemporal data. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(1):26-37 doi: 10.1109/TVCG.2010.27 [24] Prendinger H, Gajananan K, Zaki A B, Fares A, Molenaar R, Urbano D, van Lint H, Gomaa W. Tokyo Virtual Living Lab:designing smart cities based on the 3D Internet. IEEE Internet Computing, 2013, 17(6):30-38 doi: 10.1109/MIC.4236 [25] Karamouzas I, Overmars M. Simulating and evaluating the local behavior of small pedestrian groups. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(3):394-406 doi: 10.1109/TVCG.2011.133 [26] Qureshi F, Terzopoulos D. Smart camera networks in virtual reality. Proceedings of the IEEE, 2008, 96(10):1640-1656 doi: 10.1109/JPROC.2008.928932 [27] Starzyk W, Qureshi F Z. Software laboratory for camera networks research. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2013, 3(2):284-293 doi: 10.1109/JETCAS.2013.2256827 [28] Sun B C, Saenko K. From virtual to reality:fast adaptation of virtual object detectors to real domains. In:Proceedings of the 2014 British Machine Vision Conference. Jubilee Campus:BMVC, 2014. [29] Hattori H, Boddeti V N, Kitani K, Kanade T. Learning scene-specific pedestrian detectors without real data. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, Massachusetts:IEEE, 2015. 3819-3827 [30] Vázquez D, López A M, Marín J, Ponsa D, Gerónimo D. Virtual and real world adaptation for pedestrian detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(4):797-809 doi: 10.1109/TPAMI.2013.163 [31] Xu J L, Vázquez D, López A M, Marín J, Ponsa D. Learning a part-based pedestrian detector in a virtual world. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5):2121-2131 doi: 10.1109/TITS.2014.2310138 [32] Gaidon A, Wang Q, Cabon Y, Vig E. Virtual worlds as proxy for multi-object tracking analysis. In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV:IEEE, 2016. 4340-4349 [33] Handa A, Párácean V, Badrinarayanan V, Stent S, Cipolla R. Understanding real world indoor scenes with synthetic data. In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV:IEEE, 2016. 4077-4085 [34] Ros G, Sellart L, Materzynska J, Vazquez D, López A M. The SYNTHIA dataset:a large collection of synthetic images for semantic segmentation of urban scenes. In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV:IEEE, 2016. 3234-3243 [35] Movshovitz-Attias Y, Kanade T, Sheikh Y. How useful is photo-realistic rendering for visual learning? arXiv:1603.08152, 2016. https://www.researchgate.net/publication/301837317_How_useful_is_photo-realistic_rendering_for_visual_learning [36] Haines T S F, Xiang T. Background subtraction with Dirichlet process mixture models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(4):670-683 doi: 10.1109/TPAMI.2013.239 [37] Sobral A, Vacavant A. A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos. Computer Vision and Image Understanding, 2014, 122:4-21 doi: 10.1016/j.cviu.2013.12.005 [38] Morris B T, Trivedi M M. Trajectory learning for activity understanding:unsupervised, multilevel, and long-term adaptive approach. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(11):2287-2301 doi: 10.1109/TPAMI.2011.64 [39] Butler D J, Wulff J, Stanley G B, Black M J. A naturalistic open source movie for optical flow evaluation. In:Proceedings of the 12th European Conference on Computer Vision (ECCV). Berlin Heidelberg:Springer-Verlag, 2012. [40] Kaneva B, Torralba A, Freeman W T. Evaluation of image features using a photorealistic virtual world. In:Proceedings of the 2011 IEEE International Conference on Computer Vision (ICCV). Barcelona, Spain:IEEE, 2011. 2282-2289 [41] Taylor G R, Chosak A J, Brewer P C. OVVV:using virtual worlds to design and evaluate surveillance systems. In:Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Minneapolis, MN, USA:IEEE, 2007. 1-8 [42] Zitnick C L, Vedantam R, Parikh D. Adopting abstract images for semantic scene understanding. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(4):627-638 doi: 10.1109/TPAMI.2014.2366143 [43] Veeravasarapu V S R, Hota R N, Rothkopf C, Visvanathan R. Model validation for vision systems via graphics simulation. arXiv:1512.01401, 2015. http://arxiv.org/abs/1512.01401 [44] Veeravasarapu V S R, Hota R N, Rothkopf C, Visvanathan R. Simulations for validation of vision systems. arXiv:1512.01030, 2015. http://arxiv.org/abs/1512.01030?context=cs.cv [45] 国家发展改革委, 交通运输部.青岛市"多位一体"平行交通运用示范.国家发展改革委交通运输部关于印发《推进"互联网+"便捷交通促进智能交通发展的实施方案》的通知[Online], http://www.ndrc.gov.cn/zcfb/zcfbtz/201608/t20160805_814065.html, August5, 2016Qingdao "Integrated Multi-Mode" Parallel Transportation Operation Demo Project. Notice from National Development and Reform Commission.[Online], available:http://www.ndrc.gov.cn/zcfb/zcfbtz/201608/t20160805_814065.html, August 5, 2016 [46] Yuan G, Zhang X, Yao Q M, Wang K F. Hierarchical and modular surveillance systems in ITS. IEEE Intelligent Systems, 2011, 26(5):10-15 doi: 10.1109/MIS.2011.88 [47] Jones N. Computer science:the learning machines. Nature, 2014, 505(7482):146-148 doi: 10.1038/505146a [48] Silver D, Huang A, Maddison C J, Guez A, Sifre L, van den Driessche G, Schrittwieser J, Antonoglou I, Panneershelvam V, Lanctot M, Dieleman S, Grewe D, Nham J, Kalchbrenner N, Sutskever I, Lillicrap T, Leach M, Kavukcuoglu K, Graepel T, Hassabis D. Mastering the game of Go with deep neural networks and tree search. Nature, 2016, 529(7587):484-489 doi: 10.1038/nature16961 [49] Wang F Y, Zhang J J, Zheng X H, Wang X, Yuan Y, Dai X X, Zhang J, Yang L Q. Where does AlphaGo go:from Church-Turing Thesis to AlphaGo Thesis and beyond. IEEE/CAA Journal of Automatica Sinica, 2016, 3(2):113-120 http://www.ieee-jas.org/CN/abstract/abstract145.shtml [50] Huang W L, Wen D, Geng J, Zheng N N. Task-specific performance evaluation of UGVs:case studies at the IVFC. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5):1969-1979 doi: 10.1109/TITS.2014.2308540 [51] Li L, Huang W L, Liu Y, Zheng N N, Wang F Y. Intelligence testing for autonomous vehicles:a new approach. IEEE Transactions on Intelligent Vehicles, 2016, to be published -
下载:
计量
- 文章访问数: 3731
- HTML全文浏览量: 500
- PDF下载量: 1728
- 被引次数: 0
