An Improved Video Segmentation Network and Its Global Information Optimization Method
-
摘要: 提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法. 该方法包含一个改进的视频分割网络, 在对视频中的物体进行分割后, 利用初步分割的结果作为先验信息对网络优化, 再次分割得到最终结果. 该分割网络是一种双流卷积网络, 以视频图像和光流图像作为输入, 分别提取图像的表观信息和运动信息, 最终融合得到分割掩膜(Segmentation mask). 网络中嵌入了一个新的卷积注意力模块, 应用于卷积网络的高层次特征与相邻低层次特征之间, 使得高层语义特征可以定位低层特征中的重要区域, 提高网络的收敛速度和分割准确度. 在初步分割之后, 本方法提出利用初步结果作为监督信息对表观网络的权值进行微调, 使其辨识前景物体的特征, 进一步提高双流网络的分割效果. 在公开数据集DAVIS上的实验结果表明, 该方法可准确地分割出视频中时空显著的物体, 效果优于同类双流分割方法. 对注意力模块的对比分析实验表明, 该注意力模块可以极大地提高分割网络的效果, 较本方法的基准方法(Baseline)有很大的提高.Abstract: This paper presents an attention-based video segmentation network and its global information optimization training method. We propose an improved segmentation network, and use it to compute initial segmentation masks. Then the initial masks are considered as priors to finetune the network. Finally, the network with the learnt weight generates fine masks. Our two-stream segmentation network includes appearance branch and motion branch. Fed with image and optical flow image separately, the network extracts appearance features and motion features to generate segmentation mask. An attention module is embedded in the network, between the adjacent high level feature and low level feature. Thus the high level features locate the semantic region for the low level feature, speeding up the network convergence and improving segmentation quality. We propose to optimize the initial masks to finetune the original appearance network weights, making the network recognize the object and improving the network performance. Experiments on DAVIS show the effectiveness of the segmentation framework. Our method outperforms the traditional two-stream segmentation algorithms, and achieves comparable results with algorithms on the dataset＇s leaderboard. Validation experiment illustrates our attention module greatly improves the network performance than the baseline.
-
装配系统是生产实践中最基本的生产系统结构之一.系统中最终的产品通常由两个或两个以上组件装配构成(例如:汽车、家电、消费电子).相比在稳态分析研究方面取得的大量成果, 装配系统的暂态过程仍然未被深入研究.这主要是由于不同零件生产线的相互作用导致了对装配系统的分析要比传统的串行线复杂得多.装配系统的早期研究通常只考虑多队列单服务器的情况, 即几种类型的零件到达一个装配机器, 从而被执行组装操作[1].后来, Lipper等[2]和Kuo等[3]研究了有限队列容量的三机器系统.在这些研究中, 两个服务器代表组件的生产, 而另一个服务器代表装配操作.此外, Manitz [4]对基于排队模型的装配系统进行了研究.具有不可靠机器和有限缓冲区容量的装配系统的稳态性能评估在一些论文中进行了讨论[5-10].
需要注意的是, 虽然在过去几十年里存在大量的串行线和装配生产线的研究工作, 但是其中的绝大部分都是假设系统运行在稳定状态之下的.与此同时, 具有有限缓冲区容量和不可靠机器的生产系统的暂态性能只在最近的一些论文中得到初步的研究, 其中大部分集中在基于伯努利机器的串行线系统研究[11-14].此外, Meerkov等[15]研究了使用几何可靠性机器模型的串行线的暂态性能.当一个生产系统根据客户订单或需求预测, 每次只生产一个批次(或批量)的同类产品时, 我们称之为有限小批量生产运行, 基于此, Jia等[16-18]近两年研究了串行生产线和闭环生产系统的实时系统性能.
基于暂态的装配系统的分析研究仅在以下几篇论文中出现, Alexander等[19]研究了一类具有无限队列容量的单机器马尔科夫类装配排队系统的暂态吞吐量. Jia等[20-21]研究了复杂装配系统的暂态性能, 但是假设了系统具有无限的原材料供应量.与此同时, 值得关注的是, 近年来智能制造技术的发展对生产系统的暂态和动态特性研究提出了更高的要求, 这对于研究相应的实时生产控制算法也至关重要.因此, 本文的目的是研究有限小批量定制化生产运行下, 具有有限缓冲区容量的三机装配系统的基于暂态的性能评价.
本文余下的部分组织如下:第1节介绍了本文所研究的系统的前提假设并定义了所关注的系统性能指标.第2节详细讨论了系统数学模型的建立以及相关性能指标的推导过程.然后, 提出的一种基于分解的用于近似原始系统性能的方法在第3节中被详细介绍.所提出方法的准确性通过数值实验进行了验证并分析展示.最后, 第4节给出了总结和未来工作展望.
1. 数学模型和性能指标
1.1 数学模型
考虑如图 1所示的一个三机装配系统, 其中圆形表示机器, 矩形表示缓冲区.
系统根据以下假设来进行定义:
1) 系统的最终产品(F0)需要两个组件.一个组件(R1)由机器m1处理.我们称系统的这一部分(从机器m1到b1)为零件生产线1.类似地, 另一个组件(R2)由机器m2处理.系统的这一部分(从机器m2到b2)称为零件生产线2.
2) 机器m0从零件生产线1和零件生产线2各取一个完成的零件装配组成一个成品.
3) 机器mi, i=0, 1, 2, 拥有恒定且相同的周期时间τ.以一个加工周期τ为一段, 将时间轴分段.所有机器在一个新的生产批次开始时运行.小批量定制生产下的每个批次具有有限的产量, 每个生产批次的规模为B.每台机器在加工完规定数量的工件后立即停止工作.
4) 机器遵循伯努利可靠性模型, 即, 机器mi, i=0, 1, 2, 如果既没有被阻塞也没有饥饿, 在一个时间间隙(即加工周期)里加工处理一个工件的概率是pi, 未能加工处理一个工件的概率是1-pi.参数pi∈(0, 1)称为机器mi的效率.
5) 每一个在制品缓冲区, bi, i=1, 2, 可以用其容量Ni来表征, 0 < Ni < ∞.
6) 如果机器m0在时间间隙n内处于工作状态, 缓冲区b1或者b2在时间间隙开始时为空, 则机器m0在时隙n内会饥饿.机器m1和m2在一个批次生产结束前不会出现饥饿的情况.
7) 如果机器mi, i=1, 2, 在时间间隙n内处于工作状态, 缓冲区bi在时间间隙开始时有Ni个在制品工件, 并且装配机器m0没能从其中取走一个工件进行处理(由于故障或源自另一条零件生产线的饥饿情况), 则机器mi, i=1, 2, 在时隙n内被阻塞.即, 加工前阻塞机制.同时假设机器m0任何时候都不会被阻塞.
注1.值得注意的是, 在许多生产系统中, 机器周期时间几乎是恒定或接近恒定的.这样的情况大多见于汽车、电子、电器等行业的生产系统.还需注意到, 伯努利可靠性机器模型是适用于平均故障时间接近机器的加工周期的情况(参见使用伯努利模型为实例的文献[22-24]).具有其他可靠性机器模型(例如:几何型、指数型、威布尔型、对数正态型等)的生产系统将在今后的工作中进一步研究.
注2.基于批次的生产广泛用于各种制造系统(小规模, 中等规模, 甚至大规模生产, 单型或多类型产品生产等).一个批次有时被称为一个分组或一个订单.
注3.由于通常定制化生产下每个批次生产数量是有限的, 整个生产过程部分或完全是在暂态下进行的.因此, 严格来说, 稳定状态分析不再适用, 而基于暂态的系统分析是必要的.
注4.上述的模型仅仅包括两条零件生产线和一个装配操作机器.每条零件生产线仅包含了一台机器和一个缓冲区.每条零件生产线拥有多台机器和缓冲区, 以及拥有多条零件生产线的复杂装配系统具有类似的假设, 并且这样的装配系统会在未来工作中进一步研究.
1.2 性能指标
在上述定义的模型框架下, 我们感兴趣的性能指标包括:
1) 生产率PR(n):在时间间隙n+1里, 机器m0生产工件个数的期望;
2) 消耗率CRi(n):在时间间隙n+1里, 机器mi, i=1, 2, 消耗原材料个数的期望;
3) 在制品库存水平, WIPi(n):在时间间隙n里缓冲区bi, i=1, 2, 中的在制品个数的期望;
4) 阻塞率BLi(n):机器mi, i=1, 2, 在时间间隙n+1里被阻塞的概率.
由于机器m0可能由于任意一条零件生产线而饥饿, 我们定义机器饥饿率为:
$ \begin{gathered} S{T_{0,1}}(n) = P[{\mathit{m}_0}在时间间隙n + 1里,由于缓冲区{b_1}为空而饥饿] \hfill \\ S{T_{0,2}}(n) = P[{\mathit{m}_0}在时间间隙n + 1里,由于缓冲区{b_2}为空而饥饿] \hfill \\ \end{gathered} $
一种通过递归聚合来估计这些稳态性能值的方法在文献[22]中被提出.在本文中, 我们提出了在有限量定制生产运行下评估这些暂态性能指标的方法.
此外, 使ct表示机器m0完成生产B个产品的时间.将其均值表示为:
$ \begin{equation} CT = {\rm E}[ct] \end{equation} $
(1) 2. 系统性能精确分析
2.1 性能分析
用fi(n)表示机器mi在时间间隙n结束时已经生产的工件总数量, 用hi(n)表示在时间间隙n结束时缓冲区内的在制品工件数量.显而易见,
$ f_1(n)-f_0(n) = h_1(n) $
$ f_2(n)-f_0(n) =h_2(n) $
那么, 不失一般性, 系统可以用一个状态为(h1(n), h2(n), f0(n))的马尔科夫链来表征, 其中,
$ \begin{array}{l} {h_i}(n) \in \left\{ {0,1, \cdots ,{N_i}} \right\},i = 1,2\\ {f_0}(n) \in \left\{ {0,1, \cdots ,B} \right\} \end{array} $
显然, 此马尔科夫链的最大系统状态数为
$ \begin{equation} \label{equ_Q} Q=(N_1+1)× (N_2+1)× (B+1) \end{equation} $
(2) 需要注意, 有一些系统状态是不可达到的, 比如, (1, 1, B), 因为机器m1和m2在加工好B个工件后立刻停止了运作.换句话说, 在任意一个时间间隙里, h1+f0≤B, 并且h2+f0≤B.
为了计算这一马尔科夫链中的状态间转移概率, 我们首先如表 1排列系统的状态.
表 1 系统状态排序Table 1 Arrangement of the system statesState h1 h2 f0 1 0 0 0 2 0 0 1 ⋮ ⋮ ⋮ ⋮ B+1 0 0 B B+2 0 1 0 B+3 0 1 1 ⋮ ⋮ ⋮ ⋮ Q-1 N1 N2 B-1 Q N1 N2 B 因此, 如果给定任何系统状态S=(h1, h2, f0), 这一状态的序号可通过式(3)计算:
$ \alpha (\mathit{\boldsymbol{S}}) = {h_1}({N_2} + 1)(B + 1) + {h_2}(B + 1) + {f_0} + 1 $
(3) 我们也将状态表示为Sα=(h1α, h2α, f0α).使si(n)=0 (故障), 1 (正常), 表示机器mi在时间间隙n中的状态.根据假设1) ~ 7), 系统的动态特性可以表示为:
$ \begin{gathered} {f_0}(n + 1) = {f_0}(n) + {s_0}(n + 1){\text{min}}\left\{ {{h_1}(n),{h_2}(n),1} \right\} \hfill \\ {h_2}(n + 1) = h_2^\prime (n + 1) + {s_2}(n + 1) \times \hfill \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\text{min}}\left\{ {{N_2} - h_2^\prime (n + 1),1} \right\} \hfill \\ {h_1}(n + 1) = h_1^\prime (n + 1) + {s_1}(n + 1) \times \hfill \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;{\text{min}}\left\{ {{N_1} - h_1^\prime (n + 1),1} \right\} \hfill \\ \end{gathered} $
(4) 其中,
$ \begin{equation*} \begin{split} &h_2^\prime(n+1)=h_2(n)-s_0(n+1) \text{min}\left\{ {h_1(n), h_2(n), 1}\right\}\\ &h_1^\prime(n+1)=h_1(n)-s_0(n+1) \text{min}\left\{{h_1(n), h_2(n), 1}\right\} \end{split} \end{equation*} $
同时也需要注意, 在每个时间间隙中, 系统状态的样本空间是由机器23种的工作状态所组成的.那么,
$ \begin{align} \label{equ_prob} &P[s_1=η_1, s_2=η_2, s_0=η_0]=\nonumber\\ & \prod\limits_{i=0}^{2}p_i^{η_i}(1-p_i)^{1-η_i}, η_i∈\left\{{0, 1}\right\} \end{align} $
(5) 因此, 在每一个时间间隔开始时, 对系统的每一个可达状态i, i∈ {1, ..., Q}, 如果h1i+f0i < B, 并且h2i+f0i < B, 可以枚举所有的23种机器状态的组合, 根据系统动态性式(4)来确定相应的在这一时间间隔结束时的结果状态j, j∈{1, ..., Q}.然后, 对于得到相同结果状态的机器状态组合情况, 使用式(5)来计算相应的转移概率, 并将这些概率相加, 最终得到一个时间间隔里, 从起始的系统状态i到结果状态j的转移概率.对于所有符合条件的系统状态重复这一步骤.
然后, 对于h1i+f0i=B, 或者h2i+f0i=B, 系统状态之间的转移概率如下:
$ \begin{gathered} P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;(1 - {p_1}){p_0}, \;i \in \left\{ {1, ..., {N_1}} \right\}, \;j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}\;i + k < B, \;j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_1}{p_0}, \hfill \\ \;\;\;i \in \left\{ {1, ..., {N_1}} \right\}, \;j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}i + k < B, j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;\left( {1 - {p_2}} \right){p_0}, \;i \in \left\{ {1, ..., {N_1}} \right\}, \;j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_2}{p_0}, \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , \;j \in \{ 1, ..., {N_2}\} , \hfill \\ \;\;\;k \in \{ 0, ..., B - 1\} , {\text{且}}\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;(1 - {p_1})(1 - {p_2})(1 - {p_0}), \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , \;j \in \{ 1, ..., {N_2}\} , \hfill \\ \;\;\;k \in \{ 0, ..., B - 1\} , {\text{且}}\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;(1 - {p_1})(1 - {p_2})(1 - {p_0}), \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , j \in \{{ 1, ..., {N_2}\}} , \hfill \\ \;\;\;k \in \{{ 0, ..., B - 1\}} , {\text{且}}\;i + k < B, \;j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_1}{p_2}{p_0}, \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , j \in \{ 1, ..., {N_2}\} , \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, 且\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k + 1| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_1}{p_2}{p_0}, \hfill \\ \;\;\;i \in \left\{ {1, ..., {N_1}} \right\}, j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}\;i + k < B, j + k = B \hfill \\ P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_0}, \hfill \\ \end{gathered} $
$ \begin{gathered} \;\;\;i \in\left\{ 1, ..., {N_1}\right\}, \;j \in \left\{1, ..., {N_2}\right\}, \hfill \\ \;\;\;k \in\left\{ 0, ..., B - 1\right\}, {\text{且}}\;i + k = B, \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = 1 - {p_0}, \hfill \\ \;\;\;i \in \left\{1, ..., {N_1}\right\}, \;j \in \left\{1, ..., {N_2}\right\}, \hfill \\ \;\;\;k \in \left\{0, ..., B - 1\right\}, {\text{且}}\;i + k = B, j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = 0, {h_2}(n + 1) = 0, {f_0}(n + 1) = \hfill \\ B|\;{h_1}(n) = 0, {h_2}(n) = 0, {f_0}(n) = B] = 1 \hfill \\ \end{gathered} $
(6) 用x(n)=[x1(n)... xQ(n)]T, 其中xi(n)表示系统在状态i的概率, 并且用A表示转移状态矩阵.那么, 系统状态进化可表示为:
$ \begin{equation} \begin{split} {\boldsymbol{x}}(n+1)=A{\boldsymbol{x}}(n), {\boldsymbol{x}}(0)=[1~ 0~ ...~ 0]^\textrm{T} \end{split} \end{equation} $
(7) 系统的实时性能可以通过下式计算:
$ \begin{equation} \label{equ_exac} \begin{split} PR(n)= {{\boldsymbol{V}}}_1{\boldsymbol{x}}(n), \\ CR_i(n)= {{\boldsymbol{V}}}_{2, i}{\boldsymbol{x}}(n), \ i=1, 2\\ WIP_i(n)={{\boldsymbol{V}}}_{3, i}{\boldsymbol{x}}(n), \ i=1, 2\\ BL_i(n)= {{\boldsymbol{V}}}_{4, i}{\boldsymbol{x}}(n), \ i=1, 2\\ ST_{0, i}(n)= {{\boldsymbol{V}}}_{5, i}{\boldsymbol{x}}(n), \ i=1, 2\\ CT= {{\boldsymbol{V}}}_6{\boldsymbol{x}}(n) \end{split} \end{equation} $
(8) 其中
$ {{\boldsymbol{V}}}_1=[0_{1, (N_2+1)(B+1)}\;\;\;[0_{1, B+1} [p_0J_{1, B}\;\;\;0]\\ \;\;\;C_{(B+1)× N_2(B+1)}] C_{(N_2+1)(B+1)× N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{2, 1}=[p_1J_{1, N_1(N_2+1)(B+1)}\ 0_{1, B+1}\ p_1p_0J_{1, N_2(B+1)}]\\ {{\boldsymbol{V}}}_{2, 2}=[p_1J_{1, N_2(B+1)}\;\;\; 0_{1, B+1}\;\;\;[p_2J_{1, N_2(B+1) }\\ \;\;\; p_2p_0p_1J_{1, B+1}]C_{(N_2+1)(B+1)× N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{3, 1}=[0_{1, B+1}\;\;\;1× J_{1, B+1} { ...} N_2× J_{1, B+1}] \\ \;\;\;C_{(N_2+1)(B+1)× Q}\\ {{\boldsymbol{V}}}_{3, 2}=[0_{1, (N_2+1)(B+1)}\;\;\;1× J_{1, (N_2+1)(B+1)} \\ \;\;\; N_1× J_{1, (N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{4, 1}=[0_{1, N_1(N_2+1)(B+1)}\;\; p_1J_{1, B+1}\\ \;\;\; p_1(1-p_0)J_{1, N_2(B+1)}]\\ {{\boldsymbol{V}}}_{4, 2}=[0_{1, N_2(B+1)} \;\;\; p_2J_{1, B+1}\;\;\; [0_{1, N_2(B+1)}\\ \;\;\; p_2(1-p_0)J_{1, B+1}] C_{(N_2+1)(B+1)× N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{5, 1}=[p_0J_{1, (N_2+1)(B+1)} \;\;\;0_{1, N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{5, 2}=[p_0J_{1, B+1} \;\;\;0_{1, N_2(B+1)}] C_{(N_2+1)(B+1)× Q}\\ {{\boldsymbol{V}}}_6=[0_{1, (N_2+1)(B+1)+2B}\; p_0 \; 0 { ...} 0] $
其中, 01, k和J1, k分别代表 1× k的零矩阵和元素全为1的矩阵.与此同时, i× j维矩阵Ci× j=[Ii~...~ Ii]表示由j/i个单位矩阵Ii组成的矩阵.
3. 基于分解的性能评估
上面描述的精确分析可以扩展到更大的系统, 即每个零件生产线中有多台机器的系统.然而, 随着机器数量M, 缓冲区容量Ni's, 和生产规模B的增长, 马尔科夫链状态的数量呈指数型增长, 这将导致对大型的复杂装配系统的分析变得不可能.因此, 本节提出了一种基于分解的算法, 并将其应用于三台伯努利机器的小型装配系统.相应的研究结果将在未来的工作中扩展到更通用的大型系统中.
3.1 基于分解的概念
文献[8]提出一种分解方法, 将原系统分解为一对串行线:上线和下线, 研究了基于无限原材料供应的装配系统的稳态性能.此外, 我们以前的工作[20-21]解决了这类系统的暂态性能研究的问题.与此同时, 当考虑到小批量有限量生产运行下的串行线, 基于暂态的系统性能近似评估也在我们以前的工作[16-17]中进行了讨论.在这一节中, 我们将基于有限量生产运行下系统的暂态性能分析扩展到三台机器的装配系统性能分析研究中.对由多台机器组成的零件生产线或多条零件生产线以及多个装配操作的复杂装配系统, 将在今后的研究中进行分析.
具体而言, 引入三种辅助系统/生产线来分析此类系统.辅助装配系统(图 2所示)首先被引入, 这一辅助装配系统具有所有原始的机器和缓冲区, 但假设具有无限的原材料供应.
为了研究这一辅助装配系统的暂态性能, 分析方法可以参考我们以前的工作(参阅文献[20]).具体而言, 使用辅助两机线(图 3)来近似分析.
上生产线通过移除辅助装配系统中的机器m2和缓冲区b2来构造.考虑到这种修改, 组装机器m0由效率p0u(n)随时间变化的虚拟机器m0u (图 3 (a))来代替.同样, 下生产线可以通过移除机器m1和缓冲区b1, 同时使用效率p0l(n)随时间变化的虚拟机器m0l来构造.
为了获得p0u(n)和p0l(n), 注意, 上生产线中的虚拟机器m0u, 只有原来的装配操作中装配机器m0处于工作状态并且缓冲区b2非空的情况下, 才可能处于工作状态.同样, 下生产线中的虚拟机器m0l, 只有原来的装配操作中装配机器m0处于工作状态并且缓冲区b1非空的情况下, 才可能处于工作状态.因此, 让hi(n)表示在时间间隙n结束时缓冲区bi中的在制品零件数, p0u(n)和p0l(n)可以通过式(9)估算:
$ \begin{split} p_{0}^u(n) &≈ p_{0}\left (1-P[h_{2}(n-1)=0]\right )\\ p_{0}^l(n) &≈ p_{0}\left (1-P[h_{1}(n-1)=0]\right ) \end{split} $
(9) 用于分析这种辅助两机串行线的方法在文献[11]中被提出.具体来说, 用xh, iu(n)和xh, il(n), 分别来表示辅助两机生产线中b1和b2在时隙n结束时, 有i个工件的概率.令xhu(n)=[xh, 0u(n)\...\ xh, N1u(n)]T, xhl(n)=[xh, 0l(n)\...\ xh, N2l(n)]T.根据文献[11], xhu(n)的演化可表示为:
$ \begin{gathered} \mathit{\boldsymbol{x}}_h^u(n + 1) = A_2^u(n)\mathit{\boldsymbol{x}}_h^u(n),\;\;\sum\limits_{i = 0}^{{N_1}} {x_{h,\mathit{i}}^u(n) = 1} \hfill \\ x_{h,i}^u(0) = \left\{ \begin{gathered} 1,\;\;\;\;i = 0 \hfill \\ 0,\;\;\;\;其他 \hfill \\ \end{gathered} \right. \hfill \\ \end{gathered} $
(10) 其中, A2u(n)在式(11)中进行了定义.同时, xhl(n)和A2l(n)可以通过同样的方法被推导出来.
最后, 引入有限量生产运行下的辅助单机生产线(见图 4).
$ \begin{equation} A_2^u(n)=\left [ \begin{array}{cccccc} 1-p_1&p_0^u(1-p_1)&0&{ ...}&0\\ p_1&1-p_1-p_0^u+2p_1p_0^u&p_0^u(1-p_1) &{ ...}&0\\ 0&p_1(1-p_0^u)&\ddots& \ddots&\vdots\\ \vdots&\vdots&\ddots &1-p_1-p_0^u+2p_1p_0^u&p_0^u(1-p_1)\\ 0&0&{ ...}&p_1(1-p_0^u)&p_1p_0^u+1-p_0^u \end{array} \right ] \label{eqn_A2u_matrix} \end{equation} $
(11) 由于无论是m1还是m2, 能够生产一个工件的前提条件都是当且仅当它处于工作状态且不被阻塞, 同时无论m0u或者是m0l, 能够生产的条件是当且仅当其处于工作状态且不会饥饿, 我们定义随时间变化的辅助单机机器效率如下:
$ \begin{equation} \label{equ_auxi_1m} \begin{split} \widehat{p}_1(n)= &p_1[1-x_{h, N_1}^u(n-1)(1-p_0^u(n))]\\ \widehat{p}_2(n)= &p_2[1-x_{h, N_2}^l(n-1)(1-p_0^l(n))]\\ \widehat{p}_0^u(n)= &p_0^u(n)[1-x_{h, 0}^u(n-1)]\\ \widehat{p}_0^l(n)= &p_0^l(n)[1-x_{h, 0}^l(n-1)] \end{split} \end{equation} $
(12) 换句话说, 辅助单机生产线中的机器, ，当且仅当机器m1和m2处于工作状态, 并且辅助两机生产线上的第一台机器在同一时隙期间不会被阻塞的情况下, 才可以处理工件.同样, 辅助单机生产线中的机器$\widehat m_0^u $, $\widehat m_0^l $当且仅当机器m0u和m0l处于工作状态, 并且辅助两机生产线上的第二台机器在同一时隙期间不会被饥饿的情况下, 才可以处理工件.
为了分析辅助单机生产线, 注意, 它们每个都可由一个马尔科夫链来表征, 其中, 系统状态为已被这台机器加工过的工件数量(参阅文献[17]).让xf(i)(n)=[xf, 0(i)(n)\ xf, 1(i)(n)... xf, B(i)(n)]T, 其中xf, j(i)(n)表示$ {\widehat m_1}$, i=1, 2, 在时隙n结束时已经加工了j个工件的概率. xf(i)(n)的演化可以通过以下线性时变方程给出:
$ \begin{equation} \label{equ_evolu_b} \begin{split} {\boldsymbol{x}}_f^{(i)}(n+1)=A_{f}^{(i)}(n){\boldsymbol{x}}_f^{(i)}(n)% \sum\limits_{i=0}^{B}x_i(n)=1, \end{split} \end{equation} $
(13) 其中初始状态是
$ \begin{equation*} {\boldsymbol{x}}_f^{(i)}(0)=[1\ 0\ ...\ 0\ 0]^\textrm{T} \end{equation*} $
时变的转移矩阵Af(i)(n)可以通过下式计算:
$ \begin{equation} \label{equ_af_matrix} A_f^{(i)}(n) = \left [ \begin{array}{cccc} 1-\widehat{p}_i(n)&\\ \widehat{p}_i(n)&\ddots \\ &\ddots&1-\widehat{p}_i(n)\\ &&\widehat{p}_i(n)&1\\ \end{array} \right ] \end{equation} $
(14) 其中${\widehat p_i} $(n)通过式(12)来计算.
此外, 为了分析虚拟机器$\widehat m_0^u $和$\widehat m_0^l $, 使xf(0, u)(n)=[xf, 0(0, u)(n)\ xf, 1(0, u)(n)\...\ xf, B(0, u)(n)]T, 并且xf(0, l)(n)=[xf, 0(0, l)(n)\ xf, 1(0, l)(n)\...\ xf, B(0, l)(n)]T, 其中xf, j(0, u)(n)和xf, j(0, l)(n)分别表示机器$\widehat m_0^u $和$\widehat m_0^l $, 在时隙n结束时已经生产加工j个工件的概率.类似的分析同样适用, xf(0, u)(n)和xf(0, l)(n)的演化将由以下线性时变方程给出:
$ \begin{gathered} \mathit{\boldsymbol{x}}_f^{(0,u)}(n + 1) = A_f^{(0,u)}(n)\mathit{\boldsymbol{x}}_f^{(0,u)}(n) \hfill \\ \mathit{\boldsymbol{x}}_f^{(0,l)}(n + 1) = A_f^{(0,l)}(n)\mathit{\boldsymbol{x}}_f^{(0,l)}(n) \hfill \\ \end{gathered} $
(15) 其中初始状态是
$ \mathit{\boldsymbol{x}}_f^{(0,u)}(0) = {[1\;0\;...0]^{\text{T}}},{\text{ }}\mathit{\boldsymbol{x}}_f^{(0,l)}(0) = {[1\;0...\;0]^{\text{T}}} $
时变转移状态矩阵Af(0, u)(n)可以通过式(16)来计算:
$ A_f^{(0,u)}(n) = \left[ {\begin{array}{*{20}{c}} {1 - \hat p_0^u(n)}&{}&{}&{} \\ {\hat p_0^u(n)}& \ddots &{}&{} \\ {}& \ddots &{1 - \hat p_0^u(n)}&{} \\ {}&{}&{\hat p_0^u(n)}&1 \end{array}} \right] $
(16) 其中通过式(12)来计算. Af(0, l)(n)可以通过相同的方法进行推导, 并把所有(16)中的${\hat p_0^u(n)} $用通过(12)计算得来的来替代.
综上, 为了分析图 1中的有限量运行下的三机装配线的暂态性能, 我们将原始系统的动态特性进行分解和简化, 通过分析一系列分解后相互影响的动态特性更加简单的系统, 来近似评估原始系统的实时性能.具体来说, 对于原始系统(图 1), 其动态特性包括两方面:缓冲区中在制品数量的演化和在每台机器上已完成加工处理的工件数量.首先引入使用原始系统机器和缓冲区参数的辅助装配系统, 同时假设无限原材料(图 2).在这个系统中, 我们只关注系统中的缓冲区在制品数量的演化.为了分析图 2所示系统, 进一步引入辅助双机串行线(图 3), 其中, 为了考虑移除相应机器和缓冲区所带来的影响, 上生产线和下生产线中装配机器所在位置分别使用相应的参数时变的虚拟机器来替代.因此, 通过分析辅助双机串行线(图 3), 事实上可以得到辅助装配系统(图 2)中系统状态(缓冲区在制品数量)的实时分布情况.最后, 引入辅助单机生产线(图 4)来分析在相应机器上完成加工处理工件数量的动态特性.而每一台单机生产线的时变参数都是在考虑了辅助双机串行线中的系统状态的影响下, 近似推导得出的.
3.2 性能评估近似公式
基于上述构造的辅助生产线或生产系统, 我们提出了近似原系统性能指标的计算公式.首先, 有限量生产运行下一个批次的生产完成时间通过使用辅助虚拟单机线$\widehat m_0^u $或$\widehat m_0^l $中的任意一个来近似估算.不失一般性, 使用$\widehat m_0^u $, 同时令${{\hat p}_{ct}}(n)$表示原始系统中机器m0在时隙n结束时处理加工完整个批次所有工件的近似概率.那么,
$ {\hat P_{ct}}(n) = P[\left\{ {\mathit{\widehat m}_0^u在时隙\;\mathit{n}\;处于工作状态} \right\} \cap \{ 已加工处理完\mathit{B} - 1个工件\} ] = \hat p_0^u(n)x_{f,B - 1}^{(0,u)}(n - 1) $
(17) 其次, 原系统的生产率和各个零件生产线的消耗率可由辅助单机生产线的生产率来近似:
$ \begin{equation} \label{equ_perfor_appr} \begin{split} \widehat{PR}(n)= &[\widehat{p}_0^u(n)J_{1, B} 0]{\boldsymbol{x}}_{f}^{(0, u)}(n-1)\\ \widehat{CR}_1(n)= &[\widehat{p}_1(n)J_{1, B} 0]{\boldsymbol{x}}_{f}^{(1)}(n-1)\\ \widehat{CR}_2(n)= &[\widehat{p}_2(n)J_{1, B} 0]{\boldsymbol{x}}_{f}^{(2)}(n-1) \end{split} \end{equation} $
(18) 为了估算WIPi(n), BLi(n)和ST0, i(n), 两种辅助生产线需要结合起来.具体来说, 这些性能评估使用相应的辅助两机生产线来近似估算, 同时考虑相对应的机器在辅助单机生产线上还没有完成加工整个批次所有产品的概率:
$ \begin{align} \label{equ_appro_2M_perfor} \widehat{WIP}_1(n)= &[0\ 1\ { ...}\ N_1] {\boldsymbol{x}}_{h}^{u}(n)(1-x_{f, B}^{(0, u)}(n-1))\nonumber\\ \widehat{WIP}_2(n)= &[0\ 1\ { ...}\ N_2] {\boldsymbol{x}}_{h}^{l}(n)(1-x_{f, B}^{(0, l)}(n-1))\nonumber\\ \widehat{ST}_{0, 1}(n)= &[p_0 0_{1, N_1}] {\boldsymbol{x}}_{h}^{u}(n-1)(1-x_{f, B}^{(0, u)}(n-1))\nonumber\\ \widehat{ST}_{0, 2}(n)= &[p_0 0_{1, N_2}] {\boldsymbol{x}}_{h}^{l}(n-1)(1-x_{f, B}^{(0, l)}(n-1))\nonumber\\ \widehat{BL}_1(n)= &[{0}_{1, N_1} p_1(1-p_2)] {\boldsymbol{x}}_{h}^u(n-1)×\nonumber\\ &(1-x_{f, B}^{(1)}(n-1))\nonumber\\ \widehat{BL}_2(n)= &[{0}_{1, N_2} p_2(1-p_2)] {\boldsymbol{x}}_{h}^l(n-1)×\nonumber\\ & (1-x_{f, B}^{(2)}(n-1)) \end{align} $
(19) 最后, 一个批次的完成时间期望可以被近似为:
$ \begin{equation} \label{equ_CT} \begin{split} \widehat{CT}& = \sum\limits_{n=1}^T n\widehat{P}_{ct}(n) \\ \end{split} \end{equation} $
(20) 其中, T满足以下条件:
$ \begin{equation*} \sum\limits_{n=1}^T\widehat{P}_{ct}(n)\geq0.999 \end{equation*} $
综上, 基于分解的计算方法流程图如图 5所示.
对于所提出的性能近似的方法的精确程度, 我们通过对10 000条参数随机而均匀地从式(21)所示的集合或者区间中选取的三机伯努利装配系统, 进行基于精确解析和基于分解的近似性能评估分析, 来验证所提近似方法的精确性.
$ \begin{align} \label{equ_para} B&∈\left\{{20, 21, { ...}, 100}\right\}, \ p_i∈(0.7, 1), \ i=0, 1, 2\nonumber\\ N_i&∈\left\{{2, 3, 4, 5}\right\}, \ i=1, 2 \end{align} $
(21) 对于每一条参数随机产生的装配系统, 我们分别通过精确分析式(8)和基于分解的近似分析式(17) ~ (20)来计算其各项性能指标.结果显示, 对于这10 000条装配系统的各项性能指标的平均相对误差, 它们的中值都在1 %以下.
作为一个例子, 考虑图 6所显示的装配系统.每个机器(圆形表示)上的数字表示其效率, 而每个缓冲区(矩形)中的数字表示其容量.这些参数是随机生成的.在本例中, 所有缓冲区都被假设在起始状态时是空的.首先需要注意的是, 使用精确分析方法, 根据式(\ref{equ_Q), 系统的状态数量为1 620;而经过分解后, 我们只需要分析六个相对较小但相互影响的系统:一条双机上生产线, 一条双机下生产线, 两条上单机生产线, 两条下单机生产线.六个较小的马尔科夫链的总状态数为333.在保证精确度的基础上, 相较精确分析, 基于分解的近似分析使系统状态数量有了极大的降低.与此同时, 从计算时间的角度来看, 使用MATLAB软件在同一台电脑配置为因特尔酷睿i7-6700的CPU和16 GB的RAM上, 基于精确分析和基于分解的近似分析, 所需要的运算时间分别为13.35秒和0.11秒, 近似算法在计算高效性上也显示出了极大的优势.系统的暂态性能如图 7所示, 从图中可以看出, 整个生产运行过程分为三个阶段.在第一阶段, 产品开始进入空系统.在此期间, 生产率和在制品数量都从0上升到稳态值.同时, 由于更多的工件进入系统, 零件生产线1 (或者零件生产线2)的消耗率从p1 (或者p2)开始逐渐减小.在第二阶段中, 系统运行接近稳定状态, 所有暂态性能指标都或多或少地处于平稳状态.最后, 当生产运行接近完成时, 所有性能指标开始下降, 最终达到0.基于该分解算法的高精度也可以从图中清晰地看到.需要注意的是, 虽然精确的分析在这种小型装配系统中仍然可以被推导出来, 然而随着系统参数(M, Ni's和B)的增长, 精确分析也变得越来越不可能实现.基于分解思想的性能近似评估方法的计算高效性将在这样的大型装配系统中体现出来.深入的相关研究将在未来的工作中被进一步讨论.
4. 结束语
本文研究了具有三台伯努利机器, 有限缓冲区容量和有限量生产运行下的装配系统的暂态性能评估问题.具体地, 首先推导了系统性能评价的精确数学模型和解析公式.然后, 提出了一种基于分解的性能评估算法, 通过将系统转换成一系列相互作用的辅助串行线来近似评估原始系统的暂态性能.论文推导了基于分解的三机装配系统实时性能估计公式, 并通过数值实验验证了算法的准确性和计算高效性.
图 7 分解近似与精确分析的三机伯努利装配系统暂态实时性能评估对比Fig. 7 Comparison of decomposition-based approxiamtion and exact analysis for transient performance evaluation in assembly system with three Bernoulli machines今后在这方面的工作包括将算法扩展到每个零件生产线具有多台机器和多个缓冲区的系统, 或多条零件生产线和多装配操作的复杂装配系统.此外, 还会将研究结果推广到具有其他机器可靠性模型(几何型、指数型、威布尔型等)的装配系统中.
-
图 1 基于注意力的视频物体分割方法框架图
Fig. 1 The framework of proposed video object segmentation method with attention mechanism
表 1 有效性对比实验
Table 1 Ablation experiments results
方法 ours_m ours_a Baseline FCN Mean $\cal{M} \uparrow$ 0.595 0.552 0.501 0.519 $\cal{J}$ Recall $\cal{O} \uparrow$ 0.647 0.645 0.558 0.528 Decay $\cal{D} \downarrow$ 0.010 −0.029 −0.046 0.059 Mean $\cal{M} \uparrow$ 0.568 0.493 0.458 0.482 $\cal{F}$ Recall $\cal{O} \uparrow$ 0.648 0.487 0.426 0.448 Decay $\cal{D} \downarrow$ 0.063 −0.035 −0.025 0.054 $\cal{T}$ Mean $\cal{M} \downarrow$ 0.689 0.721 0.679 0.829 
下载: 导出CSV
表 2 定量实验结果
Table 2 Quantitative experiments results
方法 ours ours_n lmp msg fseg fst tis nlc cvos Mean $\cal{M} \uparrow$ 0.713 0.710 0.700 0.533 0.707 0.558 0.626 0.551 0.482 $\cal{J}$ Recall $\cal{O} \uparrow$ 0.798 0.791 0.850 0.616 0.835 0.649 0.803 0.558 0.540 Decay $\cal{D} \downarrow$ −0.036 −0.007 0.013 0.024 0.015 −0.000 0.071 0.126 0.105 Mean $\cal{M} \uparrow$ 0.684 0.695 0.659 0.508 0.653 0.511 0.596 0.523 0.447 $\cal{F}$ Recall $\cal{O} \uparrow$ 0.772 0.809 0.792 0.600 0.738 0.516 0.745 0.519 0.526 Decay $\cal{D} \downarrow$ −0.009 0.004 0.025 0.051 0.018 0.029 0.064 0.114 0.117 $\cal{T}$ Mean $\cal{M} \downarrow$ 0.534 0.589 0.572 0.301 0.328 0.366 0.336 0.425 0.250
下载: 导出CSV
-
[1] 褚一平, 张引, 叶修梓, 张三元. 基于隐条件随机场的自适应视频分割算法. 自动化学报, 2007, 33(12): 1252-1258Chu Yi-Ping, Zhang Yin, Ye Xiu-Zi, Zhang San-Yuan. Adaptive video segmentation algorithm using hidden conditional random fields. Acta Automatica Sinica, 2007, 33(12): 1252-1258 [2] 刘龙, 韩崇昭, 刘丁, 梁盈富. 一种新的基于吉布斯随机场的视频运动对象分割算法. 自动化学报, 2007, 33(6): 608-614Liu Long, Han Chong-Zhao, Liu Ding, Liang Ying-Fu. A new video moving object segmentation algorithm based on Gibbs random field. Acta Automatica Sinica, 2007, 33(6): 608-614 [3] Rother C, Kolmogorov V, Blake A. "GrabCut": Interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics, 2004, 23(3): 309-314 doi: 10.1145/1015706.1015720 [4] 胡芝兰, 江帆, 王贵锦, 林行刚, 严洪. 基于运动方向的异常行为检测. 自动化学报, 2008, 34(11): 1348-1357Hu Zhi-Lan, Jiang Fan, Wang Gui-Jin, Lin Xing-Gang, Yan Hong. Anomaly detection based on motion direction. Acta Automatica Sinica, 2008, 34(11): 1348-1357 [5] 鲁志红, 郭丹, 汪萌. 基于加权运动估计和矢量分割的运动补偿内插算法. 自动化学报, 2015, 41(5): 1034-1041Lu Zhi-Hong, Guo Dan, Wang Meng. Motion-compensated frame interpolation based on weighted motion estimation and vector segmentation. Acta Automatica Sinica, 2015, 41(5): 1034-1041 [6] Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 568−576 [7] Feichtenhofer C, Pinz A, Zisserman A. Convolutional two-stream network fusion for video action recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 1933−1941 [8] Jain S D, Xiong B, Grauman K. FusionSeg: Learning to combine motion and appearance for fully automatic segmentation of generic objects in videos. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 2117−2126 [9] Li X X, Loy C C. Video object segmentation with joint re-identification and attention-aware mask propagation. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 93−110 [10] Zhang P P, Liu W, Wang H Y, Lei Y J, Lu H C. Deep gated attention networks for large-scale street-level scene segmentation. Pattern Recognition, 2019, 88:702-714 [11] Zhao H S, Zhang Y, Liu S, Shi J P, Loy C C, Lin D H, et al. PSANet: Point-wise spatial attention network for scene parsing. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 270−286 [12] Song C F, Huang Y, Ouyang W L, Wang L. Mask-guided contrastive attention model for person re-identification. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1179−1188 [13] Jang W D, Lee C, Kim C S. Primary object segmentation in videos via alternate convex optimization of foreground and background distributions. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 696−704 [14] Tsai Y H, Yang M H, Black M J. Video segmentation via object flow. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 3899−3908 [15] Wen L Y, Du D W, Lei Z, Li S Z, Yang M H. JOTS: Joint online tracking and segmentation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 2226−2234 [16] Xiao F Y, Lee Y J. Track and segment: An iterative unsupervised approach for video object proposals. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 933−942 [17] Perazzi F, Wang O, Gross M, Sorkine-Hornung A. Fully connected object proposals for video segmentation. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 3227−3234 [18] Zhou T F, Lu Y, Di H J, Zhang J. Video object segmentation aggregation. In: Proceedings of the 2016 IEEE International Conference on Multimedia and Expo (ICME). Seattle, USA: IEEE, 2016. 1−6 [19] Fragkiadaki K, Zhang G, Shi J B. Video segmentation by tracing discontinuities in a trajectory embedding. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE, 2012. 1846−1853 [20] Wang W G, Shen J B, Yang R G, Porikli F. Saliency-aware video object segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(1): 20-33 doi: 10.1109/TPAMI.2017.2662005 [21] Papazoglou A, Ferrari V. Fast object segmentation in unconstrained video. In: Proceedings of the 2013 IEEE International Conference on Computer Vision. Sydney, Australia: IEEE, 2013. 1777−1784 [22] Krahenbuhl P, Koltun V. Geodesic object proposals. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 725−739 [23] Perazzi F, Khoreva A, Benenson R, Schiele B, Sorkine-Hornung A. Learning video object segmentation from static images. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 3491−3500 [24] Tokmakov P, Alahari K, Schmid C. Learning video object segmentation with visual memory. In: Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 4491−4500 [25] Cheng J C, Tsai Y H, Wang S J, Yang M H. SegFlow: Joint learning for video object segmentation and optical flow. In: Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 686−695 [26] Song H M, Wang W G, Zhao S Y, Shen J B, Lam K M. Pyramid dilated deeper ConvLSTM for video salient object detection. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 744−760 [27] Caelles S, Maninis K K, Pont-Tuset J, Leal-Taixe L, Cremers D, Van Gool L. One-shot video object segmentation. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 5320−5329 [28] Oh S W, Lee J Y, Sunkavalli K, Kim S J. Fast video object segmentation by reference-guided mask propagation. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7376−7385 [29] Cheng J C, Tsai Y H, Hung W C, Wang S J, Yang M H. Fast and accurate online video object segmentation via tracking parts. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7415−7424 [30] Fu J, Liu J, Tian H J, Li Y, Bao Y J, Fang Z W, Lu H Q. Dual attention network for scene segmentation. In: Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019. 3146−3154 [31] Sun T Z, Zhang W, Wang Z J, Ma L, Jie Z Q. Image-level to pixel-wise labeling: From theory to practice. In: Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: AAAI Press, 2018. 928−934 [32] Chen L C, Papandreou G, Kokkinos I, Murphy K, Yuille A L. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848 doi: 10.1109/TPAMI.2017.2699184 [33] Li K P, Wu Z Y, Peng K C, Ernst J, Fu Y. Tell me where to look: Guided attention inference network. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 9215−9223 [34] Woo S, Park J, Lee J Y, Kweon I S. CBAM: Convolutional block attention module. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 3−19 [35] Corbetta M, Shulman G L. Control of goal-directed and stimulus-driven attention in the brain. Nature reviews Neuroscience, 2002, 3(3): 201-215 doi: 10.1038/nrn755 [36] Wang F, Jiang M Q, Qian C, Yang S, Li C, Zhang H G, et al. Residual attention network for image classification. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 6450−6458 [37] Yu C Q, Wang J B, Peng C, Gao C X, Yu G, Sang N. Learning a discriminative feature network for semantic segmentation. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1857−1866 [38] Li H C, Xiong P F, An J, Wang L X. Pyramid attention network for semantic segmentation. In: Proceedings of the 2018 British Machine Vision Conference. Newcastle, UK: BMVA Press, 2018. Article No. 285 [39] Dosovitskiy A, Fischer P, Ilg E, Hausser P, Hazirbas C, Golkov V, et al. FlowNet: Learning optical flow with convolutional networks. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 2758−2766 [40] Perazzi F, Pont-Tuset J, McWilliams B, Van Gool L, Gross M, Sorkine-Hornung A. A benchmark dataset and evaluation methodology for video object segmentation. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 724−732 [41] Ochs P, Brox T. Object segmentation in video: A hierarchical variational approach for turning point trajectories into dense regions. In: Proceedings of the 2011 International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011. 1583−1590 [42] Tokmakov P, Alahari K, Schmid C. Learning motion patterns in videos. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 531−539 [43] Griffin B, Corso, J. Tukey-inspired video object segmentation. In: Proceedings of the 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa, USA: IEEE, 2019. 1723−1733 [44] Faktor A, Irani M. Video segmentation by non-local consensus voting. In: Proceedings of the 2014 British Machine Vision Conference. Nottingham, UK: BMVA Press, 2014. [45] Taylor B, Karasev V, Soattoc S. Causal video object segmentation from persistence of occlusions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 4268−4276 -
下载:
计量
- 文章访问数: 706
- HTML全文浏览量: 338
- PDF下载量: 149
- 被引次数: 0
