A Class Incremental Learning and Memory Fusion Method Using Random Weight Neural Networks
-
摘要: 连续学习(Continual learning, CL)多个任务的能力对于通用人工智能的发展至关重要. 现有人工神经网络(Artificial neural networks, ANNs)在单一任务上具有出色表现, 但在开放环境中依次面对不同任务时非常容易发生灾难性遗忘现象, 即联结主义模型在学习新任务时会迅速地忘记旧任务. 为了解决这个问题, 将随机权神经网络(Random weight neural networks, RWNNs)与生物大脑的相关工作机制联系起来, 提出一种新的再可塑性启发的随机化网络(Metaplasticity-inspired randomized network, MRNet)用于类增量学习(Class incremental learning, Class-IL)场景, 使得单一模型在不访问旧任务数据的情况下能够从未知的任务序列中学习与记忆融合. 首先, 以前馈方式构造具有解析解的通用连续学习框架, 用于有效兼容新任务中出现的新类别; 然后, 基于突触可塑性设计具备记忆功能的权值重要性矩阵, 自适应地调整网络参数以避免发生遗忘; 最后, 所提方法的有效性和高效性通过5个评价指标、5个基准任务序列和10个比较方法在类增量学习场景中得到验证.Abstract: The ability to continual learning (CL) on multiple tasks is crucial for the development of artificial general intelligence. Existing artificial neural networks (ANNs) performing well on a single task are prone to suffer from catastrophic forgetting when sequentially fed with different tasks in an open-ended environment, that is, the connectionist models trained on a new task could rapidly forget what was learned previously. To solve the problem, this paper proposes a new metaplasticity-inspired randomized network (MRNet) for the class incremental learning (Class-IL) scenario by relating random weight neural networks (RWNNs) with the relevant working mechanism of biological brain, which enables a single model to learn and remember the unknown task sequence without accessing old task data. First, a general continual learning framework with the closed-form solution is constructed in a feed-forward manner to effectively accommodate new categories emerging in new tasks; Second, a memory-related weight importance matrix is formed by referring to the property of synapses, which adaptively adjusts network parameters to avoid forgetting; Finally, effectiveness and efficiency of the proposed method are demonstrated in the class incremental learning scenario with 5 evaluation metrics, 5 benchmark task sequences, and 10 comparison methods.
-
装配系统是生产实践中最基本的生产系统结构之一.系统中最终的产品通常由两个或两个以上组件装配构成(例如:汽车、家电、消费电子).相比在稳态分析研究方面取得的大量成果, 装配系统的暂态过程仍然未被深入研究.这主要是由于不同零件生产线的相互作用导致了对装配系统的分析要比传统的串行线复杂得多.装配系统的早期研究通常只考虑多队列单服务器的情况, 即几种类型的零件到达一个装配机器, 从而被执行组装操作[1].后来, Lipper等[2]和Kuo等[3]研究了有限队列容量的三机器系统.在这些研究中, 两个服务器代表组件的生产, 而另一个服务器代表装配操作.此外, Manitz [4]对基于排队模型的装配系统进行了研究.具有不可靠机器和有限缓冲区容量的装配系统的稳态性能评估在一些论文中进行了讨论[5-10].
需要注意的是, 虽然在过去几十年里存在大量的串行线和装配生产线的研究工作, 但是其中的绝大部分都是假设系统运行在稳定状态之下的.与此同时, 具有有限缓冲区容量和不可靠机器的生产系统的暂态性能只在最近的一些论文中得到初步的研究, 其中大部分集中在基于伯努利机器的串行线系统研究[11-14].此外, Meerkov等[15]研究了使用几何可靠性机器模型的串行线的暂态性能.当一个生产系统根据客户订单或需求预测, 每次只生产一个批次(或批量)的同类产品时, 我们称之为有限小批量生产运行, 基于此, Jia等[16-18]近两年研究了串行生产线和闭环生产系统的实时系统性能.
基于暂态的装配系统的分析研究仅在以下几篇论文中出现, Alexander等[19]研究了一类具有无限队列容量的单机器马尔科夫类装配排队系统的暂态吞吐量. Jia等[20-21]研究了复杂装配系统的暂态性能, 但是假设了系统具有无限的原材料供应量.与此同时, 值得关注的是, 近年来智能制造技术的发展对生产系统的暂态和动态特性研究提出了更高的要求, 这对于研究相应的实时生产控制算法也至关重要.因此, 本文的目的是研究有限小批量定制化生产运行下, 具有有限缓冲区容量的三机装配系统的基于暂态的性能评价.
本文余下的部分组织如下:第1节介绍了本文所研究的系统的前提假设并定义了所关注的系统性能指标.第2节详细讨论了系统数学模型的建立以及相关性能指标的推导过程.然后, 提出的一种基于分解的用于近似原始系统性能的方法在第3节中被详细介绍.所提出方法的准确性通过数值实验进行了验证并分析展示.最后, 第4节给出了总结和未来工作展望.
1. 数学模型和性能指标
1.1 数学模型
考虑如图 1所示的一个三机装配系统, 其中圆形表示机器, 矩形表示缓冲区.
系统根据以下假设来进行定义:
1) 系统的最终产品(F0)需要两个组件.一个组件(R1)由机器m1处理.我们称系统的这一部分(从机器m1到b1)为零件生产线1.类似地, 另一个组件(R2)由机器m2处理.系统的这一部分(从机器m2到b2)称为零件生产线2.
2) 机器m0从零件生产线1和零件生产线2各取一个完成的零件装配组成一个成品.
3) 机器mi, i=0, 1, 2, 拥有恒定且相同的周期时间τ.以一个加工周期τ为一段, 将时间轴分段.所有机器在一个新的生产批次开始时运行.小批量定制生产下的每个批次具有有限的产量, 每个生产批次的规模为B.每台机器在加工完规定数量的工件后立即停止工作.
4) 机器遵循伯努利可靠性模型, 即, 机器mi, i=0, 1, 2, 如果既没有被阻塞也没有饥饿, 在一个时间间隙(即加工周期)里加工处理一个工件的概率是pi, 未能加工处理一个工件的概率是1-pi.参数pi∈(0, 1)称为机器mi的效率.
5) 每一个在制品缓冲区, bi, i=1, 2, 可以用其容量Ni来表征, 0 < Ni < ∞.
6) 如果机器m0在时间间隙n内处于工作状态, 缓冲区b1或者b2在时间间隙开始时为空, 则机器m0在时隙n内会饥饿.机器m1和m2在一个批次生产结束前不会出现饥饿的情况.
7) 如果机器mi, i=1, 2, 在时间间隙n内处于工作状态, 缓冲区bi在时间间隙开始时有Ni个在制品工件, 并且装配机器m0没能从其中取走一个工件进行处理(由于故障或源自另一条零件生产线的饥饿情况), 则机器mi, i=1, 2, 在时隙n内被阻塞.即, 加工前阻塞机制.同时假设机器m0任何时候都不会被阻塞.
注1.值得注意的是, 在许多生产系统中, 机器周期时间几乎是恒定或接近恒定的.这样的情况大多见于汽车、电子、电器等行业的生产系统.还需注意到, 伯努利可靠性机器模型是适用于平均故障时间接近机器的加工周期的情况(参见使用伯努利模型为实例的文献[22-24]).具有其他可靠性机器模型(例如:几何型、指数型、威布尔型、对数正态型等)的生产系统将在今后的工作中进一步研究.
注2.基于批次的生产广泛用于各种制造系统(小规模, 中等规模, 甚至大规模生产, 单型或多类型产品生产等).一个批次有时被称为一个分组或一个订单.
注3.由于通常定制化生产下每个批次生产数量是有限的, 整个生产过程部分或完全是在暂态下进行的.因此, 严格来说, 稳定状态分析不再适用, 而基于暂态的系统分析是必要的.
注4.上述的模型仅仅包括两条零件生产线和一个装配操作机器.每条零件生产线仅包含了一台机器和一个缓冲区.每条零件生产线拥有多台机器和缓冲区, 以及拥有多条零件生产线的复杂装配系统具有类似的假设, 并且这样的装配系统会在未来工作中进一步研究.
1.2 性能指标
在上述定义的模型框架下, 我们感兴趣的性能指标包括:
1) 生产率PR(n):在时间间隙n+1里, 机器m0生产工件个数的期望;
2) 消耗率CRi(n):在时间间隙n+1里, 机器mi, i=1, 2, 消耗原材料个数的期望;
3) 在制品库存水平, WIPi(n):在时间间隙n里缓冲区bi, i=1, 2, 中的在制品个数的期望;
4) 阻塞率BLi(n):机器mi, i=1, 2, 在时间间隙n+1里被阻塞的概率.
由于机器m0可能由于任意一条零件生产线而饥饿, 我们定义机器饥饿率为:
$ \begin{gathered} S{T_{0,1}}(n) = P[{\mathit{m}_0}在时间间隙n + 1里,由于缓冲区{b_1}为空而饥饿] \hfill \\ S{T_{0,2}}(n) = P[{\mathit{m}_0}在时间间隙n + 1里,由于缓冲区{b_2}为空而饥饿] \hfill \\ \end{gathered} $
一种通过递归聚合来估计这些稳态性能值的方法在文献[22]中被提出.在本文中, 我们提出了在有限量定制生产运行下评估这些暂态性能指标的方法.
此外, 使ct表示机器m0完成生产B个产品的时间.将其均值表示为:
$ \begin{equation} CT = {\rm E}[ct] \end{equation} $
(1) 2. 系统性能精确分析
2.1 性能分析
用fi(n)表示机器mi在时间间隙n结束时已经生产的工件总数量, 用hi(n)表示在时间间隙n结束时缓冲区内的在制品工件数量.显而易见,
$ f_1(n)-f_0(n) = h_1(n) $
$ f_2(n)-f_0(n) =h_2(n) $
那么, 不失一般性, 系统可以用一个状态为(h1(n), h2(n), f0(n))的马尔科夫链来表征, 其中,
$ \begin{array}{l} {h_i}(n) \in \left\{ {0,1, \cdots ,{N_i}} \right\},i = 1,2\\ {f_0}(n) \in \left\{ {0,1, \cdots ,B} \right\} \end{array} $
显然, 此马尔科夫链的最大系统状态数为
$ \begin{equation} \label{equ_Q} Q=(N_1+1)× (N_2+1)× (B+1) \end{equation} $
(2) 需要注意, 有一些系统状态是不可达到的, 比如, (1, 1, B), 因为机器m1和m2在加工好B个工件后立刻停止了运作.换句话说, 在任意一个时间间隙里, h1+f0≤B, 并且h2+f0≤B.
为了计算这一马尔科夫链中的状态间转移概率, 我们首先如表 1排列系统的状态.
表 1 系统状态排序Table 1 Arrangement of the system statesState h1 h2 f0 1 0 0 0 2 0 0 1 ⋮ ⋮ ⋮ ⋮ B+1 0 0 B B+2 0 1 0 B+3 0 1 1 ⋮ ⋮ ⋮ ⋮ Q-1 N1 N2 B-1 Q N1 N2 B 因此, 如果给定任何系统状态S=(h1, h2, f0), 这一状态的序号可通过式(3)计算:
$ \alpha (\mathit{\boldsymbol{S}}) = {h_1}({N_2} + 1)(B + 1) + {h_2}(B + 1) + {f_0} + 1 $
(3) 我们也将状态表示为Sα=(h1α, h2α, f0α).使si(n)=0 (故障), 1 (正常), 表示机器mi在时间间隙n中的状态.根据假设1) ~ 7), 系统的动态特性可以表示为:
$ \begin{gathered} {f_0}(n + 1) = {f_0}(n) + {s_0}(n + 1){\text{min}}\left\{ {{h_1}(n),{h_2}(n),1} \right\} \hfill \\ {h_2}(n + 1) = h_2^\prime (n + 1) + {s_2}(n + 1) \times \hfill \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\text{min}}\left\{ {{N_2} - h_2^\prime (n + 1),1} \right\} \hfill \\ {h_1}(n + 1) = h_1^\prime (n + 1) + {s_1}(n + 1) \times \hfill \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;{\text{min}}\left\{ {{N_1} - h_1^\prime (n + 1),1} \right\} \hfill \\ \end{gathered} $
(4) 其中,
$ \begin{equation*} \begin{split} &h_2^\prime(n+1)=h_2(n)-s_0(n+1) \text{min}\left\{ {h_1(n), h_2(n), 1}\right\}\\ &h_1^\prime(n+1)=h_1(n)-s_0(n+1) \text{min}\left\{{h_1(n), h_2(n), 1}\right\} \end{split} \end{equation*} $
同时也需要注意, 在每个时间间隙中, 系统状态的样本空间是由机器23种的工作状态所组成的.那么,
$ \begin{align} \label{equ_prob} &P[s_1=η_1, s_2=η_2, s_0=η_0]=\nonumber\\ & \prod\limits_{i=0}^{2}p_i^{η_i}(1-p_i)^{1-η_i}, η_i∈\left\{{0, 1}\right\} \end{align} $
(5) 因此, 在每一个时间间隔开始时, 对系统的每一个可达状态i, i∈ {1, ..., Q}, 如果h1i+f0i < B, 并且h2i+f0i < B, 可以枚举所有的23种机器状态的组合, 根据系统动态性式(4)来确定相应的在这一时间间隔结束时的结果状态j, j∈{1, ..., Q}.然后, 对于得到相同结果状态的机器状态组合情况, 使用式(5)来计算相应的转移概率, 并将这些概率相加, 最终得到一个时间间隔里, 从起始的系统状态i到结果状态j的转移概率.对于所有符合条件的系统状态重复这一步骤.
然后, 对于h1i+f0i=B, 或者h2i+f0i=B, 系统状态之间的转移概率如下:
$ \begin{gathered} P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;(1 - {p_1}){p_0}, \;i \in \left\{ {1, ..., {N_1}} \right\}, \;j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}\;i + k < B, \;j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_1}{p_0}, \hfill \\ \;\;\;i \in \left\{ {1, ..., {N_1}} \right\}, \;j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}i + k < B, j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;\left( {1 - {p_2}} \right){p_0}, \;i \in \left\{ {1, ..., {N_1}} \right\}, \;j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_2}{p_0}, \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , \;j \in \{ 1, ..., {N_2}\} , \hfill \\ \;\;\;k \in \{ 0, ..., B - 1\} , {\text{且}}\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;(1 - {p_1})(1 - {p_2})(1 - {p_0}), \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , \;j \in \{ 1, ..., {N_2}\} , \hfill \\ \;\;\;k \in \{ 0, ..., B - 1\} , {\text{且}}\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = \hfill \\ \;\;\;(1 - {p_1})(1 - {p_2})(1 - {p_0}), \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , j \in \{{ 1, ..., {N_2}\}} , \hfill \\ \;\;\;k \in \{{ 0, ..., B - 1\}} , {\text{且}}\;i + k < B, \;j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_1}{p_2}{p_0}, \hfill \\ \;\;\;i \in \{ 1, ..., {N_1}\} , j \in \{ 1, ..., {N_2}\} , \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, 且\;i + k = B, \;j + k < B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k + 1| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_1}{p_2}{p_0}, \hfill \\ \;\;\;i \in \left\{ {1, ..., {N_1}} \right\}, j \in \left\{ {1, ..., {N_2}} \right\}, \hfill \\ \;\;\;k \in \left\{ {0, ..., B - 1} \right\}, {\text{且}}\;i + k < B, j + k = B \hfill \\ P[{h_1}(n + 1) = i - 1, {h_2}(n + 1) = j - 1, {f_0}(n + 1) = \hfill \\ \;\;\;k + 1|{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = {p_0}, \hfill \\ \end{gathered} $
$ \begin{gathered} \;\;\;i \in\left\{ 1, ..., {N_1}\right\}, \;j \in \left\{1, ..., {N_2}\right\}, \hfill \\ \;\;\;k \in\left\{ 0, ..., B - 1\right\}, {\text{且}}\;i + k = B, \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = i, {h_2}(n + 1) = j, {f_0}(n + 1) = k| \hfill \\ \;\;\;{h_1}(n) = i, {h_2}(n) = j, {f_0}(n) = k] = 1 - {p_0}, \hfill \\ \;\;\;i \in \left\{1, ..., {N_1}\right\}, \;j \in \left\{1, ..., {N_2}\right\}, \hfill \\ \;\;\;k \in \left\{0, ..., B - 1\right\}, {\text{且}}\;i + k = B, j + k = B \hfill \\ \end{gathered} $
$ \begin{gathered} P[{h_1}(n + 1) = 0, {h_2}(n + 1) = 0, {f_0}(n + 1) = \hfill \\ B|\;{h_1}(n) = 0, {h_2}(n) = 0, {f_0}(n) = B] = 1 \hfill \\ \end{gathered} $
(6) 用x(n)=[x1(n)... xQ(n)]T, 其中xi(n)表示系统在状态i的概率, 并且用A表示转移状态矩阵.那么, 系统状态进化可表示为:
$ \begin{equation} \begin{split} {\boldsymbol{x}}(n+1)=A{\boldsymbol{x}}(n), {\boldsymbol{x}}(0)=[1~ 0~ ...~ 0]^\textrm{T} \end{split} \end{equation} $
(7) 系统的实时性能可以通过下式计算:
$ \begin{equation} \label{equ_exac} \begin{split} PR(n)= {{\boldsymbol{V}}}_1{\boldsymbol{x}}(n), \\ CR_i(n)= {{\boldsymbol{V}}}_{2, i}{\boldsymbol{x}}(n), \ i=1, 2\\ WIP_i(n)={{\boldsymbol{V}}}_{3, i}{\boldsymbol{x}}(n), \ i=1, 2\\ BL_i(n)= {{\boldsymbol{V}}}_{4, i}{\boldsymbol{x}}(n), \ i=1, 2\\ ST_{0, i}(n)= {{\boldsymbol{V}}}_{5, i}{\boldsymbol{x}}(n), \ i=1, 2\\ CT= {{\boldsymbol{V}}}_6{\boldsymbol{x}}(n) \end{split} \end{equation} $
(8) 其中
$ {{\boldsymbol{V}}}_1=[0_{1, (N_2+1)(B+1)}\;\;\;[0_{1, B+1} [p_0J_{1, B}\;\;\;0]\\ \;\;\;C_{(B+1)× N_2(B+1)}] C_{(N_2+1)(B+1)× N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{2, 1}=[p_1J_{1, N_1(N_2+1)(B+1)}\ 0_{1, B+1}\ p_1p_0J_{1, N_2(B+1)}]\\ {{\boldsymbol{V}}}_{2, 2}=[p_1J_{1, N_2(B+1)}\;\;\; 0_{1, B+1}\;\;\;[p_2J_{1, N_2(B+1) }\\ \;\;\; p_2p_0p_1J_{1, B+1}]C_{(N_2+1)(B+1)× N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{3, 1}=[0_{1, B+1}\;\;\;1× J_{1, B+1} { ...} N_2× J_{1, B+1}] \\ \;\;\;C_{(N_2+1)(B+1)× Q}\\ {{\boldsymbol{V}}}_{3, 2}=[0_{1, (N_2+1)(B+1)}\;\;\;1× J_{1, (N_2+1)(B+1)} \\ \;\;\; N_1× J_{1, (N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{4, 1}=[0_{1, N_1(N_2+1)(B+1)}\;\; p_1J_{1, B+1}\\ \;\;\; p_1(1-p_0)J_{1, N_2(B+1)}]\\ {{\boldsymbol{V}}}_{4, 2}=[0_{1, N_2(B+1)} \;\;\; p_2J_{1, B+1}\;\;\; [0_{1, N_2(B+1)}\\ \;\;\; p_2(1-p_0)J_{1, B+1}] C_{(N_2+1)(B+1)× N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{5, 1}=[p_0J_{1, (N_2+1)(B+1)} \;\;\;0_{1, N_1(N_2+1)(B+1)}]\\ {{\boldsymbol{V}}}_{5, 2}=[p_0J_{1, B+1} \;\;\;0_{1, N_2(B+1)}] C_{(N_2+1)(B+1)× Q}\\ {{\boldsymbol{V}}}_6=[0_{1, (N_2+1)(B+1)+2B}\; p_0 \; 0 { ...} 0] $
其中, 01, k和J1, k分别代表 1× k的零矩阵和元素全为1的矩阵.与此同时, i× j维矩阵Ci× j=[Ii~...~ Ii]表示由j/i个单位矩阵Ii组成的矩阵.
3. 基于分解的性能评估
上面描述的精确分析可以扩展到更大的系统, 即每个零件生产线中有多台机器的系统.然而, 随着机器数量M, 缓冲区容量Ni's, 和生产规模B的增长, 马尔科夫链状态的数量呈指数型增长, 这将导致对大型的复杂装配系统的分析变得不可能.因此, 本节提出了一种基于分解的算法, 并将其应用于三台伯努利机器的小型装配系统.相应的研究结果将在未来的工作中扩展到更通用的大型系统中.
3.1 基于分解的概念
文献[8]提出一种分解方法, 将原系统分解为一对串行线:上线和下线, 研究了基于无限原材料供应的装配系统的稳态性能.此外, 我们以前的工作[20-21]解决了这类系统的暂态性能研究的问题.与此同时, 当考虑到小批量有限量生产运行下的串行线, 基于暂态的系统性能近似评估也在我们以前的工作[16-17]中进行了讨论.在这一节中, 我们将基于有限量生产运行下系统的暂态性能分析扩展到三台机器的装配系统性能分析研究中.对由多台机器组成的零件生产线或多条零件生产线以及多个装配操作的复杂装配系统, 将在今后的研究中进行分析.
具体而言, 引入三种辅助系统/生产线来分析此类系统.辅助装配系统(图 2所示)首先被引入, 这一辅助装配系统具有所有原始的机器和缓冲区, 但假设具有无限的原材料供应.
为了研究这一辅助装配系统的暂态性能, 分析方法可以参考我们以前的工作(参阅文献[20]).具体而言, 使用辅助两机线(图 3)来近似分析.
上生产线通过移除辅助装配系统中的机器m2和缓冲区b2来构造.考虑到这种修改, 组装机器m0由效率p0u(n)随时间变化的虚拟机器m0u (图 3 (a))来代替.同样, 下生产线可以通过移除机器m1和缓冲区b1, 同时使用效率p0l(n)随时间变化的虚拟机器m0l来构造.
为了获得p0u(n)和p0l(n), 注意, 上生产线中的虚拟机器m0u, 只有原来的装配操作中装配机器m0处于工作状态并且缓冲区b2非空的情况下, 才可能处于工作状态.同样, 下生产线中的虚拟机器m0l, 只有原来的装配操作中装配机器m0处于工作状态并且缓冲区b1非空的情况下, 才可能处于工作状态.因此, 让hi(n)表示在时间间隙n结束时缓冲区bi中的在制品零件数, p0u(n)和p0l(n)可以通过式(9)估算:
$ \begin{split} p_{0}^u(n) &≈ p_{0}\left (1-P[h_{2}(n-1)=0]\right )\\ p_{0}^l(n) &≈ p_{0}\left (1-P[h_{1}(n-1)=0]\right ) \end{split} $
(9) 用于分析这种辅助两机串行线的方法在文献[11]中被提出.具体来说, 用xh, iu(n)和xh, il(n), 分别来表示辅助两机生产线中b1和b2在时隙n结束时, 有i个工件的概率.令xhu(n)=[xh, 0u(n)\...\ xh, N1u(n)]T, xhl(n)=[xh, 0l(n)\...\ xh, N2l(n)]T.根据文献[11], xhu(n)的演化可表示为:
$ \begin{gathered} \mathit{\boldsymbol{x}}_h^u(n + 1) = A_2^u(n)\mathit{\boldsymbol{x}}_h^u(n),\;\;\sum\limits_{i = 0}^{{N_1}} {x_{h,\mathit{i}}^u(n) = 1} \hfill \\ x_{h,i}^u(0) = \left\{ \begin{gathered} 1,\;\;\;\;i = 0 \hfill \\ 0,\;\;\;\;其他 \hfill \\ \end{gathered} \right. \hfill \\ \end{gathered} $
(10) 其中, A2u(n)在式(11)中进行了定义.同时, xhl(n)和A2l(n)可以通过同样的方法被推导出来.
最后, 引入有限量生产运行下的辅助单机生产线(见图 4).
$ \begin{equation} A_2^u(n)=\left [ \begin{array}{cccccc} 1-p_1&p_0^u(1-p_1)&0&{ ...}&0\\ p_1&1-p_1-p_0^u+2p_1p_0^u&p_0^u(1-p_1) &{ ...}&0\\ 0&p_1(1-p_0^u)&\ddots& \ddots&\vdots\\ \vdots&\vdots&\ddots &1-p_1-p_0^u+2p_1p_0^u&p_0^u(1-p_1)\\ 0&0&{ ...}&p_1(1-p_0^u)&p_1p_0^u+1-p_0^u \end{array} \right ] \label{eqn_A2u_matrix} \end{equation} $
(11) 由于无论是m1还是m2, 能够生产一个工件的前提条件都是当且仅当它处于工作状态且不被阻塞, 同时无论m0u或者是m0l, 能够生产的条件是当且仅当其处于工作状态且不会饥饿, 我们定义随时间变化的辅助单机机器效率如下:
$ \begin{equation} \label{equ_auxi_1m} \begin{split} \widehat{p}_1(n)= &p_1[1-x_{h, N_1}^u(n-1)(1-p_0^u(n))]\\ \widehat{p}_2(n)= &p_2[1-x_{h, N_2}^l(n-1)(1-p_0^l(n))]\\ \widehat{p}_0^u(n)= &p_0^u(n)[1-x_{h, 0}^u(n-1)]\\ \widehat{p}_0^l(n)= &p_0^l(n)[1-x_{h, 0}^l(n-1)] \end{split} \end{equation} $
(12) 换句话说, 辅助单机生产线中的机器, ，当且仅当机器m1和m2处于工作状态, 并且辅助两机生产线上的第一台机器在同一时隙期间不会被阻塞的情况下, 才可以处理工件.同样, 辅助单机生产线中的机器$\widehat m_0^u $, $\widehat m_0^l $当且仅当机器m0u和m0l处于工作状态, 并且辅助两机生产线上的第二台机器在同一时隙期间不会被饥饿的情况下, 才可以处理工件.
为了分析辅助单机生产线, 注意, 它们每个都可由一个马尔科夫链来表征, 其中, 系统状态为已被这台机器加工过的工件数量(参阅文献[17]).让xf(i)(n)=[xf, 0(i)(n)\ xf, 1(i)(n)... xf, B(i)(n)]T, 其中xf, j(i)(n)表示$ {\widehat m_1}$, i=1, 2, 在时隙n结束时已经加工了j个工件的概率. xf(i)(n)的演化可以通过以下线性时变方程给出:
$ \begin{equation} \label{equ_evolu_b} \begin{split} {\boldsymbol{x}}_f^{(i)}(n+1)=A_{f}^{(i)}(n){\boldsymbol{x}}_f^{(i)}(n)% \sum\limits_{i=0}^{B}x_i(n)=1, \end{split} \end{equation} $
(13) 其中初始状态是
$ \begin{equation*} {\boldsymbol{x}}_f^{(i)}(0)=[1\ 0\ ...\ 0\ 0]^\textrm{T} \end{equation*} $
时变的转移矩阵Af(i)(n)可以通过下式计算:
$ \begin{equation} \label{equ_af_matrix} A_f^{(i)}(n) = \left [ \begin{array}{cccc} 1-\widehat{p}_i(n)&\\ \widehat{p}_i(n)&\ddots \\ &\ddots&1-\widehat{p}_i(n)\\ &&\widehat{p}_i(n)&1\\ \end{array} \right ] \end{equation} $
(14) 其中${\widehat p_i} $(n)通过式(12)来计算.
此外, 为了分析虚拟机器$\widehat m_0^u $和$\widehat m_0^l $, 使xf(0, u)(n)=[xf, 0(0, u)(n)\ xf, 1(0, u)(n)\...\ xf, B(0, u)(n)]T, 并且xf(0, l)(n)=[xf, 0(0, l)(n)\ xf, 1(0, l)(n)\...\ xf, B(0, l)(n)]T, 其中xf, j(0, u)(n)和xf, j(0, l)(n)分别表示机器$\widehat m_0^u $和$\widehat m_0^l $, 在时隙n结束时已经生产加工j个工件的概率.类似的分析同样适用, xf(0, u)(n)和xf(0, l)(n)的演化将由以下线性时变方程给出:
$ \begin{gathered} \mathit{\boldsymbol{x}}_f^{(0,u)}(n + 1) = A_f^{(0,u)}(n)\mathit{\boldsymbol{x}}_f^{(0,u)}(n) \hfill \\ \mathit{\boldsymbol{x}}_f^{(0,l)}(n + 1) = A_f^{(0,l)}(n)\mathit{\boldsymbol{x}}_f^{(0,l)}(n) \hfill \\ \end{gathered} $
(15) 其中初始状态是
$ \mathit{\boldsymbol{x}}_f^{(0,u)}(0) = {[1\;0\;...0]^{\text{T}}},{\text{ }}\mathit{\boldsymbol{x}}_f^{(0,l)}(0) = {[1\;0...\;0]^{\text{T}}} $
时变转移状态矩阵Af(0, u)(n)可以通过式(16)来计算:
$ A_f^{(0,u)}(n) = \left[ {\begin{array}{*{20}{c}} {1 - \hat p_0^u(n)}&{}&{}&{} \\ {\hat p_0^u(n)}& \ddots &{}&{} \\ {}& \ddots &{1 - \hat p_0^u(n)}&{} \\ {}&{}&{\hat p_0^u(n)}&1 \end{array}} \right] $
(16) 其中通过式(12)来计算. Af(0, l)(n)可以通过相同的方法进行推导, 并把所有(16)中的${\hat p_0^u(n)} $用通过(12)计算得来的来替代.
综上, 为了分析图 1中的有限量运行下的三机装配线的暂态性能, 我们将原始系统的动态特性进行分解和简化, 通过分析一系列分解后相互影响的动态特性更加简单的系统, 来近似评估原始系统的实时性能.具体来说, 对于原始系统(图 1), 其动态特性包括两方面:缓冲区中在制品数量的演化和在每台机器上已完成加工处理的工件数量.首先引入使用原始系统机器和缓冲区参数的辅助装配系统, 同时假设无限原材料(图 2).在这个系统中, 我们只关注系统中的缓冲区在制品数量的演化.为了分析图 2所示系统, 进一步引入辅助双机串行线(图 3), 其中, 为了考虑移除相应机器和缓冲区所带来的影响, 上生产线和下生产线中装配机器所在位置分别使用相应的参数时变的虚拟机器来替代.因此, 通过分析辅助双机串行线(图 3), 事实上可以得到辅助装配系统(图 2)中系统状态(缓冲区在制品数量)的实时分布情况.最后, 引入辅助单机生产线(图 4)来分析在相应机器上完成加工处理工件数量的动态特性.而每一台单机生产线的时变参数都是在考虑了辅助双机串行线中的系统状态的影响下, 近似推导得出的.
3.2 性能评估近似公式
基于上述构造的辅助生产线或生产系统, 我们提出了近似原系统性能指标的计算公式.首先, 有限量生产运行下一个批次的生产完成时间通过使用辅助虚拟单机线$\widehat m_0^u $或$\widehat m_0^l $中的任意一个来近似估算.不失一般性, 使用$\widehat m_0^u $, 同时令${{\hat p}_{ct}}(n)$表示原始系统中机器m0在时隙n结束时处理加工完整个批次所有工件的近似概率.那么,
$ {\hat P_{ct}}(n) = P[\left\{ {\mathit{\widehat m}_0^u在时隙\;\mathit{n}\;处于工作状态} \right\} \cap \{ 已加工处理完\mathit{B} - 1个工件\} ] = \hat p_0^u(n)x_{f,B - 1}^{(0,u)}(n - 1) $
(17) 其次, 原系统的生产率和各个零件生产线的消耗率可由辅助单机生产线的生产率来近似:
$ \begin{equation} \label{equ_perfor_appr} \begin{split} \widehat{PR}(n)= &[\widehat{p}_0^u(n)J_{1, B} 0]{\boldsymbol{x}}_{f}^{(0, u)}(n-1)\\ \widehat{CR}_1(n)= &[\widehat{p}_1(n)J_{1, B} 0]{\boldsymbol{x}}_{f}^{(1)}(n-1)\\ \widehat{CR}_2(n)= &[\widehat{p}_2(n)J_{1, B} 0]{\boldsymbol{x}}_{f}^{(2)}(n-1) \end{split} \end{equation} $
(18) 为了估算WIPi(n), BLi(n)和ST0, i(n), 两种辅助生产线需要结合起来.具体来说, 这些性能评估使用相应的辅助两机生产线来近似估算, 同时考虑相对应的机器在辅助单机生产线上还没有完成加工整个批次所有产品的概率:
$ \begin{align} \label{equ_appro_2M_perfor} \widehat{WIP}_1(n)= &[0\ 1\ { ...}\ N_1] {\boldsymbol{x}}_{h}^{u}(n)(1-x_{f, B}^{(0, u)}(n-1))\nonumber\\ \widehat{WIP}_2(n)= &[0\ 1\ { ...}\ N_2] {\boldsymbol{x}}_{h}^{l}(n)(1-x_{f, B}^{(0, l)}(n-1))\nonumber\\ \widehat{ST}_{0, 1}(n)= &[p_0 0_{1, N_1}] {\boldsymbol{x}}_{h}^{u}(n-1)(1-x_{f, B}^{(0, u)}(n-1))\nonumber\\ \widehat{ST}_{0, 2}(n)= &[p_0 0_{1, N_2}] {\boldsymbol{x}}_{h}^{l}(n-1)(1-x_{f, B}^{(0, l)}(n-1))\nonumber\\ \widehat{BL}_1(n)= &[{0}_{1, N_1} p_1(1-p_2)] {\boldsymbol{x}}_{h}^u(n-1)×\nonumber\\ &(1-x_{f, B}^{(1)}(n-1))\nonumber\\ \widehat{BL}_2(n)= &[{0}_{1, N_2} p_2(1-p_2)] {\boldsymbol{x}}_{h}^l(n-1)×\nonumber\\ & (1-x_{f, B}^{(2)}(n-1)) \end{align} $
(19) 最后, 一个批次的完成时间期望可以被近似为:
$ \begin{equation} \label{equ_CT} \begin{split} \widehat{CT}& = \sum\limits_{n=1}^T n\widehat{P}_{ct}(n) \\ \end{split} \end{equation} $
(20) 其中, T满足以下条件:
$ \begin{equation*} \sum\limits_{n=1}^T\widehat{P}_{ct}(n)\geq0.999 \end{equation*} $
综上, 基于分解的计算方法流程图如图 5所示.
对于所提出的性能近似的方法的精确程度, 我们通过对10 000条参数随机而均匀地从式(21)所示的集合或者区间中选取的三机伯努利装配系统, 进行基于精确解析和基于分解的近似性能评估分析, 来验证所提近似方法的精确性.
$ \begin{align} \label{equ_para} B&∈\left\{{20, 21, { ...}, 100}\right\}, \ p_i∈(0.7, 1), \ i=0, 1, 2\nonumber\\ N_i&∈\left\{{2, 3, 4, 5}\right\}, \ i=1, 2 \end{align} $
(21) 对于每一条参数随机产生的装配系统, 我们分别通过精确分析式(8)和基于分解的近似分析式(17) ~ (20)来计算其各项性能指标.结果显示, 对于这10 000条装配系统的各项性能指标的平均相对误差, 它们的中值都在1 %以下.
作为一个例子, 考虑图 6所显示的装配系统.每个机器(圆形表示)上的数字表示其效率, 而每个缓冲区(矩形)中的数字表示其容量.这些参数是随机生成的.在本例中, 所有缓冲区都被假设在起始状态时是空的.首先需要注意的是, 使用精确分析方法, 根据式(\ref{equ_Q), 系统的状态数量为1 620;而经过分解后, 我们只需要分析六个相对较小但相互影响的系统:一条双机上生产线, 一条双机下生产线, 两条上单机生产线, 两条下单机生产线.六个较小的马尔科夫链的总状态数为333.在保证精确度的基础上, 相较精确分析, 基于分解的近似分析使系统状态数量有了极大的降低.与此同时, 从计算时间的角度来看, 使用MATLAB软件在同一台电脑配置为因特尔酷睿i7-6700的CPU和16 GB的RAM上, 基于精确分析和基于分解的近似分析, 所需要的运算时间分别为13.35秒和0.11秒, 近似算法在计算高效性上也显示出了极大的优势.系统的暂态性能如图 7所示, 从图中可以看出, 整个生产运行过程分为三个阶段.在第一阶段, 产品开始进入空系统.在此期间, 生产率和在制品数量都从0上升到稳态值.同时, 由于更多的工件进入系统, 零件生产线1 (或者零件生产线2)的消耗率从p1 (或者p2)开始逐渐减小.在第二阶段中, 系统运行接近稳定状态, 所有暂态性能指标都或多或少地处于平稳状态.最后, 当生产运行接近完成时, 所有性能指标开始下降, 最终达到0.基于该分解算法的高精度也可以从图中清晰地看到.需要注意的是, 虽然精确的分析在这种小型装配系统中仍然可以被推导出来, 然而随着系统参数(M, Ni's和B)的增长, 精确分析也变得越来越不可能实现.基于分解思想的性能近似评估方法的计算高效性将在这样的大型装配系统中体现出来.深入的相关研究将在未来的工作中被进一步讨论.
4. 结束语
本文研究了具有三台伯努利机器, 有限缓冲区容量和有限量生产运行下的装配系统的暂态性能评估问题.具体地, 首先推导了系统性能评价的精确数学模型和解析公式.然后, 提出了一种基于分解的性能评估算法, 通过将系统转换成一系列相互作用的辅助串行线来近似评估原始系统的暂态性能.论文推导了基于分解的三机装配系统实时性能估计公式, 并通过数值实验验证了算法的准确性和计算高效性.
图 7 分解近似与精确分析的三机伯努利装配系统暂态实时性能评估对比Fig. 7 Comparison of decomposition-based approxiamtion and exact analysis for transient performance evaluation in assembly system with three Bernoulli machines今后在这方面的工作包括将算法扩展到每个零件生产线具有多台机器和多个缓冲区的系统, 或多条零件生产线和多装配操作的复杂装配系统.此外, 还会将研究结果推广到具有其他机器可靠性模型(几何型、指数型、威布尔型等)的装配系统中.
-
图 5 不同方法在CIFAR-100任务序列上的分类精度曲线
Fig. 5 Classification accuracy curves of different methods on CIFAR-100 task sequence
表 1 不同类增量学习方法的特性
Table 1 Characteristics of different Class-IL methods
方法 无需多次访问 无需逐层优化 无需数据存储 无需网络扩展 重放 × × × √ 扩展 × × √ × 正则化 × × √ √ MRNet √ √ √ √ 
下载: 导出CSV
表 2 连续学习FashionMNIST-10/5任务序列对比实验
Table 2 Comparative experiments on continuously learning FashionMNIST-10/5 task sequence
方法 指标 ACC (%) BWT FWT Time (s) No. Para. (MB) 非CL方法 BLS 19.93±0.22 — — 8.17±0.24 0.25 L2 26.55±6.27 — — 59.12±2.73 1.28 JT ~ 96.61 — — — — CL方法 EWC 34.96±7.62 −0.7248±0.0953 −0.0544±0.0300 69.21±4.10 11.48 MAS 38.54±3.49 −0.4781±0.0561 −0.2576±0.0548 110.26±1.74 3.83 SI 56.19±3.21 −0.3803±0.0631 −0.1329±0.0504 67.67±2.25 5.11 OWM 79.16±1.11 −0.1844±0.0197 −0.0635±0.0078 40.38±7.09 3.18 GEM 81.98±2.80 −0.0586±0.0654 −0.1093±0.0510 45.73±1.17 1.28 PCL 82.13±0.61 −0.1385±0.0413 −0.0647±0.0172 348.75±9.83 1.28 IL2M 84.61±2.95 −0.0712±0.0273 −0.0258±0.0248 44.18±1.34 1.28 MRNet 93.07±0.74 −0.0458±0.0069 −0.0261±0.0035 11.38±0.29 0.83
下载: 导出CSV
表 3 连续学习ImageNet-200任务序列对比实验
Table 3 Comparative experiments on continuously learning ImageNet-200 task sequence
方法 任务序列 ImageNet-200/10 ImageNet-200/50 IL2M 54.13±11.30 47.84±18.85 OWM 55.93±14.29 49.67±20.98 PCL 56.41±9.75 52.46±8.95 MRNet 56.50±9.13 55.93±11.51
下载: 导出CSV
表 4 权衡系数灵敏度分析
Table 4 Sensitivity analysis on the trade-off coefficients
保护程度 评价指标 ${A}_1$ (%) ${A}_2$ (%) ${A}_3$ (%) ${A}_4$ (%) ${A}_5$ (%) BWT FWT 1 84.45 42.88 28.20 20.51 17.45 −0.8420 0.0001 $10^2$ 84.45 75.48 68.57 61.54 55.65 −0.3629 −0.0015 $10^4$ 84.45 82.33 80.90 78.46 77.86 −0.0615 −0.0253 $10^6$ 84.45 71.48 61.37 49.81 41.11 −0.0199 −0.5263 $10^8$ 84.45 44.35 31.05 23.29 18.62 0.0003 −0.8270
下载: 导出CSV
表 5 MRNet结构分析
Table 5 Analysis on MRNet architecture
有无直连 评价指标 ${A}_1$ (%) ${A}_2$ (%) ${A}_3$ (%) ${A}_4$ (%) ${A}_5$ (%) BWT FWT × 98.20 92.58 93.98 93.34 92.61 −0.0199 −0.0560 √ 99.87 34.14 33.83 32.01 28.40 −0.1304 −0.1883
下载: 导出CSV
-
[1] McCloskey M, Cohen N J. Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation. Elsevier, 1989. [2] French R M. Catastrophic forgetting in connectionist networks. Trends in Cognitive Sciences, 1999, 3(4): 128-135 doi: 10.1016/S1364-6613(99)01294-2 [3] McClelland J L, McNaughton B L, O'Reilly R C. Why there are complementary learning systems in the hippocampus and neocortex: insights from the successes and failures of connectionist models of learning and memory. Psychological Review, 1995, 102(3): 419-457 doi: 10.1037/0033-295X.102.3.419 [4] Aljundi R, Babiloni F, Elhoseiny M, Rohrbach M, Tuytelaars T. Memory aware synapses: Learning what (not) to forget. In: Proceedings of the European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018. 139−154 [5] Li Z Z, Hoiem D. Learning without forgetting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 40(12): 2935-2947 [6] Parisi G I, Kemker R, Part J L, Kanan C, Wermter S. Continual lifelong learning with neural networks: A review. Neural Networks, 2019, 113: 54-71 doi: 10.1016/j.neunet.2019.01.012 [7] Li Z Z, Hoiem D. A continual learning survey: Defying forgetting in classification tasks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(7): 3366-3385 [8] Perkonigg M, Hofmanninger J, Herold C J, Brink J A, Pianykh O, Prosch H, et al. Dynamic memory to alleviate catastrophic forgetting in continual learning with medical imaging. Nature Communications, 2021, 12(1): 1-12 doi: 10.1038/s41467-020-20314-w [9] Mallya A, Lazebnik S. Packnet: Adding multiple tasks to a single network by iterative pruning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, USA: IEEE, 2018. 7765−7773 [10] Rosenfeld A, Tsotsos J K. Incremental learning through deep adaptation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 42(3): 651-663 [11] Hu W P, Qin Q, Wang M Y, Ma J W, Liu B. Continual learning by using information of each class holistically. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 2021, 35(9): 7797−7805 [12] Yang B Y, Lin M B, Zhang Y X, Liu B H, Liang X D, Ji R R, et al. Dynamic support network for few-shot class incremental learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(3): 2945−2951 [13] Shin H, Lee J K, Kim J, Kim J. Continual learning with deep generative replay. In: Proceedings of the 31st Conference on Neural Information Processing Systems (NeurIPS). Long Beach, USA: Curran Associates, Inc., 2017. 2990−2999 [14] Ven van de G M, Siegelmann H T, Tolias A S. Brain-inspired replay for continual learning with artificial neural networks. Nature Communications, 2020, 11(1): 1-14 doi: 10.1038/s41467-019-13993-7 [15] Belouadah E, Popescu A. IL2M: Class incremental learning with dual memory. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, South Korea: IEEE, 2019. 583−592 [16] Lopez-Paz D, Ranzato M. Gradient episodic memory for continual learning. In: Proceedings of the 31st Conference on Neural Information Processing Systems (NeurIPS). Long Beach, USA: Curran Associates, Inc., 2017. 6470−6479 [17] Chaudhry A, Marc＇Aurelio R, Rohrbach M, Elhoseiny M. Efficient lifelong learning with A-GEM. In: Proceedings of the International Conference on Learning Representations (ICLR). New Orleans, USA: 2019. [18] Tang S X, Chen D P, Zhu J G, Yu S J, Ouyang W L. Layerwise optimization by gradient decomposition for continual learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, USA: IEEE, 2021. 9634−9643 [19] Zhang X Y, Zhao T F, Chen J S, Shen Y, Li X M. EPicker is an exemplar-based continual learning approach for knowledge accumulation in cryoEM particle picking. Nature Communications, 2022, 13(1): 1-10. doi: 10.1038/s41467-021-27699-2 [20] Schwarz J, Czarnecki W, Luketina J, Grabska-Barwinska A, Teh Y W, Pascanu R, et al. Progress & compress: A scalable framework for continual learning. In: Proceedings of the International Conference on Machine Learning (ICML). Stockholm, Sweden: JMLR, 2018. 4528−4537 [21] Zhang J T, Zhang J, Ghosh S, Li D W, Tasci S, Heck L, et al. Class-incremental learning via deep model consolidation. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Snowmass, USA: IEEE, 2020. 1131−1140 [22] Liu X B, Wang W Q. GopGAN: Gradients orthogonal projection generative adversarial network with continual learning. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(1): 215−227 [23] Kirkpatrick J, Pascanu R, Rabinowitz N, Veness J, Desjardins G, Rusu A A, et al. Overcoming catastrophic forgetting in neural network. Proceedings of the National Academy of Sciences (PNAS), 2017, 114(13): 3521-3526 doi: 10.1073/pnas.1611835114 [24] Zenke F, Poole B, Ganguli S. Continual learning through synaptic intelligence. In: Proceedings of the International Conference on Machine Learning (ICML). Sydney, Australia: JMLR, 2017. 3987−3995 [25] Zeng G X, Chen Y, Cui B, Yu S. Continual learning of context-dependent processing in neural networks. Nature Machine Intelligence, 2019, 1(8): 364-372 doi: 10.1038/s42256-019-0080-x [26] Gao J Q, Li J Q, Shan H M, Qu Y Y, Wang J Z, Zhang J P. Forget less, count better: A domain-incremental self-distillation learning benchmark for lifelong crowd counting. arXiv preprint arXiv: 2205.03307, 2022. [27] 蒙西, 乔俊飞, 韩红桂. 基于类脑模块化神经网络的污水处理过程关键出水参数软测量. 自动化学报, 2019, 45(5): 906-919 doi: 10.16383/j.aas.2018.c170497Meng X, Qiao J F, Han H G. Soft measurement of key effluent parameters in wastewater treatment process using brain-like modular neural networks. Acta Automatica Sinica, 2019, 45(5): 906-919 doi: 10.16383/j.aas.2018.c170497 [28] Nadji-Tehrani M, Eslami A. A brain-inspired framework for evolutionary artificial general intelligence. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(12): 5257-5271 doi: 10.1109/TNNLS.2020.2965567 [29] Hu B, Guan Z H, Chen G R, Chen C L P. Neuroscience and network dynamics toward brain-inspired intelligence. IEEE Transactions on Cybernetics, 2022, 52(10): 10214−10227 [30] LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11): 2278-2324 doi: 10.1109/5.726791 [31] Pao Y H, Takefji Y. Functional-link net computing: Theory, system architecture, and functionalities. Computer, 1992, 25(5): 76-79 doi: 10.1109/2.144401 [32] Schmidt W F, Kraaijveld M A, Duin R P W. Feedforward neural networks with random weights. In: Proceedings of the 11th IAPR International Conference on Pattern Recognition. IEEE Computer Society, 1992. 1−4 [33] Igelnik B, Pao Y H. Stochastic choice of basis functions in adaptive function approximation and the functional-link net. IEEE Transactions on Neural Networks, 1995, 6(6): 1320-1329 doi: 10.1109/72.471375 [34] Cao W P, Wang X Z, Ming Z, Gao J Z. A review on neural networks with random weights. Neurocomputing, 2011, 275: 278-287 [35] Zhang L, Suganthan P N. Visual tracking with convolutional random vector functional link network. IEEE Transactions on Cybernetics, 2016, 47(10): 3243-3253 [36] Dai W, Li D P, Zhou P, Chai T Y. Stochastic configuration networks with block increments for data modeling in process industries. Information Sciences, 2019, 484: 367-386 doi: 10.1016/j.ins.2019.01.062 [37] 邹伟东, 夏元清. 基于压缩因子的宽度学习系统的虚拟机性能预测. 自动化学报, 2022, 48(3): 724-734 doi: 10.16383/j.aas.c190307Zou W D, Xia Y Q. Virtual machine performance prediction using broad learning system based on compression factor. Acta Automatica Sinica, 2022, 48(3): 724-734 doi: 10.16383/j.aas.c190307 [38] Huang G B, Zhu QY, Siew C K. Extreme learning machine: theory and applications. Neurocomputing, 2006, 70(1-3): 489-501 doi: 10.1016/j.neucom.2005.12.126 [39] Wang D H, Li M. Stochastic configuration networks: Fundamentals and algorithms. IEEE Transactions on Cybernetics, 2017, 47(10): 3466-3479 doi: 10.1109/TCYB.2017.2734043 [40] Chen C L P, Liu Z L. Broad learning system: An effective and efficient incremental learning system without the need for deep architecture. IEEE Transactions on Neural Networks and Learning Systems, 2017, 29(1): 10-24 [41] 代伟, 李德鹏, 杨春雨, 马小平. 一种随机配置网络的模型与数据混合并行学习方法. 自动化学报, 2021, 47(10): 2427-2437 doi: 10.16383/j.aas.c190411Dai W, Li D P, Yang C Y, Ma X P. A model and data hybrid parallel learning method for stochastic configuration networks. Acta Automatica Sinica, 2021, 47(10): 2427-2437 doi: 10.16383/j.aas.c190411 [42] Gong X R, Zhang T, Chen C L P, Liu Z L. Research review for broad learning system: Algorithms, theory, and applications. IEEE Transactions on Cybernetics, 2022, 52(9): 8922−8950 [43] Abraham W C, Bear M F. Metaplasticity: the plasticity of synaptic plasticity. Trends in Neurosciences, 1996, 19(4): 126-130 doi: 10.1016/S0166-2236(96)80018-X [44] 王韶莉, 陆巍. 再可塑性在学习记忆中作用的研究进展. 生理学报, 2016, 68(4): 475-482 doi: 10.13294/j.aps.2016.0032Wang S L, Lu W. Progress on metaplasticity and its role in learning and memory. Acta Physiologica Sinica, 2016, 68(4): 475-482 doi: 10.13294/j.aps.2016.0032 [45] Jedlicka P, Tomko M, Robins A, Abraham W C. Contributions by metaplasticity to solving the catastrophic forgetting problem. Trends in Neurosciences, 2022, 45(9): 656-666 doi: 10.1016/j.tins.2022.06.002 [46] Sussmann H J. Uniqueness of the weights for minimal feedforward nets with a given input-output map. Neural Networks, 1992, 5(4): 589-593 doi: 10.1016/S0893-6080(05)80037-1 [47] Lancaster P, Tismenetsky M. The Theory of Matrices: With Applications. Elsevier, 1985. [48] Kay S M. Fundamentals of statistical signal processing: Estimation theory. Traces and Emergence of Nonlinear Programming. Prentice-Hall, Inc, 1993. [49] Kuhn H W, Tucker A W. Nonlinear programming. Traces and Emergence of Nonlinear Programming. Springer, 2014. [50] Pan P, Swaroop S, Immer A, Eschenhagen R, Turner R, Khan M, et al. Continual deep learning by functional regularisation of memorable past. In: Proceedings of the 34th Conference on Neural Information Processing Systems (NeurIPS). Vancouver, Canada: 2020. 4453−4464 [51] Verma V K, Liang K J, Mehta N, Rai P, Carin L. Efficient feature transformations for discriminative and generative continual learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, USA: IEEE, 2021. 13865−13875 -
下载:
计量
- 文章访问数: 1962
- HTML全文浏览量: 535
- PDF下载量: 394
- 被引次数: 0
