-
摘要: 传统机器人经过长时间的研究和发展, 已经在生产和生活的多个领域得到了广泛的应用, 但在复杂多变的环境中依然缺乏与真实生物类似的灵活性、稳定性和适应能力. 类脑智能作为一种新型的机器智能, 使用计算建模的方法模拟生物神经系统的各类特性, 进而实现对各类信息的推理和决策, 近年来受到了学术界的广泛关注. 鉴于此, 综述了国内外面向机器人系统的类脑智能研究现状, 并对类脑智能方法在机器人感知、决策和控制三个研究方向的成果进行了整理、归纳和分析, 最后从软硬件层面分别指出了机器人类脑智能目前存在的主要问题和未来的发展方向.Abstract: After a long time of research and development, traditional robots have been widely used in many fields of production and life, but they still lack the flexibility, stability and adaptability similar to real organisms in complex and changing environments. As a new type of machine intelligence, brain-inspired intelligence uses computational modeling methods to simulate various characteristics of biological nervous systems and realize the reasoning and decision-making based on all kinds of information. In recent years, it has received extensive attention from the academic community. The main applications of brain-inspired intelligence methods in robot perception, decision-making and control problems are introduced. The related research results are analyzed and summarized. Finally, the main problems of software and hardware are pointed out and future development directions of robotic brain-inspired intelligence are proposed.
-
Key words:
- Robot /
- brain-inspired robot /
- brain-inspired intelligence /
- spiking neural network (SNN)
-
在当今社会, 签名笔迹鉴别作为重要的法证手段之一, 广泛应用于法律、保险、文化等多个领域. 由于签名笔迹具有独特性、稳定性及可靠性等特点, 它成为鉴别文件真伪、确认当事人身份等方面的重要依据. 然而, 随着科技的不断发展, 签名笔迹检验也面临着许多挑战. 签名笔迹的产生可以追溯到古代, 当时人们使用各种符号、图形来签名. 随着纸张和墨水的发展, 人们开始使用手写签名, 早在公元439年, 罗马帝国就用签名来验证文件的真伪. 然而, 直到20世纪初, 签名笔迹才开始引起人们的研究. 这一时期, 心理学和统计学等学科开始应用于签名笔迹的研究, 为签名笔迹检验提供了理论基础. 签名笔迹在多个领域中具有重要作用. 在法律领域, 签名笔迹是确认文件真伪的重要依据, 也是法庭上证据的一部分. 在保险领域, 签名笔迹用于鉴别保单真伪, 预防保险欺诈. 在文化领域, 签名笔迹则体现了艺术家的风格和个性, 对于笔迹学的深入研究有着重要价值. 随着科技的进步, 签名笔迹检验面临着许多挑战. 签名笔迹易受书写习惯、情绪、环境等因素影响, 使得笔迹检验的准确性变得复杂. 此外, 签名笔迹造假技术的发展也给检验工作带来了一定的难度. 考虑到如今的文件的真实性大部分还是靠手写签名进行验证, 而利用人力进行判断的成本过高, 因此急需开发一个准确且高效的签名验证技术.
签名验证技术根据输入的方式不同分为联机签名验证技术和脱机签名验证技术两种. 对于联机签名验证, 研究人员可以获取到签名过程的动态信息, 如笔划轨迹、倾斜度和笔划压力等[1–4]. 而在脱机签名验证技术当中, 研究人员只能获取到通过扫描仪或相机拍摄到的签名图像, 是一种静态的信息[5–7]. 因为静态的信息相比于动态的信息, 获取的信息量更少, 因此脱机签名验证比联机签名验证更具有挑战性. 在如今纸质文档广泛使用的环境下, 脱机签名验证有着更普及的使用空间. 签名验证技术也根据与写入者是否相关, 分为依赖于写者和独立于写者. 在依赖于写者方法当中, 研究人员的测试样本依赖于训练样本, 也就是说测试集的每个签名主体都有一定量的签名样本在训练集当中[8–10]. 在实际应用当中, 为每个用户收集并训练大量的样本是不切实际的. 而独立于写者方法当中, 训练集的用户和测试集的用户是相互独立的[11–12], 因此, 在实际应用中更具有价值.
签名伪造方法根据伪造的熟练程度, 分为随机伪造、简单伪造和熟练伪造三种类型[13]. 随机伪造的签名没有任何关于被模仿者的信息, 因此与真实样本差异性大. 简单伪造是不遵循被模仿者的书写风格而进行的伪造样本, 与真实样本有一定的相似性. 熟练伪造是专业人员通过分析被模仿者的签名特征, 进行伪造的签名, 与真实样本高度相似. 对于熟练伪造样本, 非专业人员一般分辨不出来, 因此如果有犯罪集团通过获取被模仿者的相关信息, 精心伪造签名进行犯罪行为, 这将对原签名的持有者本人造成不良影响. 此外, 对于书写者本人, 在不同的环境下书写的签名也有很大的区别, 因此, 如何找到真实样本与伪造样本的差异点, 这将是一项艰巨的任务. 为了方便研究人员对脱机签名验证方法的研究, 学术界目前公开了许多脱机签名验证数据集, 例如英语的CEDAR数据集[14]、GPDS数据集[15], 包含孟加拉语和印地语的BHSig260数据集[16], 中文的MSDS数据集[17]、ChiSig数据集[18].
在深度学习兴盛之前, 研究人员通常采用特征匹配等传统的图像处理方法进行签名验证. 例如, 文献[19]以及文献[20]开发了第一个离线和在线签名验证系统; 文献[21]利用字符的笔划方向性先进行方向分解, 然后对每个方向的子图像进行频带分解, 用分解后的采样信号值作为笔迹特征, 并采用特征匹配方法进行书写人识别; 文献[22]通过多通道二维Gabor滤波等方法进行身份判别. 如今, 研究者们不断探索新的签名笔迹检验方法, 并且随着深度学习及其相关技术的崛起, 文献[23]采用孪生网络分别提取输入的两张样本图像的特征, 然后利用度量学习的方法判断两张签名之间的相似距离, 并选择一个阈值来判断是否是同一个人书写. 该度量学习的方法具有很大的局限性, 一方面是, 度量学习的度量方法大多使用欧氏距离进行计算, 而欧氏距离仅考虑两个点之间的绝对距离, 容易忽视点的方向、缩放的信息, 不会考虑数据之间的相关性, 因此忽略了特征向量内部各值之间的关系; 另一方面是, 其度量阈值是通过遍历过程求解, 虽然能获取到当前数据集的最优解, 但是泛化性不高, 同一个阈值对不同的数据集的效果将完全不一样. 因此, 文献[24]针对该缺陷提出了DeepHSV, 利用双通道判别的方法进行脱机笔迹鉴别, 通过图像融合, 将需要对比的两张图片融合成一张图片用于模型的输入, 可以有效解决度量学习的局限性. 然而它们是直接在模型输入前将图片进行通道融合, 此时两张对比图片的特征还不是很明显, 导致不同图片之间的精细特征被融合覆盖掉, 因此无法区分精心伪造的签名. 文献[25]提出了逆鉴别八重注意力机制, 将逆鉴别图片作为注意力附加在原始图片上, 使得模型更加关注笔划特征, 并且在多个数据集上取得了不错的结果. 该方法的局限性在于过多关注原始图片的特征, 且只把逆鉴别的特征作为辅助判断的信息, 本文认为笔迹的特征不仅仅可以从原图中获取, 反灰度图片同样蕴含大量的图片特征.
脱机笔迹签名验证技术虽然可以看成一个二分类任务, 但是和传统的图片分类有很大的不同. 它们的区别在于: 1) 笔迹验证系统输入的两张图片的相似度远远高于其他领域的, 两张图片的差异细节过于稀疏; 2) 图片为灰度单通道图片; 3) 笔迹验证系统判别的本质是风格对比, 设计不当容易造成过拟合. 针对这些问题, 不同的学者给出了不同解决方案, 例如IDN[25], TransOSV[26], LGR[27]等. 以上方法采用CNN或自注意力[28-29]的技术, 通常来说, 这两种技术被归于不同的类型. 但是文献[30]提出的ACMix证明两种方法有很强的潜在关系. 本文将其作为模型的判别模块, 将使得模型更加地专注于融合后图片的稀疏信息特征, 以达到更高的判别精度.
本文针对双通道判别方法的局限性, 设计了一种多重通道特征融合网络(Multi-channel feature fusion network, MCFFN)框架, 采用双重逆鉴别注意力进行原始图片和反灰度图片的特征提取与增强, 将提取后的多维向量进行通道整合, 采用ACMix进行图像相似度判断. 该网络模型在CEDAR、BHSig-B、BHSig-H、ChiSig四个数据集上均取得了不错的效果, 证明了该方法的有效性及广泛性.
本文主要贡献如下: 1)提出了MCFFN框架, 通过融合多重孪生网络提取输入图片的多维详细特征来增强真实与伪造图片的差异性; 2)改进了逆鉴别注意力模块, 通过双重逆鉴别注意力机制, 强化了签名特征提取的能力; 3)在CEADR、BHSig-B、BHSig-H和ChiSig数据集上分别进行实验, 取得了很好的效果, 优于基线论文及大多数现有方法.
1. 相关工作
脱机签名验证可以算为一种二分类的问题. 近年来, 基于深度学习的方法优于传统特征设计的方法, 这得益于深度神经网络强大的特征提取能力及其相关技术的发展. 目前学术上对于笔迹识别的相关工作主要分为深度度量学习和双通道判别网络两个方向.
1.1 孪生网络
基于深度度量学习的方法, 其主要做法是两个样本先通过相同的网络生成样本向量, 之后计算两个样本之间的距离来判断是否为同一类样本. 该网络便是孪生网络. 孪生网络又称为连体网络, 是一种特殊的神经网络结构, 该网络可以输入两张图片进行特征提取, 两个模型之间通过共享权重来实现. 1993年, 孪生网络首次被提出用于处理美国支票上的签名识别[31].
孪生网络因其结构简单、易于编码实现等特点, 被广泛应用于图像相似度度量领域. 两个样本经过相同的特征提取器之后, 提取到的特征具有很强的图片代表性. 一般情况下, 该网络常被用于处理两个输入差异不是很大的验证问题等. 该网络输入的是一对样本, 通过训练网络使得标签相同的样本在特征空间当中越靠近, 标签不同的样本在特征空间中越远离. 因此, 该网络促进了脱机签名验证领域的发展. 例如: 文献[23]提出的SigNet, 文献[32]提出的MSDN, 文献[26]提出的TransOSV等. 孪生网络的基本的网络框架如图1所示: 其中, $ A $和$ B $为输入的两个样本, 网络1和网络2为特征提取网络, 两个网络之间参数共享. 输入图片后, 经过特征提取网络生成特征向量$ a $和$ b $, 通过度量函数计算$ a $和$ b $两个样本的度量距离, 最后通过对比损失函数或其他损失函数来优化网络参数.
通过孪生网络生成两个特征向量, 按照同一个类别的图片之间越靠近, 不同的图片之间越远离的原则可以在最小距离与最大距离之间采用遍历的方法寻找最优阈值. 但是遍历寻找最优阈值的方法有一个很大的局限性, 即当前的阈值是遍历当前的训练测试集得到的, 其算法可扩展性很低, 且采用欧氏距离判断不同图片的相似性, 而欧氏距离仅考虑两个点之间的绝对距离, 容易忽视点的方向、缩放的信息, 不会考虑数据之间的相关性, 忽略了特征向量之间的关系. 因此, 需要一个新的方法来解决这个问题.
1.2 双通道判别网络
另一种主流的脱机签名验证方法是双通道判别方法, 将两张图片进行特征融合后, 模型直接输出0/1来判断是否为同一类. 该方法与孪生网络最大的区别在于孪生网络是两个样本通过相同的网络结构生成向量, 之后再进行判断, 而双通道判别网络则是在输入网络之前就把两张图片融合成一张双通道图片, 之后输入单体网络, 获得是否为同一类的结果. 双通道判别网络当中, 网络不会明确提取输入的特征, 而是在第一步就测量它们的距离. 这样的设计大大减少了搜索的参数空间, 使得双通道网络特别适合签名验证. 基于双通道的图像相似度计算方法由文献[33]提出, 自提出以来, 在脱机签名验证领域也取得了不少的成果. 例如, 文献[24]采用双通道融合, 双logit的输出作为监督条件进行训练的方法进行脱机签名验证. 文献[26]提出了一种基于双通道和双重Transformer的离线签名框架等. 双通道判别网络的基本网络框图如图2所示: 其中, $ A $和$ B $为输入的两个样本, 网络模型为特征提取网络. 输入两张图片后, 进入单体网络前先通过图像预处理将两张图片进行通道融合成一张新的图片$ C $, 之后将$ C $输入单体网络, 网络的输出结果直接输出是否为同一个人书写的情况, 也就是0和1.
双通道判别方法本质上是将图像的相似度判断看成是一种二分类的方法. 通过双通道判别网络, 将相似距离的测算放在网络的第一步, 网络直接输出是否是同一个人书写的结果. 该方法相比于孪生网络方法, 一方面大大减少了搜索的参数空间, 有效地加快网络的训练速度; 另一方面, 网络直接输出结果的方法, 避免了孪生网络的阈值的局限性, 在更换训练数据集或增加数据后, 准确率不会受到过多的影响. 当前网络对于双通道判别的方法都是直接在原始图片上或图片裁剪之后进行融合, 即在最初的两张图片上进行距离测算, 此时的图片特征还不明显, 将其简单地融合会导致损失大量的精细的特征, 最终导致模型的性能不佳.
1.3 灰度处理
在脱机签名验证当中, 本文输入的是两张单通道图片, 而文献[34]也尝试采用三通道彩色图片进行训练, 但是效果不如灰度图片. 在灰度图片当中, 不同灰度分布将对模型的结果起着重要的影响, 例如黑底白字和白底黑字, 不同的输入对同一个模型的训练会造成很大的影响. 这是因为在签名验证图片当中, 数据模型仅仅需要笔迹笔划的特征信息, 大部分背景信息是无效甚至是有害处的. 如果背景信息是像素值为0的像素点, 卷积之后的结果没有变化, 这对特征提取甚至是模型的输出有不小的影响. 但是这并不意味着白底黑字的图片都是无效信息, 其中也包含着详细且重要的信息. 文献[25]针对该问题提出了一种逆判别网络, 网络的输入为黑底白字的图片, 该网络通过灰度处理和多路径注意力模块强化了签名验证的有效信息. 该方法的注意力模块是从反灰度图片当中提取特征制作成注意力模块加载在原始灰度图片上, 使得模型更加关注图片的笔划信息. 该方法创新性地将黑底白字及其反灰度图片进行特征提取, 但是该方法的特征提取重心在原始灰度图片上, 而忽视了其反灰度图片并不是只能作为附加注意力的工具, 其信息也包含着大量的笔迹笔划信息.
1.4 ACMix
卷积核和自注意力是表示学习的两种强大技术, 二者之间存在很强的潜在关系, 因为这两种范式的大部分计算实际上是通过相同的操作完成的. 具体来说, 核大小为$ k \times k $的卷积可以分为$ k^{2} $个单独的$ 1 \times 1 $卷积, 然后进行移位和求和操作. 而ACMix当中首先用$ 1 \times 1 $的卷积核将输入特征投影为查询、键和值, 然后计算注意力权重和值矩阵的聚合, 即局部特征的聚集. 因此, ACMix能够将这两种看似不同的范式进行优雅的整合, 既享有自注意力和卷积的好处, 同时又与纯卷积或自注意力相比具有更小的开销[30].
本文根据双通道判别网络的特征缺失问题提出了一个名为MCFFN的网络结构, 采用四重孪生网络和双重逆鉴别注意力机制进行特征提取, 将提取之后的多重细微特征进行通道融合, 最后基于自注意力和卷积网络判断是否是真实样本对.
2. 方法
MCFFN的网络结构如图3所示, 作为一个端到端的签名验证系统, 由特征提取、通道融合、ACMix模块组成. 一对签名图像先进行反灰度的获取, 总共生成四张图片, 之后输入到四重孪生网络当中. 然后, 对同一张图片的灰度与反灰度图片通过双重逆鉴别注意力计算加权后的特征, 提取大量的细节特征. 最后, 将所提取到的不同图片表示进行通道融合, 采用卷积神经网络与自注意力结合的方式进行判别处理, 以实现高相似度的图像判别.
2.1 双重逆鉴别注意力模块
该网络的特征提取器采用四重孪生网络结构, 该网络由两个卷积块组成, 每个卷积块包含两个由ReLU函数激活的卷积层, 每个卷积层为$ 3 \times 3 $, 步长为1, 填充为1. 每个卷积块的维度为64、128. 参考图片及其反灰度图片、测试图片及其反灰度图片分别输入到特征提取网络, 网络之间共享权重. 在灰度图及对应的反灰度图的卷积模块之间由四个双重笔划注意力模块连接, 每个注意力模块连接判别流中的卷积模块和逆流中的卷积模块, 如图4所示.
同一张图片的灰度图片卷积块与反灰度图片卷积块同时输入到双重逆鉴别注意力模块当中, 其中根据灰度图片卷积块与反灰度图片卷积块的不同时刻的输出分为两条数据流进入共享注意力当中. 注意力模块内部流程图如图4右图所示, 并以左图的黄色数据流为例: 经过灰度图片卷积块输出的特征向量输入到上采样结构中, 该结构使用最近邻算法进行上采样, 并使用 Sigmoid 激活进行卷积运算后, 输出为$ g $. 而反灰度图片卷积块在ReLU后输出为$ h $, 将$ h $乘以$ g $元素, 然后添加$ h $产生中间注意力测量$ h\cdot g + h $, 其中“·”表示点乘. 接下来的全局平均池化(Global average pooling, GAP)层和具有 Sigmoid 激活的全连接层(Full connection, FC)接收中间注意力测量并输出权重向量$ f $. 将每个通道乘以$ f $的每个元素的中间注意力测量分别生成最终的注意力$ (h\cdot g+h) \times f $, 之后输出到反灰度图片卷积块的第二层进行卷积处理. 该方法根据输入输出的不同, 分为红色与黄色两条数据流, 期间共享注意力模块参数, 两个卷积块当中的虚线框也共享权重, 两个卷积块之间也共享权重. 假设灰度图片的ReLU输出为$ x_1 $, 灰度图片卷积块的输出为$ y_1 $; 反灰度图片的ReLU输出为$ x_2 $, 反灰度图片卷积块输出为$ y_2 $; 虚线部分的共享卷积块统称为$ w $, 因此, 不同数据流有不同的公式, 具体如式(1) ~ (4)所示:
$$ \begin{align*} & out_1 = h(x_1)\;g[w(x_2)]+h(x_1) \end{align*} $$ (1) $$ \begin{align*} & y_1=w[out_1\times f(out_1)] \end{align*} $$ (2) $$ \begin{align*} & out_2 = h(x_2)\cdot g[w(x_1)]+h(x_2) \end{align*} $$ (3) $$ \begin{align*} & y_2=w[out_2 \times f(out_2)] \end{align*} $$ (4) 其中, 式(1)、(2)为红色数据流, 式(3)、(4)为黄色数据流.
在注意力模块当中, 本文将灰度图片与反灰度图片分别进行注意力处理, 形成双重逆鉴别注意力. MCFFN与IDN的注意力特征图如图5所示, 通过与IDN的注意力进行对比发现, IDN虽然有四重注意力, 但是随着卷积操作的深入, 注意力模块的关注点更加的抽象. 而MCFFN的注意力模块, 一方面双重特征的引入, 使得注意力之间存在制约, 实现在第二层注意力特征图当中也能准确关注到笔画边缘信息; 另一个方面, 通过减少层数, 使得在通道融合时, 提取到足够详细的特征. 通过多路径注意力机制, 增强了签名验证的重要特征.
由于本文的注意力模块连接了原灰度图和反灰度图, 最终的注意力掩模将引导网络学习用于签名验证的判别特征并抑制误导信息. 整个MCFFN框架有4路注意力模块连接不同的卷积模块, 将注意力机制应用于不同的尺度和分辨率.
2.2 多重通道融合
双通道判别的方法将两张输入的单通道图片融合成一张双通道图片, 并且直接输出是否相似来快速地得到结果. 但是, 双通道判别网络因在图片的原始状态就进行通道融合, 此时的图片特征还不明显, 将其简单地融合会损失大量精细的特征, 最终导致模型的性能不佳. 因此, 在MCFFN当中, 融合了四张分别经过特征提取处理后的128维特征信息的图片, 总共融合了512维特征信息. 相比于传统的双通道判别网络, MCFFN不仅仅包含了需要判别的两张图片的卷积特征, 还包含了两张图片的反灰度图片的卷积特征. 这种方式在融合过程当中考虑了更多的通道信息, 使得网络能够捕捉更多的信息, 提高了融合特征的多样性. 因此, 在融合后的判别阶段, 该网络能够达到更高的精度.
MCFFN将提取后的参考图片、参考图片反灰度图片、测试图片、测试图片反灰度图片特征进行连接, 每张图片各有128维, 之后经过判别模块最终输出0/1来判别是否为同一个人. 与双通道判别方法相比, 经过多通道融合而成的多通道图像, 融合的图像特征更多, 计算图片之间的距离有正负样本各一张, 总共两张图片转变为正负样本各256维来计算差异性, 由于图片特征更多, 计算出来的距离更加精确.
2.3 判别模块
在判别模块当中, 本文主体采用了ACMix模块[30], 辅助两个小卷积块作为判别. 在特征融合之后, 得到具有512个维度的特征向量, 特征之间的差别多且大, 为了准确提取到特征, 采用卷积与自注意力结合的ACMix模块进行特征提取.
经过通道融合后的 512 维特征表示并非直接输入全连接层进行分类, 而是先经过一个基于单体网络模型的判别模块. 在模块中进行整体的特征学习与基于自注意力与卷积网络的判断, 最终输出为0/1二分类的结果. 判别模块的结构由两个小型的卷积模块、一个ACMix模块组成, 其中第一个小型卷积模块的输入为整合通道融合之后的具有区分性的512维特征, 之后采用ACMix的卷积和自注意力机制进行特征提取, 最后采用小型的卷积模块进行特征归纳, 并进入多重感知器进行分类. 此时进入多重感知器的特征为经过判别网络提取的512维图像的特征, 该特征包含参考图片、参考图片反灰度图片、测试图片、测试图片反灰度图片这四张图片整体之间的差异特征信息.
在多重感知器当中引入了全局平均池化来减少网络冗余, 为避免过拟合, 本文采用了0.5的Dropout. 最后, 整个网络将输出一个经过Sigmoid的特征值, 即生成 $ 0 \sim 1 $ 的评判概率. 在准确率判断过程当中, 本文设定该评判概率小于等于0.5的概率为伪造签名, 大于0.5的概率即为真实签名. 损失函数采用二分类交叉熵损失, 其公式为:
$$ \begin{align*} L = -\frac{1}{n}\sum_{i}^{n}[y_i\mathrm{lg}(p_i)+(1-y_i)\mathrm{lg}(1-p_i)] \end{align*} $$ (5) 其中, $ y_i $表示样本i的真实标签, 正类为1, 负类为0. $ p_i $表示样本i预测为正类的概率, 同理$1- p_i $则为样本预测为负类的概率.
3. 实验
本文基于PyTorch(1.13.0)框架, 使用NVIDIA-3090训练模型. 采用Adam优化器, 初始学习率设置为$ 10^{-6} $, 权重衰减为$ 10^{-5} $. batchsize大小设置为 32, ACMix模块的kernel_att为3, head为2. 另外, 本文也进行了跨语言实验, 即在一种语言的数据集上进行训练并在不同语言的另一个数据集上进行测试.
3.1 数据集
数据集的数量与质量对模型的影响很大, 目前随着国内外学者对脱机笔迹鉴别方向的深入研究, 提出了不少公开的脱机数据集, 本文将使用英语的CEDAR数据集, 包含孟加拉语和印地语的BHSig260数据集, 中文的ChiSig数据集进行模型的测试评估. 各种数据集的统计信息如表1所示.
表 1 脱机签名验证数据集Table 1 Offline signature verification dataset数据集名称 语言 签名种类 图片数量 真实伪造样本比 CEDAR 英语 55 2624 24/24 BHSig-B 孟加拉语 100 5400 24/30 BHSig-H 印地语 160 8640 24/30 ChiSig 中文 102 10242 −/− CEDAR数据集为英语语种的签名样本数据集. 它由55名签名者样本组成, 每名签名者有24张真实签名样本和24张伪造签名样本. 根据前人的工作, 本文选取50个人的样本进行训练, 其余5名签名者的样本进行测试. 对于每名签名者, 该数据集有276个参考−真实样本对, 576个参考−伪造样本对, 为保证正负样本平衡, 本文将根据参考−真实样本对的数量随机抽取参考−伪造样本对, 所以对于每名签名者, 本文将有276个参考−真实样本对, 276个参考−伪造样本对进行训练和测试.
BHSig260数据集包含孟加拉语和印地语数据集, 本文将其看作两个不同的数据集. BHSig-B数据集包含100名签名者的孟加拉语签名图像. 每名签名者有24个真实签名和30个伪造签名. 本文根据前人的经验, 随机选择50名签名者的签名进行训练, 其余签名者的签名图像进行测试. BHSig-H数据集包含160名签名者的印地语签名图像. 每名签名者有24个真实签名和30个伪造签名. 同样地, 本文将随机选择100名签名者的签名作为训练集来训练模型, 其余60名签名者的签名作为测试数据. 对于以上两个数据集的每名签名者, 本文同样随机抽取276个参考−真实样本对, 276个参考−伪造样本对进行训练和测试.
文献[18]构建了一个新颖的中文文档离线签名伪造检测基准数据集ChiSig, 包括签名检测、恢复和验证等所有任务. 数据集由干净的手写签名、合成的干扰手写签名和具有手写签名的合成文档组成. 作者通过随机生成500个名字, 然后让志愿者按照一定的规则签名, 得到干净的签名数据, 可用于签名验证任务. 因其志愿者的数量大于名字数量, 因此存在同名但是不同书写者的现象, 这对于签名验证是一个很大的挑战. 之后, 作者通过XFUND数据集、中国国家标准和专利等公共资源获得可用于合成背景的扫描文档. 对于该数据集, 本文随机抽取250个签名作为训练集, 250个签名作为测试集. 对于每个名字, 同个志愿者书写之间的签名作为真实样本对, 不同志愿者之间的签名作为伪造样本对. 对于专门的伪造数据, 仅作为伪造样本对, 伪造数据之间不作为真实样本对. 为保证真实与伪造样本对之间的数据均衡, 本文去除了多余的样本对.
3.2 评估指标
对于CEDAR和BHSig260数据集, 本文将沿照文献[25]的设置, 使用错误拒绝率(False rejection rate, FRR)、错误接受率(False acceptance rate, FAR)和准确率(Accuracy, ACC)来综合评估MCFFN, 并将其与其他现有方法进行比较. FRR定义为错误拒绝数量除以真实样本数量的比率, FAR定义为错误接受数量除以伪造样本数量的比率, ACC定义为判断正确的样本除以总样本量的比率.
而对于ChiSig数据集, 本文采用数据集作者提出的判断指标准确率、等错误率(Equal error rate, EER)和真实接受率(True acceptance rate, TAR)来进行比较. 其中EER来评估FRR等于FAR的平衡点, EER越低, 模型性能越好. TAR的计算方法如式(6) ~ (8)所示, 且当错误接受率(FAR)等于$ 10^{-3} $时, TAR才进行计算:
$$ FAR = \frac{错误接受数}{伪造数量} $$ (6) $$FRR = \frac{错误拒绝数}{真实数量} $$ (7) $$TAR = 1 - FRR $$ (8) 3.3 对比实验
为验证模型的效果, 根据当前笔迹鉴别任务的发展, 本文选取了最新的深度学习模型进行比较, 分别是 SigNet (2017arXiv)[23]、IDN (2019CVPR)[25]、DeepHSV (2019ICDAR)[24]、SDINet (2021AAAI)[35]、SURDS (2022ICPR)[36]、2C2S (2023EAAI)[37]、TransOSV (2022ICME)[26], 这些模型既有孪生网络与度量学习相结合的方法, 也有采用双通道判别的方法, 比较结果足以说明本文所提MCFFN模型的优势. 为方便观察, 对于最优解, 本文采用加粗处理, 次优解则采用下划线处理, 次次优解则为波浪线. CEDAR、BHSig-B、BHSig-H分别在表2、表3、表4中展示, 对于ChiSig数据集的结果, 本文将在第3.4节进行介绍.
表 2 基于CEDAR数据集的对比实验 (%)Table 2 Comparison on CEDAR dataset (%)模型名称 FRR FAR ACC SigNet (2017arXiv) 0 0 100.00 DeepHSV (2019ICDAR) — — 100.00 IDN (2019CVPR) 2.17 5.87 96.38 SDINet (2021AAAI) 3.42 0.73 98.25 2C2S (2023EAAI) 0 0 100.00 OURS 0 0 100.00 表 3 基于BHSig-B数据集的对比实验 (%)Table 3 Comparison on BHSig-B dataset (%)模型名称 FRR FAR ACC SigNet (2017arXiv) 13.89 13.89 86.11 DeepHSV (2019ICDAR) — — 88.08 IDN (2019CVPR) 5.24 4.12 95.32 SDINet (2021AAAI) 7.86 3.30 94.42 SURDS (2022ICPR) 5.42 19.89 87.34 2C2S (2023EAAI) 8.11 5.37 93.25 TransOSV (2022ICME) 9.95 9.95 90.05 OURS 3.86 3.84 95.61 表 4 基于BHSig-H数据集的对比实验 (%)Table 4 Comparison on BHSig-H dataset (%)模型名称 FRR FAR ACC SigNet (2017arXiv) 15.36 15.36 84.64 DeepHSV (2019ICDAR) — — 86.66 IDN (2019CVPR) 4.93 8.99 93.04 SDINet (2021AAAI) 3.77 6.24 95.00 SURDS (2022ICPR) 8.98 12.01 89.50 2C2S (2023EAAI) 9.98 8.66 90.68 TransOSV (2022ICME) 3.39 3.39 96.61 OURS 4.89 4.89 95.70 在CEDAR数据集的实验结果中, MCFFN模型达到100%的准确率. 其主要原因在于该数据集样本较少、结构简单且差异性较大, 因此很多方法在此数据集上取得了良好的成绩. 综合分析, MCFFN的ACC分别比IDN、SDI提高了3.62%, 1.75%, 并与SigNet、DeepHSV、2C2S一样, 达到了100%.
在BHSig-B数据集当中, 实验结果表明MCFFN比当前主流的脱机笔迹鉴别算法都更具有优势, 准确率达到了95.61%, 并且在FRR与FAR的比较当中, 也证明了这一点, 达到了最优或次优. MCFFN与IDN相比, ACC提高了0.29%, 与目前最新的算法2C2S、TransOSV相比, 分别提高了2.36%、5.56%. 这足以证明本文提出的MCFFN模型的优越性.
与CEDAR、BHSig-B相同, MCFFN在BHSig-H数据集上也取得了不错的结果. 与目前最新的算法相比, MCFFN在BHSig-H数据集上取得了95.7%的准确率, 虽然不是最优的结果, FRR为次次优, 其余为次优. 并且与最优的相比, MCFFN的准确率仅仅差了0.89%, 而在BHSig-B当中, 与BHSig-H的最优模型TransOSV相比, MCFFN在准确率上取得了5.56%的领先. 足以说明, MCFFN的泛化性优于TransOSV.
3.4 消融实验
此外, 本文在ChiSig数据集上进行了消融实验, 其中InceptionResnet是数据集论文提供的基线模型[18], 本文通过复现SigNet、IDN代码进行对比实验.
如表5所示, 基准IDN与将其通道融合的方法相对比, 通道融合的方法比原本的方法准确率提高了0.9%; 双重逆鉴别注意力扩充了反灰度图片的信息, 使得通道融合的时候有更加详细的信息, 这个方法使得准确率提升到了88.96%, 相比于通道融合, 提高了3.24%. 而ACMix的判别结构, 使模型具有更高的准确率, 达到了95.23%.
表 5 基于ChiSig数据集的消融实验 (%)Table 5 Ablation experiment on ChiSig dataset (%)模型名称 EER TAR ACC InceptionResnet 6.60 28.10 93.60 SigNet — — 82.28 IDN (基线) 17.91 10.50 84.82 IDN (通道融合) 14.81 9.61 85.72 IDN (通道融合 + 注意力) 11.38 7.82 88.96 OURS (无反灰度图片, 无注意力) 11.78 32.49 88.09 OURS (无反灰度图片, 单注意力) 10.83 — 89.20 OURS (反灰度图片, 无注意力) 7.84 — 92.14 OURS 5.19 28.96 95.23 为了证明反灰度图片及相应的注意力对结果的影响, 本文也针对灰度图片和注意力进行了删减实验, 其中无反灰度图片表示模型仅仅输入参考图片与测试图片, 单注意力表示在双重注意力模块当中, 点乘及上采样的输入由本身提供, 其余均和MCFFN的最终模型一致. 对于无反灰度图片, 引入单注意力后, 准确率提高了1.11%, 而引入反灰度图片, 准确率则提高4.05%. 实验结果表明注意力与反灰度图片的添加具有一定的可行性, 反灰度图片的添加比注意力的添加提升效果更大.
该消融实验, 证明了本文所提出的方法具有合理性. 另外, 为了方便未来的研究人员采用FRR和FAR指标进行对比, 本文也计算了MCFFN在ChiSig数据集上的FRR和FAR指标, 如表6所示.
表 6 基于ChiSig数据集的主流参数 (%)Table 6 Main parameters on ChiSig dataset (%)模型名称 FRR FAR ACC IDN 10.46 17.91 84.82 IDN (通道融合) 9.61 18.97 85.72 IDN (通道融合 + 注意力) 7.82 14.27 88.96 OURS (无反灰度图片, 无注意力) 21.91 17.26 88.09 OURS (无反灰度图片, 单注意力) 15.59 16.30 89.20 OURS (反灰度图片, 无注意力) 6.90 17.18 92.14 OURS 5.34 5.34 95.23 3.5 跨语言实验
此外, 本文也进行了跨语种测试. 在这项工作当中, 本文采用CEDAR、BHSig-B、BHSig-H、ChiSig四种不同语言进行测试. 本文采用一种语言的训练集进行训练, 剩下语言的训练集进行测试. 例如, 本文在BHSig-B的训练数据集上训练模型, 并在 BHSig-H 的测试数据集上测试模型. 训练和测试数据的划分与每个独立数据集上的实验相同. 表7显示了跨语言测试的准确率, 其中行对应于训练语言, 列对应于测试语言.
表 7 跨语言实验 (%)Table 7 Cross-language test (%)训练集 测试集 CEDAR BHSig-B BHSig-H ChiSig CEDAR 100.00 48.76 49.89 57.48 BHSig-B 64.86 95.61 82.79 63.71 BHSig-H 50.11 86.27 95.70 20.00 ChiSig 54.60 70.02 55.37 95.23 表7显示跨语言的签名验证性能快速下降. 本文认为脱机签名验证系统的本质是风格特征匹配, 每个人的签名与每个人的书写风格习惯密切相关, 不同语言风格的书写习惯不一样, 导致当前数据集学习的风格无法适用于其他数据集. BHSig-B数据集与BHSig-H数据集的准确率相比于其他数据集更高, 可能是由于印地语和孟加拉语的书写方式更加接近.
4. 结束语
本文提出了一种新颖的脱机笔迹验证模型MCFFN, 用于独立于作者的场景的手写签名验证, 该模型先通过两层卷积网络和双重注意力模块进行特征提取, 然后采用通道融合的方式进行特征融合, 最后采用ACMix判别模块进行多张图片的相似性判断. 采用逆监督机制和双重注意力机制来解决传统通道融合方法中的特征信息不够详细问题. 在测试中, 输入参考签名图像和测试签名图像, 模型直接输出测试签名是真实的还是伪造的. 实验证明了所提出方法的优势和潜力. 未来的工作将集中于跨语言签名验证和识别的研究.
-
图 9 基于情感决策的控制时域调整网络
Fig. 9 Control time domain adjustment network based on emotional decision
图 11 基于多脑区协同的机械臂控制器
Fig. 11 Manipulator controller based on collaboration of multiple brain regions
图 13 基于SNN的TD强化学习模型 (Q网络为SNN)
Fig. 13 SNN-based TD reinforcement learning model (Q network is SNN)
图 14 基于小脑网络的机械臂预测矫正控制器
Fig. 14 Predictive correction controller for manipulator based on cerebellar network
表 1 机器人类脑感知方向文献总结
Table 1 Summary of the literature of robotic brain-inspired perception
模态 研究团队 传感器种类 网络结构 主要功能 视觉 Kreiser 等[41] 相机
(iCub机器人)仿脑内回路 识别物体并将注意力转移到感兴趣的物体上 Zhou等[20] 激光雷达 (LiDAR)
(文中未确切指明)层式 感知物体的三维轮廓 Ambrosano等[46] 相机
(iCub机器人)仿视网膜回路 机器人视线追踪 Li等[21] 相机 层式 手势识别和意图推断 Qiao等[25] 相机 层式 物体 (人脸)识别 Tang等[43] 距离传感器和RGB相机 多网络融合 SLAM Yoon等[42] 相机 仿脑内回路 SLAM Hussaini等[22] 相机
(文中未确切指明)层式 地点识别
(Place recognition)听觉 Deng等[27, 47] 麦克风 层式 语音分类 Zou等[4] 麦克风 层式 语音识别 Gao等[29] 麦克风 阵列式 声源定位 Liu等[28] 麦克风 仿脑内回路 声源定位 触觉 Chou等[30] 触觉传感器
(文中未确切指明)仿脑内回路 感知人类的轻抚动作 Feng等[31] 多传感器融合 仿脑内回路 机器人的“痛觉”感知 张超凡等[32] GelStereo触觉传感器 层式 触觉滑动感知 Liu等[39] 基于晶体管的电子皮肤 仿生物触觉回路 触觉记忆与学习
(以痛觉反射为例)Dabbous等[33] 压阻式传感器阵列 层式 触觉模态分类 Jiang等[34] 压电传感器 层式 表面粗糙度感知 Lee等[38] 基于压阻器和忆阻器的触觉神经元 库网络
(Reservoir)生物组织硬度感知 Han等[37] 基于摩擦纳米发电器的人工触觉感受器 层式 广范围 (3 kPa)触觉感知
(以呼吸状态辨识为例)Kang等[35] 事件驱动触觉传感器
NeuTouch[48]层式 触觉对象识别
触觉滑动检测Wen等[40] 基于压阻器和忆阻器的触觉神经元 层式 触觉感知和识别
(以MNIST分类为例)
下载: 导出CSV
表 2 机器人类脑决策方向文献总结
Table 2 Summary of the literature of robotic brain-inspired decision
模型结构 研究团队 模型输入 模型输出 主要功能 循环结构 Rueckert等[56] 某一时刻Agent的状态
(例如空间位置)未来一段时间内的位置规划
(位置序列)有限和无限时间范围的任务规划问题 仿脑内回路 Zhao等[53] 视觉图像信息
(State)动作决策
(无人机的前进、后退、向左、向右)无人机飞行 (穿过窗户)过程决策任务 Daglarli等[55] 视觉信息
听觉信息机器人行为序列
决策奖励信号机器人的类人决策
(情感、注意力、意图等推理)左国玉等[50] 关于任务、记忆、 观测Affordance
和标签的词语该物品的Affordance (可以抓取)
或者该物品所需Affordance
的建议 (不可抓取)根据不同的任务选择合适的
物品和抓取位置Robertazzi等[52] 模拟视觉刺激
(方波信号)机器人动作
(向左、向右、保持不动)实现机器人在指定任务需求下的“动作抑制” Huang等[59] 状态预测误差
奖励预测误差预测时域调整量 在MB和MF控制之间
切换 (图9)层式 Liu等[58] 传感器感知到的数据 (转换为脉冲序列) 机器人控制量 (左右轮速度) 针对不同的任务需求激活不同的突触
实现控制策略的切换Skorheim等[57] 视觉感知信息
(7×7矩阵)运动决策信息
(3×3矩阵)实现虚拟环境中Agent的觅食决策 Zhao等[49] 环境上下文信息与对其他
个体状态和行为的观测对其他个体未来行为的预测 多智能体协同决策
下载: 导出CSV
表 3 机器人类脑控制方向文献总结
Table 3 Summary of the literature of robotic brain-inspired control
机器人类型 研究团队 网络输入 网络输出 主要功能 移动机器人 Lobov等[75]
(2-DoF)超声传感器信息
触觉传感器信息控制信号
(电机驱动量)移动控制
(避障)Wang等[68]
(2-DoF)声纳传感器信息 控制信号
(电机驱动量)移动控制
(避障、追踪、沿墙行走)Bing等[65]
(2-DoF)DVS图像信息 控制信号 (电机转速) 移动控制
(车道保持)Liu等[70]
(4-DoF)超声传感器 控制指令
(左、右、前进)移动控制
(避障)Lu等[64]
(4-DoF)超声传感器感知到的距离信息 控制信号 (转换为
左右轮转速)移动控制
(避障)机械臂 Xing等[7]
(未说明)其他网络输出的运动参数 关节驱动力矩 对小空间操作机器人
实现精确控制Chen等[86]
(1-DoF)期望角度与传感器信息 控制信号补偿量 提高机械臂的适应性和鲁棒性 IAbadia等[6]
(6-DoF)轨迹规划器生成的轨迹参数 机械臂控制力矩 通过预测运动指令实现对
指令延迟的鲁棒性Zahra等[87]
(6-DoF)目标运动状态与机械臂内部传感器信息 机械臂驱动量 提高机械臂在操作任务中的
精度和运动协调性Carrillo等[77]
(2-DoF)期望机械臂状态与目标信息 肩部与肘部驱动转动的调整量 机械臂运动控制 Zahra等[82]
(6-DoF)关节角速度变化量 机器人状态预测 降低机械臂的运动误差和执行时间 Zhang等[80]
(2-DoF)原始控制信号 控制信号纠正量 提升机械臂的运动精度 仿生机器人 Naveros等[88]
(3-DoF)感知运动信号
(Sensory-motor signal)眼球转动量 根据机器人头部转动控制机器人
眼球转动 (前庭眼反射)Naya等[5]
(24-DoF)状态观测量
(State)行动
(Action)考虑能耗成本的步态学习 Lele等[62]
(6-DoF)DVS图像信息 步态选择 移动控制 (捕猎) Espinal等[89]
(12-DoF)− 步态生成 作为CPG生成指定的步态 Jiang等[60]
(未说明)NVS图像信息 (神经形态视觉传感器) 控制信号
(传递给CPG生成对应的步态)移动控制
(目标追踪)− Wilson等[83] 控制信号 控制对象的状态预测 实现一般线性系统的自适应控制 注: DoF (Degree of freedom)为对应文献中机器人的自由度.
下载: 导出CSV
-
[1] 于振中, 李强, 樊启高. 智能仿生算法在移动机器人路径规划优化中的应用综述. 计算机应用研究, 2019, 36(11): 3210−3219Yu Zhen-Zhong, Li Qiang, Fan Qi-Gao. Survey on application of bioinspired intelligent algorithms in path planning optimization of mobile robots. Application Research of Computers, 2019, 36(11): 3210−3219 [2] 蔡灿, 刘璇, 张建华, 张明路. 工业机器人避碰算法研究与展望. 机械设计, 2018, 35(4): 1−7Cai Can, Liu Xuan, Zhang Jian-Hua, Zhang Ming-Lu. Research and prospect of collision avoidance algorithm for industrial robots. Journal of Machine Design, 2018, 35(4): 1−7 [3] 黄海丰, 刘培森, 李擎, 于欣波. 协作机器人智能控制与人机交互研究综述. 工程科学学报, 2022, 44(4): 780−791 doi: 10.3321/j.issn.1001-053X.2022.4.bjkjdxxb202204028Huang Hai-Feng, Liu Pei-Sen, Li Qing, Yu Xin-Bo. Review: Intelligent control and human-robot interaction for collaborative robots. Chinese Journal of Engineering, 2022, 44(4): 780−791 doi: 10.3321/j.issn.1001-053X.2022.4.bjkjdxxb202204028 [4] Zou Z, Zhao R, Wu Y J, Yang Z Y, Tian L, Wu S, et al. A hybrid and scalable brain-inspired robotic platform. Scientific Reports, 2020, 10(1): Article No. 18160 doi: 10.1038/s41598-020-73366-9 [5] Naya K, Kutsuzawa K, Owaki D, Hayashibe M. Spiking neural network discovers energy-efficient hexapod motion in deep reinforcement learning. IEEE Access, 2021, 9: 150345−150354 doi: 10.1109/ACCESS.2021.3126311 [6] Abadia I, Naveros F, Ros E, Carrillo R R, Luque N R. A cerebellar-based solution to the nondeterministic time delay problem in robotic control. Science Robotics, 2021, 6(58): Article No. eabf2756 doi: 10.1126/scirobotics.abf2756 [7] Xing D P, Li J L, Zhang T L, Xu B. A brain-inspired approach for collision-free movement planning in the small operational space. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(5): 2094−2105 doi: 10.1109/TNNLS.2021.3111051 [8] Qiao H, Chen J H, Huang X. A survey of brain-inspired intelligent robots: Integration of vision, decision, motion control, and musculoskeletal systems. IEEE Transactions on Cybernetics, 2022, 52(10): 11267−11280 doi: 10.1109/TCYB.2021.3071312 [9] Qiao H, Wu Y X, Zhong S L, Yin P J, Chen J H. Brain-inspired intelligent robotics: Theoretical analysis and systematic application. Machine Intelligence Research, 2023, 20(1): 1−18 doi: 10.1007/s11633-022-1390-8 [10] Qiao H, Zhong S L, Chen Z Y, Wang H Z. Improving performance of robots using human-inspired approaches: A survey. Science China Information Sciences, 2022, 65(12): Article No. 221201 doi: 10.1007/s11432-022-3606-1 [11] Maass W. Networks of spiking neurons: The third generation of neural network models. Neural Networks, 1997, 10(9): 1659−1671 doi: 10.1016/S0893-6080(97)00011-7 [12] Roy K, Jaiswal A, Panda P. Towards spike-based machine intelligence with neuromorphic computing. Nature, 2019, 575(7784): 607−617 doi: 10.1038/s41586-019-1677-2 [13] Neftci E O. Data and power efficient intelligence with neuromorphic learning machines. iScience, 2018, 5: 52−68 doi: 10.1016/j.isci.2018.06.010 [14] Bing Z S, Meschede C, Röhrbein F, Huang K, Knoll A C. A survey of robotics control based on learning-inspired spiking neural networks. Frontiers in Neurorobotics, 2018, 12: Article No. 35 doi: 10.3389/fnbot.2018.00035 [15] 朱祥维, 沈丹, 肖凯, 马岳鑫, 廖祥, 古富强, 等. 类脑导航的机理、算法、实现与展望. 航空学报, 2023, 44(19): 1−33 doi: 10.7527/S1000-6893.2023.28569Zhu Xiang-Wei, Shen Dan, Xiao Kai, Ma Yue-Xin, Liao Xiang, Gu Fu-Qiang, et al. Mechanisms, algorithms, implementation and perspectives of brain-inspired navigation. Acta Aeronautica et Astronautica Sinica, 2023, 44(19): 1−33 doi: 10.7527/S1000-6893.2023.28569 [16] Zheng H L, Wu Y J, Deng L, Hu Y F, Li G Q. Going deeper with directly-trained larger spiking neural networks. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence. AAAI, 2021. 11062−11070 [17] Wu Y J, Deng L, Li G Q, Zhu J, Xie Y, Shi L P. Direct training for spiking neural networks: Faster, larger, better. In: Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Honolulu, USA: AAAI, 2019. 1311−1318 [18] Wu Y J, Deng L, Li G Q, Zhu J, Shi L P. Spatio-temporal backpropagation for training high-performance spiking neural networks. Frontiers in Neuroscience, 2018, 12: Article No. 331 doi: 10.3389/fnins.2018.00331 [19] Niu L Y, Wei Y, Liu W B, Long J Y, Xue T H. Research progress of spiking neural network in image classification: A review. Applied Intelligence, 2023, 53(16): 19466−19490 doi: 10.1007/s10489-023-04553-0 [20] Zhou S B, Chen Y, Li X H, Sanyal A. Deep SCNN-based real-time object detection for self-driving vehicles using LiDAR temporal data. IEEE Access, 2020, 8: 76903−76912 doi: 10.1109/ACCESS.2020.2990416 [21] Li J X, Li D J, Jiang R H, Xiao R, Tang H J, Tan K C. Vision-action semantic associative learning based on spiking neural networks for cognitive robot. IEEE Computational Intelligence Magazine, 2022, 17(4): 27−38 doi: 10.1109/MCI.2022.3199623 [22] Hussaini S, Milford M, Fischer T. Spiking neural networks for visual place recognition via weighted neuronal assignments. IEEE Robotics and Automation Letters, 2022, 7(2): 4094−4101 doi: 10.1109/LRA.2022.3149030 [23] Cao Y Q, Chen Y, Khosla D. Spiking deep convolutional neural networks for energy-efficient object recognition. International Journal of Computer Vision, 2015, 113(1): 54−66 doi: 10.1007/s11263-014-0788-3 [24] Rast A D, Adams S V, Davidson S, Davies S, Hopkins M, Rowley A, et al. Behavioral learning in a cognitive neuromorphic robot: An integrative approach. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(12): 6132−6144 doi: 10.1109/TNNLS.2018.2816518 [25] Qiao H, Xi X Y, Li Y L, Wu W, Li F F. Biologically inspired visual model with preliminary cognition and active attention adjustment. IEEE Transactions on Cybernetics, 2015, 45(11): 2612−2624 doi: 10.1109/TCYB.2014.2377196 [26] Qiao H, Li Y L, Li F F, Xi X Y, Wu W. Biologically inspired model for visual cognition achieving unsupervised episodic and semantic feature learning. IEEE Transactions on Cybernetics, 2016, 46(10): 2335−2347 doi: 10.1109/TCYB.2015.2476706 [27] Deng B, Fan Y R, Wang J, Yang S M. Reconstruction of a fully paralleled auditory spiking neural network and FPGA implementation. IEEE Transactions on Biomedical Circuits and Systems, 2021, 15(6): 1320−1331 [28] Liu J D, Perez-Gonzalez D, Rees A, Erwin H, Wermter S. A biologically inspired spiking neural network model of the auditory midbrain for sound source localisation. Neurocomputing, 2010, 74(1−3): 129−139 doi: 10.1016/j.neucom.2009.10.030 [29] Gao B, Zhou Y, Zhang Q T, Zhang S L, Yao P, Xi Y, et al. Memristor-based analogue computing for brain-inspired sound localization with in situ training. Nature Communications, 2022, 13(1): Article No. 2026 doi: 10.1038/s41467-022-29712-8 [30] Chou T S, Bucci L D, Krichmar J L. Learning touch preferences with a tactile robot using dopamine modulated STDP in a model of insular cortex. Frontiers in Neurorobotics, 2015, 9: Article No. 6 [31] Feng H, Zeng Y. A brain-inspired robot pain model based on a spiking neural network. Frontiers in Neurorobotics, 2022, 16: Article No. 1025338 doi: 10.3389/fnbot.2022.1025338 [32] 张超凡, 乔一铭, 曹露, 王志刚, 崔少伟, 王硕. 基于神经形态的触觉滑动感知方法. 浙江大学学报(工学版), 2023, 57(4): 683−692 doi: 10.3785/j.issn.1008-973X.2023.04.005Zhang Chao-Fan, Qiao Yi-Ming, Cao Lu, Wang Zhi-Gang, Cui Shao-Wei, Wang Shuo. Tactile slip detection method based on neuromorphic modeling. Journal of Zhejiang University (Engineering Science), 2023, 57(4): 683−692 doi: 10.3785/j.issn.1008-973X.2023.04.005 [33] Dabbous A, Ibrahim A, Valle M. Feed-forward SNN for touch modality prediction. In: Proceedings of the 6th International Conference on System-Integrated Intelligence. Genova, Italy: Springer, 2022. 215−222 [34] Jiang C M, Yang L, Zhang Y L. A spiking neural network with spike-timing-dependent plasticity for surface roughness analysis. IEEE Sensors Journal, 2022, 22(1): 438−445 doi: 10.1109/JSEN.2021.3120845 [35] Kang P, Banerjee S, Chopp H, Katsaggelos A, Cossairt O. Boost event-driven tactile learning with location spiking neurons. Frontiers in Neuroscience, 2023, 17: Article No. 1127537 doi: 10.3389/fnins.2023.1127537 [36] Navaraj W, Dahiya R. Fingerprint-enhanced capacitive-piezoelectric flexible sensing skin to discriminate static and dynamic tactile stimuli. Advanced Intelligent Systems, 2019, 1(7): Article No. 1900051 doi: 10.1002/aisy.201900051 [37] Han J K, Tcho I W, Jeon S B, Yu J M, Kim W G, Choi Y K. Self-powered artificial mechanoreceptor based on triboelectrification for a neuromorphic tactile system. Advanced Science, 2022, 9(9): Article No. 2105076 doi: 10.1002/advs.202105076 [38] Lee J, Kim S, Park S, Lee J, Hwang W, Cho S W, et al. An artificial tactile neuron enabling spiking representation of stiffness and disease diagnosis. Advanced Materials, 2022, 34(24): Article No. 2201608 doi: 10.1002/adma.202201608 [39] Liu F Y, Deswal S, Christou A, Baghini M S, Chirila R, Shakthivel D, et al. Printed synaptic transistor-based electronic skin for robots to feel and learn. Science Robotics, 2022, 7(67): Article No. eabl7286 doi: 10.1126/scirobotics.abl7286 [40] Wen J, Zhang L, Wang Y Z, Guo X. Artificial tactile perception system based on spiking tactile neurons and spiking neural networks. ACS Applied Materials & Interfaces, 2024, 16(1): 998−1004 [41] Kreiser R, Waibel G, Armengol N, Renner A, Sandamirskaya Y. Error estimation and correction in a spiking neural network for map formation in neuromorphic hardware. In: Proceedings of the IEEE International Conference on Robotics and Automation. Paris, France: IEEE, 2020. 6134−6140 [42] Yoon J H, Raychowdhury A. NeuroSLAM: A 65-nm 7.25-to-8.79-TOPS/W mixed-signal oscillator-based SLAM accelerator for edge robotics. IEEE Journal of Solid-State Circuits, 2021, 56(1): 66−78 doi: 10.1109/JSSC.2020.3028298 [43] Tang G Z, Shah A, Michmizos K P. Spiking neural network on neuromorphic hardware for energy-efficient unidimensional SLAM. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. Macao, China: IEEE, 2019. 4176−4181 [44] Wang H, Li Y F. Bioinspired membrane learnable spiking neural network for autonomous vehicle sensors fault diagnosis under open environments. Reliability Engineering & System Safety, 2023, 233: Article No. 109102 [45] Lopez-Randulfe J, Duswald T, Bing Z S, Knoll A. Spiking neural network for fourier transform and object detection for automotive radar. Frontiers in Neurorobotics, 2021, 15: Article No. 688344 doi: 10.3389/fnbot.2021.688344 [46] Ambrosano A, Vannucci L, Albanese U, Kirtay M, Falotico E, Martínez-Cañada P, et al. Retina color-opponency based pursuit implemented through spiking neural networks in the neurorobotics platform. In: Proceedings of the 5th Conference on Biomimetic and Biohybrid Systems. Edinburgh, UK: Springer, 2016. 16−27 [47] Deng B, Fan Y R, Wang J, Yang S M. Auditory perception architecture with spiking neural network and implementation on FPGA. Neural Networks, 2023, 165: 31−42 doi: 10.1016/j.neunet.2023.05.026 [48] Taunyazov T, Sng W, Lim B, See H H, Kuan J, Ansari A F, et al. Event-driven visual-tactile sensing and learning for robots. In: Proceedings of the 16th Conference on Robotics: Science and Systems. Corvalis, USA: 2020. [49] Zhao Z Y, Zhao F F, Zhao Y X, Zeng Y, Sun Y Q. A brain-inspired theory of mind spiking neural network improves multi-agent cooperation and competition. Patterns, 2023, 4(8): Article No. 100775 doi: 10.1016/j.patter.2023.100775 [50] 左国玉, 刘洪星, 龚道雄, 阮晓钢. 受脑启发的机器人认知抓取决策模型. 北京工业大学学报, 2021, 47(8): 863−873 doi: 10.11936/bjutxb2020120034Zuo Guo-Yu, Liu Hong-Xing, Gong Dao-Xiong, Ruan Xiao-Gang. Brain-inspired decision-making model for robot cognitive grasping. Journal of Beijing University of Technology, 2021, 47(8): 863−873 doi: 10.11936/bjutxb2020120034 [51] Sun T J, Gao Z H, Chang Z Y, Zhao K H. Brain-like intelligent decision-making based on basal ganglia and its application in automatic car-following. Journal of Bionic Engineering, 2021, 18(6): 1439−1451 doi: 10.1007/s42235-021-00113-9 [52] Robertazzi F, Vissani M, Schillaci G, Falotico E. Brain-inspired meta-reinforcement learning cognitive control in conflictual inhibition decision-making task for artificial agents. Neural Networks, 2022, 154: 283−302 doi: 10.1016/j.neunet.2022.06.020 [53] Zhao F F, Zeng Y, Wang G X, Bai J, Xu B. A brain-inspired decision making model based on top-down biasing of prefrontal cortex to basal ganglia and its application in autonomous UAV explorations. Cognitive Computation, 2018, 10(2): 296−306 doi: 10.1007/s12559-017-9511-3 [54] Zhao F F, Zeng Y, Xu B. A brain-inspired decision-making spiking neural network and its application in unmanned aerial vehicle. Frontiers in Neurorobotics, 2018, 12: Article No. 56 doi: 10.3389/fnbot.2018.00056 [55] Daglarli E. Computational modeling of prefrontal cortex for meta-cognition of a humanoid robot. IEEE Access, 2020, 8: 98491−98507 doi: 10.1109/ACCESS.2020.2998396 [56] Rueckert E, Kappel D, Tanneberg D, Pecevski D, Peters J. Recurrent spiking networks solve planning tasks. Scientific Reports, 2016, 6(1): Article No. 21142 doi: 10.1038/srep21142 [57] Skorheim S, Lonjers P, Bazhenov M. A spiking network model of decision making employing rewarded STDP. PLoS One, 2014, 9(3): Article No. e90821 doi: 10.1371/journal.pone.0090821 [58] Liu J X, Lu H, Luo Y L, Yang S. Spiking neural network-based multi-task autonomous learning for mobile robots. Engineering Applications of Artificial Intelligence, 2021, 104: Article No. 104362 doi: 10.1016/j.engappai.2021.104362 [59] Huang X, Wu W, Qiao H. Connecting model-based and model-free control with emotion modulation in learning systems. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2021, 51(8): 4624−4638 doi: 10.1109/TSMC.2019.2933152 [60] Jiang Z Y, Bing Z S, Huang K, Knoll A. Retina-based pipe-like object tracking implemented through spiking neural network on a snake robot. Frontiers in Neurorobotics, 2019, 13: Article No. 29 doi: 10.3389/fnbot.2019.00029 [61] Wang M, Zhang Y Y, Yu J Z. An SNN-CPG hybrid locomotion control for biomimetic robotic fish. Journal of Intelligent & Robotic Systems, 2022, 105(2): Article No. 45 [62] Lele A, Fang Y, Ting J, Raychowdhury A. An end-to-end spiking neural network platform for edge robotics: From event-cameras to central pattern generation. IEEE Transactions on Cognitive and Developmental Systems, 2022, 14(3): 1092−1103 doi: 10.1109/TCDS.2021.3097675 [63] Cao Z Q, Cheng L, Zhou C, Gu N, Wang X, Tan M. Spiking neural network-based target tracking control for autonomous mobile robots. Neural Computing and Applications, 2015, 26(8): 1839−1847 doi: 10.1007/s00521-015-1848-5 [64] Lu H, Liu J X, Luo Y L, Hua Y F, Qiu S H, Huang Y C. An autonomous learning mobile robot using biological reward modulate STDP. Neurocomputing, 2021, 458: 308−318 doi: 10.1016/j.neucom.2021.06.027 [65] Bing Z S, Meschede C, Chen G, Knoll A, Huang K. Indirect and direct training of spiking neural networks for end-to-end control of a lane-keeping vehicle. Neural Networks, 2020, 121: 21−36 doi: 10.1016/j.neunet.2019.05.019 [66] Bing Z S, Baumann I, Jiang Z Y, Huang K, Cai C X, Knoll A. Supervised learning in snn via reward-modulated spike-timing-dependent plasticity for a target reaching vehicle. Frontiers in Neurorobotics, 2019, 13: Article No. 18 doi: 10.3389/fnbot.2019.00018 [67] Nichols E, McDaid L J, Siddique N H. Case study on a self-organizing spiking neural network for robot navigation. International Journal of Neural Systems, 2010, 20(6): 501−508 doi: 10.1142/S0129065710002577 [68] Wang X Q, Hou Z G, Lv F, Tan M, Wang Y J. Mobile robots' modular navigation controller using spiking neural networks. Neurocomputing, 2014, 134: 230−238 doi: 10.1016/j.neucom.2013.07.055 [69] Bing Z S, Jiang Z Y, Cheng L, Cai C X, Huang K, Knoll A. End to end learning of a multi-layered SNN based on R-STDP for a target tracking snake-like robot. In: Proceedings of the IEEE International Conference on Robotics and Automation. Montreal, Canada: IEEE, 2019. 9645−9651 [70] Liu J X, Hua Y F, Yang R X, Luo Y L, Lu H, Wang Y H, et al. Bio-inspired autonomous learning algorithm with application to mobile robot obstacle avoidance. Frontiers in Neuroscience, 2022, 16: Article No. 905596 doi: 10.3389/fnins.2022.905596 [71] Guerrero-Criollo R J, Castaño-López J A, Hurtado-López J, Ramirez-Moreno D F. Bio-inspired neural networks for decision-making mechanisms and neuromodulation for motor control in a differential robot. Frontiers in Neurorobotics, 2023, 17: Article No. 1078074 doi: 10.3389/fnbot.2023.1078074 [72] Guerrero-Criollo R J, Castaño-López J A, Díaz-Cuchala R E, Rozo-Giraldo Y D, Ramirez-Moreno D F. Design and simulation of a bio-inspired neural network for the motor control of a mobile automaton. In: Proceedings of the IEEE Colombian Conference on Applications of Computational Intelligence. Cali, Colombia: IEEE, 2022. 1−6 [73] Abadía I, Naveros F, Garrido J A, Ros E, Luque N R. On robot compliance: A cerebellar control approach. IEEE Transactions on Cybernetics, 2021, 51(5): 2476−2489 doi: 10.1109/TCYB.2019.2945498 [74] 戴嘉伟, 熊智, 晁丽君, 杨闯. 基于STDP奖励调节的类脑面向目标导航. 导航定位与授时, 2023, 10(2): 47−56Dai Jia-Wei, Xiong Zhi, Chao Li-Jun, Yang Chuang. Brain-inspired target-driven navigation based on STDP reward modulation. Navigation Positioning and Timing, 2023, 10(2): 47−56 [75] Lobov S A, Mikhaylov A N, Shamshin M, Makarov V A, Kazantsev V B. Spatial properties of STDP in a self-learning spiking neural network enable controlling a mobile robot. Frontiers in Neuroscience, 2020, 14: Article No. 88 doi: 10.3389/fnins.2020.00088 [76] Sathyanesan A, Zhou J, Scafidi J, Heck D H, Sillitoe R V, Gallo V. Emerging connections between cerebellar development, behaviour and complex brain disorders. Nature Reviews Neuroscience, 2019, 20(5): 298−313 doi: 10.1038/s41583-019-0152-2 [77] Carrillo R R, Ros E, Boucheny C, Coenen O J M D. A real-time spiking cerebellum model for learning robot control. Biosystems, 2008, 94(1−2): 18−27 doi: 10.1016/j.biosystems.2008.05.008 [78] Oikonomou K M, Kansizoglou I, Gasteratos A. A hybrid spiking neural network reinforcement learning agent for energy-efficient object manipulation. Machines, 2023, 11(2): Article No. 162 doi: 10.3390/machines11020162 [79] Liu Y X, Pan W. Spiking neural-networks-based data-driven control. Electronics, 2023, 12(2): Article No. 310 doi: 10.3390/electronics12020310 [80] Zhang J H, Chen J H, Wu W, Qiao H. A cerebellum-inspired prediction and correction model for motion control of a musculoskeletal robot. IEEE Transactions on Cognitive and Developmental Systems, 2023, 15(3): 1209−1223 doi: 10.1109/TCDS.2022.3200839 [81] Cao Y, Huang J, Ding G Z, Wang Y J. Design of nonlinear predictive control for pneumatic muscle actuator based on echo state gaussian process. IFAC-PapersOnLine, 2017, 50(1): 1952−1957 doi: 10.1016/j.ifacol.2017.08.390 [82] Zahra O, Navarro-Alarcon D, Tolu S. Vision-based control for robots by a fully spiking neural system relying on cerebellar predictive learning. arXiv preprint arXiv: 2011.01641, 2020. [83] Wilson E D, Assaf T, Pearson M J, Rossiter J M, Dean P, Anderson S R, et al. Biohybrid control of general linear systems using the adaptive filter model of cerebellum. Frontiers in Neurorobotics, 2015, 9: Article No. 5 [84] Lechner M, Hasani R, Amini A, Henzinger T A, Rus D, Grosu R. Neural circuit policies enabling auditable autonomy. Nature Machine Intelligence, 2020, 2(10): 642−652 doi: 10.1038/s42256-020-00237-3 [85] Hasani R, Lechner M, Amini A, Liebenwein L, Ray A, Tschaikowski M, et al. Closed-form continuous-time neural networks. Nature Machine Intelligence, 2022, 4(11): 992−1003 doi: 10.1038/s42256-022-00556-7 [86] Chen X Y, Zhu W X, Liang W Y, Lang Y L, Ren Q Y. Control of antagonistic McKibben muscles via a bio-inspired approach. Journal of Bionic Engineering, 2022, 19(6): 1771−1789 doi: 10.1007/s42235-022-00225-w [87] Zahra O, Navarro-Alarcon D, Tolu S. A neurorobotic embodiment for exploring the dynamical interactions of a spiking cerebellar model and a robot arm during vision-based manipulation tasks. International Journal of Neural Systems, 2022, 32(8): Article No. 2150028 doi: 10.1142/S0129065721500283 [88] Naveros F, Luque N R, Ros E, Arleo A. VOR adaptation on a humanoid iCub robot using a spiking cerebellar model. IEEE Transactions on Cybernetics, 2020, 50(11): 4744−4757 doi: 10.1109/TCYB.2019.2899246 [89] Espinal A, Rostro-Gonzalez H, Carpio M, Guerra-Hernandez E I, Ornelas-Rodriguez M, Puga-Soberanes H J, et al. Quadrupedal robot locomotion: A biologically inspired approach and its hardware implementation. Computational Intelligence and Neuroscience, 2016, 2016: Article No. 5615618 [90] Aitsam M, Davies S, Di Nuovo A. Neuromorphic computing for interactive robotics: A systematic review. IEEE Access, 2022, 10: 122261−122279 doi: 10.1109/ACCESS.2022.3219440 [91] Guo Y F, Huang X H, Ma Z. Direct learning-based deep spiking neural networks: A review. Frontiers in Neuroscience, 2023, 17: Article No. 1209795 doi: 10.3389/fnins.2023.1209795 [92] Shen G B, Zhao D C, Dong Y T, Zeng Y. Brain-inspired neural circuit evolution for spiking neural networks. Proceedings of the National Academy of Sciences of the United States of America, 2023, 120(39): Article No. e2218173120 [93] Javanshir A, Nguyen T T, Mahmud M A P, Kouzani A Z. Advancements in algorithms and neuromorphic hardware for spiking neural networks. Neural Computation, 2022, 34(6): 1289−1328 doi: 10.1162/neco_a_01499 [94] Quintana F M, Perez-Peña F, Galindo P L. Bio-plausible digital implementation of a reward modulated STDP synapse. Neural Computing and Applications, 2022, 34(18): 15649−15660 doi: 10.1007/s00521-022-07220-6 [95] 胡金岭. 机械臂类脑控制平台的设计与实现研究 [硕士学位论文], 天津大学, 中国, 2019.Hu Jin-Ling. Design and Implementation of Brain-inspired Control Platform for Manipulator [Master thesis], Tianjin University, China, 2019. -
下载:
计量
- 文章访问数: 8081
- HTML全文浏览量: 812
- PDF下载量: 659
- 被引次数: 0
