Data-driven Dual-rate Control for Mixed Separation Thickening Process in a Wireless Network Environment
-
摘要: 无线网络环境下赤铁矿混合选别浓密过程控制问题是以底流矿浆泵频率为内环输入，以底流矿浆流量为内环输出外环输入，以底流矿浆浓度为外环输出的非线性串级工业过程控制问题.其外环反馈回路存在丢包，且模型参数难以辨识，故本文利用工业运行过程的在线数据，设计不依赖模型参数的跟踪控制器.首先，利用浓密过程运行在工作点附近的特点进行线性化，对流量过程设计Q-学习控制器，保证流量过程能够跟踪给定的流量设定值；然后采用提升技术，得到统一时间尺度的以底流矿浆流量设定值为输入，以底流矿浆浓度为输出的被控对象；最后，考虑到在无线网络环境下浓度过程存在反馈丢包，当前的状态可能无法获得，故采用史密斯预估器的思想，利用历史的数据估计系统当前的状态，设计丢包Q-学习设定值控制器为流量过程提供最优设定值.通过仿真实验验证所提算法的有效性.Abstract: The mixed separation thickening process (MSTP) of hematite beneficiation in a wireless network environment is a nonlinear cascade process with the frequency of underflow slurry pump as the inner loop input, the slurry flow-rate as the inner loop output and the concentration as the outer loop output. The dropout occurs in the outer feedback loop, making it difficult to identify the parameters of the model, so the tracking controller only using the data generated by operational processes and independent of the knowledge of model parameters is designed in this paper. First, linearize the thickening system near the steady states, then design a controller based on Q-learning algorithm to make the inner process trace the set-point of the slurry flow-rate. Second, use the lifting technology to obtain the uniform time scale controlled object with the set-point of the slurry flow-rate as the input and the concentration as the output. Finally, considering that the networked-induced feedback dropout exists in the feedback process, meaning the current state information may be lost, a novel Smith predictor is developed to predict the current state from historical measured data, and a dropout Q-learning method is designed to provide the optimal set-point of lower loop. A simulation experiment on MSTP is given to show the effectiveness of the proposed method.
-
Key words:
- Mixed separation thickening process /
- Q-learning /
- dropout /
- Smith predictor
-
在当今社会, 签名笔迹鉴别作为重要的法证手段之一, 广泛应用于法律、保险、文化等多个领域. 由于签名笔迹具有独特性、稳定性及可靠性等特点, 它成为鉴别文件真伪、确认当事人身份等方面的重要依据. 然而, 随着科技的不断发展, 签名笔迹检验也面临着许多挑战. 签名笔迹的产生可以追溯到古代, 当时人们使用各种符号、图形来签名. 随着纸张和墨水的发展, 人们开始使用手写签名, 早在公元439年, 罗马帝国就用签名来验证文件的真伪. 然而, 直到20世纪初, 签名笔迹才开始引起人们的研究. 这一时期, 心理学和统计学等学科开始应用于签名笔迹的研究, 为签名笔迹检验提供了理论基础. 签名笔迹在多个领域中具有重要作用. 在法律领域, 签名笔迹是确认文件真伪的重要依据, 也是法庭上证据的一部分. 在保险领域, 签名笔迹用于鉴别保单真伪, 预防保险欺诈. 在文化领域, 签名笔迹则体现了艺术家的风格和个性, 对于笔迹学的深入研究有着重要价值. 随着科技的进步, 签名笔迹检验面临着许多挑战. 签名笔迹易受书写习惯、情绪、环境等因素影响, 使得笔迹检验的准确性变得复杂. 此外, 签名笔迹造假技术的发展也给检验工作带来了一定的难度. 考虑到如今的文件的真实性大部分还是靠手写签名进行验证, 而利用人力进行判断的成本过高, 因此急需开发一个准确且高效的签名验证技术.
签名验证技术根据输入的方式不同分为联机签名验证技术和脱机签名验证技术两种. 对于联机签名验证, 研究人员可以获取到签名过程的动态信息, 如笔划轨迹、倾斜度和笔划压力等[1–4]. 而在脱机签名验证技术当中, 研究人员只能获取到通过扫描仪或相机拍摄到的签名图像, 是一种静态的信息[5–7]. 因为静态的信息相比于动态的信息, 获取的信息量更少, 因此脱机签名验证比联机签名验证更具有挑战性. 在如今纸质文档广泛使用的环境下, 脱机签名验证有着更普及的使用空间. 签名验证技术也根据与写入者是否相关, 分为依赖于写者和独立于写者. 在依赖于写者方法当中, 研究人员的测试样本依赖于训练样本, 也就是说测试集的每个签名主体都有一定量的签名样本在训练集当中[8–10]. 在实际应用当中, 为每个用户收集并训练大量的样本是不切实际的. 而独立于写者方法当中, 训练集的用户和测试集的用户是相互独立的[11–12], 因此, 在实际应用中更具有价值.
签名伪造方法根据伪造的熟练程度, 分为随机伪造、简单伪造和熟练伪造三种类型[13]. 随机伪造的签名没有任何关于被模仿者的信息, 因此与真实样本差异性大. 简单伪造是不遵循被模仿者的书写风格而进行的伪造样本, 与真实样本有一定的相似性. 熟练伪造是专业人员通过分析被模仿者的签名特征, 进行伪造的签名, 与真实样本高度相似. 对于熟练伪造样本, 非专业人员一般分辨不出来, 因此如果有犯罪集团通过获取被模仿者的相关信息, 精心伪造签名进行犯罪行为, 这将对原签名的持有者本人造成不良影响. 此外, 对于书写者本人, 在不同的环境下书写的签名也有很大的区别, 因此, 如何找到真实样本与伪造样本的差异点, 这将是一项艰巨的任务. 为了方便研究人员对脱机签名验证方法的研究, 学术界目前公开了许多脱机签名验证数据集, 例如英语的CEDAR数据集[14]、GPDS数据集[15], 包含孟加拉语和印地语的BHSig260数据集[16], 中文的MSDS数据集[17]、ChiSig数据集[18].
在深度学习兴盛之前, 研究人员通常采用特征匹配等传统的图像处理方法进行签名验证. 例如, 文献[19]以及文献[20]开发了第一个离线和在线签名验证系统; 文献[21]利用字符的笔划方向性先进行方向分解, 然后对每个方向的子图像进行频带分解, 用分解后的采样信号值作为笔迹特征, 并采用特征匹配方法进行书写人识别; 文献[22]通过多通道二维Gabor滤波等方法进行身份判别. 如今, 研究者们不断探索新的签名笔迹检验方法, 并且随着深度学习及其相关技术的崛起, 文献[23]采用孪生网络分别提取输入的两张样本图像的特征, 然后利用度量学习的方法判断两张签名之间的相似距离, 并选择一个阈值来判断是否是同一个人书写. 该度量学习的方法具有很大的局限性, 一方面是, 度量学习的度量方法大多使用欧氏距离进行计算, 而欧氏距离仅考虑两个点之间的绝对距离, 容易忽视点的方向、缩放的信息, 不会考虑数据之间的相关性, 因此忽略了特征向量内部各值之间的关系; 另一方面是, 其度量阈值是通过遍历过程求解, 虽然能获取到当前数据集的最优解, 但是泛化性不高, 同一个阈值对不同的数据集的效果将完全不一样. 因此, 文献[24]针对该缺陷提出了DeepHSV, 利用双通道判别的方法进行脱机笔迹鉴别, 通过图像融合, 将需要对比的两张图片融合成一张图片用于模型的输入, 可以有效解决度量学习的局限性. 然而它们是直接在模型输入前将图片进行通道融合, 此时两张对比图片的特征还不是很明显, 导致不同图片之间的精细特征被融合覆盖掉, 因此无法区分精心伪造的签名. 文献[25]提出了逆鉴别八重注意力机制, 将逆鉴别图片作为注意力附加在原始图片上, 使得模型更加关注笔划特征, 并且在多个数据集上取得了不错的结果. 该方法的局限性在于过多关注原始图片的特征, 且只把逆鉴别的特征作为辅助判断的信息, 本文认为笔迹的特征不仅仅可以从原图中获取, 反灰度图片同样蕴含大量的图片特征.
脱机笔迹签名验证技术虽然可以看成一个二分类任务, 但是和传统的图片分类有很大的不同. 它们的区别在于: 1) 笔迹验证系统输入的两张图片的相似度远远高于其他领域的, 两张图片的差异细节过于稀疏; 2) 图片为灰度单通道图片; 3) 笔迹验证系统判别的本质是风格对比, 设计不当容易造成过拟合. 针对这些问题, 不同的学者给出了不同解决方案, 例如IDN[25], TransOSV[26], LGR[27]等. 以上方法采用CNN或自注意力[28-29]的技术, 通常来说, 这两种技术被归于不同的类型. 但是文献[30]提出的ACMix证明两种方法有很强的潜在关系. 本文将其作为模型的判别模块, 将使得模型更加地专注于融合后图片的稀疏信息特征, 以达到更高的判别精度.
本文针对双通道判别方法的局限性, 设计了一种多重通道特征融合网络(Multi-channel feature fusion network, MCFFN)框架, 采用双重逆鉴别注意力进行原始图片和反灰度图片的特征提取与增强, 将提取后的多维向量进行通道整合, 采用ACMix进行图像相似度判断. 该网络模型在CEDAR、BHSig-B、BHSig-H、ChiSig四个数据集上均取得了不错的效果, 证明了该方法的有效性及广泛性.
本文主要贡献如下: 1)提出了MCFFN框架, 通过融合多重孪生网络提取输入图片的多维详细特征来增强真实与伪造图片的差异性; 2)改进了逆鉴别注意力模块, 通过双重逆鉴别注意力机制, 强化了签名特征提取的能力; 3)在CEADR、BHSig-B、BHSig-H和ChiSig数据集上分别进行实验, 取得了很好的效果, 优于基线论文及大多数现有方法.
1. 相关工作
脱机签名验证可以算为一种二分类的问题. 近年来, 基于深度学习的方法优于传统特征设计的方法, 这得益于深度神经网络强大的特征提取能力及其相关技术的发展. 目前学术上对于笔迹识别的相关工作主要分为深度度量学习和双通道判别网络两个方向.
1.1 孪生网络
基于深度度量学习的方法, 其主要做法是两个样本先通过相同的网络生成样本向量, 之后计算两个样本之间的距离来判断是否为同一类样本. 该网络便是孪生网络. 孪生网络又称为连体网络, 是一种特殊的神经网络结构, 该网络可以输入两张图片进行特征提取, 两个模型之间通过共享权重来实现. 1993年, 孪生网络首次被提出用于处理美国支票上的签名识别[31].
孪生网络因其结构简单、易于编码实现等特点, 被广泛应用于图像相似度度量领域. 两个样本经过相同的特征提取器之后, 提取到的特征具有很强的图片代表性. 一般情况下, 该网络常被用于处理两个输入差异不是很大的验证问题等. 该网络输入的是一对样本, 通过训练网络使得标签相同的样本在特征空间当中越靠近, 标签不同的样本在特征空间中越远离. 因此, 该网络促进了脱机签名验证领域的发展. 例如: 文献[23]提出的SigNet, 文献[32]提出的MSDN, 文献[26]提出的TransOSV等. 孪生网络的基本的网络框架如图1所示: 其中, $ A $和$ B $为输入的两个样本, 网络1和网络2为特征提取网络, 两个网络之间参数共享. 输入图片后, 经过特征提取网络生成特征向量$ a $和$ b $, 通过度量函数计算$ a $和$ b $两个样本的度量距离, 最后通过对比损失函数或其他损失函数来优化网络参数.
通过孪生网络生成两个特征向量, 按照同一个类别的图片之间越靠近, 不同的图片之间越远离的原则可以在最小距离与最大距离之间采用遍历的方法寻找最优阈值. 但是遍历寻找最优阈值的方法有一个很大的局限性, 即当前的阈值是遍历当前的训练测试集得到的, 其算法可扩展性很低, 且采用欧氏距离判断不同图片的相似性, 而欧氏距离仅考虑两个点之间的绝对距离, 容易忽视点的方向、缩放的信息, 不会考虑数据之间的相关性, 忽略了特征向量之间的关系. 因此, 需要一个新的方法来解决这个问题.
1.2 双通道判别网络
另一种主流的脱机签名验证方法是双通道判别方法, 将两张图片进行特征融合后, 模型直接输出0/1来判断是否为同一类. 该方法与孪生网络最大的区别在于孪生网络是两个样本通过相同的网络结构生成向量, 之后再进行判断, 而双通道判别网络则是在输入网络之前就把两张图片融合成一张双通道图片, 之后输入单体网络, 获得是否为同一类的结果. 双通道判别网络当中, 网络不会明确提取输入的特征, 而是在第一步就测量它们的距离. 这样的设计大大减少了搜索的参数空间, 使得双通道网络特别适合签名验证. 基于双通道的图像相似度计算方法由文献[33]提出, 自提出以来, 在脱机签名验证领域也取得了不少的成果. 例如, 文献[24]采用双通道融合, 双logit的输出作为监督条件进行训练的方法进行脱机签名验证. 文献[26]提出了一种基于双通道和双重Transformer的离线签名框架等. 双通道判别网络的基本网络框图如图2所示: 其中, $ A $和$ B $为输入的两个样本, 网络模型为特征提取网络. 输入两张图片后, 进入单体网络前先通过图像预处理将两张图片进行通道融合成一张新的图片$ C $, 之后将$ C $输入单体网络, 网络的输出结果直接输出是否为同一个人书写的情况, 也就是0和1.
双通道判别方法本质上是将图像的相似度判断看成是一种二分类的方法. 通过双通道判别网络, 将相似距离的测算放在网络的第一步, 网络直接输出是否是同一个人书写的结果. 该方法相比于孪生网络方法, 一方面大大减少了搜索的参数空间, 有效地加快网络的训练速度; 另一方面, 网络直接输出结果的方法, 避免了孪生网络的阈值的局限性, 在更换训练数据集或增加数据后, 准确率不会受到过多的影响. 当前网络对于双通道判别的方法都是直接在原始图片上或图片裁剪之后进行融合, 即在最初的两张图片上进行距离测算, 此时的图片特征还不明显, 将其简单地融合会导致损失大量的精细的特征, 最终导致模型的性能不佳.
1.3 灰度处理
在脱机签名验证当中, 本文输入的是两张单通道图片, 而文献[34]也尝试采用三通道彩色图片进行训练, 但是效果不如灰度图片. 在灰度图片当中, 不同灰度分布将对模型的结果起着重要的影响, 例如黑底白字和白底黑字, 不同的输入对同一个模型的训练会造成很大的影响. 这是因为在签名验证图片当中, 数据模型仅仅需要笔迹笔划的特征信息, 大部分背景信息是无效甚至是有害处的. 如果背景信息是像素值为0的像素点, 卷积之后的结果没有变化, 这对特征提取甚至是模型的输出有不小的影响. 但是这并不意味着白底黑字的图片都是无效信息, 其中也包含着详细且重要的信息. 文献[25]针对该问题提出了一种逆判别网络, 网络的输入为黑底白字的图片, 该网络通过灰度处理和多路径注意力模块强化了签名验证的有效信息. 该方法的注意力模块是从反灰度图片当中提取特征制作成注意力模块加载在原始灰度图片上, 使得模型更加关注图片的笔划信息. 该方法创新性地将黑底白字及其反灰度图片进行特征提取, 但是该方法的特征提取重心在原始灰度图片上, 而忽视了其反灰度图片并不是只能作为附加注意力的工具, 其信息也包含着大量的笔迹笔划信息.
1.4 ACMix
卷积核和自注意力是表示学习的两种强大技术, 二者之间存在很强的潜在关系, 因为这两种范式的大部分计算实际上是通过相同的操作完成的. 具体来说, 核大小为$ k \times k $的卷积可以分为$ k^{2} $个单独的$ 1 \times 1 $卷积, 然后进行移位和求和操作. 而ACMix当中首先用$ 1 \times 1 $的卷积核将输入特征投影为查询、键和值, 然后计算注意力权重和值矩阵的聚合, 即局部特征的聚集. 因此, ACMix能够将这两种看似不同的范式进行优雅的整合, 既享有自注意力和卷积的好处, 同时又与纯卷积或自注意力相比具有更小的开销[30].
本文根据双通道判别网络的特征缺失问题提出了一个名为MCFFN的网络结构, 采用四重孪生网络和双重逆鉴别注意力机制进行特征提取, 将提取之后的多重细微特征进行通道融合, 最后基于自注意力和卷积网络判断是否是真实样本对.
2. 方法
MCFFN的网络结构如图3所示, 作为一个端到端的签名验证系统, 由特征提取、通道融合、ACMix模块组成. 一对签名图像先进行反灰度的获取, 总共生成四张图片, 之后输入到四重孪生网络当中. 然后, 对同一张图片的灰度与反灰度图片通过双重逆鉴别注意力计算加权后的特征, 提取大量的细节特征. 最后, 将所提取到的不同图片表示进行通道融合, 采用卷积神经网络与自注意力结合的方式进行判别处理, 以实现高相似度的图像判别.
2.1 双重逆鉴别注意力模块
该网络的特征提取器采用四重孪生网络结构, 该网络由两个卷积块组成, 每个卷积块包含两个由ReLU函数激活的卷积层, 每个卷积层为$ 3 \times 3 $, 步长为1, 填充为1. 每个卷积块的维度为64、128. 参考图片及其反灰度图片、测试图片及其反灰度图片分别输入到特征提取网络, 网络之间共享权重. 在灰度图及对应的反灰度图的卷积模块之间由四个双重笔划注意力模块连接, 每个注意力模块连接判别流中的卷积模块和逆流中的卷积模块, 如图4所示.
同一张图片的灰度图片卷积块与反灰度图片卷积块同时输入到双重逆鉴别注意力模块当中, 其中根据灰度图片卷积块与反灰度图片卷积块的不同时刻的输出分为两条数据流进入共享注意力当中. 注意力模块内部流程图如图4右图所示, 并以左图的黄色数据流为例: 经过灰度图片卷积块输出的特征向量输入到上采样结构中, 该结构使用最近邻算法进行上采样, 并使用 Sigmoid 激活进行卷积运算后, 输出为$ g $. 而反灰度图片卷积块在ReLU后输出为$ h $, 将$ h $乘以$ g $元素, 然后添加$ h $产生中间注意力测量$ h\cdot g + h $, 其中“·”表示点乘. 接下来的全局平均池化(Global average pooling, GAP)层和具有 Sigmoid 激活的全连接层(Full connection, FC)接收中间注意力测量并输出权重向量$ f $. 将每个通道乘以$ f $的每个元素的中间注意力测量分别生成最终的注意力$ (h\cdot g+h) \times f $, 之后输出到反灰度图片卷积块的第二层进行卷积处理. 该方法根据输入输出的不同, 分为红色与黄色两条数据流, 期间共享注意力模块参数, 两个卷积块当中的虚线框也共享权重, 两个卷积块之间也共享权重. 假设灰度图片的ReLU输出为$ x_1 $, 灰度图片卷积块的输出为$ y_1 $; 反灰度图片的ReLU输出为$ x_2 $, 反灰度图片卷积块输出为$ y_2 $; 虚线部分的共享卷积块统称为$ w $, 因此, 不同数据流有不同的公式, 具体如式(1) ~ (4)所示:
$$ \begin{align*} & out_1 = h(x_1)\;g[w(x_2)]+h(x_1) \end{align*} $$ (1) $$ \begin{align*} & y_1=w[out_1\times f(out_1)] \end{align*} $$ (2) $$ \begin{align*} & out_2 = h(x_2)\cdot g[w(x_1)]+h(x_2) \end{align*} $$ (3) $$ \begin{align*} & y_2=w[out_2 \times f(out_2)] \end{align*} $$ (4) 其中, 式(1)、(2)为红色数据流, 式(3)、(4)为黄色数据流.
在注意力模块当中, 本文将灰度图片与反灰度图片分别进行注意力处理, 形成双重逆鉴别注意力. MCFFN与IDN的注意力特征图如图5所示, 通过与IDN的注意力进行对比发现, IDN虽然有四重注意力, 但是随着卷积操作的深入, 注意力模块的关注点更加的抽象. 而MCFFN的注意力模块, 一方面双重特征的引入, 使得注意力之间存在制约, 实现在第二层注意力特征图当中也能准确关注到笔画边缘信息; 另一个方面, 通过减少层数, 使得在通道融合时, 提取到足够详细的特征. 通过多路径注意力机制, 增强了签名验证的重要特征.
由于本文的注意力模块连接了原灰度图和反灰度图, 最终的注意力掩模将引导网络学习用于签名验证的判别特征并抑制误导信息. 整个MCFFN框架有4路注意力模块连接不同的卷积模块, 将注意力机制应用于不同的尺度和分辨率.
2.2 多重通道融合
双通道判别的方法将两张输入的单通道图片融合成一张双通道图片, 并且直接输出是否相似来快速地得到结果. 但是, 双通道判别网络因在图片的原始状态就进行通道融合, 此时的图片特征还不明显, 将其简单地融合会损失大量精细的特征, 最终导致模型的性能不佳. 因此, 在MCFFN当中, 融合了四张分别经过特征提取处理后的128维特征信息的图片, 总共融合了512维特征信息. 相比于传统的双通道判别网络, MCFFN不仅仅包含了需要判别的两张图片的卷积特征, 还包含了两张图片的反灰度图片的卷积特征. 这种方式在融合过程当中考虑了更多的通道信息, 使得网络能够捕捉更多的信息, 提高了融合特征的多样性. 因此, 在融合后的判别阶段, 该网络能够达到更高的精度.
MCFFN将提取后的参考图片、参考图片反灰度图片、测试图片、测试图片反灰度图片特征进行连接, 每张图片各有128维, 之后经过判别模块最终输出0/1来判别是否为同一个人. 与双通道判别方法相比, 经过多通道融合而成的多通道图像, 融合的图像特征更多, 计算图片之间的距离有正负样本各一张, 总共两张图片转变为正负样本各256维来计算差异性, 由于图片特征更多, 计算出来的距离更加精确.
2.3 判别模块
在判别模块当中, 本文主体采用了ACMix模块[30], 辅助两个小卷积块作为判别. 在特征融合之后, 得到具有512个维度的特征向量, 特征之间的差别多且大, 为了准确提取到特征, 采用卷积与自注意力结合的ACMix模块进行特征提取.
经过通道融合后的 512 维特征表示并非直接输入全连接层进行分类, 而是先经过一个基于单体网络模型的判别模块. 在模块中进行整体的特征学习与基于自注意力与卷积网络的判断, 最终输出为0/1二分类的结果. 判别模块的结构由两个小型的卷积模块、一个ACMix模块组成, 其中第一个小型卷积模块的输入为整合通道融合之后的具有区分性的512维特征, 之后采用ACMix的卷积和自注意力机制进行特征提取, 最后采用小型的卷积模块进行特征归纳, 并进入多重感知器进行分类. 此时进入多重感知器的特征为经过判别网络提取的512维图像的特征, 该特征包含参考图片、参考图片反灰度图片、测试图片、测试图片反灰度图片这四张图片整体之间的差异特征信息.
在多重感知器当中引入了全局平均池化来减少网络冗余, 为避免过拟合, 本文采用了0.5的Dropout. 最后, 整个网络将输出一个经过Sigmoid的特征值, 即生成 $ 0 \sim 1 $ 的评判概率. 在准确率判断过程当中, 本文设定该评判概率小于等于0.5的概率为伪造签名, 大于0.5的概率即为真实签名. 损失函数采用二分类交叉熵损失, 其公式为:
$$ \begin{align*} L = -\frac{1}{n}\sum_{i}^{n}[y_i\mathrm{lg}(p_i)+(1-y_i)\mathrm{lg}(1-p_i)] \end{align*} $$ (5) 其中, $ y_i $表示样本i的真实标签, 正类为1, 负类为0. $ p_i $表示样本i预测为正类的概率, 同理$1- p_i $则为样本预测为负类的概率.
3. 实验
本文基于PyTorch(1.13.0)框架, 使用NVIDIA-3090训练模型. 采用Adam优化器, 初始学习率设置为$ 10^{-6} $, 权重衰减为$ 10^{-5} $. batchsize大小设置为 32, ACMix模块的kernel_att为3, head为2. 另外, 本文也进行了跨语言实验, 即在一种语言的数据集上进行训练并在不同语言的另一个数据集上进行测试.
3.1 数据集
数据集的数量与质量对模型的影响很大, 目前随着国内外学者对脱机笔迹鉴别方向的深入研究, 提出了不少公开的脱机数据集, 本文将使用英语的CEDAR数据集, 包含孟加拉语和印地语的BHSig260数据集, 中文的ChiSig数据集进行模型的测试评估. 各种数据集的统计信息如表1所示.
表 1 脱机签名验证数据集Table 1 Offline signature verification dataset数据集名称 语言 签名种类 图片数量 真实伪造样本比 CEDAR 英语 55 2624 24/24 BHSig-B 孟加拉语 100 5400 24/30 BHSig-H 印地语 160 8640 24/30 ChiSig 中文 102 10242 −/− CEDAR数据集为英语语种的签名样本数据集. 它由55名签名者样本组成, 每名签名者有24张真实签名样本和24张伪造签名样本. 根据前人的工作, 本文选取50个人的样本进行训练, 其余5名签名者的样本进行测试. 对于每名签名者, 该数据集有276个参考−真实样本对, 576个参考−伪造样本对, 为保证正负样本平衡, 本文将根据参考−真实样本对的数量随机抽取参考−伪造样本对, 所以对于每名签名者, 本文将有276个参考−真实样本对, 276个参考−伪造样本对进行训练和测试.
BHSig260数据集包含孟加拉语和印地语数据集, 本文将其看作两个不同的数据集. BHSig-B数据集包含100名签名者的孟加拉语签名图像. 每名签名者有24个真实签名和30个伪造签名. 本文根据前人的经验, 随机选择50名签名者的签名进行训练, 其余签名者的签名图像进行测试. BHSig-H数据集包含160名签名者的印地语签名图像. 每名签名者有24个真实签名和30个伪造签名. 同样地, 本文将随机选择100名签名者的签名作为训练集来训练模型, 其余60名签名者的签名作为测试数据. 对于以上两个数据集的每名签名者, 本文同样随机抽取276个参考−真实样本对, 276个参考−伪造样本对进行训练和测试.
文献[18]构建了一个新颖的中文文档离线签名伪造检测基准数据集ChiSig, 包括签名检测、恢复和验证等所有任务. 数据集由干净的手写签名、合成的干扰手写签名和具有手写签名的合成文档组成. 作者通过随机生成500个名字, 然后让志愿者按照一定的规则签名, 得到干净的签名数据, 可用于签名验证任务. 因其志愿者的数量大于名字数量, 因此存在同名但是不同书写者的现象, 这对于签名验证是一个很大的挑战. 之后, 作者通过XFUND数据集、中国国家标准和专利等公共资源获得可用于合成背景的扫描文档. 对于该数据集, 本文随机抽取250个签名作为训练集, 250个签名作为测试集. 对于每个名字, 同个志愿者书写之间的签名作为真实样本对, 不同志愿者之间的签名作为伪造样本对. 对于专门的伪造数据, 仅作为伪造样本对, 伪造数据之间不作为真实样本对. 为保证真实与伪造样本对之间的数据均衡, 本文去除了多余的样本对.
3.2 评估指标
对于CEDAR和BHSig260数据集, 本文将沿照文献[25]的设置, 使用错误拒绝率(False rejection rate, FRR)、错误接受率(False acceptance rate, FAR)和准确率(Accuracy, ACC)来综合评估MCFFN, 并将其与其他现有方法进行比较. FRR定义为错误拒绝数量除以真实样本数量的比率, FAR定义为错误接受数量除以伪造样本数量的比率, ACC定义为判断正确的样本除以总样本量的比率.
而对于ChiSig数据集, 本文采用数据集作者提出的判断指标准确率、等错误率(Equal error rate, EER)和真实接受率(True acceptance rate, TAR)来进行比较. 其中EER来评估FRR等于FAR的平衡点, EER越低, 模型性能越好. TAR的计算方法如式(6) ~ (8)所示, 且当错误接受率(FAR)等于$ 10^{-3} $时, TAR才进行计算:
$$ FAR = \frac{错误接受数}{伪造数量} $$ (6) $$FRR = \frac{错误拒绝数}{真实数量} $$ (7) $$TAR = 1 - FRR $$ (8) 3.3 对比实验
为验证模型的效果, 根据当前笔迹鉴别任务的发展, 本文选取了最新的深度学习模型进行比较, 分别是 SigNet (2017arXiv)[23]、IDN (2019CVPR)[25]、DeepHSV (2019ICDAR)[24]、SDINet (2021AAAI)[35]、SURDS (2022ICPR)[36]、2C2S (2023EAAI)[37]、TransOSV (2022ICME)[26], 这些模型既有孪生网络与度量学习相结合的方法, 也有采用双通道判别的方法, 比较结果足以说明本文所提MCFFN模型的优势. 为方便观察, 对于最优解, 本文采用加粗处理, 次优解则采用下划线处理, 次次优解则为波浪线. CEDAR、BHSig-B、BHSig-H分别在表2、表3、表4中展示, 对于ChiSig数据集的结果, 本文将在第3.4节进行介绍.
表 2 基于CEDAR数据集的对比实验 (%)Table 2 Comparison on CEDAR dataset (%)模型名称 FRR FAR ACC SigNet (2017arXiv) 0 0 100.00 DeepHSV (2019ICDAR) — — 100.00 IDN (2019CVPR) 2.17 5.87 96.38 SDINet (2021AAAI) 3.42 0.73 98.25 2C2S (2023EAAI) 0 0 100.00 OURS 0 0 100.00 表 3 基于BHSig-B数据集的对比实验 (%)Table 3 Comparison on BHSig-B dataset (%)模型名称 FRR FAR ACC SigNet (2017arXiv) 13.89 13.89 86.11 DeepHSV (2019ICDAR) — — 88.08 IDN (2019CVPR) 5.24 4.12 95.32 SDINet (2021AAAI) 7.86 3.30 94.42 SURDS (2022ICPR) 5.42 19.89 87.34 2C2S (2023EAAI) 8.11 5.37 93.25 TransOSV (2022ICME) 9.95 9.95 90.05 OURS 3.86 3.84 95.61 表 4 基于BHSig-H数据集的对比实验 (%)Table 4 Comparison on BHSig-H dataset (%)模型名称 FRR FAR ACC SigNet (2017arXiv) 15.36 15.36 84.64 DeepHSV (2019ICDAR) — — 86.66 IDN (2019CVPR) 4.93 8.99 93.04 SDINet (2021AAAI) 3.77 6.24 95.00 SURDS (2022ICPR) 8.98 12.01 89.50 2C2S (2023EAAI) 9.98 8.66 90.68 TransOSV (2022ICME) 3.39 3.39 96.61 OURS 4.89 4.89 95.70 在CEDAR数据集的实验结果中, MCFFN模型达到100%的准确率. 其主要原因在于该数据集样本较少、结构简单且差异性较大, 因此很多方法在此数据集上取得了良好的成绩. 综合分析, MCFFN的ACC分别比IDN、SDI提高了3.62%, 1.75%, 并与SigNet、DeepHSV、2C2S一样, 达到了100%.
在BHSig-B数据集当中, 实验结果表明MCFFN比当前主流的脱机笔迹鉴别算法都更具有优势, 准确率达到了95.61%, 并且在FRR与FAR的比较当中, 也证明了这一点, 达到了最优或次优. MCFFN与IDN相比, ACC提高了0.29%, 与目前最新的算法2C2S、TransOSV相比, 分别提高了2.36%、5.56%. 这足以证明本文提出的MCFFN模型的优越性.
与CEDAR、BHSig-B相同, MCFFN在BHSig-H数据集上也取得了不错的结果. 与目前最新的算法相比, MCFFN在BHSig-H数据集上取得了95.7%的准确率, 虽然不是最优的结果, FRR为次次优, 其余为次优. 并且与最优的相比, MCFFN的准确率仅仅差了0.89%, 而在BHSig-B当中, 与BHSig-H的最优模型TransOSV相比, MCFFN在准确率上取得了5.56%的领先. 足以说明, MCFFN的泛化性优于TransOSV.
3.4 消融实验
此外, 本文在ChiSig数据集上进行了消融实验, 其中InceptionResnet是数据集论文提供的基线模型[18], 本文通过复现SigNet、IDN代码进行对比实验.
如表5所示, 基准IDN与将其通道融合的方法相对比, 通道融合的方法比原本的方法准确率提高了0.9%; 双重逆鉴别注意力扩充了反灰度图片的信息, 使得通道融合的时候有更加详细的信息, 这个方法使得准确率提升到了88.96%, 相比于通道融合, 提高了3.24%. 而ACMix的判别结构, 使模型具有更高的准确率, 达到了95.23%.
表 5 基于ChiSig数据集的消融实验 (%)Table 5 Ablation experiment on ChiSig dataset (%)模型名称 EER TAR ACC InceptionResnet 6.60 28.10 93.60 SigNet — — 82.28 IDN (基线) 17.91 10.50 84.82 IDN (通道融合) 14.81 9.61 85.72 IDN (通道融合 + 注意力) 11.38 7.82 88.96 OURS (无反灰度图片, 无注意力) 11.78 32.49 88.09 OURS (无反灰度图片, 单注意力) 10.83 — 89.20 OURS (反灰度图片, 无注意力) 7.84 — 92.14 OURS 5.19 28.96 95.23 为了证明反灰度图片及相应的注意力对结果的影响, 本文也针对灰度图片和注意力进行了删减实验, 其中无反灰度图片表示模型仅仅输入参考图片与测试图片, 单注意力表示在双重注意力模块当中, 点乘及上采样的输入由本身提供, 其余均和MCFFN的最终模型一致. 对于无反灰度图片, 引入单注意力后, 准确率提高了1.11%, 而引入反灰度图片, 准确率则提高4.05%. 实验结果表明注意力与反灰度图片的添加具有一定的可行性, 反灰度图片的添加比注意力的添加提升效果更大.
该消融实验, 证明了本文所提出的方法具有合理性. 另外, 为了方便未来的研究人员采用FRR和FAR指标进行对比, 本文也计算了MCFFN在ChiSig数据集上的FRR和FAR指标, 如表6所示.
表 6 基于ChiSig数据集的主流参数 (%)Table 6 Main parameters on ChiSig dataset (%)模型名称 FRR FAR ACC IDN 10.46 17.91 84.82 IDN (通道融合) 9.61 18.97 85.72 IDN (通道融合 + 注意力) 7.82 14.27 88.96 OURS (无反灰度图片, 无注意力) 21.91 17.26 88.09 OURS (无反灰度图片, 单注意力) 15.59 16.30 89.20 OURS (反灰度图片, 无注意力) 6.90 17.18 92.14 OURS 5.34 5.34 95.23 3.5 跨语言实验
此外, 本文也进行了跨语种测试. 在这项工作当中, 本文采用CEDAR、BHSig-B、BHSig-H、ChiSig四种不同语言进行测试. 本文采用一种语言的训练集进行训练, 剩下语言的训练集进行测试. 例如, 本文在BHSig-B的训练数据集上训练模型, 并在 BHSig-H 的测试数据集上测试模型. 训练和测试数据的划分与每个独立数据集上的实验相同. 表7显示了跨语言测试的准确率, 其中行对应于训练语言, 列对应于测试语言.
表 7 跨语言实验 (%)Table 7 Cross-language test (%)训练集 测试集 CEDAR BHSig-B BHSig-H ChiSig CEDAR 100.00 48.76 49.89 57.48 BHSig-B 64.86 95.61 82.79 63.71 BHSig-H 50.11 86.27 95.70 20.00 ChiSig 54.60 70.02 55.37 95.23 表7显示跨语言的签名验证性能快速下降. 本文认为脱机签名验证系统的本质是风格特征匹配, 每个人的签名与每个人的书写风格习惯密切相关, 不同语言风格的书写习惯不一样, 导致当前数据集学习的风格无法适用于其他数据集. BHSig-B数据集与BHSig-H数据集的准确率相比于其他数据集更高, 可能是由于印地语和孟加拉语的书写方式更加接近.
4. 结束语
本文提出了一种新颖的脱机笔迹验证模型MCFFN, 用于独立于作者的场景的手写签名验证, 该模型先通过两层卷积网络和双重注意力模块进行特征提取, 然后采用通道融合的方式进行特征融合, 最后采用ACMix判别模块进行多张图片的相似性判断. 采用逆监督机制和双重注意力机制来解决传统通道融合方法中的特征信息不够详细问题. 在测试中, 输入参考签名图像和测试签名图像, 模型直接输出测试签名是真实的还是伪造的. 实验证明了所提出方法的优势和潜力. 未来的工作将集中于跨语言签名验证和识别的研究.
-
图 2 数据驱动的无线网络下浓密过程的控制结构图
Fig. 2 Structure diagram of data-driven for MSTP under wireless network environment
图 3 浓密过程中浓度、流量的跟踪曲线以及底流泵转速的输入的曲线
Fig. 3 The tracing result of the slurry concentration and the slurry flow-rate, and the input of the frequency of slurry pump
图 5 流量过程Q-学习的结果
Fig. 5 The result of the slurry flow-rate process during the Q-learning process
图 6 浓度过程控制增益$\tilde L$的收敛过程
Fig. 6 Convergence of $\tilde L$to its optimal value $\tilde L$*
图 7 浓度过程丢包Q-学习的结果
Fig. 7 The result of the slurry concentration process during the dropout Q-learning process
图 8 浓度过程Q-学习的结果
Fig. 8 The result of the slurry concentration process during the Q-learning process
表 1 浓密过程符号表
Table 1 Mixed separation thickening process symbol table
符号 物理含义 符号 物理含义 $S$ 浓密机横截面积 $\frac{{\Delta \rho (t)}}{{g\rho (\cdot)}}$ 泵两端管路单位重量
矿浆的势能差$\mu$ 介质的粘度 $D$ 阻力损失 $p$ 平均浓度系数 $k_i$, $\bar{K}$ 与浓密机结构有关的常数 $p _s$ 矿浆内固体密度 $g$ 重力加速度 $p _l$ 矿浆内液体密度 $\theta(t)$ 干扰 $k_{0}$ 静态放大系数 $h(\cdot)$ 泥层界面高度 $\tau$ 时间常数 ${v_p}(\cdot)$ 矿浆颗粒沉降速度 ${\varphi _1}$ 浮选中矿矿浆浓度 ${q_1}$ 浮选中矿流量 ${\varphi _2}$ 污水浓度 ${q_2}$ 污水流量 ${\varphi _3}$ 磁选精矿矿浆浓度 ${q_3}$ 磁选精矿矿浆流量 
下载: 导出CSV
表 2 对比实验2和3评价指标
Table 2 Performance index of comparison experiment
IAE MSE 本文$Q_2$ 8.4224 0.0191 未丢包 8.4093 0.0190 增大$Q_2$ 0.0418 6.63$\times 10^{-7}$
下载: 导出CSV
-
[1] Diehl S. A regulator for continuous sedimentation in ideal clarifier-thickener units. Journal of Engineering Mathematics, 2008, 60(3-4):265-291 doi: 10.1007/s10665-007-9149-3 [2] Betancourt F, Bürger R, Diehl S, Farås S. Modeling and controlling clarifier-thickeners fed by suspensions with time-dependent properties. Minerals Engineering, 2014, 62:91-101 doi: 10.1016/j.mineng.2013.12.011 [3] Cao X H, Cheng P, Chen J M, Sun Y X. An online optimization approach for control and communication codesign in networked cyber-physical systems. IEEE Transactions on Industrial Informatics, 2013, 9(1):439-450 doi: 10.1109/TII.2012.2216537 [4] Fan J L, Jiang Y, Chai T Y. MPC-based setpoint compensation with unreliable wireless communications and constrained operational conditions. Neurocomputing, 2017, 270:110-121 doi: 10.1016/j.neucom.2016.10.098 [5] 范家璐, 姜艺, 柴天佑.无线网络环境下工业过程运行反馈控制方法.自动化学报, 2016, 42(8):1166-1174 http://www.aas.net.cn/CN/abstract/abstract18906.shtmlFan Jia-Lu, Jiang Yi, Chai Tian-You. Operational feedback control of industrial processes in a wireless network environment. Acta Automatica Sinica, 2016, 42(8):1166-1174onumber http://www.aas.net.cn/CN/abstract/abstract18906.shtml [6] Sidrak Y L. Control of the thickener operation in alumina production. Control Engineering Practice, 1997, 5(10):1417-1426 doi: 10.1016/S0967-0661(97)00138-X [7] 李海波, 柴天佑, 赵大勇.混合选别浓密机底流矿浆浓度和流量区间智能切换控制方法.自动化学报, 2014, 40(9):1967-1975 http://www.aas.net.cn/CN/abstract/abstract18467.shtmlLi Hai-Bo, Chai Tian-You, Zhao Da-Yong. Intelligent switching control of underflow slurry concentration and flowrate intervals in mixed separation thickener. Acta Automatica Sinica, 2014, 40(9):1967-1975onumber http://www.aas.net.cn/CN/abstract/abstract18467.shtml [8] Chai T Y, Jia Y, Li H B, Wang H. An intelligent switching control for a mixed separation thickener process. Control Engineering Practice, 2016, 57:61-71 doi: 10.1016/j.conengprac.2016.07.007 [9] 王琳岩, 李健, 贾瑶, 柴天佑.混合选别浓密过程双速率智能切换控制.自动化学报, 2018, 44(2):330-343 http://www.aas.net.cn/CN/abstract/abstract19228.shtmlWang Lin-Yan, Li Jian, Jia Yao, Chai Tian-You. Dual-rate intelligent switching control for mixed separation thickening process. Acta Automatica Sinica, 2018, 44(2):330-343onumber http://www.aas.net.cn/CN/abstract/abstract19228.shtml [10] Jiang Y, Fan J L, Chai T Y, Chen T W. Setpoint dynamic compensation via output feedback control with network induced time delays. In:Proceedings of the 2015 American Control Conference (ACC). Chicago, IL, USA:IEEE, 2015. 5384-5389 [11] Schenato L, Sinopoli B, Franceschetti M, Poolla K, Sastry S S. Foundations of control and estimation over lossy networks. Proceedings of the IEEE, 2007, 95(1):163-187 doi: 10.1109/JPROC.2006.887306 [12] Sinopoli B, Schenato L, Franceschetti M, Poolla K, Jordan M I, Sastry S S. Kalman filtering with intermittent observations. IEEE Transactions on Automatic Control, 2004, 49(9):1453-1464 doi: 10.1109/TAC.2004.834121 [13] Shi Y, Yu B. Robust mixed H2/H∞ control of networked control systems with random time delays in both forward and backward communication links. Automatica, 2011, 47(4):754-760 doi: 10.1016/j.automatica.2011.01.022 [14] Zhang H, Shi Y, Wang J M. Observer-based tracking controller design for networked predictive control systems with uncertain Markov delays. International Journal of Control, 2013, 86(10):1824-1836 doi: 10.1080/00207179.2013.797107 [15] Zhang J H, Lin Y J, Shi P. Output tracking control of networked control systems via delay compensation controllers. Automatica, 2015, 57:85-92 doi: 10.1016/j.automatica.2015.04.006 [16] Jiang Y, Fan J L, Chai T Y, Li J N, Lewis F L. Data-driven flotation industrial process operational optimal control based on reinforcement learning. IEEE Transactions on Industrial Informatics, 2018, 14(5):1974-1989 doi: 10.1109/TII.2017.2761852 [17] Gao W N, Jiang Z P, Lewis F L, Wang Y B. Leader-to-formation stability of multi-agent systems:an adaptive optimal control approach. IEEE Transactions on Automatic Control, 2018, 63(10):3581-3587 doi: 10.1109/TAC.2018.2799526 [18] Gao W N, Jiang Z P. Learning-based adaptive optimal tracking control of strict-feedback nonlinear systems. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(6):2614-2624 doi: 10.1109/TNNLS.2017.2761718 [19] Xu H, Sahoo A, Jagannathan S. Stochastic adaptive event-triggered control and network scheduling protocol co-design for distributed networked systems. IET Control Theory & Applications, 2014, 8(18):2253-2265 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=f947c6504d4b00d6e31cd0253ba2ad40 [20] Xu H, Jagannathan S, Lewis F L. Stochastic optimal control of unknown linear networked control system in the presence of random delays and packet losses. Automatica, 2012, 48(6):1017-1030 doi: 10.1016/j.automatica.2012.03.007 [21] Xu H, Jagannathan S. Stochastic optimal controller design for uncertain nonlinear networked control system via neuro dynamic programming. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(3):471-484 doi: 10.1109/TNNLS.2012.2234133 [22] Kim B H, Klima M S. Development and application of a dynamic model for hindered-settling column separations. Minerals Engineering, 2004, 17(3):403-410 doi: 10.1016/j.mineng.2003.11.013 [23] Zheng Y Y. Mathematical Mode of Anaerobic Processes Applied to the Anaerobic Sequencing Batch Reactor[Ph.D. dissertation], University of Toronto, Canada, 2003 [24] Jiang Y, Fan J L, Chai T Y, Lewis F L, Li J N. Tracking control for linear discrete-time networked control systems with unknown dynamics and dropout. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(10):4607-4620 doi: 10.1109/TNNLS.2017.2771459 [25] 姜艺. 浮选过程运行反馈双率区间切换控制方法[硕士学位论文], 东北大学, 中国, 2016Jiang Yi. Operational Feedback Multi-rate Interval Switch Control of Flotation Processes[Master thesis], Northeastern University, China, 2016onumber [26] Kiumarsi B, Lewis F L, Modares H, Karimpour A, Naghibi-Sistani M B. Reinforcement Q-learning for optimal tracking control of linear discrete-time systems with unknown dynamics. Automatica, 2014, 50(4):1167-1175 doi: 10.1016/j.automatica.2014.02.015 [27] Al-Tamimi A, Lewis F L, Abu-Khalaf M. Model-free Q-learning designs for linear discrete-time zero-sum games with application to H-infinity control. Automatica, 2007, 43(3):473-481 doi: 10.1016/j.automatica.2006.09.019 [28] Gao W N, Huang M Z, Jiang Z P, Chai T Y. Sampled-data-based adaptive optimal output-feedback control of a 2-degree-of-freedom helicopter. IET Control Theory & Applications, 2016, 10(12):1440-1447 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=492a5768c546986177b1236275ae85ca [29] 姜艺, 范家璐, 贾瑶, 柴天佑.数据驱动的浮选过程运行反馈解耦控制方法.自动化学报, 2019, 45(4):759-770 http://www.aas.net.cn/CN/abstract/abstract19477.shtmlJiang Yi, Fan Jia-Lu, Jia Yao, Chai Tian-You. Data-driven flotation process operational feedback decoupling control. Acta Automatica Sinica, 2019, 45(4):759-770 http://www.aas.net.cn/CN/abstract/abstract19477.shtml 期刊类型引用(7)
1. 褚菲，王佩，朱安强，张海军. 面向过程控制的煤泥浮选机理建模与仿真研究. 控制工程. 2024(12): 2129-2139+2166 . 
百度学术2. 赵建国，杨春雨. 复杂工业过程非串级双速率组合分散运行优化控制. 自动化学报. 2023(01): 172-184 . 本站查看3. 姜艺，范家璐，柴天佑. 数据驱动的保证收敛速率最优输出调节. 自动化学报. 2022(04): 980-991 . 本站查看4. 庞文砚，范家璐，姜艺，LEWIS Frank Leroy. 基于强化学习的部分线性离散时间系统的最优输出调节. 自动化学报. 2022(09): 2242-2253 . 本站查看5. 牛桂强. 絮凝剂制备系统在某金矿尾矿浓缩的应用. 铜业工程. 2022(04): 37-40 . 百度学术6. 李臻，范家璐，姜艺，柴天佑. 一种基于Off-Policy的无模型输出数据反馈H_∞控制方法. 自动化学报. 2021(09): 2182-2193 . 本站查看7. 盘城. 基于数据驱动的智能个性化排版系统设计. 自动化与仪器仪表. 2020(12): 66-69+74 . 百度学术其他类型引用(11)
-
下载:
计量
- 文章访问数: 2433
- HTML全文浏览量: 266
- PDF下载量: 386
- 被引次数: 18
