-
摘要: 现有视觉缺陷检测技术通常基于传统电荷耦合器件(Charge-coupled device, CCD)或互补金属氧化物半导体(Complementary metal-oxide-semiconductor, CMOS)相机进行缺陷成像和后端检测算法开发. 然而, 现有技术存在成像速度慢、动态范围小、背景干扰大等问题, 难以实现对高反光产品表面弱小瑕疵的快速检测. 针对上述挑战, 创新性地提出了一套基于动态视觉传感器(Dynamic vision sensor, DVS)的缺陷检测新模式, 以实现对具有高反光特性的铝基盘片表面缺陷的高效检测. DVS是一种新型的仿生视觉传感器, 具有成像速度快、动态范围大、运动目标捕捉能力强等优势. 首先开展了面向铝基盘片高反光表面弱小瑕疵的DVS成像实验, 并分析总结了DVS缺陷成像的特性与优势. 随后, 构建了第一个基于DVS的缺陷检测数据集(Event-based defect detection dataset, EDD-10k), 包含划痕、点痕、污渍三类常见缺陷类型. 最后, 针对缺陷形态多变、纹理稀疏、噪声干扰等问题, 提出了一种基于时序不规则特征聚合框架的DVS缺陷检测算法(Temporal irregular feature aggregation framework for event-based defect detection, TIFF-EDD), 实现对缺陷目标的有效检测.Abstract: Current visual defect detection technologies usually rely on conventional charge-coupled device (CCD) or complementary metal-oxide-semiconductor (CMOS) cameras for defect imaging and the development of backend detection algorithms. However, these technologies encounter challenges such as slow imaging speed, limited dynamic range, and significant background interference, which hinder the rapid detection of minor defects on highly reflective product surfaces. To address these challenges, we innovatively propose a new defect detection mode based on dynamic vision sensor (DVS) to achieve efficient defect detection on the highly reflective surfaces of aluminum disks. DVS is a novel bio-inspired visual sensor with advantages such as fast imaging speed, high dynamic range, and excellent ability to capture moving objects. First, we conduct DVS imaging experiments for minor defects on the highly reflective surfaces of aluminum disk and analyze the characteristics and advantages of DVS on defect imaging. Then, we establish the first event-based defect detection dataset (EDD-10k) based on DVS, including three common defect types: Scratch, point and stain. Finally, to address the issues such as varying defect shapes, sparse textures, and noise interference, we propose a temporal irregular feature aggregation framework for event-based defect detection (TIFF-EDD), and realize the effective detection of defect targets.
-
发票是财务系统的重要组成部分, 发票的识别和处理是财务人员的首要工作. 人工智能已被广泛应用在人脸识别、车辆识别、物体检测等各个领域, 而基于人工智能的发票识别, 可为财务人员节省大量的时间. 目前发票自动识别根据使用场景不同, 可分为移动客户端、云端和本地客户端. 移动端客户端发票识别是通过手机端的离线SDK, 集成到公司财务系统的APP内, 自动检测发票的边线并拍照识别, 提取发票上的关键信息; 云端发票识别是通过调用云平台的API接口, 将拍照或者扫描的发票图像传送到云平台上进行识别; 而本地客户端识别是识别软件与扫描仪硬件配合使用进行识别. 三种方式本质都是基于识别软件进行的. 由于发票种类繁多, 格式不固定, 有的发票存在手写的内容, 且不同人手写字的风格不一, 因此基于传统数字图像处理的识别软件, 相应识别准确率较低. 随着卷积神经网络的兴起, 包括表格线定位、手写文字识别等问题得到很好的解决. 文献[1]采用卷积神经网络实现增值税发票批量识别, 通过对发票图像进行采集、预处理、字符切割, 基于CNN神经网络进行字符识别, 同时融入人工修改, 提高识别率. 但是发票上的印章对发票识别准确率依旧具有一定影响, 且印章是每张发票必不可少的, 因此如何消除印章也是现在OCR (Optical character recognition)领域的研究热点. 目前大多数研究者对于发票印章的研究主要是印章识别与验证[2-4]. 针对发票印章的去除问题, 若通过印章定位, 而后直接挖除印章则会丢失印章下的发票内容; 若采用过滤颜色的方式来消除, 会导致发票中与印章颜色相近的文字变得模糊不清, 而且不同发票的印章颜色不同. 文献[5]提出一种基于彩色图像的二次分割算法来去除印章, 但是对于发票的要求较高, 需要保证印章的颜色为红色或者蓝色, 票据不能出现明显的扭曲和变形, 字体还需要求是黑色或灰色, 其实用性较差. 文献[6]针对印章覆盖、发票折痕等干扰因素影响发票号码分割的问题, 采用基于数字结构特征的识别算法, 通过对噪声粘连区域进行修复, 解决干扰因素对数字分割的影响, 实现发票号码识别. 但是如何判断噪声区域最小连通面积的阈值是算法关键, 当发票数量增多, 印章颜色深度和位置不统一时, 消除印章干扰则很困难.
各种图像处理软件也可用在印章消除上, 如PhotoShop, 但需要基于软件进行手动处理, 大量发票的印章消除则会新增大量工作量, 反倒得不偿失. 因此研究如何自动消除发票印章, 对提高发票识别准确率具有重要意义. 生成式对抗网络GAN (Generative adversarial network)是Goodfellow等在2014年提出的一种生成式网络[7]. 在GAN提出之前, 常见的生成式网络有最大似然估计法、近似法[8]、马尔科夫链法[9]等. 这些方法的基本步骤是, 先对样本数据进行分布假设, 然后利用数据样本直接对假设分布的参数进行拟合, 这会导致学习到的生成式模型受到限制[10]. 而GAN不同于上述的生成网络, 该方法采用对抗学习方式, 先通过判别器学习生成分布和真实分布之间的差异, 再驱使生成器去缩小差异. GAN相比于其他的生成网络, 对数据的分布不做显性的限制, 从而避免了人工设计网络分布[11]. GAN目前常用于实现图像的风格迁移以及超分辨图像的生成. 本文基于生成对抗网络提出用于消除印章的SealGAN网络. SealGAN借鉴了CycleGAN网络的循环结构, 采用两个独立的分类器来取代判别网络, 并针对印章的特点去设计生成网络, 实现发票图像的带印章到不带印章的风格迁移, 从而达到消除发票印章的效果.
1. 生成式对抗网络和CycleGAN网络
1.1 生成式对抗网络
生成式对抗网络结构如图1所示, 包括一个生成网络(G)和一个判别网络(D). 生成网络用于生成目标图像, 而判别网络用于判断图像是生成的虚假图像还是真实目标图像. 在训练时, 生成网络会在损失函数的牵引下让生成的图像尽可能地逼近目标图像, 判别网络则将生成图像和真实目标图像区分开, 由此构成对抗博弈的训练方式. 通过竞争方式, 生成网络生成的图像会越来越真实, 而判别网络的判别能力也会越来越强[7].
图1中
$ {{L}}_{G} $ 是更新生成网络G的损失,$ {{L}}_{D} $ 是更新判别网络D的损失, 如下式所示:$$ {{L}}_{G}=-\dfrac{1}{m}\displaystyle\sum _{i}^{m}{\rm{log}}\left(D\right(G\left({z}^{i}\right)\left)\right) $$ (1) $$ \begin{split} {{L}}_{D}=\,&-\frac{1}{m}\sum _{i}^{m}[{\rm{log}}\left(D\left({x}^{i}\right)\right)+ \\ &{\rm{log}}\left(1-D\left(G\left({z}^{i}\right)\right)\right)] \end{split}$$ (2) 式中
$ {z}^{i} $ 表示的是第i个输入,$ {x}^{i} $ 表示对应的真实图像. 生成网络和判别网络的损失函数均为交叉熵损失, 只是判别网络的目标是让真实图像的判别结果趋近于1, 生成图像结果趋近于0, 而生成网络则希望生成图像的判别结果趋近于1[7].1.2 CycleGAN网络
生成式对抗网络的概念提出后, 便成为学术界研究的热点. 在此基础上, 一些改进网络结构相继被提出, 如引入卷积神经网络的DCGAN[12], 用于生成超分辨图像的SRGAN、LapGAN[13-14], 用于风格迁移的pix2pix、cVAE-GAN[15-16]. 但是大部分生成式对抗网络都要求待处理图像和目标图像一一匹配. 针对带印章的发票, 则很难获取印章图像与其对应的无章图像. 2017年, 伯克利大学的研究团队在ICCV上提出了CycleGAN网络, 其最大特点是不需要待处理图像和目标图像一一匹配, 只需要两个分布不同的数据集即可实现数据集之间的相互风格迁移.
CycleGAN的基本思想是采用两个基础的生成式对抗网络, 采用循环的方式训练, 其网络结构如图2所示[17].
假设有两个不同分布的数据集A与B, CycleGAN中包含两个基础GAN网络, 一个负责把A类数据转化成B类数据, 记作
$ {GAN}_{A\; to\; B} $ , 另一个负责把B类数据转化成A类数据, 记作$ {GAN}_{B\; to\; A} .$ 设原始的A类图像为$ {X}_{A} $ , 通过$ {GAN}_{A\; to\; B} $ , 可以得到原始图像对应的B类风格图像$ {X'}_{B} $ . 如果采用传统图像对模式, 则存在$ {X}_{A} $ 对应的真实图像$ {X}_{B} $ , 这时只需将$ {X'}_{B} $ 和$ {X}_{B} $ 做均方差之类的损失计算, 通过反向传播更新生成网络参数即可驱使生成式网络生成内容相匹配的图像. 当无法获取图像对时, CycleGAN则把生成的$ {X'}_{B}$ 输入$ {GAN}_{B\;to\;A} $ , 生成相应的A类图像$ {X'}_{A} $ , 换言之就是试图把生成的$ {X'}_{B} $ 还原成原图像$ {X}_{A} $ , 此时计算$ {X}_{A} $ 和$ {X'}_{A} $ 之间的损失即可反向传播去更新两个生成对抗网络. 这种循环的训练模式巧妙地实现了不存在图像对时的两类数据集之间相互转化.2. 基于CycleGAN改进的SealGAN网络
2.1 SealGAN网络结构
SealGAN网络结构如图3所示,
$ {GEN}_{A \;to \;B} $ 和$ {GEN}_{B\; to\; A} $ 是生成式对抗网络中抽取出来的生成网络, 采用循环训练的方式. 与CycleGAN网络相比, 本文所提出的SealGAN中, 每个生成网络并没有配备相应的专属判别网络, 而是采用原始图像和所有生成图像单独训练了两个分类器, 其中$ {Classifier}_{AB} $ 用于区分A类和B类数据,$ {Classifier}_{RF} $ 用于区分真实图像和生成图像, 然后将两个分类器所计算出的损失加入到总损失中来更新整体网络的参数.在CycleGAN网络中, 采用
$ {GAN}_{A\; to\; B} $ 和$ {GAN}_{B\; to\; A} $ 两个基础的生成式对抗网络进行循环训练, 且有各自的判别网络. 以$ {GAN}_{A\; to\; B} $ 为例, 它的判别网络既需要判断输入图像是属于A类还是B类, 还需要判断输入图像是生成图像还是原始真实图像. 其实, 生成对抗网络中的判别网络是一个分类器, 对于分类器而言, 分类要求越高则分类效果越差, 而且两个判别网络虽然相互独立, 但是分类要求相似, 采用的训练样本交集较大. 因此本文所提出的SealGAN网络采用两个独立的分类器取代两个判别网络, 一个分类器用于区分A类和B类数据, 另一个分类器用于区分生成图像和真实图像. 相当于用两个独立的分类器来取代原本的判别网络, 网络整体参数数量没有太大变化, 但是对于单个分类器其分类要求降低, 分类效果更好.2.2 SealGAN网络中的生成网络
CycleGAN中有两种生成网络结构, 残差网络ResNet结构和UNet结构. ResNet结构用于解决层数较深的网络难以训练的问题. 在ResNet结构提出之前, 研究人员在提升网络性能上往往是单纯的叠加网络层数. 尽管网络层数的增加能够提高网络的特征容量, 理论上能更好地对样本进行拟合. 但是实际训练中, 当网络层数过大时, 参数的训练难度也大幅提升, 过分引入的卷积层和非线性激活不仅无法提升网络性能, 而且还难以维持浅层网络所达到的效果, 从而出现了模型退化问题[18]. ResNet结构的核心是采用了跨层连接思想, 引入了捷径连接的概念[19]. 残差网络结构如图4所示, 由于捷径连接的存在, 在训练过程中, 拟合的不再是目标分布, 而是目标分布和上一层网络输出之间的残差. 当浅层网络能够达到较好效果时, 残差趋近于零. 尽管在拟合残差时也引入了卷积和非线性激活, 但是要想拟合零只需要把所有参数都趋向零即可, 网络训练易于实现. 因此, ResNet结构的引入能够在加深网络层数, 提高网络拟合能力的同时, 也能保证达到浅层网络的效果, 从而消除网络退化问题. 图4中
$ F\left(x\right) $ 为待拟合的残差函数,$ H\left(x\right) $ 为待拟合的完整目标函数.UNet结构常用于图像分割领域, 其网络结构如图5所示. UNet结构包括下采样和上采样的过程. 在上采样过程中, 先把下采样和上采样中尺度相同的层拼接在一起, 再进行卷积和反卷积操作. 上采样层和下采样层之间的连接是UNet结构的亮点, 这些连接使得在上采样过程中可保留了更多的原始图像的纹理信息[20].
本文提出的SealGAN网络中, 生成网络结合ResNet和UNet两种结构, 搭建了一个下采样−精炼−上采样的网络结构, 如图6所示. 由于在消除印章的同时, 也希望能尽可能地保留印章下的内容, 而UNet结构的优势正是能更多地保留原始图像纹理信息, 因此在SealGAN网络的生成网络中, 上下采样部分采用了UNet结构, 而精炼部分采用了ResNet结构以保证网络的效果.
图 6 SealGAN生成网络结构示意图Fig. 6 Schematic diagram of SealGAN generative networks structure3. 实验结果与讨论
3.1 网络参数设置
输入图像的尺寸统一缩放为
$ 256\times 256 $ , 并把图像像素归一化到[−1, 1]区间. 为了保证消除印章后能够尽可能保留印章下的内容, 下采样通道数应多于上采样通道数, 以保证在上采样时能够有足够多的原始图像信息. 多次实验发现, 下采样的通道数与上采样的通道数的比例设置为1.5 : 1时效果最佳. 在生成网络中, 除了输出层, 其余层的激活函数均采用LeakyReLU.$$ {\rm{\sigma }}_{LeakyReLU}\left(x\right)=\left\{\begin{aligned}&x,\qquad\;\;\;{\rm{if}} \;x>0\\ &0.2x,\;\;\;\;\;\;{\rm{else}}\end{aligned}\right. $$ (3) 输出层采用tanh激活函数, 保证输出结果在[−1, 1]区间内.
$$ {\rm{\sigma }}_{{\rm{tanh}}}\left(x\right)=\dfrac{{\rm{sinh}}x}{{\rm{cosh}}x}=\dfrac{{{\rm{e}}}^{x}-{{\rm{e}}}^{-x}}{{\rm{{e}}}^{x}+{{\rm{e}}}^{-x}} $$ (4) 分类器网络前四层的激活函数采用LeakyReLU, 最后一层没有激活. 生成网络以及分类器的相关参数如表1所示.
表 1 生成网络和分类器参数表Table 1 Parameters of the generative network and classifier生成网络 分类器 下采样 精炼 上采样 7×7 conv, 96 Residual_block(3×3, 384) ×7 4×4 deconv, 256, ×2 4×4 conv, 64, /2 4×4 conv, 192, /2 4×4 deconv, 256, ×2 4×4 conv, 128, /2 4×4 conv, 384, /2 4×4 deconv, 256, ×2 4×4 conv, 256, /2 4×4 conv, 384, /2 4×4 deconv, 256, ×2 4×4 conv, 512, /2 4×4 conv, 384, /2 4×4 deconv, 128, ×2 4×4 conv, 1 4×4 conv, 384, /2 4×4 deconv, 64, ×2 4×4 conv, 384, /2 7×7 conv, 3 3.2 损失函数以及权重
损失函数包括两个分类器的损失
${Loss}_{AB}$ 、${Loss}_{RF} $ 和一个循环回来的图像之间的像素损失$ {Loss}_{G} $ . 设z为原始图像, G为生成网络, D是分类器, A为带印章图像, B对应的无印章图像. 原始的生成式对抗网络所使用的损失均为交叉熵损失, 在最近的研究中发现, 采用交叉熵损失存在梯度消失和模型坍塌的风险[21]. 相比于交叉熵损失, 最小二乘损失效果更佳[22]. 因此, SealGAN采用了最小二乘损失替换了交叉熵损失. 除此以外, 在计算生成图像和原始图像的内容损失时, 也不再使用常见的L2损失, 而是采用L1损失, 因为L2损失驱动下的生成图像更为模糊. 在训练分类器时, 损失函数如式(5)、(6)所示. 当训练生成网络时, 损失函数如式(7)、(8)、(9)所示. 其中,$ {Loss}_{AB} $ 和$ {Loss}_{RF} $ 的权重为1,$ {Loss}_{G} $ 的权重为10时, 生成效果最佳.$$ {Loss}_{AB}=\sum {\{\left(D\left({z}_{A}\right)\right)}^{2}+{\left(D\left({z}_{B}\right)-1\right)}^{2}\} $$ (5) $$ \begin{split} {Loss}_{RF}=&\sum \{{\left(D\left({z}_{A}\right)\right)}^{2}+{\left(D\left({z}_{B}\right)\right)}^{2}+ \\ &{\left(D\left(G\left({z}_{A}\right)\right)-1\right)}^{2}+{\left(D\left(G\left({z}_{B}\right)\right)-1\right)}^{2}\} \end{split}$$ (6) $$ {Loss}_{AB}=\sum \{{\left(D\left(G\left({z}_{A}\right)-1\right)\right)}^{2}+{\left(D\left(G\left({z}_{B}\right)\right)\right)}^{2}\} $$ (7) $$ {Loss}_{RF}=\sum \{{\left(D\left(G\left({z}_{A}\right)\right)\right)}^{2}+{\left(D\left(G\left({z}_{B}\right)\right)\right)}^{2}\} $$ (8) $$\begin{split} {Loss}_{G}=\,&\sum \{\left|{z}_{A}-{G}_{BtoA}\left({G}_{AtoB}\left({z}_{A}\right)\right)\right|+ \\ &\left|{z}_{B}-{G}_{AtoB}\left({G}_{BtoA}\left({z}_{B}\right)\right)\right|\} \end{split} $$ (9) 3.3 网络性能综合评价
为了能够更好地评价网络的性能, 本文提出针对印章消除的综合评价指标Evaluation-score (ES), 包含风格评价指标Class-score (CS1)和内容评价指标Content-score (CS2), 如下式所示.
$$ ES={\rm{\alpha }}\times{CS}_{1}+{\rm{\beta }}\times{CS}_{2} $$ (10) 式中的
$ {\rm{\alpha }} $ 和$ {\rm{\beta }} $ 是超参数, 可基于需求重要性进行调整, 本文实验中$ {\rm{\alpha }} $ 和$ {\rm{\beta }} $ 均为1.风格评价指标需要搭建一个分类网络, 采用的训练样本是真实的发票样本, 包含带印章和不带印章的样本. 本论文所搭建的分类网络借鉴GoogleNet网络结构[23], 损失函数采用余弦损失函数, 目标是让带印章样本的输出趋向于0, 不带印章样本的输出趋向于1. 采用余弦损失函数能够更好地增大类间距离, 公式如式(11)所示[24]. 将生成的图像通过训练好的分类网络, 所得到的结果即为CS1, 得分越高, 则消除印章的效果越好.
$$ {\rm{L}}_{cos}=\frac{1}{N}\sum _{i}-\log\frac{{{\rm{e}}}^{s\left({\rm{cos}}\left({\theta }_{i,i}\right)-m\right)}}{{{\rm{e}}}^{s\left({\rm{cos}}\left({\theta }_{i,i}\right)-m\right)}+\displaystyle\sum _{j\ne i}{{\rm{e}}}^{s{\rm{cos}}\left({\theta }_{i,j}\right)}} $$ (11) 内容评价指标则是利用生成图像和原带章图像之间的均方根误差计算的, 均方根误差越小, 意味着保留的内容越多. 定义的内容评价指标如下:
$$ {CS}_{2}=\frac{1}{{\rm{log}}\left(1+\sqrt{\dfrac{\displaystyle\sum {\left({x}_{i}-{y}_{i}\right)}^{2}}{N}}\right)} $$ (12) 3.4 结果与讨论
训练图像一共有六千余张发票图, 其中带印章样本和不带印章样本的比例约为1 : 1, 印章样本包含了出租车票印章、增值税发票印章、高速公路收费票据印章、定额发票印章以及各类企业单位加盖的公章. 在训练网络过程中, 为选择最佳的训练集和测试集比例, 对CycleGAN-ResNet网络和CycleGAN-UNet网络, 以及本文所提的SealGAN网络等三种网络, 采用不同的训练集和测试集划分比例, 包括7 : 3、8 : 2和9 : 1三种, 进行对比实验, 并基于网络性能综合评价指标ES进行评价. 三种网络不同数据集划分比例的综合评价指标如图7所示.
图 7 三种网络在不同数据集划分比例下的性能指标Fig. 7 Performance indices of three networks under different division proportion of data set由图7可知, 随训练集和测试集比例增大, 网络综合性能评价指标也在提升. 为了让每种网络效果达到最佳, 因此在论文实验中采用训练集和测试集比例为9 : 1分布进行实验比对.
本文分别使用了文献[5]的二次分割方法、采用ResNet和UNet生成网络的CycleGAN网络, 以及SealGAN网络, 进行发票印章消除实验. 训练模型时, 针对三种常见的优化器Momentum、RMSProp和Adam进行实验对比, 最终选择稳定性最佳的Adam优化器. 每种网络均训练了20个Epoch, Batch Size均为4. 学习率的初始值是0.0002, 每训练一个Epoch, 学习率下降10 %. 在CycleGAN模型中, 针对生成器和判别器不同的损失权重比, 包括1 : 1, 5 : 1, 10 : 1和15 : 1, 通过网络综合评价指标ES进行测试对比, 可知10:1为最佳损失权重比. 基于上述的参数设定进行实验, 图8是四种方法对发票印章消除的效果.
图 8 基于二次分割、CycleGAN-ResNet、CycleGAN-UNet和SealGAN的印章消除对比Fig. 8 Comparsion of effect of the seal elimination based on re-segmentation, CycleGAN-ResNet, CycleGAN-UNet and SealGAN由图中可知, 采用二次分割的方法效果最差, 由于方法的核心思想是对颜色进行阈值分割来获取印章部分再进行修改, 所以当发票颜色复杂时, 对印章部分的定位不完整, 导致印章消除不全, 而且对于获取到的印章部分采用直接填充背景方法, 对发票内容造成影响. 采用ResNet生成网络的CycleGAN, 生成的结果比较模糊, 色彩与原图相比, 色差巨大; 除此以外, 内容丢失也很严重. 采用UNet生成网络的CycleGAN, 由于UNet在进行上采样时融合了下采样层的特征, 保证了上采样过程中保留更多的原始信息, 因此色彩问题得到解决, 但是依旧有明显的内容丢失, 特别是当内容的颜色与印章的颜色相近时. 基于SealGAN网络的印章消除, 采用了下采样−精炼−上采样的生成结构, 而且上采样过程也融入了下采样层的原始信息, 因此色差问题基本不存在, 生成的结果相比于前两个网络的实验结果要清晰很多. 除此以外, 由于SealGAN并不是简单地用两个基础GAN网络搭建的循环结构, 而是用两个专门的分类器来替代判别器, 其中一个分类器专门区分真实样本和生成样本, 另一个专门区分带章样本和不带章样本. 这种替换使得网络能够更好地学习到哪些部分属于印章, 哪些部分不属于印章, 因此SealGAN网络可更好地保留非章内容.
三种不同网络消除发票印章的评价如表2所示, 可知SealGAN具有最高得分.
表 2 三种网络性能评价指标Table 2 Performance evaluation indices of three kinds of network网络类型 CS1 CS2 $ ES $ 二次分割 0.340 0.991 1.331 CycleGAN-ResNet 0.678 0.699 1.377 CycleGAN-UNet 0.703 0.679 1.382 SealGAN 0.699 0.740 1.439 4. 结语
本文针对发票上消除印章的问题, 分析了CycleGAN网络的优缺点, 并基于此进行相应改进, 提出SealGAN网络结构, 设计了包括风格评价和内容评价的网络综合评价指标. SealGAN网络用两个独立的分类器来取代原本的判别网络, 可降低单个分类器的分类要求, 提高网络的学习效果, 同时生成网络结合ResNet和Unet两种结构, 实现下采样−精炼−上采样的过程, 能够生成更加清晰的图像. 基于发票印章消除实验, 与原始的CycleGAN进行对比可看出, 本文所提出的SealGAN无论是在模糊程度、生成色彩等图像细节上, 还是内容的保留程度上都要明显优于原始的CycleGAN网络, 且综合评价指标高于CycleGAN网络, 实验结果表明了所提出的SealGAN网络的有效性. 未来可进一步提高非章内容的保留效果, 尤其是当印章与印章下的发票内容颜色很相近时, 并可针对发票复印件进行印章消除研究.
-
图 2 事件产生数量与光强变化大小的关系示意图
Fig. 2 Relationship diagram between the number of generated events and the magnitude of light intensity variations
图 4 弱小缺陷、环境倒影的成像效果对比
Fig. 4 Comparison of imaging effects of small defects and environmental reflections
图 6 在不同运动速度下的缺陷成像效果对比
Fig. 6 Comparison of defect imaging effects under different motion speeds
图 7 不同缺陷类别的事件图像以及标注框的可视化结果 ((a)点痕; (b)划痕; (c)污渍)
Fig. 7 Visualization results of event images and annotation boxes for different defect categories ((a) Point; (b) Scratch; (c) Stain)
图 10 基于决策级时序预测融合的后处理模块工作流程图
Fig. 10 The workflow diagram of the post-processing module based on decision-level temporal prediction fusion
表 1 事件流在训练集和测试集中的数量分布
Table 1 Quantity distribution of event streams in the training set and testing set
类别 事件流总数 训练集事件流数量 测试集事件流数量 点痕 35 27 8 划痕 39 30 9 污渍 44 34 10 合格 4 2 2 
下载: 导出CSV
表 2 EDD-10k数据集中每一类缺陷标签的数量
Table 2 The number of labels for each defect category in the EDD-10k dataset
类别 事件流总数 训练集事件流数量 测试集事件流数量 点痕 2865 2381 484 划痕 2159 1781 378 污渍 4070 3060 1010 合格 9094 7222 1872
下载: 导出CSV
表 3 与其他算法在EDD-10k数据集上的对比实验
Table 3 Comparison experiments with other algorithms on the EDD-10k dataset
方法 mAP@0.4 AP@点痕 AP@划痕 AP@污渍 Faster R-CNN[41] 0.210 0.000 0.536 0.095 YOLOv5 0.569 0.393 0.756 0.559 YOLOv7[42] 0.543 0.471 0.644 0.514 RDN[47] 0.512 0.553 0.476 0.507 MEGA[48] 0.401 0.356 0.509 0.349 YOLOV[49] 0.537 0.112 0.628 0.670 SSD-event[40] 0.236 0.087 0.626 0.138 SODformer-event[25] 0.394 0.363 0.161 0.495 TIFF-EDD 0.617 0.512 0.701 0.639
下载: 导出CSV
表 4 在EDD-10k数据集上的消融实验结果
Table 4 Ablation experimental results on the EDD-10k dataset
基线 MIFE CTAA VFLoss DPF mAP@0.4 TIFF-B $\checkmark$ 0.577 TIFF-MIFE $\checkmark$ $\checkmark$ 0.590 TIFF-CTAA $\checkmark$ $\checkmark$ $\checkmark$ 0.607 TIFF-VF $\checkmark$ $\checkmark$ $\checkmark$ $\checkmark$ 0.612 TIFF-EDD $\checkmark$ $\checkmark$ $\checkmark$ $\checkmark$ $\checkmark$ 0.617
下载: 导出CSV
-
[1] 金侠挺, 王耀南, 张辉, 刘理, 钟杭, 贺振东. 基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统. 自动化学报, 2019, 45(12): 2312−2327Jin Xia-Ting, Wang Yao-Nan, Zhang Hui, Liu Li, Zhong Hang, He Zhen-Dong. DeepRail: Automatic visual detection system for railway surface defect using Bayesian CNN and attention network. Acta Automatica Sinica, 2019, 45(12): 2312−2327 [2] 陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述. 自动化学报, 2021, 47(5): 1017−1034Tao Xian, Hou Wei, Xu De. A survey of surface defect detection methods based on deep learning. Acta Automatica Sinica, 2021, 47(5): 1017−1034 [3] Chen Y Q, Pan J W, Lei J Y, Zeng D Y, Wu Z Z, Chen C S. EEE-Net: Efficient edge enhanced network for surface defect detection of glass. IEEE Transactions on Instrumentation and Measurement, 2023, 72: Article No. 5029013 [4] Jiang W B, Liu M, Peng Y N, Wu L H, Wang Y N. HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges. IEEE Transactions on Industrial Informatics, 2021, 17(8): 5485−5494 doi: 10.1109/TII.2020.3033170 [5] Zheng Y J, Zheng L X, Yu Z F, Shi B X, Tian Y H, Huang T J. High-speed image reconstruction through short-term plasticity for spiking cameras. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, USA: IEEE, 2021. 6354−6363 [6] Xu X Y, Sun D Q, Pan J S, Zhang Y J, Pfister H, Yang M H. Learning to super-resolve blurry face and text images. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 251−260 [7] 李家宁, 田永鸿. 神经形态视觉传感器的研究进展及应用综述. 计算机学报, 2021, 44(6): 1258−1286Li Jia-Ning, Tian Yong-Hong. Recent advances in neuromorphic vision sensors: A survey. Chinese Journal of Computers, 2021, 44(6): 1258−1286 [8] Pan L Y, Hartley R, Scheerlinck C, Liu M M, Yu X, Dai Y C. High frame rate video reconstruction based on an event camera. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(5): 2519−2533 [9] Han J, Yang Y X, Duan P Q, Zhou C, Ma L, Xu C, et al. Hybrid high dynamic range imaging fusing neuromorphic and conventional images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(7): 8553−8565 doi: 10.1109/TPAMI.2022.3231334 [10] Hu Y H, Liu S C, Delbruck T. V2e: From video frames to realistic DVS events. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Nashville, USA: IEEE, 2021. 1312−1321 [11] 冯维, 徐仕楠, 王恒辉, 熊芝, 王选择, 翟中生. 逐像素调制的高反光表面三维测量方法. 中国光学, 2022, 15(3): 488−497 doi: 10.37188/CO.2021-0220Feng Wei, Xu Shi-Nan, Wang Heng-Hui, Xiong Zhi, Wang Xuan-Ze, Zhai Zhong-Sheng. Three-dimensional measurement method of highly reflective surface based on per-pixel modulation. Chinese Optics, 2022, 15(3): 488−497 doi: 10.37188/CO.2021-0220 [12] 王颖, 倪育博, 孟召宗, 高楠, 郭彤, 杨泽青, 等. 彩色高反光表面自适应编码条纹投影轮廓术. 光学学报, 2024, 44(7): Article No. 0712001Wang Ying, Ni Yu-Bo, Meng Zhao-Zong, Gao Nan, Guo Tong, Yang Ze-Qing, et al. Adaptive coding fringe projection profilometry on color reflective surfaces. Acta Optica Sinica, 2024, 44(7): Article No. 0712001 [13] Lichtsteiner P, Posch C, Delbruck T. A 128 × 128 120db 30mw asynchronous vision sensor that responds to relative intensity change. In: Proceedings of the IEEE International Solid State Circuits Conference-Digest of Technical Papers. San Francisco, USA: IEEE, 2006. 2060−2069 [14] Chen S S, Guo M H. Live demonstration: CeleX-V: A 1M pixel multi-mode event-based sensor. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Long Beach, USA: IEEE, 2019. 1682−1683 [15] Brandli C, Muller L, Delbruck T. Real-time, high-speed video decompression using a frame- and event-based DAVIS sensor. In: Proceedings of the IEEE International Symposium on Circuits and Systems (ISCAS). Melbourne, Australia: IEEE, 2014. 686−689 [16] Gallego G, Delbrück T, Orchard G, Bartolozzi C, Taba B, Censi A, et al. Event-based vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 154−180 doi: 10.1109/TPAMI.2020.3008413 [17] Lagorce X, Orchard G, Galluppi F, Shi B E, Benosman R B. HOTS: A hierarchy of event-based time-surfaces for pattern recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(7): 1346−1359 doi: 10.1109/TPAMI.2016.2574707 [18] Lazzaro J, Wawrzynek J, Mahowald M, Sivilotti M, Gillespie D. Silicon auditory processors as computer peripherals. In: Proceedings of the 5th International Conference on Neural Information Processing Systems. Denver, USA: ACM, 1992. 820−827 [19] 马艳阳, 叶梓豪, 刘坤华, 陈龙. 基于事件相机的定位与建图算法: 综述. 自动化学报, 2021, 47(7): 1484−1494Ma Yan-Yang, Ye Zi-Hao, Liu Kun-Hua, Chen Long. Event-based visual localization and mapping algorithms: A survey. Acta Automatica Sinica, 2021, 47(7): 1484−1494 [20] Li Y Z, Wang H L, Yuan S H, Liu M, Zhao D B, Guo Y W, et al. Myriad: Large multimodal model by applying vision experts for industrial anomaly detection. arXiv preprint arXiv: 2310.19070, 2023. [21] Song K C, Yan Y H. Micro surface defect detection method for silicon steel strip based on saliency convex active contour model. Mathematical Problems in Engineering, 2013, 2013: Article No. 429094 [22] Tabernik D, Šela S, Skvarč J, Skočaj D. Segmentation-based deep-learning approach for surface-defect detection. Journal of Intelligent Manufacturing, 2020, 31(3): 759−776 doi: 10.1007/s10845-019-01476-x [23] Bergmann P, Fauser M, Sattlegger D, Steger C. MVTec AD——A comprehensive real-world dataset for unsupervised anomaly detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 9584−9592 [24] Wang J L, Xu C Q, Yang Z L, Zhang J, Li X O. Deformable convolutional networks for efficient mixed-type wafer defect pattern recognition. IEEE Transactions on Semiconductor Manufacturing, 2020, 33(4): 587−596 doi: 10.1109/TSM.2020.3020985 [25] Li D Z, Tian Y H, Li J N. SODFormer: Streaming object detection with transformer using events and frames. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(11): 14020−14037 doi: 10.1109/TPAMI.2023.3298925 [26] Nguyen A, Do T T, Caldwell D G. Real-time 6DOF pose relocalization for event cameras with stacked spatial LSTM networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Long Beach, USA: IEEE, 2019. 1638−1645 [27] Kim J, Bae J, Park G. N-ImageNet: Towards robust, fine-grained object recognition with event cameras. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, USA: IEEE, 2021. 2126−2136 [28] Ge Z, Liu S T, Wang F, Li Z M, Sun J. YOLOX: Exceeding YOLO series in 2021. arXiv preprint arXiv: 2107.08430, 2021. [29] Duan K W, Bai S, Xie L X, Qi H G, Huang Q M, Tian Q. CenterNet: Keypoint triplets for object detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South): IEEE, 2019. 6568−6577 [30] Xiong Y, Li Z, Chen Y, Wang F, Zhu X, Luo J, et al. Efficient deformable ConvNets: Rethinking dynamic and sparse operator for vision applications. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2024. 5652−5661 [31] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: Optimal speed and accuracy of object detection. arXiv preprint arXiv: 2004.10934, 2020. [32] Liu S, Qi L, Qin H F, Shi J P, Jia J Y. Path aggregation network for instance segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 8759−8768 [33] Wang C Y, Liao H Y M, Wu Y H, Chen P Y, Hsieh J W, Yeh I H. CSPNet: A new backbone that can enhance learning capability of CNN. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Seattle, USA: IEEE, 2020. 1571−1580 [34] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 770−778 [35] Lin T Y, Dollár P, Girshick R, He K M, Hariharan B, Belongie S. Feature pyramid networks for object detection. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 936−944 [36] Liu B D, Xu C, Yang W, Yu H, Yu L. Motion robust high-speed light-weighted object detection with event camera. IEEE Transactions on Instrumentation and Measurement, 2023, 72: Article No. 5013113 [37] Li J N, Li J, Zhu L, Xiang X J, Huang T J, Tian Y H. Asynchronous spatio-temporal memory network for continuous event-based object detection. IEEE Transactions on Image Processing, 2022, 31: 2975−2987 doi: 10.1109/TIP.2022.3162962 [38] Wang X T, Chan K C K, Yu K, Dong C, Loy C C. EDVR: Video restoration with enhanced deformable convolutional networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Long Beach, USA: IEEE, 2019. 1954−1963 [39] Zhang H Y, Wang Y, Dayoub F, Sünderhauf N. VarifocalNet: An IoU-aware dense object detector. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, USA: IEEE, 2021. 8510−8519 [40] Iacono M, Weber S, Glover A, Bartolozzi C. Towards event-driven object detection with off-the-shelf deep learning. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid, Spain: IEEE, 2018. 1−9 [41] Ren S Q, He K M, Girshick R, Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. In: Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2015. 91−99 [42] Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, Canada: IEEE, 2023. 7464−7475 [43] Zhu X M, Wang S, Su J J, Liu F, Zeng L. High-speed and accurate cascade detection method for chip surface defects. IEEE Transactions on Instrumentation and Measurement, 2024, 73: Article No. 2506612 [44] Yuan M H, Zhou Y B, Ren X Y, Zhi H, Zhang J, Chen H J. YOLO-HMC: An improved method for PCB surface defect detection. IEEE Transactions on Instrumentation and Measurement, 2024, 73: Article No. 2001611 [45] Wang Y R, Song X K, Feng L L. MCI-GLA plug-in suitable for YOLO series models for transmission line insulator defect detection. IEEE Transactions on Instrumentation and Measurement, 2024, 73: Article No. 9002912 [46] Zhu J, Pang Q W, Li S S. ADDet: An efficient multiscale perceptual enhancement network for aluminum defect detection. IEEE Transactions on Instrumentation and Measurement, 2024, 73: Article No. 5004714 [47] Deng J J, Pan Y W, Yao T, Zhou W G, Li H Q, Mei T. Relation distillation networks for video object detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South): IEEE, 2019. 7022−7031 [48] Chen Y H, Cao Y, Hu H, Wang L W. Memory enhanced global-local aggregation for video object detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 10334−10343 [49] Shi Y H, Wang N Y, Guo X J. YOLOV: Making still image object detectors great at video object detection. In: Proceedings of the 37th AAAI Conference on Artificial Intelligence. Washington, USA: AAAI, 2023. 2254−2262 [50] Jeong J, Park H, Kwak N. Enhancement of SSD by concatenating feature maps for object detection. arXiv preprint arXiv: 1705.09587, 2017. -
下载:
计量
- 文章访问数: 492
- HTML全文浏览量: 206
- PDF下载量: 177
- 被引次数: 0
