2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

无纺布疵点实时检测技术与系统设计

邓泽林 刘行 董云龙 袁烨

邓泽林, 刘行, 董云龙, 袁烨. 无纺布疵点实时检测技术与系统设计. 自动化学报, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446
引用本文: 邓泽林, 刘行, 董云龙, 袁烨. 无纺布疵点实时检测技术与系统设计. 自动化学报, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446
Deng Ze-Lin, Liu Xing, Dong Yun-Long, Yuan Ye. Non-woven fabric real-time defects detection method and framework design. Acta Automatica Sinica, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446
Citation: Deng Ze-Lin, Liu Xing, Dong Yun-Long, Yuan Ye. Non-woven fabric real-time defects detection method and framework design. Acta Automatica Sinica, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446

无纺布疵点实时检测技术与系统设计


DOI: 10.16383/j.aas.c200446
详细信息
    作者简介:

    2018年获得华中科技大学数学与统计学院学士学位, 2020年获得中国香港城市大学商学院硕士学位. 主要研究方向为深度学习在智能制造中的应用. E-mail:dengzelinhust@gmail.com

    2020年获华东交通大学电气与自动化工程学院学士学位. 华东理工大学信息科学与工程学院硕士研究生. 主要研究方向为深度学习, 智能控制与图像处理. E-mail: prevalent98@outlook.com

    2017年获华中科技大学自动化学院学士学位, 华中科技大学人工智能与自动化学院博士. 主要研究方向为深度学习、控制理论和机器人. E-mail: dyl@hust.edu.cn

    2008年获得中国上海交通大学自动化系自动化学士学位. 分别于2009年10月和2012年2月在英国剑桥剑桥大学工程系控制科学与工程硕士学位与博士学位. 现任中国武汉华中科技大学正教授. 曾担任加州大学伯克利分校博士后研究员, 剑桥大学达尔文学院的初级研究员. 主要研究包括信息物理系统的系统识别和控制. E-mail: yye@hust.edu.cn

  • 基金项目:  国家自然科学基金(91748112)资助

Non-woven Fabric Real-time Defects Detection Method and Framework Design

More Information
  • Fund Project:  Supported by National Natural Science Foundation of China (91748112)
  • 摘要: 无纺布生产过程中产生的疵点会严重影响产品质量并限制生产效率. 提高疵点检测的自动化程度对于无纺布的生产效率和质量管控至关重要. 传统疵点检测方法难以应对纹理、疵点类型以及环境变化等问题, 限制了其应用范围. 近年来基于卷积神经网络的方法在疵点检测领域得到了广泛应用, 具有泛化性强、准确度高的特点. 但是在无纺布生产过程中, 布匹宽度大、速度快的特点会产生大量图像数据, 基于卷积神经网络的方法难以实现实时检测. 针对上述难题, 本文提出了一种基于最大稳定极值区域分析与卷积神经网络协同的疵点实时检测方法, 并设计了分布式计算处理架构应对数据流过大的问题. 在实际生产部署应用中, 本文所设计的系统与算法无需使用专用计算硬件(GPU、FPGA等), 通过8台工控机与16路工业摄像头对复卷机上布宽2.8 m、速度30 m/min的无纺布进行分布式实时在线检测, 大幅度提高无纺布生产中疵点检测的自动化程度与效率. 本文所提出的系统能够实现对0.3 mm以上疵点召回率100%, 对0.1 mm丝状疵点召回率98.8%.
  • 图  1  无纺布生产过程中产生的瑕疵, 点状瑕疵用红色矩形框出, 丝状瑕疵用绿色矩形框出.

    Fig.  1  Defects generated in the production process of non-woven fabrics. The dotted defects are framed by red rectangles, and the filamentary defects are framed by green rectangles.

    图  2  在不同阈值$\tau $时MSER算法产生的候选区域, 红色点代表候选区域的中心点.

    Fig.  2  In the candidate regions generated by the MSER algorithm at different thresholds $\tau $, the red dots represent the center position of the candidate region.

    图  3  本文采用的预检测模型结构图. 输入疵点图像经过三个不同尺度的卷积后得到三个特征图, 特征图拼接后作为Dense Block的输入. Dense Block输出与全连接层和softmax层相连. 其中虚线矩形框出部分为展开Dense Block的具体形式.

    Fig.  3  The structure diagram of the pre-detection model used in this paper. The input defect image is convolved at three different scales to obtain three feature maps, and the feature maps are concatenated as the input of the Dense Block. The output of the Dense Block is connected to the fully connected layer and the softmax layer. Among them. The dashed rectangle outlines the specific form of the Dense Block.

    图  4  本文采用的精确检测模型. 其中${t_x},{t_y},{t_w},{t_h}$分别表示检测矩形框的横坐标、纵坐标、宽度与高度, ${\rm{C}}$表示疵点检测置信度.

    Fig.  4  The precise detection model used in this paper. ${t_x},{t_y},{t_w},{t_h}$ are the abscissa, ordinate, width and height of the detection rectangle, and ${\rm{C}}$ is the confidence of defect detection.

    图  5  NMS算法处理效果图. (a)为原图, (b)为网络预测效果图, 网络预测的矩形用红色矩形绘制出, (c)为经过NMS算法处理后的效果图.

    Fig.  5  NMS algorithm processing effect diagram.(a) is the original image, (b) is the network prediction effect diagram, the network prediction rectangle is drawn with a red rectangle, and (c) is the effect diagram processed by the NMS algorithm.

    图  7  无纺布疵点检测算法流程图.

    Fig.  7  Flow chart of non-woven fabric defect detection algorithm.

    图  8  无纺布疵点检测系统总体组成, 左边为设计示意图, 右边为现场实物图. 设计图中的(a)代表工业控制机集群, (b) 代表高速工业摄像头, 摄像头发出的的蓝色光线代表摄像头的视野. 下方的摄像头组用于预检测, 上方的摄像头组用于精确检测.

    Fig.  8  The overall composition of the non-woven defect detection system, the left is the design schematic diagram, and the right is the real machine. In the design diagram (a) represents the industrial control machine cluster, (b) represents the high-speed industrial camera, and the blue light from the camera represents the camera's field of view The lower camera group is used for pre-detection, and the upper camera group is used for precise detection.

    图  6  系统分布式设计结构.

    Fig.  6  System distributed design structure.

    图  9  疵点检测系统终端软件.

    Fig.  9  Defect detection system terminal software.

    图  12  通过本文算法对疵点进行检测的结果.

    Fig.  12  The result of defect detection through the algorithm of this paper.

    图  10  不同模型在不同阈值$\tau $下的精度对比.

    Fig.  10  Comparison of the accuracy of different models under different thresholds $\tau $.

    图  11  不同模型在不同阈值$\tau $下的召回率对比.

    Fig.  11  Comparison of recall rates of different models under different thresholds $\tau $.

    图  13  不同光照和纹理条件下疵点检测结果.

    Fig.  13  Defect detection results under different lighting and texture conditions.

    表  1  最大稳定极值区域算法选取候选点

    Table  1  Maximum stable extreme value region algorithm to select candidate points

    输入: 灰度图像阈值${{\rm{I}}_g}$, $\tau \in {{\mathbb{R}}^{\rm{ + }}}$.
    输出: 候选点坐标$P$.
    步骤1. 求解灰度图像的最大值${t_{\max }} = \max ({I_g})$与最小值${t_{\min }} = \min ({I_g})$, 最大稳定区域初始化为${I_s} = {\rm{O}}$, 初始化阈值$t{\rm{ = }}{t_{\min }} + 1$.
    步骤2. 取阈值$t - 1$, $t$, $t + 1$. 其中$t \in \{ {t_{min}},{t_{min}} + 1,$ ${t_{min}} + 2, \cdots ,{t_{max}}\} $, 对灰度图像${I_g}$进行阈值操作得到二值图像${B_{t - 1}} = \left( {{I_g} < t - 1} \right)$, ${B_t} = \left( {{I_g} < t} \right)$, ${B_{t + 1}} = $ $({I_g} < t + 1)$.
    步骤3. 对${B_{t - 1}}$, ${B_t}$, ${B_{t + 1}}$求联通域$\{ Q_{t - 1}^i,Q_t^i,Q_{t + 1}^i|i = 1,2, \cdots ,M\}$.
    步骤4. 计算联通域$Q_{t - 1}^i$, $Q_t^i$, $Q_{t + 1}^i$的面积$A_{t - 1}^i$, $A_t^i$, $A_{t + 1}^i$.
    步骤5. 如果联通区域随阈值的变化率$|A_{t + 1}^i - A_{t - 1}^i|/$ $|A_t^i| \leqslant \tau $, 则此区域为稳定区域, 使${I_s} = {I_s} \cup Q_t^i$.
    步骤6. 如果$t < {t_{\max }}$, 则$t$自增1, 重复步骤2-5.
    步骤7. 得到最大稳定区域${I_s}$, 对其求四邻域联通域, 其联通域的质心坐标即为候选点坐标$P$.
    下载: 导出CSV

    表  2  非极大值抑制算法

    Table  2  Non-maximum suppression algorithm

    输入: 模型预测输出$n$个外接矩形集${\mathbb{B}} = \{ {B_i}|i = 0,1,$ $\cdots ,n\}$, 及其属于疵点的置信度集合${\mathbb{C} } = \{ {C_i}|i = 0,1, \cdots ,n\}$, $IoU$的阈值$T \in (0,1)$.
    输出: 极大外接矩形集合${\mathbb{M}}$.
    步骤1. 极大外接矩形框集合${\mathbb{M}} = \emptyset $.
    步骤2. 求解疵点置信度集合${\mathbb{C}}$中的最大值${C_m}$, 及其对应的外接矩形${B_m}$.
    步骤3. 将${B_m}$存入极大外接矩形集合中${\mathbb{M}} \leftarrow {\mathbb{M}} \cup {B_m}$, 并将${B_m}$${C_m}$从集合中剔除${\mathbb{B}} \leftarrow {\mathbb{B}} - {B_m}$, ${\mathbb{C}} \leftarrow $ ${\mathbb{C}} - {C_m}$.
    步骤4. 计算矩形框集合中元${B_i} \in {\mathbb{M}}$${B_m}$之间的$IoU$, 记为$Io{U^i}$.
    步骤5. 如果$Io{U^i} > T$, 则将${B_m}$, ${C_m}$从集合中剔除${\mathbb{B}} \leftarrow {\mathbb{B}} - {B_m}$, ${\mathbb{C}} \leftarrow {\mathbb{C}} - {C_m}$.
    步骤6. 如果${\mathbb{B}} \ne \emptyset $${\mathbb{C}} \ne \emptyset $, 则重复步骤2-5.
    步骤7. 返回极大外接矩形集合${\mathbb{M}}$.
    下载: 导出CSV

    表  3  训练超参数配置

    Table  3  Training hyperparameter configuration

    参数类型取值
    输入尺寸48×48
    训练轮数100
    学习率$1{e^{ - 4}}$
    衰减因子0.99
    批次大小8
    优化器Adam[34]
    下载: 导出CSV

    表  4  硬件设备参数

    Table  4  Hardware device information

    硬件类型参数
    摄像头像素分辨率物距视角
    500w800*60020-10 m75度
    控制器处理器内存固态显卡
    i58G64GIntel HD
    交换机端口数端口参数
    8个1000M自适应RJ45端口
    下载: 导出CSV

    表  5  模型在不同阈值下的检测精度和召回率

    Table  5  The detection accuracy and recall rate of the model under different thresholds

    模型指标$\tau {\rm{ = 20}}$$\tau {\rm{ = 30}}$$\tau {\rm{ = 40}}$
    预检测精度73.0%80.5%86.4%
    召回率100.0%100.0%99.3%
    精确模型精度86.1%94.5%98.4%
    召回率100.0%100.0%99.7%
    下载: 导出CSV

    表  6  模型预测速度测试

    Table  6  Model prediction speed test

    模型48×48候选区域2400×600无纺布图像
    预检测模型3.2 ms46.8 ms
    精确检测模型13.9 ms213.3 ms
    下载: 导出CSV

    表  7  不同类型疵点的检测精度和召回率测试

    Table  7  Testing accuracy and recall rate of different types of defects

    疵点类型疵点尺寸召回率精度
    点状瑕疵0.3 mm100%98.8%
    0.1 mm-0.3 mm99.6%98.3%
    丝状瑕疵0.1 mm以上98.8%98.6%
    0.05 mm-0.1 mm96.8%97.2%
    下载: 导出CSV
  • [1] 周树照. 论无纺布的现状与发展. 山东工业技术, 2017, (20): 273

    Zhou S Z. On the status quo and development of non-woven fabrics. Shandong Industrial Technology, 2017, (20): 273
    [2] De Baar H J W. von Liebig's law of the minimum and plankton ecology (1899–1991). Progress in Oceanography, 1994, 33(4): 347−386 doi:  10.1016/0079-6611(94)90022-1
    [3] 陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述. 自动化学报, 2020, 1-19[2020-06-21].

    Tao X, Hou W, Xu D. A survey of surface defect detection methods based on deep learning. Acta Automatica Sinica, 2020, 1−19[2020-06-21].
    [4] 刘伟斌, 郑力新, 周凯汀. 采用频域滤波的织物疵点检测方法. 华侨大学学报(自然科学版), 2017, (4): 562−566

    Liu W B, Zheng L X, Zhou K T. Detection method of fabric defects based on frequency domain filtering. Journal of Huaqiao University(Natural Science), 2017, (4): 562−566
    [5] 杨亚, 薛云灿, 沙伟, 等. 基于正交小波分解的织物疵点检测. 微处理机, 2015, 36(3): 46−49 doi:  10.3969/j.issn.1002-2279.2015.03.014

    Yang Y, Xue Y C, Sha W, et al. Fabric defect detection based on orthonormal wavelet decomposition. Micro- processors, 2015, 36(3): 46−49 doi:  10.3969/j.issn.1002-2279.2015.03.014
    [6] 曹媛媛, 杨波, 等. 基于分形纹理特征和小波变换的网状纹理检测方法. 自动化学报, 2007, 33(7): 688−692

    Cao Y Y, Yang B. Netlike texture detection method using fractal texture features and wavelet transform. Acta Automatica Sinica, 2007, 33(7): 688−692
    [7] 吴秀永, 徐科, 徐金梧. 基于Gabor小波和核保局投影算法的表面缺陷自动识别方法. 自动化学报, 2010, 36(3): 438−441 doi:  10.3724/SP.J.1004.2010.00438

    Wu X Y, Xu K, Xu J W. Automatic recognition method of surface defects based on gabor wavelet and kernel locality preserving projections. Acta Automatica Sinica, 2010, 36(3): 438−441 doi:  10.3724/SP.J.1004.2010.00438
    [8] 王传桐, 胡峰, 徐启永, 等. 采用Gabor滤波簇和等距映射算法的织物疵点检测方法. 纺织学报, 2017, 38(03): 162−167

    Wang C T, Hu F, Xu Q Y, et al. Detection of fabric defects based on Gabor filters and Isomap. Journal of Textile Research, 2017, 38(03): 162−167
    [9] 孙君顶, 李欣, 盛娜, 等. 基于MBLBPV算法的布匹瑕疵检测方法. 测控技术, 2019, 38(1): 71−76

    Sun J D, Li X, Sheng N, et al. Fabric defect detection based on multi-scale block binary patterns variance. Measurement & Control Technology, 2019, 38(1): 71−76
    [10] 张沐光, 宋执环. LPMVP算法及其在故障检测中的应用. 自动化学报, 2009, 35(6): 766−772 doi:  10.3724/SP.J.1004.2009.00766

    Zhang M G, Song Z H. LPMVP algorithm and its application to fault detection. Acta Automatica Sinica, 2009, 35(6): 766−772 doi:  10.3724/SP.J.1004.2009.00766
    [11] 董蓉, 李勃, 徐晨. 应用积分图的织物瑕疵检测快速算法. 纺织学报, 2016, 37(11): 141−147

    Dong R, Li B, Xu C. Fast fabric defect detection algorithm based on integral image. Journal of Textile Research, 2016, 37(11): 141−147
    [12] 杨晓波. 基于GMFR模型的统计特征畸变织物疵点识别. 纺织学报, 2013, 34(4): 137−142 doi:  10.3969/j.issn.0253-9721.2013.04.027

    Yang X B. Fabric defect detection of statistic aberration feature based on GMRF model. Journal of Textile Research, 2013, 34(4): 137−142 doi:  10.3969/j.issn.0253-9721.2013.04.027
    [13] 李良福, 马卫飞, 李丽, 陆铖. 基于深度学习的桥梁裂缝检测算法研究. 自动化学报, 2019, 45(9): 1727−1742

    Li L F, Ma W F, Li L, et al. Research on detection algorithm for bridge cracks based on deep learning. Acta Automatica Sinica, 2019, 45(9): 1727−1742
    [14] 金侠挺, 王耀南, 张辉, 等. 基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统. 自动化学报, 2019, 45(12): 2312−2327

    Jin X T, Wang Y N, Zhang H, et al. DeepRail: Automatic visual detection system for railway surface defect using bayesian CNN and attention network. Acta Automatica Sinica, 2019, 45(12): 2312−2327
    [15] 王孟涛, 李岳阳, 杜帅. 基于机器视觉的疵点检测方法的研究进展. 现代纺织技术, 2019, 27(05): 57−61

    Wang M T, Li Y Y, Du S. Research progress of defect detection method based on machine vision. Advanced Textile Technology, 2019, 27(05): 57−61
    [16] Zhao Y, Hao K, He H, et al. A visual long-short-term memory based integrated CNN model for fabric defect image classification. Neurocomputing, 2020, 380: 259−270 doi:  10.1016/j.neucom.2019.10.067
    [17] DAGM 2007 Datasets[Online], available: https://hci.iwr.uni-heidelberg.de/node/3616, February 27, 2018
    [18] Kampouris C, Zafeiriou S, Ghosh A, et al. Fine-grained material classification using micro-geometry and reflectance. European Conference on Computer Vision. Springer, Cham, 2016: 778−792.
    [19] Kylberg G. Kylberg Texture dataset v.1.0. centre for image analysis, Swedish University of Agricultural Sciences and Uppsala University, 2011.
    [20] Çelik H İ, Dülger L C, Topalbekiroğlu M. Development of a machine vision system: real-time fabric defect detection and classification with neural networks. The Journal of The Textile Institute, 2014, 105(6): 575−585 doi:  10.1080/00405000.2013.827393
    [21] 车翔玖, 刘华罗, 邵庆彬. 基于Fast RCNN改进的布匹瑕疵识别算法. 吉林大学学报 (工学版), 2019, 49(6): 2038−2044

    Che X J, Liu H L, Shao Q B. Fabric defect recognition algorithm based on improved Fast RCNN. Journal of Jilin University(Engineering and Technology Edition), 2019, 49(6): 2038−2044
    [22] Liu Z, Liu X, Li C, et al. Fabric defect detection based on faster R-CNN. Ninth International Conference on Graphic and Image Processing (ICGIP 2017). International Society for Optics and Photonics, 2018, 10615: 106150A
    [23] 邵鑫玉, 华继钊. 基于机器视觉的无纺布缺陷自动检测系统. 计算机科学, 2014, 41(S1): 487−489

    Shao X Y, Hua J Z. Automatic detection system of fabric defects based on machine vision. Computer Science, 2014, 41(S1): 487−489
    [24] 李明, 景军锋, 李鹏飞. 应用GAN和Faster R-CNN的色织物缺陷识别. 西安工程大学学报, 2018, 32(06): 663−669

    Li M, Jing J F, Li P F. Yarn-dyed fabric defect detection based on GAN and Faster R-CNN. Journal of Xi’an Polytechnic University, 2018, 32(06): 663−669
    [25] Matas J, Chum O, Urban M, et al. Robust wide-baseline stereo from maximally stable extremal regions. Image and Vision Computing, 2004, 22(10): 761−767 doi:  10.1016/j.imavis.2004.02.006
    [26] 贺智明, 彭亚楠. 基于深度学习的织物疵点检测研究进展. 毛纺科技, 2019, 47(08): 83−88

    He Z M, Peng Y N. Progress in fabric defect detection based on deep learning. Wool Textile Journal, 2019, 47(08): 83−88
    [27] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700−4708.
    [28] Deng J, Guo J, Zhou Y, et al. Retinaface: Single-stage dense face localisation in the wild. arXiv preprint arXiv: 1905.00641, 2019.
    [29] Lin T, Dollár P, Girshick R, et al. Feature pyramid networks for object detection. Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2017: 2117−2125.
    [30] Redmon J, Farhadi A. Yolov3: An incremental improvement. arXiv preprint arXiv: 1804.02767, 2018.
    [31] Zhou D, Fang J, Song X, et al. ou loss for 2D/3D object detection. 2019 International Conference on 3D Vision (3DV). IEEE, 2019: 85−94.
    [32] Zheng Z, Wang P, Liu W, et al. Distance-IoU loss: faster and better learning for bounding box regression. arXiv preprint arXiv: 1911.08287, 2019.
    [33] 童艳, 孙君亮, 王鹏宇. 实时测控数据处理集群软件测试系统设计. 自动化技术与应用, 2019, 38(06): 11 doi:  10.3969/j.issn.1003-7241.2019.06.003

    Tong Y, Sun J L, Wang P Y. Design of test system for real-time measurement and control data processing cluster. Techniques of Automation and Applications, 2019, 38(06): 11 doi:  10.3969/j.issn.1003-7241.2019.06.003
    [34] Kingma D P, Ba J. Adam: A method for stochastic optimization. arXiv preprint arXiv: 1412.6980, 2014.
    [35] Liu W, Anguelov D, et al. Ssd: Single shot multibox detector. European Conference on Computer Vision, 2016: 21−37.
  • [1] 牟永强, 范宝杰, 孙超, 严蕤, 郭怡适. 面向精准价格牌识别的多任务循环神经网络[J]. 自动化学报, doi: 10.16383/j.aas.c190633
    [2] 周波, 李俊峰. 结合目标检测的人体行为识别[J]. 自动化学报, doi: 10.16383/j.aas.c180848
    [3] 林景栋, 吴欣怡, 柴毅, 尹宏鹏. 卷积神经网络结构优化综述[J]. 自动化学报, doi: 10.16383/j.aas.c180275
    [4] 冯永, 陈以刚, 强保华. 融合社交因素和评论文本卷积网络模型的汽车推荐研究[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170245
    [5] 李东民, 李静, 梁大川, 王超. 基于多尺度先验深度特征的多目标显著性检测方法[J]. 自动化学报, doi: 10.16383/j.aas.c170154
    [6] 吴彦丞, 陈鸿昶, 李邵梅, 高超. 基于行人属性先验分布的行人再识别[J]. 自动化学报, doi: 10.16383/j.aas.c170691
    [7] 李良福, 马卫飞, 李丽, 陆铖. 基于深度学习的桥梁裂缝检测算法研究[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170052
    [8] 李勇, 林小竹, 蒋梦莹. 基于跨连接LeNet-5网络的面部表情识别[J]. 自动化学报, doi: 10.16383/j.aas.2018.c160835
    [9] 唐贤伦, 杜一铭, 刘雨微, 李佳歆, 马艺玮. 基于条件深度卷积生成对抗网络的图像识别方法[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170470
    [10] 姚乃明, 郭清沛, 乔逢春, 陈辉, 王宏安. 基于生成式对抗网络的鲁棒人脸表情识别[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170477
    [11] 罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160425
    [12] 时增林, 叶阳东, 吴云鹏, 娄铮铮. 基于序的空间金字塔池化网络的人群计数方法[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150663
    [13] 王梦来, 李想, 陈奇, 李澜博, 赵衍运. 基于CNN的监控视频事件检测[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150729
    [14] 孙晓, 潘汀, 任福继. 基于ROI-KNN卷积神经网络的面部表情识别[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150638
    [15] 随婷婷, 王晓峰. 一种基于CLMF的深度卷积神经网络模型[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150741
    [16] 张婷, 李玉鑑, 胡海鹤, 张亚红. 基于跨连卷积神经网络的性别分类模型[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150658
    [17] 刘明, 李国军, 郝华青, 侯增广, 刘秀玲. 基于卷积神经网络的T波形态分类[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150817
    [18] 常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 王宏安. 图像理解中的卷积神经网络[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150800
    [19] 张晖, 苏红, 张学良, 高光来. 基于卷积神经网络的鲁棒性基音检测方法[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150672
    [20] 徐正伟, 郑兰芳, 吴成柯, 陆心如. 基于特征匹配的目标实时识别[J]. 自动化学报
  • 加载中
计量
  • 文章访问数:  7
  • HTML全文浏览量:  6
  • 被引次数: 0
出版历程

无纺布疵点实时检测技术与系统设计

doi: 10.16383/j.aas.c200446
    基金项目:  国家自然科学基金(91748112)资助
    作者简介:

    2018年获得华中科技大学数学与统计学院学士学位, 2020年获得中国香港城市大学商学院硕士学位. 主要研究方向为深度学习在智能制造中的应用. E-mail:dengzelinhust@gmail.com

    2020年获华东交通大学电气与自动化工程学院学士学位. 华东理工大学信息科学与工程学院硕士研究生. 主要研究方向为深度学习, 智能控制与图像处理. E-mail: prevalent98@outlook.com

    2017年获华中科技大学自动化学院学士学位, 华中科技大学人工智能与自动化学院博士. 主要研究方向为深度学习、控制理论和机器人. E-mail: dyl@hust.edu.cn

    2008年获得中国上海交通大学自动化系自动化学士学位. 分别于2009年10月和2012年2月在英国剑桥剑桥大学工程系控制科学与工程硕士学位与博士学位. 现任中国武汉华中科技大学正教授. 曾担任加州大学伯克利分校博士后研究员, 剑桥大学达尔文学院的初级研究员. 主要研究包括信息物理系统的系统识别和控制. E-mail: yye@hust.edu.cn

摘要: 无纺布生产过程中产生的疵点会严重影响产品质量并限制生产效率. 提高疵点检测的自动化程度对于无纺布的生产效率和质量管控至关重要. 传统疵点检测方法难以应对纹理、疵点类型以及环境变化等问题, 限制了其应用范围. 近年来基于卷积神经网络的方法在疵点检测领域得到了广泛应用, 具有泛化性强、准确度高的特点. 但是在无纺布生产过程中, 布匹宽度大、速度快的特点会产生大量图像数据, 基于卷积神经网络的方法难以实现实时检测. 针对上述难题, 本文提出了一种基于最大稳定极值区域分析与卷积神经网络协同的疵点实时检测方法, 并设计了分布式计算处理架构应对数据流过大的问题. 在实际生产部署应用中, 本文所设计的系统与算法无需使用专用计算硬件(GPU、FPGA等), 通过8台工控机与16路工业摄像头对复卷机上布宽2.8 m、速度30 m/min的无纺布进行分布式实时在线检测, 大幅度提高无纺布生产中疵点检测的自动化程度与效率. 本文所提出的系统能够实现对0.3 mm以上疵点召回率100%, 对0.1 mm丝状疵点召回率98.8%.

English Abstract

邓泽林, 刘行, 董云龙, 袁烨. 无纺布疵点实时检测技术与系统设计. 自动化学报, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446
引用本文: 邓泽林, 刘行, 董云龙, 袁烨. 无纺布疵点实时检测技术与系统设计. 自动化学报, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446
Deng Ze-Lin, Liu Xing, Dong Yun-Long, Yuan Ye. Non-woven fabric real-time defects detection method and framework design. Acta Automatica Sinica, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446
Citation: Deng Ze-Lin, Liu Xing, Dong Yun-Long, Yuan Ye. Non-woven fabric real-time defects detection method and framework design. Acta Automatica Sinica, 2020, 46(x): 1−11. doi: 10.16383/j.aas.c200446
  • 无纺布具有强度高、透气性好、质地柔软等优点, 是生产口罩、干湿擦布等医用纺织品的重要原材料[1]. 在无纺布实际生产制造过程中, 质量检测至关重要. 现阶段国内主流的无纺布质量检测环节大量依赖人工来完成, 用工成本高且自动化程度低下, 导致效率难以提升. 无纺布的产量大, 实际铺网生产速度可高达几十米每分钟. 而无纺布的瑕疵尺度通常小于0.5 mm(如图1所示), 导致人工检测的难度大、检出率低. 根据李比希最低定律[2], 如果质量检测员的检测效率远低于生产效率, 则上游的无纺布生产设备难以发挥全部性能. 人工检测方式不仅制约了无纺布产能, 而且在长时间检测中质检员也易发生视觉疲劳, 给产品质量上引入了严重隐患. 因此开展对无纺布瑕疵自动检测的研究, 对提高无纺布的生产效率和质量管控具有深远意义.

    图  1  无纺布生产过程中产生的瑕疵, 点状瑕疵用红色矩形框出, 丝状瑕疵用绿色矩形框出.

    Figure 1.  Defects generated in the production process of non-woven fabrics. The dotted defects are framed by red rectangles, and the filamentary defects are framed by green rectangles.

    目前对布匹缺陷检测方法主要可分为四类[3]: 基于频谱、基于统计、基于模型和基于学习等方法. 基于频谱主要是通过傅里叶变换[4]、小波变换[5, 6]和Gabor[7, 8]变换等. 通过傅里叶变换的方法无法在空间上定位瑕疵位置. 而小波变换和Gabor变换的计算开销大, 难以用于生产过程中的实时检测. 基于统计学是通过直方图统计[9, 10]、灰度共生矩阵和形态学方法对疵点进行特征描述, 这类方法[11]计算开销小, 但是对光照等噪声敏感, 其错检、漏检率较高. 基于模型的方法是通过自回归模型和马尔可夫随机场模型[12], 判断织物的纹理是否符合此模型. 但是基于模型的方法实用性不强, 近几年对其的研究较少.

    近年来随着深度学习技术的发展, 基于深度学习的方法在布匹疵点[15, 16]以及其他各类缺陷[13, 14]的检测中都取得了很好的效果. 同时也有大量的公开数据集[17-19], 为织物疵点检测技术的发展提供了数据上的支持. 基于学习的检测方法可分为候选区域的两阶段式和端到端的单阶段式, 其中候选区域的两阶段式检测方法有着很高的召回率, 广泛应用于包括布匹瑕疵在内的各类缺陷检测任务中. 基于R-CNN[20]的布匹瑕疵检测方法通过滑窗将高分辨的布匹图像裁剪成2000余个48×48的图像块, 并将图像块作为输入, 以神经网络作为一个二元分类器判断输入的图像块是否存在瑕疵. 但是这种方法的计算开销大, 难以用于实时检测中. 基于Fast RCNN[21, 22]的布匹瑕疵检测算法, 通过在高层的特征图中选取候选区域以提高效率. 但是无纺布的缺陷尺寸通常小于0.5 mm, 在经过卷积后的高层特征图中存在细节纹理信息丢失, 因此这种方法选取的候选区域容易遗漏缺陷区域.

    目前对于无纺布疵点检测的研究较少, 主要使用边缘检测与动态阈值相结合的经典机器视觉方法[23]. 这种方法有较高的检测效率, 但是精度和召回率都较低. 研究人员对于织物的疵点检测展开了大量研究, 基于深度神经网络的方法有效地提升了检测的召回率和精度, 但检测效率依然低下. 对于256×256的织物图像平均检测耗时达198 ms[24], 无法满足无纺布的实时检测要求. 无纺布生产过程中, 布匹宽度大、传送速度快的特点会产生大量图像数据, 基于卷积神经网络的织物疵点检测方法难以满足无纺布检测的实时性. 因此, 目前已有的基于深度学习的织物检测方法无法直接应用于无纺布的实时检测中.

    综上所述, 基于传统机器视觉的检测方法计算开销大或难以适应噪声的干扰. 对于无纺布中尺寸微小的疵点, 目前基于神经网络的布匹检测方法难以平衡检测的召回率和效率. 本文提出了一种基于最大稳定极值区域分析和深度学习协同的无纺布瑕疵检测方法, 能够同时兼顾检测的精度与效率. 本文主要贡献如下:

    1) 提出了一种基于最大稳定极值区域和深度学习协同的无纺布瑕疵检测方法, 可用于无纺布生产过程的瑕疵实时检测.

    2) 通过MSER[25](Maximally Stable Extremal Regions)算法提取候选区域的锚点中心. 在不降低分辨率和检测精度的情况下, 有效地提高检测的效率.

    3) 设计了一种分布式无纺布疵点实时检测系统, 降低对计算能力与通信带宽的需求, 提高了系统运行的可靠性.

    • 本文提出了一种基于最大稳定极值区域分析和深度学习协同的无纺布瑕疵检测方法, 并通过预检测和精确检测两级检测的方式保证精度与效率.

    • 本文使用的是两阶段的区域候选检测方案, 区域候选检测方案有着较高的召回率[26], 广泛用于各类缺陷检测中. 但是简单使用滑窗式的区域候选方法产生候选区域过多, 难以满足实时的检测要求. 而在特征图中选取候选区域的方法, 会遗漏微小的无纺布疵点.

      图1所示, 可以看到无纺布中的疵点通常与邻域的灰度值存在差异, 因此本文使用最大稳定极值区域MSER来选取候选区域. MSER作为一种图像中斑点区域检测的方法, 常用于图像中文本区域检测的任务. 而无纺布通常为浅色, 疵点为深色, 和文本与背景的关系相似. MSER无需平滑处理即可快速地对多尺度目标进行检测, 提取无纺布中不同尺寸的疵点. MSER的思路为: 通过一系列的阈值对灰度化的图像进行二值化操作, 并获取不同阈值条件下二值图像的联通区域. 分析各个联通区域的面积随阈值增长时的变化率, 如果联通区域能够在很宽的阈值范围内保持较小的面积变化率, 则为稳定区域. 其实施细节如表1所示. MSER可以有效地生成合格的疵点候选区域, 并且可以通过调整阈值$\tau $以满足对不同等级缺陷的定制检测要求.

      表 1  最大稳定极值区域算法选取候选点

      Table 1.  Maximum stable extreme value region algorithm to select candidate points

      输入: 灰度图像阈值${{\rm{I}}_g}$, $\tau \in {{\mathbb{R}}^{\rm{ + }}}$.
      输出: 候选点坐标$P$.
      步骤1. 求解灰度图像的最大值${t_{\max }} = \max ({I_g})$与最小值${t_{\min }} = \min ({I_g})$, 最大稳定区域初始化为${I_s} = {\rm{O}}$, 初始化阈值$t{\rm{ = }}{t_{\min }} + 1$.
      步骤2. 取阈值$t - 1$, $t$, $t + 1$. 其中$t \in \{ {t_{min}},{t_{min}} + 1,$ ${t_{min}} + 2, \cdots ,{t_{max}}\} $, 对灰度图像${I_g}$进行阈值操作得到二值图像${B_{t - 1}} = \left( {{I_g} < t - 1} \right)$, ${B_t} = \left( {{I_g} < t} \right)$, ${B_{t + 1}} = $ $({I_g} < t + 1)$.
      步骤3. 对${B_{t - 1}}$, ${B_t}$, ${B_{t + 1}}$求联通域$\{ Q_{t - 1}^i,Q_t^i,Q_{t + 1}^i|i = 1,2, \cdots ,M\}$.
      步骤4. 计算联通域$Q_{t - 1}^i$, $Q_t^i$, $Q_{t + 1}^i$的面积$A_{t - 1}^i$, $A_t^i$, $A_{t + 1}^i$.
      步骤5. 如果联通区域随阈值的变化率$|A_{t + 1}^i - A_{t - 1}^i|/$ $|A_t^i| \leqslant \tau $, 则此区域为稳定区域, 使${I_s} = {I_s} \cup Q_t^i$.
      步骤6. 如果$t < {t_{\max }}$, 则$t$自增1, 重复步骤2-5.
      步骤7. 得到最大稳定区域${I_s}$, 对其求四邻域联通域, 其联通域的质心坐标即为候选点坐标$P$.

      MSER可以产生有效且可控的候选点, 如图2所示. 通过MSER算法提取了候选点后, 以候选点为中心提取48×48大小的矩形区域作为预检测模型和精确检测模型的输入.

      图  2  在不同阈值$\tau $时MSER算法产生的候选区域, 红色点代表候选区域的中心点.

      Figure 2.  In the candidate regions generated by the MSER algorithm at different thresholds $\tau $, the red dots represent the center position of the candidate region.

    • 当复卷机工作在高速模式时, 首先由预检测摄像头组获得图像数据, 经过MSER算法提取候选区域, 预检测模型作为二元分类器判断候选区域中是否存在瑕疵. 为了防止池化操作丢失细节纹理信息而造成疵点的漏检, 模型中没有使用池化层来减少模型的参数, 以保证预检测过程的召回率.

      预检测的模型结构如图3所示, 输入的$48 \times 48$的图像经过$1 \times 1$, $3 \times 3$, $5 \times 5$的卷积层得到三个特征图, 3种不同尺度的卷积核可以实现不同大小的感受野, 提高特征感知与整合能力. 将三个特征图拼接后作为Dense Block[27]的输入, Dense Block中的每一层的输入来自之前所有层的输出, 能够充分保留细节信息, 提高网络的特征感知能力. Dense Block能够加强特征图中特征的传递, 如在Dense Block的最后一层仍然保留输入图像的高分辨率信息. 这种连接方式可防止在多层卷积计算的过程中, 丢失无纺布图像细微的疵点语义信息. Dense Block的输出与全连接层相连, 预测结果最后通过softmax函数将输出映射至$[0,1]$.

      图  3  本文采用的预检测模型结构图. 输入疵点图像经过三个不同尺度的卷积后得到三个特征图, 特征图拼接后作为Dense Block的输入. Dense Block输出与全连接层和softmax层相连. 其中虚线矩形框出部分为展开Dense Block的具体形式.

      Figure 3.  The structure diagram of the pre-detection model used in this paper. The input defect image is convolved at three different scales to obtain three feature maps, and the feature maps are concatenated as the input of the Dense Block. The output of the Dense Block is connected to the fully connected layer and the softmax layer. Among them. The dashed rectangle outlines the specific form of the Dense Block.

      预检测模型的输入为经过MSER提取的$48 \times 48$大小的候选区域, 输出为此区域存在疵点的概率. 训练时使用二值交叉熵损失函数作为损失函数:

      $${L_1} = \sum\limits_{i = 1}^M {{y_i}\log ({f_1}({x_i})) + (1 - {y_i})\log (1 - {f_1}({x_i}))} ,$$

      其中${x_i}$, ${y_i}$表示训练数据的输入和标注, ${f_1}( \bullet )$表示预检测二元分类器.

    • 当预检测模型检测到当前无纺布存在缺陷时, 主机控制机将复卷机的工作模式切换为低速. 在低速工作模式下, 精确检测摄像头组开始采集图像, 并通过精确检测模型预测疵点的外接矩形框. 精确检测模型的结构示意图如图4所示.

      图  4  本文采用的精确检测模型. 其中${t_x},{t_y},{t_w},{t_h}$分别表示检测矩形框的横坐标、纵坐标、宽度与高度, ${\rm{C}}$表示疵点检测置信度.

      Figure 4.  The precise detection model used in this paper. ${t_x},{t_y},{t_w},{t_h}$ are the abscissa, ordinate, width and height of the detection rectangle, and ${\rm{C}}$ is the confidence of defect detection.

      精确检测模型采用RetinaNet[28]目标检测模型相似的结构, 由特征金字塔部分和全连接部分组成. 特征金字塔部分采用了特征金字塔结构[29], 特征金字塔由下采样和上采样两部分组成. 下采样通过一系列卷积和最大池化操作, 不断地提高特征图的语义信息维度并降低特征图分辨率. 上采样再通过卷积提高特征图的分辨率并降低语义信息维度. 连续的上采样和下采样操作, 生成了各个尺度的特征图. 由于疵点属于微小的纹理特征, 为了防止在下采样和上采样恢复的过程中细节纹理信息的丢失, 通过侧枝结构将高分辨率的特征图与上采样的特征图进行合并. 合并后的特征图包含了更加丰富的语义信息, 并作为特征金字塔部分的输出. 特征金字塔部分输出的各个尺度的特征图与全连接层相连, 并在全连接层中进行多尺度语义特征信息融合, 精确定位疵点外接矩形.

      外接矩形预处理方式借鉴yolo-v3[30], 精确检测网络预测${t_x},{t_y},{t_w},{t_h}$四个系数和矩形中包含瑕疵的置信度${\rm{C}}$, 四个系数与外接矩形${\rm{B = [}}{{\rm{b}}_x}{\rm{,}}{{\rm{b}}_y}{\rm{,}}{{\rm{b}}_w}{\rm{,}}{{\rm{b}}_h}{\rm{]}}$之间的转换公式如式(1)所示.

      $$\left\{ {\begin{array}{*{20}{l}} {{b_x} = \sigma ({t_x}) + {c_x}} \\ {{b_y} = \sigma ({t_y}) + {c_y}} \\ {{b_w} = {p_w}{e^{{t_w}}}} \\ {{b_h} = {p_h}{e^{{t_h}}}} \end{array}} \right.,$$ (1)

      其中${p_w},{p_h}$为初始矩形的宽和高, $({c_x},{c_y})$表示初始矩形的中心坐标. ${t_x},{t_y}$为横纵坐标上的偏移量, 并经过了sigmoid函数$\sigma (x) = \dfrac{1}{{1 + {e^{ - x}}}}$进行非线性压缩. ${{\rm{b}}_x}{\rm{,}}{{\rm{b}}_y}{\rm{,}}$ ${{\rm{b}}_w}{\rm{,}}{{\rm{b}}_h}$分别表示预测的外接矩形的中心的横纵坐标和矩形的宽高.

      为了初始化矩形框能够包含相应的疵点, 初始化矩形通常包含真实的矩形框. 在初始化矩形与真实矩形为包含关系时, IoU损失函数[31]的输出为零. 故精确检测模型使用CIoU[32]作为损失函数, 如式(2)所示. 与IoU损失函数相比, CIoU还考虑了两个矩形之间的中心点距离、长宽比. 因此CIoU损失函数在两个矩形框为包含关系时模型依然能够很好的收敛.

      $${L_2} = 1 - IoU{\rm{ + }}{{\rm{R}}_{{\rm{CIoU}}}},$$ (2)

      其中:

      $$\left\{ \begin{array}{l} {R_{{\rm{CIoU}}}}{\rm{ = }}\dfrac{{{\rho ^2}(b,\hat b)}}{{{c^2}}} + \alpha \upsilon \\ \upsilon = \dfrac{4}{{{\pi ^2}}}{\left(\arctan \frac{{\hat w}}{{\hat h}} - \arctan \frac{w}{h}\right)^2} \\ IoU = {\rm{ }}\dfrac{{|B \cap \hat B|}}{{|B \cup \hat B|}} \end{array} \right.,$$ (3)

      上式中$b,\hat b$表示预测的矩形和标注的矩形的中心, $w,h,\hat w,\hat h$为预测矩形和标注矩形的宽高. $B,\hat B$为预测的矩形区域和标注的矩形区域, 其中$B = (x,y,w,h)$, $\hat B = (\hat x,\hat y,\hat w,\hat h)$. $\rho ( \bullet )$表示欧式距离公式, $c$是覆盖两个框的最小封闭框的对角线长度. $v$是用于衡量长宽比的一致性的参数, $a$是一个正的权衡参数, 其具体定义为:

      $$\alpha = \dfrac{\upsilon }{{(1 - IoU) + \upsilon }}.$$ (4)

      精确检测模型预测的外接矩形框之间存在着较大的重合, 还需通过非极大值抑制(Non-Maximum Suppression, NMS)算法进行后处理才可得到最终的预测结果, 如图5所示. 不断计算置信度缺陷最大的矩形与其余矩形的IoU, 如果IoU值大于设定的阈值$T$, 则认为是非极大值并去除. 非极大值抑制算法细节如表2所示.

      图  5  NMS算法处理效果图. (a)为原图, (b)为网络预测效果图, 网络预测的矩形用红色矩形绘制出, (c)为经过NMS算法处理后的效果图.

      Figure 5.  NMS algorithm processing effect diagram.(a) is the original image, (b) is the network prediction effect diagram, the network prediction rectangle is drawn with a red rectangle, and (c) is the effect diagram processed by the NMS algorithm.

      表 2  非极大值抑制算法

      Table 2.  Non-maximum suppression algorithm

      输入: 模型预测输出$n$个外接矩形集${\mathbb{B}} = \{ {B_i}|i = 0,1,$ $\cdots ,n\}$, 及其属于疵点的置信度集合${\mathbb{C} } = \{ {C_i}|i = 0,1, \cdots ,n\}$, $IoU$的阈值$T \in (0,1)$.
      输出: 极大外接矩形集合${\mathbb{M}}$.
      步骤1. 极大外接矩形框集合${\mathbb{M}} = \emptyset $.
      步骤2. 求解疵点置信度集合${\mathbb{C}}$中的最大值${C_m}$, 及其对应的外接矩形${B_m}$.
      步骤3. 将${B_m}$存入极大外接矩形集合中${\mathbb{M}} \leftarrow {\mathbb{M}} \cup {B_m}$, 并将${B_m}$和${C_m}$从集合中剔除${\mathbb{B}} \leftarrow {\mathbb{B}} - {B_m}$, ${\mathbb{C}} \leftarrow $ ${\mathbb{C}} - {C_m}$.
      步骤4. 计算矩形框集合中元${B_i} \in {\mathbb{M}}$与${B_m}$之间的$IoU$, 记为$Io{U^i}$.
      步骤5. 如果$Io{U^i} > T$, 则将${B_m}$, ${C_m}$从集合中剔除${\mathbb{B}} \leftarrow {\mathbb{B}} - {B_m}$, ${\mathbb{C}} \leftarrow {\mathbb{C}} - {C_m}$.
      步骤6. 如果${\mathbb{B}} \ne \emptyset $且${\mathbb{C}} \ne \emptyset $, 则重复步骤2-5.
      步骤7. 返回极大外接矩形集合${\mathbb{M}}$.

      本文所提出算法的整体思路与具体流程如图7所示.

      图  7  无纺布疵点检测算法流程图.

      Figure 7.  Flow chart of non-woven fabric defect detection algorithm.

    • 无纺布的疵点实时检测系统主要由复卷机、高速工业摄像头、工业控制机集群以及系统控制软件组成. 本文设计的系统整体结构如图8所示, 生产过程中的无纺布比较松软, 需要通过复卷机进行切边、分切以及接头等操作, 达到一定规格、张力要求才能出厂. 系统通过在复卷机上加装工业摄像头来实时采集无纺布图像. 生产的无纺布在传动滚轴带动下, 无纺布依次通过摄像头的视野范围. 布匹在复卷机上进行疵点检测过程中, 当检测到疵点时复卷机停止运转, 由于惯性会在停止后向前继续滚动滑出清除面板. 为了解决这个问题, 本系统将复卷机的工作分为高速和低速两种模式, 并通过主机控制机切换复卷机的工作模式. 高速工作模式的无纺布传送速度为30 m/min, 低速时为3 m/min, 在低速模式下布匹缓冲距离较小.

      图  8  无纺布疵点检测系统总体组成, 左边为设计示意图, 右边为现场实物图. 设计图中的(a)代表工业控制机集群, (b) 代表高速工业摄像头, 摄像头发出的的蓝色光线代表摄像头的视野. 下方的摄像头组用于预检测, 上方的摄像头组用于精确检测.

      Figure 8.  The overall composition of the non-woven defect detection system, the left is the design schematic diagram, and the right is the real machine. In the design diagram (a) represents the industrial control machine cluster, (b) represents the high-speed industrial camera, and the blue light from the camera represents the camera's field of view The lower camera group is used for pre-detection, and the upper camera group is used for precise detection.

      由于视频流数据量巨大, 单个千兆网口只能负担两路视频流. 系统通过工业控制机集群分布式处理工业摄像头采集的无纺布视频流数据, 每台工控机负责采集两路视频流并通过交换机获取当前运行状态与上传检测结果.

      本文采用两个摄像头组的两级检测方式, 两级检测使用两个结构不同的模型, 能够在保证检测效率的情况下精确地检测无纺布中的疵点. 通过预检测摄像头组和精确检测摄像头组协同工作, 两个摄像头之间安装两个存在一定间距. 当预检测摄像头组检测到缺陷时, 主机控制机将复卷机调为低速模式. 在低速工作模式下, 精确检测摄像头组开始获取图像, 并检测无纺布图像中的缺陷. 预检测模型使用较简单的结构提高检测的速率, 并且要求预检测模型有着较高的召回率. 精确检测由于工作在低速传送的模式下, 对检测的效率要求较低. 故模型设计上可使用较为复杂的模型结构, 以提高检测精度. 同时在模型的功能设计上, 由于预检测模型为二元分类器来判断是否存在瑕疵. 而精确检测模型除了要对缺陷进行分类外, 还需要预测出瑕疵的外接矩形框.

    • 无纺布宽较大, 通常接近3 m, 单一摄像头视野难以覆盖. 本系统通过16个工业高速摄像头呈两排布局来获取完整的无纺布图像. 本系统使用的工业高速摄像头的分辨率为500万像素, 采集帧率为10赫兹. 由于视频流数据量巨大, 单个千兆网口只能负担两路视频流. 本系统通过工业控制机集群分布式处理工业摄像头采集的无纺布视频流数据, 每台工控机负责采集两路视频流并通过交换机获取当前运行状态与上传检测结果, 具体如图6所示.

      图  6  系统分布式设计结构.

      Figure 6.  System distributed design structure.

      系统将16个摄像头分为预检测和精确检测两组, 每组8个摄像头. 每组摄像头的视频流数据由四个从机处理器负责, 每个从机处理器处理两个相邻摄像头产生的视频流数据. 两个摄像头与一个从机工业控制机组成一个子网, 从机控制机的计算能力能够实时地处理两个摄像头采集的视频流数据. 同时, 系统采用的千兆以太网也能在子网中流畅地传输两个摄像头视频流数据. 在从机处理器中使用本文的疵点检测算法进行处理, 并将检测的疵点结果和降分辨率的视频流数据通过以太网发送给主机控制机. 主机控制机根据各个从机的检测结果, 给复卷机发送相应的控制指令从而控制整个瑕疵检测流程. 系统采用控制功能分散、显示操作集中、兼顾分而自治和综合协调的设计原则[33], 有效地提高了系统运行的可靠性.

    • 为了实现更好的数据采集与人工交互方式, 本系统还配套开发了疵点实时检测系统的终端软件, 如图9所示. 软件主要用于控制复卷机的启动、停止等上层逻辑操作、数据集的手工标注, 以及从机控制机识别结果的实时显示. 软件的具体功描述如下:

      图  9  疵点检测系统终端软件.

      Figure 9.  Defect detection system terminal software.

      1) 无纺布数据采集的标注功能. 软件可控制复卷机进入低速模式, 同时从机控制机不执行检测功能, 直接将采集到的视频流数据转发至主机控制机. 软件从视频流数据中提取图像帧, 存储为未标注的数据集. 通过软件对无纺布数据集进行交互式标注, 支持不同类型的疵点使用不同的标注进行区分.

      2) 控制复卷机的工作. 软件设计了相应的人机交互接口, 通过软件可以显示目前复卷机的工作状态. 同时, 也可控制复卷机的停止、工作, 以及高速和低速工作模式之间的切换.

      3) 各个从机控制机疵点检测的集中显示功能. 从机控制机对其负责的两个摄像头的视频流数据进行疵点检测, 将检测结果和降低分辨率的视频流传输给主机控制机. 主机控制机可将检测结果进行集中显示, 将检测到的疵点通过矩形框出, 并统计瑕疵的数目、面积作为无纺布生产质量的定量指标.

    • 本文的所有程序均在Intel Xeon E3 1230-v3 @3.4 GHz, Nvidia GTX 1080, 32 GB RAM, Ubuntu 16.04中进行. 使用Pytorch框架进行训练, 开始的50个epoch的学习率是$1{e^{ - 4}}$, 在接下来的50个epoch学习率线性下降到$1{e^{ - 6}}$.

    • 在复卷机上加装的高速工业摄像头组获取无纺布图像数据, 通过NMS算法选取候选区域后, 手工标注疵点并构成对应的数据集. 数据集共包含无纺布图像2000张, 其中的80%用于训练, 20%用于测试. 通过添加高斯噪声、随机裁剪和马赛克等方式进行数据增强. 训练时的相关超参数配置如表3所示.

      表 3  训练超参数配置

      Table 3.  Training hyperparameter configuration

      参数类型取值
      输入尺寸48×48
      训练轮数100
      学习率$1{e^{ - 4}}$
      衰减因子0.99
      批次大小8
      优化器Adam[34]

      系统中所使用工业摄像头、工业控制器和交换机的硬件相关参数如表4所示.

      表 4  硬件设备参数

      Table 4.  Hardware device information

      硬件类型参数
      摄像头像素分辨率物距视角
      500w800*60020-10 m75度
      控制器处理器内存固态显卡
      i58G64GIntel HD
      交换机端口数端口参数
      8个1000M自适应RJ45端口

      本文采用精度和召回率来评估无纺布疵点检测结果. 精度P和召回率R的计算公式如式(5)所示.

      $$\left\{ {\begin{array}{*{20}{l}} {{\rm{P}} = \dfrac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} \times 100\% } \\ {{\rm{R}} = \dfrac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} \times 100\% } \end{array}} \right.,$$ (5)

      其中TP, FP, FN分别表示真正例、假正例和真反例.

    • MSER算法对$2400 \times 600$无纺布图像的平均处理速度为12.7 ms. 预检测模型和精确检测模型分别训练后, 在测试集上对其进行测试. 在测试集上, 两个模型在不同阈值$\tau $的精度和召回率如表5所示, 结果表明可以调节不同的阈值来满足对不同程度疵点的定制化检测. 两个模型在测试集的预测速度如表6所示, 完全符合复卷机在低速和高速模式下预测速度要求. 测试集上部分疵点的检测效果如图12所示.

      表 5  模型在不同阈值下的检测精度和召回率

      Table 5.  The detection accuracy and recall rate of the model under different thresholds

      模型指标$\tau {\rm{ = 20}}$$\tau {\rm{ = 30}}$$\tau {\rm{ = 40}}$
      预检测精度73.0%80.5%86.4%
      召回率100.0%100.0%99.3%
      精确模型精度86.1%94.5%98.4%
      召回率100.0%100.0%99.7%

      表 6  模型预测速度测试

      Table 6.  Model prediction speed test

      模型48×48候选区域2400×600无纺布图像
      预检测模型3.2 ms46.8 ms
      精确检测模型13.9 ms213.3 ms

      图  12  通过本文算法对疵点进行检测的结果.

      Figure 12.  The result of defect detection through the algorithm of this paper.

      yolo-v3、RetianNet、SSD[35]以及本文方法的精度和召回率在不同阈值$\tau $下的对比如图10图11所示, 由图可知本文在精度与召回率上均为最优. 为了验证算法的鲁棒性, 在不同程度的光照下对不同纹理的无纺布使用本文算法进行提取疵点. 实验结果如图13所示, 结果表明本算法能够较好地克服无纺布纹理与外部光照的干扰, 精确地检测出无纺布疵点.

      图  10  不同模型在不同阈值$\tau $下的精度对比.

      Figure 10.  Comparison of the accuracy of different models under different thresholds $\tau $.

      图  11  不同模型在不同阈值$\tau $下的召回率对比.

      Figure 11.  Comparison of recall rates of different models under different thresholds $\tau $.

      图  13  不同光照和纹理条件下疵点检测结果.

      Figure 13.  Defect detection results under different lighting and texture conditions.

      将训练好的两级模型分别部署于工业控制机中, 使用本文所设计系统对复卷机上的无纺布进行疵点检测. 不同类型疵点的检测精度和召回率测试结果如表7所示. 实验结果表明, 对于0.3 mm以上的疵点召回率为100%, 对0.1 mm的丝状疵点召回率98.8%.

      表 7  不同类型疵点的检测精度和召回率测试

      Table 7.  Testing accuracy and recall rate of different types of defects

      疵点类型疵点尺寸召回率精度
      点状瑕疵0.3 mm100%98.8%
      0.1 mm-0.3 mm99.6%98.3%
      丝状瑕疵0.1 mm以上98.8%98.6%
      0.05 mm-0.1 mm96.8%97.2%
    • 无纺布的质量检测问题直接关系到其生产效率与质量. 为了提高无纺布生产过程中疵点检测的自动化程度, 本文提出了一种基于最大稳定极值区域与卷积神经网络协同的疵点实时检测系统. 针对无纺布生产过程中, 布匹宽度大、速度快的特点. 系统通过预检测与精确检测两级检测机制, 两级检测分别使用不同结构的模型, 在不影响检测效率的情况下精确地检测无纺布中的疵点. 并通过分布式计算处理架构设计, 解决了高速工业摄像头产生视频流数据过大的问题. 实验证明本文提出的算法对疵点的检测精度高, 且可达到实时的检测效率. 本文提出的系统对于0.3 mm以上疵点召回率100%, 对0.1 mm丝状疵点召回率98.8%, 完全能够满足无纺布生产现场疵点检测的效率与精度要求, 可广泛的推广应用于无纺布生产的疵点实时监测中. 目前对于无纺布疵点的清除工作还依赖于人工, 下一步将在本文的基础上, 对检测出的疵点通过机械装置进行去除, 进一步提高无纺布生产的自动化水平.

WeChat 关注分享

返回顶部

目录

    /

    返回文章
    返回