2.845

2023影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

工业铸件缺陷无损检测技术的应用进展与展望

张辉 张邹铨 陈煜嵘 吴天月 钟杭 王耀南

李雷, 徐浩, 吴素萍. 基于DDPG的三维重建模糊概率点推理. 自动化学报, 2022, 48(4): 1105−1118 doi: 10.16383/j.aas.c200543
引用本文: 张辉, 张邹铨, 陈煜嵘, 吴天月, 钟杭, 王耀南. 工业铸件缺陷无损检测技术的应用进展与展望. 自动化学报, 2022, 48(4): 935−956 doi: 10.16383/j.aas.c210161
Li Lei, Xu Hao, Wu Su-Ping. Fuzzy probability points reasoning for 3D reconstruction via deep deterministic policy gradient. Acta Automatica Sinica, 2022, 48(4): 1105−1118 doi: 10.16383/j.aas.c200543
Citation: Zhang Hui, Zhang Zou-Quan, Chen Yu-Rong, Wu Tian-Yue, Zhong Hang, Wang Yao-Nan. Application advance and prospect of nondestructive testing technology for industrial casting defects. Acta Automatica Sinica, 2022, 48(4): 935−956 doi: 10.16383/j.aas.c210161

工业铸件缺陷无损检测技术的应用进展与展望

doi: 10.16383/j.aas.c210161
基金项目: 国家重点研发计划 (2018YFB1308200), 国家自然科学基金 (61971071, 92148204), 湖南省杰出青年科学基金项目 (2021JJ10025), 湖南省重点研发计划 (2021GK4011, 2022GK2011), 机器人学国家重点实验室联合开放基金 (2021-KF-22-17)资助
详细信息
    作者简介:

    张辉:湖南大学机器人学院教授. 2004年、2007年和2012年获得湖南大学学士、硕士和博士学位. 主要研究方向为工业机器视觉和数字图像处理. 本文通信作者. E-mail: zhanghuihby@126.com

    张邹铨:长沙理工大学电气与信息工程学院硕士研究生. 主要研究方向为深度学习和视觉检测. E-mail: zouquan_zhang@163.com

    陈煜嵘:湖南大学电气与信息工程学院博士研究生. 2020年获美国匹兹堡大学硕士学位. 主要研究方向为图像处理, 机器学习和领域自适应. E-mail: chenyurong1998@outlook.com

    吴天月:长沙理工大学电气与信息工程学院硕士研究生. 主要研究方向为深度学习和视觉检测. E-mail: yue_wuwuwu@163.com

    钟杭:湖南大学博士后. 2013年、2016年和2020年获得湖南大学学士、硕士和博士学位. 主要研究方向为机器人控制, 视觉伺服和路径规划. E-mail: zhonghang@hnu.edu.cn

    王耀南:中国工程院院士, 湖南大学机器人学院教授. 1995年获湖南大学博士学位. 主要研究方向为机器人学, 智能控制和图像处理. E-mail: yaonan@hnu.edu.cn

Application Advance and Prospect of Nondestructive Testing Technology for Industrial Casting Defects

Funds: Supported by National Key Research and Development Program of China (2018YFB1308200), National Natural Science Foundation of China (61971071, 92148204), Hunan Science Fund for Distinguished Young Scholars (2021JJ10025), Hunan Key Research and Development Program (2021GK4011, 2022GK2011) and Joint Open Foundation of State Key Laboratory of Robotics (2021-KF-22-17)
More Information
    Author Bio:

    ZHANG Hui Professor at the School of Robotics, Hunan University. He received his bachelor, master and Ph.D. degrees from Hunan University in 2004, 2007 and 2012. His research interest covers industrial machine vision and digital image processing. Corresponding author of this paper

    ZHANG Zou-Quan Master student at the School of Electrical and Information Engineering, Changsha University of Science and Technology. His research interest covers deep learning and visual inspection

    CHEN Yu-Rong Ph.D. candidate at the School of Electrical and Information Engineering, Hunan University. He received his master degree from University of Pittsburgh in 2020. His research interest covers image processing, machine learning and domain adaptionon

    WU Tian-Yue Master student at the School of Electrical and Information Engineering, Changsha University of Science and Technology. Her research interest covers deep learning and visual inspection

    ZHONG Hang Postdoctor at Hunan University. He received his bachelor, master and Ph.D. degrees from Hunan University in 2013, 2016 and 2020. His research interest covers robotics control, visual servo and path planning

    WANG Yao-Nan Academician at Chinese Academy of Engineering, professor at the School of Robotics, Hunan University. He received his Ph.D. degree from Hunan University in 1995. His research interest covers robotics, intelligent control and image processing

  • 摘要: 高端装备制造业是国民经济的支柱产业, 是推动工业转型升级的引擎, 发挥着举足轻重的作用. 而铸造产业一直是人类现代生产生活中重要的、不可替代的产业, 铸件产品既是工业制造产品, 也是大型机械的组成部分. 随着经济水平和工业自动化程度的不断提升, 人们对于铸件的需求量呈指数爆炸式增长, 铸件价值辐射到各行各业. 与此同时, 铸件在铸造、服役过程中经常会出现各种缺陷, 而传统低效的人工检测方法难以保障工业界对中高端铸件的性能需求. 因此亟需对铸件检测技术进行革新. 本文首先对铸件铸造过程以及服役过程中各类缺陷的形成机理进行分析. 然后阐述了基于声学、光学、电磁学等主流检测技术及其常规信号处理方法、磁粉检测技术与渗透检测技术等其他检测技术, 并对近年来新兴的基于神经网络的信号处理方法进行了说明. 在此基础上, 分析了近年来铸件缺陷无损检测技术以及基于神经网络的信号处理方法的研究现状. 最后, 对铸件缺陷无损检测技术及应用的发展趋势进行了展望.
  • 陶瓷是一种多晶材料, 具有高熔点、高硬度和高耐磨性的特点, 目前已广泛应用于民生、电子通讯、医疗和军工等领域. 为了提升陶瓷材料品质, 研究人员通常利用扫描电子显微镜(Scanning electron microscope, SEM)对陶瓷样品扫描成像, 通过分析图像中晶粒的尺寸分布来估计陶瓷样品的物理属性[1]. 扫描电子显微镜的工作原理是通过高压将电子束打在样品表面, 电子与样品表面材料相互作用产生电信号, 对电信号接收处理后显示成像结果. 陶瓷材料的SEM图像由材料区域(即晶粒)和晶粒间的空隙(即晶界)组成, 由于陶瓷是一种绝缘材料, 不具备导电的性质, 在成像时容易被高压电击穿[2]. 为了避免此类情况, 需要控制晶粒尺寸尽可能小, 即同样大小的面积内存在更多的晶界, 使高压电从晶界导出, 保护陶瓷样本不被击穿. 然而晶粒尺寸直接决定了陶瓷材料的性能[3], 因此需要统计SEM图像中晶粒尺寸大小的分布, 进而间接建立实验条件与陶瓷材料性能的对应关系. 目前, SEM图像中的晶粒分析主要依靠人工手段, 测量结果具有明显的局限性: 首先, 一幅陶瓷SEM图像中包含大量晶粒, 人工统计耗时耗力, 测量难度大、效率低; 其次, 晶粒大小形状不规则, 人工测量易受主观因素影响而导致误差较大. 因此, 研究一种能够自动测量晶粒尺寸且准确率高、运算速度快的算法对分析陶瓷材料物理属性具有重要意义.

    为了分析陶瓷材料的物理属性, 首先应该分析陶瓷材料SEM图像中的晶粒尺寸分布, SEM图像具有以下几个特点: 图像边缘信息丰富但纹理信息缺失, 图像中的晶粒大小不均匀且形状不规则, 图像的对比度较低. 基于上述特点, 利用图像分割技术实现对晶粒的分割, 然后统计晶粒的大小分布是一种可行的方法. 然而图像分割方法众多, 常用的方法有基于像素的图像分割方法、基于轮廓的图像分割方法、基于区域的图像分割方法和基于深度学习的图像分割方法.

    基于像素的图像分割方法有阈值法[4]和聚类方法, 其中阈值法严重依赖于阈值个数及参数选取, 实际分割结果较为粗糙, 而基于聚类的方法鲁棒性高, 因此应用较为广泛. 聚类方法主要涉及分层聚类[5]、模糊聚类[6]和谱聚类[7]. 分层聚类算法利用像素之间的相似性进行层次分解, 该类算法计算简单, 便于执行, 但分割结果依赖于树的构建及阈值选取. 模糊聚类算法[8]利用最小误差准则构建目标函数, 通过优化目标函数得到每个像素到聚类中心的隶属度, 根据隶属度可以实现像素分类. 该类算法能够实现图像的快速分割, 但容易忽略图像的空间结构信息、且对噪声较为敏感. 基于谱聚类的图像分割算法是将图像视为一个大的矩阵, 将图像分割问题转化为矩阵特征值分解问题, 该算法能获得连续域中的全局最优解, 但分割结果对相似度矩阵构建较为敏感.

    基于轮廓的图像分割通常采用能量泛函方法, 该方法将图像分割问题转变为能量泛函的最小值求解过程, 主要涉及参数活动轮廓模型[9]和几何活动轮廓模型[10]. 参数活动轮廓模型首先构建一条可变形的参数曲线及相应的能量函数, 以最小化能量目标函数为目标, 通过控制参数曲线变形以实现具有最小能量的闭合曲线, 并将其作为目标轮廓. 几何活动轮廓模型以水平集方法为代表, 该类方法将轮廓视为一个高维函数的零水平集, 通过对该水平集函数进行微分, 从输出中提取零水平集, 进而得到轮廓线. 基于能量泛函的图像分割方法不依赖于图像的边缘及纹理特征, 因此对于噪声强度大、灰度不均匀、对比度较低且目标边界模糊的图像分割效果较好, 但算法计算复杂度较高, 且分割结果依赖于初始轮廓的选取.

    基于区域的图像分割方法主要涉及两个重要步骤, 图像超像素分割[11]和区域合并[12-13], 其基本思想是首先对图像进行过分割, 然后利用过分割结果进行区域合并以生成最终分割结果. 主流的超像素算法如简单的线性迭代聚类(Simple linear iterative clustering, SLIC)[14]、线性谱聚类(Linear spectral clustering, LSC)[15]、基于熵率的超像素分割算法[16]等, 这些超像素算法大多都采用了局部网格内的轮廓迭代优化策略. 该类算法的优势在于能够获得基于预设区域数目的超像素分割结果, 且在局部区域内能获得较为准确的轮廓边界, 缺陷在于优化策略仅在局部区域内进行, 因此超像素块大小均匀, 很难捕获真实的目标轮廓.

    近年来, 随着深度学习[17]的快速发展, 图像语义分割[18]越来越受到学者们的关注. 与传统的图像分割不同, 图像语义分割本质上是对图像的像素进行分类, 将输入图像中的每个像素分配一个语义类别, 以得到像素化的密集分类. Long等[19]率先提出了面向图像语义分割的端到端全卷积网络(Fully Convolutional network, FCN), 该网络首次采用了低层与高层语义特征融合思路, 并采用转置卷积层作为解码器以代替全连接层从而实现了从图像像素到像素类别的转换. 与经典的卷积神经网络(Convolutional neural network, CNN)相比, FCN不仅有效提升了图像语义分割精度, 而且开创了编解码网络结构, 为其后各种图像语义分割网络奠定了基础. 图像分割结果除了与解码器结构设计有关外, 还与上下文信息获取密切相关. 为了获得更宽的感受野以学习更为有效的图像特征, He等[20]首先将金字塔池化引入到网络结构中, 不仅解决了网络受限于输入图像的尺寸问题, 而且有效融合了图像的空间多尺度特征. Zhao等[21]在此基础上提出了金字塔场景分析网络, 利用多尺度卷积核实现图像的空间金字塔池化, 从而使网络能够捕获图像的多尺度特征, 优化网络对复杂场景的理解能力. 近来, Chen等[22]利用卷积核膨胀的思路扩大感受野, 使用了计算量更小且更有效的空洞空间金字塔池化来完成图像的多尺度信息融合. 此外, 针对图像的轮廓预测, Cheng等[23]提出了富卷积特征网络(Richer convolutional features, RCF), 该网络在每一个卷积层都计算其损失函数, 且将所有层的特征信息进行融合得到最终的特征, 其中深层特征可以定位图像的轮廓边缘, 浅层特征可以为深层特征补充细节. 近年来, 学者们发现多尺度的特征表达能有效改善图像分割效果, 因此Gao等[24]构建了一个分层密集连接的模块Res2Net, 以细粒度表示多尺度特征, 并增加了每个网络层的感受野范围. 针对多尺度特征融合问题, Li等[25]提出了深层特征聚合网络, 该网络通过轻量子网络的级联来实现多尺度特征表达并有效减少了参数数目. 常规的多尺度融合方法缺少特征权重信息, 对此, Ding等通过设计尺度选择策略, 提出了CGBNet[26], 该网络通过在每个空间位置选择性地融合来自不同尺度特征的分割结果, 进而提高了图像的分割精度.

    尽管当前已经涌现出大量图像分割算法, 这些算法能解决图像分割领域存在的多种问题, 在很多特殊应用场景中能够满足实际应用需求. 然而扫描电镜图像分割[27]面临两个困难: 首先, SEM图像具有非常高的分辨率, 现有图像分割算法对SEM图像分割耗时较长; 其次, SEM图像采集成本较高, 很难像常规图像一样形成海量数据集, 因此难以直接利用深度卷积神经网络实现端到端的目标分割. 此外, 针对陶瓷材料晶粒分割问题, 由于陶瓷材料SEM图像主要呈现晶粒的轮廓信息, 缺少纹理细节信息, 通常需要大量的预处理及交互处理, 因此很难将主流的图像分割算法直接应用到晶粒分割中. 对此, 薛维华等[28]提出了一种基于图像序列间相似性的晶粒组织图像分割方法, 该方法利用边缘检测、骨架化、断点连接等一系列操作以实现晶粒轮廓提取. 尽管该方法能够获得晶粒的分割结果, 但需要设置较多参数, 且对光照较为敏感、鲁棒性较低. 近来, Jiang等[29]提出一种用于砂岩分析的晶粒自动分割方法, 该研究采用超像素与模糊聚类相结合的方式对砂岩图像进行分割, 获得了较好的砂岩晶粒分割效果. 然而该方法依赖于SLIC超像素分割结果及后续的区域合并算法, SLIC在陶瓷材料SEM图像上很难获得好的预分割结果, 因此这种方法不适合陶瓷材料SEM图像的晶粒分割. 在此基础上, Banerjee等[30]提出一种晶粒自动分割及晶粒度量方法, 该方法首先检测图像边缘并执行二值化处理, 然后利用形态学闭运算及膨胀操作获取封闭轮廓, 利用小区域移除及轮廓细化运算获取单线条封闭轮廓. 与之前的方法相比, 该方法计算简单, 对灰度值较为均匀的SEM晶粒图像容易获得好的分割结果, 然而不足在于该方法主要依赖图像二值化运算提取轮廓, 忽略了图像的灰度细节信息, 因此对于复杂晶粒图像容易发生误分割. 上述方法均利用无监督图像分割技术实现晶粒分割, 将基于监督学习的图像分割技术应用到SEM图像晶粒分割时, 通常面临人工标注成本高, 能够获得的训练样本有限, 且利用深度学习获得的图像分割结果通常存在边缘精度较低等问题, 诸多限制导致当前的图像分割技术难以有效解决陶瓷材料SEM图像中的晶粒分割难题.

    在无监督图像分割算法中, 基于像素分类的图像分割、基于区域信息的图像分割都依赖于图像的纹理特征, 而陶瓷材料SEM图像中的纹理信息缺失, 导致这两类方法难以实现有效的图像分割. 鉴于此类图像边缘信息丰富, 本文将采用基于轮廓的图像分割策略. 在此类方法中, 分水岭[31]是最为流行的一种算法. 然而分水岭算法依赖于图像梯度, 且存在过分割问题, 因此基于数据与模型联合驱动的方式, 提出了基于鲁棒分水岭变换联合轻量级富卷积特征网络(Lightweight and richer convolutional features jointing robust watershed transform, LRCF-RWT)的陶瓷材料晶粒分割算法, 提出的算法具有以下两个贡献:

    1) 利用鲁棒分水岭变换实现了晶粒的快速预分割, 既解决了传统分水岭算法的过分割问题, 又解决了分割区域个数与轮廓精度难以平衡的问题, 较主流的超像素算法能够获得更好的陶瓷材料SEM图像预分割结果;

    2) 提出了轻量级RCF网络-LRCF (Lightweight and richer convolutional features), 并将LRCF网络与RWT (Robust watershed transform)相结合, 兼顾两者的优势, 一方面获取正确的分割区域, 另一方面获取更为精准的轮廓定位. 采用深度可分离卷积将原始RCF网络模型从113 MB 压缩为13.7 MB, 从而有效降低了LRCF对计算和内存资源的消耗; 利用LRCF轮廓预测结果修正RWT的预分割结果, 即数据与模型联合驱动的方式, 实现了分割精度的明显提升.

    本文提出的算法主要由三个部分组成: 首先对图像进行预处理, 解决图像灰度值不均匀的问题; 其次使用鲁棒分水岭变换实现图像预分割; 最后执行形态学轮廓优化, 并根据卷积神经网络输出的图像轮廓对预分割结果进行修正, 总体流程如图1所示. 其中, SE (Structured edge)为结构边缘算法[32].

    图 1  总体流程图
    Fig. 1  Overall flow chart

    由于SEM成像的原理是将电子束打在样本表面, 与样本表面相互作用, 而陶瓷材料具有绝缘性, 所以得到的图像会产生明显的反光现象, 导致图像灰度值不均匀. 工业上为了解决该问题, 采用金属镀膜法, 将电阻率较小的金属(例如金)镀在样本表面, 镀金后得到的陶瓷电镜图像灰度值基本一致. 为了降低图像本身光照不均等问题对实验结果带来的干扰, 本文将实验所用图像分为两组, 一组为未经处理的陶瓷电镜图像, 另一组图像为镀金后成像效果较好的陶瓷电镜图像. 未镀金的陶瓷电镜图像存在曝光问题, 需经预处理以解决灰度值不均匀的问题, 针对该问题, Jobson等[33]首先提出了单尺度(Single scale retinex, SSR)算法.

    在SSR算法中, 决定物体颜色的主要因素是物体对长波、中波、短波三种波长光的反射能力, 而不是光照的强度. 因此物体本身的颜色不受光照的影响, 但光照强度会造成成像时的颜色差异. 一幅图像$ I(x,y) $由反射图像$ R(x,y) $和入射图像$ L(x,y) $组成, 如式(1)所示, SSR算法就是设法去除或降低入射光$ L $, 从而得到物体原本的面貌$ R $.

    $$ I(x,y)=R(x,y)\cdot L\left(x,y\right) $$ (1)

    SSR算法主要通过环绕函数确定环绕像素的权值, 以此来估计中心像素的亮度, 即:

    $$ R\left(x,y\right)=\mathrm{ln}\ {I}\left(x,y\right)-\mathrm{ln}\left[F\left(x,y\right)*I\left(x,y\right)\right] $$ (2)

    其中, $ * $表示卷积, 由于SSR在去除亮度影响时会丢失细节, 因此Jobson等[34]在SSR算法的基础上进一步提出了多尺度Retinex算法(Multi scale retinex, MSR), 模型表达为:

    $$ {R_{MSR}} = \sum\limits_{n = 1}^N {{w_n}} {R_n} $$ (3)
    $$ {F}_{n}(x,y)=\mu {\rm exp}\left(-\frac{{x}^{2}+{y}^{2}}{{{c}_{n}^{2}}}\right) $$ (4)

    其中, $ {R}_{MSR} $是MSR算法输出的反射图像, 通常$ N=3 $, 表示低、中、高三个尺度, $ {w}_{n} $表示权重系数, ${w}_{1}={w}_{2}={w}_{3}=1/3.$ $F_n(x,y)$是高斯环绕函数, 其中$ \mu $是归一化因子, 取值满足$\iint F(x,y){\rm{d}}x{\rm{d}}y= $$ 1.\,\,{c}_{n}$表示高斯环绕空间常数, 通常${c}_{1}{=1}5,\; {c}_{2}{=80,\;} $$ {c}_{3}{=200}$.

    将MSR算法用于图像预处理, 预处理结果如图2所示. 图2(a) ~ 2(d)为原图, 图2(e) ~ 2(h)为经过预处预处理的图像.可以看出, 经过预处理后的图像整体灰度值较为均匀, 有利后续算法实现晶粒的准确分割, 算法能有效解决陶瓷SEM图像的灰度不均匀问题.

    图 2  原图与预处理结果对比
    Fig. 2  Comparison on original and pre-processed images

    图像预处理后需要对图像进行预分割, 分水岭算法的优势在于计算简单, 主要依赖图像的梯度信息实现图像分割, 缺陷在于不能较好的利用图像的纹理信息, 而陶瓷材料SEM图像恰好缺失纹理信息, 因此使用分水岭算法是一个合适的选择. 传统的分水岭变换容易导致图像过分割, 针对该问题, 学者们提出了基于梯度重建的分水岭变换(Morphological gradient reconstruction based watershed transform, MGR-WT)[35].

    首先对预处理后的图像计算梯度, 然后进行梯度重建以移除无用的局部极小值, 最后进行分水岭变换得到分割结果. 通常, 形态学梯度重建(Morphological gradient reconstruction, MGR)能够有效平滑图像的局部极小值区域, 减少梯度图像中的局部极小值个数, 进而在分水岭变换中可以抑制图像过分割. 形态学梯度重建算子通常涉及到结构元素选择, 结构元素的大小及形状会影响最终的重建结果及分割效果, 参数适中时能平衡分割精度和过分割, 但是如何确定最佳的结构元素参数非常困难, 通常根据经验进行人为设定. 图3利用形态学闭重建作用于梯度图像, 梯度图像由SE算法[32]生成. $ r $表示形态学闭重建所选取的圆形结构元素半径. 从图3可以看出, 当用于梯度重建的结构元参数$ r $取值较小时($ r=1 $), 容易引起过分割, 即分割结果中包含大量的小区域; 当$ r $取值较大时($ r=10 $), 容易引起欠分割, 即多个目标分割结果被合并在一起, 且轮廓精度较低; 当$ r $取值适中时($ r=5 $), 分割结果能够兼顾分割区域数目及轮廓精度, 但$ r $的取值为经验值, 且减少分割区域数目是以牺牲轮廓精度为代价的. 针对上述问题, 论文提出一种鲁棒分水岭变换(Robust watershed transform, RWT)以解决MGR-WT的分割结果依赖参数选择的缺陷.

    图 3  不同参数的MGR-WT对图像的分割结果对比
    Fig. 3  Segmentation results comparison using MRG-WT with different values of r

    $ f $$ g $分别表示标记图像和约束变换的掩码图像, 如果$ f\le g $, 则由$ f $重建$ g $的形态学膨胀重建$ {R}^{\delta } $表示为

    $$ {R}_{g}^{\delta }\left(f\right)={\delta }_{g}^{\left(n\right)}\left(f\right) $$ (6)

    其中, ${\delta }_{g}^{\left(1\right)}\left(f\right)=\delta \left(f\right)\wedge g,{\delta }_{g}^{\left(k\right)}\left(f\right)=\delta \left({\delta }_{g}^{(k-1)}(f)\right)\wedge g$, 当$2\le k\le n,n\in {\bf N}^{+}$时, $ {\delta }_{g}^{\left(n\right)}\left(f\right)={\delta }_{g}^{(n-1)}\left(f\right) $成立. $ \delta $表示形态学膨胀运算, $\wedge$表示逐点取极小值运算.

    同样, 当$ f\ge g $, 则由$ f $重建$ g $的形态学腐蚀重建$ {R}^{\varepsilon } $表示为:

    $$ {R}_{g}^{\varepsilon }\left(f\right)={\varepsilon }_{g}^{\left(n\right)}\left(f\right) $$ (7)

    其中, ${\varepsilon }_{g}^{\left(1\right)}\left(f\right)=\varepsilon \left(f\right)\vee g,{\varepsilon }_{g}^{\left(k\right)}\left(f\right)=\varepsilon \left({\varepsilon }_{g}^{(k-1)}(f)\right)\vee g$, 当$2\le k\le n,n\in {\bf N}^{+}$时, $ {\varepsilon }_{g}^{\left(n\right)}\left(f\right)={\varepsilon }_{g}^{(n-1)}\left(f\right) $成立. $\varepsilon $表示形态学腐蚀运算, $\vee$表示逐点取极大值运算.

    对图像进行形态学重建运算, 可以在保持大的目标不被平滑的同时有效滤除小目标. 由于组合形态学开闭运算在图像滤波、特征提取等方面表现出比基本形态学开闭运算更好的性能, 所以定义$ f $重建$ g $的组合形态学开、闭运算$ {R}^{\gamma } $$ {R}^{\phi } $为:

    $$ \left\{\begin{array}{c}{R}_{g}^{\gamma }\left(f\right)={R}_{g}^{\delta }\left({R}_{g}^{\varepsilon }\right(f\left)\right)\\ {R}_{g}^{\phi }\left(f\right)={R}_{g}^{\varepsilon }\left({R}_{g}^{\delta }\right(f\left)\right)\end{array}\right. $$ (8)

    $ f $重建$ g $的无参数自适应形态学梯度重建如式(8)所示, 其中$ m $表示最大结构元素的尺度, 通常$ m>10 $, 多尺度结构元素满足关系${b}_{1}\subseteq \cdots \subseteq {b}_{i}\subseteq $$ {b}_{i+1}\subseteq \cdots\subseteq {b}_{m}$.

    $$ \Psi (g,m)={\vee }_{1\le i\le m}\{{R}_{g}^{\phi }\left(f{)}_{{b}_{i}}\right\} $$ (9)

    利用公式对图像进行梯度重建并执行分水岭变换, 分割结果仍然包含较多的小区域, 如图4(a)所示, 主要原因在于$ i $的取值从1开始, 虽然设置了更大的$ i $值, 例如$ i=3 $可以减少小区域数目, 但同时降低了结果的轮廓精度. 为了得到更好的重建结果, 需要将这些小区域去除. 设$ H $为梯度图像, $ I $$ H $的区域极小值图像, $ W $是经过分水岭变换获得的分割结果, $ I=({I}_{1},{I}_{2},\cdots ,{I}_{n}),{I}_{j} $表示图像$ I $中第$ j $个连接分量, $ 1\le j\le n $. 同样, $ W={W}_{1}\cup {W}_{2}\cup \cdots \cup $$ {W}_{n},{W}_{j} $表示$ W $中第$ j $个分割区域, 由此可以得到:

    图 4  RWT与MGR-WT对陶瓷材料晶粒的分割结果对比
    Fig. 4  Comparison of the segmentation results of ceramic grains between RWT and MGR-WT
    $$ \sum\limits_{p\in {W}_{j}}\theta \left({x}_{p}\right)\ge \sum\limits_{q\in {I}_{j}}\theta \left({x}_{q}\right) $$ (10)

    其中, ${W}_{{j}_{1}}\cup {W}_{{j}_{2}}\ne \emptyset ,1\le {j}_{1},{j}_{2}\le n,{j}_{1}\ne {j}_{2},{x}_{p}$$ W $中第$ p $个像素, $ {x}_{q} $$ I $中第$ q $个像素, 并且

    $$ \theta \left({x}_{i}\right)=\left\{\begin{array}{cc}1,&\;\;\;\;\;\;\; {x}_{i}\in {W}_{j}\;\;{\rm{or}}\;\;{I}_{j}\\ 0,& {\rm otherwise}\end{array}\right. $$ (11)

    式(9)和(10)表明, 通过去除图像I中较小的连通分量, 达到合并较小的分割区域的目的, 利用式(11)去除较小的连通分量, 从而根据分割结果实现区域合并.

    $$ {I}^{r}={R}_{I}^{\delta }\left(\varepsilon \left(I\right){b}_{k}\right) $$ (12)

    其中, $ k $是结构元素参数, $ k $值越大, 合并图像$ W $中小区域越多.

    RWT首先得到无参数的自适应形态学梯度重建公式, 然后计算局部极小值, 采用二值形态学重建对局部极小值优化. 由式(8)可以看出, RWT采用多尺度结构元素实现梯度重建, 重建结果随着$ m $的增大而收敛, 因此$ m $为常数, 解决了MGR的单尺度梯度重建结果容易受结构元素参数影响的问题. 此外, 由式(11)可以看出, 参数$ k $的变化会导致区域极小值个数的变化, 然而这种变化只会影响最终的分割区域个数, 而不影响最终的轮廓精度, 实际效果等价于区域合并运算, 如图4所示. 由图4(b)可以看出, MGR-WT会将一个完整的晶粒错误分割成两部分, 而在图4(c)中, RWT实现了正确的晶粒分割, 因此本文提出的RWT较MGR-WT能够实现更好的晶粒分割效果.

    尽管图4给出了较好的分割结果, 且鲁棒性较好, 不易受环境和参数的影响, 然而分割结果仍然存在以下问题: 一方面, 由于不同晶粒之间的缝隙过大, 从而导致双线轮廓问题, 如图5所示; 另一方面, 由于分割结果过度依赖于结构边缘算法输出的梯度, 缺乏对图像语义信息的利用, 因此导致轮廓定位不准问题, 如图9(c)所示.

    图 5  基于RWT的图像分割结果
    Fig. 5  RWT suffer from the problem of double line contour

    为了解决双线轮廓问题, 采用基于形态学轮廓优化的双线消除策略. 首先检查每个标签所覆盖的区域, 确保图像中每个标签只能覆盖一个区域; 然后给定一个结构元, 令结构元遍历整张图像, 并消除比结构元小的区域. 基于这个处理思路, 本文选用基于形态学的轮廓优化方法对图像进行处理, 步骤如下:

    步骤1. 首先确保图像中每个标签只能覆盖一个区域;

    步骤2. 对每一个标签区域执行形态学开运算, 从原始图像中减去开运算结果, 如式(12);

    $$ {f}_{m}={\bigcup }_{l=1}^{L}{b}_{l}-\delta \left(\varepsilon \right({b}_{l}\left)\right) $$ (13)

    其中, $ {b}_{l} $表示第$ l $个标签区域, $ l=1,\cdots ,L,{f}_{m} $表示原始图像中去掉开运算部分的结果.

    步骤3.$ {f}_{m} $重新分配给相邻区域, 使每个区域标签不同, 并重新标号.

    利用双线轮廓优化方法对图5进行优化, 结果如图6所示. 显然, 该方法可以解决轮廓双线问题并且不改变分割轮廓形状.

    图 6  去除双线
    Fig. 6  Removing double lines

    为了进一步提升分割轮廓的精度, 避免分割结果过度依赖SE得到的梯度, 引入基于卷积神经网络的图像轮廓预测模型. 传统神经网络边缘检测模型[36-37]的局限性在于其提取的低层级特征信息很难去表征高层次信息, 大多数基于CNN网络的边缘检测模型仅仅只利用卷积网络的最后一层, 在深层次的特征信息中缺失了浅层的细节信息, 容易导致网络模型无法收敛并造成梯度消失. RCF是基于VGG16构建的网络框架, 将所有来自卷积层的层级特征组合成一个整体框架, 用来检测边缘信息, 其中所有参数均可自动学习多尺度和多层级的特征. 在预测图像轮廓之前, 首先改变原始图像的大小, 构建一组图像金字塔, 将这些图像输入到RCF网络进行前向传递; 然后用双线性插值法将边缘检测图恢复为原始大小; 最后将这些边缘图的平均值输出.

    利用RCF网络模型可以得到较为准确的晶粒轮廓, 但RCF网络存在模型大、参数多、训练速度慢等问题, 因此, RCF网络对计算和内存资源消耗较高. 为了解决该问题, 利用深度可分离卷积(Depthwise separable convolution, DSC)替代RCF网络中的标准卷积, 从而得到轻量型的丰富卷积特征网络. 深度可分离卷积将标准卷积分解成深度卷积和逐点卷积, 如图7所示. 假设输入特征图尺寸为$ {D}_{F}\times {D}_{F}\times M $, 输出特征图尺寸为$ {D}_{F}\times {D}_{F}\times N $, 卷积核尺寸为$ {D}_{K}\times {D}_{K}\times M\times N $, 则标准卷积的计算量为$ {D}_{K}^{2}\times M\times N\times {D}_{F}^{2} $, DSC的计算量为深度卷积和逐点卷积的计算量之和$ {D}_{K}^{2}\times M\times {D}_{F}^{2}+ $$ M\times N\times {D}_{F}^{2} $. 与标准卷积相比, DSC的计算量可缩减为标准卷积的$( 1/N+1/{D}_{K}^{2}) $. 图8给出了LRCF的网络结构图, 其模型大小仅13.7 MB, 约为原RCF模型大小的1/8. 将LRCF应用于陶瓷晶粒轮廓预测, 结合RWT实现数据与模型联合驱动的陶瓷晶粒分割, 结果如图10 所示. p线为优化前结果, g线为优化前结果, y线为Ground Truth. 由图10(a)可以看出, 基于SE与RWT (SE-RWT) 实现的陶瓷晶粒分割结果总体较好, 缺陷在于部分晶粒的轮廓定位不准, 而基于LRCF和RWT (LRCF-RWT) 实现的陶瓷晶粒分割结果不仅能够获得准确的晶粒区域, 而且实现了更为准确的晶粒轮廓定位, 如图10(b) ~ (c)所示.

    图 7  深度可分离卷积
    Fig. 7  Depthwise separable convolution
    图 8  LRCF网络结构图
    Fig. 8  LRCF network structure
    图 9  基于LRCF与分水岭变换的图像分割
    Fig. 9  Image segmentation using the combination of LRCF and watershed transform
    图 10  轮廓优化
    Fig. 10  Contour optimization

    边缘检测领域中的数据集往往是由不同标注者进行标注, 得到的标注结果受标注者本身对目标物体认知的影响. 虽然人与人的认知各不相同, 但是对于相同图像的边缘标注具有非常高的一致性.

    因此, 对每张图像的标注结果取均值, 生成新的边缘率映射图, 取值范围为[0, 1]. 其中, 0表示没有标注者将其标注为边缘像素, 1表示所有的标注者都将其标注为边缘像素. 边缘概率值超过$ \eta $($ \eta $取值0.5)的记为正样本, 概率值等于0的记为负样本. 利用训练数据中标记的结果生成相应的边缘概率图, 定义损失函数如下:

    $$l\left( {{X_i};W} \right)\left\{ {\begin{array}{*{20}{l}} &\alpha \cdot {\rm{ln}} (1 - P\left( {{X_i};W} \right)),&{\rm{if}}\;\;{y_i}{\rm{ = 0,}}\\ &0,&{\rm{if}}\;\;0 < {y_i} < \eta \\ &\beta \cdot {\rm{ln}} P\left( {{X_i};W} \right),&{\rm{otherwise}} \end{array}} \right.$$ (14)
    $$ \alpha =\lambda \frac{\left|{Y}^{+}\right|}{\left|{Y}^{+}\right|+\left|{Y}^{-}\right|}{,}\qquad\beta =\frac{\left|{Y}^{-}\right|}{\left|{Y}^{+}\right|+\left|{Y}^{-}\right|} $$ (15)

    其中, $ {Y}^{+} $$ {Y}^{-} $分别表示正样本集和负样本集, $ \alpha $$ \beta $分别表示正、负样本所占总样本的比例, $ \lambda $表示超参数, 用于平衡正、负样本的比例. $ {X}_{i} $$ {y}_{i} $分别给出了像素$ i $处的激活值和标注边缘概率. $ P\left(X\right) $是标准的Sigmoid函数, $ W $表示在结构中学习到的所有参数, 最终得到的损失函数为式(15), 其中$ {X}_{i}^{\left(k\right)} $$ {X}_{i}^{fuse} $分别表示来自$ k $层和融合层的激活值, $ \left|I\right| $表示图像$ I $中的像素数, $ K $表示层数.

    $$ L\left(W\right)=\sum\limits_{i=1}^{\left|I\right|}\left(\sum\limits_{k=1}^{K}l\left({X}_{i}^{\left(k\right)};W\right)+l\left({X}_{i}^{fuse};W\right)\right) $$ (16)

    由LRCF得到的图像梯度预测结果如图9(a)所示. 该结果表明, LRCF能够实现较好的陶瓷晶粒梯度预测结果, 对该结果进行分水岭变换, 结果如图9(b)所示. y线表示Ground Truth. 由图9(b)可以看出, 尽管分割结果存在过分割问题, 然而分割结果的轮廓贴合度较高, 即LRCF能帮助分水岭变换获得更为准确的轮廓定位. 与图4中的RWT结果相比, LRCF的缺陷在于区域分割错误严重, 优势在于轮廓精度更高.

    算法1. 基于数据与模型联合驱动的晶粒分割结果优化

    输入. $ f\_rwt $(RWT分割结果), $ f\_lrcf $(基于LRCF的分割结果), $ m $(基于LRCF的分割结果中标签的总数)

    输出. $ g $(优化结果)

    1) 定义$ f\_lrcf $标签$label ;$

    2) for $i=\mathrm{1,2},\cdots ,m ;$

    3) 寻找$ f\_lrcf $$ label=i $的位置$L ;$

    4) 确定$ L $$ f\_rwt $中的标签$label\_rwt1, label\_ rwt2 ,$$\cdots;$

    5) 从$ L $中选取所占比例最大的标签, 设为$label\_rwt ;$

    6) $label=label\_rwt ;$

    7) end.

    据此, 本文利用LRCF对RWT的结果进行优化, 即数据与模型联合驱动的方式, 在保持RWT分割区域不变的情况下有效提升RWT的轮廓定位精度, 从而实现LRCF与RWT的优势互补, 获取更好的晶粒分割结果, 具体如算法1所示. 利用算法1, 对图4中RWT结果进行优化, 结果如图10所示. 从图中可以看出, 优化后的边缘更加准确, 且优化前后并未引入基于LRCF分割结果中过分割部分.

    为了降低图像本身光照不均等问题对实验结果带来的干扰, 选取两组陶瓷SEM图像作为实验数据, 第1组是未经处理的陶瓷SEM图像, 第2组是经过工业镀金处理后去除光照影响的陶瓷SEM图像. 为了验证LRCF-RWT的分割性能, 选取Liu等[38]提出的基于聚类的分割算法(Morphological gradient reconstruction, Liu's-MGR)、随机游走(Random walker, RW)[39]、SLIC[14]、LSC[15]、Banerjee等[30]提出的算法、SE梯度结合分水岭变换的方法(Structured edge based watershed transform, SE-WT)[32]、SE梯度结合自适应形态学重建的分水岭变换方法(Structured edge adaptive morphological reconstruction and watershed transform, SE-AMR-WT)[40]、RCF结合分水岭变换(RCF-WT)[23]方法与本文提出的LRCF-RWT进行对比. 上述对比算法均采用公开代码进行实验, 算法参数与原文一致, 其中LRCF训练时设置损失参数$ \eta =0.5, $$ \lambda =1.1 $, 训练所用数据集为基准数据集[41].

    LRCF网络在Intel Core i99900X @3.5 GHZ 128 GB RAM, 双NVIDIA GeForce RTX 2080Ti GPU工作站上进行训练, 编程环境为PyTorch1.2.

    由于Liu's-MGR算法、SE-WT以及RCF-WT算法在分割线边缘附近都存在大量的闭合小区域, 为了公平对比, 本文将形态学梯度重建引入到所有对比算法中, 即使用Liu's-MGR、SE-MGR-WT和RCF-MGR-WT作为对比算法.

    图11为第1组实验图像(未镀金图像)的分割结果对比, 图中每一列代表一幅实验图像, 图11(a)为Liu's-MGR分割结果, 聚类中心数为5, 从结果可以看出, 该算法是依据像素灰度值进行分割, 由于实验图像晶粒之间灰度值不具备明显的差异, 所以这种基于聚类的分割算法结果不适用于本次实验图像. 图11(b)是随机游走的分割结果, 在图中较为均匀地选取了60个种子点, 与Liu's-MGR相比, 虽然分割精度有所提升, 但该算法的分割结果依赖于初始种子点的数量以及播撒位置, 很难做到将实验图像精准分割. 图11(c)图11(d)是两种超像素算法的分割结果, 图11(c)是SLIC的分割结果, 该算法的分割结果大小均匀、形状较为规则, 而陶瓷晶粒大小不一、形状不规则, 而且SLIC对灰度值较为敏感, 所以SLIC不适用于实验图像. 图11(d)是LSC的分割结果, 与图11(c)相比, 该算法得到的结果对晶界的定位较为准确, 但与SLIC有同样的缺陷, 即算法对像素灰度值较为敏感, 导致过分割. 图11(e)是文献[30]提出的算法分割结果, 该算法分割结果较为准确, 但会受到光照影响, 导致分割错误, 而且该算法未能分割出图像边缘部分的晶粒. 图11(f)是SE-MGR-WT的分割结果, 分割结果与LSC分割结果较为相似, 但LSC对晶粒的分割是不准确的. 虽然LSC的分割结果与晶界重合率较高, 但晶粒之间并没有形成闭合区域, 相比之下SE-MGR-WT的分割结果得到的晶粒区域闭合且彼此独立. 图11(g)是SE-AMR-WT的分割结果, 与图11(f)相比, 该算法采用自适应多尺度形态学算子对梯度进行重建, 重建效果优于单尺度梯度重建, 所以该算法解决了过分割问题之后, 晶粒分割准确率提升, 但是分割结果存在双线轮廓问题. 图11(h)是RCF-MGR-WT对应的分割结果, 该算法利用网络深层特征进行区域定位, 浅层特征补充细节, 分割边缘准确性优于SE-AMR-WT, 但该算法分割结果过分割严重. 图11(i)是本文提出的LRCF-RWT的分割结果, 与上述算法相比, 该算法对陶瓷晶粒分割准确, 同时解决了双线轮廓问题, 分割效果最好.

    图 11  第一组分割结果对比(未镀金图像)
    Fig. 11  Comparison of the first group of segmentation results (unplated image)

    图12为第2组实验图像(镀金图像)的分割结果对比, 图中每一列代表一幅实验图像, 镀金后图像整体的灰度值变化范围缩小. 与图11相比, Liu's-MGR在减小了灰度值的影响之后, 分割结果能够部分贴合晶界, 但误分割仍然严重. 由于随机游走受像素灰度值影响不大, 因此图12(b)图11(b)近似. 在灰度值影响减弱的情况下, SLIC和LSC的分割结果仍然存在严重的误分割. 其余算法分割结果与图11相比均有不同程度的改善, 其中 LRCF-RWT表现出最好的结果.

    图 12  第二组分割结果对比(镀金图像)
    Fig. 12  Comparison of the first group of segmentation results (gilded image)

    为了进一步对比不同分割算法的性能, 本文采用4种算法指标对分割结果进行测试, 分别是重叠比率(Covering, CV)[41]、变化信息(Variation of information, VI)[42]、全局一致性误差(Global consistency error, GCE)[43]和边界位移误差(Boundary displacement error, BDE)[44]. 其中CV的值越大, 表示分割结果越好; VI、GCE和BDE的值越小, 表示分割结果越好.

    为了减小实验样品的不同处理方式对分割结果的影响, 指标对比时同样将实验图像分为2组, 表1是未处理的陶瓷电镜图像分割的实验指标平均值, 表2是镀金后的陶瓷电镜图像分割的实验指标平均值. 从图11可以看出, Liu's-MGR不适用于实验图像, 随机游走与Liu's-MGR相比准确率有所提升. 对照表1可以看出, Liu's-MGR的CV指标很低, 随机游走的CV指标比Liu's-MGR高. 从图11可以看出, SLIC分割结果并不准确, 虽然LSC分割结果与晶界重合率比较高, 但是该算法受像素灰度值影响较大, 且并未在晶粒边缘构成闭合区域, 所以2种算法CV指标较低. SE-MGR-WT与LSC相比, 分割结果构成闭合区域, 所以该算法的CV值大于LSC的CV值. 但是SE-MGR-WT过分割严重, 所以当SE-AMR-WT克服了过分割问题后, CV指标大幅度提升. 从图像中可以看出, 文献[30]的算法能够较为准确地分割出晶粒, 所以该算法的CV值比SE-MGR-WT大, 但算法受灰度值大小影响, 且难以分割图像边缘部分的晶粒, 因此CV值小于SE-AMR-WT. RCF-MGR-WT的分割结果过分割也很严重, 因此该算法的CV值比SE-AMR-WT低, 但RCF-MGR-WT的分割边缘的准确率高, 表现为该算法的变化信息和误差比SE-AMR-WT小. 相比其他算法, LRCF-RWT获得了最高的实验指标.

    表 1  不同方法对陶瓷晶粒分割的性能指标对比(第1组实验, 未镀金的图像)
    Table 1  Performance comparison of different approaches for ceramic grain segmentation (the first group of experiments for unplated image)
    MethodsCV↑VI↓GCE↓BDE↓
    Liu's-MGR[38]0.28893.42700.47427.3230
    Random Walker[39]0.35562.90030.140713.2147
    SLIC[14]0.35473.05240.439610.1678
    LSC[15]0.34552.88200.35637.5911
    Banerjee's[30]0.59592.19920.20313.9182
    SE-MGR-WT[32]0.46802.38870.13645.0346
    SE-AMR-WT[40]0.82871.12800.11221.6261
    RCF-MGR-WT[23]0.66361.49520.09553.5651
    LRCF-RWT0.86970.87100.07631.6262
    下载: 导出CSV 
    | 显示表格
    表 2  不同方法对陶瓷晶粒分割的性能指标对比(第2组实验, 镀金的图像)
    Table 2  Performance comparison of different approaches for ceramic grain segmentation (the second group of experiments for gilded image)
    MethodsCV↑VI↓GCE↓BDE↓
    Liu's-MGR[38]0.26223.80530.35656.9440
    Random Walker[39]0.38232.95170.220216.4378
    SLIC[14]0.32793.09620.407011.3350
    LSC[15]0.33472.84180.32658.0651
    Banerjee's[30]0.70351.71750.10522.7484
    SE-MGR-WT[32]0.79791.20310.10332.0565
    SE-AMR-WT[40]0.87570.99090.11101.2623
    RCF-MGR-WT[23]0.57711.76910.08954.8813
    LRCF-RWT0.92170.66990.06281.0201
    下载: 导出CSV 
    | 显示表格

    分析表2实验数据, 在去除了光照干扰之后, Liu's-MGR、随机游走、SLIC以及LSC的实验指标与表1类似, 这些算法均表现出较低的分割精度. RCF-MGR-WT利用深层次和浅层次的特征, 算法结果稳定, 分割结果不受光照的影响. 文献[30]算法、SE-MGR-WT、SE-AMR-WT以及LRCF-RWT的实验指标对比表1有所提升, 图像对比也可以看出这3种算法在图12的分割结果比图11好. 由以上分析可得, 分割结果图的视觉效果和实验指标的直观数据得出的结论一致, LRCF-RWT的分割效果最好, 分割准确率最高.

    在完成图像分割之后, 就可以对晶粒尺寸进行计算. 在图像分割过程中, 已经将各个晶粒分开, 此时可以得到一幅图像中所有的晶粒数目以及晶粒尺寸的分布. 选取每幅图像中尺寸大小较为均匀的晶粒, 计算其尺寸的平均值, 计算方法可将晶粒近似为圆形, 通过得到晶粒面积间接计算其直径, 即为该晶粒尺寸. 其中人工测量方式为每幅图像选取5个形状大小较为均匀的晶粒, 测量晶粒尺寸并求平均值. 由于人工测量结果受测量者主观影响较大, 所以选择5位测量者分别对实验图像进行测量, 得到的测量数据如表3所示, 在去除最大值和最小值后, 对测量值取平均值, 以此来减弱主观因素对测量的影响, 最终得到的人工测量结果如表4所示. 从表3表4可以看出, 人工测量的误差较大, 且测量中受主观影响较大, 测量费时费力. 表5表4各算法分割结果中晶粒尺寸与Ground Truth的差值, 可以看出, 给出的LRCF-RWT与对比算法相比, 得到的晶粒尺寸更接近真实结果, 进一步验证了提出算法的优势.

    表 3  人工测量晶粒尺寸结果(像素)
    Table 3  Grain sizes using manual method (pixels)
    测量者 1测量者 2测量者 3测量者 4测量者 5
    194.5589.1793.3994.2288.51
    290.92100.33105.3891.4899.91
    3107.50100.91102.0996.4989.91
    4101.6189.9192.0894.4293.38
    5108.31103.8895.16102.4593.52
    6112.51108.21112.34109.70107.84
    7101.85104.13102.8094.4089.73
    下载: 导出CSV 
    | 显示表格
    表 4  不同方法对陶瓷晶粒尺寸的计算结果对比(像素)
    Table 4  Comparison of ceramic grain sizes using different approaches (pixels)
    人工测量Ground TruthLiu's-MGR[38]RW[39]SLI[14]LSC[15][30]SE-MGR-WT[32]SE-AMR-WT[40]RCF-MGR-WT[23]LRCF-RWT
    192.2697.8088.00195.1674.3363.9592.5848.8883.7363.0798.56
    297.2498.0085.60161.5474.4863.6686.5955.0994.3475.0899.15
    399.8392.3382.81175.1576.6662.39105.2950.9290.5263.0892.47
    493.2993.3465.97206.9675.7262.7386.4553.1787.7065.2192.48
    5100.5096.0974.38192.8075.9968.04102.0267.2593.8759.9596.76
    6110.0898.9369.83177.5676.4870.01104.0876.3896.0059.31100.65
    799.6896.6178.18183.0375.5071.71114.2885.2993.9853.5997.67
    下载: 导出CSV 
    | 显示表格
    表 5  不同方法计算陶瓷晶粒尺寸结果的误差(像素)
    Table 5  Error comparison of different approaches on ceramic grain size computation (pixels)
    Liu's-MGR[38]RW[39]SLIC[14]LSC[15][30]SE-MGR-WT[32]SE-AMR-WT[40]RCF-MGR-WT[23]LRCF-RWT
    1−9.80+97.36−23.47−33.85−5.22−48.92−14.07−34.73−0.76
    2−12.40+63.54−23.52−34.34−11.41−42.91−3.66−22.92+1.15
    3−9.52+82.82−15.67−29.94−12.96−41.41−1.81−29.25−0.14
    4−27.37+113.62−17.62−30.61−6.89−40.17−5.64−28.13−0.86
    5−21.71+96.71−20.1−28.05+6.07−28.84−2.22−36.14−0.67
    6−29.10+18.63−22.45−28.92+5.15−19.55−2.93−39.62+1.72
    7−18.43+86.42−21.11−24.90+17.67−11.32−2.63−43.02−1.06
    下载: 导出CSV 
    | 显示表格

    针对人工测量陶瓷材料晶粒尺寸效率低、误差大的问题, 提出了一种数据与模型联合驱动的陶瓷材料晶粒分割算法. 该算法解决了传统分水岭算法存在的过分割以及分割区域个数与轮廓精度难以平衡的问题, 并通过引入卷积神经网络提升了分割精度, 实现了陶瓷材料SEM图像中晶粒的正确分割, 便于后续晶粒尺寸的统计与计算. 实验结果表明, 与传统分割算法相比, 提出的算法能实现不同类型陶瓷材料SEM图像中晶粒的准确分割.

    然而, 针对未镀金SEM图像, 由于个别区域受光照影响严重, 预处理后该区域的灰度值依旧与其他区域差异过大, 导致分割错误. 此外, 部分图像中晶界不明显, 灰度值与晶粒相似, 导致晶粒未能正确分割. 针对上述问题, 未来我们将深入研究弱监督学习及生成对抗网络在陶瓷材料晶粒分割中的应用.


  • 收稿日期 2021-02-26 录用日期 2021-06-06 Manuscript received February 26, 2021; accepted June 6, 2021 国家重点研发计划 (2018YFB1308200), 国家自然科学基金 (61971071, 92148204), 湖南省杰出青年科学基金项目 (2021JJ10025), 湖南省重点研发计划 (2021GK4011, 2022GK2011), 机器人学国家重点实验室联合开放基金 (2021-KF-22-17)资助 Supported by National Key Research and Development Program of China (2018YFB1308200), National Natural Science Foundation of China (61971071, 92148204), Hunan Science Fund for Distinguished Young Scholars (2021JJ10025), Hunan key research and development program (2021GK4011, 2022GK2011) and Joint Open Foundation of State Key Laboratory of Robotics (2021-KF-22-17) 本文责任编委 徐德
  • Recommended by Associate Editor XU De 1. 湖南大学机器人学院 长沙 410082 2. 长沙理工大学电气与信息工程学院 长沙 410114 1. School of Robotics, Hunan University, Changsha 410082 2. School of Electrical and Information Engineering, Changsha University of Science and Technology, Changsha 410114
  • 图  1  基于稀疏表示检测算法流程图

    Fig.  1  The flow chart of detection algorithm based on sparse representation

    图  2  拉伸杆和航空工件原图像及CT重建的三维图像

    Fig.  2  Original images of stretching rods and aerial parts and three dimensional images rebuilt by CT

    图  3  铝铸件缺陷与无损伤处的高光谱数据

    Fig.  3  Hyperspectral data of aluminum casting defects and no damage

    图  4  凝固扩展裂纹的超声波信号

    Fig.  4  Ultrasonic signal of solidification propagation crack

    图  5  裂纹的几何尺寸与远场涡流探测信号关系

    Fig.  5  The relationship between the crack geometry size and the far-field eddy current detection signal

    图  6  合金样品的缺陷区域热成像3D模型

    Fig.  6  Thermal imaging 3D model of defect area of alloy sample

    图  7  机器视觉系统示意图

    Fig.  7  Schematic diagram of machine vision system

    图  8  图像识别缺陷的类别、位置和区域

    Fig.  8  Image recognition defect category, location and area

    图  9  帧间深度卷积神经网络结构图

    Fig.  9  Inter-frame deep convolution neural network structure diagram

    图  10  高端铸件缺陷检测技术展望概述

    Fig.  10  Overview of the prospect of high-end casting defect detection technology

    表  1  铸件缺陷类型以及各伤损示意图

    Table  1  Types of casting defects and diagrams of each damage

    缺陷
    种类
    成因影响因素特征示例
    气孔合金凝固时气体析出气体溶解度、浇铸温度、压射速度、砂粒度[7]在铸件内部、表面处有光滑孔眼,有时附有一层氧化膜
    缩孔铸件凝固过程中,合金成分的液态收缩、凝固收缩以及固态收缩铸件复杂度、浇注温度、冒口位置、铸造压力[12,14,18]在铸件厚断面内部,交界面内部及厚断面处,形状多为长尾状或凸形,孔内粗糙不平,晶粒粗大
    铸造
    裂纹
    铸件表面或内部因各种原因发生断裂,或机械加工产生的微缺陷离心转速、涂料、浇铸温度及速度在铸件上有穿透或穿透的裂纹,开裂处金属表皮未氧化
    夹杂物铸造合金在熔炼过程中杂质颗粒保留在固体金属内浇注时间、碳含量铸件内部出现不规则孔洞, 内含有明显细粒
    偏析凝固过程液相或固相的物理运动铸件厚度、浇注温度同一铸件上化学成分、金相
    组织和性能不一致
    疲劳
    裂纹
    在铸件内部产生永久性累计损伤循环应力、循环应变疲劳扩展区裂纹表面光滑, 脆性断裂区表面粗糙
    下载: 导出CSV

    表  2  铸件缺陷无损检测与评估技术对比

    Table  2  Comparison of non-destructive testing and evaluation techniques for rail defects

    物理学分类检测技术铸件类型缺陷类型优点缺点
    基于光学的无损检测技术X射线二维成像技术所有铸件孔洞类缺陷、夹杂类缺陷可探测复杂异形铸件、结果直观且便于存储、对气孔类缺陷检测良好[2127]检测环境要求高、速度慢、成本高、无法表征完整的缺陷轮廓及形态[2127]
    X射线三维成像技术所有铸件孔洞类缺陷、夹杂类缺陷及裂纹可探测复杂异形铸件、结果直观且便于存储、对三维缺陷表达能力强[15, 2838]检测环境要求高、速度慢、成本高[2838]
    机器视觉检测技术所有铸件表面缺陷硬件成本低、可检测复杂铸件表面缺陷、结果直观且便于存储、检测速度快[4147]系统抗干扰能力弱、成像质量易受外界因素影响[4147]
    高光谱检测
    技术
    所有铸件孔洞类缺陷可探测复杂异形铸件、能获得缺陷更详尽的特征、预测潜在缺陷[4849]成像过程极长、图像所占内存量大、结果无法直观地判别缺陷[4849]
    基于声学的无损检测技术超声检测技术所有铸件内部缺陷探测速度快、检测成本低、穿透能力强、对环境无污染[5051]需要耦合剂、对铸件表面光滑度有要求、信号信噪比低[5051]
    相控阵超声检测技术所有铸件内部缺陷探测速度快、声束角度及深度人为可控[5256]需要耦合剂、对铸件表面光滑度有要求[5256]
    全聚焦相控阵超声技术所有铸件内部缺陷探测速度快、可高分辨率成像[5759]需要耦合剂、探测手段尚未成熟[5759]
    激光超声检测技术复杂铸件内部缺陷无需耦合剂、可探测复杂铸件、穿透能力强、对细微裂纹敏感、能检测缺陷位置及大小[6066]探测手段尚未成熟
    基于电磁学的无损检测技术涡流检测技术铁磁性铸件表面及近表面缺陷无需耦合剂、可在高温下检测、探测速度快、检测电信号便于数据比较与存储[6769]只能探测结构简单铸件、难以定量定性地评估缺陷[6769]
    远场涡流技术铁磁性铸件表面缺陷及内部裂纹无需耦合剂、探测速度快、对管状类铸件缺陷检测效果极佳[7075]只能检测管状铸件[7075]
    脉冲涡流检测技术铁磁性铸件表面及内部缺陷无需耦合剂、探测速度快、能对缺陷定量评估[7681]易受频率影响,检测时效性低、对微小裂纹异常敏感[7681,96]
    脉冲涡流热成像技术金属型铸件表面及内部缺陷无需耦合剂、检测结果直观、精度高、检测面积大[8388]对铸件本身会有一定损耗[8388]
    其他无损检测技术磁粉检测技术铁磁性铸件表面及近表面缺陷检测结果直观、成本低、对表面细微缺陷敏感[91, 95]需要磁悬液、对铸件表面光滑度有要求、人工参与度高[89, 91, 95]
    渗透检测技术所有铸件表面及近表面缺陷可探测复杂铸件、检测结果直观、成本低[9495]使用试剂对人与环境有害、检测流程复杂、速度慢、人工操作、检测环境有要求[90, 9495]
    下载: 导出CSV

    表  3  基于深度学习的铸件缺陷检测研究现状

    Table  3  Research status of casting defect detection based on deep learning

    方法实验对象检测目标结果分析数据来源
    新的空间注意力双线性卷积神经网络所有铸件气孔及人工钻孔缺陷精度高达93.30%,可以有效地学习并鉴别特征文献[105]中的表3
    基于深度学习特征匹配的铸件缺陷三维定位方法精密铸件0.3~1 mm 大小的渣孔缺陷在实现自动定位的基础上精度优于传统方法,平均定位误差低于传统平移视差法8.69%文献[106]中的表3
    采用特征金字塔网络提取特征,结合区域特征聚集方式的ROI Align汽车铸铝件微小孔洞类缺陷与Faster R-CNN相比,使用FPN后,平均精度提高40.9%; 使用ROI Align后,精度提高了23.6%文献[103]中的表3~6
    自适应深度与感受野选择语义分割的网络铝合金铸件海绵收缩、低密度异物、高密度异物、孔洞类缺陷此方法的mIoU比最新的语义分割模型Dense-ASPP高出3.85%文献[100]中的表3图7
    基于对象级注意机制和双线性池化构建有效的CNN模型铸铝件一般缺陷对于每个定量指标(准确率、精确度、召回率), 提出的模型均优于其他经典深度学习分类模型文献[102]中的表3~5
    通用特征网络和微妙特征网络结合的
    网络模型
    汽车铸铝件20种铸造缺陷该模型在实际X射线图像的每个指标上均优于其他分类模型文献[107]中的表1
    基于视觉注意力机制和特征图深度学习的鲁棒跟踪检测方法三类工件缩孔、孔隙率铸件缺陷的误检率和漏检率均小于4%,缺陷检测的准确率大于96%文献[104]中的图7
    基于深度残差网络的铸件外观缺陷检测方法汽车制动支架暗孔、浅坑、裂纹、缺口、凸起、凹陷ResNet-34ASoftReLu方法的准确率达到93.7%, 远远高于传统检测方法文献[108]中的表1~2
    基于自适应神经模糊推理系统的阀门铸件影像智能故障诊断系统阀门铸件裂纹、气体夹杂物、缩孔缺陷分类的平均准确性为80%文献[109]中的表3
    3D卷积神经网络结合非线性拓扑尺寸参数和经验模型二十种铸造模型缩孔、夹杂物、裂纹所提出的CNN在平均精度上优于现有方法的10%至20%文献[110]中的表2
    改进的Faster R-CNN算法钢带六类表面缺陷以20帧每秒的速度实现了98.32%的平均精度均值, 97.02%的查全率和99%的检
    测率
    文献[111]中的表2~3
    基于选择性注意机制和深度学习特征匹配的缺陷动态跟踪检测方法一般铸件渣孔误检率和漏检率均低于3%, 缺陷检测准确率超过97%. 与极线约束跟踪等方法比较, 准确率提高5个百分点以上文献[112]中的表2~4
    用于识别X射线图像中铸件缺陷的基于Mask-RCNN的体系结构汽车铸铝件一般缺陷超过了缺陷检测算法在GD-Xray数据集上的最高性能, mAP达95.7%文献[113]中的表4
    下载: 导出CSV
  • [1] 中华人民共和国国家市场监督管理总局. 铝合金铸件射线照相检测 缺陷分级: GB/T 11346-2018, 2018
    [2] 中华人民共和国国家铁路局. 铁道货车铸钢摇枕、侧架: TB/T 3012-2016, 2016
    [3] ASTM International. Standard reference radiographs for heavy-walled (41/2 to 12-in. [114 to 305-mm]) steel castings: ASTM E280, 2010
    [4] ASTM International. Standard reference radiographs for steel castings up to 2 in. (50.8 mm) in thickness: ASTM E446, 2010
    [5] Fiorese E, Bonollo F, Timelli G, Arnberg L, Gariboldi E. New classification of defects and imperfections for aluminum alloy castings. International Journal of Metalcasting, 2015, 9(1): 55-66. doi: 10.1007/BF03355602
    [6] 万谦, 赵海东, 邹纯. 铝合金压铸件微观孔洞三维特征及分布的研究. 金属学报, 2013, 49(3): 284-290. doi: 10.3724/SP.J.1037.2012.00553

    Wan Qian, Zhao Hai-Dong, Zou Chun. Three-dimensional charaserization and distribution of micropores in aluminum alloy high pressure die casting. Acta Metallurgica Sinica, 2013, 49(3): 284-290. doi: 10.3724/SP.J.1037.2012.00553
    [7] Salonitis K, Zeng B, Mehrabi H A, Jolly M. The challenges for energy efficient casting processes. Procedia CIRP, 2016, 40: 24-29. doi: 10.1016/j.procir.2016.01.043
    [8] Jatimurti W, Alexander B, Toto Wibisono A. Effect of degassing time and cooling rate on microstructure and porosity of aluminum 6061 alloy using sand casting method. Materials Science Forum, 2019, 964: 124-129. doi: 10.4028/www.scientific.net/MSF.964.124
    [9] Chelladurai C, Mohan N S, Hariharashayee D, Manikandan S, Sivaperumal P. Analyzing the casting defects in small scale casting industry. Materials Today: Proceedings, 2021, 37: 386-394. doi: 10.1016/j.matpr.2020.05.382
    [10] Malhotra V, Kumar Y. Study of process parameters of gravity die casting defects. International Journal of Mechanical Engineering and Technology, 2016, 7(2): 208-211.
    [11] Zhao L P, Dou R S, Yin J J, Yao Y Y. Intelligent prediction method of quality for continuous casting process. In: Proceedings of the 2016 IEEE Advanced Information Management, Communicates, Electronic and Automation Control Conference. Xi’an, China: IEEE, 2016.1761−1764
    [12] Cao H X, Hao M Y, Shen C, Liang P. The influence of different vacuum degree on the porosity and mechanical properties of aluminum die casting. Vacuum, 2017, 146: 278-281. doi: 10.1016/j.vacuum.2017.09.048
    [13] Jia L M, Xu D M, Li M, Guo J J, Fu H Z. Casting defects of Ti-6Al-4V alloy in vertical centrifugal casting processes with graphite molds. Metals and Materials International, 2012, 18(1): 55-61.
    [14] Bijagre V, Deulgaonkar V. Modeling and finite element analysis for a casting defect in thin wall structures. International Journal of Emerging Engineering Research and Technology, 2015, 3(5): 77-82.
    [15] Wang L, Limodin N, El Bartali A, Witz J F, Seghir R, Buffiere J Y, et al. Influence of pores on crack initiation in monotonic tensile and cyclic loadings in lost foam casting A319 alloy by using 3D in-situ analysis. Materials Science and Engineering: A, 2016, 673: 362-372. doi: 10.1016/j.msea.2016.07.036
    [16] Rotella A, Nadot Y, Piellard M, Augustin R, Fleuriot M. Fatigue limit of a cast Al-Si-Mg alloy (A357-T6) with natural casting shrinkages using ASTM standard X-ray inspection. International Journal of Fatigue, 2018, 114: 177-188. doi: 10.1016/j.ijfatigue.2018.05.026
    [17] Jamil M, Khan A M, Hegab H, Sarfraz S, Sharma N, Mia M, et al. Internal cracks and non-metallic inclusions as root causes of casting failure in sugar mill roller shafts. Materials, 2019, 12(15): 2474. doi: 10.3390/ma12152474
    [18] Joshi A, Jugulkar L M. Investigation and analysis of metal casting defects and defect reduction by using quality control tools. International Journal of Mechanical and Production Engineering, 2014, 2(4): 87-92.
    [19] 中华人民共和国国家市场监督管理总局. 铸件 射线照相检测: GB/T 5677-2018, 2018.
    [20] Hussein A E, Senabulya N, Ma Y, Streeter M J V, Kettle B, Dann S J D, et al. Laser-wakefield accelerators for high-resolution X-ray imaging of complex microstructures. Scientific Reports, 2019, 9: 3249. doi: 10.1038/s41598-019-39845-4
    [21] Lu W Q, Zhang S G, Zhang W, Li J G. Imaging of structure evolution in solidifying Al-Bi immiscible alloys by synchrotron radiography. Journal of Materials Science & Technology, 2016, 32(12): 1321-1325.
    [22] Wang K Y, Cheng Y Y. Design of X-ray digital imaging and data acquisition system. Russian Journal of Nondestructive Testing, 2009, 45(5): 362-366. doi: 10.1134/S1061830909050106
    [23] Li X L, Tso S K, Guan X P, Huang Q. Improving automatic detection of defects in castings by applying wavelet technique. IEEE Transactions on Industrial Electronics, 2006, 53(6): 1927-1934. doi: 10.1109/TIE.2006.885448
    [24] Jin C, Kong X G, Chang J T, Cheng H, Liu X J. Internal crack detection of castings: a study based on relief algorithm and Adaboost-SVM. The International Journal of Advanced Manufacturing Technology, 2020, 108(9): 3313-3322.
    [25] Zhao X Y, He Z X, Zhang S Y, Liang D. A sparse-representation-based robust inspection system for hidden defects classification in casting components. Neurocomputing, 2015, 153: 1-10. doi: 10.1016/j.neucom.2014.11.057
    [26] Kamalakannan A, Rajamanickam G. Spatial smoothing based segmentation method for internal defect detection in X-ray images of casting components. In: Proceedings of the 2017 Trends in Industrial Measurement and Automation. Chennai, India: IEEE, 2017.1−6
    [27] Mery D, Arteta C. Automatic defect recognition in X-ray testing using computer vision. In: Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Santa Rosa, CA, USA: IEEE, 2017.1026−1035
    [28] Kruth J P, Bartscher M, Carmignato S, Schmitt R, De Chiffre L, Weckenmann A. Computed tomography for dimensional metrology. CIRP Annals, 2011, 60(2): 821-842. doi: 10.1016/j.cirp.2011.05.006
    [29] du Plessis A, Rossouw P. X-ray computed tomography of a titanium aerospace investment casting. Case Studies in Nondestructive Testing and Evaluation, 2015, 3: 21-26. doi: 10.1016/j.csndt.2015.03.001
    [30] Yang Z F, Kang J D, Wilkinson D S. Characterization of pore defects and fatigue cracks in die cast AM60 using 3D X-ray computed tomography. Metallurgical and Materials Transactions B, 2015, 46(4): 1576-1585. doi: 10.1007/s11663-015-0370-6
    [31] Fieres J, Schumann P, Reinhart C. Predicting failure in additively manufactured parts using X-ray computed tomography and simulation. Procedia Engineering, 2018, 213: 69-78. doi: 10.1016/j.proeng.2018.02.008
    [32] du Plessis A, le Roux S G, Guelpa A. Comparison of medical and industrial X-ray computed tomography for non-destructive testing. Case Studies in Nondestructive Testing and Evaluation, 2016, 6: 17-25. doi: 10.1016/j.csndt.2016.07.001
    [33] 霍其润, 李建武, 陆耀, 秦明. 基于变分的CT图像环形伪影校正. 自动化学报, 2021, 45(9): 1713-1726.

    Huo Qi-Run, Li Jian-Wu, Lu Yao, Qin Ming. Variation-based ring artifact correction in CT images. Acta Automatica Sinica, 2021, 45(9): 1713-1726.
    [34] Villarraga-Gómez H, Smith S T. Effect of the number of projections on dimensional measurements with X-ray computed tomography. Precision Engineering, 2020, 66: 445-456. doi: 10.1016/j.precisioneng.2020.08.006
    [35] Liu C H, Jin S, Lai X M. Dimensional precision control of large castings. Precision Forming Technology of Large Superalloy Castings for Aircraft Engines. Singapore: Springer, 2021. 279−353
    [36] Villarraga-Gómez H, Lee C B, Smith S T. Dimensional metrology with X-ray CT: A comparison with CMM measurements on internal features and compliant structures. Precision Engineering, 2018, 51: 291-307. doi: 10.1016/j.precisioneng.2017.08.021
    [37] Zhao F, Mendonça P R S, Yu J, Kaucic R. Learning-based automatic defect recognition with computed tomographic imaging. In: Proceedings of the 2013 IEEE International Conference on Image Processing Melbourne, VIC, Australia: IEEE, 2013.2762−2766
    [38] Oeckl S, Wenzel T, Gondrom S, Rauch F. Real inline X-ray 3D CT with short cycle times for light metal casting inspection in production. In: Proceedings of the 2018 IEEE Nuclear Science Symposium Conference Record. Dresden, Germany: IEEE, 2008.562−564
    [39] 俞胜平, 柴天佑. 开工时间延迟下的炼钢-连铸生产重调度方法. 自动化学报, 2016, 42(3): 358-374.

    Yu Sheng-Ping, Chai Tian-You. Rescheduling method for starting time delay in steelmaking and continuous casting production processes. Acta Automatica Sinica, 2016, 42(3): 358-374.
    [40] 柴天佑. 工业人工智能发展方向. 自动化学报, 2020, 46(10): 2005-2012.

    Chai Tian-You. Development directions of industrial artificial intelligence. Acta Automatica Sinica, 2020, 46(10): 2005-2012.
    [41] Singh A K, Swarup A, Agarwal A, Singh D. Vision based rail track extraction and monitoring through drone imagery. ICT Express, 2019, 5(4): 250-255. doi: 10.1016/j.icte.2017.11.010
    [42] Wan W F, Lu H J, Zhukova V, Ipatov M, Zhukov A, Shen Y J. Surface defect detection of magnetic microwires by miniature rotatable robot inside SEM. AIP Advances, 2016, 6(9): 095309. doi: 10.1063/1.4962965
    [43] Wang L, Zhang Z J. Automatic detection of wind turbine blade surface cracks based on UAV-taken images. IEEE Transactions on Industrial Electronics, 2017, 64(9): 7293-7303. doi: 10.1109/TIE.2017.2682037
    [44] Frayman Y, Zheng H, Nahavandi S. Machine vision system for automatic inspection of surface defects in aluminum die casting. Journal of Advanced Computational Intelligence and Intelligent Informatics, 2006, 10(3): 281-286. doi: 10.20965/jaciii.2006.p0281
    [45] Li L Y, Hao P F. Steel plate corrugation defect intelligent detection method based on picture cropping and region growing algorithm. In: Proceedings of the 2019 14th IEEE Conference on Industrial Electronics and Applications. Xi'an, China: IEEE, 2019.587−590
    [46] Ma L Y, Hua C S, He Y Q. Defect detection of the irregular turbine blades based on edge pixel direction information. In: Proceedings of the 2018 4th Annual International Conference on Network and Information Systems for Computers. Wuhan, China: IEEE, 2018.165−170
    [47] Pastor-López I, Santos I, Santamaría-Ibirika A, Salazar M, de-la-Peña-Sordo J, Bringas P G. Machine-learning-based surface defect detection and categorisation in high-precision foundry. In: Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications. Singapore: IEEE, 2012.1359−1364
    [48] Shaw G, Manolakis D. Signal processing for hyperspectral image exploitation. IEEE Signal Processing Magazine, 2002, 19(1): 12-16. doi: 10.1109/79.974715
    [49] Mehrubeoglu M, Simionescu P A, Robinson S, McLauchlan L. A comparative study of three vision systems for metal surface defect detection. In: Imaging Spectrometry XX. San Diego, California, USA: International Society for Optics and Photonics, 2015.96110L
    [50] 李小青, 刘强虎, 朱明, 蒋赫. 大型风电球墨铸铁件超声波检测技术研究. 现代铸铁, 2017, 37(2): 19-24. doi: 10.3969/j.issn.1003-8345.2017.02.001

    Li Xiao-Qing, Liu Qiang-Hu, Zhu Ming, Jiang He. Investigation on ultrasonic test technique of heavy wind power nodular iron castings. Modern Cast Iron, 2017, 37(2): 19-24. doi: 10.3969/j.issn.1003-8345.2017.02.001
    [51] Xiao H F, Chen D, Xu J W, Guo S F. Defects identification using the improved ultrasonic measurement model and support vector machines. NDT & E International, 2020, 111: 102223.
    [52] Tkocz J, Greenshields D, Dixon S. High power phased EMAT arrays for nondestructive testing of as-cast steel. NDT & E International, 2019, 102: 47-55.
    [53] 苏宣机. 阀门铸钢件异形结构区域的相控阵超声检测. 无损检测, 2020, 42(12): 15-19. doi: 10.11973/wsjc202012004

    Su Xuan-Ji. Phased array ultrasonic inspection of valve steel castings with irregular structure area. Nondestructive Testing, 2020, 42(12): 15-19. doi: 10.11973/wsjc202012004
    [54] Xue S N, Le Q C, Jia Y H, Jiang L P, Zhang Z Q, Bao L. Ultrasonic flaw detection of discontinuous defects in magnesium alloy materials. China Foundry, 2019, 16(4): 256-261. doi: 10.1007/s41230-019-9041-6
    [55] 蒋毓良, 徐德民, 张伟, 吴铁明, 陈开来, 陈树. 球墨铸铁件的超声相控阵技术检测. 现代铸铁, 2014, 34(4): 22-27. doi: 10.3969/j.issn.1003-8345.2014.04.002

    Jiang Yu-Liang, Xu De-Min, Zhang Wei, Wu Tie-Ming, Chen Kai-Lai, Chen Shu. Ultrasonic phase controlling array technique detection of nodular iron casting. Modern Cast Iron, 2014, 34(4): 22-27. doi: 10.3969/j.issn.1003-8345.2014.04.002
    [56] Han Z W, Lu C, Liu Z H. Research on 3D imaging based on linear ultrasonic phased array. In: Proceedings of International Conference on Intelligent and Interactive Systems and Applications. Cham, Switzerland: Springer, 2016.322−328
    [57] 强天鹏, 杨贵德, 杜南开, 陈建华, 张国强, 龚成刚. 全聚焦相控阵技术声场特性初探. 无损检测, 2020, 42(1): 1-6. doi: 10.11973/wsjc202001001

    Qiang Tian-Peng, Yang Gui-De, Du Nan-Kai, Chen Jian-Hua, Zhang Guo-Qiang, Gong Cheng-Gang. Preliminary study on the acoustic field characteristics of full focus phased array technology. Nondestructive Testing, 2020, 42(1): 1-6. doi: 10.11973/wsjc202001001
    [58] Deutsch K, Roye W, Rast H, Benoist P. High resolution phased array imaging using the total focusing method. In: Proceedings of the 19th World Conference on Non-Destructive Testing. Munich, Germany, 2016.1−8
    [59] 贾乐成, 陈世利, 白志亮, 曾周末, 杨晓霞. 超声全聚焦成像校正模型及加速算法. 仪器仪表学报, 2017, 38(7): 1589-1596. doi: 10.3969/j.issn.0254-3087.2017.07.004

    Jia Le-Cheng, Chen Shi-Li, Bai Zhi-Liang, Zeng Zhou-Mo, Yang Xiao-Xia. Correction model and accelerating algorithm for ultrasonic total focusing method. Chinese Journal of Scientific Instrument, 2017, 38(7): 1589-1596. doi: 10.3969/j.issn.0254-3087.2017.07.004
    [60] 宋燕星, 王晶. 激光参数及激光超声探测方法对超声信号影响. 红外与激光工程, 2014, 43(5): 1433-1437. doi: 10.3969/j.issn.1007-2276.2014.05.015

    Song Yan-Xing, Wang Jing. Influence of laser parameters and laser ultrasonic detection method on ultrasonic signals. Infrared and Laser Engineering, 2014, 43(5): 1433-1437. doi: 10.3969/j.issn.1007-2276.2014.05.015
    [61] Yang C H, Jeyaprakash N, Chan C K. Inhomogeneous mechanical properties in additively manufactured parts characterized by nondestructive laser ultrasound technique. NDT & E International, 2020, 116: 102340.
    [62] Liu P P, Jang J, Yang S, Sohn H. Fatigue crack detection using dual laser induced nonlinear ultrasonic modulation. Optics and Lasers in Engineering, 2018, 110: 420-430. doi: 10.1016/j.optlaseng.2018.05.025
    [63] 曾伟, 王海涛, 田贵云, 方凌, 汪文, 万敏, 等. 基于能量分析的激光超声波缺陷检测研究. 仪器仪表学报, 2014, 35(3): 650-655.

    Zeng Wei, Wang Hai-Tao, Tian Gui-Yun, Fang Ling, Wang Wen, Wan Min, et al. Research on laser ultrasonic defect signal detection technology based on energy analysis. Chinese Journal of Scientific Instrument, 2014, 35(3): 650-655.
    [64] Liu Y Q, Yang S X, Liu X K. Reference-free crack detection and localization by nonlinear laser ultrasonic. In: Proceedings of the 2018 15th International Conference on Ubiquitous Robots. Honolulu, USA: IEEE, 2018.791−796
    [65] Grün H, Mitter T, Roither J, Betz A, Bozorgi S, Burgholzer P. Center crack detection during continuous casting of aluminum by laser ultrasonic measurements. In: Proceedings of Thermosense: Thermal Infrared Applications XXXVI. Baltimore, Maryland, USA: International Society for Optics and Photonics, 2014.91050A
    [66] Roither J, Mitter T, Reitinger B, Wiesinger A, Hofer C, Grün H, et al. Detection of casting defects in aluminum slabs by laser ultrasonic measurements. In: the 19th World Conference on Non-Destructive Testing. Munich, Germany, 2016.
    [67] García-Martín J, Gómez-Gil J, Vázquez-Sánchez E. Non-destructive techniques based on eddy current testing. Sensors, 2011, 11(3): 2525-2565. doi: 10.3390/s110302525
    [68] Bernieri A, Betta G, Ferrigno L, Laracca M. Crack depth estimation by using a multi-frequency ECT method. IEEE Transactions on Instrumentation and Measurement, 2013, 62(3): 544-552. doi: 10.1109/TIM.2012.2232471
    [69] Betta G, Ferrigno L, Laracca M, Burrascano P, Ricci M, Silipigni G. An experimental comparison of multi-frequency and chirp excitations for eddy current testing on thin defects. Measurement, 2015, 63: 207-220. doi: 10.1016/j.measurement.2014.12.015
    [70] She S B, Chen Y F, He Y Z, Zhou Z J, Zou X. Optimal design of remote field eddy current testing probe for ferromagnetic pipeline inspection. Measurement, 2021, 168: 108306. doi: 10.1016/j.measurement.2020.108306
    [71] Xu X J, Liu M, Zhang Z B, Jia Y L. A novel high sensitivity sensor for remote field eddy current non-destructive testing based on orthogonal magnetic field. Sensors, 2014, 14(12): 24098-24115. doi: 10.3390/s141224098
    [72] Ribeiro A L, Ribeiro A L, Ramos H G, Rocha T J. Defect detection in stainless steel tubes with AMR and GMR sensors using remote field eddy current inspection. ACTA IMEKO, 2015, 4(2): 62-67. doi: 10.21014/acta_imeko.v4i2.234
    [73] 吴德会, 黄松岭, 赵伟, 刘洪清. 管道裂纹远场涡流检测的三维仿真研究. 系统仿真学报, 2009, 21(20): 6626-6629.

    Wu De-Hui, Huang Song-Ling, Zhao Wei, Liu Hong-Qing. Research on 3-D simulation of remote field eddy current detection for pipeline cracks. Journal of System Simulation, 2009, 21(20): 6626-6629.
    [74] 罗清旺, 师奕兵, 王志刚, 马东. 一种基于远场涡流的管道大面积缺陷定位检测方法. 仪器仪表学报, 2015, 36(12): 2790-2797. doi: 10.3969/j.issn.0254-3087.2015.12.019

    Luo Qing-Wang, Shi Yi-Bing, Wang Zhi-Gang, Ma Dong. Location and inspection method for large area pipe defect based on RFEC testing. Chinese Journal of Scientific Instrument, 2015, 36(12): 2790-2797. doi: 10.3969/j.issn.0254-3087.2015.12.019
    [75] 孙虎, 师奕兵, 张伟, 李焱骏. 一种铁磁管道中远场涡流的伪峰移除方法. 仪器仪表学报, 2019, 40(5): 60-67.

    Sun Hu, Shi Yi-Bing, Zhang Wei, Li Yan-Jun. A pseudo-peak removing method of remote field eddy current in ferromagnetic pipelines. Chinese Journal of Scientific Instrument, 2019, 40(5): 60-67.
    [76] Wang Z W, Yu Y T. Traditional eddy current-pulsed eddy current fusion diagnostic technique for multiple micro-cracks in metals. Sensors, 2018, 18(9): 2909. doi: 10.3390/s18092909
    [77] Qiu X B, Zhang P, Wei J L, Cui X C, Wei C, Liu L L. Defect classification by pulsed eddy current technique in con-casting slabs based on spectrum analysis and wavelet decomposition. Sensors and Actuators A: Physical, 2013, 203: 272-281. doi: 10.1016/j.sna.2013.09.004
    [78] Peng Y, Qiu X B, Wei J L, Li C L, Cui X C. Defect classification using PEC respones based on power spectral density analysis combined with EMD and EEMD. NDT & E International, 2016, 78: 37-51.
    [79] Yu Y T, Yan Y, Wang F, Tian G Y, Zhang D J. An approach to reduce lift-off noise in pulsed eddy current nondestructive technology. NDT & E International, 2014, 63: 1-6.
    [80] Benyahia A, Zergoug M, Amir M, Fodil M. Enhancement of pulsed eddy current response based on power spectral density after continuous wavelet transform decomposition. International Journal of Computer and Information Engineering, 2018, 12(2): 116-119.
    [81] Li P, Xie S J, Wang K D, Zhao Y, Zhang L, Chen Z M, et al. A novel frequency-band-selecting pulsed eddy current testing method for the detection of a certain depth range of defects. NDT & E International, 2019, 107: 102154.
    [82] Tao Y, Xu H Y, Avila J R S, Ktistis C, Yin W L, Peyton A J. Defect feature extraction in eddy current testing based on convolutional sparse coding. In: Proceedings of the 2019 IEEE International Instrumentation and Measurement Technology Conference. Auckland, New Zealand: IEEE, 2019.1−6
    [83] 左宪章, 常东, 钱苏敏, 费骏骉, 张韬. 脉冲涡流热成像裂纹检测机理仿真分析. 激光与红外, 2012, 42(9): 998-1003. doi: 10.3969/j.issn.1001-5078.2012.09.008

    Zuo Xian-Zhang, Chang Dong, Qian Su-Min, Fei Jun-Biao, Zhang Tao. Simulation analysis of crack detecting mechanism using pulsed eddy current thermography. Laser&Infrared, 2012, 42(9): 998-1003. doi: 10.3969/j.issn.1001-5078.2012.09.008
    [84] Tsopelas N, Siakavellas N J. Experimental evaluation of electromagnetic-thermal non-destructive inspection by eddy current thermography in square aluminum plates. NDT & E International, 2011, 44(7): 609-620.
    [85] Franzini J R, Lyles M B, Murphy R H. High Resolution Inspection Device for Casting Defects Using IR Imaging, U. S. Patent 10481116, November 2019
    [86] Singh R R B, Sasikumar T, Suresh S, Ramanan G. A novel detection of defects in Al-SiC composite by active pulsed infrared thermography using data and image processing. Transactions of the Indian Institute of Metals, 2020, 73(11): 2767-2783. doi: 10.1007/s12666-020-02074-9
    [87] Zhu J Z, Min Q X, Wu J B, Tian G Y. Probability of detection for eddy current pulsed thermography of angular defect quantification. IEEE Transactions on Industrial Informatics, 2018, 14(12): 5658-5666. doi: 10.1109/TII.2018.2866443
    [88] Oswald-Tranta B, Schmidt R. Crack depth determination with inductive thermography. In: Proceedings of Thermosense: Thermal Infrared Applications XXXVII. Baltimore, Maryland, USA: International Society for Optics and Photonics, 2015.94850C
    [89] 中华人民共和国国家市场监督管理总局. 铸钢铸铁件磁粉检测: GB/T 9444-2019, 2019
    [90] 中华人民共和国国家市场监督管理总局. 铸钢铸铁件渗透检测: GB/T 9443-2019, 2019
    [91] Lau S. Effects of Surface Roughness on the Reliability of Magnetic Particle Inspection for The Detection of Subsurface Indications in Steel Castings[Master dissertation], Iowa State University, USA, 2019
    [92] 陈新波, 孙金立, 袁英民, 张海兵, 李小丽, 朱龙翔. 智能磁粉探伤机, 中国, CN105866242A, 2016-08-17
    [93] 李泽鑫, 王珏炜, 夏海萍, 李国林, 张虎光. 一种便携式磁粉探伤机, 中国, CN208239356U, 2018-12-14
    [94] Manikandan K R, Sivagurunathan P A, Ananthan S S, Moshi A A M, Bharathi S R S. Study on the influence of temperature and vibration on indications of liquid penetrant testing of A516 low carbon steel. Materials Today: Proceedings, 2021, 39: 1559-1564. doi: 10.1016/j.matpr.2020.05.572
    [95] Luk B L, Chan A H S. Human factors and ergonomics in dye penetrant and magnetic particles nondestructive inspection methods. Engineering Letters, 2007, 15(1): EL15125.
    [96] Yang G, Tamburrino A, Udpa L, Udpa S S, Zeng Z W, Deng Y M, Que P W. Pulsed eddy-current based giant magnetoresistive system for the inspection of aircraft structures. IEEE transactions on magnetics, 2010, 46(3): 910-917. doi: 10.1109/TMAG.2009.2032330
    [97] 李少波, 杨静, 王铮, 朱书德, 杨观赐. 缺陷检测技术的发展与应用研究综述. 自动化学报, 2020, 46(11): 2319-2336.

    Li Shao-Bo, Yang Jing, Wang Zheng, Zhu Shu-De, Yang Guan-Ci. Review of development and application of defect detection technology. Acta Automatica Sinica, 2020, 46(11): 2319-2336.
    [98] Würschinger H, Mühlbauer M, Winter M, Engelbrecht M, Hanenkamp N. Implementation and potentials of a machine vision system in a series production using deep learning and low-cost hardware. Procedia CIRP, 2020, 90: 611-616. doi: 10.1016/j.procir.2020.01.121
    [99] Nguyen T P, Choi S, Park S J, Park S H, Yoon J. Inspecting method for defective casting products with convolutional neural network (CNN). International Journal of Precision Engineering and Manufacturing-Green Technology, 2021, 8(2): 583-594. doi: 10.1007/s40684-020-00197-4
    [100] Yu H, Li X J, Song K C, Shang E F, Liu H Y, Yan Y H. Adaptive depth and receptive field selection network for defect semantic segmentation on castings X-rays. NDT & E International, 2020, 116: 102345.
    [101] Hu C, Wang Y. An efficient convolutional neural network model based on object-level attention mechanism for casting defects detection on radiography images. IEEE Transactions on Industrial Electronics, 2020, 67(12): 10922-10930. doi: 10.1109/TIE.2019.2962437
    [102] Du W Z, Shen H Y, Fu J Z, Zhang G, He Q. Approaches for improvement of the X-ray image defect detection of automobile casting aluminum parts based on deep learning. NDT & E International, 2019, 107: 102144.
    [103] Ferguson M, Ak R, Lee Y T T, Law K H. Automatic localization of casting defects with convolutional neural networks. In: Proceedings of the 2017 IEEE International Conference on Big Data. Boston, MA, USA: IEEE, 2017.1726−1735
    [104] Lin J H, Yao Y, Ma L, Wang Y J. Detection of a casting defect tracked by deep convolution neural network. The International Journal of Advanced Manufacturing Technology, 2018, 97(1): 573-581.
    [105] Tang Z H, Tian E G, Wang Y X, Wang L C, Yang T C. Nondestructive defect detection in castings by using spatial attention bilinear convolutional neural network. IEEE Transactions on Industrial Informatics, 2021, 17(1): 82-89. doi: 10.1109/TII.2020.2985159
    [106] 余永维, 杜柳青, 曾翠兰, 张建恒. 基于深度学习特征匹配的铸件微小缺陷自动定位方法. 仪器仪表学报, 2016, 37(6): 1364-1370. doi: 10.3969/j.issn.0254-3087.2016.06.021

    Yu Yong-Wei, Du Liu-Qing, Zeng Cui-Lan, Zhang Jian-Heng. Automatic localization method of small casting defect based on deep learning feature. Chinese Journal of Scientific Instrument, 2016, 37(6): 1364-1370. doi: 10.3969/j.issn.0254-3087.2016.06.021
    [107] Wang Y X, Hu C F, Chen K, Yin Z. Self-attention guided model for defect detection of aluminium alloy casting on X-ray image. Computers & Electrical Engineering, 2020, 88: 106821.
    [108] Jiang X Z, Wang X F, Chen D F. Research on defect detection of castings based on deep residual network. In: Proceedings of the 2018 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics. Beijing, China: IEEE, 2018.1−6
    [109] Khedkar S S, Awari G K, Untawale S P, Trikal S P. Intelligent fault diagnosis system for radiographic images of valve casting using adaptive neuro fuzzy inference system. The e-Journal of Nondestructive Testing & Ultrasonics, 2015, 20(6).
    [110] Lin J H, Ma L, Yao Y. Segmentation of casting defect regions for the extraction of microstructural properties. Engineering Applications of Artificial Intelligence, 2019, 85: 150-163.
    [111] Ren Q R, Geng J H, Li J Y. Slighter Faster R-CNN for real-time detection of steel strip surface defects. In: Proceedings of the 2018 Chinese Automation Congress. Xi'an, China: IEEE, 2018.2173−2178
    [112] 余永维, 杜柳青, 闫哲, 许贺作. 基于深度学习特征的铸件缺陷射线图像动态检测方法. 农业机械学报, 2016, 47(7): 407-412. doi: 10.6041/j.issn.1000-1298.2016.07.055

    Yu Yong-Wei, Du Liu-Qing, Yan Zhe, Xu He-Zuo. Dynamic detection of casting defects radiographic image based on deep learning feature. Chinese Journal of Agricultural Machinery, 2016, 47(7): 407-412. doi: 10.6041/j.issn.1000-1298.2016.07.055
    [113] Ferguson M K, Ronay A K, Lee Y T T, Law K H. Detection and segmentation of manufacturing defects with convolutional neural networks and transfer learning. Smart and sustainable manufacturing systems, 2018, 2.
    [114] Bai Y C, Zhang Y Q, Ding M L, Ghanem M. SOD-MTGAN: Small object detection via multi-task generative adversarial network. In: Proceedings of the European Conference on Computer Vision. Munich, Germany: 2018: 206−221
    [115] Dong X H, Taylor C J, Cootes T F. Small defect detection using convolutional neural network features and random forests. In: Proceedings of the European Conference on Computer Vision. 2018: 398−412
    [116] Barz B, Denzler J. Deep learning on small datasets without pre-training using cosine loss. In: Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision. Snowmass, CO, USA: 2020.1371−1380
    [117] Keshari R, Vatsa M, Singh R, Noore A. Learning structure and strength of CNN filters for small sample size training. In: Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: 2018.9349−9358
    [118] Wang T, Zhang X P, Yuan L, Feng J S. Few-shot adaptive faster R-CNN. In: Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, USA: 2019.7173−7182
    [119] Ren R X, Hung T, Tan K C. A generic deep-learning-based approach for automated surface inspection. IEEE transactions on cybernetics, 2018, 48(3): 929-940.
    [120] Wang T, Yuan L, Zhang X P, Feng J S. Distilling object detectors with fine-grained feature imitation. In: Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, USA: 2019.4933−4942
    [121] Liu S Y, Deng W H. Very deep convolutional neural network based image classification using small training sample size. In: Proceedings of the 2015 3rd IAPR Asian conference on pattern recognition. Kuala Lumpur, Malaysia: 2015.730−734
    [122] Xu X H, Zheng H, Guo Z Y, Wu X B, Zheng Z H. SDD-CNN: Small data-driven convolution neural networks for subtle roller defect inspection for subtle roller defect inspection. Applied Sciences, 2019, 9(7): 1364. doi: 10.3390/app9071364
    [123] Meng T, Tao Y, Chen Z, Avila J R S, Ran Q, Shao Y, et al. Depth evaluation for metal surface defects by eddy current testing using deep residual convolutional neural networks. arXiv preprint arXiv: 2104.02472, 2021
    [124] Park J, Han S J, Munir N, Yeon Y T, Song S, Kim H J, et al. MRPC eddy current flaw classification in tubes using deep neural networks. Nuclear Engineering and Technology, 2019, 51(7): 1784-1790. doi: 10.1016/j.net.2019.05.011
    [125] Demachi K, Hori T, Perrin S. Crack depth estimation of non-magnetic material by convolutional neural network analysis of eddy current testing signal. Journal of Nuclear Science and Technology, 2020, 57(4): 401-407. doi: 10.1080/00223131.2019.1691076
    [126] Miao R, Gao Y T, Ge L, Jiang Z H, Zhang J. Online defect recognition of narrow overlap weld based on two-stage recognition model combining continuous wavelet transform and convolutional neural network. Computers in Industry, 2019, 112: 103115. doi: 10.1016/j.compind.2019.07.005
    [127] Wang Z W, Yuan F, Ye P X, Qiu F S, Tian G Y, Woo W L. Crack characterization in ferromagnetic steels by pulsed eddy current technique based on GA-BP neural network model. Journal of Magnetism and Magnetic Materials, 2020, 500: 166412. doi: 10.1016/j.jmmm.2020.166412
    [128] Park S H, Hong J Y, Ha T, Choi S, Jhang K Y. Deep learning-based ultrasonic testing to evaluate the porosity of additively manufactured parts with rough surfaces. Metals, 2021, 11(2): 290. doi: 10.3390/met11020290
    [129] Munir N, Kim H J, Park J, Song S J, Kang S S. Convolutional neural network for ultrasonic weldment flaw classification in noisy conditions. Ultrasonics, 2019, 94: 74-81. doi: 10.1016/j.ultras.2018.12.001
    [130] 张伟, 师奕兵, 王志刚, 敖永才. 管道裂纹远场涡流检测的定量反演方法研究. 仪器仪表学报, 2013, 34(8): 1681-1689. doi: 10.3969/j.issn.0254-3087.2013.08.001

    Zhang Wei, Shi Yi-Bing, Wang Zhi-Gang, Ao Yong-Cai. Research on the quantitative inverse method of RFEC inspection for pipe cracks. Chinese Journal of Scientific Instrument, 2013, 34(8): 1681-1689. doi: 10.3969/j.issn.0254-3087.2013.08.001
    [131] Falque R, Vidal-Calleja T, Miro J V. Defect detection and segmentation framework for remote field eddy current sensor data. Sensors, 2017, 17(10): 2276.
    [132] Vijayaram T R, Sulaiman S, Hamouda A M S, Ahmad M H M. Foundry quality control aspects and prospects to reduce scrap rework and rejection in metal casting manufacturing industries. Journal of Materials Processing Technology, 2006, 178(1-3): 39-43. doi: 10.1016/j.jmatprotec.2005.09.027
    [133] Oswald-Tranta B, O'Leary P L. Fusion of geometric and thermographic data for automated defect detection. Journal of Electronic Imaging, 2012, 21(2): 021108. doi: 10.1117/1.JEI.21.2.021108
    [134] 刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 基于小样本学习的图像分类技术综述. 自动化学报, 2021, 47(2): 297-315.

    Liu Ying, Lei Yan-Bo, Fan Jiu-Lun, Wang Fu-Ping, Gong Yan-Chao, Tian Qi. Survey on image classification technology based on small sample learning. Acta Automatica Sinica, 2021, 47(2): 297-315.
  • 期刊类型引用(26)

    1. 权朝明,陈晓文,孟祥飞,王建华,殷霄飞,杨发虎,李世斌. 储能用锂电池无损检测技术研究进展及应用展望. 电源技术. 2025(02): 292-299 . 百度学术
    2. 张岳,张上,王恒涛,张朝阳,许欢,熊偌炎. 基于跨尺度特征提取的锻件表面裂纹检测算法. 计算机集成制造系统. 2025(02): 499-511 . 百度学术
    3. 于洋,陈炳乾,花奋奋,康建荣. 矿山地质环境灾变与保护修复研究现状与展望. 金属矿山. 2024(03): 1-18 . 百度学术
    4. 余朋,邱伟真,王玉,李天佑,毛乐,李文,沈旭,吴晓明,计效园,殷亚军,周建新. 铸件质量溯源和寻因方法研究. 铸造工程. 2024(03): 63-70 . 百度学术
    5. 郭北涛,张颢严. 基于改进YOLOv5的铝型材表面缺陷检测算法. 机械工程师. 2024(06): 22-26 . 百度学术
    6. 马智华,曾凯,陈波,肖鹏程,朱立光. 基于改进YOLOv7的连铸坯表面缺陷检测算法. 中国冶金. 2024(07): 101-112 . 百度学术
    7. 岳忠牧,张喆,吕武,赵瑞祥,马杰. De-DDPM:可控、可迁移的缺陷图像生成方法. 自动化学报. 2024(08): 1539-1549 . 本站查看
    8. 叶茂林,闫登坤. 关于AI在铸造业中应用的最新研究和探索. 铸造设备与工艺. 2024(03): 48-52 . 百度学术
    9. 栗莎,王永雄,王哲,陈旭,何嘉欣. 融合局部和全局特征的铸件缺陷检测. 应用科学学报. 2024(05): 757-768 . 百度学术
    10. 赵祺,刘国宁,吕展博,张峰源. 基于视觉技术和Mask R-CNN的法兰盘表面缺陷检测研究. 机床与液压. 2024(21): 140-148 . 百度学术
    11. 胡海宁,黄雷阳,杨洪刚,陈云霞. 改进YOLOv8n的轻量型蜂窝陶瓷缺陷检测算法. 激光与光电子学进展. 2024(22): 160-169 . 百度学术
    12. 柴泽南. 基于果蝇优化算法的机械零件加工缺陷检测方法分析. 中国机械. 2024(33): 82-85 . 百度学术
    13. 姜岚,王清源,罗曼平,田雷,侯中伟,高一然. 输电线路钢管塔典型节点涡激振动疲劳性能试验研究. 振动与冲击. 2024(24): 145-154 . 百度学术
    14. 赵建政,宋伟斌. 基于小波域的锅炉压力容器压力管道裂纹X射线检测方法. 自动化与仪表. 2023(01): 86-89+104 . 百度学术
    15. 王施权,朱杨,杨洪波,王秀武,陈晓春. 基于动态涡流热成像的下表面裂纹检测研究. 石油化工设备. 2023(02): 12-18 . 百度学术
    16. 杨富强,杨瑶,李志翔,黄魁东. X射线工业CT成像过程复杂伪影抑制方法综述. 自动化学报. 2023(04): 687-704 . 本站查看
    17. 熊鑫州,肖子遥. 基于MFF-SVM的阀芯球窝瑕疵检测. 农业装备与车辆工程. 2023(05): 129-133 . 百度学术
    18. 陈国宝,林宝森,林志贤,涂宏应,徐光平,冯冰. 基于深度学习算法的远场涡流反馈波形图像自动识别技术. 中国高新科技. 2023(07): 43-47 . 百度学术
    19. 薛峰. 基于改进阈值函数的TOFD图像小波去噪. 无损检测. 2023(08): 62-66 . 百度学术
    20. 胡佳琪,王成军,杨超宇,胡鹏. 基于改进YOLOX算法的铝铸件表面成孔缺陷检测研究. 特种铸造及有色合金. 2023(09): 1205-1209 . 百度学术
    21. 刘吉飞,晁耀杰,杨峻岭,李德胜,张义文,李林,王超绪. 激光选区熔化沉积修复ZL101A航空铸铝零件的性能分析. 金属加工(热加工). 2023(10): 1-5 . 百度学术
    22. 吴田,罗成军,王申华,杨运国,王旭杰. 基于改进局部阈值分割的绝缘毯表面微缺陷的无损智能评估方法. 高压电器. 2022(11): 75-81 . 百度学术
    23. 程松,杨洪刚,徐学谦,李敏,陈云霞. 基于YOLOv5的改进轻量型X射线铝合金焊缝缺陷检测算法. 中国激光. 2022(21): 136-144 . 百度学术
    24. 薛晓强. 超声检测技术应用于煤矿机电设备检测的研究. 科技资讯. 2022(22): 33-36 . 百度学术
    25. 熊鑫州,肖子遥,朱肖磊,叶沐. 基于MM-Net的阀芯外表面缺陷检测. 智能计算机与应用. 2022(12): 122-127 . 百度学术
    26. 李昭君,王泉,虎永红,李虎,赵志钰. 面向架空线路的无人机带电无损探伤系统的研究与应用. 宁夏电力. 2022(06): 33-40 . 百度学术

    其他类型引用(38)

  • 加载中
  • 图(10) / 表(3)
    计量
    • 文章访问数:  3279
    • HTML全文浏览量:  1827
    • PDF下载量:  936
    • 被引次数: 64
    出版历程
    • 收稿日期:  2021-02-26
    • 录用日期:  2021-06-06
    • 网络出版日期:  2021-07-27
    • 刊出日期:  2022-04-13

    目录

    /

    返回文章
    返回