-
摘要: 研究陶瓷晶粒尺寸分布对估计陶瓷样品的物理属性具有重要意义, 当前主要依赖人工方法测量晶粒尺寸, 由于晶粒形状不规则且大小不一, 因此人工方法测量效率低、误差大. 针对该问题, 提出一种数据与模型联合驱动的陶瓷材料晶粒分割算法. 该算法首先通过图像预处理解决材料表面反光导致的灰度不均匀问题; 其次利用本文提出的鲁棒分水岭变换实现图像中晶粒的预分割, 解决传统分水岭算法存在的过分割以及分割区域个数与轮廓精度难以平衡的问题; 最后提出轻量级富卷积特征网络输出晶粒轮廓, 并利用该轮廓对预分割结果进行优化. 与主流图像分割算法相比, 该算法一方面利用鲁棒分水岭变换实现了更为准确的晶粒区域定位, 另一方面利用图像的低层与高层特征融合获取了更为精准的晶粒轮廓. 实验结果表明, 该算法不仅能够实现陶瓷材料晶粒尺寸的精准计算, 而且具有较高的计算效率, 为分析陶瓷材料物理属性提供了客观准确的数据.Abstract: The research of the distribution of ceramic grain sizes is significant for estimating physical properties of ceramic materials. At present, researchers mainly use manual methods to measure ceramic grains, which leads to low efficiency and large error due to the irregular shape and different sizes of grains in ceramic images. To solve this issue, a new algorithm used for grain segmentation of ceramic materials is proposed in this paper. This algorithm first performs image pre-processing to solve the problem of intensity inhomogeneity caused by surface reflection of materials in the imaging process. Secondly, a robust watershed transform (RWT) is presented and used for pre-segmentation of grains in scanning electron microscope images, which solves two problems existing in traditional watershed transform, one is over-segmentation and the other is the difficulty of balancing the number of segmentation regions and the accuracy of boundaries. Finally, we present a lightweight and richer convolutional features network (LRCF) used for grain contour prediction, and use the results generated by LRCF to optimize the pre-segmentation result. Compared with popular image segmentation algorithms, the proposed algorithm shows two advantages. On one hand, it achieves more accurate grain region segmentation due to the employment of RWT; on the other hand, it provides more accurate grain boundaries due to the optimization of LRCF. Experimental results show that the proposed algorithm not only provides accurate grain sizes of ceramic materials, but also shows high calculation efficiency, which is significant for property analysis of ceramic materials.
-
陶瓷是一种多晶材料, 具有高熔点、高硬度和高耐磨性的特点, 目前已广泛应用于民生、电子通讯、医疗和军工等领域. 为了提升陶瓷材料品质, 研究人员通常利用扫描电子显微镜(Scanning electron microscope, SEM)对陶瓷样品扫描成像, 通过分析图像中晶粒的尺寸分布来估计陶瓷样品的物理属性[1]. 扫描电子显微镜的工作原理是通过高压将电子束打在样品表面, 电子与样品表面材料相互作用产生电信号, 对电信号接收处理后显示成像结果. 陶瓷材料的SEM图像由材料区域(即晶粒)和晶粒间的空隙(即晶界)组成, 由于陶瓷是一种绝缘材料, 不具备导电的性质, 在成像时容易被高压电击穿[2]. 为了避免此类情况, 需要控制晶粒尺寸尽可能小, 即同样大小的面积内存在更多的晶界, 使高压电从晶界导出, 保护陶瓷样本不被击穿. 然而晶粒尺寸直接决定了陶瓷材料的性能[3], 因此需要统计SEM图像中晶粒尺寸大小的分布, 进而间接建立实验条件与陶瓷材料性能的对应关系. 目前, SEM图像中的晶粒分析主要依靠人工手段, 测量结果具有明显的局限性: 首先, 一幅陶瓷SEM图像中包含大量晶粒, 人工统计耗时耗力, 测量难度大、效率低; 其次, 晶粒大小形状不规则, 人工测量易受主观因素影响而导致误差较大. 因此, 研究一种能够自动测量晶粒尺寸且准确率高、运算速度快的算法对分析陶瓷材料物理属性具有重要意义.
为了分析陶瓷材料的物理属性, 首先应该分析陶瓷材料SEM图像中的晶粒尺寸分布, SEM图像具有以下几个特点: 图像边缘信息丰富但纹理信息缺失, 图像中的晶粒大小不均匀且形状不规则, 图像的对比度较低. 基于上述特点, 利用图像分割技术实现对晶粒的分割, 然后统计晶粒的大小分布是一种可行的方法. 然而图像分割方法众多, 常用的方法有基于像素的图像分割方法、基于轮廓的图像分割方法、基于区域的图像分割方法和基于深度学习的图像分割方法.
基于像素的图像分割方法有阈值法[4]和聚类方法, 其中阈值法严重依赖于阈值个数及参数选取, 实际分割结果较为粗糙, 而基于聚类的方法鲁棒性高, 因此应用较为广泛. 聚类方法主要涉及分层聚类[5]、模糊聚类[6]和谱聚类[7]. 分层聚类算法利用像素之间的相似性进行层次分解, 该类算法计算简单, 便于执行, 但分割结果依赖于树的构建及阈值选取. 模糊聚类算法[8]利用最小误差准则构建目标函数, 通过优化目标函数得到每个像素到聚类中心的隶属度, 根据隶属度可以实现像素分类. 该类算法能够实现图像的快速分割, 但容易忽略图像的空间结构信息、且对噪声较为敏感. 基于谱聚类的图像分割算法是将图像视为一个大的矩阵, 将图像分割问题转化为矩阵特征值分解问题, 该算法能获得连续域中的全局最优解, 但分割结果对相似度矩阵构建较为敏感.
基于轮廓的图像分割通常采用能量泛函方法, 该方法将图像分割问题转变为能量泛函的最小值求解过程, 主要涉及参数活动轮廓模型[9]和几何活动轮廓模型[10]. 参数活动轮廓模型首先构建一条可变形的参数曲线及相应的能量函数, 以最小化能量目标函数为目标, 通过控制参数曲线变形以实现具有最小能量的闭合曲线, 并将其作为目标轮廓. 几何活动轮廓模型以水平集方法为代表, 该类方法将轮廓视为一个高维函数的零水平集, 通过对该水平集函数进行微分, 从输出中提取零水平集, 进而得到轮廓线. 基于能量泛函的图像分割方法不依赖于图像的边缘及纹理特征, 因此对于噪声强度大、灰度不均匀、对比度较低且目标边界模糊的图像分割效果较好, 但算法计算复杂度较高, 且分割结果依赖于初始轮廓的选取.
基于区域的图像分割方法主要涉及两个重要步骤, 图像超像素分割[11]和区域合并[12-13], 其基本思想是首先对图像进行过分割, 然后利用过分割结果进行区域合并以生成最终分割结果. 主流的超像素算法如简单的线性迭代聚类(Simple linear iterative clustering, SLIC)[14]、线性谱聚类(Linear spectral clustering, LSC)[15]、基于熵率的超像素分割算法[16]等, 这些超像素算法大多都采用了局部网格内的轮廓迭代优化策略. 该类算法的优势在于能够获得基于预设区域数目的超像素分割结果, 且在局部区域内能获得较为准确的轮廓边界, 缺陷在于优化策略仅在局部区域内进行, 因此超像素块大小均匀, 很难捕获真实的目标轮廓.
近年来, 随着深度学习[17]的快速发展, 图像语义分割[18]越来越受到学者们的关注. 与传统的图像分割不同, 图像语义分割本质上是对图像的像素进行分类, 将输入图像中的每个像素分配一个语义类别, 以得到像素化的密集分类. Long等[19]率先提出了面向图像语义分割的端到端全卷积网络(Fully Convolutional network, FCN), 该网络首次采用了低层与高层语义特征融合思路, 并采用转置卷积层作为解码器以代替全连接层从而实现了从图像像素到像素类别的转换. 与经典的卷积神经网络(Convolutional neural network, CNN)相比, FCN不仅有效提升了图像语义分割精度, 而且开创了编解码网络结构, 为其后各种图像语义分割网络奠定了基础. 图像分割结果除了与解码器结构设计有关外, 还与上下文信息获取密切相关. 为了获得更宽的感受野以学习更为有效的图像特征, He等[20]首先将金字塔池化引入到网络结构中, 不仅解决了网络受限于输入图像的尺寸问题, 而且有效融合了图像的空间多尺度特征. Zhao等[21]在此基础上提出了金字塔场景分析网络, 利用多尺度卷积核实现图像的空间金字塔池化, 从而使网络能够捕获图像的多尺度特征, 优化网络对复杂场景的理解能力. 近来, Chen等[22]利用卷积核膨胀的思路扩大感受野, 使用了计算量更小且更有效的空洞空间金字塔池化来完成图像的多尺度信息融合. 此外, 针对图像的轮廓预测, Cheng等[23]提出了富卷积特征网络(Richer convolutional features, RCF), 该网络在每一个卷积层都计算其损失函数, 且将所有层的特征信息进行融合得到最终的特征, 其中深层特征可以定位图像的轮廓边缘, 浅层特征可以为深层特征补充细节. 近年来, 学者们发现多尺度的特征表达能有效改善图像分割效果, 因此Gao等[24]构建了一个分层密集连接的模块Res2Net, 以细粒度表示多尺度特征, 并增加了每个网络层的感受野范围. 针对多尺度特征融合问题, Li等[25]提出了深层特征聚合网络, 该网络通过轻量子网络的级联来实现多尺度特征表达并有效减少了参数数目. 常规的多尺度融合方法缺少特征权重信息, 对此, Ding等通过设计尺度选择策略, 提出了CGBNet[26], 该网络通过在每个空间位置选择性地融合来自不同尺度特征的分割结果, 进而提高了图像的分割精度.
尽管当前已经涌现出大量图像分割算法, 这些算法能解决图像分割领域存在的多种问题, 在很多特殊应用场景中能够满足实际应用需求. 然而扫描电镜图像分割[27]面临两个困难: 首先, SEM图像具有非常高的分辨率, 现有图像分割算法对SEM图像分割耗时较长; 其次, SEM图像采集成本较高, 很难像常规图像一样形成海量数据集, 因此难以直接利用深度卷积神经网络实现端到端的目标分割. 此外, 针对陶瓷材料晶粒分割问题, 由于陶瓷材料SEM图像主要呈现晶粒的轮廓信息, 缺少纹理细节信息, 通常需要大量的预处理及交互处理, 因此很难将主流的图像分割算法直接应用到晶粒分割中. 对此, 薛维华等[28]提出了一种基于图像序列间相似性的晶粒组织图像分割方法, 该方法利用边缘检测、骨架化、断点连接等一系列操作以实现晶粒轮廓提取. 尽管该方法能够获得晶粒的分割结果, 但需要设置较多参数, 且对光照较为敏感、鲁棒性较低. 近来, Jiang等[29]提出一种用于砂岩分析的晶粒自动分割方法, 该研究采用超像素与模糊聚类相结合的方式对砂岩图像进行分割, 获得了较好的砂岩晶粒分割效果. 然而该方法依赖于SLIC超像素分割结果及后续的区域合并算法, SLIC在陶瓷材料SEM图像上很难获得好的预分割结果, 因此这种方法不适合陶瓷材料SEM图像的晶粒分割. 在此基础上, Banerjee等[30]提出一种晶粒自动分割及晶粒度量方法, 该方法首先检测图像边缘并执行二值化处理, 然后利用形态学闭运算及膨胀操作获取封闭轮廓, 利用小区域移除及轮廓细化运算获取单线条封闭轮廓. 与之前的方法相比, 该方法计算简单, 对灰度值较为均匀的SEM晶粒图像容易获得好的分割结果, 然而不足在于该方法主要依赖图像二值化运算提取轮廓, 忽略了图像的灰度细节信息, 因此对于复杂晶粒图像容易发生误分割. 上述方法均利用无监督图像分割技术实现晶粒分割, 将基于监督学习的图像分割技术应用到SEM图像晶粒分割时, 通常面临人工标注成本高, 能够获得的训练样本有限, 且利用深度学习获得的图像分割结果通常存在边缘精度较低等问题, 诸多限制导致当前的图像分割技术难以有效解决陶瓷材料SEM图像中的晶粒分割难题.
在无监督图像分割算法中, 基于像素分类的图像分割、基于区域信息的图像分割都依赖于图像的纹理特征, 而陶瓷材料SEM图像中的纹理信息缺失, 导致这两类方法难以实现有效的图像分割. 鉴于此类图像边缘信息丰富, 本文将采用基于轮廓的图像分割策略. 在此类方法中, 分水岭[31]是最为流行的一种算法. 然而分水岭算法依赖于图像梯度, 且存在过分割问题, 因此基于数据与模型联合驱动的方式, 提出了基于鲁棒分水岭变换联合轻量级富卷积特征网络(Lightweight and richer convolutional features jointing robust watershed transform, LRCF-RWT)的陶瓷材料晶粒分割算法, 提出的算法具有以下两个贡献:
1) 利用鲁棒分水岭变换实现了晶粒的快速预分割, 既解决了传统分水岭算法的过分割问题, 又解决了分割区域个数与轮廓精度难以平衡的问题, 较主流的超像素算法能够获得更好的陶瓷材料SEM图像预分割结果;
2) 提出了轻量级RCF网络-LRCF (Lightweight and richer convolutional features), 并将LRCF网络与RWT (Robust watershed transform)相结合, 兼顾两者的优势, 一方面获取正确的分割区域, 另一方面获取更为精准的轮廓定位. 采用深度可分离卷积将原始RCF网络模型从113 MB 压缩为13.7 MB, 从而有效降低了LRCF对计算和内存资源的消耗; 利用LRCF轮廓预测结果修正RWT的预分割结果, 即数据与模型联合驱动的方式, 实现了分割精度的明显提升.
1. 算法介绍
本文提出的算法主要由三个部分组成: 首先对图像进行预处理, 解决图像灰度值不均匀的问题; 其次使用鲁棒分水岭变换实现图像预分割; 最后执行形态学轮廓优化, 并根据卷积神经网络输出的图像轮廓对预分割结果进行修正, 总体流程如图1所示. 其中, SE (Structured edge)为结构边缘算法[32].
1.1 预处理
由于SEM成像的原理是将电子束打在样本表面, 与样本表面相互作用, 而陶瓷材料具有绝缘性, 所以得到的图像会产生明显的反光现象, 导致图像灰度值不均匀. 工业上为了解决该问题, 采用金属镀膜法, 将电阻率较小的金属(例如金)镀在样本表面, 镀金后得到的陶瓷电镜图像灰度值基本一致. 为了降低图像本身光照不均等问题对实验结果带来的干扰, 本文将实验所用图像分为两组, 一组为未经处理的陶瓷电镜图像, 另一组图像为镀金后成像效果较好的陶瓷电镜图像. 未镀金的陶瓷电镜图像存在曝光问题, 需经预处理以解决灰度值不均匀的问题, 针对该问题, Jobson等[33]首先提出了单尺度(Single scale retinex, SSR)算法.
在SSR算法中, 决定物体颜色的主要因素是物体对长波、中波、短波三种波长光的反射能力, 而不是光照的强度. 因此物体本身的颜色不受光照的影响, 但光照强度会造成成像时的颜色差异. 一幅图像
$ I(x,y) $ 由反射图像$ R(x,y) $ 和入射图像$ L(x,y) $ 组成, 如式(1)所示, SSR算法就是设法去除或降低入射光$ L $ , 从而得到物体原本的面貌$ R $ .$$ I(x,y)=R(x,y)\cdot L\left(x,y\right) $$ (1) SSR算法主要通过环绕函数确定环绕像素的权值, 以此来估计中心像素的亮度, 即:
$$ R\left(x,y\right)=\mathrm{ln}\ {I}\left(x,y\right)-\mathrm{ln}\left[F\left(x,y\right)*I\left(x,y\right)\right] $$ (2) 其中,
$ * $ 表示卷积, 由于SSR在去除亮度影响时会丢失细节, 因此Jobson等[34]在SSR算法的基础上进一步提出了多尺度Retinex算法(Multi scale retinex, MSR), 模型表达为:$$ {R_{MSR}} = \sum\limits_{n = 1}^N {{w_n}} {R_n} $$ (3) $$ {F}_{n}(x,y)=\mu {\rm exp}\left(-\frac{{x}^{2}+{y}^{2}}{{{c}_{n}^{2}}}\right) $$ (4) 其中,
$ {R}_{MSR} $ 是MSR算法输出的反射图像, 通常$ N=3 $ , 表示低、中、高三个尺度,$ {w}_{n} $ 表示权重系数,${w}_{1}={w}_{2}={w}_{3}=1/3.$ $F_n(x,y)$ 是高斯环绕函数, 其中$ \mu $ 是归一化因子, 取值满足$\iint F(x,y){\rm{d}}x{\rm{d}}y= $ $ 1.\,\,{c}_{n}$ 表示高斯环绕空间常数, 通常${c}_{1}{=1}5,\; {c}_{2}{=80,\;} $ $ {c}_{3}{=200}$ .将MSR算法用于图像预处理, 预处理结果如图2所示. 图2(a) ~ 2(d)为原图, 图2(e) ~ 2(h)为经过预处预处理的图像.可以看出, 经过预处理后的图像整体灰度值较为均匀, 有利后续算法实现晶粒的准确分割, 算法能有效解决陶瓷SEM图像的灰度不均匀问题.
1.2 鲁棒分水岭变换
图像预处理后需要对图像进行预分割, 分水岭算法的优势在于计算简单, 主要依赖图像的梯度信息实现图像分割, 缺陷在于不能较好的利用图像的纹理信息, 而陶瓷材料SEM图像恰好缺失纹理信息, 因此使用分水岭算法是一个合适的选择. 传统的分水岭变换容易导致图像过分割, 针对该问题, 学者们提出了基于梯度重建的分水岭变换(Morphological gradient reconstruction based watershed transform, MGR-WT)[35].
首先对预处理后的图像计算梯度, 然后进行梯度重建以移除无用的局部极小值, 最后进行分水岭变换得到分割结果. 通常, 形态学梯度重建(Morphological gradient reconstruction, MGR)能够有效平滑图像的局部极小值区域, 减少梯度图像中的局部极小值个数, 进而在分水岭变换中可以抑制图像过分割. 形态学梯度重建算子通常涉及到结构元素选择, 结构元素的大小及形状会影响最终的重建结果及分割效果, 参数适中时能平衡分割精度和过分割, 但是如何确定最佳的结构元素参数非常困难, 通常根据经验进行人为设定. 图3利用形态学闭重建作用于梯度图像, 梯度图像由SE算法[32]生成.
$ r $ 表示形态学闭重建所选取的圆形结构元素半径. 从图3可以看出, 当用于梯度重建的结构元参数$ r $ 取值较小时($ r=1 $ ), 容易引起过分割, 即分割结果中包含大量的小区域; 当$ r $ 取值较大时($ r=10 $ ), 容易引起欠分割, 即多个目标分割结果被合并在一起, 且轮廓精度较低; 当$ r $ 取值适中时($ r=5 $ ), 分割结果能够兼顾分割区域数目及轮廓精度, 但$ r $ 的取值为经验值, 且减少分割区域数目是以牺牲轮廓精度为代价的. 针对上述问题, 论文提出一种鲁棒分水岭变换(Robust watershed transform, RWT)以解决MGR-WT的分割结果依赖参数选择的缺陷.
图 3 不同参数的MGR-WT对图像的分割结果对比Fig. 3 Segmentation results comparison using MRG-WT with different values of r令
$ f $ 和$ g $ 分别表示标记图像和约束变换的掩码图像, 如果$ f\le g $ , 则由$ f $ 重建$ g $ 的形态学膨胀重建$ {R}^{\delta } $ 表示为$$ {R}_{g}^{\delta }\left(f\right)={\delta }_{g}^{\left(n\right)}\left(f\right) $$ (6) 其中,
${\delta }_{g}^{\left(1\right)}\left(f\right)=\delta \left(f\right)\wedge g,{\delta }_{g}^{\left(k\right)}\left(f\right)=\delta \left({\delta }_{g}^{(k-1)}(f)\right)\wedge g$ , 当$2\le k\le n,n\in {\bf N}^{+}$ 时,$ {\delta }_{g}^{\left(n\right)}\left(f\right)={\delta }_{g}^{(n-1)}\left(f\right) $ 成立.$ \delta $ 表示形态学膨胀运算,$\wedge$ 表示逐点取极小值运算.同样, 当
$ f\ge g $ , 则由$ f $ 重建$ g $ 的形态学腐蚀重建$ {R}^{\varepsilon } $ 表示为:$$ {R}_{g}^{\varepsilon }\left(f\right)={\varepsilon }_{g}^{\left(n\right)}\left(f\right) $$ (7) 其中,
${\varepsilon }_{g}^{\left(1\right)}\left(f\right)=\varepsilon \left(f\right)\vee g,{\varepsilon }_{g}^{\left(k\right)}\left(f\right)=\varepsilon \left({\varepsilon }_{g}^{(k-1)}(f)\right)\vee g$ , 当$2\le k\le n,n\in {\bf N}^{+}$ 时,$ {\varepsilon }_{g}^{\left(n\right)}\left(f\right)={\varepsilon }_{g}^{(n-1)}\left(f\right) $ 成立.$\varepsilon $ 表示形态学腐蚀运算,$\vee$ 表示逐点取极大值运算.对图像进行形态学重建运算, 可以在保持大的目标不被平滑的同时有效滤除小目标. 由于组合形态学开闭运算在图像滤波、特征提取等方面表现出比基本形态学开闭运算更好的性能, 所以定义
$ f $ 重建$ g $ 的组合形态学开、闭运算$ {R}^{\gamma } $ 和$ {R}^{\phi } $ 为:$$ \left\{\begin{array}{c}{R}_{g}^{\gamma }\left(f\right)={R}_{g}^{\delta }\left({R}_{g}^{\varepsilon }\right(f\left)\right)\\ {R}_{g}^{\phi }\left(f\right)={R}_{g}^{\varepsilon }\left({R}_{g}^{\delta }\right(f\left)\right)\end{array}\right. $$ (8) 由
$ f $ 重建$ g $ 的无参数自适应形态学梯度重建如式(8)所示, 其中$ m $ 表示最大结构元素的尺度, 通常$ m>10 $ , 多尺度结构元素满足关系${b}_{1}\subseteq \cdots \subseteq {b}_{i}\subseteq $ $ {b}_{i+1}\subseteq \cdots\subseteq {b}_{m}$ .$$ \Psi (g,m)={\vee }_{1\le i\le m}\{{R}_{g}^{\phi }\left(f{)}_{{b}_{i}}\right\} $$ (9) 利用公式对图像进行梯度重建并执行分水岭变换, 分割结果仍然包含较多的小区域, 如图4(a)所示, 主要原因在于
$ i $ 的取值从1开始, 虽然设置了更大的$ i $ 值, 例如$ i=3 $ 可以减少小区域数目, 但同时降低了结果的轮廓精度. 为了得到更好的重建结果, 需要将这些小区域去除. 设$ H $ 为梯度图像,$ I $ 是$ H $ 的区域极小值图像,$ W $ 是经过分水岭变换获得的分割结果,$ I=({I}_{1},{I}_{2},\cdots ,{I}_{n}),{I}_{j} $ 表示图像$ I $ 中第$ j $ 个连接分量,$ 1\le j\le n $ . 同样,$ W={W}_{1}\cup {W}_{2}\cup \cdots \cup $ $ {W}_{n},{W}_{j} $ 表示$ W $ 中第$ j $ 个分割区域, 由此可以得到:
图 4 RWT与MGR-WT对陶瓷材料晶粒的分割结果对比Fig. 4 Comparison of the segmentation results of ceramic grains between RWT and MGR-WT$$ \sum\limits_{p\in {W}_{j}}\theta \left({x}_{p}\right)\ge \sum\limits_{q\in {I}_{j}}\theta \left({x}_{q}\right) $$ (10) 其中,
${W}_{{j}_{1}}\cup {W}_{{j}_{2}}\ne \emptyset ,1\le {j}_{1},{j}_{2}\le n,{j}_{1}\ne {j}_{2},{x}_{p}$ 是$ W $ 中第$ p $ 个像素,$ {x}_{q} $ 是$ I $ 中第$ q $ 个像素, 并且$$ \theta \left({x}_{i}\right)=\left\{\begin{array}{cc}1,&\;\;\;\;\;\;\; {x}_{i}\in {W}_{j}\;\;{\rm{or}}\;\;{I}_{j}\\ 0,& {\rm otherwise}\end{array}\right. $$ (11) 式(9)和(10)表明, 通过去除图像I中较小的连通分量, 达到合并较小的分割区域的目的, 利用式(11)去除较小的连通分量, 从而根据分割结果实现区域合并.
$$ {I}^{r}={R}_{I}^{\delta }\left(\varepsilon \left(I\right){b}_{k}\right) $$ (12) 其中,
$ k $ 是结构元素参数,$ k $ 值越大, 合并图像$ W $ 中小区域越多.RWT首先得到无参数的自适应形态学梯度重建公式, 然后计算局部极小值, 采用二值形态学重建对局部极小值优化. 由式(8)可以看出, RWT采用多尺度结构元素实现梯度重建, 重建结果随着
$ m $ 的增大而收敛, 因此$ m $ 为常数, 解决了MGR的单尺度梯度重建结果容易受结构元素参数影响的问题. 此外, 由式(11)可以看出, 参数$ k $ 的变化会导致区域极小值个数的变化, 然而这种变化只会影响最终的分割区域个数, 而不影响最终的轮廓精度, 实际效果等价于区域合并运算, 如图4所示. 由图4(b)可以看出, MGR-WT会将一个完整的晶粒错误分割成两部分, 而在图4(c)中, RWT实现了正确的晶粒分割, 因此本文提出的RWT较MGR-WT能够实现更好的晶粒分割效果.1.3 数据与模型联合驱动的轮廓优化
尽管图4给出了较好的分割结果, 且鲁棒性较好, 不易受环境和参数的影响, 然而分割结果仍然存在以下问题: 一方面, 由于不同晶粒之间的缝隙过大, 从而导致双线轮廓问题, 如图5所示; 另一方面, 由于分割结果过度依赖于结构边缘算法输出的梯度, 缺乏对图像语义信息的利用, 因此导致轮廓定位不准问题, 如图9(c)所示.
为了解决双线轮廓问题, 采用基于形态学轮廓优化的双线消除策略. 首先检查每个标签所覆盖的区域, 确保图像中每个标签只能覆盖一个区域; 然后给定一个结构元, 令结构元遍历整张图像, 并消除比结构元小的区域. 基于这个处理思路, 本文选用基于形态学的轮廓优化方法对图像进行处理, 步骤如下:
步骤1. 首先确保图像中每个标签只能覆盖一个区域;
步骤2. 对每一个标签区域执行形态学开运算, 从原始图像中减去开运算结果, 如式(12);
$$ {f}_{m}={\bigcup }_{l=1}^{L}{b}_{l}-\delta \left(\varepsilon \right({b}_{l}\left)\right) $$ (13) 其中,
$ {b}_{l} $ 表示第$ l $ 个标签区域,$ l=1,\cdots ,L,{f}_{m} $ 表示原始图像中去掉开运算部分的结果.步骤3. 将
$ {f}_{m} $ 重新分配给相邻区域, 使每个区域标签不同, 并重新标号.利用双线轮廓优化方法对图5进行优化, 结果如图6所示. 显然, 该方法可以解决轮廓双线问题并且不改变分割轮廓形状.
为了进一步提升分割轮廓的精度, 避免分割结果过度依赖SE得到的梯度, 引入基于卷积神经网络的图像轮廓预测模型. 传统神经网络边缘检测模型[36-37]的局限性在于其提取的低层级特征信息很难去表征高层次信息, 大多数基于CNN网络的边缘检测模型仅仅只利用卷积网络的最后一层, 在深层次的特征信息中缺失了浅层的细节信息, 容易导致网络模型无法收敛并造成梯度消失. RCF是基于VGG16构建的网络框架, 将所有来自卷积层的层级特征组合成一个整体框架, 用来检测边缘信息, 其中所有参数均可自动学习多尺度和多层级的特征. 在预测图像轮廓之前, 首先改变原始图像的大小, 构建一组图像金字塔, 将这些图像输入到RCF网络进行前向传递; 然后用双线性插值法将边缘检测图恢复为原始大小; 最后将这些边缘图的平均值输出.
利用RCF网络模型可以得到较为准确的晶粒轮廓, 但RCF网络存在模型大、参数多、训练速度慢等问题, 因此, RCF网络对计算和内存资源消耗较高. 为了解决该问题, 利用深度可分离卷积(Depthwise separable convolution, DSC)替代RCF网络中的标准卷积, 从而得到轻量型的丰富卷积特征网络. 深度可分离卷积将标准卷积分解成深度卷积和逐点卷积, 如图7所示. 假设输入特征图尺寸为
$ {D}_{F}\times {D}_{F}\times M $ , 输出特征图尺寸为$ {D}_{F}\times {D}_{F}\times N $ , 卷积核尺寸为$ {D}_{K}\times {D}_{K}\times M\times N $ , 则标准卷积的计算量为$ {D}_{K}^{2}\times M\times N\times {D}_{F}^{2} $ , DSC的计算量为深度卷积和逐点卷积的计算量之和$ {D}_{K}^{2}\times M\times {D}_{F}^{2}+ $ $ M\times N\times {D}_{F}^{2} $ . 与标准卷积相比, DSC的计算量可缩减为标准卷积的$( 1/N+1/{D}_{K}^{2}) $ . 图8给出了LRCF的网络结构图, 其模型大小仅13.7 MB, 约为原RCF模型大小的1/8. 将LRCF应用于陶瓷晶粒轮廓预测, 结合RWT实现数据与模型联合驱动的陶瓷晶粒分割, 结果如图10 所示. p线为优化前结果, g线为优化前结果, y线为Ground Truth. 由图10(a)可以看出, 基于SE与RWT (SE-RWT) 实现的陶瓷晶粒分割结果总体较好, 缺陷在于部分晶粒的轮廓定位不准, 而基于LRCF和RWT (LRCF-RWT) 实现的陶瓷晶粒分割结果不仅能够获得准确的晶粒区域, 而且实现了更为准确的晶粒轮廓定位, 如图10(b) ~ (c)所示.
图 9 基于LRCF与分水岭变换的图像分割Fig. 9 Image segmentation using the combination of LRCF and watershed transform边缘检测领域中的数据集往往是由不同标注者进行标注, 得到的标注结果受标注者本身对目标物体认知的影响. 虽然人与人的认知各不相同, 但是对于相同图像的边缘标注具有非常高的一致性.
因此, 对每张图像的标注结果取均值, 生成新的边缘率映射图, 取值范围为[0, 1]. 其中, 0表示没有标注者将其标注为边缘像素, 1表示所有的标注者都将其标注为边缘像素. 边缘概率值超过
$ \eta $ ($ \eta $ 取值0.5)的记为正样本, 概率值等于0的记为负样本. 利用训练数据中标记的结果生成相应的边缘概率图, 定义损失函数如下:$$l\left( {{X_i};W} \right)\left\{ {\begin{array}{*{20}{l}} &\alpha \cdot {\rm{ln}} (1 - P\left( {{X_i};W} \right)),&{\rm{if}}\;\;{y_i}{\rm{ = 0,}}\\ &0,&{\rm{if}}\;\;0 < {y_i} < \eta \\ &\beta \cdot {\rm{ln}} P\left( {{X_i};W} \right),&{\rm{otherwise}} \end{array}} \right.$$ (14) $$ \alpha =\lambda \frac{\left|{Y}^{+}\right|}{\left|{Y}^{+}\right|+\left|{Y}^{-}\right|}{,}\qquad\beta =\frac{\left|{Y}^{-}\right|}{\left|{Y}^{+}\right|+\left|{Y}^{-}\right|} $$ (15) 其中,
$ {Y}^{+} $ 和$ {Y}^{-} $ 分别表示正样本集和负样本集,$ \alpha $ 和$ \beta $ 分别表示正、负样本所占总样本的比例,$ \lambda $ 表示超参数, 用于平衡正、负样本的比例.$ {X}_{i} $ 和$ {y}_{i} $ 分别给出了像素$ i $ 处的激活值和标注边缘概率.$ P\left(X\right) $ 是标准的Sigmoid函数,$ W $ 表示在结构中学习到的所有参数, 最终得到的损失函数为式(15), 其中$ {X}_{i}^{\left(k\right)} $ 和$ {X}_{i}^{fuse} $ 分别表示来自$ k $ 层和融合层的激活值,$ \left|I\right| $ 表示图像$ I $ 中的像素数,$ K $ 表示层数.$$ L\left(W\right)=\sum\limits_{i=1}^{\left|I\right|}\left(\sum\limits_{k=1}^{K}l\left({X}_{i}^{\left(k\right)};W\right)+l\left({X}_{i}^{fuse};W\right)\right) $$ (16) 由LRCF得到的图像梯度预测结果如图9(a)所示. 该结果表明, LRCF能够实现较好的陶瓷晶粒梯度预测结果, 对该结果进行分水岭变换, 结果如图9(b)所示. y线表示Ground Truth. 由图9(b)可以看出, 尽管分割结果存在过分割问题, 然而分割结果的轮廓贴合度较高, 即LRCF能帮助分水岭变换获得更为准确的轮廓定位. 与图4中的RWT结果相比, LRCF的缺陷在于区域分割错误严重, 优势在于轮廓精度更高.
算法1. 基于数据与模型联合驱动的晶粒分割结果优化
输入.
$ f\_rwt $ (RWT分割结果),$ f\_lrcf $ (基于LRCF的分割结果),$ m $ (基于LRCF的分割结果中标签的总数)输出.
$ g $ (优化结果)1) 定义
$ f\_lrcf $ 标签$label ;$ 2) for
$i=\mathrm{1,2},\cdots ,m ;$ 3) 寻找
$ f\_lrcf $ 中$ label=i $ 的位置$L ;$ 4) 确定
$ L $ 在$ f\_rwt $ 中的标签$label\_rwt1, label\_ rwt2 ,$ $\cdots;$ 5) 从
$ L $ 中选取所占比例最大的标签, 设为$label\_rwt ;$ 6)
$label=label\_rwt ;$ 7) end.
据此, 本文利用LRCF对RWT的结果进行优化, 即数据与模型联合驱动的方式, 在保持RWT分割区域不变的情况下有效提升RWT的轮廓定位精度, 从而实现LRCF与RWT的优势互补, 获取更好的晶粒分割结果, 具体如算法1所示. 利用算法1, 对图4中RWT结果进行优化, 结果如图10所示. 从图中可以看出, 优化后的边缘更加准确, 且优化前后并未引入基于LRCF分割结果中过分割部分.
2. 实验结果
为了降低图像本身光照不均等问题对实验结果带来的干扰, 选取两组陶瓷SEM图像作为实验数据, 第1组是未经处理的陶瓷SEM图像, 第2组是经过工业镀金处理后去除光照影响的陶瓷SEM图像. 为了验证LRCF-RWT的分割性能, 选取Liu等[38]提出的基于聚类的分割算法(Morphological gradient reconstruction, Liu＇s-MGR)、随机游走(Random walker, RW)[39]、SLIC[14]、LSC[15]、Banerjee等[30]提出的算法、SE梯度结合分水岭变换的方法(Structured edge based watershed transform, SE-WT)[32]、SE梯度结合自适应形态学重建的分水岭变换方法(Structured edge adaptive morphological reconstruction and watershed transform, SE-AMR-WT)[40]、RCF结合分水岭变换(RCF-WT)[23]方法与本文提出的LRCF-RWT进行对比. 上述对比算法均采用公开代码进行实验, 算法参数与原文一致, 其中LRCF训练时设置损失参数
$ \eta =0.5, $ $ \lambda =1.1 $ , 训练所用数据集为基准数据集[41].LRCF网络在Intel Core i99900X @3.5 GHZ 128 GB RAM, 双NVIDIA GeForce RTX 2080Ti GPU工作站上进行训练, 编程环境为PyTorch1.2.
由于Liu＇s-MGR算法、SE-WT以及RCF-WT算法在分割线边缘附近都存在大量的闭合小区域, 为了公平对比, 本文将形态学梯度重建引入到所有对比算法中, 即使用Liu＇s-MGR、SE-MGR-WT和RCF-MGR-WT作为对比算法.
2.1 分割结果对比
图11为第1组实验图像(未镀金图像)的分割结果对比, 图中每一列代表一幅实验图像, 图11(a)为Liu＇s-MGR分割结果, 聚类中心数为5, 从结果可以看出, 该算法是依据像素灰度值进行分割, 由于实验图像晶粒之间灰度值不具备明显的差异, 所以这种基于聚类的分割算法结果不适用于本次实验图像. 图11(b)是随机游走的分割结果, 在图中较为均匀地选取了60个种子点, 与Liu＇s-MGR相比, 虽然分割精度有所提升, 但该算法的分割结果依赖于初始种子点的数量以及播撒位置, 很难做到将实验图像精准分割. 图11(c)和图11(d)是两种超像素算法的分割结果, 图11(c)是SLIC的分割结果, 该算法的分割结果大小均匀、形状较为规则, 而陶瓷晶粒大小不一、形状不规则, 而且SLIC对灰度值较为敏感, 所以SLIC不适用于实验图像. 图11(d)是LSC的分割结果, 与图11(c)相比, 该算法得到的结果对晶界的定位较为准确, 但与SLIC有同样的缺陷, 即算法对像素灰度值较为敏感, 导致过分割. 图11(e)是文献[30]提出的算法分割结果, 该算法分割结果较为准确, 但会受到光照影响, 导致分割错误, 而且该算法未能分割出图像边缘部分的晶粒. 图11(f)是SE-MGR-WT的分割结果, 分割结果与LSC分割结果较为相似, 但LSC对晶粒的分割是不准确的. 虽然LSC的分割结果与晶界重合率较高, 但晶粒之间并没有形成闭合区域, 相比之下SE-MGR-WT的分割结果得到的晶粒区域闭合且彼此独立. 图11(g)是SE-AMR-WT的分割结果, 与图11(f)相比, 该算法采用自适应多尺度形态学算子对梯度进行重建, 重建效果优于单尺度梯度重建, 所以该算法解决了过分割问题之后, 晶粒分割准确率提升, 但是分割结果存在双线轮廓问题. 图11(h)是RCF-MGR-WT对应的分割结果, 该算法利用网络深层特征进行区域定位, 浅层特征补充细节, 分割边缘准确性优于SE-AMR-WT, 但该算法分割结果过分割严重. 图11(i)是本文提出的LRCF-RWT的分割结果, 与上述算法相比, 该算法对陶瓷晶粒分割准确, 同时解决了双线轮廓问题, 分割效果最好.
图 11 第一组分割结果对比(未镀金图像)Fig. 11 Comparison of the first group of segmentation results (unplated image)图12为第2组实验图像(镀金图像)的分割结果对比, 图中每一列代表一幅实验图像, 镀金后图像整体的灰度值变化范围缩小. 与图11相比, Liu＇s-MGR在减小了灰度值的影响之后, 分割结果能够部分贴合晶界, 但误分割仍然严重. 由于随机游走受像素灰度值影响不大, 因此图12(b)与图11(b)近似. 在灰度值影响减弱的情况下, SLIC和LSC的分割结果仍然存在严重的误分割. 其余算法分割结果与图11相比均有不同程度的改善, 其中 LRCF-RWT表现出最好的结果.
图 12 第二组分割结果对比(镀金图像)Fig. 12 Comparison of the first group of segmentation results (gilded image)2.2 实验指标对比
为了进一步对比不同分割算法的性能, 本文采用4种算法指标对分割结果进行测试, 分别是重叠比率(Covering, CV)[41]、变化信息(Variation of information, VI)[42]、全局一致性误差(Global consistency error, GCE)[43]和边界位移误差(Boundary displacement error, BDE)[44]. 其中CV的值越大, 表示分割结果越好; VI、GCE和BDE的值越小, 表示分割结果越好.
为了减小实验样品的不同处理方式对分割结果的影响, 指标对比时同样将实验图像分为2组, 表1是未处理的陶瓷电镜图像分割的实验指标平均值, 表2是镀金后的陶瓷电镜图像分割的实验指标平均值. 从图11可以看出, Liu＇s-MGR不适用于实验图像, 随机游走与Liu＇s-MGR相比准确率有所提升. 对照表1可以看出, Liu＇s-MGR的CV指标很低, 随机游走的CV指标比Liu＇s-MGR高. 从图11可以看出, SLIC分割结果并不准确, 虽然LSC分割结果与晶界重合率比较高, 但是该算法受像素灰度值影响较大, 且并未在晶粒边缘构成闭合区域, 所以2种算法CV指标较低. SE-MGR-WT与LSC相比, 分割结果构成闭合区域, 所以该算法的CV值大于LSC的CV值. 但是SE-MGR-WT过分割严重, 所以当SE-AMR-WT克服了过分割问题后, CV指标大幅度提升. 从图像中可以看出, 文献[30]的算法能够较为准确地分割出晶粒, 所以该算法的CV值比SE-MGR-WT大, 但算法受灰度值大小影响, 且难以分割图像边缘部分的晶粒, 因此CV值小于SE-AMR-WT. RCF-MGR-WT的分割结果过分割也很严重, 因此该算法的CV值比SE-AMR-WT低, 但RCF-MGR-WT的分割边缘的准确率高, 表现为该算法的变化信息和误差比SE-AMR-WT小. 相比其他算法, LRCF-RWT获得了最高的实验指标.
表 1 不同方法对陶瓷晶粒分割的性能指标对比(第1组实验, 未镀金的图像)Table 1 Performance comparison of different approaches for ceramic grain segmentation (the first group of experiments for unplated image)Methods CV↑ VI↓ GCE↓ BDE↓ Liu＇s-MGR[38] 0.2889 3.4270 0.4742 7.3230 Random Walker[39] 0.3556 2.9003 0.1407 13.2147 SLIC[14] 0.3547 3.0524 0.4396 10.1678 LSC[15] 0.3455 2.8820 0.3563 7.5911 Banerjee＇s[30] 0.5959 2.1992 0.2031 3.9182 SE-MGR-WT[32] 0.4680 2.3887 0.1364 5.0346 SE-AMR-WT[40] 0.8287 1.1280 0.1122 1.6261 RCF-MGR-WT[23] 0.6636 1.4952 0.0955 3.5651 LRCF-RWT 0.8697 0.8710 0.0763 1.6262 表 2 不同方法对陶瓷晶粒分割的性能指标对比(第2组实验, 镀金的图像)Table 2 Performance comparison of different approaches for ceramic grain segmentation (the second group of experiments for gilded image)Methods CV↑ VI↓ GCE↓ BDE↓ Liu＇s-MGR[38] 0.2622 3.8053 0.3565 6.9440 Random Walker[39] 0.3823 2.9517 0.2202 16.4378 SLIC[14] 0.3279 3.0962 0.4070 11.3350 LSC[15] 0.3347 2.8418 0.3265 8.0651 Banerjee＇s[30] 0.7035 1.7175 0.1052 2.7484 SE-MGR-WT[32] 0.7979 1.2031 0.1033 2.0565 SE-AMR-WT[40] 0.8757 0.9909 0.1110 1.2623 RCF-MGR-WT[23] 0.5771 1.7691 0.0895 4.8813 LRCF-RWT 0.9217 0.6699 0.0628 1.0201 分析表2实验数据, 在去除了光照干扰之后, Liu＇s-MGR、随机游走、SLIC以及LSC的实验指标与表1类似, 这些算法均表现出较低的分割精度. RCF-MGR-WT利用深层次和浅层次的特征, 算法结果稳定, 分割结果不受光照的影响. 文献[30]算法、SE-MGR-WT、SE-AMR-WT以及LRCF-RWT的实验指标对比表1有所提升, 图像对比也可以看出这3种算法在图12的分割结果比图11好. 由以上分析可得, 分割结果图的视觉效果和实验指标的直观数据得出的结论一致, LRCF-RWT的分割效果最好, 分割准确率最高.
2.3 晶粒尺寸计算
在完成图像分割之后, 就可以对晶粒尺寸进行计算. 在图像分割过程中, 已经将各个晶粒分开, 此时可以得到一幅图像中所有的晶粒数目以及晶粒尺寸的分布. 选取每幅图像中尺寸大小较为均匀的晶粒, 计算其尺寸的平均值, 计算方法可将晶粒近似为圆形, 通过得到晶粒面积间接计算其直径, 即为该晶粒尺寸. 其中人工测量方式为每幅图像选取5个形状大小较为均匀的晶粒, 测量晶粒尺寸并求平均值. 由于人工测量结果受测量者主观影响较大, 所以选择5位测量者分别对实验图像进行测量, 得到的测量数据如表3所示, 在去除最大值和最小值后, 对测量值取平均值, 以此来减弱主观因素对测量的影响, 最终得到的人工测量结果如表4所示. 从表3和表4可以看出, 人工测量的误差较大, 且测量中受主观影响较大, 测量费时费力. 表5为表4各算法分割结果中晶粒尺寸与Ground Truth的差值, 可以看出, 给出的LRCF-RWT与对比算法相比, 得到的晶粒尺寸更接近真实结果, 进一步验证了提出算法的优势.
表 3 人工测量晶粒尺寸结果(像素)Table 3 Grain sizes using manual method (pixels)测量者 1 测量者 2 测量者 3 测量者 4 测量者 5 1 94.55 89.17 93.39 94.22 88.51 2 90.92 100.33 105.38 91.48 99.91 3 107.50 100.91 102.09 96.49 89.91 4 101.61 89.91 92.08 94.42 93.38 5 108.31 103.88 95.16 102.45 93.52 6 112.51 108.21 112.34 109.70 107.84 7 101.85 104.13 102.80 94.40 89.73 表 4 不同方法对陶瓷晶粒尺寸的计算结果对比(像素)Table 4 Comparison of ceramic grain sizes using different approaches (pixels)人工测量 Ground Truth Liu＇s-MGR[38] RW[39] SLI[14] LSC[15] [30] SE-MGR-WT[32] SE-AMR-WT[40] RCF-MGR-WT[23] LRCF-RWT 1 92.26 97.80 88.00 195.16 74.33 63.95 92.58 48.88 83.73 63.07 98.56 2 97.24 98.00 85.60 161.54 74.48 63.66 86.59 55.09 94.34 75.08 99.15 3 99.83 92.33 82.81 175.15 76.66 62.39 105.29 50.92 90.52 63.08 92.47 4 93.29 93.34 65.97 206.96 75.72 62.73 86.45 53.17 87.70 65.21 92.48 5 100.50 96.09 74.38 192.80 75.99 68.04 102.02 67.25 93.87 59.95 96.76 6 110.08 98.93 69.83 177.56 76.48 70.01 104.08 76.38 96.00 59.31 100.65 7 99.68 96.61 78.18 183.03 75.50 71.71 114.28 85.29 93.98 53.59 97.67 表 5 不同方法计算陶瓷晶粒尺寸结果的误差(像素)Table 5 Error comparison of different approaches on ceramic grain size computation (pixels)Liu＇s-MGR[38] RW[39] SLIC[14] LSC[15] [30] SE-MGR-WT[32] SE-AMR-WT[40] RCF-MGR-WT[23] LRCF-RWT 1 −9.80 +97.36 −23.47 −33.85 −5.22 −48.92 −14.07 −34.73 −0.76 2 −12.40 +63.54 −23.52 −34.34 −11.41 −42.91 −3.66 −22.92 +1.15 3 −9.52 +82.82 −15.67 −29.94 −12.96 −41.41 −1.81 −29.25 −0.14 4 −27.37 +113.62 −17.62 −30.61 −6.89 −40.17 −5.64 −28.13 −0.86 5 −21.71 +96.71 −20.1 −28.05 +6.07 −28.84 −2.22 −36.14 −0.67 6 −29.10 +18.63 −22.45 −28.92 +5.15 −19.55 −2.93 −39.62 +1.72 7 −18.43 +86.42 −21.11 −24.90 +17.67 −11.32 −2.63 −43.02 −1.06 3. 结束语
针对人工测量陶瓷材料晶粒尺寸效率低、误差大的问题, 提出了一种数据与模型联合驱动的陶瓷材料晶粒分割算法. 该算法解决了传统分水岭算法存在的过分割以及分割区域个数与轮廓精度难以平衡的问题, 并通过引入卷积神经网络提升了分割精度, 实现了陶瓷材料SEM图像中晶粒的正确分割, 便于后续晶粒尺寸的统计与计算. 实验结果表明, 与传统分割算法相比, 提出的算法能实现不同类型陶瓷材料SEM图像中晶粒的准确分割.
然而, 针对未镀金SEM图像, 由于个别区域受光照影响严重, 预处理后该区域的灰度值依旧与其他区域差异过大, 导致分割错误. 此外, 部分图像中晶界不明显, 灰度值与晶粒相似, 导致晶粒未能正确分割. 针对上述问题, 未来我们将深入研究弱监督学习及生成对抗网络在陶瓷材料晶粒分割中的应用.
-
图 3 不同参数的MGR-WT对图像的分割结果对比
Fig. 3 Segmentation results comparison using MRG-WT with different values of r
图 4 RWT与MGR-WT对陶瓷材料晶粒的分割结果对比
Fig. 4 Comparison of the segmentation results of ceramic grains between RWT and MGR-WT
图 9 基于LRCF与分水岭变换的图像分割
Fig. 9 Image segmentation using the combination of LRCF and watershed transform
图 11 第一组分割结果对比(未镀金图像)
Fig. 11 Comparison of the first group of segmentation results (unplated image)
图 12 第二组分割结果对比(镀金图像)
Fig. 12 Comparison of the first group of segmentation results (gilded image)
表 1 不同方法对陶瓷晶粒分割的性能指标对比(第1组实验, 未镀金的图像)
Table 1 Performance comparison of different approaches for ceramic grain segmentation (the first group of experiments for unplated image)
Methods CV↑ VI↓ GCE↓ BDE↓ Liu＇s-MGR[38] 0.2889 3.4270 0.4742 7.3230 Random Walker[39] 0.3556 2.9003 0.1407 13.2147 SLIC[14] 0.3547 3.0524 0.4396 10.1678 LSC[15] 0.3455 2.8820 0.3563 7.5911 Banerjee＇s[30] 0.5959 2.1992 0.2031 3.9182 SE-MGR-WT[32] 0.4680 2.3887 0.1364 5.0346 SE-AMR-WT[40] 0.8287 1.1280 0.1122 1.6261 RCF-MGR-WT[23] 0.6636 1.4952 0.0955 3.5651 LRCF-RWT 0.8697 0.8710 0.0763 1.6262 
下载: 导出CSV
表 2 不同方法对陶瓷晶粒分割的性能指标对比(第2组实验, 镀金的图像)
Table 2 Performance comparison of different approaches for ceramic grain segmentation (the second group of experiments for gilded image)
Methods CV↑ VI↓ GCE↓ BDE↓ Liu＇s-MGR[38] 0.2622 3.8053 0.3565 6.9440 Random Walker[39] 0.3823 2.9517 0.2202 16.4378 SLIC[14] 0.3279 3.0962 0.4070 11.3350 LSC[15] 0.3347 2.8418 0.3265 8.0651 Banerjee＇s[30] 0.7035 1.7175 0.1052 2.7484 SE-MGR-WT[32] 0.7979 1.2031 0.1033 2.0565 SE-AMR-WT[40] 0.8757 0.9909 0.1110 1.2623 RCF-MGR-WT[23] 0.5771 1.7691 0.0895 4.8813 LRCF-RWT 0.9217 0.6699 0.0628 1.0201
下载: 导出CSV
表 3 人工测量晶粒尺寸结果(像素)
Table 3 Grain sizes using manual method (pixels)
测量者 1 测量者 2 测量者 3 测量者 4 测量者 5 1 94.55 89.17 93.39 94.22 88.51 2 90.92 100.33 105.38 91.48 99.91 3 107.50 100.91 102.09 96.49 89.91 4 101.61 89.91 92.08 94.42 93.38 5 108.31 103.88 95.16 102.45 93.52 6 112.51 108.21 112.34 109.70 107.84 7 101.85 104.13 102.80 94.40 89.73
下载: 导出CSV
表 4 不同方法对陶瓷晶粒尺寸的计算结果对比(像素)
Table 4 Comparison of ceramic grain sizes using different approaches (pixels)
人工测量 Ground Truth Liu＇s-MGR[38] RW[39] SLI[14] LSC[15] [30] SE-MGR-WT[32] SE-AMR-WT[40] RCF-MGR-WT[23] LRCF-RWT 1 92.26 97.80 88.00 195.16 74.33 63.95 92.58 48.88 83.73 63.07 98.56 2 97.24 98.00 85.60 161.54 74.48 63.66 86.59 55.09 94.34 75.08 99.15 3 99.83 92.33 82.81 175.15 76.66 62.39 105.29 50.92 90.52 63.08 92.47 4 93.29 93.34 65.97 206.96 75.72 62.73 86.45 53.17 87.70 65.21 92.48 5 100.50 96.09 74.38 192.80 75.99 68.04 102.02 67.25 93.87 59.95 96.76 6 110.08 98.93 69.83 177.56 76.48 70.01 104.08 76.38 96.00 59.31 100.65 7 99.68 96.61 78.18 183.03 75.50 71.71 114.28 85.29 93.98 53.59 97.67
下载: 导出CSV
表 5 不同方法计算陶瓷晶粒尺寸结果的误差(像素)
Table 5 Error comparison of different approaches on ceramic grain size computation (pixels)
Liu＇s-MGR[38] RW[39] SLIC[14] LSC[15] [30] SE-MGR-WT[32] SE-AMR-WT[40] RCF-MGR-WT[23] LRCF-RWT 1 −9.80 +97.36 −23.47 −33.85 −5.22 −48.92 −14.07 −34.73 −0.76 2 −12.40 +63.54 −23.52 −34.34 −11.41 −42.91 −3.66 −22.92 +1.15 3 −9.52 +82.82 −15.67 −29.94 −12.96 −41.41 −1.81 −29.25 −0.14 4 −27.37 +113.62 −17.62 −30.61 −6.89 −40.17 −5.64 −28.13 −0.86 5 −21.71 +96.71 −20.1 −28.05 +6.07 −28.84 −2.22 −36.14 −0.67 6 −29.10 +18.63 −22.45 −28.92 +5.15 −19.55 −2.93 −39.62 +1.72 7 −18.43 +86.42 −21.11 −24.90 +17.67 −11.32 −2.63 −43.02 −1.06
下载: 导出CSV
-
[1] Viola G, Chong K B, Eriksson M, Shen Z, Zeng J, Yin Q, et al. Effect of grain size on domain structures, dielectric and thermal depoling of Nd-substituted bismuth titanate ceramics. Applied Physics Letters, 2013, 103(18): 182903. [2] Yuan Q, Yao F, Wang Y, Ma R, Wang H. Relaxor ferroelectric 0.9 BaTiO3–0.1 Bi (Zn0.5Zr0.5) O3 ceramic capacitors with high energy density and temperature stable energy storage properties. Journal of Materials Chemistry C, 2017, 5(37): 9552-9558. [3] Yang Z, Gao F, Du H, Jin L, Yan L, Hu Q, et al. Grain size engineered lead-free ceramics with both large energy storage density and ultrahigh mechanical properties. Nano Energy, 2019, 58: 768-777. [4] 邹耀斌, 雷帮军, 臧兆祥, 王俊英, 胡泽海, 董方敏. 归一化互信息量最大化导向的自动阈值选择方法. 自动化学报, 2019, 45(7): 1373-1385.Zou Yao-Bin, Lei Bang-Jun, Zang Zhao-Xiang, Wang Jun-Ying, Hu Ze-Hai, Dong Fang-Min. Automatic threshold selection guided by maximizing normalized mutual information. Acta Electronica Sinica, 2019, 45(7): 1373-1385. [5] Yang M, Liu S, Chen K, Zhang H, Zhao E, Zhao T. A hierarchical clustering approach to fuzzy semantic representation of rare words in neural machine translation. IEEE Transactions on Fuzzy Systems, 2020, 28(5): 992-1002. [6] Lei T, Jia X, Zhang Y, He L, Meng H, Nandi A K. Significantly fast and robust fuzzy c-means clustering algorithms based on morphological reconstruction and membership filtering. IEEE Transactions on Fuzzy Systems, 2018, 26(5): 3027-3041. [7] 陶新民, 王若彤, 常瑞, 李晨曦, 刘艳超. 基于低密度分割密度敏感距离的谱聚类算法. 自动化学报, 2020, 46(7): 1479-1495.Tao Xin-Min, Wang Ruo-Tong, Chang Rui, Li Chen-Xi, Liu Yan-Chao. Low density separation density sensitive distance-based spectral clustering algorithm. Acta Electronica Sinica, 2020, 46(7): 1479-1495. [8] 雷涛, 张肖, 加小红, 刘侍刚, 张艳宁. 基于模糊聚类的图像分割研究进展. 电子学报, 2019, 47(08): 1776-1791. doi: 10.3969/j.issn.0372-2112.2019.08.023Lei Tao, Zhang Xiao, Jia Xiao-Hong, Liu Shi-Gang, Zhang Yan-Ning. Research progress on image segmentation based on fuzzy clustering. Acta Electronica Sinica, 2019, 47(8): 1776-1791. doi: 10.3969/j.issn.0372-2112.2019.08.023 [9] 马超, 刘亚淑, 骆功宁, 王宽全. 基于级联随机森林与活动轮廓的3D MR图像分割. 自动化学报, 2019, 45(5): 1004-1014.Ma Chao, Liu Ya-Shu, Luo Gong-Ning, Wang Kuan-Quan. Combining concatenated random forests and active contour for the 3D MR images segmentation. Acta Electronica Sinica, 2019, 45(5): 1004-1014. [10] Zhang L, Wu K T, Li P. An improved adaptive level set method for image segmentation. International Journal of Pattern Recognition & Artificial Intelligence, 2017, 32(5): 1854013. [11] Liu X, Guo S, Yang B, Ma S, Fu Y. Automatic organ segmentation for CT scans based on super-pixel and convolutional neural networks. Journal of Digital Imaging, 2018, 31(6): 748-760. [12] Zhang Z, Pan X, Cheng L, Zhan S, Zhou H, Chen R, et al. SAR image segmentation using hierarchical region merging with orientated edge strength weighted Kuiper’s distance. IEEE Access, 2019, 7: 84479-84496. doi: 10.1109/ACCESS.2019.2910735 [13] Ghosh P, Mali K, Das S K. Use of spectral clustering combined with normalized cuts (N-Cuts) in an iterative k-means clustering framework (NKSC) for superpixel segmentation with contour adherence. Pattern Recognition and Image Analysis, 2018, 28(3): 400-409. [14] Achanta R, Shaji A, Smith K, Lucchi A, Fua P, Süsstrunk, S. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282. [15] Li Z, Chen J. Superpixel segmentation using linear spectral clustering. IEEE Transactions on Image Processing, 2017, 26(7): 3317-3330. doi: 10.1109/TIP.2017.2651389 [16] Liu M Y, Tuzel O, Ramalingam S, Chellappa R. Entropy rate superpixel segmentation. In: Proceedings of IEEE Computer Vision and Pattern Recognition, CO, USA: IEEE, 2011. 2097-2104 [17] Zhao Z Q, Zheng P, Xu S, Wu X. Object detection with deep learning: A review. IEEE transactions on neural networks and learning systems, 2019, 30(11): 3212-3232. doi: 10.1109/TNNLS.2018.2876865 [18] Wang K, Liew J H, Zou Y, Zhou D, Feng J. Panet: Few-shot image semantic segmentation with prototype alignment. In: Proceedings of International Conference on Computer Vision. Seoul, Korea: IEEE, 2019. 9197−9206 [19] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 39(4): 640-651. [20] He K, Zhang X, Ren S, Sun J. Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. doi: 10.1109/TPAMI.2015.2389824 [21] Zhao H, Shi J, Qi X, Wang X, Jia J. Pyramid scene parsing network. In: Proceedings of IEEE Computer Vision and Pattern Recognition, Honolulu, USA: IEEE, 2017. 6230−6239 [22] Chen L C, Papandreou G, Kokkinos I, Murphy K, Yuille A L. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.. doi: 10.1109/TPAMI.2017.2699184 [23] Liu Y, Cheng M M, Hu X, Wang K, Bai X. Richer convolutional features for edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(8): 1939-1946. doi: 10.1109/TPAMI.2018.2878849 [24] Gao S, Cheng M M, Zhao K, Zhang X Y, Yang M H, Philip H S T. Res2net: A new multi-scale backbone architecture. IEEE transactions on pattern analysis and machine intelligence, 2019. doi: 10.1109/TPAMI.2019.2938758. [25] Li H, Xiong P, Fan H, Sun J. DFANet: Deep feature aggregation for real-time semantic segmentation. In: Proceedings of IEEE Computer Vision and Pattern Recognition, LA, USA: IEEE, 2019. 9522−9531 [26] Ding H, Jiang X, Shuai B, Liu A Q, Wang G. Semantic segmentation with context encoding and multi-path decoding. IEEE Transactions on Image Processing, 2020, 29: 3520-3533. doi: 10.1109/TIP.2019.2962685 [27] Andrew M. A quantified study of segmentation techniques on synthetic geological XRM and FIB-SEM images. Computational Geosciences, 2018, 22(6): 1503-1512. doi: 10.1007/s10596-018-9768-y [28] 薛维华, 王浩, 刘国权, 冯敏楠, 齐琳, 陈展鹏. 基于图像序列间相似性的晶粒组织图像分割方法. 中国体视学与图像分析, 2015, 20(04): 400-407.Xue Wei-Hua, Wang Hao, Liu Guo-Quan, Feng Min-Nan, Qi Lin, Chen Zhan-Peng. Segmentation method of grain microstructure based on similarity among image sequence. Chinese Journal of Stereology and Image Analysis, 2015, 20(04): 400-407. [29] Jiang F, Gu Q, Hao H, Li N, Wang B, Hu X. A method for automatic grain segmentation of multi-angle cross-polarized microscopic images of sandstone. Computers & Geosciences, 2018, 115: 143-153. [30] Banerjee S, Chakraborti P C, Saha S K. An automated methodology for grain segmentation and grain size measurement from optical micrographs. Measurement, 2019, 140: 142-150. doi: 10.1016/j.measurement.2019.03.046 [31] Vincent L, Soille P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598. doi: 10.1109/34.87344 [32] Dollár P, Zitnick C L. Fast edge detection using structured forests. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(8): 1558-1570. doi: 10.1109/TPAMI.2014.2377715 [33] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround retinex. IEEE transactions on image processing, 1997, 6(3): 451-462. doi: 10.1109/83.557356 [34] Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes. IEEE Transactions on Image Processing, 1997, 6(7): 965-976. doi: 10.1109/83.597272 [35] Jackway P T. Gradient watersheds in morphological scale-space. IEEE Transactions on Image Processing, 1996, 5(6): 913-921. doi: 10.1109/83.503908 [36] Yu Z, Feng C, Liu M Y, Ramalingam S. Casenet: Deep category-aware semantic edge detection. In: Proceedings of IEEE Computer Vision and Pattern Recognition, Honolulu, USA: IEEE, 2017. 5964−5973 [37] Liu Y, Lew M S. Learning relaxed deep supervision for better edge detection. In: Proceedings of IEEE Computer Vision and Pattern Recognition, NV, USA: IEEE, 2016. 231−240 [38] Liu G, Zhang Y, Wang A. Incorporating adaptive local onformation onto fuzzy clustering for image segmentation. IEEE Transactions on Image Processing, 2015, 24(11): 3990-4000. doi: 10.1109/TIP.2015.2456505 [39] Grady L. Random walks for image segmentation. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2006, 28(11): 1768-1783. [40] Lei T, Jia X, Liu T, Liu S, Meng H, Nandi A K. Adaptive morphological reconstruction for seeded image segmentation. IEEE Transactions on Image Processing, 2019, 28(11): 5510-5523. doi: 10.1109/TIP.2019.2920514 [41] Arbelaez P, Maire M, Fowlkes C, Malik J. Contour detection and hierarchical image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5): 898-916. doi: 10.1109/TPAMI.2010.161 [42] Meila M. Comparing clusterings: An axiomatic view. In: Proceedings of the International Conference on Machine Learning, Bonn, Germany: IMLS, 2005. 577−584 [43] Martin D, Fowlkes C, Tal D, Malik J. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In: Proceedings of International Conference on Computer Vision. BC, Canada: IEEE, 2001. 416−423 [44] Freixenet J, Muñoz X, Raba D, Martí J, Cufí X. Yet another survey on image segmentation: Region and boundary information integration. In: Proceedings of the European Conference on Computer Vision, Copenhagen, Denmark: IEEE, 2002. 408−422 期刊类型引用(4)
1. 王森，国蓉，胡海军，许勇，张钰，李秀峰. 基于轻量型U-net的钢材金相图像晶界分割方法. 计算机测量与控制. 2023(03): 300-305+312 . 
百度学术2. 王森，国蓉，胡海军，张钰，李秀峰. 基于深度学习的钢材金相图像晶粒度等级评定方法. 光电子·激光. 2023(10): 1075-1083 . 百度学术3. 蔡超丽，李纯纯，黄琳，杨铁军. ED-NAS:基于神经网络架构搜索的陶瓷晶粒SEM图像分割方法. 电子学报. 2022(02): 461-469 . 百度学术4. 王佳锐，刘能锋，曲鹏. 卷积神经网络金相组织自动识别. 智能系统学报. 2022(04): 698-706 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 1981
- HTML全文浏览量: 739
- PDF下载量: 334
- 被引次数: 6
