Image Segmentation Based on Higher-order MRF Model With Multi-node Topological Overlap Measure
-
摘要: 针对低阶马尔科夫随机场(Markov random field, MRF)模型难以有效表达自然图像中复杂的先验知识而造成误分割问题, 提出一种基于多节点拓扑重叠测度高阶MRF模型(Higher-order MRF model with multi-node topological overlap measure, MTOM-HMRF)的图像分割方法. 首先, 为描述图像局部区域内多像素蕴含的复杂空间拓扑结构信息, 利用多节点拓扑重叠测度建立图像局部区域的高阶先验模型; 其次, 利用较大的局部区域包含更多的标签节点信息能力, 基于Pairwise MRF模型建立基于局部区域的部分二阶Potts先验模型, 提高分割模型的抗噪能力; 再次, 为有效描述观察图像场与其标签场的似然特征分布, 研究利用局部区域内邻接像素的Hamming距离引入图像局部空间相关性, 建立局部空间一致性约束的高斯混合分布; 最后, 基于MRF框架建立用于图像分割的多节点拓扑重叠测度高阶MRF模型, 采用Gibbs采样算法对提出模型进行优化. 实验结果表明, 提出模型不仅能有效抵抗图像强噪声和复杂的纹理突变干扰, 鲁棒性更好, 而且具有更准确的图像分割结果.Abstract: Aim at the problem that lower-order Markov random field (MRF) model is inefficient to capture the rich prior knowledge of nature images which may bring out error image segmentation results, a new image segmentation method is proposed based on higher-order MRF model with multi-node topological overlap measure (MTOM-HMRF). Firstly, to capture complex spatial topological structure information embedded in the local region of images, the proposed method utilizes the topological overlap measure among multi-image-pixels to build higher-order prior model for the local region of images. Secondly, according that larger local region contains more information in label nodes, a partial 2-order Potts model is built based on pairwise MRF model, which increases the anti-noise capability of the proposed model. Thirdly, to efficiently describe the likelihood distribution between observed image field and its label field, a local spatial consistency constraints Gaussian mixture distribution is constructed based on the Hamming distribution between neighbor pixels which incorporated image local spatial correlation. Finally, a topological overlap measure higher-order MRF model is proposed for image segmentation based on the MRF framework, and Gibbs sampling algorithm is used to optimize the proposed model. Experimental results on artificial synthesis images and nature images show that the proposed model is not only efficient to overcome the impact of strong noise and complex texture abrupt on image segmentation results, thus possesses more robustness, but also can provide more accurate edge segmentation results.
-
图像分割是计算机视觉领域研究的核心问题之一, 是对图像进行更高层分析、理解的基础. 近年来, 基于马尔科夫随机场(Markov random field, MRF)模型的图像分割方法受到广泛关注, 成为图像分割领域研究的热点. 在概率框架下, MRF利用图像像素标签的Gibbs分布描述图像局部空间先验知识, 并基于贝叶斯定理将图像空间先验知识与似然特征结合起来, 在图像分割领域取得了成功应用[1-8].
由于低阶MRF模型只能表达邻域平滑等简单的先验知识, 而这种简单先验知识常导致分割结果的过平滑, 从而阻碍了MRF在图像分割领域的进一步应用. 高阶MRF模型引入更多的邻域信息, 能够表达更复杂的先验知识和统计信息, 因而在计算机视觉领域得到广泛关注, 取得了很多有意义的研究成果[1]. Kohli等[2-4]提出一种Robust
${{\cal{P}}^n}$ Potts模型, 将标签邻域一致性作为先验约束, 即约束局部区域内大部分标签倾向于取相同标签值, 显著提高了图像分割精度, 特别是在物体边界处取得了更准确的分割效果. 夏平等[5]针对医学图像中斑点噪声、目标边缘弱化对分割结果的干扰问题, 采用二阶邻域系统描述标签场的结构间联系, 利用复小波域中每一尺度内同标签区域的特征信息分布规律弥补了高阶MRF分割中参数估计复杂、小波域MRF缺乏平移不变性和特征提取方向性差的不足, 提出复小波域多分辨率MRF模型的超声医学图像分割算法. Li等[6]提出一种基于超像素的高阶CRF (Conditional random field)语义分割模型, 利用超像素增强点对势能项引入图像的超像素高阶先验, 虽然基于超像素的高阶CRF模型大大提升了分割效率, 但是无监督分割算法产生的超像素常包含一些误分割边缘, 因而造成图像分割边界吻合度不理想. 这种约束区域一致性高阶MRF模型对于图像局部区域先验表达能力有限[1], 特别是对于图像局部区域内的高阶拓扑结构等高维特征难以有效表达.为提高MRF模型对图像局部区域的结构特征描述能力, 常利用邻接像素的距离度量方法描述图像局部空间相关性. 宋艳涛等[7]提出一种基于图像片权重方法的MRF模型, 利用邻接图像片之间的相似性描述局部邻域内对应像素点间的权值, 提高像素邻域内有用点和无用点的区分度, 并通过平滑KL (Kullback-Leibler)距离引入先验概率与后验概率熵的惩罚项, 该模型对图像边缘区域和纹理结构复杂区域均能获得较好的分割效果. Kim等[8]建立一个基于超图的图像分割框架, 引入图像不同区域短距离和长距离的依赖性, 利用高阶相关性聚类方法建立超像素间的高阶势能特征. 融合空间先验约束的高斯混合模型(Gaussian mixture model, GMM)在图像分割领域也得到广泛关注. Ji等[9]提出一种空间约束的非对称高斯混合模型(Asymmetric GMM), 利用KL距离计算邻域像素的空间先验信息, 并根据像素类内和类间的先验知识和后验概率建立像素与其标签间的非对称似然分布, 该方法有效抑制了噪声对分割结果的干扰, 得到了较好的分割结果. Zhang等[10]基于局部空间信息和像素强度信息的相关性, 利用带权值的局部区域像素概率代替单一像素概率, 提出一种快速鲁棒的改进GMM分割模型. Ji等[11]为提高基于GMM图像分割模型对噪声的鲁棒性, 利用局部窗内邻接像素的欧氏距离计算像素邻域空间权值因子, 提出一种新的带空间权值GMM模型. Niu等[12]基于局部窗内局部空间逐像素距离引入局部相似度因子, 有效解决了传统基于区域的分割模型对高斯噪声和图像局部细节特征的不敏感性问题. Bi等[13]提出一种显著度GMM图像分割模型, 该模型基于视觉注意力机制, 利用图像显著特征图提取基于图像内容的空间信息, 有效增强了重要像素在分割结果中的表达.
上述方法采用基于点对像素的相似性度量引入图像的局部空间先验信息, 这种先验信息约束距离越近的邻接像素越倾向于取相同标签. 由于复杂图像特征具有高维性, 因而常规的基于欧氏距离相似性度量不能有效描述局部像素的相似性. 为解决这一问题, 徐胜军等[14]提出一种基于局部区域一致性的流形约束MRF模型, 该模型基于流形局部信息度量更准确地捕获了图像局部区域的复杂几何结构先验. 冯宝等[15]提出一种结合MRF能量和模糊速度函数的活动轮廓模型方法, 利用Garbo纹理特征、DCE-MRI时域特征、灰度特征构成特征向量与聚类中心向量的距离, 构建一种模糊速度函数, 并引入到活动轮廓模型中作为MRF能量模型的边缘检测项. Shao等[16]假定空间邻域具有相似的表示因子, 因而利用图拉普拉斯正则项将空间信息引入稀疏表示模型, 提出一种空间和类结构正则化的稀疏表示图模型, 有效描述了图像本征数据结构特征. Dornaika等[17]利用拉普拉斯平滑度提出一种新的约束稀疏图构造方法, 该方法假定拉普拉斯平滑度约束相似的数据样本产生相似的编码向量, 从而融合稀疏表示和拉普拉斯平滑度建立一种非对称权值的相似度矩阵, 进而建立一种更具表达能力的稀疏图.
图像像素邻域结构信息是图像的重要先验知识, 这种邻域结构信息的提取常采用基于邻接像素对的相似性度量方法. 但是由于图像“高维性”、“强噪声”等特点, 基于点对像素的相似性度量方法不能揭示图像高维空间蕴含的本质几何结构; 同时, 这种“强噪声”在邻接像素之间带来较多假相关. 因而常规点对像素相似性度量方法难以捕获复杂图像高阶结构相关性特征, 这种高阶特征常蕴含在图像局部区域内多个邻接像素间. 由此可知, 研究邻接多像素相似性度量是非常有必要的. 但是常用的约束区域一致性高阶MRF模型对于局部区域内蕴含的拓扑结构特征的表达能力有限[1]. 相关研究表明, 拓扑重叠测度(Topological overlap measure, TOM)[18-20]不仅考虑了邻接点对变量的相关性, 而且引入了局部区域内节点对共享邻接变量的相关性. 与欧氏距离、Pearson相关性[21]、互信息[22]等传统基于点对像素相关性的距离度量方法相比, TOM能够有效描述多变量之间的拓扑结构关系. 因而基于TOM建立的基因共表达网络能有效度量多个基因表达数据的相似性, 并降低“强噪声”所带来的假相关, 因此在生物信息领域中得到显著关注[22-25].
受此启发, 为提高基于MRF模型对自然图像复杂特征描述的能力以及对噪声干扰的鲁棒性, 基于MTOM (Multi-node topological overlap measure)提出一种多变量相似性度量方法, 有效描述图像局部区域内邻接像素多变量拓扑结构关系, 并利用这种多变量拓扑结构关系建立图像的高阶拓扑结构先验模型. 最终基于MRF提出一种多节点拓扑重叠测度高阶MRF模型(Higher-order MRF model with multi-node topological overlap measure, MTOM-HMRF)图像分割方法, 有效提升了图像分割的效果.
1. 相关基础知识
1.1 拓扑重叠测度
假定观察图像变量集合
$X = \{ {x_1},\;{x_2},\; \cdots ,\;{x_S}\}$ , 其中${x_s},\;{x_r} \in X$ 是集合$X$ 的任意两个邻接变量,$S$ 为集合$X$ 的变量总数. 假定邻接变量${x_s},\;{x_r}$ 之间共享相邻节点${x_u}$ 的信息越多, 表明它们的相似性越强; 反之, 如果邻接变量${x_s},\;{x_r}$ 之间共享相邻节点${x_u}$ 的信息越少, 表明它们的相似性越弱. 定义两个邻接变量${x_s},\;{x_r}$ 的点对拓扑重叠测度${t_{sr}}$ 如式(1)所示[18]:$${t_{sr}} = \left\{ {\begin{array}{*{20}{c}} {\dfrac{{\displaystyle\sum\limits_{u \ne s,r} {{a_{su}}{a_{ru}}} + {a_{sr}}}}{{\min \left\{ \displaystyle\sum\limits_{u \ne s} {{a_{su}}} ,\displaystyle\sum\limits_{u \ne r} {{a_{ru}}} \right\} + 1 - {a_{sr}}}},\;\;{\rm{if}}\;\;s \ne r} \\ {\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;1,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{if}}\;\;s = r} \end{array}} \right.$$ (1) 式中,
${a_{sr}} = dist({x_s},\;{x_r})$ 表示邻接变量${x_s},\;{x_r}$ 的相似性度量, 且${\rm{0}} \le {a_{sr}} \le {\rm{1}}$ , 这个相似性度量常采用欧氏距离、Hamming距离等相似性度量方法度量;$\displaystyle\sum\nolimits_{u \ne s,r} {{a_{su}}{a_{ru}}} $ 为邻接变量${x_s},\;{x_r}$ 的共享变量度量;$1 - {a_{sr}}$ 的作用是避免当$\displaystyle\sum\nolimits_{u \ne s} {{a_{su}}} $ 或$\displaystyle\sum\nolimits_{u \ne r} {{a_{ru}}} $ 为0时, 分母项为0.由式(1)可知, 如果邻接变量
${x_s},\;{x_r}$ 之间共享相邻节点${x_u}$ 的信息越多, 那么点对拓扑重叠测度${t_{sr}}$ 的值越大, 反之${t_{sr}}$ 的值越小. 且因为${\rm{0}} \le {a_{sr}} \le {\rm{1}}$ , 所以$\displaystyle\sum\nolimits_{u \ne s,r}{{a_{su}}{a_{ru}}} \le \displaystyle\sum\nolimits_{u \ne s}{{a_{su}}} - {a_{sr}} ,$ 也就是说$\displaystyle\sum\nolimits_{u \ne s,r} {{a_{su}}{a_{ru}}} \le $ $ \min \left\{ \displaystyle\sum\nolimits_{u \ne s} {{a_{su}}} ,\displaystyle\sum\nolimits_{u \ne r}\right.$ ${{a_{ru}}} \Bigr\} - {a_{sr}}$ . 因此由式(1)可知, 邻接变量${x_s},\;{x_r}$ 的点对拓扑重叠测度${t_{sr}}$ 满足${\rm{0}} \le {t_{sr}} \le {\rm{1}}$ .根据式(1)邻接变量
${x_s},\;{x_r}$ 的点对拓扑重叠测度${t_{sr}}$ 的定义, 则观察变量集合$X$ 的TOM矩阵$T{\rm{(}}X)$ 为:$$T\left( X \right) = {\left[ {{t_{sr}}} \right]_{s,\,r \;\le\; S}}$$ (2) 联合式(1)和式(2)可知, TOM矩阵
$T{\rm{(}}X)$ 是一个对称且非负的相似度矩阵. 这个矩阵把邻接变量的点对关系相似度矩阵转换成了多变量高阶TOM, 并利用这种TOM建立邻接变量的高阶相似性约束, 从而引入多变量邻接节点的高阶拓扑空间相关性, 能更好地表达多变量局部空间特征, 并减少“强噪声”所带来的假相关[18].1.2 MRF图像分割模型
MRF是一种强力的图像特征表达模型, 在图像分割、图像恢复、图像匹配等低级图像处理领域具有广泛的应用. 设
$S = \left\{ {s|s \le M \times N} \right\}$ 表示一个定义在邻域系统${\cal{N}} = \left\{ {{{\cal{N}}_s}|s \in S} \right\}$ 上的有限格点集合, 其中${{\cal{N}}_s}$ 表示节点$s$ 的邻域节点集合,$M \times N$ 为集合大小. 令$X = \left\{ {{x_s}|{x_s} \in {{\varOmega}} ,\;s \in S} \right\}$ 表示一个观察图像, 其中${{\varOmega}} {\rm{ \,= \{ }}0,\;1,\; \cdots ,\;255\}$ 表示图像中观察像素${x_s}$ 的强度值范围. 假定观察图像每一个像素${x_s}$ 唯一对应一个标签节点${y_s}$ , 则分割图像标签场$Y = $ $ \left\{ {{y_s}|{y_s} \in \varLambda ,\;s \in S} \right\},$ 其中$\varLambda =\left\{ {{\rm{0,\;1,\;}} \cdots ,\;L} \right\},\;L$ 表示图像分割标签总数.基于MRF的图像分割方法假定标签场
$Y$ 满足Markov性质, 是一个马尔科夫随机场, 则标签场$Y$ 利用Markov性质建立图像分割的空间先验知识, 表示为$P(Y)$ . 给定观察图像场$X,$ 令标签场$Y$ 的条件似然分布表示为$P(X|Y)$ . 根据Bayes规则, 图像分割的后验概率分布模型$P(Y|X)$ 如式(3)所示:$$P\left( {\left. Y \right|X} \right) = \frac{{P\left( {\left. X \right|Y} \right)P\left( Y \right)}}{{P\left( X \right)}}$$ (3) 在概率MRF框架下, 图像分割问题的实质是给定已知观察图像场
$X$ , 求取标签场$Y$ 的全局最优估计${Y^*}$ . 这个全局最优标签场${Y^*}$ 的估计问题常把MRF全局概率分布的最大化问题转化为MRF能量最小化问题[26]:$$\begin{split} {Y^ * } =\,& \arg \mathop {\max }\limits_Y P\left( {Y|X} \right) \sim \arg \mathop {\min }\limits_Y {E_g}\left( {X,\;Y} \right) = \\ & \arg \mathop {\min }\limits_Y \left\{ {{E_d}\left( {X,\;Y} \right) + {E_s}\left( Y \right)} \right\} \end{split} $$ (4) 式中,
${E_{g}}\left( {X,\;Y} \right)$ 表示MRF分布的全局能量;${E_d}\left( {X,\;Y} \right) =- \lg P\left( {X|Y} \right),$ 称为图像特征场模型的似然能量;${E_s}\left( Y \right) = \displaystyle\sum\nolimits_{s,r \in {\cal{N}}_s} {\delta ({y_s},\;{y_r})},$ 称为图像标签场MRF先验模型的平滑能量, 其中${{\cal{N}}_s}$ 表示节点$s $ 的邻域节点集合; “$\sim $ ”表示近似于.2. 基于MTOM-HMRF的图像分割模型
常规Pairwise MRF能量模型中, 标签场先验平滑能量
${E_s}\left( Y \right) = \displaystyle\sum\nolimits_{s,r \in {\cal{N}}_s} {\delta ({y_s},\;{y_r})}$ 仅对邻域节点进行平滑性约束, 因而这种低阶点对结构限制了Pairwise MRF能量模型的表达能力, 使其难以表达图像更加复杂的区域和全局先验知识. 为提高MRF模型对复杂图像特征的表达能力及其在分割过程中对噪声、纹理等突变信号的抗干扰能力, 提出一种基于MTOM-HMRF的图像分割模型. 该模型利用多变量拓扑重叠测度方法建立邻接变量的高阶相似性约束, 从而引入了多变量邻接节点的高阶拓扑结构先验知识, 更好地表达了图像的复杂局部空间先验知识.2.1 MTOM-HMRF先验模型
基于MRF的图像分割模型中, 图像局部区域中蕴含的空间结构信息是图像分割的重要先验知识, 这种空间结构信息常采用基于邻接像素对的相似性度量方法描述, 但是简单的点对相似性度量难以捕获图像复杂的局部空间结构特征. 相关研究表明, TOM能有效描述多变量之间的拓扑结构关系[18-20]. 为提升MRF模型对图像复杂空间结构信息的表达能力, 降低图像“强噪声”所带来的假相关性对分割结果的干扰, 提出一种融合TOM和MRF模型的MTOM-HMRF先验模型.
部分二阶MRF模型如图1所示, 令
${y_s}$ 表示MRF中任一隐标签节点;${x_s}$ 表示与隐标签节点${y_s}$ 一一对应的图像观察节点;${w_s}$ 表示以隐标签节点${y_s}$ 为中心节点的一个MRF的局部区域, 局部区域大小为$\left| {{w_s}} \right| \times \left| {{w_s}} \right|$ ; 令${y_r} \in {{\cal{N}}_s}\left( {{y_s}} \right)$ 表示中心节点${y_s}$ 的邻域节点, 其中${{\cal{N}}_s}\left( {{y_s}} \right)$ 表示中心节点${y_s}$ 的邻域节点集合. 在MRF模型中, 邻接节点对${x_s},\;{x_r}$ 的点对拓扑重叠测度${t_{sr}}$ 反映了它们所共享邻接节点拓扑结构的相似性, 即这种相似性有效引入了图像局部区域内蕴含的空间拓扑结构特征, 能更有效地表达图像的局部区域特征, 对图像的噪声干扰所带来的假相关性具有鲁棒性.图像像素强度值分布是一个随机过程, 因此通常采用统计性的概率分布描述图像的先验信息. 在图像局部区域内, 中心像素与其邻接像素相似性有效描述了图像空间拓扑结构信息, 为图像分割提供了重要的上下文空间先验信息.
为度量邻接像素的拓扑重叠测度, 首先计算局部区域
${w_s}$ 的中心像素${x_s}$ 与其所有邻域像素${x_r}$ 的欧氏距离$d({x_s},\;{x_r})$ , 并对像素间的相似度进行归一化, 使得${\rm{0}} \le {d_{sr}} \le 1$ . 归一化函数如下[27-28]:$$d \left( {{x_s},\;{x_r}} \right) = \exp \left\{\dfrac { - {{\left( {{{\left\| {{x_s} - {x_r}} \right\|}_{2}}} \right)}^2}}{{{\left( {\rho \mathop {\max }\limits_{r \in {{\cal{N}}_s}} {{\left\| {{x_s} - {x_r}} \right\|}_{2}}} \right)}^{2}}} \right\}$$ (5) 式中,
${\left\| {{x_s} - {x_r}} \right\|_{2}}$ 表示邻接像素对的欧氏距离;$\rho \le $ $ {0}{.2}$ [27]为归一化尺度参数, 衡量了邻接像素的相似度,$\rho $ 值越小, 相同距离邻接像素的相似度越小.由式(5)建立局部区域的欧氏距离度量向量:
$$\begin{split}{{\boldsymbol{D}}_{{w_s}}}({X_{{w_s}}}) = \,&\{ d({x_s},\;{x_1}), \cdots ,\;d({x_s},\;{x_r}), \cdots ,\\ &d({x_s},\;{x_{\left| {{w_s}} \right| \times \left| {{w_s}} \right|}})\} \end{split}$$ (6) 式中,
$d\left( {{x_s},\;{x_r}} \right)$ 表示中心像素${x_s}$ 与其邻域像素${x_r}$ 的相似性, 且满足$0 \le {d_{sr}} \le 1$ ;$\left| {{w_s}} \right| \times \left| {{w_s}} \right|$ 为图像局部区域的大小.为了将邻接像素相似性转化为联接强度, 利用幂邻接函数把局部区域
${w_s}$ 的相似度量向量${{\boldsymbol{D}}_{{w_s}}}\left( {{X_{{w_s}}}} \right)$ 转换为一个邻接强度度量向量${{\boldsymbol{A}}_{{w_s}}}\left( {{X_{{w_s}}}} \right)$ . 幂邻接函数定义如下:$${a_{sr}}\left( {{x_s},\;{x_r}} \right) = {\left| {d\left( {{x_s},\;{x_r}} \right)} \right|^\gamma }$$ (7) 式中,
${a_{sr}}\left( \cdot \right)$ 表示邻接像素对${x_s},\;{x_r}$ 的邻接矩阵权值;$\gamma \ge {\rm{1}}$ 为一个幂指数, 其作用是加强强相关邻接像素的联接强度, 惩罚弱相关邻接像素的联接强度, 其值越大, 这种作用越强. 因此, 由式(7)建立的邻接矩阵增强了强相关邻接像素的相似性, 有效保持了邻接像素共表达信息的连续性. 建立的图像局部区域${w_s}$ 的邻接强度度量向量${{\boldsymbol{A}}_{{w_s}}}({X_{{w_s}}})$ 表示如下:$$\begin{split}{{\boldsymbol{A}}_{{w_s}}}({X_{{w_s}}}) =\,& {\rm{\{ }}a({x_s},\;{x_1}) , \cdots ,\;a({x_s},\;{x_r}), \cdots ,\\ &a({x_s},\;{x_{\left| {{w_s}} \right| \times \left| {{w_s}} \right|}}){\rm{\} }}\end{split}$$ (8) 然后根据式(1)计算中心像素及其邻接像素的TOM. 令
$\left| {{w_s}} \right| = {3},$ 拓扑结构示意图如图2所示. 图2 (a)中, 中心像素${x_s}$ 与其上邻接像素${x_{\rm{up}}}$ 的共享邻域像素用灰色节点表示, 以此类推可知中心像素${x_s}$ 与其余邻接像素的共享邻域像素分别如图2 (b) ~ 图2 (d).
图 2$\left| {{w_s}} \right| = {\rm{3}}$ 时中心像素${x_s}$ 与其上、下、左、右邻接像素拓扑结构示意图Fig. 2 When$\left| {{w_s}} \right| = {\rm{3}}$ , the topological structure diagram of the center pixel and its upper, lower, left and right adjacent pixels根据式(1)点对拓扑重叠测度计算式, 可知邻接像素对的点对拓扑重叠测度
${t_{sr}}({x_s},\;{x_r})$ 为:$$\begin{split}{t_{sr}}\left( {{x_s},\;{x_r}} \right) = \frac{{\mathop \sum \limits_{u \ne s,r} {a_{su}}{a_{ur}} + {a_{sr}}}}{{\rm{min}}\left\{ {\mathop \sum \limits_{u \ne s} {{{a}}_{su}},\mathop \sum \limits_{u \ne r} {{{a}}_{su}}} \right\} + 1 - {a_{sr}}}, {\rm{ }}s \ne r\end{split}$$ (9) 式中,
${a_{sr}}$ 表示邻接像素对${x_s},\;{x_r}$ 间的联接强度, 定义为:$${a_{sr}} = {\left| {\exp \left\{ { - 2 \times\dfrac {{\left( {{{\left\| {{x_s} - {x_r}} \right\|}_{2}}} \right)}^{2}}{{\left( {\rho \mathop {\max }\limits_{r \in {{\cal{N}}_s}} {{\left\| {{x_s} - {x_r}} \right\|}_{2}}} \right)}^{2}}} \right\}} \right|^\gamma }$$ (10) 式中,
${\left\| {{x_s} - {x_r}} \right\|_{2}}$ 表示邻接像素对的欧氏距离;$\rho \le {0}{.2}$ 为归一化尺度参数;$\gamma \ge {1}$ 为邻接像素对幂邻接函数的相似性惩罚因子.由式(9)、式(10)可知, 如果邻接像素对
${x_s},\;{x_r}$ 分别与其共享邻接像素具有更多相似性, 那么邻接像素对${x_s},\;{x_r}$ 的点对拓扑重叠测度${t_{sr}}({x_s},\;{x_r})$ 的值更大. 也就是说, 对于两个邻接像素对${x_s},\;{x_r}$ 来说, 如果像素${x_s}$ 与其多个共享邻域节点具有较高相似性, 像素${x_r}$ 也与这几个共享邻域像素具有较高相似性, 那么根据像素相似性传递性质可知, 这两个邻接像素对${x_s},\;{x_r}$ 也具有较高相似性, 即点对拓扑重叠测度${t_{sr}}({x_s},\;{x_r})$ 具有更大的值, 反之亦然. 进一步可知, 如果像素${x_r}$ 是一个噪声节点, 那么像素${x_r}$ 与其共享邻域像素具有较低相似性, 而像素${x_s}$ 与其共享邻域像素相似性较高, 则邻接像素对${x_s},\;{x_r}$ 的点对拓扑重叠测度${t_{sr}}({x_s},\;{x_r})$ 具有较小的值. 由此可知, 这种基于多节点拓扑重叠测度相似性度量引入了局部区域像素的拓扑空间关系, 因而对于图像噪声、纹理突变的干扰具有鲁棒性.最终, 如图2所示, 令局部区域
${w_s}$ 的高阶拓扑空间先验${t_{{w_s}}}({x_s},\;{x_{{{\cal{N}}_s}}})$ 表示为:$$\begin{split} {t_{{w_s}}}\left( {{x_s},\;{x_{{{\cal{N}}_s}}}} \right) =\,& {t_{\rm{up}}}\left( {{x_s},\;{x_{\rm{up}}}} \right) + {t_{\rm{down}}}\left( {{x_s},\;{x_{\rm{down}}}} \right) + \\ &{t_{\rm{left}}}\left( {{x_s},\;{x_{\rm{left}}}} \right) + {t_{\rm{right}}}\left( {{x_s},\;{x_{\rm{right}}}} \right) \end{split} $$ (11) 式中,
${t_{\rm{up}}}\left( \cdot \right),\;{t_{\rm{down}}}\left( \cdot \right),\;{t_{\rm{left}}}\left( \cdot \right),\;{t_{\rm{right}}}\left( \cdot \right)$ 分别表示中心像素${x_s}$ 与其上、下、左、右邻域像素的TOM. 即局部区域${w_s}$ 的高阶拓扑空间先验${t_{{w_s}}}\left( {{x_s},\;{x_{{{\cal{N}}_s}}}} \right)$ 定义为中心像素${x_s}$ 与其邻域像素${x_{\rm{up}}},\;{x_{\rm{down}}},\;{x_{\rm{left}}},\;{x_{\rm{right}}}$ 的TOM之和.根据式(9) ~ 式(11), 提出基于MTOM的高阶MRF先验能量项定义如下:
$$\begin{split}&{E_h}\left( {{x_{{w_s}}}{\rm{|}}\varUpsilon } \right) = \\ &\qquad\sum\limits_{s \in S,r \in {N_s}} {\left[ {\frac{{\sum\limits_{u \ne s,r} {{a_{su}}a{ _{ru}} + {a_{sr}}} }}{{\min \left\{ {\sum\limits_{u \ne s} {{a_{su}},\sum\limits_{u \ne r} {{a_{ru}}} } } \right\} + 1 - {a_{sr}}}}} \right]} \end{split}$$ (12) 式中
$,{E_h}({x_{{w_s}}}{\rm{|}}\varUpsilon )$ 为局部区域ws的高阶拓扑结构先验能量;${a_{sr}}$ 表示中心像素${x_s}$ 与其邻接像素${x_r}$ 间的联接强度;$\varUpsilon = \left\{ {\rho ,\;\gamma } \right\}$ 表示高阶先验模型的参数集合, 其中$\rho ,\;\gamma$ 分别为归一化尺度参数和幂邻接函数的相似性惩罚因子.由式(12)可知, 基于MTOM的高阶MRF先验知识利用邻接像素的TOM描述了局部区域内邻接像素所共享的多像素之间相似度, 构建了多像素高阶空间拓扑关系, 并利用这个空间拓扑关系度量邻接像素的高阶拓扑相似性, 从而建立了具有高阶空间相关性的MRF先验知识表达模型, 更有效描述图像局部区域内蕴含的复杂拓扑空间结构特征等高阶先验知识, 并降低“强噪声”所带来的假相关, 因此MTOM-HMRF先验模型对图像噪声、纹理突变干扰具有鲁棒性.
算法1. 基于MTOM-HMRF先验模型的构造算法
输入. 观察图像
$X = \left\{ {{x_s}|{x_s} \in \varOmega ,s \in S} \right\}$ .输出. MTOM-HMRF高阶拓扑结构先验能量
${E_h}(X{\rm{|}}\varUpsilon )$ .1)参数初始化: 给定局部区域
${w_s}$ 、归一化尺度参数$\rho $ 、幂邻接参数$\gamma $ .2) For s = 1 to S, 计算邻接像素的MTOM.
a)根据式(5)计算局部区域
${w_s}$ 的中心像素${x_s}$ 与其邻域像素${x_r}$ 的欧氏距离${d}({x_s},\;{x_r})$ , 并由式(6)建立局部区域${w_s}$ 的欧氏距离度量向量${{\boldsymbol{D}}_{{w_s}}}({X_{{w_s}}})$ ;b)根据幂邻接函数式(7), 由式(8)建立局部区域
${w_s}$ 的邻接强度度量向量${{\boldsymbol{A}}_{{w_s}}}({X_{{w_s}}})$ ;c)根据式(9) MTOM计算式, 计算邻接像素
${x_s},\;{x_r}$ 的点对拓扑重叠测度${t_{sr}}({x_s},\;{x_r})$ ;d) 根据式(12), 计算局部区域
${w_s}$ 的高阶拓扑结构先验能量${E_h}({x_{{w_s}}}{\rm{|}}\varUpsilon )$ .3) 如果
$s = S$ , 得到观察图像$X$ 所有区域的高阶拓扑结构先验能量${E_h}(X{\rm{|}}\varUpsilon )$ , 算法结束; 否则返回步骤2)继续迭代.2.2 具有局部区域一致性的WGMM
特征场模型
$P(X|Y)$ 越逼近图像像素与其标签的真实分布, 越能反映图像似然特征. 但是基于常规GMM似然模型为了计算简便, 常假定邻接像素是独立同分布的, 这种假定忽略了图像局部区域空间相关性. 为有效描述像素与标签之间的似然特征, 提出基于局部区域一致性WGMM (Weighted GMM)似然特征模型. 该模型对任一像素点${x_s}$ , 定义其邻域像素点为${x_r}$ , 即${x_r}\;{\rm{ = \{ }}{x_r}{\rm{|}}r \in {{\cal N}_s}\} $ . 为描述局部区域内像素间的空间交互关系, 利用中心像素${x_s}$ 与其邻域像素${x_r}$ 的距离度量得到中心像素与邻域内其余像素的权重, 将构建的权重引入到GMM中, 得到局部区域一致性WGMM似然模型为:$$P\left( {X|Y,\;\theta } \right) = \mathop \prod \limits_{s = 1}^N \left[ {P( {{x_s}|{y_s},\;\theta } )\mathop \prod \limits_{r \in {{\cal{N}}_s}} P{{( {{x_r}|{y_r},\;\theta } )}^{\frac{{w\left( {{y_r}} \right)}}{{{w_r}}}}}} \right]$$ (13) 式中, GMM参数
$\theta = {\{ {\mu _l},\;\sigma _l^2\} _{l \in \varLambda }}$ , 分别为第$l$ 个GMM分布的均值和方差, 其中$\varLambda {\rm{ \;= \{ 0,\;1,\;}} \cdots , $ $ \;L\}$ ;$L$ 表示图像分割标签总数;${w_r} = \displaystyle\sum\nolimits_{r \in {{\cal{N}}_s}} {w\left( {{y_r}} \right)}$ 为归一化函数, 对于局部区域${w_s}$ 中所有像素, 当$w({y_r}) = 1$ 时,${w_r}$ 为区域内像素个数;$w({y_r})$ 是一个包含空间信息的权重函数, 其值的大小由中心像素${x_s}$ 与其邻域像素${x_r}$ 的相似性决定. 本文采用Hamming距离衡量邻接像素${x_s}$ 与${x_r}$ 之间的相似性, 定义权重函数$w({y_r})$ 为:$$\begin{split}w\left( {{y_r}} \right) =\,& \sum\limits_{s \in S} {\mathop \sum \limits_{r \in {{\cal{N}}_s}} \left\| {{x_s} - {x_r}} \right\|} = \\ &\sum\limits_{s \in S} {\mathop \sum \limits_{r \in {{\cal{N}}_s}} \left( {{x_s} + {x_r} - 2{x_s}{x_r}} \right)} \end{split}$$ (14) 式中, 邻接像素的相似性
$\left\| {{x_s} - {x_r}} \right\|$ 控制权重的大小, 即邻域像素对${x_s},\;{x_r}$ 之间距离越大, 相似度越低, 赋予像素权重越小.建立的局部区域一致性WGMM似然模型利用像素间的距离描述像素空间关系, 通过权重约束邻域内像素标签一致性, 其邻接像素Hamming距离越小, 权重
$w({y_r})$ 越小, 因此可以使同态区域的相邻像素倾向于取相同类标签值, 而非同态区域的邻接像素取不同类标签值. 因此, WGMM模型避免了对非同态区域的邻域像素局部特征的过平滑.2.3 基于区域的部分二阶Potts先验模型
常规Pairwise MRF模型的简单点对结构大大限制了MRF先验模型的表达能力, 使其无法表达区域和全局先验知识, 因此提出一种基于区域的部分二阶MRF模型, 以利用更大的局部区域包含更多的局部先验知识的能力, 同时不会显著增加模型的计算复杂度. 在局部区域
${w_s}$ 内, 假定局部区域${w_s}$ 的标签场${Y_{{w_s}}}$ 是一个MRF, 这个标签场的先验使用Potts模型描述. 根据Harmmersley-Clifford定理可知, 建立的基于区域的部分二阶Potts先验模型描述为:$$P\left( {{y_s}|{y_{{w_s}}},\beta } \right) = \frac{{\rm{exp}}\left\{ { - \beta \mathop \sum \limits_{s,r \in {{\cal{N}}_{{s}}}} \left[ {1 - \delta \left( {{y_{{s}}},{y_{{r}}}} \right)} \right]} \right\}} {Z\left( \beta \right)}$$ (15) 式中,
$Z(\beta )$ 是一个归一化常量;$\beta $ 为Potts模型先验参数, 控制局部区域分割结果的平滑度;$\delta ({y_s},\;{y_r})$ 为delta函数:$$\delta \left( {{y_s},\;{y_r}} \right) = \left\{ \begin{aligned} & {\begin{array}{*{20}{c}} 1,&{{y_s} \ne {y_r}} \end{array}} \\ & {\begin{array}{*{20}{c}} 0,&{{y_s} = {y_r}} \end{array}} \end{aligned} \right.$$ (16) 在局部区域
${w_s}$ 内, 所提出的模型中心标签${y_s}$ 与其邻接标签${y_r}$ 不相等时, 这个不一致惩罚值为$\beta \displaystyle\sum\nolimits_{s,r \in {{\cal{N}}_s}} {\left[ {1 - \delta \left( {{y_s},\;{y_r}} \right)} \right]}$ ; 仅当中心标签${y_s}$ 与其邻接标签${y_r}$ 全部相等时, 惩罚值为0.因此, 基于区域的部分二阶Potts先验能量模型如式(17)定义:
$$\begin{split} {E_s}\left( {{y_s},\;{y_{{w_s}}}} \right) = \,& \lg P\left( {{y_s}|{y_{{w_s}}}} \right)=\\ &\left\{ {\begin{array}{*{20}{c}} {\beta \mathop \sum \limits_{s,r \in {{\cal N}_s}} \left[ {1 - \delta \left( {{y_s},{y_r}} \right)} \right]},&{{y_s} \ne {y_r}}\\ 0,&{{y_s} = {y_r}} \end{array}} \right. \end{split}$$ (17) 由上式可知, 在局部区域
${w_s}$ 内, 当区域内较多像素点的类标签趋于一致时, 其惩罚值趋于0; 对于具有不同类标签的局部区域, 其不一致惩罚值随着标签取值不一致的个数增长而线性增长. 这种区域类别一致性约束不仅避免了局部区域内异质像素的统一惩罚值所带来的过平滑现象, 有效提升了图像分割结果的边缘效果, 而且对图像噪声、纹理信号的干扰具有鲁棒性.3. 基于多节点拓扑重叠测度高阶MRF模型的图像分割算法
基于MRF框架, 融合基于MTOM的高阶先验知识、局部区域一致性的WGMM似然特征和部分二阶Potts先验知识, 建立MTOM-HMRF图像分割能量模型如下式所示:
$${E_g}\left( {Y|X,\varTheta } \right) = {E_d}\left( {X|Y,\theta } \right) + {E_s}\left( {Y|\beta } \right) + {E_h}\left( {X\left| \varUpsilon \right.} \right)$$ (18) 式中,
$\varTheta = \left( {\theta ,\;\beta ,\;\varUpsilon } \right)$ .${E_d}\left( {X|Y,\;\theta } \right)$ 表示局部区域一致性WGMM似然能量,$\theta $ 为似然能量模型参数. 似然能量项${E_d}\left( {X|Y,\;\theta } \right)$ 利用WGMM似然特征分布, 有效保持了局部区域内像素与其标签的区域似然一致性.${E_s}\left( {Y|\beta } \right)$ 表示部分二阶Potts先验能量,$\beta $ 为Potts类型先验能量模型参数. 先验项${E_s}\left( {Y|\beta } \right)$ 根据局部区域内和中心标签值不一致数量成正比的线性惩罚建立局部区域先验的一致性平滑约束, 基于部分二阶Potts模型引入了更多的先验空间约束, 提高了分割过程的鲁棒性.${E_h}\left( {X\left| \varUpsilon \right.} \right)$ 表示基于MTOM的高阶拓扑结构先验能量,$\varUpsilon $ 为高阶拓扑结构先验能量模型参数集合. 高阶先验项${E_h}\left( {X\left| \varUpsilon \right.} \right)$ 利用邻接像素所共享的多像素之间的MTOM, 引入了图像局部区域拓扑结构相似性特征, 使得模型能够有效表达更高阶的空间信息, 进一步提高模型的鲁棒性与有效性, 提高图像分割精确度.根据MAP准则, 提出MTOM-HMRF模型最优估计标签场
${Y^{\rm{*}}}$ 为:$$\begin{split} {Y^ * } =\,& \arg \mathop {\min }\limits_Y {E_g}\left( {Y|X,\;\varTheta } \right) =\\ & \arg \mathop {\min }\limits_Y \left[ {{E_d}\left( {X|Y,\;\theta } \right) + {E_s}\left( {Y|\beta } \right) + {E_h}\left( {X\left| \varUpsilon \right.} \right)} \right] \end{split} $$ (19) 要求解最优估计标签值
${Y^{\rm{*}}}$ , 首先需要估计提出模型的参数. Potts模型先验参数$\beta $ 和高阶先验模型参数$\varUpsilon = \left\{ {\rho ,\;\gamma } \right\}$ 分别通过人工试错法估计; WGMM似然模型的参数$\left\{ {{\mu _l},\;\sigma _l^2} \right\}$ 通过期望最大化算法(Expectation-maximization algorithm, EM)求解, 具体过程参见文献[26]. 提出的MRF能量模型采用Gibbs采样算法进行迭代优化, 求出最优值${Y^{\rm{*}}}$ .算法2. 基于MTOM-HMRF图像分割算法
输入. 图像
${X = \left\{ {{x_s}|{x_s} \in \varOmega ,\;s \in S} \right\}}$ .输出. 最优标签场
${{Y^ * } = \left\{ {{y_s}|{y_s} \in \varLambda ,\;s \in S} \right\}}$ .1)参数初始化: 给定分类标签数
${ L}$ ; WGMM的均值和方差${ {\left\{ {{\mu _l},\;\sigma _l^2} \right\}_{l \in \varLambda }}}$ 随机初始化; 先验参数${\beta}$ 由实验给定;$\rho \;{ = 0}{.2};\gamma \;{= 4}$ ; Gibbs采样算法初始温度${{T^{(0)}} = 4.0}$ ;2)利用算法1计算图像
${X}$ 的MTOM先验;3)由EM算法估计WGMM的均值和方差
${{\left\{ {{\mu _l},\;\sigma _l^2} \right\}_{l \in \varLambda }}}$ ;4)根据式(15)建立MTOM-HMRF图像分割模型, 并按照MAP准则预分割图像
${Y' =\; \arg \max P(Y|X,\;{\mu _l},\;\sigma _l^2)}$ ;5) For s = 1 to S, 对于每一个像素
${x_s},$ 根据式(15)计算其所在局部区域${w_s}$ 分配标签的能量${{E_{{w_s}}}( {y_s}|{x_{{w_s}}},\;{\mu _l},\;\sigma _l^2},$ ${\rho ,\;\beta ,\;\gamma )}$ ;6) Gibbs采样: 在局部区域
${w_s}$ 中, 中心像素${y_s}$ 根据以下概率接受一个新的标号组态$\eta $ :$$\small P({y_s} = \eta ) = \frac{{\exp \{ - {E_{{w_s}}}({y_s} = \eta |{x_{{w_s}}},{\mu _l},\sigma _l^2,\rho ,\beta ,\gamma )\} }}{{\sum\limits_{\zeta \in {w_s}} {\exp \left\{ { - {E_{{w_s}}}({y_s} = \zeta |{x_{{w_s}}},{\mu _l},\sigma _l^2,\rho ,\beta ,\gamma )} \right\}} }}$$ 7)计算全局能量
${ E_g^{(n)}(Y) = \sum\nolimits_s {E_{{w_s}}^{(n)}\left( {{y_s}} \right)}}$ , 如果${|E_g^{(n)}(Y) }- $ $ { E_g^{(n - 1)}(Y)|\; \le \varepsilon}$ ($\varepsilon $ 是一个小的常量), 则${{Y^ * } =}$ ${ {Y^{(n)}},}$ 算法终止; 否则减小温度${T = 0.95{T^{(n)}}},$ 返回步骤5)继续迭代.4. 实验结果及分析
实验硬件环境为Intel(R) Core(TM) i7-8700 CPU @3.20 GHz处理器, 16 GB RAM, NVIDIA GeForce GTX 1060 6 GB显卡. 集成开发环境为Visual Studio 2015和OpenCV3.4计算机视觉开源库, 操作系统为Windows10. 分别对人工加噪声图像和自然图像进行分割实验, 通过与基于区域的Pairwise MRF分割模型[26]、基于Robust
${{\cal{P}}^n}$ 高阶分割模型[4]的分割效果进行对比, 验证提出模型的有效性.对于人工合成图像分割结果评价采用正确分类率(Correct classification ratio, CCR)参数作为量化评估指标, CCR定义如下:
$${\rm{CCR}}({S_{{{{\rm{gt}}}}}},{S_{{\rm{seg}}}}) = \sum\limits_{l = 1}^L {\frac{{{\rm{|}}{S_{{\rm{g}}{{{{\rm{t}}_l}}}}} \cap {S_{{{{\rm{se}}{{\rm{g}}}}_l}}}{\rm{|}}}}{{{\rm{|}}{S_{{\rm{gt}}}}{\rm{|}}}}} $$ (20) 式中,
${S_{{\rm{seg}}}}$ 表示算法分割结果,${S_{{\rm{gt}}}}$ 表示标准分割结果,${S_{{{\rm{se}}{{\rm{g}}}}_l}}$ 表示第l类算法分割结果,${S_{{\rm{gt}}_l}}$ 表示第l类算法标准分割结果,$|{S_{{\rm{gt}}}}| = {\rm{U}}_{l = 1}^L{S_{{\rm{g}}{{\rm{t}}_k}}}$ 为总像素数.${\rm{CCR}} \in $ $ [0,{\rm{ }}1]$ ,$\rm{CCR} $ 值越大, 表明分割结果越趋近于真实结果.对于自然图像分割结果常用概率随机索引(Probabilistic rand index, PRI)指标和正确分类率(CCR)指标衡量. PRI定义如下:
$$\begin{split}{\rm{PRI}}\left( {{S_{{\rm{seg}}}},{S_{{\rm{gt}}}}} \right) =\,& \frac{2}{{N\left( {N - 1} \right)}}\sum\limits_{\begin{array}{*{20}{c}} {s,\;r}\\ {s < r} \end{array}} [ {c_{sr}}{p_{sr}} +\\ &\left( {1 - {c_{sr}}} \right)\left( {1 - {p_{sr}}} \right) ]\end{split} $$ (21) 式中,
${c_{sr}} = 1$ 表示像素$s$ 和$r$ 属于同一类,${c_{sr}} = 0$ 表示像素$s$ 和$r$ 属于不同类别.${\rm{PRI}} \in \left[ {0,{\rm{ }}1} \right]$ ,$\rm{PRI} $ 值越大,${S_{{\rm{seg}}}}$ 和${S_{{\rm{gt}}}}$ 对比结果一致性越好, 即分割结果越好.提出模型的归一化尺度参数
$\rho \le{\rm{0}}{\rm{.2}}$ 衡量了不同尺度下邻接像素的相似度, 其值越小, 相同邻接像素相似度越小, 实验中令$\rho \;{ = 0}{.2}$ . 幂邻接参数$\gamma \ge {\rm{1}}$ , 其作用是加强强相关邻接像素联接强度, 抑制弱相关邻接像素联接强度, 其值越大, 这种作用越强. 但是过大的$\gamma $ 值易导致邻接像素空间先验信息的丢失, 实验中设定$\gamma = 4$ ; 邻域窗口大小设置为3 × 3像素块; 三个对比模型的GMM参数由EM算法估计; 不同图像的Potts先验参数$\beta $ 由大量实验人工选择对应分割结果最好的参数值. 参数$\beta $ 越大, 平滑项对图像局部区域分割结果的平滑作用越强, 反之越弱. 因此参数$\beta $ 选择原则是: 一般对于图像噪声较弱或图像纹理简单的图像,$\beta $ 取较小值, 反之取较大值. 实验图像分类数目$L$ 根据图像由人工指定. 为了更直接对比分割模型的有效性, 所有模型优化算法采用Gibbs采样算法, Gibbs采样算法初始温度${T^{(0)}}$ 设定为4.0, 退火率设为0.95.4.1 人工合成图像分割实验
人工合成图像T_image如图3所示, 大小为300 × 300像素, 灰度级为256, 分类数为4, 其各类均值分别为0、85、170、255. 为验证提出模型对噪声干扰的鲁棒性, 分别对人工合成图像T_image加不同强度的高斯白噪声和椒盐噪声进行分割实验, 实验结果对比如图4所示. 实验中加方差300、900的高斯白噪声合成图像, 加0.02、0.05、0.10的椒盐噪声合成图像的Potts模型. 先验参数
$\beta $ 分别设定为2.1、10.0、4.6、4.9、5.1, Robust${{\cal{P}}^n}$ 高阶分割模型截断参数Q和惩罚参数${\gamma _{\max }}$ 分别设定为3和2.5, 提出模型归一化尺度参数$\rho $ 和幂邻接参数$\gamma $ 分别设定为0.2和4, 不同加噪图像GMM参数由EM算法估计.
图 4 合成图像加高斯白噪声分割结果对比Fig. 4 Comparison of segmentation results of synthetic image with white Gaussian noise为验证提出方法的有效性, 分别对人工合成图像分割结果进行定性和定量分析.
1)定性分析. 由图4所示不同高斯白噪声合成图像的分割结果和局部细节, 可以看出对比模型中基于区域的Pairwise MRF模型分割结果最差. 主要是由于这种模型的简单点对结构难以描述复杂的图像空间相关性特征, 因而分割结果受高斯噪声干扰较大, 特别是在图像边缘有明显的毛刺和误分割时, 边缘分割结果较差. 基于Robust
${{\cal{P}}^n}$ MRF模型引入了图像局部区域类别不一致性惩罚, 提高了分割结果对噪声干扰的鲁棒性, 如图4中分割结果所示, 在图像平坦区域大大减少了由于噪声干扰所造成的“斑点”误分割. 但是对于方差为900的高斯白噪声人工合成图的分割仍存在少量的“斑点”误分割, 特别是在分割结果中的“圆形”边缘区域, 仍存在明显的误分割. 这是由于Robust${{\cal{P}}^n}$ MRF模型假定局部区域中所有位置上的先验权重相同, 因此造成较强噪声干扰时边缘分割结果往往不够精确. 不带MTOM项的提出模型仅仅考虑了局部区域低阶空间先验信息, 因此不能有效抑制强噪声信息干扰. 基于MTOM-HMRF模型的分割方法利用高阶拓扑结构引入了更丰富的图像空间高阶相关性特征, 这种高阶拓扑结构利用邻接像素的相似性描述了局部区域内的多像素复杂拓扑结构特征, 有效降低了图像强噪声的干扰, 对于方差为900的高斯白噪声人工合成图也得到了较理想的分割结果, 特别是在“圆形”边缘显著提高了分割精度.由图5所示不同椒盐噪声合成图像分割结果分析进一步证明了提出模型的有效性. 对比模型对椒盐噪声比较敏感, 尤其是随着椒盐噪声的增强, 对比模型对噪声颗粒产生了大量误分割. 提出模型对于加强度0.02、0.05的椒盐噪声人工合成图像的分割能够很好地去除椒盐噪声干扰, 得到较为理想的分割结果. 对于强度为0.10的椒盐噪声人工合成图像, 存在极少量“斑点”误分割, 整体分割效果明显优于对比模型.
图 5 合成图像加椒盐噪声分割结果对比Fig. 5 Comparison of segmentation results of synthetic image with salt and pepper noise由以上两个加不同类型噪声的人工合成图像分割实验表明, 与基于区域的Pairwise MRF模型的分割方法、基于Robust
${{\cal{P}}^n}$ MRF模型的分割方法相比, 提出模型能够描述更远距离多像素拓扑结构特征, 表达更加复杂的图像高阶先验知识及统计信息, 对不同类型噪声干扰鲁棒性更好, 在图像平坦区域获得了较平滑分割结果, 尤其是在图像分割的边缘区域得到了更好的效果.2)定量分析. 表1为基于上述4个模型对T_image人工合成图像加不同类型、不同强度噪声的人工合成图像分割结果的定量分析对比, 表中采用50次分割实验的平均CCR指标.
表 1 人工合成加噪图像在不同模型下的分割结果对比Table 1 Synthetic image segmentation results of different modelsImage Model Number of iterations Running time (s) CCR (均值 ± 标准差) 高斯白噪声方差 300 Pairwise MRF 46 12.496 0.9119 ± 0.0020 Robust ${{\cal{P}}^n}$ MRF 94 13.014 0.9483 ± 0.0019 不带 MTOM 项的提出模型 162 17.374 0.9793 ± 0.0012 提出模型 133 10.486 0.9977 ± 0.0002 高斯白噪声方差 900 Pairwise MRF 45 12.315 0.8854 ± 0.0039 Robust ${{\cal{P}}^n}$ MRF 83 11.588 0.9297 ± 0.0034 不带 MTOM 项的提出模型 149 11.853 0.9902 ± 0.0005 提出模型 120 9.521 0.9942 ± 0.0006 椒盐噪声 0.02 Pairwise MRF 44 11.917 0.8859 ± 0.0034 Robust ${{\cal{P}}^n}$ MRF 80 11.873 0.9386 ± 0.0019 不带 MTOM 项的提出模型 144 10.017 0.9883 ± 0.0004 提出模型 163 12.947 0.9978 ± 0.0001 椒盐噪声 0.05 Pairwise MRF 43 11.523 0.7463 ± 0.0025 Robust ${{\cal{P}}^n}$ MRF 77 11.955 0.9017 ± 0.0036 不带 MTOM 项的提出模型 94 8.925 0.9784 ± 0.0008 提出模型 160 12.605 0.9976 ± 0.0001 椒盐噪声 0.10 Pairwise MRF 41 10.997 0.5465 ± 0.0027 Robust ${{\cal{P}}^n}$ MRF 78 11.290 0.7915 ± 0.0047 不带 MTOM 项的提出模型 76 7.556 0.9440 ± 0.0012 提出模型 155 12.248 0.9962 ± 0.0003 由表1可知, 基于区域的Pairwise MRF模型[26]的CCR指标最低, 虽然这种算法利用局部区域内像素的点对交互引入了图像局部区域特征, 提升了图像分割效果, 但是局部区域能量项的引入增加了全局优化算法的迭代时间, 因此在对比算法中虽然迭代次数少, 但是其分割时间相对较长. 基于Robust
${{\cal{P}}^n}$ MRF模型在基于区域的Pairwise MRF模型[26]基础上, 引入一种基于局部区域类别一致性Robust${{\cal{P}}^n}$ 项, 有效提升了CCR指标, 但是高阶项的引入增加了算法的迭代次数和优化时间. MTOM-HMRF模型针对区域Pairwise MRF模型[26]引入MTOM, 提升了图像高阶先验的表达能力, 因此其CCR指标最高; 同时针对局部区域能量项的引入易造成边缘带现象, 去掉了局部区域能量项约束, 因此迭代次数虽然大大增加, 但是优化时间并没有显著增加. 在加高斯白噪声的分割结果中, 以噪声强度900为例, 在加入Robust${{\cal{P}}^n}$ 高阶项后, 模型迭代次数成倍增加, 迭代时间降低, 正确分类率CCR提高了4.43%. MTOM-HMRF模型迭代次数相较Robust${{\cal{P}}^n}$ MRF模型也显著增加, 但提出模型迭代时间更少, 正确分类率CCR在Robust${{\cal{P}}^n}$ 模型的基础上仍提高了6.45%. 同样, 在加椒盐噪声的分割结果中, 随着噪声强度增大, 对比模型正确分类率CCR显著降低, 而MTOM-HMRF模型表现稳健, 迭代时间略有增长. 因此提出模型对噪声有较好的抗干扰能力, 这是因为MTOM-HMRF模型有效描述了图像的高阶拓扑空间关系, 因而得到了更好的分割结果.综上所述, 在不同类型、不同噪声强度人工合成图像分割实验中, 通过不同模型实验结果的定性分析和定量分析对比表明, 提出模型不仅对图像噪声干扰有较强的鲁棒性, 而且在图像边缘区域获得了更好的分割精度, 因而提出模型具有更高的有效性和鲁棒性.
4.2 自然图像分割实验
为进一步验证提出模型的有效性和鲁棒性, 对自然图像进行分割对比实验. 实验用自然图像选自Berkley数据集BSDS500[29], 部分代表性的实验图像ID分别如图6所示. 待分割图像大小为481 × 321像素或321 × 481像素, 灰度值为256. 分割类别人工设定: 3 096、135 069、196 073、8 068、189 080、198 087、15 088分类数为2, 62 096、167 062、238 011、253 036、24 063、311 068分类数为3, 241 004、55 067分类数为4. 图6中从上至下不同MRF模型的先验平滑参数
$\beta $ 分别采用人工试错法选择最优值为1.5、1.5、3.2、15.1、4.8、1.2、2.5、2.1、7.5、2、9、5、4.5、10、14. Robust${{\cal{P}}^n}$ MRF模型局部区域设定为3 × 3像素块, 截断参数Q和惩罚参数${\gamma _{\max }}$ 分别设定为3和2.5. 提出模型局部区域设定为3 × 3像素块, 归一化尺度参数$\rho $ 和幂邻接参数$\gamma $ 分别设定为0.2和4. GMM参数由EM算法估计.分割实验对比结果如图6所示, 图6 (b)列为基于区域的Pairwise MRF模型[26]分割方法的分割结果, 图6 (c)列为基于Robust
${{\cal{P}}^n}$ MRF模型分割方法的分割结果, 图6 (d)列为基于提出模型分割方法的分割结果, 图6 (e)列为Ground Truth图.首先对自然图像分割结果进行定性分析. 从分割结果对比图中可以发现, 基于区域的Pairwise MRF模型分割结果较差, 这是由于Pairwise MRF模型的简单点对结构难以描述复杂的图像空间相关性特征, 因此对图像噪声和纹理特征干扰鲁棒性较弱, 如图“196 073”中丰富的“沙粒”特征, 图“167 062”、“238 011”中“树叶”和“树枝”纹理特征等对分割结果造成较大干扰, 出现较多“斑点”误分割区域. 与Pairwise MRF模型相比, 基于Robust
${{\cal{P}}^n}$ MRF模型的分割结果得到一定提升, 如图“196 073”的分割结果中, “沙粒”纹理干扰所造成的“斑点”误分割区域得到一定抑制. 但是由于Robust${{\cal{P}}^n}$ MRF模型假定局部区域中所有位置上的先验权重相同, 因此造成图像边缘、细节结构部分的分割结果不够精确, 如图“62 096”中“风帆”的“横式手把柄”没有得到较好的提取, 图“167 062”中“树林”与“坡地”之间的边界线出现了“边缘带”的现象等. 提出模型分割方法利用高阶拓扑结构引入更丰富的高阶空间相关性特征, 对于图像边缘、细节特征具有较好的分割结果, 如图“167 062”中“树林”与“坡地”之间的边界线, 图“62 096”中“风帆”的“横式手把柄”, 图“3 096”的“飞机”, 图“135 069”的“飞鸟”等得到了较准确分割; 同时对于图像纹理突变干扰具有较强鲁棒性, 如图“196 073”中的“沙粒”, 图“62 096”、“ 8 068”、“15 088”中的“水波”, 图“167 062”中的“雪地”, 图“253 036”的“草地”, 图“311 068”的“草丛”等区域得到更平滑的分割结果. 因此, 提出模型对复杂自然图像的强噪声和纹理突变干扰具有较强鲁棒性, 显著提高了图像分割精度, 特别是在图像分割边缘处具有更高的分割精度.然后进行定量分析, 对于自然图像分割结果评价常采用概率随机索引PRI和正确分类率CCR, PRI和CCR值越大, 分割精确度越高. 表2给出了对比图像在不同分割模型下所得到分割结果的PRI和CCR值. 由表2可知, 与对比分割模型相比, 提出模型的PRI和CCR值最高, 即提出模型的分割精度优于所有对比模型. 表2也给出了三种模型在BSDS500数据集的分割结果评价, 与基于区域的Pairwise MRF模型[26]、Robust
${{\cal{P}}^n}$ MRF分割模型[4]相比, 提出模型分割结果的平均PRI指标分别提高了9.30%、8.32%, 平均CCR指标分别提高了9.74%、8.68%. 图7、图8给出了三种模型在BSDS500数据集分割指标PRI、CCR的分布情况, 从图中可以看出, 提出模型的整体性能优于对比模型.表 2 自然图像在不同方法下的评价指标比较Table 2 Comparison of evaluation indexes of natural image on different modelsImage Evaluation index Pairwise MRF (均值 ± 标准差) Robust ${{\cal{P}}^n}$ MRF (均值 ± 标准差) MTOM-HMRF (均值 ± 标准差) 3 096 PRI 0.9159 ± 0.0008 0.9398 ± 0.0024 0.9456 ± 0.0004 CCR 0.9283 ± 0.0005 0.9431 ± 0.0003 0.9820 ± 0.0007 135 069 PRI 0.9635 ± 0.0003 0.9640 ± 0.0002 0.9652 ± 0.0004 CCR 0.9646 ± 0.0002 0.9649 ± 0.0001 0.9943 ± 0.0000 196 073 PRI 0.8598 ± 0.0019 0.8818 ± 0.0026 0.9522 ± 0.0005 CCR 0.9064 ± 0.0014 0.9186 ± 0.0016 0.9905 ± 0.0005 62 096 PRI 0.9331 ± 0.0006 0.9333 ± 0.0004 0.9451 ± 0.0006 CCR 0.8970 ± 0.0006 0.8978 ± 0.0006 0.9611 ± 0.0003 167 062 PRI 0.9529 ± 0.0009 0.9542 ± 0.0007 0.9705 ± 0.0001 CCR 0.9448 ± 0.0009 0.9464 ± 0.0007 0.9938 ± 0.0005 238 011 PRI 0.8631 ± 0.0001 0.8709 ± 0.0000 0.8711 ± 0.0001 CCR 0.8428 ± 0.0042 0.8429 ± 0.0000 0.9697 ± 0.0000 253 036 PRI 0.9571 ± 0.0004 0.9574 ± 0.0002 0.9600 ± 0.0005 CCR 0.9257 ± 0.0004 0.9286 ± 0.0008 0.9703 ± 0.0002 241 004 PRI 0.8758 ± 0.0002 0.8767 ± 0.0001 0.8801 ± 0.0005 CCR 0.8182 ± 0.0003 0.8212 ± 0.0003 0.9236 ± 0.0002 8 068 PRI 0.9093 ± 0.0006 0.9100 ± 0.0004 0.9182 ± 0.0007 CCR 0.9153 ± 0.0006 0.9154 ± 0.0005 0.9790 ± 0.0002 24 063 PRI 0.9043 ± 0.0003 0.9040 ± 0.0002 0.9076 ± 0.0035 CCR 0.8910 ± 0.0039 0.8906 ± 0.0003 0.9572 ± 0.0003 55 067 PRI 0.9205 ± 0.0002 0.9545 ± 0.0001 0.9552 ± 0.0002 CCR 0.8657 ± 0.0004 0.9072 ± 0.0002 0.9748 ± 0.0001 189 080 PRI 0.9009 ± 0.0002 0.9003 ± 0.0003 0.9066 ± 0.0014 CCR 0.9181 ± 0.0003 0.9174 ± 0.0002 0.9727 ± 0.0003 198 087 PRI 0.8200 ± 0.0004 0.8188 ± 0.0005 0.8249 ± 0.0009 CCR 0.8515 ± 0.0004 0.8493 ± 0.0003 0.9280 ± 0.0004 311 068 PRI 0.8688 ± 0.0017 0.6542 ± 0.0014 0.9265 ± 0.0016 CCR 0.8819 ± 0.0012 0.7264 ± 0.0013 0.9743 ± 0.0004 15 088 PRI 0.8944 ± 0.0007 0.8948 ± 0.0007 0.9170 ± 0.0015 CCR 0.9095 ± 0.0006 0.9096 ± 0.0006 0.9676 ± 0.0005 BSDS500数据集 PRI 0.6864 0.6962 0.7794 CCR 0.6478 0.6584 0.7452 进一步对基于不同模型的分割效率进行对比, 由表3可以看出, 与基于区域的Pairwise MRF模型[26]、Robust
${{\cal{P}}^n}$ MRF分割模型[4]相比, 为避免较大的局部区域能量最小化造成部分边缘出现边缘带现象, 提出模型的似然能量项采用了较小的4邻域结构, 因此提出模型虽然具有较高迭代次数, 但是运行时间和对比模型相比并没有显著增加. 综上所述, 提出模型能更好保持图像细节信息, 且具有更高的分割精度, 对复杂自然图像强噪声和纹理突变干扰具有更强的鲁棒性.表 3 自然图像在不同方法下的效率比较Table 3 Comparison of the efficiency of natural image on different modelsImage Pairwise MRF Robust ${{\cal{P}}^n}$ MRF MTOM-HMRF Number of iterations Running time (s) Number of iterations Running time (s) Number of iterations Running time (s) 3 096 44 13.356 84 26.084 112 9.578 135 069 33 10.192 60 18.440 140 12.045 196 073 47 14.184 87 26.472 134 11.559 62 096 44 17.130 83 33.516 139 15.443 167 062 40 15.558 88 33.239 109 12.082 238 011 9 3.466 74 22.964 101 11.919 253 036 42 16.144 74 29.421 171 19.248 241 004 46 21.275 80 32.993 197 25.981 8 068 43 13.405 89 27.509 154 19.192 24 063 73 29.401 74 29.421 197 32.271 55 067 38 19.117 34 17.517 146 31.874 189 080 38 12.476 72 22.266 189 23.924 198 087 41 12.927 79 25.239 177 23.081 311 068 44 18.138 88 36.111 153 26.101 15 088 42 12.881 87 27.319 116 15.346 5. 结论
本文提出一种基于多节点拓扑重叠测度高阶MRF模型的图像分割方法. 提出模型利用多节点拓扑重叠测度建立了图像的高阶MRF先验模型, 有效描述了图像局部区域内多节点间的拓扑结构信息, 提高了MRF先验模型对复杂自然图像的先验知识表达能力. 同时, 建立了一种基于局部区域的部分二阶Potts先验模型, 利用较大的局部区域引入更多的标签节点信息, 建立了基于局部区域不一致性惩罚的局部标签一致性约束. 然后, 利用邻接像素的Hamming距离引入图像局部空间相关性, 提出具有局部区域一致性的WGMM, 有效描述了观察图像场与标签场之间复杂的似然特征分布. 最后, 在MRF框架下, 提出了基于多节点拓扑重叠测度高阶MRF模型(MTOM-HMRF)的图像分割方法, 并利用Gibbs采样算法实现了模型优化. 大量实验结果表明, 提出模型不仅能有效抑制图像强噪声和纹理突变干扰, 鲁棒性更好, 而且具有更准确的图像分割边缘.
-
图 2
$\left| {{w_s}} \right| = {\rm{3}}$ 时中心像素${x_s}$ 与其上、下、左、右邻接像素拓扑结构示意图Fig. 2 When
$\left| {{w_s}} \right| = {\rm{3}}$ , the topological structure diagram of the center pixel and its upper, lower, left and right adjacent pixels
图 4 合成图像加高斯白噪声分割结果对比
Fig. 4 Comparison of segmentation results of synthetic image with white Gaussian noise
图 5 合成图像加椒盐噪声分割结果对比
Fig. 5 Comparison of segmentation results of synthetic image with salt and pepper noise
表 1 人工合成加噪图像在不同模型下的分割结果对比
Table 1 Synthetic image segmentation results of different models
Image Model Number of iterations Running time (s) CCR (均值 ± 标准差) 高斯白噪声方差 300 Pairwise MRF 46 12.496 0.9119 ± 0.0020 Robust ${{\cal{P}}^n}$ MRF 94 13.014 0.9483 ± 0.0019 不带 MTOM 项的提出模型 162 17.374 0.9793 ± 0.0012 提出模型 133 10.486 0.9977 ± 0.0002 高斯白噪声方差 900 Pairwise MRF 45 12.315 0.8854 ± 0.0039 Robust ${{\cal{P}}^n}$ MRF 83 11.588 0.9297 ± 0.0034 不带 MTOM 项的提出模型 149 11.853 0.9902 ± 0.0005 提出模型 120 9.521 0.9942 ± 0.0006 椒盐噪声 0.02 Pairwise MRF 44 11.917 0.8859 ± 0.0034 Robust ${{\cal{P}}^n}$ MRF 80 11.873 0.9386 ± 0.0019 不带 MTOM 项的提出模型 144 10.017 0.9883 ± 0.0004 提出模型 163 12.947 0.9978 ± 0.0001 椒盐噪声 0.05 Pairwise MRF 43 11.523 0.7463 ± 0.0025 Robust ${{\cal{P}}^n}$ MRF 77 11.955 0.9017 ± 0.0036 不带 MTOM 项的提出模型 94 8.925 0.9784 ± 0.0008 提出模型 160 12.605 0.9976 ± 0.0001 椒盐噪声 0.10 Pairwise MRF 41 10.997 0.5465 ± 0.0027 Robust ${{\cal{P}}^n}$ MRF 78 11.290 0.7915 ± 0.0047 不带 MTOM 项的提出模型 76 7.556 0.9440 ± 0.0012 提出模型 155 12.248 0.9962 ± 0.0003 
下载: 导出CSV
表 2 自然图像在不同方法下的评价指标比较
Table 2 Comparison of evaluation indexes of natural image on different models
Image Evaluation index Pairwise MRF (均值 ± 标准差) Robust ${{\cal{P}}^n}$ MRF (均值 ± 标准差) MTOM-HMRF (均值 ± 标准差) 3 096 PRI 0.9159 ± 0.0008 0.9398 ± 0.0024 0.9456 ± 0.0004 CCR 0.9283 ± 0.0005 0.9431 ± 0.0003 0.9820 ± 0.0007 135 069 PRI 0.9635 ± 0.0003 0.9640 ± 0.0002 0.9652 ± 0.0004 CCR 0.9646 ± 0.0002 0.9649 ± 0.0001 0.9943 ± 0.0000 196 073 PRI 0.8598 ± 0.0019 0.8818 ± 0.0026 0.9522 ± 0.0005 CCR 0.9064 ± 0.0014 0.9186 ± 0.0016 0.9905 ± 0.0005 62 096 PRI 0.9331 ± 0.0006 0.9333 ± 0.0004 0.9451 ± 0.0006 CCR 0.8970 ± 0.0006 0.8978 ± 0.0006 0.9611 ± 0.0003 167 062 PRI 0.9529 ± 0.0009 0.9542 ± 0.0007 0.9705 ± 0.0001 CCR 0.9448 ± 0.0009 0.9464 ± 0.0007 0.9938 ± 0.0005 238 011 PRI 0.8631 ± 0.0001 0.8709 ± 0.0000 0.8711 ± 0.0001 CCR 0.8428 ± 0.0042 0.8429 ± 0.0000 0.9697 ± 0.0000 253 036 PRI 0.9571 ± 0.0004 0.9574 ± 0.0002 0.9600 ± 0.0005 CCR 0.9257 ± 0.0004 0.9286 ± 0.0008 0.9703 ± 0.0002 241 004 PRI 0.8758 ± 0.0002 0.8767 ± 0.0001 0.8801 ± 0.0005 CCR 0.8182 ± 0.0003 0.8212 ± 0.0003 0.9236 ± 0.0002 8 068 PRI 0.9093 ± 0.0006 0.9100 ± 0.0004 0.9182 ± 0.0007 CCR 0.9153 ± 0.0006 0.9154 ± 0.0005 0.9790 ± 0.0002 24 063 PRI 0.9043 ± 0.0003 0.9040 ± 0.0002 0.9076 ± 0.0035 CCR 0.8910 ± 0.0039 0.8906 ± 0.0003 0.9572 ± 0.0003 55 067 PRI 0.9205 ± 0.0002 0.9545 ± 0.0001 0.9552 ± 0.0002 CCR 0.8657 ± 0.0004 0.9072 ± 0.0002 0.9748 ± 0.0001 189 080 PRI 0.9009 ± 0.0002 0.9003 ± 0.0003 0.9066 ± 0.0014 CCR 0.9181 ± 0.0003 0.9174 ± 0.0002 0.9727 ± 0.0003 198 087 PRI 0.8200 ± 0.0004 0.8188 ± 0.0005 0.8249 ± 0.0009 CCR 0.8515 ± 0.0004 0.8493 ± 0.0003 0.9280 ± 0.0004 311 068 PRI 0.8688 ± 0.0017 0.6542 ± 0.0014 0.9265 ± 0.0016 CCR 0.8819 ± 0.0012 0.7264 ± 0.0013 0.9743 ± 0.0004 15 088 PRI 0.8944 ± 0.0007 0.8948 ± 0.0007 0.9170 ± 0.0015 CCR 0.9095 ± 0.0006 0.9096 ± 0.0006 0.9676 ± 0.0005 BSDS500数据集 PRI 0.6864 0.6962 0.7794 CCR 0.6478 0.6584 0.7452
下载: 导出CSV
表 3 自然图像在不同方法下的效率比较
Table 3 Comparison of the efficiency of natural image on different models
Image Pairwise MRF Robust ${{\cal{P}}^n}$ MRF MTOM-HMRF Number of iterations Running time (s) Number of iterations Running time (s) Number of iterations Running time (s) 3 096 44 13.356 84 26.084 112 9.578 135 069 33 10.192 60 18.440 140 12.045 196 073 47 14.184 87 26.472 134 11.559 62 096 44 17.130 83 33.516 139 15.443 167 062 40 15.558 88 33.239 109 12.082 238 011 9 3.466 74 22.964 101 11.919 253 036 42 16.144 74 29.421 171 19.248 241 004 46 21.275 80 32.993 197 25.981 8 068 43 13.405 89 27.509 154 19.192 24 063 73 29.401 74 29.421 197 32.271 55 067 38 19.117 34 17.517 146 31.874 189 080 38 12.476 72 22.266 189 23.924 198 087 41 12.927 79 25.239 177 23.081 311 068 44 18.138 88 36.111 153 26.101 15 088 42 12.881 87 27.319 116 15.346
下载: 导出CSV
-
[1] 余淼, 胡占义. 高阶马尔科夫随机场及其在场景理解中的应用. 自动化学报, 2015, 41(7): 1213--1234.Yu M, Hu Z Y. Higher-order Markov Random Fields and Their Applications in Scene Understanding. Acta Automatica Sinica, 2015, 41(7): 1213--1234). [2] Kohli P, Kumar M P, Torr P H S. P3 & beyond: move making algorithms for solving higher order functions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(9): 1645--1656. doi: 10.1109/TPAMI.2008.217 [3] Kohli P, Kumar M P, Torr P H S. P3 & Beyond: Solving energies with higher order cliques. In: Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2007). Minneapolis, MN, USA : IEEE, 2007. 1−8 [4] Kohli P, Ladickµy L, Torr P H S. Robust higher order potentials for enforcing label consistency. In: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2008). Anchorage, AK, USA: IEEE, 2008. 1−8 [5] 夏平, 施宇, 雷帮军, 龚国强, 胡蓉, 师冬霞.复小波域混合概率图模型的超声医学图像分割.自动化学报, 2021, 47(1): 185-196 doi: 10.16383/j.aas.c180132Xia Ping, Shi Yu, Lei Bang-Jun, Gong Guo-Qiang, Hu Rong, Shi Dong-Xia. Ultrasound medical image segmentation based on hybrid probabilistic graphical model in complex-wavelet domain. Acta Automatica Sinica, 2021, 47(1): 185-196 doi: 10.16383/j.aas.c180132 [6] Li S, Ishfaq A, Alexander J A. Superpixel-enhanced pairwise conditional random field for semantic segmentation. In: Proceedings of the 25th IEEE International Conference on Image Processing (ICIP). Athens, Greece: IEEE, 2018. 271−275 [7] 宋艳涛, 纪则轩, 孙权森. 基于图像片马尔科夫随机场的脑MR图像分割算法. 自动化学报, 2014(8): 1754--1763.Song Y T, Ji Z X, Sun Q S, Brain MR Image Segmentation Algorithm Based on Markov Random Field with Image Patch. Acta Automatica Sinica, 2014(8): 1754--1763. [8] Kim S, Chang D Y, Nowozin S, Kohli P. Image Segmentation Using Higher-Order Correlation Clustering. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(9): 1761--1774. [9] Ji Z X, Huang Y B, Sun Q S, Guo C. A spatially constrained generative asymmetric Gaussian mixture model for image segmentation. Journal of Visual Communication and Image Representation, 2016, 40(PB): 611--626. [10] Zhang H, Wen T, Zheng Y H, Xu D H. Two Fast and Robust Modified Gaussian Mixture Models Incorporating Local Spatial Information for Image Segmentation. Journal of Signal Processing Systems, 2015, 81(1): 45--58. doi: 10.1007/s11265-014-0898-8 [11] Ji Z X, Huang Y B, Xia Y, Zheng Y H. A robust modified Gaussian mixture model with rough set for image segmentation. Neurocomputing. 2017, 266, 550--565. doi: 10.1016/j.neucom.2017.05.069 [12] Niu S, Chen Q, Sisternes L D, et al. Robust noise region-based active contour model via local similarity factor for image segmentation. Pattern Recognition, 2017, 61: 104--119. doi: 10.1016/j.patcog.2016.07.022 [13] Bi H, Tang H, Yang G. Accurate image segmentation using Gaussian mixture model with saliency map. Pattern Analysis and Applications, 2018, 21: 869--878. doi: 10.1007/s10044-017-0672-1 [14] 徐胜军, 孟月波, 刘光辉, 等. 用于图像分割的局部区域一致性流形约束MRF模型. 控制与决策, 2019, 34(5): 997--1003.Xu S J, Meng Y B, Liu G H, et al. Local region consistency manifold constrained MRF model for image segmentation. Control and Decision, 2019, 34(5): 997--1003. [15] 冯宝, 陈业航, 刘壮盛, 等. 结合MRF 能量和模糊速度的乳腺癌图像分割方法. 自动化学报, DOI: 10.16383/j.aas.c180759.Feng B, Chen Y H, Liu Z S, et al. Segmentation of Breast Cancer on DCE-MRI Images with MRF Energy and Fuzzy Speed Function. Acta Automatica Sinica, DOI: 10.16383/j.aas.c180759. [16] Shao Y, Sang N, Gao C, Li M. Spatial and Class Structure Regularized Sparse Representation Graph for Semi-Supervised Hyperspectral Image Classification. Pattern Recognition, 2018, 81: 81--94. doi: 10.1016/j.patcog.2018.03.027 [17] Dornaika F, Weng L. Sparse graphs with smoothness constraints: Application to dimensionality reduction and semi-supervised classification, Pattern Recognition, 2019, 95: 285--295. doi: 10.1016/j.patcog.2019.06.015 [18] Ravasz E, Somera A, Mongru D, et al. Hierarchical organization of modularity in metabolic networks. Science, 2002, 297(5586): 1551--1555. doi: 10.1126/science.1073374 [19] Yip A M, Horvath S. Gene network interconnectedness and the generalized topological overlap measure. BMC Bioinformatics, 2007, 8(1): 22. doi: 10.1186/1471-2105-8-22 [20] Li A. Generalizations of the Topological Overlap Measure for Neighborhood Analysis and Module Detection in Gene and Protein Networks [Ph. D. dissertation], University of California, USA, 2008 [21] Steuer R, Kurths J, Daub CO, et al. Themutual information: Detecting and evaluating dependencies between variables. Bioinformatics, 2002, 18(Suppl 2): S231--S240. doi: 10.1093/bioinformatics/18.suppl_2.S231 [22] Shi X, Wang X, Shajahan A. BMRF-MI: integrative identification of protein interaction network by modeling the gene dependency. BMC Genomics, 2015, 16 (7 Supplement): S10. [23] Lin S, Peter L, Steve H. Comparison of co-expression measures: mutual information, correlation, and model based indices. BMC Bioinformatics, 2012, 13: 328. doi: 10.1186/1471-2105-13-328 [24] Langfelder P, Horvath S: WGCNA: an R package for weighted correlation network analysis. BMC Bioinformatics, 2008, 9: 559. doi: 10.1186/1471-2105-9-559 [25] André V, Eivind A, Assessment of weighted topological overlap (wTO) to improve fidelity of gene co-expression networks. BMC Bioinformatics, 2019: 20: 58. doi: 10.1186/s12859-019-2596-9 [26] 徐胜军, 韩九强, 赵亮, 刘欣. 用于图像分割的局部区域能量最小化算法. 西安交通大学学报, 2011, 45(8): 7--12.Xu S J, Han J Q, Zhao L, Liu X. Algorithm of Minimizing Local Region Energy for Image Segmentation. Journal of Xi’an Jiao Tong University, 2011, 45(8): 7--12. [27] Shi J, Malik J. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888--905. doi: 10.1109/34.868688 [28] Streib K, Davis J W. Using Ripley＇ s K-function to improve graph-based clustering techniques. In: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2011). Providence, RI, USA: IEEE, 2011. 2305−2312 [29] Arbeláez P, Maire M, Fowlkes C. Contour detection and hierarchical image segmentation. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(5): 898--916. 期刊类型引用(0)
其他类型引用(2)
-
下载:
.jpg)
计量
- 文章访问数: 544
- HTML全文浏览量: 165
- PDF下载量: 150
- 被引次数: 2
