Automatic Liver Segmentation From CT Volumes Based on Level Set and Shape Descriptor
-
摘要: 肝脏分割是计算机辅助肝脏疾病诊断的重要前提和基础.本文提出了一种新的基于水平集和形状描述符的腹部CT序列图像肝脏自动分割方法.首先, 对原始腹部CT序列图像进行预处理, 去除与肝脏不相关的器官和组织.然后, 利用灰度偏移场, 结合周长项、距离正则项和相邻切片肝脏分割结果构建水平集能量函数, 实现CT序列肝脏自动分割.为避免分割误差累积, 提出一种基于形状描述符和瓶颈率的肝脏边缘优化方法, 在每张切片分割完毕后去除由于灰度重叠造成的过分割.通过对XHCSU14数据库和Sliver07数据库中腹部CT序列的肝脏分割实验, 以及与其他肝脏分割算法的比较, 表明了本文方法的有效性, 且分割精度高, 鲁棒性强.Abstract: Liver segmentation is an important prerequisite and basis for computer-assisted liver disease diagnosis. This paper proposes a novel method for automatic liver segmentation from CT volume based on level set and shape descriptor. First, irrelevant tissues and organs are removed from original CT volume. Then, intensity bias field together with perimeter term, distance regular term, and segmentation result of neighbor slice is utilized to construct a level set energy function, through which initial liver segmentation results for the CT volume are generated automatically. To avoid segmentation error accumulation, a liver boundary refinement method based on shape descriptor and bottleneck rate is proposed for each initial segmented slice to remove over-segmentation regions caused by intensity overlap. The experiments on CT volumes from XHCSU14 and Sliver07 databases, as well as the comparison with other algorithms show that our method can segment livers effectively with high accuracy and robustness.
-
Key words:
- Liver segmentation /
- level set /
- shape descriptor /
- abdominal CT image
-
我国是肝脏疾病大国, 世界范围内约有一半以上的肝脏疾病新病例和因罹患肝脏疾病而死亡的案例发生在中国[1].目前主要的肝脏疾病治疗方法包括肝脏切除、活体肝移植和立体定向放疗等.计算机辅助诊断和手术规划是肝脏疾病治疗的重要环节.腹部CT (Computed Tomography, CT)图像肝脏的准确分割是计算机辅助诊断和手术规划的基础, 可为肝脏病灶分析、肝脏血管疾病诊断[2]、手术导航和放疗计划制定等提供技术支持.由于腹部CT序列图像切片数量大[3], 专家手动勾画肝脏区域耗时且存在主观性, 因此, 研究腹部CT序列图像肝脏的自动分割方法具有重大意义.
由于肝脏解剖结构的复杂性, 不同个体肝脏的多样性, 以及成像时受噪声、造影剂等影响, 腹部CT序列肝脏分割面临巨大挑战.目前, 许多文献提出了不同的腹部CT序列肝脏分割方法.文献[4]提出了一种基于图割和边缘行进的腹部CT图像肝脏分割方法.首先, 基于肝脏的先验知识建立肝脏的亮度模型和外观模型, 并利用图割算法分割肝脏初始切片, 然后, 综合肝脏的位置特征以迭代方式分割整个腹部CT序列, 并采用边缘行进法对欠分割的肝脏主血管进行补偿.由于成像过程中各种因素造成的灰度异质影响医学图像分割精度, 文献[5]提出一种融合灰度偏移场的水平集方法, 该方法可有效提高当图像存在灰度异质时的分割精度, 且抗噪性强.文献[6]首先对原始腹部CT图像进行非线性映射并设置肝脏感兴趣区域, 然后根据拟蒙特卡罗(Quasi-monte carlo)方法选取肝脏种子点, 基于图像的梯度信息构建区域生长准则, 实现肝脏粗分割, 最后, 应用数学形态学方法优化肝脏分割结果.文献[7]首先应用快速行进水平集获取肝脏的初始区域, 然后采用阈值水平集方法对肝脏区域进行精确分割.该方法在获取肝脏初始区域前需手动选取肝脏种子点, 不同的种子点选取方式会对分割结果造成一定的影响.针对因病态肝脏导致的欠分割和由于灰度相似性导致的过分割, 文献[8]提出了一种基于稀疏表示的肝脏形状模型.首先, 根据正常的标准肝脏数据建立肝脏字典, 然后基于标准肝脏数据的稀疏表示校正肝脏三维形状, 实现肝脏分割.该方法要求字典中的肝脏原子均为标准肝脏形状, 且所需原子数量越大分割结果越准确.文献[9]提出一种基于判别字典学习的腹部CT图像多器官分割方法, 该方法首先基于多器官训练图谱获得具有重构能力的字典及分类器, 根据目标体素的概率标签生成多器官的概率图谱, 然后将概率图谱融入图割能量函数, 实现肝脏等腹部器官的分割.该方法需要大量的数据建立训练图谱, 耗时较长, 对于形状异常的器官分割效果不理想.文献[10]综合深度监督机制与全卷积神经网络(Full convolution network, FCN), 提出了一种基于深度监督网络(Deeply supervised network, DSN)的肝脏分割方法.在训练过程中, 基于深度监督层对FCN第一次和第二次池化后的结果进行反卷积, 得到肝脏区域的概率预测, 并根据其预测误差和FCN预测误差训练DSN; 在测试过程中, 将待分割CT图像输入DSN, 利用全连接条件随机场对肝脏分割结果进行优化.基于神经网络的肝脏分割方法需要大量肝脏数据进行网络训练, 训练时间长, 分割结果易受训练数据质量的影响[11-12].
本文提出了一种新的基于水平集和形状描述符的腹部CT序列肝脏分割方法.首先, 对CT图像进行预处理; 然后, 引入灰度偏移场构建水平集能量函数, 在进行序列分割时, 将相邻切片肝脏分割结果作为位置约束; 最后, 基于形状描述符和瓶颈率优化肝脏边缘.预处理及位置约束可减小与肝脏不相关的脊椎、肋骨、肌肉、脾脏和胰腺等对肝脏分割的影响; 灰度偏移场可减少噪声和灰度异质对分割准确性和鲁棒性的影响; 边缘优化可去除因灰度重叠造成的肝脏过分割区域, 进一步提高分割精度.
1. 算法描述
首先通过预处理去除脊柱、肋骨和肌肉等组织, 然后选取肝脏初始切片, 利用灰度偏移场构建水平集能量函数, 基于梯度下降法最小化水平集能量函数, 获得初始切片肝脏粗分割结果, 最后, 以初始切片为起点, 利用相邻切片分割结果作为位置约束, 分别向上、向下对整个腹部CT序列进行迭代分割.对于非肝裂的切片, 保留水平集演化的最大连通域作为肝脏粗分割结果; 对于肝裂切片, 对水平集演化结果进行面积滤波以获得肝脏粗分割结果.考虑到灰度重叠会造成肝脏过分割, 为避免在整个序列迭代分割时造成分割误差累积, 在每次完成肝脏粗分割后优化肝脏边缘, 去除过分割区域.具体算法流程如图 1所示.
1.1 预处理
由于腹部CT图像复杂, 肋骨、脊柱和肌肉等不相关器官和组织会对肝脏分割精度产生影响[4].为提高分割的准确性, 本文首先基于腹部序列图像先验知识, 根据脊柱和肋骨的灰度和位置信息构建最小凸多边形掩模, 并结合形态学重构去除肋骨和脊椎.然后, 根据肝脏灰度的高斯分布选取阈值, 去除肌肉及其他灰度低于肝脏的组织和器官, 完成预处理.肝脏CT图像预处理结果如图 2所示, 其中第一行为原始腹部CT图像, 第二行为相应的预处理结果.
图 2 肝脏CT图像预处理.第一行:原始腹部CT图像; 第二行:预处理结果图像Fig. 2 Pre-processing for liver CT image. First row: Original CT images; Second row: Results of pre-processing1.2 基于水平集的肝脏粗分割
经预处理去除肋骨、脊椎以及与肝脏相邻且灰度略低于肝脏灰度的肌肉等器官和组织后, 首先对肝脏初始切片进行分割, 该切片为肝脏面积相对较大且与其他器官和组织尽可能分离的切片.
由于腹部CT图像普遍存在受噪声干扰严重且灰度不均匀现象, 它们对分割精度造成了一定的影响.本文引入一种灰度偏移场水平集方法[5], 初始切片的能量函数可构建为:
$$ \begin{equation} F(\phi , {{\pmb c}}, b) = \varepsilon (\phi , {{\pmb c}}, b)+\upsilon L(\phi )+\mu R_p (\phi ) \end{equation} $$ (1) 其中, $ L(\phi ) = \int {\left| {\nabla H(\phi )} \right|} {\rm d}{{\pmb x}} $, $ \phi $为水平集函数, $ H( \cdot ) $为Heaviside函数, $ L(\phi ) $为水平集函数的零水平集曲线长度, 即能量函数的周长项; $ R_p (\phi ) = \int {\frac{1}{2}\left( {\left| {\nabla \phi } \right|-1} \right)^2} {\rm d}{{\pmb x}} $为距离正则化项; $ \varepsilon \left( {\phi , {{\pmb c}}, b} \right) $为数据项, 其定义如下所述.
考虑到腹部CT图像中存在噪声且灰度分布不均, CT图像$ I\left( {{\pmb x}} \right) $可用衡量$ I\left( {{\pmb x}} \right) $灰度不均匀性的偏移场$ b\left( {{\pmb x}} \right) $与其真实的灰度$ J\left( {{\pmb x}} \right) $以及噪声$ n\left( {{\pmb x}} \right) $表示, 即$ I\left( {{\pmb x}} \right) = b\left( {{\pmb x}} \right)J\left( {{\pmb x}} \right)+n\left( {{\pmb x}} \right) $.由于偏移场$ b\left( {{\pmb x}} \right) $变化缓慢, 且图像被分为目标和背景两个独立的区域, 即$ \Omega _1 $和$ \Omega _2 $, 每个区域中的真实平均灰度可用常数$ {{\pmb c}} = \left( {c_1, c_2 } \right) $近似代替.设$ {{\pmb y}} $为CT图像的像素点, 以$ {{\pmb y}} $为圆心, 以$ \rho $为半径的区域为像素点$ {{\pmb y}} $的邻域, 即$ { O}_{{\pmb y}} = \left\{ {{{\pmb x}}:\left| {{{\pmb y}}-{{\pmb x}}} \right|\le \rho } \right\} $, 对于在该邻域中的像素点$ {{\pmb x}} $, 有$ J\left( {{\pmb x}} \right) = c_i \; (i = 1, 2) $, $ b\left( {{\pmb x}} \right) = b\left( {{\pmb y}} \right) $, 即在该圆形邻域中, CT图像$ I\left( {{\pmb x}} \right) $可近似为$ b\left( {{\pmb y}} \right)c_i \; (i = 1, 2) $.
根据聚类思想, 以$ b\left( {{\pmb y}} \right)c_i $为聚类中心, 定义局部灰度能量函数, $ \varepsilon _{{\pmb y}} = \sum_{i = 1}^2 {\int_{\Omega _i } {G\left( {{{\pmb y}}-{{\pmb x}}} \right)} } $ $ \left| {I\left( {{\pmb x}} \right)-b\left( {{\pmb y}} \right)c_i } \right|^2{\rm d}{{\pmb x}} $, 其中, $ G({{\pmb y}}-{{\pmb x}}) $为截断高斯函数, 当$ {{\pmb x}}\notin {O}_{{\pmb y}} $时, $ G({{\pmb y}}-{{\pmb x}}) = 0 $, 当$ {{\pmb x}}\in {O}_{{\pmb y}} $时, $ G\left( {\pmb{y} - \pmb{x}} \right) = \frac{1}{a}\exp ( - {\left| {\pmb{y} - \pmb{x}} \right|^2}{\rm{/}}2{\sigma ^2}) $, $ \sigma $为高斯函数方差, $ a $为归一化常数, 且$ \int {G\left( {{{\pmb y}-{\pmb x}}} \right)}dx = 1 $. $ \varepsilon _{{\pmb y}} $值越小, 说明在圆形邻域$ O_{{\pmb y}} $中, 分割效果越好.为了分割整幅图像, 需使图像$ \Omega $中所有$ {{\pmb y}} $对应的局部灰度能量函数$ \varepsilon _{{\pmb y}} $均达到最小, 即$ \int_\Omega {\varepsilon _{{\pmb y}} {\rm d}{{\pmb y}}} $达到最小.为解决该问题, 利用水平集函数进行能量泛函求解, 即利用零水平集的内外区域$ M_1 \left( {\phi \left( {{\pmb x}} \right)} \right) = H\left( \phi \right) $和$ M_2 \left( {\phi \left( {{\pmb x}} \right)} \right) = 1-H\left( \phi \right) $表示$ \Omega _1 $和$ \Omega _2 $.综上所述, $ \varepsilon \left( {\phi , {{\pmb c}}, b} \right) $可定义为:
$$ \begin{align} \varepsilon {{(\phi , \pmb{c}, b)}}: = \, &\int_{\Omega }\Bigg( \sum\limits_{i = 1}^{2}{\int{G}}(\pmb{y}-\pmb{x}) {{\left| I(\pmb{x})-b(\pmb{y}){{c}_{i}} \right|}^{2}}\\&{{M}_{i}}(\phi (\pmb{x}))d\pmb{x} \Bigg){\rm d}\pmb{y} \end{align} $$ (2) 应用梯度下降法, 通过迭代更新$ \phi $、$ {{\pmb c}} $和$ b $, 实现水平集能量函数$ F(\phi , {{\pmb c}}, b) $的最小化, 获得肝脏粗分割结果.具体算法流程为:
1) 以相邻切片分割结果为位置约束, 基于阈值分割和形态学腐蚀获得水平集初始轮廓; 初始化$ {{\pmb c}}_{ } $及偏移场$ b $.
2) 更新变量$ {{\pmb c}} = \left( {c_1 , c_2 } \right) $;
$$ \begin{equation} \hat {c}_i = \frac{\int {\left( {b\times G} \right)Iu_i {\rm d}{{\pmb y}}} }{\int {\left( {b^2\times G} \right)u_i {\rm d}{{\pmb y}}} } {\begin{array}{*{20}c} , \hfill & {i = 1, 2} \hfill \\ \end{array} } \end{equation} $$ (3) 其中, $ u_i = M_i \left( {\phi \left( {{\pmb y}} \right)} \right) $.
3) 根据梯度下降法求解水平集函数$ \phi $, 实现水平集能量函数最小化;
$$ \begin{align} \frac{\partial \phi }{\partial t} = \, &-\frac{\partial F} {\partial \phi } = \\ & -\Bigg( \delta \left( \phi \right) \left( {{e}_{1}}-{{e}_{2}} \right)+\upsilon \delta \left( \phi \right){\rm div}\left( \frac{\nabla \phi } {\left| \nabla \phi \right|} \right) + \\ & \mu {\rm div}\left( d\left( \left| \nabla \phi \right| \right)\nabla \phi \right) \Bigg) \end{align} $$ (4) 其中, $ {\rm{d}}\left( {\left| {\nabla \phi } \right|} \right) = \left| {\nabla \phi } \right| - 1{\rm{/}}\left| {\nabla \phi } \right| $, $ {e}_{i} = {I}^{2}\cdot \int G\left( \pmb{y}-\pmb{x} \right){\rm d}\pmb{y}-2{{c}_{i}}I\cdot \left( b\times G \right) + c_{i}^{2}\left( {b}^{2}\times G \right), \; i = 1, 2 $
4) 更新灰度偏移场$ b $:
$$ \begin{equation} \hat {b} = \frac{\left( {I\sum\limits_{i = 1}^2 {c_i u_i } } \right)\times G}{\sum\limits_{i = 1}^2 {c_i^2 u_i } \times G} \end{equation} $$ (5) 5) 判断水平集能量函数是否最小化或达到最大迭代次数.是, 输出第3)步水平集演化结果, 作为肝脏候选区域; 否, 返回第2)步.
考虑到初始切片水平集演化结果可能包含与肝脏灰度接近的其他组织或器官, 本文保留水平集演化得到的最大连通域作为初始切片的肝脏粗分割结果, 再进行边缘优化得到最终分割结果.
初始切片分割完毕后, 以初始切片为起点, 分别向上、向下迭代分割剩余CT序列切片.考虑到腹部CT序列图像中, 相邻切片肝脏位置及大小不会发生显著变化, 为避免肾脏等与肝脏灰度相似的器官和组织对肝脏分割精度的影响, 在水平集能量函数的数据项中引入相邻切片分割结果作为位置约束, 此时, 水平集能量函数可表示为:
$$ \begin{equation} \begin{cases} F(\phi , \pmb{c}, b) = {{\varepsilon }_{1}}(\phi , \pmb{c}, b)+vL(\phi )+\mu {{R}_{p}}(\phi ) \\ {{\varepsilon }_{1}} = \int_{\Omega }\Bigg( {{f}_{{{l}_{j}}}}(\pmb{y})\Bigg( \sum\limits_{i = 1}^{2}{\int{G}}(\pmb{y}-\pmb{x})\cdot \\\qquad {{\left| I(\pmb{x})-b(\pmb{y}){{c}_{i}} \right|}^{2}}{{M}_{i}}(\phi (\pmb{x})){\rm d}\pmb{x} \Bigg) \Bigg){\rm d}\pmb{y} \end{cases} \end{equation} $$ (6) $$ \begin{equation} {{f}_{l_j}}(\pmb{y}) = \left\{ \begin{array}{*{35}{l}} 1, & \text{if }{{I}_{j-1}}(\pmb{y}) = 1, \text{ or }{{I}_{j+1}}(\pmb{y}) = 1 \\ 0, & \text{if }{{I}_{j-1}}(\pmb{y}) = 0, \text{ or }{{I}_{j+1}}(\pmb{y}) = 0 \\ \end{array} \right. \end{equation} $$ (7) 其中, $ f_{l_j } $为第$ j $幅腹部CT图像肝脏分割位置约束, $ I_{j-1} $和$ I_{j+1} $为相邻切片肝脏分割结果.
针对腹部CT序列中的非肝裂图像, 保留水平集演化所得的最大连通域作为肝脏粗分割结果; 对于腹部CT序列中的肝裂图像, 对水平集演化结果进行面积滤波, 保留面积大于200像素的区域作为肝脏粗分割结果.
由于腹部CT图像普遍存在噪声干扰, 肝脏血管及病变组织会导致肝脏灰度分布不均, 对肝脏分割精度造成一定的影响.本文采用偏移场估计模型, 可有效克服图像噪声和灰度分布不均现象, 如图 3所示.其中, 图 3(a)为随机选取的两幅腹部CT图像, 图 3(b)为以相邻切片肝脏分割结果作为位置约束获得的肝脏候选区域, 图 3(c)为偏移场, 图 3(d)为经偏移场校正后的图像.可以看出, 经偏移场校正后, 可有效减少由于病变肝脏和血管组织导致的灰度分布不均造成的影响.
图 3 基于偏移场的灰度校正. (a)预处理后的腹部CT图像; (b)位置约束掩模中的肝脏切片; (c)偏移场; (d)偏移场校正后的切片图像Fig. 3 Bias field based intensity correction. (a) Pre-processed abdominal CT images; (b) Liver slices within masks generated by location constraints; (c) Bias fields; (d) Liver slices corrected by bias fields图 4为基于水平集的肝脏粗分割过程, 其中图 4(a)为预处理后的CT图像, 图 4(b)和图 4(c)中的白色闭合轮廓分别为水平集演化初始轮廓及肝脏粗分割结果.从图 4(c)可以看出, 若肝脏与相邻器官或组织存在灰度重叠, 会导致肝脏边界泄露, 造成过分割.为避免在迭代分割时分割误差的累积, 在获得每张切片肝脏粗分割结果后需要对肝脏边缘进行优化以去除过分割.
图 4 基于水平集的肝脏粗分割. (a)预处理后的腹部CT原始图像; (b)水平集演化初始轮廓(白色曲线); (c)肝脏粗分割结果(白色曲线)Fig. 4 Initial liver segmentation based on level set. (a) Preprocessed CT image; (b) Initial contour of level set evolution (white curve); (c) Initial segmentation result (white curve)1.3 基于形状描述符和瓶颈率的边缘优化
为解决由于肝脏边界泄露造成的过分割问题, 本文提出一种基于形状描述符[13]和瓶颈率的肝脏边缘优化方法.
首先, 提取肝脏分割结果的边缘并进行多边形近似[4], 得到肝脏边缘特征点集$ P = \{ p_1 , p_2 , \cdots , $ $ p_k \} $; 然后, 以特征点$ p_i \; (i = 1, 2, \cdots , k) $为圆心, 以$ r $为半径画圆$ o_i $, 根据圆$ o_i $构建局部形状描述符$ S_1 \left( {p_i } \right) $和$ S_2 \left( {p_i } \right) $:
$$ \begin{equation} S_1 \left( {p_i } \right) = \frac{\int_{o_i \cap liver} {s\left( {p_i , x} \right){\rm d}x} }{\int_{o_i } {s\left( {p_i , x} \right){\rm d}x} } \end{equation} $$ (8) $$ \begin{equation} S_2 \left( {p_i } \right) = \frac{\int_{o_i \cap \overline {liver} } {s\left( {p_i , x} \right){\rm d}x} } {\int_{o_i \cap liver} {s\left( {p_i , x} \right){\rm d}x} } \end{equation} $$ (9) 其中, $ \int_{o_i } {s\left( {p_i , x} \right){\rm d}x} $表示圆$ o_i $的面积, $ \int_{o_i \cap liver} {s\left( {p_i , x} \right)} {\rm d}x $表示圆$ o_i $与肝区相交部分面积, $ \int_{o_i \cap \overline {liver} } {s\left( {p_i , x} \right)} {\rm d}x $表示圆$ o_i $与非肝区相交部分面积.形状描述符示意图如图 5所示.根据肝脏分割结果过分割的形状特征, 若$ S_1 \left( {p_i } \right) $小于阈值$ T_{S1} $且$ S_2 \left( {p_i } \right) $大于阈值$ T_{S2} $, 则保留点$ p_i $作为过分割候选关键点, 得到过分割候选关键点集$ p_j (j = 1, 2, \cdots , n) $, 如图 5中黑色及灰色点所示.实验中, 取$ T_{S1} = 0.7 $, $ T_{S2} = 0.35 $.
考虑到候选关键点集$p_j ~(j=1, 2, \cdots , n)$中的点并非全为过分割关键点, 如图 6(a)中白色点所示.为了筛选出正确的过分割关键点对, 本文计算欧氏距离小于40的任意两个候选关键点的瓶颈率$r\left( {p_u , p_v } \right)$[4].根据过分割的几何特征, 若$r\left( {p_u , p_v } \right)$小于阈值$T_r $, 则$\left( {p_u , p_v } \right)$为一对过分割关键点对, 以直线将其连接, 去除过分割.
$$ \begin{equation} \label{eq10} r\left( {p_u , p_v } \right)=\frac{{\rm dis}\left( {p_u , p_v } \right)}{\min \left\{ {{\rm length}\left( {p_u , p_v } \right), {\rm length}\left( {p_v , p_u } \right)} \right\}} \end{equation} $$ (10) 
图 6 肝脏边缘优化. (a)过分割候选关键点(白色点); (b)过分割关键点对(白色点); (c)边缘优化结果Fig. 6 Liver boundary refinement. (a) Candidate points of over-segmented region (white points); (b) Right key points of over-segmented region (white points); (c) The refined liver boundary其中, ${\rm dis}\left( {p_u , p_v } \right)$为点$p_u $和$p_v$的欧氏距离; $\min$ $\left\{ \operatorname{length}\left( {{p}_{u}}, {{p}_{v}} \right), {\rm length}\left( {{p}_{v}}, {{p}_{u}} \right) \right\}$为$p_u $和$p_v$的最短路径距离.实验中, 通过多次尝试归纳, 选取$T_r =0.6$.图 6(b)中白色点表示关键点对, 图 6(c)为去除过分割完成边缘优化后的结果.图 7为随机选取的三张肝脏CT切片粗分割结果及其边缘优化结果.
图 7 基于形状描述符和瓶颈率的边缘优化.第一行:肝脏粗分割结果; 第二行:肝脏边缘优化结果Fig. 7 Examples of boundary refinement based on shape descriptor and bottleneck rate. First row: Initial liver segmentation results; Second row: Results of liver boundary refinement2. 实验结果与分析
2.1 实验数据
本文利用中南大学湘雅医院提供的XHCSU14数据库[4]和Sliver07数据库[11]中的训练集进行实验.其中, XHCSU14数据库中包含20个腹部CT序列, 序列的层间距为1.0 mm和1.5 mm; Sliver07数据库训练集包含20个腹部CT序列, 序列层间距分布在0.5 mm至3.0 mm的范围内, 该数据集中还包含一个存在严重病变的肝脏.此外, 利用3Dircadb数据库和LiTS数据库中十个较为健康的肝脏序列验证本文边缘优化方法的泛化能力.
2.2 结果比较与分析
图 8为从XHCSU14数据库和Sliver07数据库不同腹部CT序列中随机挑选的8张切片的分割结果, 其中, 第一行来自XHCSU14数据库, 第三行来自Sliver07数据库.图中黑色曲线为本文算法肝脏分割结果, 白色曲线为专家手动标定的肝脏区域.从图 8可以看出, 本文方法可准确分割受噪声污染严重且灰度分布不均匀的肝脏, 对出现肝裂且形状不规则的肝脏也可获得很好的分割结果.此外, 本文方法还保留了肝脏边缘的主血管区域, 有利于后续肝脏血管的分割和医师术前规划.
图 8 部分切片肝脏分割结果.第一行: XHCSU14数据库肝脏分割结果; 第三行: Sliver07数据库肝脏分割果; 第二和第四行:肝脏分割果局部放大图.(白色曲线表示专家标记肝脏区域, 黑色曲线表示本文算法肝脏分割结果)Fig. 8 Some examples of liver segmentation results. First and third rows: Examples of liver segmentation results on XHCSU14 and Sliver07 databases, respectively; Second and fourth rows: Partial enlarged liver segmentation results(The white and black curves are segmentation results of experts and the proposed method, respectively)本文基于形状描述符的边缘优化所用相关参数$T_{S1} $、$T_{S2} $和$T_r $均为多次实验归纳所得, 为验证边缘优化方法的泛化能力, 本文在LiTS数据库和3Dircadb数据库中各选取五个无严重病变腹部CT肝脏序列对边缘优化参数进行测试, 并统计了以上十个序列边缘优化前后的Dice系数, 其计算公式如式(11)所示, 其中, $S$为算法分割结果, $G$为专家标定结果.边缘优化前后的Dice系数均值由0.942提高至0.950, 可以看出, 采用实验归纳所得参数进行边缘优化后, 肝脏分割精度得到了提高.
$$ \begin{equation} \label{eq11} Dice=\frac{2\left| {S\cap G} \right|}{\left| S \right|+\left| G \right|} \end{equation} $$ (11) 为分析每个序列中各个切片的分割结果, 计算腹部CT序列图像肝脏分割结果的假阳性率(FPR)、假阴性率(FNR)和Dice系数. FPR为将背景误分为肝脏的像素数目与专家手动分割的标准肝脏区域像素数目的比值, FNR为将肝脏误分为背景的像素数目与专家手动分割的标准肝脏区域像素数目的比值, Dice系数反映算法分割结果与专家标定结果的重叠率. FPR和FNR的值越小, 同时Dice值越大, 则算法的分割性能越好.
为显示各个序列图像分割结果FPR、FNR和Dice系数的中位数、最大值和最小值, 我们给出了FPR、FNR和Dice系数的箱形图.图 9和10分别显示了XHCSU14数据库和Sliver07数据库肝脏分割结果FPR和FNR的分布情况.从图 9和10可以看出, 除Sliver07中第16个存在严重肝脏病变的序列外, 其余39个序列肝脏分割结果的FPR和FNR均分布在较窄范围内, 且它们的最大值都不超过0.2, 最小值都接近于0, 上四分位和下四分位之间的距离较小, 且中位数偏向下四分位, 说明以上39个序列肝脏分割结果的FPR和FNR分布较为集中, 且分布更偏向于FPR和FNR数值较小的下四分位.图 11显示了XHCSU14和Sliver07数据库分割结果的Dice系数分布, 除Sliver07数据库第16个腹部CT序列外, 其他序列的Dice系数都分布在较窄范围内, 上四分位和下四分位之间的距离较小, 且中位数偏向上四分位, 说明以上39个序列肝脏分割结果的Dice系数分布集中, 且分布更偏向于Dice值较大的上四分位.以上分析表明本文算法对非严重病变肝脏具有较高的分割精度, 鲁棒性强.
图 9 XHCSU14数据库肝脏分割结果的FPR和FNR分布图. (a)FPR分布图; (b) FNR分布图Fig. 9 FPR and FNR distributions of segmentation results for XHCSU14 database. (a) FPR distribution; (b) FNR distribution
图 10 Sliver07数据库肝脏分割结果的FPR和FNR分布图. (a) FPR分布图; (b) FNR分布图Fig. 10 FPR and FNR distributions of segmentation results for Sliver07 database. (a) FPR distribution; (b) FNR distribution从图 10(b)和图 11(b)还可以看出Sliver07数据库中第16个腹部CT序列的FNR和Dice分布范围较宽, 上四分位和下四分位之间的距离较大, 且其FNR最大值大于0.5, Dice系数最小值小于0.7, 说明该序列肝脏分割结果的FNR和Dice分布较为分散, 主要是因为本文算法对该序列部分切片存在较为严重的欠分割, 如图 12所示.
图 11 XHCSU14数据库和Sliver07数据库Dice系数分布图. (a) XHCSU14数据库肝脏分割结果Dice系数分布图; (b) Sliver07数据库肝脏分割结果Dice系数分布图Fig. 11 Dice coefficients distributions for XHCSU14 and Sliver07 databases, respectively. (a) The Dice similar coefficients distribution of XHCSU14 database; (b) The Dice similar coefficients distribution of Sliver07 database
图 12 Sliver07数据库病变肝脏切片分割结果.黑色曲线表示本文算法分割结果, 白色曲线表示专家手工标记结果Fig. 12 Liver segmentation results of slices with severe hepatic lesions. The black and white curve represents segmentation results by the proposed method and experts, respectively为进一步分析本文方法的分割性能, 采用文献[14]中提出的体积重叠误差(Volumetric overlap error, VOE)、相对体积差(Relative volume difference, RVD)、平均对称表面距离(Average symmetric surface distance, ASD)、均方根对称表面距离(Root mean square symmetric surface distance, RMSD)以及最大对称表面距离(Maximum symmetric surface distance, MSD)对XHCSU14数据库中的20个腹部CT序列和Sliver07数据库中的20个腹部CT序列肝脏分割结果进行量化评估, 并与其他方法进行比较, 结果如表 1~表 3所示.其中, 文献[4, 6-7]为传统的肝脏分割方法, 文献[10, 15-16]为基于深度学习的肝脏分割方法.文献[15]利用3D CNN获得肝脏概率图谱, 并利用其构建图割能量函数完成肝脏分割; 文献[16]利用三维卷积神经网络(3D Convolutional Neural Network, 3D CNN)获得肝脏初分割结果, 将其作为形状先验构建能量函数, 优化肝脏分割结果.
表 1 XHCSU14数据库分割性能比较(均值$\pm $标准差)Table 1 Segmentation performance comparison on XHCSU14 database (mean $\pm$ std)方法 VOE (%) RVD (%) ASD (mm) RMSD (mm) MSD (mm) 文献[4] 8.1$\pm $1.6 5.4$\pm $3.7 1.3$\pm $0.3 2.8$\pm $0.9 42.5$\pm $18.0 文献[6] 10.2$\pm $2.1 2.6$\pm $2.4 1.5$\pm $0.3 2.6$\pm $1.3 27.5$\pm $10.6 文献[7] 5.4$\pm $0.8 $-0.3\pm 1.3$ 0.8$\pm $0.1 1.3$\pm $0.3 20.5$\pm $7.4 本文方法 5.3$\pm $0.8 2.1$\pm $1.0 0.7$\pm $0.1 1.2$\pm $0.3 19.0$\pm $6.5 表 2 Sliver07数据库分割性能比较(均值$\pm $标准差)Table 2 Segmentation performance comparison on Sliver07 database (mean $\pm$ std)方法 VOE (%) RVD (%) ASD (mm) RMSD (mm) MSD (mm) 文献[4] 7.4$\pm $1.9 4.6$\pm $2.8 1.2$\pm $0.4 2.8$\pm $1.3 38.5$\pm $18.0 文献[6] 8.9$\pm $2.2 2.3$\pm $2.0 1.4$\pm $0.3 2.4$\pm $1.2 24.3$\pm $9.6 文献[7] 5.8$\pm $3.2 $-0.1\pm 4.1$ 1.0$\pm $0.5 2.0$\pm $1.2 21.2$\pm $9.3 本文方法 5.7$\pm $3.0 $-0.5\pm 4.0$ 1.1$\pm $0.5 2.1$\pm $1.3 21.5$\pm $10.7 表 3 Sliver07数据库分割性能比较(均值)Table 3 Segmentation performance comparison on Sliver07 database (mean)从表 1和表 2可以看出, 相较于传统肝脏分割方法[4, 6-7], 本文分割方法所得肝脏分割结果的以上各项评价指标均具有较小的均值, 说明本文算法分割性能好, 准确率高.对于XHCSU14数据库, 本文方法肝脏分割结果的各项评价指标标准差都较小, 说明该算法鲁棒性强.同时, Sliver07数据库分割结果的标准差比XHCSU14数据库略大, 主要原因是Sliver07数据库中第16个序列为严重病变肝脏, 本文方法分割误差较大, 其VOE、RVD、ASD、RMSD和MSD值分别达到16.3、-11.6、2.7、6.8和54.9, 远远高于其他序列.从表 3可以看出本文方法获得的VOE和RVD平均值小于文献[15], 主要由于文献[15]利用肝脏概率图谱构建图割函数, 对于肝脏血管造成的灰度异质具有局限性, 而本文分割结果可有效保留肝脏血管; 相较于文献[10, 16], 本文各项误差指标略高, 主要由于文献[10, 16]可有效分割病变肝脏, 而本文对于严重病变肝脏存在欠分割, 如图 12所示.另外, 基于深度学习的方法对训练数据及硬件要求较高, 网络训练的优劣会直接影响肝脏分割结果.
3. 总结与展望
本文提出了一种基于水平集和形状描述符的腹部CT序列图像肝脏自动分割方法.本文通过预处理及位置约束能有效减小肌肉、胰腺、脾脏等组织和器官对分割结果的影响; 由于将灰度偏移场引入水平集能量函数, 在水平集演化时对原始腹部CT序列图像进行灰度校正, 可减小噪声和肝脏灰度分布不均对分割准确性和鲁棒性的影响, 且能避免位于肝脏边缘肝脏主血管的欠分割; 进行肝脏边缘优化可解决由于灰度重叠导致的被分割肝脏形状异常问题.以XHCSU14和Sliver07数据库中的40个腹部CT序列图像为实验对象, 并与其他算法进行比较, 通过分析分割结果的FPR、FNR值和Dice系数, 以及VOE、RVD、ASD、RMSD、MSD等评价指标, 表明了本文算法分割准精度高, 鲁棒性强.针对存在严重病变的肝脏, 由于本文算法在预处理过程中会丢失部分病变组织信息, 易造成病变部位欠分割, 为解决该问题, 未来考虑基于字典学习构建肝脏结构模型, 将其融入能量函数中以解决肝脏欠分割问题.
-
图 2 肝脏CT图像预处理.第一行:原始腹部CT图像; 第二行:预处理结果图像
Fig. 2 Pre-processing for liver CT image. First row: Original CT images; Second row: Results of pre-processing
图 3 基于偏移场的灰度校正. (a)预处理后的腹部CT图像; (b)位置约束掩模中的肝脏切片; (c)偏移场; (d)偏移场校正后的切片图像
Fig. 3 Bias field based intensity correction. (a) Pre-processed abdominal CT images; (b) Liver slices within masks generated by location constraints; (c) Bias fields; (d) Liver slices corrected by bias fields
图 4 基于水平集的肝脏粗分割. (a)预处理后的腹部CT原始图像; (b)水平集演化初始轮廓(白色曲线); (c)肝脏粗分割结果(白色曲线)
Fig. 4 Initial liver segmentation based on level set. (a) Preprocessed CT image; (b) Initial contour of level set evolution (white curve); (c) Initial segmentation result (white curve)
图 6 肝脏边缘优化. (a)过分割候选关键点(白色点); (b)过分割关键点对(白色点); (c)边缘优化结果
Fig. 6 Liver boundary refinement. (a) Candidate points of over-segmented region (white points); (b) Right key points of over-segmented region (white points); (c) The refined liver boundary
图 7 基于形状描述符和瓶颈率的边缘优化.第一行:肝脏粗分割结果; 第二行:肝脏边缘优化结果
Fig. 7 Examples of boundary refinement based on shape descriptor and bottleneck rate. First row: Initial liver segmentation results; Second row: Results of liver boundary refinement
图 8 部分切片肝脏分割结果.第一行: XHCSU14数据库肝脏分割结果; 第三行: Sliver07数据库肝脏分割果; 第二和第四行:肝脏分割果局部放大图.(白色曲线表示专家标记肝脏区域, 黑色曲线表示本文算法肝脏分割结果)
Fig. 8 Some examples of liver segmentation results. First and third rows: Examples of liver segmentation results on XHCSU14 and Sliver07 databases, respectively; Second and fourth rows: Partial enlarged liver segmentation results(The white and black curves are segmentation results of experts and the proposed method, respectively)
图 9 XHCSU14数据库肝脏分割结果的FPR和FNR分布图. (a)FPR分布图; (b) FNR分布图
Fig. 9 FPR and FNR distributions of segmentation results for XHCSU14 database. (a) FPR distribution; (b) FNR distribution
图 10 Sliver07数据库肝脏分割结果的FPR和FNR分布图. (a) FPR分布图; (b) FNR分布图
Fig. 10 FPR and FNR distributions of segmentation results for Sliver07 database. (a) FPR distribution; (b) FNR distribution
图 11 XHCSU14数据库和Sliver07数据库Dice系数分布图. (a) XHCSU14数据库肝脏分割结果Dice系数分布图; (b) Sliver07数据库肝脏分割结果Dice系数分布图
Fig. 11 Dice coefficients distributions for XHCSU14 and Sliver07 databases, respectively. (a) The Dice similar coefficients distribution of XHCSU14 database; (b) The Dice similar coefficients distribution of Sliver07 database
图 12 Sliver07数据库病变肝脏切片分割结果.黑色曲线表示本文算法分割结果, 白色曲线表示专家手工标记结果
Fig. 12 Liver segmentation results of slices with severe hepatic lesions. The black and white curve represents segmentation results by the proposed method and experts, respectively
表 1 XHCSU14数据库分割性能比较(均值$\pm $标准差)
Table 1 Segmentation performance comparison on XHCSU14 database (mean $\pm$ std)
方法 VOE (%) RVD (%) ASD (mm) RMSD (mm) MSD (mm) 文献[4] 8.1$\pm $1.6 5.4$\pm $3.7 1.3$\pm $0.3 2.8$\pm $0.9 42.5$\pm $18.0 文献[6] 10.2$\pm $2.1 2.6$\pm $2.4 1.5$\pm $0.3 2.6$\pm $1.3 27.5$\pm $10.6 文献[7] 5.4$\pm $0.8 $-0.3\pm 1.3$ 0.8$\pm $0.1 1.3$\pm $0.3 20.5$\pm $7.4 本文方法 5.3$\pm $0.8 2.1$\pm $1.0 0.7$\pm $0.1 1.2$\pm $0.3 19.0$\pm $6.5 
下载: 导出CSV
表 2 Sliver07数据库分割性能比较(均值$\pm $标准差)
Table 2 Segmentation performance comparison on Sliver07 database (mean $\pm$ std)
方法 VOE (%) RVD (%) ASD (mm) RMSD (mm) MSD (mm) 文献[4] 7.4$\pm $1.9 4.6$\pm $2.8 1.2$\pm $0.4 2.8$\pm $1.3 38.5$\pm $18.0 文献[6] 8.9$\pm $2.2 2.3$\pm $2.0 1.4$\pm $0.3 2.4$\pm $1.2 24.3$\pm $9.6 文献[7] 5.8$\pm $3.2 $-0.1\pm 4.1$ 1.0$\pm $0.5 2.0$\pm $1.2 21.2$\pm $9.3 本文方法 5.7$\pm $3.0 $-0.5\pm 4.0$ 1.1$\pm $0.5 2.1$\pm $1.3 21.5$\pm $10.7
下载: 导出CSV
-
[1] Fu J, Wang H Y. Precision diagnosis and treatment of liver cancer in China. Cancer Letters, 2018, 412(3): 283-288 [2] Zeng Y Z, Zhao Y Q, Liao S H, Liao M, Chen Y, Liu X Y. Liver vessel segmentation based on centerline constraint and intensity model. Biomedical Signal Processing and Control, 2018, 45: 192-201 doi: 10.1016/j.bspc.2018.05.035 [3] 李祥霞, 李彬, 田联房, 张莉, 朱文博.基于稀疏表示和随机游走的磨玻璃型肺结节分割.自动化学报, 2018, 44(9): 1637-1647 doi: 10.16383/j.aas.2018.c170420Li Xiang-Xia, Li Bin, Tian Lian-Fang, Zhang Li, Zhu Wen-Bo. Segmentation of ground glass opacity pulmonary nodules with sparse representation and random walk. Acta Automatica Sinica, 2018, 44(9): 1637-1647 doi: 10.16383/j.aas.2018.c170420 [4] Liao M, Zhao Y Q, Liu X Y, Zeng Y Z, Zou B J, Wang X F. Automatic liver segmentation from abdominal CT volumes using graph cuts and border marching. Computer Methods and Programs in Biomedicine, 2017, 143: 1-12 doi: 10.1016/j.cmpb.2017.02.015 [5] Li C M, Huang R, Ding Z H, Gatenby J C, Metaxas D N, Gore J C. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI. IEEE Transactions on Image Processing, 2011, 20(7): 2007-2016 doi: 10.1109/TIP.2011.2146190 [6] Lu X Q, Wu J S, Ren X Y, Zhang B H, Li Y H. The study and application of the improved region growing algorithm for liver segmentation. Optik, 2014, 125(9): 2142-2147 doi: 10.1016/j.ijleo.2013.10.049 [7] Yang X P, Yu H C, Choi Y, Lee W, Wang B J, Yang J. A hybrid semi-automatic method for liver segmentation based on level-set methods using multiple seed points. Computer Methods and Programs in Biomedicine, 2014, 113(1): 69-79 doi: 10.1016/j.cmpb.2013.08.019 [8] Zhang S T, Zhan Y Q, Dewan M, Huang J Z, Metaxas D N, Zhou X S. Towards robust and effective shape modeling: sparse shape composition. Medical Image Analysis, 2012, 16(1): 265-277 doi: 10.1016/j.media.2011.08.004 [9] Tong T, Wolz R, Wang Z H, Gao Q Q, Misawa K, Fujiwara M. Discriminative dictionary learning for abdominal multi-organ segmentation. Medical Image Analysis, 2015, 23(1): 92-104 doi: 10.1016/j.media.2015.04.015 [10] Dou Q, Yu L Q, Chen H, Jin Y M, Yang X, Qin J. 3D deeply supervised network for automated segmentation of volumetric medical images. Medical Image Analysis, 2017, 41: 40-54 doi: 10.1016/j.media.2017.05.001 [11] 林懿伦, 戴星原, 李力, 王晓, 王飞跃.人工智能研究的新前线:生成式对抗网络.自动化学报, 2018, 44(5): 775-792 doi: 10.16383/j.aas.2018.y000002Lin Yi-Lun, Dai Xing-Yuan, Li Li, Wang Xiao, Wang Fei-Yue. The new frontier of AI research: generative adversarial networks. Acta Automatica Sinica, 2018, 44(5): 775-792 doi: 10.16383/j.aas.2018.y000002 [12] 田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬.医学图像分析深度学习方法研究与挑战.自动化学报, 2018, 44(3): 401-424 doi: 10.16383/j.aas.2018.c170153Tian Juan-Xiu, Liu Guo-Cai, Gu Shan-Shan, Ju Zhong-Jian, Liu Jin-Guang, Gu Dong-Dong. Deep learning in medical image analysis and its challenges. Acta Automatica Sinica, 2018, 44(3): 401-424 doi: 10.16383/j.aas.2018.c170153 [13] Watt J M, Linguraru M G, Summers R M. Affine invariant parameterization to assess local shape in abdominal organs. SPIE Medical Imaging. 2011, 7965(1): 554-561 [14] Heimann T, Ginneken B V, Styner M, Arzhaeva Y, Aurich V, Bauer C. Comparison and evaluation of methods for liver segmentation from CT datasets. IEEE Transactions on Medical Imaging, 2009, 28(8): 1251-1265 doi: 10.1109/TMI.2009.2013851 [15] Lu F, Wu F, Hu P J, Peng Z Y, Kong D X. Automatic 3D liver location and segmentation via convolutional neural networks and graph cut. International Journal of Computer Assisted Radiology and Surgery, 2017, 12(2): 171-182 doi: 10.1007/s11548-016-1467-3 [16] Hu P J, Wu F, Peng J L, Ping L, Kong D X. Automatic 3D liver segmentation based on deep learning and globally optimized surface evolution. Physics in Medicine & Biology, 2016, 61(24): 8676-8698 期刊类型引用(5)
1. 杨富强，杨瑶，李志翔，黄魁东. X射线工业CT成像过程复杂伪影抑制方法综述. 自动化学报. 2023(04): 687-704 . 
本站查看2. 谢宏彪，刘志勤，王庆凤，黄俊，陈波，周莹. 基于半监督的3D肝脏CT自动分割方法研究. 计算机技术与发展. 2023(09): 149-154 . 百度学术3. 郭贝贝，马自萍，王兴岩，杨珂. 改进DRLSE的分步式肝脏及肿瘤分割方法. 计算机工程与应用. 2022(14): 200-209 . 百度学术4. 杨勍，赵于前，张帆，廖苗. 基于空间模糊C均值和图割的肝脏CT序列图像分割. 激光与光电子学进展. 2022(12): 430-439 . 百度学术5. 邱成健，刘青山，宋余庆，刘哲. 基于循环显著性校准网络的胰腺分割方法. 自动化学报. 2022(11): 2703-2717 . 本站查看其他类型引用(8)
-
下载:
计量
- 文章访问数: 1100
- HTML全文浏览量: 483
- PDF下载量: 235
- 被引次数: 13
