Retinal Vessel Segmentation Based on Conditional Deep Convolutional Generative Adversarial Networks
-
摘要: 视网膜血管的分割帮助医生对眼底疾病进行诊断有着重要的意义.但现有方法对视网膜血管的分割存在着各种问题, 例如对血管分割不足, 抗噪声干扰能力弱, 对病灶敏感等.针对现有血管分割方法的缺陷, 本文提出使用条件深度卷积生成对抗网络的方法对视网膜血管进行分割.我们主要对生成器的网络结构进行了改进，在卷积层引入残差模块进行差值学习使得网络结构对输出的改变变得敏感, 从而更好地对生成器的权重进行调整.为了降低参数数目和计算, 在使用大卷积核之前使用小卷积核对输入特征图的通道数进行减半处理.通过使用U型网络的思想将卷积层的输出与反卷积层的输出进行连接从而避免低级信息共享.通过在DRIVE和STARE数据集上对本文的方法进行了验证, 其分割准确率分别为96.08 %、97.71 %, 灵敏性分别达到了82.74 %、85.34 %, $F$度量分别达到了82.08 %和85.02 %, 灵敏度比R2U-Net的灵敏度分别高了4.82 %, 2.4 %.Abstract: The segmentation of retinal vessels is of significance for doctors to diagnose the fundus diseases. However, existing methods have various problems in the segmentation of the retinal vessels, such as insufficient segmentation of retinal vessels, weak anti-noise interference ability, and sensitivity to lesions, etc. Aiming to the shortcomings of existed methods, this paper proposes the use of conditional deep convolutional generative adversarial networks to segment the retinal vessels. We mainly improve the network structure of the generator. The introduction of the residual module at the convolutional layer for residual learning makes the network structure sensitive to changes in the output, as to better adjust the weight of the generator. In order to reduce the number of parameters and calculations, using a small convolution kernel to halve the number of channels in the input signature before using a large convolution kernel. By used the idea of a U-net to connect the output of the convolutional layer with the output of the deconvolution layer to avoid low-level information sharing. By verifying the method on the DRIVE and STARE datasets, the segmentation accuracy rate is 96.08 % and 97.71 %, the sensitivity reaches 82.74 % and 85.34 %, respectively, and the $F$-measure reaches 82.08 % and 85.02 %, respectively. The sensitivity is 4.82 % and 2.4 % higher than that of R2U-Net.
-
Key words:
- Generative adversarial network (GAN) /
- residual networks /
- retinal vessel segmentation /
- conditional models /
- convolutional neural networks (CNNs)
-
血管作为血液循环流动的管道, 遍布人体的各个部位, 尤其是眼底中含有大量的动脉血管, 是人身体内唯独采用无损伤手段就能够直接观察到的较深层次的微血管系统, 为医生提供了有关眼睛状况和一般系统状态的丰富信息.眼科医生可以检测到高血压和糖尿病引起的全身血管负荷增加以及视网膜血管疾病如视网膜静脉阻塞和视网膜动脉阻塞等血管结构异常的早期征兆, 血管和血管系统引起的疾病会造成患者失明.随着技术的发展, 探索一种自动化方法分割视网膜血管已经被广泛研究.从而辅助医师诊断、分析患者病情, 对眼底疾病做出尽早的预防和诊治, 可有效避免病变所引发的视觉损失.目前在国内外的血管分割算法有匹配滤波器法[1]、多阈值的血管检测[2]、以形态学为基础技术血管分割[3]、区域生长法、使用神经网络的血管分割算法[4-5]、多尺度层分解和局部自适应阈值血管分割方法[6]、基于活动轮廓模型的血管分割[7]以及基于模糊聚类的分割方法[8]等.文献[9]提出了一种基于多尺度2D Gabor小波变换和形态学重构的血管分割方法.采用不同尺度的2D Gabor小波对视网膜图像进行变换, 并分别应用形态学重构和区域生长法对变换后的图像进行分割, 最后, 对以上两种方法分割的视网膜血管和背景像素点重新标记识别, 得到视网膜血管最终分割结果, 但对于血管与背景对比度低的图片, 分割假阳性率高.文献[10]提出一种融合区域能量拟合信息和形状先验的水平集血管分割方法, 通过形态学算子去除血管中心亮线, 并与原图像和掩模分别进行减法和点乘运算增强视网膜血管图像, 然后分析Hessian矩阵的特征值在血管、背景和病灶上不同的几何性质, 利用Hessian矩阵特征值重构血管响应函数, 最大化不同结构的差异, 从而获得视网膜血管初步图像, 但因为高斯卷积算子的影响, 导致复杂的血管交叉处分割不足.文献[11]提出通过三阶段对血管进行分割, 首先, 对眼底图像的绿色平面进行预处理, 并针对血管区域中提取二值图像, 然后, 使用基于像素邻域一阶和二阶梯度图像提取的8个特征集合, 使用高斯混合模型分类器对两个二值图像中的所有其余像素进行分类, 血管的主要部分与分类的血管像素结合, 但存在微血管易断的问题.文献[12]使用将分割任务重塑为从视网膜图像到血管图的跨模态数据转换的分割监督方法, 提出了一种具有较强诱导能力的广泛深度神经网络模型, 并给出了一种有效的训练策略.文献[13]一种将异构情境感知功能与区分性学习框架相结合的方式对眼底血管图片进行分割.文献[14]使用监督分割技术, 该技术使用在全局对比度归一化, 零相位白化以及使用几何变换和校正进行预处理的样本上训练深度神经网络, 对噪声有较强的适应能力, 但依旧无法克服微血管易断的问题, 分割的准确率也有待提高.综上所述, 虽然国内外研究人员已提出很多血管分割方法, 但大部分分割的结果精度不高, 性能也有很大的改善空间.针对现有方法对视网膜血管分割不足, 准确率不高, 对噪声、病灶敏感等问题, 于是使用生成式思想分割出高精度、高准确率的视网膜血管图像.本文主要工作包括:
1) 对于之前所提出的方法中存在的局限性进行了详细的分析后, 针对之前方法对视网膜血管分割效果不理想的问题, 本文使用生成式框架对眼底视网膜血管进行分割, 通过生成器和判别器两者之间进行对抗训练, 相互优化各自的网络结构, 从而实现了一种自动分割视网膜血管的方法.
2) 提出了一个新的网络结构如图 5, 利用残差网络的思想, 使得网络结构对输出的变化和权重的改变变得敏感, 从而更好地对权重进行了调整, 提高分割的效果, 也缓解了梯度减少, 解决了梯度消失的问题.在使用3 $ \times $ 3的卷积之前使用1 $ \times $ 1的卷积作为瓶颈层对输入的特征图进行降维, 然后用3 $ \times $ 3的卷积核对维度进行还原, 降低了网络的复杂度, 保持了精度又减少了计算量.
3) 由于编码器-解码器这种网络结构要求所有的信息流通过所有的网络层, 在输入和输出之间共享大量本可直接穿过网络层的低级信息.为了避免出现这种情况, 本文使用了U型网络结构的思想, 对于$ n $层的网络, 将第$ i $层的输出和第$ n-i $层的输出进行拼接, 作为第$ n-i+1 $层的输入.
1. 生成对抗
近些年来, 无监督学习已经成为了研究的热点, 变分自编码器[15]、生成对抗网络(Generative adversarial networks, GAN)[16]等无监督模型受到越来越多的关注.在人工智能高速发展的时代, GAN的提出不仅满足了相关领域的研究和应用和需求, 也带来了新的发展动力[17].特别是在图像和视觉领域中对GAN的研究和应用最为广泛, 已经可以通过随机数字生成人脸、从低分辨率图像生成高分辨率图像等.此外, GAN已经开始逐渐应用到医学图像处理中:模拟超声探头的空间位置上有条件地对解剖学精确的图像进行采样[18]、检测恶性前列腺癌[19]等问题的研究中.
1.1 生成对抗网络原理
生成对抗网络由生成器($ G $)和判别器($ D $)两部分组成, 生成器主要负责通过随机噪声生成服从真实数据分布的样本, 判别器负责通过识别输入的数据样本来自生成器还是真实数据, 两者相互迭代优化提升各自的性能, 最终使得判别器无法判别输入的数据来源时, 则认为生成器已经学习到了真实数据的分布.其损失函数为:
$$ \begin{align} \mathop {\max }\limits_{D} \mathop {\min }\limits _{G}({\theta_G}, {\theta _D }) = \mathbb{E}_{x\sim p_{\rm data}(x)}[\lg D(x)]+\\ \mathbb{E}_{x\sim p_z{(x)}}[\lg (1-D(G(z)))] \end{align} $$ (1) 1.2 条件生成对抗网络
条件生成对抗网络(Conditional generative adversarial networks, CGAN)是在GAN的基础上加入了辅助信息$ y $, 通过额外的辅助信息$ y $控制生成器对数据的生成. $ y $可以是任何类型的辅助信息, 比如类标签.其模型结构如图 2所示:
损失函数表示为:
$$ \begin{align} \mathop {\max }\limits_{D} \mathop {\min }\limits _{G} {\cal L}(D, G) = \mathbb{E}_{x\sim p_{\rm data}(x)}[\lg D(x|y)]+\\ \mathbb{E}_{z\sim pz{(z)}}[\lg (1-D(G(z|y)))] \end{align} $$ (2) 2. 基于条件深度卷积生成对抗网络的视网膜血管分割
本文通过结合深度卷积生成对抗网络(Deep convolutional generative adversarial networks, DCGAN)[20]和U形卷积神经网络[21]的特点, 在生成器使用U型卷积神经网络模型的思想, 利用U型卷积网络的边缘检测能力对视网膜图像中的血管进行分割, 将分割出的视网膜血管图像和原图像一同输入判别器中进行判断, 最后直到判别器无法正确区分输入的视网膜血管图像的来源(专家分割或者生成器分割).
生成对抗神经网络的学习优化过程是寻找到生成器和判别器之间的一个纳什均衡, 生成对抗网络分割眼底视网膜问题的目标函数如下所示:
$$ \begin{align} {\cal L}_{c{\rm GAN}}(D, G) = \mathbb{E}_{x\sim p_{\rm data}(x), y}[\lg D(x, y)]+\\ \mathbb{E}_{x\sim p_{\rm data}(x)}[\lg (1-D(x, G(x)))] \end{align} $$ (3) 其中, $ x $为输入的视网膜图像, $ y $为专家分割的视网膜血管图像, $ D(x, y) $表示视网膜血管图像来源于专家分割的概率, $ D(x, G(x)) $表示视网膜血管图像来自生成器分割的概率.生成器($ G $)尝试最小化目标函数, 判别器($ D $)尝试最大化目标函数, GAN通过对下面的函数进行优化:
$$ \begin{equation} {G^*} = \mathop {\min }\limits_G \mathop {\max }\limits_D {{\cal L}_{cGAN}}(G, D) \end{equation} $$ (4) 通过实验发现, 将现有的GAN目标函数与传统的损失(例如$ L1 $距离函数)相结合时, 生成出的视网膜血管图像更加趋近于专家分割的视网膜血管图像, 判别器的作用保持不变, 但生成器的任务不仅要欺骗判别器, 而且要最小化生成的视网膜血管图像与人工分割出的视网膜血管图像直接的$ L1 $距离.
$$ \begin{equation} {{\cal L}_{L1}}(G) = {\mathbb{E}_{x\sim p_{\rm data}(x), y}}[\parallel y - G(x, y)\parallel ] \end{equation} $$ (5) 通过将GAN的目标函数与$ L1 $距离函数进行结合, 最终的目标函数如下:
$$ \begin{equation} {G^*}{\rm{ = }}\arg \mathop {\min }\limits_G \mathop {\max }\limits_D {{\cal L}_{cGAN}}\left( {G, D} \right) + \lambda {{\cal L}_{L1}}(G) \end{equation} $$ (6) $ \lambda $用于平衡两个目标函数, 推荐$ \lambda $的值为100.
3. 模型结构
分割视网膜血管的模型如图 1所示, 通过输入一张视网膜图像$ x $到生成器($ G $)中, 生成器通过学习到从眼底视网膜图像$ x $到眼底血管图像$ y $之间的映射关系, $ G:x \to y $最终输出一张分割后的视网膜血管图像.判别器($ D $)通过学习输入图像对$ \{ x, y\} $与$ \{ x, G(x)\} $之间的分布差异从而正确判别输入图像对来源的二分类器$ \{ 0, 1\} $, 判别器输出1表示输入的视网膜血管图像来源于人工分割, 输出0表示视网膜血管图像来源于生成器.
3.1 残差思想
在一定程度上, 随着网络结构深度的增加, 会出现梯度消失和梯度爆炸的问题使模型出现退化的情况[22], 为了避免这情况, 通过使用跳跃连接(Skip-connection), 将某一层的特征图反馈给下一层, 甚至更深层, 其过程通过如下公式所示:
$$ \begin{equation} {\cal H}(x) = {x^l} + \sum\limits_{k = l}^L {{\cal F}({x^k})} \end{equation} $$ (7) $$ \begin{equation} {\cal F}({x^k}) = f(C_0^k, C_1^k, \cdot \cdot \cdot , C_c^k) \end{equation} $$ (8) $$ \begin{equation} C_m^k = \sum\limits_{n \in {{\cal X}_m}} {x_i^{k{\rm{ - }}1} * k_{nm}^l + b_m^l} \end{equation} $$ (9) 其中, $ {\cal H}(x) $代表下一个残差模块的输入, $ L $代表跳跃的层数, $ {\cal F}({x^k}) $代表对$ C^k $进行激活后的输出, $ C_m^k $代表第$ k $层的特征图的第$ m $个通道, $ f(\cdot) $称为激活函数, $ {{\cal X}_m} $表示用于计算$ C_i^k $的输入特征图子集, $ k_{nm}^l $代表卷积核矩阵, $ \ast $代表卷积.
图 3 (a)是跳跃两层($ L = 2 $)卷积层的残差模块, 其函数表达式为: $ H(x) = x+F(x) $, 图 3 (b)是标准的卷积层, 其函数表达式为: $ H(x) = F(x) $.
残差模块与标准的卷积模块相比较具有如下优势: 1)在前向传播中, 假如图 3 (a)中卷积层中的权重没有学习到任何信息, 相当于进行了恒等变换, 如果卷积层学到了一些有用信息, 那么可能比学习恒等函数表现更好. 2)在反向传播中, 引入残差模块后对输出的变化更敏感, 可以比标准的卷积层更细微的调整权重.
3.2 瓶颈层
随着网络层数的增加, 使用标准的卷积层将要训练大量的参数, 模型的参数越多, 运行所需要的计算资源和存储资源越多, 且会增加训练的时间, 为了在减少参数的情况下不影响模型的效果, 因此通过将标准的卷积层和$ 1\times1 $卷积相结合如图 4 (b)所示, 通过中间产生一个瓶颈层, 达到减少参数和计算量, 加快网络模型的收敛.
模块A1将一个$ H\times W\times C $大小的特征图作为输入, 直接输出一个大小为$ H\times W\times 2C $的特征图.模块A2通过在中间加入一个卷积核为$ 1\times 1 $的卷积层作为瓶颈层, 先缩小特征图的通道数, 然后再输出大小为$ H\times W\times 2C $的特征图. $ H $和$ W $为输入和输出的特征图的尺寸. $ C $代表输入和输入特征图的通道数.
模块A1的计算量为:
$$ \begin{equation} {C_S} = k \times k \times C \times 2C \times H \times W \end{equation} $$ (10) 参数的数量为:
$$ \begin{equation} {G_S} = k \times k \times C \times 2C \end{equation} $$ (11) 加入$ 1\times 1 $卷积核后的模块A2的计算量为:
$$ \begin{align} {C_A} = 1 \times 1 \times C \times \frac{C}{4} \times H \times W +\\ k \times k \times \frac{C}{4} \times 2C \times H \times W \end{align} $$ (12) 其中, $ k $为卷积核的尺寸, 参数的数量为:
$$ \begin{equation} {G_A} = 1 \times 1 \times C \times \frac{C}{4} + k \times k \times \frac{C}{4} \times 2C \end{equation} $$ (13) 使用结合$ 1\times1 $卷积核后的模块A2替换标准网络结构中的模块A1, 计算量比值以及参数数量的比值均为:
$$ \begin{equation} R = \frac{{{C_A}}}{{{C_S}}} = \frac{{{G_A}}}{{{G_S}}} = \frac{{1 + 2{k^2}}}{{8{k^2}}} \end{equation} $$ (14) 当使用$ 3\times 3 $大小的卷积核时($ k = 3 $), 模块A2计算量和参数大概是模块A1的5/18.
3.3 生成器网络结构
生成器中使用$ x \in {{\bf R}^{w \times h \times c}} $作为输入图像, $ w = n = 512, c = 3 $, 网络结构(27层)如图 5所示, 之前许多分割方法的网络结构使用编码器-解码器(Encoder-decoder)[23], 这种网络结构通过不断地向下采样, 直到达到一个瓶颈层, 将提取的信息变为一个一维向量, 然后在这一点上进行反卷积, 逐渐向上采样, 最后还原成图像.这样的网络结构要求所有的信息流通过所有的网络层, 包括瓶颈层.在许多图像分割问题中, 输入和输出之间共享大量本可直接穿过网络层的低级信息.为了使生成器能够避免出现这种情况, 本文使用了U型网络结构的思想, 对于$ n $层的网络结构, 将第$ i $层网络的输出和第$ n-i $层的输出进行连接, 作为第$ n-i+1 $层节点的输入.在编码层使用Leaky-ReLU作为非线性激活函数, 每层都使用批量归一化(Batch normalization, BN)[24].通过归一化当前层输入$ (\mu = 0, {\kern 1pt} {\kern 1pt} \sigma = 1) $, 有利于加速整个网络的收敛, 提高层与层之间的独立性.解码层使用ReLU作为非线性函数, 在最后一层使用$ {\rm Tanh} $激活函数生成图像.为了提高模型分割的准确率, 我们在生成器中加入残差网络结构, 结构如图 6 (a)所示, 由于残差可以缓解梯度减少, 解决梯度消失的问题, 提高对网络结构对权重改变的敏感度, 使得生成器能够充分学习到视网膜血管图像的分布, 从而提高分割的效果.为了降低模型的复杂度, 减少计算量和训练的参数数量, 在每次使用$ 3 \times 3 $的卷积核之前加入$ 1 \times 1 $卷积核作为瓶颈层对输入的特征层进行降维.将通道数目降为原来的一半, 然后通过$ 3 \times 3 $卷积核恢复到原来的通道数, 具体结构如图 6 (b)所示.
3.4 判别器网络结构
判别器的网络结构如图 7所示, 总共7层, 使用$ \{ {x_i}, {y_i}\} _{i = 1}^N $或者$ \{ {x_i}, G({x_i})\} _{i = 1}^N({x_i} \in { X}, {y_i} \in { Y}) $作为输入, $ x \in { {\bf R}^{512 \times 512 \times 3}} $、$ y \in { {\bf R}^{512 \times 512 \times 1}} $.对于输入为$ \{x_i, y_i\} $时, 判别器正确的输出为1, 输入$ \{x_i, G(x_i)\} $判别器正确的输出为0.在判别器中的每一个卷积层中使用Leaky-ReLU作为非线性激活函数, 使用带步幅(Strided convolutions)的卷积代替池化层(Pooling)的效果.
4. 训练
本论文工作基于深度卷积对抗神经网络(DCGAN)和条件生成对抗神经网络(CGAN)[25]实现, 使用DCGAN中推荐的训练参数进行训练, 训练时使用Adam优化方式进行梯度下降$ ({\beta _1} = 0.5 $, $ {\beta _2} = 0.999 $, $ \varepsilon = {10^{-8}}) $, 学习率为$ lr = 0.0002 $, $ mini $-$ batch = 1 $, 卷积提取特征时使用Leaky-ReLU作为激活函数, Leak斜率$ \alpha $设置为0.2, 反卷积还原图像时, 使用ReLU激活函数.训练时总共迭代800个周期, 输出的分割图像的大小为$ 512\times512\times1 $.
生成器的训练过程如图 8所示, 主要通过两个途径调整权重: 1)通过比较生成器分割出的视网膜图像$ G(x) $与专家分割出的血管图像$ y $之间的差值, 通过差值调整权重, 使$ ||y - G(x)|| $的值最小化; 2)将视网膜图像与生成器分割出的血管图像$ G(x) $输入到判别器中, 根据判别器输出的结果$ D(G(x), y) $与1之间的差值对生成器的权重进行调整.通过上面两种方式对生成器权值的调整, 使生成器分割出的视网膜血管图像更加接近专家分割后的血管图像.
判别器的训练过程如图 9所示, 也是通过两个途径调整权重: 1)输入视网膜图像和专家分割的视网膜血管图像, 通过比较判别器输出的值$ D(x, y) $与标准值1直接差值调整权重, 使判别器输出的值更加接近1; 2)输入视网膜图像和生成器分割出的血管图像$ G(x) $, 比较判别器输出的结果$ D(G(x), y) $与0之间的差值, 通过差值调整权重.通过这两种方式对权值的调整, 使得判别器能更准确地区分视网膜血管图像是通过专家分割的还是来自生成器分割.
5. 实验结果与分析
我们在两个公开的眼底视网膜数据集(STARE[9]和DRIVE[26])上对我们的方法进行了测试, 在DRIVE数据集中, 总共包含40张视网膜图像和对应的视网膜血管图像, 用前20张图像做训练样本集, 后20张图像做测试样本集, 我们在第一类视网膜血管标签图像上进行训练和测试.在STARE数据集中我们用前10张图像做训练样本集, 后10张图像当测试集.由于数据集中只有少量的样本集对网络结构进行训练, 但深度神经网络对参数的训练需要大量的训练样本, 因此我们通过对图像的旋转、水平翻转、垂直翻转、平移变换、图像灰度值的变化等方法对训练数据集进行扩充, 这对于提高分割的准确率、防止过拟合和网络的鲁棒性至关重要.
5.1 性能评价指标
为了评估分割的效果, 我们通过对灵敏性($ Sensitivity $), 特效性($ Specificity $), 准确率($ Accuracy $), $ F $度量($ F \rm{-}measure $)等评估指标进行了比较.
$$ \begin{equation} Accuracy = \frac{{TP + TN}}{{TP + FN + TN + FP}} \end{equation} $$ (15) $$ \begin{equation} Sensitivity = \frac{{TP}}{{TP + FN}} \end{equation} $$ (16) $$ \begin{equation} Specificity = \frac{{TN}}{{TN + FP}} \end{equation} $$ (17) $$ \begin{equation} Precision = \frac{{TP}}{{TP + FP}} \end{equation} $$ (18) $$ \begin{equation} Recall = \frac{{TP}}{{TP + FN}} \end{equation} $$ (19) $$ \begin{align} F {-}measure = 2 \times Precison \times \\ \frac{{Recall}}{{Precison + Recall}} \end{align} $$ (20) 其中, $ TP $为被正确分割的血管像素的数目, $ TN $为正确分割的背景像素数目, $ FP $为错误分割为血管像素的背景像素, $ FN $为被错误标记为背景像素的血管像素.
5.2 模型改进前后结果的对比
为了验证引用的结构对改进模型的有效性, 我们对本文所使用的网络结构在引用前和引用后对视网膜血管分割的效果进行了对比, 主要对比了如表 1中的4种结构: 1)不做任何改进的情况下, 单独使用U型网络结构. 2)生成对抗网络结构中的生成器使用U型网络结构. 3)在U型网络结构中加入残差模块. 4)生成对抗网络中的生成器中使用结合了残差模块的U型网络结构.通过对这4种方式进行实验, 结果表明第4种结构的性能最好.因此可以看出, 残差模块对权重改变的敏感性能对梯度进行更好的调整, 以及生成对抗网络模型中判别器与生成器的相互对抗, 相互学习, 使得生成器的网络结构能够对视网膜血管进行更准确的分割.
表 1 模型改进前后分割的结果Table 1 The segmentation results before and after model improvement数据集 方法 $F$度量 准确率 DRIVE/STARE U-net 0.8142/0.8373 0.9531/0.9690 GAN+U-net 0.8150/0.8398 0.9583/0.9710 U-net+Residual 0.8149/0.8388 0.9553/0.9700 GAN+U-net+Residual (本文结构) 0.8208/0.8506 0.9608/0.9771 为了证明第3.2节中使用瓶颈层减少参数后对模型准确率的影响, 我们通过对分别使用图 4 (a)的结构和使用图 4(b) 中的结构后模型对眼底视网膜图像分割后的结果进行对比.通过实验可以证明(表 2), 使用$ 1\times1 $卷积核的瓶颈层在减少参数和计算量的情况下基本不会影响模型对视网膜血管图像分割的准确率.
表 2 使用瓶颈层前后分割的结果Table 2 The result of segmentation before and after using the bottleneck layer数据集 方法 参数 计算量$(GFLOPS)$ $F$度量 准确率 DRIVE/STARE No Bottleneck 19.8 M 183.8 0.8210/0.8504 0.9612/0.9772 Bottleneck 5.2 M 48.5 0.8208/0.8502 0.9608/0.9771 5.3 不同分割算法结果的对比
我们分别在STARE、DRIVE数据集上进行了大量的血管分割实验来证明方法的可行性, 图 10和图 11分别展示了在DRIVE数据集上和STARE数据集上文献[14]、文献[27]与本文方法对其中两张视网膜图像的分割结果的对比, 在图 10和图 11中, (a)为原始视网膜图像, (b)为专家分割的视网膜血管图像, (c)和(d)分别为文献[14]和文献[27]的分割结果, 其中图 11 (a)中第一张和第二张分别为健康人, 青光眼视网膜图像, 尽管图 11 (a)的第二张图像中有血管有病变, 存在病灶, 但本文的方法可以较好的克服这些因素, 分割出一张准确的血管图像, 从图 10和图 11中的(c)和(d)中可以看出文献[14]和文献[27]分割的视网膜血管图像中包含了大量的噪声, 易受病变视网膜图像中病灶的影响, 对细小的血管分割比较模糊, 且(d)中分割出的血管尺寸比标准图像中血管尺寸偏大.这些细小的血管对于分析视网膜疾病有着重要的意义.为了对细小的血管进行准确的分割, 本文使用了生成对抗网络, 通过判别器不断地对生成器进行优化, 两者相互对抗学习, 提高模型的分割效果.并且生成器中使用的U型网络结构克服了无法对细小的血管进行分割准确分割的缺陷.与以上两种方法相比可知, 本文方法所分割出的眼底血管图像中的噪声水平更低, 对细小的血管分割更加全面, 且比较清晰, 有更好的鲁棒性和精度.
图 10 DRIVE数据库视网膜血管分割结果比较Fig. 10 Comparisons of segmentation results on DRIVE database
图 11 STARE数据库视网膜血管分割结果比较Fig. 11 Comparisons of segmentation results on STARE database为了更加突出本文方法分割视网膜血管的优势, 我们对STARE数据集中编号为im0240的视网膜图像使用不同方法分割后的结果进行局部放大, 如图 12所示.其中图 12 (a)、(c)、(e)、(g)、(i)分别为文献[14]、文献[27]、文献[28]、本文方法和专家分割的结果, 图 12 (b)、(d)、(f)、(h)、(j)为与之对应的对右下角部分进行放大后的图像, 图中的白色圆圈表示不准确的分割, 字母A和字母B分别表示邻近的血管和细小的血管.比较图 12 (a)、(c)、(e)、(g)可看出, 本文的方法分割出的血管更加的清晰, 血管的尺寸也比较合适, 包含的噪声更少.从图 12 (a)中可以看到文献[14]分割出的血管比较虚幻, 且不能完整的分割, 含有大量的噪声. 图 12 (b)为文献[27]分割的结果, 噪声比前面两种方法要少, 分割的结果相对要好, 但分割效果还是不理想.从图 12 (f)中可以看到文献[28]的分割的血管比实际的血管要大, 血管周围出现了大量的噪声使血管比较模糊.在图 12 (b)、(d)、(f)中可以看到其他的方法在A处对血管分割不全, 无法进行准确的分割, 在B处都出现错误的分割.为了减少这种错误的分割我们加入残差模块, 利用其对权重改变的敏感性使得生成器能够更加充分地学习到眼底视网膜图像与眼底血管图像之间的映射关系, 提取更多用于分割血管的特征, 从而进行更加准确的分割, 减少误分割和漏分割, 从图 12 (h)可以看到, 本文分割出的视网膜血管图像中基本上没有噪声、更加清晰, 血管的大小也接近标准大小, 含有的错误分割少, 更加接近标准的视网膜血管图像.
图 12 不同算法的视网膜血管分割局部放大图Fig. 12 Different methods of partial retinal vessel segmentation5.4 不同分割算法结果的评估
为了进一步证明本文算法对视网膜血管分割的有效性, 在STARE、DRIVE数据集上将本文的方法分别与文献[5]、文献[6]、文献[12]、文献[13]、文献[28-33]中的方法在敏感性、特效性、准确率、$ F $度量等几个指标对视网膜血管分割的性能进行了比较.其中灵敏度表示正确分割出的血管像素占真实血管像素的百分比, 特异性为正确分割的背景像素占真实背景像素的百分比, 准确率为正确分割血管和背景像素占整个图像的百分比, $ F $度量表示精度和召回率直接的调和均值. 表 3和表 4分别给出了不同方法在DRIVE和STARE数据集上视网膜分割的准确率.从表 3和表 4中可知, 本文算法在不同的数据集上灵敏性、准确率、$ F $度量等都比文献[5]、文献[6]、文献[12]、文献[13]、文献[29]、文献[30]要高.虽然文献[27]、文献[28]、文献[33]的灵敏度比本文方法要高, 但是分割出的血管尺寸比实际的要大, 分割出的血管包含比较多的噪声, 且本文算法有最高的$ F $度量, 灵敏性和特效性都保持相对稳定, 分割图像中含有的噪声比较少, 但对细小血管分割效果不是很好, 有时会出现断裂的情况.对于DRIVE数据集, 本文方法对视网膜血管分割的$ F $度量达到82.08 %, 比文献[33]高了0.37 %, 灵敏性度比文献[33]高了4.82 %.在STARE数据集上, 我们的方法在$ F $度量、灵敏度上比文献[33]分别高了0.27 %、2.4 %.因此由表 3和表 4中血管分割的评估指标展示可知, 在DRIVE和STARE数据集上, 本文的方法对血管、背景的识别和提取不同特征能力均优于其他有监督血管分割方法.
表 3 DRIVE数据库视网膜血管分割结果Table 3 Segmentation performance of retinal vessel on the DRIVE database数据集 方法 年份 $F$度量 灵敏性 特效性 准确率 DRIVE Chen[13] 2014 – 0.7252 0.9798 0.9474 N$^4$-Fields[30] 2014 0.7970 0.8437 0.9743 0.9626 Azzopardi[5] 2015 – 0.7655 0.9704 0.9442 Roychowdhury[12] 2016 – 0.7250 0.9830 0.9520 Liskowsk[14] 2016 – 0.7763 0.9768 0.9495 Qiaoliang Li[12] 2016 – 0.7569 0.9816 0.9527 DRIU[27] 2016 0.6701 0.9696 0.9115 0.9165 HED[28] 2017 0.6400 0.9563 0.9007 0.9054 U-Net[33] 2018 0.8142 0.7537 0.9820 0.9531 Residual U-Net[33] 2018 0.8149 0.7726 0.9820 0.9553 Recurrent U-Net[33] 2018 0.8155 0.7751 0.9816 0.9556 R2U-Net[33] 2018 0.8171 0.7792 0.9813 0.9556 本文方法 2018 0.8208 0.8274 0.9775 0.9608 表 4 STARE数据库视网膜血管分割结果Table 4 Segmentation performance of retinal vessel on the STARE database数据集 方法 年份 $F$度量 灵敏性 特效性 准确率 STARE Marin[31] 2011 – 0.6940 0.9770 0.9520 Fraz[32] 2012 – 0.7548 0.9763 0.9534 Liskowsk[14] 2016 – 0.7867 0.9754 0.9566 Roychowdhury[12] 2016 – 0.7720 0.9730 0.9510 Qiaoliang Li[12] 2016 – 0.7726 0.9844 0.9628 DRIU[27] 2016 0.7385 0.6066 0.9956 0.9499 HED[28] 2017 0.6990 0.5555 0.9955 0.9378 U-Net[33] 2018 0.8373 0.8270 0.9842 0.9690 Residual U-Net[33] 2018 0.8388 0.8203 0.9856 0.9700 Recurrent U-Net[33] 2018 0.8396 0.8108 0.9871 0.9706 R2U-Net[33] 2018 0.8475 0.8298 0.9862 0.9712 本文方法 2018 0.8502 0.8538 0.9878 0.9771 图 13给出了本文方法和其他方法的$ F $度量性能评价曲线, 在DRIVE数据集上分别与文献[14]、文献[27]、文献[28]、文献[30]进行了比较, 在STARE数据集上分别与文献[27]、文献[28]、文献[30]进行了比较.从图 13可以看出, 在DRIVE数据集和STARE数据集上, 本文方法比文献[14]、文献[27]、文献[28]、文献[30]中的方法效果都要好, 且波动比较小, 模型的泛化性比较强, 对特征的提取和识别能力比其他方法更好, 能对各种眼底图像的血管进行很好的分割, 无论在健康还是病变的视网膜图像上, 都能进行保持相对稳定的分割效果, 能够很好地克服病灶的影响.
图 13 不同算法的$F$度量性能评价曲线Fig. 13 Different methods of $F$-measure performance evaluation curve6. 结论
视网膜血管的正确分割对帮助医生进行眼底疾病的诊断具有重大的实际意义.本文使用条件深度卷积生成对抗网络对眼底视网膜进行分割, 在生成器中使用卷积对图像的特征进行了若干次提取后通过反卷积生成对应的视网膜的血管图像, 我们在生成器中加入残差网络模块, 由于残差网络对特征值的改变非常敏感性, 使得提取的特征更加准确.为了降低模型的规模, 在每次进行$ 3\times3 $的卷积之前通过$ 1\times1 $的卷积进行降维, 在保证分割的准确性的情况下减少了参数的数量和计算量.我们分别DRIVE和STARE数据集上对本文提出的方法的可行性进行了验证, 在DRIVE和STARE数据集上的准确率分别达到了96.08 %和97.71 %, $ F $度量分别达到了82.08 %和85.02 %, 通过对分割出的视网膜血管图像进行分析和比较, 本文提出的方法与其他方法相比更具有优势.
-
图 10 DRIVE数据库视网膜血管分割结果比较
Fig. 10 Comparisons of segmentation results on DRIVE database
图 11 STARE数据库视网膜血管分割结果比较
Fig. 11 Comparisons of segmentation results on STARE database
图 12 不同算法的视网膜血管分割局部放大图
Fig. 12 Different methods of partial retinal vessel segmentation
图 13 不同算法的$F$度量性能评价曲线
Fig. 13 Different methods of $F$-measure performance evaluation curve
表 1 模型改进前后分割的结果
Table 1 The segmentation results before and after model improvement
数据集 方法 $F$度量 准确率 DRIVE/STARE U-net 0.8142/0.8373 0.9531/0.9690 GAN+U-net 0.8150/0.8398 0.9583/0.9710 U-net+Residual 0.8149/0.8388 0.9553/0.9700 GAN+U-net+Residual (本文结构) 0.8208/0.8506 0.9608/0.9771 
下载: 导出CSV
表 2 使用瓶颈层前后分割的结果
Table 2 The result of segmentation before and after using the bottleneck layer
数据集 方法 参数 计算量$(GFLOPS)$ $F$度量 准确率 DRIVE/STARE No Bottleneck 19.8 M 183.8 0.8210/0.8504 0.9612/0.9772 Bottleneck 5.2 M 48.5 0.8208/0.8502 0.9608/0.9771
下载: 导出CSV
表 3 DRIVE数据库视网膜血管分割结果
Table 3 Segmentation performance of retinal vessel on the DRIVE database
数据集 方法 年份 $F$度量 灵敏性 特效性 准确率 DRIVE Chen[13] 2014 – 0.7252 0.9798 0.9474 N$^4$-Fields[30] 2014 0.7970 0.8437 0.9743 0.9626 Azzopardi[5] 2015 – 0.7655 0.9704 0.9442 Roychowdhury[12] 2016 – 0.7250 0.9830 0.9520 Liskowsk[14] 2016 – 0.7763 0.9768 0.9495 Qiaoliang Li[12] 2016 – 0.7569 0.9816 0.9527 DRIU[27] 2016 0.6701 0.9696 0.9115 0.9165 HED[28] 2017 0.6400 0.9563 0.9007 0.9054 U-Net[33] 2018 0.8142 0.7537 0.9820 0.9531 Residual U-Net[33] 2018 0.8149 0.7726 0.9820 0.9553 Recurrent U-Net[33] 2018 0.8155 0.7751 0.9816 0.9556 R2U-Net[33] 2018 0.8171 0.7792 0.9813 0.9556 本文方法 2018 0.8208 0.8274 0.9775 0.9608
下载: 导出CSV
表 4 STARE数据库视网膜血管分割结果
Table 4 Segmentation performance of retinal vessel on the STARE database
数据集 方法 年份 $F$度量 灵敏性 特效性 准确率 STARE Marin[31] 2011 – 0.6940 0.9770 0.9520 Fraz[32] 2012 – 0.7548 0.9763 0.9534 Liskowsk[14] 2016 – 0.7867 0.9754 0.9566 Roychowdhury[12] 2016 – 0.7720 0.9730 0.9510 Qiaoliang Li[12] 2016 – 0.7726 0.9844 0.9628 DRIU[27] 2016 0.7385 0.6066 0.9956 0.9499 HED[28] 2017 0.6990 0.5555 0.9955 0.9378 U-Net[33] 2018 0.8373 0.8270 0.9842 0.9690 Residual U-Net[33] 2018 0.8388 0.8203 0.9856 0.9700 Recurrent U-Net[33] 2018 0.8396 0.8108 0.9871 0.9706 R2U-Net[33] 2018 0.8475 0.8298 0.9862 0.9712 本文方法 2018 0.8502 0.8538 0.9878 0.9771
下载: 导出CSV
-
[1] Zhang B, Zhang L, Zhang L, Karray F. Retinal vessel extraction by matched filter with first-order derivative of Gaussian. Computers in Biology and Medicine, 2010, 40(4): 438-445 doi: 10.1016/j.compbiomed.2010.02.008 [2] Jiang X Y, Mojon D. Adaptive local thresholding by verification-based multithreshold probing with application to vessel detection in retinal images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(1): 131-137 doi: 10.1109/TPAMI.2003.1159954 [3] Zana F, Klein J C. Segmentation of vessel-like patterns using mathematical morphology and curvature evaluation. IEEE Transactions on Image Processing, 2001, 10(7): 1010-1019 doi: 10.1109/83.931095 [4] Mehrotra A, Tripathi S, Singh K K, Khandelwal P. Blood vessel extraction for retinal images using morphological operator and KCN clustering. In: Proceedings of the 2014 IEEE International Advance Computing Conference. Gurgaon, India: IEEE, 2014. 1142-1146 [5] Azzopardi G, Strisciuglio N, Vento M, Petkov N. Trainable COSFIRE filters for vessel delineation with application to retinal images. Medical Image Analysis, 2015, 19(1): 46-57 doi: 10.1016/j.media.2014.08.002 [6] Wang Y F, Ji G R, Lin P, Trucco E. Retinal vessel segmentation using multiwavelet kernels and multiscale hierarchical decomposition. Pattern Recognition, 2013, 46(8): 2117-2133 doi: 10.1016/j.patcog.2012.12.014 [7] Guo Z L, Lin P, Ji G R, Wang Y F. Retinal vessel segmentation using a finite element based binary level set method. Inverse Problems and Imaging, 2014, 8(2): 459-473 doi: 10.3934/ipi.2014.8.459 [8] Tolias Y A, Panas S M. A fuzzy vessel tracking algorithm for retinal images based on fuzzy clustering. IEEE Transactions on Medical Imaging, 1998, 17(2): 263-273 doi: 10.1109/42.700738 [9] 王晓红, 赵于前, 廖苗, 邹北骥.基于多尺度2D Gabor小波的视网膜血管自动分割.自动化学报, 2015, 41(5): 970-980 doi: 10.16383/j.aas.2015.c140185Wang Xiao-Hong, Zhao Yu-Qian, Liao Miao, Zou Bei-Ji. Automatic segmentation for retinal vessel based on multi-scale 2D Gabor wavelet. Acta Automatica Sinica, 2015, 41(5): 970-980 doi: 10.16383/j.aas.2015.c140185 [10] 梁礼明, 黄朝林, 石霏, 吴健, 江弘九, 陈新建.融合形状先验的水平集眼底图像血管分割.计算机学报, 2018, 41(7): 1678-1692 https://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201807013.htmLiang Li-Ming, Huang Chao-Lin, Shi Fei, Wu Jian, Jiang Hong-Jiu, Chen Xin-Jian. Retinal vessel segmentation using level set combined with shape priori. Chinese Journal of Computers, 2018, 41(7): 1678-1692 https://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201807013.htm [11] Roychowdhury S, Koozekanani D D, Parhi K K. Blood vessel segmentation of fundus images by major vessel extraction and subimage classification. IEEE Journal of Biomedical and Health Informatics, 2015, 19(3): 1118-1128 [12] Li Q L, Feng B W, Xie L P, Liang P, Zhang H S, Wang T F. A cross-modality learning approach for vessel segmentation in retinal images. IEEE Transactions on Medical Imaging, 2016, 35(1): 109-118 doi: 10.1109/TMI.2015.2457891 [13] Cheng E, Du L, Wu Y, Zhu Y J, Megalooikonomou V, Ling H B. Discriminative vessel segmentation in retinal images by fusing context-aware hybrid features. Machine Vision and Applications, 2014, 25(7): 1779-1792 doi: 10.1007/s00138-014-0638-x [14] Liskowski P, Krawiec K. Segmenting retinal blood vessels with deep neural networks. IEEE Transactions on Medical Imaging, 2016, 35(11): 2369-2380 doi: 10.1109/TMI.2016.2546227 [15] Kingma D P, Welling M. Auto-encoding variational Bayes. arXiv: 1312.6114, 2014 [16] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, WardeFarley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 2672-2680 [17] 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报, 2017, 43(3): 321-332 doi: 10.16383/j.aas.2017.y000003Wang Kun-Feng, Gou Chao, Duan Yan-Jie, Lin Yi-Lun, Zheng Xin-Hu, Wang Fei-Yue. Generative adversarial networks: the state of the art and beyond. Acta Automatica Sinica, 2017, 43(3): 321-332 doi: 10.16383/j.aas.2017.y000003 [18] Hu Y P, Gibson E, Lee L L, Xie W D, Barratt D C, Vercauteren T, et al. Freehand ultrasound image simulation with spatially-conditioned generative adversarial networks. In: Proceedings of Molecular Imaging, Reconstruction and Analysis of Moving Body Organs, and Stroke Imaging and Treatment. Québec, Canada: Springer, 2017. 105-115 [19] Kohl S, Bonekamp D, Schlemmer H P, Yaqubi K, Hohenfellner M, Hadaschik B, et al. Adversarial networks for the detection of aggressive prostate cancer. arXiv: 1702.08014, 2017. [20] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv: 1511.06434, 2015. [21] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation. arXiv preprint arXiv: 1505.04597v1, 2015. [22] He K M, Sun J. Convolutional neural networks at constrained time cost. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, Massachusetts: IEEE, 2015. 5353-5360 [23] Pathak D, Krähenbühl P, Donahue J, Darrell T, Efros A A. Context encoders: feature learning by inpainting. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, Nevada: IEEE, 2016. 2536-2544 [24] Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv: 1502.03167, 2015. [25] Mirza M, Osindero S. Conditional generative adversarial nets. arXiv: 1411.1784, 2014. [26] Staal J, Abrámoff M D, Niemeijer M, Viergever M A, Van Ginneken B. Ridge-based vessel segmentation in color images of the retina. IEEE Transactions on Medical Imaging, 2004, 23(4): 501-509 doi: 10.1109/TMI.2004.825627 [27] Maninis K K, Pont-Tuset J, Arbeláez P, Van Gool L. Deep retinal image understanding. arXiv preprint arXiv: 1609.01103, 2016. [28] Xie S, Tu Z. Holistically-nested edge detection. International Journal of Computer Vision, 2017, 125(1-3): 3-18 doi: 10.1007/s11263-017-1004-z [29] Soares J V B, Leandro J J G, Cesar R M, Jelinek H F, Cree M J. Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification. IEEE Transactions on Medical Imaging, 2006, 25(9): 1214-1222 doi: 10.1109/TMI.2006.879967 [30] Ganin Y, Lempitsky V. $N.4$-fields: neural network nearest neighbor fields for image transforms. arXiv preprint arXiv: 1406.6558, 2014. [31] Marin D, Aquino A, Gegundez-Arias M E, Bravo J M. A new supervised method for blood vessel segmentation in retinal images by using gray-level and moment invariants-based features. IEEE Transactions on Medical Imaging, 2011, 30(1): 146-158 doi: 10.1109/TMI.2010.2064333 [32] Fraz M M, Remagnino P, Hoppe A, Uyyanonvara B, Rudnicka A R, Owen C G, et al. An ensemble classification-based approach applied to retinal blood vessel segmentation. IEEE Transactions on Biomedical Engineering, 2012, 59(9): 2538-2548 doi: 10.1109/TBME.2012.2205687 [33] Alom M Z, Hasan M, Yakopcic C, Taha T M, Asari V K. Recurrent residual convolutional neural network based on U-Net (R2U-Net) for medical image segmentation. arXiv preprint arXiv: 1802.06955, 2018. 期刊类型引用(9)
1. 陈芳，张道强，廖洪恩，赵喆. 基于序列注意力和局部相位引导的骨超声图像分割网络. 自动化学报. 2024(05): 970-979 . 
本站查看2. 崔少国，文浩，张宇楠，唐艺菠，杜兴. 带有注意力机制的OCTA视网膜血管分割方法. 计算机工程与应用. 2023(18): 163-171 . 百度学术3. 侯向丹，牛敬钰，李紫宇，刘洪普. 融合注意力机制和U-Net的视网膜血管分割. 计算机辅助设计与图形学学报. 2023(09): 1383-1394 . 百度学术4. 梁礼明，周珑颂，余洁，陈鑫. 多尺度特征融合双U型视网膜分割算法. 光电子·激光. 2022(03): 272-282 . 百度学术5. 张巍，张筱，万永菁. 基于条件生成对抗网络的书法字笔画分割. 自动化学报. 2022(07): 1861-1868 . 本站查看6. 梁礼明，蓝智敏，盛校棋，谢招犇，刘万蓉. 融合轮廓信息与条件生成对抗的视网膜血管分割. 生物医学工程学杂志. 2021(02): 276-285 . 百度学术7. 李祥霞，谢娴，李彬，尹华，许波，郑心炜. 生成对抗网络在医学图像处理中的应用. 计算机工程与应用. 2021(18): 24-37 . 百度学术8. 侯佩，齐亚莉. 基于深度神经网络的乳腺肿瘤自动区域分割方法. 生物医学工程研究. 2021(03): 241-245 . 百度学术9. 秦菲菲，董昱. 面向列车轮轨接触区域图像分割的生成对抗网络. 电子测量与仪器学报. 2021(11): 154-162 . 百度学术其他类型引用(18)
-
下载:
计量
- 文章访问数: 1514
- HTML全文浏览量: 319
- PDF下载量: 403
- 被引次数: 27
