-
摘要: 针对小样本学习过程中样本数量不足导致的性能下降问题, 基于原型网络(Prototype network, ProtoNet)的小样本学习方法通过实现查询样本与支持样本原型特征间的距离度量, 从而达到很好的分类性能. 然而, 这种方法直接将支持集样本均值视为类原型, 在一定程度上加剧了对样本数量稀少情况下的敏感性. 针对此问题, 提出了基于自适应原型特征类矫正的小样本学习方法(Few-shot learning based on class rectification via adaptive prototype features, CRAPF), 通过自适应生成原型特征来缓解方法对数据细微变化的过度响应, 并同步实现类边界的精细化调整. 首先, 使用卷积神经网络构建自适应原型特征生成模块, 该模块采用非线性映射获取更为稳健的原型特征, 有助于减弱异常值对原型构建的影响; 然后, 通过对原型生成过程的优化, 提升不同类间原型表示的区分度, 进而强化原型特征对类别表征的整体效能; 最后, 在3个广泛使用的基准数据集上的实验结果显示, 该方法提升了小样本学习任务的表现.Abstract: In response to the performance degradation issue from inadequate sample sizes during few-shot learning, prototypical network (ProtoNet)-based few-shot learning methods achieve commendable classification capabilities by measuring the distance metrics between query sample features and the prototype features of support samples. However, this method directly treats the mean of the support set samples as class prototypes, exacerbating sensitivity to scarcity of samples. To address this issue, we propose a few-shot learning method based on class rectification via adaptive prototype features (CRAPF). This method mitigates the model＇s over-responsiveness to minor data variations by adaptively generating prototype features and simultaneously achieves fine-tuned adjustments of class boundaries. First, we construct an adaptive prototype feature generation module using convolutional neural networks. This module leverages nonlinear mappings to obtain more robust prototype features, thereby mitigating the impact of outliers on prototype construction. Second, by optimizing the prototype generation process, we enhance the discriminability of prototype representations across different classes, thus strengthening the overall efficacy of prototype features in class representation. Finally, experiments conducted on three extensively utilized benchmark datasets reveal that this method significantly enhances the performance of few-shot learning tasks.
-
乳腺疾病发病率逐年上升, 并且逐渐趋于年轻化, 这使乳腺癌已成为全球女性发病率最高的癌症之一[1-2]. 至今为止, 诱发乳腺癌的确切致病因素仍尚未完全清楚, 但医学工作者发现不规律的生活习惯、具有乳腺癌家族史以及未生育、初产年龄过晚或未哺乳等因素是致使女性乳腺癌发病率快速增长的主要原因. 虽然乳腺癌的发病率很高, 但实际上乳腺癌也是一种预后性较好的恶性肿瘤, 其预后关键是早发现、早诊断、早治疗, 这对于延长患者生存时间以及提高患者生活质量具有十分重要的意义. 据统计, 西方女性乳腺癌的患病率远高于东方女性. 但自上世纪90年代以来, 许多西方国家的乳腺癌死亡率大大降低, 这得益于对乳腺癌早期筛查意识的不断提高. 乳腺癌早期筛可以及时治疗和控制乳腺癌的发展. 尽管我国乳腺癌的发病率和死亡率低于西方国家, 但我国乳腺癌发病率呈现快速增长的趋势. 因此, 对适龄女性进行科学有效的乳腺癌早期筛查是控制乳腺癌发展和死亡最为有效的方法[3].
目前, 乳腺检查技术主要分为无创检查和有创病理检查两种, 无创乳腺检查包括乳房触诊检查和影像学检查, 当前主要的乳腺影像学检查又可分为超声影像检查(B型超声、彩色多普勒超声和三维超声等)[4]、乳腺X线摄影检查(Mammography)、核磁共振成像检查(MRI)、计算机断层扫描检查(CT)等. 有创的乳腺病理检查则是利用细胞病理学检查和组织病理学检查对乳腺病变良恶性实现最终的确诊. 依据就医成本以及疾病检出的情况来看, 乳腺X线摄影检查是目前最简单且最有效的可发现早期乳腺癌病变特征的检测工具, 已作为常规乳腺检查项目.
乳腺癌早期阶段的临床表现往往不具备典型的症状和体征, 常需要通过对乳腺X线摄影结果来观察乳腺组织中是否存在异常变化.然而，对于变化多样的乳腺异常病变表征，即使是专家也难以第一时间完成对乳腺X线摄影中乳腺组织异常变化情况的准确分析. 又由于以个体为单位的诊断具有主观性, 且每位医生的经验水平也不尽相同, 难以将乳腺病变情况进行统一的标准化分析, 出现漏检和误诊难以避免. 为此, 借助计算机视觉分析技术, 实现基于医学图像的乳腺癌自动分析系统能够在一定程度上减少对医生经验水平的依赖[5]. 这种自动化的乳腺癌分析系统在临床应用中可以为医生提供有效的参考意见, 提高乳腺X线摄影分析的一致性, 已成为医学工作者提升诊断效率的广泛需求. 因此, 运用先进计算机视觉技术对医学图像进行自动分析, 协助医生诊断病情是计算机领域与医学领域共同研究的重点.
乳腺X线摄影可以很好地反映出乳腺组织中存在的异常情况[6-7]. 在临床应用中, 乳腺癌的X线摄影直接征象为钙化和肿块.因此, 检查和分析乳腺组织中出现钙化和肿块的情况是发现乳腺早期病变重要的标志[8]. 在乳腺X线摄影中, 乳腺组织内微小的钙沉积异常表现为高对比度的小亮点, 并以聚簇状方式呈现; 肿块常表现为灰白色的区域, 其形状通常可以描述为椭圆形、不规则或分叶状等, 边界情况通常可以描述为边界清晰、模糊或针状等. 乳腺X线摄影中肿块的形状和边界的描述, 如图 1所示. 肿块由于其大小、形状的多样性, 个体乳腺密度的不同, 使得肿块可能隐藏于在乳腺组织中, 加大了检测难度[9-10].相比较于钙化的检测, 乳腺肿块检测是一项更具有挑战性的任务.
图 1 乳腺肿块((a)~(c)肿块呈现的不同形状, (d)~(f)肿块呈现的不同边界)Fig. 1 Breast mass ((a)~(c) mass presents the different shapes, (d)~(f) mass presents the different margins)本文对近几年所提出的基于全乳腺X线摄影中肿块检测的研究方法和进展情况进行综述. 本文内容安排如下: 第1节介绍基于乳腺X线摄影的计算机辅助检测和诊断系统的基本流程, 并概述基于乳腺X线摄影的肿块检测研究方法. 第2节详细介绍基于传统人工特征设计的乳腺肿块检测与分割方法. 第3节详细介绍基于深度学习的乳腺肿块检测方法. 第4节介绍乳腺X线摄影数据集和乳腺肿块检测方法性能的评估标准, 并列举具有代表性的乳腺肿块检测方法的性能结果. 第5节总结全文并对基于乳腺X线摄影肿块检测的未来发展趋势进行展望.
1. 计算机辅助检测与诊断
发现乳腺中可疑的病变是评估患乳腺癌风险值的第一步, 乳腺X线摄影是对早期乳腺组织异常病变筛查和诊断的有效工具. 目前, 我国依然使用人工筛查的方式对乳腺X线摄影进行分析. 但由于医生的经验水平存在差异、乳腺X线摄影成像不够清晰以及病患自身乳腺组织的密度等综合因素的影响, 使得乳腺X线摄影诊断乳腺疾病存在着一定的局限性, 人工筛查的假阳性率可达10 %~15 %[11], 致使一些未患病的受检者需要再次进行影像诊断, 甚至是组织病理检查, 对身体造成了不必要的创伤[12].
随着科学技术的不断进步, 计算机辅助检测与诊断(Computer aided detection and diagnosis, CAD)已经在过去的几十年中获得医学界极大的关注. CAD通过利用医学图像处理技术以及其他可能的生理、生化手段, 结合计算机技术对医学图像和检验数据进行分析, 实现自动检测病灶区域以及对病灶性质给予合理性分析和预诊断, 辅助医生提高对疾病诊断的准确率. CAD技术的出现可以有效地缓解医生的工作压力, 提高医生诊断的敏感性和特异性[13-14].
图 2是基于乳腺X线摄影的肿块检测的计算机辅助检测与诊断系统框架.其中, 椭圆框中为CAD研究的主要内容: 图像的预处理、可疑区域的检测与定位、特征提取和分类决策. 为更好地呈现出病灶信息, 医学图像需要较大分辨率的支持. 直接对正常图像处理会造成系统运行时间长, 但简单地对图像进行下采样会遗失对病灶的重要信息. 因此对医学图像进行有效地预处理是十分必要的. 在很多基于乳腺X线摄影分析的文献中提到去除图像中的背景、胸肌组织和图像标注信息的预处理方法[15-19], 也有采用直方图均衡化或滤波处理等方式来提高可疑区域与其他组织的对比度, 减少肿块自动检测的后续工作量[20-21]. 检测和定位可疑区域是将预处理后的乳腺X线摄影经过数学化抽样, 对感兴趣(可疑)区域(Region of interest, ROI)的提取是乳腺疾病诊断的关键环节. 对ROI进行特征的设计选择可以有效地学习区别肿块与非肿块的信息. 分类决策的任务是根据上一阶段设计提取的特征, 运用分类器对特征进行分类, 判断感兴趣区域是否存在肿块. 有效的CAD在乳腺密度较高和成像对比度不强等难于检测的情况下, 可有效地协助医生进行诊断, 以便于乳腺疾病的早发现、早治疗.
图 2 乳腺肿块检测的计算机辅助检测与诊断框架Fig. 2 Framework of computer aided detection and diagnosis for mass detection in mammography特定目标/病灶的定位和检测是CAD系统开发和医学图像分析领域中最基本的研究问题之一. 有效的目标/病灶定位和检测对实现特定的生物标记检测以及在临床诊疗中对解剖结构的准确定位均具有十分重要的研究意义和应用价值.据统计, 在乳腺癌患者中有近80 %是以乳腺肿块为首诊[22]. 由于乳腺肿块的大小、形状、外观和密度具有多样性[23], 使得设计实现自动化的乳腺肿块检测仍是基于乳腺X线摄影分析中最重要且最具挑战性的研究问题之一.
传统的乳腺肿块检测常采用图像分割技术, 利用肿块目标的边缘特征、纹理特征、形态学特征、小波变换以及特征匹配等人工特征设计方法, 实现对疑似肿块ROI的特征选择与提取, 结合机器学习方法对ROI是否为肿块实现进一步判断. 基于传统方法的乳腺肿块检测与分割效果的局限性在于人工设计和提取的特征通常针对某种特定特性的肿块具有良好的适应性, 难以有效蕴含变化多样的肿块特征.在实际应用中, 检测模型的泛化力差.
相比于上述传统的乳腺肿块检测与分割方法, 基于深度学习[24]的乳腺肿块检测方法可以学习更具泛化性的特征表示, 以适应在实际诊疗场景中, 对变化多样的乳腺肿块进行检测. 一方面, 神经网络模拟了大脑处理和分析数据的机制, 通过构建具有多个隐藏层的学习模型, 结合大规模的数据样本训练, 实现更具精准表示和更具区分度的特征学习, 有效地提高了预测和分类的精准度. 深度学习可以从数据中学习层次特征间的关系, 适合发掘高维数据中的复杂特征的结构表示, 随着神经网络层数的不断加深, 其对所学习物体的语义抽象能力越强. 另一方面, 目前许多的深度模型算法可以实现端到端的训练, 节省了人工挑选特征的烦恼. 由于深度学习网络具有数量庞大的参数, 使其具有强大的学习能力和特征表示能力, 同时配合大量的训练样本[25], 有利于激活深度网络神经元, 使网络参数可以记忆式地存储与解析乳腺X线摄影中乳腺肿块的多样性特点, 有效地提升了乳腺肿块的检测效果.
表 1提供了已发表的基于乳腺X线摄影相关研究综述论文的简要介绍.相较于表 1中的综述文献[6, 8, 12, 26-30], 本文主要关注近几年来提出基于乳腺X线摄影的乳腺肿块检测研究的思路、方法和进展. 本文从传统的目标检测和深度学习的目标检测两个角度分别对具有代表性的基于全乳腺X线摄影的肿块检测文献进行归纳和总结, 并将基于深度学习的乳腺肿块检测方法分为基于候选框的乳腺肿块检测方法、基于回归的乳腺肿块检测方法、基于弱监督学习的乳腺肿块定位方法和基于全卷积网络的乳腺肿块检测方法4个方面进行详细介绍.
表 1 基于乳腺X线摄影相关研究的综述论文简介Table 1 The introduction of review papers based on mammography综述文献 综述的主要内容 发表时间 Vyborny等[6] 回顾了早期基于乳腺X线摄影的CAD技术发展, 包括图像预处理、乳腺钙化检测、乳腺肿块检测以及乳腺异常状态的良恶性分类.文中从形态学、滤波、模板匹配等方面对乳腺肿块检测方法进行了介绍. 1994年 Cheng等[26] 对乳腺钙化CAD系统中图像增强、钙化检测与分割以及良恶性分类分别进行了介绍. 2003年 Cheng等[27] 对乳腺肿块CAD系统中图像增强、乳腺肿块检测与分割以及良恶性分类分别进行了介绍.文中从阈值分割、统计学方法、区域增长、聚类、边缘检测等具体算法对乳腺肿块的检测与分割进行详细介绍. 2006年 Rangayyan等[28] 从乳腺图像的对比度增强、乳腺钙化检测和分析、乳腺肿块检测和分析、双侧乳腺的不对称分析和乳腺结构扭曲检测5个方面对乳腺X线摄影CAD技术进行较为全面的综述. 文中着重对解决针状和星状病变的肿块检测问题的方法进行总结. 2007年 Elter等[8] 回顾了基于乳腺X线摄影的乳腺钙化和肿块的分割与分类技术.其中, 作者将乳腺肿块的检测与分割方法分为区域增长、轮廓、水平集和动态规划等算法. 2009年 Oliver等[29] 针对乳腺肿块检测与分割的研究进行综述, 分别从单视图和多视图两个角度进行概述.其中, 对基于单视图的乳腺肿块检测方法介绍分为无监督的检测方法(基于区域、轮廓和聚类的目标分割方法)和有监督的检测方法(基于模型的目标分割方法)两种, 对文献进行科学有效的归类. 2010年 He等[30] 总结了基于乳腺X线摄影的乳腺密度和乳腺实质组织自动分割方法, 并利用分割结果对乳腺密度进行分类, 从而进一步对患乳腺癌的风险进行评估.文中并未对于乳腺异常(如: 肿块或钙化等)分析方法进行介绍. 2015年 Hamidinekoo等[12] 对近几年提出的基于深度学习方法实现乳腺X线摄影中乳腺肿块和钙化分析以及乳腺组织病理学图像分析的研究进展进行综述.文中只简要介绍基于深度学习实现的乳腺肿块检测方法, 未进行详细介绍与方法归类. 2018年 2. 基于传统的乳腺肿块检测与分割方法
基于传统方法的乳腺肿块检测技术往往与图像分割紧密相连. 传统的乳腺肿块检测与分割方法的设计思路是对输入的乳腺X线摄影数据中选择疑似乳腺肿块的候选区域, 并对这些可能包含乳腺肿块候选区域使用人工特征设计的方法进行特征提取, 最后使用特定的分类器对提取特征的候选区域进行分类, 即判断候选区域是否为乳腺肿块. 由于乳腺肿块的大小、形状和外观以及乳腺腺体密度具有多样性, 这使传统的乳腺肿块检测与分割方法在实际应用中存在一定的困难. 一些研究表明, 在处理乳腺X线摄影时, 利用图像增强处理技术提高肿块与乳腺正常组织的对比度, 是提升乳腺肿块区域检测与分割效果的关键步骤之一.其中, 基于变换域的图像增强方法常用于提升和改进乳腺肿块检测与分割的效果.
基于变换域的图像增强方法通常利用诸如小波变换等方式, 将原始图像的空间灰度值变换到特殊域. 小波变换在时域和频域具有良好的局部化性质和多尺度特性, 能够在不同尺度上对信号进行分析. Campanini等[31]尝试利用Haar小波编码表示ROI, 结合SVM分类器判断ROI是否为乳腺肿块, 替代了常用的复杂特征表示的乳腺肿块检测方法, 取得了很好的实验效果. Qian等[32]利用多分辨率和多方向的小波变换方法, 改进了肿块检测中特征提取的方式. 同时, Qian等还观察到传统的小波变换不能提取方向信息, 但对于检测毛刺状的乳腺肿块时, 方向信息是至关重要的. 因此, 在后期的一些研究工作中, Gabor滤波也被提出用于提取毛刺状乳腺肿块的方向信息. Zheng[33]提出利用Gabor滤波实现乳腺癌症检测方法(Gabor cancer detection, GCD). GCD使用Gabor滤波器创建了20个Gabor图像, 然后利用这些图像提取一组边缘直方图描述符, 并使用KNN和模糊C-means聚类作为乳腺肿块检测的分类器. Lahmiri等[34]提出了基于Gabor滤波器和离散小波变换(Discrete wavelet transformation, DWT)的乳腺肿块的检测. 该方法首先利用DWT得到HH高频图像; 然后, 在Gabor滤波器的不同频率和空间方向上对高频图像进行滤波, 提取Gabor的统计均值和标准差; 最后, 采用具有多项式核函数的SVM作为ROI的分类器. 基于变换域的图像增强方法可以在一定程度上提高乳腺肿块检测与分割的效果, 但通常只适用于具有一定显著性特征的乳腺肿块检测任务, 在实际通用CAD系统中具有明显的局限性. 然而, 大量的文献表明将图像增强的特征表示和传统经典的通用图像目标检测与分割算法相结合, 可以在医学图像分析领域中取得良好效果.
阈值分割技术是一种经典的基于区域的并行分割算法, 其通过设定不同的特征阈值, 可将图像中的像素点划分为若干类.阈值分割在医学图像领域, 尤其是对肿块、肿瘤性疾病诊断具有较高的应用价值. 因其原理简单、易于实现, 所以一直被广泛应用于乳腺X线摄影的肿块检测与分割任务的研究之中. 阈值分割算法的一般过程如下: 首先对图像进行增强处理, 然后根据像素周围不同大小领域的均值和灰度变化的情况, 自适应地计算局部阈值, 进而判断当前像素是否属于肿块, 实现对乳腺肿块目标的分割.
Kom等[20]提出利用线性变换滤波器增强原始图像中像素的对比度, 通过从原始图像中减去增强后的图像, 得到了肿块分割后的图像, 并利用局部的自适应阈值技术实现乳腺图像中肿块的自动检测. Kozegar等[35]提出利用自适应阈值方法提取乳腺X线摄影中疑似肿块的区域, 然后利用Bagging、AdaBoost和Rotation Forest的组合分类器来降低假阳性的检出率. Vikhe等[16]提出了一种利用伪影抑制技术和形态学操作切除胸肌的方式对乳腺图像进行预处理, 再利用分段的线性算子与小波变换对预处理的图像进行去噪和增强, 最后利用自适应阈值技术将肿块从背景中分离出来, 实现了乳腺肿块检测目的. 基于全局阈值和局部阈值组合的分割方法也被证明可以有效地提高乳腺肿块的检测效果. Hu等[36]提出了对可疑肿块病变的多分辨率自适应阈值检测方法. 该方法采用自适应全局阈值和局部阈值相结合的策略对乳腺X线摄影进行多分辨率表示. Anitha等[37]提出利用全局阈值和局部阈值的双级自适应阈值(Dual stage adaptive thresholding, DuSAT)自动检测乳腺X线摄影中的肿块. 阈值分割技术往往只考虑像素本身的灰度值, 缺乏对空间特征的考虑. 因此, 在实际CAD应用中, 阈值分割技术通常还要与其他分割方法结合使用, 才能获得更好的肿块检测结果.
模板匹配作为另一种基于区域分析的目标检测技术也被广泛用于乳腺肿块的检测任务之中. 模板匹配是一种基于先验知识的目标检测算法, 依据ROI与肿块和正常乳腺组织间的相似度作为疑似乳腺肿块检测结果的判断依据. 该算法的一般过程如下: 首先, 构建由乳腺肿块ROI和正常乳腺组织ROI所组成的模板数据库; 然后, 对待检测的乳腺X线摄影以划动窗方式提取的ROI区域与模板库中的(一组)模板进行相似性度量; 依据计算所得的相似度得分, 对整个乳腺X线摄影中各个疑似乳腺肿块的区域进行评估, 达到乳腺肿块的检测目的.
Tourassi等[38]提取已知数据库中所标记肿块的真实ROI和正常乳腺组织ROI作为模板库, 利用交互信息量作为模板匹配的相似性度量方法, 确定待检测的乳腺X线摄影中的ROI是否为肿块, 从而实现对乳腺X线摄影中乳腺肿块的检测. Mazurowski等[39]提出了一种基于随机变异爬山(Random mutation hill climbing, RMHC)的智能模板选择方案, 结合以交互信息量相似性为度量的模板匹配算法, 实现对乳腺X线摄影中乳腺肿块的检测, 并将该系统移用于数字乳腺断层摄影(Digital breast tomosynthesis, DBT)的肿块检测, 同样取得了良好的检测效果. 模板匹配的优点在于其思路和实现方法相对简单, 不需要设计复杂的特征提取方案, 也不需要对乳腺组织进行分割. 从文献中可以看出, 许多用于乳腺肿块检测的模板匹配算法是依赖于获取待匹配像素与模板像素间的强度概率分布统计关系, 相比较于其他肿块检测算法具有跨设备平台兼容的优点. 然而, 模板匹配的缺点在于需要大量的异常和正常组织的模板, 科学的筛选有效模板是待解决的重要问题, 同时以划动窗方式对待检测的全乳腺X线摄影提取ROI进行比较, 会大大增加对异常检测的计算成本与开销.
在大多数情况下, 乳腺肿块检测技术采用图像增强和滤波技术[20, 40], 提取ROI大小、形状、边缘、方向和纹理等信息. 为了进一步提高检测效率和准确度, 基于特定医学理论知识的形态学特征模型方法也被提出用于解决乳腺肿块的检测任务. 该方法根据乳腺肿块的相关临床观察特点和诊断经验, 提出对乳腺肿块在乳腺X线摄影中呈现形态的假设, 并设计相应的计算机解决方案. Eltonsy等[41]通过观察分析认为乳腺肿块的生长破坏了正常的乳腺实质结构, 使肿块具有明显的焦点区域, 同时乳腺肿块周围区域形成连续的同心圆层, 每一层都是具有相似灰度值像素的特点, 从而提出利用同心圆层的形态学模型对肿块进行检测. Gao等[42]则尝试运用形态学分量分析的方法, 将乳腺X线摄影图像分解为分段平滑分量和纹理分量, 提取分段平滑分量, 可以有效地抑制乳腺结构中的血管、腺组织、噪声等干扰, 并改进了同心层标准来检测图像中的肿块, 实现对隐藏在乳腺组织中对比度低的肿块的检测. Wang等[43]在格式塔视觉理论的启发下, 利用人类的视觉特点和形态学方法对乳腺X线摄影实现自底向上和由上而下处理方法完成对乳腺肿块的检测任务. 此类方法可以很好地结合医学知识和计算机技术, 但基于特定医学理论知识的形态学特征模型设计通常具有高复杂性的多参数特点, 使得对模型中关键参数的选择和优化存在巨大的困难.
除了上述提出的乳腺肿块检测与分割方法, 基于聚类算法、图论以及不同分割技术的组合方法也被大量的应用于乳腺X线摄影的肿块检测研究中. Hamissi等[18]提出使用K-means聚类分割和决策树分类算法现实对乳腺肿块的检测. Saidin等[44]利用Graph Cuts对乳房中稠密的腺体和肿块实现了精准分割. Min等[45]则提出利用多尺度形态学滤波和聚类分割方法的组合有效地提取ROI, 并利用级联的随机森林对提取的ROI进行分类. Chu等[13]提出的CAD方案首先运用形态学对图像进行增强, 然后采用简单的线性迭代聚类(Simple linear iterative clustering, SLIC)方法对疑似肿块与背景组织进行分割, 再用水平集算法对分割的该区域进行重构, 最后使用SVM分类器判断该区域是否为肿块. Makandar等[46]将分水岭、形态学操作和活动轮廓三种分割技术相结合实现了乳腺肿块的分割.
总的说来, 基于传统人工特征设计的乳腺肿块检测与分割方法均是以提取丰富、准确特征为前提, 不需要复杂的训练过程, 就能快速地实现特征计算和结果预测, 具有较强的可解释性. 但传统的乳腺肿块检测与分割方法还存在如下问题: 首先, 传统的乳腺肿块检测与分割方法对于ROI特征的提取只局限于浅层特征, 对于不同密度的乳腺组织会产生大量不确定信息, 使得检测算法的复杂度增加. 其次, 传统的乳腺肿块检测与分割方法是利用人工特征设计的方式来提取目标图像的特征, 一般是提取ROI的边缘、形状、亮度等特征. 因此, 传统的乳腺肿块检测与分割方法往往只可以较好地处理和检测具有上述某一种或是几种显著性特征的乳腺肿块, 但对实际中变化多样的乳腺肿块特征的表示不具备良好的鲁棒性, 检测模型的泛化能力很差. 虽然, 也有传统乳腺肿块检测方法提出设计通用的肿块参数来实现对乳腺肿块的检测, 但对于个体乳房腺体密度的差异性和肿块大小、形状多变, 使得具有复杂参数的肿块检测模型, 既难以拟合各种病例特点, 又降低了对具有显著特征的乳腺肿块检测的敏感性, 增加了误诊率. 采用组合分割方法实现的乳腺肿块检测相比其他传统的乳腺肿块检测与分割方法在检测精度上可以取得更好的效果, 结合多种特征可以更好地拟合乳腺肿块的特点. 但组合分割的算法复杂度往往很高, 还易出现过度检测的情况. 因此, 基于传统的乳腺肿块检测与分割方法在实际医疗诊断的CAD中应用效果差强人意. 表 2为本文对部分传统的乳腺肿块检测与分割方法的总结.
表 2 基于传统的乳腺肿块检测与分割方法总结Table 2 Summary of traditional methods for mass detection and segmentation in mammography方法名称 解决问题 优点 缺点 基于图像增强 乳腺肿块呈现的形态各异, 直接提取图像的低层特征难以区分肿块与正常组织 可以提高肿块与乳腺正常组织对比度, 是提升乳腺肿块区域的检测与分割效果的关键 适用于具有一定显著性特征的乳腺肿块检测任务, 需与传统经典检测与分割算法相结合 基于阈值分割 经典的图像分割方法, 广泛应用于医学图像分析 适用于肿块、肿瘤性疾病特点; 计算简单; 运算效率高 只考虑像素本身的灰度值, 缺乏对空间特征的考虑 基于模板匹配 人工设计的检测模型泛化能力很有限, 对特征形态各异的肿块没有很好的鲁棒性特征表示 思路和实现方法相对简单, 不需要设计复杂的特征提取方案, 也不需要对乳腺组织进行细致分割 需要特征丰富的组织模板; 计算成本高、时间开销大 基于特定医学理论知识的形态学特征模型 有效利用乳腺肿块的相关临床观察特点和诊断经验, 提出对乳腺肿块形态特征假设 将医学知识和计算机技术有效结合, 更科学、更准确地提出目标病灶处理方案 模型设计通常具有高复杂性的多参数特点; 选择和优化模型中参数存在困难 组合分割 利用不同分割技术, 弥补各种分割方法自身局限性 结合多种特征可以更好地拟合乳腺肿块的特点 算法的复杂度往往很高, 还易出现过度检测的情况 3. 基于深度学习的乳腺肿块检测方法
深度学习在计算机视觉领域研究中取得了重要突破[47-50], 激励了国内外许多学者将深度学习方法应用于医学图像分析领域的研究. 深度学习与传统机器学习方法的最大不同在于其特征表示是从大量数据中自动学习得到的, 通过构建具有多个分层结构的学习模型, 从大量的训练数据中逐步提取由低层边缘等特征到高层的抽象语义特征, 学习获得具有区分性的目标表示特征.卷积神经网络(Convolutional neural network, CNN)作为深度学习中广泛应用的模型之一, 在一些医学图像分析应用中取得的效果已经超越了传统方法[51-52]. 早在20世纪90年代, CNN在肺结节检测[53]和乳腺X线摄影钙化检测[54]研究中取得了一定成果. Sahiner等[55]首次提取利用包含一个输入层、两个隐藏层和一个输出层构成的CNN网络, 结合反向传播算法更新CNN权值参数实现对人工标注的乳腺肿块区域和乳腺正常组织区域的分类. 本文整理了从2015年至2018年利用深度学习方法探究基于乳腺X线摄影中肿块检测任务的相关文献. 根据文献中使用的不同目标检测策略, 文本将基于深度学习实现乳腺X线摄影中肿块检测方法归纳为如下4种: 基于候选框的乳腺肿块检测方法、基于回归的乳腺肿块检测方法、基于弱监督学习的乳腺肿块定位方法和基于全卷积网络的乳腺肿块检测方法.
3.1 基于候选框的乳腺肿块检测方法
基于候选框的目标检测方法首先需要在检测图像上生成大量的候选框区域, 然后对所产生的候选框逐一进行分类判断并回归目标候选框位置, 最终得到包含目标物体的检测框和对应类别的置信度. R-CNN[56]利用选择性搜索算法[57]获得2 000多个候选框区域, 再将候选框区域归一化为统一大小, 输入到CNN网络中学习候选框的特征, 最后利用SVM对特征进行分类及回归微调定位框.然而R-CNN存在十分显著的缺点, R-CNN框架需要对每一张待检测图像产生的2 000多个候选区域分别做CNN的特征提取操作, 这一过程需要大量的存储空间和长时间的运算. Faster R-CNN[58]提出利用RPN (Region proposal networks)产生候选区域实现端到端的目标检测深度网络结构, 图 3为Faster R-CNN中RPN结构示意图.随后, Faster R-CNN检测框架对RPN产生的候选区域使用与Fast R-CNN[59]相同的处理方式, 即引入多任务损失函数实现对目标的分类和Bounding Box的精确回归.相比之前提出基于候选框的目标检测方法, Faster R-CNN框架无论在目标检测的速度方面还是精度方面均有较大的提升.基于Faster R-CNN框架实现乳腺肿块的检测和分类的示意图, 如图 4所示.
图 4 Faster R-CNN框架实现乳腺肿块的检测和分类Fig. 4 Faster R-CNN framework for detection and classification of mass in mammography近几年, 基于候选框的目标检测方法是实现乳腺X线摄影肿块检测的研究热点. 2015年, Dhungel等[60]就依据R-CNN检测框架的思路, 提出一种乳腺肿块自动检测框架. 他们首先利用多尺度的深度置信网络(Multi-scale deep belief nets, m-DBN)与高斯混合模型(Gaussian mixture model, GMM)分类器相结合, 选择所有潜在乳腺肿块的可疑区域; 然后将产生的候选框输入到级联的R-CNN网络, 对选择提取的ROI进行特征表示; 最后利用两个级联随机森林对ROI进行判断, 可有效减少假阳性区域的检出率. Dhungel等[61]于2017年又提出一种综合了检测、分割和分类技术的乳腺肿块分析系统框架.其中对于检测部分, Dhungel等在其先前的工作基础之上, 提出利用贝叶斯优化[62]来改进级联R-CNN的候选框选择方案, 使检测获得的目标边界框更加精确地对准于乳腺X线摄影数据中肿块区域标注的真实值.
Akselrod-Ballin团队在2016至2017年期间针对Faster R-CNN框架分别实现了对乳腺X线摄影中肿块的检测和肿块的良性/恶性分类任务[17]以及对乳腺X线摄影中肿块和钙化物的检测和分类任务[63]. 在Akselrod-Ballin等的工作中, 首先采用了图像预处理的方式, 去除了乳腺X线摄影中的背景和胸肌组织区域, 并提取了乳腺纤维腺体组织[64], 增加了乳腺X线摄影中异常区域与正常组织的对比度; 然后, Akselrod-Ballin等将经过预处理的乳腺数据图像划分为多个重叠的子图像, 利用这些子图像训练Faster R-CNN框架的乳腺肿块检测模型; 该方法在测试阶段, 将整张图像划分为多个子图, 再依次输入网络进行检测, 然后将这些子图像的检测结果整合并输出最终的检测和分类结果. Akselrod-Ballin等同时还提出在Faster R-CNN框架中构建多级特征融合, 将低层的颜色、纹理特征与高层的语义特征相结合, 提供了更加丰富的特征表达, 从而不仅提升了检测算法的敏感度, 还减少了假阳性的检测率.
Ribli等[65]利用迁移学习的策略, 在ImageNet数据集[66]上初始化训练的VGG16[67]网络参数, 并结合Faster R-CNN目标检测框架取得了2017年乳腺X线摄影DREAM挑战(The Digital Mammography DREAM Challenge)[68]的第二名.
Kisilev等[69]在Faster R-CNN框架上实现了端到端的多任务网络结构, 用于诊断乳腺X线摄影中病灶区域位置和其相对应的病变类型特征的语义描述. 该方法首先利用RPN对乳腺X线摄影中可疑区域生成矩形候选框, 并对所产生候选框的置信度进行排序, 将置信度最高的候选框作为后续多属性分类网络结构的输入, 训练生成对应候选框的病变类型特征的语义描述. 该方法利用联合的多任务损失训练方法替代原始Faster R-CNN中目标单一的分类任务, 实现对病灶的形状, 边界和稠密度特征的语义性描述识别, 更有利于医生对病变特征的理解和诊断.
上述研究对乳腺X线摄影数据采用尺寸归一化或将整张图像划分子区域的预处理方式, 便于输入具有固定大小的CNN网络. 目前, 大部分CNN网络规定的输入图像数据的大小一般小于乳腺X线摄影数据, 直接对乳腺X线摄影数据进行下采样调整图像大小, 将不利于小肿块的检测. 因此, Wu等[70]提出了基于Faster R-CNN框架改进的全尺寸乳腺X线摄影的自动检测肿块区域框架(Automatic mass detection framework with Region-based CNN, AMDR-CNN). AMDR-CNN采用分层候选肿块区域生成方法, 既减少了待处理数据量, 又提高了肿块检测的准确性.同时, 在AMDR-CNN中所有的操作都是直接在原始图像进行的, 解决了传统算法由于图像的缩放而造成的细节信息丢失的缺点. 为了更好地结合乳腺X线摄影体积大、肿块小的特点, AMDR-CNN采用更深的Inception_ResNet_V2网络结构[71]来训练并实现乳腺肿块区域的检测.
3.2 基于回归的乳腺肿块检测方法
从R-CNN到Faster R-CNN, 目标检测自始至终遵循着"候选框+分类"的方法. 虽然, 候选框选择的方法不断的被优化, 训练和检测的速度不断的提升. 但由于对两个以上的模型进行训练会增加开销, 同时网络中的参数数量也会增加, 难以实现在速度上的突破. 除此之外, 在基于候选框的目标检测方法中, 候选框提取方法只提取了ROI的局部信息, 忽视引入全局的上下文信息, 对易混淆的目标区分性较差, 假阳性检测率高. 基于回归的目标检测方法的提出可以弥补基于候选框的目标检测方法的缺陷, 其核心思想在于将目标检测任务转化为回归问题, 大大加快了检测速度. 基于回归的目标检测方法是对整张图像使用"Single Stage"的方式进行目标检测, 即经过单次检测可直接在图像中得到目标的位置坐标值和类别概率, 无需生成和选择候选区域. 另外, 基于回归的目标检测方法是在预测目标框位置时使用图像的全局信息, 充分结合了图像上下文, 使得假阳性检测比例大幅降低, 这对于提高医学图像病灶的检测精度十分有帮助. Al-masni等[72-73]提出利用YOLO框架[74]实现对乳腺X线摄影中肿块的检测和分类任务, 如图 5所示. YOLO框架是将输入CNN的图像分为S${\times}$S个网格, 并规定如果目标落在网格中, 则对应网格负责该目标的检测. 在YOLO框架中, 需要一次性完成对每个网格所含目标的区域边界框、置信度以及类别概率的预测.
3.3 基于弱监督学习的乳腺肿块定位方法
基于弱监督学习的目标定位方法(Weakly supervised object localization)[75-76]是指在模型的训练过程中, 输入的图像数据只具有图像中目标类别的注释信息, 并不具备目标的矩形框位置的标注信息. 与第3.1节和第3.2节中介绍的目标检测方法相比, 弱监督学习在训练时可用的信息更少. 尤其是在训练深层神经网络时, 往往需要大规模标注数据的支持. 对于医学图像中异常组织的标注, 需要专业医师的反复观察, 这使得大规模的人工标注代价十分巨大, 也会引入标注者的主观信息, 出现错误标注等情况.弱监督学习可以有效地解决上述问题. 基于CNN的弱监督学习的目标定位方法利用CNN在图像分类任务中能够识别出目标在对应输入图像中的响应映射, 并反映出目标在图像中的位置信息. 从网络结构上来说, 弱监督学习的目标定位网络在原始的CNN分类任务的基础上, 利用Global Pooling结构[77]替代全连接层(Fully connected layer)保留了目标的显著特征, 使得目标对象通过检查其类别所对应的激活映射区域轻松定位目标, 从而实现目标的检测. 但基于弱监督学习的目标定位相比基于候选框的乳腺肿块检测和基于回归的乳腺肿块检测, 从网络整体的结构设计、模型训练以及目标函数优化方面都增加了不小的难度. 尤其是基于弱监督学习的目标定位方法属于多实例学习问题, 其主要难点在于如何优化目标函数, 使其避免陷入局部最优解, 从而得到更加准确的目标检测区域.
Hwang等[78]考虑到医学图像与普通图像之间的相关性甚小, 提出了一种基于自迁移学习(Self-transfer learning, STL)的弱监督学习目标定位CNN框架, 如图 6所示. 利用STL结构替代了在通用数据集上进行预训练的方式来初始化网络模型参数的方法, 完成了对CNN自身参数的初始化与更新. STL的网络结构由参数共享的卷积层、分类任务层和定位任务层所组成.在一个CNN框架中实现对目标分类器和定位器的共同学习, 利用分类器和定位器的加权损失作为整体网络参数调整的目标函数, 随着训练的进行, 再不断增加分类器与定位器的训练比重, 这可以有效地防止在前期训练时, 因错误的分类学习使得定位器陷入局部最优. 通过对胸部X线摄影和乳腺X线摄影数据实验结果可以看出, STL框架既不需要任何位置信息, 也不需要预先训练好的模型, 就可以利用CNN结构对病灶区域实现精准的定位.
3.4 基于全卷积网络的乳腺肿块检测方法
全卷积网络(Fully convolutional network, FCN)主要用于实现图像中目标的语义分割任务[49]. FCN将传统CNN网络后面的全连接层换成了卷积层, 这使得网络输出不再是类别结果而是该类别在图像中所响应区域位置, 依据这一信息也可以实现对乳腺肿块的定位. 同时, FCN不需要固定输入数据的尺寸, 可以对全尺寸的乳腺X线摄影数据直接进行特征提取, 与其他检测方法相比, 减少了数据下采样对小肿块的影响, 提高对肿块的检测精度, 如图 7所示.
图 7 FCN框架实现乳腺肿块的检测与分割Fig. 7 FCN framework for detection and segmentation of mass in mammographyCastro等[79]利用FCN的特点实现了乳腺肿块的检测. 首先, 利用预先提取的肿块ROI和非肿块ROI, 通过对CNN进行分类任务的训练来调整网络的参数; 然后, 再将CNN中全连接层转换为FCN, 对全乳腺X线摄影实现一次前向分类, 并以滑动窗口的方式输出与分类器筛选结果相同的ROI作为该方法的肿块检测结果. Castro等考虑到乳房组织在每次接受乳腺X线摄影检查时, 其接触的位置和受压的力度、拉伸的效果均会略有不同. 这使得同一个乳房在两次不同的检查过程中所呈现出的外观可能不一致, 但这种变化不会影响病变组织的诊断. 因此, 他们提出利用弹性形变操作[80], 结合乳房具有弹性形变的特点合成新的数据, 增加了训练样本, 如图 8所示. 值得一提的是, 基于弹性变形的乳腺数据扩充改变了传统的数据增强方式, 可以有效地模拟出乳腺X线摄影中乳房整体的变形状态. 这对于属于小样本数据集的乳腺X线摄影研究具有十分重要的应用价值.
在FCN提出不久之后, U-Net被提出用于医学图像的目标分割[81]. U-Net主要包括收缩和扩展两条路径, 如图 9所示. 收缩路径主要是用来捕捉图像中的上下文信息, 而扩展路径则是为了对图像中所需要分割出来的部分进行精准定位. De Moor等[82]提出改进的U-Net网络用于全乳腺X线摄影数据中软组织病变的自动检测与分割.
图 9 U-Net框架实现乳腺肿块的检测与分割Fig. 9 U-Net framework for detection and segmentation of mass in mammography综上所述, 基于深度学习的乳腺肿块检测方法通过模拟人脑抽象和迭代过程, 获得对乳腺X线摄影数据中肿块区域和正常组织区域图像的具有可分性的表示特征. 深度神经网络可以从输入的原始像素中学习得到乳腺肿块局部的边缘和纹理等低层特征, 结合各种滤波器组合的中间层特征, 得到不断抽象的高层语义特征, 从而描述ROI的全局特征信息.基于深度学习的乳腺肿块检测方法既降低了人工设计特征的负担, 又可以得到从原始输入到高层语义的有效特征表达. 另外, 在乳腺X线摄影中, 由于个体乳房腺体密度的差异性和肿块大小、形状的多样性, 这些判断肿块区域的特征往往以非线性方式组合. 深度学习恰恰可以通过多层非线性映射将乳腺X线摄影中呈现的乳腺肿块特性之间的关联性降低, 利用不同神经元代表不同特性, 使其变成简单的线性关系, 提升检测效果.
虽然, 深度学习具有良好的特征表现能力, 但基于深度学习的乳腺肿块检测方法也存如下问题: 首先, 很多算法是通过增加网络的深度以及网络的复杂度, 提高神经网络的非线性表达能力. 但这种方式也增加了神经网络的参数, 同时目前可用的有标注的乳腺X线摄影数据量十分有限, 复杂的网络模型在训练时也会难以优化. 其次, 通过设计复杂的网络监督学习过程, 使其更好地拟合多样化的乳腺肿块特性, 从而获得更具备泛化能力的特征表达形式.然而这种改进方式同时也增加了对神经网络的训练难度, 不适当的任务学习分配也会使得训练模型难以收敛.
从目前已发表的相关文献可知, 基于候选框的目标检测方法是最先用于分析乳腺X线摄影中肿块检测问题的深度学习方法, 也是目前研究最为广泛的深度学习目标检测方法. 相较于其他乳腺肿块检测方法, 基于候选框的乳腺肿块检测可以更具有针对性的提取候选框, 结合CNN强大的特征表示对提取候选框进行精确的分类. 但基于候选框的乳腺肿块检测方法缺少全局上下文信息, 使得候选框内的一些细节信息在网络前向传播过程中丢失, 假阳性检测率高. 此外, 基于候选框的乳腺肿块检测在运算速度上也稍有逊色.基于回归的乳腺肿块检测方法可以更好地解决基于候选框的乳腺肿块检测中的问题, 利用基于全局上下文信息实现更快速的肿块定位. 但在实际应用中发现, 基于回归的目标检测方法对于小目标的检测不敏感, 通过神经网络学到的物体特征不够精细, 容易出现漏检的情况. 因此, 基于回归的目标检测方法对基于全乳腺X线摄影中小肿块目标的检测存在局限性. 基于弱监督学习的乳腺肿块标定位和基于全卷积网络的乳腺肿块检测是利用CNN在图像分类任务中, 肿块目标在图像上有强响应映射, 实现对乳腺肿块的定位, 为乳腺肿块检测提供新思路. 基于弱监督学习的乳腺肿块标定位优点在于不需要具有精准的区域标注数据, 可以有效减少医学标注数据少以及标注不准确的问题, 其难度在于如何设计有效的神经网络结构、如何有效地优化目标函数和如何高效地训练模型.基于全卷积网络的乳腺肿块检测与输入数据尺寸大小无关, 适合处理全尺寸乳腺X线摄影数据, 更易检测到细小的肿块目标, 同时该方法也具有存储开销大, 计算效率低下等待优化的问题.表 3为本文对基于深度学习的乳腺肿块检测方法的总结.
表 3 基于深度学习的乳腺肿块检测方法总结Table 3 Summary of deep learning methods for mass detection in mammography方法名称 解决问题 优点 缺点 基于候选框的乳腺肿块检测 传统的乳腺肿块检测与分割方法局限于浅层特征, 缺少鲁棒性表达 利用候选框方法提取ROI, 结合深度学习特征提取, 在目标检测精度上具有优势 忽视引入全局信息, 使易混淆的目标区分性较差; 检测速度慢 基于回归的乳腺肿块检测 基于候选框的乳腺肿块检测效率慢, 缺少图像全局信息, 不利于医学图像病灶的检测 将检测任务转化为回归问题, 加快了检测速度; 引入图像的全局信息, 降低假阳性检测比例 对乳腺X线摄影中小肿块目标不敏感, 易漏检 基于弱监督学习的乳腺肿块定位 医学图像需要专业医生标注肿块真实的ROI, 获取大量标注的医学数据存在困难 训练数据仅为图像中目标类别的注释信息, 不需要具有精准的ROI标注, 减少医学图像数据标注成本 网络结构设计、模型训练以及目标函数优化的难度增加 基于全卷积网络的乳腺肿块检测 对乳腺X线摄影数据进行下采样调整图像大小, 将不利于捕获小肿块特征, 易出现漏检 与输入数据尺寸大小无关, 适合处理全尺寸乳腺X线摄影数据, 更易检测出细小的肿块目标 存储开销大; 计算效率低下 4. 数据集及性能比较
表 4提供了目前使用较为广泛的乳腺X线摄影数据集及相关参数. 在乳腺X线摄影数据集中, 通常对每位患者采集包含左右乳房的头足位(CC)和侧斜位(MLO)两个不同角度的4幅乳腺图像. 每张乳腺图像需要多名放射科医生经过反复确诊才能得到诸如病灶的总数、编号、类型、形状、边缘、BI-RADS等级[88]、病灶区域位置以及经过组织病理检查后的诊断结果等信息.
表 4 常用乳腺X线摄影数据集及相关参数Table 4 Popular mammography datasets and their relevant parameters数据集名称 病例数量 图片数量 视角 异常种类 BI-RADS 标注方式 发布时间 DDSM[83] 2 605 10 420 MLO, CC 所有种类 有 ROI轮廓点 1999年 MIAS[84] 161 322 MLO 所有种类 无 ROI中心和半径 2003年 BancoWeb 320 1 473 MLO, CC 所有种类 有 只有部分数据 2010年 LAPIMO [85] 标注ROI INBreast[86] 115 410 MLO, CC 肿块、钙化、扭曲、不对称 有 ROI轮廓点 2011年 BCDR-FM[87] 1 010 3 703 MLO, CC 所有种类 有 医生观察到的病灶轮廓、异常和预计算图像描述符 2012年 BCDR-DM 724 3 612 在医学图像分析研究中, 一位病患的医学影像数据中可能存在不止一个病变区域. 虽然, 传统的ROC分析方法可以有效的分析和准确地呈现出算法的敏感性与特异性之间的关系, 但ROC不能有效地解决对每幅图像中存在的多个异常结果进行评估的问题. FROC (Free-response operating characteristic curve)允许对每幅图像中存在的任意异常检测结果进行有效评估. FROC分析通常用于对医学图像中病灶区域检测和定位算法的性能评估. 在衡量乳腺肿块检测算法的性能时, 也常采用FROC作为检测算法性能的评估标准.
在乳腺X线摄影肿块检测的研究中, FROC是以敏感性(True positive rate, TPR) 为纵坐标, 平均每幅图像的假阳性区域个数(False positives per image, FPI)为横坐标.图 10为本文所列举在INBreast数据集上使用FROC表示5种乳腺肿块检测算法性能的示意图. TPR表示为检测出的肿块区域个数占数据集中真实标注的肿块区域个数的比例, TPR定义如下:
$$ \begin{align*} {\rm TPR }= \frac{\mbox{检测出为肿块区域的个数}}{\mbox{数据集中真实标注的肿块区域个数}} \end{align*} $$ (1) 假阳性区域表示为检测出为肿块区域, 但实际上是正常组织区域, FPI定义如下:
$$ \begin{align*} {\rm FPI }= \frac{\mbox{假阳性区域个数}}{\mbox{图片的数量}} \end{align*} $$ (2) 本文在DDSM数据集和INBreast数据集上对基于传统的乳腺肿块检测与分割方法和基于深度学习的乳腺肿块检测方法的性能展开比较和分析, 并列举近几年具有代表性的乳腺肿块检测文献算法性能的实验结果.其中, 对基于传统的乳腺肿块检测与分割方法列举了Kozegar等[35]提出的基于自适应阈值的乳腺肿块检测与分割方法、Min等[45]提出的多尺度形态学滤波和聚类分割技术相结合的乳腺肿块检测与分割方法, 以及Wang等[43]提出的基于特定医学理论知识的形态学特征的乳腺肿块检测与分割方法. 对基于深度学习的乳腺肿块检测方法列举了Dhungel等[60]最早提出利用R-CNN实现乳腺肿块检测的方法、Akselrod-Ballin等[63]提出利用Faster R-CNN实现乳腺肿块检测的方法、Al-masni等[72]利用YOLO实现乳腺肿块检测的方法, 以及近期由Wu等[70]提出的基于全尺寸乳腺X线摄影的乳腺肿块自动检测方法和Castro等[79]提出的基于FCN的乳腺肿块自动检测方法.
通过表 5中TPR和FPI数值可以看出, 基于传统的乳腺肿块检测与分割方法具有丰富的先验知识, 依据乳腺肿块的形状等特点, 有针对性地设计肿块区域特征, 在小样本的乳腺X线摄影数据集上其TPR的取值接近于深度学习方法的性能. 但基于深度学习的乳腺肿块检测方法可以在保证检测算法敏感性的同时, 又大幅度降低了FPI. 总体来说, 基于深度学习的乳腺肿块检测方法在一定程度上可以为放射科医生提供更具准确性的参考意见.
表 5 乳腺X线摄影数据集上乳腺肿块检测方法的性能对比Table 5 Comparison of state-of-the-art mass detection methods on mammography datasets数据集 方法 传统/深度 TPR FPI 发表时间 DDSM Dhungel等[60] 深度 75 % 4.8 2015年 70 % 4 Al-masni等[72] 深度 99 % 0.22 2018年 Wu等[70] 深度 81 % 1.1 2018年 Castro等[79] 深度 60 % 1.864 2018年 Min等[45] 传统 77 % 3.97 2017年 Wang等[43] 传统 94 % 2.11 2018年 INBreast Dhungel等[60] 深度 96${\pm}$3 % 1.2 2015年 87${\pm}$14 % 0.8 Akselrod-Ballin等[63] 深度 93 % 0.56 2017年 Wu等[70] 深度 88 % 0.75 2018年 Castro等[79] 深度 80 % 0.912 2018年 Kozegar等[35] 传统 87 % 3.67 2013年 Min等[45] 传统 94 % 1.99 2017年 5. 总结与展望
基于医学图像的数据分析是计算机领域和医学领域共同的研究重点, 具有重要的理论研究意义和良好的应用前景. 其中, 病灶目标定位和检测已成为CAD系统开发和医学图像分析研究领域中最基本的研究问题之一. 总的来说, 乳腺X线摄影中肿块检测的研究还处于探索阶段. 本文对近几年提出的基于全乳腺X线摄影中肿块检测方法分别从基于传统的乳腺肿块检测与分割和基于深度学习的乳腺肿块检测两个方面进行了归纳和总结:
1) 早期基于传统的乳腺肿块检测方法利用提取图像的低层特征, 难以完成对比度较低的肿块检测. 因此, 基于图像增强、阈值分割、模板匹配、特定医学理论知识以及其他目标检测与分割的方法也被提出用于乳腺肿块检测的任务之中, 丰富了对乳腺肿块特征的描述.但传统人工设计的乳腺肿块特征表示方法的局限性在于检测算法的鲁棒性不强, 检测模型的泛化能力较差, 往往只适用具有某一种或几种显著性特征的肿块检测, 难以涵盖变化多样的乳腺肿块特征. 同时, 对致密性腺体的乳房进行肿块检测时, 也会出现较高的假阳性比例, 甚至会出现对病灶区域过度检测等情况.
2) 自从卷积神经网络在计算机视觉处理中取得了成功以来, 深度网络也备受医学界的青睐, 其在医学图像分析的多个领域也取得了突破性进展. 深度网络利用了多层次结构, 自动地从数据中学习并更新网络中数量庞大的神经元参数, 使其具有强大的学习能力和特征表现能力.同时, 在目标检测的精准度方面, 深度学习方法与传统方法相比具有十分明显的优势.大多数的深度模型算法可以实现端到端的训练方式, 使整个检测模型的训练和测试变得十分方便. 大量文献表示, 当前基于深度学习的乳腺肿块检测仍是以有监督的学习方式为主导, 在通用目标检测框架基础之上进行参数微调或结构改进以适用于乳腺X线摄影数据. 本文将所提出的基于深度学习的乳腺肿块检测方法归纳总结为基于候选框的乳腺肿块检测方法、基于回归的乳腺肿块检测方法、基于弱监督学习的乳腺肿块定位方法和基于全卷积网络的乳腺肿块检测方法. 其中, 基于候选框的乳腺肿块检测方法和基于回归的乳腺肿块检测方法是目前使用较为广泛的乳腺肿块检测方法; 基于弱监督学习的乳腺肿块定位方法和基于全卷积网络的乳腺肿块检测也为乳腺肿块检测研究提供了新思路.
深度学习在医学图像研究中已经取得了不错的效果, 乳腺肿块检测准确率也在不断提高, 但距离实际临床应用还存在一定的差距. 未来的研究工作可以从以下几方面展开:
1) 设计鲁棒的多特征融合表示和语义级病灶特征表达. 目前的乳腺肿块检测方法性能还无法令人满意, 其根本原因是检测算法对乳腺肿块特征的表达能力不足. 然而特征提取是目标检测中至关重要的一步, 丰富的特征信息有利于目标候选框的生成. 随着卷积神经网络层数的不断加深, 学习得到的特征就越抽象.大部分的目标检测算法在特征提取时往往采用最深层的特征信息, 造成物体边缘特性的缺失, 不利于目标物体的定位. 所以, 对卷积神经网络的各层特征进行分析, 采用合理有效的特征级联方法、多尺度特征融合等方式选择和提取特征, 可以丰富特征表达. 此外, 还应构建有效的图像特征空间与高层语义空间之间的映射关系, 实现对乳腺肿块的语义级描述, 这将大大提升乳腺肿块特征与正常乳腺组织特征的区分性和描述性.
2) 引入图像全局有效的上下文信息. 目前, 在乳腺X摄影肿块检测的研究中, 采用基于候选框的乳腺肿块检测方法不能有效地捕获图像的上下文信息. 对于提升目标的检测和识别精度存在困难. 有效地引入图像的全局信息, 可以动态地减少搜索区域, 提高基于候选框的乳腺肿块检测方法的效率和精度. 同时, 对基于回归的乳腺肿块检测方法引入有效的全局信息, 也可以提升对小目标肿块的检出率.可尝试结合传统的计算机视觉方法捕获图像的上下文信息, 也可结合反卷积操作对图像的上下文信息实现扩充.
3) 设计基于弱监督学习的乳腺肿块定位方法. 基于弱监督学习的目标定位方法可以依据CNN在图像分类任务中学习得到具有高响应特点的特征图, 进而实现对目标的定位. 这种方式不需要对ROI进行准确的标注, 只需要目标类别的注释信息即可完成对检测任务的学习, 减少了医学图像数据人工标注的成本.在没有大规模标注数据作为支撑的医学领域, 想要快速发展基于深度学习的医学图像分析, 弱监督学习定位目标的方法在未来也会成为该领域研究的重点内容. 可以从如下两方面对基于弱监督学习的乳腺肿块定位方法展开研究: 首先, 设计合理目标函数优化方法, 可采用凸正则化或连续优化等算法对目标函数进行优化, 避免陷入局部最优解; 其次, 尝试将候选区域提取方法与弱监督学习定位方法相结合, 获得更准确的乳腺肿块检测结果.
4) 设计基于多视图数据的乳腺肿块检测方案. 乳腺X线摄影检查通常对双侧乳房分别采集CC与MLO两个视图, 有效地整合CC与MLO信息, 可以在空间上更好地确定乳腺肿块的位置, 也有助于减少假阳性区域的检出比例. 基于多视角分析的乳腺病变检测方法也将极大地提高早期乳腺癌的检出率. 目前, 基于传统目标检测方法实现多视角乳腺肿块检测, 常采用基于单视图的乳腺X线摄影肿块检测方法, 并结合坐标转换操作将获得的CC视图与MLO视图的肿块检测结果进行匹配和筛选. 基于深度学习方法实现多视角乳腺肿块分析[89]则寥寥无几. 因此, 基于深度学习的多视角定位乳腺X线摄影肿块的方法也必将成为未来研究的主要内容之一. 可考虑结合乳腺X线摄影中关键点定位方法, 将CC与MLO两个视图实现空间坐标转换, 综合分析肿块的检测结果.
5) 提高深度学习模型的可解释性. 深度学习方法无论从检测效果和实际应用价值都有着无可比拟的优越性, 但深度学习也常被称为"Black Box", 特别是在医学领域, 仅仅有一个良好的检测系统是不够的, 还需要利用科学的方法对模型进行合理的解释与分析.
基于深度学习的特征表达具有强大的数据描述能力, 其在识别精度和模型泛化能力方面比传统方法更胜一筹. 我们相信, 通过深度学习方法的不断改进、医学图像采集技术的不断提升和标记样本集数量的不断增长, 未来基于乳腺X线摄影的乳腺肿块检测方法将越来越完善.
-
图 1 固定原型和自适应原型生成示例 (5类5样本)
Fig. 1 Examples of fixed prototype and adaptive prototype generation (5-way-5-shot)
图 5 在不同数据集上自适应原型和预训练模块的性能比较
Fig. 5 Performance comparison of adaptive prototype and pre-training module on different datasets
图 6 应用不同N类K样本设置的性能比较
Fig. 6 Performance comparison using different N-way-K-shot settings
表 1 数据集基本信息
Table 1 Basic information of datasets
数据集 样本数量 训练/验证/测试类别数量 图片尺寸(像素) MiniImageNet 60000 64/16/20 84$ \times $84 CIFAR-FS 60000 64/16/20 32$ \times $32 FC100 60000 60/20/20 32$ \times $32 
下载: 导出CSV
表 2 应用不同网络的实验结果 (%)
Table 2 Experimental results using different networks (%)
网络 数据集 ProtoNet CRAPF ResNet12 MiniImageNet 72.08 77.08 CIFAR-FS 75.68 85.11 FC100 50.96 54.56 ResNet18 MiniImageNet 73.68 74.40 CIFAR-FS 72.83 84.93 FC100 47.50 53.33
下载: 导出CSV
表 3 MiniImageNet数据集上的对比实验结果 (%)
Table 3 Comparative experimental results on the MiniImageNet dataset (%)
方法 网络 5类1样本 5类5样本 TEAM ResNet18 60.07 75.90 TransCNAPS ResNet18 55.60 73.10 MTUNet ResNet18 58.13 75.02 IPN ResNet10 56.18 74.60 ProtoNet* ResNet12 53.42 72.08 TADAM ResNet12 58.50 76.70 SSR ResNet12 68.10 76.90 MDM-Net ResNet12 59.88 76.60 CRAPF* ResNet12 59.38 77.08
下载: 导出CSV
表 4 CIFAR-FS数据集上的对比实验结果 (%)
Table 4 Comparative experimental results on the CIFAR-FS dataset (%)
方法 网络 5类1样本 5类5样本 ProtoNet* ResNet12 56.86 75.68 Shot-Free ResNet12 69.20 84.70 TEAM ResNet12 70.40 80.30 DeepEMD ResNet12 46.50 63.20 DSN ResNet12 72.30 85.10 MTL ResNet12 69.50 84.10 DSMNet ResNet12 60.66 79.26 MTUNet ResNet18 67.43 82.81 CRAPF* ResNet12 72.34 85.11
下载: 导出CSV
表 5 FC100数据集上的对比实验结果 (%)
Table 5 Comparative experimental results on the FC100 dataset (%)
方法 网络 5类1样本 5类5样本 ProtoNet* ResNet12 37.50 50.96 SimpleShot ResNet10 40.13 53.63 Baseline2020 ResNet12 36.82 49.72 TADAM ResNet12 40.10 56.10 CRAPF* ResNet12 40.44 54.56
下载: 导出CSV
-
[1] Jiang H, Diao Z, Shi T, Zhou Y, Wang F, Hu W, et al. A review of deep learning-based multiple-lesion recognition from medical images: Classification, detection and segmentation. Computers in Biology and Medicine, 2023, 157: Article No. 106726 [2] 赵凯琳, 靳小龙, 王元卓. 小样本学习研究综述. 软件学报, 2021, 32(2): 349−369Zhao Kai-Lin, Jin Xiao-Long, Wang Yuan-Zhuo. Survey on few-shot learning. Journal of Software, 2021, 32(2): 349−369 [3] 赵一铭, 王佩瑾, 刁文辉, 孙显, 邓波. 基于通道注意力机制的小样本SAR飞机图像分类方法. 南京大学学报(自然科学版), 2024, 60(3): 464−476Zhao Yi-Ming, Wang Pei-Jin, Diao Wen-Hui, Sun Xian, Deng Bo. Few-shot SAR aircraft image classification method based on channel attention mechanism. Journal of Nanjing University (Natural Science), 2024, 60(3): 464−476 [4] Li F F, Fergus R, Perona P. A Bayesian approach to unsupervised one-shot learning of object categories. In: Proceedings of the IEEE International Conference on Computer Vision. Nice, Franc: IEEE, 2003. 1134−1141 [5] 刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 基于小样本学习的图像分类技术综述. 自动化学报, 2021, 47(2): 297−315Liu Ying, Lei Yan-Bo, Fan Jiu-Lun, Wang Fu-Ping, Gong Yan-Chao, Tian Qi. Survey on image classification technology based on small sample learning. Acta Automatica Sinica, 2021, 47(2): 297−315 [6] Li X, Yang X, Ma Z, Xue J. Deep metric learning for few-shot image classification: A review of recent developments. Pattern Recognition, 2023, 138: Article No. 109381 [7] Snell J, Swersky K, Zemel R. Prototypical networks for few-shot learning. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: 2017. 4077−4087 [8] Qiang W, Li J, Su B, Fu J, Xiong H, Wen J. Meta attention-generation network for cross-granularity few-shot learning. IEEE International Journal of Computer Vision, 2023, 131(5): 1211−1233 doi: 10.1007/s11263-023-01760-7 [9] Li W, Wang L, Xu J, Huo J, Gao Y, Luo J. Revisiting local descriptor based image-to-class measure for few-shot learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 7260−7268 [10] Xu W, Xu Y, Wang H, Tu Z. Attentional constellation nets for few-shot learning. In: Proceedings of the International Conference on Learning Representations. Vienna, Austria: ICLR, 2021. 1−12 [11] Huang H, Zhang J, Yu L, Zhang J, Wu Q, Xu C. TOAN: Target-oriented alignment network for fine-grained image categorization with few labeled samples. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(2): 853−866 [12] Xie J, Long F, Lv J, Wang Q, Li P. Joint distribution matters: Deep Brownian distance covariance for few-shot classification. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, USA: IEEE, 2022. 7972−7981 [13] Luo X, Wei L, Wen L, Yang J, Xie L, Xu Z, et al. Rectifying the shortcut learning of background for few-shot learning. In: Proceedings of the 35th International Conference on Neural Information Processing Systems. Virtual Event: 2021. 13073−13085 [14] Kwon H, Jeong S, Kim S, Sohn K. Dual prototypical contrastive learning for few-shot semantic segmentation. arXiv preprint arXiv: 2111.04982, 2021. [15] Li J, Liu G. Few-shot image classification via contrastive self-supervised learning. arXiv preprint arXiv: 2008.09942, 2020. [16] Sung F, Yang Y, Zhang L, Xiang T, Torr P H, Hospedales T M. Learning to compare: Relation network for few-shot learning. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1199− 1208 [17] Hao F, He F, Cheng J, Wang L, Cao J, Tao D. Collect and select: Semantic alignment metric learning for few-shot learning. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, South Korea: IEEE, 2019. 8460−8469 [18] Li W, Xu J, Huo J, Wang L, Gao Y, Luo J. Distribution consistency based covariance metric networks for few-shot learning. In: Proceedings of the AAAI Conference on Artificial Intelligence. Honolulu, USA: 2019. 8642−8649 [19] Zhu W, Li W, Liao H, Luo J. Temperature network for few-shot learning with distribution-aware large margin metric. Pattern Recognition, 2021, 112: Article No. 109381 [20] Allen K, Shelhamer E, Shin H, Tennbaum J B. Infinite mixture prototypes for few-shot learning. In: Proceedings of the International Conference on Machine Learning. Long Beach, USA: ICML, 2019. 232−241 [21] Liu J, Song L, Qin Y. Prototype rectification for few-shot learning. In: Proceedings of the European Conference Computer Vision. Glasgow, UK: Springer, 2020. 741−756 [22] Li X, Li Y, Zheng Y, Zhu R, Ma Z, Xue J, et al. ReNAP: Relation network with adaptive prototypical learning for few-shot classification. Neurocomputing, 2023, 520: 356−364 doi: 10.1016/j.neucom.2022.11.082 [23] Vinyals O, Blundell C, Lillicrap T, Kavukcuoglu K, Wierstra D. Matching networks for one shot learning. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: 2016. 3637−3645 [24] Bertinetto L, Henriques J, Torr P, Vedaldi A. Meta-learning with differentiable closed-form solvers. In: Proceedings of the International Conference on Learning Representations. New Orleans, USA: ICLR, 2019. 1−13 [25] Oreshkin B, Rodríguez Loópez P, Lacoste A. TADAM: Task dependent adaptive metric for improved few-shot learning. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal, Canada: 2018. 719−729 [26] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, et al. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, 2015, 115: 211−252 doi: 10.1007/s11263-015-0816-y [27] Ravi S, Larochelle H. Optimization as a model for few-shot learning. In: Proceedings of the International Conference on Learning Representations. San Juan, Puerto Rico: ICLR, 2016. 1−11 [28] Krizhevsky A. Learning Multiple Layers of Features From Tiny Images [Master thesis], Toronto University, Canada, 2009. [29] Bertinetto L, Henriques J F, Valmadre J, Torr P H S, Vedaldi A. Learning feed-forward one-shot learners. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: 2016. 523−531 [30] Qiao L, Shi Y, Li J, Wang Y, Huang T, Tian Y. Transductive episodic-wise adaptive metric for few-shot learning. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, South Korea: IEEE, 2019. 3603−3612 [31] Bateni P, Barber J, van de meent J W, Wood F. Enhancing few-shot image classification with unlabelled examples. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. Waikoloa, USA: IEEE, 2022. 2796−2805 [32] Wang B, Li L, Verma M, Nakashima Y, Kawasaki R, Nagahara H. Match them up: Visually explainable few-shot image classification. Applied Intelligence, 2023, 53: 10956−10977 doi: 10.1007/s10489-022-04072-4 [33] Ji Z, Chai X, Yu Y, Pang Y, Zhang Z. Improved prototypical networks for few-shot learning. Pattern Recognition Letters, 2020, 140: 81−87 doi: 10.1016/j.patrec.2020.07.015 [34] Shen X, Xiao Y, Hu S X, Sbai O, Aubry M. Re-ranking for image retrieval and transductive few-shot classification. In: Proceedings of the 35th International Conference on Neural Information Processing Systems. Virtual Event: 2021. 25932−25943 [35] Gao F, Cai L, Yang Z, Song S, Wu C. Multi-distance metric network for few-shot learning. International Journal of Machine Learning and Cybernetics, 2022, 13(9): 2495−2506 doi: 10.1007/s13042-022-01539-1 [36] Ravichandran A, Bhotika R, Soatto S. Few-shot learning with embedded class models and shot-free meta training. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, South Korea: IEEE, 2019. 331−339 [37] Zhang C, Cai Y, Lin G, Shen C. DeepEMD: Few-shot image classification with differentiable earth mover's distance and structured classifiers. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 12203−12213 [38] Simon C, Koniusz P, Nock R, Harandi M. Adaptive subspaces for few-shot learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 4136−4145 [39] Wang H, Zhao H, Li B. Bridging multi-task learning and meta-learning: Towards efficient training and effective adaptation. In: Proceedings of the International Conference on Machine Learning. Vienna, Austria: ICML, 2021. 10991−11002 [40] Yan L, Li F, Zhang L, Zheng X. Discriminant space metric network for few-shot image classification. Applied Intelligence, 2023, 53: 17444−17459 doi: 10.1007/s10489-022-04413-3 [41] Wang Y, Chao W L, Weinberger K Q, Maaten L. SimpleShot: Revisiting nearest-neighbor classification for few-shot learning. arXiv preprint arXiv: 1911.04623, 2019. [42] Ramprasaath R, Michael C, Abhishek D, Ramakrishna V, Devi P, Dhruv B. Grad-CAM: Visual explanations from deep networks via gradient-based localization. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 618−626 [43] Dhillon G S, Chaudhari P, Ravichandran A, Soattoet S. A baseline for few-shot image classification. In: Proceedings of the International Conference on Learning Representations. Addis Ababa, Ethiopia: ICLR, 2020. 1−12 期刊类型引用(1)
1. 吴明明，顾春华. 一种乳腺X线影像肿块的多特征融合检测算法. 电子技术应用. 2023(07): 35-40 . 
百度学术其他类型引用(13)
-
下载:
计量
- 文章访问数: 374
- HTML全文浏览量: 191
- PDF下载量: 92
- 被引次数: 14
