基于多模型融合的肺部CT新冠肺炎病灶区域自动分割

史天意; 程枫; 李震; 郑传胜; 许永超; 白翔

doi:10.16383/j.aas.c210400

基于多模型融合的肺部CT新冠肺炎病灶区域自动分割

doi: 10.16383/j.aas.c210400

史天意^1,,
程枫^1,,
李震^2,,
郑传胜^3,,
许永超^1,,
白翔^4,

1.
华中科技大学电子信息与通信工程学院武汉 430074
2.
华中科技大学附属同济医院武汉 430030
3.
华中科技大学附属协和医院武汉 430022
4.
华中科技大学人工智能与自动化学院武汉 430074

基金项目: 新一代人工智能重大项目(2018AAA0100400), 华中科技大学新型冠状病毒应急科技攻关专项(2020kfyXGYJ093, 2020kfyXGYJ094, 2020kfyXGYJ021), 国家自然科学基金(61703171)资助

详细信息

作者简介:
史天意：华中科技大学电子信息与通信工程学院博士研究生. 主要研究方向为图像分割, 医学图像分析与深度学习. E-mail: shitianyihust@hust.edu.cn

程枫：华中科技大学电子信息与通信工程学院硕士研究生. 主要研究方向为图像分割, 医学图像分析与深度学习. E-mail: chengfeng@hust.edu.cn

李震：华中科技大学附属同济医院教授. 主要研究方向为腹部影像诊断, 磁共振功能成像及医学图像分析. E-mail: zhenli@hust.edu.cn

郑传胜：华中科技大学附属协和医院教授. 主要研究方向为放射诊断, 介入治疗, 重大疾病的影像学基础与临床. E-mail: hqzcsxh@sina.com

许永超：华中科技大学电子信息与通信工程学院副教授. 主要研究方向为数学形态学, 图像分割, 医学图像分析和深度学习. 本文通信作者. E-mail: yongchaoxu@hust.edu.cn

白翔：华中科技大学人工智能与自动化学院教授. 主要研究方向为物体识别, 形状分析, 自然场景文字识别和智能系统. E-mail: xbai@hust.edu.cn

计量
- 文章访问数: 2699
- HTML全文浏览量: 818
- PDF下载量: 400
- 被引次数: 9
出版历程
- 收稿日期: 2021-05-20
- 录用日期: 2021-09-06
- 网络出版日期: 2021-09-26
- 刊出日期: 2023-02-20

Automatic Segmentation of Covid-19 Infected Regions in Chest CT Images Based on 2D/3D Model Ensembling

1.
School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan 430074
2.
Tongji Hospital, Huazhong University of Science and Techno-logy, Wuhan 430030
3.
Union Hospital, Huazhong University of Science and Technology, Wuhan 430022
4.
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan 430074

Funds: Supported by National Key Research and Development Program of China (2018AAA0100400), Covid-19 Rapid Response Call Project of Huazhong University of Science and Technology (2020kfyXGYJ093, 2020kfyXGYJ094, 2020kfyXGYJ021), National Natural Science Foundation of China (61703171)

More Information

Author Bio:
SHI Tian-Yi　Ph.D. candidate at the School of Electronic Informati-on and Communications, Huazhong University of Science and Technology. His research interest covers image segmentation, medical image analysis, and deep learning

CHENG Feng　Master student at the School of Electronic Information and Communications, Huazhong University of Science and Technology. His research interest covers image segmentation, medical image analysis, and deep learning

LI Zhen　Professor at Tongji Hospital, Huazhong University of Science and Technology. His research interest covers abdominal imaging diagnosis, functional magnetic resonance imaging, and medical image analysis

ZHENG Chuan-Sheng　Professor at Union Hospital, Huazhong University of Science and Technology. His research interest covers radiological diagnosis, interventional therapy, imaging basics and clinical aspects of major diseases

XU Yong-Chao　Associate professor at the School of Electronic Info-rmation and Communications, Huazhong University of Science and Technology. His research interest covers mathematical morphology, image segmentation, medical image analysis, and deep learning. Corresponding author of this paper

BAI Xiang　Professor at the School of Artificial Intelligence and Automation, Huazhong University of Science and Te-chnology. His research interest covers object recognition, shape analysis, scene text recognition, and intelligent systems

摘要

摘要: 自2019年末以来, 全球蔓延的新型冠状病毒(Coronavirus disease 2019, Covid-19)已经给世界人民造成了严重的健康威胁. 其中新型冠状病毒患者的计算机断层扫描(Computer tomography, CT)图像通过肺炎病灶分割技术可以为医学诊断提供有价值的量化信息. 虽然目前基于深度学习的方法已经在新型冠状病毒肺炎病灶分割任务上取得了良好的效果, 但是在面对不同中心数据的情况下分割效果往往会大幅下降. 因此, 研究一种具有更好泛化性能的新型冠状病毒肺炎病灶分割算法具有重要意义. 提出一种新冠肺炎病灶多模型融合分割方法. 通过训练3DUnet模型和2DUnet结合方向场(Direction field, DF)模型, 利用多种模型各自优点进行分割结果的融合, 得到更好的泛化性能. 通过同中心和跨中心数据集的实验, 证明该方法能够有效提高新冠肺炎病灶分割的泛化性能, 为医学诊断分析提供帮助.
- 新冠肺炎 /
- 计算机断层扫描影像分割 /
- 深度学习 /
- 泛化性能
Abstract: Currently, the global pandemic of coronavirus disease 2019 (Covid-19) causes serious health risks. The coronavirus disease computer tomography (CT) image pneumonia lesion segmentation can provide quantitative information and greatly help for the diagnosis. Although existing deep learning-based methods have achieved good performance on coronavirus disease pneumonia lesion segmentation, the performance usually drops a lot while meeting different center datasets, which is especially common in the coronavirus disease global pandemic. Therefore, it is of great interest to propose an algorithm with better generalization performance for coronavirus disease pneumonia lesion segmentation. In this paper, we present a novel method to fuse multi-models for improving the generalization performance of lesion segmentation. Specifically, we train the 3DUnet and the 2DUnet combined with direction field (2DUnetDF). Then, we fuse 2D and 3D segmentation results to make a better generalization result with the advantage of different models. The in-dataset and cross-dataset experiments show that our method can significantly improve the generalization performance and provide effective help for doctors to analyze the CT images of patients in actual clinical usage.
- Covid-19 /
- CT segmnetation /
- deep learning /
- generalizability

HTML全文

2019年12月以来, 新型冠状病毒 (Coronavirus disease 2019, Covid-19)已经成为全球人类健康的严重威胁^[1−^2]. 截止至2021年5月7日, 根据约翰霍普金斯大学系统科学与工程中心^[3]的全球病例统计, 已报告156176138例Covid-19确诊病例, 其中死亡3258680例, 影响192个国家/地区. 因此, 新冠肺炎这一全球流行的传染病对全世界都是重大挑战^[4].

目前, 新冠肺炎的快速诊断治疗依然是保护人民健康的重中之重, 尤其对重症、危重症患者病情的综合救治与分析^[5]. 为了更好地应对Covid-19, 准确筛查病人和快速控制病毒传播是当务之急. 虽然反转录聚合酶链式反应(Reverse transcription polymerase chain reaction, RTP-CR)方法被认为是筛查Covid-19的金标准, 但是其检测灵敏度仅为60% ~ 71%^[6-7]. 为了弥补RT-PCR技术检测能力的不足, 引入计算机断层扫描(Computer tomography, CT)影像辅助分析是非常重要的. CT影像分析具有较高敏感性, 有助提高Covid-19的诊断准确率, 帮助进行早期筛查^[8-9]阻止病毒传播.

据报道^[10], 通过CT影像可以观察到典型的肺炎病灶表征, 如毛玻璃样阴影. 这些特征为Covid-19病情的定量评估提供了有效信息, 成为对抗Covid-19的重要手段. 然而, 手工标注肺部病灶区域是一项极其耗时且繁琐的工作, 难以大规模应用于临床诊断. 同时, 放射科医生对病灶的标注常常也会受到个体偏见和临床经验的影响. 特别地, Covid-19是一种新型突发的病毒, 造成了经验丰富医生的严重短缺. 所以, 十分有必要对Covid-19肺炎病灶的自动分割算法进行研究.

目前, 已有许多学者研究基于深度学习的Covid-19肺炎病灶的分析方法, 这些工作主要集中在肺炎诊断分类^[11-18]和病灶影像分割^[19-38]两个方面. 与肺炎诊断分类相比, CT影像分割能提供更多的定量数据和病灶区域的直观表征. 然而, 由于Covid-19的传播范围广, 很难有效收集到不同国家以及医院的分割数据. 而且Covid-19病灶分割算法也常常难以在不同医疗中心上获得同样良好的分割性能. 因此, 提升Covid-19病灶分割算法在多中心数据上的泛化性能是非常重要的.

针对上述问题, 本文提出了一种融合3D和2D模型的图像分割算法, 提高Covid-19肺炎病灶CT影像分割性能, 尤其是其泛化性能. 如图1, 发现3D和2D的分割结果具有不同特点. 通过比较2D和3D模型在多中心数据集上的结果, 发现3D模型^[39]的结果更倾向在整个CT扫描层上出现破碎. 但同时, 也有些病灶被3D模型正确分割, 而2D模型^[40]却没有得到正确完整的分割结果. 为此, 结合了多模型彼此的优点, 在多中心数据集测试上得到更准确的结果, 获得更好的泛化性能. 也在2DUnet的基础上引入了方向场(Direction field, DF)进行监督, 有助于2D模型利用方向场获得更精确的结果. 由图1可以看出, 本文方法提升了2D模型的检测精度, 同时消除了3DUnet部分破碎的错误结果, 具有更好的分割性能. 本文主要有以下贡献:

图 1 2DUnet^[34]、3DUnet^[35]以及本文方法在交叉数据上的测试结果

Fig. 1 An example of segmentation result on cross-datasets test by 2DUnet^[34], 3DUnet^[35] and our method

下载: 全尺寸图片幻灯片

1)根据3D和2D模型的各自特点, 提出了一种多模型融合的框架, 结合不同模型优点, 提高Covid-19肺炎病灶分割泛化性能.

2)将方向场应用于2DUnet进行监督, 结合更多信息, 优化了2DUnet的结果. 将方向场信息应用在Covid-19肺炎病灶分割, 也是对方向场方法应用的延伸.

3)提出了一种融合方法来融合Covid-19肺炎病灶2D和3D模型的分割结果. 以2D分割结果作为种子, 结合3D分割结果进行融合, 利用不同模型结果的特点与联系, 取得了更好的多中心分割结果.

1. 相关工作

本节将主要介绍与本文工作最为相近的三个方面工作: Covid-19肺炎病灶图像分割、方向场应用和多模型融合方法.

1.1 Covid-19肺炎病灶CT图像分割

目前, Covid-19肺炎病灶CT影像分割可以提供定量特征^[41], 进行大规模筛查^[18]和肺部感染量化分析^[42], 准确评估疾病严重程度. 但是, 目前对于提高Covid-19肺炎病灶分割泛化性能的研究却较少.

最近, 很多学者提出了基于传统方法的新冠肺炎病灶分割算法^{[36, 42-43]}. 例如, Shen等^[43]基于阈值和区域增长进行病灶分割. Oulefki等^[36]提出了一种图像对比度增强算法和多级图像阈值方法进行肺炎病灶分割. 同时, 有大量基于深度学习的方法进行研究. Cao等^[31]和Huang等^[32]利用Unet分割肺炎病灶区域进行量化分析. Shan等^[29]应用VB-net进行分割. Chaganti等^[28]训练两个网络分别获得肺部区域和病灶, 使用肺部区域过滤得到病灶, 实现自动分割和量化. Yan等^[35]提出一个基于CNN的分割网络进行病灶分割. Fan等^[19]提出Inf-Net使用边缘信息增强模型特征, 同时为了缓解数据不充足的问题, 提出半监督框架. Wu等^[21]结合分类和分割模型, 建立一个可解释的Covid-19诊断分割系统. Zhao等^[22]提出利用残差^[23]和注意力机制^[24]进行Covid-19病灶分割学习鲁棒的特征. 为了使用更少的数据训练, 解决数据不充足的问题, 有学者构建了一个更轻量级网络MinSeg^[25]. Jiang等^[27]提出使用生成对抗网络(Generative adversarial networks, GAN)去生成数据进行训练, 补充数据不充足问题.

虽然目前这些新冠肺炎分割方法都取得了很好的效果, 但大多通过修改现有模型或直接利用现有方法来提高Covid-19肺炎病灶分割的准确性. 而很少有人关注如何提高算法对不同中心数据的泛化性能, 以适应实际应用环境. 因此, 本文将更为专注地提高新冠肺炎病灶分割算法泛化性能.

1.2 方向场的应用

基于方向场的分割方法已经在文字检测^[44]、骨架检测、物体一般自然场景分割^[45]和心脏影像分割^[46]上得到了许多应用. 但目前, 对于Covid-19肺炎病灶分割, 尚无相关工作使用方向场提高分割精度. 本文利用方向场提升2D模型结果, 对方向场方法进行应用领域的扩展.

1.3 多模型融合方法

常用的多模型融合方法有Voting^[47]、Bagging^[48]和Boosting^[49]. 主要是对多个模型的结果进行加权, 得到融合结果. 诸如AdaBoost^[50]等方法通过不断继续学习并对前一个分类器的错误再进行分类. 也有学者对于眼底血管的多模型融合方法^[51]进行研究, 尝试对不同区域采用不同模型进行直接融合, 再对最后的融合结果通过区域生长优化. 但是多模型融合方法没有利用不同模型结果之间的联系进行融合, 而是直接分成不同的感兴趣区域直接融合不同模型结果.

虽然这些方法在各自的应用中都取得了很好的效果, 但是对于不同模型Covid-19肺炎病灶分割结果的融合, 还没有合适的方法, 尤其是对于新冠肺炎病灶分割任务既需要考虑全局信息, 又需要考虑层间信息, 并且联系不同模型之间结果这一特点. 通过观察不同模型的分割结果, 本文提出了一种新冠肺炎病灶计算机断层扫描的多模型融合方法(Fuse multi-models, FMM), 以得到更为理想的分割结果.

2. 新冠肺炎CT影像多模型融合分割方法

2.1 简述

目前, 新冠肺炎病灶CT影像往往来自不同医院和国家, 造成图像质量出现差异, 而这些差异会使算法难以准确分割病灶. 这个问题在Covid-19全球范围流行的情况下尤为突出. 因此, 需要提出一种具有更好泛化性能的新冠肺炎病灶分割算法.

为此, 本文提出了一种多模型融合方法, 以获得更完整、更精确的分割结果. 本文算法如图2所示, 利用区域增长的方式融合2D和3D模型的分割结果, 与单独一种模型相比取得了更好的效果. 本文首先分别训练3D和2D模型, 具体网络结构和损失函数将在网络结构一节中介绍; 该算法利用多模型的不同优点, 将2D分割结果作为种子融合3D模型结果, 最后得到融合后的分割结果. 此外, 该融合方法能有效地利用多模型的优势, 得到更好的分割结果, 具体多模型融合方法将在多模型融合方法一节中介绍.

图 2 新冠肺炎CT影像多模型融合自动分割整体流程

Fig. 2 Pipeline of fusion multi-models for automatic Covid-19 pneumonia lesion segmentation from CT images

下载: 全尺寸图片幻灯片

2.2 网络结构与损失函数

2.2.1 网络结构

本文的网络结构由3DUnet^[23]和2DUnet^[40]结合方向场(2DUnetDF)^[51]组成. 由于Covid-19肺炎病灶在相邻切片中存在一定相关性. 因此, 本文将利用3DUnet在切片之间获取这些信息. 3DUnet的训练使用随机提取尺寸为$ 128\times128\times128 $像素的块. 由于没有完整切片信息, 在3DUnet分割中会出现错误和碎片的分割结果. 这也是本文的方法使用2D模型2DUnetDF的原因. 本文使用2D数据完整的全局切片信息来训练2DUnetDF. 本文使用Cheng等^[46]的方法, 利用方向场作为2DUnet的监督, 修正和优化2D模型结果. 如图3所示, 引入方向场作为一种新的监督. 这部分模型主要基于2DUnet, 通过方向场模块来进行辅助监督. 首先建立方向场, 对于每个点, 可以通过找到距离它最近边界点的一个二维的方向向量建立方向场, $ b $为内部点, $ p $为边界点, 计算公式如下:

图 3 2DUnet利用额外的方向场作为监督优化分割结果

Fig. 3 2DUnet utilizes additional orientation fields as supervision to optimize segmentation results

下载: 全尺寸图片幻灯片

$$ {\rm{DF}}(p) = \left\{ {\begin{aligned} &\frac{\overrightarrow {bp}}{|\overrightarrow {bp} |},&{p \in foreground}\\ &{(0,0)},&{{\rm{否}}则}\qquad\qquad\;\;\;\;\; \end{aligned}} \right.$$

(1)

接着, 利用特征校正和融合(Feature rectification and fusion, FRF)模块通过预测方向场来优化初始分割. 具体地, 结合网络学习的原始特征和方向场, 通过一步一步地矫正逐渐得到增强的特征. $ F^{0} $为原始特征, $ F^{N} $为N步增强特征, $ p_{x} $和$ p_{y} $表示像素点的x与y坐标, 每个点的特征通过双线性插值得到, $ N $是超参数, $ 1\leq k \leq N $:

$$ F^k(p) = F^{k-1}(p_x + {\rm{DF}}(p)_x, p_y + {\rm{DF}}(p)_y) $$

(2)

因为方向场大致指向目标中心位置, N步之后边界点的特征被靠近中心点的特征取代, 以此得到更好的分割结果. 最后, 对两个模型的结果进行融合, 利用各自的优势, 融合得到更好的分割结果.

2.2.2 损失函数

对于3DUnet部分, 采用Dice损失函数^[52]对网络参数进行了优化. 2DUnetDF部分的损失函数由初始分割、最终分割和方向场^[46]损失三部分组成. 为此, 使用Dice损失函数$ L_{Dice}^{i} $和$ L_{Dice}^{f} $来代替交叉熵损失$ L^i_{CE} $和$ L^f_{CE} $, 分别表示对于初始分割结果和最终分割结果的损失. 方向场损失用$ L_{DF}^{d} $表示:

$$ L \; = \;L^i_{Dice} + L^f_{Dice} +L^d_{DF} $$

(3)

2.2.3 多模型融合模块

3D和2D模型的分割结果具有互补性, 其中3D模型包含切片层间的信息, 而2D模型保留了单张切片的全局信息. 所以, 本文提出了一种基于多模型结果的融合方法来提升分割效果.

如图4和算法1所示, 本文使用2D分割结果作为种子, 同时3D结果作为相邻元素. 检查种子点的8个相邻像素是否应该放入融合结果. 本文将2D分割预测结果中肺炎病灶的每个像素放入种子像素集$ {S}_{SP} $, 并将3D分割预测为肺炎病灶的每个像素放入邻近像素集$ {S}_{NP} $, 以检查是否需添加新的像素到融合分割结果$ {S}_{f} $. 使用2D分割结果作为融合分割结果$ {S}_{f} $的初始值. 从$ {S}_{SP} $中弹出$ p_{SP} $作为种子. 检查与$ {p_{SP}} $相邻的每个像素位置$ {p_{NP}} $. 如果在$ {S}_{NP} $中存在$ p_{NP} $与对应$ {p_{SP}} $相邻, 而又不在$ {S}_{f} $中, 则将$ p_{NP} $添加到$ {S}_{f} $, 并将其加入$ {S}_{SP} $. 然后, $ {S}_{f} $按上述规则增长, 直到$ {S}_{SP} $为空. 最后, $ {S}_{f} $为最终的融合分割结果. 最终分割结果相当于以2D分割结果为基础并连接相邻的3D分割区域.

图 4 2D和3D分割结果融合方法

Fig. 4 Illustration of 2D and 3D fusion method

下载: 全尺寸图片幻灯片

综上所述, 本文的融合方法利用2D分割结果使用单个完整切片作为输入包含更多全局信息, 使得融合的分割结果更准确, 解决了原本3D模型对整体空间信息不足的问题. 同时3D模型考虑了切片之间的更多层间信息, 而单个2D模型不能直接使用这些信息. 通过这种2D和3D分割模型结果的融合, 本文方法可以相互利用不同模型的优势, 有效地提高性能.

3. 新冠肺炎CT多模型融合分割实验验证

3.1 数据集和评估方法

3.1.1 数据集

在本文实验中, 使用武汉协和医院和同济医院的190例和185例新冠肺炎病例的CT图像. 这批新冠肺炎CT图像数据尺寸为512$ \times $512像素, 每个病人的CT层数为20 ~ 300不等. 在两个不同医院的新冠肺炎患者数据集XH和TJ数据集上验证提出的方法. XH数据集共有190例肺炎病例, 其中150例(XH150)用于训练, 40例(XH40)用于测试; TJ数据集共有185例, 其中145例(TJ145)用于训练, 40例(TJ40)用于测试.

3.1.2 评估方法

使用Dice作为评估分割质量的指标. 此外, 还使用Hausdorff95^[53]来评价分割边界的准确性. 因为它有利于分析病灶形状, 进而从不同角度更全面地评价结果.

3.2 实现细节

对于3DUnet模型部分, 随机选取尺寸为128$ \times $128$ \times $128像素块进行训练, 同时设置批大小为1, 训练网络350个周期. 同时, 采用Adam^[54]作为优化器, 初始学习率设置为0.001, 分别在[100, 200, 300]周期时将学习率衰减0.5倍.

对于2DUnetDF部分, 同样采用Adam^[54]进行优化, 并用32的批大小训练网络50个周期. 初始学习率设置为0.001, 学习率在[2, 5, 8, 15]次周期时衰减0.5倍.

3.3 实验结果

3.3.1 同数据集评估结果

分别比较了多模型融合方法FMM、3DUnet和2DUnet方法在XH与TJ两个数据集上的测试结果. 如图5(a) ~ 5(c)所示, FMM可以分割出更精确的病灶形状, 能够减少大部分3D模型结果出现破损错误的区域. 本文方法减少了破碎区域, 同时得到更精确的分割结果.

图 5 在同中心数据集与多中心数据集上, 分析比较2DUnet、3DUnet和本文方法的分割结果

Fig. 5 Visual comparison of the Covid-19 pneumonia lesions segmentation results by 2DUnet, 3DUnet and our method on in-dataset and cross-dataset

下载: 全尺寸图片幻灯片

对于定量结果, 在XH40数据上训练并测试的结果如表1 (左栏)所示, 3D + 2DUnet (FMM)表示3DUnet与2DUnet模型结果的融合结果, 3D + 2DUnetDF (FMM) 表示3DUnet与2DUnet结合方向场模型结果的融合结果. 由表1可以看出, 与其他方法相比, FMM具有更好的精度. 在XH40上测试, FMM实现了87.93%的Dice, 与3DUnet相比提高了7%. TJ40数据上训练测试的结果如表2 (右栏)所示, 本文FMM方法也表现出了很强的竞争力. 具体地, 本文方法在TJ上测试比3DUnet方法高出7.81%, 而且对于2DUnet结果也有着一定提升. 对于Hausdorff距离, 如表3所示, FMM方法获得了与其他方法相当的结果.

表 1 XH150训练在XH40和TJ40测试的Dice结果

Table 1 Dice comparison of methods trained on XH150 and test on XH40 and TJ40 datasets

方法	XH40	TJ40
3DUnet	80.93	77.95
2DUnet	86.94	74.64
3D + 2DUnet (FMM)	87.57	81.90
3D + 2DUnetDF (FMM)	87.93	82.90

下载: 导出CSV

| 显示表格

表 2 TJ145训练在XH40和TJ40测试的Dice结果

Table 2 Dice comparison of methods trained on TJ145 and test on XH40 and TJ40 datasets

方法	XH40	TJ40
3DUnet	70.17	79.81
2DUnet	78.25	87.08
3D + 2DUnet (FMM)	80.93	87.52
3D + 2DUnetDF (FMM)	82.43	87.62

下载: 导出CSV

| 显示表格

表 3 不同方法在同数据集测试的Hausdorff95结果

Table 3 In-dataset evaluation of different methods for Hausdorff95

Method	XH40	TJ40
3DUnet	4.03	5.59
2DUnet	2.73	4.17
3D + 2DUnet (FMM)	2.74	4.19
3D + 2DUnetDF (FMM)	2.72	4.24

下载: 导出CSV

| 显示表格

算法1. 多模型融合方法(FMM)

输入. 3D模型分割结果$S_{3D}$和2D模型分割结果$S_{2D}$

输出. 多模型融合分割结果${S}_{f}$

1) 初始化. $ {S}_{SP} $;

2) 初始化. 最终分割结果$ {S}_{f} $;

3) 初始化. 相邻像素集合$ {S}_{NP} $;

4)$ {S}_{f} $$ \gets $$ S_{2D} $;

5)$ {S}_{NP} $$ \gets $$ S_{3D} $;

6) for each $ pixel \in S_{2D} $ do;

7)${S}_{SP}.{\rm{append}}(pixel)$;

8) end for;

9) while $ {S}_{SP} $ is not Empty do;

10)$ p_{SP} $$ \gets $$ {S}_{SP} $.pop(0);

11) for each$p_{NP}\in$Neighbor($ p_{SP} $) do;

12) if ${p_{NP}} \in {S_{NP} }$${\rm{and}}$${p_{NP}} \notin S_f$ then;

13)${S}_{SP}.{\rm{append}}{(p_{NP})}$;

14)${S}_{f}.{\rm{append}}{(p_{NP})}$;

15) end if;

16) end for;

17) end while;

18) return ${S}_{f}$.

3.3.2 多中心数据集评估结果

为了验证本文FMM模型的泛化能力, 还评估了在一个数据集上训练另一个数据集上测试的交叉数据测试结果. 特别关注这种情况下分割性能, 因为它与实际诊断情形更为相似, 更具实际应用意义$. $

如图5(b)和图5(d)可以看出, FMM能够减少由3DUnet预测结果的破碎区域, 并且与2DUnet相比病灶分割结果更为精确.

在TJ40数据上的定量结果如表1 (右栏)所示, 与其他方法相比, 本文提出的方法在Dice指标上有着显著提升. FMM实现了82.90%的Dice. 与3DUnet和2DUnet相比, 分别提高了4.95%和8.26%. XH40数据上的定量交叉数据测试结果如表2 (左栏)所示, FMM算法也实现了82.43%的Dice, 明显优于其他方法. 具体地说, FMM与3DUnet和2DUnet相比, 分别提高了12.26%和4.18%.

由表1和表2可以看出, 本文的FMM还使XH40和TJ40在交叉数据结果上测试性能下降变得更小. 这也可以进一步证明, FMM有助于提高泛化性能.

为了更全面地评价本文方法的性能, 将Hausdorff95距离用于跨数据集评价. 如图6, 与其他方法相比, 本文提出的FMM能够更为准确地分割出新冠肺炎病灶边界. 由表3和表4可以看出, FMM显著地减少了Hausdorff95, 得到了更精确的结果.

图 6 FMM能够更为准确地分割出新冠肺炎病灶边界

Fig. 6 FMM obtains better lesion boundary

下载: 全尺寸图片幻灯片

表 4 不同方法在交叉数据集测试的Hausdorff95结果

Table 4 Cross-dataset evaluation of different methods for Hausdorff95

方法	XH40	TJ40
3DUnet	5.39	5.69
2DUnet	3.46	4.68
3D + 2DUnet (FMM)	3.38	4.48
3D + 2DUnetDF (FMM)	3.23	4.46

下载: 导出CSV

| 显示表格

由以上结果可以看出, FFM方法对交叉数据集评估有着更明显的改善. 该方法充分利用了2D和3D模型分割结果的互补性, 提高了模型的泛化能力. 这对于Covid-19肺炎病灶分割更为实用, 因为实际使用时, 算法将同样面对来自各个不同医院与国家的数据. 这些交叉数据集的实验结果表明, FMM对于不同中心的数据具有很强的泛化能力, 这对于实际的诊断和治疗是至关重要的.

3.3.3 多模型融合方法对比实验

为了更好地比较FMM融合方法与常用多模型融合算法的效果, 对比了多模型投票的融合方法(Voting). 对比3DUnet-Voting、2DUnet-Voting和Multi3D2DUnet-Voting, 它们分别是用了3个3D模型、3个2D模型以及3个3D模型和3个2D模型的结果进行Voting融合. 同时, 为了更公平的比较, 利用FMM方法融合了3DUnet-Voting和2DUnet-Voting的结果Multi3D2DUnet-Voting (FMM). 如表5和表6所示, 本文提出的FMM融合方法在即便分别只利用单个3D模型和2D模型的条件下3D + 2DUnet (FMM), 同使用更多模型结果融合的Voting方法相比, 可以得到更好或是近似的结果. 而在用相同数量模型结果时, FMM明显优于Voting方法, 更好地提升了Covid-19的分割能力与泛化性能.

表 5 XH150训练, 不同融合方法在XH40和TJ40测试Dice的对比结果

Table 5 Dice comparison of methods trained on XH150 test on XH40 and TJ40 datasets with different fusion methods

方法	XH40	TJ40
3DUnet	80.93	77.95
3DUnet-Voting	81.55	79.10
2DUnet	86.94	74.64
2DUnet-Voting	86.81	72.49
3D + 2DUne (FMM)	87.57	81.90
Multi3D2DUnet-Voting	85.05	74.35
Multi3D2DUnet-Voting (FMM)	88.19	82.36

下载: 导出CSV

| 显示表格

表 6 TJ145训练, 不同融合方法在XH40和TJ40测试Dice的对比结果

Table 6 Dice comparison of methods trained on TJ145 test on XH40 and TJ40 datasets with different fusion methods

方法	XH40	TJ40
3DUnet	70.17	79.81
3DUnet-Voting	73.88	80.54
2DUnet	78.25	87.08
2DUnet-Voting	80.94	87.16
3D + 2DUnet (FMM)	80.93	87.52
Multi3D2DUnet-Voting	82.51	86.73
Multi3D2DUnet-Voting (FMM)	85.48	87.48

下载: 导出CSV

| 显示表格

虽然Voting的融合方法对Covid-19分割能力的提升有一定帮助, 但是由于Voting多模型融合方法没有考虑2D和3D模型结果的相关位置信息, 而是直接进行投票融合, 导致融合结果并没有优于FMM. 而FMM融合方式对于2D和3D模型结果, 更好地结合了全局信息和层间信息, 因此更有效地提升了Covid-19的分割能力和泛化性能.

3.3.4 消融实验

本节通过消融实验, 验证方法中方向场以及多模型融合模块的作用.

1)方向场. 首先分析方向场为整体模型带来的贡献. 如表7和表8所示, 2DUnet加入方向场后一定程度上提高了对同一数据集分割性能, 同时显著提高了在多中心数据集测试的性能. 定性的结果如图7所示, 通过观察2DUnet和2DUnetDF的结果, 当不使用方向场时, 结果会更倾向不完整和破碎, 特别是在多中心数据集测试, 结果更接近实际应用的情况. 因此, 方向场有助于提高新冠肺炎病灶分割的泛化性能.

表 7 XH150训练在XH40和TJ40上测试的消融实验结果

Table 7 Ablation studies for Dice trained on XH150 test on XH40 and TJ40 datasets

方法	XH40	TJ40
3DUnet	80.93	77.95
2DUnet	86.94	74.64
2DUnetDF	87.83	76.84
3D + 2DUnet (FMM)	87.57	81.90
3D + 2DUnetDF (FMM)	87.93	82.90

下载: 导出CSV

| 显示表格

表 8 TJ145训练在XH40和TJ40上测试的消融实验结果

Table 8 Ablation studies for Dice trained on TJ145 test on XH40 and TJ40 datasets

方法	XH40	TJ40
3DUnet	70.17	79.81
2DUnet	78.25	87.08
2DUnetDF	80.52	87.57
3D + 2DUnet (FMM)	80.93	87.52
3D + 2DUnetDF (FMM)	82.43	87.62

下载: 导出CSV

| 显示表格

图 7 消融实验可视化定性比较方向场以及融合模块对于整体方法的贡献

Fig. 7 Visualization of the ablation result by different methods to analyze contribution of the direction field and fusion method

下载: 全尺寸图片幻灯片

2)多模型融合. 如表7和表8所示, 多模型融合模块对同一数据集的分割性能有一定改善, 而对交叉数据集测试有明显提升. 如图7所示, 根据3DUnet + 2DUnet (FMM)和3DUnet + 2DUnetDF (FMM)的结果, 多模型融合方法可以帮助2D和3D模型获得更好的分割结果, 并且在交叉数据集上提升更为明显, 证明了多模型融合方法对肺炎病灶分割泛化性能有着显著提升.

4. 存在不足

在大多数情况FMM都能够很好地分割肺炎病灶, 但是对于一些单独细小的病灶分割存在困难. 这是因为FMM的预测结果是基于2D模型种子. 如果这些小区域无法成为种子, 那么最终结果将出现漏分割. 这些分割有误的例子如图8所示, FMM对于很小的病灶分割能力有一定局限. 一些小面积病灶区域没有被正确分割, 而小物体的分割也一直是许多分割方法的难题, 还需要进一步解决.

图 8 困难样本结果可视化

Fig. 8 The visualization of hard samples

下载: 全尺寸图片幻灯片

5. 结束语

本文旨在提高Covid-19肺炎病灶的分割能力, 尤其是泛化性能. 为此, 利用2DUnet结合方向场模型与3DUnet模型进行融合, 形成融合多模型结果的新冠肺炎病灶分割方法(FMM). 既保留了2D模型整体位置准确的特点, 又充分利用了3D模型可以学习到层间信息的特点. 实验结果表明, 方法能够有效地提高模型对不同中心来源数据的分割性能. 因此, FMM能有效地提高Covid-19的分割能力和泛化性能, 有助于在实际应用中的推广.

图 1 2DUnet^[34]、3DUnet^[35]以及本文方法在交叉数据上的测试结果

Fig. 1 An example of segmentation result on cross-datasets test by 2DUnet^[34], 3DUnet^[35] and our method

下载: 全尺寸图片幻灯片

图 2 新冠肺炎CT影像多模型融合自动分割整体流程

Fig. 2 Pipeline of fusion multi-models for automatic Covid-19 pneumonia lesion segmentation from CT images

下载: 全尺寸图片幻灯片

图 3 2DUnet利用额外的方向场作为监督优化分割结果

Fig. 3 2DUnet utilizes additional orientation fields as supervision to optimize segmentation results

下载: 全尺寸图片幻灯片

图 4 2D和3D分割结果融合方法

Fig. 4 Illustration of 2D and 3D fusion method

下载: 全尺寸图片幻灯片

图 5 在同中心数据集与多中心数据集上, 分析比较2DUnet、3DUnet和本文方法的分割结果

Fig. 5 Visual comparison of the Covid-19 pneumonia lesions segmentation results by 2DUnet, 3DUnet and our method on in-dataset and cross-dataset

下载: 全尺寸图片幻灯片

图 6 FMM能够更为准确地分割出新冠肺炎病灶边界

Fig. 6 FMM obtains better lesion boundary

下载: 全尺寸图片幻灯片

图 7 消融实验可视化定性比较方向场以及融合模块对于整体方法的贡献

Fig. 7 Visualization of the ablation result by different methods to analyze contribution of the direction field and fusion method

下载: 全尺寸图片幻灯片

图 8 困难样本结果可视化

Fig. 8 The visualization of hard samples

下载: 全尺寸图片幻灯片

表 1 XH150训练在XH40和TJ40测试的Dice结果

Table 1 Dice comparison of methods trained on XH150 and test on XH40 and TJ40 datasets

方法 XH40 TJ40

3DUnet 80.93 77.95
2DUnet 86.94 74.64
3D + 2DUnet (FMM) 87.57 81.90
3D + 2DUnetDF (FMM) 87.93 82.90

下载: 导出CSV

表 2 TJ145训练在XH40和TJ40测试的Dice结果

Table 2 Dice comparison of methods trained on TJ145 and test on XH40 and TJ40 datasets

方法 XH40 TJ40

3DUnet 70.17 79.81
2DUnet 78.25 87.08
3D + 2DUnet (FMM) 80.93 87.52
3D + 2DUnetDF (FMM) 82.43 87.62

下载: 导出CSV

表 3 不同方法在同数据集测试的Hausdorff95结果

Table 3 In-dataset evaluation of different methods for Hausdorff95

Method XH40 TJ40

3DUnet 4.03 5.59
2DUnet 2.73 4.17
3D + 2DUnet (FMM) 2.74 4.19
3D + 2DUnetDF (FMM) 2.72 4.24

下载: 导出CSV

表 4 不同方法在交叉数据集测试的Hausdorff95结果

Table 4 Cross-dataset evaluation of different methods for Hausdorff95

方法 XH40 TJ40

3DUnet 5.39 5.69
2DUnet 3.46 4.68
3D + 2DUnet (FMM) 3.38 4.48
3D + 2DUnetDF (FMM) 3.23 4.46

下载: 导出CSV

表 5 XH150训练, 不同融合方法在XH40和TJ40测试Dice的对比结果

Table 5 Dice comparison of methods trained on XH150 test on XH40 and TJ40 datasets with different fusion methods

方法 XH40 TJ40

3DUnet 80.93 77.95
3DUnet-Voting 81.55 79.10
2DUnet 86.94 74.64
2DUnet-Voting 86.81 72.49
3D + 2DUne (FMM) 87.57 81.90
Multi3D2DUnet-Voting 85.05 74.35
Multi3D2DUnet-Voting (FMM) 88.19 82.36

下载: 导出CSV

表 6 TJ145训练, 不同融合方法在XH40和TJ40测试Dice的对比结果

Table 6 Dice comparison of methods trained on TJ145 test on XH40 and TJ40 datasets with different fusion methods

方法 XH40 TJ40

3DUnet 70.17 79.81
3DUnet-Voting 73.88 80.54
2DUnet 78.25 87.08
2DUnet-Voting 80.94 87.16
3D + 2DUnet (FMM) 80.93 87.52
Multi3D2DUnet-Voting 82.51 86.73
Multi3D2DUnet-Voting (FMM) 85.48 87.48

下载: 导出CSV

表 7 XH150训练在XH40和TJ40上测试的消融实验结果

Table 7 Ablation studies for Dice trained on XH150 test on XH40 and TJ40 datasets

方法 XH40 TJ40

3DUnet 80.93 77.95
2DUnet 86.94 74.64
2DUnetDF 87.83 76.84
3D + 2DUnet (FMM) 87.57 81.90
3D + 2DUnetDF (FMM) 87.93 82.90

下载: 导出CSV

表 8 TJ145训练在XH40和TJ40上测试的消融实验结果

Table 8 Ablation studies for Dice trained on TJ145 test on XH40 and TJ40 datasets

方法 XH40 TJ40

3DUnet 70.17 79.81
2DUnet 78.25 87.08
2DUnetDF 80.52 87.57
3D + 2DUnet (FMM) 80.93 87.52
3D + 2DUnetDF (FMM) 82.43 87.62

下载: 导出CSV

参考文献(54)

[1]	Wang Chen, Horby Peter W, Hayden Frederick G, Gao George F. A novel coronavirus outbreak of global health concern. The Lancet, 2020, 395(10223): 470-473. doi: 10.1016/S0140-6736(20)30185-9
[2]	Huang Chao-Lin, Wang Ye-Ming, Li Xing-Wang, Ren Li-Li, Zhao Jian-Ping, Hu Yi, Zhang Li, Fan Guo-Hui, Xu Jiu-Yang, Gu Xiao-Ying, Cheng Zhen-Shun, Yu Ting, Xia Jia-An, Wei Yuan, Wu Wen-Juan, Xie Xue-Lei, Yin Wen, Li Hui, Liu Min, Xiao Yan, Gao Hong, Guo Li, Xie Jun-Gang, Wang Guang-Fa, Jiang Rong-Meng, Gao, Zhan-Cheng, Jin Qi, Wang Jian-wei, Cao Bin. Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China. The Lancet, 2020, 395(10223): 497-506. doi: 10.1016/S0140-6736(20)30183-5
[3]	Coronavirus Covid-19 global cases by the center for systems science and engineering at johns hopkins university [Online], available: https://coronavirus.jhu.edu/map.html, May 7, 2020
[4]	Benvenuto Domenico, Giovanetti Marta, Salemi Marco, Prosperi Mattia, De Flora Cecilia, Junior Alcantara Luiz Carlos, Angeletti Silvia, Ciccozzi Massimo. The global spread of 2019-nCoV: a molecular evolutionary analysis. Pathogens and Global Health, 2020, 114(2): 64-67. doi: 10.1080/20477724.2020.1725339
[5]	Kissler Stephen M, Tedijanto Christine, Goldstein Edward, Grad Yonatan H, Lipsitch Marc. Projecting the transmission dynamics of SARS-CoV-2 through the postpandemic period. Science, 2020, 368(6493): 860-868. doi: 10.1126/science.abb5793
[6]	Ai Tao, Yang Zhen-Lu, Hou Hong-Yan, Zhan Chen-Ao, Chen Chong, Lv Wen-Zhi, Tao Qian, Sun Zi-Yong, Xia Li-Ming. Correlation of chest CT and RT-PCR testing in coronavirus disease 2019 (COVID-19) in China: a report of 1014 cases. Radiology, 2020, 200642.
[7]	Fang Yi-Cheng, Zhang Huang-Qi, Xie Ji-Cheng, Lin Min-Jie, Ying Ling-Jun, Pang Pei-Pei, Ji Wen-Bin. Sensitivity of chest CT for COVID-19: comparison to RT-PCR. Radiology, 2020, 296(2): E115-E117. doi: 10.1148/radiol.2020200432
[8]	Lei Jun-Qiang, Li Jun-Feng, Li Xun, Qi Xiao-Long. CT imaging of the 2019 novel coronavirus (2019-nCoV) pneumonia. Radiology, 2020, 295(1): 18. doi: 10.1148/radiol.2020200236
[9]	Li Lin, Qin Li-Xin, Xu Ze-guo, Yin You-Bing, Wang Xin, Kong Bin, Bai Jun-Jie, Lu Yi, Fang Zheng-Han, Song Qi, Cao Kun-lin, Liu Da-liang, Wang Gui-Shen, Xu Qi-Zhong, Fang Xi-Sheng, Zhang Shi-Qin, Xia Juan, Xia Jun. Artificial intelligence distinguishes COVID-19 from community acquired pneumonia on chest CT. Radiology, 2020, 200905.
[10]	Ng Ming-Yen, Lee Elaine YP, Yang Jin, Yang Fang-Fang, Li Xia, Wang Hong-Xia, Liu Macy Mei-sze, Lo Christine Shing-Yen, Leung Barry, Khong Pek-Lan, Hui Christopher Kim-Ming, Yuen, Kwok-Yung, Kuo MichaelD. Imaging profile of the COVID-19 infection: radiologic findings and literature review. Radiology: Cardiothoracic Imaging, 2020, 2(1): e200034. doi: 10.1148/ryct.2020200034
[11]	Shi Feng, Wang Jun, Shi Jun, Wu Zi-Yan, Wang Qian, Tang Zhen-Yu, He Ke-Lei, Shi Ying-Huan, Shen Ding-Gang. Review of artificial intelligence techniques in imaging data acquisition, segmentation and diagnosis for COVID-19. IEEE Reviews in Biomedical Engineering, 2020, 14: 4-15.
[12]	Kang Heng-Yuan, Xia Li-Ming, Yan Fu-Hua, Wan Zhi-Bin, Shi Feng, Yuan Huan, Jiang Hui-Ting, Wu Di-Jia, Sui He, Zhang Chang-Qing, Shen Ding-Gang. Diagnosis of coronavirus disease 2019 (COVID-19) with structured latent multi-view representation learning. IEEE Transactions on Medical Imaging, 2020, 38(8): 2606-2614
[13]	Fang Cong, Bai Song, Chen Qian-Lan, Zhou Yu, Xia Li-Ming, Qin Li-Xin, Gong Shi, Xie Xu-Dong, Zhou Chun-Hua, Tu Dan-Dan, Zhang Chang-Zheng, Liu Xiao-Wu, Chen Wei-Wei, Bai Xiang, Philip H S Torr. Deep learning for predicting COVID-19 malignant progression. Medical Image Analysis, 2021, 72: 102096. doi: 10.1016/j.media.2021.102096
[14]	Li Jin-Peng, Zhao Gang-Ming, Tao Ya-Ling, Zhai Peng-Hua, Chen Hao, He Hui-Guang, Cai Ting. Multi-task contrastive learning for automatic CT and X-ray diagnosis of COVID-19. Pattern Recognition, 2021, 114: 107848. doi: 10.1016/j.patcog.2021.107848
[15]	Chen Jun, Wu Lian-Lian, Zhang Jun, Zhang Liang, Gong De-Xin, Zhao Yi-Lin, Chen Qiu-Xiang, Huang Shu-Lan, Yang Ming, Yang Xiao, Hu Shan, Wang Yong-Gui, Hu Xiao, Zheng Bi-Qing, Zhang Kuo, Wu Hui-Ling, Dong Ze-Hua, Xu You-Ming, Zhu Yi-Jie, Chen Xi, Zhang, Meng-Jiao, Yu Li-Lei, Cheng Fan, Yu Hong-Gang. Deep learning-based model for detecting 2019 novel coronavirus pneumonia on high-resolution computed tomography. Scientific reports, 2020, 10(1): 1-11. doi: 10.1038/s41598-019-56847-4
[16]	Song Ying, Zheng Shuang-Jia, Li Liang, Zhang Xiang, Zhang Xiao-Dong, Huang Zi-Wang, Chen Jian-Wen, Zhao Hui-Ying, Wang Rui-Xuan, Chong Yutian, Shen Jun, Zha Yun-Fei, Yang Yue-Dong. Deep learning enables accurate diagnosis of novel coronavirus (COVID-19) with CT images. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2021, 18(6): 2775-2780.
[17]	Xu Xiao-Wei, Jiang Xian-Gao, Ma Chun-Lian, Du Peng, Li Xu-Kun, Lv Shuang-Zhi, Yu Liang, Ni Qin, Chen Yan-Fei, Su, Jun-Wei, Lang Guan-Jing, Li Yong-Tao, Zhao Hong, Liu Jun, Xu Kai-Jin, Ruan Ling-Xiang, Sheng Ji-Fang, Qiu Yun-Qing, Wu Wei, Liang Ting-Bo, Li Lan-Juan. Deep learning system to screen coronavirus disease 2019 pneumoni. Engineering, 2020, 6(10): 1122-1129. doi: 10.1016/j.eng.2020.04.010
[18]	Wang Xing-Gang, Deng Xian-Bo, Fu Qing, Zhou Qiang, Feng Jia-Pei, Ma Hui, Liu Wen-Yu, Zheng Chuan-Sheng. A weakly-supervised framework for COVID-19 classification and lesion localization from chest CT. IEEE Transactions on Medical Imaging, 2020, 39(8): 2615-2625. doi: 10.1109/TMI.2020.2995965
[19]	Fan Deng-Ping, Zhou Tao, Ji Ge-Peng, Zhou Yi, Chen Geng, Fu Hua-Zhu, Shen Jian-Bing, Shao Ling. Inf-net: automatic COVID-19 lung infection segmentation from CT images. IEEE Transactions on Medical Imaging, 2020, 39(8): 2626-2637. doi: 10.1109/TMI.2020.2996645
[20]	Xie Wei-Yi, Jacobs Colin, Charbonnier Jean-Paul, Van Ginneken Bram. Relational modeling for robust and efficient pulmonary lobe segmentation in CT scans. IEEE Transactions on Medical Imaging, 2020, 39(8): 2664-2675. doi: 10.1109/TMI.2020.2995108
[21]	Wu Yu-Huan, Gao Shang-Hua, Mei Jie, Xu Jun, Fan Deng-Ping, Zhang Rong-Guo, Cheng Ming-Ming. JCS: An explainable COVID-19 diagnosis system by joint classification and segmentation. IEEE Transactions on Image Processing, 2021, 30: 3113-3126. doi: 10.1109/TIP.2021.3058783
[22]	Zhao Xiang-Yu, Zhang Peng, Song Fan, Fan Guang-Da, Sun Yang-Yang, Wang Yu-Jia, Tian Zhe-Yuan, Zhang Lu-Qi, Zhang Guang-Lei. D2A U-net: automatic segmentation of COVID-19 CT slices based on dual attention and hybrid dilated convolution. Computers in Biology and Medicine, 2021, 6: 104526.
[23]	He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770−778
[24]	Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez A N, et al. Attention is all you need. In: Proceedings of the Advances in Neural Information Processing Systems. Long Beach, USA: MIT Press, 2017. 5998−6008
[25]	Qiu Y, Liu Y, Li S J, Xu J. MiniSeg: An extremely minimum network for efficient Covid-19 segmentation. In: Proceedings of the AAAI Conference on Artificial Intelligence. Virtual Event: AAAI Press, 2021. 4846−4854
[26]	Wang Guo-Tai, Liu Xing-Long, Li Chao-Ping, Xu Zhi-Yong, Ruan Jiu-Gen, Zhu Hai-Feng, Meng Tao, Li Kang, Huang Ning, Zhang Shao-Ting. A noise-robust framework for automatic segmentation of COVID-19 pneumonia lesions from CT images. IEEE Transactions on Medical Imaging, 2020, 39(8): 2653-2663. doi: 10.1109/TMI.2020.3000314
[27]	Jiang Yi-Fan, Chen Han, Loew Murray, Ko Hanseok. Covid-19 CT image synthesis with a conditional generative adversarial network. IEEE Journal of Biomedical and Health Informatics, 2020, 25(2): 441-452.
[28]	Chaganti Shikha, Grenier Philippe, Balachandran Abishek, Chabin Guillaume, Cohen Stuart, Flohr Thomas, Georgescu Bogdan, Grbic Sasa, Liu Si-Qi, Mellot François, Murray Nicolas, Nicolaou Savvas, Parker William, Re Thomas, Sanelli Pina, W Sauter Alexander, Xu Zhou-Bing, Yoo Young-Jin, Ziebandt Valentin, Comaniciu Dorin. Automated quantification of CT patterns associated with COVID-19 from chest CT. Radiology: Artificial Intelligence, 2020, 2(4): e200048. doi: 10.1148/ryai.2020200048
[29]	Shan Fei, Gao Yao-Zong, Wang Jun, Shi Wei-Ya, Shi Nan-Nan, Han Miao-Fei, Xue Zhong, Shen Ding-Gang, Shi Yu-Xin. Abnormal lung quantification in chest CT images of COVID-19 patients with deep learning and its application to severity prediction. Medical Physics, 2021, 48(4): 1633-1645. doi: 10.1002/mp.14609
[30]	Han Zhong-Yi, Wei Ben-Zheng, Hong Yan-Fei, Li Tian-Yang, Cong Jin-Yu, Zhu Xue, Wei Hai-Feng, Zhang Wei. Accurate screening of COVID-19 using attention-based deep 3D multiple instance learning. IEEE Transactions on Medical Imaging, 2020, 39(8): 2584-2594. doi: 10.1109/TMI.2020.2996256
[31]	Cao Yu-Kun, Xu Zhan-Wei, Feng Jian-Jiang, Jin Cheng, Han Xiao-Yu, Wu Han-Ping, Shi He-Shui. Longitudinal assessment of covid-19 using a deep learning-based quantitative ct pipeline: Illustration of two cases. Radiology: Cardiothoracic Imaging, 2020, 2(2): e200082. doi: 10.1148/ryct.2020200082
[32]	Huang Lu, Han Rui, Ai Tao, Yu Peng-Xin, Kang Han, Tao Qian, Xia Li-Ming. Serial quantitative chest CT assessment of covid-19: deep-learning approach. Radiology: Cardiothoracic Imaging, 2020, 2(2): e200075. doi: 10.1148/ryct.2020200075
[33]	Yue Hong-Mei, Yu Qian, Liu Chuan, Huang Yi-Fei, Jiang Zi-Cheng, Shao Chu-Xiao, Zhang Hong-Guang, Ma Bao-Yi, Wang Yuan-Cheng, Xie Guang-Hang, Zhang Hai-Jun, Li, Xiao-Guo, Kang Ning, Meng Xiang-Pan, Huang Shan, Xu Dan, Lei Jun-Qiang, Huang Hui-Hong, Yang Jie, Ji Jiang-Song, Pan Hong-Qiu, Zou Sheng-Qiang, Ju Sheng-Hong, Qi Xiao-Long. Machine learning-based CT radiomics method for predicting hospital stay in patients with pneumonia associated with SARS-CoV-2 infection: a multicenter study. Annals of Translational Medicine, 2020, 8(14).
[34]	LAmyar Amine, Modzelewski Romain, Li Hua, Ruan Su. Multi-task deep learning based CT imaging analysis for COVID-19 pneumonia: Classification and segmentation. Computers in Biology and Medicine, 2020, 126: 104037. doi: 10.1016/j.compbiomed.2020.104037
[35]	Yan Q, Wang B, Gong D, Luo C, Zhao W, Shen J H, et al. Covid-19 chest CT image segmentation — A deep convolutional neural network solution. arXiv preprint arXiv: 2004.10987, 2020.
[36]	Oulefki Adel, Agaian Sos, Trongtirakul Thaweesak, Laouar Azzeddine Kassah. Automatic COVID-19 lung infected region segmentation and measurement using CT-scans images. Pattern Recognition, 2021, 114: 107747. doi: 10.1016/j.patcog.2020.107747
[37]	Zhou Long-Xi, Li Zhong-Xiao, Zhou Jue-Xiao, Li Hao-Yang, Chen Yu-Peng, Huang Yu-Xin, Xie De-Xuan, Zhao Lin-Tao, Fan Ming, Hashmi Shahrukh, Abdelkareem Faisal, Eiada Riham, Xiao Xi-Gang, Li Li-Hua, Qiu Zhao-Wen, Gao Xin. A rapid, accurate and machine-agnostic segmentation and quantification method for CT-based COVID-19 diagnosis. IEEE Transactions on Medical Imaging, 2020, 39(8): 2638-2652. doi: 10.1109/TMI.2020.3001810
[38]	Yao Q S, Xiao L, Liu P H, Zhou S K. Label-free degmentation of Covid-19 lesions in lung CT. IEEE Transactions on Medical Imaging, 2021, 40(10): 2808-2819.
[39]	Çiçek Ö, Abdulkadir A, Lienkam S S, Brox T, Ronneberger O. 3D U-net: Learning dense volumetric segmentation from sparse annotation. In: Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention. Athens, Greece: 2016. 424−432
[40]	Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation. In: Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: 2015. 234− 241
[41]	Tang Zhen-Yu, Zhao Wei, Xie Xing-Zhi, Zhong Zheng, Shi Feng, Ma Tian-Min, Liu Jun, Shen Ding-Gang. Severity assessment of COVID-19 using CT image features and laboratory indices. Physics in Medicine & Biology, 2021, 66(3): 035015.
[42]	Akbari Younes, Hassen Hanadi, Al-Maadeed Somaya, Zughaier Susu M. COVID-19 lesion segmentation using lung CT scan images: comparative study based on active contour models. Applied Sciences, 2020, 11(17): 8039.
[43]	Shen Cong, Yu Nan, Cai Shu-Bo, Zhou Jie, Sheng Jie-Xin, Liu Kang, Zhou He-Ping, Guo You-Min, Niu Gan. Quantitative computed tomography analysis for stratifying the severity of coronavirus disease 2019. Journal of Pharmaceutical Analysis, 2020, 10(2): 123-129. doi: 10.1016/j.jpha.2020.03.004
[44]	Xu Yong-Chao, Wang Yu-Kang, Zhou Wei, Wang Yong-Pan, Yang Zhi-Bo, Bai Xiang. TextField: learning a deep direction field for irregular scene text detection. IEEE Transactions on Image Processing, 2019, 28(11): 5566-5579. doi: 10.1109/TIP.2019.2900589
[45]	Wan J Q, Liu Y, Wei D L, Bai X, Xu Y C. Super-BPD: Super boundary-to-pixel direction for fast image segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Virtual Event: IEEE, 2020. 9253−9262
[46]	Cheng F, Chen C, Wang Y L, Shi H S, Cao Y K, Tu D D, et al. Learning directional feature maps for cardiac MRI segmentation. In: Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention. Lima, Peru: 2020. 108−117
[47]	Quinlan J R. Bagging, boosting, and C4. In: Proceedings of the AAAI Conference on Artificial Intelligence. Oregon, Porland: AAAI Press, 1996. 725−730
[48]	Breiman Leo. Bagging predictors. Machine learning, 1996, 24(2): 123-140.
[49]	Freund Yoav, Schapire Robert E. A desicion-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 1997, 55(1): 119-139. doi: 10.1006/jcss.1997.1504
[50]	Hastie T, Rosset S, Zhu J, et al. Multi-class adaboost[J]. Statistics and its Interface, 2009, 2(3): 349-360
[51]	赖小波, 许茂盛, 徐小媚. 基于多模型融合和区域迭代生长的视网膜血管自动分割. 电子学报, 2019, 47(12): 2611-2621. Lai Xiao-bo, Xu Mao-Sheng, Xu Xiao-Mei. Automatic retinal vessel segmentation based on multi-model fusion and region iterative growth. Acta Electronica Sinica, 2019, 47(12): 2611-2621.
[52]	Milletari F, Navab N, Seyed-Ahmad A. V-net: Fully convolutional neural networks for volumetric medical image segmentation. In: Proceedings of the International Conference on 3D Visi-on. Stanford, USA: IEEE, 2016. 565−571
[53]	Baid U, Shah N, Talbar S. Brain tumor segmentation with cascaded deep convolutional neural network. In: Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention Brainlesion Workshop. Shenzh-en, China: 2019. 90−98
[54]	Kingma D P, Ba J. Adam: A method for stochastic optimization. In: Proceedings of the International Conference on Learning Representations. San Diego, USA: 2015.