-
摘要: 近些年, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域得到广泛应用, 然而某些行业(例如医疗行业)由于数据隐私的原因, 多个研究机构或组织难以共享数据训练联邦学习模型. 因此, 将同态加密(Homomorphic encryption, HE)算法技术引入到联邦学习中, 提出一种支持数据隐私保护的联邦深度神经网络模型(Privacy-preserving federated deep neural network, PFDNN). 该模型通过对其权重参数的同态加密保证了数据的隐私性, 并极大地减少了训练过程中的加解密计算量. 通过理论分析与实验验证, 所提出的联邦深度神经网络模型具有较好的安全性, 并且能够保证较高的精度.Abstract: In recent years, artificial intelligence technology has been widely used in the fields of image classification, object detection, semantic segmentation, intelligent control and fault diagnosis, etc.. However, in some industries, such as medical, it is difficult that multiple research institutions share data to train federated learning models due to data privacy. Therefore, homomorphic encryption (HE) algorithm technology is introduced into federated learning in this paper. A privacy-preserving federated deep neural network (PFDNN) model is proposed, which preserves data privacy by homomorphic encryption of model parameters and significantly reduces the amount of computation required for encryption and decryption. Theoretical analysis and experimental results show that the proposed federated deep neural network model has better security and can guarantee higher accuracy.
-
Key words:
- Federated learning /
- deep learning /
- data privacy /
- homomorphic encryption (HE) /
- neural network
-
呼吸运动(Respiratory motion)是放射治疗(Radiation therapy, RT)中, 导致误差和不确定性的重要因素[1-2]. 一方面, 现代放射治疗技术可以达到毫米级的传输精度, 如调强放疗(Intensity-modulated radiation therapy, IMRT)[3]; 另一方面, 呼吸运动可以导致胸部和腹部的肿瘤移动多达35毫米[4]. 在此情况下[5], 如果不对呼吸运动进行有效控制和补偿, 要么肿瘤得不到足够的放射计量, 要么肿瘤周围的健康组织将会受到放射的伤害[6-7]. 因此, 有效减少呼吸对器官和肿瘤运动的影响, 对整个放射治疗的进程和效果显得尤为重要[8-10].
针对这一问题, 研究者提出了多种不同的解决方法, 包括: 1)屏气法[11-13]; 2)浅呼吸法[11-19]; 3)呼吸门控法[15-16]; 4)动态目标跟踪法[17-21]. 呼吸门控法和动态目标跟踪法都需要实时了解肿瘤的位置. 呼吸门控法通过在呼吸周期的预定阶段打开放射光束, 从而减少正常组织的照射量. 动态目标跟踪法可以让光束和肿瘤进行同步的运动, 实现连续照射, 是目前最为有效的呼吸管理技术. 肿瘤的位置可以通过直接方式和间接方式来获得. 直接方式通过放射线成像系统对肿瘤或植入体内的标志物进行成像, 该方法可以获得人体内的结构信息, 但会给患者带来额外的辐射负担[10, 22-27], 并且需要进行昂贵的、创伤性手术, 因此目前还没有广泛应用.
间接方式是使用呼吸信息对内部解剖结构的运动进行建模和预测. Hoisak等[27]通过肺活量测定和实时位置跟踪系统, 研究肺部肿瘤运动与呼吸运动的相关性. 该方法的局限是, 只使用了线性相关系数来度量肿瘤和参考物在一个方向上的运动相关情况. Paganelli等[8]从核磁共振图像(Magnetic resonance imaging, MRI)中提取SIFT (Scale-invariant feature transform)图像特征, 对基于图像特征的跟踪方法与基于标志物的跟踪方法进行对比. 该方法采用二次多项式进行建模, 需要在人体表面放置标志物, 并计算45个图像特征的均值, 较为繁琐. 文献[9]通过实验表明, 相比于其它解剖结构, 膈肌与呼吸运动具有更强的相关性. 根据这一结论, 很多研究者采用膈肌作为参考点, 对肿瘤运动情况进行研究. 文献[28]针对不同患者, 提出了一种基于膈肌的患者特异性呼吸模型, 取得了良好的实验结果.
另一方面, 人体内部结构的运动情况, 可以通过机体外部的观察来进行预测. 最近的研究[9]表明, 人体整个外表面的运动与内部结构的运动具有很强的相关性. 据此, 文献[29-30]使用K-means算法对人体胸腹部表面的运动轨迹进行聚类, 以产生呼吸运动的参考点. 但是由于K-means算法易受到初始值和数据结构的影响, 该方法容易受到噪声的干扰. Malinowski等[1]将三个标记物固定在患者贴身背心上, 据此来研究人体表面与肿瘤位置的相互运动关系. Ozhasoglu等[4]通过使用光学监测装置观察附着在胸部和腹部的红外发光二极管(LED), 来研究呼吸运动对肺和胰腺肿瘤运动的影响. 这两种方法[1, 4]均需在人体外表面放置标记物, 因此较为繁琐, 易受到操作者的影响.
对体内膈肌和体外胸腹表面之间关系的准确、系统的研究, 不仅可以提高呼吸运动管理的准确性, 而且可以显著降低放射治疗的复杂性, 但相关工作仍然较少, 且要么需要患者佩戴标记物, 较为繁琐, 要么模型建立比较简单. 考虑到这两个器官具有不同的运动模式, 其数据具有不同的分布结构, 形成不同的子空间, 无法直接进行准确的映射. 针对这一问题, 本文提出了一种新的分步子空间映射(Two-step subspace mapping, TSSM)算法, 通过体外无标记胸腹部表面的测量来预测体内膈肌的运动情况. 该方法无需患者佩戴标记物, 且采用多种线性、非线性模型, 系统地对体内膈肌和体外胸腹表面运动情况进行对比研究. 本文首先针对4D CT图像, 利用三维图像分割方法, 对体内膈肌和体外胸腹部表面的位移进行准确的测量. 为了解决域自适应(Domain adaptation)问题, TSSM首先利用主成分分析法(Principal component analysis, PCA)为每组数据构建特征子空间. 然后通过线性岭回归(Ridge regression)优化过程, 将膈肌数据与胸腹部表面数据连接起来, 得到一个子空间映射模型. 基于得到的映射模型, 该方法可以通过体外胸腹部表面数据, 对体内膈肌的运动情况进行预测. 为了研究数据的非线性相关性, 本文进一步将TSSM扩展到基于核的分步子空间映射算法(Kernel TSSM, kTSSM), 包括多项式核和高斯核. 本文给出了两种算法的解析解, 其不需要递归迭代的操作, 具有运算速度快的特点. 对比实验表明, 这种分步映射的策略可以有效解决跨空间数据的预测问题, 具有很好的准确性和鲁棒性, 优于经典的线性模型和ANN模型, 本文也进一步给出了内部膈肌与外部胸腹部表面之间的运动关系模型.
本文的其余部分安排如下: 第1节具体介绍了所提方法和数据, 实验在第2节中介绍, 第3节给出结论和讨论.
1. 方法
1.1 内部膈肌位移提取
当获得患者的4D CT图像后, 本文设计了一种三维图像分割方法对其进行分割. 在4D CT图像中, 由于具有不同的组织结构, 身体区域的体素值(Voxel)均大于800, 而背景区域和肺部区域主要为空气, 其体素值在50以下. 考虑到图像的背景、身体区域和肺部区域具有显著的灰度差别, 本文采用阈值法对其进行初步分割. 具体地, 本文设置阈值(本文设为500), 首先将身体区域从背景中分割出来; 然后根据区域面积, 将图像中的最大目标区域作为身体区域; 最后进一步通过形态学方法, 去除背景中的孤立区域并填充身体区域中的孔, 从而得到身体区域的分割结果. 在获得身体区域之后, 由于肺部区域在身体区域内部, 并与身体区域的灰度值明显不同, 因此可以进一步执行阈值法分割出肺部区域, 此时分割算法会将肺部区域作为目标, 将身体区域作为背景. 在最终的三维分割结果中, 本文将背景体素设置为0, 身体区域体素设置为1, 肺部区域体素设置为3. 图1显示了第55、65和75横断平面(Axial plane)的分割结果. 图2(a)显示4D CT第1相位的三维分割结果, 我们可以进一步地将肺部区域和身体区域分开, 如图2(b)、图2(c)所示.
图 1 三维图像分割结果横断平面展示图, 背景体素值为0, 身体区域的体素值为1, 肺部体素值为3Fig. 1 3D segmentation images shown on the axial plane, where the background voxels is set to 0, the voxels of body area to 1, and the voxels of lungs to 3
图 2 三维图像分割结果, 及其对应的肺部区域和身体区域Fig. 2 A 3D segmentation result and the corresponding separated 3D lungs and body膈肌位于肺部下面, 并且与肺部的下边界同步运动. 考虑到难以直接通过4D CT观测到膈肌结构, 因此本文使用肺部的下边界来代表膈肌. 本文工作面向的是肝癌立体定向体部放疗(Stereotactic body radiation therapy, SBRT), 其主要受到右肺的影响. 因此, 本文设计了右肺自动确定方法, 来提取右肺区域, 具体操作如下: 首先, 在肺部区域的三维分割结果上(如图2(b)), 从左到右分别计算各个矢状平面(Sagittal axis)上肺部区域的面积(体素标签为3的数目), 这样以左右方向为横轴, 以肺部面积为纵轴, 便可得到沿左右方向的肺部面积曲线, 如图3所示. 可以注意到, 由于肺部的对称性, 在两肺之间肺部面积值比较小, 因此肺部面积曲线像字母“M”一样具有两个峰, 每个峰对应一个肺. 因此, 选择肺部面积曲线两个峰之间的最低点, 便可以确定右肺所包含的切片.
接下来, 在右肺的三维分割图像中, 可以通过从下到上(解剖坐标系下)确定肺部区域的最低体素(在分割图像中, 身体体素值为1, 肺部区域体素值等于3), 从而获得右肺下表面的三维图像. 在肺部下表面, 有一些高于膈肌的体素, 这些体素可以通过形态学运算进行去除. 最后, 可以获得右肺下表面膈肌的三维空间坐标, 表示为:
$${{\boldsymbol{y}}_i}(k) = \left\{ {y_{ij}^{A/P}(k),y_{ij}^{I/S}(k),y_{ij}^{L/R}(k)} \right\}$$ (1) 其中,
$i = 1,2, \cdots, N$ 表示第$i$ 个患者;$k = 1,2, \cdots ,K$ 表示患者4D CT图像的第$k$ 个相位;$j$ 表示体素序号;$N$ 是患者总数;$A/P$ 、$I/S$ 和$L/R$ 分别表示前/后(Anterior/Posterior)轴、下/上(Inferior/Superior)轴和左/右(Left/Right)轴.$y_{ij}^{A/P}(k)$ 代表第$i$ 个患者的第$k$ 个相位沿前/后轴的第$j$ 个体素的值,$y_{ij}^{I/S}(k)$ 和$y_{ij}^{L/R}(k)$ 以此类推. 因此, 可以通过式${{\bar{\boldsymbol y}}_i}(k) =$ $\left\{ {\bar y_{ij}^{A/P}(k),\bar y_{ij}^{I/S}(k),\bar y_{ij}^{L/R}\left( k \right)} \right\}$ 计算膈肌的质心, 从而表示膈肌的位置. 将膈肌第1相位的位置作为基准, 计算膈肌的运动位移:$$\begin{split} &{{{\bar{\boldsymbol y}}}_i}(k) - {{{\bar{\boldsymbol y}}}_i}(1) = \\ &\quad\left\{ \bar y_{ij}^{A/P}(k)- \bar y_{ij}^{A/P}(1),\bar y_{ij}^{I/S}(k) -\right.\\ &\quad\left. \bar y_{ij}^{I/S}(1),\bar y_{ij}^{L/R}(k) - \bar y_{ij}^{L/R}(1) \right\} \\ & {\kern 1pt} {\kern 1pt} \Leftrightarrow \Delta {{{\bar{\boldsymbol y}}}_i}(k) = \left\{ {\Delta \bar y_{ij}^{A/P}(k),\Delta \bar y_{ij}^{I/S}(k),\Delta \bar y_{ij}^{L/R}(k)} \right\} \end{split} $$ (2) 为了便于表达, 本文后续将忽略平均符号和差值符号, 使用式
${{\boldsymbol{y}}_i}(k) =$ $\left\{ {y_{ij}^{A/P}({{k}}),y_{ij}^{I/S}(k),y_{ij}^{L/R}(k)} \right\}$ ,$k = 1,2, \cdots ,K, $ 来表示第$i$ 个病人第$k$ 个相位的膈肌位移.1.2 外部胸腹部表面位移提取
本节从三维分割结果的身体区域(如图2(c)所示)中获取胸腹部表面, 进而计算胸腹部表面的位移. 首先, 沿前/后方向找出身体的边界体素(体素值为1), 获得胸腹部表面. 图4(a)显示了胸腹部表面在前/后方向的透视图, 其中像素灰度代表距最前端冠状平面的距离. 我们进一步对初始胸腹部表面进行处理, 首先在得到的初始胸腹部表面图上(如图4(a)), 沿左/右方向找到最宽的位置, 该位置对应人体的肩膀, 我们去除肩膀之上的区域. 考虑到人体是一个类似的圆柱体, 其在冠状面的投影, 将会包含正面的胸腹表面和人体两侧的区域, 因此, 为了更加准确地获得胸腹部表面, 本文运用腐蚀操作, 来进一步地去掉人体两侧的区域. 当人体进行呼吸时, 人体两侧区域会沿左/右方向伸缩, 其在冠状面的投影有显著的变化, 且位于初始胸腹部表面的边缘区域. 因此, 在对不同相位的初始胸腹部表面进行腐蚀后, 得到的人体胸腹表面大小不一致, 考虑到是同一个病人, 为了统一大小, 本文对所有相位的胸腹表面取交集, 我们可以得到如图4(b)所示的患者胸腹部掩膜. 将该掩膜与初始胸腹部表面取交集, 我们可以进一步获得最终胸腹部表面, 如图4(c)所示, 其表示为:
$${{\boldsymbol{x}}_i}(k) = \left\{ {x_{ij}^{A/P}(k),x_{ij}^{I/S}(k),x_{ij}^{L/R}(k)} \right\}$$ (3) 其中,
$i = 1,2 ,\cdots ,N$ 表示第$i$ 个患者;$k = 1,2, \cdots ,K$ 代表4D CT图像的第$k$ 个相位;$j$ 是体素序号.$x_{ij}^{A/P}(k)$ 代表第$i$ 个患者的第$k$ 个相位沿前/后轴的第$j$ 个体素的值,$x_{ij}^{I/S}(k)$ 和$x_{ij}^{L/R}(k)$ 以此类推.相比于胸腹部的面积, 胸腹部位移是非常小的, 因此本文采用ICP算法(Iterative closest point)[31]来计算胸腹部表面的位移. ICP算法的输出包括一个三维旋转矩阵和一个平移向量. 通过测试发现, 人体胸腹部运动的旋转角度小于0.5度, 其位移主要来源于平移, 因此可以根据ICP算法输出的平移向量, 来计算胸腹部表面的位移, 表示为:
$$\Delta {{\bar{\boldsymbol x}}_i}(k) = \left\{ {\Delta \bar x_{ij}^{A/P}(k),\Delta \bar x_{ij}^{I/S}(k),\Delta \bar x_{ij}^{L/R}}(k) \right\}$$ (4) 为了便于表达, 本文后续将忽略平均符号和差值符号, 使用
${{\boldsymbol{x}}_i}(k) =$ $\left\{ {x_{ij}^{A/P}(k),x_{ij}^{I/S}(k),x_{ij}^{L/R}(k)} \right\}$ ,$k = 1,2, \cdots ,K,$ 表示第$i$ 个病人第$k$ 个相位的胸腹部表面位移.1.3 分步子空间映射
在提取胸腹表面的位移数据
${\boldsymbol{x}} \in {\boldsymbol{X}}$ 和膈肌的位移数据${\boldsymbol{y}} \in {\boldsymbol{Y}}$ 之后, 本节将要在它们之间建立映射$F:{\boldsymbol{X}} \to {\boldsymbol{Y}}$ , 这样对于任意新输入测试数据, 可以通过观测胸腹表面的位移数据${{\boldsymbol{x}}^{\rm{Test}}}$ , 对膈肌的位移数据进行预测${{\boldsymbol{y}}^{\rm{Test}}} = F({{\boldsymbol{x}}^{\rm{Test}}})$ . 然而, 胸腹表面和膈肌是两种不同的解剖器官, 其运动模式也不相同, 所产生的两种数据具有不同的分布结构. 例如, 在实验中发现, 有的病人膈肌位移很大, 而其胸腹表面的运动却很小. 因此难以在这两种数据集之间直接构造映射. 为了解决这一问题, 本节提出一种新的分布子空间映射算法(Two-step subspace mapping, TSSM).本文将数据分为训练数据和测试数据,
${\boldsymbol{x}}= $ $ {{\boldsymbol{x}}^{\rm{Train}}} \cup {{\boldsymbol{x}}^{{\rm{Test}}}}$ ,${\boldsymbol{y}}={{\boldsymbol{y}}^{\rm{Train}}} \cup {{\boldsymbol{y}}^{\rm{Test}}}$ . 假设器官结构相似的人, 其胸腹部表面与膈肌有相似的运动情况. 基于此假设, 本文定义两种距离: 1)子空间域内距离:${d^{{\rm{intra}}}}({{\boldsymbol{x}}_i},{{\boldsymbol{x}}_j})$ 或${d^{{\rm{intra}}}}({{\boldsymbol{y}}_i},{{\boldsymbol{y}}_j})$ ,$i,j = 1,2, \cdots, N$ , 计算在同一个子空间的两个数据之间的距离; 2)子空间域间距离${d}^{\rm{inter}}({{\boldsymbol{x}}}_{i},{{\boldsymbol{y}}}_{j}), i,j=1,2, \cdots, N$ , 计算来自不同子空间的两个数据之间的距离. TSSM算法的核心是找到一种映射, 使同一患者数据的子空间域间距离${d^{{\rm{inter}}}}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i})$ ,$i = 1,2, \cdots, N$ 小于不同患者的子空间域间距离${d^{{\rm{inter}}}}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_j})$ ,$i \ne j$ . 子空间域内距离${d^{{\rm{intra}}}}$ 能够准确度量两个器官运动的相异性. 这样对于新输入的数据, 我们通过对观测数据${{\boldsymbol{x}}^{\rm{Test}}}$ 作映射来近似表示${{\boldsymbol{y}}^{\rm{Test}}}$ . 下面给出子空间的构造方法和映射方法.膈肌位移数据和胸腹部表面位移数据的维数均为K维, 因此可以生成K维子空间, 选择一组数据作为子空间的基, 其他数据由这些基来表示, 但这样会导致数据冗余或不完整. 为了克服这个问题, 本文采用PCA来构建子空间[32-34]. PCA通过最大均值差异最小(Maximum mean discrepancy, MMD)的准则, 找到包含数据本质特征的公共子空间.
首先, 对膈肌的位移数据和胸腹部表面的位移数据进行归一化, 表示为K维向量的形式, 如下所示:
$$\left\{\begin{aligned} &{{{\hat{\boldsymbol{x}}}_i}(k) = \frac{{{{\boldsymbol{x}}_i}(k){\rm{ - }}\mathop {\min }\limits_{k = 1:K} \{ {{\boldsymbol{x}}_i}(k)\} }}{{\mathop {\max }\limits_{k = 1:K} \{ {{\boldsymbol{x}}_i}(k)\} - \mathop {\min }\limits_{k = 1:K} \{ {{\boldsymbol{x}}_i}(k)\} }}} \\ &{{{\hat{\boldsymbol{y}}}_i}(k) = \frac{{{{\boldsymbol{y}}_i}(k) - \mathop {\min }\limits_{k = 1:K} \{ {{\boldsymbol{y}}_i}(k)\} }}{{\mathop {\max }\limits_{k = 1:K} \{ {{\boldsymbol{y}}_i}(k)\} - \mathop {\min }\limits_{k = 1:K} \{ {{\boldsymbol{y}}_i}(k)\} }}} \end{aligned}\right.$$ (5) 分别对
${{\boldsymbol{x}}^{\rm{Train}}}$ 和${{\boldsymbol{y}}^{\rm{Train}}}$ 执行PCA, 然后对每组数据, 选择大于阈值$\varepsilon $ 的$d$ 个特征值, 该阈值$\varepsilon $ 可以在保持数据完整性和数据冗余之间进行平衡. 根据$d$ 个特征值, 可以得到$d$ 个对应的特征向量, 该$d$ 个特征向量分别作为膈肌位移数据和胸腹部表面位移数据的基, 表示为${\omega _x}$ 和${\omega _y}$ ,${\omega _x},{\omega _y} \in {{\bf{R}}^{K \times d}}$ . 注意到,$\omega _x^{\rm{T}}$ 和$\omega _y^{\rm{T}}$ 是正交化的($\omega _x^{\rm{T}}{\omega _x} = {I_d}$ 且$\omega _y^{\rm{T}}{\omega _y} = {I_d}$ , 其中${I_d}$ 是$d$ 的单位矩阵), 分别通过计算${{\tilde{\boldsymbol x}}_i} = {\hat{\boldsymbol{x}}_i}{\omega _x}$ 和${{\tilde{\boldsymbol y}}_i} = {\hat{\boldsymbol{ y}}_i}{\omega _y}$ , 将膈肌位移数据和胸腹表面位移数据映射到各自的子空间中, 其中,${{\tilde{\boldsymbol x}}_i}$ 是${\hat{\boldsymbol{x}}_i}$ 在子空间${\bf{R}}^{x}$ 中的对应点,${{\tilde{\boldsymbol y}}_i}$ 是${\hat{\boldsymbol{y}}_i}$ 在子空间${\bf{R}}^{y}$ 中的对应点.此时, 已经构造了对应的子空间, 但是使用欧氏距离后发现, 同一患者的子空间域间距离
${d^{{\rm{inter}}}}({{\tilde{\boldsymbol x}}_i},{{\tilde{\boldsymbol y}}_i})$ , 有时是大于不同患者的域间距离${d^{{\rm{inter}}}}({{\tilde{\boldsymbol x}}_i}, $ $ {{\tilde{\boldsymbol y}}_j})$ . 为了解决这个问题, 本文通过子空间之间的线性变换函数, 最小化来自同一患者的域间距离, 将胸腹部表面的位移数据映射到膈肌的位移数据中. 从${\tilde{\boldsymbol x}}$ 到${\tilde{\boldsymbol y}}$ 通过岭回归优化, 获得变换矩阵$\beta $ , 操作如下所示:$$\mathop {\arg \min }\limits_\beta {\rm{\{ ||}}{\tilde{\boldsymbol y}} - {{\tilde{\boldsymbol x}}^{\rm{T}}}\beta ||_2^2 + \lambda ||\beta ||_2^2\} $$ (6) 其中,
$\lambda \geq 0$ 是控制收缩量的规则化参数. 对式(6)关于$\beta $ 求导, 并使等式等于0, 则可以获得最优表达式, 如下所示:$${\beta ^{\rm{opt}}} = {({{\tilde{\boldsymbol x}}^{\rm{T}}}{\tilde{\boldsymbol x}} + \lambda I)^{ - 1}}{{\tilde{\boldsymbol x}}^{\rm{T}}}{\tilde{\boldsymbol y}}$$ (7) 至此, 便完成了子空间的映射操作. TSSM算法的流程图如图5所示. 在新输入测试数据后, 首先将观测到新的胸腹部表面位移数据
${{\boldsymbol{x}}^{\rm{Test}}}$ 归一化, 通过PCA将归一化的数据映射到子空间中, 从而得出${{\tilde{\boldsymbol x}}^{\rm{Test}}} = {\hat{\boldsymbol{x}}^{\rm{Test}}}{\omega _x}$ ; 然后通过在两个子空间之间进行映射, 便可预测相应子空间中的膈肌数据${{\tilde{\boldsymbol y}}^{\rm{Test}}} = $ $ {{\tilde{\boldsymbol x}}^{\rm{Test}}}\beta = {\hat{\boldsymbol{x}}^{\rm{Test}}}{\omega _x}\beta$ . 根据PCA特征子空间的系数和基来计算膈肌位移的预测数据, 即${\hat{\boldsymbol{y}}^{\rm{Test}}} = {\omega _y}{({{\tilde{\boldsymbol y}}^{\rm{Test}}})^{\rm{T}}}$ . 最后根据式(5), 通过逆归一化操作, 获得最终的膈肌位移预测数据.与支持向量机(Support vector machine, SVM)相似, 仅使用线性模型进行子空间映射, 无法充分地描述数据之间的关系. 为了解决这个问题, 本文进一步将TSSM推广到基于核的分步子空间映射算法(kTSSM). 令
$\phi $ 为非线性空间${\bf{R}}^{{x}}$ 到高维空间${\bf{Z}}^{x}$ 的映射, 核函数为$K({{\boldsymbol{x}}_i},{{\boldsymbol{x}}_j}) = \left\langle {\phi ({{\boldsymbol{x}}_i}),\phi ({{\boldsymbol{x}}_j})} \right\rangle$ . 可以注意到, 预测数据可通过变换后数据$\phi ({{\tilde{\boldsymbol x}}_i})$ 的线性组合来表示. 因此, 基于核函数的非线性岭回归优化变换可以表示为:$$\mathop {\arg \min }\limits_\beta {\rm{\{ ||}}{\tilde{\boldsymbol y}} - \phi ({\tilde{\boldsymbol x}})\beta ||_2^2 + \lambda ||\beta ||_2^2\} $$ (8) 式(7)的岭回归优化方程的解可重写为:
$${\beta ^{\rm{opt}}} = {{\tilde{\boldsymbol x}}^{\rm{T}}}{({\tilde{\boldsymbol x}}{{\tilde{\boldsymbol x}}^{\rm{T}}} + \lambda I)^{ - 1}}{\tilde{\boldsymbol y}}$$ (9) 将式(9)中
${\tilde{\boldsymbol x}}$ 用$\phi ({\tilde{\boldsymbol x}})$ 代替, 得到:$$ {\beta ^{\rm{opt}}} = \phi ^{\rm{T}}{({\tilde{\boldsymbol x}})}{(\phi ({\tilde{\boldsymbol x}})\phi^{\rm{T}} {({\tilde{\boldsymbol x}})} + \lambda I)^{ - 1}}{\tilde{\boldsymbol y}} $$ (10) 根据核函数和新输入的数据, 预测数据可以通过下式计算:
$$ \begin{split} {{{\tilde{\boldsymbol y}}}^{\rm{Test}}} =\;& \phi ({{{\tilde{\boldsymbol x}}}^{\rm{Test}}}){\beta ^{\rm{opt}}}= \\ & \phi ({{{\tilde{\boldsymbol x}}}^{\rm{Test}}})\phi^{\rm{T}} {({{{\tilde{\boldsymbol x}}}^{\rm{Train}}})}(\phi ({{{\tilde{\boldsymbol x}}}^{\rm{Train}}})\phi ^{\rm{T}}{({{{\tilde{\boldsymbol x}}}^{\rm{Train}}})} +\\ &\lambda I)^{ - 1}{{{\tilde{\boldsymbol y}}}^{\rm{Train}}}= \\ & K({{{\tilde{\boldsymbol x}}}^{\rm{Test}}},{{{\tilde{\boldsymbol x}}}^{\rm{Train}}})(K({{{\tilde{\boldsymbol x}}}^{\rm{Train}}},{{{\tilde{\boldsymbol x}}}^{\rm{Train}}}) +\\ &\lambda I)^{ - 1}{{{\tilde{\boldsymbol y}}}^{\rm{Train}}} \\[-10pt] \end{split} $$ (11) 其中,
${{\tilde{\boldsymbol x}}^{\rm{Test}}} = {\hat{\boldsymbol{x}}^{\rm{Test}}}{\omega _x}$ ,${{\tilde{\boldsymbol x}}^{\rm{Test}}}$ 是子空间${\bf{R}}^{{x}}$ 中新输入的数据,${{\tilde{\boldsymbol x}}^{\rm{Train}}}$ 和${{\tilde{\boldsymbol y}}^{\rm{Train}}}$ 分别是子空间${\bf{R}}^{x}$ 和${\bf{R}}^{y}$ 中的训练数据. 基于核映射可以使我们有效地进行非线性子空间映射, 而无需将数据投影到高维空间, 从而有效减少计算的复杂度, 提高建模的准确性. kTSSM的算法流程如下:输入. 胸腹表面数据
${\hat{\boldsymbol{x}}^{\rm{Train}}}$ 和${\hat{\boldsymbol{x}}^{\rm{Test}}}$ , 以及膈肌训练数据${\hat{\boldsymbol{ y}}^{\rm{Train}}}$ , 核函数模型和对应参数.输出. 预测膈肌数据
${\hat{\boldsymbol{ y}}^{\rm{Test}}}$ .步骤 1. 根据式(5), 对每组数据进行归一化, 获得
${\hat{\boldsymbol{ x}}^{\rm{Train}}}$ ,${\hat{\boldsymbol{ x}}^{\rm{Test}}}$ 和${\hat{\boldsymbol{ y}}^{\rm{Train}}}$ .步骤 2. 使用PCA, 将每个数据投影到其各自的子空间
${\bf{R}}^{{x}}$ 和${\bf{R}}^{y}$ 中, 获得${{\tilde{\boldsymbol x}}^{\rm{Train}}}$ ,${{\tilde{\boldsymbol x}}^{\rm{Test}}}$ 和${{\tilde{\boldsymbol y}}^{\rm{Train}}}$ .步骤 3. 根据式(11), 计算
${\bf{R}}^{y}$ 子空间的预测数据${{\tilde{\boldsymbol y}}^{\rm{Test}}}$ .步骤 4. 使用PCA, 将获得的数据投影到原始空间中来获得
${\hat{\boldsymbol{ y}}^{\rm{Test}}}$ .步骤 5. 根据式(5), 执行逆向归一化操作, 获得最终的预测
${{\boldsymbol{y}}^{\rm{Test}}}$ .现有关于体内组织器官与体外基准点相对运动的研究[1-2, 4, 7-10], 主要集中在线性模型或二次指数模型, 为了更加详细、全面地研究体内膈肌和体外胸腹表面的相对运动关系, 以进行准确的膈肌位移预测, 本文除了构造分步线性映射模型, 并进一步将其扩展到了基于非线性核的映射模型. 本文采用了两种最常见的核函数: 多项式核和高斯核, 其中多项式核可以实现将低维的输入空间映射到高维的特征空间, 其并不只限于二次函数, 通过升维操作可以提高建模的准确性, 但多项式核的缺点是参数较多, 容易出现过拟合现象. 高斯核函数是最常用的核函数之一, 可以将数据映射到无限维空间. 考虑到本文医用数据样本较少, 维数较高, 且没有数据分布的先验知识, 本文进一步选择高斯核对体内膈肌和体外胸腹表面的相对运动关系进行度量. 在实验中, 本文将对线性模型和两种非线性模型进行对比研究, 通过设置不同的参数, 给出膈肌与胸腹部表面之间运动关系的准确度量.
2. 实验
2.1 患者情况与数据采集
本研究中使用的临床数据由Philips Brilliance CT Big Bore Scanner设备获得, 在这项研究中采用了来自20位患者的4D CT数据集, 每个患者包括10个相位(具体为平均呼吸周期的0%, 10%, ···, 90%). 每个胸部CT的大小为512× 512×185个体素(Voxel), 尺寸分别为1.1719 mm×1.1719 mm×3 mm (分别对应于
$A/P$ 、$I/S$ 和$L/R$ 三个方向). 在采集数据时, 病人按正常状态、有规律的呼吸.在实验中, 我们选择相关研究中的经典线性模型和非线性模型, 与本文所提三种模型进行对比, 具体如下: OLS (Ordinary least squares)多变量线性回归模型[1]、人工神经网络模型(Artificial neural network, ANN)、TSSM、多项式核的kTSSM和高斯核的kTSSM. 本文采用三个指标, 对5种算法的性能进行定量评估: 均方误差(Mean-square error, MSE)、
${R^2}$ 误差和平均绝对百分比误差(Mean absolute percentage error, MAPE), 计算方法如下:$${\rm{MSE}} = \frac{1}{N}\sum\limits_{i = 1}^N {({y_i} - {{\hat y}_i}} {)^2}$$ (12) $${R^2} = 1 - \frac{{\sum\limits_{i = 1}^N {{{({y_i} - {{\hat y}_i})}^2}} }}{{\sum\limits_{i = 1}^N {{{({y_i} - {{\bar y}_i})}^2}} }}$$ (13) $${\rm{MAPE}} = \frac{{100{\text{%}} }}{N}\sum\limits_{i = 1}^N {|\frac{{{y_i} - {{\hat y}_i}}}{{{y_i}}}|} $$ (14) 其中,
${y_i}$ 是模型的实际值,${\bar{y}_i}$ 是模型实际值的均值,${\hat y_i}$ 是模型的预测值. MSE 衡量模型的预测均方误差, MSE的值越低, 预测结果越好.${R^2}$ 比较模型的优劣性, 消除数据分布域对实验结果的影响.${R^2}$ 的范围为($-\infty $ , 1], 值越大预测效果越好. MAPE衡量模型的预测值与实际值的平均偏差, 消除数据取值范围的影响, 值越低预测结果越好.在实验中, 本文采用K-fold策略将整个数据集分为训练数据和测试数据, 其中80%的随机样本作为训练数据, 其余样本进行模型测试. 为了评估该算法的鲁棒性, 在训练数据和测试数据中分别添加高斯噪声
$\sigma =\{ 0.1,0.2,0.3,0.4,0.5\}$ , 从而分析不同级别的高斯噪声对算法的影响. 本文算法参数选择如下: 对于岭回归优化,$\lambda {\rm{ = \{ 1}}{{\rm{0}}^{ - 10}}{\rm{,1}}{{\rm{0}}^{ - 9}}, \cdots {\rm{,1}}{{\rm{0}}^{10}}\}$ ; 在高斯核$K(x,y) = {{\rm{e}}^{ - {\sigma _{{\rm{kernel}}}}\left\| {x - y} \right\|_2^2}}$ 中,${\sigma _{{\rm{kernel}}}}$ 的值等于$\{ 0.1,0.2,0.4,0.8,1.6,3.2,6.4,12.8\} $ ; 在多项式核$K(x,y) = {({x^{\rm{T}}}y + c)^d}$ 中,$d = \{ 0.5,1, \cdots ,11\}$ ,$c = $ $ \{ - 10, - 9, \cdots ,10\}$ ; 对于ANN, 本文采用两层前馈神经网络, 其隐层节点数依次选择$\{ 2,3,4, \cdots , 29, $ $ 30\}$ . 对于每个算法的每组参数, 本文单独运行算法100次, 选择每个算法的最优参数组合, 并获得统计结果. 所有算法的运行环境相同, 均为Inter Xeon 3.6 GHz, 32 GB内存, Windows10和MATLAB R2019b平台.2.2 膈肌和胸腹部表面的位移
图6显示了内部膈肌的位移
${y_i}(k) = \{ y_{_{ij}}^{A/P}(k), $ $ y_{_{ij}}^{I/S}(k),y_{_{ij}}^{L/R}(k)\} ,k = 1,2, \cdots ,K$ 和胸腹部表面的位移${x_i}(k) = \{ x_{_{ij}}^{A/P}(k),x_{_{ij}}^{I/S}(k),x_{_{ij}}^{L/R}(k)\} ,k = 1, 2, \cdots , $ $ K$ , 其中第一行中的三个子图对应胸腹部表面沿着左/右方向、下/上方向和前/后方向三个方向的位移, 第二行是对应膈肌沿着左/右方向、下/上方向和前/后方向三个方向的位移. 在图6的每个子图中, 横轴表示10个相位, 纵轴表示实际的位移值, 曲线代表不同的患者. 从图6可以看出, 膈肌和胸腹部表面的位移随着呼吸先增加后又逐渐恢复. 从图6的第一行子图可以看出, 胸腹部表面在前/后方向上的位移大于在其他两个方向上的位移, 且更有规律性. 由此可以说明, 当患者躺在治疗床上呼吸时, 他们的胸腹部表面将主要沿着前/后方向移动. 从图6的第二行子图可以看出, 膈肌的主要移动方向是下/上方向. 可以注意到, 在主方向上, 膈肌和胸腹表面曲线光滑, 移动平稳, 这也进一步说明, 本文所提的三维图像分割技术可以有效地将身体区域、肺部区域从背景中分割出来, 可以满足提取内部膈肌和外部胸腹表面位置的精度要求.
图 6 膈肌和胸腹部表面的位移, 每一种颜色的曲线对应一个患者的数据Fig. 6 The displacement of diaphragm and thoracoabdominal surface, where each color corresponds to a specific patient＇s data由于性别、年龄、体型和情绪等都会对身体器官的运动产生影响, 不同患者器官运动的幅度不尽相同. 因此, 根据式(5)对膈肌和胸腹部表面的位移进行归一化, 结果如图7所示. 从图7可以看出, 不同患者胸腹部表面在前/后方向, 膈肌在下/上运动方向的数据分布更加一致.
图 7 归一化后的膈肌和胸腹部表面的位移, 每一种颜色的曲线对应一个患者的数据Fig. 7 The displacement of diaphragm and thoracoabdominal surface after normalization, where each color corresponds to a specific patient＇s data2.3 三个方向的预测
在本节中, 将根据胸腹部表面在三个方向的运动, 来预测膈肌在三个方向上的运动. 本文将同一患者三个方向10个相位的数据连接在一起, 形成一个包含30个元素的向量, 胸腹部表面位移向量为输入, 膈肌位移向量为输出, 预测结果如表1所示. 其中每个单元有两个数据, 前一个值代表100次独立运行的平均值, 括号中的值代表100次独立运行的标准偏差. 本实验记录MSE和MAPE的最小值, 记录
${R^2}$ 的最大值, 加粗标记代表5种算法中的最佳结果. 在表1中, 从上到下, 噪声等级依次增加. 从表1可以看出, 同为线性模型, TSSM算法优于OLS模型; 非线性模型ANN的表现较OLS模型要更好. 所提的三个算法的预测结果相近, MSE值和${R^2}$ 值均令人满意, 但多项式核的kTSSM算法获得多数的最佳预测值. 值得一提的是, 由于向量取值的不平衡性, 两种组织器官在有的相位和方向上移动范围大, 在其它相位和方向上移动范围小, 取值范围小的预测值会增加MAPE值, 因此使得MAPE值均超过100%.表 1 在三个方向上的预测结果Table 1 Prediction results in three directionsOLS 模型 ANN TSSM (线性) kTSSM (多项式) kTSSM (高斯) 没有噪声 MSE 0.45 (0.23) 0.30 (0.16) 0.20 (0.09) 0.18 (0.08) 0.20 (0.10) R2 0.70 (0.14) 0.81 (0.07) 0.87 (0.05) 0.88 (0.04) 0.88 (0.04) MAPE 232.11 (156.44) 159.60 (112.37) 150.82 (83.98) 116.57 (71.28) 130.69 (87.26) 噪声 ($\sigma =0.1$) MSE 0.46 (0.22) 0.29 (0.15) 0.22 (0.10) 0.19 (0.09) 0.22 (0.09) R2 0.70 (0.15) 0.82 (0.07) 0.86 (0.05) 0.88 (0.04) 0.86 (0.05) MAPE 276.86 (551.10) 214.82 (257.92) 157.28 (117.30) 137.25 (92.36) 170.47 (204.00) 噪声 ($\sigma =0.2$) MSE 0.54 (0.24) 0.39 (0.18) 0.25 (0.11) 0.23 (0.10) 0.24 (0.10) R2 0.69 (0.13) 0.76 (0.10) 0.84 (0.05) 0.86 (0.04) 0.85 (0.06) MAPE 277.42 (348.60) 211.14 (196.70) 172.08 (171.03) 131.98 (78.23) 166.12 (156.08) 噪声 ($\sigma =0.3$) MSE 0.65 (0.25) 0.42 (0.21) 0.30 (0.11) 0.28 (0.11) 0.29 (0.12) R2 0.59 (0.20) 0.75 (0.11) 0.82 (0.05) 0.82 (0.06) 0.82 (0.06) MAPE 426.45 (1371.37) 211.37 (228.00) 242.75 (274.21) 157.12 (94.87) 179.81 (115.10) 噪声 ($\sigma =0.4$) MSE 0.80 (0.28) 0.52 (0.33) 0.37 (0.13) 0.33 (0.13) 0.38 (0.13) R2 0.53 (0.21) 0.69 (0.19) 0.79 (0.07) 0.80 (0.06) 0.78 (0.07) MAPE 592.47 (1687.33) 262.36 (405.00) 198.89 (112.67) 174.14 (116.58) 185.34 (133.87) 噪声 ($\sigma =0.5$) MSE 0.98 (0.33) 0.65 (0.29) 0.46 (0.16) 0.41 (0.15) 0.45 (0.17) R2 0.47 (0.22) 0.64 (0.15) 0.75 (0.08) 0.76 (0.08) 0.76 (0.09) MAPE 365.33 (399.98) 254.35 (291.97) 234.93 (185.28) 194.18 (150.11) 214.82 (260.37) 表 2 在主方向上的预测结果Table 2 Prediction results in principal directionOLS 模型 ANN TSSM (线性) kTSSM (多项式) kTSSM (高斯) 没有噪声 MSE 0.47 (0.28) 0.27 (0.18) 0.14 (0.07) 0.13 (0.06) 0.15 (0.06) R2 0.73 (0.20) 0.86 (0.08) 0.93 (0.03) 0.93 (0.03) 0.92 (0.03) MAPE 91.07 (38.34) 63.62 (23.72) 47.85 (15.31) 45.17 (14.94) 46.47 (14.39) 噪声 ($\sigma =0.1$) MSE 0.40 (0.26) 0.25 (0.18) 0.15 (0.07) 0.14 (0.06) 0.15 (0.07) R2 0.78 (0.16) 0.86 (0.08) 0.92 (0.04) 0.92 (0.03) 0.91 (0.03) MAPE 143.90 (173.93) 100.38 (136.34) 116.46 (198.17) 68.29 (66.63) 107.08 (145.85) 噪声 ($\sigma =0.2$) MSE 0.43 (0.23) 0.29 (0.12) 0.18 (0.07) 0.17 (0.06) 0.18 (0.07) R2 0.76 (0.14) 0.84 (0.07) 0.90 (0.04) 0.91 (0.04) 0.90 (0.04) MAPE 188.52 (476.86) 138.61 (386.48) 133.32 (129.00) 79.96 (53.09) 82.96 (79.07) 噪声 ($\sigma =0.3$) MSE 0.61 (0.33) 0.38 (0.18) 0.23 (0.10) 0.20 (0.08) 0.24 (0.09) R2 0.64 (0.20) 0.79 (0.11) 0.87 (0.06) 0.87 (0.06) 0.88 (0.05) MAPE 192.18 (223.53) 136.84 (116.74) 134.21 (151.02) 86.07 (64.90) 101.09 (88.78) 噪声 ($\sigma =0.4$) MSE 0.70 (0.31) 0.45 (0.36) 0.30 (0.12) 0.26 (0.09) 0.29 (0.11) R2 0.65 (0.17) 0.77 (0.21) 0.83 (0.07) 0.87 (0.06) 0.85 (0.07) MAPE 221.12 (417.10) 175.31 (342.96) 142.09 (168.43) 94.42 (64.70) 109.11 (116.15) 噪声 ($\sigma =0.5$) MSE 1.01 (0.50) 0.52 (0.28) 0.39 (0.13) 0.32 (0.13) 0.36 (0.14) R2 0.47 (0.35) 0.75 (0.15) 0.80 (0.09) 0.84 (0.07) 0.81 (0.09) MAPE 173.44 (98.15) 193.44 (455.90) 146.14 (212.00) 102.30 (130.34) 116.74 (94.49) 图8显示5种算法预测结果, 其对应100次独立运行中, MSE的中间值对应的结果. 图8(a)为 OLS模型, 图8(b)为ANN, 图8(c)为TSSM, 图8(d)为多项式内核的kTSSM, 图8(e)为高斯内核的kTSSM. 在每个子图中, 有4个预测结果(占总数的20%), 其中横轴表示10个相位, 纵轴表示实际位移值, 红色曲线表示实际值, 蓝色曲线表示预测值. 在横轴上,
$L/R$ 表示左/右方向,$I/S$ 表示下/上方向, 而$A/P$ 表示前/后方向. 从图8(a)可以看出, OLS模型在下/上方向上可以预测膈肌运动, 但是在某些相位, OLS模型在左/右和前/后两个方向上的预测效果不佳, 仍然存在误差. 同为线性模型, TSSM算法具有更好的预测效果. 与OLS模型相比, 非线性模型ANN的表现更好, 而本文设计的kTSSM (多项式)在大多数情况下, 取得了最佳的预测结果.
图 8 三个方向的预测结果. 该结果对应于100次运行MSE的中位数值Fig. 8 Prediction results corresponding the median MSE value in three directions after 100 independent runs图9显示了100次独立运行的统计箱图, 其中横轴表示三个方向10个相位, 纵轴表示预测值和实际值之间的绝对误差. 图9子图中的每个方框都包含100次独立运行的结果, 在每个方框上, 中心的标记表示中值, 而框的底部和顶部边缘分别表示第25个和第75个百分点, “+”符号代表异常值. 从图9我们可以清楚地看到, 图9(a)中纵轴的范围比其他子图中的大得多, 图9(b)中纵轴取值范围居中, 而图9(c) ~ 图9(e)的误差绝对值比较小, 这也说明本文所提的方法具有更优、更稳定的预测性能. 从图9(c) ~ 图9(e)可以看到, 下/上方向上的统计值低于其他方向上的统计值; 对于下/上方向, 位于中间相位(5、6、7相位)的预测误差较小, 这表明当患者处于满吸气状态时, 预测效果会更好.
图 9 三个方向各相位预测误差的统计箱图Fig. 9 Boxplot of the prediction performance on every phase in three directions2.4 主方向的预测
在本节中, 仅使用胸腹部表面的前/后方向, 对膈肌的下/上方向的运动进行预测. 表2显示了100次独立运行后的预测结果. 图10显示5种方法对应MSE中间值的预测结果. 图11为每个相位的预测误差绝对值的统计箱图. 从表2可以看出, TSSM算法的性能优于OLS模型. ANN算法结果优于OLS模型. 在没有左/右和前/后方向的数据影响的情况下, TSSM算法的性能得到了很大的提高, 而且MAPE值已降至100%以下, 证明了TSSM算法的良好性能. 从图10可以看出, 本文所提方法均取得了令人满意的预测结果. 图11可以看出, 在第5、6、7相位上的预测结果, 要好于在其它相位上的预测结果, 这也进一步证明, 当患者处于满吸气状态时, 从外部体表能更加准确地预测体内结构的运动.
表 3 TSSM和kTSSM取得最优预测结果时的参数设置Table 3 Parameter setting of TSSM and kTSSM for optimal results模型 TSSM (线性) kTSSM (高斯) kTSSM (多项式) 参数 λ λ σkernel λ d c 三个方向的预测 没有噪声 1.0 0.1 0.2 100.0 6.0 9 噪声 ($\sigma =0.1$) 1.0 0.1 0.2 1000.0 3.5 9 噪声 ($\sigma =0.2$) 1.0 0.1 0.1 100.0 2.5 9 噪声 ($\sigma =0.3$) 1.0 0.1 0.1 1.0 0.5 4 噪声 ($\sigma =0.4$) 1.0 0.1 0.1 10.0 1.5 7 噪声 ($\sigma =0.5$) 1.0 1.0 0.1 10.0 1.0 4 主方向的预测 没有噪声 0.1 0.1 0.2 1.0 1.0 5 噪声 ($\sigma =0.1$) 0.1 0.1 0.2 0.1 1.0 7 噪声 ($\sigma =0.2$) 1.0 0.1 0.2 0.1 0.5 4 噪声 ($\sigma =0.3$) 1.0 0.1 0.1 1.0 0.5 3 噪声 ($\sigma =0.4$) 1.0 0.1 0.2 1.0 1.0 4 噪声 ($\sigma =0.5$) 1.0 0.1 0.1 0.1 0.5 7 
图 10 主方向的预测结果, 该结果对应于100次运行MSE的中位数值Fig. 10 Prediction results corresponding the median MSE values in the principal direction after 100 independent runs
图 11 主方向各相位预测误差的统计箱图Fig. 11 Boxplot of the prediction performance on every phase in the principal direction2.5 噪声的影响
本节验证算法的鲁棒性. 噪声对三个方向预测性能的影响如图12所示. 在图12的子图中, 横轴表示高斯噪声的等级, 纵轴表示算法100次独立运行后指标的平均值. 图13是噪声对主方向预测的影响, 可以看出, 随着噪声等级的增加5种算法的性能都会下降. 但是与OLS模型相比, ANN算法和TSSM算法的下降速度较慢且稳定, 这表明ANN, TSSM和kTSSM算法比OLS模型对噪声的鲁棒性更高; 对于准确性和稳定性, 尤其是在MAPE度量方面, 具有多项式核的kTSSM算法在5种算法中表现最好.
图 13 噪声对主方向预测性能的影响Fig. 13 Influence of noise on the prediction in principal direction2.6 关于算法参数的讨论
TSSM和kTSSM取得最优值时, 参数设置如表3所示. 对于线性模型TSSM, 其参数只有岭回归一个参数
$\lambda $ , 其取值范围为$\lambda {\rm{ = \{ 1}}{{\rm{0}}^{ - 10}}{\rm{,1}}{{\rm{0}}^{ - 9}}, \cdots {\rm{,1}}{{\rm{0}}^{10}}\}$ . 在绝大多数情况下,$\lambda $ 的最优设置为1, 只有两次为0.1, 这两次对应$\lambda = 1$ 的预测结果与最优结果接近. 因此, TSSM对膈肌位移的预测是比较稳定的, 受参数影响较小, 可直接设置为1即可. 对于kTSSM(高斯)模型, 其参数为$\lambda $ 和${\sigma _{{\rm{kernel}}}}$ , 其中$\lambda $ 的取值范围与TSSM相同,${\sigma _{{\rm{kernel}}}} = $ $\{ 0.1,0.2,0.4,0.8,1.6,3.2, $ $ 6.4,12.8\}$ . 可以看到, 在绝大多数情况下$\lambda = 0.1$ ,${\sigma _{{\rm{kernel}}}} = $ 0.1或0.2, 只相差一个取值间隔. 在实验结果中我们发现, 当${\sigma _{{\rm{kernel}}}} = 0.1$ 或${\sigma _{{\rm{kernel}}}} = 0.2$ 时, kTSSM (高斯)模型的预测结果非常相近, 具有很好的稳定性. kTSSM (高斯)模型的参数设置, 可按如下策略: 当获得的数据没有噪声或者比较干净时, 可直接设置为$\lambda = 0.1$ ,${\sigma _{{\rm{kernel}}}} = 0.2$ ; 当数据噪声比较大时, 参数可直接设置为$\lambda = 0.1$ ,${\sigma _{{\rm{kernel}}}} = 0.1$ . 对于kTSSM (多项式)模型, 其具有三个参数$\lambda $ 、$d$ 和$c$ , 其中$\lambda $ 的取值范围与TSSM相同,$d = \{ 0.5, $ $ 1, \cdots ,11\}$ ,$c = \{ - 10, - 9, \cdots ,10\}$ . 可以看到, 相比于TSSM和kTSSM (高斯)模型, kTSSM (多项式)模型的参数变化浮动较大, 特别是同时进行膈肌三个位移方向的预测时, 岭回归参数$\lambda $ 、指数$d$ 随着噪声的增加逐渐降低, 最后维持在$\lambda = 10$ 和$d = 1$ . 这主要是因为在没有噪声或噪声较小时, kTSSM(多项式)模型发生了过拟合现象; 当噪声增加时, 降低了kTSSM (多项式)模型对数据的敏感性, 因而最优参数可以达到相对稳定. kTSSM (多项式)模型对于主方向的预测, 受参数影响较小, 比较稳定,$\lambda $ 在1上下浮动,$d$ 在0.5和1之间选择, 参数$c$ 设置为4即可. 从kTSSM (多项式)模型的参数$d$ 可以看出, 胸腹部表面与膈肌的相对位移, 近似满足线性模型($d = 1$ ), 这一点也可以通过TSSM的参数稳定性得到验证. 尽管kTSSM (多项式)模型在实验中取得了最好的预测结果, 但是考虑到kTSSM(多项式)模型具有更多的参数需要设置, 并容易出现过拟合现象, 本文认为在实际中, 只需要采用线性模型TSSM即可达到准确的预测结果.本文进一步使用TSSM模型研究PCA算法中不同的阈值
$\varepsilon $ 对算法性能的影响. 我们选择不同的阈值$\varepsilon = \{ 1,{10^{{\rm{ - }}1}},{10^{{\rm{ - 2}}}},{10^{{\rm{ - 3}}}},{10^{{\rm{ - 4}}}},{10^{{\rm{ - 5}}}},{10^{{\rm{ - 6}}}}\} $ , 确保由PCA构造子空间的维数, 从1维逐渐变到原始数据的维数, 然后在不同的噪声水平($\sigma =\{ 0.1,0.2, $ $ 0.3, 0.4,0.5\}$ )下, 单独运行TSSM模型($\lambda =1$ ) 100次. 计算结果如图14所示, 其中图14(a)为三个方向预测的统计结果, 图14(b)为主方向预测的统计结果. 每个子图中, 横坐标表示不同的阈值$\varepsilon $ , 纵坐标依次为子空间维数、MSE值、R2值和MAPE值. 可以看到, 当$\varepsilon =1$ 时, 此时PCA构造的子空间只有1维; 随着$\varepsilon $ 的增大, 子空间维数逐渐增大至原始数据的维数, 即PCA没有对原始数据进行降维. 随着$\varepsilon $ 的增大, MSE值逐渐减小, 这主要是由于子空间映射时, 维数越多, 信息量损失越小, 因此可以得到更加准确的预测结果. 同时注意到, MSE值、R2值和MAPE值的变化范围非常小, 特别是R2值和MAPE值仅出现小范围的变化, 可近似看作稳定. 即使当PCA构造的子空间只有1维时, TSSM模型也能取得令人满意的预测结果, 这也说明PCA构造的子空间能够有效提取原始数据的主要成分, 具有很强的稳定性. 为了对比验证所提算法的有效性, 本文在实验中选择$\varepsilon ={10^{{\rm{ - }}4}}$ , 此时PCA 构造的子空间保留了原始数据绝大部分信息, 信息损失量较少, 获得预测结果较为准确.
图 14 PCA中的阈值$\varepsilon $ 对TSSM预测模型的影响Fig. 14 The influence of$\varepsilon $ in PCA on the prediction performance of TSSM3. 讨论和结论
呼吸运动是放射治疗(RT)中导致误差和不确定性的重要因素[1-2]. 本文首先采用三维图像分割技术, 对4D CT图像进行分割, 在不使用标记物的情况下, 通过提取膈肌的质心以准确度量膈肌的位移, 使用ICP算法计算胸腹部表面的位移. 为了解决跨空间预测问题, 本文提出了一种新的分步子空间映射算法(TSSM), 通过构造特征子空间, 并在高维子空间中进行映射, 从而可以有效地提高跨空间数据预测的准确性.
对20位患者真实数据的实验表明, 本文提出的方法可以有效地描述膈肌和胸腹部表面的运动情况. 相比于通过原始空间的直接预测, TSSM算法在准确性和鲁棒性方面均优于经典线性的OLS模型和非线性的ANN模型. 考虑到具有多项式核的kTSSM算法比TSSM算法具有更多的参数, 容易出现过拟合现象, 因此在实际应用中, 我们建议直接应用TSSM算法, 线性模型已经可以获得令人满意的预测效果. 值得一提的是, 我们发现在病人吸气处于最高点的位置时, 预测效果会更好. 所提算法具有解析解, 总计算时间(训练加上测试)在0.6 ms以下, 可以达到实时处理速度, 运行效率较高, 这将有助于提高放射治疗中门控技术和跟踪技术的效率和精度.
-
图 6 支持数据隐私保护的联邦学习训练过程
Fig. 6 The training process of the date privacy-preserving federated learning
表 1 训练者与参数服务器获得的数据信息
Table 1 Data information obtained by the participant and parameter server
名称 训练者 i 参数服务器 中间数据 Enc(Wglobal) Enc(Wglobal) Prediction results Enc(Wpar,1) Lossi Enc(W par,2) Gi … Wpar,i Enc(Wpar,n) 
下载: 导出CSV
表 2 算法执行时间
Table 2 Execution time of the algorithms
操作 参数量 10 16 32 64 160 512 2048 50176 Paillier 方案 加密 0.07 s 0.11 s 0.23 s 0.48 s 1.19 s 3.91 s 15.05 s 381.51 s 解密 0.02 s 0.03 s 0.07 s 0.13 s 0.34 s 1.10 s 4.31 s 107.77 s 加法 0.10 ms 0.19 ms 0.49 ms 1.09 ms 5.59 ms 8.07 ms 30.82 ms 0.81 s 直接相加 0.96 μs 0.99 μs 1.01 μs 1.03 μs 1.10 μs 1.49 μs 2.83 μs 33.30 μs
下载: 导出CSV
表 3 深度神经网络模型结构
Table 3 Deep neural network model structure
model 深度神经网络 结构 L1 input = 784, output = 64 L2 input = 64, output = 32 L3 input = 32, output = 16 L4 input = 16, output = 10
下载: 导出CSV
表 4 不同模型偏差结果
Table 4 The deviation results of the different models
模型 参数 mini-batch = 32 mini-batch = 64 mini-batch = 128 mini-batch = 256 DNN-1 devavg 2.04% 2.62% 2.68% 6.25% PFDNN-1 devmax 0.47% 0.67% 1.07% 2.82% DNN-2 devavg 2.30% 3.00% 4.39% 5.26% PFDNN-2 devmax 0.36% 0.57% 0.03% 0.05%
下载: 导出CSV
表 5 不同类别物品的预测结果
Table 5 Prediction results of the different items
Method DNN-1
mini-batch = 128
lr = 0.005, epoch = 300DNN-1
mini-batch =128
lr = 0.01, epoch = 300FDNN-1
mini-batch = 128
lr = 0.005, epoch = 300FDNN-2
mini-batch = 128
lr = 0.01, epoch = 300Type Recall Precision Recall Precision Recall Precision Recall Precision T-shirt 82.00% 83.42% 86.00% 78.18% 78.60% 84.24% 76.50% 86.50% Trouser 96.40% 98.07% 98.20% 92.99% 95.70% 98.76% 96.10% 99.17% Pullover 78.00% 78.23% 80.40% 76.14% 67.60% 83.25% 76.90% 78.47% Dress 87.70% 87.96% 80.10% 91.23% 88.70% 85.62% 89.30% 86.03% Coat 82.70% 77.80% 86.10% 70.40% 82.60% 74.08% 85.80% 75.59% Sandal 95.50% 95.50% 94.70% 95.75% 93.80% 95.81% 94.90% 96.25% Shirt 68.10% 71.16% 51.80% 80.06% 71.40% 64.09% 68.30% 69.48% Sneaker 94.00% 95.05% 95.30% 92.08% 97.10% 90.58% 97.00% 92.21% Bag 96.50% 95.64% 96.50% 93.78% 96.20% 95.82% 96.80% 96.80% Boot 95.90% 93.84% 94.30% 95.54% 93.10% 96.38% 93.70% 96.80% Average 87.68% 87.67% 86.34% 86.62% 86.48% 86.86% 87.53% 87.69%
下载: 导出CSV
-
[1] Kebria P M, Khosravi A, Salaken S M, Nahavandi S. Deep imitation learning for autonomous vehicles based on convolutional neural networks. Acta Automatica Sinica, 2019, 7(1): 82-95. [2] Gong W F, Chen H, Zhang Z H, Zhang M L, Wang R H, Guan C, et al. A novel deep learning method for intelligent fault diagnosis of rotating machinery based on improved CNN-SVM and multichannel data fusion. Sensors (Basel, Switzerland), 2019, 19(7): Article No. 1693 [3] Roy P, Mahapatra G S, Dey K N. Forecasting of software reliability using neighborhood fuzzy particle swarm optimization based novel neural network. Acta Automatica Sinica, 2019, 6(6): 1365-1383. [4] 田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(03): 401-424.Tian Juan-Xiu, Liu Guo-Cai, Gu Shan-Shan, Ju Zhong-Jian, Liu Jin-Guang, Gu Dong-Dong. Research and challenges of deep learning methods for medical image analysis. Acta Automatica Sinica, 2018, 44(03): 401-424. [5] 陈加, 张玉麒, 宋鹏, 魏艳涛, 王煜. 深度学习在基于单幅图像的物体三维重建中的应用[J]. 自动化学报, 2019, 45(4): 657-668.Chen Jia, Zhang Yu-Qi, Song Peng, Wei Yan-Tao, Wang Yu. Application of deep learning to 3D object reconstruction from a single image. Acta Automatica Sinica, 2019, 45(4): 657−668. [6] Zhang Z H, Guan C, Liu Z. Real-time optimization energy management strategy for fuel cell hybrid ships considering power sources degradation. IEEE Access, 2020, 8: 87046-87059. doi: 10.1109/ACCESS.2020.2991519 [7] Chen H, Zhang Z H, Guan C, Gao H B. Optimization of sizing and frequency control in battery/supercapacitor hybrid energy storage system for fuel cell ship. Energy, 2020, 197: Article No. 117285 [8] Liu W B, Wang Z D, Liu X H, Zeng N Y, Liu Y R, Alsaadi F E. A survey of deep neural network architectures and their applications. Neurocomputing, 2017, 234(19): 11-26. [9] Shorten C, Khoshgoftaar T M. A survey on image data augmentation for deep learning. Journal of Big Data, 2019, 6(1): 1-48. doi: 10.1186/s40537-018-0162-3 [10] Roh Y, Heo G, Whang S E. A survey on data collection for machine learning: A big data — AI integration perspective. IEEE Transactions on Knowledge and Data Engineering, DOI: 10.1109/TKDE.2019.2946162 [11] Zhang Q, Yang L T, Chen Z, Li P. A survey on deep learning for big data[J]. Information Fusion, 2018, 42: 146-157. [12] 张超, 李强, 陈子豪, 黎祖睿, 张震. Medical Chain:联盟式医疗区块链系统. 自动化学报, 2019, 45(08): 1495-1510.Zhang Chao, Li Qiang, Chen Zi-Hao, Li Zu-Rui, Zhang Zhen. Medical chain: consortium medical blockchain system. Acta Automatica Sinica, 2019, 45(08): 1495-1510. [13] Huang L, Shea A L, Qian H, Masurkar A, Deng H, Liu D B. Patient clustering improves efficiency of federated machine learning to predict mortality and hospital stay time using distributed electronic medical records. Journal of Biomedical Informatics, 2019, 99: Article No. 103291 [14] 徐剑, 王安迪, 毕猛, 周福才. 支持隐私保护的k近邻分类器. 软件学报, 2019, 30(11): 3503-3517.Xu Jian, Wang An-Di, Bi Meng, Zhou Fu-Cai. K-nearest neighbor classifier supporting privacy protection. Journal of Software, 2019, 30(11): 3503-3517. [15] Bonawitz K, Ivanov V, Kreuter B, Marcedone A, McMahan H B, Patel S, et al. Practical secure aggregation for privacy-preserving machine learning. In: Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. New York, USA: Association for Computing Machinery, 2017. 1175−1191 [16] 贾春福, 王雅飞, 陈阳, 孙梦洁, 葛凤仪. 机器学习算法在同态加密数据集上的应用. 清华大学学报(自然科学版), 2020, 60(06):456-463.Jia Chun-Fu, Wang Ya-Fei, Chen Yang, Sun Meng-Jie, Ge Feng-Yi. Application of machine learning algorithms on homomorphic encrypted data sets. Journal of Tsinghua University (Natural Science Edition), 2020, 60(06):456-463. [17] Bost R, Popa R A, Tu S, Goldwasser S. Machine learning classification over encrypted data. In: Proceedings of the 2014 Network and Distributed System Security Symposium. San Diego, USA: 2014. [18] Barni M, Failla P, Lazzeretti R, Sadeghi A R, Schneider T. Privacy-preserving ECG classification with branching programs and neural networks. IEEE Transactions on Information Forensics and Security, 2011, 6(2): 452-468. doi: 10.1109/TIFS.2011.2108650 [19] Yu Y, Li H, Chen R, Zhao Y, Yang H, Du X. Enabling secure intelligent network with cloud-assisted privacy-preserving machine learning[J]. IEEE Network, 2019, 33(3): 82-87. doi: 10.1109/MNET.2019.1800362 [20] Phong L T, Aono Y, Hayashi T, Wang L H. Privacy-preserving deep learning via additively homomorphic encryption. IEEE Transactions on Information Forensics and Security. 2017, 13(5): 1333-1345. [21] Agrawal R, Srikant R. Privacy-preserving data mining. In: Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data. New York, USA: Association for Computing Machinery, 2000. 439−450 [22] Shokri R, Shmatikov V. Privacy-preserving deep learning. In: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York, USA: Association for Computing Machinery, 2015. 1310−1321 [23] Truex S, Baracaldo N, Anwar A, Steinke T, Ludwig H, Zhang R, Zhou Y. A hybrid approach to privacy-preserving federated learning. Informatik Spektrum, 2019, 42 (5): 356-357. doi: 10.1007/s00287-019-01205-x [24] Zhu Y, Hu H, Ahn G J, Huang D J, Wang S B. Towards temporal access control in cloud computing. Proceedings IEEE Infocom, 2012, 131(5):2576-2580. [25] Canetti R, Feige U, Goldreich O, Naor M. Adaptively secure multi-party computation. In: Proceedings of the 28th Annual ACM Symposium on Theory of Computing. Philadelphia, USA: ACM, 1996. 639−648 [26] Cireşan D, Meier U, Masci J, Schmidhuber J. Multi-column deep neural network for traffic sign classification. Neural networks, 2012, 32: 333-338. doi: 10.1016/j.neunet.2012.02.023 [27] Yin B, Yin H, Wu Y L, Jiang Z X. FDC: a secure federated deep learning mechanism for data collaborations in the Internet of Things. IEEE Internet of Things Journal, 2020, 7(7):6348-6359. doi: 10.1109/JIOT.2020.2966778 [28] Wang X F, Han Y W, Wang C Y, Zhao Q Y. In-Edge AI: intelligentizing mobile edge computing, caching and communication by federated learning. IEEE Network, 2019, 33(5): 156-165. doi: 10.1109/MNET.2019.1800286 [29] Yang K, Jiang T, Shi Y, Ding Z. Federated learning via over-the-air computation. IEEE Transactions on Wireless Communications, 2020, 19(3): 2022-2035. doi: 10.1109/TWC.2019.2961673 [30] Engelenburg S V, Janssen M, Klievink B. Design of a software architecture supporting business-to-government information sharing to improve public safety and security. Journal of Intelligent information systems, 2019, 52(3): 595-618. doi: 10.1007/s10844-017-0478-z [31] Qiu M J, Sun P, Zhang B, Yu J H, Fu Y, Yu X, et al. Reliable information encryption and digital display applications based on multistate smart windows. Advanced Optical Materials, 2018, 6(22): Article No. 1800338 [32] Hua Z, Zhou Y. Image encryption using 2D Logistic-adjusted-Sine map. Information Sciences, 2016, 339: 237-253. doi: 10.1016/j.ins.2016.01.017 [33] Wang R B, Li Y N, Xu H Y, Feng Y, Zhang Y G. Electronic scoring scheme based on real paillier encryption algorithms. IEEE Access, 2019, 7: 128043-128053. doi: 10.1109/ACCESS.2019.2939227 [34] Ganesan I, Balasubramanian A A A, Muthusamy R. An efficient implementation of novel paillier encryption with polar encoder for 5G systems in VLSI. Computers & Electrical Engineering, 2018, 65: 153-164. [35] Wu H T, Cheung Y M, Huang J W. Reversible data hiding in Paillier cryptosystem. Journal of Visual Communication and Image Representation, 2016, 40: 765-771. doi: 10.1016/j.jvcir.2016.08.021 [36] CSIRO＇s Data61. Python paillier library [Online], available: https://github.com/data61/python-paillier, April 12, 2022 [37] Seo Y, Shin K S. Hierarchical convolutional neural networks for fashion image classification. Expert Systems with Applications, 2019, 116: 328-339. doi: 10.1016/j.eswa.2018.09.022 [38] Sun Y, Chen J, Liu Q, Liu G. Learning image compressed sensing with sub-pixel convolutional generative adversarial network[J]. Pattern Recognition, 2020, 98: 107051. [39] Liao Z, Couillet R. A large dimensional analysis of least squares support vector machines. IEEE Transactions on Signal Processing, 2019, 67(4): 1065-1074. doi: 10.1109/TSP.2018.2889954 期刊类型引用(23)
1. 孙煦. 基于区块链技术的健康医疗数据隐私加密控制系统设计. 计算机测量与控制. 2024(03): 188-194 . 
百度学术2. 张婷婷，王智强. 基于支持隐私保护的网络信息安全传输仿真. 计算机仿真. 2024(05): 415-418+464 . 百度学术3. 李荣昌，刘涛，郑海斌，陈晋音，刘振广，纪守领. 基于最大-最小策略的纵向联邦学习隐私保护方法. 自动化学报. 2024(07): 1373-1388 . 本站查看4. 龚颖，许文韬，赵策，王斌君. 基于零信任机制的联邦学习模型. 科学技术与工程. 2024(19): 8166-8175 . 百度学术5. 李文平，杜选. 基于相关性的Swarm联邦降维方法. 自动化学报. 2024(09): 1866-1876 . 本站查看6. 宋慧玲，李勇，张文静. 基于联邦迁移的跨项目软件缺陷预测. 南京师大学报(自然科学版). 2024(03): 122-128 . 百度学术7. 刘帅华，郭峰. 联邦学习场景中Piraeus存储网络应用系统设计. 微型电脑应用. 2024(09): 164-166 . 百度学术8. 程华盛，敬超. 面向多租户数据中心的联邦学习架构下通信开销优化方法. 计算机应用研究. 2024(09): 2823-2830 . 百度学术9. 陈怡馨，马曾. 无线网络信息差分隐私的动态可搜索加密仿真. 计算机仿真. 2024(10): 424-427+442 . 百度学术10. 董洪蒙. 计算机网络信息安全中的数据加密技术应用及防护策略. 造纸装备及材料. 2024(10): 130-132 . 百度学术11. 赵宇豪，陈思光，苏健. 抗推理攻击的隐私增强联邦学习算法. 计算机科学. 2023(09): 62-67 . 百度学术12. 王方伟，谢美云，李青茹，王长广. 自适应裁剪的差分隐私联邦学习框架. 西安电子科技大学学报. 2023(04): 111-120 . 百度学术13. 李洪裕，董骁翀，王新迎，蒲天骄，孙英云. 考虑数据隐私保护的可再生能源场景生成框架. 电网技术. 2023(09): 3690-3698 . 百度学术14. 李盼盼，魏丽芳，赵浩. 差分隐私结合GAN的图像数据保护方法仿真. 计算机仿真. 2023(11): 147-150+515 . 百度学术15. 张泽辉，李庆丹，富瑶，何宁昕，高铁杠. 面向非独立同分布数据的自适应联邦深度学习算法. 自动化学报. 2023(12): 2493-2506 . 本站查看16. 陈前昕，毕仁万，林劼，金彪，熊金波. 支持多数不规则用户的隐私保护联邦学习框架. 网络与信息安全学报. 2022(01): 139-150 . 百度学术17. 黄云帆，汤殿华，赵伟，任娟，尉小鹏. 基于同态加密的密态卷积神经网络预测模型的构建与实现. 信息安全与通信保密. 2022(05): 27-36 . 百度学术18. 余正飞，闫巧，周鋆. 面向网络空间防御的对抗机器学习研究综述. 自动化学报. 2022(07): 1625-1649 . 本站查看19. 石元兵，张舒黎，曹占涛，张小青. 隐私计算融合应用研究. 通信技术. 2022(07): 919-925 . 百度学术20. 杨鹏. 考虑权值与熵值的媒体网络隐私数据访问认证. 自动化与仪器仪表. 2022(08): 54-57 . 百度学术21. 安鹏，张卓晖，喻波. 基于微服务与隐私计算技术的数据安全共享服务平台. 信息安全研究. 2022(10): 1000-1007 . 百度学术22. 刘靖宇，杨诚奕，邓云迪. 基于主动联邦学习的医疗图像分割研究. 四川文理学院学报. 2022(05): 88-93 . 百度学术23. 张泽辉，管聪，高航，高铁杠，陈辉. 面向船联网的高效隐私保护联邦学习方法. 中国舰船研究. 2022(06): 48-58 . 百度学术其他类型引用(21)
-
下载:
计量
- 文章访问数: 1217
- HTML全文浏览量: 1045
- PDF下载量: 498
- 被引次数: 44
