2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于样本特征解码约束的GANs

陈泓佑 陈帆 和红杰 朱翌明

陈泓佑, 陈帆, 和红杰, 朱翌明. 基于样本特征解码约束的GANs. 自动化学报, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496
引用本文: 陈泓佑, 陈帆, 和红杰, 朱翌明. 基于样本特征解码约束的GANs. 自动化学报, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496
Chen Hong-You, Chen Fan, He Hong-Jie, Zhu Yi-Ming. A GANs based on sample feature decoding constraint. Acta Automatica Sinica, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496
Citation: Chen Hong-You, Chen Fan, He Hong-Jie, Zhu Yi-Ming. A GANs based on sample feature decoding constraint. Acta Automatica Sinica, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496

基于样本特征解码约束的GANs


DOI: 10.16383/j.aas.c190496
详细信息
    作者简介:

    西南交通大学信息科学与技术学院博士研究生. 主要研究方向为机器学习, 图像处理.E-mail: chy2019@foxmail.com

    西南交通大学信息科学与技术学院副教授. 主要研究方向为多媒体安全, 计算机应用.E-mail: fchen@home.swjtu.edu.cn

    西南交通大学信息科学与技术学院教授. 主要研究方向为图像取证, 图像处理. 本文通信作者.E-mail: hjhe@home.swjtu.edu.cn

    西南交通大学信息科学与技术学院硕士研究生. 主要研究方向为深度学习, 图像处理.E-mail: swjtu163zym@163.com

  • 基金项目:  国家自然科学基金(61872303, U1936113),四川省科技厅科技创新人才计划(2018RZ0143)资助

A GANs Based on Sample Feature Decoding Constraint

More Information
  • Fund Project:  Supported by National Natural Science Foundation of China under Grants (61872303, U1936113), Technology Innovation Talent Program of Science & Technology Department of Sichuan Province (2018RZ0143)
  • 摘要: 生成式对抗网络(Generative Adversarial Networks, GANs)是一种有效模拟训练数据分布的生成模型, 其训练的常见问题之一是优化JS散度(Jensen-Shannon divergence)时可能产生梯度消失问题(Vanishing gradient problem). 针对该问题, 本文提出了一种解码约束条件下的GANs, 以尽量避免JS散度近似为常数而引发梯度消失现象, 从而提高生成图像的质量. 首先利用U-Net结构的自动编码机学习出与用于激发生成器的随机向量同维度的训练样本网络中间层特征. 然后在每次对抗训练前使用本文设计的解码约束条件训练解码器. 其中, 解码器与生成器结构相同, 权重共享. 为证明模型的可行性, 推导给出了引入解码约束条件有利于JS散度不为常数的结论以及解码损失函数的类型选择依据. 为验证模型的性能, 利用CELEBA和CIFAR10数据集, 对比分析了DCGANs, LSGANs, BEGANs, WGANs, WGANsGP 及SAGANs的生成效果. 通过实验对比IS, FID和清晰度等指标发现, 本文GANs能有效提高图像生成质量, 综合性能接近SAGANs.
  • 图  1  总体结构示意图

    Fig.  1  Overall structure sketch

    图  2  特征学习网络结构图

    Fig.  2  Structure diagram of feature learning network

    图  3  celeba数据集样本

    Fig.  3  Samples of celeba dataset

    图  4  cifar10数据集样本

    Fig.  4  Samples of cifar10 dataset

    图  5  U-Net自动编码示例

    Fig.  5  Samples of U-Net auto-encoder

    图  6  均匀特征实验样本, celeba

    Fig.  6  Uniform feature experimental samples, celeba

    图  7  L2解码不限制权重实验样本, celeba

    Fig.  7  L2 decoding with not restrict weight experimental samples, celeba

    图  8  本文方法实验样本, celeba

    Fig.  8  This paper method experimental samples, celeba

    图  9  均匀特征实验样本, cifar10

    Fig.  9  Uniform feature experimental samples, cifar10

    图  10  L2解码不限制权重实验样本, cifar10

    Fig.  10  L2 decoding with not restrict weight experimental samples, cifar10

    图  11  本文方法实验样本, cifar10

    Fig.  11  This paper method experimental samples, cifar10

    图  12  BEGANs实验样本, celeba

    Fig.  12  Experimental samples of BEGANs, celeba

    图  13  DCGANs实验样本, celeba

    Fig.  13  Experimental samples of DCGANs, celeba

    图  14  WGANsGP实验样本, celeba

    Fig.  14  Experimental samples of WGANsGP, celeba

    图  15  SAGANs1实验样本, celeba

    Fig.  15  Experimental samples of SAGANs1, celeba

    图  16  BEGANs实验样本, cifar10

    Fig.  16  Experimental samples of BEGANs, cifar10

    图  17  DCGANs实验样本, cifar10

    Fig.  17  Experimental samples of DCGANs, cifar10

    图  18  WGANsGP实验样本, cifar10

    Fig.  18  Experimental samples of WGANsGP, cifar10

    图  19  SAGANs1实验样本, cifar10

    Fig.  19  Experimental samples of SAGANs1, cifar10

    表  1  原图像与重构图像的PSNR和SSIM值统计

    Table  1  PSNR & SSIM between original and reconstructed images

    数据集 指标 均值 标准差 极小值 极大值
    celeba PSNR 40.588 5.558 22.990 61.158
    SSIM 0.9984 0.0023 0.9218 1.0000
    cifar10 PSNR 46.219 6.117 28.189 66.779
    SSIM 0.9993 0.0019 0.8180 1.0000
    下载: 导出CSV

    表  2  celeba中不同解码实验结果

    Table  2  Results of different decoding experiments in celeba

    对比项 IS ( $ \sigma \times 0.01 $ ) FID 清晰度均值 清晰度均值差值
    训练集 2.71±2.48 0.00 107.88 0.00
    正态特征 1.88±1.25 42.54 121.40 13.52
    均匀特征 1.82±1.48 43.04 123.02 15.14
    L1 1.99±1.53 32.95 120.16 12.28
    L2* 1.69±0.97 46.08 96.88 11.00
    L2(本文) 2.05±1.84 25.62 114.95 7.07
    黑体表示最优值, 下同
    下载: 导出CSV

    表  3  cifar10中不同解码实验结果

    Table  3  Results of different decoding experiments in cifar10

    对比项 IS ( $ \sigma \times 0.1 $ ) FID 清晰度均值 清晰度均值差值
    训练集 10.70±1.47 0.00 120.56 0.00
    正态特征 5.63±0.64 48.21 139.88 19.32
    均匀特征 5.51±0.79 46.57 137.13 16.57
    L1 5.63±0.79 42.70 138.04 17.48
    L2* 4.69±0.55 79.10 119.62 0.94
    L2(本文) 5.83±0.70 38.79 134.97 14.41
    下载: 导出CSV

    表  4  时间代价测试

    Table  4  Test of time cost

    数据集 模型 epoch数 总耗时/s 单位耗时/s
    celeba DCGANs 25 3,616.03 180.80
    本文 15 2,868.33 191.22
    cifar10 DCGANs 25 2,388.53 119.46
    本文 15 1,859.51 123.96
    下载: 导出CSV

    表  5  celeba中不同GANs对比

    Table  5  Comparsion of different GANs in celeba

    GANs模型 epoch数 优化项 参数量( $ \times 10^6 $ ) IS( $ \sigma \times 0.01 $ ) FID 清晰度均值 清晰度均值差值
    训练集 2.71±2.48 0.00 107.88 0.00
    BEGANs 35 W距离 4.47 1.74±1.29 46.24 77.58 30.3
    DCGANs 20 JS散度 9.45 1.87±1.58 50.11 124.82 16.94
    LSGANs 35 Pearson散度 9.45 2.02±1.63 39.11 122.19 14.31
    WGANs 35 W距离 9.45 2.03±1.75 40.31 117.15 9.27
    WGANsGP 35 W距离 9.45 1.98±1.82 37.01 121.16 13.28
    SAGANs1 30 W距离 10.98 2.06±1.79 21.94 109.94 2.06
    SAGANs2 30 JS散度 10.98 1.99±1.79 31.04 99.57 8.31
    本文 15 JS+ $ \lambda \cdot $ KL散度 9.45+0.84 2.05±1.84 25.62 114.95 7.07
    下载: 导出CSV

    表  6  cifar10中不同GANs对比

    Table  6  Comparsion of different GANs in cifar10

    GANs模型 epoch数 优化项 参数量( $ \times 10^6 $ ) IS( $ \sigma \times 0.1 $ ) FID 清晰度均值 清晰度均值差值
    训练集 10.70±1.47 0.00 120.56 0.00
    BEGANs 35 W距离 3.67 5.36±0.65 107.64 80.89 39.67
    DCGANs 20 JS散度 8.83 5.04±0.27 54.27 139.12 18.56
    LSGANs 35 Pearson散度 8.83 5.70±0.36 43.35 135.80 15.24
    WGANs 35 W距离 8.83 5.25±0.33 53.88 136.74 16.18
    WGANsGP 35 W距离 8.83 5.39±0.30 50.60 139.17 18.61
    SAGANs1 30 W距离 8.57 6.09±0.47 42.90 126.28 5.72
    SAGANs2 30 JS散度 8.57 5.37±0.46 53.49 133.54 12.98
    本文 15 JS+ $ \lambda \cdot $ KL散度 8.83+0.23 5.83±0.70 38.79 134.97 14.41
    下载: 导出CSV
  • [1] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S et al. Generative adversarial nets. In: Proceedings of International Conference on Neural Information Processing Systems. Montreal, Canada: 2014. 2672−2680
    [2] Mirza M, Osindero S. Conditional generative adversarial nets. arXiv preprint arXiv: 1411.1784v1, 2014
    [3] Odena A. Semi-Supervised Learning with Generative adversarial networks. arXiv preprint arXiv: 1606.01583v2, 2016
    [4] Odena A, Olah C, Shlens J. Conditional image synthesis with auxiliary classifier GANs. In: Proceedings of International Conference on Machine Learning. Sydney, Australia: 2017
    [5] Chen X, Duan Y, Houthooft R, Schulman J, Sutskever I, Abbeel P. InfoGAN: interpretable representation learning by information maximizing generative adversarial nets. In: Proceedings of International Conference on Neural Information Processing Systems. Barcelona, Spain: 2016
    [6] Donahue J, Krahenbuhl K, Darrell T. Adversarial feature learning. In: Proceedings of International Conference on Learning Representations. Toulon, France: 2017
    [7] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. In: Proceedings of International Conference on Learning Representations. San Juan, Puerto Rico: 2016
    [8] Denton E, Chintala S, Szlam A, Fergus R. Deep generative image using a laplacian pyramid of adversarial networks. In: Proceedings of International Conference on Neural Information Processing Systems. Montreal, Canada: 2015.1486−1494
    [9] Brock A, Donahue J, Simonyan K. Large scale GAN training for high fidelity natural image synthesis. In: Proceedings of International Conference on Learning Representations. New Orleans, USA: 2019
    [10] Nguyen T D, Le T, Vu H, Phung D. Dual discriminator generative adversarial nets. In: Proceedings of Proceedings of International Conference on Neural Information Processing Systems. San Francisco, USA: 2017
    [11] 张龙, 赵杰煜, 叶绪伦, 董伟. 协作式生成对抗网络. 自动化学报, 2018, 44(5): 804−810

    Zhang Long, Zhao Jie-Yu, Ye Xu-Lun, Dong Wei. Cooperative generative adversarial nets. Acta Automatica Sinica, 2018, 44(5): 804−810
    [12] Arjovsky M, Chintala S, Bottou L. Wasserstein GAN. arXiv preprint arXiv: 1701.07875v3, 2017
    [13] Mao X D, Li Q, Xie H R, Lau R Y K, Wang Z, Smolley S P. Least squares generative adversarial networks. In: Proceedings of IEEE International Conference on Computer Vision. Venice, Italy: 2017. 2813−2821
    [14] Berthelot D, Schumm T, Metz L. BEGAN: Boundary equilibrium generative adversarial networks. arXiv preprint arXiv: 1703.10717v4, 2017
    [15] Gulrajani I, Ahmed G, Arjovsky M, Dumoulin V, Courville A. Improved training of wasserstein GANs. In: Proceedings of International Conference on Neural Information Processing Systems. Long Beach, USA: 2017
    [16] Wu J Q, Huang Z W, Thoma J, Acharya D, Gool L V. Wasserstein divergence for GANs. In: Proceedings of European Conference on Computer Vision. Munich, Germany: 2018
    [17] Su J L. GAN-QP: A novel GAN framework without gradient vanishing and Lipschitz constraint. arXiv preprint arXiv: 1811.07296v2, 2018
    [18] Zhao J B, Mathieu M, LeCun Y. Energy-based generative adversarial networks. In: Proceedings of International Conference on Learning Representations. Toulon, France: 2017
    [19] 王功明, 乔俊飞, 乔磊. 一种能量函数意义下的生成式对抗网络. 自动化学报, 2018, 44(5): 793−803

    Wang Gong-Ming, Qiao Jun-Fei, Qiao Lei. A generative adversarial network in terms of energy function. Acta Automatica Sinica, 2018, 44(5): 793−803
    [20] Qi G J. Loss-sensitive generative adversarial networks on lipschitz densities. arXiv preprint arXiv: 1701.06264v5, 2017
    [21] Zhang H, Goodfellow I, Metaxas D, Odena A. Self-attention generative adversarial networks. In: Proceedings of International Conference on Machine Learning. Long Beach, USA: 2019
    [22] Creswell A, White T, Dumoulin V, Arulkumaran K, Sengupta B, Bharath A A. Generative adversarial networks:an overview. IEEE Signal Processing Magazine, 2018, 35(1): 53−65 doi:  10.1109/MSP.2017.2765202
    [23] Hong Y J, Hwang U, Yoo J, Yoon S. How generative adversarial networks and their variants work: an overview. ACM Computing Surveys, 2019, 52(1): Article 10, 1−43
    [24] Alain G, Bengio Y. What regularized autoencoders learn from the data generating distribution. The Journal of Machine Learning Research, 2014, 15(1): 3563−3593
    [25] Vincent P, Larochelle H, Bengio Y, Manzagol PA. Extracting and composing robust features with denoising autoencoders. In: proceedings of International Conference on Machine Learning. Rhineland, Germany: 2008
    [26] Rifai S, Vincent P, Muller X, Glorot X, Bengio Y. Contractive auto-encoders: explicit invariance during feature extraction. In: proceedings of International Conference on Machine Learning. Washington, USA: 2011
    [27] Kavukcuoglu K, Ranzato M, LeCun Y. Fast inference in sparse coding algorithms with applictions to object recognition. arXiv preprint arXiv: 1010.3467v1. 2010
    [28] Goodfellow I, Bengio Y, Courville A. Deep learning. Cambridge, USA: MIT press, 2017. 502-525
    [29] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation. In: proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: 2015. 234−241
    [30] Salimans T, Goodfellow I J, Zaremaba W, Cheung V, Radford A, Chen X. Improved techniques for training GANs. In: Proceedings of International Conference on Neural Information Processing Systems. Barcelona, Spain: 2016
    [31] Xu Q T, Huang G, Yuan Y, Huo C, Sun Y, Wu F et al. An empirical study on evaluation metrics of generative adversarial networks. arXiv: 1806.07755v2, 2018
    [32] Shmelkov K, Schmid C, Alahari K. How good is my GAN?. In: Proceedings of European Conference on Computer Vision. Munich, Germany: 2018
    [33] Cover T M, Thomas J A. Elements of information theory. New York, USA: John Wiley & Sons Inc., 2006. 12−49
    [34] Nielsen F. A family of statistical symmetric divergences based on Jensen's inequality. arXiv preprint arXiv: 1009.4004v2. 2011
  • [1] 许玉格, 钟铭, 吴宗泽, 任志刚, 刘伟生. 基于深度学习的纹理布匹瑕疵检测方法[J]. 自动化学报, doi: 10.16383/j.aas.c200148
    [2] 李良福, 马卫飞, 李丽, 陆铖. 基于深度学习的桥梁裂缝检测算法研究[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170052
    [3] 罗浩, 姜伟, 范星, 张思朋. 基于深度学习的行人重识别研究进展[J]. 自动化学报, doi: 10.16383/j.aas.c180154
    [4] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170190
    [5] 田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170153
    [6] 冯冲, 康丽琪, 石戈, 黄河燕. 融合对抗学习的因果关系抽取[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170481
    [7] 林懿伦, 戴星原, 李力, 王晓, 王飞跃. 人工智能研究的新前线:生成式对抗网络[J]. 自动化学报, doi: 10.16383/j.aas.2018.y000002
    [8] 张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160822
    [9] 李敏, 禹龙, 田生伟, 吐尔根·依布拉音, 赵建国. 基于深度学习的维吾尔语名词短语指代消解[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160330
    [10] 胡长胜, 詹曙, 吴从中. 基于深度特征学习的图像超分辨率重建[J]. 自动化学报, doi: 10.16383/j.aas.2017.c150634
    [11] 陈伟宏, 安吉尧, 李仁发, 李万里. 深度学习认知计算综述[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160690
    [12] 管皓, 薛向阳, 安志勇. 深度学习在视频目标跟踪中的应用进展与展望[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150705
    [13] 金连文, 钟卓耀, 杨钊, 杨维信, 谢泽澄, 孙俊. 深度学习在手写汉字识别中的应用综述[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150725
    [14] 贺昱曜, 李宝奇. 一种组合型的深度学习模型学习率策略[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150681
    [15] 朱煜, 赵江坤, 王逸宁, 郑兵兵. 基于深度学习的人体行为识别算法综述[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150710
    [16] 段艳杰, 吕宜生, 张杰, 赵学亮, 王飞跃. 深度学习在控制领域的研究现状与展望[J]. 自动化学报, doi: 10.16383/j.aas.2016.c160019
    [17] 郭潇逍, 李程, 梅俏竹. 深度学习在游戏中的应用[J]. 自动化学报, doi: 10.16383/j.aas.2016.y000002
    [18] 耿杰, 范剑超, 初佳兰, 王洪玉. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150425
    [19] 唐朝辉, 朱清新, 洪朝群, 祝峰. 基于自编码器及超图学习的多标签特征提取[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150736
    [20] 奚雪峰, 周国栋. 面向自然语言处理的深度学习研究[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150682
  • 加载中
计量
  • 文章访问数:  3
  • HTML全文浏览量:  1
  • 被引次数: 0
出版历程

基于样本特征解码约束的GANs

doi: 10.16383/j.aas.c190496
    基金项目:  国家自然科学基金(61872303, U1936113),四川省科技厅科技创新人才计划(2018RZ0143)资助
    作者简介:

    西南交通大学信息科学与技术学院博士研究生. 主要研究方向为机器学习, 图像处理.E-mail: chy2019@foxmail.com

    西南交通大学信息科学与技术学院副教授. 主要研究方向为多媒体安全, 计算机应用.E-mail: fchen@home.swjtu.edu.cn

    西南交通大学信息科学与技术学院教授. 主要研究方向为图像取证, 图像处理. 本文通信作者.E-mail: hjhe@home.swjtu.edu.cn

    西南交通大学信息科学与技术学院硕士研究生. 主要研究方向为深度学习, 图像处理.E-mail: swjtu163zym@163.com

摘要: 生成式对抗网络(Generative Adversarial Networks, GANs)是一种有效模拟训练数据分布的生成模型, 其训练的常见问题之一是优化JS散度(Jensen-Shannon divergence)时可能产生梯度消失问题(Vanishing gradient problem). 针对该问题, 本文提出了一种解码约束条件下的GANs, 以尽量避免JS散度近似为常数而引发梯度消失现象, 从而提高生成图像的质量. 首先利用U-Net结构的自动编码机学习出与用于激发生成器的随机向量同维度的训练样本网络中间层特征. 然后在每次对抗训练前使用本文设计的解码约束条件训练解码器. 其中, 解码器与生成器结构相同, 权重共享. 为证明模型的可行性, 推导给出了引入解码约束条件有利于JS散度不为常数的结论以及解码损失函数的类型选择依据. 为验证模型的性能, 利用CELEBA和CIFAR10数据集, 对比分析了DCGANs, LSGANs, BEGANs, WGANs, WGANsGP 及SAGANs的生成效果. 通过实验对比IS, FID和清晰度等指标发现, 本文GANs能有效提高图像生成质量, 综合性能接近SAGANs.

English Abstract

陈泓佑, 陈帆, 和红杰, 朱翌明. 基于样本特征解码约束的GANs. 自动化学报, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496
引用本文: 陈泓佑, 陈帆, 和红杰, 朱翌明. 基于样本特征解码约束的GANs. 自动化学报, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496
Chen Hong-You, Chen Fan, He Hong-Jie, Zhu Yi-Ming. A GANs based on sample feature decoding constraint. Acta Automatica Sinica, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496
Citation: Chen Hong-You, Chen Fan, He Hong-Jie, Zhu Yi-Ming. A GANs based on sample feature decoding constraint. Acta Automatica Sinica, 2020, 46(x): 1−13. doi: 10.16383/j.aas.c190496
  • 生成式对抗网络(Generative adversarial networks, GANs)是2014年 Goodfellow I J等[1]依据零和博弈思想(Zero-sum game)和纳什均衡原理(Nash equilibrium)提出的一种数据生成模型, 它被广泛应用于图像生成领域. GANs在网络结构上主要由生成器网络(Generative network)和判别器网络(Discriminative network)组成[1, 22, 23]. G网络的目的是将随机向量映射到训练集分布中, 对随机向量和训练数据的联合概率密度进行建模, 关注于数据生成过程. D网络的目的是区分出馈入(feed)样本的类别问题, 关注于生成数据和训练数据的最优分界面. GANs的最大特点是对抗学习方式, 训练过程中G网络和D网络交替对抗训练, 两者的能力同步提升.

    由于GANs在图像数据生成上的出色表现, 此后为提高GANs生成图像的多样性(模式坍塌问题)和质量等, 研究者提出了许多GANs衍生模型.

    从加入条件变量和图像隐码控制方面进行改进. Mirza M等[2]提出的CGANs尝试利用训练集样本的某些信息(如图像类别标签)来提高随机向量 $ z $ 的可解释性, 使得生成图像质量有所提高. Odena A[3]提出的SGANs将GANs进行拓展, 利用半监督学习使得D 网络分类能力提高, 能够有效提高生成图像质量及收敛速度. Odena A等[4]提出的ACGANs可实现多分类问题, 输出的则是对应标签的概率值, 有效提高了GANs模型模拟多类别、高分辨率数据集的效果. Chen X等[5]提出的在InfoGANs在GANs对抗学习的基础上, 通过引入一个训练集样本对应的隐含信息(如类别标签, 倾斜度), 使得隐含信息与生成样本具有较高的互信息, 有效提高图像生成质量. Donahue J等[6]提出BiGANs是一种双向结构的对抗模型, 增加了一个训练好的编码器E 网络用于提取训练样本隐码c, 在D网络的馈入信息是随机向量z与对应生成样本配对或样本隐码c与对应的训练样本配对, 在生成实际场景图像上能取得很好的效果. 以上GANs中对于需要标签信息的GANs模型限制了其在无监督对抗学习中的应用. BiGANs中隐码的引入使得训练样本反复被编码器编码, 而且馈入到D网络的数据不仅仅是图像样本, 还有隐码c, 整个GANs网络框架变得更复杂, 增加训练代价.

    从GANs网络结构或框架设计方面进行改进. Radford A等[7]提出的DCGANs使用重新设计的卷积神经网络作为G和D网络, 能够有效提高图像生成质量, 并且成为GANs网络结构设计上的标准模型之一. Denton E等[8]提出的一种金字塔LPGANs模型, 结合GANs和CGANs的一些优点, 使用多个GANs逐层地生成高质量自然图像. Brock A等[9]基于残差网络设计的BigGANs能有效生成了大尺寸, 高质量的自然图像, 但参数量明显大于一般GANs模型, 需要更多的硬件资源和时间成本. Nguyen T D等[10]提出的D2GANs使用两个D网络更细化GANs中D网络的分类任务, 能使得训练收敛速度变快及提高生成图像的多样性. 张龙等[11]提出一种协作式结构的GANs模型提高生成图像质量, 一定程度避免了模式坍塌现象的发生. GANs网络结构的设计通常难度较大, 这也是到目前为止通过结构设计提升GANs能力的经典GANs模型很少的主要原因.

    从优化目标函数梯度消失方面进行改进. GANs优化JS散度时可能导致梯度消失, 使得训练效果相对较差, 多样性不足[12]. 研究者主要是使用其它散度代替JS散度. Arjovsky M等[12]提出WGANs, 它利用Wasserstein距离来描述作为两个分布的相似度, 有效避免了优化JS散度容易出现的梯度消失现象, 但对D网络权重剪枝比较粗暴. Mao X D等[13]提出的Least squares GANs是利用最小二乘原理, 将G和D网络的损失函数设计成最小二乘形式, 使得GANs优化生成数据分布和训练数据分布的Pearson散度, 避免梯度消失, 并且损失函数收敛过程更平稳. Berthelot D等[14]提出的BEGAN将一个自编码器作为D网络, 设计了G和D网络的平衡度量方法来优化Wasserstein距离, 进而引入新的超参数来平衡两个网络训练, 以期得到更好的生成图像. Gulrajani I等[15]提出的WGANsGP, Wu J Q等[16]提出的WGANs-div 均是WGANs的改进模型, 其中WGANsGP通过梯度惩罚的方式替换掉权重剪切, 从而避免因权重剪切导致的权重集中化和调参上的梯度消失问题. WGANs-div通过引入Wasserstein散度, 从而去除WGANs中D网络的Lipschitz条件, 又能保留Wasserstein距离度量两个分布的良好性质(如JS散度的梯度消失问题). Su J L[17]提出的对偶GANs模型, 通过引入合理的概率散度并找出它的对偶表达, 再将其转化成极小-极大博弈形式, 从而避免了类似于WGANs需要的Lipschitz条件和多数GANs容易发生梯度消失问题. Zhao J B 等[18]提出EBGAN是将D网络看成能量函数, 提供了一种基于能量解释的GANs, 并且通过pull-away term策略来防止梯度消失问题导致的模式坍塌. 王功明等[19]等提出了一种基于重构误差能量函数的GANs模型, 利用深度置信网络作为G网络, 能预防网络梯度消失, 在生成效果和网络学习效率上有所提升. 这些方法虽然能有效解决梯度消失问题, 但普遍需要比较多的迭代次数, 特别是优化W距离的GANs, 通常为使得D网络满足1-Lipschitz条件, 每个批次的训练中很可能需要对其进行多次训练.

    除此之外还有其他的改进途径. Qi G J[20]提出的Loss-sensitive GANs主要为了限制GANs试图模拟任意训练集分布的能力, 让生成模型能够更偏向于模拟真实度不高的那部分样本从而提高图像生成效果. Zhang H等[21]提出的Self-attention GANs, 利用注意力机制嵌入G网络和D网络中, 使得两个网络能更好地学习网络自发关注的训练图像特征提高了生成图像质量和多样性, 但其网络规模和训练迭代次数有所增加.

    考虑到优化JS散度容易带来的梯度消失问题, 无监督GANs模型在训练上更便利的优点. 本文依然将JS散度作为主优化目标的前提下, 提出了一种基于训练集样本特征解码损失约束的无监督GANs模型. 所设计的模型不仅尽量避免优化JS散度可能带来的梯度消失问题, 同时也通过改进GANs网络拓扑结构, 融入样本本身的特征信息进行训练以提高GANs图像生成能力. 首先利用无监督特征学习模型预训练出训练集样本的中间层特征; 然后构建一个与G 网络结构一致和权重共享的解码器Dec, 在每次对抗训练前使用本文设计的约束条件进行图像特征解码; 最后再进行优化JS散度的GANs对抗学习. 为验证所设计的GANs性能, 利用celeba和cifar10数据集, 对比分析了几种典型GANs模型的生成效果, 实验结果表明, 本文方法能有效提高生成图像的多样性和质量的同时, 还能减少了所需的epoch数.

    • GANs的典型结构由一个生成器G和判别器D组成. G网络的任务是模拟训练集 $ X $ 进行数据生成, D网络的任务是分辨出馈入的样本属于 $ X $ 或者G( $ Z $ ).

      G网络的每个输入量为一个随机向量 $ z, z \in Z $ $ Z\sim F_Z(z) ,$ 随机向量 $ z $ 的分布函数 $ F_Z(z) $ 通常为正态分布或均匀分布. 记训练样本 $ x, x \in X $ $ X\sim F_X(x), $ 其中 $ F_X(x) $ 为训练样本集 $ X $ 的分布函数. 那么D和G网络的损失函数分别为:

      $$ \begin{array}{l} loss_D = \dfrac{1}{m}\displaystyle\sum\limits_{i = 1}^{m} \left[\log{D(x_i) + \log(1 - D(G(z_i)))}\right] \end{array} $$ (1)
      $$ \begin{array}{l} loss_G = \dfrac{1}{m}\displaystyle\sum\limits_{i = 1}^{m} \log(1 - D(G(z_i))) \end{array} $$ (2)

      其中 $ m $ 是每次馈入神经网络样本的个数. 从而整个网络的博弈损失函数为:

      $$ \begin{split} \min\limits_G \max\limits_D V(G, D) =& E_{X \sim F_X(x)}\left[\log{D(x)}\right] + \\ &E_{Z \sim F_Z(z)}\left[\log(1 - D(G(z))) \right] \end{split} $$ (3)

      $ V(G, D) $ 是一个二元极小极大零和博弈函数, $ E(\cdot) $ 为期望函数. 优化损失函数最终目的为使得G( $ Z $ )的统计分布 $ F_G(x) $ 趋近于训练样本集 $ X $ 的分布 $ F_X(x) $ . 为便于以下讨论, 使用概率密度函数代替分布函数来描述分布.

    • 本节先分析优化JS散度可能带来的梯度消失问题; 然后提出了本文解决方法, 同时给出了理论推导, 为本文的解决方法提供依据; 最后给出本文方法的训练步骤.

    • 为便于以下的分析讨论, 先引入KL散度和JS散度的定义.

      定义1[33]. 设两个具有相同样本空间 $ \Omega $ 的随机变量 $ X $ $ G $ 的概率密度函数分别为 $ f_X(x) $ $ f_G(x) .$ 它们的KL散度定义为,

      $$ \begin{array}{l} KL(f_X(x) || f_G(x)) = \int f_X(x) \log{\frac{f_X(x)}{f_G(x)}} dx \end{array} $$ (4)

      其定量了 $ f_G(x) $ $ f_X(x) $ 之间的相似程度, 如果 $ f_G(x) $ $ f_X(x) $ 越相似, 那么 $ KL(f_X(x)||f_G(x)) $ 值就越小. $ KL(f_X(x)||f_G(x)) $ 是非负函数, 当且仅当 $ f_G(x) = f_X(x) $ 时取得最小值0. 它不具有通常距离函数中的对称和三角不等性质. 在信息论中KL散度表示的是用 $ f_G(x) $ 拟合已知的 $ f_X(x) $ 时产生的信息损耗.

      定义2[34]. 设两个具有相同样本空间 $ \Omega $ 的随机变量 $ X $ $ G $ 的概率密度函数分别为 $ f_X(x) $ $ f_G(x) .$ 它们的JS散度定义为,

      $$ \begin{split} JS(f_X(x) || f_G(x)) =& \frac{1}{2} KL\left(f_X(x) || \frac{f_X(x)+f_G(x)}{2}\right)+\\ &\frac{1}{2} KL\left(f_G(x) || \frac{f_X(x)+f_G(x)}{2}\right) \end{split} $$ (5)

      JS散度为非负函数, $ f_G(x) $ $ f_X(x) $ 越相似时 $ JS(f_X(x)||f_G(x)) $ 越小, 当且仅当 $ f_G(x) = f_X(x) $ 时取得最小值0. $ f_G(x) $ $ f_X(x) $ 越不相似时 $ JS(f_X(x)||$ $f_G(x)) $ 越接近常数1. 它具有距离函数中的对称和三角不等的性质.

      式(3)给出了GANs对抗表达形式, Goodfellow I J等[1]指出GANs 虚拟训练准则(virtual training criterion)C(G)当且仅当 $ f_G(x) = f_X(x) $ 时取得全局最小值. 在最小点时, C(G)的极小值为 $ - $ log4. C(G)如下所示,

      $$ \begin{array}{l} C(G) = -\log4 + 2\cdot JS(f_X(x) || f_G(x)) \end{array} $$ (6)

      式(6)表明, 式(3)的优化目标其实是最小化训练集 $ X $ 的概率密度函数 $ f_X(x) $ 和生成集G $ (Z) $ 的概率密度函数 $ f_G(x) $ 的JS散度.

      Arjovsky M等[12]在WGANs的分析过程中指出当生成样本集分布 $ f_G(x) $ 与训练样本集分布 $ f_X(x) $ 的相似度越低, 即当两个分布的交叉区域越小, $ JS(f_X(x)||f_G(x)) $ 越接近于常数1. 这可能引发损失函数梯度消失的现象. 在GANs训练过程中, $ f_G(x) $ 是逐渐靠近 $ f_X(x) $ 的过程, JS散度的固有性质可知, 在GANs 训练的起步阶段梯度消失现象更明显. 即使GANs能够继续通过优化方法进行参数更新, 为使得 $ f_G(x) $ $ f_X(x) $ 有足够的相交区域, 也需要更多的epoch数进行训练. 解决这个问题的一般方法是使用Pearson散度或W距离代替JS散度重新设计损失函数.

    • 由2.1节分析可知, JS散度为常数而导致梯度消失的一个重要前提是 $ f_G(x) $ $ f_X(x) $ 的相似度足够低. 那么通过添加约束条件利于 $ f_G(x) $ 相似于 $ f_X(x) $ 可以达到尽量避免JS散度为常数的目的, 为此本文设计了一种JS+ $ \lambda \cdot $ KL混合散度的约束方法. 约束条件 $ KL(f_X(x)||f_G(x)) $ 的目的是为使得 $ f_G(x) $ $ f_X(x) $ 的相交区域变大.

      图1所示, 本文所设计的GANs分为3个部分: 第一是特征学习部分, 它的目的是预训练出训练集 $ X $ 的特征集 $ C $ . 第二是解码学习部分, 它的目的是先通过本文设计的解码约束条件对特征集 $ C $ 进行解码, 完成 $ KL(f_X(x)||f_{Dec}(x)) $ 约束. 又通过解码器Dec与G网络结构一致, 参数共享, 以近似达到 $ KL(f_X(x)||f_G(x)) $ 约束. 最终使得在优化JS散度前 $ f_G(x) $ $ f_X(x) $ 相交区域变大, JS散度不易为常数, 从而尽量避免出现梯度消失现象. 第三是对抗学习, 通过优化JS散度使得 $ f_G(x) $ 模拟 $ f_X(x) $ . 其中第一部分是预训练, 第二部分和第三部分需要一起动态学习. 与一般的含自动编码机GANs不同的是本文自动编码机主要目的是预训练出可用的隐含特征. 如, 与BiGANs相比, 隐含特征 $ c $ 不会馈入D网络对其参数更新及直接参与对抗训练, 仅用于解码学习; 与BEGANs相比, D网络的任务仍然是二分类, 无编码功能.

      图  1  总体结构示意图

      Figure 1.  Overall structure sketch

    • 在图像特征学习中, 需要提取出图像的隐含信息, 用此表征原始图像. 自编码特征学习是一种有效的图像特征学习方法[28]. 常用的自动编码机较多, 除噪自动编码机[24,25,28]经过对训练样本加入噪声并进行降噪的训练过程, 能够强迫网络学习到更加鲁棒的不变性特征, 获得馈入图像的更有效和更鲁棒的表达. 收缩自动编码机[26,28]能够较好地重构训练样本, 并且对训练样本一定程度的扰动具有不变性. 稀疏自动编码机[27,28]将稀疏编码和自编码机结合, 可以提取馈入样本的稀疏显著性特征. 对于一般任务, 最常用的依然是经典自动编码机模型[28].

      由于随机向量z维度相对较低(如64或100维), 特征提取任务相对简单, 且为获取更好的重构图像效果. 本文将经典自动编码机结合U-Net网络模型[29], 建立了5层的全连接类似U-Net的自动编码机用于 $ C $ 的获取, 并且使得特征 $ c $ 的维度与随机向量 $ z $ 的维度是相同. 图2给出了U-Net型自动编码机用于获取 $ X $ 的特征集 $ C $ 的示意图. 该网络由5层神经元组成, 第3层用于特征提取, 特征图像像素个数与随机向量 $ z $ 维度相一致.

      图  2  特征学习网络结构图

      Figure 2.  Structure diagram of feature learning network

      其训练过程中, 损失函数选用均方差损失函数.

      $$ \begin{array}{l} loss_{AE} = \dfrac{1}{m} \displaystyle\sum\limits_{i = 1}^m (x_i - x_i^*)^2 \end{array} $$ (7)

      其中 $ x_i^* $ $ x_i $ 对应的重构图像.

    • 设训练样本集 $ X $ 对应的特征集为 $ C $ , 解码器为Dec, 它与G网络共享权重, 网络结构一致. 记 $ X $ 的概率密度函数为 $ f_X(x) $ . 解码集Dec( $ C $ )的概率密度函数为 $ f_{Dec}(x) $ . 解码损失函数为,

      $$ \begin{array}{l} loss_{Dec} = \dfrac{1}{m} \displaystyle\sum\limits_{i = 1}^m ||x_i - Dec(c_i))|| \end{array} $$ (8)

      其中 $ x_i $ $ X $ 中的样本, $ c_i $ $ x_i $ 对应于 $ C $ 中的样本, $ m $ 为样本个数. $ || \cdot || $ 为度量两个样本的距离函数, 常用的函数类型有L1和L2 型函数.

      在原有的JS散度对抗损失函数中引入解码损失函数进行约束, 需要控制解码约束条件对Dec网络梯度下降的贡献. 主要原因有如下几点: (1) G网络模拟的是训练集 $ X $ 的主要特征, 不需要按像素严格一致. 解码损失函数是按像素严格一致进行图像重构, 因此后者约束更强势. (2) 对抗损失函数是优化 $ JS(f_X(x)||f_G(x)), $ 解码损失函数是优化 $ KL(f_X(x)||$ $f_{Dec}(x)) ,$ 优化后者虽然对避免 $ JS(f_X(x)||f_G(x)) $ 为常数有益, 但各自的梯度下降方向并不完全一致, 应保证 $ JS(f_X(x)||f_G(x)) $ 是主优化方向. (3) 优化二元组 $ (f_X(x), f_G(x)) $ 相对于优化三元组 $(f_X(x), f_G(x), $ $ f_{Dec}(x)) $ 难度更低, 当 $ f_{Dec}(x)\approx f_G(x) $ 时相当于近似优化前者.

      为达到以上目的, 可以通过对解码损失函数权重系数, 训练频次及学习率加以控制. 当解码损失函数式(8)选用L2型函数时, 本文设计的解码损失函数如下式所示.

      $$ \begin{array}{l} loss_{Dec} = \delta \cdot \lambda \cdot \dfrac{1}{m} \displaystyle\sum\limits_{i = 1}^m (x_i - Dec(c_i))^2 \end{array} $$ (9)

      其中, $ \delta $ 是判别函数(1表示进行解码训练, 0表示屏蔽解码训练), $ \lambda $ 是解码损失函数权重系数.

      $$ \begin{array}{l} \delta = \begin{cases} 1, & (t \; mod \; r) = 0 \wedge t < l \\ 0, & else \end{cases} \end{array} $$ (10)

      其中, $ t $ 是当前的迭代epoch数, $ r $ 是控制调用解码约束的频次, $ l $ 是控制最后一次解码的控制变量. 每次对抗学习前依据条件判别式(10)以此来控制解码约束条件的使用总次数和频率.

      由此, 最终的对抗网络损失函数为,

      $$ \begin{array}{l} \min\limits_{G, Dec} \max\limits_D V(D, G, Dec) |_{f_{Dec}(x) \approx f_G(x)}\\ = V(D, G) + loss_{Dec} \end{array} $$ (11)

      由于D网络是一个二分类网络, 利用标签平滑[30](Label Smoothing)处理能对它的分类性能有一定提高, 这有益于降低分类网络的训练难度. 在实际训练操作中可以使用这种方式对式(1)进行标签平滑处理.

      为使得上面所提供的解决方法有所依据. 分析了以下3点: (1) 优化 ${\rm{JS}} + \lambda \cdot {\rm{KL}}$ 混合散度对JS散度不为常数的影响. (2) 优化 ${\rm{JS}} + \lambda \cdot {\rm{KL}}$ 混合散度对优化原有JS散度相对于分布对 $ (f_X(x), f_G(x)) $ 的极小值点及单调性的影响. (3) 优化KL散度时解码损失函数类型选择的依据. 为此下面三个命题进行了讨论分析.

      命题1. 限制解码器Dec解码约束条件对Dec网络参数更新的梯度贡献, 且使得 $ f_{Dec}(x) \approx $ $f_G(x). $ 那么训练过程中引入解码约束条件有利于避免 $ JS(f_X(x) || f_G(x) $ 为常数.

      证明. 要证明命题结论, 只需要证明引入约束条件后有利于 $ f_G(x) $ 相似于 $ f_X(x) $ 即可.

      记第 $ t $ 次解码训练后解码集Dec( $ C, t )$ 对应的概率密度函数为 $ f_{Dec}(x, t), $ $ t $ 次对抗训练后生成数据集G( $ Z, t )$ 对应的概率密度函数为 $ f_G(x, t). $

      由式(6)的C(G)条件知, G网络仅仅是使得 $ f_G(x) $ 模拟 $ f_X(x) $ , 并不要求G( $ Z $ ) = $ X $ .

      所以优化过程是一个依分布收敛的过程. 即,

      $$ \begin{array}{l} \lim\limits_{t \to \infty} f_G(x, t) = f_X(x) \end{array} $$ (12)

      由式(8)知, 对于解码器Dec的理想目标是求解 $ C \rightarrow X $ 的映射, 使得Dec $ (C) =X .$ 即,

      $$ \begin{array}{l} || x_i - Dec(c_i) || = 0 \end{array} $$ (13)

      其中, $ x_i $ 和Dec( $ c_i $ )分别是各自样本空间中的任意样本, 且 $ c_i $ $ x_i $ 的特征向量.

      故而解码器Dec的理想目标是使得Dec( $ C, t $ )几乎处处收敛于 $ X .$ 但由于训练中, 通常只能达到如下情况,

      $$ \begin{array}{l} || x_i - Dec(c_i) || < \varepsilon_1 \end{array} $$ (14)

      故而Dec( $ C, t $ )是依概率收敛于 $ X $ . 即,

      $$ \begin{array}{l} P\{ \lim\limits_{t \to \infty} | Dec(C, t) - X | < \varepsilon_2 \} = 1 \end{array} $$ (15)

      其蕴含于,

      $$ \begin{array}{l} P\{ \lim\limits_{t \to \infty} || f_{Dec}(x, t) - f_X(x) || < \varepsilon_3 \} = 1 \end{array} $$ (16)

      其中 $ \varepsilon $ 为任意小的正实数.

      因为依概率收敛强于依分布收敛(前者是后者的充分非必要条件). 并且存在条件 $ f_{Dec}(x) \!\approx\! f_G(x) .$

      所以引入约束条件后, 能够使得 $ f_G(x) $ 相似于 $ f_X(x) $ 的概率变大. ■

      命题2. 限制解码约束条件对Dec网络参数更新的梯度贡献, 且使得 $ f_{Dec}(x) \approx f_G(x) .$ 相对于分布对 $ ( f_X(x), f_G(x)) $ 引入解码约束条件后可基本不影响新构建的优化函数的单调性及极小值点.

      证明. 优化式(8), 由距离函数的单调性和非负性可知, 当且仅当Dec $( C ) =X $ 时取得极小值0, 此时 $ f_{Dec}(x) = f_X(x). $

      因为解码过程是使解码概率密度函数 $ f_{Dec}(x) $ 模拟逼近已知的 $ f_X(x), $ 式(8)的残差项是解码后信息Dec $ (C) $ 相对原信息 $ X $ 的信息损耗. 故而解码的目的为,

      $$ \begin{array}{l} \min\limits_{Dec} KL(f_X(x) || f_{Dec}(x)) \end{array} $$ (17)

      先证明式(6)引入 $ KL(f_X(x)||f_G(x)) $ 条件并不影响新优化函数的单调性和极小值点. 记新的优化函数表达式为,

      $$ \begin{array}{l} C_1(G) = C(G) + KL(f_X(x) || f_G(x)) \end{array} $$ (18)

      因为JS散度和KL散度对于任意的分布对 $ (f_X(x), $ $ f_G(x)) $ 为非负单调递增函数.

      又因为JS散度和KL散度均为当且仅当 $ f_G(x) = $ $ f_X(x) $ 时取得极小值0.

      故而式(18)当且仅当 $ f_G(x) = f_X(x) $ 时取得极小值点 $ - $ log4.

      又因为 $ f_{Dec}(x) \approx f_G(x) $ .

      所以下式的单调性和极值点相对于分布对 $ (f_X(x), $ $ f_G(x)) $ 基本不变.

      $$ \begin{array}{l} C_2(G) = C(G) + KL(f_X(x) || f_{Dec}(x)) \end{array} $$ (19)

      故而基本不影响新构建的优化函数的单调性及极小值点. ■

      命题3. 当训练集 $ X $ 符合正态分布时, 解码器Dec应选用L2型函数.

      证明. 记 $ f_X(x|c) $ 为训练集 $ X $ 关于其特征集 $ C $ 的条件概率密度函数. $ f_{Dec}(x|c) $ 为解码集Dec $( C )$ 关于特征集 $ C $ 的条件概率密度函数.

      那么解码器Dec解码的目的可表达为使得 $ f_{Dec}(x|c) \approx $ $f_X(x|c) $ , 即.

      $$ \begin{array}{l} || f_{Dec}(x|c) - f_X(x|c) || < \varepsilon \end{array} $$ (20)

      其中 $ \varepsilon $ 是任意小的正实数.

      其蕴含于(由KL散度的信息论含义可得),

      $$ \begin{split} &\min\limits_{Dec} KL(f_X(x|c) || f_{Dec}(x|c)) =\\ &\qquad \min\limits_{Dec} E_{c \in C} \left[ \log f_X(x|c) - \log f_{Dec}(x|c) \right] \end{split} $$ (21)

      因为 $ \log f_X(x|c) $ 为已知的训练集 $ X $ 及其对应的特征集 $ C $ 表达的信息.

      所以其为常数, 在梯度下降优化时不对梯度做贡献.

      由此, 式(21)等价于优化下式. 即,

      $$ \begin{array}{l} \min\limits_{Dec}-E_{c \in C} \log f_{Dec}(x|c) \end{array} $$ (22)

      又因为,

      $$ \begin{split} &-E_{c \in C} \log f_{Dec}(x|c)= \\ &\qquad -\sum\limits_{i = 1}^m f(c_i) \cdot \log f_{Dec}(x_i | c_i) \end{split} $$ (23)

      其中, $ m $ 是馈入神经网络样本的数量.

      由于 $ c_i $ $ C $ 中, 训练过程中 $ c_i $ 必然出现.

      所以 $ f(c_i) = 1 $ .

      $ X $ 符合正态分布, $ X \sim N(x; x^*, \sigma^2) .$ 其中, $ x^* $ $ x $ 的估计(Dec解码 $ x $ 特征 $ c $ 的结果, 即 $ x^* $ = Dec( $ c $ )).

      从而式(23)等于,

      $$ \begin{split} &-\sum\limits_{i = 1}^m \log f_{Dec}(x_i | c_i)= \\ &\qquad -\sum\limits_{i = 1}^m \log \left(\frac{1}{\sqrt{2 \pi} \sigma} \!\cdot\! exp\left(\!-\frac{(x_i-x_i^*)^2}{2\sigma^2}\right)\!\right)\!= \\ &\qquad \frac{m}{2} \cdot \log (2\pi) + m \cdot \log \sigma + \sum\limits_{i = 1}^m \frac{(x_i-x_i^*)^2}{2\sigma^2} \end{split} $$ (24)

      其中 $ x_i^* $ = Dec( $ c_i $ ), $ c_i $ $ x_i $ 的特征.

      式(24)前两项是常数项, 梯度下降过程中对梯度不做贡献, 仅最后一项对梯度下降做出贡献.

      又均方差损失函数为,

      $$ \begin{array}{l} loss_{MSE} = \frac{1}{m} \sum\limits_{i = 1}^m (x_i - x_i^*)^2 \end{array} $$ (25)

      对比式(24)的最后一项和式(25)可知. 优化式(24)等价于优化式(25). ■

      由命题1可知, 引入解码约束条件当 $ f_{Dec}(x) \approx $ $ f_G(x) $ 时将有利于 $ f_G(x) $ $ f_X(x) $ 更相似. 从而达到尽量避免 $ JS(f_X(x)||f_G(x)) $ 为常数和近似常数的目的, 有利于避免损失函数梯度消失的问题.

      通过命题2可知, 引入解码约束条件基本不影响函数的单调性和极小值点, 表明它们相对于分布对 $ (f_X(x), f_G(x)) $ 的最优解是一致, 优化任务的总体目的相近.

      通过命题3可知, 若训练样本 $ X $ 符合正态分布, 应选用均方差损失函数. 由于训练集 $ X $ 中样本的结构信息(几何结构量), 颜色信息和清晰度(与图像纹理相关)等关键特征信息依据三大中心极限定理可知是满足正态分布假设或近似正态分布假设.

    • 通过以上描述可以得到整个网络的训练方法, 如下所示:

      Step1. 依据式(7)充分训练U-Net型自动编码机, 获取训练集 $ X $ 的特征集 $ C $ .

      Step2. 依据式(10)计算出判别值 $ \delta $ , 如果 $ \delta $ = 1则对解码器Dec(解码器与生成器G权重共享, 网络结构一致)使用RMSProp优化方法进行解码训练. 每次馈入batchsize个 $ x $ 和对应的特征向量 $ c $ .

      Step3. 分别馈入batchsize个 $ x $ 和G( $ z $ )到判别器D网络, 使用RMSProp优化方法对其进行权重更新.

      Step4. 馈入batchsize个 $ z $ 到生成器G网络, 使用R-\\MSProp优化方法对其进行权重更新. 连续训练两次G.

      Step5. 重复Step $2 \sim $ Step4, 直到达到最大epoch数为止.

    • 本文实验中, 选取的主要软硬件环境为, tensorflow1.12.0 GPU版本, cuda 9.0, cuDNN 7.4, 英伟达gtx1080, gtx1080ti, rtx2080ti显卡. 实验的其它部分如下所示.

    • 为定量对比分析多个生成模型的生成图像效果, 选取Inception Score (IS)[31, 32], Frechet Inception Distance (FID)[31, 32], 平均清晰度进行评价. IS是评价生成图像的质量和模式类别多样性的指标(对多样性描述更准确一些), 指标值越高越好. FID也是评价生成图像质量和多样性, 越低越好. 计算IS指标不需要训练集做对比, 计算FID指标需要训练集做对比, FID越小表明与训练集的图像质量及多样性越接近. 清晰度是图像重要的视觉质量指标, 越高则有更多纹理结构信息. 清晰度的方法选用常用的基于能量梯度表达的计算公式.

      $$ \begin{split} s(x) = &\sum\limits_{i = 0}^{w-2} \sum\limits_{j = 0}^{h-2} (|I(i+1, j) - I(i, j)|^2+ \\ & |I(i, j+1) - I(i, j)|^2) \end{split} $$ (26)

      其中 $ I(i, j) $ 表示在图像样本 $ x $ 中坐标 $ (i, j) $ 处的像素值大小. $ w $ $ h $ 分别表示样本图像 $ x $ 的宽度和高度. 使用 $ S(x) $ 除以图像像素个数以获取平均清晰度.

      为验证本文GANs模型的生成图像的效果, 选取celeba和cifar10数据集进行测试. 数据集详细信息如下所示.

      celeba数据集共含有202,599张彩色人物上半身图像, 每张图像大小为178 $ \times $ 218像素. 在实验中选取前50,000张图像, 裁剪出64 $ \times $ 64的人脸图像作为训练集. cifar10数据集含有50,000张训练集彩色图像和10,000张测试集彩色图像. 每张图片的大小为32 $ \times $ 32, 10个类别的图像在训练集和测试集中比例相同. 实验中选用cifar10的训练集作为GANs的训练集. 图3 $\sim $ 4展示了训练集的样本图像.

      图  3  celeba数据集样本

      Figure 3.  Samples of celeba dataset

      图  4  cifar10数据集样本

      Figure 4.  Samples of cifar10 dataset

    • 在图像特征学习中, 使用类似于U-Net的5层全连接自编码机用于特征学习, 每层神经元数量: $ w\times h $ -10 $ \times $ 10-10 $ \times $ 10-10×10- $ w\times h $ ( $ w $ , $ h $ 是图像宽度和高度), 激活函数为softsign, 使用Adam方法进行优化, 学习率为0.001, 动量因子为0.9. 每批提取100个样本图像的中间层特征, 迭代次数为7,000. 在gtx1080ti 显卡条件下, cifar10数据集上所耗时间约7小时, celeba数据集上所耗时间约18小时.

      图5展示了部分训练样本重构效果和提取的特征图. 前后3行图像各为一个单元, 每个单元中第1行是原图, 第2行是重构图, 第3行是对应的特征图. 在特征图中, 每一个格子对应原特征图的一个彩色像素.

      图  5  U-Net自动编码示例

      Figure 5.  Samples of U-Net auto-encoder

      图5中可以看出, U-Net结构下的自编码机都有比较好的图像重构视觉效果, 所提取的隐含特征都有比较好的特征表达能力. 从图中可以观察出图像颜色和纹理结构越丰富, 隐含特征色彩也越丰富. 反之, 特征的颜色也比较单一. 例如图5人脸图像中, 第 $1 \sim 4$ 列头发颜色和背景颜色都偏暗, 面部方向为正面. 第 $5 \sim8 $ 列背景图像, 面部角度及头发颜色都比较鲜明. 与之对应, 它们的特征也有比较明显的颜色区分度, 从而表明所学习到的特征包含了原始图像的一些信息, 如颜色和面部方向. 在cifar10数据集中依然有类似的规律, 能明显看出的后4列图像是颜色鲜明的, 特征也鲜明.

      表1给出了celeba和cifar10数据集重构样本与训练集的PSNR和SSIM质量评估指标.

      表 1  原图像与重构图像的PSNR和SSIM值统计

      Table 1.  PSNR & SSIM between original and reconstructed images

      数据集 指标 均值 标准差 极小值 极大值
      celeba PSNR 40.588 5.558 22.990 61.158
      SSIM 0.9984 0.0023 0.9218 1.0000
      cifar10 PSNR 46.219 6.117 28.189 66.779
      SSIM 0.9993 0.0019 0.8180 1.0000

      表1可以看出在celeba和cifar10数据集上, U-Net型自动编码机重构的样本在PSNR和SSIM指标上都有不错的表现. 结合图5来看, 其提取的特征具有训练集样本的特征表达能力.

    • 本节实验为验证样本特征有效性, 限制解码约束条件的必要性及解码函数类型选择的重要性做了如下实验. (1) 正态特征(每个训练样本对应的特征符合标准正态分布); (2) 均匀特征(每个训练样本对应的特征符合[−1, 1]的均匀分布); (3) L1解码约束条件. (4) L2解码约束条件, 但不限制其对loss函数的梯度贡献. (5) 本文方法(L2解码约束条件, 限制对loss函数梯度贡献); 除此, 还计算了训练集的指标信息用以对比分析.

      所有实验选用RMSProp优化方法, 学习率为0.0002, 动量因子为0.9, batchsize为64, epoch 数为15. (1) $ \sim $ (3)、(5)组中, 式(23)选取的参数 $ \lambda =$ $ 1.0\times10^{-7} ;$ 式(24)中, $ r = 2, l= 11. $ (4)组实验中, $ \lambda = 1.0, r = 1, l =$ epoch. 其中带 $ '*' $ 项是来自不限L2约束对loss 函数梯度贡献权重实验. celeba和cifar10实验每组生成50,000张图片进行统计分析. 表2 $\sim $ 3展示了统计这些图像数据所得到的各项指标. 表中第5列表项是计算与训练集清晰度均值的差距值.

      表 2  celeba中不同解码实验结果

      Table 2.  Results of different decoding experiments in celeba

      对比项 IS ( $ \sigma \times 0.01 $) FID 清晰度均值 清晰度均值差值
      训练集 2.71±2.48 0.00 107.88 0.00
      正态特征 1.88±1.25 42.54 121.40 13.52
      均匀特征 1.82±1.48 43.04 123.02 15.14
      L1 1.99±1.53 32.95 120.16 12.28
      L2* 1.69±0.97 46.08 96.88 11.00
      L2(本文) 2.05±1.84 25.62 114.95 7.07
      黑体表示最优值, 下同

      表 3  cifar10中不同解码实验结果

      Table 3.  Results of different decoding experiments in cifar10

      对比项 IS ( $ \sigma \times 0.1 $) FID 清晰度均值 清晰度均值差值
      训练集 10.70±1.47 0.00 120.56 0.00
      正态特征 5.63±0.64 48.21 139.88 19.32
      均匀特征 5.51±0.79 46.57 137.13 16.57
      L1 5.63±0.79 42.70 138.04 17.48
      L2* 4.69±0.55 79.10 119.62 0.94
      L2(本文) 5.83±0.70 38.79 134.97 14.41

      (1)分析对于馈入图像特征 $ c $ 的必要性. 对比表2, 3中的正态特征, 均匀特征和L2(本文)表项可知, IS和FID这两项关键指标本文方法均是最优. 特别在FID指标上有显著提升, 这表明使用图像特征 $ c $ 进行解码是必要的, 馈入的特征类型是不能随意选取. 对比清晰度, 本文方法的清晰度均值虽不是最大, 但是本文清晰度更接近训练集的清晰度水平, 表明能更合理模拟训练集高频信息.

      (2)分析解码损失函数类型的必要性. 对比表2, 3中L1和L2(本文)表项可知, IS和FID指标, 依然是本文占优. 清晰度均值表项L1约束占优表明其生成的图像填充的纹理信息更多, 但本文方法清晰度依然最接近训练集清晰度.

      (3)分析限制解码约束条件对梯度贡献的必要性. 对比表2, 3中L2*和L2(本文)表项可知, L2*表项的IS和FID指标明显占劣势, 这表明其多样性和生成图像的指标较差. 对比清晰度指标可以发现不限制L2约束条件对梯度的贡献, 会影响生成图像的细节纹理填充. 应注意表3中L2*和训练集表项的清晰度均值相近的原因, 前者是因为纹理细节丢失导致清晰度下降, 后者是因为如舰船、马匹、汽车、飞机等类别图像前景或背景本身纹理较少导致整体清晰度下降(结合图4图10能直观看出).

      通过以上3个方面的分析可以发现, 本文方法中使用图像特征进行解码是必要的, 馈入的解码特征类型不具有随意性; 对于解码损失函数使用L2效果更优, 具有一定必要性; 限制解码损失函数对梯度的贡献, 使得 $ f_{Dec}(x) $ $ f_G(x) $ 应近似相等是必要的. 后两点也与模型的理论分析部分一致.

      图6 $\sim $ 11展示了在celeba和cifar10数据集中, 均匀特征, 不限制权重的L2约束, 以及本文方法实验生成样本.

      图  6  均匀特征实验样本, celeba

      Figure 6.  Uniform feature experimental samples, celeba

      图  7  L2解码不限制权重实验样本, celeba

      Figure 7.  L2 decoding with not restrict weight experimental samples, celeba

      图  8  本文方法实验样本, celeba

      Figure 8.  This paper method experimental samples, celeba

      图  9  均匀特征实验样本, cifar10

      Figure 9.  Uniform feature experimental samples, cifar10

      图  10  L2解码不限制权重实验样本, cifar10

      Figure 10.  L2 decoding with not restrict weight experimental samples, cifar10

      图  11  本文方法实验样本, cifar10

      Figure 11.  This paper method experimental samples, cifar10

      图3, 6 $\sim $ 8可以看出, 本文方法(图8)生成的图像更细腻, 图像纹理填充主要是填充到头发部分, 视觉效果更好. 而均匀特征生成的图像中(图6), 一些纹理信息不仅填充到面部, 而且还填充到背景区域, 这也是表2中其清晰度均值偏高的原因. 表明它能够生成更多的纹理细节, 但是填充位置未必合理. 对于L2 $ ^* $ 生成的图像中(图7)能够发现, 生成的样本比较模糊, 纹理信息填充比较差, 影响了视觉效果. 表明限制解码损失函数对梯度下降的共享是必要的.

      图9 $\sim $ 11可以看出, 本文方法(图11)能更明显地生成图像中背景和前景部分. 而均匀特征生成图像(图9)纹理填充得更多. 对于L2*生成的图像(图10)也能够发现图像相对模糊. 通过以上的数据及生成图像对比分析表明, 在本文方法中, 为生成更好质量的图像, 需要选取合适的解码特征类型, 限制解码约束条件权重以及选取合适的解码函数类型.

    • 本文GANs所使用的G和D网络内部结构均与DCGANs一致, 并且本文将JS散度作为主优化目标, 后者将JS散度作为优化目标. 为验证模型的所耗时间代价, 在同一台含gtx1080ti显卡的计算机上测试了DCGANs和本文GANs模型的耗时, 以此对比分析出本文的训练时间代价.

      表4可以看出在预训练出训练集样本特征前提下, 本文GANs总耗时有所下降, 这得益于总的epoch数减少. 但单位耗时有所提高, 这源于本文GANs在某些epoch训练周期内会使用解码约束条件. 由3.3节实验设置可以看出, 解码约束的使用仅在0及0到11之内的偶数训练周期中, 共6次. 在特征提取的过程中, 由3.2节可知, 其耗时远大于用于解码和对抗训练耗时. 这表明本文GANs在特征学习过程中的预训练耗时代价较大. 总耗时的减少为模型的参数调试带来了比较大的便利.

      表 4  时间代价测试

      Table 4.  Test of time cost

      数据集 模型 epoch数 总耗时/s 单位耗时/s
      celeba DCGANs 25 3,616.03 180.80
      本文 15 2,868.33 191.22
      cifar10 DCGANs 25 2,388.53 119.46
      本文 15 1,859.51 123.96
    • 在对抗训练实验中, 本文选取的G网络和D网络结构与DCGANs一致, LSGANs以及WGANs, WGANsGP的网络结构处理方法相同. 选取RMSProp优化, 学习率和动量因子分别为0.0002, 0.9.

      BEGANs和SAGANs分别依据文献[14]、[21]代码单独实验, 关键参数与原文一致, 选用Adam优化. 所有实验中Batchsize = 64. 在celeba和cifar10上每组实验均生成50,000张图片进行数据统计, 获得表5, 6实验数据. 上表中, SAGANs1使用WGANsGP损失函数(优化W距离), SAGANs2使用DCGANs损失函数(优化JS散度); 关于本文所设计GANs参数统计, 前半部分是解码及对抗学习模型参数量, 后半部分是U-Net自动编码机模型参数量.

      表 5  celeba中不同GANs对比

      Table 5.  Comparsion of different GANs in celeba

      GANs模型 epoch数 优化项 参数量( $ \times 10^6 $) IS( $ \sigma \times 0.01 $) FID 清晰度均值 清晰度均值差值
      训练集 2.71±2.48 0.00 107.88 0.00
      BEGANs 35 W距离 4.47 1.74±1.29 46.24 77.58 30.3
      DCGANs 20 JS散度 9.45 1.87±1.58 50.11 124.82 16.94
      LSGANs 35 Pearson散度 9.45 2.02±1.63 39.11 122.19 14.31
      WGANs 35 W距离 9.45 2.03±1.75 40.31 117.15 9.27
      WGANsGP 35 W距离 9.45 1.98±1.82 37.01 121.16 13.28
      SAGANs1 30 W距离 10.98 2.06±1.79 21.94 109.94 2.06
      SAGANs2 30 JS散度 10.98 1.99±1.79 31.04 99.57 8.31
      本文 15 JS+ $ \lambda \cdot $KL散度 9.45+0.84 2.05±1.84 25.62 114.95 7.07

      表 6  cifar10中不同GANs对比

      Table 6.  Comparsion of different GANs in cifar10

      GANs模型 epoch数 优化项 参数量( $ \times 10^6 $) IS( $ \sigma \times 0.1 $) FID 清晰度均值 清晰度均值差值
      训练集 10.70±1.47 0.00 120.56 0.00
      BEGANs 35 W距离 3.67 5.36±0.65 107.64 80.89 39.67
      DCGANs 20 JS散度 8.83 5.04±0.27 54.27 139.12 18.56
      LSGANs 35 Pearson散度 8.83 5.70±0.36 43.35 135.80 15.24
      WGANs 35 W距离 8.83 5.25±0.33 53.88 136.74 16.18
      WGANsGP 35 W距离 8.83 5.39±0.30 50.60 139.17 18.61
      SAGANs1 30 W距离 8.57 6.09±0.47 42.90 126.28 5.72
      SAGANs2 30 JS散度 8.57 5.37±0.46 53.49 133.54 12.98
      本文 15 JS+ $ \lambda \cdot $KL散度 8.83+0.23 5.83±0.70 38.79 134.97 14.41

      对比分析表5实验数据可知.

      (1) 对比前5个和本文GANs模型, 从IS指标上看, 本文虽稍好于LSGANs、WGANs、WGANsGP, 但它们之间IS指标基本一致. DCGANs和BEGANs较差, 这表明DCGANs和BEGANs多样性和质量差于其他方法. 在FID指标上本文GANs模型明显优于这5个GANs模型, 这表明本文GANs模型相对地更能有效模拟训练集分布. 在清晰度指标上, 虽然清晰度均值不是最大, 但是它与训练集之间的清晰度均值差距更小, 这表明本文GANs对高频细节模拟更合理. 对比模型参数可知, 由于特征学习网络的参数量较少, 所以本文GANs模型并没有明显增加参数量. 最后对比epoch数可以看出本文相对于上述GANs模型有明显优势.

      (2) 对比SAGANs和本文GANs效果, 从SAGA-Ns1和本文GANs的实验数据可知, 优化W距离的SAGANs的综合性能很好, IS指标与本文相当, FID指标稍好于本文GANs, 清晰度指标上看, 它能更合理地模拟人脸纹理信息. 虽然参数量两者基本一致, 但其训练epoch数明显多于本文GANs模型. 再对比SAGANs2和本文GANs可知, 本文综合效果又较明显优于优化JS散度的SAGANs模型. 这说明当JS散度作为优化目标或主优化目标时, 本文GANs模型比融入注意力机制和谱归一化优化的SAGANs模型表现更佳. 同时, 通过对应地对比DCGANs和WGANs, SAGANs1和SAGANs2, 数据表明优化JS散度模型生成图像质量差于优化W距离模型生成图像质量. 这也证明了如WGANs(文献[12])分析那样, JS散度的确可能带来梯度消失问题, 导致生成图像质量下降.

      对比表6, 在cifar10数据集中, 依然存在上述类似的实验现象, 但从统计的数据来看, 没有单类别数据集那么明显.

      通过以上实验数据及分析可知, 本文GANs综合性能能达到除优化W距离的SAGANs外最优. 相对而言, 本文GANs在仍以JS散度为主优化目标时, 模型综合性能靠近优化W距离的SAGANs, 并且网络结构并没有使用注意力机制和谱归一化优化. 同时在预训练提取出训练特征的前提下, 本文GANs模型明显减少epoch数.

      为直观对比一些GANs生成效果, 展示了BEGANs, DCGANs, WGANsGP和SAGANs1的生成效果. 如图12 $\sim $ 19所示.

      图  12  BEGANs实验样本, celeba

      Figure 12.  Experimental samples of BEGANs, celeba

      图  13  DCGANs实验样本, celeba

      Figure 13.  Experimental samples of DCGANs, celeba

      图  14  WGANsGP实验样本, celeba

      Figure 14.  Experimental samples of WGANsGP, celeba

      图  15  SAGANs1实验样本, celeba

      Figure 15.  Experimental samples of SAGANs1, celeba

      图  16  BEGANs实验样本, cifar10

      Figure 16.  Experimental samples of BEGANs, cifar10

      图  17  DCGANs实验样本, cifar10

      Figure 17.  Experimental samples of DCGANs, cifar10

      图  18  WGANsGP实验样本, cifar10

      Figure 18.  Experimental samples of WGANsGP, cifar10

      图  19  SAGANs1实验样本, cifar10

      Figure 19.  Experimental samples of SAGANs1, cifar10

      对比分析使用celeba数据集训练GANs而生成的图像, 通过图12可知, BEGANs虽然能很好对形态特征进行学习, 但的确存在比较严重的高频信息丢失现象, 并且生成的图像出现斑块. 通过图13, 14可知, DCGANs和WGANsGP生成的图像纹理信息填充区域过多, 比如训练图像面部的高频信息较少, 但是生成图像存在面部填充高频信息的现象, 这也是表4中它们对应的清晰度均值项偏高的原因之一. 最后再看图15, 能很明显观察到优化W距离的SAGANs生成的图像在面部形态和纹理等特征更合理, 并且结合图8(本文效果), 也能发现更好的生成图像样本其形态和纹理等信息都比较协调. 对比cifar10数据集生成的图像, 除图16可以明显看出差异外, 难以直接进行视觉评估, 但在上文结合表6数据进行了分析.

      综上所述, 本文方法(JS+ $ \lambda \cdot $ KL散度)相对于DCGANs(JS散度)有较明显的提升, 在IS指标上也能达到LSGANs(Pearson散度)、WGANs(W距离)等GANs模型的图像生成效果, 并且在FID指标上进一步有所提高. 此外, 本文方法生成的图像效果能逼近优化W距离的SAGANs图像效果, 并且参数量并没明显增加. 在训练集样本特征预学习完成后, 解码及对抗学习能有效减少训练所需的epoch数.

    • 为提高GANs图像生成质量和考虑到因JS散度可能为近似常数而带来的GANs生成图像效果产生不利影响, 本文尝试通过增加样本特征解码约束条件来减弱这些影响. 实验结果表明利用样本特征解码约束条件进行对抗训练的约束, 有利于图像生成质量的提高和减少epoch数. 同时, 本文方法能够更合理地模拟训练集的高频信息部分. 本文方法需要对训练样本预训练学习出样本特征, 虽较少增加了网络参数量但需要较多的特征提取预训练时间. 对于更高效特征提取方法及特征分布与G网络随机向量分布的关系对生成图像效果的影响等都值得进一步研究.

WeChat 关注分享

返回顶部

目录

    /

    返回文章
    返回