Deep Learning for Hyperspectral Imagery Classification: The State of the Art and Prospects
-
摘要: 高光谱图像（Hyperspectral imagery，HSI）分类是高光谱遥感对地观测技术的一项重要内容，在军事及民用领域都有着重要的应用.然而，高光谱图像的高维特性、波段间高度相关性、光谱混合等使得高光谱图像分类面临巨大挑战.近年来，随着深度学习新技术的出现，基于深度学习的高光谱图像分类在方法和性能上得到了突破性的进展，为其研究提供了新的契机.本文首先介绍了高光谱图像分类的背景、研究现状及几个常用的数据集，并简要概述了几种典型的深度学习模型，最后详细介绍了当前的一些基于深度学习的高光谱图像分类方法，总结了深度学习在高光谱图像分类领域中的主要作用和存在的问题，并对未来的研究方向进行了展望.Abstract: Hyperspectral imagery (HSI) classification occupies an important place in the earth observation technology of hyperspectral remote sensing, and it is widely used in both military and civil fields. However, due to HSI's characteristics including high dimensionality in data, high correlation between spectrum and mixing in spectrum, HSI classification faces great challenges. In recent years, as new deep learning technology emerges, the HSI classification methods based on deep learning have achieved some breakthroughs in methodology and performance and provided new opportunities for the research of HSI classification. In this paper, we review the research background, actuality of HSI classification technologies and several common datasets. Then, we provide a brief overview of several typical deep learning models. Finally, we introduce some deep learning based HSI classification methods in detail, summarize the main function and existing problems of deep learning in HSI classification, and present some prospects for future work.
-
经过20世纪后半叶的发展, 遥感技术在理论、技术及应用方面发生了重大的变化.其中, 高光谱图像(Hyperspectral imagery, HSI)遥感技术无疑是遥感技术重大变化中十分重要的一个方面.高光谱图像遥感技术, 利用高光谱传感器/成像光谱仪以数十至数百个连续细分的波段对目标区域同时成像, 将图像与光谱结合, 同时获取空间及光谱信息, 得到以像素为单位的高光谱图像[1-2].该图像含有大量的光谱信息, 能够采集目标在电磁波谱的紫外、可见光、近红外和中红外区域的辐射或反射信息[1].而且, 随着高光谱成像系统的进一步发展, 高光谱图像采集到的信息将更加细致, 更加丰富, 一方面, 空间分辨率会更高; 另一方面, 光谱分辨率将显著提高[1].与多光谱遥感等普通遥感图像相比, 高光谱图像波段多, 光谱波段覆盖范围广, 信息量巨大, 形成的三维数据块能够有效地反映成像目标的信息, 并有效地结合了空间信息和光谱信息[3].因此, 高光谱遥感对地观测技术被广泛的应用在很多不同的领域[4-5], 例如矿业[6]、天文学[7]、化学成像[8]、农业[9]、环境科学[10-11]、荒地火灾跟踪和生物威胁检测[12]等.随着高光谱成像仪的进一步发展, 高光谱图像含有的信息量会更加巨大, 高光谱图像的应用范围也会更加广泛.不同场合的应用, 越来越大的数据量对高光谱遥感对地观测技术也提出了更复杂的要求.高光谱图像分类技术是高光谱遥感对地观测技术的一项重要内容, 其具体任务是对高光谱图像中的每一个像素所代表的目标进行分类.然而由于高光谱图像存在高维特性, 谱间相似性及混合像素, 高光谱图像分类技术面临一系列的挑战.首先, 由于高光谱图像成像的光谱波段范围广, 波段窄, 波段数量多.一方面高光谱图像相邻波段之间相关性较大, 存在较高的信息冗余[1]; 另一方面, 对高光谱图像蕴含的丰富的谱信息直接进行处理所需计算量巨大, 对数据降维又需要选取合适的降维方法[1], 由于高光谱图像类型多种多样, 不同的传感器采集到的数据也有所不同, 选取合适的降维方法是十分困难的; 其次, 高光谱图像中存在异物同谱及同谱异物问题, 导致数据结构呈高度非线性, 极大地增加了分类的难度, 一些基于统计模式识别的分类模型难以处理原始的高光谱图像数据.再次, 与纳米级别的光谱分辨率相比, 高光谱图像的空间分辨率较低.高光谱图像中存在一些混合像素, 即一个像素中存在多个不同类别的目标, 这对于高光谱图像分类, 也带来了一定的难度[13-14].最后, 高光谱图像训练样本较少.对采集到的高光谱图像进行标记十分困难, 实地勘测需要大量的人力物力, 并且需要耗费大量的时间, 高光谱图像的采集也会受到天气等环境因素的影响[15-16].在早期的高光谱图像分类技术中, 高光谱图像分类方法仅仅利用了高光谱图像中丰富的光谱信息, 没有更深入地挖掘数据内在的信息.例如, 距离分类器[17]、K近邻分类器[18]、最大似然分类器[19]、罗杰斯特回归[20]等.这些方法大多都会受到Hughes现象的影响[21], 即在训练数据有限的情况下, 当数据维度过高, 分类的精度会大幅度下降.针对这一问题, 研究者们提出了一些特征提取的方法[22-24]和判别学习的方法[25].特征提取的方法例如主成分分析[23]、独立成分分析[24]、线性判别分析[26-28], 将高维数据映射到一个低维空间, 同时保留类别信息.判别学习的方法例如支持向量机[25]、多类别的罗杰斯特回归[26]、人工免疫网络[29]等, 通过学习得到高维空间中的数据到类别的映射关系.近几年, 高光谱图像分类方法中引入了高光谱图像的空间信息, 这一类方法简称为基于空谱联合特征的高光谱图像分类方法[30-32].空间信息的引入, 显著提高了高光谱图像分类精度.同样地, 为了有效联合空间信息和光谱信息完成高光谱图像分类任务, 研究者们提出了一些能够提取低维度的空谱联合特征的特征提取方法[33-34].无论是对于基于谱信息的分类方法来说, 还是对基于空谱信息的分类方法来说, 特征提取都是必不可少的, 其分类精度很大程度上依赖于提取到的特征.然而, 高光谱图像的类别复杂多样, 很难选择一种特征提取的方法能适用于所有类型的高光谱数据.深度学习为特征提取提供了理想的解决方案, 针对多种多样的数据, 深度学习模型可以自主地从数据中学习特征, 舍弃了研究人员预先设计特征, 然后根据预先设计的特征提取规则从数据中提取特征的模式. 2006年Hinton等提出逐层训练的思想[35], 使得深度学习引起了学术界的广泛关注. 2012年Krizhevsky等利用两个GPU训练了一个卷积神经网络(Convolutional neural network, CNN)对Imagenet数据库上的数据进行分类并取得了非常高的分类精度[36], 这一成果在图像分类, 目标检测等领域掀起了深度学习研究的热潮.近几年, 随着图像分类、目标检测等领域掀起了深度学习的热潮, 一些深度学习网络模型, 包括卷积神经网络(CNN)[36]、深度置信网络(Deep belief network, DBN)[35]、栈式自编码网络(Stacked autoencoder, SAE)[37]等也被逐步引入到高光谱图像分类领域, 并取得了突破性的进展.针对相关学术及技术进展情况, 本文主要综述及分析了基于深度学习的高光谱图像分类的最新进展.
1. 高光谱图像分类问题及常用数据集
1.1 高光谱图像的特点
高光谱遥感技术, 通过采集不同目标反射或辐射出不同波长的电磁波, 得到以像素为单位的遥感影像, 在采集过程中, 会采集这些目标对上百个不同的连续波段的反射或辐射信息.从波段强度的角度出发, 可以将高光谱图像看成一个三维的数据块, 以空间位置建立$Y$轴和$X$轴, 以波段强度关系建立$Z$轴.如图 1所示:
假设一个高光谱图像空间上含有$M \times N$个像素, 光谱维上含有$K$个波段, 则高光谱图像是由$K$个空间尺寸为$M\times N$的二维图像组成的一个三维图像.对于空间位置为$(i, j)$的一个像素点$P(i, j)$, 其光谱特征为$({p_1}(i, j), {p_2}(i, j), \cdots , {p_k}(i, j))$, 其中下标$1, 2, \cdots , k$表示波段编号.
1.2 高光谱图像分类问题的研究难点
高光谱图像中丰富的光谱信息为目标分类提供有力的依据的同时, 也为高光谱图像的分类引入了一些困难. 1)高光谱图像数据量庞大, 导致高光谱图像相关处理的计算量很大, 如何快速精确地对待分类像素进行分类是研究高光谱图像分类时需要重点考虑的一个问题. 2)比起纳米级别的光谱分辨率, 高光谱图像的空间分辨率较低, 图像中存在一些混合像素, 混合像素的存在给高光谱图像的精确分类, 也带来了一定的难度. 3)由于高光谱图像成像的光谱波段范围广、波段窄、波段数量多, 导致相邻波段之间相关性较大, 高光谱图像中会存在较高的信息冗余, 对分类精度有影响, 如何降低冗余信息对高光谱图像分类的影响是非常重要的.最后, 高光谱图像训练样本较少, 对于参数量比较多的分类方法来说容易出现过拟合问题, 如何在少量样本的情况下, 训练出高效的分类模型对高光谱图像分类来说十分重要.
从特征提取的角度来讲, 深度学习的相关模型为高光谱图像分类中存在的这些问题提供了一种解决思路, 然而, 将深度学习应用到高光谱图像分类中来也面临一些困难. 1)数据维度问题, 与普通的自然图像不同, 高光谱图像数据呈现三维结构, 光谱信息十分丰富, 空间信息相对较少, 将深度学习应用到高光谱图像分类中的第一步是必须设计出适合高光谱图像结构, 能够有效利用高光谱图像丰富光谱信息及有限的空间信息的网络结构. 2)样本量相对较少的问题, 深度学习的各种模型通常包含大量的参数, 这些参数是需要通过训练确定具体值的, 而训练过程依赖大量的有标注的样本数据. 3)由于成像原理不同, 高光谱图像与其他图像的数据特点也有所不同, 深度学习相关模型应用在其他图像方面时所积累的一些经验不一定适用于高光谱图像分类.
1.3 高光谱图像分类常用数据集
针对高光谱图像分类问题所提出的各种算法, 通常需要在一些高光谱图像数据集上进行验证, 表 1中罗列了一些高光谱图像分类中常用的数据集.其中AVIRIS指的是美国宇航局喷气推进实验室(Jet Propulsion Laboratory, JPL)的机载可见光、红外成像光谱仪(Airborne visible/infrared imaging spectrometer, AVIRIS). ROSIS指的是德国航空航天局的反射光学系统成像光谱仪(Reflective optics system imaging spectrometer, ROSIS).数据大小指的是高光谱图像空间维度上像素的个数, 样本量指的是高光谱图像的所有像素中有人工标记类别的像素的个数, 空间分辨率指的是每个像素实际对应的空间大小.以数据集Indian Pines为例, 该数据空间维度上一共有145 $\times$ 145个像素, 每个像素的实际覆盖面积为20 $\times$ 20 ${\rm m^2}$.该数据中一共包含了16类不同的地物目标, 一共有10 249个像素有人工标注的类别.
表 1 高光谱图像分类常用数据集Table 1 Several common datasets of HSI classification数据 Indian Pines Salinas Kennedy Space Center Pavia Center Pavia University Botswana 采集时间 1992年 1992年 1996年 2001年 2001年 2001年 采集地点 印第安纳州 加利福尼亚州 佛罗里达 意大利北部 意大利北部 奥卡万戈三角洲 采集设备 AVIRIS AVIRIS AVIRIS ROSIS ROSIS Hyperion 光谱覆盖范围($\mu$m) 0.4 $\times$ 2.5 0.4 $\times$ 2.5 0.4 $\times$ 2.5 0.43 $\times$ 0.86 0.43 $\times$ 0.86 0.4 $\times$ 2.5 数据大小(像素) 145 $\times$ 145 512 $\times$ 217 512 $\times$ 614 1 096 $\times$ 492 610 $\times$ 340 1 476 $\times$ 256 空间分辨率(m) 20 3.7 18 1.3 1.3 30 波段数 224 224 224 115 115 242 去噪后波段数 200 204 176 102 103 145 样本量 10 249 54 129 5 211 7 456 42 776 3 248 类别数 16 16 13 9 9 14 2. 深度学习典型的结构模型和开源工具
深度学习是机器学习的一个分支, 起源于人工神经网络.相比传统的人工神经网络, 深度学习模型的层数更深, 抽象能力更强.深度学习典型的结构模型包括卷积神经网络(CNN)[36]、基于自编码网络(Autoencoder, AE)的栈式自编码网络(SAE)[37]、基于受限玻尔兹曼机(Restricted Boltzmann machine, RBM)的深度置信网络(DBN)[35]、递归神经网络(Recurrent neural networks, RNN)[38].目前在高光谱图像分类领域有所应用的主要是CNN、SAE及DBN三种深度学习模型.本节将概述这三种深度学习模型的主要思想和方法.
2.1 CNN模型
与传统的神经网络需要以特征向量作为输入数据不同, CNN可以直接输入二维的图像进行处理. CNN在计算机视觉领域的应用十分广泛, 例如人体行为识别[39]、图像分类[36, 40-41]、目标检测[42-43]、目标跟踪[44], 从单一图像中进行景深估计[45]、超分辨重建[46-47]. CNN主要包含三个部分:卷积层(Convolution layer)、池化层(Pooling layer)、全连接层(Fully connected layer).全连接层的输出可以看作是卷积网络抽取到的特征, 具体结构如图 2所示, 图中C代表卷积层, P代表池化层, F表示全连接层.在卷积层, 利用多个共享的卷积核对输入图像进行卷积操作(同一个卷积核对输入图像在不同位置进行卷积操作时, 卷积核的参数不改变)得到多张特征图, 每个特征图的维度会依照卷积核的尺寸大小有一定的降低.在池化层, 利用取最大值池化及取平均值池化等操作对输入特征进一步压缩, 经过池化操作, 特征的空间尺寸会减半, 池化层可以保证特征对旋转的不变性并降低特征维度.网络的输入数据在经历多个卷积层及池化层之后, 最后经过全连接层得到输出.网络训练时采用反向传播(Back propagation, BP)算法[36]逐层反向传递误差, 之后利用随机梯度下降(Stochastic gradient descent, SGD)算法[36]更新各层的卷积核和偏置.
随着数据的维度和数量的增加, CNN处理的具体任务的相关难度也在提升.以"卷积层-池化层-全连接层"结构的CNN模型为基础, 学者们陆续提出了一些非常有效地改进的结构和训练方法.在模型结构方面, 改进的模型主要有: Network in network (NIN)[48]、GoogleNet[49]、VGGNet[50]、SPPNet[40]、Residual networks (ResNet)[51]及Fully convolutional networks (FCN)[52]等.其中, NIN在传统的卷积层中嵌入了一个微小网络, 将传统的卷积层改进为多层感知卷积层(Multilayer perceptron convolution layer)增强了卷积层的计算拟合能力.同时, 为了解决全连接层参数过多的问题, 提出了全局均值池化操作(Global average pooling). GoogleNet提出了Inception module, 每个Inception module会包含多个分支, 最终整个网络通过堆叠多层Inception module得到Inception module的各种版本还在持续更新中. VGGNet采用空间尺寸为3 $\times$ 3的卷积核构建了相对较深的卷积神经网络. SPPNet提出了空间金字塔池化层(Spatial pyramid pooling), 在全连接层之前加入空间金字塔池化层, 在网络结构不变的情况下, 能够对不同尺度的图像进行处理. ResNet通过堆砌Residual unit构建了非常深的卷积神经网络, 最深的网络已经达到一千多层, 其中Residual unit采用了Shortcut connection结构. FCN中, 舍弃了全连接层, 引入了反卷积层, 网络能够接受任意大小的输入图像, 主要应用在图像分割方面.在网络训练方面, 提出的技巧主要有Data augmentation[36]、Drop-connect[53]、Drop-out[36]、Local response normalization[36]、Batch normalization[54]、Pre-training及Fine-tuning[55]等.其中Data augmentation是针对训练数据进行扩充, 可以有效地改善训练数据不足时导致的过拟合问题, 主要包括裁剪、旋转、缩放、翻转等操作. Drop-connect具体操作是在训练过程中, 以预先设定的概率舍弃部分连接权. Drop-out具体操作是在训练过程中, 以预先设定的概率将部分节点输出值置零. Local response normalization和Batch normalization都是对数据进行归一化操作, 前者是局部范围内进行归一化, 后者是计算整个Batch里边的数据的均值及方差并进行归一化操作. Pre-training与Fine-tuning对应, 前者可以用来初始化网络, 具体指的是可以在目标任务数据以外的含有大量有标签数据的数据集上训练得到一个网络, 之后利用该网络的参数初始化针对特定任务的网络.后者指的是利用Pre-training初始化网络之后, 在任务目标的数据集上对网络进行微调, 以达到最优的效果.
2.2 SAE模型
SAE是由多个AE堆建起来的, 结构如图 3所示.网络前向运算时, 输入数据从底层AE输入网络, 逐层运算最后得到网络的输出.网络的训练过程按顺序分为预训练(Pre-training)和微调(Fine-tuning)两个阶段.预训练阶段, 从底层开始每个AE单独训练, 训练的目标是最小化AE的输入层和重构层的差异, AE无监督训练结束后移除重构层的部分, 并将隐层的输出数据作为高一层AE的输入数据并对高一层AE进行训练, 重复该过程直到网络整体达到预定的深度.预训练阶段, SAE是逐层训练的, 且不需要用到任何标签信息, 属于无监督学习(Unsupervised learning).微调阶段, 以预训练阶段得到的各层的权值及偏置作为SAE网络的初始权重和偏置, 以数据的标签(标注信息)作为监督信号, 利用BP算法计算各层误差, 并利用SGD算法完成各层权重及偏置的更新.
2.3 DBN模型
类似于SAE、DBN是由多个RBM逐层构建起来的, 结构如图 4所示, 正向运算过程与SAE网络的正向运算过程类似, 训练过程也分为预训练和微调两个阶段.预训练阶段, 从底层开始每个RBM单独训练, 训练目标为最小化RBM网络能量, 在可见层和隐层之间构建稳定的映射关系, 训练采用无监督的对比散度算法(Contrastive divergence, CD)[56].低层的RBM训练完成之后, 将其隐层的输出作为高一层RBM的输入, 再训练高一层的RBM, 重复该过程, 直到构建出合适的网络规模.微调阶段, 将预训练阶段确定的各层的权值及偏置作为初始化的权值及偏置, 以数据标签为指导信号计算网络误差, 利用BP算法计算各层误差, 最后利用SGD算法完成各层权值及偏置的更新.
2.4 典型开源工具简介
近年来, 深度学习发展十分迅速, 各种优秀的开发工具也层出不穷, 其中包括Tensorflow、Theano、Pytorch、Caffe及CNTK等.适用于深度学习开发的编程语言也有很多种, 包括Python、C++、Go、Matlab等.依照开发工具所支持的编程语言, 表 2总结了目前的一些应用得比较广泛的开发工具.
表 2 几种主流的深度学习开发工具Table 2 Several mainstream development tools of deep learning工具 机构 支持语言 官网 Tensorflow Google Python/C++/Go/Java https://www.tensorflow.org/ Theano U Montreal Python http://deeplearning.net/software/theano/ Pytorch Facebook Python http://pytorch.org/ Caffe BVLC C++/Python/Matlab http://caffe.berkeleyvision.org/ CNTK Microsoft C++/Python/C http://cntk.codeplex.com/ Matconvnet / Matlab http://www.vlfeat.org/matconvnet/ MXNet DMLC Python/C++/R/Julia/Scala/Go/Matlab/JavaScript http://mxnet.io/index.html Torch Facebook Lua http://torch.ch/ Deeplearning4J DeepLearning4J Java/Scala https://deeplearning4j.org/ 3. 深度学习在高光谱图像分类领域的研究现状
高光谱图像同时包含了空间信息和光谱信息, 光谱信息的分辨率很高, 一般都达到了纳米级别, 空间分辨率相对较低.高光谱图像分类问题是一个像素级别的分类问题, 具体而言就是对图像中的每一个像素进行分类确认像素的类别.高光谱图像分类大体上可以分为无监督分类和有监督分类(包含半监督分类)两种.无监督分类指的是在没有预先标注数据标签的情况下对高光谱图像进行分类(聚类), 主要思想是依照能代表像素特点的特征信息(空间信息、谱信息及特征等)将相似的像素归为一类.有监督的分类指的是在有预先标注数据作为监督信号的情况下对高光谱图像进行分类, 主要思想是利用有标注的数据学习像素特征信息与像素类别之间的内在关系, 然后利用这种关系对没有标注的数据进行分类, 确定像素类别.目前基于深度学习的高光谱图像分类主要属于有监督分类.
3.1 CNN在高光谱图像分类中的应用
CNN在图像分类、目标检测、场景分割等方面应用的十分广泛, 并取得了非常显著的成果.与SAE及DBN相比, CNN是目前在高光谱图像分类领域应用最多的深度学习网络模型.基于CNN的高光谱图像分类方法主要可以分为三类:基于谱特征的分类方法、基于空间特征的分类方法及基于空谱联合特征的分类方法.
3.1.1 基于谱特征的分类方法
高光谱图像同时具有空间信息和光谱信息, 其中, 光谱分辨率较高且光谱信息十分丰富.高光谱图像数据呈三维结构, 从每一个像素所在的空间位置都可以提取出一条由谱信息组成的一维谱向量, 仅利用该一维谱向量的信息来确定像素的类别即为基于谱特征的分类.传统的高光谱图像分类方法中, 有大量的基于谱特征的分类方法, 例如距离分类器[17]、K近邻分类器[18]、最大似然分类器[19]等.在这些传统的基于谱特征的分类方法中, 分类模型所利用的谱特征一般是原始的从像素位置提取到的光谱信息或者是经过一定的预先设定的特征提取方法从原始光谱信息提取出来的谱特征.而基于CNN的高光谱图像谱特征分类则是利用一维CNN (1D-CNN)自主地从原始的光谱信息中提取深度光谱特征并完成高光谱图像的分类, 具体如图 5所示.
将部分标注数据(标注了像素所属类别)的谱信息提取出来作为1D-CNN的输入, 类别标签作为监督信号对1D-CNN进行训练, 网络的损失函数一般通过多元罗杰斯特回归[57]来计算, 并通过SGD等算法对网络的权值进行迭代更新, 最终利用训练好的网络对图像中所有像素进行分类得到分类结果.传统的CNN都是处理具有二维结构的图像的二维卷积神经网络(2D-CNN), 例如AlexNet[36]、VggNet[50]及GoogLeNet[49]等.二维卷积操作与一维卷积操作的主要区别在于卷积操作和池化操作的维度, 二维卷积操作使用二维的卷积核在二维数据上进行卷积操作, 具体公式为
$ \begin{align} &{\rm map}_{l, j}^{x, y} = \nonumber\\ &f\left( {\sum\limits_m {\sum\limits_{h = 0}^{{H_l} - 1} {\sum\limits_{w = 0}^{{W_l} - 1} {k_{l, j, m}^{h, w}{\rm map}_{(l - 1), m}^{(x + h), (y + w)}} + {b_{l, j}}} } } \right) \end{align} $
(1) 式中, $k_{l, j, m}^{h, w}$表示第$l$层第$j$个卷积核在$(h, w)$位置的具体值, 该卷积核与$(l - 1)$层网络中第$m$个特征图相连. ${H_l}$和${W_l}$分别表示卷积核的高和宽, ${b_{l, j}}$表示第$l$层第$j$个特征图的偏置. ${\rm map}_{(l - 1), m}^{(x + h), (y + w)}$表示第$(l - 1)$层中第$m$个特征图在$(x + h, y + w)$位置的具体值. ${\rm map}_{l, j}^{x, y}$分别代表第$l$层第$j$个特征图在$(x, y)$位置的输出数据.一维卷积操作使用一维的卷积核在一维的特征向量上进行卷积操作, 其表达式为
$ \begin{equation} v_{l, j}^x = f\left( {\sum\limits_m {\sum\limits_{h = 0}^{{H_l} - 1} {k_{l, j, m}^hv_{(l - 1), m}^{(x + h)} + {b_{l, j}}} } } \right) \end{equation} $
(2) 其中, $k_{l, j, m}^h$表示第$l$层第$j$个卷积核在位置$h$处的具体值, 该卷积核与第$(l - 1)$层网络中第$m$个特征向量相连. ${H_l}$表示一维卷积核的长度.与卷积操作对应, 二维池化操作池化块是二维的, 一维池化操作, 池化块是一维的. 2D-CNN卷积网络和1D-CNN的激励函数, 全连接部分及训练方法都是相同的.
CNN发展十分迅速, 网络的具体结构灵活多变.为了防止过拟合, 梯度扩散等问题, 在设计网络具体结构时, 研究者们经常会采用很多技巧.文献[58]采用了含有一层卷积层一层池化层两层全连接层的1D-CNN进行高光谱图像分类, 网络的激励函数选取了双曲正切函数, 分类部分选择了Softmax[59].文献[60]设计了含有一层卷积层, 两层全连接层的1D-CNN, 利用Batch normalization[54]对卷积层的输出进行了标准化操作.利用Batch normalization使得网络模型在训练过程中可以选择较大的学习率, 提升了网络训练的速度.此外, 为了防止过拟合, 文献[60]中的模型还在第一层全连接层中使用了Dropout[36]并采用PReLu (Parametric rectified linear unit)函数[61]作为激励函数.
3.1.2 基于空间特征的分类方法
空间信息, 也称为上下文信息, 在高光谱图像分类中, 合理地利用空间信息能很好地提升分类精度.在利用光谱信息进行高光谱图像分类时, 通常只考虑待分类像素的光谱信息, 没有很好地考虑像素和像素之间的依赖关系.像素和像素之间的依赖关系指的是位置相近的像素之间的类别很大程度上会有一定的关联, 例如, 有一些空间位置上联通的像素被分类为停车场, 那么这些像素中间出现的光谱信息与金属光谱信息非常相似的像素很有可能是汽车.如果一个像素周边很多像素都是草地, 那么位于中间的像素很可能也是草地[62].基于空间特征的高光谱图像分类方法, 简单来说就是输入的信息不再是从单个像素位置所提取的光谱信息, 而是从一个邻域范围内提取出来的光谱信息.提取一个待分类像素的空间信息通常的做法是, 先对高光谱图像进行压缩, 再从压缩之后的数据上, 提取以待分类像素为中心的一个邻域范围内的所有信息.这样的空间信息提取做法会保留待分类像素的空间信息, 但是会损失一定的光谱信息, 本文中将其称为基于空间特征的分类方法.在基于CNN的高光谱图像空间特征分类方法中, 提取出来的邻域信息会保持其原始的空间结构, 之后利用CNN对提取出来的信息进行更深层次的加工, 提取出更深层次的空间特征, 最后利用提取出来的深层次的空间特征完成高光谱图像分类, 具体框架如图 6所示.
CNN最初的模型便是应用在二维结构的数据上, 高光谱图像的三维结构是将传统的2D-CNN应用到高光谱图像分类方面的最大阻碍. 2D-CNN的卷积层需要对每层的二维特征图进行卷积, 针对每一特征图都需要一个卷积核(网络参数), 直接将2D-CNN应用到三维高光谱图像上时, 由于高光谱图像有上百个波段(输入数据包含上百个二维特征图), 2D-CNN将需要很多的参数.高光谱图像标注数据相对较少, 在参数过多的情况下很容易过拟合, 而且, 过大的网络规模也会增加运算成本.
针对这一问题, 研究者们通常会利用数据降维的方法在光谱维上对高光谱图像数据进行降维.例如文献[63]采用了R-PCA (Principle component analysis)对高光谱图像进行降维, 保留前10或30主成分, 并利用一个有三层卷积层的CNN从空间尺寸为5 $\times$ 5的邻域提取空间特征并完成了高光谱图像的分类.文献[64]采用PCA降维, 并保留前三主成分, 之后利用CNN从空间尺寸为42 $\times$ 42的邻域提取空间特征, 与文献[63]方法不同的是, 文献[64]所采用的CNN有两层池化层且所选取的邻域尺寸更大.
先对高光谱图像进行光谱维度上的压缩降维, 之后直接利用CNN从待分类像素的邻域范围内提取空间特征完成分类, 是比较简单直观的基于CNN的高光谱图像空间特征分类方法.除此之外, 研究者们还提出了很多其他方法, 将CNN与其他模型相结合提取空间特征.文献[65]首先利用PCA降维将高光谱图像的光谱维压缩到三维, 之后再利用拉普拉斯金字塔变换得到多种空间尺寸的压缩数据, 最后每种尺寸都采用CNN提取特征.文献[66]利用PCA对高光谱图像进行压缩, 再利用属性剖面(Attribute profiles, APs)[67]对数据进一步加工, 最终利用CNN从空间尺寸为42 $\times$ 42的邻域提取特征完成分类.文献[68]在利用CNN从经过PCA降维后的高光谱图像数据中提取空间特征之后, 利用稀疏编码对CNN提取出来的空间特征进行了进一步的加工, 最后基于稀疏编码得到的特征完成分类任务.文献[69]也应用了2D-CNN网络来完成高光谱图像分类, 但是2D-CNN并不是用来提取空间特征, 而是用来对高光谱图像进行重建, 通过重建提升了不同类别的可区分性, 以此促进高光谱图像的分类精度.
3.1.3 基于空谱联合特征的分类方法
三维结构的高光谱图像数据, 既包含了空间信息, 又包含了丰富的光谱信息.基于光谱特征或基于空间特征都没有充分发挥高光谱图像的优势, 与这两种方式相比, 利用空间信息和谱信息相结合的方式进行高光谱图像分类更符合高光谱的特点, 也更有利于提高光谱图像分类的精度.基于CNN的高光谱图像空谱联合分类方法在空间信息和光谱信息的联合上主要有两种方式, 一种是基于深度网络模型分别提取空间特征和光谱特征, 之后再将空间特征和光谱特征结合起来完成分类, 如图 7所示; 另一种方式是同时提取空间特征和光谱特征, 通常是利用三维结构的模型例如三维卷积网络(3D-CNN)直接对三维结构的数据块进行处理, 如图 8所示.
图 7 基于谱特征和空间特征分别提取的分类流程图Fig. 7 The flow chart of classification based on extracting spectral and spatial feature separately
图 8 基于3D-CNN同时提取谱特征和空间特征的分类流程图Fig. 8 The flow chart of classification based on 3D-CNN extracting spectral and spatial feature simultaneously基于CNN分别提取谱特征和空间特征的分类方法中, 空间特征的提取一般是通过降维方法将高光谱图像降维, 之后利用2D-CNN从一定领域内提取空间特征.谱特征的提取方法比较多, 可以利用深度学习的模型也可以利用非深度学习的模型.文献[70-71]均利用2D-CNN提取从降维的高光谱图像中提取空间特征, 利用1D-CNN从光谱向量中提取谱特征, 最后通过全连接层及Softmax完成分类.为了缓解标注数据过少引起过拟合, 文献[71]利用翻转、旋转操作将训练数据扩充到原来的6倍.文献[72]利用含有空间金字塔池化(Spatial pyramid pooling)[40]层的2D-CNN提取空间特征, 利用SAE网络提取谱特征. Zhao等[73]对局部鉴别嵌入(Local discriminant embedding, LDE)[74]进行了改进, 提出了平衡局部鉴别嵌入(Balanced local discriminant embedding, BLDE)算法并利用该算法提取了光谱特征.最终联合BLED算法提取的光谱特征和2D-CNN提取的空间特征, 完成了高光谱图像分类.基于CNN同时提取高光谱图像空谱联合特征时, 高光谱数据不必通过PCA等降维方法进行压缩, 利用合适的CNN模型直接对三维的数据块进行特征提取.这些方法所使用的CNN模型可以分为3D-CNN、2D-CNN及1D-CNN.
文献[75-76]均采用了3D-CNN, 在未降维的高光谱图像数据上, 以待分类像素为中心, 提取一定邻域范围内的所有像素的谱信息, 组成三维的数据块, 利用3D-CNN对三维的数据块进行特征提取.文献[76]用一种结构比较紧凑, 网络规模较小的3D-CNN从空间尺寸为5 $\times$ 5的数据块中提取深度空谱联合特征.文献[75]利用规模较大, 结构较为复杂的3D-CNN从空间尺寸为27 $\times$ 27的数据块中提取深度空谱特征.与2D-CNN相比, 3D-CNN的卷积核是三维的, 而且卷积的方向从空间上的二维扩展到了空间加光谱的三维, 如图 9所示:
三维卷积操作中卷积层第$l$层, 第$j$个特征立方体$(x, y, z)$位置的具体值可以通过如下公式计算:
$ \begin{align} &v_{lj}^{xyz} = \nonumber\\ &\quad f\left( {\sum\limits_m {\sum\limits_{h = 0}^{{H_l} - 1} {\sum\limits_{w = 0}^{{W_l} - 1} {\sum\limits_{r = 0}^{{R_l} - 1} {k_{ljm}^{hwr}v_{(l - 1)m}^{(x + h)(y + w)(z + r)}} } + {b_{lj}}} } } \right) \end{align} $
(3) 其中, ${R_l}$是三维卷积核在光谱维的尺寸, ${H_l}$和${W_l}$分别是三维卷积核的高和宽. $j$是当前层卷积核的编号, $k_{ljm}^{hwr}$是第$l$层第$j$个卷积核位于$(h, w, r)$位置的具体值, 该卷积核与第$(l - 1)$层第$m$个特征立方体相连.
文献[77-78]均采用了2D-CNN来同时提取空谱特征.具体而言, 文献[77]首先利用空间尺寸分别为3 $\times$ 3和1 $\times$ 1的三维卷积核(卷积核在光谱维度上的尺寸与数据波段数保持一致)对提取的三维数据块进行二维卷积操作(只在空间上进行卷积, 光谱方向上无卷积).再将两种不同尺寸的卷积核提取出来的特征进行连接组成新的三维数据(Inception module), 最后利用空间尺寸为1 $\times$ 1的三维卷积核进行后续的卷积操作.该方法在网络结构上借鉴了ResNet的结构[51], 利用了残差学习(Residual learning)中所提出的计算模块.为了防止标注数据过少引起过拟合, 作者还利用水平翻转及沿对角线翻转操作将训练数据扩充到原来的4倍.文献[78]中, Slavkovikj等从未降维的高光谱数据中提取空间尺寸为3 $\times$ 3的数据立方体, 然后将该数据立方体重新排列成矩阵, 在第一层卷积层中采用二维卷积核沿谱方向进行卷积操作, 之后再用两层一维卷积核沿谱方向进行卷积操作, 卷积层之后连接了两层全连接层.
3.2 SAE在高光谱图像分类中的应用
SAE网络由AE模块堆建而成, 根据AE模块的不同呈现出来的SAE网络会有所不同, 例如对AE模块有稀疏性要求时, SAE网络也会变成稀疏的SAE. AE通常是采用无监督的形式进行训练的, 根据具体训练方式的不同, 堆建起来的SAE在性能方面也会有所不同.基于SAE网络的高光谱图像分类方法大体也可以分为基于谱特征的分类方法, 基于空间特征的分类方法及基于空谱联合特征的分类方法, 如图 10所示.
基于SAE进行高光谱图像谱特征分类时, 通常将从待分类像素位置提取出来的光谱向量作为网络的输入数据, 利用SAE提取更深层次, 更抽象的深度谱特征, 之后基于深度谱特征完成分类任务.文献[79, 31]均采用了SAE提取深度谱特征, AE在训练的过程中添加了约束条件, 从输入层到隐层及从隐层到重构层的连接权是转置的关系, 网络最后调优阶段选择了交叉熵(Cross entropy)作为损失函数.
文献[80]中, Ma等采用了SAE对高光谱图像进行了基于谱特征的分类, 但是对传统SAE中的损失函数进行了改进, 传统的损失函数一般都定义为分类误差, 通过优化损失函数使得分类误差最低, 而该文将优化目标函数定义为在特征空间中同类像素距离更近, 不同类像素距离更远.文献[81]及文献[82]均采用了栈式去噪自编码网络(Stacked denoising autoencoder, SDAE)[83]提取谱特征, 并进行基于谱特征的分类.文献[82]在利用谱特征分类之后, 还利用谱特征的相似性和空间位置关系对原图进行超像素分割, 对每个超像素进行投票, 依照超像素里边多数像素点的类别确定该超像素的类别, 得到最终分类结果.
SDAE是SAE的一种改进形式, SDAE是由去噪自编码模块(Denoising autoencoder, dAE)[79]构成的.训练方法及构建方法均与SAE相同, 不同的地方是dAE中在从输入层到隐层时, 会对输入数据加入噪声(以一定概率将数据层节点置零), 具体如图 11所示.
基于SAE进行高光谱图像空间特征分类时, 主要做法是先对高光谱图像进行降维, 之后以待分类像素为中心提取邻域范围内的所有信息, 并将提取出的信息拉成向量, 作为SAE的输入数据. SAE不能直接处理空间上呈二维结构的数据块, 为了满足SAE对输入格式的要求, 需要将数据拉伸成一维的向量, 这点与基于CNN的高光谱图像空间特征分类方法区别较大.
利用SAE提取空间特征时也需要对高光谱图像进行光谱维的降维, 不降维直接将待分类像素一定邻域范围内的所有信息都提取出来作为SAE的输入数据会导致输入数据维度过高[80]. SAE的隐层虽然没有强制性地限制隐节点的个数, 但是隐节点的个数不能过分小于输入数据的维度, 否则会导致从输入层到隐层丢失太多信息.因此输入数据维度过高还可能导致网络整体参数过多, 不利于网络的收敛及训练.降维的方法比较多, 文献[79, 31]均是利用PCA降维, 将高光谱图像分别压缩到3维和4维, 之后从分类像素的邻域内提取空间信息, 利用SAE进一步提取深度空间特征.在预训练过程, 限制AE的隐层到重建层的连接权输入层到隐层连接权的转置.在调优过程, 选择了交叉熵作为准则函数.
基于SAE进行高光谱图像空谱联合分类时, 通常的做法是分别提取空间信息和光谱信息, 最后合并得到空谱联合信息.从待分类像素的空间位置提取出的光谱向量, 在高光谱图像压缩图上从邻域提取空间信息并将空间信息拉成向量, 合并光谱向量和由空间信息拉成的向量.将合并得到的信息输入SAE中, 借助SAE提取深度空谱特征并完成分类.
SAE网络的输入数据必须是特征向量, 因此在空谱联合分类的方法中, 无论是光谱信息还是空间信息都需要以特征向量的形式输入到网络中去.光谱信息本身就是向量的形式无需此操作, 而空间信息本身是二维或三维的结构, 因此需要向量化.直接将从邻域提取出来的空间信息拉成向量是最简单的方法, 文献[31, 84]中空间特征提取部分就是如此.文献[85]采用了SDAE网络提取空谱特征, 而且在训练过程中加入了相似性归一化项, 即原始的比较相似的光谱数据在SDAE的隐层中也应该比较相似, 同时考虑了编码后再解码的数据恢复的质量; 然后, 采用协同表示进行分类; 最后, 再利用图分割的方法对协同表示分类结果进行分割得到最终分类结果.文献[86]中, Tao等首先利用PCA降维将高光谱图像压缩到一维, 然后以待分类像素为中心, 提取3 $\times$ 3、5 $\times$ 5及7 $\times$ 7三个邻域范围的信息一同作为空间信息, 并利用栈式稀疏自编码(Stacked sparse autoencoder, SSAE)[87]对其进行特征提取.文献[88]也考虑了多尺度的空间信息, 而光谱信息是从降维之后的图像中提取出来的.文献[89]首先利用PCA降维将高光谱图像压缩到50维, 之后利用三维Gabor小波变换从降维后的图像中提取特征, 最后再将光谱向量与小波变换提取到的特征联接起来, 利用SAE提取更深层次的空谱特征.文献[90]两次引入空间信息, 提取特征过程中, 利用SAE提取特征时, 输入数据是一定邻域范围内的空间信息.分类过程中, 在分类之前将特征图一定邻域范围内的数据提取出来进行信息融合, 最后利用分类器对融合的特征进行分类.
除了利用SAE分别提取谱特征和空间特征, 之后将空谱特征结合进行分类的方法之外, 还有其他一些利用SAE进行高光谱图像分类的方法.文献[91]中将AE网络与CNN结合在一起, 首先, 提取以待分类像素为中心的一个大邻域块(7 $\times$ 7)内的数据; 之后, 在大邻域块内提取小邻域块(4 $\times$ 4)的数据, 利用SAE对小邻域块的数据进行编码, 将编码的结果作为卷积核对大邻域块进行卷积操作来提取空谱特征; 最后, 利用Softmax分类器进行分类. Ma等[92]提出了一种半监督的基于SAE的分类方法, 利用局部判断及全局判断两种机制扩充训练样本集, 其中全局判断及最终的分类器都应用了SAE网络.
3.3 DBN在高光谱图像分类中的应用
DBN与SAE类似, 都是逐层堆建起来的网络模型, 堆建SAE用的是AE模块, 而堆建DBN采用的是RBM模块.与CNN及SAE相比, DBN在高光谱图像分类方面应用的较少.同样的, 基于DBN的高光谱图像分类方法主要可以分为三种不同的方法, 基于谱特征的分类方法[93-94]、基于空间特征的分类方法[95]及基于空谱联合特征的分类方法[32, 96], 如图 12所示.
与基于SAE的高光谱图像分类方法类似, 在利用DBN进行高光谱图像谱特征分类时, 主要做法是利用DBN对从待分类像素位置采集到的光谱信息进行更深层次的特征提取, 之后利用深度特征完成分类. He等[93]提出了一种新型的模块并将该模块堆建起来构成深度网络(Deep stacking network, DSN), 每层模块包含输入层、隐层和输出层.输入层与隐层之间的连接权可以通过对比散度算法初始化或者随机初始化, 然后固定下来, 输出层直接就是类别标签.隐层与输出层间的连接权可以通过计算伪逆得到, 该过程不依赖于SGD算法, 最终堆建起来的网络在末尾添加罗杰斯特回归分类器后, 整体利用SGD算法进行调优. Zhong等[94]考虑到在小样本条件下, 基于DBN进行高光谱图像分类时, DBN中存在大量的死节点(不响应的节点)和过分活跃节点(响应频率非常高的节点), 对传统的DBN进行了改进, 在DBN预训练及调优阶段引入了多样性先验项(Diversity promoting prior).通过引入该项增强了连接权的多样性, 减少了死节点和过分活跃的节点的数量, 提高了分类的效率.
基于DBN的高光谱图像空间特征分类方法与基于SAE的高光谱图像空间特征分类方法十分类似.文献[95]中, Li等首先利用PCA将原始高光谱图像压缩, 保留前3个主成分, 之后提取7 $\times$ 7邻域内的数据作为输入, 利用DBN网络进行特征提取及分类.文献[32, 96]均是利用DBN分别提取光谱特征与空间特征, 之后将光谱特征和空间特征连接形成空谱特征, 再基于空谱特征完成分类任务, 分类整体框架与文献[31]中的框架基本一致, 而文献[32]中的方法在DBN的训练过程中引入了稀疏限制、高斯噪声等.
3.4 分类方法的比较
3.4.1 评价指标
评价一个高光谱图像分类方法的优劣时通常需要计算一些定量的指标, 包括:总分类精度(Overall accuracy, OA), 平均分类精度(Average accuracy, AA)和Kappa统计量(Kappa statistic, K)三个指标.总分类精度表示整个测试数据集中正确分类的像素个数与整个测试集像素个数的比, 平均分类精度表示各个类别分类精度的平均值. Kappa系数是一个测定分类结果与实际结果吻合程度的指标, 它不仅考虑了被正确分类的像素, 同时也考虑了各种漏分(某些目标没有被分到应该属于的类别)和错分(某一类目标被错误的分到其他类别)情况, 计算公式为
$ \begin{equation} K = \frac{{N\sum\limits_{i = 1}^n {{C_{ii}} - } \sum\limits_{i = 1}^n {{C_{i + }}{C_{ + i}}} }}{{{N^2} - \sum\limits_{i = 1}^n {{C_{i + }}{C_{ + i}}} }} \end{equation} $
(4) 上述公式中$N$表示像素总个数, ${C_{ij}}$表示混淆矩阵[97]的第$i$行第$j$列的元素, ${C_{i + }}$、${C_{i - }}$分别表示第$i$行和第$i$列总像素个数, $n$表示类别数.
3.4.2 方法对比
无论是基于CNN、SAE还是DBN的高光谱图像分类方法, 均包含了基于谱特征分类, 基于空间特征分类, 基于空谱联合分类三大类. 表 2中, 以Pavia University为测试数据对比了基于CNN、SAE及DBN的高光谱分类方法的分类精度.每种方法均包含基于谱特征分类, 基于空间特征分类和基于空谱联合分类三种方法.在基于CNN的分类方法中训练集与测试集的比例为1 : 9[75] (有标签的数据中抽取10 %作为训练数据, 剩余的90 %作为测试数据), 在基于DBN的分类方法中训练集与测试集的比例为1 : 1[32], 在基于SAE的分类方法中训练集, 验证集及测试集的比例依次为6 : 2 : 2[31].
依照目前现有方法的分类结果, 在采用相同的深度学习模型的情况下, 基于空谱联合特征的分类方法精度最高, 基于空间特征的分类方法次之, 基于谱特征分类的方法精度相对最差.高光谱图像中存在异物同谱及同谱异物等问题, 仅仅利用光谱特征, 难以有效解决这些问题, 从而也会影响分类的结果.在利用空间信息进行分类时, 当待分类的像素对应的地物目标出现同谱异物或异物同谱等问题时, 邻域的像素所提供的信息(上下文信息)对区分待分类像素的类别会起到至关重要的作用.例如当周边的像素覆盖的地物目标均是草地时, 中心的像素覆盖的地物目标很大概率上也是草地.但是, 在基于空间特征的分类方法中, 需要对数据进行压缩, 而压缩的过程会损失一定量的光谱信息, 从而影响了最终的分类结果.基于深度学习的空谱联合特征分类方法中, 既利用了光谱信息, 又利用了空间信息, 充分发挥了高光谱图像的数据优势, 因此取得了优于前两种分类方法的效果. 表 4及图 13中, 以Indian Pines为测试数据, 在训练集与测试集1 : 1的实验条件下, 对比了分别基于SAE、DBN、2D-CNN、3D-CNN及双通道卷积神经网络(Dual channel convolutional neural network, DC-CNN)的5种高光谱图像空谱联合分类的方法.
表 3 Pavia University分类结果Table 3 The classification results of Pavia University表 4 Indian Pines分类结果Table 4 The classification results of Indian Pines图 13中, (a)对应Indian Pines的伪彩色图; (b)对应人工标记的16个类别; (c)对应基于SAE的分类方法的分类结果, 其中OA = 93.98 %; (d)对应基于DBN的分类方法的分类结果, 其中OA = 95.91 %; (e)对应基于2D-CNN的分类方法的分类结果, 其中OA = 95.97 %; (f)对应基于3D-CNN的分类方法的分类结果, 其中OA = 99.07 %; (g)对应基于DC-CNN的分类方法的分类结果, 其中OA = 99.92 %.从实验结果可以看出, 基于CNN的分类方法, 包括2D-CNN、3D-CNN、DC-CNN分类精度相对较高.实际上, 统计分析现有的基于深度学习的高光谱图像分类方法的分类效果及提出时间, 可以发现, 基于SAE和DBN的高光谱图像分类方法发展较早, 基于CNN的各类高光谱图像分类方法提出较晚.但是就目前发展现状而言, 基于CNN的各类高光谱图像分类方法发展最快, 论文的数量最多.整体而言, 分类效果较基于SAE和DBN的高光谱图像分类也更好.
4. 总结与展望
本文简要回顾了高光谱图像分类的研究背景, 简要介绍了目前在高光谱图像分类领域应用较为广泛几个数据集和三种深度学习网络模型CNN、SAE、DBN.在此基础上, 总结了CNN、SAE、DBN这三种深度学习模型在高光谱图像分类领域的研究现状.高光谱图像同时含有空间信息和光谱信息, 应用范围非常广, 而且随着遥感技术的发展, 高光谱图像的质量会有进一步的提升, 因此高光谱图像的应用前景十分广阔.从已有的基于深度学习的高光谱图像分类方法来看, 该类基于深度学习的分类方法发展迅速, 而且潜力巨大.利用深度学习模型能够有效地从高维的、信息量大的高光谱图像中自主提取出有利于提高分类精度的鲁棒的深度特征.而且, 利用深度学习的相关模型也能有效地结合并利用高光谱图像中的空间信息及光谱信息, 能充分发挥高光谱图像同时蕴含空间信息及光谱信息的优势.
目前主要有两个问题阻碍着基于深度学习的高光谱图像分类方法进一步发展.首先, 小样本问题, 深度学习模型训练过程中需求大量有效标注数据而目前高光谱图像标注数据相对较少.深度学习虽然具有很强的特征提取能力, 但是网络的训练过程是有监督的, 即使是SAE或DBN, 在网络整体调优阶段依然是有监督的.有监督的训练过程就需要一定高质量的标注数据, 网络规模较大时, 需求的标注数据可能更多.然而, 在目前已公开的高光谱图像数据中, 有人工标注的标签的数据相对较少.其次, 空谱联合特征提取问题.利用空谱联合的策略无疑是更能充分发挥高光谱图像同时含有空间信息和光谱信息的优势的, 而且空谱联合也是解决异物同谱及同谱异物等问题的一种有效手段.然而从上文的综述中可以看出, 基于深度学习的高光谱图像空谱联合特征提取方法非常多, 各有优缺点, 有效地空谱特征对提高高光谱图像分类精度是十分重要的.因此, 在后续的工作中, 基于深度学习的高光谱图像分类方法应该考虑以下几点研究方向.
1) 在深度学习模型本身结构方面, 模型中参数数量较多是模型训练过程中需要大量标注数据的主要原因, 考虑设计新型的深度学习模型, 通过构建稀疏结构的模型或设计更加有效的激励函数来降低模型中冗余的参数.
2) 在模型的训练方面, 目前深度学习模型训练方法主要是随机梯度下降算法及一些改进的随机梯度下降算法.在处理特定的数据集时, 直接利用该算法对随机初始化的网络模型训练时, 为使网络收敛, 通常需要大量的标注数据.考虑将模型的训练过程分为预训练及调优两个过程, 预训练可以在其他的标注数据较多的高光谱图像数据集上进行, 之后再结合迁移学习, One-short learning[98]及Zero-short learning[99]等思想, 将预训练好的模型移植到特定任务的数据集上, 利用少量样本进行微调, 最后完成分类任务.
3) 在标注样本数据较少方面, 一方面可以考虑将主动学习与半监督等方法与深度学习的方法相结合.首先利用少量标注样本对网络模型进行初步训练, 之后再利用主动学习及半监督的算法从未标注的数据中自动标注部分数据, 结合已有的标注数据和自动标注的新数据进一步的训练网络模型; 另一方面, 考虑将生成式对抗网络(Generative adversarial network, GAN)[100]引入到高光谱图像分类中来.对每个类别都建立一个生成式对抗网络, 利用该网络生成符合该类别特点的新的样本数据, 以此增加该类别的标注数据的数据量, 建立具有大量标注数据的数据集, 最后利用该数据集对深度学习网络模型进行训练.
4) 在空谱联合特征提取方面, 基于深度学习提取空谱联合特征时, 需要考虑的问题主要是, 空间邻域大小, 网络的规模, 结构及复杂程度.现有的方法, 无论采用哪种深度网络模型, 主要依靠多次对比实验分析选择合适的参数.如何根据高光谱图像本身的空间分辨率, 光谱分辨率及采集场景等信息, 指导空间邻域大小的选取, 网络规模的设计等是值得关注的一个问题.
5) 从分类结果上来说, 高光谱图像分类与自然图像处理问题中的语义分割非常类似.但是数据特点等有所不同, 深度学习中有大量的效果非常显著的语义分割的方法[52, 101], 目前我们暂时还没有发现有基于深度学习的语义分割的方法应用在高光谱图像分类上的文章, 在后续的工作中, 这是一个非常值得考虑的方向.
-
图 7 基于谱特征和空间特征分别提取的分类流程图
Fig. 7 The flow chart of classification based on extracting spectral and spatial feature separately
图 8 基于3D-CNN同时提取谱特征和空间特征的分类流程图
Fig. 8 The flow chart of classification based on 3D-CNN extracting spectral and spatial feature simultaneously
表 1 高光谱图像分类常用数据集
Table 1 Several common datasets of HSI classification
数据 Indian Pines Salinas Kennedy Space Center Pavia Center Pavia University Botswana 采集时间 1992年 1992年 1996年 2001年 2001年 2001年 采集地点 印第安纳州 加利福尼亚州 佛罗里达 意大利北部 意大利北部 奥卡万戈三角洲 采集设备 AVIRIS AVIRIS AVIRIS ROSIS ROSIS Hyperion 光谱覆盖范围($\mu$m) 0.4 $\times$ 2.5 0.4 $\times$ 2.5 0.4 $\times$ 2.5 0.43 $\times$ 0.86 0.43 $\times$ 0.86 0.4 $\times$ 2.5 数据大小(像素) 145 $\times$ 145 512 $\times$ 217 512 $\times$ 614 1 096 $\times$ 492 610 $\times$ 340 1 476 $\times$ 256 空间分辨率(m) 20 3.7 18 1.3 1.3 30 波段数 224 224 224 115 115 242 去噪后波段数 200 204 176 102 103 145 样本量 10 249 54 129 5 211 7 456 42 776 3 248 类别数 16 16 13 9 9 14 
下载: 导出CSV
表 2 几种主流的深度学习开发工具
Table 2 Several mainstream development tools of deep learning
工具 机构 支持语言 官网 Tensorflow Google Python/C++/Go/Java https://www.tensorflow.org/ Theano U Montreal Python http://deeplearning.net/software/theano/ Pytorch Facebook Python http://pytorch.org/ Caffe BVLC C++/Python/Matlab http://caffe.berkeleyvision.org/ CNTK Microsoft C++/Python/C http://cntk.codeplex.com/ Matconvnet / Matlab http://www.vlfeat.org/matconvnet/ MXNet DMLC Python/C++/R/Julia/Scala/Go/Matlab/JavaScript http://mxnet.io/index.html Torch Facebook Lua http://torch.ch/ Deeplearning4J DeepLearning4J Java/Scala https://deeplearning4j.org/
下载: 导出CSV
-
[1] Bioucas-Dias J M, Plaza A, Camps-Valls G, Scheunders P, Nasrabadi N, Chanussot J. Hyperspectral remote sensing data analysis and future challenges. IEEE Geoscience and Remote Sensing Magazine, 2013, 1(2):6-36 doi: 10.1109/MGRS.2013.2244672 [2] Benediktsson J A, Chanussot J, Moon W M. Very high-resolution remote sensing:challenges and opportunities[point of view]. Proceedings of the IEEE, 2012, 100(6):1907-1910 doi: 10.1109/JPROC.2012.2190811 [3] Fauvel M, Tarabalka Y, Benediktsson J A, Chanussot J, Tilton J C. Advances in spectral-spatial classification of hyperspectral images. Proceedings of the IEEE, 2013, 101(3):652-675 doi: 10.1109/JPROC.2012.2197589 [4] Landgrebe D. Hyperspectral image data analysis. IEEE Signal Processing Magazine, 2002, 19(1):17-28 doi: 10.1109/79.974718 [5] Nasrabadi N M. Hyperspectral target detection:an overview of current and future challenges. IEEE Signal Processing Magazine, 2014, 31(1):34-44 doi: 10.1109/MSP.2013.2278992 [6] Van der Meer F. Analysis of spectral absorption features in hyperspectral imagery. International Journal of Applied Earth Observation and Geoinformation, 2004, 5(1):55-68 doi: 10.1016/j.jag.2003.09.001 [7] Hege E K, O'Connell D, Johnson W, Basty S, Dereniak E L. Hyperspectral imaging for astronomy and space surviellance. In: Proceedings of the 2004 Volume 5159, Imaging Spectrometry IX. San Diego, USA: SPIE, 2004. 380-391 [8] Gowen A A, O'Donnell C P, Cullen P J, Downey G, Frias J M. Hyperspectral imaging-an emerging process analytical tool for food quality and safety control. Trends Food Science & Technology, 2007, 18(12):590-598 http://www.academia.edu/10343624/Hyperspectral_imaging_-_an_emerging_process_analytical_tool_for_food_quality_and_safety_control [9] Lacar F M, Lewis M M, Grierson I T. Use of hyperspectral imagery for mapping grape varieties in the Barossa Valley, South Australia. In: Proceedings of the 2001 IEEE International Geoscience and Remote Sensing Symposium. Sydney, Australia: IEEE, 2001. 2875-2877 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=978191 [10] Stuffler T, Förster K, Hofer S, Leipold M, Sang B, Kaufmann H et.al. Hyperspectral imaging-An advanced instrument concept for the EnMAP mission (environmental mapping and analysis programme). Acta Astronautica, 2009, 65(7-8):1107-1112 doi: 10.1016/j.actaastro.2009.03.042 [11] Malthus T J, Mumby P J. Remote sensing of the coastal zone:an overview and priorities for future research. International Journal of Remote Sensing, 2003, 24(13):2805-2815 doi: 10.1080/0143116031000066954 [12] Plaza A, Du Q, Chang Y L, King R L. High performance computing for hyperspectral remote sensing. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2011, 4(3):528-544 doi: 10.1109/JSTARS.2010.2095495 [13] Plaza A, Martinez P, Perez R, Plaza J. A new approach to mixed pixel classification of hyperspectral imagery based on extended morphological profiles. Pattern Recognition, 2004, 37(6):1097-1116 doi: 10.1016/j.patcog.2004.01.006 [14] Samat A, Li J, Liu S C, Du P J, Miao Z L, Luo J Q. Improved hyperspectral image classification by active learning using pre-designed mixed pixels. Pattern Recognition, 2016, 51:43-58 doi: 10.1016/j.patcog.2015.08.019 [15] Imani M, Ghassemian H. Band clustering-based feature extraction for classification of hyperspectral images using limited training samples. IEEE Geoscience and Remote Sensing Letters, 2014, 11(8):1325-1329 doi: 10.1109/LGRS.2013.2292892 [16] Li F, Xu L L, Siva P, Wong A, Clausi A. Hyperspectral image classification with limited labeled training samples using enhanced ensemble learning and conditional random fields. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6):2427-2438 doi: 10.1109/JSTARS.2015.2414816 [17] Kumar S, Ghosh J, Crawford M M. Best-bases feature extraction algorithms for classification of hyperspectral data. IEEE Transactions on Geoscience and Remote Sensing, 2001, 39(7):1368-1379 doi: 10.1109/36.934070 [18] Samaniego L, Bardossy A, Schulz K. Supervised classification of remotely sensed imagery using a modified k-NN technique. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(7):2112-2125 doi: 10.1109/TGRS.2008.916629 [19] Ediriwickrema J, Khorram S. Hierarchical maximum-likelihood classification for improved accuracies. IEEE Transactions on Geoscience and Remote Sensing, 1997, 35(4):810-816 doi: 10.1109/36.602523 [20] Foody G M, Mathur A. A relative evaluation of multiclass image classification by support vector machines. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(6):1335-1343 doi: 10.1109/TGRS.2004.827257 [21] Hughes G. On the mean accuracy of statistical pattern recognizers. IEEE Transactions on Information Theory, 1968, 14(1):55-63 doi: 10.1109/TIT.1968.1054102 [22] Villa A, Benediktsson J A, Chanussot J, Jutten C. Hyperspectral image classification with independent component discriminant analysis. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(12):4865-4876 doi: 10.1109/TGRS.2011.2153861 [23] Prasad S, Bruce L M. Limitations of principal components analysis for hyperspectral target recognition. IEEE Geoscience and Remote Sensing Letters, 2008, 5(4):625-629 doi: 10.1109/LGRS.2008.2001282 [24] Li W, Prasad S, Fowler J E, Bruce L M. Locality-preserving dimensionality reduction and classification for hyperspectral image analysis. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(4):1185-1198 doi: 10.1109/TGRS.2011.2165957 [25] Melgani F, Bruzzone L. Classification of hyperspectral remote sensing images with support vector machines. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(8):1778-1790 doi: 10.1109/TGRS.2004.831865 [26] Li J, Bioucas-Dis J M, Plaza A. Hyperspectral image segmentation using a new Bayesian approach with active learning. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10):3947-3960 doi: 10.1109/TGRS.2011.2128330 [27] Liao W Z, Pizurica A, Scheunders P, Philips W, Pi Y G. Semisupervised local discriminant analysis for feature extraction in hyperspectral images. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(1):184-198 doi: 10.1109/TGRS.2012.2200106 [28] Li W, Prasad S, Fowler J E, Bruce L M. Locality-preserving discriminant analysis in kernel-induced feature spaces for hyperspectral image classification. IEEE Geoscience and Remote Sensing Letters, 2011, 8(5):894-898 doi: 10.1109/LGRS.2011.2128854 [29] Zhong Y F, Zhang L P. An adaptive artificial immune network for supervised classification of multi-/hyperspectral remote sensing imagery. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3):894-909 doi: 10.1109/TGRS.2011.2162589 [30] Sun L, Wu Z B, Liu J J, Xiao L, Wei Z H. Supervised spectral-spatial hyperspectral image classification with weighted Markov random fields. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(3):1490-1503 doi: 10.1109/TGRS.2014.2344442 [31] Chen Y S, Lin Z H, Zhao X, Wang G, Gu Y F. Deep learning-based classification of hyperspectral data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6):2094-2107 doi: 10.1109/JSTARS.2014.2329330 [32] Chen Y S, Zhao X, Jia X P. Spectral-spatial classification of hyperspectral data based on deep belief network. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6):2381-2392 doi: 10.1109/JSTARS.2015.2388577 [33] Zhang L P, Zhang L F, Tao D C, Huang X. Tensor discriminative locality alignment for hyperspectral image spectral-spatial feature extraction. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(1):242-256 doi: 10.1109/TGRS.2012.2197860 [34] Zhang L F, Zhang Q, Zhang L P, Tao D C, Huang X, Du B. Ensemble manifold regularized sparse low-rank approximation for multiview feature embedding. Pattern Recognition, 2015, 48(10):3102-3112 doi: 10.1016/j.patcog.2014.12.016 [35] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7):1527-1554 doi: 10.1162/neco.2006.18.7.1527 [36] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks. In: Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada, USA: Curran Associates, 2012. 1097-1105 http://dl.acm.org/citation.cfm?id=2999257 [37] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5786):504-507 doi: 10.1126/science.1127647 [38] Zaremba W, Sutskever I, Vinyals O. Recurrent neural network regularization[Online], available: http://arxiv.org/abs/1409.2329, July 7, 2017. [39] 朱煜, 赵江坤, 王逸宁, 郑兵兵.基于深度学习的人体行为识别算法综述.自动化学报, 2016, 42(6):848-857 http://www.aas.net.cn/CN/abstract/abstract18875.shtmlZhu Yu, Zhao Jiang-Kun, Wang Yi-Ning, Zheng Bing-Bing. A review of human action recognition based on deep learning. Acta Automatica Sinica, 2016, 42(6):848-857 http://www.aas.net.cn/CN/abstract/abstract18875.shtml [40] He K M, Zhang X Y, Ren S Q, Sun J. Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9):1904-1916 doi: 10.1109/TPAMI.2015.2389824 [41] 罗建豪, 吴建鑫.基于深度卷积特征的细粒度图像分类研究综述.自动化学报, 2017, 43(8):1306-1318 http://www.aas.net.cn/CN/abstract/abstract19105.shtmlLuo Jian-Hao, Wu Jian-Xin. A survey on fine-grained image categorization using deep convolutional features. Acta Automatica Sinica, 2017, 43(8):1306-1318 http://www.aas.net.cn/CN/abstract/abstract19105.shtml [42] Girshick R. Fast R-CNN. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 1440-1448 [43] Girshick R, Donahue J, Darrell T, Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, USA: IEEE, 2014. 580-587 [44] 管皓, 薛向阳, 安志勇.深度学习在视频目标跟踪中的应用进展与展望.自动化学报, 2016, 42(6):834-847 http://www.aas.net.cn/CN/abstract/abstract18874.shtmlGuan Hao, Xue Xiang-Yang, An Zhi-Yong. Advances on application of deep learning for video object tracking. Acta Automatica Sinica, 2016, 42(6):834-847 http://www.aas.net.cn/CN/abstract/abstract18874.shtml [45] Liu F Y, Shen C H, Lin G S. Deep convolutional neural fields for depth estimation from a single image. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 5162-5170 doi: 10.1109/CVPR.2015.7299152 [46] Dong C, Chen C L, He K M, Tang X O. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307 doi: 10.1109/TPAMI.2015.2439281 [47] 孙旭, 李晓光, 李嘉锋, 卓力.基于深度学习的图像超分辨率复原研究进展.自动化学报, 2017, 43(5):697-709 http://www.aas.net.cn/CN/abstract/abstract19048.shtmlSun Xu, Li Xiao-Guang, Li Jia-Feng, Zhuo Li. Review on deep learning based image super-resolution restoration algorithms. Acta Automatica Sinica, 2017, 43(5):697-709 http://www.aas.net.cn/CN/abstract/abstract19048.shtml [48] Lin M, Chen Q, Yang S C. Network in network[Online], available: https://arxiv.org/abs/1312.4400, July 7, 2017 [49] Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V, Rabinovich A. Going deeper with convolutions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 1-9 http://cn.bing.com/academic/profile?id=9502979ad980c7103eca9034a162b820&encoded=0&v=paper_preview&mkt=zh-cn [50] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[Online], available: https://arxiv.org/abs/1409.1556, July 7, 2017 [51] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 770-778 doi: 10.1109/CVPR.2016.90 [52] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 3431-3440 [53] Wan L, Zeiler M, Zhang S X, LeCun Y, Fergus R. Regularization of neural networks using DropConnect. In: Proceeding of the 30th International Conference on Machine Learning. Atlanta, USA: IMLS, 2013. 1058-1066 [54] Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In: Proceeding of the 32th International Conference on Machine Learning. Lille, France: IMLS, 2015. 448-456 http://dl.acm.org/citation.cfm?id=3045167 [55] Erhan D, Bengio Y, Courville A, Manzagol P, Vincent P, Bengio S. Why does unsupervised pre-training help deep learning. Journal of Machine Learning Research, 2010, 11:625-660 http://cn.bing.com/academic/profile?id=e9e036a8fb2655e750794481e527b32f&encoded=0&v=paper_preview&mkt=zh-cn [56] Hinton G E. Training products of experts by minimizing contrastive divergence. Neural Computation, 2002, 14(8):1771-1800 doi: 10.1162/089976602760128018 [57] Li J, Bioucas-Dias J M, Plaza A. Semisupervised hyperspectral image segmentation using multinomial logistic regression with active learning. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(11):4085-4098 http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.386.1516 [58] Hu W, Huang Y Y, Wei L, Zhang F, Li H C. Deep convolutional neural networks for hyperspectral image classification. Journal of Sensors, 2015, 2015: Article No. 258619 http://www.tandfonline.com/servlet/linkout?suffix=CIT0026&dbid=16&doi=10.1080%2F15481603.2018.1426091&key=10.1155%2F2015%2F258619 [59] Liao J G, Chin K V. Logistic regression for disease classification using microarray data:model selection in a large p and small n case. Bioinformatics, 2007, 23(15):1945-1951 doi: 10.1093/bioinformatics/btm287 [60] Mei S H, Ji J Y, Bi Q Q, Hou J H, Du Q, Li W. Integrating spectral and spatial information into deep convolutional Neural Networks for hyperspectral classification. In: Proceedings of the 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Beijing, China: IEEE, 2016. 5067-5070 http://ieeexplore.ieee.org/document/7730321/ [61] He K M, Zhang X Y, Ren S Q, Sun J. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 1026-1034 doi: 10.1109/ICCV.2015.123 [62] Tang Y Y, Lu Y, Yuan H L. Hyperspectral image classification based on three-dimensional scattering wavelet transform. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(5):2467-2480 doi: 10.1109/TGRS.2014.2360672 [63] Makantasis K, Karantzalos K, Doulamis A, Doulamis N. Deep supervised learning for hyperspectral data classification through convolutional neural networks. In: Proceedings of the 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Milan, Italy: IEEE, 2015. 4959-4962 doi: 10.1109/IGARSS.2015.7326945 [64] Yue J, Zhao W Z, Mao S J, Liu H. Spectral-spatial classification of hyperspectral images using deep convolutional neural networks. Remote Sensing Letters, 2015, 6(6):468-477 doi: 10.1080/2150704X.2015.1047045 [65] Zhao W Z, Guo Z, Yue J, Zhang X Y, Luo L Q. On combining multiscale deep learning features for the classification of hyperspectral remote sensing imagery. International Journal of Remote Sensing, 2015, 36(13):3368-3379 doi: 10.1080/2150704X.2015.1062157 [66] Aptoula E, Ozdemir M C, Yanikoglu B. Deep learning with attribute profiles for hyperspectral image classification. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12):1970-1974 doi: 10.1109/LGRS.2016.2619354 [67] Dalla Mura M, Benediktsson J A, Waske B, Bruzzone L. Morphological attribute profiles for the analysis of very high resolution images. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(10):3747-3762 doi: 10.1109/TGRS.2010.2048116 [68] Liang H M, Li Q. Hyperspectral imagery classification using sparse representations of convolutional neural network features. Remote Sensing, 2016, 8(2):Article No.99 http://cn.bing.com/academic/profile?id=075fc2963b6ad47a56b59f2314cbf4b5&encoded=0&v=paper_preview&mkt=zh-cn [69] Li Y S, Xie W Y, Li H Q. Hyperspectral image reconstruction by deep convolutional neural network for classification. Pattern Recognition, 2017, 63:371-383 doi: 10.1016/j.patcog.2016.10.019 [70] Yang J X, Zhao Y Q, Chan J C W, Yi C. Hyperspectral image classification using two-channel deep convolutional neural network. In: Proceedings of the 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Beijing, China: IEEE, 2016. 5079-5082 http://ieeexplore.ieee.org/abstract/document/7730324/ [71] Zhang H K, Li Y, Zhang Y Z, Shen Q. Spectral-spatial classification of hyperspectral imagery using a dual-channel convolutional neural network. Remote Sensing Letters, 2017, 8(5):438-447 doi: 10.1080/2150704X.2017.1280200 [72] Yue J, Mao S J, Li M. A deep learning framework for hyperspectral image classification using spatial pyramid pooling. Remote Sensing Letters, 2016, 7(9):875-884 doi: 10.1080/2150704X.2016.1193793 [73] Zhao W Z, Du S H. Spectral-spatial feature extraction for hyperspectral image classification:a dimension reduction and deep learning approach. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8):4544-4554 doi: 10.1109/TGRS.2016.2543748 [74] Chen H T, Chang H W, Liu T L. Local discriminant embedding and its variants. In: Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, USA: IEEE, 2005. 846-853 http://dl.acm.org/citation.cfm?id=1069174 [75] Chen Y S, Jiang H L, Li C Y, Jia X P, Ghamisi P. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10):6232-6251 doi: 10.1109/TGRS.2016.2584107 [76] Li Y, Zhang H K, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network. Remote Sensing, 2017, 9(1):Article No.67 doi: 10.3390/rs9010067 [77] Lee H, Kwon H. Contextual deep CNN based hyperspectral classification. In: Proceedings of the 2016 IEEE International Geoscience and Remote Sensing Symposium. Beijing, China: IEEE, 2016. 3322-3325 http://ieeexplore.ieee.org/document/7729859/ [78] Slavkovikj V, Verstockt S, De Neve W, Van Hoecke S, Van de Walle R. Hyperspectral image classification with convolutional neural networks. In: Proceedings of the 23rd ACM International Conference on Multimedia. Brisbane, Australia: ACM, 2015. 1159-1162 http://dl.acm.org/citation.cfm?id=2806306 [79] Lin Z H, Chen Y S, Zhao X, Wang G. Spectral-spatial classification of hyperspectral image using autoencoders. In: Proceedings of the 9th International Conference on Information, Communications and Signal Processing (ICICS). Tainan, China: IEEE, 2013. 1-5 [80] Ma X R, Wang H Y, Geng J, Wang J. Hyperspectral image classification with small training set by deep network and relative distance prior. In: Proceedings of the 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Beijing, China: IEEE, 2016. 3282-3285 http://ieeexplore.ieee.org/document/7729849/ [81] Xing C, Ma L, Yang X Q. Stacked denoise autoencoder based feature extraction and classification for hyperspectral images. Journal of Sensors, 2016, 2016:Article No.3632943 http://cn.bing.com/academic/profile?id=25e02bbd78f42e5decaf769b42c58c25&encoded=0&v=paper_preview&mkt=zh-cn [82] Liu Y Z, Cao G, Sun Q S, Siegel M. Hyperspectral classification via deep networks and superpixel segmentation. International Journal of Remote Sensing, 2015, 36(13):3459-3482 doi: 10.1080/01431161.2015.1055607 [83] Vincent P, Larochelle H, Lajoie I, Bengio Y, Manzagol P A. Stacked denoising autoencoders:learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research, 2010, 11:3371-3408 http://cn.bing.com/academic/profile?id=1b5321cd3b5fdc0bc4d9b0d4fa8975ef&encoded=0&v=paper_preview&mkt=zh-cn [84] Zhang L P, Zhang L F, Du B. Deep learning for remote sensing data:a technical tutorial on the state of the art. IEEE Geoscience and Remote Sensing Magazine, 2016, 4(2):22-40 doi: 10.1109/MGRS.2016.2540798 [85] Ma X R, Wang H Y, Geng J. Spectral-spatial classification of hyperspectral image based on deep auto-encoder. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(9):4073-4085 doi: 10.1109/JSTARS.2016.2517204 [86] Tao C, Pan H B, Li Y S, Zou Z R. Unsupervised spectral-spatial feature learning with stacked sparse autoencoder for hyperspectral imagery classification. IEEE Geoscience and Remote Sensing Letters, 2015, 12(12):2438-2442 doi: 10.1109/LGRS.2015.2482520 [87] Shin H C, Orton M R, Collins D J, Doran S J, Leach M O. Stacked autoencoders for unsupervised feature learning and multiple organ detection in a pilot study using 4D patient data. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8):1930-1943 doi: 10.1109/TPAMI.2012.277 [88] Wang L Z, Zhang J B, Liu P, Choo K K R, Huang F. Spectral-spatial multi-feature-based deep learning for hyperspectral remote sensing image classification. Soft Computing, 2017, 21(1):213-221 doi: 10.1007/s00500-016-2246-3 [89] Li J M, Bruzzone L, Liu S C. Deep feature representation for hyperspectral image classification. In: Proceedings of the 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Milan, Italy: IEEE, 2015. 4951-4954 http://ieeexplore.ieee.org/document/7326943/ [90] Ma X R, Geng J, Wang H Y. Hyperspectral image classification via contextual deep learning. EURASIP Journal on Image and Video Processing, 2015, 2015(1):Article No.20 doi: 10.1186/s13640-015-0071-8 [91] Han X B, Zhong Y F, Zhang L P. Spatial-spectral classification based on the unsupervised convolutional sparse auto-encoder for hyperspectral remote sensing imagery. In: Proceedings of the 2016 ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Prague, Czech Republic: ISPRS, 2016. 25-31 http://adsabs.harvard.edu/abs/2016ISPAnIII7...25H [92] Ma X R, Wang H Y, Wang J. Semisupervised classification for hyperspectral image based on multi-decision labeling and deep feature learning. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 120:99-107 doi: 10.1016/j.isprsjprs.2016.09.001 [93] He M Y, Li X H, Zhang Y F, Zhang J, Wang W G. Hyperspectral image classification based on deep stacking network. In: Proceedings of the 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Beijing, China: IEEE, 2016. 3286-3289 http://ieeexplore.ieee.org/document/7729850/ [94] Zhong P, Gong Z Q, Schönlieb C. A diversified deep belief network for hyperspectral image classification. In: Proceedings of the 2016 ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Prague, Czech Republic: ISPRS, 2016. 443-449 http://adsabs.harvard.edu/abs/2016ISPAr41B7..443Z [95] Li T, Zhang J P, Zhang Y. Classification of hyperspectral image based on deep belief networks. In: Proceedings of the 2014 IEEE International Conference on Image Processing (ICIP). Paris, France: IEEE, 2014. 5132-5136 http://ieeexplore.ieee.org/document/7026039/ [96] Le J H, Yazdanpanah A P, Regentova E, Muthukumar V. A deep belief network for classifying remotely-sensed hyperspectral data. In: Proceedings of the 11th International Symposium on Visual Computing. Las Vegas, USA: Springer, 2015. 682-692 doi: 10.1007%2F978-3-319-27857-5_61 [97] Thompson W D, Walter S D. A reappraisal of the kappa coefficient. Journal of Clinical Epidemiology, 1988, 41(10):949-958 doi: 10.1016/0895-4356(88)90031-5 [98] Vinyals O, Blundell C, Lillicrap T, Kavukcuoglu K, Wierstra D. Matching networks for one short learning. In: Proceedings of the 2016 Advances in Neural Information Processing Systems. Barcelona, Spain: Curran Associates, 2016. 3630-3638 [99] Socher R, Ganjoo M, Sridhar H, Bastani O, Manning C D, Ng A Y. Zero-short learning through cross-modal transfer. In: Proceedings of the 2013 Advances in Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates, 2013. 935-943 http://arxiv.org/abs/1301.3666 [100] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: Curran Associates, 2014. 2672-2680 [101] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation. In: Proceedings of the 18th International Conference on Medical Image Computing and Computer Assisted Intervention. Munich, Germany: Springer, 2015. 234-241 期刊类型引用(77)
1. 高奎亮，刘冰，余旭初，余岸竹，孙一帆. 面向高光谱影像分类的网络结构自动搜索方法. 武汉大学学报(信息科学版). 2024(02): 225-235 . 
百度学术2. 孔圆圆. 基于深度学习的洪河保护区沼泽湿地分类研究. 安徽农学通报. 2024(01): 60-63 . 百度学术3. 方健，杨劲翔，肖亮. 基于多层小波深度聚合网络的高光谱图像超分辨率方法. 电子学报. 2024(01): 201-216 . 百度学术4. 陆美，李佳田，李文，胡明洪，杨佳欣. 融合多尺度低秩表示与双向递归滤波的高光谱图像分类. 遥感技术与应用. 2024(02): 393-404 . 百度学术5. 张京，赵泽瑄，赵艳茹，卜泓超，吴星宇. 基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法. 智慧农业(中英文). 2024(02): 40-48 . 百度学术6. 李铁，李文许，王军国，高乔裕. 基于多分支空谱特征增强的高光谱图像分类. 液晶与显示. 2024(06): 844-855 . 百度学术7. 张文安，林安迪，杨旭升，俞立，杨小牛. 融合深度学习的贝叶斯滤波综述. 自动化学报. 2024(08): 1502-1516 . 本站查看8. 余腾，朱益民，王月华，向健斌，张丹丹. 训练样本标签误差对高光谱影像分类影响. 遥感信息. 2024(04): 68-79 . 百度学术9. 王俊迪，赵慧，罗耀华，袁正蓉. 深度学习在植被高光谱遥感中的研究综述. 遥感信息. 2024(04): 11-22 . 百度学术10. 颜昌翔，张源，泊建，鞠学平，于博，李先峰. 高光谱偏振技术的研究进展及展望. 光学精密工程. 2024(14): 2141-2165 . 百度学术11. 杨现坤，李子康. 无人机高光谱遥感平台研究进展与应用. 广州大学学报(自然科学版). 2024(04): 20-31 . 百度学术12. 吴叶兰，管慧宁，廉小亲，于重重，廖禺. 基于高光谱成像和Att-BiGRU-RNN的柑橘病叶分类. 农业机械学报. 2023(01): 216-223 . 百度学术13. 劳春华，林燕慧. 基于深度学习和数学形态学的经济欠发达地区农村住房智能识别研究. 热带地理. 2023(02): 179-189 . 百度学术14. 邓磊，沈学举，周冰，应家驹，赵佳乐，王强辉. 基于空谱联合的高光谱图像分类方法现状与展望. 激光杂志. 2023(03): 16-23 . 百度学术15. 苗永庆，赵泉华，孙清. 改进的残差3D-CNN的高光谱遥感影像分类. 测绘科学. 2023(02): 148-156+184 . 百度学术16. 左溪冰，刘智，金飞，林雨准，王淑香，刘潇，李美霖. 面向高光谱影像小样本分类的全局-局部特征自适应融合方法. 地球信息科学学报. 2023(08): 1699-1716 . 百度学术17. 程镕杰，杨耘，李龙威，王燕婷，王家禹. 基于深度可分离卷积的轻量化残差网络高光谱影像分类. 光学学报. 2023(12): 311-320 . 百度学术18. 杭仁龙，李成相，刘青山. 谱间对比学习的高光谱图像无监督特征提取. 测绘学报. 2023(07): 1164-1174 . 百度学术19. 万升，杨健，宫辰. 基于图神经网络的高光谱图像分类研究进展. 电子学报. 2023(06): 1687-1709 . 百度学术20. 侯诚超，王硕，陈一铭，刘正军. 结合注意力与双分支的高光谱树种分类研究. 测绘科学. 2023(07): 134-145+234 . 百度学术21. 金科，郭志强，曾云流，丁港. 结合三维卷积神经网络和Haar小波滤波器的高光谱猕猴桃品质分类. 激光与光电子学进展. 2023(20): 49-58 . 百度学术22. 高奎亮，刘冰，余岸竹，徐佰祺，胡伟，胡家玮. 高光谱影像少样例分类的无监督元学习方法. 测绘学报. 2023(11): 1941-1952 . 百度学术23. 刘遵雄，石亚鹏，彭潇雨，王毅宏. 基于双通道变分自编码器的高光谱图像分类. 计算机工程与应用. 2022(02): 244-251 . 百度学术24. 黄海新，赵迪，宋天艺，李志刚. 高光谱遥感图像分类算法的研究. 信息技术与信息化. 2022(02): 140-142 . 百度学术25. 王春阳，张英杰，李长春，芦碧波，张合兵，吴喜芳. 基于“残差-挤压激励”深度混合卷积网络的土地利用分类. 农业工程学报. 2022(01): 305-313 . 百度学术26. 刘孙相与，李贵涛，詹亚锋，高鹏. 基于多阶运动参量的四旋翼无人机识别方法. 自动化学报. 2022(06): 1429-1447 . 本站查看27. 黄鸿，唐玉枭，段宇乐. 面向高光谱分类的局部几何稀疏保持嵌入. 自动化学报. 2022(10): 2496-2507 . 本站查看28. 谢俊，邸江磊，秦玉文. 深度学习在水下成像技术中的应用（特邀）. 光子学报. 2022(11): 9-56 . 百度学术29. 申奕涵，杨京辉，王皓. 基于网格法分集和主动学习的高光谱图像分类方法. 电子科技. 2022(11): 48-57 . 百度学术30. 万亚玲，钟锡武，刘慧，钱育蓉. 卷积神经网络在高光谱图像分类中的应用综述. 计算机工程与应用. 2021(04): 1-10 . 百度学术31. 肖志云，徐新宇. 基于偏最小二乘与随机森林的土壤盐含量反演研究. 安徽农业科学. 2021(08): 10-15+25 . 百度学术32. 杨晔，龚志辉，刘相云，陈旭东. 应用型高光谱影像卷积神经网络分类方法. 测绘科学技术学报. 2021(02): 160-165 . 百度学术33. 胡晓勇，王海荣，刘午杨. VW-SAE:一种改进的光谱数据特征表示方法. 郑州大学学报(理学版). 2021(02): 34-40 . 百度学术34. 刘可佳，马荣生，唐子木，梁捷，刘斌. 采用优化卷积神经网络的红外目标识别系统. 光学精密工程. 2021(04): 822-831 . 百度学术35. 冯凡，王双亭，张津，王春阳. 基于多特征融合和混合卷积网络的高光谱图像分类. 激光与光电子学进展. 2021(08): 132-142 . 百度学术36. 李宝芸，范玉刚，杨明莉. 基于LFDA和GA-ELM的高光谱图像地物识别方法研究. 遥感技术与应用. 2021(03): 587-593 . 百度学术37. 刘启超，肖亮，杨劲翔. 面向高光谱图像分类的内容引导卷积深度网络并行实现. 中国图象图形学报. 2021(08): 1926-1939 . 百度学术38. 石延新，何进荣，李照奎，曾志高. 3D卷积自编码器高光谱图像分类模型. 中国图象图形学报. 2021(08): 2021-2036 . 百度学术39. 刘金香，班伟，陈宇，孙亚琴，庄会富，富尔江，张克非. 融合多维度CNN的高光谱遥感图像分类算法. 中国激光. 2021(16): 159-169 . 百度学术40. 聂光涛，黄华. 光学遥感图像目标检测算法综述. 自动化学报. 2021(08): 1749-1768 . 本站查看41. 黄鸿，张臻，李政英. 面向高光谱影像分类的深度流形重构置信网络. 光学精密工程. 2021(08): 1985-1998 . 百度学术42. 赵玉英，任明武. 基于SNMF聚类与类间可分性因子的高光谱波段选择. 计算机与数字工程. 2021(09): 1884-1888 . 百度学术43. 张帆，杨晓忠，吴立飞，韩晓明，王树波. 基于短时傅里叶变换和卷积神经网络的地震事件分类. 地震学报. 2021(04): 463-473+533 . 百度学术44. 刘小波，刘鹏，蔡之华，乔禹霖，王凌，汪敏. 基于深度学习的光学遥感图像目标检测研究进展. 自动化学报. 2021(09): 2078-2089 . 本站查看45. 赵晓蕾，张菁，卓力，陈璐，耿文浩，周倩兰，张洁. 成像光谱图像安全检索技术的发展与挑战. 自动化学报. 2021(09): 2090-2102 . 本站查看46. 徐沁，梁玉莲，王冬越，罗斌. 基于SE-Res2Net与多尺度空谱融合注意力机制的高光谱图像分类. 计算机辅助设计与图形学学报. 2021(11): 1726-1734 . 百度学术47. 王立国，王丽凤. 结合高光谱像素级信息和CNN的玉米种子品种识别模型. 遥感学报. 2021(11): 2234-2244 . 百度学术48. 侯文太，普运伟，郭媛蒲，马蓝宇. 基于高斯平滑与模糊函数等高线的雷达辐射源信号分选. 自动化学报. 2021(10): 2484-2493 . 本站查看49. 冯喆，李卫豪，崔笛. 基于高光谱成像和深度学习的山核桃内源性异物检测. 农业机械学报. 2021(S1): 466-471 . 百度学术50. 关世豪，杨桄，卢珊，金椿柏，李豪，徐昭洪. 基于改进阶梯网络的高光谱半监督分类算法. 激光与光电子学进展. 2021(24): 480-490 . 百度学术51. 余萍，曹洁. 深度学习在故障诊断与预测中的应用. 计算机工程与应用. 2020(03): 1-18 . 百度学术52. 付晓，沈远彤，李宏伟，程晓梅. 基于半监督编码生成对抗网络的图像分类模型. 自动化学报. 2020(03): 531-539 . 本站查看53. 罗仙仙，许松芽，肖美龙，严洪，陈正超. 基于深度信念网络的高光谱影像森林类型识别. 计算机系统应用. 2020(04): 260-265 . 百度学术54. 刘启超，肖亮，刘芳，徐金环. SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法. 电子学报. 2020(04): 751-762 . 百度学术55. 张辉，易俊飞，王耀南，吴刘宸，陈瑞博. 医药质量检测关键技术及其应用综述. 仪器仪表学报. 2020(03): 1-17 . 百度学术56. 尹玉萍，魏林，刘万军. 融合累积变异比和集成超限学习机的高光谱图像分类. 中国图象图形学报. 2020(05): 1053-1068 . 百度学术57. 关世豪，杨桄，李豪，付严宇. 3维卷积递归神经网络的高光谱图像分类方法. 激光技术. 2020(04): 485-491 . 百度学术58. 安达，赵鑫. 多特征匹配的高光谱图像配准方法. 激光杂志. 2020(07): 118-122 . 百度学术59. 李玉，李奕燃，王光辉，石雪. 基于加权指数函数模型的高光谱图像分类方法. 地球信息科学学报. 2020(08): 1642-1653 . 百度学术60. 于慧伶，霍镜宇，张怡卓. 融合多层特征SENet和多尺度宽残差的高光谱图像地物分类. 实验室研究与探索. 2020(07): 28-34+44 . 百度学术61. 刘杰，游品鸿，占建斌，刘金凤. 改进SIFT快速图像拼接和重影优化. 光学精密工程. 2020(09): 2076-2084 . 百度学术62. 李菊霞. 基于深度学习的二值图像目标轮廓识别算法. 吉林大学学报(理学版). 2020(05): 1189-1194 . 百度学术63. 颜铭靖，苏喜友. 基于三维空洞卷积残差神经网络的高光谱影像分类方法. 光学学报. 2020(16): 163-172 . 百度学术64. 张龙，马啸宇，王锐亮，李志刚，徐大勇，洪伟龄. 高光谱成像技术在烟叶和杂物分类中的应用. 烟草科技. 2020(08): 72-78 . 百度学术65. 曹燕，董一鸿，邬少清，陈华辉，钱江波，潘善亮. 动态网络表示学习研究进展. 电子学报. 2020(10): 2047-2059 . 百度学术66. 韩彦岭，高仪，王静，张云，洪中华. 结合未标签样本和CNN的高光谱遥感图像分类. 遥感信息. 2020(05): 19-30 . 百度学术67. 张晓华. 基于对抗技术的高光谱图像分类系统的设计及实现. 测试技术学报. 2020(06): 520-525+543 . 百度学术68. 曹赤鹏，王慧琴，王可，王展，张刚，马涛. 基于多光谱成像和随机森林算法的石窟表面风化智能评估方法. 光学学报. 2020(22): 201-211 . 百度学术69. 冯凡，王双亭，张津，王春阳. 多输入多输出和多特征融合的建筑物提取. 测绘科学技术学报. 2020(06): 575-580 . 百度学术70. 闫敬文，陈宏达，刘蕾. 高光谱图像分类的研究进展. 光学精密工程. 2019(03): 680-693 . 百度学术71. 袁培森，翟肇裕，任守纲，顾兴健，徐焕良. 基于SVC和过采样的类别非均衡农业高光谱数据分类. 农业机械学报. 2019(06): 257-264 . 百度学术72. 刘万军，尹岫，曲海成，刘腊梅. 提高小样本高光谱图像分类性能的变维卷积神经网络. 中国图象图形学报. 2019(09): 1604-1618 . 百度学术73. 毕晓君，周泽宇. 基于双通道GAN的高光谱图像分类算法. 光学学报. 2019(10): 297-308 . 百度学术74. 职露，余旭初，谭熊，赵传，刘辉. 特征重标定网络的高光谱影像分类方法. 测绘科学技术学报. 2019(03): 269-274 . 百度学术75. 倪超，李振业，张雄，赵岭，朱婷婷，蒋雪松. 基于短波近红外高光谱和深度学习的籽棉地膜分选算法. 农业机械学报. 2019(12): 170-179 . 百度学术76. 李会民，马桂英，王延仓. 基于深度学习网络的水质图像分类. 北华航天工业学院学报. 2018(04): 7-10 . 百度学术77. 李良福，高小小，孙瑞赟，陆铖. 基于稀疏编码的桥梁路面裂缝分类方法研究. 轻工学报. 2018(03): 66-74 . 百度学术其他类型引用(132)
-
下载:
计量
- 文章访问数: 7136
- HTML全文浏览量: 2882
- PDF下载量: 2121
- 被引次数: 209
