-
摘要: 目前国内主要依靠各种精密仪器检测空气中的污染物浓度.由于仪器的成本较高, 国家通过在每个城市设立监测站来检测空气质量, 这种空气质量检测方法是粗粒度的, 不能覆盖城市的每个角落.本文提出了一种基于图像的空气质量等级检测方法, 旨在通过移动设备采集的图像检测空气质量等级, 移动设备的普及使得通过图像细粒度检测空气质量成为可能, 该方法利用空气污染对图像颜色通道和灰度通道局部信息熵的影响构建空气质量等级检测模型.在本文构建的空气质量图像库进行了模型测试和比较分析, 实验结果表明:本文方法能够准确地评估空气质量等级, 比其他已有相关方法更适用于空气质量等级检测.Abstract: At present, the concentration of pollutants in the air is detected mainly by a variety of precision testing instruments. Because of the high cost of instruments, the state set up monitoring stations in every city to detect air quality, which is coarse-grained and cannot cover every corner of the city. This paper presents an air quality detection method based on images taken by mobile devices. Now the popularity of mobile devices makes it possible for the fine-grained detection of the air quality through images. Our method carries on the analysis of color channel information entropy and gray channel information entropy, which can reflect air quality, and then we build the air quality grade detection model based on these image features. The proposed method is compared with other existing methods on our air quality image database from the estimation accuracy and the time consumption, and the experimental results show that our method is more suitable for air quality grade detection.
-
Key words:
- Air quality grade detection /
- air quality image database /
- fine-grained detection /
- local information entropy
-
随着我国工业化进程的推进, 国家经济飞速发展的同时, 环境也遭到了一定程度的破坏, 绝大多数城市出现不同层次的污染.在环境保护部发布的《2015年环境状况公报》中显示2015年全国338个地级及以上城市中, 仅有73个城市环境空气质量达标, 仅占全部城市数的21.6 % [1].从数据可以看出空气质量问题已经成为目前我国面临的重要问题之一. 2013年, 国际癌症研究机构(International Agency for Research on Cancer, IARC)把大气污染物认定为一级致癌物, 并对大气污染物主要组成部分–细颗粒物PM2.5做了单独评估, 将其确认为人类一级致癌物[2].根据北京市肿瘤防治办公室专家透露, 在10年的时间里, 北京市居民肺癌的发病率增长了大约40 %, 虽然吸烟一直被认为是导致肺癌的第一诱因, 可近年来的多项研究表明, 伴随着控烟措施的推行, 吸烟导致的肺癌发病率得到明显的控制, 但与环境影响呈正向相关的肺癌发病率却在飞速上涨.空气污染不仅给人们身体带来直接的伤害, 还间接地影响着人们的日常生活.以交通运输为例, 空气污染会造成大气能见度下降.研究表明当能见度低于100米时, 会影响到公路上行驶安全, 高速公路将会被关闭; 当能见度低于500米时, 船舶的航行与靠岸会受到影响; 当能见度低于1 000米时, 会严重地影响飞机起降; 当能见度低于3 000米时, 对红外导弹的工作距离会产生一定影响[3].恶劣的能见度常常是坠机、翻船和撞车的罪魁祸首, 旅客有可能因此而耽误行期, 生产活动常常因此受到影响.所以空气质量日常监测和治理是必不可少的.
目前在国内不同城市设立若干监测站, 通过各种精密的检测仪器获取污染物浓度, 计算空气质量指数(Air quality index, AQI), 并发布至气象局供居民查询.空气污染物检测仪器购买和维护成本较高[4], 且通过在每个城市设立监测站的方式检测城市空气质量是粗粒度的, 不能覆盖城市的每个角落.本文提出的基于图像检测空气质量的方法不同于现有的空气质量检测方法, 是通过日常生活中移动设备采集的图像检测周边的空气污染情况.该方法可以弥补现有空气质量检测技术的不足, 实现细粒度、低成本的空气质量监测.
现有的基于图像的空气质量检测方法主要分为两大类:
第一类方法是基于传统的机器学习方法得到空气质量PM2.5(10)估计模型[5-19].这类方法一般使用的机器学习方法有SVM、稳健性线性回归、随机森林等. 2012年之前PM2.5并没有列为空气污染物, 因此在此之前的研究都是基于图像检测PM10的浓度.这类方法的一般流程为:首先对图像做预处理, 然后提取图像特征, 最后利用各种机器学习方法对图像特征和对应标签组成的训练集进行训练得到空气质量PM2.5(10)估计模型.这类方法的流程如图 1所示:
图 1 基于传统机器学习的空气质量估计模型构建流程Fig. 1 Air quality estimation model construction process based on traditional machine learning这类方法的区别可以总结为两点: 1)数据集种类不同:数据集种类分为自然图像[5-6]和遥感图像[7, 14]; 2)提取的图像特征不同:一类是图像视觉特征[6, 9-10], 在计算机视觉中图像的视觉特征主要描述的是图像的色彩, 形状, 纹理等底层信息.另一类是基于物理模型的图像特征[19], 与图像视觉特征不同, 基于物理模型的图像特征是利用一些物理成像理论及模型来得到相关图像特征, 用的最多的是透射率特征[20], 主要是通过大气成像模型得到的.
第二类研究是利用神经网络构建空气质量指数(AQI)估计模型.目前这类研究有两篇文章, Chen等[21]将边界像素比和高亮像素比特征输入到BP神经网络训练得到AQI估计模型; Pan等[22]提取图像的透射率图作为输入, 借助神经网络DNA得到AQI估计模型.
上述两类方法都是针对户外空气质量, 文献[23]提出一种利用图像透射率特征检测室内空气质量方法.基于图像检测空气质量研究是结合图像处理方法和机器学习方法实现的.但每种方法都存在一定的不足.基于图像视觉特征检测PM2.5(10)浓度方法中用到的特征具有一定的局限性, 如:天空的颜色特征, 根据我们长期拍摄图像的经验可知天空经常被云彩遮住呈现白色, 该特征敏感度过高, 受天气影响较大.基于物理特征检测PM2.5(10)浓度方法可以取得较好的实验效果, 但该类方法只适用于干燥空气下采集的图像, 受气象条件影响较大.另外, 现有的基于图像检测PM2.5(10)浓度方法用到的数据集都是定点采集的, 即该类方法得到的估计模型受地点限制, 仅适用于数据采集地.
针对已有方法的不足, 本文提出了一种新的基于图像检测空气质量等级方法, 该方法得到的空气质量等级估计模型不受地点限制, 适用于户外任何地点采集的图像.基于图像检测空气质量等级方法旨在利用图像对图像拍摄地当时的空气质量等级进行评价.
1. 空气质量图像库的构建
基于图像检测空气质量等级研究尚没有公开的图像库, 因此我们构建了一个空气质量图像库, 该库中的图像是利用网络爬虫WebMagic从朝花夕拾博客上爬取得到的, 朝花夕拾博主从2012年开始坚持在自己的博客上上传户外图像, 并记录了图像拍摄当时的空气质量状况, 所以这些图像具有很好的研究价值.我们通过爬虫得到了100幅有空气质量等级标签的图像, 并将这些图像组成的库称为空气质量图像库.表 1是空气质量图像库的详细描述, 采集时间为2014年3月5日$ \sim $ 2014年12月5日，图像大小为640 $ \times $ 410.图 2空气质量图 2为像库中不同空气质量等级对应的图像示例.
表 1 空气质量图像库Table 1 Air quality image dataset空气质量等级 优 良 轻度污染 中度污染 重度污染 严重污染 图像数量(幅) 15 13 15 16 16 25 
图 2 空气质量图像库中不同等级图像示例Fig. 2 Examples of images with different grades in the air quality image dataset2. 空气质量与图像质量相关性分析
2.1 空气污染对图像质量的影响
为了确定空气污染对图像质量是否存在影响, 以及存在何种影响, 我们对空气质量图像库中的不同空气质量等级图像进行分析.由于Lab能够很好地区分图像的灰度信息和颜色信息, 因此我们首先将空气质量图像库中的图像从RGB空间转换到Lab空间.如图 3所示, 第一列从上到下分别是空气质量等级为良和重度污染下采集到的图像, 第二列是两幅图像对应的灰度通道做差取绝对值后的结果, 第三列是两幅图像对应的颜色a通道做差取绝对值后的结果, 第四列是两幅图像对应的颜色b通道做差取绝对值后的结果.图 3表明:空气污染对图像的颜色通道和灰度通道都会产生影响, 空气污染会影响图像的质量.
图 3 空气污染对图像灰度通道和彩色通道的影响Fig. 3 The effect of air pollution on the gray and color channels of images研究发现失真图像和未失真图像局部熵差异较大, 而全局熵不一定存在差异, 图像的局部信息熵可以反映图像的质量[24].因此, 为了定量分析空气污染对图像质量的具体影响, 我们分析了不同程度的空气污染对图像灰度通道和颜色通道空间域/频域局部信息熵的影响.单通道空间域局部信息熵计算公式为:
$$ \begin{equation} E = -\sum\limits_{x}p(x){\rm log}_{2}(p(x)) \end{equation} $$ (1) 其中$ x $指的是图像局部块的灰度值或者颜色值, $ p(x) $指的是在图像局部块中灰度值或颜色值为$ x $的概率.在计算单通道频域局部信息熵之前需要对图像做频域变化, 这里采用的是分块离散余弦变换(Discrete cosine transform, DCT), 图像变换到频域后对图像用式(1)求解图像频域局部块信息熵.
图 4是一组不同空气质量等级下采集的图像, 直观上看, 随着空气污染程度的加深, 图像的颜色从蓝色变成灰色, 图像中的景物越来越模糊, 图像质量越来越差.
我们计算图 4中每幅图三个单通道的空间域和频域局部信息熵归一化直方图, 并将同一空气质量等级的五幅图像局部信息熵归一化直方图求平均拟合成一条曲线, 结果如图 5所示.图 5 (a)~5 (c)是不同空气质量等级图像的空间域局部信息熵归一化直方图分布, 从图 5 (a)可知:空气质量为严重污染的图像有一个波峰, 其余空气质量等级的图像有两个波峰.给每个波峰从左到右标记为波峰1、波峰2, 波峰1所有空气质量等级图像都有, 且空间局部熵取值集中在2附近, 但是个数各不相同.波峰2空气质量为严重污染的图像没有, 其余的图像随着空气质量等级增大, 波峰在左移.这表明了不同程度的空气污染对图像灰度通道空间域局部信息熵造成了不同的影响, 改变了其归一化直方图的分布.图 5 (b)和5 (c)表明空气污染对两个颜色通道的空间域局部信息熵没影响, 局部信息熵值都为0.图 5 (d)~5 (f)是不同空气质量等级图像的频域局部信息熵归一化直方图分布, 从图 5 (d)可知:空气质量为优的图像有两个波峰, 其余空气质量等级的图像只有一个波峰.将每个波峰从左到右标记为波峰1、波峰2.图像的局部信息熵直方图波峰1只有空气质量等级为优的图像有.所有图像的局部信息熵直方图波峰2都集中在3$ \sim $3.5之间, 且随着空气质量的下降波峰的值也越来越大.这表明了不同程度的空气污染对图像灰度通道频域局部信息熵造成了不同的影响, 改变了其归一化直方图的分布.图 5 (e)和5 (f)是不同空气质量等级图像颜色通道a、b的频域局部信息熵归一化直方图分布, 随着空气质量的下降波峰的值在不断减小.从图 5可知:空气污染对图像颜色通道存在影响, 会影响图像局部信息熵归一化直方图峰值的大小.综上所述, 可以认为不同程度的空气污染会影响灰度通道空间域和频域的局部信息熵分布; 不同程度的空气污染不会影响两个颜色通道空间域局部信息熵分布, 但是会影响两个颜色通道频域局部信息熵分布.
图 5 不同空气质量等级图像局部信息熵归一化直方图Fig. 5 Histogram of normalized local information entropy for images at different air quality grades2.2 空气污染失真与其他失真类型的相关性
根据第2.1节的分析可以看出空气污染也会造成图像失真, 我们假设空气污染是一种图像失真类型.在无参考图像质量评价领域, 图像的失真主要包括JPEG、WN、GBLUR等类型.为了分析典型的几种失真类型与空气污染失真是否存在某种联系, 我们参考公开图像质量评价库(Live库)提供的图像失真方法, 对一幅空气质量等级为优的图像(参考图像)分别加入3种常见的失真, 图 6 (b)~6 (e)是经过各种失真的图像.
图 6表明空气污染对图像造成的失真和三种常见失真是不同的. JPEG失真会使图像出现块效应, WN失真使得图像上出现很多噪声, GBLUR失真造成图像模糊.直观上看三种常见失真在颜色上没有空气污染造成的差异大.图 7是图 6中5幅图像两个颜色通道和一个灰度通道空间域和频域局部信息熵归一化直方图分布.图 7 (a)~ 7 (c) 是原图和各种失真图像各个通道空间域局部信息熵归一化直方图分布, 图 7 (d) $ \sim $ 7 (f)是原图和各种失真图像各个通道频域局部信息熵归一化直方图分布.图 7 (b)和7 (c)是两个颜色通道在空间域中局部信息熵归一化直方图, 可以看到直方图分布是一样的, 所有的局部信息熵的取值都为0, 这表明了图像失真对空间域图像颜色通道是没有影响的.从图 7 (a)、7 (d)、7 (e)、7 (f)可以看出各种失真对应的直方图分布是不同的, 但是, 不管从局部信息熵取值范围还是峰值分布来看, GBLUR模糊失真和空气污染失真对局部信息熵的影响是最相近的.
图 7 原图和各种失真图像局部信息熵归一化直方图Fig. 7 Histogram of normalized local information entropy for the original image and images with different kinds of distortions通过上面主观和客观的分析, 我们可以知道空气污染对图像造成的失真和GBLUR失真最相近但不完全相同, 空气污染对图像造成的失真不能简单地归纳为某一种失真, 是各种因素综合的结果.
3. 基于图像的空气质量等级检测
3.1 基于图像局部信息熵的空气质量等级检测方法
根据上面的空气质量和图像质量相关性分析可知:空气污染会影响图像灰度通道的空间域和频域局部信息熵直方图分布, 以及图像颜色通道的频域局部信息熵直方图分布.所以我们利用不同空气质量等级图像的局部信息熵直方图分布差异, 提出了一种基于图像检测空气质量等级的方法.由于空气污染对图像颜色通道空间域局部信息熵没有影响, 所以我们没有考虑空间域颜色通道.假设每个通道局部信息熵按照取值大小排序后如下所示:
$$ S = (E_{1}, E_{2}, E_{3}, \cdots, E_{n}) $$ (2) 其中$ S $是图像单通道空间域或者频域所有局部信息熵集合, $ n $表示局部信息熵个数, $ E_{i} $表示第$ i $个局部信息熵. $ E_{i} $的计算公式如式(1)所示.
本方法利用局部信息熵直方图的均值和斜率来表示不同空气质量等级图像的局部信息熵直方图分布差异, 均值和斜率计算公式分别如式(3)和(4)所示:
$$ \begin{align} m = \frac{1}{n}\sum^{l}_{i = 1}S(i) \end{align} $$ (3) $$ \begin{align} k = \frac{{\rm max}(S)-{\rm min}(S)}{n} \end{align} $$ (4) 其中$ n $是$ S $集合的大小, $ m $表示$ S $的均值, $ k $代表$ S $的斜率.
为了验证所选特征在空气质量检测方面的有效性, 我们分析了不同程度空气污染下采集的图像局部信息熵均值和斜率两个特征分布(图 8).图 8 (a) ~ 8 (d)分别表示灰度通道空间域/频域局部信息熵均值和斜率分布、颜色通道a/b频域局部信息熵均值和斜率分布.图 8 (a)和8 (b)可以很好地区分空气质量等级优、良、重度污染、严重污染, 中度污染和轻度污染重度污染存在重叠, 不能很好区分.图 8 (c)和8 (d)很好地区分出所有不同空气质量等级的图像, 且所有的点大体呈抛物线状, 满足广义高斯分布.所以我们所选的特征在空气质量检测方面是有效的.
图 8 不同空气质量等级在局部信息熵均值和斜率两个特征上的分布Fig. 8 The average and slope distribution of the local information entropy with different air quality grades综上所述, 我们提出的基于图像检测空气质量等级方法最终使用的特征如表 2所示.
表 2 基于图像检测空气质量等级通用模型所用特征总结Table 2 The summary of features used in the general model of air quality grade detection based on images特征序号 特征意义 f1$ \sim $f2 灰度通道空间域局部信息熵均值和斜率 f3$ \sim $f4 灰度通道频域局部信息熵均值和斜率 f5$ \sim $f6 颜色通道频域局部信息熵均值和斜率 特征提取过程如图 9所示:首先对输入图像做Lab空间转换, 然后对图像灰度通道L计算空间域局部信息熵和频域局部信息熵, 对颜色通道计算频域局部信息熵, 并对所有的局部信息熵集合求均值和斜率, 最终得到所有特征(f1$ \sim $f6).
我们将提取的6维图像特征输入到SVM分类器, 构建基于图像的空气质量等级检测模型. SVM分类器的核心思想是将图像分类问题转换成高维特征分类空间, 使得将本来难分类的问题转换成线性可分问题, 在高维特征分类空间通过一个超平面可以很好地区分出不同的空气质量等级.在实际使用过程中需要合理地选择核函数, 本方法选用RBF径向基内核, 因为本文的图像分类问题是线性不可分的, 然后通过训练数据的交叉验证选择各种参数.
整个方法的流程可以用图 10表示, 本文的方法分为训练和测试两个过程.训练过程为:首先将训练图像集按照特征提取流程(图 9)提取特征, 然后将训练图像集提取的特征和其对应的空气质量等级标签输入到SVM分类器, 最后得到空气质量等级检测模型; 测试过程为:首先将输入的测试图像按照特征提取流程(图 9)提取特征, 接着将特征输入到SVM分类器中, 最后利用空气质量等级检测模型估计测试图像采集地当时的空气质量等级.
图 10 基于图像的空气质量等级检测方法流程图Fig. 10 The flow chart of the image based air quality grade detection method3.2 实验结果与分析
3.2.1 实验准备
1) 数据集:空气质量图像库, 共有100幅彩色图像.
2) 实验策略:将空气质量图像库中的图像划分成训练集和测试集, 训练集和测试集的比例是6 : 4.为了确定本方法估计空气质量精度, 我们做了1 000次训练测试.每次随机地选择空气质量图像库中的60 %图像作为训练集, 剩余作为测试集, 通过比较测试得到的标签和真实标签得到方法的精度.
3) 方法性能衡量标准:采用图像质量评价常用的三个指标皮尔逊线性相关系数(LCC)、斯皮尔曼等级次序相关系数(SROCC)和建模耗时(TIME)来衡量方法的性能[25], 建模耗时(TIME)主要包括特征提取耗时和训练耗时, 皮尔逊线性相关系数(LCC)反映的是线性相关程度的统计量, 计算公式为:
$$ \begin{equation} {\rm LCC} = \frac{{\rm cov}(P, T)}{\sigma_{P} \sigma_{T}} \end{equation} $$ (5) 其中, $ P $和$ T $表示两向量, 分子表示两个向量的协方差, 分母为两个向量的标准差的积. LCC的值域为$ [-1, 1], $当两个向量线性相关性较高时, 其绝对值会接近1.当两个向量正相关时其值为正, 负相关时其值为负.斯皮尔曼等级次序相关系数(SROCC)主要用于顺序数据的相关性分析, 其变量的相关性通过单调函数来描述.如果当一个变量是另外一个变量的单调函数时, 两个变量的SROCC绝对值可以达到1. SROCC的计算公式如式(6)所示:
$$ \begin{equation} {\rm SROCC} = \frac{\sum\limits^{n}_{i = 1}(t_{i}-\bar{t})(p_{i}-\bar{p})}{\sqrt{\sum\limits^{n}_{i = 1}(t_{i}-\bar{t})^{2}\sum\limits^{n}_{i = 1}(p_{i}-\bar{p})^{2}}} \end{equation} $$ (6) 其中, $ n $表示向量中的元素个数, $ t_{i} $和$ p_{i} $分别表示$ P $向量和$ T $向量排好序后的第$ i $个元素, $ \bar{t} $和$ \bar{p} $分别表示两个向量的均值.
另外, 为了更准确地定位模型估计能力, 我们自定义了一种衡量标准, 将6个空气质量等级标记为0$ \sim $5, 数字越大表示空气质量等级越高, 空气污染越大.统计了测试结果和真实标签相差几个空气质量等级, 从而计算方法的准确度(ACC).将相差的空气质量等级命名为差异度(GOD), GOD计算公式如式(7)所示, ACC计算公式如式(8)所示:
$$ \begin{align} &{\rm GOD}(i) = |p_{i}-t_{i}| \end{align} $$ (7) $$ \begin{align} &{\rm ACC}(g) = \frac{{\sum}({\rm GOD}(:)<g+1)}{{\sum}({\rm GOD}(:))} \end{align} $$ (8) 其中$ p_{i} $指方法检测出的空气质量等级, $ t_{i} $指图像拍摄当天真实的空气质量等级. $ {\rm GOD}(i) $统计第$ i $幅图像测试得到的空气质量等级和真实空气质量等级的差. $ g $代表了空气质量等级差, ACC$ (g) $指的是空气质量差异度等于$ g $时的准确度.
4) 实验设备参数:本实验是在MATLABR2014a上实现的, 本实验运行在配置为CPU: i5-2450M、RAM: 4 GB、Win7 64 bit的电脑上.
3.2.2 方法性能测试
为了验证本方法性能, 在构建的空气质量图像库上将本方法和已有的相关方法做了对比.我们使用的对比方法包括: Chen等[21]、SSEQ [24]、IQALE [26]、GIST [27]、深度神经网络[28]. Chen等[21]主要是利用边界像素比和高亮像素比特征输入到BP神经网络训练得到空气质量估计模型; SSEQ方法[24]和IQALE方法[26]是两种经典的无参考图像质量评价方法, 这两种图像质量评价方法使用了图像局部熵特征, SSEQ方法主要利用图像灰度通道局部熵特征, IQALE方法主要利用图像颜色通道二维熵和图像灰度通道局部熵特征, 这两种方法和本文的方法存在一定的联系和区别, 因此本文也和这两种方法做了对比, 并对比了两个颜色通道在方法中的效果; GIST方法[27]和深度神经网络[28]是两种经典的图像分类方法, 本文方法本质上是图像分类问题, 因此本文也和这两种方法做了比较.在GIST算法中每幅图像产生512维特征, 并通过SVM对特征和真实标签进行拟合.考虑到Alexnet的卷积核较大, 将输入图像块的尺寸设为100$ \times $100.表 3是六种方法在空气质量图像库上的性能比较, 除Alexnet方法外, 其余基于机器学习算法的$ mean_{\rm LCC} $和$ var_{\rm LCC} $是1 000次训练测试得到的LCC均值和方差, $ mean_{\rm SROCC} $和$ var_{\rm LCC} $是1 000次训练测试得到的SROCC均值和方差. $ mean_{acc(0)} $和$ mean_{acc(1)} $分别是1 000次训练测试得到的ACC(0)和ACC(1)的均值. Alexnet算法进行了10次交叉实验.
表 3 六种方法性能对比Table 3 The performance comparison of the six methods方法 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ SSEQ [24] 0.8400 0.8384 1 345.3 0.0024 0.0035 0.7318 0.9400 IQALE-a [25] 0.8283 0.7770 1 892.1 0.0038 0.0067 0.7342 0.9235 IQALE-b [25] 0.8195 0.7791 1 912.6 0.0048 0.0075 0.7127 0.9336 IQALE-a, b [25] 0.8142 0.7618 2 828.0 0.0041 0.0076 0.7218 0.9183 Chen等[21] 0.84372 0.8145 26 485.1 0.0037 0.0049 0.7370 0.9450 GIST [27] 0.8300 0.8136 32.69 0.0018 0.0021 0.7099 0.9344 Alexnet [28] 0.8807 0.8743 16 290.0 0.0015 0.0019 0.6818 0.9250 Our-a 0.9002 0.8598 966.9 0.0011 0.0023 0.8110 0.9728 Our-b 0.8915 0.8595 971.5 0.0016 0.0028 0.7954 0.9730 Our-a, b 0.8993 0.8596 1 343.8 0.0010 0.0025 0.8126 0.9744 从表 3可知:本文方法从各个指标来看效果都优于Chen等方法[21].图像局部信息熵可以很好地区分出空气质量等级, SSEQ方法、IQALE方法和本方法的精度都保持在80 %以上.而且本文方法的估计精度高于SSEQ方法和IQALE方法, 建模耗时比SSEQ方法和IQALE方法少.图像局部熵特征在空气质量等级估计研究中比图像GIST特征效果好.由于图像数据量过少, 而卷积神经网络对输入样本的需求量较大, 因此在实验中Alexnet并没有得到很好的效果, 算法精度略低于本文算法.另外, 通过我们提出的方法和IQALE方法颜色通道选择对比实验效果可知: a通道相对于b通道以及a、b通道一起进行特征提取要更好一些, 因此, 我们在本文的后面实验中均使用a通道进行特征提取.
3.2.3 方法最优参数设置
本文方法利用的是图像局部块的信息熵, 局部块大小的设置可能会对性能产生影响, 所以我们进行了局部块大小对方法性能影响的对比实验.对比实验效果如表 4所示.
表 4 局部块大小对方法性能的影响Table 4 The influence of the size of the local block on our method局部块大小 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ $2\times 2$ 0.8662 0.8818 15 071.33 0.0008 0.0008 0.7074 0.9671 $4\times 4$ 0.9093 0.8911 3 661.60 0.0005 0.0009 0.8150 0.9769 $8\times 8$ 0.9002 0.8598 966.92 0.0011 0.0023 0.8110 0.9728 $16\times 16$ 0.8865 0.8524 310.18 0.0018 0.0029 0.7955 0.9682 $32\times 32$ 0.8551 0.8381 128.99 0.0035 0.0048 0.7670 0.9508 对比实验选取了5种局部块大小, 从表 4可以看出:局部块大小对方法性能存在影响, 随着局部块增大, 模型训练所需要的时间在减少.局部块大小为4或者8的时候方法的精度最高, 但是局部块为4时的训练时间大概是局部块为8时的4倍.因此, 综合考虑, 局部块大小为8时方法性能最优.
研究表明图像失真只会发生在图像的若干局部块上, 导致图像若干局部块信息熵发生改变[24].为了验证空气污染是否只改变图像若干局部块信息熵, 我们对比了不同百分比的局部熵直方图均值和斜率对方法性能的影响.对比实验选取了5种局部熵百分比, 从表 5可以看出:空气污染对图像所有局部块信息熵都存在影响.因此, 本方法使用图像所有局部块信息熵的均值和斜率作为特征.
表 5 局部熵百分比对方法性能的影响Table 5 The influence of the percentage of the local entropy on our method局部熵百分比 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ 100 % 0.9002 0.8598 966.92 0.0011 0.0023 0.8110 0.9728 90 % 0.8930 0.8635 952.17 0.0013 0.0027 0.8116 0.9697 80 % 0.8889 0.8585 948.09 0.0015 0.0027 0.8073 0.9665 70 % 0.8864 0.8528 945.01 0.0014 0.0029 0.8001 0.9636 60 % 0.8834 0.8443 938.72 0.0013 0.0028 0.7974 0.9613 另外我们也探究了空气污染是否对图像灰度通道和颜色通道的多个尺度产生影响, 为验证是否存在影响, 我们进行了对比实验.分别对图像做了0次下采样(1个尺度)、1次下采样(2个尺度)、2次下采样(3个尺度)、3次下采样(4个尺度)、并统计了不同的尺度下的方法性能, 实验结果如表 6所示.
表 6 尺度个数对方法性能的影响Table 6 The influence of the number of scales on our method尺度 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ 1 0.9002 0.8598 966.92 0.0011 0.0023 0.8110 0.9728 2 0.8810 0.8348 1272.96 0.0020 0.0041 0.7934 0.9656 3 0.8646 0.8124 1363.92 0.0027 0.0057 0.7729 0.9511 4 0.8390 0.7857 1393.75 0.0027 0.0054 0.7482 0.9313 从实验结果可知:空气污染只对图像原尺度的局部信息熵存在影响.所以, 本文方法只考虑了图像的原尺度局部块信息熵.
3.2.4 方法适用性实验
上述所有的结果都是基于空气质量图像库得到的, 为验证本文方法的适用性, 我们又另外收集了一些人们日常生活中拍摄的户外风景图像.根据图像采集设备将图像划分成3个数据集, 相关信息见表 7.
表 7 适用性实验数据集Table 7 Applicability experiment datasets数据集 图像数量(幅) 采集设备 Ⅰ 21 iphone6s等 Ⅱ 326 未知 Ⅲ 247 OPPO R7s 首先, 我们利用本方法在空气质量图像库上构建空气质量估计模型, 并在适用性实验数据集上进行测试.
数据集I来自朋友日常生活和外出旅游拍摄的图像, 图像采集设备是iphone 6s等手机, 朋友提供照片拍摄期间空气质量为优良.由于图像拍摄期间具体的空气质量等级未知, 因此本文只给出图像的估计空气质量等级.测试结果如图 11所示, 将检测出的空气质量等级作为标签贴在图像上.
数据集Ⅱ是我们通过爬虫框架在网上爬取的带有空气质量等级标签的图像, 数据集Ⅱ总共有326幅图像, 包含了所有空气质量等级.图 12是数据集Ⅱ样例图.数据集Ⅲ由我们从2016年9月到2017年11月在学校周边采集到的图像构成, 在采集的过程中记录了图像拍摄当时的空气质量等级和温度、相对湿度等气象数据.
利用构建的模型对数据集Ⅱ和数据集Ⅲ进行了定量测试, 测试结果如表 8所示.假设空气质量等级差在0到1之间都是可以接受的, 即$ g $的取值在0$ \sim $1之间.从表 8可知:在误差接受范围内本文方法在数据集Ⅱ和数据集Ⅲ上的准确度分别为84.97 %和85.43 %.测试结果表明:本文方法在空气质量图像库上构建的模型可以很好地估计数据集Ⅱ和数据集Ⅲ中图像拍摄地当时的空气质量等级, 对于数据集Ⅱ和数据集Ⅲ具有很好的适用性.
表 8 本文方法在数据集Ⅱ和数据集Ⅲ上的测试结果Table 8 Testing results of the proposed method on Dataset Ⅱ and Dataset Ⅲ数据集 LCC SROCC ACC(0) ACC(1) Ⅱ 0.6609 0.6827 0.6460 0.8497 Ⅲ 0.6411 0.6762 0.6032 0.8543 由于数据集Ⅲ是我们在日常生活中采集得到的, 且有详细记录拍摄当天所有空气污染物浓度以及相对湿度等气象条件信息, 所以我们对该数据集的实验结果做了详细分析.表 6可知:在空气质量图像库上训练得到的模型对于数据集Ⅲ中的大部分图像是适用的, 大部分估计的空气质量等级和真实的空气质量等级差0$ \sim $1个等级.我们统计了数据集Ⅲ的GOD, 247幅图像的GOD直方图分布如图 13所示, 其中有149幅图像GOD小于1, 63幅图像GOD介于1$ \sim $2之间, 35幅图像GOD介于2$ \sim $3之间.
我们分析了GOD取值大于1的图像, 98幅图像中有13幅图像采集当天相对湿度超过70 %, 有19幅图像首要污染物不是颗粒物, 而是臭氧一小时.臭氧一小时指的是在一小时内臭氧的平均浓度, 该指标反映的是臭氧短期内对人体的直接伤害, 有5幅图像只拍摄了天空或者绿地, 图像内容单一.如图 14所示, 图 14 (a)是空气质量等级为良好相对湿度为95 %的时候采集得到的图像, 我们的模型对于该图像给定的空气质量等级为轻度污染和中度污染之间, GOD为1.7.图 14 (b)是空气质量等级为优相对湿度为75 %时采集到的图像, 我们的模型对于该图像给定的空气质量等级为良好和轻度污染之间, GOD为1.5.图 14 (c)和14 (d)是首要污染物为臭氧一小时拍摄到的图像, 图像拍摄当时的空气质量等级为轻度污染, 而我们的模型给出的估计等级为良好.图 14 (e)是空气质量等级为优的时候采集到的天空图像, 我们的模型对于该图像给定的空气质量等级为重度污染, 图 14 (f)是空气质量等级为良的时候采集到的天空图像, 我们的模型对于该图像给定的空气质量等级为重度污染.
然后, 我们用本方法在数据集Ⅱ和数据集Ⅲ上做训练, 用得到的模型在空气质量图像库上做测试, 测试结果如表 9所示.测试结果表明:本文方法在数据集Ⅱ和数据集Ⅲ上构建的模型可以很好地估计空气质量图像库中图像拍摄地当时的空气质量等级, 对于空气质量图像库具有很好的适用性.
表 9 本文方法在空气质量图像库上的测试结果Table 9 The testing results of the proposed method on the air quality image dataset数据集 LCC SROCC ACC(0) ACC(1) 空气质量图像库 0.8721 0.8872 0.6700 0.9300 综上所述:相对湿度对图像的局部信息熵视觉特征也会产生影响, 至于如何消除该影响还需要进一步分析, 目前还没有理论模型用于消除相对湿度对图像视觉特征的影响.当首要污染物是臭氧等气体污染物时, 根据我们提出的模型来检测空气质量等级是不合适的.另外, 本文方法对内容过于单一的图像是不适用的, 因为图像内容单一会导致图像所有局部熵接近0, 从而被误判成空气污染严重.
4. 结论
本文提出了一种基于图像检测空气质量等级的方法, 该方法主要基于图像灰度通道和两个颜色通道局部信息熵.我们分析了空气污染对灰度通道和两个颜色通道局部信息熵的影响, 并选择了图像局部信息熵的均值和斜率作为特征, 并利用SVM分类器构建了空气质量等级估计模型.在构建的空气质量图像库上, 从多个角度测试了空气质量等级估计模型的性能, 实验结果表明:我们构建的空气质量等级估计模型可以较准确地估计图像拍摄地当时的空气质量.但是本文构造的模型在实际应用中也有其局限性, 目前只适用于空气湿度较低、首要污染物为颗粒物、图像内容不能过于单一条件下采集到的图像.
-
图 1 基于传统机器学习的空气质量估计模型构建流程
Fig. 1 Air quality estimation model construction process based on traditional machine learning
图 2 空气质量图像库中不同等级图像示例
Fig. 2 Examples of images with different grades in the air quality image dataset
图 3 空气污染对图像灰度通道和彩色通道的影响
Fig. 3 The effect of air pollution on the gray and color channels of images
图 5 不同空气质量等级图像局部信息熵归一化直方图
Fig. 5 Histogram of normalized local information entropy for images at different air quality grades
图 7 原图和各种失真图像局部信息熵归一化直方图
Fig. 7 Histogram of normalized local information entropy for the original image and images with different kinds of distortions
图 8 不同空气质量等级在局部信息熵均值和斜率两个特征上的分布
Fig. 8 The average and slope distribution of the local information entropy with different air quality grades
图 10 基于图像的空气质量等级检测方法流程图
Fig. 10 The flow chart of the image based air quality grade detection method
表 1 空气质量图像库
Table 1 Air quality image dataset
空气质量等级 优 良 轻度污染 中度污染 重度污染 严重污染 图像数量(幅) 15 13 15 16 16 25 
下载: 导出CSV
表 2 基于图像检测空气质量等级通用模型所用特征总结
Table 2 The summary of features used in the general model of air quality grade detection based on images
特征序号 特征意义 f1$ \sim $f2 灰度通道空间域局部信息熵均值和斜率 f3$ \sim $f4 灰度通道频域局部信息熵均值和斜率 f5$ \sim $f6 颜色通道频域局部信息熵均值和斜率
下载: 导出CSV
表 3 六种方法性能对比
Table 3 The performance comparison of the six methods
方法 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ SSEQ [24] 0.8400 0.8384 1 345.3 0.0024 0.0035 0.7318 0.9400 IQALE-a [25] 0.8283 0.7770 1 892.1 0.0038 0.0067 0.7342 0.9235 IQALE-b [25] 0.8195 0.7791 1 912.6 0.0048 0.0075 0.7127 0.9336 IQALE-a, b [25] 0.8142 0.7618 2 828.0 0.0041 0.0076 0.7218 0.9183 Chen等[21] 0.84372 0.8145 26 485.1 0.0037 0.0049 0.7370 0.9450 GIST [27] 0.8300 0.8136 32.69 0.0018 0.0021 0.7099 0.9344 Alexnet [28] 0.8807 0.8743 16 290.0 0.0015 0.0019 0.6818 0.9250 Our-a 0.9002 0.8598 966.9 0.0011 0.0023 0.8110 0.9728 Our-b 0.8915 0.8595 971.5 0.0016 0.0028 0.7954 0.9730 Our-a, b 0.8993 0.8596 1 343.8 0.0010 0.0025 0.8126 0.9744
下载: 导出CSV
表 4 局部块大小对方法性能的影响
Table 4 The influence of the size of the local block on our method
局部块大小 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ $2\times 2$ 0.8662 0.8818 15 071.33 0.0008 0.0008 0.7074 0.9671 $4\times 4$ 0.9093 0.8911 3 661.60 0.0005 0.0009 0.8150 0.9769 $8\times 8$ 0.9002 0.8598 966.92 0.0011 0.0023 0.8110 0.9728 $16\times 16$ 0.8865 0.8524 310.18 0.0018 0.0029 0.7955 0.9682 $32\times 32$ 0.8551 0.8381 128.99 0.0035 0.0048 0.7670 0.9508
下载: 导出CSV
表 5 局部熵百分比对方法性能的影响
Table 5 The influence of the percentage of the local entropy on our method
局部熵百分比 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ 100 % 0.9002 0.8598 966.92 0.0011 0.0023 0.8110 0.9728 90 % 0.8930 0.8635 952.17 0.0013 0.0027 0.8116 0.9697 80 % 0.8889 0.8585 948.09 0.0015 0.0027 0.8073 0.9665 70 % 0.8864 0.8528 945.01 0.0014 0.0029 0.8001 0.9636 60 % 0.8834 0.8443 938.72 0.0013 0.0028 0.7974 0.9613
下载: 导出CSV
表 6 尺度个数对方法性能的影响
Table 6 The influence of the number of scales on our method
尺度 $mean_{\rm LCC}$ $mean_{\rm SROCC}$ TIME (s) $var_{\rm LCC}$ $var_{\rm SROCC}$ $mean_{acc(0)}$ $mean_{acc(1)}$ 1 0.9002 0.8598 966.92 0.0011 0.0023 0.8110 0.9728 2 0.8810 0.8348 1272.96 0.0020 0.0041 0.7934 0.9656 3 0.8646 0.8124 1363.92 0.0027 0.0057 0.7729 0.9511 4 0.8390 0.7857 1393.75 0.0027 0.0054 0.7482 0.9313
下载: 导出CSV
表 7 适用性实验数据集
Table 7 Applicability experiment datasets
数据集 图像数量(幅) 采集设备 Ⅰ 21 iphone6s等 Ⅱ 326 未知 Ⅲ 247 OPPO R7s
下载: 导出CSV
表 8 本文方法在数据集Ⅱ和数据集Ⅲ上的测试结果
Table 8 Testing results of the proposed method on Dataset Ⅱ and Dataset Ⅲ
数据集 LCC SROCC ACC(0) ACC(1) Ⅱ 0.6609 0.6827 0.6460 0.8497 Ⅲ 0.6411 0.6762 0.6032 0.8543
下载: 导出CSV
表 9 本文方法在空气质量图像库上的测试结果
Table 9 The testing results of the proposed method on the air quality image dataset
数据集 LCC SROCC ACC(0) ACC(1) 空气质量图像库 0.8721 0.8872 0.6700 0.9300
下载: 导出CSV
-
[1] 李旭红.构建符合我国国情的综合性环境税收体系.中国财政, 2017, 736(11): 26-28 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgcz201711014Li Xu-Hong. A comprehensive environmental taxation system construction in line with Chinese national conditions. China State Finance, 2017, 736(11): 26-28 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgcz201711014 [2] Turner M C, Krewski D, Diver W R, et al. Ambient air pollution and cancer mortality in the cancer prevention study Ⅱ. Environmental Health Perspectives, 2017, 125(8): 087013-1-087013-10 doi: 10.1289/EHP1249 [3] 郭尚书.基于数字摄像的大气能见度检测方法与系统实现.华中科技大学, 中国, 2014Guo Shang-Shu. Visibility Detection Method and System Design Based on Digital Photography[Master thesis]. Huazhong University of Science and Technology, China, 2014 [4] 卓力, 胡笑尘, 姜丽颖, 等.一种基于暗原色先验的空气质量指数估计方法: CN. CN104809467A, 2015Zhuo Li, Hu Xiao-Chen, Jiang Li-Ying, et al. A Method of Air Quality Index Estimation Based on Dark Channel Prior: CN. CN104809467A, 2015 [5] Zhang Z, Ma H, Fu H, et al. Outdoor air quality inference from single image. In: Proceedings of the 2015 International Conference on Multimedia Modeling. Sydney, Australia: MMM, 2015, 8936: 13-25 [6] Zamora E. Using image processing techniques to estimate the air quality. McNair Scholars Research Journal, 2012, 189-194 [7] Wong C J, Matjafri M Z, Abdullah K, et al. Temporal and spatial air quality monitoring using internet surveillance camera and ALOS satellite image. In: Proceedings of the 2009 IEEE Aerospace Conference Proceedings. Big Sky, MT, USA: IEEE, 2009. 1-7 [8] Zhang X, Liu M C. System and method for image quality enhancement by reducing the effects of air pollution and haze: US. US8204329, 2012 [9] Yang W M, Chen X, Liao Q M. Air quality evaluation based on image defogging. Applied Mechanics and Materials, 2014, 513-517: 3077-3080 doi: 10.4028/www.scientific.net/AMM.513-517.3077 [10] Yang W M, Chen X, Liao Q M. Air quality evaluation based on local normalized image contrast. Applied Mechanics and Materials, 2014, 511-512: 413-416 doi: 10.4028/www.scientific.net/AMM.511-512.413 [11] Wang H, Yuan X, Wang X, et al. Real-time air quality estimation based on color image processing. In: Proceedings of the 2015 Visual Communications and Image Processing Conference. Singapore: IEEE, 2015. 326-329 [12] Wong C J, Lim H S, Matjafri M Z, et al. Image data transfer over the internet protocol for air quality studies. In: Proceedings of the 2006 SPIE Defense and Security Symposium. Stockholm, Sweden: SPIE, 2006. 6233: 62330Z–62330Z-14 [13] Saleh N M, Lim H S, Matjafri M Z, et al. Air quality derivation utilizing Landsat TM image over Penang, Malaysia. In: Proceedings of the Third International Conference on Recent Advances in Space Technologies. Istanbul, Turkey: IEEE, 2007. 259-263 [14] Xu-Wen L I, Niu Z C, Wang J S, et al. Scene visibility retrieved from remotely sensed image and its correspondence with ground air quality monitoring data. Administration and Technique of Environmental Monitoring, 2011, 23(1): 20-27 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=hjjcglyjs201101005 [15] Lim H S, Matjafri M Z. Retrieval of air quality information using image processing technique. In: Proceedings of the 2007 SPIE - The International Society for Optical Engineering. San Diego, USA: SPIE, 2007. 6541(107): 287-291 [16] Zhan Y, Zhang R, Wu Q, et al. A new haze image database with detailed air quality information and a novel no-reference image quality assessment method for haze images. In: Proceedings of the 2016 IEEE International Conference on Acoustics, Speech and Signal Processing. Shanghai, China: IEEE, 2016. 1095-1099 [17] Wong C J, Matjafri M Z, Abdullah K, et al. Using image processing technique for the studies on temporal development of air quality. In: Proceedings of the 2007 Conference on Computer Graphics, Imaging and Visualisation. Bangkok, Thailand: IEEE, 2007. 287-291 [18] Feng C, Wang W, Tian Y, et al. Estimate air quality based on mobile crowd sensing and big data. In: Proceedings of the 18th International Symposium on A World of Wireless, Mobile and Multimedia Networks. Macau, China: IEEE, 2017. 1-9 [19] Liu X, Song Z, Ngai E, et al. PM2.5 monitoring using images from smartphones in participatory sensing. In: Proceedings of the 2015 Computer Communications Workshops. Hong Kong, China: IEEE, 2015. 630-635 [20] He K, Sun J, Tang X. Single image haze removal using dark channel prior. In: Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA: IEEE, 2009. 1956-1963 [21] Chen X, Li Y, Li D. An efficient method for air quality evaluation via ANN-based image recognition. In: Proceedings of theSecond International Conference on Artificial Intelligence and Industrial Engineering. Beijing, China: AⅡE, 2016. 253-256 [22] Pan Z, Yu H, Miao C, Leung C. Crowdsensing air quality with camera-enabled mobile devices. In: Proceedings of the Twenty-Ninth AAAI Conference on Innovative Applications. San Francisco, USA: AAAI, 2017. 4728-4733 [23] Sekine Y, Katori R. Indoor air quality monitoring via it network colorimetric monitoring of formaldehyde in indoor environment using image transmission of mobile phone. In: Proceedings of the 2009 ICCAS-SICE. Fukuoka, Japan: ICCAS-SICE, 2009. 4041-4046 [24] Liu L, Liu B, Huang H, et al. No-reference image quality assessment based on spatial and spectral entropies. Signal Processing Image Communication, 2014, 29(8): 856-863 doi: 10.1016/j.image.2014.06.006 [25] Gabarda S, Cristóbal G, Goel N. Anisotropic blind image quality assessment: survey and analysis with current methods. Journal of Visual Communication and Image Representation, 2018, 52: 101-105 doi: 10.1016/j.jvcir.2018.02.008 [26] 徐琳, 陈强, 汪青.色彩熵在图像质量评价中的应用.中国图象图形学报, 2015, 20(12): 1583-1592 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgtxtxxb-a201512003Xu Lin, Chen Qiang, Wang Qing. Application of color entropy to image quality assessment. Journal of Image and Graphics, 2015, 20(12): 1583-1592 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgtxtxxb-a201512003 [27] Oliva A, Torralba A. Modeling the shape of the scene: A holistic representation of the spatial envelope. International Journal of Computer Vision, 2001, 42(3): 145-175 doi: 10.1023/A:1011139631724 [28] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 2012 International Conference on Neural Information Processing Systems. Doha, Qatar: ICONIP, 2012. 1097-1105 -
下载:
计量
- 文章访问数: 1609
- HTML全文浏览量: 526
- PDF下载量: 319
- 被引次数: 0
