Headlights Detection in Traffic Videos Based on Atmospheric Reflection-scattering Model via Reconstructing Restoration Images
-
摘要: 针对夜间复杂照明环境导致车灯检测率低的问题, 提出了一种基于大气反射-散射模型的复原图像中夜间交通视频车灯检测算法. 首先根据漫反射原理抑制路面漫反射光, 在对大气散射模型做了改进之后, 估计了大气散射模型中的大气光, 再根据暗原色先验理论估计环境光, 重新定义透射率, 从而得到了只含有车灯及反射区域的复原图像.为了进一步抑制该复原图像中的强光光晕, 再次利用暗原色先验理论重新估计环境光, 得到最终的复原图像. 最后对复原图像中的所有亮斑根据四类几何特征逐步筛选, 排除视野中的非车灯. 实验结果表明, 该方法在复杂雨雪天气、高密度及高速等不同情况下, 与同类先进算法相比具有较高的检测率, 较低的漏检率和误检率.Abstract: As the detection rate of headlights under complex lighting scenes in nighttime is relatively low, a novel algorithm of headlights detection based on atmospheric reflection-scattering model has been presented. The diffuse reflection light from road surface is firstly suppressed using the diffuse reflection principle. After improving the atmosphere scattering model, the airglow is estimated. The ambient light is then estimated with the dark-channel prior theory and the transmittance is defined again. A restoration image is obtained in which only headlights and reflection regions are contained. In order to suppress the halo produced by the highlights in the restoration image, the ambient light is estimated again with the dark-channel prior theory. All spots are then checked according to their four types of geometric characteristics step by step, non-headlights are finally filtered out. Experimental results show that under complicated weather, such as rain or snow, or under high population, or high-speed, the proposed algorithm has a higher detection rate, lower miss rate and false detection rate, compared with other similar advanced algorithms.
-
根据美国国家公路交通安全管理局统计, 48 %的意外交通事故发生在夜间.因此夜间交通视频的智能监控算法研究越来越受到重视, 以期有效降低夜间交通事故发生率, 确保车辆及人身安全.由于车前灯在夜间车辆特征信息中最为可靠、稳定并且容易获取, 因此目前夜间车辆检测的主流研究大多以车前灯作为主要特征, 其检测的准确度直接影响到车辆的有效配对与追踪.然而, 车前灯的提取受夜间环境及天气因素影响较大, 特别是来自路面的强反射光干扰极难处理, 导致了较高的车前灯分割错误率, 成为夜间交通视频研究中的难点.
夜间交通视频智能监控中的车灯检测算法研究可分为基于几何特征的方法、基于物理模型的方法和基于机器学习的方法三大类 [1].基于几何特征的车灯检测方法 [2-3], 如Hajimolahoseini等 [2]先对灰度图像进行阈值分割, 将图像感兴趣区域(Region of interest, ROI)转换到空间二维坐标系中, 再通过几何形状区分车头灯与反射区域, 最后设定合适的阈值逐步分离车灯.这类方法大多需要不断调整阈值, 应用起来受限制较大.基于物理模型的车灯检测方法 [4-6]中, 如Zhang等 [4]先利用光衰减模型得到车灯的路面反射抑制图, 再用改进的LOG算法得到反射增强图, 最后结合马尔科夫随机场检测车灯.其检测结果中有大量的车身反射光存在, 路面白色车道线也很难得到有效抑制. Tang等 [5]提出了基于反射光指数衰减模型的Azimuthally-blur算法, 该方法使车灯与强反射区域正交, 从而能够有效抑制不同天气情况下的路面反射光及车身反射光以检测到车灯.但在挡风玻璃较暗及前灯照明功率很大时, 不能检测到车灯. 汤春明等 [6]为了克服该算法的缺点, 加入了同态滤波对车灯进行检测, 但是该算法对路面强反射光以及车身反射光较为敏感.基于机器学习的车灯检测方法 [1, 7-8]中, 如Zou等 [1]的算法分离线和在线两块, 先通过离线训练AdaBoost分类器区分前灯与非前灯, 以及场景模型, 再通过在线进行实时检测、配对和追踪.这类方法因对模型进行训练, 需要大量的样本, 并且耗时较多, 多用于对视频图像中重点关注的区域内的车灯进行处理 [1-3, 8-9], 忽略了远处的车灯, 丢失了这部分车辆的重要信息.
针对上述问题, 本文提出了一种基于大气反射 -散射模型的夜间交通视频车灯检测算法.实验结果表明本文方法与同类算法相比具有较高的检测率.
1. 大气反射-散射模型
为了从复杂光照的环境下提取到车灯, 本文在分析复杂环境光组成的基础上, 构建了大气反射 -散射模型.
1.1 建模与分析
夜间交通, 除了车前灯、尾灯等有用信息之外, 还有路灯、交通信号灯以及广告牌灯的干扰, 以及不同天气情况下路面的强反射光及车身的镜面反射, 进入监控摄像机的光源复杂, 如图 1所示.其中环境光主要指路灯灯光、交通信号灯光以及广告牌、街牌装饰灯光等.大气光主要是由大气中的粒子对环境光的散射形成 [10].路面漫反射是由路面材质的颜色及入射光的强度决定 [10-11].
本文按照以下规则建立大气反射 -散射模型: 1) 夜间环境光大于大气光的影响. 2) 虽然大气光对光源的散射能力相对很弱, 也要考虑在内. 3)无论是光源还是反射区, 在监控成像时随着距离的增加其照度按指数规律递减. 4) 光源在大气传播过程中, 无可避免地受到环境光和大气光的影响, 环境光增强了其照度, 大气光衰减了其照度. 5) 晴朗夜间, 路面的反射光主要是漫反射; 雨天或者雪天, 路面反射光主要是漫反射和镜面反射 [11].
本文的大气反射 -散射模型将光照的影响分为两部分.第一部分是环境光照射到路面产生的漫反射光.这部分光是造成路面整体较亮的主要原因.由于路灯、广告牌灯及街牌装饰灯的位置是固定不变的, 而路面材质也不会发生变化, 这样, 路面漫反射光的照度就不会随着入射角的变化而变化, 无论从哪个角度观察, 这部分光照强度是不会发生变化的.第二部分是光源和类光源的散射光, 这部分光在传播过程中, 受到大气微粒的散射作用, 产生了一定的衰减 [4].随着景深及入射角的变化, 监控摄像机最终接收到的光照度也是变化的, 变化规律符合Bouguer衰减 [12].
1.2 漫反射抑制
根据上述大气反射 -散射模型, 由环境光引起的路面漫反射光在监控摄像机成像时占了主导地位, 因此首先考虑抑制路面漫反射光.漫反射分量的具体求解过程见文献[11], 这里只给出最终的输入彩色图像$I(x)$的最大漫反射色度图$D(x)$, 如式(1):
$D(x)=I(x)-\frac{\tilde{\lambda }(x)({{I}_{r}}(x)+{{I}_{g}}(x)+{{I}_{b}}(x))-\tilde{I}(x)}{3\tilde{\lambda }(x)-1}$
(1) 其中, $\tilde{\lambda }(x)={\max \{{ d}r(x), { d}g(x), { d}b(x)\}}/({ d}r(x)$ $+$ ${ d}g(x)+{ d}b(x))$是最大漫反射色度, ${ d}_{r}(x)$, ${ d}_{g}(x)$, ${ d}_{b}(x)$分别是R、G、B三个颜色通道中的漫反射分量. $I_{r}(x)$, $I_{g}(x)$, $I_{b}(x)$是$I(x)$中的三个颜色通道, $I(x)$ $=$ $\max\{I_{r}(x), I_{g}(x), I_{b}(x)\}$.
得到漫反射抑制后的图像为
$E(x)=I(x)-D(x)$
1.3 大气散射模型改进
计算机视觉及计算机图形学领域广泛采用的大气散射模型 [11], 如式(2):
$E(x) = R(x)t(x) + E_\infty (x)(1 -t(x)) $
(2) 其中, $t(x)={\rm e}^{ -\beta d(x)}$为透射率(β是散射系数, ${ d}(x)$是场景点x的深度值), $E_{\infty }(x)$是参与成像的大气光, $R(x)$是清晰图像, $E(x)$是经过漫反射抑制后图像中点x的亮度. 等号右端第1项为衰减项, 第2项为天空光.由本文建立的大气反射 -散射模型可知, 参与成像的不仅含有大气光, 而且还有环境光, 改进后的式(2)如式(3):
$E(x) = R(x)t(x) + (E_\infty (x) + A(x))(1 -t(x)) $
(3) 其中, $E(x)$是监控摄像机拍摄到的图像, $R(x)$是复原后的图像, $A(x)$是参与成像的环境光, $t(x)$是透射率, $E_{\infty }(x)$是参与成像的大气光.
2. 复原图像的获取
夜间交通视频图像中, 各类光源众多且相互干扰.对于晴朗的夜间, 空气颗粒对光源的散射作用主要表现为单次散射 [10], 因此本文主要考虑点光源的单次散射.根据式(3)计算, 需要对未知参量$t(x)$, $E_{\infty }(x)$和$A(x)$进行估计: 首先根据暗原色先验理论估计环境光$A(x)$, 然后根据大气反射 -散射模型重新定义透射率$t(x)$并估计大气光$E_{\infty }(x)$.
2.1 大气光、环境光及透射率估计
暗原色先验理论是基于户外无雾图像数据库的统计规律得到的, 即绝大多数的户外无雾图像的每个局部区域都存在着至少一个颜色通道强度很低的像素.该理论最初针对图像去雾, 可直接估计雾的浓度并且得到高质量的去雾图像.本文基于大气反射 -散射模型, 应用暗原色先验理论, 认为在漫反射抑制图中, 每个局部区域都存在着至少一个颜色通道的强度很低的像素.夜间交通视频中各种环境光及薄雾的影响是造成视频远景中车灯难以检测的主要因素, 这些影响因素可以利用去雾原理加以最大限度的抑制, 从而得到复原图像.参考文献[13]中图像E的暗通道$E^{\rm dark}$定义如式(4):
$E^{\rm dark}(x) = \mathop {\min }\limits_{c \in \{r, g, b\}} (\mathop {\min }\limits_{y \in \Omega (x)} (E^c(y))) $
(4) 其中, $\Omega (x)$是以x为中心的邻域, $E^{c}$代表E的某个颜色通道.
环境光$A(x)$可以借助暗通道图估计, 求解过程如下: 图 2 (a)经式(1)处理得到图 2 (b), 即漫反射抑制图, 对其取暗通道得图 2(c), 对图 2 (c)中像素点的亮度值按从大到小顺序排列, 取前0.5 %最亮的像素点, 对应于图 2 (a)中最大亮度值的矩形框标注区域, 用来估计环境光$A(x)$.
夜间大气光强度已经降的很低, 大气光$E_{\infty }(x)$接近于0.
本模型中的透射指点x的反射光经过传输、衰减, 最终到达监控摄像机的反射光 [10].透射率为环境光占所有成像光源的比例, 如式(5)所示.
$t(x) = \omega \times \frac{A(x)}{E(x)} $
(5) 其中, $\omega $是调节系数, 防止得到的复原图像远景区域变模糊.通过不同条件下大量的实验调试验证, 当\textit{$\omega $}取0.95时, 得到的复原图像最理想.透射率成像结果如图 2 (d)所示, 图中有明显的块状效应, 用导向滤波器平滑处理得到图 2 (e), 保留了边缘信息, 消除了块状效应.
2.2 复原图像
有了大气光$E_{\infty }(x)$、环境光$A(x)$以及透射率$t(x)$之后, 由式(3)可以得到复原后的图像$R(x)$如式(6)所示:
$R(x)=\frac{E(x)-({{E}_{\infty }}(x)+A(x))}{\max (t(x), {{t}_{0}})}+({{E}_{\infty }}(x)+A(x))$
(6) 其中, $t_{0}$为防止分母为零而设, 本文取0.01.
复原图像获取步骤:原图像先通过漫反射抑制处理, 消除由环境光造成的路面漫反射光的影响, 在漫反射抑制图中遍历取$15\times 15$的暗通道估计环境光$A(x)$, 由式(5)计算得到透射率$t(x)$, 再经过导向滤波平滑处理后, 由式(6)得到了复原图$R(x)$ (图 2 (f)), 为了抑制$R(x)$图中产生的强光光晕, 利用式(4), 对$R(x)$遍历取$15\times 15$的暗通道, 重新估计环境光$A(x)$, 并假定同一场景中的透射率$t(x)$不变, 用式(6)去掉光晕, 得到最终的复原图$R'(x)$ 如图 2 (g)所示.复原图流程如图 3所示.
3. 车灯筛选
复原图$R'(x)$中不仅存在车头灯和路面强反射区, 还有车身反射光.为了筛选车头灯, 需要结合几何特征进一步去除干扰亮斑.根据所拍摄的视频, 车头灯的形状大致分为以下四类:
1) 圆形车灯, 如图 4 (a).这类车灯最为普遍, 较易区分, 面积一般在70个像素左右, 长宽比接近于1, 周长在20个像素左右, 大于每一帧视频中亮斑的平均周长, 圆度M近似为1.
2) 椭圆形车灯, 如图 4 (b).椭圆形车灯出现在视野的近景处, 面积一般在90个像素左右, 长宽比一般在1.17或者0.85左右, 本文取值范围设定在0.8 $\sim$ 1.2之间, 周长在30个像素左右, 大于每一帧视频中亮斑的平均周长, 圆度M在0.8左右.
3) 近似圆形车灯, 如图 4 (c).这类车灯出现在视野的远景处, 车灯功率较大, 本文模型能够保留其亮度最大的中心区域, 面积一般在120个像素左右, 长宽比近似为1, 周长在80个像素以上, 大于每一帧视频中亮斑的平均周长, 圆度在0.9左右, 近似为1.
4) 方形车灯, 如图 4 (d).这类车灯来自Zhang等 [4]所给视频, 面积值小于200个像素, 长宽比达到了极限值1.2, 周长在70 个像素左右, 大于每一帧视频中亮斑的平均周长, 圆度值在0.7左右.
针对上述四类车灯的几何特征, 对每帧图像的所有亮斑进行筛选: 首先根据面积大小和长宽比例, 去除面积较大且形状不规则的反射光区域.将面积小于阈值$T_{h}$的亮斑保留, 这里$T_{h}$取300个像素.一般车灯近似圆形, 这里取长宽比的范围在(0.8, 1.2).
然后根据亮斑周长去除明显小亮斑.去除大面积反射区域以后, 取每一帧视频中亮斑周长P的平均值$P_{\rm mean}$, 如果$P< 0.5P_{\rm mean}$, 这类亮斑将被抑制掉.
最后根据亮斑圆度M作进一步细化处理.由于车头灯的M大多近似为1, 通过式(7)定义圆度偏心率$temp$, 如果$|1-M|<temp$, 说明亮斑近似圆形, 将被保留.
$temp = \sqrt {\sum\limits_{i = 1}^N \frac{| 1 -M_i| -{\rm mean}(| 1 -M_i| ) }{N}} $
(7) 其中, N是当前图像中总车灯数, mean($| 1-M_{i}| )$表示取$| 1-M_{i}| $的均值.车头灯筛选结果如图 2 (h)所示.
4. 车灯检测结果及对比分析
本文共测试了9段视频序列, 包括高密度、雪后、雨后和高速四种特殊情况, 序列1 $\sim$ 9的视频分别为: 1 244, 1 187, 812, 915, 2 049, 6 615, 1 152, 4 993, 1 852帧.所用视频均由索尼HDR-550d摄像机在夜模式下拍摄, 相机架设于天津市过街天桥上, 拍摄角度与水平方向呈45 $\sim$ 60度, 帧率为25帧每秒, 每帧图像大小为240像素 × 320像素.本文采用Jaccard系数 [14]评估算法性能, 其中检测率E = TP/(FP + TP + FN), 误检率FPR = FP/(FP + TP + FN), 漏检率FNR = FN/(FP + TP + FN), 这里 TP表示正确检测数, FP表示错误检测数, FN表示漏检数.
由于文献[1]需要大量统计数据训练模型, 因此本文车灯检测结果没有与文献[1]的结果做对比.图 5是文献[4]中的彩色视频(第1行) 及所提供检测结果(第2行)与本文算法的检测结果(第3行)的对比, 图 5 (a)是第1帧, 图 5(b) $\sim$ 5 (d) 分别是间隔50帧截取的视频图像.其中, 图 5 (a)是对细条状的车道线干扰的处理结果, 图 5 (b)是对车身反射光干扰的处理结果, 图 5 (c)和图 5 (d)是对车身轮廓线及路面长条状强反射区域干扰的处理结果.通过图中矩形框标记部分的处理结果对比看出, 本文算法对车身反射光以及路面长条状强反射光抑制能力更强.由于文献[4]中只有这一段彩色视频能够较好地应用暗原色先验理论估计环境光, 因此本文只与这段视频的检测结果进行了对比. 表 1 是两种算法用于车灯检测的数据统计结果. 可以看出, 本文算法的车灯检测率较高, 误检数要比文献[4]低.
图 6和图 7是在车灯检测结果未做膨胀运算、静止路灯未被抑制的条件下, 本文算法与文献[5]算法在几种特殊情况下车灯检测结果的对比图.图 6是在同一视频中的车灯检测结果对比, 第1行为原视频图像, 第2行为文献[5]算法的检测结果, 第3行为本文算法的检测结果.由于本文大气反射 -散射模型能够有效抑制各类环境光及薄雾霾对车灯检测的影响, 在复原图像中得到亮度值最大的区域, 而车灯的亮度值最大且最稳定, 因此在图 6 (a)中, 当车身整体较暗时(如右下方车辆), 本文算法明显优于文献[5]算法. 图 6 (b) $\sim$ 6 (d)中, 当车灯功率比较大、车身整体较暗以及前挡风玻璃比较暗时, 本文算法不受邻域像素点亮度值的影响, 其检测结果比文献[5]有很大的提高, 能够克服其算法的不足.
图 6 相同条件下, 同一视频特殊情况检测结果对Fig. 6 Comparison of some special cases in the same video and conditions图 7是不同视频上述几种特殊情况下的车灯检测结果对比, 第1行为原视频图像, 第2行为文献[5]车灯检测结果, 第3行为本文检测结果. 图 7 (a) $\sim$ 7 (c)是车灯功率较大、车身整体较暗的情况, 图 7 (d)是存在单车灯照明功率很大及车身整体较暗的情况.由图中矩形框标记部分的处理结果对比可以看出, 大气反射 -散射模型表现出很好的检测性能.
图 7 相同条件下, 不同视频特殊情况检测结果对比Fig. 7 Comparison of special cases in di®erent videos and same conditions图 8~11例举了高密度(1 244帧)、雪后(915帧)、雨后(2 049帧)、高速(1 152帧)四种特殊视频图像的检测结果, 并与文献[5]检测结果对比. 图 8~11各图中的子图(a)是第1帧, 子图(b) $\sim$ (d)是视频序列中取相同帧间隔截取的图像, 根据视频长短, 4段视频序列的间隔帧数分别为150, 50, 300, 100.图 8~11的第1行均为原视频帧图像, 第2行为文献[5]的检测结果, 第3行为本文的检测结果.基于本文模型, 不仅能够稳定检测近景处的车灯并保持其几何特征不变, 而且对于远景处的车灯能够准确定位, 较文献[1-3, 8-9]方法检测效果更好.如在图 8 高密度车流情况下, 尽管有些车灯功率较大以及车身整体较暗, 本文算法依然能够稳定检测车灯; 在图 9的雪后情况, 漫反射抑制算法有效抑制了冰雪路面对车灯的强反射光; 在图 10的雨后情况, 除有效抑制积水路面的强反射光之外, 还利用暗原色先验理论抑制了雨后空气中的水雾; 在图 11的高速情况(右侧车道)下, 车辆在快速行进的过程中, 虽然车灯信息较为稳定, 但是路面强反射区域快速变化, 对车灯检测造成强烈的干扰, 本文算法对这种情况也有较好的检测效果.
表 2是图 8~11中本文方法与文献[5]方法在四种情况下车灯检测结果的数据统计结果.高密度情况下, 最高检测率达95.65 %, 比文献[5]最高检测率高出9.29 %.雨后情况下, 最高检测率可达100 %, 由于存在前灯照明功率较大、车身整体较暗的情况, 导致文献[5]的检测率相对较低.复杂高速情况下, 本文检测率仍然高于文献[5], 平均高出5.44 %.雪后情况下, 路面反射主要是镜面反射和漫反射 [11], 其反射光强度明显高于其他路面情况, 致使远处车灯与路面强反射光连成一片, 极难区分, 因此这种情况下的检测率较低.
表 2 四种特殊情况下车灯检测结果Table 2 Headlight detection under four special cases图像 实际车灯 检测车灯TP 漏检FN 误检FP 检测率E (%) 文献[5] 本文 文献[5] 本文 文献[5] 本文 文献[5] 本文 高密度 (a) 23 19 22 3 1 0 0 86.36 95.65 (b) 21 15 20 6 1 0 1 71.43 90.91 (c) 17 15 15 2 2 1 0 83.33 88.24 (d) 12 10 11 2 1 0 0 83.33 91.67 雪后 (a) 14 14 14 0 0 3 1 82.35 93.33 (b) 10 10 10 0 0 2 1 83.33 90.91 (c) 12 10 10 2 2 2 1 71.43 76.92 (d) 8 6 6 2 2 2 1 60 66.67 雨后 (a) 13 10 13 3 0 0 0 76.92 100 (b) 13 11 13 2 0 0 0 84.62 100 (c) 10 9 10 1 0 0 0 90 100 (d) 11 9 11 2 0 0 1 81.82 91.67 高速 (a) 15 13 14 2 1 0 1 86.67 87.5 (b) 11 9 10 2 1 0 0 81.82 90.91 (c) 22 20 21 2 1 1 1 86.96 91.30 (d) 22 21 22 1 0 1 1 91.30 95.45 应用本文算法对9段视频序列中共449辆车进行检测的数据统计及与文献[5]的对比结果如表 3所示.可以看出, 本文算法最高检测率达94.87 %, 比文献[5]的结果高出1.47 %, 最高漏检率低1.37 %, 最高误检率低4.2 %.
表 3 车灯检测结果Table 3 Headlight detection results视频序列 参数 序列1 序列2 序列3 序列4 序列5 序列6 序列7 序列8 序列9 实际车灯 66 92 52 52 116 212 76 144 105 文献[5] TP 64 87 51 51 114 208 75 135 99 FN+FP 2+8 5+6 1+4 1+12 2+12 4+16 1+6 9+1 6+1 E (%) 86.49 88.78 91.07 79.69 90.48 91.23 92.68 93.10 93.40 FNR (%) 2.70 5.10 1.79 1.56 1.56 1.75 1.22 6.21 5.66 FPR (%) 10.81 6.12 7.14 18.75 9.36 7.02 7.32 0.69 0.94 本文算法 TP 66 88 51 50 110 205 74 136 96 FN+FP 0+4 3+5 1+3 2+8 6+8 7+12 2+2 6+3 4+2 E (%) 94.29 91.67 94.44 83.33 93.22 91.52 94.87 93.79 94.12 FNR (%) 0 3.13 1.82 3.33 4.84 3.13 2.56 4.14 3.92 FPR (%) 5.71 5.21 5.45 13.33 6.45 5.36 2.56 2.07 1.96 图 12是在本文车灯检测结果的基础上, 应用作者之前开发系统 [6]的配对与追踪算法得到的效果示意图, 用最小匹配代价算法对每一帧内所有车灯配对, 根据配对情况提取车辆轨迹实现追踪, 并引入反馈修正机制对车辆轨迹进行修正, 达到系统实现夜间车辆自动识别、追踪的最终目的.
5. 结论与展望
本文基于大气反射 -散射模型的车灯检测方法, 根据漫反射原理抑制路面的漫反射光, 应用暗原色先验理论估计环境光和透射率, 得到只含有车灯与路面强反射光的复原图像, 对复原图像再利用暗原色先验理论重新估计环境光, 进一步抑制其中的强光, 本文算法能够适应多种复杂光照下的车灯检测, 能够用于挡风玻璃较暗且前灯照明功率过大这类特殊情况下的车灯提取, 能够有效降低路面强反射光区域以及车身镜面反射对车灯检测造成的影响.与文献[4]相比, 检测率提高了5.85 %, 与文献[5]相比, 平均检测率提高了2.70 %, 平均误检率降低了2.16 %, 平均漏检率降低了0.26 %, 尤其在高密度情况下, 比文献[5]的最高检测率高出7.80 %.本文算法在车灯筛选时有较多的阈值限制, 未来的工作将会对车灯特征做进一步的分析、分类, 用于车灯筛选.
致谢: 感谢Zhang教授 [4]提供的视频及车灯检测结果. -
图 6 相同条件下, 同一视频特殊情况检测结果对
Fig. 6 Comparison of some special cases in the same video and conditions
图 7 相同条件下, 不同视频特殊情况检测结果对比
Fig. 7 Comparison of special cases in di®erent videos and same conditions
表 1 检测结果与本文检测结果对比
Table 1 Comparative results of headlights detection by our and Zhang et al.[4] algorithm
视频 实际车灯 检测车灯TP 漏检FN 误检FP 检测率E 文献[4] 44 44 0 5 89.80% 本文算法 44 44 0 2 95.65% 
下载: 导出CSV
表 2 四种特殊情况下车灯检测结果
Table 2 Headlight detection under four special cases
图像 实际车灯 检测车灯TP 漏检FN 误检FP 检测率E (%) 文献[5] 本文 文献[5] 本文 文献[5] 本文 文献[5] 本文 高密度 (a) 23 19 22 3 1 0 0 86.36 95.65 (b) 21 15 20 6 1 0 1 71.43 90.91 (c) 17 15 15 2 2 1 0 83.33 88.24 (d) 12 10 11 2 1 0 0 83.33 91.67 雪后 (a) 14 14 14 0 0 3 1 82.35 93.33 (b) 10 10 10 0 0 2 1 83.33 90.91 (c) 12 10 10 2 2 2 1 71.43 76.92 (d) 8 6 6 2 2 2 1 60 66.67 雨后 (a) 13 10 13 3 0 0 0 76.92 100 (b) 13 11 13 2 0 0 0 84.62 100 (c) 10 9 10 1 0 0 0 90 100 (d) 11 9 11 2 0 0 1 81.82 91.67 高速 (a) 15 13 14 2 1 0 1 86.67 87.5 (b) 11 9 10 2 1 0 0 81.82 90.91 (c) 22 20 21 2 1 1 1 86.96 91.30 (d) 22 21 22 1 0 1 1 91.30 95.45
下载: 导出CSV
表 3 车灯检测结果
Table 3 Headlight detection results
视频序列 参数 序列1 序列2 序列3 序列4 序列5 序列6 序列7 序列8 序列9 实际车灯 66 92 52 52 116 212 76 144 105 文献[5] TP 64 87 51 51 114 208 75 135 99 FN+FP 2+8 5+6 1+4 1+12 2+12 4+16 1+6 9+1 6+1 E (%) 86.49 88.78 91.07 79.69 90.48 91.23 92.68 93.10 93.40 FNR (%) 2.70 5.10 1.79 1.56 1.56 1.75 1.22 6.21 5.66 FPR (%) 10.81 6.12 7.14 18.75 9.36 7.02 7.32 0.69 0.94 本文算法 TP 66 88 51 50 110 205 74 136 96 FN+FP 0+4 3+5 1+3 2+8 6+8 7+12 2+2 6+3 4+2 E (%) 94.29 91.67 94.44 83.33 93.22 91.52 94.87 93.79 94.12 FNR (%) 0 3.13 1.82 3.33 4.84 3.13 2.56 4.14 3.92 FPR (%) 5.71 5.21 5.45 13.33 6.45 5.36 2.56 2.07 1.96
下载: 导出CSV
-
[1] Zou Q, Ling H B, Luo S W, Huang Y P, Mei T. Robust nighttime vehicle detection by tracking and grouping headlights. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(5): 2838-2849 doi: 10.1109/TITS.2015.2425229 [2] Hajimolahoseini H, Soltanian-Zadeh H, Amirfattahi R. Robust vehicle tracking algorithm for nighttime videos captured by fixed cameras in highly reflective environments. IET Computer Vision, 2014, 8(6): 535-544 doi: 10.1049/iet-cvi.2013.0267 [3] Chen Y L, Wu B F, Huang H Y, Fan C J. A real-time vision system for nighttime vehicle detection and traffic surveillance. IEEE Transactions on Industrial Electronics, 2011, 58(5): 2030-2044 doi: 10.1109/TIE.2010.2055771 [4] Zhang W, Wu Q M J, Wang G H, You X G. Tracking and pairing vehicle headlight in night scenes. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(1): 140-153 doi: 10.1109/TITS.2011.2165338 [5] Tang C M, Hussain A. Robust vehicle surveillance in night traffic videos using an Azimuthally blur technique. IEEE Transactions on Vehicular Technology, 2015, 64(10): 4432-4440 doi: 10.1109/TVT.2014.2371067 [6] 汤春明, 聂美玲, 丁腾飞, 浩欢飞, 韩旭. 基于最小特征匹配代价的夜间车辆检测和追踪. 计算机应用与软件, 2015, 32(4): 292-296 http://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201504069.htmTang Chun-Ming, Nie Mei-Ling, Ding Teng-Fei, Hao Huan-Fei, Han Xu. Nighttime vehicle detection and tracking based on minimum feature matching cost. Computer Applications and Software, 2015, 32(4): 292-296 http://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201504069.htm [7] Rubio J C, Serrat J, Lopez A M, Ponsa D. Multiple-target tracking for intelligent headlights control. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(2): 594-605 doi: 10.1109/TITS.2011.2175219 [8] Jazayeri A, Cai H Y, Zheng J Y, Tuceryan M. Vehicle detection and tracking in car video based on motion model. IEEE Transactions on Intelligent Transportation Systems, 2011, 12(2): 583-595 doi: 10.1109/TITS.2011.2113340 [9] O'Malley R, Jones E, Glavin M. Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2): 453-462 doi: 10.1109/TITS.2010.2045375 [10] 齐保军. 大气散射模型在雾天图像增强和海面小目标检测中的应用 [博士学位论文], 国防科学技术大学, 中国, 2013.Qi Bao-Jun. The Application of Atmospheric Scattering Model in Image Contrast Enhancement and Surface of the Small Target Detection [Ph.D. dissertation], National University of Defense Technology, China, 2013. [11] Tan R T, Ikeuchi K. Separating reflection components of textured surfaces using a single image. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2): 178-193 doi: 10.1109/TPAMI.2005.36 [12] Bouguer P. Traité d'Optique Sur La Gradation De La Lumiére, 1729. 93-115 [13] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353 doi: 10.1109/TPAMI.2010.168 [14] Sneath P H A. Numerical Taxonomy: The Principles and Practice of Numerical Classification. New York, USA: W H Freeman Co, 1973. 53-85 [15] Kosaka N, Ohashi G. Vision-based nighttime vehicle detection using CenSurE and SVM. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(5): 2599-2608 doi: 10.1109/TITS.2015.2413971 [16] 吴迪, 朱青松. 图像去雾的最新研究进展. 自动化学报, 2015, 41(2): 221-239 http://www.aas.net.cn/CN/abstract/abstract18603.shtmlWu Di, Zhu Qing-Song. The latest research progress of image dehazing. Acta Automatica Sinica, 2015, 41(2): 221-239 http://www.aas.net.cn/CN/abstract/abstract18603.shtml [17] 刘海波, 杨杰, 吴正平, 张庆年, 邓勇. 基于暗通道先验和Retinex理论的快速单幅图像去雾方法. 自动化学报, 2015, 41(7): 1264-1273 http://www.aas.net.cn/CN/abstract/abstract18700.shtmlLiu Hai-Bo, Yang Jie, Wu Zheng-Ping, Zhang Qing-Nian, Deng Yong. A fast single image dehazing method based on dark channel prior and Retinex theory. Acta Automatica Sinica, 2015, 41(7): 1264-1273 http://www.aas.net.cn/CN/abstract/abstract18700.shtml 期刊类型引用(5)
1. 孙振杰，李彩风. 汽车车灯结构及工艺优化设计研究. 南方农机. 2020(12): 158 . 
百度学术2. 王巧月，陈树越，赵双. 基于图像分解和多重校正融合的车牌图像去雾算法. 计算机应用与软件. 2020(08): 202-206 . 百度学术3. 汤春明，肖文娜，董燕成，林祥清. 夜间城市交通监控中各类车辆轨迹的完整提取. 计算机工程与应用. 2018(06): 205-209 . 百度学术4. 王艳丽，杨花雨. 基于视频交通图像的潮汐车道自适应控制系统设计. 科学技术与工程. 2018(04): 349-354 . 百度学术5. 汤春明，林祥清，董燕成，肖文娜，林骏，耿磊. 基于大气散射原理构建模型检测夜间交通视频多景深车灯. 计算机辅助设计与图形学学报. 2017(09): 1673-1680 . 百度学术其他类型引用(5)
-
下载:
计量
- 文章访问数: 1986
- HTML全文浏览量: 281
- PDF下载量: 1411
- 被引次数: 10
