-
摘要: 为了得到有效的图像多尺度几何表达，提出一种有效的基于Haar小波变换的平稳Tetrolet变换算法.平稳Tetrolet变换是一种由四个单位正方形通过边连接起来的新的自适应Haar类小波变换，对应的滤波器组简单而有效.与标准二维小波变换相比，平稳Tetrolet变换是一种新型基于四格拼板的多尺度几何变换工具，能够通过多方向选择有效地捕获图像中各向异性特性.本文对平稳Tetrolet变换的分解和重构算法进行了详细描述，对利用平稳Tetrolet变换对图像的分解进行了仿真与分析.实验结果表明，与传统算法相比，提出的算法在保留原始图像边缘和纹理信息的同时，可以有效地取得较好的稀疏表达，能消除Tetrolet变换算法对图像融合存在方块效应的缺陷.
-
关键词:
- 图像处理 /
- 平稳Tetrolet变换 /
- 四格拼板 /
- Haar类小波变换 /
- 方块效应
Abstract: In order to get an efficient image multi-scale geometrical representation, an efficient stationary tetrolet transform algorithm based on haar wavelet transform is proposed. Stationary tetrolet transform is a new adaptive haar-type wavelet transform which is made by connecting four equal-sized squares. The corresponding filter bank algorithm is simple but very effective. Compared with the standard two dimensional wavelet transform, stationary tetrolet transform is a novel tetrominoes based multi-scale geometrical transform tool, which can capture image anisotropic geometrical structures information efficiently by multi-direction selection. In this paper, decomposition and reconstruction algorithms of the stationary tetrolet transform are described in detail, and the simulation and analysis of decomposition of the image using the stationary tetrolet transform are carried out. Experimental results show that compared with traditional algorithms, the proposed algorithm can get better sparse representation and eliminate the blocking artifacts in image fusion resulted from tetrolet transform algorithm. Meanwhile, the significant information of original image like textures and contour detail is well maintained. -
随着多尺度几何分析算法的出现, 计算调和分析和稀疏逼近算法得到了快速发展及广泛应用.在数字图像处理中, 为获得多尺度图像的细节成分, 关键是能实现图像的稀疏逼近表达, 能用尽可能少的系数去重构逼近原始图像.小波变换是早期出现的具有独特时频局域性分析能力的多尺度多分辨率分析方法.但研究发现, 小波变换具有各向同性的特点, 难以表示更高维的几何特征, 无法精确表达图像自身结构特征的边缘方向, 对于含"线"或"面"奇异的二维图像并不能"最优"表示.在此问题推动下, 从1997年开始, 多尺度几何分析的思想得到了很大发展, 对图像分解中的方向性和多尺度性进行了大量研究, 出现了一系列新的变换算法和方法, 提高了图像处理的精度和速度, 使图像处理研究进入一个新的阶段[1].
随着多尺度几何分析方法的发展, 一类带有方向性的稀疏表示方法的各种多尺度变换算法相继出现. 1997年Meyer和Coifman提出了一种自适应频带分割方法的Brushlet变换[2]; 1998年, Candès和Donoho提出了具有表示线奇异性的连续脊波Ridgelet变换[3]和连续曲波Curvelet变换[4]; 1999年Donoho提出了能较好地捕捉图像中的"线"和"面"特征的楔波Wedgelet变换[5]; 2000年法国学者Mallat等提出了能够自适应地跟踪图像的几何正则方向, 采用"几何流"这样一个反映图像连续区域变化概念的Bandelet变换[6].多尺度几何分析理论得到了快速的发展, 对图像处理取得很多应用成就.
2002年, Do和Vetterli提出了能用不同尺度和不同频率的子带更准确地捕获图像边缘的分段二次连续曲线的Contourlet变换, 使表示的逼近系数能量更加集中[7]. 2005年, Velisavljević等基于整数格点理论提出了一种能有效地捕捉和表示高维信号中的曲线奇异的可分离多方向多尺度图像表示方法Directionlets变换[8-9], 并得到广泛应用[10-11].
但上述多尺度几何分析方法在图像分解过程中和小波变换相比, 往往涉及过采样、不可分离的卷积运算以及复杂的滤波器设计, 计算量大, 采用的滤波器比较复杂. 2009年, Krommweh提出了一种新的自适应Haar小波变换— Tetrolet变换[12].
Tetrolet变换采用结构简单的Haar滤波器设计, 低通和高通滤波器仅由在方形区域内排列的4个像素值的平均和与平均差确定, 可使函数系统适应局部结构而非选取先验的基或框架, 但却可获得有更多方向选择性的各向异性分解.在的区域内不考虑旋转和反射有22种基本解, 在考虑旋转和反射分成不同区域的方法数为117种, 所以可以获得图像更多的方向性分解, 图像的边缘和纹理也被更多地提取出来, 能实现图像多种几何特征的最优逼近[13].
Tetrolet变换在图像压缩、图像降噪和图像融合等方面处理有一定的优势, 得到了广泛的应用, 但在图像融合处理中易于出现融合图像模糊以及Gibbs现象[14-16].本文针对Tetrolet变换在图像融合和图像降噪处理中出现的方块效应缺陷提出了平稳Tetrolet变换的算法, 在保留图像Tetrolet变换过程中的多尺度多分辨率特性、多方向性特性以及各向异性特性的同时, 增加了图像分解过程的冗余性, 有效地提高了图像处理的效果, 能消除采用Tetrolet变换进行图像处理过程中出现的方块效应[17].
1. Tetrolet变换算法
1.1 Tetrolet变换的基本思想
Tetrolet变换是由Krommweh提出的一种基于四格拼板(Tetrominoes)概念的Haar类小波变换, 能够根据图像的局部几何特征, 自适应地选择对应的四格拼板对正方形区域进行稀疏表达.与传统的多尺度变换Wavelet和Curvelet和Contourlet相比, 使用相同数量的变换系数重构可以得到更优的图像质量[18].
四格拼板的概念首先是由Golomb提出的应用于拼板游戏中的多边形拼板, 一般由4个单位正方形组成[19].如果考虑图像的边缘几何结构, 可以认为每块图像的几何信息都可以按拼板划分, 而且在不考虑旋转和反转的情况下都可以认为由5种不同形状的自由四格拼板填充.自由四格拼板的5种基本形式如图 1所示.
Tetrolet变换就是将图像按$4 \times 4$分块, 然后对每一块图像根据其几何信息进行拼板组合划分为4个区域, 并对每个区域进行离散Haar小波变换, 从而得到图像的稀疏表达逼近表示.
Tetrolet变换采用四格拼板结构进行分解, 每个四格拼板除了拐角相连外, 每个边缘也互相连接.在的区域内不考虑旋转和反射有22种基本解, 结构如图 2所示.第1行是没有经过旋转和反射变换; 第2行是经过等距变换映射得到的四种变换; 第3行是经过变换后得到的四个方向解; 第4行是经过变换得到的八个方向的十种非对称解.
图 2 Tetrolet基变换的22种四格拼板结构Fig. 2 kinds of tetrominoes structures for tetrolet basis transformation在考虑旋转和反射分成不同区域的方法数为117种, 所以可以获得图像更多的方向性分解, 图像的边缘和纹理也被更多地提取出来.
1.2 Tetrolet变换的分解结构
Tetrolet变换的图像多尺度分解一般是将低通图像按$4 \times 4$区域分块, 然后对每一块区域图像进行Tetrolet基变换, 将该区域图像分解为低通部分及$12 \times 1$高通部分.在Haar滤波器组中, 低通和高通滤波器仅由在方形区域内排列的4个像素值的平均和与平均差确定.例如将64像素$\times$ 64像素的图像进行Tetrolet变换, 在第一层Tetrolet变换中, 将图像分解为32像素$\times$ 32像素大小的低通部分和大小为16像素$\times$ 16像素(单位为$12 \times 1$块)的高通部分, 然后再对低通部分图像进行$4 \times 4$分块作下一层的Tetrolet基变换, 依此类推直至分解结束, 分解结构如图 3所示.这样就得到低频近似图像和多尺度多方向的高频图像, 其中图像的边缘细节和纹理主要分布在高频系数中.
图 3 图像的Tetrolet变换的多尺度分解结构图Fig. 3 Image multiscale decomposition structure using tetrolet transforms1.3 Tetrolet变换的算法步骤
设输入图像为$a^1=(a[i, j])_{i, j=1}^N$, 其中$N=2^J$, $J\in N$, 可以对图像进行$J$级Tetrolet变换, 进行第$r$级$r=1, 2, \cdots, J$变换分解的步骤为[12]:
步骤1. 将多尺度分解过程中的低频图像$a^{r-1}$, 按若干的区域进行分块处理得到分块$Q_{i, j}$, 其中$i, j=1, 2, \cdots, N/2^{r+1}$.
步骤2. 对每个分块区域$Q_{i, j}$按117种组合模式进行拼板划分, 划分后的4个区域中都是由4个像素点组成, 对每个划分区域进行Haar小波变换从而得到4像素的低通子带$a^{r, (c)}$系数和12像素组成的高通子带$w_l^{r, (c)}$系数, 其中$l=1, 2, 3$; $c$代表 117种组合索引, $c=1, 2, \cdots, 117$.
低通子带系数为
$ a^{r, (c)}[s]=\sum\limits_{(m, n){\in}I_s^{(c)}}{ε[0, L(m, n)]a^{r-1}[m, n]} $
(1) 高频子带系数为
$ w_l^{r, (c)}=\left(\sum\limits_{(m, n){\in}I_s^{(c)}} {{\varepsilon}[0, L(m, n)]a^{r-1}[m, n]}\right)_{s=0}^3 $
(2) 其中, ${\varepsilon}{[l, m]}$, $l, m=0, 1, 2, 3$是Haar小波变换矩阵里的元素.
$ \begin{align} W=({\varepsilon}[{l, m}])_{l, m=0}^3={\frac{1}{2}}\left[ \begin{array}{cccc} 1&1&1&1\\ 1&1&-1&-1\\ 1&-1&1&-1\\ 1&-1&-1&1\\ \end{array}\right] \end{align} $
(3) 式中$I_s^{(c)}$, $s=0, 1, 2, 3$表示四格拼板子集; $L$是$I_s^{(c)}$的四个索引$(m, n)$对到集合{0, 1, 2, 3}双射映射.
在得到分解系数后还需要找到一种覆盖$c^*$使得12个高频系数的$l_1$范数最小以选出最优参数, 选择原则为
$ c^*=\arg\mathop {\min }\limits_c{{\sum\limits_{l=1}^3\sum\limits_{s=0}^3} \left| w_l^{r, (c)}[s] \right|} $
(4) 因而, 选出最优方案后, 可以获得一组最优的Tetrolet分解系数[$a^{r, (c^*)}, w_l^{r, (c^*)}, w_2^{r, (c^*)}, w_3^{r, (c^*)}$].
步骤3. 为进行下一级的分解, 需要对子带系数$a^{r, (c)}$和$w_l^{r, (c)}$进行$2 \times 2$的矩阵重排.
$ \begin{align} a_{l|Q_{i,j}}^r=R({a^{r,{(c^*)}}})=\left[\begin{array}{cc} a^{r,(c^*)}[0]& a^{r,(c^*)}[2] \\ a^{r,(c^*)}[1]& a^{r,(c^*)}[4] \\ \end{array}\right] \end{align} $
(5) 同理可以重排高频子带$w_{l|Q_{i, j}}^r=R\left({w^{r, {(c^*)}}}\right)$.
步骤4. 保存低通子带矩阵$a^r$和高频子带矩阵$w_l^r$构成$a^{r-1}$.
$ \begin{align} a^{r-1}=\left[\begin{array}{cc} a^r & w_1^r \\ w_2^r & w_3^r \\ \end{array}\right] \end{align} $
(6) 步骤5. 重复步骤1 $\sim$ 4, 可以对图像进行最大分解尺度为$J$级的多尺度图像分解.
1.4 Tetrolet变换在图像融合中缺陷
Gibbs现象是由于相邻子图像数据在各个边界不连续造成的.由于子图像的变换系数在边界不连续, 造成复原的子图像在边界也不连续, 从而由复原子图像构成的整幅复原图像呈现隐约可见的以子图像尺寸为单位的方块状结构, 影响整个图像质量, 当子图像尺寸较小时更为严重.
采用Tetrolet变换算法的图像多尺度几何分解是按区域分块进行Tetrolet基变换, 相当于矩形窗对图像进行分割处理, 在进行滤波器滤波时会由于截断近似及频谱突跳产生高频泄漏效应而产生Gibbs现象.矩形窗在时域是突然截断的, 这就使矩形窗的频谱有较多的高频分量, 所以矩形窗旁瓣的相对幅度比较大.导致在进行图像融合时会产生方块效应, 分解的层次越多, 产生的方块效应越强烈.
图 4是采用Tetrolet变换不同层次分解且用3 $\times$ 3局部能量方法对不同焦距的时钟图像融合的效果. 图 4(a)是2层分解的融合结果, 图 4(b)是4层分解的融合结果, 图 4(c)是5层分解的融合结果, 图 4(d)是7层分解的融合结果.
图 4 采用Tetrolet变换不同层次分解的图像融合结果Fig. 4 Image fusion results with different levels decomposition using tetrolet transform从分解的融合效果看, 直接采用Tetrolet变换的分块方法, 在图像融合时容易产生Gibbs的方块效应影响融合效果, 且分解层次越多方块效应越明显.
为了有效地消除Gibbs现象, 目前的方法包括: 1)改变窗函数法使幅频特性的过渡带宽度变化, 从而使频率响应截止陡度变得更大以减小产生的泄漏效应; 2)镶边法是在原来不连续的理想频率响应的每边镶上两个连续变化的边, 以便在波形出现跃变时通过增加过渡点以消除跃变; 3)改变滤波因子截断长度法通过增加截断长度$N$来抑制泄漏效应; 4)自适应滤波器法以最小均方差为准则, 通过自动调节本身的单位脉冲响应特性, 达到最优化的滤波效果.
由于Tetrolet变换采用$4 \times 4$区域分块, 窗大小固定, 所以无法采用上述改变窗函数法; 同时由于Tetrolet变换采用固定的Haar滤波, 只是窗口内像素的加减代数运算, 所以也无法采用改变滤波因子截断长度的自适应滤波器法.只能通过采用镶边法通过窗口覆盖技术来消除边界的不连续性以消除Gibbs的方块效应, 这就是平稳Tetrolet变换的提出思想.
2. 平稳Tetrolet变换算法
Tetrolet变换分解后图像的高频子带图像和低频子带图像大小是上一层低频分解图像大小的一半. Tetrolet变换是按水平方面和垂直方向每$4 \times 4$进行顺序分块, 各分块之间没有重叠, 因而每分解一层图像的大小减半.由于图像分块之间没有重叠, 所以分解后图像系数在图像处理中容易出现图像的方块模糊效应和Gibbs现象, 无法满足图像处理的需要.
为了消除Tetrolet变换在图像处理中的缺陷, 引入冗余处理, 在图像分解过程中采用分块部分重叠方式, 在原有的Tetrolet变换分解系数中间插入新的重叠分块, 使分解后的每层图像的高频子带图像和低频子带图像的大小与原始图像的尺寸大小相同, 实现平稳Tetrolet变换.
2.1 平稳Tetrolet变换的基本思想
采用平稳Tetrolet变换实现图像的多尺度几何分解, 首先将低通图像按区域分块, 然后对每一块区域图像进行Tetrolet基变换, 将该区域图像分解为$2 \times 2$低通部分子带图像及高通部分子带系数.但在选取$4 \times 4$区域分块时按照$I_{i, j}=$ $[2i-1: 2i+2, 2j-1:2j+2)]$进行分块处理, 其中$i=1, 2, \cdots, M/2$, $j=1, 2, \cdots, N/2$, $M$和$N$是分解图像的行列大小值.
对于分块的平移按照水平方向每次增加2个像素位置向右平移, 垂直方向每次增加2个像素位置向下平移.这样在分块之间就会出现重叠选取, 可以有效地消除Tetrolet变换中出现的方块效应.
为了有效地消除边界效应对分解系数的影响, 在每层低频图像分解前需要对图像最后2列和最后2行进行镜像对称拓展.
例如将8像素$\times$ 8像素的图像进行平稳Tetrolet变换, 在第一层平稳Tetrolet变换中, 将图像分解为大小的低通部分和大小为$8 \times 8$ (单位为块)的高通部分, 然后再对低通部分图像进行分块作下一层的Tetrolet基变换, 依此类推直至分解结束, 分解结构如图 5所示.这样就得到低频近似图像和多尺度多方向的高频图像, 其中图像的边缘细节和纹理主要分布在高频系数中, 同时低频图像和高频子带图像大小尺寸与原始图像大小一致.
图 5 图像的平稳Tetrolet变换的多尺度分解结构图Fig. 5 Image multiscale decomposition structure using stationary tetrolet transform在图 5中, 区域分块的选取采用每次水平和垂直方向平移一个单位长度的分块模式, 相当于在Tetrolet变换分块中插入一个新的分块, 同时将新的分块分解后的低通系数及$12 \times 1$高通系数分别插入原来Tetrolet变换的分解系数中.从图 5可以看出, 平稳Tetrolet变换分解的系数相当于在原有的Tetrolet变换系数中隔行隔列的上采样, 插入对应的分解系数, 从而使分解的低频图像和高频图像与原始图像大小一致, 实现平稳Tetrolet变换.
图 5中水平方向标注的$4 \times 4$区域是Tetrolet变换分块, 垂直方向标注的$4 \times 4$区域是重叠的分块.水平方向标注的区域和$12 \times 1$区域是Tetrolet变换分解的低频系数和高频系数, 垂直方向标注的$2 \times 2$区域和区域是重叠分块得到的低频系数和高频系数.黑体表示的分块区域是Tetrolet变换分解的系数表达和位置, 平稳Tetrolet变换利用平移的改变有效地提高分解的冗余度以利于图像的融合处理.
2.2 平稳Tetrolet变换的分解算法步骤
设待变换图像$I=[(i, j)]$, $i=1, 2, \cdots, M$; $j=$ $1, 2, \cdots, N$, 其中$M$和$N$分别为图像的行列大小数值且均为偶数.设分解尺度为$J$, 则第$r$级($r=$ $1$, $2, \cdots, J$)平稳Tetrolet变换分解的步骤为:
步骤1. 将上一级分解得到低频图像的最后2列和最后2行按镜像对称方式进行边界扩展以消除边界影响. $end))]$, 其中$fliplr$表示左右翻转矩阵; $I^r=[I^r$; $flipud(I^r(end-1:end, :))]$, 其中$flipud$表示上下翻转矩阵.
步骤2. 为实现多尺度几何分解算法, 要对经边界处理后的低频图像进行$4 \times 4$区域分块处理, 按照$I_{i, j}^r=\{(2i-1:2i+2, 2j-1:2j+2)\}$对图像进行分块处理得到分块矩阵$Q_{i, j}$, 分块顺序为由左向右, 由上向下顺序进行分块处理, 其中$i=1, 2$, $\cdots$, $M/2$, $j=1, 2, \cdots, N/2$, $M$和$N$是待分解低频图像的行列大小值, 实际上就是原始图像的大小.
步骤3. 将每个分块矩阵$Q_{i, j}$按117种组合模式进行拼板划分, $4 \times 4$分块矩阵划分后的4个区域中都是由4个像素点组成, 按照式(1) $\sim$ (3)进行Haar小波变换从而得到4个像素的低通子带$a^{r, (c)}$系数和12个像素组成的高通子带$w_l^{r, (c)}$系数, 其中$l$ $=$ $1, 2, 3$; $c$代表 117种组合索引, $c=1, 2, \cdots, 117$.
步骤4. 按式(4)对得到的分解系数找到一种覆盖$c^*$使得12个高频系数的$l_1$范数最小以选出最优参数$w_l^{r, (c^*)}$, 从而获得一组最优的Tetrolet分解系数[$a^{r, (c^*)}$, $w_1^{r, (c^*)}$, $w_2^{r, (c^*)}$, $w_3^{r, (c^*)}$]. $w^{r, (c^*)}$是的高频系数矩阵, 高频系数可以归类为3个方向系数, 其中水平方向系数$w_1^{r, (c^*)}=w^{r, (c^*)}$ (1:3:12), 垂直方向系数$w_2^{r, (c^*)}=w^{r, (c^*)}$ (2:3:12)以及对角方向系数$w_3^{r, (c^*)}=w^{r, (c^*)}$ (3:3:12)的重排矩阵.
步骤5. 为进行下一级的分解, 需要对低频子带系数$a^{r, (c)}$按式(5)进行$2 \times 2$的矩阵重排.同时保存低频系数、高频系数以及覆盖序号.
步骤6. 将低频系数矩阵作为新的下一级分解图像重复步骤1 $\sim$ 5, 可以进行多尺度分解.
2.3 平稳Tetrolet变换的重构算法步骤
步骤1. 读取平稳Tetrolet变换分解后的系数矩阵得到分解的阶次$J$.从最高分解阶$J$开始将对应的高频系数和低频系数重构成第$J-1$阶分解的低频系数, 同时读取第$J$阶分解得到的对应低频系数矩阵$Low^J$和高频系数矩阵$High^J$以及覆盖序号索引$L^J$.
步骤2. 读取低频系数矩阵的中的低频系数$Low=Low^J(2i-1:2i, 2j-1:2j)$和读取对应高频系数矩阵中的高频系数$High=High^J$, 其中$i=1, 2, \cdots, M/2-1$, $j=1, 2, \cdots, N/2-1$, $M$和$N$是待重构低频图像的行列大小值.
步骤3. 将读取的4个低频系数和12个高频系数重排成四个部分并进行Haar小波重构的逆运算.重排的每个部分是由1个低频系数和3个高频系数组成的4个数, 分别为$coef_k= [Low(k), High(3k$ $-$ $2:3k)]$, 其中$k=1, 2, 3, 4$.每部分4个系数与式(3)中的矩阵进行相乘得到重构的$4\times 4$的16个数矩阵.
步骤4. 根据覆盖序号索引对重构得到的16个系数进行重新排序, 得到最终的重构后$4\times 4$的16个数矩阵.
步骤5. 因为在分解时分块的操作出现重叠提取的, 除前2行和最后2行, 前2列和最后2列的系数外, 其他元素选择了4次分解, 所以重构后系数矩阵需要除4操作.要注意图像四边边缘2行和2列的数值处理, 这是重构的关键.在由左向右重构时前2列和后2列重构后数据保持不变, 其他列重构后数据需要除2操作; 同时在由上向下重构时前2行和最后2行重构数据保持不变, 其他行数据除2操作.这样实际上是重构的矩阵除四个角落的元素第1行的前2列和后2列, 最后1行的前2列和后2列元素保持不变, 其他的前2行和最后2行, 前2列和最后2列的元素叠加后只除以2, 同时中间行列元素叠加后除以4, 这样可以得到重构的第$J-1$阶分解的低频系数.
步骤6. 重复步骤1 $\sim$ 5的运算可以得到最终重构的图像, 重构后图像和原始图像能完全相同.
3. 平稳Tetrolet变换分解实验及分析
根据平稳Tetrolet变换的分解算法可知, 平稳Tetrolet变换采用的是在原来Tetrolet变换基础上的插值算法, 是一种冗余变换, 利用窗口的重叠算法在频域通过增加过渡点的方法可以有效地减小窗函数旁瓣的相对幅度, 增加了主瓣的宽度, 从而有效地消除产生方块效应的Gibbs现象.
为了验证平稳Tetrolet变换分解和重构算法的有效性, 采用256像素$\times$ 256像素的Lena图像进行分解验证.同时将平稳Tetrolet变换分解与Tetrolet变换分解、小波变换分解以及平稳小波变换分解算法进行系数比较.分解层次为3层, 小波变换分解基函数采用biorthogonal 6.8滤波器组.
3.1 平稳Tetrolet变换的分解实验
图 6(a)是用小波变换3层分解的各层系数图像, 图 6(b)是用Tetrolet变换3层分解后的各层系数图像; 图 7(a), (c), (e)分别是平稳小波变换分解的第1 $\sim$ 3层系数图像, 图 7(b), (d), (f)分别是平稳Tetrolet变换分解的第1 $\sim$ 3层系数图像.
图 6 小波变换和Tetrolet变换3层分解系数图像Fig. 6 The three layer decomposition coefficient image using wavelet transform and tetrolet transform
图 7 平稳小波变换和平稳Tetrolet变换3层分解系数图像Fig. 7 The three layer decomposition coefficient image using stationary wavelet transform and stationary tetrolet transform实验表明, 提出的平稳Tetrolet变换可以有效地实现图像的分解且保留更多的图像细节, 实际实验也表明对于大尺度图像可以很好地实现图像的平稳多尺度的分解.
3.2 平稳Tetrolet变换的图像融合实验
平稳Tetrolet变换是对常规Tetrolet变换的一种改进算法, 在算法上通过取样窗口的迭代算法消除取样窗口数据边缘的跳跃特性, 使得分解后的系数具有稀疏的冗余性, 可以有效地消除在图像融合中的方块效应, 从而使平稳Tetrolet变换更适合于图像的融合处理.
为了验证平稳Tetrolet变换算法的有效性, 采用对不同焦距的时钟图像用局部能量方法实现融合处理, 比较不同分解层次下图像的融合结果, 观察方块效应的Gibbs现象的消除效果. 图 8是采用平稳Tetrolet变换不同层次分解的时钟图像融合的效果. 图 8(a)是2层分解的融合结果, 图 8(b)是4层分解的融合结果, 图 8(c)是5层分解的融合结果, 图 8(d)是7层分解的融合结果.
图 8 采用Tetrolet变换不同层次分解的图像融合结果Fig. 8 Image fusion results with different levels of decomposition using tetrolet transform从实验结果可以得出, 与直接采用Tetrolet变换实现图像的融合处理结果图 4比较, 利用平稳Tetrolet变换分解算法可以有效消除Tetrolet变换在图像融合中出现的方块效应, 即使在多尺度多层次分解中仍然可以获得良好的图像融合效果, Tetrolet变换中出现的方块Gibbs现象由于分解的冗余性而得到改善.
为了验证平稳Tetrolet变换不同层次分解的图像融合效果, 采用常用的客观指标信息熵、交叉熵、均值、标准差等[20]来衡量融合效果.
从表 1可以看出, 采用平稳Tetrolet变换不同层次分解的图像融合效果有不同, 分解层次越多, 标准差和信息熵越大, 交叉熵越小, 说明融合效果越好.也说明平稳Tetrolet变换消除了直接采用Tetrolet变换的分块变换在图像融合时产生Gibbs的方块效应的不利影响, 消除了分解层次越多方块效应越明显的缺陷.
为了验证平稳Tetrolet变换算法的有效性, 对多波段遥感图像进行融合比较, 实验结果采用小波变换(Wavelet transform, WT)、平稳小波变换(Stationary wavelet transform, SWT)、Contourlet变换(Contourlet transform, CT)、非下采样Contourlet变换(Nonsubsampled contourlet transform, NSCT)、Directionlet变换(Directionlet transform, DT)和平稳Tetrolet变换(Stationary Tetrolet transform, STT)等变换方法进行融合比较.为使图像的细节突出, 这里采用原图中304像素$\times$ 304像素大小的局部图.
小波分解基函数采用biorthogonal 6.8滤波器组, 分解层次为3层. Contourlet变换采用"9-7"滤波器多层分解, 采用"pkva"滤波器实现方向分解, 且分解为3层, 每层8个方向; 在Directionlets变换中采用双正交9/7小波滤波器组; 栅格生成矩阵以$45^\circ$方向分割的栅格陪集以及变换后按$-45^\circ$方向排列的陪集; 分解层次为3层.融合方法采用3 $\times$ 3局部能量方法实现融合.
不同分解算法得到的具体融合结果如图 9所示. 图 9(a)和图 9(b)是原始待融合的多波段图像; 图 9(c)是小波变换融合结果; 图 9(d)是平稳小波变换融合结果; 图 9(e)是Contourlet变换融合结果; 图 9(f)是非下采样Contourlet变换融合结果; 图 9(g)是Directionlet变换融合结果; 图 9(h)是平稳Tetrolet变换融合结果.
为了验证平稳Tetrolet变换分解的图像融合效果, 采用信息熵、交叉熵、均值、标准差等[21-22]的客观指标来衡量融合效果, 具体评价指标如表 2所示.从表 2可以看出, 平稳Tetrolet变换有较好的标准差和信息熵, 说明平稳Tetrolet变换在图像融合中可以对不同图像进行融合处理, 也说明平稳Tetrolet变换具有较好的融合效果.
表 2 不同分解方法的融合图像定量指标Table 2 Quantitative index of fusion image using different decomposition methods不同分解方法 均值 标准差 熵值 平均交叉熵 均方根交叉熵 WT 140.273 63.452 7.5993 0.4487 0.4502 SWT 140.318 63.866 7.5959 0.4440 0.4480 CT 140.561 63.226 7.6052 0.4302 0.4325 NSCT 140.356 63.703 7.5910 0.4412 0.4458 DT 140.411 61.289 7.5268 0.4897 0.4974 STT 140.309 63.216 7.6236 0.4462 0.4476 从上述不同分解算法得到的融合结果的实验效果看, 平稳Tetrolet变换能消除Tetrolet变换在图像融合中出现的Gibbs方块现象, 同时从实验指标看, 平稳Tetrolet变换在图像融合效果方面与传统图像融合的效果相当.但平稳Tetrolet变换相比传统多分辨率分解的融合, 最大的优势是无须事先设定滤波器, 只是利用图像的自身像素值运算就可以实现传统多尺度分解算法的同样效果.
更重要的是平稳Tetrolet变换的分解能获得更多的图像方向性, 边缘和纹理信息能更多地被保留.为了衡量各种方法对于边缘的保留特性, 引入边缘保持指数(Edge preserving index, EPI)来定量表述上述不同方法融合后图像对原始图像的边缘保持效果.
首先利用边缘检测算子的Canny算子对原始待融合图像和融合后图像进行边缘检测, 为反映水平方向和垂直方向的边缘保持指数, 采用式(7)表达式所示算法进行表示, 利用原始待融合图像的边缘之和与融合后图像边缘之和的比值来表示.边缘保持指数EPI数值越小, 说明图像边缘保留能力越强.
$ EPI=\dfrac{\displaystyle{\sum\limits_{j=0}^N\sum\limits_{i=0}^M}{I_{\rm canny}^O}(i, j)}{\displaystyle{\sum\limits_{j=0}^N\sum\limits_{i=0}^M}{I_{\rm canny}^F}(i, j)} $
(7) 其中, $I_{\rm canny}^O(i, j)$和分别为原始待融合图像和融合后图像经过Canny算子边缘检测后图像, $M$和$N$是图像的大小$M\times N.$
为衡量边缘保持效果, 分别将融合后图像与图 9(a), (b)原始图像进行比较计算, 结果如表 3所示.从表 3可以看出, 采用本文方法实现的图像融合可以最大程度地保留原始图像边缘和纹理信息.
3.3 稳Tetrolet变换的稀疏性实验
稀疏性是多尺度几何分析方法中一个比较典型的特征, 能用最少的非零元素逼近几何边缘, 通过最小数量的系数尽可能多地描述信号的能量.信号稀疏表示的目的是在给定的超完备字典中用尽可能少的原子表示信号, 可以获得信号更为简洁的表示方式, 从而更容易获取信号中所蕴含的信息, 更方便进一步对信号进行加工处理.信号的稀疏性是指一个$n$维实信号可以在一组基下展开成一个$k$-稀疏的向量, 就是该向量的非零元素为$k, $而$k$远小于$n.$
为了验证平稳Tetrolet变换后系数的稀疏性, 采用对256像素$\times$ 256像素的Lena图片分解来验证.小波变换分解基函数采用biorthogonal 6.8滤波器组, 分别将小波变换和平稳小波变换3层分解后各层的对角子带系数与对应Tetrolet变换和平稳Tetrolet变换3层分解后各层的对角子带系数分布进行比较.从实验结果可以得出, 平稳Tetrolet变换分解后系数的稀疏性最好.
图 10是四种方法分解的第2层和第3层对角子带系数归一化后的直方图分布. 图 10(a)是小波变换后第2层对角系数分布; 图 10(b)是Tetrolet变换后第2层对角系数分布; 图 10(c)是平稳小波变换后第2层对角系数分布; 图 10(d)是平稳Tetrolet变换后第2层对角系数分布; 图 10(e)是小波变换后第3层对角系数分布; 图 10(f)是Tetrolet变换后第3层对角系数分布; 图 10(g)是平稳小波变换后第3层对角系数分布; 图 10(h)是平稳Tetrolet变换后第3层对角系数分布.
图 10 平稳小波和平稳Tetrolet变换分解归一化系数分布图Fig. 10 Normalized coefficient distribution map using stationary wavelet transform and stationary tetrolet transform从图 10中可以看出, 平稳Tetrolet变换可以获得良好的系数稀疏性, 更多的系数集中在0的附近.同时由于分解时无需复杂的基函数, 所以重构后图像和完全复现原始图像.
为了验证平稳Tetrolet变换分解后系数的稀疏普适性, 对遥感极化图像的水平极化方向图像进行分解验证.图像大小为1 024像素$\times$ 1 024像素, 也是采用3层分解, 同时对分解后对角子带系数分布进行比较. 图 11是遥感极化图像的水平极化方向图像, 各种方法分解后系数分布如图 12所示.
图 11 遥感极化图像的水平极化方向图像Fig. 11 Horizontally polarized images of remote sensing polarimetric image
图 12 平稳小波和平稳Tetrolet变换分解归一化系数分布图Fig. 12 Normalized coefficient distribution map using stationary wavelet transform and stationary tetrolet transform图 12表达的是四种方法分解的第2层和第3层对角子带系数归一化后的直方图分布. 图 12(a)是小波变换后第2层对角系数分布; 图 12(b)是Tetrolet变换后第2层对角系数分布; 图 12(c)是平稳小波变换后第2层对角系数分布; 图 12(d)是平稳Tetrolet变换后第2层对角系数分布; 图 12(e)是小波变换后第3层对角系数分布; 图 12(f)是Tetrolet变换后第3层对角系数分布; 图 12(g)是平稳小波变换后第3层对角系数分布; 图 12(h)是平稳Tetrolet变换后第3层对角系数分布.
上述不同的图像分解实验表明, 对于尺度较大的图像经平稳Tetrolet变换也可以获得较好的系数稀疏性表达.
4. 结论
平稳Tetrolet变换独特的简单滤波器设计、多方向性匹配、多尺度分解、多特征表达等特点, 能对图像的边缘和轮廓进行稀疏表达和逼近表达, 保留更多的图像细节特征, 比其他多尺度几何变换具有更好的变换精度和计算简单特性.由于分解函数适应局部结构而非选取先验的基或框架, 只是图像滤波器的区域像素的平均和平均差决定, 分解后图像具有稳定的鲁棒性, 适合图像的融合处理, 同时也易于硬件的实现.
平稳Tetrolet变换是对目前的Tetrolet变换的优化处理, 利用分块窗口的重叠算法, 相当于对于常规的Tetrolet变换分解系数的插值运算, 有效地消除了Tetrolet变换中出现的方块Gibbs现象, 提高了图像分解的冗余度, 为图像的融合等处理提供了一种新的算法, 通过实验也验证了该算法的有效性.
-
图 2 Tetrolet基变换的22种四格拼板结构
Fig. 2 kinds of tetrominoes structures for tetrolet basis transformation
图 3 图像的Tetrolet变换的多尺度分解结构图
Fig. 3 Image multiscale decomposition structure using tetrolet transforms
图 4 采用Tetrolet变换不同层次分解的图像融合结果
Fig. 4 Image fusion results with different levels decomposition using tetrolet transform
图 5 图像的平稳Tetrolet变换的多尺度分解结构图
Fig. 5 Image multiscale decomposition structure using stationary tetrolet transform
图 6 小波变换和Tetrolet变换3层分解系数图像
Fig. 6 The three layer decomposition coefficient image using wavelet transform and tetrolet transform
图 7 平稳小波变换和平稳Tetrolet变换3层分解系数图像
Fig. 7 The three layer decomposition coefficient image using stationary wavelet transform and stationary tetrolet transform
图 8 采用Tetrolet变换不同层次分解的图像融合结果
Fig. 8 Image fusion results with different levels of decomposition using tetrolet transform
图 10 平稳小波和平稳Tetrolet变换分解归一化系数分布图
Fig. 10 Normalized coefficient distribution map using stationary wavelet transform and stationary tetrolet transform
图 11 遥感极化图像的水平极化方向图像
Fig. 11 Horizontally polarized images of remote sensing polarimetric image
图 12 平稳小波和平稳Tetrolet变换分解归一化系数分布图
Fig. 12 Normalized coefficient distribution map using stationary wavelet transform and stationary tetrolet transform
表 1 图 8中不同分解层次的融合图像定量指标
Table 1 Quantitative index of fusion image using different decomposition levels in Fig. 8
不同层次分解 均值 标准差 熵值 平均交叉熵 均方根交叉熵 2层分解 77.419 39.713 6.959 0.3635 0.4455 4层分解 77.408 39.941 6.974 0.2678 0.3283 5层分解 77.356 40.114 6.983 0.2318 0.2843 7层分解 77.287 40.334 6.999 0.2045 0.2509 
下载: 导出CSV
表 2 不同分解方法的融合图像定量指标
Table 2 Quantitative index of fusion image using different decomposition methods
不同分解方法 均值 标准差 熵值 平均交叉熵 均方根交叉熵 WT 140.273 63.452 7.5993 0.4487 0.4502 SWT 140.318 63.866 7.5959 0.4440 0.4480 CT 140.561 63.226 7.6052 0.4302 0.4325 NSCT 140.356 63.703 7.5910 0.4412 0.4458 DT 140.411 61.289 7.5268 0.4897 0.4974 STT 140.309 63.216 7.6236 0.4462 0.4476
下载: 导出CSV
-
[1] 陈勇, 樊强, 帅锋.基于小波分析的图像稀疏保真度评价.电子与信息学报, 2015, 37(9):2055-2061 http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201509004Chen Yong, Fan Qiang, Shuai Feng. Sparse image fidelity evaluation based on wavelet analysis. Journal of Electronics and Information Technology, 2015, 37(9):2055-2061 http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201509004 [2] Meyer F G, Coifman R R. Brushlets:a tool for directional image analysis and image compression. Applied and Computational Harmonic Analysis, 1997, 4(2):147-187 doi: 10.1006/acha.1997.0208 [3] Candés E J, Donoho D L. Ridgelets:a key to higher-dimensional intermittency? Philosophical Transactions of the Royal Society A:Mathematical, Physical and Engineering Sciences, 1999, 357(1760):2495-2509 doi: 10.1098/rsta.1999.0444 [4] Starck J L, Candés E J, Donoho D L. The curvelet transform for image denoising. IEEE Transactions on Image Processing, 2002, 11(6):670-684 doi: 10.1109/TIP.2002.1014998 [5] Donoho D L. Wedgelets:nearly minimax estimation of edges. The Annals of Statistics, 1999, 27(3):859-897 doi: 10.1214/aos/1018031261 [6] Mallat S, Peyré G. A review of bandlet methods for geometrical image representation. Numerical Algorithms, 2007, 44(3):205-234 doi: 10.1007/s11075-007-9092-4 [7] Do M N, Vetterli M. The Contourlet transform:an efficient directional multiresolution image representation. IEEE Transactions on Image Processing, 2005, 14(12):2091-2106 doi: 10.1109/TIP.2005.859376 [8] Velisavljević V, Beferull-Lozano B, Vetterli M, Dragotti P L. Directionlets:anisotropic multidirectional representation with separable filtering. IEEE Transactions on Image Processing, 2006, 15(7):1916-1933 doi: 10.1109/TIP.2006.877076 [9] Velisavljević V, Vetterli M, Beferull-Lozano B, Dragotti P L. Sparse image representation by directionlets. Advances in Imaging and Electron Physics, 2010, 161:147-209 doi: 10.1016/S1076-5670(10)61004-X [10] 张德祥, 张晶晶, 吴小培, 高清维.基于Directionlets变换的偏振图像融合.电子与信息学报, 2011, 33(12):2795-2800 http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201112001Zhang De-Xiang, Zhang Jing-Jing, Wu Xiao-Pei, Gao Qing-Wei. Fusion of polarization image based on directionlets transform. Journal of Electronics and Information Technology, 2011, 33(12):2795-2800 http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201112001 [11] Lu Y X, Gao Q W, Sun D, Xia Y, Zhang D X. SAR speckle reduction using Laplace mixture model and spatial mutual information in the directionlet domain. Neurocomputing, 2015, 173:633-644 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=0f3cf356e998c51911fa1bf31045295a [12] Krommweh J. Tetrolet transform:a new adaptive haar wavelet algorithm for sparse image representation. Journal of Visual Communication and Image Representation, 2010, 21(4):364-374 doi: 10.1016/j.jvcir.2010.02.011 [13] Raghuwanshi G, Tyagi V. Texture image retrieval using adaptive tetrolet transforms. Digital Signal Processing, 2016, 48:50-57 doi: 10.1016/j.dsp.2015.09.003 [14] Jain P, Tyagi V. An adaptive edge-preserving image denoising technique using tetrolet transforms. The Visual Computer, 2015, 31(5):657-674 doi: 10.1007/s00371-014-0993-7 [15] 陈原, 张荣, 尹东.基于Tetrolet Packet变换的SAR图像稀疏表示.电子与信息学报, 2012, 34(2):261-267 http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201202002Chen Yuan, Zhang Rong, Yin Dong. SAR image sparse representation based on tetrolet packet transform. Journal of Electronics and Information Technology, 2012, 34(2):261-267 http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201202002 [16] 高继森, 董亚楠, 沈瑜, 张春兰.基于改进Tetrolet变换的图像融合算法研究.计算机科学, 2015, 42(5):320-322 http://d.old.wanfangdata.com.cn/Periodical/jsjkx201505065Gao Ji-Sen, Dong Ya-Nan, Shen Yu, Zhang Chun-Lan. Research of image fusion algorithm based on improved tetrolet transform. Computer Science, 2015, 42(5):320-322 http://d.old.wanfangdata.com.cn/Periodical/jsjkx201505065 [17] 周雨薇, 杨平吕, 陈强, 孙权森.基于MTF和变分的全色与多光谱图像融合模型.自动化学报, 2015, 41(2):342-352 http://www.aas.net.cn/CN/abstract/abstract18613.shtmlZhou Yu-Wei, Yang Ping-Lv, Chen Qiang, Sun Quan-Sen. Pan-sharpening model based on MTF and variational method. Acta Automatica Sinica, 2015, 41(2):342-352 http://www.aas.net.cn/CN/abstract/abstract18613.shtml [18] Krommweh J, Ma J W. Tetrolet shrinkage with anisotropic total variation minimization for image approximation. Signal Processing, 2010, 90(8):2529-2539 doi: 10.1016/j.sigpro.2010.02.022 [19] 沈瑜, 伍忠东, 王小鹏, 董亚楠, 江娜.基于模糊算子的Tetrolet变换图像融合算法.计算机科学与探索, 2015, 9(9):1132-1138 http://d.old.wanfangdata.com.cn/Periodical/jsjkxyts201509014Shen Yu, Wu Zhong-Dong, Wang Xiao-Peng, Dong Ya-Nan, Jiang Na. Tetrolet transform images fusion algorithm based on fuzzy operator. Journal of Frontiers of Computer Science and Technology, 2015, 9(9):1132-1138 http://d.old.wanfangdata.com.cn/Periodical/jsjkxyts201509014 [20] 闫莉萍, 刘宝生, 周东华.一种新的图像融合及性能评价方法.系统工程与电子技术, 2007, 29(4):509-513 doi: 10.3321/j.issn:1001-506X.2007.04.003Yan Li-Ping, Liu Bao-Sheng, Zhou Dong-Hua. Novel image fusion algorithm with novel performance evaluation method. Systems Engineering and Electronics, 2007, 29(4):509-513 doi: 10.3321/j.issn:1001-506X.2007.04.003 [21] 王志明.无参考图像质量评价综述.自动化学报, 2015, 41(6):1062-1079 http://www.aas.net.cn/CN/abstract/abstract18682.shtmlWang Zhi-Ming. Review of no-reference image quality assessment. Acta Automatica Sinica, 2015, 41(6):1062-1079 http://www.aas.net.cn/CN/abstract/abstract18682.shtml [22] 张小利, 李雄飞, 李军.融合图像质量评价指标的相关性分析及性能评估.自动化学报, 2014, 40(2):306-315 http://www.aas.net.cn/CN/abstract/abstract18292.shtmlZhang Xiao-Li, Li Xiong-Fei, Li Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion. Acta Automatica Sinica, 2014, 40(2):306-315 http://www.aas.net.cn/CN/abstract/abstract18292.shtml 期刊类型引用(1)
1. 吴捷，马小虎. 基于Tetrolet-Radon变换与Schur分解的盲水印算法. 现代电子技术. 2021(05): 41-46 . 
百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 1733
- HTML全文浏览量: 271
- PDF下载量: 526
- 被引次数: 3
