刘斌，袁东
（湖北大学 计算机与信息工程学院，湖北 武汉430062）
0 引言
目前，主流的图像融合方法主要有基于空间域的融合方法和基于变换域的融合方法。在变换域的图像融合方法中，自基于Laplacian金字塔的融合方法[1]提出以来，大量基于多尺度变换理论的方法被广泛运用到图像融合中，常用的多尺度变换工具有：具有各向异性和平移不变性的非下采样轮廓波变换（NSCT）[2]和非下采样的剪切波变换（NSST）[3]、张量积小波变换[4]、双树复小波变换（DTCWT）[5]等。
在这些方法中，基于Laplacian金字塔的融合方法实现容易，计算简单，但它在系数处理过程中引入了较大噪声，损失了许多高频信息；基于NSCT的图像融合方法和基于NSST的图像融合方法的实质是在基于Laplacian塔形分解的基础上进行多方向分解，没有改变Laplacian塔形分解的缺陷，且方向的层数被限制在2N层；基于张量积小波的图像融合方法得到的融合图像具有很明显的方块效应。
融合规则的设计在很大程度上影响融合结果，近年来，提出了大量基于融合规则的图像融合方法：基于稀疏表示的融合规则（SR）[5]、基于主成分分析的融合规则（PCA）[6]、基于感兴趣信息的融合规则（IOI）[7]、基于向导滤波的融合规则[8]等。随着深度学习的迅速发展，文献[9]提出了基于CNN的图像融合方法，该方法利用CNN解决了图像像素权重分配和融合规则设计的两个关键问题，克服了传统方法中融合框架设计复杂的问题。文献[10]利用VGG-19卷积滤波器具有提取图像特征的性质，提取网络中间层细节特征，并利用这些提取的细节特征生成融合图像。但这些方法都没有对图像高低频进行划分，不符合人眼的视觉规律。文献[11]提出了一种基于小波变换的CNN多尺度超分辨率网络，该网络利用张量积小波变换可以获取高分辨率图像的精细细节。文献[12]提出了基于张量积小波变换与CNN结合的图像融合方法，利用张量积小波将图像分解为高低频，再使用CNN对图像高低频分别进行融合。文献[13]根据文献[9]的方法，将原图像进行NSST分解，低频部分使用文献[9]的融合规则，高频部分使用基于向导滤波[8]的Laplacian能量和取大的融合规则，最后将高频和低频重构得到融合结果，该方法取得了不错的融合效果，但在分解时并没有解决NSST的缺陷，信息的损失以及光谱信息的扭曲仍没有解决。
不可分小波，即非张量积小波，克服了以上缺陷，它不同于张量积小波，在图像处理过程中直接用二维曲面去逼近图像，它具有的各向同性弥补了张量积小波在方向上的不足，可以同时具备紧支撑性、正交性和对称性。文献[14]提出的基于二维四通道不可分小波的图像融合方法取得了很好的融合效果，但是由于二维不可分小波不受张量积的限制，其对应的滤波器种类和个数根据所给的参数不同，可以有无限多种。大量的滤波器良莠不齐，而在滤波器的选择时，只是凭经验选择滤波器，没有更科学、可靠的客观选择方法，很难取得理想的效果。因此，如何选取好的滤波器成为了二维不可分小波在图像融合中的一个问题。
一个好的融合方法可以获得高质量的融合结果图像，反之，融合结果图像的质量衡量了融合方法的价值。当前图像质量评价的方式主要有两种：主观性能评价和客观性能评价，主观性能评价就是评价者用肉眼去观察结果图像，并对结果做出评价，这种方法简单、直观，但是它过于依赖评价者的主观感受，且不适合做大量工作；客观性能评价使用客观指标对融合图像进行评价，这种方法可以消除主观影响，用定量的数值评价融合结果。多聚焦图像融合，就是将同一场景的两幅或者多幅聚焦于不同位置的图像融合成一张清晰图像，目的是使融合结果图像整体更加清晰，因此，图像清晰度成为评价多聚焦图像融合结果的重要指标。若设F为融合结果图像，则F的清晰度表达式为：
式中：ΔFx和ΔFy分别表示图像F在x和y方向的差分；M，N分别表示图像的长和宽。Definition的值越大，表示融合结果图像越清晰。
在基于小波分析的融合方法中，融合结果图像质量的好坏主要依赖于小波（滤波器）和融合规则的选择，而当融合规则确定了，起决定作用的就是小波（滤波器），对于多聚焦图像融合而言，好的滤波器会得到清晰的融合结果图像，反之，较差的滤波器会得到清晰度较低的融合结果图像，即融合结果图像清晰度依赖于小波滤波器的选择，据此，本文拟利用深度学习的方法探讨基于融合结果图像的清晰度目标下的不可分小波滤波器组的最优选择。
目前，深度学习在图像处理领域取得了很大的成功。CNN作为目前最热门的深度学习模型之一，自从它被提出以来，就被成功地运用到各个领域，尤其是在图像识别方面。受CNN强大学习能力的启发，本文拟使用CNN作为二维四通道不可分小波滤波器识别模型，而据查阅中外文献所知，目前没有将深度学习模型应用于滤波器识别的研究。
1 二维四通道6×6不可分小波滤波器组的构造
文献[15]利用一维小波，提出了张量积小波的图像融合方法，小波分析的优越性能使它迅速得到了推广。但也有其局限性，即一维小波的有限种类限制了二维张量积小波的种类。此外，张量积小波只强调水平和垂直方向的信息，而非张量积小波由于其各向同性，可以更加精确地描述图像的边缘细节信息。
文献[14]根据文献[16]提出的高维非张量积小波滤波器组的构造方法，提出了二维四通道不可分小波及滤波器组的构造方法。
式 中：x=e-iω1；y=e-iω2；Uj(j=1,2,…,K)为 正 交 阵；D(x,y)=diag(1,x,y,xy)，为对角线上元素分别为1，x，y，xy的对角矩阵，且为x，y的函数为正交阵，V1,V2,V3为4×1的向量，V0=(1,1,1,1)T。因此，设计了如下二维四通道6×6不可分小波滤波器组。
方法一：取K=2，
可以证明，U1，U2，V2为正交阵，因为K=2，x和y的最高次幂为5，所以滤波器的尺寸为6×6。根据式（2），当t1，t2取不同的适当值时，可以得到不同的二维四通道6×6不可分小波滤波器组。在该方法中，矩阵U中0值过多，会导致获得的滤波器中含有较多的0，这样滤波器在分解过程中不能充分利用图像各像素点的信息。为此，设计了二维四通道6×6不可分小波滤波器组的构造方法二。
方法二：取K=2，
且取U1=A1×A2×A3×A4；U2=A8×A7×A6×A5。
可以证明，U1，U2，V2为正交阵，且U1，U2中不含零，根据式（2），对于ti（i=1，2，…，8）的不同取值，可以得到不同全非零的二维四通道6×6不可分小波滤波器组。
以上介绍的两种方法，构造的都是非对称的滤波器组。对称的滤波器组能获得较好的融合结果图像，不会产生相位失真。为此，设计了二维四通道6×6不可分对称小波滤波器组的构造方法三。
方法三：取K=2，
且取：
可以证明，U1，U2，V2为正交阵，根据式（2），对于ai，bi（i=1，2）的不同取值，可以得到不同的二维四通道6×6不可分小波对称滤波器组。
2 滤波器组的识别
2.1 网络结构的设计
有实验表明，增加网络的隐含层层数和神经元个数并不一定总能提高网络的精度。选择合适的网络不仅能提高网络识别的准确率，还能提高网络的训练效率。根据本文实际，设计的网络不是用于做图像融合，而是对二维四通道不可分小波滤波器组进行识别和挑选，而这些工作并不需要特别复杂的网络模型，因此设计了如图1所示的CNN模型。
图1 本文设计的CNN网络结构
CNN一般由输入层、卷积层、池化层、全连接层和输出层组成。本文设计了四通道6×6大小的滤波器组，并将其作为网络的输入。由于单个滤波器组（即网络的输入）尺寸太小，所以不设置池化层，第2～5层为卷积层，每层卷积核尺寸设置为3×3，在每一次卷积后，添加BatchNorm并使用ReLU激活函数激活。第6层为全连接层，神经元数量为512个，为了防止过拟合，添加L2正则化和dropout层，并设置dropout层概率值为0.5，正则化参数为0.001，最后一层为输出层，由Softmax组成，输出为滤波器所属类别，选择交叉熵作为损失函数。
2.2 方法步骤
步骤1：根据第2节介绍的方法，构造二维四通道6×6不可分小波滤波器组。取圆周率为π，在方法一中，分别取ti（i=1，2）为（-π，π]区间间隔均匀的256个数据，由式（2）共得到了65 536组二维四通道6×6含零非对称不可分小波滤波器；在方法二中，分别取ti（i=1，2，…，8）为（-π，π]区间间隔均匀的4个数据，由式（2）共得到了65 536组二维四通道6×6全非零不可分小波滤波器；在方法三中，分别取ai，bi（i=1，2）为（-π，π]区间间隔均匀的16个数据，由式（2）共得到了65 536组二维四通道6×6不可分小波对称滤波器，因此，共得到滤波器196 608组。
步骤2：用得到的滤波器对图像进行融合，并对融合结果图像进行质量评价。本实验采用被广泛使用的Lytro多聚焦图像数据集[17]，该数据集中包含20对多聚焦RGB图像，为了减少运算量，本文将RGB图像转换成灰度图像，如图2所示。首先，使用滤波器组将图像按照不同尺度进行逐级分解，然后对相应尺度上的子图像按照选定融合规则进行融合，最后由子图像重构得到融合结果。为了减少计算量，在众多基于多尺度理论的图像融合规则中，选择最简单、运算量最少的方法，即低频子图像像素加权平均，高频子图像绝对值取大。使用图像清晰度指标对融合结果图像进行质量评价，使用式（1）计算其清晰度。对每个滤波器组取20对图像进行融合，然后取平均清晰度作为其评价结果。
图2 Lytro数据集转换后的灰度图
步骤3：制作训练和测试的数据集。对196 608个融合结果进行分类，按照清晰度大小将融合结果平均分为三类：较好、一般和较差（分别用A类、B类和C类表示）。按照5∶1的比例制作训练集和测试集，即在196 608个融合结果中随机挑选1 6作为测试集，其余作为训练集。
步骤4：对CNN进行训练和测试。
3 实验与结果分析
本文所有实验使用的硬件平台为：CPU，AMD Ryzen R5 2600X，6核12线 程，主 频3.8 GHz；GPU，NVIDIA GeForce GTX 1660 6 GB，内存16 GB；软件平台为Matlab R2018b。
3.1 训 练
对训练集的163 840组数据进行训练，使用Matlab深度学习工具箱对本文的CNN模型进行设计并训练。使用带动量的随机梯度下降法训练网络，设置初始学习率 为0.01，动 量 设 置 为0.9，MiniBatchSize设 置 为64，MaxEpoch设置为30，使用GPU加速训练，训练过程如图3所示。从图3可以看出，在训练达到11代后，网络基本趋于稳定，在网络训练精确度无法提高时结束训练。
图3 训练过程
3.2 测 试
将上节训练好的CNN网络在测试集的32 768组数据上进行测试，测试准确率为0.999 5。
现阶段，暂时没有文献对本文提出的问题进行研究，为了体现该方法的有效性，本文作了如下对比实验。
使用第2节的三种方法，构造不同于原数据集的含零、不含零和对称滤波器三类各256组。使用训练好的CNN对这些滤波器进行识别，对每个滤波器组做同样融合处理并计算其清晰度。由于这些滤波器没有标准的分类方法，无法和识别结果进行比较，为了计算识别准确率，本文采用统计CNN识别结果中较优一类滤波器中清晰度低于较差一类滤波器中最高清晰度的滤波器的数量，统计结果为0，即任意较优一类的滤波器的清晰度高于较差一类的清晰度，该CNN模型对滤波器组识别准确无误。在识别出的A、B、C三类中各随机挑选10组滤波器，其融合图像的清晰度如表1所示。黑体表示该类中的最高值，下划线表示该类中的最低值。
表1 三类滤波器在Lytro数据集上的测试清晰度
本文的目的是挑选性能好的不可分小波滤波器组以及判别某个给定滤波器的融合性能。在选择滤波器时，若某个滤波器识别结果为“A类”，则认为它是可以直接选取的；若识别结果为“B类”，则需要从其他方面考虑其是否能被选取，如主观性能评价效果、滤波器特性等；而若识别结果为“C类”，则它是可以直接舍弃的。上述已经在768组滤波器中挑选出了“A类”“B类”和“C类”，为了突出“A类”和“C类”的差异性，将上述挑选出的“A类”和“C类”滤波器在如图4所示的常用多聚焦图像做融合测试，计算其清晰度，统计“A类”滤波器中融合清晰度低于“C类”中滤波器的融合清晰度最高值的滤波器的数量，统计结果都为0。在两类滤波器中各随机挑选10组滤波器，其融合图像的清晰度如表2所示。在两类滤波器中各随机挑选一组滤波器，其融合图像如图5所示，图5a）为“A类”的融合结果，清晰度为9.689 2，图5b）为“C类”的融合结果，清晰度为8.169 5。
表2 常用多聚焦图像的融合清晰度
图4 常用多聚焦融合图像
图5 随机挑选的滤波器的融合效果
在表1和表2中，各类滤波器的融合清晰度具有明显的差异，其平均清晰度大小符合任意较优一类大于较劣一类，且任意较优一类最低清晰度大于较劣一类的最高清晰度，这也与统计的结果为0相吻合。由此说明，本文训练的CNN分类准确，可以准确挑选出大量滤波器中图像融合效果较好的滤波器，很好地解决了二维四通道不可分小波做图像融合过程中选择滤波器困难的问题。
4 结语
本文提出了一种以CNN为框架的二维四通道不可分小波滤波器组的识别方法，使用三种滤波器的构造方法，构造了大量的二维四通道不可分小波滤波器组，利用CNN对这些滤波器组进行训练，从测试结果看，本文设计的CNN网络，其简单的结构能在含有大量二维四通道不可分小波滤波器组的数据集上具有很高的识别率，证明了所设计网络的合理性和高效性。其对数据集外的二维四通道不可分小波滤波器组同样分类准确说明其具有广泛的适用性。网络挑选出的“A类”滤波器组在作图像融合时具有优秀的融合效果，而“C类”滤波器组融合效果相对较差，证明本文方法的有效性，这对图像融合过程中二维四通道不可分小波滤波器组的选取具有指导意义。
值得注意的是，本文提出的二维四通道不可分小波滤波器组的识别方法使用的评价指标是图像清晰度。在图像融合时，常用的评价指标还有EN[18]、SSIM[19]、EI[20]等。在未来的研究中，将采用不同的评价指标或者多种指标组合的方式进行测试，以期获得更好的结果。
