傅杰
摘要：图像质量评价是计算机视觉的一个重要领域，也是近年来的研究热点。在图像的传输与存储过程中，对压缩图像的客观质量评价在图像压缩系统中是必不可少的。均方误差与峰值信噪比虽然计算简便，但对于反映压缩图像的感知质量并不准确，与人眼视觉系统（HVS）也没有太好的一致性。近年来，该领域也出现了许多优秀的图像质量评价方法以求良好的表达图像质量与人眼感知之间的关系，如SSIM，IFC，VSNR等。这些算法性能卓越，但在压缩图像的质量评价方面仍有较大提升空间。图像在压缩过程中，高频部分由于DCT变换的特性会受到更大程度的失真，即图像不同部分的失真情况是不同的。从这个角度利用带权的结构相似性方法能良好的表达压缩图像的失真程度从而更好的反应人眼感知对图像质量的感知特性。该方法在LIVE，CSIQ，TID2008，TID2013上均比其他算法具有更好的性能。该方法也为压缩图像质量评价提供了一种新的思路，即从压缩算法本身会对图像信息的不同部分产生不同程度失真的特性出发来优化图像的质量评价，从而更好地反应HVS对图像的感知特性。
关键词：关键词；压缩图像；权重；结构相似性；质量评价；人眼视觉系统；感知特性
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2015）29-0146-03
Compressed Image Quality Assessment：A Metric Based on Weighted Structural Similirity
FU Jie
（Tongji University， Shanghai 201804， China）
Abstract： Image quality assessment （IQA） is an important area of computer vision in recent years. In the process of delivery and storage， objective quality assessment is essential for compressed images. Although the calculation of Mean Square Error （MSE） and Peak Signal to Noise Ratio （PSNR） are simple， their reflection to the perceptual quality of compressed images are not accurate. Recently， in order to improve the IQA ability， many excellent IQA methods are developed， such as SSIM， IFC， VSNR， etc. There are still a large ascension for compressed images although these metrics have good performances. As we known， the high frequency signals are more seriously distorted because of the DCT transform in image compression. Thus， based on the idea that the part of serious distortion can better present the degeneration of original images， we adopt the method as weighted structural similarity to evaluate the quality of compressed images. Extensive experiments have been performed on four benchmark databases， which demonstrate that the proposed method is more effective than a number of state-of-the-art IQA metrics.
Key words： compressed image； weighted； structural similarity； quality assessment； human vision system； perceptual
随着图像处理技术的迅速发展，，如何正确有效地评价一幅图像的质量好坏变得越发重要起来。近年来，图像质量评价[1]已经成为了图像信息工程领域内一项重要的研究课题，引起了学者的高度重视。在图像传输与存储过程中，评价压缩图像的质量是不可或缺的，这也逐渐成为图像质量评价领域的一个研究热点。图像质量评价方法是根据人眼的主观视觉系统建立数学模型，并通过具体的公式评价图像的质量。图像质量评价最终取决于观察者的视觉感知，其目标都是追求质量评价结果与人眼的主观评价尽可能的一致。
图像质量评价技术的早期研究主要集中在传统的误差统计方法上，包括均方差（MSE）与峰值信噪比（PSNR）[2]。随着研究的深入，研究者发现这种方法忽视了图像内容对人眼的影响，不能完全反映图像的质量，因此研究者采用了更多的。方法在更深的层面上做了尝试。王周等人提出的结构相似性（Structural Similarity，SSIM）[3]从亮度、对比度与这两者的综合通道三个方面来评价图像质量。这一算法认为结构信息直接反映了图像的结构特征，这些结构特征很好的引起了人眼对图像质量的感知并反映了感知质量，从而将图像质量评价统计层面推向了结构层面。IFC[4]（Information Fidelity Criterion）利用了自然场景分析方法来衡量参考图像和失真图像的共同信息的多少，并以此作为失真图像的质量依据。NQM[5]（Noise Quality Metric）则从噪声信息的角度出发去评价图像失真程度。VSNR[6]（Visual Signal-to-Noise Ratio）基于人类视觉的阈值特性提出了针对自然场景图像的两段式图像质量评价方法。压缩图像广泛存在于人们的生活中，压缩图像的压缩质量也与人们的多媒体生活息息相关，压缩图像的质量评价这一课题是具有较强的现实意义的。
从整体上来说，压缩图像在压缩过程中受到的失真是压缩算法定量造成的，而图像压缩算法在DCT变换中对图像的高频信息产生了较大失真。本文从压缩算法的特性着手，研究了图像高频信号的失真情况，并结合王周等人提出的图像结构相似性设计了一种以图像失真程度为权重的压缩图像结构相似性方法。
1 以信号失真程度为权重的结构相似性方法
在图像压缩过程中，DCT变换的机制使得图像的高频信息受到的影响远大于低频信息，这是由图像压缩算法的特性所决定的。结构相似性理论认为图像的结构信息是人眼感知图像质量的必不可少的内容，因此从亮度、对比度与这两者的综合通道三个方面来描述图像结构信息，以此来评价图像质量。本文从压缩算法的特性着手，研究了压缩图像信号失真程度的分布，以此作为图像结构信息权重的依据进而提出了一种针对压缩图像的质量评价方法。
1.1 图像压缩失真
在图像压缩过程中会产生不同程度的失真，这取决于图像压缩算法与压缩程度，本文主要针对JPEG压缩进行研究。
1992年联合图像专家组（Joint Photographic Experts Group，JPEG）推出了ISO/IEC 10918标准，简称JPEG压缩标准。JPEG是以DCT变化为基础的有损压缩，适用于静态图像的压缩。DCT变换使得原始图像的高频信号受到较大的影响，其效果如图1所示。从图1可以清楚地看到，JPEG压缩后高频信号部分明显亮于低频部分，即高频部分的失真要远大于低频信号部分。
图1 压缩前后对比图及差值图
1.2 带权的结构相似性方法
王周等人提出的结构相似性理论（structural similarity，SSIM）[3]认为，自然图像信号是高度结构化的，换言之就是像素之间有存在很强的关联性，尤其对于空间距离更小的像素。像素间的空间距离越小，那幺这种关联性就越想，这也与马尔科夫随机场理论有相似之处。SSIM认为这种图像像素间的相关性蕴含视觉场景中物体结构的重要信息，即图像的结构信息；人眼视觉系统（HVS）的主要功能是从图像本身提取结构信息，并用这种对结构信息的度量去表达图像的感知质量。结构相似性理论是一种不同于以往以数理统计方法的全新思想，这一新思想的关键是从对感知误差度量到对感知结构失真度量的转变。SSIM没有试图通过累加与心理物理学简单认知模式有关的误差来估计图像质量，而是通过评价两幅图像结构信号的整体改变水平来对图像的感知质量进行评价，从而在某种程度上避免了对自然图像内容复杂性研究的问题。
结构相似性理论是从图像的亮度、对比度以及结构这三个方面出发去评价图像质量。她用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量，其形式如下：
[l（x，y）=2μxμy+C1μ2x+μ2y+C1c（x，y）=2σxσy+C2σ2x+σ2y+C2s（x，y）=σxy+C3σxσy+C3] （1）
其中，[x]、[y]分别为参考图像和失真图像，参数[C1]、[C2]、[C3]均为常量参数。在一个滑动窗口内，[μ]为图像的像素均值，代表了亮度信息。[σ]分别表示的标准差，代表了对比度信息。[l（x，y）]、[c（x，y）]、[s（x，y）]分别代表图像的亮度、对比度与结构三个通道的相似性。在实际计算过程中， [C3=C2/2]，，因此最终的SSIM[3]可由公式（1）中的这三个度量相乘得到，其最终形式为：
[SSIM（x，y）=2μxμy+C1μ2x+μ2y+C1.2σxy+C2σ2x+σ2y+C2] （2）
由公式（2）可知，SSIM的值在0到1之间，两幅图像越接近则SSIM值越接近1，反之越接近0。本文考虑到压缩图像所造成的失真分布往往是不均匀的（如图1），换言之图像不同部分在压缩过程中受到影响差别较大。因此我们认为对压缩图像来说，失真较为严重的区域应当考虑得更多，即分数占的比重应该更大。因此我们利用图1（c）的差值图像作为权重的依据，颜色越暗相当于失真程度越小，所对应的权重应当越低。这里我们记原图像与失真图像的差值图像为W，那幺它的元素可以如下表示：
[Wi，j=ri，j-di，j] （3）
其中，[r]为原图像，[d]为压缩图像，[i，j]为像素点下标。根据上述分析，在图像压缩过程中受到失真越大的部分应该受到更大的关注，即更大的权重，而在公式（3）中，对矩阵W来说，所有元素均介于0到1时间，且失真程度越大的部分则对应W中的元素值越大。对于SSIM来说，SSIM值越大则失真程度越小，因此我们采用如下方式将权重赋予SSIM，并求得均值作为最终的质量评价结果：
[METRIC=i，j∈d（1-Wi，j）.SSIMi，j] （4）
2 实验结果及分析
为了验证本文算法的有效性，我们在四个公开的图像质量评价权威数据库里进行实验。这四个数据库分别是LIVE[10]，CSIQ[11]，TID2008[12]与TID2013[13]。我们选取了这四个库中JPEG压缩失真类型的数据，分别包含174，150，100，125张JPEG压缩图片及他们的主观评价分。我们以此作为实验数据并与其他5种性能优秀的图像质量评价算法，包括PSNR，NQM，SSIM，IFC与VSNR，进行实验对比。
2.1 评价指标
视频质量专家组（VQEG）[14]从客观评价分与主观评价分的一致性程度出发，提出了数个衡量两者关联紧密程度的指标。其中最重要的两个指标是斯皮尔曼秩相关系数（SRC）与皮尔逊线性相关系数（PCC）。
斯皮尔曼秩相关系数用于衡量客观评价结果与主观评价结果之间的单调性，这个指标考虑的不是距离而是数据之间测次序，即单调性。皮尔逊线性相关系数衡量的是线性相关程度，根据视频质量专家组的建议，计算这个指标前要先对数据进行五参数的logistic回归，而后用回归函数进行预测并计算该系数。五参数的logistic回归函数形式如下：
[f（x）=β1（12-11+eβ2（x-β3））-β4x+β5] （5）
一个图像质量评价算法越优秀，那幺他所计算得到的客观质量评价分与主观质量评价分之间的单调性与线性度均越好。因此，斯皮尔曼秩相关系数与皮尔逊线性相关系数的值越大意味着算法性能越好。
2.2 实验结果与分析
表1与表2分别是其他5种算法与本文算法在4个权威数据库上的斯皮尔曼秩相关系数与皮尔逊线性相关系数的性能。VSNR在TID2013的JPEG数据中会计算出无穷大值，因此用logistic函数无法进行拟合，这里用符号*标记。由表1与表2可以看出，斯皮尔曼秩相关系数与皮尔逊线性相关系数往往是正向关系，但也存在一定的波动。不难看出，本文算法的性能是较其他5个算法在压缩图像质量评估上是更为优秀的，尤其是在TID2008与TID2013上的表现。表3是6种算法平均每张图片的时间代价。PSNR明显快于其他算法，SSIM与本文算法次之。本文算法是SSIM的时间再加上计算权重的步骤，权重计算是简单地像素运算，因此本文算法时间与SSIM接近。
图2是6种算法在TID2008上的散点图与拟合曲线。我们不难看出，本文方法具有较为优秀的性能，其散点图也显示了本文的评价方法与主观质量评价保持了良好的一致性。从图2（a）结合表3可以看出PSNR虽然具有非常快的速度，但是其对于压缩图像质量预测的准确性存在很大的提升空间。结合图2（c）与表3可以看出SSIM是一个性能与速度都优秀的算法，较快的预测压缩图像质量的同时也保持了较高的准确性。IFC与NQM计算相对较慢，但他们在CSIQ数据库上均有较好的表现。由图2（f）的数据散点我们可以看出，本文算法的点分布相对均匀，没有与拟合曲线相去甚远的点，单调性与线性度都很好。
3 结束语
本文基于SSIM提出了一种压缩图像的SSIM改进的质量评价方法，并在多个权威数据库进行了实验以验证其有效性。压缩图像是失真图像的一类，未来的工作我们将致力于两方面的提升。首先是我们应该提出新的思路，使这一能对其他类型的图像也能进行更准确的预测。再者是本文算法是一种全参考方法，需要用到源图像，接下来的工作我们着眼于减少参考信息的使用来完成压缩图像的质量评价。
参考文献：
[1] WANG ZHOU， BOVIK A C. Modern image quality assessment[M]. Morgan and Claypool Publishing Company， New York， 2006： 20-30.
[2] AVCIBAS I， SANBUR B， SAYOOD K. Statistical evaluation of image quality measures[J]. Journal of Electronic Imaging， 2002， 11（2）： 206-213.
[3] WANG Zhou， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Trans on Image Processing， 2004， 13（4）： 600-612.
[4] SHEIKH H R， BOVIC A C， DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Trans on Image Processing， 2005， 14（12）： 2117-2128.
[5] DAMERA-VENKATA N， KITE T D， GEISLER W S， et al. Image quality assessment based on a degradation model[J]. IEEE Trans on Image Processing， 2000， 9（4）： 636-650.
[6] DAMON M CHANDLER， SHEILA S. H. VSNR： A Wavelet-Based Visual Signal-to-Noise Ratio for Natural Images[J]. IEEE Trans on Image Processing， 2007， 16（9）： 2284-2298.
[7] KAIMING HE， JIAN SUN， XIAOOU TANG， Guided Image Filtering[J]. IEEE Trans on pattern analysis and machine intelligence， 2013， 35（6）： 1397-1409.
[8] KAIMING HE， JIAN SUN， XIAOOU TANG， Single Image Haze Removal Using Dark Channel Prior[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition. 2009， 35： 1956-1963.
[9] RICHARDPER N， SMITH H. Applied regression analysis[J]. Biometrics， 1998， 29（1）： VII-VII.
[10] SHEIKH H R， SESHADRINATHAN K， MOORTHY A K， et al.Image and video quality assessment research at LIVE[DB/OL]. [2004]. http：//live.Ece.utexas.edu/research/quality/.
[11] NINASSI A， CALLET P L， AUTRUSSEAU F. Categorical subjective image quality （ CSIQ） database [DB/OL]. [2010]. http：//vision.Okstat.edu/？loc=csiq.
[12] PONOMARENKO N， LUKIN V， ZELEENSKY A， et al. TID2008： a database for evaluation of full-reference visual quality assessment metrics. [EB/OL]. [2009]. http：//www.ponomarenko.info/papers/mre2008tid.pdf.
[13] PONOMARENKO N， JIN L， IEREMEIEV O， et al. Image database TID2013： Peculiarities， results and perspectives. [EB/OL].[2013].http：//www.ponomarenko.info /papers /EUVIP_TID 2013.pdf.
[14] VQEG. Final report from the video quality experts group on the validation of objective models of video quality assessment [EB/OL]. [2003]， ftp：//vqeq.Its.bldrdoc.gov /Documents/Meetings /Hillsboro/VQEG-Mar-03 /VQEGII-DraftReport^v2a.pdf.
