一种基于能量和纹理分析的无参考图像客观质量评价方法与流程

本发明属于计算机视觉领域，尤其涉及一种基于能量和纹理分析的无参考图像客观质量评价方法。
背景技术：
：数字图像在采集、存储、传输过程中不可避免会遭受损伤，质量的下降不仅影响视觉感知效果，还降低了图像通信中各个环节的处理效率。在图像质量评价方法中，主要采用两种方法：主观评价和客观评价。主观实验方法最准确最可靠，但费时费力且无法实现嵌入式处理。目前研究主要集中在客观算法，获得符合人眼视觉系统且简单精准是目前客观质量评价方法研究的主要目标。实际图像处理领域中，大多无法获取损失图像的原始信息。在图像采集系统、实时监控系统、网络传输系统等，对图像评价的实时要求使得无参客观质量评价算法极为重要。目前无参考图像质量评价方法大体可分为3类:1)指定失真类型，该类方法采用测量已知类型的特有失真效果来评价图像质量，但有限的失真类型描述局限了该类算法的应用。2)基于训练学习的方法。这类方法提取图像的感知特征，然后利用训练学习算法来评价图像质量，其性能与提取的特征有直接关系，故提取的特征是否精确全面决定了该类方法的优劣性。3)基于自然场景统计模型的方法。该方法假设图像只是所有图像信息的一个微小子集，然后试图通过寻找两者之间的差异来评价图像质量。目前的这些算法提取的失真特征或统计特征十分有限，无法全面概括图像失真信息；其次人眼视觉中每种特征的表现与图像内容紧密相关，如果忽略图像内容纹理和复杂度，客观评价算法的评价结果会与主观视觉存在一定偏差。技术实现要素：本发明的主要目的是提供一种无参考图像质量评价方法，可以自动化、全面地测试图像质量，提高评价结果与主观视觉的一致性。为实现上述目的，本发明采用如下的技术方案：一种基于能量和纹理分析的无参考图像客观质量评价方法包括以下步骤：步骤S1、获取的失真图像；步骤S2、对失真图像进行损伤特征统计；步骤S3、计算失真图像的小波能量差；步骤S4、计算失真图像的纹理特征；步骤S5、采用BP神经网络学习建立提取的损伤表现特征、小波能量差和纹理特征和测试图像的主观评价分数之间的映射关系，得到图像质量评价。作为优选，所述损伤特征统计包含：块效应、模糊效应和噪声因子。作为优选，步骤S3具体为：对失真图像建立小波无损能量模型，对测试图像计算损伤能量谱，利用其第一级、第二级能量按照无损能量模型预测该图像的第三级～第八级无损能量表现，比较损伤图像的原能量和还原能量之间的差别，得到小波能量差。作为优选，步骤S4具体为：统计图像灰度共生矩阵，计算分别反映纹理均匀度、纹理平滑度和纹理的线性相关性的8个特征：相异DIS，对比度CON，反差INV，逆差距IDM，角二阶矩UNI，熵ENT，相关性COR，最大概率MAX。本发明的创新点在于：结合损伤表现与小波能量差来解决采用传统特征方法的局限性，添加纹理分析来提高图像评价算法与视觉感知的一致性。本发明的理论依据是:解决了传统方法中直接将损伤表现或者统计特征与主观评价映射的局限性，加入小波能量差，从宏观角度弥补损伤表现统计的不足；模拟人眼视觉系统中图像背景对损伤表现的影响，提出图像纹理分析，来自于灰度共生矩阵，分别从纹理均匀度，纹理平滑度和纹理的线性相关性三个角度提取图像纹理特征。本发明利用统计的小波能量差作为宏观特征来补充失真特征检测，从失真方面和统计方面共同表述图像损伤；然后根据视觉感知特性，提取纹理信息来描述损伤特征表现与图像背景的关系。经过大量实验严重，本发明的客观评价结果与主观评价有很高的一致性，且耗时少，满足图像质量评价应用场景的普适性。附图说明图1：系统框图；图2：跟踪流程图；图3：结合小波能量和纹理分析的图像质量评价原理框图；图4：块效应检测原理框图；图5：噪声统计分布图；图6：小波子带能量序号示意图图；图7：自然无损图像能量分布图。具体实施方式本发明无参考图像质量评价方法的技术方案如图1、图2和图3所示。本发明模拟人眼视觉系统，检测最直观的损伤表现。为了解决损伤统计不全面的局限性，由自然无损图像建立小波能量模型，与其对比得到损伤图像的能量差别作为宏观特征来弥补未描述到的损伤表现。考虑到损伤特征的表现不独立存在，与图像内容有极大相关性，引入纹理分析来解决图像内容对上述特征的掩盖问题，在此利用灰度共生矩阵的衍生特征来代表图像的纹理信息和内容活动性。最后由BP神经网络学习建立提取的失真因子、能量、纹理信息和主观分数之间的映射关系，得到图像质量评价方法。方案包括如下技术内容：1、小波变换：通过空间和频率的局部变换有效地从信号中提取信息。可以通过伸缩和平移等运算功对函数或信号进行多尺度的细化分析，是进行信号时频分析和处理的理想工具。2、损伤表现检测：一般针对常见的图像损伤表现，例如块效应、噪声、振铃效应和模糊效应，从像素域或全局进行检测。3、纹理特征：由基于灰度共生矩阵来表示，可以反映图像中关于方向与间隔的像素变化。根据共生矩阵结构分布状况，分析图像像素排列规律与局部特征，将其衍生特征作为表示分析图像纹理信息的基本数据。4、BP神经网络：BP神经网络是采用误差反向传播算法的多层前馈人工神经网络，通过学习来确定网络的权值，有很强的对环境的自适应和对外界事物的自学习能力。具体方案如下：利用LIVE图像质量评价数据库和TID2008数据库的各类失真图像进行损伤表现统计、小波能量差预测、纹理分析，最后输入BP神经网络，得到客观质量评价算法。具体步骤如下：1、损伤特征统计：从人眼视觉系统出发，统计最常见的损伤表现，包括块效应、模糊效应和噪声。1)块效应：块效应检测的关键步骤如图4所示。以块为单位遍历测试图像的小波LH、HL子带，保留块边界，通过判断块边界两侧的色度差剔除伪块效应，减少干扰，然后按照块效应的严重性将块效应分为第一类与第二类。最终由第一类块效应和第二类块效应的块边界小波系数、相邻块色度分量差别给出块效应测量值BLOCK。2)不同层小波系数的乘积可有效提取有用信号，抑制噪声对模糊效应测量的干扰。利用第一和第二层小波系数构建的清晰度判别函数，如式(1)，其中，其中W1代表第一层小波子带，W2代表第二层小波子带，I＝1,2,3分别代表LH、HL和HH子带，Blur为模糊效应检测结果。3)遍历图像的每个像素及其3*3邻域，记录中心像素i和其邻域平均灰度j为特征二元组(i，j)，累积二元组(i，j)在整幅图像中的出现频数I(i，j)。以i为横轴，j为纵轴，标记所有(i，j)。如图5，无损图像的数据分布落在y＝x周围；噪声图像的数据分布杂乱。噪点越严重，数据分布越分散。以y＝x为中心，以y偏离x五个像素划定判断噪声标准。噪声检测函数如式(2)，其中Noise为该图像噪声检测结果。2、小波能量差度量：计算小波子带能量，如式(3)，其中，E为子带能量，T为子带像素总数，W为子带系数，s为尺度数，I为方向数，为防止对数运算中W趋近于0时所造成的能量偏差及保证子带能量的线性分布，Φ为调整因子，取0.05。将同一尺度的LH和HL子带能量的均值作为一级能量Es输出。如图6，对多次分解的小波子带进行序号安排，得到平滑过渡的自然无损图像能量谱，图7为29幅无损图像的小波能量谱。提取能量差的核心思想是利用目前损伤图像的一部分来还原其无损图像的能量分布，以便比较原始图像与损伤图像之间的差别。在此，利用损伤图像能量谱的1、2级来还原3～8级小波能量，作为其原始图像的能量分布。具体步骤如下：1)利用矩阵变换，模拟图7中的小波能量关系，利用式(4)建立自然图像小波能量分布模型。Hs为第s尺度的预测矩阵；s为尺度数，取值3、2、1，分别表示第3、2、1层小波能量；Is表示自然无损图像第s层的子带能量；I4为自然无损图像第4尺度的子带能量。2)对失真图像第4尺度的子带能量D4和式(5)中求得的Hs系数矩阵预测其相应理想图像的子带能量Ps。Ps＝D4·Hs(5)3)当图像失真很严重时，第4尺度上的1、2级能量也会发生较大变化。如若用这些变化较大的值进行预测则会传递误差，为防止这种情况，对预测值D4进行调整，如式(6)，其中u4为失真图像D4的子带均值；U4和avg为自然无损图像小波第四尺度子带系数的最小值和平均值。。Ifu4≤U4,ThenD4＝avg(6)于是根据失真图像的Ps和Es得到小波能量差，如式(7)。D代表该图像小波能量差，s代表小波能量级数，Ps和Es分别为还原能量和图像原能量。3、纹理特征：灰度共生矩阵Pd(i,j)反映图像中关于方向与间隔的像素变化，其中，Pd(i,j)为从灰度级i的点离开某个固定的位置关系d＝(Dx,Dy)到达灰度为j的概率，L表示图像的灰度级，d表示两个像素间的空间位置关系，θ是灰度共生矩阵生成的方向。根据共生矩阵结构分布状况，分析图像像素排列规律与局部特征，将其衍生特征作为表示分析图像纹理信息的基本数据。考虑到衍生的多个特征存在一定相关性，为了去除冗余，选取了分别反映纹理均匀度，纹理平滑度和纹理的线性相关性的8个特征：相异DIS，对比度CON，反差INV，逆差距IDM，角二阶矩UNI，熵ENT，相关性COR，最大概率MAX，分别由式(8)至式(15)得到。MAX＝max(Pd(i,j))，(15)实施例1基于上述本发明的技术方案，通过评价系统统计失真图像的各类特征，输入神经网络由计算机训练处理得到图像评价方法。其方法步骤为：1)利用Itti视觉显著模型计算图像视觉显著图，在一定阈值条件下，选取视觉显著区域，本发明将阈值设定为0.0095。并对图像进行4级小波变换，小波基选取sym8。2)在图像视觉显著区域内进行损伤表现统计，结合小波子带系数、图像色度和亮度检测块效应、模糊效应和噪声因子，将其作为评价方法的基础特征。3)通过LIVE图像库29幅自然图像建立小波无损能量模型，对测试图像计算损伤能量谱，利用其第一级、第二级能量按照无损能量模型预测该图像的第三级～第八级无损能量表现，比较损伤图像的原能量和还原能量之间的差别，将此能量差作为宏观特征来弥补损失特征提取的不足。4)统计图像灰度共生矩阵，计算分别反映纹理均匀度，纹理平滑度和纹理的线性相关性的8个特征：相异DIS，对比度CON，反差INV，逆差距IDM，角二阶矩UNI，熵ENT，相关性COR，最大概率MAX。将他们作为代表图像纹理信息的特征。5)建立三层BP神经网络，包含输入层、隐含层和输出层，其中隐含层包含17个神经元。将三种损伤表现特征(块效应、模糊效应和噪声因子)、小波能量差和8个纹理特征作为输入节点，将测试图像的主观评价分数作为输出节点，训练得到映射关系，该关系就是本发现的无参图像质量方法。6)利用LIVE图像库和TID2008图像库的测试图像对本方法进行图像质量评价，采用SROCC表示评价分数与主观分数之间的相关性，值为0代表完全不相关，为1代表完全相关。平均1000此测试结果，并与目前的优秀评价方法比较，如下表，可以看出本发明的方法能够精准地评价图像质量，符合人眼视觉系统，且不局限于某种失真类型，具有普适性。TABLEI.SROCCAMONG1000TRIALSONTHELIVEIQADATABASEJP2KJPEGNoiseBlurFFPSNR0.89900.84840.98350.80760.8986SSIM0.95100.91730.96970.95130.9555VIF0.95150.91040.98440.97220.9631BIQI0.85510.77670.97640.92580.7695DIIVINE0.93520.89210.98280.95510.9096BLIINDS-II0.94620.93500.96340.93360.8992BRISQUE0.94570.92500.98920.95110.9028SSEQ0.94200.95100.97840.94830.9035本发明0.95900.98140.99080.98160.9811TABLEII.LCCAMONG1000TRIALSONTHELIVEIQADATABASEJP2KJPEGNoiseBlurFFPSNR0.88370.85150.98170.80060.8939SSIM0.96010.94850.98610.95370.9616VIF0.96640.94780.99240.97740.9698BIQI0.84140.76030.97320.91180.7342DIIVINE0.94090.90970.97440.93930.9128BLIINDS-II0.94930.95050.96140.93750.9079BRISQUE0.94720.93300.98830.94630.9142SSEQ0.94640.97020.98060.96070.9198本发明0.95400.98080.99390.98080.9810TABLEIII.SROCCACROSS1000TRIALSONTHETIDDATABASEJP2KJPEGNoiseBlurPSNR0.82510.87540.91800.9344SSIM0.87800.92550.81200.9458VIF0.97030.93100.91310.9584BIQI0.97420.92530.83340.8472DIIVINE0.90700.87180.83420.8592BLIINDS-II0.91190.83830.71500.8261BRISQUE0.90440.91010.82370.8740SSEQ0.84680.86650.80110.8355本发明0.96720.98130.90740.9883TABLEIV.LCCACROSS1000TRIALSONTHETIDDATABASEJP2KJPEGNoiseBlurPSNR0.88550.87870.94270.9304SSIM0.87510.93720.80780.9384VIF0.97130.97330.90730.9423BIQI0.98240.96140.81920.8011DIIVINE0.87900.89980.81010.8407BLIINDS-II0.91990.88900.71450.8258BRISQUE0.90610.95030.81090.8739SSEQ0.98540.98120.84740.9406本发明0.96460.98260.90780.9870当前第1页1 2 3