基于视网膜模型的图像质量评价方法

基于视网膜模型的图像质量评价方法
【专利摘要】本发明公开一种基于视网膜模型的图像质量评价方法，该方法公开的视网膜模型就基于视网膜将尽量减少视觉冗余但保留有用信号的假设；该视网膜模型包含一个光学调制传输模块和一个自适应低通滤波模块，将模型当做一个黑盒子，利用信息论方法设计自适应滤波器；对于全参图像质量评价方法，原图和失真图先通过该视网膜滤波器，然后再计算两幅图滤波后的区别，从而评价失真图的质量；该视网膜模型可以作为大多数图像质量评价方法的预处理，如基于视网膜模型的均方误差或者峰值信噪比，虽然非常简单，但是在很多图像质量评价库上可以达到领先水平的性能。
【专利说明】基于视网膜模型的图像质量评价方法

【技术领域】
[0001]本发明涉及的是一种图像处理【技术领域】的方法，具体是一种基于视网膜模型的图像质量评价方法。

【背景技术】
[0002]图像质量评价从来就不是独立于视觉感知之外的任务，视觉的终极任务是目标识别并帮助动物在生存环境中感知物体和事件。所以图像质量评价可以从人眼视觉系统的研究中获取灵感，但是目前图像质量评价的工程型方法却旨在对人眼视觉系统的已知功能部件进行精确的建模。这类工程型质量评价方法的精确度和鲁棒性并不是十分理想，这可能是由于视觉感知是视觉大脑超出我们理解范围的一种高度动态的过程。目前图像质量评价研究的一个发展趋势就是将人眼视觉系统当做一个黑盒子，并寻找一些简单而有效的计算原则来模拟视觉系统。这类方法的优势在于它们通常可以利用一些有时候比较复杂的信号处理技术而不需要担心人眼视觉系统的具体功能结构的限制。
[0003]在视觉感知的研究当中，信息论为构想各种视觉信息获取、传输和理解的计算模型提供了一个总体框架。自然图像中普遍存在的各种物体形态学上的一致性表明自然图像有大量的冗余，所以可以从信息论的角度，通过视觉信号的冗余度压缩或者有效表示来研究视觉感知。从一些开创性工作(如F.Attneave在《Psychological Review))期刊第61 卷第 3 期第 183 页至第 193 页发表的论文“Some informat1nal aspects of visualpercept1n”)开始,压缩感知成为一个热门的研究领域,该理论成功地解释了视觉感知领域的诸多方面。在研究有效的图像质量评价方法时，基于信息论的视觉感知计算策略同样会有重要作用，冗余度压缩即为本发明方法的指导原则，更具体地，该方法将关注视觉感知的第一个阶段，即视网膜的视觉信号获取阶段。
[0004]根据自然图像统计的一些开创性工作(如E.P.Simoncelli和B.A.0lshausen在《Annual Review of Neuroscience))期刊第24卷第1193页至第1216页发表的论文“Natural image statistics and neural r印resentat1n”)，自然图像只是所有像素排列的一个小子集，这类像素排列的空间功率谱通常服从幂次定律。自然图像中包含大量的冗余，很自然地可以想到视网膜的一个重要功能就是去除输入图像的冗余信息，而这恰恰是利用信息论研究压缩感知的初始步骤。上述冗余信息去除及去相关可以通过图像滤波来实现，所以视网膜模型的净效应就是一个利用全局自适应滤波器对图像从低通到带通的滤波过程。作为一种全参质量评价方法，基于视网膜模型的图像质量评价方法首先将原图和失真图进行滤波，然后再计算两幅输出图片的均方误差，也就是说该方法直接衡量视网膜之后的大脑皮层从输入图像获得的信号。由于该方法的凸性，使得全局滤波加上均方误差计算同样可以作为其他各种编码及恢复任务的目标函数。
[0005]视网膜神经节细胞通常表现为一个线性滤波器，假如把视网膜当做一个黑盒子，Atick 和 Redlich 的研究工作(Atick 和 Redlich 在《Neural Computat1n))期刊第 24 卷第 196 页至 210 页发表的论文“What does the retina know about natural scenes ?，，)表明:对于自然图像输入来说，系统输出的幅度谱已经被白化到峰值灵敏度频率。但是视觉系统不会将图像幅度谱白化到分辨率的极限，因为视觉系统通常存在固有的光子和生化噪音。过度白化将会显著放大噪声，而且完全的白化图像信号和噪声在视觉系统的后期不可分割，所以视网膜模型必须考虑噪声的影响，并对噪声进行合理的控制。


【发明内容】

[0006]针对现有技术的不足，本发明提供一种基于视网膜模型的图像质量评价方法，该方法是一种全参图像质量评价方法，可用于图像质量评价。
[0007]视觉信号的信息率通常远超人眼视觉系统的处理能力，所以人的视觉系统会有非常有效的数据简化过程，而视网膜模型基于视网膜将减少视觉信号但尽量保留有用信号的假设；该视网膜模型包含一个光学调制传输模块和一个自适应低通滤波模块，将该模型当做一个黑盒子，从而利用信息论方法设计自适应滤波器；作为一种全参图像质量评价方法，原图和失真图首先通过该视网膜滤波器，然后再计算两幅图的某种“距离”，从而进行图像质量评价；该视网膜模型通常可以作为大多数图像质量评价方法的预处理，如基于视网膜模型的均方误差或者峰值信噪比，虽然非常简单，但是在很多图像质量评价库上可以达到领先水平的性能。
[0008]本发明是通过以下技术方案实现的，本发明包括以下步骤:
[0009]第一步、构建基于视网膜的计算模型，将基于视网膜的计算模型分割为串联的两个子模块，分别为:光学调制传输模块和自适应低通滤波模块；光学调制传输模块模拟人眼的光学结构；自适应低通滤波模块进行噪声抑制和冗余度压缩；输入信号IJf)通过基于视网膜的计算模型后的输出信号可以通过下式计算:I2(f)=L(f).(M(f).(1。^)+%^))+&的)，其中皿江)和L(f)分别表示表示光学调制传输模块和自适应低通滤波模块的传递函数，NJf)和^⑴分别表示光学调制传输模块和自适应低通滤波模块的噪声，f表示信号的频率；
[0010]第二步、利用信息论方法设计自适应低通滤波模块中的低通滤波器L进行噪声抑制，自适应低通滤波模块的输入I1及输出I2将用于质量评价，低通滤波器L的设计原则就是尽量抑制该模块的输入信号I1的噪声，而不损失过多的有用信号；低通滤波器L的设计最终依靠输入I1及输出I2之间的互信息Hd1 ;12)，保持H(I2)不变的同时最大化Hd1 ;12)。
[0011]第三步、通过上述构建的基于视网膜的计算模型进行全参图像评价，对于全参图像质量评价，假设原图和失真图都通过了基于视网膜的计算模型，可以通过计算经过滤波后图像的均方误差或者峰值信噪比来衡量失真图的图像质量。
[0012]与现有技术相比，本发明具有以下有益效果:
[0013]本发明利用自然图像中普遍存在的各种物体形态学上的一致性导致的大量的冗余，基于视网膜将减少视觉信号但尽量保留有用信号的假设，从信息论的角度，构建视网膜模型，首先将原图和失真图进行滤波，然后再计算两幅输出图片的均方误差。该基于视网膜的计算模型包含两个主要模块:一个光学调制传输模块，该模块主要模拟人眼的光学结构；还有一个低通滤波模块，该模块主要进行噪声抑制和冗余度压缩。实验证明尽管使用了与人主观评价不是很相符的均方误差，该方法仍然达到了全参图像质量评价的主流性能。

【专利附图】

【附图说明】
[0014]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0015]图1是本发明的视网膜计算模型的框图；
[0016]图2是本发明的视网膜模型滤波的空间域效果图，其中第一行分别为原图、含噪声的失真图及原图和失真图之间的误差图，第二行分别为利用视网膜模型滤波后的原图、失真图及原图和失真图之间的误差图。
[0017]图3是本发明的视网膜模型的频域效果图，其中第一行分别为原图、失真图及误差图在频域的表示，第二行分别为模传递函数、低通滤波器及总的视网膜滤波器。

【具体实施方式】
[0018]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0019]实施例:
[0020]第一步、构建基于视网膜的计算模型，将基于视网膜的计算模型分割为串联的两个子模块，分别为:光学调制传输模块和自适应低通滤波模块，如附图1所示。根据附图1所示的计算模型，输入信号10(f)通过视网膜模型后的输出信号I2(f)可以通过下式计算:
[0021]I2 (f) = L(f).(M(f).(10 (f)+N0 (^)+^(^)
[0022]其中M(f)和L(f)分别表示表示光学调制传输模块和自适应低通滤波模块的传递函数，Nc^f)和&&)分别表示光学调制传输模块和自适应低通滤波模块的内在和生化的噪声，f表示信号的频率；
[0023]光学调制传输模块和自适应低通滤波模块的滤波过程分别为:
[0024]I^f) =M(f).(10(f)+N0(f))
[0025]I2 (f) = L(f).(I1 (f) +N1 (f))
[0026]第一个模块的调制传递函数是通过实验决定的，在本方法中，该函数由下式决定:

【权利要求】
1.一种基于视网膜模型的图像质量评价方法，其特征在于包括以下步骤: 第一步、构建基于视网膜的计算模型，将基于视网膜的计算模型分割为串联的两个子模块，分别为:光学调制传输模块和自适应低通滤波模块；光学调制传输模块模拟人眼的光学结构；自适应低通滤波模块进行噪声抑制和冗余度压缩；输入信号10(f)通过基于视网膜的计算模型后的输出信号通过下式计算: I2 (f) = L(f).(M(f).(1。出+凡江))+&出)，其中1^)和L(f)分别表示表示光学调制传输模块和自适应低通滤波模块的传递函数，NJf)和&&)分别表示光学调制传输模块和自适应低通滤波模块的噪声，f表示信号的频率； 第二步、利用信息论方法设计自适应低通滤波模块中的低通滤波器L进行噪声抑制，自适应低通滤波模块的输入I1及输出I2将用于质量评价，低通滤波器L的设计原则是尽量抑制自适应低通滤波模块的输入信号I1的噪声，而不损失过多的有用信号；滤波器的设计最终依靠输入I1及输出I2之间的互信息Hd1 ;I2)，保持输出熵H(I2)不变的同时最大化Hd1 ；12)； 第三步、通过上述构建的基于视网膜的计算模型进行全参图像评价，对于全参图像质量评价，假设原图和失真图都通过了基于视网膜的计算模型，可通过计算经过滤波后图像的均方误差或者峰值信噪比来衡量失真图的图像质量。
2.根据权利要求1所述的基于视网膜的计算模型的图像质量评价方法，其特征是，第一步中:光学调制传输模块的滤波过程为:
I^f) = M(f).(10(f)+N0(f)) 其中，10(f)和I1(F)分别为光学调制传输模块的输入和输出，M(f)和NJf)分别为该模块的传递函数及噪声，f表示信号的频率，调制传递函数M(f)由实验决定，通过下式来刻画:
其中，参数f。和α分别取为:f。= 22周期/视角，α =1.4; 自适应低通滤波过程为:
I2 (f) = L(f).(I^f)+N1 (f)) 其中，IJf)和I2(f)分别为低通滤波子系统的输入和输出，L(f)和&&)分别为该模块的传递函数及噪声。
3.根据权利要求1所述的基于视网膜模型的图像质量评价方法，其特征是，第二步中:自适应低通滤波模块的输入I1及输出I2之间的互信息为:
其中反表示总的等效噪声，为了抑制噪声，需要减小噪声的熵H(N1)，在上式中即保持输出熵H(I2)不变的同时最大化互信息Hd1 ；12)； 假设自适应低通滤波模块的输入I1及噪声N1都是多元高斯分布的，其协方差矩阵分别为1, Σ，同时信号都是以离散形式表示的，故还有一个量化误差项N,，假设N,也是高斯分布的，则低通滤波子系统表示为:
输出信号的熵表不为:
噪声项N1和输入信号I1相互独立，与上式类似可得:
设计最优低通滤波器L时需要固定H(I2)的同时最大化Hd1 ;12)，即最小化以下目标函数:
E(L) = -Hd1 ；Ι2) + λ.H(I2) 求解优化问题:
假设;I =En^.ζ，则上式简化得到最终的低通滤波器:
上述优化问题是针对每个频率分量独立进行得。
4.根据权利要求1所述的基于视网膜模型的图像质量评价方法，其特征是，第三步中:对于全参图像质量评价，假设原图和失真图都通过了基于视网膜的计算模型，通过计算两幅图片经过滤波后的均方误差或峰值信噪比来衡量失真图的图像质量，整个视网膜滤波在频域或者空间域进行。
【文档编号】G06T7/00GK104166984SQ201410318467
【公开日】2014年11月26日 申请日期:2014年7月4日 优先权日:2014年7月4日
【发明者】翟广涛, 闵雄阔, 杨小康, 李铎 申请人:上海交通大学