视点的高斯显著图计算模型
[0072] 注视点一般是指人眼感兴趣区域的位置，通过高精密眼动仪捕获得到人眼的注视 点，通过高斯函数对所有注视点模拟二维高斯分布，即当注视点所在位置的值最大，随着其 领域不断地扩大，值就会不断减小接近为零。二维高斯分布函数为：
[0073]
[0074] 式中，H(x，y)为注视点对其周边区域的影响程度；(x。，y。）为注视点的坐标；〇指 高斯分布函数的方差参数。实验中根据实际观测距离和角度，参数〇 =37,把所有注视点 都考虑进去。如图2所示的两种显著图的最终效果图，其中图2a为原图，图2b为计算显著 图S，图2c为眼动显著图H。
[0075] 3.基于不同图像视觉底层特征权重系数的确定
[0076] 采用相关系数分析比较计算显著图与眼动显著图的相似性，从而进一步确定在计 算显著图中各视觉底层特征的权重。
[0077] 相关系数的公式如下所示：
[0078]
[0079] 式中，x代表图像中的像素，H(x)、S(x)分别是眼动显著图和计算显著图中当前 像素的显著值，yH、ys分别表示两幅显著图中所有像素的平均显著值。P的取值范围是 [-1，1]，当p= 1代表两幅显著图完全相关，p= 0代表两幅显著图完全不相关，p= -1 代表两幅图反相关，即一幅显著图中的显著区域在另一幅显著图中完全不显著。
[0080] 4.最佳权重的计算结果与分析
[0081] 实验中的眼动显著图是客观且固定不变的，而计算显著图可以通过视觉特征的权 重分配而不断调整，直到一组特征权重使得计算显著图和眼动显著图之间的相关系数达到 最大，这组权重值就是最佳权重。为了降低计算量，首先通过观察眼动仪实验获取的热点 图，确定对各类型图片影响最深刻的几个特征指标，并相应给予较大权重，然后取权重精度 值为0. 05,即每个视觉特征的权重值范围为[0. 05,0. 75]，所有权重值相加为1。求出符合 这些条件下的所有权重分配的可能，并计算相关系数，选择相关系数最大时的那组权重值。 实验结果如图3所示。
[0082] 从图3中可以看出，当取最佳权重值时，2幅显著图之间的相关系数均达到了 80% 以上，相关性很强。从权重值的分配上看，对于人物肖像类的图像，其纹理特征权重达到 0.46,影响程度最大；而在自然风景图像中，亮度特征的权重达到0.42,对视觉感兴趣区域 的影响最大；动物类图像中纹理特征的权重达到〇. 34,影响程度最大；在颜色类的图像中 颜色特征被赋予了较大权重而达到0. 34,影响程度最大。
[0083] 对比结果表明，在不同类型的图像中，不同的视觉特征对图像感兴趣区域的影响 程度是不同的；同一种视觉特征对不同类型的图像影响程度也是不一样的。
[0084] 5.基于不同图像视觉底层特征的图像增强方法
[0085] 由图3得出，颜色、亮度和纹理这3个特征在各类型图像中占主要权重。针对亮度 特征占第1权重的图像，提出基于人眼显著图的优化直方图均衡化方法，原理见图4。首先 构造出基于人眼显著图的灰度级直方图，然后对直方图中占主导的灰度级进行合理的限制 幅度处理；将处理后节省下来的空间根据灰度级直方图的信息量分布情况，优化分配给非 主导的灰度级。这样，就达到了所谓的优化配比的目的，实验证明此方法的图像增强效果更 符合人眼视觉感知。
[0086] 针对颜色特征占第1权重的图像，则采取增强视觉感兴趣区域内的颜色饱和度和 对比度的图像增强方法。针对纹理特征占第1权重的图像，这里采用小波变换的方法，对视 觉感兴趣区域进行去噪增强，凸显出纹理部分的细节。
[0087] 考虑到会出现2个主要视觉底层特征权重接近的特殊情况，如海洋类图像中方向 和亮度的权重值很接近。因而设定当2个权重的差值在0. 05以内（包含0. 05)，则按照第 1、第2权重的对应增强方法分步进行。若2个权重的差值在0. 05以上，则还是按照第1权 重的对应增强方法进行处理。
[0088] 图5-7是对比其他不考虑视觉感兴趣区域的图像增强方法的效果图
[0089] 由图5可以看出，当单独对一种视觉底层特征进行增强时，提出的基于人眼视觉 感知的直方图增强方法的效果更佳，避免了传统直方图均衡化过增强的问题。其中，图5a 为原图1分量的灰度图，图5b为传统直方图均衡化增强效果图，图5c为优化直方图均衡化 增强效果图。从图6和图7可以看出，提出的针对多个关键特征进行分步增强的效果，比传 统增强方法只针对单一特征进行处理，最终增强后的效果图更能凸显人眼感兴趣区域内的 重要视觉信息（如颜色饱和度、对比度都相应提高，纹理更清晰），符合人眼视觉感知。其 中，图6a、图7a为原图，图6b、图7b为传统图像增强方法，图6c、图7c为提出的图像增强方 法。
【主权项】
1. 一种基于视觉底层特征的图像增强方法，其特征在于，该方法具有以下步骤： (1) 提取图像的视觉底层特征，包括颜色、亮度、方向、纹理和边缘特征； (2) 加权融合成计算显著图； (3) 与眼动仪测得的眼动显著图进行相关系数比较，以确定各视觉底层特征的最佳权 重； (4) 根据权重的大小为不同类型的图像选择合适的图像增强方法。2. 根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (1) 进一步包括如下具体步骤： (1. 1)在HSV颜色空间中提取出亮度特征，将源图像转化成只有亮度信息的灰度图，最 后把图像像素值重新归一化到[〇, 255]的范围； (1. 2)在符合人眼视觉感知的HSV颜色空间下提取颜色特征，提取完颜色特征后，将像 素值重新归一化到[〇, 255]的范围； (1. 3)用Gabor变换来提取图像的方向特征； (1. 4)采用Gabor滤波器组提取纹理特征：首先利用Gabor滤波器组提取出图像的5个 尺度、4个方向上的纹理特征，然后对这20幅纹理特征图进行归一化处理，最后把所有图像 按相同权重叠加在一起，形成最后的纹理显著图； (1. 5)边缘特征最典型的提取方式是利用二阶微分的拉普拉斯算子，在HSV空间中提 取图像的灰度边缘特征。3. 根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (2) 进一步包括如下具体步骤： (2. 1)采用高斯函数分别对输入图像的颜色、亮度、方向、纹理和边缘进行6个尺度的 滤波； (2. 2)利用差值操作和拉普拉斯算子提取不同尺度下的图像视觉特征； (2.3)分别进行中央周边差计算，将差值图像归一化求和，得到该特征的显著图； (2. 4)针对得到的5幅特征显著图进行权重配置，并保证5个视觉底层特征的权重值相 加等于1 ;将5幅特征显著图进行叠加，形成1幅多特征组合后的显著图。4. 根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (3) 所采用的算法公式如下：式中，x代表图像中的像素，H(x)、S(x)分别是眼动显著图和计算显著图中当前像素的 显著值，yH、ys分别表示两幅显著图中所有像素的平均显著值，P的取值范围是[_1，1]， 当P= 1代表两幅显著图完全相关，P= 0代表两幅显著图完全不相关，P= -1代表两 幅图反相关，即一幅显著图中的显著区域在另一幅显著图中完全不显著。5. 根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (4) 进一步包括如下具体步骤： (4. 1)针对亮度特征占第1权重的图像，采用基于人眼显著图的优化直方图均衡化方 法； (4. 2)针对颜色特征占第1权重的图像，则采取增强视觉感兴趣区域内的颜色饱和度 和对比度的图像增强方法； (4. 3)针对纹理特征占第1权重的图像，这里采用小波变换的方法，对视觉感兴趣区域 进行去噪增强，凸显出纹理部分的细节。6. 根据权利要求2所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (1.2) 中采用的算法公式如下：其中，saturation(x，y)和brightness(x，y)分别是指像素点（x，y)的饱和度和亮度 值，saturationave和brightnessave贝lj表示整幅图像的饱和度和亮度的平均值，s。和b。是常 量都取0. 5。7. 根据权利要求2所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (1.3) 所采用的算法公式如下：其中，w是常数，0为滤波器的方向0 =nii/k(n= 0，]_???k-l)，k是指Gabor滤波器 的方向个数；用Gabor函数来提取图像的方向特征，其滤波器的方向设定戈然后将4幅特征图按照相同权重叠加形成最终的方向显著图（0)。8. 根据权利要求2所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (1.4) 所采用的算法公式如下：其中，々=暑?(万)，n是指尺度，0是指方向。9. 根据权利要求3所述的基于视觉底层特征的图像增强方法，其特征在于，所述步骤 (2.4) 所采用的算法公式如下： S=w1C+w2I+w30+w4T+w5E 式中，Wpw2、w3、w4、wi别是各视觉底层特征指标对应的权重值，相加为1 ;C、I、0、T、E分别表示颜色、亮度、方向、纹理和边缘特征的显著图；最后将S图像即计算显著图归一化 到[〇, 255]，并处理成二值图像。
【专利摘要】本发明涉及一种基于视觉底层特征的图像增强方法,步骤是：1.提取图像的视觉底层特征；2.加权融合成计算显著图；3.与眼动仪测得的眼动显著图进行相关系数比较，以确定各视觉底层特征的最佳权重；4.根据权重的大小为不同类型的图像选择合适的图像增强方法。本发明与现有图像增强方法比较有以下优点：本发明首次将基于人眼注视点的眼动显著图融合进传统的图像增强方法，提出了一种优化的基于视觉底层特征的Itti视觉注意模型来提取出图像的计算特征显著图，改善了彩色图像在数字显示设备上再现时的视觉质量，针对不同图像类型，凸显了图像中的重要信息，削弱次要信息，使得最终的图像增强效果更加符合人眼视觉感知，在图像增强中发挥应用价值。
【IPC分类】G06T7/40, G06T5/00
【公开号】CN105023253
【申请号】CN201510418774
【发明人】郭少东, 王晓红, 章婷, 麻祥才, 刘玄玄, 洪建华, 况盛坤, 李 杰, 魏代海
【申请人】上海理工大学
【公开日】2015年11月4日
【申请日】2015年7月16日