本发明涉及一种图像信号的处理方法,尤其是涉及一种基于检索的图像对比度调整方法。
背景技术:
对比度调整是一项重要且非常基础的图像处理技术。在图像摄取过程中,由于光照的不足,劣质的摄影设备,或者低水平的摄影技术等因素导致图像的对比度令人不满意。而通过对比度调整算法可以有效地解决此类问题。在处理低对比度问题上,可以大致总结为上下文相关、上下文不相关两类方法。但是这两类方法有着比较明显的缺点,当两幅图像拥有相同的直方图时可能在内容上相差很大,此时该类方法不能根据图像的不同内容而做出改变。
然而,现有的图像对比度增强/调整方法通常是无监督的操作,即没有参考图像和客观质量作为指导,导致增强效果的不可控。因此,如何根据待调整的输入图像自适应地选择参考图像、如何将客观质量评价准则嵌入到调整方法中、如何从上下文相关、上下文不相关出发设计对比度调整方法,都是在对图像进行对比度调整过程中需要研究解决的问题。
技术实现要素:
本发明所要解决的技术问题是提供一种基于检索的图像对比度调整方法,其能够保持较高的图像保真度,且能够有效地提升图像对比度。
本发明解决上述技术问题所采用的技术方案为:一种基于检索的图像对比度调整方法,其特征在于包括以下步骤:
①将待调整的源图像记为{ii(x,y)},其中,i=1,2,3,1≤x≤w,1≤y≤h,w表示{ii(x,y)}的宽,h表示{ii(x,y)}的高,ii(x,y)表示{ii(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值,第1个分量为r分量、第2个分量为g分量、第3个分量为b分量;
②从网络上搜索得到与{ii(x,y)}最为匹配的10幅参考图像,将第n幅参考图像记为然后采用自然图像质量预测器预测每幅参考图像的质量值,将的质量值记为qn;接着从所有参考图像的质量值中找出值最小的质量值,记为qmin;再将qmin对应的参考图像作为{ii(x,y)}的最佳参考图像,记为其中,n为正整数,1≤n≤10,表示中坐标位置为(x,y)的像素点的第i个分量的颜色值,表示中坐标位置为(x,y)的像素点的第i个分量的颜色值;
③计算{ii(x,y)}的非锐化掩膜增强图像,记为其中,表示中坐标位置为(x,y)的像素点的第i个分量的值;
计算{ii(x,y)}的直方图形状映射图像,记为其中,表示中坐标位置为(x,y)的像素点的第i个分量的值;
计算{ii(x,y)}的亮度均衡化图像,记为其中,表示中坐标位置为(x,y)的像素点的第i个分量的值;
④令和均表示参数集合,然后根据和获得3969组不同的参数组合,每组参数组合包含4个参数,且4个参数对应来自和4个参数的值各不相同;接着根据和及3969组不同的参数组合,计算{ii(x,y)}的3969幅对比度增强图像,将{ii(x,y)}的第j幅对比度增强图像记为将中坐标位置为(x,y)的像素点的第i个分量的值记为
其中,j为正整数,1≤j≤3969,αj为第j组参数组合中的第1个参数,βj为第j组参数组合中的第2个参数,γj为第j组参数组合中的第3个参数,hj为第j组参数组合中的第4个参数,exp()表示以自然基数e为底的指数函数;
⑤计算与{ii(x,y)}的每幅对比度增强图像之间的距离,将与之间的距离记为dj;
⑥从步骤⑤计算得到的3969个距离中找出值最小的10个距离,将这10个距离对应的对比度增强图像对应记为然后采用自然图像质量预测器预测得到各自的质量值,对应记为接着从中找出值最小的质量值,记为q'min;再将q'min对应的对比度增强图像作为{ii(x,y)}的最佳对比度增强图像,记为其中,1≤n≤10,表示找出的第1个距离对应的对比度增强图像中坐标位置为(x,y)的像素点的第i个分量的值,表示找出的第n个距离对应的对比度增强图像中坐标位置为(x,y)的像素点的第i个分量的值,表示找出的第10个距离对应的对比度增强图像中坐标位置为(x,y)的像素点的第i个分量的值,表示中坐标位置为(x,y)的像素点的第i个分量的值。
所述的步骤③中的的获取过程为:
③_1a、将{ii(x,y)}中当前待处理的像素点定义为当前像素点;
③_2a、将当前像素点的坐标位置记为p,将以当前像素点为中心的10×10邻域窗口内的除当前像素点外的每个像素点定义为当前像素点的邻域像素点;
③_3a、采用标准差为σr1的高斯滤波器,对当前像素点的所有邻域像素点的第i个分量的颜色值进行高斯滤波操作,得到当前像素点的第i个分量经高斯滤波后的颜色值,记为其中,q表示当前像素点的邻域像素点的坐标位置,n(p)表示由当前像素点的所有邻域像素点的坐标位置构成的集合,gσr1()表示标准差为σr1的高斯滤波函数,exp()表示以e为底的指数函数,符号“||”为求绝对值操作符号,ii(p)表示当前像素点的第i个分量的颜色值,ii(q)表示{ii(x,y)}中坐标位置为q的像素点的第i个分量的颜色值;
采用标准差为(σs,σr2)的双向滤波器,对当前像素点的所有邻域像素点的第i个分量的颜色值进行双向滤波操作,得到当前像素点的第i个分量经双向滤波后的颜色值,记为其中,gσs()表示标准差为σs的高斯滤波函数,符号“||||”为求欧氏距离符号,gσr2()表示标准差为σr2的高斯滤波函数,
③_4a、令表示中坐标位置为p的像素点的第i个分量的值,将赋值给
③_5a、将{ii(x,y)}中的下一个待处理的像素点作为当前像素点,然后返回步骤③_2a继续执行,直至{ii(x,y)}中的所有像素点处理完毕,得到{ii(x,y)}的非锐化掩膜增强图像
所述的步骤③中的的获取过程为:
③_1b、计算{ii(x,y)}中的所有像素点的各个分量的颜色值中的最大值和最小值,将{ii(x,y)}中的所有像素点的第i个分量的颜色值中的最大值记为将{ii(x,y)}中的所有像素点的第i个分量的颜色值中的最小值记为
③_2b、根据由作为输入组成的输入集合ωx及由作为输出组成的输出集合ωy,通过参数拟合得到映射函数,记为f(x),β1、β2、β3和β4是通过求解得到的;然后根据拟合得到的映射函数建立{ii(x,y)}中的任意一个像素点的各个分量的颜色值与{ii(x,y)}的直方图形状映射图像中的对应像素点的对应分量的值的关系模型,将ii(x,y)与的关系模型描述为:其中,f()为函数表示形式,β1、β2、β3和β4为通过拟合得到的系数,exp()表示以e为底的指数函数,min()为取最小值函数,x表示输入,y表示输出,norm()表示归一化操作函数。
所述的步骤③中的的获取过程为:
③_1c、将{ii(x,y)}从rgb颜色空间转换为hsv颜色空间,将{ii(x,y)}的h通道图像、s通道图像和v通道图像对应记为{h(x,y)}、{s(x,y)}和{v(x,y)},其中,h(x,y)表示{h(x,y)}中坐标位置为(x,y)的像素点的像素值,s(x,y)表示{s(x,y)}中坐标位置为(x,y)的像素点的像素值,v(x,y)表示{v(x,y)}中坐标位置为(x,y)的像素点的像素值;
③_2c、采用基于多尺度视网膜方法,获取{v(x,y)}的对比度增强图像,记为将中坐标位置为(x,y)的像素点的像素值记为其中,1≤g≤3,fg(x,y)表示{v(x,y)}中坐标位置为(x,y)的像素点的第g个尺度的高斯平滑值,exp()表示以e为底的指数函数,σg∈{0.6,0.8,1},η为加权参数;
③_3c、采用对比度受限的自适应直方图均衡化方法,对进行直方图均衡化操作,得到的直方图均衡化图像,记为其中,表示中坐标位置为(x,y)的像素点的像素值;
③_4c、将{h(x,y)}、{s(x,y)}和从hsv颜色空间转换为rgb颜色空间,得到{ii(x,y)}的亮度均衡化图像
所述的步骤⑤中的dj的计算过程为:
⑤_1、计算的光度、白平衡、色彩丰富度、色彩和谐度、视觉敏感度和锐度特征;然后将的光度、白平衡、色彩丰富度、色彩和谐度、视觉敏感度和锐度特征按序排列得到的美学特征矢量,记为fr;其中,fr的维数为6×1;
同样,计算的光度、白平衡、色彩丰富度、色彩和谐度、视觉敏感度和锐度特征;然后将的光度、白平衡、色彩丰富度、色彩和谐度、视觉敏感度和锐度特征按序排列得到的美学特征矢量,记为其中,的维数为6×1;
⑤_2、计算fr与之间的距离,记为其中,1≤k≤6,符号“||”为求绝对值操作符号,fr(k)表示fr中的第k个元素,表示中的第k个元素;
⑤_3、计算中的所有像素点的不同分量的颜色值的熵值,将中的所有像素点的第i个分量的颜色值的熵值记为其中,1≤l1≤k1,k1为中所包含的灰度级的总数目,表示中的第l1个灰度级的灰度值,表示在中出现的概率,表示中颜色值等于的像素点的总个数;
同样,计算中的所有像素点的不同分量的值的熵值,将中的所有像素点的第i个分量的值的熵值记为其中,1≤l2≤k2,k2为中所包含的灰度级的总数目,表示中的第l2个灰度级的灰度值,表示在中出现的概率,表示中值等于的像素点的总个数;
⑤_4、计算和之间的距离,记为
⑤_5、根据和计算dj,
与现有技术相比,本发明的优点在于:
1)本发明方法通过分别计算待调整图像的非锐化掩膜增强图像、直方图形状映射图像和亮度均衡化图像,并通过选择最优的参数融合得到对比度增强图像,由于充分考虑了上下文无关增强、上下文相关增强和亮度增强,因此所获得的对比度增强图像有较高的图像保真度。
2)本发明方法利用检索技术检索得到与源图像最为匹配的多幅参考图像,并以图像质量值作为约束条件选择最佳参考图像,然后根据美学特征和图像熵计算参考图像与候选的对比度增强图像的距离,得到多幅对比度增强图像,并以图像质量值作为约束条件选择最佳对比度增强图像,所获得的对比度增强图像有较高的图像保真度且提升了图像对比度。
附图说明
图1为本发明方法的总体实现框图;
图2a为“image1”的原始图像;
图2b为利用本发明方法得到的“image1”图像的最佳对比度增强图像;
图3a为“image2”的原始图像;
图3b为利用本发明方法得到的“image2”图像的最佳对比度增强图像;
图4a为“image3”的原始图像;
图4b为利用本发明方法得到的“image3”图像的最佳对比度增强图像;
图5a为“image4”的原始图像;
图5b为利用本发明方法得到的“image4”图像的最佳对比度增强图像;
图6a为“image5”的原始图像;
图6b为利用本发明方法得到的“image5”图像的最佳对比度增强图像;
图7a为“image6”的原始图像;
图7b为利用本发明方法得到的“image6”图像的最佳对比度增强图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于检索的图像对比度调整方法,其总体实现框图如图1所示,其包括以下步骤:
①将待调整的源图像记为{ii(x,y)},其中,i=1,2,3,1≤x≤w,1≤y≤h,w表示{ii(x,y)}的宽,h表示{ii(x,y)}的高,ii(x,y)表示{ii(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值,第1个分量为r分量、第2个分量为g分量、第3个分量为b分量。
②通过谷歌图片搜索从网络上搜索得到与{ii(x,y)}最为匹配的10幅参考图像,将第n幅参考图像记为然后采用现有的自然图像质量预测器(naturalimagequalityevaluator,niqe)预测每幅参考图像的质量值,将的质量值记为qn;接着从所有参考图像的质量值中找出值最小的质量值,记为qmin,qmin=min(qn|1≤n≤10);再将qmin对应的参考图像作为{ii(x,y)}的最佳参考图像,记为其中,n为正整数,1≤n≤10,表示中坐标位置为(x,y)的像素点的第i个分量的颜色值,min()为取最小值函数,表示中坐标位置为(x,y)的像素点的第i个分量的颜色值。
③为了增强图像的局部区域,可以利用滤波器进行非锐化掩膜提取图像的高频部分(纹理和边缘),同时需要在非锐化掩膜的同时对噪声进行抑制,因此本发明计算{ii(x,y)}的非锐化掩膜增强图像,记为其中,表示中坐标位置为(x,y)的像素点的第i个分量的值。
在此具体实施例中,步骤③中的的获取过程为:
③_1a、将{ii(x,y)}中当前待处理的像素点定义为当前像素点。
③_2a、将当前像素点的坐标位置记为p,将以当前像素点为中心的10×10邻域窗口内的除当前像素点外的每个像素点定义为当前像素点的邻域像素点。
③_3a、采用标准差为σr1的高斯滤波器,对当前像素点的所有邻域像素点的第i个分量的颜色值进行高斯滤波操作,得到当前像素点的第i个分量经高斯滤波后的颜色值,记为其中,在本实施例中取标准差σr1=0.7,q表示当前像素点的邻域像素点的坐标位置,n(p)表示由当前像素点的所有邻域像素点的坐标位置构成的集合,gσr1()表示标准差为σr1的高斯滤波函数,exp()表示以e为底的指数函数,e=2.71828183,符号“||”为求绝对值操作符号,ii(p)表示当前像素点的第i个分量的颜色值,ii(q)表示{ii(x,y)}中坐标位置为q的像素点的第i个分量的颜色值。
采用标准差为(σs,σr2)的双向滤波器,对当前像素点的所有邻域像素点的第i个分量的颜色值进行双向滤波操作,得到当前像素点的第i个分量经双向滤波后的颜色值,记为其中,在本实施例中取标准差(σs,σr2)=(2,0.3),gσs()表示标准差为σs的高斯滤波函数,符号“||||”为求欧氏距离符号,||p-q||表示坐标位置p和坐标位置q之间的欧氏距离,gσr2()表示标准差为σr2的高斯滤波函数,
③_4a、令表示中坐标位置为p的像素点的第i个分量的值,将赋值给
③_5a、将{ii(x,y)}中的下一个待处理的像素点作为当前像素点,然后返回步骤③_2a继续执行,直至{ii(x,y)}中的所有像素点处理完毕,得到{ii(x,y)}的非锐化掩膜增强图像
在图像直方图分布中具有长拖尾曲线分布的图像往往会更光滑,且较为符合人眼视觉感受,因此本发明计算{ii(x,y)}的直方图形状映射图像,记为其中,表示中坐标位置为(x,y)的像素点的第i个分量的值。
在此具体实施例中,步骤③中的的获取过程为:
③_1b、计算{ii(x,y)}中的所有像素点的各个分量的颜色值中的最大值和最小值,将{ii(x,y)}中的所有像素点的第i个分量的颜色值中的最大值记为将{ii(x,y)}中的所有像素点的第i个分量的颜色值中的最小值记为
③_2b、根据由作为输入组成的输入集合ωx及由作为输出组成的输出集合ωy通过参数拟合得到映射函数,记为f(x),β1、β2、β3和β4是通过求解得到的;然后根据拟合得到的映射函数建立{ii(x,y)}中的任意一个像素点的各个分量的颜色值与{ii(x,y)}的直方图形状映射图像中的对应像素点的对应分量的值的关系模型,将ii(x,y)与的关系模型描述为:其中,f()为函数表示形式,β1、β2、β3和β4为通过拟合得到的系数,exp()表示以e为底的指数函数,e=2.71828183,min()为取最小值函数,x表示输入,y表示输出,norm()表示归一化操作函数。
为了能根据图像不同区域的亮度值进行自适应对比度调整,本发明计算{ii(x,y)}的亮度均衡化图像,记为其中,表示中坐标位置为(x,y)的像素点的第i个分量的值。
在此具体实施例中,步骤③中的的获取过程为:
③_1c、将{ii(x,y)}从rgb颜色空间转换为hsv颜色空间,将{ii(x,y)}的h通道图像、s通道图像和v通道图像对应记为{h(x,y)}、{s(x,y)}和{v(x,y)},其中,h(x,y)表示{h(x,y)}中坐标位置为(x,y)的像素点的像素值,s(x,y)表示{s(x,y)}中坐标位置为(x,y)的像素点的像素值,v(x,y)表示{v(x,y)}中坐标位置为(x,y)的像素点的像素值。
③_2c、采用基于多尺度视网膜方法,获取{v(x,y)}的对比度增强图像,记为将中坐标位置为(x,y)的像素点的像素值记为其中,1≤g≤3,fg(x,y)表示{v(x,y)}中坐标位置为(x,y)的像素点的第g个尺度的高斯平滑值,exp()表示以e为底的指数函数,e=2.71828183,σg∈{0.6,0.8,1},η为加权参数,在本实施例中取η=0.45。
③_3c、采用现有的对比度受限的自适应直方图均衡化(contrastlimitedadaptivehistogramequalization)方法,对进行直方图均衡化操作,得到的直方图均衡化图像,记为其中,表示中坐标位置为(x,y)的像素点的像素值。
③_4c、将{h(x,y)}、{s(x,y)}和从hsv颜色空间转换为rgb颜色空间,得到{ii(x,y)}的亮度均衡化图像
④令和均表示参数集合,然后根据和获得3969组不同的参数组合,每组参数组合包含4个参数,且4个参数对应来自和4个参数的值各不相同;接着根据和及3969组不同的参数组合,计算{ii(x,y)}的3969幅对比度增强图像,将{ii(x,y)}的第j幅对比度增强图像记为将中坐标位置为(x,y)的像素点的第i个分量的值记为其中,j为正整数,1≤j≤3969,αj为第j组参数组合中的第1个参数,βj为第j组参数组合中的第2个参数,γj为第j组参数组合中的第3个参数,hj为第j组参数组合中的第4个参数,exp()表示以自然基数e为底的指数函数,e=2.71828183…。
⑤计算与{ii(x,y)}的每幅对比度增强图像之间的距离,将与之间的距离记为dj。
⑥从步骤⑤计算得到的3969个距离中找出值最小的10个距离,将这10个距离对应的对比度增强图像对应记为然后采用现有的自然图像质量预测器(naturalimagequalityevaluator,niqe)预测得到各自的质量值,对应记为接着从中找出值最小的质量值,记为q'min;再将q'min对应的对比度增强图像作为{ii(x,y)}的最佳对比度增强图像,记为其中,1≤n≤10,表示找出的第1个距离对应的对比度增强图像中坐标位置为(x,y)的像素点的第i个分量的值,表示找出的第n个距离对应的对比度增强图像中坐标位置为(x,y)的像素点的第i个分量的值,表示找出的第10个距离对应的对比度增强图像中坐标位置为(x,y)的像素点的第i个分量的值,表示中坐标位置为(x,y)的像素点的第i个分量的值。
在此具体实施例中,步骤⑤中的dj的计算过程为:
⑤_1、采用现有的图像美学特征描述方法,计算的光度(luminosity)、白平衡(whitebalance)、色彩丰富度(colorfulness)、色彩和谐度(colorharmony)、视觉敏感度(eyesensitivity)和锐度(sharpness)特征;然后将的光度、白平衡、色彩丰富度、色彩和谐度、视觉敏感度和锐度特征按序排列得到的美学特征矢量,记为fr;其中,fr的维数为6×1。
同样,采用现有的图像美学特征描述方法,计算的光度(luminosity)、白平衡(whitebalance)、色彩丰富度(colorfulness)、色彩和谐度(colorharmony)、视觉敏感度(eyesensitivity)和锐度(sharpness)特征;然后将的光度、白平衡、色彩丰富度、色彩和谐度、视觉敏感度和锐度特征按序排列得到的美学特征矢量,记为其中,的维数为6×1。
⑤_2、计算fr与之间的距离,记为其中,1≤k≤6,符号“||”为求绝对值操作符号,fr(k)表示fr中的第k个元素,表示中的第k个元素。
⑤_3、计算中的所有像素点的不同分量的颜色值的熵值,将中的所有像素点的第i个分量的颜色值的熵值记为其中,1≤l1≤k1,k1为中所包含的灰度级的总数目,表示中的第l1个灰度级的灰度值,表示在中出现的概率,表示中颜色值等于的像素点的总个数。
同样,计算中的所有像素点的不同分量的值的熵值,将中的所有像素点的第i个分量的值的熵值记为其中,1≤l2≤k2,k2为中所包含的灰度级的总数目,表示中的第l2个灰度级的灰度值,表示在中出现的概率,表示中值等于的像素点的总个数。
⑤_4、计算和之间的距离,记为
⑤_5、根据和计算dj,
为进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
以下就利用本发明方法对image1、image2、image3、image4、image5和image6六幅图像进行对比度调整。图2a给出了“image1”的原始图像,图2b给出了利用本发明方法得到的“image1”图像的最佳对比度增强图像;图3a给出了“image2”的原始图像,图3b给出了利用本发明方法得到的“image2”图像的最佳对比度增强图像;图4a给出了“image3”的原始图像,图4b给出了利用本发明方法得到的“image3”图像的最佳对比度增强图像;图5a给出了“image4”的原始图像,图5b给出了利用本发明方法得到的“image4”图像的最佳对比度增强图像;图6a给出了“image5”的原始图像,图6b给出了利用本发明方法得到的“image5”图像的最佳对比度增强图像,图7a给出了“image6”的原始图像,图7b给出了利用本发明方法得到的“image6”图像的最佳对比度增强图像。从图2a至图7b可以看出,采用本发明方法得到的最佳对比度增强图像有较高的图像保真度且提升了图像对比度。