一种重加权数据项的结构保持图像平滑算法

1.本发明涉及图像处理技术领域，具体涉及一种重加权数据项的结构保持图像平滑算法。


背景技术：

2.在信息时代，人们常通过视觉直观的获取图像中的主要信息，但一幅图像在成像、传输的过程中难免会受到各种外在因素的影响，如非均匀光线、噪声等，导致最后得到的图像质量大大降低。而图像平滑则是为了消除被污染图像中的噪声并保持边缘结构信息，这是数字图像技术研究的最基本内容之一，也是对图像进行处理的基础。现有的图像平滑算法可分为两类：一是基于加权平均滤波的算法，二是基于全局优化建模的算法。由于全局优化算法在避免梯度反转和光晕等伪影方面比基于加权平均优化算法具有更好的性能，因此更受研究者们的青睐。
3.基于全局优化算法通常是将图像平滑任务建模为一个全局优化框架，该框架通常包含一个数据项和一个正则项，一般可表示为e(u)＝s(u,i)+λc(u)，其中，数据项s(u,i)是为了保证输入/输出图像在结构上的相似性，而正则项c(u)是对输出图像梯度的惩罚，控制着输出图像的平滑程度，包含了对输出图像的先验知识，λ则是调整图像的平滑参数。
4.farbman等人采用加权的l2正则化项对输出图像的梯度进行惩罚约束，提出一种加权最小二乘(wls)平滑算法，其目标函数如下：
[0005][0006]
其中，i表示输入图像，u表示输出图像，并假设图像的大小为m
×
n，总的像素个数为n＝m
×
n，λ为平滑参数，p为当前像素点，i
p
和u
p
分别表示对应输入/输出图像的像素点值，a
x,p
和a
y,p
为两个方向上梯度的权重。该算法在细节处理和多尺度图像色调的处理中比起局部加权算法有着更好的性能，它能够很好的抑制梯度反转伪影和晕轮现象，在图像平滑算法中更具有鲁棒性。
[0007]
xu等人使用l0范数对输出图像的梯度进行惩罚，能够清晰有效地保存图像边缘结构，其目标函数如下：
[0008][0009]
其中，c(u)表示图像中像素梯度不为零的个数，它可以全局控制产生多少个非零梯度，并以一种稀疏控制的方式近似出显著的结构。与其他保留边缘的平滑方法不同，该方法可以全局定位重要的边缘信息并忽略部分局部特征，但通常会因此平滑少量具有小梯度的重要边缘，并且对于带有纹理噪声的自然图像难以达到预期的平滑效果。
[0010]
sai等人利用加权的l1范数对输出图像梯度进行约束，其目标函数如下：
[0011][0012]
其中，p为当前像素点，q是p的邻域像素点，是中心像素点与其邻域像素点的一个权重。该方法通常能得到更为稀疏的结构特征，产生较好的平滑效果，但对于自然图像中一些对比度较强的纹理信息却无法去除。
[0013]
上述算法仅依靠惩罚图像的梯度信息来实现平滑效果，考虑到自然图像结构复杂，数据项对所有的结构信息都会保留，一些高对比度的纹理和噪声信息在全局优化过程中会被当成结构保留下来，而部分弱结构信息则为了保证整个图像的平滑质量被丢弃。而本技术的发明人经过研究发现，目前现有的算法都是针对函数中的惩罚项来改进，而如何利用函数数据项中的像素间信息来增强平滑效果也是具有重要意义的课题。


技术实现要素：

[0014]
针对现有基于全局优化的图像平滑算法都是针对函数中的惩罚项来改进，而未见利用函数数据项中的像素间信息来增强平滑效果的技术问题，本发明提供一种重加权数据项的结构保持图像平滑算法。
[0015]
为了解决上述技术问题，本发明采用了如下的技术方案：
[0016]
一种重加权数据项的结构保持图像平滑算法，包括以下步骤：
[0017]
s1、对输入图像i进行双边滤波，得到对应像素点经过双边滤波后的像素值通过像素值来计算像素点间的相似性权重w
p
，实现图像的预处理；
[0018]
s2、根据相似性权重w
p
在结构信息与非结构信息间表现出来的特性，将现有全局优化算法中原来的数据项分为两项以构成新的数据项，新的数据项中一项实现保留图像的结构信息，另一项实现平滑图像中的纹理细节，并分别设置两项的权重；
[0019]
s3、用新的数据项替换现有全局优化算法中原来的数据项，全局优化算法得到新的目标函数，对新的目标函数优化求解，得到最后滤波的输出图像u。
[0020]
进一步，所述步骤s1中通过下式来计算双边滤波后的像素值
[0021][0022]
其中，p表示当前像素点，q为p的邻域像素点，ω
p
为归一化因子，gs(||p-q||)表示空间信息的高斯函数，gr(|i
p-iq|)表示颜色信息的高斯函数，i
p
表示原图像在p点的像素值，iq表示p点的邻域像素值。
[0023]
进一步，所述步骤s1中通过下式来计算像素点间的相似性权重w
p
：
[0024][0025]
其中，σr表示值域标准差。
[0026]
进一步，所述步骤s2中新的数据项通过下式来表示：
[0027][0028]
其中，u
p
表示输出图像在p点的像素值，i'＝h*i，h表示一个通用的图像平滑滤波器，γ
p
表示当前像素点p为结构点的权重，ψ
p
表示当前像素点p为非结构点的权重，对于重加权后的新的数据项式，第一项仍实现结构信息的保真，第二项能提升算法的平滑效果，并设置ψ
p
＝w
p
。
[0029]
进一步，所述γ
p
和ψ
p
在函数中呈现为一个线性关系γ
p
＝1-ψ
p
，即当前像素点p与邻域像素点q越相似，ψ
p
的值越大；若当前像素点p与邻域像素点q越不相似，则γ
p
的值越大。
[0030]
进一步，所述ψ
p
用ψ表示对应的权重矩阵，ψ＝diag(ψ1,ψ2,...,ψn)，其中diag(
·
)表示一个对角矩阵；所述γ
p
用γ表示对应的权重矩阵，γ＝e-ψ，e为单位矩阵。
[0031]
进一步，所述步骤s3具体包括以下步骤：
[0032]
首先将原始的l2梯度最小化的目标函数中的数据项用步骤s2中提出的新的数据项替换，重新改写基于重加权数据项的l2正则化图像平滑算法的目标函数为：其中，λ为调整图像的平滑参数，a
x,p
为x方向上梯度的权重，为在x方向上的梯度，a
y,p
为y方向上梯度的权重，为在y方向上的梯度；
[0033]
接着用矩阵的方式来重新改写该目标函数后得：其中，u
t
为输出图像u的转置矩阵，a
x
和ay是一个对角矩阵，d
x
和dy是离散微分算子，和是对应d
x
和dy的转置矩阵；
[0034]
然后对重新改写后的目标函数中的u求导并设导数为零，即可获得线性系统(e+λl)u＝(γi+ψi')；其中，l是一个五点非齐次的拉普拉斯矩阵；
[0035]
最后求解该线性系统即可获得最优解，得到最后滤波的输出图像u。
[0036]
与现有技术相比，本发明提供的重加权数据项的结构保持图像平滑算法具有以下优点：
[0037]
1、本发明充分利用了像素间的关联性判断该像素点为结构信息的可能性，并将原有的数据项拆分为两项，一项保证输入/输出图像在结构上的相似性，另一项能提高输出图像局部的平滑质量，采用两个高斯函数分别计算空间信息和颜色信息来设计它们的权重，从而避免数据项对所有的信息都进行保真，实现结构信息的保留及非结构信息的平滑；
[0038]
2、基于现有的全局优化算法提出一种新的全局优化算法，它能够产生比原算法更好的平滑效果，并在此基础上保留原图像的弱结构信息，新的算法不再只依靠惩罚项的平
滑作用，并对纹理噪声更敏感，进一步保证了算法的保边平滑性能；
[0039]
3、本发明提出的新的数据项能适用于现有的全局优化算法，可以改善原始算法的平滑性能。
附图说明
[0040]
图1是本发明提供的重加权数据项的结构保持图像平滑算法流程示意图。
[0041]
图2是本发明提供的算法中仅数据项的平滑保边性能效果图。
[0042]
图3是图2效果图中方框区域的放大展示图。
[0043]
图4是本发明提供的算法对一幅自然图像的平滑结果示图。
[0044]
图5是对应图4平滑结果的区域放大展示图。
[0045]
图6是本发明提供的算法对一幅具有高对比度纹理图像的平滑结果示图。
[0046]
图7是对应图6平滑结果的区域放大展示图。
[0047]
图8是本发明提供的各个算法在bsd300数据集上跑的psnr指标结果。
[0048]
图9是本发明提供的各个算法在bsd300数据集上跑的ssim指标结果。
[0049]
在图4～图7中，(a)是原图，(b)～(f)分别是rtv、树滤波(tf)、双边纹理滤波(btf)、静/动态引导滤波(sd)、迭代全局优化最小二乘(g-smooth)算法对应的平滑结果，(g)、(i)、(k)分别为wls、l0、l1算法对应的平滑结果，而(h)、(j)、(l)分别为wls、l0、l1对应算法改进后的平滑结果。
具体实施方式
[0050]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0051]
请参考图1所示，本发明提供一种重加权数据项的结构保持图像平滑算法，包括以下步骤：
[0052]
s1、对输入图像i进行双边滤波，得到对应像素点经过双边滤波后的像素值通过像素值来计算像素点间的相似性权重w
p
，实现图像的预处理；
[0053]
s2、根据相似性权重w
p
在结构信息与非结构信息间表现出来的特性，将现有全局优化算法中原来的数据项分为两项以构成新的数据项，新的数据项中一项实现保留图像的结构信息，另一项实现平滑图像中的纹理细节，并分别设置两项的权重；
[0054]
s3、用新的数据项替换现有全局优化算法中原来的数据项，全局优化算法得到新的目标函数，对新的目标函数优化求解，得到最后滤波的输出图像u。
[0055]
作为具体实施例，所述步骤s1中通过下式来计算双边滤波后的像素值
[0056][0057]
其中，p表示当前像素点，q为p的邻域像素点，ω
p
为归一化因子，gs(||p-q||)表示空间信息的高斯函数，gr(|i
p-iq|)表示颜色信息的高斯函数，i
p
表示原图像在p点的像素值，iq表示p点的邻域像素值。
[0058]
作为具体实施例，所述步骤s1中通过下式来计算像素点间的相似性权重w
p
：
[0059][0060]
其中，σr表示值域标准差。通过分析w
p
的值可知：当w
p
的值较小时，表明当前像素点与邻域像素点具有较大的差异性，此时该像素点大概率位于结构区域，则输出图像应该接近于输入图像，数据项实现图像结构信息的保真；当w
p
的值较大时，表明当前像素点与邻域像素点具有较小的差异性，此时该像素点大概率位于非结构区域，使得输出图像接近于滤波图像，数据项实现平滑图像中的纹理细节及噪声信息。
[0061]
作为具体实施例，所述步骤s2中新的数据项通过下式来表示：
[0062][0063]
其中，u
p
表示输出图像在p点的像素值，i'＝h*i，h表示一个通用的图像平滑滤波器，如高斯滤波或均值滤波等，γ
p
表示当前像素点p为结构点的权重，ψ
p
表示当前像素点p为非结构点的权重，对于重加权后的新的数据项式(6)，第一项仍实现结构信息的保真，第二项能提升算法的平滑效果；通过分析步骤s1中计算的相似性权重w
p
的特点，设置ψ
p
＝w
p
。
[0064]
作为具体实施例，所述γ
p
和ψ
p
在函数中呈现为一个线性关系：即当前像素点与邻域像素点越相似，ψ
p
的值就越大；若当前像素点与邻域像素点越不相似，则γ
p
的值就越大，由此可将该线性关系设置为：γ
p
＝1-ψ
p
。
[0065]
作为具体实施例，为方便后续算法求解，所述ψ
p
用ψ表示对应的权重矩阵，ψ＝diag(ψ1,ψ2,...,ψn)，其中diag(
·
)表示一个对角矩阵；类似的，所述γ
p
用γ表示对应的权重矩阵，γ＝e-ψ，e为单位矩阵。
[0066]
事实上，当γ＝e，ψ＝0的时候目标函数就会退化成原始的全局优化算法，如果将该新的数据项应用于某一个现有的算法中时，可以将原始的全局优化算法看作是改进算法后的一个特例。
[0067]
作为具体实施方式，所述步骤s3中对新的目标函数优化求解过程，以下将用三个具体的全局优化算法对其求解过程进行详细说明。
[0068]
作为一种具体实施例，全局优化算法为重加权的l2正则化图像平滑算法，所述步骤s3具体包括以下步骤：
[0069]
首先将原始的l2梯度最小化的目标函数中的数据项用步骤s2中提出的新的数据项替换，重新改写基于重加权数据项的l2正则化图像平滑算法的目标函数为：
[0070][0071]
其中，λ为调整图像的平滑参数，a
x,p
为x方向上梯度的权重，为在x方向上的梯
度，a
y,p
为y方向上梯度的权重，为在y方向上的梯度；
[0072]
接着用矩阵的方式来重新改写该目标函数即式(7)后得：
[0073][0074]
其中，u
t
为输出图像u的转置矩阵，a
x
和ay是一个对角矩阵，d
x
和dy是离散微分算子，和是对应d
x
和dy的转置矩阵；
[0075]
然后对重新改写后的目标函数即式(8)中的u求导并设导数为零，即可获得如下线性系统：
[0076]
(e+λl)u＝(γi+ψi')式(9)
[0077]
其中，l是一个五点非齐次的拉普拉斯矩阵；
[0078]
最后求解该线性系统即公式(9)即可获得最优解，得到最后滤波的输出图像u。具体流程如下算法1所示：
[0079][0080]
作为另一种具体实施例，全局优化算法为重加权的l0正则化图像平滑算法，所述步骤s3具体包括以下步骤：
[0081]
首先将基于l0梯度最小化的目标函数中的数据项用步骤s2中提出的新的数据项替换，重新改写基于重加权的l0正则化图像平滑算法的目标函数为：
[0082][0083]
采用半二次分裂的交替优化求解策略对式(10)进行求解，同时引入辅助变量m
p
和v
p
与和相对应，并且将基于重加权的l0正则化图像平滑算法的目标函数重新改写为：
[0084][0085]
其中，表示在x方向上的偏导，表示在y方向上的偏导，β是用来调整引入辅助变量与相应梯度之间的相似性，并且当β足够大时，式(11)与式(10)就越接近，在对其求解的过程中，一组变量用从上一次迭代中获得的值来固定为常数，进而求得另一组变量的解。
[0086]
求解u对应子问题的最小化：
[0087][0088]
从而得到了一个新的二次函数，采用迭代法来寻找全局最小值，并在快速傅立叶变换(fft)后对角化导数算子以提高求解速度，求得u的值：
[0089][0090]
其中，f表示fft的运算符，f()
*
表示复共轭，f(1)是delta函数的傅立叶变换。
[0091]
求解(m,v)对应子问题的最小化：
[0092][0093]
这里的c(m,v)返回的是|m|+|v|不等于零的个数，同样对式(14)进行分解后得到：
[0094][0095]
其中，当|m|+|v|≠0时，h(|m
p
|+|v
p
|)＝1，那么对于每个像素点p可以从式(15)中单独写成：
[0096][0097]
其中，使(m
p
,v
p
)达到以下条件才能使达到最小值。
[0098][0099]
具体流程如下算法2所示：
[0100][0101]
作为又一种具体实施例，全局优化算法为重加权的l1正则化图像平滑算法，所述步骤s3具体包括以下步骤：
[0102]
首先将基于l1梯度最小化的目标函数中的数据项用步骤s2中提出的新的数据项替换，重新改写基于重加权的l1正则化图像平滑算法的目标函数为：
[0103][0104]
其中，是当前像素点p与其邻域像素点q的权重，后续为方便标记，记
[0105]
假设图像中的像素点个数为n，那于对于e
l
中就有m
l
个相邻的像素点对。令u＝[ur,ug,ub]，u是一个n
×
3的矩阵。类似的，令m＝{m
pq
}，m是一个m
l
×
n的矩阵。当像素点i和j构成了第k个相邻像素点的像素点对时，则有那么可以把e
l
改写成如下的矩阵向量形式：
[0106][0107]
通过引入中间变量b、d，利用增广拉格朗日乘子法可以把目标函数表示为：
[0108][0109]
求解u问题对应子问题的最小化：
[0110][0111]
将式(20)改写成矩阵形式得到式(21)，进一步对式(21)中的u求导并设导数为零，可求解uk，k表示迭代循环次数。
[0112]
(e+l)uk＝γi+ψi'+βl(d
k-bk)式(22)
[0113]
求解b问题对应子问题的最小化：
[0114][0115]
从而得到了一个新的二次函数，对式(23)中的b求导并设导数为零，可求解b
k+1
。
[0116]bk+1
＝d
k-luk式(24)
[0117]
求解d问题对应子问题的最小化：
[0118][0119]
从而得到了一个新的目标函数，对式(25)通过求解次梯度来得到d的近似解。
[0120][0121]
其中，a＝-lu
k-bk，
[0122]
具体流程如下算法3所示：
[0123][0124]
对于原始的目标函数，当设置平滑参数为较小值时，只有数据项起作用，那么得到的输出图像的值将会接近于输入图像。对于新的数据项，即使将平滑参数λ设置为0后，再对目标函数e(u)进行优化，能得到如下解：
[0125]
u＝γi+ψi'式(27)
[0126]
其中，当像素点处于边缘区域的时，γ的值较大，结构信息被保留；当像素点处于平坦区域时，ψ的值较大，纹理信息被平滑。改进后的算法既能平滑纹理噪声，也能保留图像的弱结构信息。通过上述分析可知：即使当平滑参数λ为0时，所提出的数据项不仅能保留结构信息也具有平滑的作用，具体效果如图2和图3所示。
[0127]
图4、图5、图6和图7的结果中，第一行展示了原图以及其他算法的平滑结果，第二行则是原始的wls、l0和l1方法以及它们对应改进算法的平滑结果。图4展示了一幅具有高对比度信息的自然图像在各算法中得到的滤波结果，图5是图4中对应区域的放大图。从实验结果中可以看到，rtv、btf算法对于去除纹理有较好的效果，而tf方法在结构边缘有明显的泄漏。不管是从整体或是局部结果来看，改进的三种方法相比于原始的算法都得到了更好的平滑效果，能将高对比度的纹理基本滤除，并且从整体结果来看仍然保留了主要的结构信息，尤其是改进后的l0方法在所有平滑结果中表现突出。图6展示了一个强纹理的自然图
像在保证中间部分主要结构不模糊的前提下，在各算法中得到的滤波结果，图7是图6中对应区域的放大图。从实验中可以看到现有算法在面对强纹理信息时都难以滤除完全，其中rtv、tf、btf以及g-smooth这几种方法表现良好，然而从整体来看，平滑结果都不是很理想。从图6和图7中看到，改进的三种算法不仅保留了图像中间的主要结构信息，同时也能将强纹理信息平滑掉，可见改进后的三种方法能在各类自然图像中都能得到较好的保边平滑结果。
[0128]
图8是各个算法在bsd300数据集上运行的psnr指标结果，图9是各个算法在bsd300数据集上运行的ssim指标结果，从图8和图9可以看到，不管是滤波后的质量还是其结构相似度，将本发明所提新的数据项替换现有三种算法中原来的数据项应用后得到的平滑结果都有一定的提高，并且相较于其他算法也具有一定的优势。
[0129]
与现有技术相比，本发明提供的重加权数据项的结构保持图像平滑算法具有以下优点：
[0130]
1、本发明充分利用了像素间的关联性判断该像素点为结构信息的可能性，并将原有的数据项拆分为两项，一项保证输入/输出图像在结构上的相似性，另一项能提高输出图像局部的平滑质量，采用两个高斯函数分别计算空间信息和颜色信息来设计它们的权重，从而避免数据项对所有的信息都进行保真，实现结构信息的保留及非结构信息的平滑；
[0131]
2、基于现有的全局优化算法提出一种新的全局优化算法，它能够产生比原算法更好的平滑效果，并在此基础上保留原图像的弱结构信息，新的算法不再只依靠惩罚项的平滑作用，并对纹理噪声更敏感，进一步保证了算法的保边平滑性能；
[0132]
3、本发明提出的新的数据项能适用于现有的全局优化算法，可以改善原始算法的平滑性能。
[0133]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。