基于引导图全变分模型的图像纹理和结构的分解方法与流程

本发明属于图像处理技术领域，具体地说，涉及一种基于引导图全变分模型的图像纹理和结构的分解方法。

背景技术：

纹理和结构是图像固有的最基本的视觉特征，分离图像中的纹理和结构对进一步处理和理解图像有着重要意义。在复杂场景图像中准确高效地分离纹理和结构是一项具有挑战性的工作。在实际应用中，基于滤波的方法和基于全变分的方法是两类常用的纹理结构分解方法。

基于滤波的方法通过计算图像局部纹理和结构特征间的差异来完成分解，其优点是方法简单、直观，速度快，缺陷是对弱边缘难以准确重构，容易导致部分图像重要结构被过度模糊，对局部变化较强的纹理分解能力较弱。全变分模型能更好地表达纹理/结构分解问题，图像的纹理和结构可与模型中不同的数据项或正则项相对应，通过最小化能量函数可以获得全局最优解，模型也具有更高的可控性。但基于全变分的纹理和结构分解对纹理描述方法十分敏感，超参的选择也十分困难，全局优化容易导致分解后的结构图像被过度平滑，缺乏合理的局部明暗变化，在部分区域会退化为单一色块。此外，基于全变分模型分解纹理和结构计算量大，对计算时间有严格要求的应用并不适用。

技术实现要素：

本发明所要解决的技术问题是提供一种基于引导图全变分模型的图像纹理和结构的分解方法，用以提高图像纹理和结构分解的准确性和计算效率。

本发明公开了一种基于引导图全变分模型的图像纹理和结构的分解方法，包括以下步骤：

s1、将待分解的原图像i和引导图输入局部结构重构模块；

s2、基于待分解的原图像i和引导图，通过多次迭代使用高斯滤波、联合双边滤波，重构出局部结构图像；

s3、提取局部结构图像的纹理特征fp，fp为5维特征向量，其中分别为像素p在lab颜色空间中三个通道上的值，分别表示像素p在l通道上的一阶和二阶导数；

s4、计算局部结构图像的纹理特征fp的区域协方差，获得局部结构图像的纹理度tp，其中，参与区域协方差计算的图像块大小为k，k的初始值为15；

s5、利用块平移策略对获得的局部结构图像的纹理度tp进行校正；

s6、将原图像和校正后的局部结构图像的纹理度输入全变分纹理/结构分解模块，分解出图像的全局结构层；

s7、将分解后的结构层s*作为新的引导图输入到局部结构重构模块；

s8、将s4步骤中的图像块大小k更新为：

s9、重复s2～s8步骤4次，将最后一次迭代得到的s*作为原图像的结构层s输出；

s10、用原图像i减去s9步骤中最终得到的原图像结构层s，得到原图像的纹理层t。

如上所述的方法，其中，s2步骤的实现过程具体包括：

s21、根据纹理大小设置初始的空间尺度参数σs，σs的初始值为3；s22、根据σs对引导图进行高斯滤波，平滑图像纹理细节；

s23、对原图像i和引导图进行联合双边滤波，其中颜色权重在s21步骤计算后的引导图上获取；

s24、更新尺度参数σs＝2σs+1，并将s23步骤滤波后的图像作为新的引导图；

s25、重复s22～s24步骤3～4次，最后一次执行s23步骤得到的双边滤波结果即为重构后的局部结构图像。

如上所述的方法，其中，s5步骤的实现过程具体包括：

s51、在获得的局部结构图像中，找出所有包含像素p的图像块，并标记为候选图像块ωq，其中q为候选图像块的中心像素，并满足q∈ωp；

s52、计算每一个候选图像块的纹理度差分值d(ωq)，计算公式如下：

式中，dx(tr)和dy(tr)分别表示候选图像块ωq中像素r的纹理度在横向和纵向上的差分；

s53、选取纹理度差分值最小的候选图像块，并用其中心像素的纹理度tq替换像素p的图像块的纹理度。

如上所述的方法，其中，s6步骤的实现过程具体包括：

s61、根据校正后的局部结构图像的纹理度计算全变分模型中正则化项的权重wx,p和wy,p，wx,p表示像素p在水平方向x上的权重，wy,p表示像素p在垂直方向y上的权重，计算公式如下：

式中，dx(tp)表示像素p校正后的纹理度在x方向上的差分，表示对原图像的亮度分量在x方向上求一阶偏导；dy(tp)表示像素p校正后的纹理度在y方向上的差分，表示对原图像的亮度分量在y方向上求一阶偏导；εt＝εs＝1e-6；

s62、通过求解如下全变分分解模型，获取分解后的结构层s*：

式中，sp为像素p在所求结构层图像中的值，ip为像素p在用户输入的原图像中的值,为像素p在结构层图像中x方向上的一阶偏导，为像素p在结构层图像中y方向上的一阶偏导，λ为保真项和正则化项间的权衡因子，λ∈[0.01，0.05]。

本发明提供的基于引导图全变分模型的图像纹理和结构的分解方法具有以下优点：

1、对噪声较大的图像能获得更好的纹理/结构分解效果。

2、对图像中不同尺度的结构和纹理也能进行准确地分解。

3、分解出的结构层能保持图像原有的明暗变化，避免了单一使用局部平滑导致的结构模糊或全局优化方法带来的色块效应。

4、所需要提取的特征简单，不依赖于对大量图像样本的学习。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于引导图全变分模型的图像纹理和结构的分解方法实施例一的流程图；

图2为本发明基于引导图全变分模型的图像纹理和结构的分解方法实施例二的流程图。

具体实施方式

以下将配合实施例及附图来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

针对传统全变分解方法在平滑纹理区域缺乏明暗变化以及基于滤波的分解方法容易造成过度模糊的缺陷，本发明提供一种基于引导图全变分模型的图像纹理和结构的分解方法，通过局部重构和全变分优化两层迭代结构提高图像纹理/结构分解的准确性。图1为本发明基于引导图全变分模型的图像纹理和结构的分解方法实施例一的流程图，图2为本发明基于引导图全变分模型的图像纹理和结构的分解方法实施例二的流程图。参考图1和图2所示，本发明的基于引导图全变分模型的图像纹理和结构的分解方法可以包括以下步骤(s1～s10)：

s1、将待分解的原图像i和引导图输入局部结构重构模块。

该步骤中所述引导图为待分解的原图像i的拷贝。

s2、基于待分解的原图像i和引导图，通过多次迭代使用高斯滤波、联合双边滤波，重构出局部结构图像。

具体的，局部结构重构模块基于引导图进行多次迭代滤波(内层迭代)，移除图像的细小纹理和噪声，重构局部结构图像。重构过程具体为(s21～s25)：

s21、根据纹理大小设置初始的空间尺度参数σs，σs的初始值为3。根据纹理大小设置初始的空间尺度参数σs，默认情况下σs的值为初始值，即σs＝3。在具体应用中，可以对σs的初始设置值进行更改。

s22、根据σs对引导图进行高斯滤波，平滑图像纹理细节。

s23、对原图像i和引导图进行联合双边滤波，其中颜色权重在s21步骤计算后的引导图上获取。

s24、更新尺度参数σs＝2σs+1，并将s23步骤滤波后的图像作为新的引导图。

s25、重复s22～s24步骤3～4次，最后一次执行s23步骤得到的双边滤波结果即为重构后的局部结构图像。

s3、提取局部结构图像的纹理特征fp，fp为5维特征向量，其中分别为像素p在lab颜色空间中三个通道上的值，分别表示像素p在l通道上的一阶和二阶导数。

在该特征提取步骤的具体应用中，可对纹理特征的提取方法进行替换，既可采用确定性的纹理特征提取算法，如局部二进制算子(lbp)或灰度共生等，也可以基于学习的方法获取纹理特征表示，如基于深度学习的方法获取特定类型图像的纹理特征表示，但基于学习的方法通常需要大量带有结构或纹理标记的样本数据。因此在实际应用本发明的方法时，可根据实际需要对特征提取方法进行替换，其余步骤无需更改。

s4、计算局部结构图像的纹理特征fp的区域协方差，获得局部结构图像的纹理度tp，其中，参与区域协方差计算的图像块大小为k，k的初始值为15。

计算纹理特征的区域协方差来表征像素属于纹理区域的程度，获取纹理度tp，其中参与区域协方差计算的初始图像块大小k，默认情况下k的值为初始设置值15，在具体应用中，可以对k的初始设置值进行更改。

s5、利用块平移策略对获得的局部结构图像的纹理度tp进行校正。

将纹理度图输入纹理度校正模块，通过该模块进一步提高纹理度估计的准确性。校正过程具体为(s51～s53)：

s51、在获得的局部结构图像中，找出所有包含像素p的图像块，并标记为候选图像块ωq，其中q为候选图像块的中心像素，并满足q∈ωp。

s52、计算每一个候选图像块的纹理度差分值d(ωq)，计算公式如下：

式中，dx(tr)和dy(tr)分别表示候选图像块ωq中像素r的纹理度在横向和纵向上的差分。

s53、选取纹理度差分值最小的候选图像块，并用其中心像素的纹理度tq替换像素p的图像块的纹理度。

该步骤中，通过选取纹理度差分值最小的候选图像块，并用其中心像素的纹理度tq替换像素p的图像块的纹理度，至此完成基于块平移的纹理度校正。

s6、将原图像和校正后的局部结构图像的纹理度输入全变分纹理/结构分解模块，分解出图像的全局结构层。

全局结构层的分解过程具体为(s61～s62)：

s61、根据校正后的局部结构图像的纹理度计算全变分模型中正则化项的权重wx,p和wy,p，wx,p表示像素p在水平方向x上的权重，wy,p表示像素p在垂直方向y上的权重，计算公式如下：

式中，dx(tp)表示像素p校正后的纹理度在x方向上的差分，表示对原图像的亮度分量在x方向上求一阶偏导；dy(tp)表示像素p校正后的纹理度在y方向上的差分，表示对原图像的亮度分量在y方向上求一阶偏导；εt＝εs＝1e-6。

εt和εs为极小的正数，用于避免分母为0而造成的系统不稳定，通常取εt＝εs＝1e-6。

s62、通过求解如下全变分分解模型，获取分解后的结构层s*：

式中，sp为像素p在所求结构层图像中的值，ip为像素p在用户输入的原图像中的值,为像素p在结构层图像中x方向上的一阶偏导，为像素p在结构层图像中y方向上的一阶偏导，λ为保真项和正则化项间的权衡因子，λ∈[0.01，0.05]。λ的优选值为0.02，通常将λ的初始值设置为0.02，即默认情况下λ＝0.02。

s7、将分解后的结构层s*作为新的引导图输入到局部结构重构模块。

s8、将s4步骤中的图像块大小k更新为：

该步骤中，通过缩小s4步骤中的图像块大小，减少图像迭代的尺度。

s9、重复s2～s8步骤4次，将最后一次迭代得到的s*作为原图像的结构层s输出。

s10、用原图像i减去s9步骤中最终得到的原图像结构层s，得到原图像的纹理层t。

相较于现有技术的图像纹理和结构的分解方法，本发明提供的技术方案具有以下优势：

一、对噪声较大的图像能获得更好的纹理/结构分解效果。

在实际分解纹理和结构前，通过对图像进行局部结构的重构不仅有效地减少了图像中的噪声，而且能很好地保持图像的主要边缘，为后续的纹理度估计和分解模块提供了高质量的输入，因此即使对高噪声图像也能获得准确的纹理/结构分解效果。

二、对图像中不同尺度的结构和纹理也能进行准确地分解。

通过在局部结构重构模块和全变分分解模块中引入多尺度迭代，本发明提供的技术方案，不仅能在不同尺度上对纹理和结构进行分解，而且两层迭代结构(局部结构重构和全变分分解模块分别对应内层和外层迭代)能更好地区分在尺度上高度相似的纹理和结构，而且在分解过程中，通过引入区域协方差和块平移，不仅能更准确地区分纹理和结构，而且能有效定位主要边缘所在位置，从而进一步增强了纹理和结构分解的准确性。

三、分解出的结构层能保持图像原有的明暗变化，避免了单一使用局部平滑导致的结构模糊或全局优化方法带来的色块效应。

本发明提供的技术方案中的局部重构模块能较好地保持结构图像在局部的明暗变化，而基于全变分的分解则能有效抑制局部方法引起的过度平滑，从而有效的结合了局部和全局分解方法的优势。

四、所需要提取的特征简单，不依赖于对大量图像样本的学习。

本发明提供的技术方案中的特征提取步骤简单易行，无需基于大量图像样本学习特征表示，这使得本发明中的纹理度估计不仅能被高效实现，而且可根据实际应用需求灵活扩展。

综上所述，本发明提供的基于引导图全变分模型的图像纹理和结构的分解方法，先基于引导图滤波重构图像的局部主要结构，然后根据重构的局部结构图计算纹理描述符，最终结合多尺度全变分模型以及块平移方法提高纹理和结构分解的准确性和计算效率。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改，并能够在本发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。