一种图像数据处理方法与流程

本发明涉及图像处理技术领域，具体而言，涉及一种图像数据处理方法。

背景技术：

由于在获取、传输和存储图像信号的过程中，不可避免的会受到噪声的干扰，导致图像的信息被淹没，对图像的视觉质量造成严重的影响。大量的图像边缘与细节特征被淹没，给图像的分析和后续处理带来了很大的困难。对图像噪声的消除是图像预处理中的一个重要研究内容。为后续进行的边缘检测、图像分割、特征提取和模式识别等处理提供良好的基础。因此在保持图像细节的清晰度和图像的对比度下，如何有效的去除噪声成为了人们的研究热点。

随着非局部思想的提出，人们开始从图像的自相似性转化为对图像结构性的关注。其中Alessandro Foi，Giacomo Boracchi提出了一种基于漏斗的非局部自相似性算法(Anis.Fov.NL－Means)。基本思想是：基于HVS空间采用凹形符来替代传统非局部去噪中相似距离的计算，运用径向各项异性的凹算子来增加结构和边缘的保真度。空域与变换域的结合，图像的结构性转化为像素矩阵的结构性的时候，矩阵的秩作为一种衡量矩阵列或者行的相关性的指标，能够很好地描述相似矩阵的结构信息。静态相机捕获的视频剪辑有一个明确的低秩属性，在此基础上可以进行背景建模和前景提取。这也表明了由局部相似补丁在自然图像下形成的矩阵是低秩的，可用于高性能图像的恢复。因此通过从图像矩阵的退化模型中来恢复潜在的图像信息成为了研究热点，即低秩矩阵的近似。由于欠凸和非凸技术的快速发展，近年来有了一些低秩矩阵近似的研究，以及很多重要模型和算法。

低秩矩阵近似一般可分为两类：低秩矩阵分解法(LRMF)和核范数极小化法(NNM)。LRMF旨在在给定矩阵Y时，找到一个矩阵X，使其在某些数据保真度函数上尽可能接近Y。同时也能分解为两个低秩矩阵的乘积。基于LRMF的许多算法被提出，包括从经典的奇异值分解到许多L1－norm的稳定算法。NNM是低秩矩阵近似的另外一种形式，其不同于LRMF在于在找到近似矩阵X的同时将其最小化为核标准。而且NNM的优势在于它在保真项特定数据问题上是凸的，而LRMF是非凸的，因此在最近几年吸引了学者极大的研究兴趣。Candes和Recht证明大多数低秩矩阵可以通过一个NNM问题从而的到恢复；Caietal[证明了伴随着对F－norm数据保真度对振动操作奇异值问题的研究，用NNM能够很容易的解决。虽然NNM已经广泛用于低秩矩阵近似，但是它仍然有一些问题，为了保证凸性，忽略了图像的先验信息，无法保留图像的边缘细节。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种图像数据处理方法，以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明实施例提供了一种图像数据处理方法，所述方法包括：对噪声图像矩阵进行总体变分，获得第一去噪图像矩阵；根据所述第一去噪图像矩阵及所述噪声图像矩阵，获取残差图像矩阵；将所述残差图像矩阵进行自适应维纳滤波，获得滤波后的残差图像矩阵；将所述第一去噪图像矩阵、所述滤波后的残差图像矩阵及权重向量，根据第一预设规则，进行第二次去噪处理，获取第二去噪图像矩阵。

与现有技术相比，本发明实施例提供的一种图像数据处理方法，通过对噪声图像矩阵首先进行总体变分，并对残差图像矩阵进行自适应维纳滤波，并将所述第一去噪图像矩阵、所述滤波后的残差图像矩阵及权重向量，根据第一预设规则，进行二次去噪处理，获取第二去噪图像矩阵，其充分利用了图像的先验信息，从而在有利去除噪声的同时，更好的保留了图像的边缘、细节，在获得高信噪比的同时，结构相似度也保持较高的水平，充分满足人们视觉效果。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的服务器的结构框图。

图2是本发明第一实施例提供的一种图像数据处理方法的流程图。

图3是本发明第二实施例提供的一种图像数据处理方法的流程图。

图4是本发明第三实施例提供的一种图像数据处理装置的结构框图。

图5是本发明第三实施例与已有方法(AFNM，BM3D，WNNM)对lena256X256测试图的去噪效果对比图。

图6是本发明第三实施例与已有方法(AFNM，BM3D，WNNM)对Monarch256X256测试图的去噪效果对比图。

图7是本发明第三实施例与已有方法(AFNM，BM3D，WNNM)对peppers256X256测试图的去噪效果对比图。

图8是本发明第三实施例与已有方法(BM3D，WNNM)对某厂房监控测试图的去噪效果对比图。

图9是本发明第三实施例与已有方法(BM3D，WNNM)对某厂房监控噪声水平效果对比图。

图10是本发明第三实施例与已有方法(BM3D，WNNM)对某厂房监控测IQA评价对比图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是服务器200的方框示意图。所述服务器200包括存储器201、处理器202以及网络模块203。

存储器201可用于存储软件程序以及模块，如本发明实施例中的图像数据处理方法及装置对应的程序指令/模块，处理器202通过运行存储在存储器201内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本发明实施例中的应用专题推荐方法。存储器201可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。进一步地，上述存储器201内的软件程序以及模块还可包括：操作系统221以及服务模块222。其中操作系统221，例如可为LINUX、UNIX、WINDOWS，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其他软件组件的运行环境。服务模块222运行在操作系统221的基础上，并通过操作系统221的网络服务监听来自网络的请求，根据请求完成相应的数据处理，并返回处理结果给客户端。也就是说，服务模块222用于向客户端提供网络服务。

网络模块203用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。

可以理解，图1所示的结构仅为示意，所述服务器200还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。另外，本发明实施例中的服务器还可以包括多个具体不同功能的服务器。

图2示出了本发明第一实施例提供的一种图像数据处理方法的流程图，请参阅图2，本实施例描述的是服务器的处理流程，所述方法包括：

步骤S310，对噪声图像矩阵进行总体变分,获得第一去噪图像矩阵。

总体变分，是指将图像去噪建模成一个能量函数的最小化问题，使得图像达到平滑状态，通过偏微分方程的各向异性扩散方程对噪声图像处理，在平滑噪声的同时，可以使边缘得到保持，较好的地解决恢复图像细节和抑制噪声之间的矛盾。

步骤S320，根据所述第一去噪图像矩阵及所述噪声图像矩阵,获取残差图像矩阵。

作为一种实施方式，可以将所述噪声图像矩阵减去所述第一去噪图像矩阵的矩阵，作为所述残差图像矩阵。

步骤S330，将所述残差图像矩阵进行自适应维纳滤波,获得滤波后的残差图像矩阵。

自适应维纳滤波与其他滤波器相比具有较好的滤波效果，选择性好，可以更好的保留图像的边缘和高频细节。因此，采用维纳滤波能够在对残差图像保留图像丢失的结构信息的同时很好的抑制噪声。

步骤S340，将所述第一去噪图像矩阵、所述滤波后的残差图像矩阵及权重向量，根据第一预设规则,进行第二次去噪处理，获取第二去噪图像矩阵。

作为一种实施方式，所述第一预设规则是指根据由所述第一去噪图像矩阵及所述滤波后的残差图像矩阵相加形成的叠加矩阵、与所述叠加矩阵对应的低秩矩阵、权重向量、第一参数及第二参数构建的加权核范数模型。

其中，所述与所述叠加矩阵对应的低秩矩阵是指与所述叠加矩阵对应的图像信息低秩矩阵，图像信息是指由纯粹的图像纹理、结构等组成的无污染的图像。

进一步的，所述加权核范数模型为：

其中,Y_i为由所述第一去噪图像矩阵及所述滤波后的残差图像矩阵相加形成的叠加矩阵，Xi为与所述叠加矩阵对应的低秩矩阵，λ为第一参数，σn为第二参数，w＝[w₁,w₂.....w_i]为权重向量，σ_i(Y_i)为Y_i的第i个奇异值，i＝1,2......n。

作为一种所述方式，所述第二参数σn为噪声方差值。所述第一参数λ为软阈值调整因子。

所述权重向量w＝[w₁,w₂.....w_i]中各个元素的计算公式如下：

其中，c为一个大于零的常数，n为第三参数，ε＝10^-16为固定值，σ_i(Y_i)为Y_i的第i个奇异值，i＝1,2......n，Y_i为由所述第一去噪图像矩阵及所述滤波后的残差图像矩阵相加形成的叠加矩阵。

本发明实施例提供的一种图像数据处理方法，通过对噪声图像矩阵首先进行总体变分，并对残差图像矩阵进行自适应维纳滤波，并将所述第一去噪图像矩阵、所述滤波后的残差图像矩阵及权重向量，根据第一预设规则，进行二次去噪处理，获取第二去噪图像矩阵，其充分利用了图像的先验信息，从而在有利去除噪声的同时，更好的保留了图像的边缘、细节，在获得高信噪比的同时，结构相似度也保持较高的水平，充分满足人们视觉效果。

图3示出了本发明第二实施例提供的一种图像数据处理方法的流程图，请参阅图3，本实施例描述的是服务器的处理流程，所述方法包括：

步骤S410，对噪声图像矩阵进行总体变分,获得第一去噪图像矩阵。

步骤S420，根据所述第一去噪图像矩阵及所述噪声图像矩阵,获取残差图像矩阵。

步骤S430，将所述残差图像矩阵进行自适应维纳滤波,获得滤波后的残差图像矩阵。

步骤S440，将所述第一去噪图像矩阵及所述滤波后的残差图像矩阵相加形成叠加矩阵。

步骤S450，根据噪声方差值，将所述叠加矩阵划分为多个子矩阵。

根据噪声方差值的不同，可以将所述叠加矩阵按照不同的大小进行划分，例如，当噪声方差值分别为σ_n≤25，25<σ_n≤40，40<σ_n≤60，60<σ_n时，可以分别将子矩阵的大小对应设置为90×90，90×90，130×130，140×140。

步骤S460，根据第二预设规则，分别获取每个所述子矩阵对应的相似矩阵。

其中，获取每个所述子矩阵对应的相似矩阵的方式，可以是将所述子矩阵进行进一步的划分，作为一种实施方式，可以根据噪声方差值的不同，将所述子矩阵划分为不同的大小，例如，当噪声方差值分别为σ_n≤25，25<σ_n时，可以分别将子矩阵对应按照35×35，40×40进行划分，得到小规格矩阵。将子矩阵划分进一步划分后，按照划分后的小规格矩阵进行搜索匹配，获取每个所述子矩阵对应的相似矩阵。

其中，所述第二预设规则为正则化迭代处理。

作为一种实施方式，所述正则化迭代处理的正则化迭代公式为其中，y⁽⁰⁾＝y,y为所述第一去噪图像矩阵及所述滤波后的残差图像矩阵叠加形成的叠加矩阵，δ为迭代步长参数。

其中，k设置的迭代次数根据噪声方程值的不同依次为6，8,9,11。

当迭代步长参数δ＝0.1，在噪声方差值小于等与40时，软阈值调整因子λ为0.56,在噪声方差值大于40时，软阈值调整因子λ为0.58。

步骤S470，分别对每个所述相似矩阵进行奇异值分解，获得每个所述相似矩阵对应的第一矩阵、奇异值对角矩阵及第二矩阵。

假设所述相似矩阵yi是一个m×n阶矩阵，如此则存在一个分解使得

[U,Σ,V]＝SVD(y_i)＝UΣV

其中第一矩阵U是m×m阶酉矩阵；Σ是m×n阶奇异值对角矩阵；第二矩阵V是n×n阶酉矩阵。这样的分解就称作yi的奇异值分解。Σ对角线上的元素Σi,i即为yi的奇异值。

步骤S480，分别将每个相似矩阵对应的所述奇异值对角矩阵及所述权重向量相乘，获得每个相似矩阵对应的第三矩阵。

作为一种实施方式，所述权重向量w＝[w₁,w₂.....w_i]中各个元素其中，c为一个大于零的常数，n为第三参数，ε＝10^-16为固定值，σ_i(Y_i)为Y_i的第i个奇异值，i＝1,2......n，Yi为由所述第一去噪图像矩阵及所述滤波后的残差图像矩阵叠加形成的叠加矩阵。

进一步的，所述第三矩阵中各个元素可以根据下述公式计算：

S_w(Σ)_ii＝max(Σ_ii-w_i,0)，i＝1,2......n

其中，所述Σ_ii为所述奇异值对角矩阵中元素的值，w_i为所述权重向量中元素的值。

步骤S490，分别将每个相似矩阵对应的所述第一矩阵，所述第三矩阵及所述第二矩阵的转置矩阵相乘，获得每个相似矩阵对应的第二去噪子矩阵。

可以根据下述公式进行计算：

其中，U为第一矩阵，S_w(Σ)为第三矩阵，V为第二矩阵。

步骤S500，将全部所述第二去噪子矩阵求和，获得所述第二去噪图像矩阵。

进一步的，为了说明本发明实施例的有益效果，采用图像去噪中常用的标准Lenas256X256、Manchar256X256、peppers256X256图像，并对这三幅图像分别加入标准差σ＝10、25、50、70、100的零均值加性高斯白噪声，共产生21幅含噪图形作为测试数据。分别使用(1)三维块匹配去噪，该方法简称BM3D；(2)漏斗自相似非局部去噪，该方法简称AFNM；(3)加权核范数去噪，该方法简称WNNM；(4)本发明实施例图像数据处理方法，其中，自适应维纳滤波的阈值设为3X3，第二次去噪处理中参数c采用2.8284，根据不同的噪声方差值σ_n≤25、25<σ_n≤40、40<σ_n≤60、60<σ_n，搜索窗口依次设为7×7、7×7、8×8、9×9，迭代次数K的依次设置为6、8、9、11。σ_n≤25时非局部搜索窗口的大小设为35，其余的都为40。同时用(1)、(2)及本文的方法对某一厂房的监视视频图像的一帧做处理对比。

图像去噪效果的评价分为主观性评价标准和客观性评价标准两大类。主观标准主要是通过人眼的视觉直接对图像进行观察，从而对图像质量做出评价，图像质量好，感觉清晰则去噪效果好，反之去噪效果则差。在主观上，本发明实施例采用结构相似度(SSIM)来衡量图像的去噪效果，在客观上，本发明采用峰值信噪比(PSNR)来衡量图像的去噪效果。现实生活中没有无噪声的图像，一般对去噪图像的评价标准如PSNR和SSIM等将会失效。本发明采用结合模糊度和噪声水平的评价方法，用平均边缘宽度衡量模糊度，用平滑区域的噪点信息表征噪声程度，简称为IQA，IQA越小图像质量越好。

通过四种去噪方法对Lena、Manchar、peppers三幅图像分别在噪声标准差σ＝10、25、50、70、100的情况下的峰值信噪比结果列于表1中。表1不同去噪方法对不同图像在不同噪声强度下的峰值信噪比PSNR及SSIM。

表1

从表1可以看出本实施例的方法无论在信噪比还是结构相似度上都比BM3D和AFLM都要高，特别是在高噪声下，更能显现出优越性。与原加权核范数去噪算法相比，虽然对lena的处理结果在信噪比上稍微差点，不过在SSIM上却是较好的。对其他两幅图像的处理也得到了满意的结果，说明本发明能够有效的提高图像的去噪效果，满足人类视觉系统的感受。

图5示出了本发明第三实施例与已有方法(AFNM，BM3D，WNNM)对lena256X256测试图的去噪效果对比图。图6示出了本发明第三实施例与已有方法(AFNM，BM3D，WNNM)对Monarch256X256测试图的去噪效果对比图。图7为用本发明第三实施例与已有方法(AFNM，BM3D，WNNM)对peppers256X256测试图的去噪效果对比图。

图5、6、7显示了在噪声标准差为σ＝25,50,70,100时，上述四种方法的去噪效果图对比。由图5、6、7可以看出，AFNM去噪和BM3D去噪能够在一定程度上消除噪声，但BM3D去噪在高噪声水平下虽然很好的保留了图像的细节边缘，但是却在细节纹理出引入了大量的假条纹，而AFNM去噪后的图像存在严重花的花斑效应，使处理后的图像失真较大。采用WNNM去噪能够有效解决假条纹及花斑现象所导致的视觉失真，也能够较好去除噪声同时保留边缘和纹理的完整，不过或多或少的也出现虚假信息。采用基于WNNM的二次图像去噪，充分采用了WNNM的优点，并且在减少迭代次数的同时带来了良好的视觉体验，虽然对lena的处理在信噪比上比WNNM差一点，不过SSIM整体是有提高的。可以看到，采用基于WNNM的二次图像去噪所得到的图像视觉质量要去比采用其它变换法去噪来得好。

图8是本发明第三实施例与已有方法(BM3D，WNNM)对某厂房监控测试图的去噪效果对比图。图9是本发明第三实施例与已有方法(BM3D，WNNM)对某厂房监控噪声水平效果对比图，图9中横坐标为噪声方差值，纵坐标为噪声水平。图10是本发明第三实施例与已有方法(BM3D，WNNM)对某厂房监控测IQA评价对比图，图10中横坐标为噪声方差值，纵坐标为IQA。

比较图8，9，10给出了BM3D、AFNM及本发明实施例对某厂房监控图像的去噪处理效果。从图8看出三种算法都能有效的去除噪声，但是BM3D的视觉效果明显没有其他两种的好。从图9，图10可以看出，本发明在σ＝36时去噪效果最好，噪声水平只有0.0034，IQA为1.3607，比其他两种方法都优，而随着σ的增加噪声三种去噪的IQA及噪声水平都在递增，可以得出结论，采用一种基于加权核范数改进的二次图像去噪方法不管是对自然图像仿真处理，还是对实际生活中高噪声图像的处理，都能取得良好的效果。

本发明实施例提供的图像数据处理方法，通过对噪声图像矩阵首先进行总体变分，并对残差图像矩阵进行自适应维纳滤波，并将所述第一去噪图像矩阵、所述滤波后的残差图像矩阵及权重向量，根据第一预设规则，进行二次去噪处理，获取第二去噪图像矩阵，其充分利用了图像的先验信息，从而在有利去除噪声的同时，更好的保留了图像的边缘、细节，在获得高信噪比的同时，结构相似度也保持较高的水平，充分满足人们视觉效果。

请参阅图4是本发明实施例提供的图像数据处理装置600的功能模块示意图。所述图像数据处理600包括第一去噪模块610，处理模块620，滤波模块630，第二去噪模块640。

所述第一去噪模块610，用于对噪声图像矩阵进行总体变分,获得第一去噪图像矩阵。

所述处理模块620，用于根据所述第一去噪图像矩阵及所述噪声图像矩阵,获取残差图像矩阵。

所述滤波模块630，用于将所述残差图像矩阵进行自适应维纳滤波,获得滤波后的残差图像矩阵。

所述第二去噪模块640，用于将所述第一去噪图像矩阵、所述滤波后的残差图像矩阵及权重向量，根据第一预设规则,进行第二次去噪处理，获取第二去噪图像矩阵。

以上各模块可以是由软件代码实现，此时，上述的各模块可存储于服务器200的存储器201内。以上各模块同样可以由硬件例如集成电路芯片实现。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例所提供的图像数据处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。