基于偏微分方程学习网络的图像去噪方法、设备及终端

1.本发明属于图像处理技术领域，尤其涉及一种基于偏微分方程学习网络的图像去噪方法、设备及终端。


背景技术：

2.目前，图像是人类在社会活动中获取、传递信息的主要媒介之一，成为了人类感知世界、进而改造世界的一种重要途径。但在图像获取、传输过程中不可避免地会出现噪声污染，它会严重降低获取图像视觉质量，为了改善图像质量、提高读取图像数据的效率，有必要在分析和利用图像之前，对获取的噪声图像进行加工处理，恢复出真实世界的重要信息。随着计算机技术的发展与普及，图像去噪算法在最近几十年内不断发展，更是被广泛应用于生物医学、遥感航天、工业设计等重要的国防、科技领域。
3.传统图像去噪算法主要有以均值滤波、中值滤波为代表的图像平滑，将图像用窗口滑动处理，窗口内的像素进行简单的数值计算处理；但是它是对图像整体进行处理，没有保留图像的特征。以空域相关性和小波阈值滤波为代表小波变换，它是根据信号和噪声的小波系数在不同尺度上具有不同性质的机理,构造相应的规则,在小波域采用其他数学方法对含噪信号的小波系数进行处理；但是如果阈值选择不当，去除噪声的同时还会出现模糊图像边缘的负面效应。以 kalman滤波和差分滤波为代表的线性和非线性滤波，在线性或非线性状态空间表示的基础上对有噪声的输入和观测信号进行处理，求取系统状态或真实信号；然而算法需要很多先验条件，尤其是关于噪声的时刻均值和协方差，限制了在实际应用中的灵活性。以各向同性扩散、各向异性扩散、变分方法为代表的基于偏微分方程算法，有面向过程和面向对象两种方法；然而算法需要根据人们的经验来定义算法方程形式，并且花费大量时间来探索最合适的参数配置。除此之外，近年来也出现了基于模型的图像去噪算法和基于神经网络的图像去噪算法。基于模型去噪算法有k.dabov等人的bm3d算法，它是将图像根据特征分成3d组，再对各组进行滤波处理，最后融合3d组得到最终的滤波图像。但是bm3d算法有几个缺点：优化算法通常很耗时，不能直接用于去除空间变异噪声；需要手动制作的图像先验(例如稀疏性和非局部自相似性)，这些先验信息可能不足以描述复杂图像结构。基于神经网络的去噪算法有h.c.burger等人利用多层感知机mlp进行图像去噪，目的是从噪声-结果图像对的训练集中学习底层图像先验。后来为了提取潜在特征并加以利用，卷积神经网络 (convolutional neural network,cnn)被更广泛的利用。k.zhang提出的去噪卷积神经网络(denoising convolutional neuralnetwork,dncnn)，将批量归一化、矫正线性单元和残差学习合并到cnn模型中，用来完成图像去噪工作。j. chen提出的生成对抗网络盲去噪器(generative convolutional blind denoising, gcbd)，引用gan来解决未配对噪声图像问题。d.valsesia提出了一种图卷积去噪网络(graph-convolutional denoising network,gcdn)，用于捕获自相似信息。但是现有的基于神经网络去噪算法灵活性有限，而且学习模型通常是针对特定噪声水平而定制，网络训练最重要的数据集没有统一标准，难以获取。除此之外，基于模型的算法和基于神经网络的算法都无法总结出其相应
的物理规律，这是图像去噪算法亟待解决的问题。随着视觉传感器的增加，图像噪声的构成更为复杂，参数调整变得越来越困难；现实图像数据在时间样本数据上获取困难，且往往只有少量数据，无法满足网络的训练；在纹理边缘复杂的图像上去噪难度大。
4.通过上述分析，现有技术存在的问题及缺陷为：传统图像去噪算法需要根据人们的经验来定义算法方程形式，并且花费大量时间来探索最合适的参数配置，在图像去噪应用上有一定局限性；基于模型和神经网络的图像去噪算法难以获取其训练所需的大量高质量数据集，且模型计算量较大、泛化能力弱。


技术实现要素：

5.针对现有技术存在的问题，本发明提供了一种基于偏微分方程学习网络的图像去噪方法、设备及终端。
6.本发明是这样实现的，一种基于偏微分方程学习网络的图像去噪方法包括：图像去噪数据集获取与输入，通过偏微分方程学习网络，输出预测去噪图像时间序列，与真实去噪图像时间序列对比得到损失，最小化损失来训练参数，然后将随机积分理论引入，构建改进的数值求解器用于计算偏微分方程的解，最终网络输出图像去噪数据集对应偏微分方程以及方程的解，然后将训练好的网络与去噪后处理模块结合用于图像去噪，得到去噪结果。
7.进一步，所述基于偏微分方程学习网络的图像去噪方法具体包括：
8.(1)图像去噪数据集的获取和输入：获取图像去噪数据集，将图像去噪数据集中的时间序列数据逐一依次输入偏微分方程学习网络；
9.(2)构建并训练偏微分方程学习网络：偏微分方程学习网络由多个block 组成，图像去噪时间序列数据通过多个block，每个block都输出预测去噪图像时间序列与真实去噪图像时间序列进行比较，计算损失函数对损失函数进行梯度下降最小化，完成一次参数训练，多个block进行分层训练；
10.(3)通过改进数值求解器得到输出：训练完成后，将参数输出得到图像去噪数据集对应的偏微分方程形式，以及通过引入随机积分理论的改进数值求解器的偏微分方程解；
11.(4)利用偏微分方程学习网络和去噪后处理模块进行图像去噪：将需要去噪的噪声图像输入训练好的偏微分方程学习网络，然后通过去噪后处理模块，最后输出去噪后的干净图像。
12.进一步，步骤(1)图像去噪数据集的获取和输入中，为了获取图像去噪数据集，在原始干净图像数据集中添加模拟白噪声得到模拟噪声数据集，然后用现存基于偏微分方程的图像去噪方法进行去噪，得到一系列中间时刻去噪结果和最终去噪结果，组成空间大小为n
×
m，时间长度为t的图像去噪数据集。
13.进一步，步骤(2)构建并训练偏微分方程学习网络中，block越多，网络越深，网络在一定深度时，其训练效果达到最好。
14.进一步，所述偏微分方程学习网络的block结构包括：
15.第一步，计算偏微分方程候选项库偏微分项：
16.已知偏微分方程是包含未知函数偏微分的方程，其通用形式为：
[0017][0018]
其中t表示时间，x和y表示空间，...是偏微分项，应用切比雪夫多项式插值法求block输入数据的偏微分项，作为偏微分方程候选项库的一部分；
[0019]
第二步，构建偏微分方程候选项库：
[0020]
在候选项库中还加入了图像的边缘特征，经过对多个边缘算子进行对比，使用边缘停止函数表示，其中k为常数，为图像的梯度；将候选项库中的偏微分项和边缘特征项进行排列组合，加入候选项库中，候选项库构建完成；
[0021]
第三步，通过改进数值求解器得到block的输出：
[0022]
候选项库与网络参数相乘进行计算得到时间维偏微分然后引入随机积分理论，构建新的数值求解公式，最终得到block的输出其中计算公式为：
[0023][0024]
其中n(0,1)是标准正态分布的一个随机数，max和min 分别为求数据最大值和最小值。
[0025]
进一步，所述对偏微分方程学习网络的热启动、分层训练和损失函数包括：
[0026]
(1)网络热启动：偏微分方程学习网络的参数初始化采用热启动的方式，采用stridge回归得到参数的初始值；
[0027]
(2)分层训练：用一批数据输入第一个block，得到输出后，计算损失，进行参数的训练，训练完成后，再用另一批数据在前两个block上重新开始训练，重复此步骤，直到本发明完成所有的block，在整个训练过程中block之间参数共享；
[0028]
(3)损失函数：偏微分方程学习网络的损失函数由数据损失项和正则项组成，数据损失项采用均方误差，正则项采用l1正则化：
[0029][0030]
其中代表求两组数据的均方误差。
[0031]
进一步，所述去噪后处理模块的处理方法包括：
[0032]
第一步，相似块分组：将图像分为多个参照图像块，对于每个参照图像块，在周围区域内利用欧氏距离衡量附近图块的相似程度，选取差异不明显的相似块，最后整合得到参照图像块对应的三维相似块组；
[0033]
第二步，dct变换：将得到的三维相似块组在第三维度上进行dct变换，其作用是去除相似块图像带来的信息冗余，提高效率，并且能区分在同一相似块矩阵中不同噪声污染程度的相似块，在后续去噪处理中进行区别处理，提高去噪效果；
[0034]
第三步，pde去噪：将偏微分深度网络学习出的pde用于求解输入的相似块组，输出结果是去噪完成后的相似块矩阵；
[0035]
第四步，逆变换和聚合操作：将相似块矩阵进行dct逆变换，然后将逆变换后的相似块放回原位，利用非零成分数量统计叠加权重，最后将叠放后的图像除以对应点的权重，就可得到聚合后的去噪图像。
[0036]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的基于偏微分方程学习网络的图像去噪方法。
[0037]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的基于偏微分方程学习网络的图像去噪方法。
[0038]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于偏微分方程学习网络的图像去噪方法。
[0039]
结合上述的技术方案和解决的技术问题，从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
[0040]
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
[0041]
由于本发明提出了将偏微分方程学习理论与图像去噪领域结合，解决了传统图像算法需要根据人们的经验来定义算法方程形式，且花费大量时间来探索最合适参数配置的问题，使得本发明具有偏微分方程的学习能力。
[0042]
由于本发明设计了多block结构的偏微分方程学习网络，它的分层训练体系解决了图像去噪数据时间样本量较少，从而对偏微分方程学习结果精确度有影响的问题，使得本发明具有在少时间样本数据训练下精确度较高的优点。
[0043]
由于本发明在数值求解器引入随机积分的理论，解决了传统数值求解器对于偏微分方程的解存在的误差问题，使得本发明具有求解精确度更高，去噪效果更好的优点。
[0044]
由于本发明在去噪后处理模块引入图像解构操作，解决了图像去噪过程中容易因图像信息复杂而无法发挥最好去噪效果的问题，使得本发明具有处理复杂纹理边缘噪声图像的去噪能力。
[0045]
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
[0046]
本发明提供了一个实用的解决方案，解决了图像去噪的参数调整问题，且提高了偏微分方程学习的精度和鲁棒性，有效解决了在少时间样本数据下的网络训练问题，同时在纹理复杂的图像上去噪效果较好。本发明求解精确度更高，去噪效果更好。
[0047]
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
[0048]
(1)本发明的技术方案填补了国内外业内技术空白：现有算法还没有将图像去噪
领域与基于神经网络的偏微分学习领域结合的技术，本发明将两个领域结合，引入深度学习，不仅能更好的学习偏微分方程，同时也能取得较好的图像去噪结果。
[0049]
(2)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：现有图像去噪领域存在传统方法人工定义方程、复杂参数调节，网络方法数据难以获取的问题，同时偏微分方程学习领域则出现了难以在少时间样本数据下进行学习的局限性，本发明解决了两个领域的难题，节省了人工成本以及数据获取难度。
附图说明
[0050]
图1是本发明实施例提供的基于偏微分方程学习网络的图像去噪方法的流程图
[0051]
图2是本发明实施例提供的偏微分方程学习网络的网络结构图。
[0052]
图3是本发明实施提供的单个block结构图。
[0053]
图4是本发明实施提供的去噪后处理模块流程图。
[0054]
图5是本发明实施提供的在边缘复杂的图像中的图像去噪结果图。
[0055]
图6是本发明实施提供的在边缘简单的图像中的图像去噪结果图。
[0056]
图7是本发明实施提供的在纹理复杂的图像中的图像去噪结果图。
[0057]
图8是本发明实施提供的在纹理简单的图像中的图像去噪结果图。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0059]
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
[0060]
如图1所示，本发明提供的基于偏微分方程学习网络的图像去噪方法包括以下步骤：
[0061]
s101：图像去噪数据集的获取和输入；
[0062]
s102：构建并训练偏微分方程学习网络；
[0063]
s103：通过改进数值求解器得到输出；
[0064]
s104：用偏微分方程学习网络和去噪后处理模块进行图像去噪。
[0065]
下面结合附图对本发明的技术方案作进一步的描述。
[0066]
如图2所示，对本发明提供的偏微分方程学习网络的网络结构做进一步的描述：
[0067]
偏微分方程学习网络由多个block组成，block越多，网络越深，网络在一定深度时，其训练效果才会达到最好。首先，网络的参数初始化采用热启动的方式，采用stridge回归得到参数的初始值。然后，图像去噪时间序列数据通过多个block，每个block都输出预测去噪图像时间序列与真实去噪图像时间序列进行比较，计算损失函数损失函数由数据损失项和正则项组成，数据损失项采用均方误差，正则项采用l1正则化，对网络参数进行正则化：
[0068][0069]
其中代表求两组数据的均方误差。
[0070]
对损失函数进行梯度下降最小化，完成一次参数训练。多个block进行分层训练，用一批数据输入第一个block，得到输出后，计算损失，进行参数的训练，训练完成后，再用另一批数据在前两个block上重新开始训练，重复此步骤，直到本发明完成所有的block，在整个训练过程中block之间参数共享。
[0071]
如图3所示，对本发明构建的单个block结构图做进一步的描述：
[0072]
第一步，计算偏微分方程侯选项库偏微分项：
[0073]
已知偏微分方程式包含未知函数偏微分的方程，其通用形式为：
[0074][0075]
其中t表示时间，x和y表示空间，...是偏微分项。应用切比雪夫多项式插值法求block输入数据的偏微分项，作为偏微分方程候选项库的一部分。
[0076]
第二步，构建偏微分方程候选项库：
[0077]
为了更好的学习图像去噪过程的偏微分方程，在候选项库中还加入了图像的边缘特征，经过对多个边缘算子进行对比，使用边缘停止函数来表示，其中k为常数，为图像的梯度。将候选项库中的偏微分项和边缘特征项进行排列组合，加入候选项库中，候选项库构建完成。
[0078]
第三步，通过改进数值求解器得到block的输出：
[0079]
候选项库与网络参数相乘进行计算得到时间维偏微分然后引入随机积分理论，构建新的数值求解公式，最终得到block的输出其中计算公式为：
[0080][0081]
其中n(0,1)是标准正态分布的一个随机数，max和min 分别为求数据最大值和最小值。
[0082]
如图4所示，本发明构建的去噪后处理模块流程图包括以下步骤：
[0083]
第一步，相似块分组：将图像分为多个参照图像块，对于每个参照图像块，在周围区域内利用欧氏距离衡量附近图块的相似程度，选取差异不明显的相似块，最后整合得到
参照图像块对应的三维相似块组。
[0084]
第二步，dct变换：将得到的三维相似块组在第三维度上进行dct变换，其作用是去除相似块图像带来的信息冗余，提高效率，并且能区分在同一相似块矩阵中不同噪声污染程度的相似块，在后续去噪处理中进行区别处理，提高去噪效果。
[0085]
第三步，pde去噪：将偏微分深度网络学习出的pde用于求解输入的相似块组，输出结果是去噪完成后的相似块矩阵。
[0086]
第四步，逆变换和聚合操作：将相似块矩阵进行dct逆变换，然后将逆变换后的相似块放回原位，利用非零成分数量统计叠加权重，最后将叠放后的图像除以对应点的权重，就可得到聚合后的去噪图像。
[0087]
二、应用实施例。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
[0088]
1.仿真条件：
[0089]
本发明的仿真实验的硬件平台为：处理器为intel(r)core(tm)i7-10700k cpu，主频为2.9ghz，内存为64gb、显卡为nvidia geforce rtx 3060。
[0090]
本发明的仿真实验的软件平台为：ubuntu 20.04操作系统，pycharm2021软件，python3.7和pytorch深度学习框架。
[0091]
2.仿真内容及结果分析：
[0092]
本发明仿真实验在sidd数据集和bsds数据集上进行相关实验验证，选取 100张sidd数据集中图片进行图像去噪数据集的获取，作为偏微分方程学习网络的训练集，另外选取500张bsds数据集作为测试数据集。偏微分方程学习网络训练迭代数为20epochs，网络的批尺寸batch size设置为1，block数量为 30，去噪后处理模块中参照图像块大小block size为10，相似块数量设置为16。
[0093]
在仿真实验中，采用的现有技术是指：
[0094]
chan t f,shen j等人在“image processing and analysis:variational,pde, wavelet,and stochastic methods[m].siam,2005”中提出的全变分图像去噪算法，简称tv模型。
[0095]
为了评价本发明的偏微分方程学习能力，选取五个在物理学领域和图像去噪领域经典的偏微分方程，分别为burgers方程、navier-stokes方程、热扩散方程、以及pm模型和tv模型。如表1所示，列出了本发明输出的偏微分方程、偏微分方程各项系数的误差和平均误差，以及方程解的误差，用mse计算。
[0096]
表1仿真实验中本发明偏微分方程学习结果
[0097][0098]
从表1可以看出，五个方程的公式构成复杂，但本发明还是准确无误的学出了方程的每个项，除此之外，它对各项系数学习也有很高的精确度，同时，在偏微分方程的求解方面，解的误差也相对来说比较低。
[0099]
为了定性评价本发明的仿真效果，4张纹理和边缘复杂性不同的图像用于主观比较去噪结果，得到的去噪结果分别如图5至图8所示。图5至图6是对图像边缘信息复杂度不同的去噪效果，图7和图8的图像纹理信息复杂度不同的去噪效果，图中的(a)是原图，图中的(b)是噪声图像，图中的(c)是tv 模型去噪结果，图中的(d)是本发明的去噪结果。
[0100]
由图5至图8可以得出：本发明可以适用于自然图像的图像去噪，可以看到在边缘复杂的图像上，本发明方法相较于现有技术，对边缘有很好的识别保护能力，使得能够在去噪的同时保留边缘信息；而在边缘简单的图像上，在边缘信息都存在的情况下，本发明方法能够更好的达到去噪的效果。在纹理复杂的图像上，本发明可以在不改变纹理结构的情况下，进行去噪；在纹理简单的图像上，本发明对于平滑区域的去噪效果更好，且能清晰保留纹理。在图像边缘和纹理信息复杂的情况下，针对图像去噪的主观评价效果好于tv模型。说明在偏微分方程学习网络和改进数值求解器的结构下，偏微分方程的解更准确，即图像去噪结果更佳，并且有去噪后处理模块进行图像解构操作，让图像去噪效果有了进一步提升。
[0101]
为了定量评价本发明的仿真效果，本发明采用峰值信噪比(psnr)和结构相似度(ssim)作为性能评价指标与现有技术进行对比，对比结果如表2所示：
[0102]
表2仿真实验中本发明和现有技术评价指标的对比表
[0103][0104][0105]
从表2可以看出，在图5至图8和bsds数据集中，本发明在所有评价指标上均优于现有技术，证明本发明在边缘和纹理信息复杂的图像上能够取得效果更好、鲁棒性更强的去噪结果，是一种十分实用的图像去噪方法。
[0106]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0107]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。