图像去噪方法、存储介质及终端设备与流程

[0001]
本发明涉及计算机视觉与数字图像处理领域，特别涉及一种图像去噪方法、存储介质及终端设备。


背景技术：

[0002]
近年来随着图像采集技术的不断发展，人们对图像质量要求也越来越高，其中，图像质量的重要指标之一就是信噪比。而图像采集过程中受硬件、环境以及人为因素的影响，图像中会存在有噪声和各种杂讯，从而很大程度的影响了图像的细节，最终影响图像质量。相应的，各种去噪方法陆续出现，如，基于非局部自相似性(nss)模型去噪，基于稀疏模型去噪、基于梯度模型去噪以及基于马尔科夫(mrf)模型去噪等。上述图像去噪方法虽然具有较高的去噪质量，但是，在去噪过程中需要大量的运算，从而使得去噪时间长，影响了图像处理的效率。


技术实现要素：

[0003]
本发明要解决的技术问题在于，针对现有技术的不足，提供一种图像去噪方法、存储介质及终端设备，以解决图像去噪方法存在的耗时长的问题。
[0004]
本发明所采用的技术方案如下：
[0005]
一种图像去噪方法，其包括：
[0006]
获取待去噪图像，并将所述待去噪图像输入至已训练的图像去噪模型，其中，所述图像去噪模型为基于训练图像集训练得到，所述训练图像集包括多组训练图像组，每一组训练图像组包括具有相同图像内容的第一图像和第二图像，第二图像的信噪比大于第一图像的信噪比；
[0007]
通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图像对应的去噪图像。
[0008]
所述图像去噪方法，其中，所述图像去噪模型的训练过程包括：
[0009]
获取所述训练图像集；
[0010]
将所述训练图像集中第一图像输入预设神经网络模型，并获取所述预设神经网络模型所输出的所述第一图像对应的生成图像；
[0011]
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像对所述预设神经网络模型的模型参数进行修正，直至所述预设神经网络模型的训练情况满足预设条件，以得到已训练的图像去噪模型。
[0012]
所述图像去噪方法，其中，所述第一图像为具有第一曝光时长的图像，所述第二图像为具有第二曝光时长的图像，所述第一图像和第二图像均为原始图像数据，并且所述第二曝光时长大于所述第一曝光时长。
[0013]
所述图像去噪方法，其中，所述将所述训练图像集中第一图像输入预设神经网络模型，并获取所述预设神经网络模型所输出的所述第一图像对应的生成图像之前，还包括：
[0014]
对所述训练图像集中第一图像进行颜色通道分离，以得所述第一图像对应的第一图像块；
[0015]
调整所述第一图像对应的图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像。
[0016]
所述图像去噪方法，其中，所述调整所述第一图像对应的图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像具体包括：
[0017]
获取所述第一图像的第一曝光时长和所述第一图像对应的第二图像的第二曝光时长，并根据所述第二曝光时长和所述第一曝光时长计算曝光调整系数；
[0018]
根据所述曝光调整系数调整所述第一图像对应的第一图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像。
[0019]
所述图像去噪方法，其中，所述预设神经网络模型包括下采样模块、处理模块以及上采样模块；所述将所述训练图像集中各第一图像依次输入预设神经网络模型，并获取所述预设神经网络模型所输出的所述第一图像对应的生成图像具体包括：
[0020]
将所述训练图像集中第一图像输入所述下采样模块，以得到所述第一图像对应的第一特征图像；
[0021]
将所述第一特征图像输入所述处理模块，通过所述处理模块对所述第一特征图像进行处理，以得到第二特征图像，其中，所述第二特征图像的信噪比高于所述第一特征图像的信噪比；
[0022]
将所述第二特征图像输入所述上采样模块，通过所述上采样模块调整所述第二特征图像的分辨率，以得到所述第一图像对应的生成图像，其中，所述生成图像的分辨率与所述第一图像的分辨率相同。
[0023]
所述图像去噪方法，其中，所述根据所述第一图像对应的第二图像和所述第一图像对应的生成图像对所述预设神经网络模型的模型参数进行修正，直至所述预设神经网络模型的训练情况满足预设条件，以得到已训练的图像去噪模型具体包括：
[0024]
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像计算所述预设神经网络模型对应的多尺度结构相似性损失函数值和余弦相似度损失函数值；
[0025]
根据所述多尺度结构相似性损失函数值和所述余弦相似度损失函数值得到所述预设神经网络模型的损失函数值；
[0026]
基于所述总损失函数值迭代训练所述预设神经网络模型，直至所述预设神经网络模型的训练情况满足预设条件，以得到已训练的图像去噪模型。
[0027]
所述图像去噪方法，其中，所述已训练的图像去噪模型包括下采样模块、处理模块以及上采样模块；所述通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图像对应的去噪图像具体包括：
[0028]
将所述待去噪图像输入所述下采样模块，以得到所述待去噪图像对应的第一特征图像；
[0029]
将所述第一特征图像输入所述处理模块，通过所述处理模块对所述第一特征图像进行处理，以得到第二特征图像，其中，所述第二特征图像的信噪比高于所述第一特征图像的信噪比；
[0030]
将所述第二特征图像输入所述上采样模块，通过所述上采样模块调整所述第二特征图像的分辨率，以得到所述待去噪图像对应的去噪图像，其中，所述去噪图像的分辨率与所述待去噪图像分辨率相同。
[0031]
所述图像去噪方法，其中，所述获取待去噪图像，并将所述待去噪图像输入至已训练的图像去噪模型具体包括：
[0032]
获取待去噪图像，并判断所述待去噪图像的图像类型，其中，所述图像类型包括摄像装置采集的原始图像数据类型或rgb图像类型；
[0033]
当所述图像类型为摄像装置采集的原始图像数据类型，对所述待去噪图像进行颜色通道分离，以得所述待去噪图像对应的第二图像块，并将所述第二图像块作为待去噪图像，并将所述待去噪图像输入至已训练的图像去噪模型；
[0034]
当所述图像类型为rgb图像类型时，将所述待去噪图像输入至已训练的图像去噪模型。
[0035]
所述图像去噪方法，其中，当所述图像类型为摄像装置采集的原始图像数据类型，所述通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图像对应的去噪图像具体包括：
[0036]
通过所述图像去噪模型对所述待去噪图像进行去噪，以得到输出图像；
[0037]
将所述输出图像包含的各像素点的像素值转换至预设像素值区间，以得到转换后的输出图像；
[0038]
将所述转换后的输出图像拉伸预设倍数，以得到拉伸后的输出图像；
[0039]
对所述拉伸后的输出图像进行白平衡以及去马赛克处理，以将所述拉伸后的输出图像转换为rgb图像，并将所述rgb图像作为去噪图像。
[0040]
所述图像去噪方法，其中，当所述图像类型为rgb图像类型时，所述通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图像对应的去噪图像包括：
[0041]
通过所述图像去噪模型对所述待去噪图像进行去噪，以得到输出图像；
[0042]
将所述输出图像包含的各像素点的像素值转换至预设像素值区间，以得到转换后的输出图像；
[0043]
将所述转换后的输出图像拉伸预设倍数，以得到去噪图像。
[0044]
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像去噪方法中的步骤。
[0045]
一种终端设备，其包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上任一所述的图像去噪方法中的步骤。
[0046]
有益效果：与现有技术相比，本发明提供了一种图像去噪方法、存储介质及终端设备，所述方法通过将待去除图像输入至已训练的图像去噪模型中，通过已训练的图像去噪模型对待去噪图像进行去噪处理，以得到去噪图像。所述图像去噪模型为通过对具有多组训练图像组的训练图像集的去噪过程进行深度学习得到，其中，所述训练图像组包括具有相同图像内容的第一图像和第二图像，第二图像的信噪比大于第一图像的信噪比。由此可知，本发明是采用基于训练图像集进行深度学习的到已训练的图像去噪模型进行去噪，这
样可以提高图像去噪模型的运算性能，减少图像去噪所耗费的时间，从而提高了图像去噪的效率。
附图说明
[0047]
图1为本发明提供的图像去噪方法的流程图。
[0048]
图2为本发明提供的图像去噪方法中第一图像经过颜色通道分离后的示意图。
[0049]
图3为本发明提供的图像去噪方法中图像去噪模型的训练过程的示意图。
[0050]
图4为本发明提供的图像去噪方法中图像去噪模型的训练过程中预设网络模型的示意图。
[0051]
图5为本发明提供的图像去噪方法中步骤s10的流程图。
[0052]
图6为本发明提供的图像去噪方法中步骤s20的流程图。
[0053]
图7为本发明提供的图像去噪方法中对于4032*3024*1的原始图像数据的处理时间的数据图。
[0054]
图8为一待去噪图像的示意图。
[0055]
图9为图8中的待去噪图像经过本发明提供的图像去噪方法处理后的示意图。
[0056]
图10为另一待去噪图像的示意图。
[0057]
图11为图10中的待去噪图像经过本发明提供的图像去噪方法处理后的示意图。
[0058]
图12为本发明提供的终端设备的结构原理图。
具体实施方式
[0059]
本发明提供一种图像去噪方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0060]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0061]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
[0062]
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
[0063]
本实施例提供了一种图像去噪方法，如图1所示，所述方法包括：
[0064]
s100、获取待去噪图像，并将所述待去噪图像输入至已训练的图像去噪模型，其中，所述图像去噪模型为基于训练图像集训练得到，所述训练图像集包括多组训练图像组，
每一组训练图像组包括具有相同图像内容的第一图像和第二图像，第二图像的信噪比大于第一图像的信噪比。
[0065]
具体地，所述已训练的图像去噪模型为基于训练图像集训练得到的神经网络模型，例如，卷积神经网络模型cnn等。所述训练图像集包含的多组训练图像组可以是通过摄像装置(如，相机)拍摄得到的，也可以是通过网络(如，百度)获取到的。所述训练图像组包括两张训练图像，分别记为第一图像和第二图像。所述第一图像和第二图像具有相同图像内容指的是第一图像携带的物体内容与第二图像携带的物体内容相同，并且当第一图像和第二图像重合时，第一图像携带的物体可以覆盖第二图像中与其对应的物体。同时在本实施例中，所述第二图像的信噪比大于第一图像的信噪比，其中，所述信噪比指的是图像中正常图像信息与噪音信息的比值，一般采用db表示，图像的信噪比越高表明图像的噪音越少。
[0066]
在本实施例的一个实现方式中，如图3所示，所述图像去噪模型为基于训练图像集训练得到的神经网络模型，所述图像去噪模型的训练过程可以包括以下步骤：
[0067]
m10、获取所述训练图像集。
[0068]
具体地，所述训练图像集包括多组训练图像组，每一组训练图像组包括具有相同图像内容的第一图像和第二图像，第二图像的信噪比大于第一图像的信噪比。在本实施例中，所述第一图像和第二图像为通过摄像装置采集的原始图像数据，并且摄像装置基于相同配置参数拍摄对同一场景拍摄得到。所述原始图像数据可以为cmos(complementary metal-oxide-semiconductor，互补金属氧化物半导体)或者ccd(charge coupled device，电荷耦合器件)图像传感器将捕捉到的光源信号转化为数字信号的原始数据，所述原始图像数据为未经过处理和压缩的图像数据。此外，所述第二图像的曝光时长大于第一图像曝光时长。所述曝光时长为是指从快门打开到关闭的时间间隔，摄像装置镜头的光圈叶片在时间间隔内可以将物体的影响留在在底片上留下影像，并且当摄像装置的曝光时长长时，进入光圈内的光较多，从而可以减少图像携带的噪音，从而第二图像的信噪比大于所述第一图像的信噪比高。
[0069]
进一步，每组训练图像组中的第一图像为图像去噪模型对应的预设神经网络模型的输入项，所述第二图像为所述图像去噪模型对应的预设神经网络模型的参照项，所述第二图像用于与所述图像去噪模型输入的第一图像对应的输出图像进行比较，确定所述预设神经网络模型的损失函数值，以根据所述损失函数值对所述预设神经网络模型进行比较。此外，由于所述第一图像为原始图像数据raw，从而在将第一图像输入至预设神经网络模型之前，需要对所述第一图像进行预处理，以使得所述第一图像满足预设神经网络模型的要求。
[0070]
在本实施例的一个实现方式中，对第一图像进行预处理的过程可以包括一下步骤：
[0071]
对所述训练图像集中第一图像进行颜色通道分离，以得所述第一图像对应的第一图像块；
[0072]
调整所述第一图像对应的图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像。
[0073]
具体地，所述第一图像为原始图像数据，对第一图像进行颜色通道分离指的是按照所述第一图像颜色顺序将第一图像数据进行颜色通道分离。例如，如图2所示，所述第一
图像为h*w*1的原始图像数据，并且第一图像颜色顺序为rgbg，其中，h表示第一图像的高，w表示第一图像的宽，1表示第一图像的颜色通道数据。那么所述第一图像通过颜色通道分离后可以生成h/2*w/2*4的第一图像块，其中，h/2表示第一图像块的高，w/2表示第一图像块的宽，4表示第一图像的颜色通道数据。这里将4个颜色通道分别记为第一颜色通道1、第二颜色通道2、第三颜色通道3以及第四颜色通道4，其中，第一颜色通道存储r数据，第二颜色通道存储g数据，第三颜色通道存储b数据，第四颜色通道存储g数据。
[0074]
进一步，所述曝光调整系数为根据所述第一图像的第一曝光时长和第二图像的第二曝光时长得到。相应的，所述调整所述第一图像对应的图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像具体包括：
[0075]
获取所述第一图像的第一曝光时长和所述第一图像对应的第二图像的第二曝光时长，并根据所述第二曝光时长和所述第一曝光时长计算曝光调整系数；
[0076]
根据所述曝光调整系数调整所述第一图像对应的第一图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像。
[0077]
具体地，所述曝光调整系数为所述第二曝光时长与第一曝光时长的比值，例如，所述第一曝光时长为0.1s，所述第二曝光时长为10s，那么所述曝光调整系数＝10/0.1＝100。此外，在获取到曝光调整系数后，根据所述曝光调整系数调整所述第一图像块的曝光时长具体为：将所述第一图像块对应的曝光时长乘以所述曝光调整系数，以得到曝光时长调整后的第一图像块，并将曝光时长调整后的第一图像块作为第一图像，这样可以使得预处理后的第一图像的曝光时长等于第二图像的曝光时长，使得第一图像的亮度与第二图像的亮度相近，在采用第一图像和第二图像对所述预设神经网络进行训练时，可以减少图像亮度对预设神经网络训练的影响，提高预设神经网络的训练速度，从而可以提高图像去噪模型的训练速度。
[0078]
此外，在本实施例的一个实现方式中，所述预处理方式还可以包括黑电平去除、归一化处理以及钳制处理。所述黑电平去除以及归一化处理位于颜色通道分离之后、曝光时长调整之前进行；所述钳制处理位于曝光时长调整之后进行，即所述对所述训练图像集中第一图像进行颜色通道分离，以得所述第一图像对应的第一图像块之前、所述调整所述第一图像对应的图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像之前包括：包括对所述第一图像依次进行黑电平去除以及归一化处理；所述调整所述第一图像对应的图像块的曝光时长，得到曝光时长调整后的第一图像块，并将所述曝光时长调整后的第一图像块作为第一图像之后包括钳制处理。
[0079]
在本实施例中，所述黑电平去除用于校正数据偏差，所述黑电平去除的过程为将所述各颜色通道的图像数据减去黑电平数值，其中，所述黑电平数值可以为7.5等。所述归一化处理为将黑电平去除后的第一图像块的各个颜色通道的图像数据除以归一化系数，以将所述第一图像块的各个颜色通道的图像数据归一化至[0,1]之间，其中，所述归一化系数可以根据第一图像块的存储位数来确定，例如，当所述第一图像块的存储位数为14位，所述第一图像块的最大值为16383，那么所述归一化系数为16383；当所述第一图像块的存储位数为8位，所述第一图像块的最大值为255，那么所述归一化系数为255。所述钳制处理为将曝光时长调后的第一图像块包含的各像素点的像素值钳制至预设像素值区间，当将曝光时长调后的第一图像块中所有像素值大于预设像素值区间的上限值的像素点的像素值替换
为预设像素值区间的上限值，以防止所述第一图像块过度曝光。其中，所述预设像素值区间优选为[0,1],判断曝光时长调整后的第一图像块包含的各像素值是否处于[0,1]区间内，对于像素值处于[0,1]区间内的像素点，保持其像素值不变动，对于像素值未处于[0,1]区间内的像素点，将其像素值调整为像素值1。
[0080]
进一步，在本实施例的一个实现方式中，如图4所示，所述预设神经网络模型包括下采样模块10、处理模块20以及上采样模块30，所述下采样模块10、处理模块20以及上采样模块30依次设置，并且前一模块的输出为后一模块的输入。相应的，所述将所述训练图像集中各第一图像依次输入预设神经网络模型，并获取所述预设神经网络模型所输出的所述第一图像对应的生成图像具体包括：
[0081]
将所述训练图像集中第一图像输入所述下采样模块，以得到所述第一图像对应的第一特征图像；
[0082]
将所述第一特征图像输入所述处理模块，通过所述处理模块对所述第一特征图像进行处理，以得到第二特征图像，其中，所述第二特征图像的信噪比高于所述第一特征图像的信噪比；
[0083]
将所述第二特征图像输入所述上采样模块，通过所述上采样模块调整所述第二特征图像的分辨率，以得到所述第一图像对应的生成图像，其中，所述生成图像的分辨率与所述第一图像的分辨率相同。
[0084]
具体地，所述下采样模块10的输入项为经过预处理的第一图像，所述下采样模块10输入的第一图像的第一特征图像，所述下采样模块10用于采集所述第一图像的图像特征以得到第一特征图像。在本实施例中，所述下采样模块10包括5个下采样层，所述5个下采样层中的第一下采样层11包括步长为2的5*5卷积层和步长为1的1*1卷积层，第二下采样层12至第五下采样层15均包括一个步长为2的3*3卷积层和一个扩张系数为4的反向残差模块。其中，所述第一下采样层11中的5*5卷积层的通道数为32，所述1*1卷积层的通道数为16。第二下采样层12中3*3卷积层和反向残差模块的通道数均为32，第三下采样层13中3*3卷积层和反向残差模块的通道数均为32，第四下采样层14中3*3卷积层和反向残差模块的通道数均为64，第五下采样层15中3*3卷积层和反向残差模块的通道数均为128。所述第一下采样层11至第五下采样层15均用于采集第一图像的图像特征，并且后一采样层提取的图像特征在前一采样层提取的图像特征中提取细化特征，以使得后一下采样层提取的图像特征比前一下采样层提取的特征抽象，从而可以提高特征提取的精确性。
[0085]
进一步，所述中间处理模块20采用4个扩张系数为4的反向残差块(inverted residuals)，每个反向残差块的通道数均为128，通过所述4的反向残差块对所述下采样模块提取的第一特征图像进行非线性运算，以得到第二特征图像，并使得第二特征图像的信噪比高于第一特征图像的信噪比。本实施例采用反向残差块进行非线性运算，可以能增强模型的学习能力，提高预设神经网络的训练速度。
[0086]
进一步，所述上采样模块30包括5个上采样层，所述5个上采样层中第一上采样层31至第四上采样层34均包括采用双线性插值层+步长为1的1*1卷积层+短连接层+1个扩张系数为4的反向残差块(inverted residuals)；第五上采样层35采用2*2的反卷积层。所述第一上采样层31中双线性插值层、1*1卷积层、短连接层以及反向残差块的通道数均为64、所述第二上采样层32和第三上采样层33中双线性插值层、1*1卷积层、短连接层以及反向残
差块的通道数均为32，所述第四上采样层34中双线性插值层、1*1卷积层、短连接层以及反向残差块的通道数均为16。第五上采样层35采用步长为2的2*2的反卷积层，其通道数为4，所述第五上采样层35输出的图像为所述预设神经网络的输出图像。此外，第一上采样层31、第二上采样层32和第四上采样层34中的1*1卷积层将双线性插值进行上采样后的结果进行通道压缩，使其通道数减少一半，所述第一上采样层至第四上采样层中短连接操作为将步长为1的1*1卷积层处理后的结果与下采样过程中相同通道层数的最后结果进行点对点相加，以融合低阶特征和高阶特征。
[0087]
m30、根据所述第一图像对应的第二图像和所述第一图像对应的生成图像对所述预设神经网络模型的模型参数进行修正，直至所述预设神经网络模型的训练情况满足预设条件，以得到已训练的图像去噪模型。
[0088]
具体地，所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像识别模型精度来确定，这里不做详细说明，所述预设次数可以为预设神经网络的最大训练次数，例如，4000次等。由此，在预设神经网络输出生成图像，根据所述生成图像以及所述第二图像来计算预设神经网络的损失函数值，在计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述预设神经网络的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述预设神经网络的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断预设神经网络训练是否结束，可以避免因损失函数值无法达到预设要求而造成预设神经网络的训练进入死循环。
[0089]
此外，在本实施例中，在根据所述生成图像与第二图像计算损失函数值之前，还可以对所述生成图像进行后处理操作。所述后处理操作具体可以包括：
[0090]
将所述生成图像包含的各像素点的像素值转换至预设像素值区间，以得到转换后的输出图像；
[0091]
将所述转换后的输出图像拉伸预设倍数，以得到拉伸后的生成图像，并将所述拉伸后的生成图像作为生成图像。
[0092]
具体地，所述将所述生成图像包含的各像素点的像素值转换至预设像素值区间，可以理解为，将生成图像包含的所有像素值与预设像素值区间的上限值进行比较，将生成图像中所有大于所述上限值的像素点的像素值替换为预设像素值区间的上限值，以防止所述第一图像块过度曝光。例如，所述预设像素值区间为[0,1],判断曝光时长调整后的第一图像块包含的各像素值是否处于[0,1]区间内，对于像素值处于[0,1]区间内的像素点，保持其像素值不变动，对于像素值未处于[0,1]区间内的像素点，将其像素值调整为像素值1。
[0093]
进一步，所述预设倍数优选为255，所述将所述转换后的生成图像拉伸预设倍数为将转换后的输出图像包含的各像素点的像素值乘以255，以得到拉伸后的生成图像，并将所述拉伸后的生成图像作为生成图像。
[0094]
进一步，在本实施例的一个实现方式中，所述损失函数值为根据多尺度结构相似性损失函数和余弦相似度损失函数计算得到的。相应的，所述根据所述第一图像对应的第二图像和所述第一图像对应的生成图像对所述预设神经网络模型的模型参数进行修正，直至所述预设神经网络模型的训练情况满足预设条件，以得到已训练的图像去噪模型具体包
括：
[0095]
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像计算所述预设神经网络模型对应的多尺度结构相似性损失函数值和余弦相似度损失函数值；
[0096]
根据所述多尺度结构相似性损失函数值和所述余弦相似度损失函数值得到所述预设神经网络模型的损失函数值；
[0097]
基于所述总损失函数值迭代训练所述预设神经网络模型，直至所述预设神经网络模型的训练情况满足预设条件，以得到已训练的图像去噪模型。
[0098]
具体地，所述预设神经网络采用多尺度结构相似性损失函数和余弦相似度损失函数的结合作为损失函数，在计算所述预设神经网络的损失函数值可以分别计算多尺度结构相似性损失函数值和余弦相似度损失函数值，再根据所述多尺度结构相似性损失函数值和余弦相似度损失函数值计算。在本实施例中，所述预设神经网络模型的损失函数值＝a*多尺度结构相似性损失函数值+b*余弦相似度损失函数值，所述a和b为权重系数。例如，所述权重系数a和权重系数b均为1，那么所述预设神经网络模型的损失函数值＝多尺度结构相似性损失函数值+余弦相似度损失函数值。此外，在本实施例的一个实现方式中，所述多尺度结构相似性损失函数优选为5尺度结构相似性损失函数，其中，第一尺度的权重系数为β1＝γ1＝0.0448，第二尺度的权重系数为β2＝γ2＝0.2856，第三尺度的权重系数为β3＝γ3＝0.3001，第四尺度的权重系数为β4＝γ4＝0.2363，第五尺度的权重系数为α5＝β5＝γ5＝0.1333。
[0099]
进一步，在实施例的一个实现方式中，由于所述图像去噪模型是采用原始数据图像进行训练的，从而所述待去噪图像可以是rgb图像也可以是原始图像数据。从而在获取到待去噪图像后，可以判断所述待去噪图像的图像类型，并根据所述待去噪图像的图像类型进行相应处理。相应的，如图5所述，所述获取待去噪图像，并将所述待去噪图像输入至已训练的图像去噪模型具体包括：
[0100]
s11、获取待去噪图像，并判断所述待去噪图像的图像类型，其中，所述图像类型包括摄像装置采集的原始图像数据类型或rgb图像类型；
[0101]
s12、当所述图像类型为摄像装置采集的原始图像数据类型，对所述待去噪图像进行颜色通道分离，以得所述待去噪图像对应的第二图像块，并将所述第二图像块作为待去噪图像，并将所述待去噪图像输入至已训练的图像去噪模型；
[0102]
s13、当所述图像类型为rgb图像类型时，将所述待去噪图像输入至已训练的图像去噪模型。
[0103]
具体地，所述待去噪图像可以为原始图像数据或者rgb数据，当所述待去噪图像为原始图像数据时，在将所述待去噪图像输入至所述图像去噪模型之前，需要对所述待去噪图像进行预处理。所述预处理方式包括颜色通道分离，此外，所述预处理方式还可以包括黑电平去除、归一化处理、曝光时长放大处理以及钳制处理。所述颜色通道分离、黑电平去除、归一化处理、曝光时长调整处理以及钳制处理的处理过程与图像去噪模型的处理过程相同，这里就不再赘述。当然，值得说明的，在对待去噪图像进行曝光时长调整时，所述曝光时长调整过程中的第二曝光时长为期望曝光时长，例如，10s等。此外，当所述待去噪图像为rgb图像时，将所述rgb图像直接输入至所述图像去噪模型。
[0104]
s200、通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图
像对应的去噪图像。
[0105]
具体地，所述通过所述图像去噪模型对所述待去噪图像进行去噪指的是将所述待去噪图像作为所述图像去噪模型的输入项输入至所述图像去噪模型中，通过所述去噪图像模型去除所述待去噪图像的噪音，以得到去噪图像，其中，所述去噪图像的信噪比高于所述待去噪图像的信噪比。
[0106]
进一步，由所述图像去噪模型的训练过程可以知道，所述图像去噪模型包括下采样模块、处理模块以及上采样模块。相应的，如图6所示，所述通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图像对应的去噪图像具体包括：
[0107]
s21、将所述待去噪图像输入所述下采样模块，以得到所述待去噪图像对应的第一特征图像；
[0108]
s22、将所述第一特征图像输入所述处理模块，通过所述处理模块对所述第一特征图像进行处理，以得到第二特征图像，其中，所述第二特征图像的信噪比高于所述第一特征图像的信噪比；
[0109]
s22、将所述第二特征图像输入所述上采样模块，通过所述上采样模块调整所述第二特征图像的分辨率，以得到所述待去噪图像对应的去噪图像，其中，所述去噪图像的分辨率与所述待去噪图像分辨率相同。
[0110]
具体地，所述下采样模块、处理模块以及上采样模块在所述图像去噪模型的训练过程中已经做详细说明，这里就不在赘述。
[0111]
进一步，在本实施例的一个实现方式中，由于所述待去噪图像可以为原始图像或者rgb图像，从而在所述图像去噪模型输出的去噪图像后，需要根据所述待去噪图像的图像类型来对所述图像去噪模型输出的去噪图像进行后处理。相应的，当所述图像类型为摄像装置采集的原始图像数据类型，所述通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图像对应的去噪图像具体包括：
[0112]
通过所述图像去噪模型对所述待去噪图像进行去噪，以得到输出图像；
[0113]
将所述输出图像包含的各像素点的像素值转换至预设像素值区间，以得到转换后的输出图像；
[0114]
将所述转换后的输出图像拉伸预设倍数，以得到拉伸后的输出图像；
[0115]
对所述拉伸后的输出图像进行白平衡以及去马赛克处理，以将所述拉伸后的输出图像转换为rgb图像，并将所述rgb图像作为去噪图像。
[0116]
具体地，所述将所述输出图像包含的各像素点的像素值转换至预设像素值区间为当将输出图像包含的所有像素值与预设像素值区间的上限值进行比较，将输出图像中所有大于所述上限值的像素点的像素值替换为预设像素值区间的上限值，以防止所述第一图像块过度曝光。例如，所述预设像素值区间为[0,1],判断曝光时长调整后的第一图像块包含的各像素值是否处于[0,1]区间内，对于像素值处于[0,1]区间内的像素点，保持其像素值不变动，对于像素值未处于[0,1]区间内的像素点，将其像素值调整为像素值1。
[0117]
进一步，所述预设倍数优选为255，所述将所述转换后的输出图像拉伸预设倍数为将转换后的输出图像包含的各像素点的像素值乘以255，以得到拉伸后的输出图像。此外，由于所述拉伸后的输出图像为原始图像数据，从而需要对所述拉伸后的输出图像的进行白平衡以及去马赛克处理，以将所述拉伸后的输出图像转换为rgb图像。
[0118]
进一步，在本实施例的一个实现方式中，当所述图像类型为rgb图像类型时，所述通过所述图像去噪模型对所述待去噪图像进行去噪，以得到所述待去噪图像对应的去噪图像包括：
[0119]
通过所述图像去噪模型对所述待去噪图像进行去噪，以得到输出图像；
[0120]
将所述输出图像包含的各像素点的像素值转换至预设像素值区间，以得到转换后的输出图像；
[0121]
将所述转换后的输出图像拉伸预设倍数，以得到去噪图像。
[0122]
具体地，对输出图像执行的转换操作以及拉伸操作与所述图像类型为摄像装置采集的原始图像数据类型时的操作相同，这里就不再赘述。
[0123]
在本实施例中，采用基于包括多组训练图像组，每一组训练图像组包括具有相同图像内容的第一图像和第二图像，第二图像的信噪比大于第一图像的信噪比的训练图像集训练得到的图像去噪模型对待去噪图像进行去噪，并且在对待去噪图像进行去噪之前，对待去噪图像进行预处理，这样一方面提高去噪效果，例如，如图8所示的待去噪图像，其通过本实施例的图像去噪方法处理得到的去噪图像如图9所示，以及如图10所示的待去噪图像，其通过本实施例的图像去噪方法处理得到的去噪图像如图11所示；另一方面降低去噪耗费时间，例如，如图7所示，对于4032*3024*1的原始图像数据的处理时间为1.8s。
[0124]
基于上述图像去噪方法，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的图像去噪方法中的步骤。
[0125]
基于上述图像去噪方法，本发明还提供了一种终端设备，如图12所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0126]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0127]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0128]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0129]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0130]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。