一种暗光图像处理方法及装置、终端、存储介质与流程

本申请涉及图像处理技术领域，涉及但不限于一种暗光图像处理方法及装置、终端、存储介质。

背景技术

在相关技术中，手机拍照对于还原暗光图像的需求非常巨大。短曝光图像画面存在大量噪点，而长曝光还原暗光图像会带来模糊问题，需要经过一系列的去噪、去模糊、图像增强等处理，然而即使经过这些处理还是不能覆盖极端情况，暗光还原效果无法保证。

技术实现要素：

有鉴于此，本申请一示例性实施例为解决相关技术中存在的至少一个问题而提供一种暗光图像处理方法及装置、终端、存储介质。

本申请一示例性实施例的技术方案是这样实现的：

本申请一示例性实施例提供了一种暗光图像处理方法，包括：

获取相机所处的当前环境信息和所述相机对应的待拍摄画面；

如果所述当前环境信息满足预设条件，将所述待拍摄画面输入到训练好的卷积神经网络模型中，得到处理后的画面；其中，所述卷积神经网络模型是通过采用预设的短曝光图像和所述预设的短曝光图像对应的预设的正常图像进行训练得到的；

输出所述处理后的画面。

在上述方法中，所述短曝光图像为图像的质量信息不满足预设质量条件的图像，所述预设的正常图像为图像的质量信息满足预设质量条件的图像，且所述预设的正常图像的曝光时间大于所述短曝光图像的曝光时间；其中，所述图像的质量信息至少包括以下之一：图像的曝光时间、图像的像素值、图像的分辨率、感光度iso。

在上述方法中，所述卷积神经网络模型的训练过程，包括：

将短曝光图像作为样本图像和所述短曝光图像对应的正常图像输入卷积神经网络，得到第一输出结果；

根据所述第一输出结果和预设的损失函数图像调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。

在上述方法中，所述方法还包括：

如果所述相机所处的当前环境信息不满足预设条件，输出所述相机对应的待拍摄画面。

在上述方法中，所述如果所述当前环境信息满足预设条件，将所述待拍摄画面输入到训练好的卷积神经网络模型中，得到处理后的画面，包括：

如果所述当前环境信息表明所述当前环境的亮度大于等于预设阈值，确定所述当前环境信息满足预设条件，并生成启动请求；

响应所述启动请求，启动所述卷积神经网络模型；

将所述待拍摄画面输入所述已启动的卷积神经网络模型，得到处理后的画面。

在上述方法中，所述根据所述第一输出结果、预设的正常亮度图像和预设的损失函数图像调整所述卷积神经网络，得到训练好的所述卷积神经网络模型，包括：

利用所述预设的损失函数，确定所述第一输出结果和所述预设的正常亮度图像之间的差值；

根据所述差值调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。

在上述方法中，所述利用所述预设的损失函数，确定所述第一输出结果和所述预设的正常亮度图像之间的差值，包括：

利用所述预设的损失函数，确定所述第一输出结果对应的像素值和所述预设的正常亮度图像的像素值之间的差值。

本申请一示例性实施例提供一种暗光图像处理装置，所述装置包括：第一获取模块、第一输入模块和第一输出模块，其中：

所述第一获取模块，用于获取相机所处的当前环境信息和所述相机对应的待拍摄画面；

所述第一输入模块，用于如果所述当前环境信息满足预设条件，将所述待拍摄画面输入到训练好的卷积神经网络模型中，得到处理后的画面；其中，所述卷积神经网络模型是通过预设的短曝光图像和所述预设的短曝光图像对应的预设的正常图像进行训练得到的；

所述第一输出模块，用于输出所述处理后的画面。

在上述装置中，所述短曝光图像为图像的质量信息不满足预设质量条件的图像，所述预设的正常图像为图像的质量信息满足预设质量条件的图像，且所述预设的正常图像的曝光时间大于所述短曝光图像的曝光时间；其中，所述图像的质量信息至少包括以下之一：图像的曝光时间、图像的像素值、图像的分辨率、感光度iso。

在上述装置中，所述装置还包括：第一训练模块，用于训练所述卷积神经网络模型；其中，所述第一训练模块，包括：

第一输入单元，用于将短曝光图像作为样本图像和所述短曝光图像对应的正常图像输入卷积神经网络，得到第一输出结果；

第一训练单元，用于根据所述第一输出结果和预设的损失函数图像调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。

在上述装置中，所述装置还包括：

第二输出模块，用于如果所述相机所处的当前环境信息不满足预设条件，输出所述相机对应的待拍摄画面。

在上述装置中，所述第一输入模块，包括：

第一确定单元，用于如果所述当前环境信息表明所述当前环境的亮度大于等于预设阈值，确定所述当前环境信息满足预设条件，并生成启动请求；

第一启动单元，用于响应所述启动请求，启动所述卷积神经网络模型；

第二输入单元，用于将所述待拍摄画面输入所述已启动的卷积神经网络模型，得到处理后的画面。

在上述装置中，所述第一训练单元，包括：

第一确定子单元，用于利用所述预设的损失函数，确定所述第一输出结果和所述预设的正常亮度图像之间的差值；

第一训练子单元，用于根据所述差值调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。

在上述装置中，所述第一确定子单元，还用于利用所述预设的损失函数，确定所述第一输出结果对应的像素值和所述预设的正常亮度图像的像素值之间的差值。

本申请一示例性实施例提供一种终端，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述暗光图像处理方法中的步骤。

本申请一示例性实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述暗光图像处理方法中的步骤。

本申请一示例性实施例一示例性提供了一种暗光图像处理方法及装置、终端、存储介质，其中，首先，获取相机所处的当前环境信息和所述相机对应的待拍摄画面；其次，如果所述当前环境信息满足预设条件，将所述待拍摄画面输入到训练好的卷积神经网络模型中，得到处理后的画面；其中，所述卷积神经网络模型是通过采用预设的短曝光图像和所述预设的短曝光图像对应的预设的正常图像进行训练得到的；最后，输出所述处理后的画面；如此，通过采用短曝光图像和预设的正常图像训练得到卷积神经网络模型，将暗光图像输入该模型，即可还原不同暗光条件下的图像，大大提升图像质量。

附图说明

图1为本申请一示例性实施例暗光图像处理方法实现流程示意图；

图2为本申请一示例性实施例暗光图像处理方法又一实现流程示意图；

图3a为本申请一示例性实施例暗光图像处理方法的另一实现流程示意图；

图3b为本申请一示例性实施例显示暗光图像的终端的组成结构示意图；

图3c为本申请一示例性实施例还原暗光图像的终端的组成结构示意图；

图4为本申请一示例性实施例暗光图像处理装置的组成结构示意图；

图5为本申请一示例性实施例的一种终端硬件实体示意图。

具体实施方式

下面将结合本申请一示例性实施例中的附图，对本申请一示例性实施例中的技术方案进行清楚、完整地描述。

本申请一示例性实施例提出一种暗光图像处理方法，该方法应用于具有前置摄像或者后置摄像功能的移动终端，所述移动终端可以以各种形式来实施。例如，本申请一示例性实施例中所描述的移动终端可以包括手机、平板电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)等。另外，该方法所实现的功能可以通过移动终端中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该移动终端至少包括处理器和存储介质。

图1为本申请一示例性实施例暗光图像处理方法实现流程示意图，如图1所示，所述方法包括以下步骤：

步骤s101，获取相机所处的当前环境信息和所述相机对应的待拍摄画面。

这里，所述相机为启动相机，即在本实施例中相机启动之后获取相机的当前环境信息。所述相机可以是终端上自带的摄像头，比如，手机上的相机，还可以是作为独立终端的相机；所述当前环境信息可以是，当前环境的光线亮度、画面背景等；所述待拍摄的画面可以认为是打开摄像头之后，摄像头可捕获范围内的画面。

步骤s102，如果所述当前环境信息满足预设条件，将所述待拍摄画面输入到训练好的卷积神经网络模型中，得到处理后的画面。

这里，所述待拍摄画面可以理解为是能够透过摄像头看到的画面，但是并没有存储在摄像机里面。所述卷积神经网络模型是通过采用短曝光图像和预设的正常图像进行训练得到的。所述卷积神经网络模型包括自编码器。所述步骤s102，可以认为是将训练好的卷积神经网络模型部署于手机中，当打开手机的照相机时，首先自动检测当前环境的亮度，如果所述当前环境的亮度大于预设阈值，自动启动卷积神经网络模型对应的功能，将待拍摄画面输入到训练好的卷积神经网络模型中，得到处理后的画面。如果所述已启动的相机所处的当前环境信息不满足预设条件，输出所述相机对应的待拍摄画面。也就是说，如果所述当前环境的亮度小于预设阈值，不启动卷积神经网络模型对应的功能，直接将待拍摄画面输出给用户。

步骤s103，输出所述处理后的画面。

这里，所述处理后的画面，可以理解为是利用卷积神经网络模型进行暗光还原后得到的图像质量较佳的图像。

在本申请一示例性实施例提供的一种暗光图像处理方法中，通过采用短曝光图像和预设的正常图像训练得到卷积神经网络模型，将暗光图像输入该模型，即可还原不同暗光条件下的图像，大大提升图像质量，从而提升用户体验感。

在其他实施例中，所述卷积神经网络模型的训练过程，可以通过以下步骤实现：

步骤s11，将短曝光图像作为样本图像和所述短曝光图像对应的正常图像输入卷积神经网络，得到第一输出结果。

这里，所述短曝光图像为图像的质量信息不满足预设质量条件的图像，所述预设的正常图像为图像的质量信息满足预设质量条件的图像，且所述预设的正常图像的曝光时间大于所述短曝光图像的曝光时间；其中，所述图像的质量信息至少包括以下之一：图像的曝光时间、图像的像素值、图像的分辨率、感光度iso。比如，短曝光图像的曝光时间为1/30秒至1/10秒(即该短曝光图像画面存在大量噪点)，预设的正常图像为图像清晰、没有噪点的图像，且曝光时间大于短曝光图像的曝光时间(即用户理想的画面质量)。图像的像素值可以理解为是该图像的像素是多少，图像的分辨率可以理解为该图像是否清晰(即分辨率越高，图像越清晰)，感光度iso可以理解为，在拍摄该图像时，相机对于当前环境亮度的敏感程度。

步骤s12，根据所述第一输出结果和预设的损失函数图像调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。

这里，所述步骤s12，可以是：首先，利用所述预设的损失函数，确定所述第一输出结果和所述预设的正常亮度图像之间的差值；然后，根据所述差值调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。也就是说，首先，利用所述预设的损失函数，确定所述第一输出结果对应的像素值和所述预设的正常亮度图像的像素值之间的差值，然后将该差值反馈到卷积神经网络的每一层，并根据这个差值对每一层进行调整，以使得卷积神经网络输出的图像的质量与预设的正常亮度图像的质量相同。

本申请一示例性实施例再提供一种暗光图像处理方法，图2为本申请一示例性实施例暗光图像处理方法又一实现流程示意图，如图2所示，所述方法包括以下步骤：

步骤s201，获取相机所处的当前环境信息和所述相机对应的待拍摄画面。

步骤s202，如果所述当前环境信息表明所述当前环境的亮度大于等于预设阈值，确定所述当前环境信息满足预设条件，并生成启动请求。

步骤s203，响应所述启动请求，启动所述卷积神经网络模型。

步骤s204，将所述待拍摄画面输入所述已启动的卷积神经网络模型，得到处理后的画面。

步骤s205，输出所述处理后的画面。

在本申请一示例性实施例中，当检测到相机的当前环境的亮度大于等于预设阈值时，自动开启卷积神经网络模型对待拍摄的画面进行处理，并输出对暗光还原后的图像，使用户看到的图像是清晰的、没有噪点的优质图像。

本申请一示例性实施例提供一种暗光图像处理方法，通过采集一系列短曝光图像作为训练集，以及对应的长曝光图像(预设的正常亮度图像)作为目标图片，将训练集和目标图片输入到深度卷积编码解码网络中进行训练(得到训练好的卷积神经网络模型)，得到可以还原暗光图像的深度卷积编码解码网络模型。通过采集一系列短曝光及其对应长曝光图像，可以还原不同暗光条件下的图像。

为了便于理解本申请一示例性实施例，这里对包括自编码器的网络模型(即卷积神经网络模型)进行解释：当输入是图像时，使用卷积神经网络是更好的。卷积自编码器的编码器部分由卷积层和最大池化(maxpooling)层构成，maxpooling层负责空域下采样。而解码器由卷积层和上采样层构成。

自编码器(autoencoder)是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层h，可以产生编码表示输入。该网络可以看作由两部分组成：一个由函数表示的编码器和一个生成重构的解码器。这里，通常需要向自编码器强加一些约束，使自编码器只能近似地复制，并只能复制与训练数据相似的输入。这些约束强制模型考虑输入数据的哪些部分需要被优先复制，因此自编码器往往能学习到数据的有用特性。

图3a为本申请一示例性实施例暗光图像处理方法的另一实现流程示意图，如图3a所示，所述方法包括以下步骤：

步骤s301，采集一系列短曝光图像作为训练集，以及对应的长曝光图像作为目标图片。

这里，短曝光图像的曝光时间可以是1/30秒至1/10秒，长曝光图像是正常亮度图像，即用于用户希望看到的画面质量的图像。

步骤s302，利用训练集和目标图片训练能够还原暗光图像的深度卷积编码解码网络模型，并部署于手机中。

这里，深度卷积编码解码网络模型即为卷积神经网络模型。

步骤s303，打开手机的相机拍照模式。

步骤s304，当检测到当前环境为暗光环境，深度卷积编码解码网络模型自动输出暗光还原图像。

这里，所述检测到当前环境为暗光环境，可以是检测到当前环境的亮度大于阈值，然后自动启动深度卷积编码解码网络模型，将待拍摄的画面自动输入到该模型中，该模型处理后，输出暗光还原图像(即处理后的画面)。

步骤s305，用户点击拍照，保存暗光还原图像。

在本申请一示例性实施例中，通过采集一系列短曝光(曝光时间为1/30秒至1/10秒)的图像作为训练集，以及对应的长曝光图像作为目标图片，训练深度卷积编神经网络模型并部署于手机中，在检测到暗光环境时，自动输出暗光还原图像，提高用户拍照体验。

本申请一示例性实施例提供一种暗光图像处理方法，所述终端至少能够安装应用程序，具有摄像头，图3b为本申请一示例性实施例显示暗光图像的终端的组成结构示意图，如图3b所示，相机401已开启，画面402为暗光环境下得到的画面，且未经过处理；从图3b可以看出，直接将处理暗光环境的画面输出，得到的图像是存在大量噪点的，是不清晰的，这并不是用户希望看到的图像。

为解决上述问题，本申请一示例性实施例提供一种暗光图像处理方法，当摄像头与待拍摄物体对焦成功时，得到未加工图像，如图3c所示，相机501开启，且摄像头与待拍摄物体对焦成功，然后检测摄像头所处的当前环境的亮度是否大于预设阈值(即判断当前环境是否为暗光)，如果是，则将相机501捕获到的画面自动输入训练好的卷积神经网络模型中，得到暗光还原的图像，即图像502，从图3c可以看出，将暗光图像经过训练好的卷积神经网络模型还原之后，得到的图像噪点明显减少，而且图像的清晰度更高，满足了用户在暗光拍摄时对图像质量的需求。

本申请一示例性实施例提供一种暗光图像处理装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等。

图4为本申请一示例性实施例暗光图像处理装置的组成结构示意图，如图4所示，所述装置40包括第一获取模块41、第一输入模块42和第一输出模块43，其中：

所述第一获取模块41，用于获取相机所处的当前环境信息和所述相机对应的待拍摄画面；

所述第一输入模块42，用于如果所述当前环境信息满足预设条件，将所述待拍摄画面输入到训练好的卷积神经网络模型中，得到处理后的画面；其中，所述卷积神经网络模型是通过采用预设的短曝光图像和所述预设的短曝光图像对应的预设的正常图像进行训练得到的；

所述第一输出模块43，用于输出所述处理后的画面。

在上述装置中，所述短曝光图像为图像的质量信息不满足预设质量条件的图像，所述预设的正常图像为图像的质量信息满足预设质量条件的图像，且所述预设的正常图像的曝光时间大于所述短曝光图像的曝光时间；其中，所述图像的质量信息至少包括以下之一：图像的曝光时间、图像的像素值、图像的分辨率、感光度iso。

在上述装置中，所述装置还包括：第一训练模块，用于训练所述卷积神经网络模型；其中，所述第一训练模块，包括：

第一输入单元，用于将短曝光图像作为样本图像和所述短曝光图像对应的正常图像输入卷积神经网络，得到第一输出结果；

第一训练单元，用于根据所述第一输出结果和预设的损失函数图像调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。

在上述装置中，所述装置还包括：

第二输出模块，用于如果所述相机所处的当前环境信息不满足预设条件，输出所述相机对应的待拍摄画面。

在上述装置中，所述第一输入模块，包括：

第一确定单元，用于如果所述当前环境信息表明所述当前环境的亮度大于等于预设阈值，确定所述当前环境信息满足预设条件，并生成启动请求；

第一启动单元，用于响应所述启动请求，启动所述卷积神经网络模型；

第二输入单元，用于将所述待拍摄画面输入所述已启动的卷积神经网络模型，得到处理后的画面。

在上述装置中，所述第一训练单元，包括：

第一确定子单元，用于利用所述预设的损失函数，确定所述第一输出结果和所述预设的正常亮度图像之间的差值；

第一训练子单元，用于根据所述差值调整所述卷积神经网络，得到训练好的所述卷积神经网络模型。

在上述装置中，所述第一确定子单元，还用于利用所述预设的损失函数，确定所述第一输出结果对应的像素值和所述预设的正常亮度图像的像素值之间的差值。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请一示例性实施例中，如果以软件功能模块的形式实现上述的暗光图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请一示例性实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(readonlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请一示例性实施例不限制于任何特定的硬件和软件结合。

图5为本申请一示例性实施例的一种终端硬件实体示意图，如图5所示，本申请一示例性实施例提供了一种终端500，包括：

处理器51以及存储有所述处理器51可执行指令的存储介质52，所述存储介质52通过通信总线53依赖所述处理器51执行操作，当所述指令被所述处理器51执行时，执行上述实施例一所述的通知方法。

需要说明的是，实际应用时，终端中的各个组件通过通信总线53耦合在一起。可理解，通信总线53用于实现这些组件之间的连接通信。通信总线53除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为通信总线53。

这里，需要说明的是，所述终端通常为具有前置双摄或者后置双摄功能的移动终端，所述移动终端可以以各种形式来实施。例如，本申请一示例性实施例中所描述的移动终端可以包括手机、平板电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)等。

对应地，本申请一示例性实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的暗光图像处理方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请一示例性实施例的实施过程构成任何限定。上述本申请一示例性实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请一示例性实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(readonlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请一示例性实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得终端执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。