图像处理方法、装置、存储介质和电子设备与流程

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、存储介质和电子设备。

背景技术：

在低光照或者背光环境下拍摄的照片经常发生欠曝光现象。由于在图像增强过程中不是线性的操作，并且增强的结果需要主观判断是否合适。因此，欠曝光图像增强是一个很具备挑战的任务。虽然现有的一些交互式专业图像处理软件，如adobelightroom,photoshop等，可以进行图像处理，但是需要耗费较多的人力成本，且对操作者的专业业务能力要求较高。

技术实现要素：

为了解决上述问题，本申请实施例提供了一种图像处理方法、装置和电子设备。

第一方面，本申请实施例提供了一种图像处理方法，包括以下步骤：

一种图像处理方法，其特征在于，所述方法包括：

获取原始图像的引导图，所述引导图用于表征所述原始图像在低分辨率下的特征；

获取所述原始图像的原始分辨率特征图；

根据所述引导图和所述原始分辨率特征图，生成所述原始图像的增强图像。

可选地，所述获取原始图像的引导图，包括：

对所述原始图像进行下采样操作，生成低分辨率图像；

提取所述低分辨率图像的至少一个特征；

基于所述至少一个特征，生成至少一个特征图；

基于所述至少一个特征图，生成所述引导图。

可选地，所述特征包括局部特征和/或全局特征。

可选地，所述根据所述低分辨率特征图和所述原始分辨率特征图，生成所述原始图像的增强图像，包括：

根据所述引导图和所述原始分辨率特征图，采用双边滤波算法的深度卷积神经网络模型，生成所述增强图像。

可选地，所述获取所述原始图像的原始分辨率特征图，包括：

计算所述原始图像中每个像素点的灰度值；

基于所述灰度值，生成所述原始分辨率特征图。

可选地，所述获取所述原始图像的原始分辨率特征图，包括：

基于所述原始图像，利用神经网络模型，生成所述原始分辨率特征图。

第二方面，本申请实施例提供了一种图像处理装置，包括：

第一获取单元，用于获取原始图像的引导图，所述引导图用于表征所述原始图像在低分辨率下的特征；

第二获取单元，用于获取所述原始图像的原始分辨率特征图；

生成单元，用于根据所述引导图和所述原始分辨率特征图，生成所述原始图像的增强图像。

可选地，所述第一获取单元具体用于：

对所述原始图像进行下采样操作，生成低分辨率图像；

提取所述低分辨率图像的至少一个特征；

基于所述至少一个特征，生成至少一个特征图；

基于所述至少一个特征图，生成所述引导图。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项方法的步骤。

第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项方法的步骤。

本申请提供的图像处理方法、装置、存储介质和电子设备，获取原始图像的引导图，所述引导图用于表征所述原始图像在低分辨率下的特征；获取所述原始图像的原始分辨率特征图；根据所述引导图和所述原始分辨率特征图，生成所述原始图像的增强图像。本申请提出了一种自适应的图像增强方法。相比通过交互式专业图像处理软件进行图像处理，本申请的技术方案可以节省人力成本，且操作人员无需具备专业的图像处理知识。

附图说明

图1为可以应用本申请实施例的图像处理方法或装置的示例性系统架构的示意图；

图2是本申请实施例提供的一种图像处理方法的流程示意图；

图3是本申请实施例提供的另一种图像处理方法的流程示意图；

图4是本申请实施例提供的又一种图像处理方法的流程示意图；

图5是本申请实施例提供的一种图像处理装置的结构示意图；

图6为本申请实施例所涉及的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请进行进一步的介绍。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征a、b、c，另一个实施例包含特征b、d，那么本申请也应视为包括含有a、b、c、d的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

发明人在长期的研究中发现，图像摄像头采集图像时在光照不足的环境下成像，会直接造成视频图像噪声放大，对比度低以及大量细节信息无法表现等问题，这些不足之处严重影响到观看者的用户体验。基于retinex理论的研究方法已经出现很多，比如：msr、msrcr、msrcp等，这些方法在低照度图像增强方面效果有明显提升。

图1为本申请实施例的一种图像分解示意图。如图1所示，任何一幅图像可以分解为光照图像(illumination)和反射图像(reflectance)，反射图像是物体的本身性质决定的即为不变的部分，光照图则受外界影响比较大，可以去除光照影响或者对光照图像进行校正，则可以达到增强图像的目的。可采用如下步骤进行图像增强：

步骤1、将原始图像进行log变换。

步骤2、对进行log变换后的图像进行高斯模糊处理。

步骤3、利用原始图像和步骤2所生成的图像进行差分处理。

如图1所示，左边第一幅图像即为低照度图像，中间的图像即为光照图，右边第一幅图像即为反射图像。可有如下公式s(x,y)＝i(x,y)*r(x,y)，其中，s(x,y)为原始图像，i(x,y)为光照图像，r(x,y)为反射图像。将图像变换到log域后，将光照图像减去进行log域变换后的图像即可达到增强图像的目的。

传统夜景图像增强算法大致可以分为两个方面：直方图均衡化(histogramequalization)，这种方法简单的利用了图像整体的统计性质，通常不能对复杂场景达到理想效果。基于retinex理论的增强算法，通常只能用单通道进行光照优化，颜色无法很好地回复，在光照复杂的情况下还容易出现过曝的现象。这些传统方法还容易在增加图像亮度的同时，放大噪声等瑕疵，影响图像质量。

现有的基于深度学习的方法，通常是直接训练回归(regression)模型，由于数据本身的特性，这种方法得到的结果通常清晰度、对比度比较低，而且会有一些人工痕迹。基于此，本申请实施例提出一种新型卷积神经网络的低光照录制视频进行自适应补光的图像增强算法。

参见图2，图2是本申请实施例提供的一种图像处理方法的流程示意图，在本申请实施例中，所述方法包括：

s201、获取原始图像的引导图，所述引导图用于表征所述原始图像在低分辨率下的特征。

本申请实施例的方法主要用于低照度图像中。低照度图像可以是在室内、夜间等低照度条件下，由于非自然光源的照度不充分，所以目标表面的反射光较弱，造成进入成像传感器的光线不足，导致采集的图像质量退化严重、图像可辨识性较低的图像。

可先通过下采样等方式，获取到原始图像的低分辨图像，再提取出低分辨率图像的一系列特征，包括：低级特征、局部特征和全局特征等，再根据上述特征生成引导图。引导图表征了低分辨率图像的图像特征。本申请实施例的方法在低分辨率下提取图像特征，可以在提取图像特征的同时，使系统的运行速度加快。

s202、获取所述原始图像的原始分辨率特征图。

原始分辨率特征图为原始图像在原始分辨率的情况下生成的图像，原始分辨特征图可用于表征原始图像在原始分辨率下的特征。

可选地，s202包括：

计算所述原始图像中每个像素点的灰度值；

基于所述灰度值，生成所述原始分辨率特征图。

可先获取到原始图像中每个像素点的rgb值，再根据浮点算法、移位方法、平均值法等方法，计算出像素点的灰度值，进而以原始图像中每个像素点对应点灰度值生成灰度图，用灰度图作为原始分辨率特征图。

可选地，s202包括：

基于所述原始图像，利用神经网络模型，生成所述原始分辨率特征图。

可通过多种神经网络模型生成原始分辨率特征图。上述神经网络模型可包括：fr(feedrorward，前馈)神经网络模型、rbf(radialbasisnetwork)神经网络模型、dff(deepfeedforward，深度前馈)神经网络模型等。

s203、根据所述引导图和所述原始分辨率特征图，生成所述原始图像的增强图像。

增强图像为使原始图像的图像质量得到改善，提高原始图像的可辨识性的图像。可根据上述引导图和原始分辨率特征图，采用双边滤波算法，生成原始图像的增强图像。也可通过多种神经网络模型生成增强图像。上述神经网络模型可包括：深度卷积神经网络模型、递归神经网络等。

本申请实施例的方法，可根据原始图像特征，自适应地生成增强后的图像。因此，本申请实施例的方法可以解决现有的通过交互式专业图像处理软件进行图像处理时，耗费人力成本较多，且操作人员需具备专业知识的问题。

参见图3，图3是本申请实施例提供的一种图像处理方法的流程示意图，在本申请实施例中，所述方法包括：

s301、对所述原始图像进行下采样操作，生成低分辨率图像。

可采用最近邻插值，双线性插值，均值插值，中值插值等方法，对原始图像进行下采样。下采样的比例可根据实际需求和原始图像的分辨率确定。如，可基于原始图像中的四个相邻像素中提取出一个像素，也可基于原始图像中的九个相邻像素中提取出一个像素。

s302、提取所述低分辨率图像的至少一个特征。

上述特征可包括：低级特征、局部特征和全局特征等。在低分辨率图像中提取出一系列特征，并可通过颜色直方图、颜色自相关图、边缘方向直方图、小波纹理特征等方式保存上述特征。

s303、基于所述至少一个特征，生成至少一个特征图。

可根据实际需求，以多个特征中的任意数目个特征，生成特征图。如可根据任意一个特征、任意两个特征组合、任意数目个特征组合生成一系列的特征图。

s304、基于所述至少一个特征图，生成所述引导图。

可将上述至少一个特征图作为输入，采用神经网络模型，生成上述引导图。

s305、获取所述原始图像的原始分辨率特征图。

s306、根据所述引导图和所述原始分辨率特征图，采用双边滤波算法的深度卷积神经网络模型，生成所述增强图像。

本申请实施例的方法，采用双边滤波算法的深度卷积神经网络处理低光照图像，可解决传统算法用时时间长且不具备自适应性的问题。此外，调整神经网络学习出的中间结果为引导图,进而再通过原始分辨率特征图和引导图，得到增强后的图片。本申请实施例的方法可以减少模型的复杂度和防止增强后图片人为痕迹比较明显。

为使本申请的技术方案更加便于理解，先通过一个具体实施例说明本申请的技术方案。现有的神经网络都是从训练数据，学习原始图像到清晰图像之间的回归映射。本申请实施例的算法则是希望通过神经网络学习出中间结果图像的光照图,进而再通过输入图像和光照图的关系，得到增强后的图片。本申请实施例提出一种结合双边滤波算法的深度卷积神经网络处理低光照图像，解决传统算法用时时间长且不具备自适应行的特性。参见图4，图4是本申请实施例提供的一种图像处理方法的流程示意图。如图4所示，本申请实施例的方法可以概括如下：

首先，利用神经网络提取出一系列特征，包括低级特征、局部特征和全局特征将所有特征综合起来，得到一系列特征图。从这些特征图，进一步得到每一张特征图对应的局部线性变换，并利用结合双边滤波算法的神经网络模型(bilateralgrid)存下这些线性变换的系数。

在下面模块中，得到一张引导图，参照这个引导图，在双边滤波的神经网络模型中做切片(sliceing)操作，得到引导图和原始分辨图的每个像素点的变换系数。最后应用这些系数，就得到变换后的输出图像。

上述图2～图4详细阐述了本申请实施例的图像处理方法。请参见图5，图5是本申请实施例提供的一种图像处理装置的结构示意图，如图5所示，所述图像处理装置包括：

第一获取单元501，用于获取原始图像的引导图，所述引导图用于表征所述原始图像在低分辨率下的特征；

第二获取单元502，用于获取所述原始图像的原始分辨率特征图；

生成单元503，用于根据所述引导图和所述原始分辨率特征图，生成所述原始图像的增强图像。

可选地，所述第一获取单元501具体用于：

对所述原始图像进行下采样操作，生成低分辨率图像；

提取所述低分辨率图像的至少一个特征；

基于所述至少一个特征，生成至少一个特征图；

基于所述至少一个特征图，生成所述引导图。

可选地，所述特征包括局部特征和/或全局特征。

可选地，生成单元503具体用于：

根据所述引导图和所述原始分辨率特征图，采用双边滤波算法的深度卷积神经网络模型，生成所述增强图像。

可选地，第二获取单元502具体用于：

计算所述原始图像中每个像素点的灰度值；

基于所述灰度值，生成所述原始分辨率特征图。

可选地，第二获取单元502具体用于：

基于所述原始图像，利用神经网络模型，生成所述原始分辨率特征图。

本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是fpga(field－programmablegatearray，现场可编程门阵列)、ic(integratedcircuit，集成电路)等。

本申请实施例的各处理单元和/或模块，可通过实现本申请实施例所述的功能的模拟电路而实现，也可以通过执行本申请实施例所述的功能的软件而实现。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述图像处理方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器ic)，或适合于存储指令和/或数据的任何类型的媒介或设备。

参见图6，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施上述实施例中图像处理方法。具体来讲：

存储器620可用于存储软件程序以及模块，处理器690通过运行存储在存储器620的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器620还可以包括存储器控制器，以提供处理器690和输入单元630对存储器620的访问。

输入单元630可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元630可包括触敏表面631(例如：触摸屏、触摸板或触摸框)。触敏表面631，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面631上或在触敏表面631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器690，并能接收处理器690发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面631。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元640可包括显示面板641，可选的，可以采用lcd(liquidcrystaldisplay，液晶显示器)、oled(organiclight-emittingdiode,有机发光二极管)等形式来配置显示面板641。进一步的，触敏表面631可覆盖显示面板641，当触敏表面631检测到在其上或附近的触摸操作后，传送给处理器690以确定触摸事件的类型，随后处理器690根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触敏表面631与显示面板641是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面631与显示面板641集成而实现输入和输出功能。

处理器690是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器690可包括一个或多个处理核心；其中，处理器690可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器690中。

具体在本实施例中，终端设备的显示单元是触摸屏显示器，终端设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含实现上述图像处理方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上介绍仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。