图像处理方法、装置和电子系统与流程

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置和电子系统。

背景技术：

在夜晚等光照不充足的场景下，摄像装置拍摄的图像普遍偏暗，图像质量较差。为了提高图像的质量，可以对同一场景获取多个不同曝光度的图像，将不同曝光度的图像进行融合；在融合过程中，亮度较低的区域采用曝光度较高的图像进行处理，亮度较高的区域采用曝光度较低的图像进行处理，从而输出高动态范围的图像。但是该方式具有如下缺陷：由于图像的曝光度不同，使得图像的亮度不一致，再加上摄像装置在拍摄过程中存在装置抖动和场景运动的因素，使得图像的配准效果较差，导致最终融合的图像容易出现鬼影。

技术实现要素：

有鉴于此，本发明的目的在于提供一种图像处理方法、装置和电子系统，以提高图像的配准效果，避免产生鬼影，进而提高图像整体的效果。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：获取目标场景对应的多张待处理图像；其中，多张待处理图像的曝光度低于预设的曝光度阈值，且多张待处理图像的曝光度相同；对多张待处理图像进行图像配准处理；对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

进一步的，对多张待处理图像进行图像配准处理的步骤，包括：从多张待处理图像中确定参考图像；以参考图像为基准，对多张待处理图像中，除参考图像以外的图像进行图像配准处理。

进一步的，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果的步骤之前，方法还包括：获取目标场景对应的指定曝光度的标准图像；对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果的步骤，包括：根据标准图像，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

进一步的，指定曝光度为ev0；多张待处理图像的曝光度小于指定曝光度。

进一步的，根据标准图像，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果的步骤，包括：基于多张待处理图像中的参考图像，对标准图像进行图像配准处理，得到配准后的标准图像；对配准后的标准图像进行过度曝光检测，得到第一检测结果；根据配准后的标准图像和第一检测结果，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

进一步的，基于多张待处理图像中的参考图像，对标准图像进行图像配准处理，得到配准后的标准图像的步骤，包括：根据多张待处理图像中的参考图像的亮度参数，调整标准图像的亮度，得到中间图像；将中间图像和多张待处理图像中的参考图像进行配准处理，得到配准偏移量；基于配准偏移量，对标准图像进行图像配准处理，得到配准后的标准图像。

进一步的，根据配准后的标准图像和第一检测结果，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果的步骤，包括：针对每个像素位置，对图像配准后的多张待处理图像中该像素位置上的像素值进行叠加，得到初始结果；对初始结果进行过度曝光检测，得到第二检测结果；根据配准后的标准图像、第一检测结果、第二检测结果、以及初始结果，确定图像处理结果。

进一步的，针对每个像素位置，对图像配准后的多张待处理图像中该像素位置上的像素值进行叠加，得到初始结果的步骤之前，方法还包括：对多张待处理图像中，除参考图像以外的每张图像，分别作为当前图像，执行下述操作：针对每个像素位置，判断当前图像的该像素位置的像素值，与参考图像的该像素位置的像素值之差的绝对值，是否大于预设的像素值阈值；如果大于像素值阈值，调整当前图像的该像素位置的像素值，以使绝对值小于或等于像素值阈值。

进一步的，根据配准后的标准图像、第一检测结果、第二检测结果、以及初始结果，确定图像处理结果的步骤，包括：针对初始结果中每个像素位置，执行下述操作，得到每个像素位置上的最终像素值，将每个像素位置上的最终像素值确定为图像处理结果：如果第一检测结果和第二检测结果均指示该像素位置过度曝光，根据预设值和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值；如果第一检测结果指示该像素位置没有过度曝光，且第二检测结果指示该像素位置过度曝光，根据配准后的标准图像和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值；如果第二检测结果指示该像素位置没有过度曝光，将初始结果中该像素位置上的像素值确定为该像素位置上的最终像素值。

进一步的，如果第一检测结果和第二检测结果均指示该像素位置过度曝光，根据预设值和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值的步骤，包括：如果第一检测结果和第二检测结果均指示该像素位置过度曝光，循环执行下述操作，直至达到第一预设操作次数，根据每次操作得到的操作结果，确定该像素位置上的最终像素值：根据预设值和参考图像中该像素位置上的像素值，确定第一待叠加图像数量；从图像配准后的多张待处理图像中，确定第一待叠加图像数量的待处理图像；对确定出的待处理图像中，该像素位置上的像素值进行叠加，得到操作结果。

进一步的，如果第一检测结果指示该像素位置没有过度曝光，且第二检测结果指示该像素位置过度曝光，根据配准后的标准图像和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值的步骤，包括：如果第一检测结果指示该像素位置没有过度曝光，且第二检测结果指示该像素位置过度曝光，循环执行下述操作，直至达到第二预设操作次数，根据每次操作得到的操作结果，确定该像素位置上的最终像素值：根据配准后的标准图像和参考图像中该像素位置上的像素值，确定第二待叠加图像数量；从图像配准后的多张待处理图像中，确定第二待叠加图像数量的待处理图像；对确定出的待处理图像中，该像素位置上的像素值进行叠加，得到操作结果。

第二方面，本发明实施例提供了一种图像处理装置，该装置包括：获取模块，用于获取目标场景对应的多张待处理图像；其中，多张待处理图像的曝光度低于预设的曝光度阈值，且多张待处理图像的曝光度相同；配准模块，用于对多张待处理图像进行图像配准处理；融合模块，用于对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

第三方面，本发明实施例提供了一种电子系统，该电子系统包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如第一方面任一项的图像处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如第一方面任一项的图像处理方法的步骤。

本发明实施例带来了以下有益效果：

本发明提供了一种图像处理方法、装置和电子系统，获取目标场景对应的曝光度低于预设的曝光度阈值，且曝光度相同的多张待处理图像；对多张待处理图像进行图像配准处理；对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。该方式中，在夜晚等光照不充足的场景下，拍摄曝光度低于预设的曝光度阈值，且曝光度相同的多张待处理图像，利用图像配准以及图像融合的方式，处理多张待处理图像，该方式能够使多张待处理图像的图像亮度保持一致，有利于提高图像的配准效果，避免融合的图像产生鬼影，进而提高了图像整体的效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子系统的结构示意图；

图2为本发明实施例提供的一种图像处理方法的流程图；

图3为本发明实施例提供的另一种图像处理方法的流程图；

图4为本发明实施例提供的另一种图像处理方法的流程图；

图5为本发明实施例提供的另一种图像处理方法的流程图；

图6为本发明实施例提供的一种确定图像处理结果的方法流程图；

图7为本发明实施例提供的一种具体的图像处理方法的流程图；

图8为本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前超级夜景模式是摄像装置的一个重要功能，其主要功能是，可以在夜晚等光照不充足的场景下，得到纯净及高动态范围的图像。为了提高图像的质量，提升用户体验，通常利用超级夜景算法；目前常见的超级夜景算法，通常是利用多种不同曝光度的图像进行融合，即对同一目标场景拍摄不同曝光度的图像，将不同曝光的图像进行融合，融合的思想基本是亮度较低的区域采用曝光度较高的图像进行处理，亮度较高的区域采用曝光度较低的图像进行处理，从而输出高动态范围的图像。另外，为了得到更纯净的夜景图像，超级夜景算法通常会先对输入图像做一定时域或空域的去噪处理后再做融合。

但是上述方式具有如下缺陷：由于图像的曝光度不同，使得配准过程难度较大，导致图像的亮度不一致，且图像中的噪声水平不一致；在实际拍摄时拍摄装置存在抖动和场景运动的因素，使得图像的配准效果较差，导致最终融合的图像容易出现鬼影；另外，基于不同曝光度图像的产生机理，输入图像的噪声水平不一致，在融合之后会出现某些地方噪声大而某些地方噪声小的问题，还会使融合结果不自然；比如夜晚的路灯，在长曝光图像中会产生光晕，而短曝光图像中没有，这样会使得融合结果不自然；而且长曝光图像很容易由于摄像装置抖动等原因变得模糊，这样融合结果也会不自然。

基于此，本发明实施例提供的一种图像处理方法、装置和电子系统，该技术可以应用于计算机、智能手机、摄像机、平板电脑等具有摄像功能的设备中，该技术可以采用相关软件和硬件实现，下面通过实施例进行描述。为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像处理方法、装置和电子系统的示例电子系统100。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108，另外可以包括一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。

处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行期望的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以采集预览视频帧或图片数据(如待处理图像或目标视频帧)，并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法、装置和电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端、摄像机等智能终端。

实施例二：

本实施例提供了一种图像处理方法，如图2所示，该方法包括如下步骤：

步骤s202，获取目标场景对应的多张待处理图像；其中，多张待处理图像的曝光度低于预设的曝光度阈值，且多张待处理图像的曝光度相同；

其中，上述目标场景可以是光照不充足的场景，比如，夜晚有路灯的马路等；上述待处理图像可以是手机的前置摄像头拍摄，也可以是手机的后置摄像头拍摄，还可以是其他摄像装置拍摄等；其中，多张待处理图像可以是由同一台摄像装置快速连续拍摄得到的多张相同曝光度的图像；上述曝光度可以包括拍摄待处理图像的曝光值(exposurevalue，ev)，比如，曝光时间、摄像装置的光圈等；上述预设的曝光度阈值通常根据实际的目标场景设置，比如，曝光值为0即ev0，也可以为-2即ev-2；通常曝光值越低，对应的待处理图像亮度越暗；ev0对应的待处理图像的亮度最亮，ev-2和ev-4对应的待处理图像都比ev0对应的待处理图像的亮度要暗。

步骤s204，对多张待处理图像进行图像配准处理；

多张待处理图像为同一个摄像装置拍摄，在拍摄过程中，可能会由于拍摄过程中摄像装置的抖动等原因，使不同的待处理图像中像素位置之间存在差异，为了消除多张待处理图像中像素之间的位置差异，可以对多张待处理图像进行图像配准处理。另外，可以对多张待处理图像中的所有图像进行图像配准处理，也可以对多张待处理图像中的部分图像进行图像配准处理。

上述图像配准处理，通常是指将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程；另外，上述图像配准处理的过程，可以包括各种配准方法，比如，光流法，meshflow(网格构造序列的交互式可视化)，patch-based(基于块匹配)等方法；本实施例中，具体的可以对从多张待处理图像中选择一张待处理图像作为参考图像，将其他的待处理图像与该参考图像进行配准，其中每个待处理图像中像素的坐标系统可以是任意的；还可以预先定义一个控制网格，所有待处理图像相对于该控制网格进行配准，也就是分别完成各待处理图像的几何校正，以实现每个待处理图像中元素坐标系的统一，完成图像配准处理。

步骤s206，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

上述图像融合通常是指将关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各个图像中的有利信息，最后综合成高质量的图像，以提高图像质量。具体的，由于多张待处理图像的曝光度低于预设的曝光度阈值，可以根据预设的曝光度阈值对应的图像，以及该图像像素信息，指导多张待处理图像，通过像素值的调整、叠加、融合、求均值、求差值等方式，得到图像处理结果，该图像处理结果可以为一张纯净的高动态范围图像。

本发明实施例提供了一种图像处理方法，获取目标场景对应的曝光度低于预设的曝光度阈值，且曝光度相同的多张待处理图像；对多张待处理图像进行图像配准处理；对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。该方式中，在夜晚等光照不充足的场景下，拍摄曝光度低于预设的曝光度阈值，且曝光度相同的多张待处理图像，利用图像配准以及图像融合的方式，处理多张待处理图像，该方式能够使多张待处理图像的图像亮度保持一致，有利于提高图像的配准效果，避免融合的图像产生鬼影，进而提高了图像整体的效果。

实施例三：

本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现。本实施例重点描述对多张待处理图像进行图像配准处理的步骤的具体实现过程(通过步骤s304-s306实现)，以及对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果的步骤的实现过程(通过步骤s308-s310实现)，如图3所示，该方法包括如下步骤：

步骤s302，获取目标场景对应的多张待处理图像；其中，多张待处理图像的曝光度低于预设的曝光度阈值，且多张待处理图像的曝光度相同；

步骤s304，从多张待处理图像中确定参考图像；

具体的，可以从多张待处理中随机选择一张待处理图像作为参考图像；也可以提取每个待处理图像的边缘信息，确定待处理图像的边缘信息最清晰且细节信息最多的一张待处理图像作为参考图像。

步骤s306，以参考图像为基准，对多张待处理图像中，除参考图像以外的图像进行图像配准处理；

具体的，可以利用相对配准的方式，以上述参考图像为基准，对多张待处理图像中，除参考图像以外的图像分别与该参考图像进行配准；该配准方法可以将参考图像分别与除参考图像以外的图像，进行模板匹配和模式识别，计算参考图像与待处理图像的互相关值，根据该互相关值，配准待处理图像；还可以根据序贯相似度检测匹配法，计算某个像素点中，参考图像与除参考图像以外的图像的残差和，根据该残差和，配准待处理图像；还可以根据变换域的方法，通过图像的平移、旋转、仿射等变换，配准待处理图像；最终使得待处理图像中的物体的坐标与参考图像中相同物体的坐标相同；另外，上述进行图像配准后的多张待处理图像也可以包括参考图像。

步骤s308，获取目标场景对应的指定曝光度的标准图像；

上述指定曝光度可以根据实际的目标场景设定，可以是ev-2、ev0、ev2等曝光值；上述标准图像与前述多张待处理图像的拍摄装置相同，都是由一台拍摄装置拍摄的图像；其中，拍摄方式可以是由一台拍摄装置快速连续进行拍摄的。

优选的，上述指定曝光度为ev0；多张待处理图像的曝光度小于指定曝光度；

通常曝光度小于ev0的待处理图像相比曝光度为ev0的指定图像，亮度较暗；上述多张待处理图像的曝光度可以为ev-2、ev-4或其他ev等级。

步骤s310，根据标准图像，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

由于标准图像相较于其他多张待处理图像亮度较亮，且图像质量较好，因此可以以标准图像为基准，对图像配准后的多张待处理图像进行图像融合处理；具体的，可以根据标准图像中各个像素的像素值，以及像素信息，通过对比图像配准后的待处理图像中相应位置像素的像素值，调整图像配准后的多张待处理图像中像素的像素值，以修正图像配准后的待处理图像中像素的像素值，最后通过叠加、求均值等方式，得到图像处理结果；还可以先将图像配准后的多张待处理图像通过叠加、匹配等方式，进行融合，得到一张初始图像处理结果，通过对比标准图像中各个像素的像素值，以及像素信息，调整初始图像处理结果中像素的像素值，最后得到图像处理结果；还可以通过预设的阈值，通过阈值判断的方式，针对初始图像处理结果中每个像素的像素值，判断该像素的像素值是否大于阈值；根据该判断结果，利用标准图像中像素的像素值，调整初始图像处理结果中该像素的像素值，最后得到图像处理结果。其中，预设的阈值可以根据实际的目标场景进行设置。

该方式中，以参考图像为基准，对多张待处理图像中，除参考图像以外的图像进行图像配准处理；获取目标场景对应的指定曝光度的标准图像；且多张待处理图像的曝光度小于指定曝光度；根据标准图像，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果；该实现方式，在夜晚等光照不充足的场景下，利用指定曝光度为ev0的标准图像，指导图像配准后的多张待处理图像融合处理，生成高动态夜景图像，避免了高光过曝的问题；利用相同曝光度的图像进行图像融合，能够使多张待处理图像的图像亮度保持一致，有利于提高图像的配准效果，避免融合的图像产生鬼影，进而提高了图像整体的效果。

实施例四：

本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现。本实施例重点描述根据标准图像，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果的步骤的具体实现过程(通过步骤s410-s414实现)，如图4所示，该方法包括如下步骤：

步骤s402，获取目标场景对应的多张待处理图像；其中，多张待处理图像的曝光度低于预设的曝光度阈值，且多张待处理图像的曝光度相同；

步骤s404，从多张待处理图像中确定参考图像；

步骤s406，以参考图像为基准，对多张待处理图像中，除参考图像以外的图像进行图像配准处理；

步骤s408，获取目标场景对应的指定曝光度的标准图像；

步骤s410，基于多张待处理图像中的参考图像，对标准图像进行图像配准处理，得到配准后的标准图像；

具体的，以参考图像为基准，可以根据互相关法、序贯相似度检测匹配法、变换域方法、光流法、meshflow、patch-based等方法，对标准图像进行图像配准处理，得到配准后的标准图像；最后使得标准图像中的物体的坐标与参考图像中相同物体的坐标相同。

针对上述步骤s410，基于多张待处理图像中的参考图像，对标准图像进行图像配准处理，得到配准后的标准图像的步骤，包括：

步骤a1，根据多张待处理图像中的参考图像的亮度参数，调整标准图像的亮度，得到中间图像；

步骤a2，将中间图像和多张待处理图像中的参考图像进行配准处理，得到配准偏移量；基于配准偏移量，对标准图像进行图像配准处理，得到配准后的标准图像。

具体的，可以根据直方图匹配的方法，将标准图像或该标准图像中某一区域的直方图匹配到参考图像上，通过调整标准图像的亮度使参考图像和中间图像的亮度保持一致；其中，参考图像与中间图像匹配前，通常要使其直方图形式一致。将调整亮度后的标准图像，即中间图像，和多张待处理图像中的参考图像进行图像配准，得到中间图像的配准偏移量；根据得到的中间图像的配准偏移量，调整标准图像的像素坐标，得到配准后的标准图像。

需要说明的是，利用直方图匹配的调整标准图像，可以将标准图像和待处理图像的参考图像的像素亮度保持在一个水平上，以提高配准的准确性。另外，配准后的标准图像，亮度并没有改变，只是空间坐标进行了调整。

步骤s412，对配准后的标准图像进行过度曝光检测，得到第一检测结果；

其中，过度曝光检测可以包括阈值判断法或形态学滤波等方法；上述第一检测结果包括配准后的标准图像对应的掩膜图像，该掩膜图像中过度曝光区域的像素的像素值为1，非过度曝光区域的像素的像素值为0；比如，通过阈值判断法，针对标准图像中每个像素的像素值，如果该像素的像素值大于预设阈值，则该像素为过度曝光的像素，确定该像素的像素值为1，如果该像素的像素值小于等于预设阈值，则该像素为非过度曝光的像素，确定该像素的像素值为0；最终得到的第一检测结果可以为该配准图像对应的掩膜图像，该掩膜图像可以表示为mask1。

步骤s414，根据配准后的标准图像和第一检测结果，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

具体的，可以根据第一检测结果中像素的像素值，判断该位置点的像素是否过度曝光，根据该判断结果，利用配准后的标准图像中该像素位置的像素值，调整图像配准后的多张待处理图像中该像素的像素值，以修正图像配准后的待处理图像中像素的像素值，最后通过叠加、求均值等方式，得到图像处理结果；还可以先将图像配准后的多张待处理图像通过叠加、匹配等方式，进行融合，得到一张初始图像处理结果，通过第一检测结果中像素的像素值，判断该像素点是否过度曝光，根据该判断结果，利用配准后的标准图像中相应位置像素的像素值，以及部分多张待处理图像中该像素的像素值，调整初始图像处理结果中该像素的像素值，最后得到图像处理结果；还可以通过预设的阈值，通过阈值判断的方式，针对初始图像处理结果中每个像素的像素值，判断该像素的像素值是否大于阈值，同时通过第一检测结果中像素的像素值，判断该像素点是否过度曝光，根据该判断结果，利用标准图像中像素的像素值，调整初始图像处理结果中该像素的像素值，最后得到图像处理结果。

该方式中，根据参考图像，对标准图像进行图像配准处理，同时调整配准后的标准图像的亮度，得到调整后的标准图像；对调整后的标准图像进行过度曝光检测，得到第一检测结果；根据配准后的标准图像和第一检测结果，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。该实现方式，在夜晚等光照不充足的场景下，利用指定曝光度为ev0的调整后的标准图像，以及第一检测结果，指导图像配准后的多张待处理图像融合处理，生成高动态夜景图像，避免了高光过曝的问题；利用相同曝光度的图像进行图像融合，能够降低图像配准的难度，使多张待处理图像的图像亮度保持一致，有利于提高图像的配准效果，避免融合的图像产生鬼影，进而提高了图像整体的效果。

实施例五：

本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现。本实施例重点描述根据配准后的标准图像和第一检测结果，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果的步骤的具体实现过程(通过步骤s514-s520实现)，如图5所示，该方法包括如下步骤：

步骤s502，获取目标场景对应的多张待处理图像；其中，多张待处理图像的曝光度低于预设的曝光度阈值，且多张待处理图像的曝光度相同；

步骤s504，从多张待处理图像中确定参考图像；

步骤s506，以参考图像为基准，对多张待处理图像中，除参考图像以外的图像进行图像配准处理；

步骤s508，获取目标场景对应的指定曝光度的标准图像；

步骤s510，基于多张待处理图像中的参考图像，对标准图像进行图像配准处理，得到配准后的标准图像；

步骤s512，对配准后的标准图像进行过度曝光检测，得到第一检测结果；

步骤s514，对多张待处理图像中，除参考图像以外的每张图像，分别作为当前图像，执行下述操作：针对每个像素位置，判断当前图像的该像素位置的像素值，与参考图像的该像素位置的像素值之差的绝对值，是否大于预设的像素值阈值；如果大于像素值阈值，调整当前图像的该像素位置的像素值，以使绝对值小于或等于像素值阈值；

对于目标场景对应的多张待处理图像，如果目标场景中有移动的物体，比如，行走的人，移动的汽车等，则直接对配准后的多张待处理图像进行叠加，可能叠加后的图像中会出现鬼影，为了避免产生鬼影，可以对配准后的多张待处理图像进行运动检测。上述当前图像为配准后的待处理图像；上述预设的像素值阈值可以根据实际的目标场景进行设置，比如，如果目标场景中为正在正常行走的人，可以根据人物的行走速度设置该阈值；再如，如果目标场景中为正在高速行驶的汽车，可以根据汽车的速度设置该阈值，通常物体移动的速度越大，其阈值越大，反之越小。

具体的，针对每个像素的像素位置，判断当前配准后的待处理图像的该像素位置的像素值，与参考图像的该像素位置的像素值之差的绝对值，是否大于预设的像素值阈值；如果大于像素值阈值，则可以对当前图像的该像素位置的像素值进行修正，比如，将参考图像的该像素位置的像素值加上或减去一个随机值，该随机值属于预设的像素值阈值范围内，最终以使绝对值小于或等于像素值阈值。

步骤s516，针对每个像素位置，对图像配准后的多张待处理图像中该像素位置上的像素值进行叠加，得到初始结果；

由于对多张待处理图像经过前述的图像配准处理，运动检测等处理，处理后的每张待处理图像中每个像素的位置可以相互对应；针对每个像素位置，对图像配准后的多张待处理图像中该像素位置上的像素值直接进行相加，得到初始结果；由于多张待处理图像的曝光度小于指定曝光度，因此进行相加处理后得到的初始结果的图像亮度会较亮。

步骤s518，对初始结果进行过度曝光检测，得到第二检测结果；

其中，过度曝光检测可以包括阈值判断法或形态学滤波等方法；上述第二检测结果包括初始结对应的掩膜图像，该掩膜图像中过度曝光区域的像素的像素值为1，非过度曝光区域的像素的像素值为0；比如，通过阈值判断法，针对初始结果中每个像素的像素值，如果该像素的像素值大于预设阈值，则该像素为过度曝光的像素，确定该像素的像素值为1，如果该像素的像素值小于等于预设阈值，则该像素为非过度曝光的像素，确定该像素的像素值为0；最终得到的第二检测结果可以为该初始结果对应的掩膜图像，该掩膜图像可以表示为mask2。

步骤s520，根据配准后的标准图像、第一检测结果、第二检测结果、以及初始结果，确定图像处理结果。

具体的，可以根据第一检测结果和第二检测结果中像素的像素值，分别判断该位置点的像素是否过度曝光，根据该判断结果，利用配准后的标准图像中该像素位置的像素值，调整初始结果中该像素的像素值，以修正初始结果中过度曝光的像素的像素值，得到图像处理结果中该像素的像素值；或者，根据该判断结果，直接将初始图像中该像素的像素值，确定为图像处理结果中该像素的像素值；最终得到图像处理结果。

针对上述步骤s520，参考图6为所述的一种确定图像处理结果的方法流程图，根据配准后的标准图像、第一检测结果、第二检测结果、以及初始结果，确定图像处理结果的步骤，包括：

针对初始结果中每个像素位置，执行下述操作，得到每个像素位置上的最终像素值，将每个像素位置上的最终像素值确定为图像处理结果：

步骤s602，如果第一检测结果和第二检测结果均指示该像素位置过度曝光，根据预设值和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值；

上述预设值可以根据实际的目标场景进行设置，比如，可以设置为128等；具体的，可以根据第一检测结果和第二检测结果中每个像素的像素值，确定该像素位置是否过度曝光，比如，像素值等于1指示该像素位置过度曝光；此时，可以根据预设值和参考图像中该像素位置上的像素值，确定参与该像素位置上的最终像素值计算的待处理图像的数量；可以从多张待处理图像中随机或指定的方式选择该数量的中间图像，根据该中间图像中该像素的多个像素值，确定该像素位置上的最终像素值。

一种优选的实施方式：

如果第一检测结果和第二检测结果均指示该像素位置过度曝光，循环执行下述操作，直至达到第一预设操作次数，根据每次操作得到的操作结果，确定该像素位置上的最终像素值：

例如，可以将多次操作得到的操作结果的平均值作为该像素位置上的最终像素值，其中，每次操作包括如下子步骤：根据预设值和参考图像中该像素位置上的像素值，确定第一待叠加图像数量；从图像配准后的多张待处理图像中，确定第一待叠加图像数量的待处理图像；对确定出的待处理图像中，该像素位置上的像素值进行叠加，得到操作结果。

上述第一预设操作次数可以设置为三次，也可以设置为四次等；本实施例中，以第一预设操作次数为三次为例进行说明，上述预设值可以表示为value，上述第一待叠加图像数量可以表示为nnew1，上述参考图像中该像素位置上的像素值可以表示为x；实际实现时，第一待叠加图像数量具体计算可以为nnew1＝round(value/x)；其中，round()函数为返回一个数值，该数值是按照指定的小数位数进行四舍五入运算的结果；然后随机在图像配准后的多张待处理图像中选择nnew1张待处理图像，其中，该nnew1张待处理图像中包含有参考图像；将该nnew1张待处理图像中该像素的像素值进行相加，得到第一操作结果；利用同样的方式，计算得到第二操作结果以及第三操作结果；计算第一操作结果、第二操作结果以及第三操作结果的平均值，将该平均值确定为该像素位置上的最终像素值。

步骤s604，如果第一检测结果指示该像素位置没有过度曝光，且第二检测结果指示该像素位置过度曝光，根据配准后的标准图像和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值；

具体的，可以根据第一检测结果和第二检测结果中每个像素的像素值，确定该像素位置是否过度曝光，比如，像素值等于1指示该像素位置过度曝光，像素值等于0指示该像素位置没有过度曝光；此时，可以根据配准后的标准图像和参考图像中该像素位置上的像素值，确定参与该像素位置上的最终像素值计算的待处理图像的数量；可以从多张待处理图像中随机或指定的方式选择该数量的中间图像，根据该中间图像中该像素的多个像素值，确定该像素位置上的最终像素值。

一种优选的实施方式：

如果第一检测结果指示该像素位置没有过度曝光，且第二检测结果指示该像素位置过度曝光，循环执行下述操作，直至达到第二预设操作次数，根据每次操作得到的操作结果，确定该像素位置上的最终像素值：

例如，可以将多次操作得到的操作结果的平均值作为该像素位置上的最终像素值，其中，每次操作包括如下子步骤：根据配准后的标准图像和参考图像中该像素位置上的像素值，确定第二待叠加图像数量；从图像配准后的多张待处理图像中，确定第二待叠加图像数量的待处理图像；对确定出的待处理图像中，该像素位置上的像素值进行叠加，得到操作结果。

上述第二预设次数可以设置为三次，也可以设置为四次等；本实施例中，以第二预设操作次数为三次为例进行说明，上述配准后的标准图像中该像素位置上的像素值可以表示为invalue，上述第二待叠加图像数量可以表示为nnew2，上述参考图像中该像素位置上的像素值可以表示为y；实际实现时，第二待叠加图像数量具体计算可以为nnew2＝round(invalue/y)；其中，round()函数为返回一个数值，该数值是按照指定的小数位数进行四舍五入运算的结果；然后随机在图像配准后的多张待处理图像中选择nnew2张待处理图像，其中，该nnew2张待处理图像中包含有参考图像；将该nnew2张待处理图像中该像素的像素值进行相加，得到第一操作结果；利用同样的方式，计算得到第二操作结果以及第三操作结果；计算第一操作结果、第二操作结果以及第三操作结果的平均值，将该平均值确定为该像素位置上的最终像素值。

步骤s606，如果第二检测结果指示该像素位置没有过度曝光，将初始结果中该像素位置上的像素值确定为该像素位置上的最终像素值。

如果第二检测结果中该像素的像素值为0，则指示该像素位置没有过度曝光；此时，无论第一检测结果中该像素位置是否过度曝光，都直接将初始结果中该像素位置上的像素值，确定为该像素位置上的最终像素值。

该方式中，在夜晚等光照不充足的场景下，利用指定曝光度为ev0的调整后的标准图像、第一检测结果、第二检测结果、以及初始结果，指导初始结果在过曝区域做特殊处理，通过直接叠加的方式，生成高动态夜景图像，避免了高光过曝的问题；另外，通过运动检测等方式，根据参考图像的相似度来检测当前图像的噪声，即当前图像的该像素位置的像素值与参考图像的该像素位置的像素值之差的绝对值，同时根据参考图像加随机噪声来修正该区域，对相同曝光度的待处理图像之间运动区域进行检测和修正，从而使结果图中减少了鬼影的出现；还有，初始结果中高度曝光区域的噪声抑制处理，根据多张配准后的待处理图像以及参考图像，通过叠加以及时域的均值滤波等操作来降低噪声强度；该方式能够使多张待处理图像的图像亮度保持一致，有利于提高图像的配准效果，避免融合的图像产生鬼影，进而提高了图像整体的效果。

一种具体的实施方式，参考图7所示的一种具体的图像处理方法的流程图，图中的n张相同低曝光图像序列对应前述的多张待处理图像；1张ev0图像对应前述的标准图像；参考帧对应前述的参考图像；mask1对应前述的第一检测结果；mask2对应前述的第二检测结果；threshlod对应前述的预设的像素值阈值；output1对应前述的初始结果；output对应前述的图像处理结果。

具体的，通过同一个摄像装置连续拍摄n张相同低曝光图像序列和1张ev0图像；随机在n张低曝光图像中选择一张参考帧，或者选择n张低曝光图像中边缘信息细节最多的一帧，为参考帧；以参考帧为基准，对除参考帧以外的n-1张低曝光图像进行配准，以使n-1张低曝光图像中相同物品的像素位置坐标相同；基于参考帧，对ev0图像进行直方图以及图像配准，得到配准后ev0图像，然后对配准后ev0图像进行过渡曝光检测，得到mask1，通过mask1和ev0指导低曝光图像序列进行叠加融合得到一张纯净的高动态范围的图像；具体的，对参考帧中的每个像素x，判断配准后的n-1张低曝光图像该像素位置的像素值yi与x的差的绝对值，如果该绝对值大于阈值threshlod，则对yi进行修正，避免叠加融合时出现鬼影；对配准即修正后的低曝光图像序列直接进行叠加，得到图像output1，对output1进行过度曝光检测，得到mask2；根据mask1、mask2、配准后ev0图像、对output1进行修正，得到最终输出图像output。

本发明实施例提供的图像处理方法，与上述实施例提供的图像处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例六

对应于上述方法实施例，参见图8所示的一种图像处理装置的结构示意图，该装置包括：

获取模块81，用于获取目标场景对应的多张待处理图像；其中，多张待处理图像的曝光度低于预设的曝光度阈值，且多张待处理图像的曝光度相同；

配准模块82，用于对多张待处理图像进行图像配准处理；

融合模块83，用于对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

本发明提供了一种图像处理装置，获取目标场景对应的曝光度低于预设的曝光度阈值，且曝光度相同的多张待处理图像；对多张待处理图像进行图像配准处理；对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。该方式中，在夜晚等光照不充足的场景下，拍摄曝光度低于预设的曝光度阈值，且曝光度相同的多张待处理图像，利用图像配准以及图像融合的方式，处理多张待处理图像，该方式能够使多张待处理图像的图像亮度保持一致，有利于提高图像的配准效果，避免融合的图像产生鬼影，进而提高了图像整体的效果。

进一步的，上述配准模块还用于：从多张待处理图像中确定参考图像；以参考图像为基准，对多张待处理图像中，除参考图像以外的图像进行图像配准处理。

进一步的，上述装置还用于：获取目标场景对应的指定曝光度的标准图像；上述融合模块还用于：根据标准图像，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

进一步的，上述指定曝光度为ev0；多张待处理图像的曝光度小于指定曝光度。

进一步的，上述融合模块还用于：基于多张待处理图像中的参考图像，对标准图像进行图像配准处理，得到配准后的标准图像；对配准后的标准图像进行过度曝光检测，得到第一检测结果；根据配准后的标准图像和第一检测结果，对图像配准后的多张待处理图像进行图像融合处理，得到图像处理结果。

进一步的，上述融合模块还用于：根据多张待处理图像中的参考图像的亮度参数，调整标准图像的亮度，得到中间图像；将中间图像和多张待处理图像中的参考图像进行配准处理，得到配准偏移量；基于配准偏移量，对标准图像进行图像配准处理，得到配准后的标准图像。

进一步的，上述融合模块还用于：针对每个像素位置，对图像配准后的多张待处理图像中该像素位置上的像素值进行叠加，得到初始结果；对初始结果进行过度曝光检测，得到第二检测结果；根据配准后的标准图像、第一检测结果、第二检测结果、以及初始结果，确定图像处理结果。

进一步的，上述装置还用于：对多张待处理图像中，除参考图像以外的每张图像，分别作为当前图像，执行下述操作：针对每个像素位置，判断当前图像的该像素位置的像素值，与参考图像的该像素位置的像素值之差的绝对值，是否大于预设的像素值阈值；如果大于像素值阈值，调整当前图像的该像素位置的像素值，以使绝对值小于或等于像素值阈值。

进一步的，上述融合模块还用于：针对初始结果中每个像素位置，执行下述操作，得到每个像素位置上的最终像素值，将每个像素位置上的最终像素值确定为图像处理结果：如果第一检测结果和第二检测结果均指示该像素位置过度曝光，根据预设值和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值；如果第一检测结果指示该像素位置没有过度曝光，且第二检测结果指示该像素位置过度曝光，根据配准后的标准图像和参考图像中该像素位置上的像素值，确定该像素位置上的最终像素值；如果第二检测结果指示该像素位置没有过度曝光，将初始结果中该像素位置上的像素值确定为该像素位置上的最终像素值。

进一步的，上述融合模块还用于：如果第一检测结果和第二检测结果均指示该像素位置过度曝光，循环执行下述操作，直至达到第一预设操作次数，根据每次操作得到的操作结果，确定该像素位置上的最终像素值：根据预设值和参考图像中该像素位置上的像素值，确定第一待叠加图像数量；从图像配准后的多张待处理图像中，确定第一待叠加图像数量的待处理图像；对确定出的待处理图像中，该像素位置上的像素值进行叠加，得到操作结果。

进一步的，上述融合模块还用于：如果第一检测结果指示该像素位置没有过度曝光，且第二检测结果指示该像素位置过度曝光，循环执行下述操作，直至达到第二预设操作次数，根据每次操作得到的操作结果，确定该像素位置上的最终像素值：根据配准后的标准图像和参考图像中该像素位置上的像素值，确定第二待叠加图像数量；从图像配准后的多张待处理图像中，确定第二待叠加图像数量的待处理图像；对确定出的待处理图像中，该像素位置上的像素值进行叠加，得到操作结果。

本发明实施例提供的图像处理装置，与上述实施例提供的图像处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例七：

本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述图像处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述图像处理方法的步骤。

本发明实施例所提供的图像处理方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。