生成高动态范围图像的方法和装置、存储介质及电子设备与流程

1.本公开涉及一种图像生成方法，特别是涉及生成高动态范围图像的方法及装置、存储介质及电子设备。


背景技术：

2.高动态范围hdr(hight dynamic range)图像合成技术是一种利用计算机产生高质量逼真效果的场景图像融合技术，广泛应用于计算机游戏开发、医疗影像、遥感图像处理和计算机图形学等领域。所谓的动态范围指图像亮度值的最大值与最小值的比，动态范围越大表明图像显示的场景细节越多，视觉效果更逼真。传统图像多采用一个字节即8比特的空间来存放一个像素，所以普通图像的亮度级别只有256级，这在很多场合都不能满足对场景细节要求很高的需要。而高动态范围图像采用浮点数多字节来存储一个像素的亮度值，能够全面的表示出自然场景的高动态范围。


技术实现要素：

3.本公开提供生成高动态范围图像的方法和装置、存储介质及电子设备，其能够生成清晰的高动态范围图像。
4.本公开的第一方面提供一种生成高动态范围图像的方法。该方法包括：获取目标场景的长曝可见光图像、长曝近红外图像、短曝可见光图像和短曝近红外图像，其中所述短曝近红外图像和所述长曝近红外图像均不过曝，所述短曝可见光图像中的亮区域不过曝，所述长曝可见光图像和所述长曝近红外图像的空间关系一致，所述短曝可见光图像和所述短曝近红外图像的空间关系一致；根据所述长曝近红外图像、所述短曝可见光图像和所述短曝近红外图像对所述长曝可见光图像的过曝区域进行亮度重建；根据所述短曝可见光图像对所述长曝可见光图像的过曝区域进行色度重建；以及根据所述长曝可见光图像及其亮度重建结果和色度重建结果生成高动态范围图像。
5.于所述第一方面的一实施例中，根据所述长曝近红外图像、所述短曝可见光图像和所述短曝近红外图像对所述长曝可见光图像的过曝区域进行亮度重建包括：获取所述短曝可见光图像的亮度与所述短曝近红外图像的近红外强度之间的映射关系作为第一映射关系；获取所述长曝近红外图像和所述短曝近红外图像之间的空间匹配关系；根据所述长曝近红外图像和所述短曝近红外图像之间的所述空间匹配关系获取所述长曝可见光图像和所述短曝可见光图像的图像块对应关系作为第二映射关系；根据所述第一映射关系和所述第二映射关系获取所述长曝可见光图像的亮度与所述长曝近红外图像的近红外强度之间的映射关系作为第三映射关系；以及根据所述第三映射关系以及所述长曝近红外图像的近红外强度重建所述长曝可见光图像的过曝区域的亮度。
6.于所述第一方面的一实施例中，重建所述长曝可见光图像的过曝区域的亮度包括：根据所述第三映射关系将所述长曝近红外图像中过曝对应区域的梯度映射为所述长曝可见光图像的过曝区域的梯度，其中所述过曝对应区域与所述长曝可见光图像的过曝区域
相对应；根据所述长曝可见光图像的过曝区域的梯度以及非过曝区域的梯度获取所述长曝可见光图像的梯度；以及根据所述长曝可见光图像的梯度重建所述长曝可见光图像的过曝区域的亮度。
7.于所述第一方面的一实施例中，获取所述短曝可见光图像的亮度与所述短曝近红外图像的近红外强度之间的映射关系作为第一映射关系包括：根据所述短曝可见光图像以及所述短曝近红外图像将短曝光场景分割为若干区域；以及根据各所述区域中可见光图像的亮度以及近红外强度获取所述第一映射关系。
8.于所述第一方面的一实施例中，对于一所述区域，该区域对应的所述第一映射关系如下式：v＝a
×
n+b，其中v表示该区域中像素点的可见光亮度，n表示该区域中像素点的近红外强度，a和b为映射参数，所述映射参数取决于该区域中像素点的可见光亮度和近红外强度。
9.于所述第一方面的一实施例中，对于一所述区域，该区域对应的所述第一映射关系如下式：v＝a
×
n，其中v表示该区域中像素点的可见光亮度，n表示该区域中像素点的近红外强度，a为映射参数，所述映射参数取决于该区域中像素点的可见光亮度和近红外强度。
10.于所述第一方面的一实施例中，将短曝光场景分割为若干区域包括：对所述短曝可见光图像的各通道进行分割以获取第一分割结果；对所述短曝近红外图像进行分割以获取第二分割结果；以及根据所述第一分割结果和所述第二分割结果获取所述短曝光场景的分割结果。
11.于所述第一方面的一实施例中，对所述短曝可见光图像的各通道进行分割包括：获取一通道的多等级灰度直方图；以及在所述多等级灰度直方图中获取该通道的灰度峰值，并以相邻灰度峰值之间的波谷作为分割边界对该通道的像素点进行分割。
12.于所述第一方面的一实施例中，根据所述短曝可见光图像对所述长曝可见光图像的过曝区域进行色度重建包括：在所述短曝可见光图像中，获取所述长曝可见光图像的过曝区域的对应图块；以及根据所述对应图块的色度对所述长曝可见光图像的过曝区域进行色度重建。
13.于所述第一方面的一实施例中，获取所述长曝可见光图像、所述长曝近红外图像、所述短曝可见光图像和所述短曝近红外图像包括：获取长曝原始图像文件和短曝原始图像文件，所述长曝原始图像文件和所述短曝原始图像文件由图像采集设备采用不同的曝光参数对目标场景采集得到；以及对所述长曝原始图像文件进行解马赛克处理以获取所述长曝可见光图像以及所述长曝近红外图像，对所述短曝原始图像文件进行解马赛克处理以获取所述短曝可见光图像以及所述短曝近红外图像。
14.于所述第一方面的一实施例中，所述生成高动态范围图像的方法还包括：调整所述图像采集设备的曝光参数，以使所述短曝可见光图像和所述长曝近红外图像均不过曝，并使所述短曝可见光图像的亮区域不过曝。
15.于所述第一方面的一实施例中，所述短曝近红外图像和所述长曝近红外图像均不过曝，使得所述短曝近红外图像和所述长曝近红外图像中的大部分区域的信息都能够被捕捉，并且使得对于所述长曝可见光图像中的过曝区域，在所述短曝近红外图像和所述长曝近红外图像中的对应区域中保留有近红外图像信息；所述短曝可见光图像中的亮区域不过
曝，使得所述亮区域的亮度信息和色度信息被保留。
16.本公开第二方面提供一种生成高动态范围图像的装置。该装置包括：图像获取模块，被配置为获取目标场景的长曝可见光图像、长曝近红外图像、短曝可见光图像和短曝近红外图像，其中所述短曝近红外图像和所述长曝近红外图像均不过曝，所述短曝可见光图像的亮区域不过曝，所述长曝可见光图像和所述长曝近红外图像的空间关系一致，所述短曝可见光图像和所述短曝近红外图像的空间关系一致；亮度重建模块，被配置为根据所述长曝近红外图像、所述短曝可见光图像和所述短曝近红外图像对所述长曝可见光图像的过曝区域进行亮度重建；色度重建模块，被配置为根据所述短曝可见光图像对所述长曝可见光图像的过曝区域进行色度重建；以及图像重建模块，被配置为根据所述长曝可见光图像及其亮度重建结果和色度重建结果生成高动态范围图像。
17.本公开的第三方面提供一种计算机可读存储介质，其上存储有计算机程序。所述计算机程序被执行以实现根据本公开第一方面中任一项所述的方法。
18.本公开的第四方面提供一种电子设备。所述电子设备包括：存储器，被配置为存储计算机程序；以及处理器，被配置为调用所述计算机程序以执行根据本公开第一方面中任一项所述的方法。
19.根据本公开实施例提供的生成高动态范围图像的方法，通过对长曝光可见光图像的过曝区域进行亮度重建和色度重建，并根据重建结果以及长曝光可见光图像生成高动态范围图像。由此生成的高动态范围图像中的明暗部分均能够清晰成像，且不会出现伪影。
附图说明
20.图1显示为本公开实施例中生成高动态范围图像的方法的流程图。
21.图2显示为本公开实施例中亮度重建过程的流程图。
22.图3显示为本公开实施例中亮度重建过程的示意图。
23.图4显示为本公开实施例中亮度重建过程的流程图。
24.图5a显示为本公开实施例中获取第一映射关系的流程图。
25.图5b显示为本公开实施例中短曝可见光图像的示例图。
26.图5c显示为本公开实施例中短曝近红外图像的示例图。
27.图5d显示为本公开实施例中短曝光场景分割结果的示例图。
28.图6a显示为本公开实施例中获取短曝光场景分割结果的流程图。
29.图6b显示为本公开实施例中对通道进行分割的流程图。
30.图7显示为本公开实施例中色度重建过程的流程图。
31.图8a显示为本公开实施例中获取短曝可见光图像以及短曝近红外图像的流程图。
32.图8b和图8c分别显示为本公开实施例中图像采集设备的阵列排布示例图。
33.图9显示为本公开实施例中生成高动态范围图像的装置的结构示意图。
34.图10显示为本公开实施例中电子设备的结构示意图。
具体实施方式
35.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。本公开还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
36.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
37.高动态范围成像技术通过连续拍摄多个曝光时间的图像并融合图像信息，最终呈现动态范围压缩的结果，可以同时清晰地展现黑暗和明亮区域的场景细节信息。
38.然而，目前现有的hdr算法通常假设多曝光图像完全对齐，但是在实际的图像或视频拍摄场景中，由于手持相机的不稳定、运动物体的存在，容易出现图像不对齐、画面抖动、物体遮挡等情况，使用现有的hdr算法往往会使得融合图像出现伪影等问题，无法很好地满足实际需求。
39.本公开针对上述长短曝光图像不对齐、画面抖动、物体遮挡等情况，提出了一种图像hdr融合增强的生成高动态范围图像的方法，该方法生成的高动态范围图像中的明暗部分均能够清晰成像，且不会出现伪影。
40.接下来将通过示例性实施例参照附图描述本公开提供的生成高动态范围图像的方法的具体实施方式。
41.图1是示出根据本公开实施例中生成高动态范围图像的方法的流程图。此流程图中的每个步骤，都可由一个或者多个特定的模块来实施。在一些实施例中，这些模块可以为gpu(graphics processing unit，图像处理器)，dsp(digital signal processing，数字信号处理)等芯片中的模块。如图1所示，本公开实施例中生成高动态范围图像的方法包括以下步骤s11至步骤s14。
42.在步骤s11中，获取目标场景的长曝可见光图像、长曝近红外图像、短曝可见光图像和短曝近红外图像。其中短曝近红外图像和长曝近红外图像均不过曝，短曝可见光图像中的亮区域不过曝，且长曝可见光图像和长曝近红外图像的空间关系一致，短曝可见光图像和短曝近红外图像的空间关系一致。长曝可见光图像和长曝近红外图像的曝光时间长于短曝可见光图像和短曝近红外图像的曝光时间。由于长曝可见光图像的曝光时间较长，故长曝可见光图像中暗区域的清晰度相对更高。亮区域和暗区域的范围可以根据实际需求配置，例如，可以将短曝可见光图像中亮度大于第一亮度阈值的区域作为亮区域，将长曝可见光图像中亮度小于第二亮度阈值的区域作为暗区域，其中第一亮度阈值和第二亮度阈值可以根据经验或需求设置。
43.此外，于本公开实施例中，只要满足下列条件即可认为长曝近红外图像和短曝近红外图像不过曝：长曝近红外图像和短曝近红外图像中大部分区域的信息都能够被捕捉，并且对于长曝可见光图像中过曝区域在长曝近红外图像和短曝近红外图像中的对应区域，保留有近红外图像的信息。通过此种方式，有利于寻找长曝帧和短曝帧之间的空间匹配关系，并有利于根据近红外图像的梯度重建长曝可见光亮度图像中过曝区域的梯度。本公开
实施例中短曝可见光图像中的亮区域不过曝，目的是保留亮区域的信息以便计算短曝场景中亮区域上可见光亮度图和近红外图像之间的映射关系，同时保留短曝可见光图像在亮区域的颜色信息，以便后续对长曝可见光图像的过曝区域进行色度重建。
44.在一些实施例中，长曝可见光图像和长曝近红外图像属于目标场景的同一帧图像，短曝可见光图像和短曝近红外图像属于目标场景的另一帧图像。
45.在步骤s12中，根据长曝近红外图像、短曝可见光图像和短曝近红外图像对长曝可见光图像的过曝区域进行亮度重建。
46.在步骤s13中，根据短曝可见光图像对长曝可见光图像的过曝区域进行色度重建。
47.在步骤s14中，根据长曝可见光图像及其亮度重建结果和色度重建结果生成高动态范围图像。
48.如上所述，根据本公开实施例提供的生成高动态范围图像的方法，通过对长曝光可见光图像的过曝区域进行亮度重建和色度重建，并根据重建结果以及长曝光可见光图像生成高动态范围图像。由此生成的高动态范围图像中的明暗部分均能够清晰成像，且不会出现伪影。
49.图2是示出根据本公开实施例中对长曝可见光图像的过曝区域进行亮度重建的流程图。如图2所示，该亮度重建的过程包括以下步骤s21至步骤s25。
50.在步骤s21中，获取短曝可见光图像的亮度与短曝近红外图像的近红外(near infrared，nir)强度之间的映射关系作为第一映射关系。具体地，短曝可见光图像中的像素点与短曝近红外图像中的像素点一一对应，每个像素点均具有一个映射关系，用于表示该像素点的可见光亮度与其对应像素点的红外强度的关系。
51.在步骤s22中，获取长曝近红外图像和短曝近红外图像之间的空间匹配关系。由于短曝近红外图像和长曝近红外图像均不过曝，因而步骤s22中能够获取到长曝近红外图像和短曝近红外图像之间准确的空间匹配关系。
52.在步骤s23中，根据长曝近红外图像和短曝近红外图像之间的空间匹配关系获取长曝可见光图像和短曝可见光图像的图像块对应关系作为第二映射关系。由于短曝近红外图像和短曝可见光图像的空间关系一致，长曝近红外图像和长曝可见光图像的空间关系一致。因此，根据短曝近红外图像和短曝可见光图像之间的空间匹配关系、长曝近红外图像和短曝近红外图像之间的空间匹配关系、长曝近红外图像和长曝可见光图像之间的空间匹配关系，能够准确地获取长曝可见光图像和短曝可见光图像的图像块对应关系。例如，对于长曝可见光图像中的区域根据长曝近红外图像中与该区域相同位置的图像块获取短曝光近红外图像中与之最接近的图像块进而获取短曝可见光图像中与该图像块相同位置的图像块该图像块即为与区域匹配的图像块。
53.在一些实施例中，于步骤s23中，长曝可见光图像和短曝可见光图像中图块的匹配程度可以根据二者可见光亮度通道的l2距离进行判定。
54.在步骤s24中，根据第一映射关系和第二映射关系获取长曝可见光图像的亮度与长曝近红外图像的近红外强度之间的映射关系作为第三映射关系。例如，对于图像块若其对应的第一映射关系为f，则该图像块匹配的区域对应的第三映射关系同样为
f。
55.在步骤s25中，根据第三映射关系以及长曝近红外图像的近红外强度重建长曝可见光图像的过曝区域的亮度。
56.根据本公开的一实施例中，根据第三映射关系以及长曝近红外图像的近红外强度重建长曝可见光图像的过曝区域的亮度包括：根据第三映射关系将长曝近红外图像中过曝对应区域的近红外强度映射为亮度，并根据亮度映射结果重建长曝可见光图像的过曝区域的亮度。其中，过曝对应区域是指长曝近红外图像中与长曝可见光图像的过曝区域对应的区域。
57.图3是示出根据本公开实施例中过曝区域的亮度重建示意图。如图所示，长曝近红外图像与长曝可见光图像的尺寸相同，其中的像素点一一对应，过曝对应区域与过曝区域的位置和尺寸均相同。以长曝可见光图像中的像素点b1为例，其对应像素点为a1。在进行亮度重建时，可以将b1的亮度替换为f(n_a1)，其中f为映射函数，对应于第三映射关系，n_a1表示像素点a1的近红外强度。通过此种方式可以将过曝区域中各像素点的可见光亮度替换为其对应像素点的近红外强度的映射值，以此来完成对过曝区域的亮度重建。
58.如图4所示，根据本公开的一实施例中，根据第三映射关系以及长曝近红外图像的近红外强度重建长曝可见光图像的过曝区域的亮度包括以下步骤s41至步骤s43。
59.在步骤s41中，根据第三映射关系将长曝近红外图像中过曝对应区域的梯度映射为长曝可见光图像的过曝区域的梯度，其中过曝对应区域与长曝可见光图像的过曝区域相对应。以图3为例，对于过曝区域中的像素点b1，其梯度为f(g_a1)，其中g_a1表示过曝对应区域中像素点a1的梯度。通过此种方式可以重建过曝区域中每个像素点的梯度。
60.在步骤s42中，根据长曝可见光图像的过曝区域的梯度以及非过曝区域的梯度获取长曝可见光图像的梯度。其中，非过曝区域的梯度是指长曝可见光图像中非曝光区域内可见光亮度通道的梯度。
61.在步骤s43中，根据长曝可见光图像的梯度重建长曝可见光图像的过曝区域的亮度。具体地，于步骤s43中可以利用泊松编辑算法根据长曝可见光图像的梯度恢复可见光图像的过曝区域的亮度，但本公开并不以此为限。
62.在一些实施例中，重建得到的长曝可见光图像的过曝区域的亮度可能会大于1，针对该问题，本公开实施例中生成高动态范围图像的方法还可以包括：将长曝可见光图像的过曝区域的亮度压缩至0～1的范围内。具体地，对长曝可见光图像进行归一化处理，然后使用以下式(1)调整长曝可见光图像中可见光亮度通道的像素值：
[0063][0064]
其中vi'为长曝可见光图像中第i个像素点调整后的可见光亮度通道的像素值，vi表示第i个像素点的可见光亮度通道的像素值，v
max
为长曝可见光图像中可见光亮度通道的最大像素值，vw可以通过以下式(2)进行定义：
[0065]
[0066]
其中k为长曝可见光图像中像素点的数量，δ为一极小值，可以根据经验设置。
[0067]
根据以上描述可知，本公开实施例中对于长曝可见光图像中的过曝区域在梯度域填充梯度信息，并通过泊松编辑方法进行亮度重建，且对重建后的亮度进行压缩处理，有利于提升高动态范围图像的清晰度。
[0068]
图5a是示出根据本公开实施例中获取所述短曝可见光图像的亮度与所述短曝近红外图像的近红外强度之间的映射关系作为第一映射关系的流程图。如图5a所示，本公开实施例中获取第一映射关系的方法包括以下步骤s51和步骤s52。
[0069]
在步骤s51中，根据短曝可见光图像以及短曝近红外图像将短曝光场景分割为若干区域。在一些实施例中，于步骤s51中可以根据短曝可见光图像以及短曝近红外图像中像素点的灰度值对短曝光场景进行分割。例如，图5b和图5c分别显示为本公开实施例中短曝可见光图像和短曝近红外图像的示例图，图5d显示为短曝光场景的分割结果示例图，其中图5d的每种颜色代表一个区域。
[0070]
在步骤s52中，根据各区域中可见光图像的亮度以及近红外强度获取第一映射关系。
[0071]
在一些实施例中，对于短曝光场景的任一区域a，该区域a对应的第一映射关系可以用以下式(3)进行表示：
[0072]
v＝a
×
n+b，式(3)，
[0073]
其中，v表示短曝可见光图像中该区域a内像素点的可见光亮度通道的像素值，n表示短曝近红外图像中该区域a内像素点的近红外强度，a和b为映射参数，该映射参数取决于该区域a中像素点的可见光亮度和近红外强度，可以通过拟合方式得到。需要说明的是，上述式(3)适用于该区域a内的所有像素点。例如，对于短曝可见光图像中该区域a内的像素点b2，其在短曝近红外图像中的对应像素点为a2，则v_b2＝a
×
n_a2+b，其中v_b2为像素点b2可见光亮度通道的像素值，n_a2为像素点a2的近红外强度。
[0074]
在一些实施例中，映射参数a和b可以分别通过以下式(4)和式(5)得到：
[0075][0076][0077]
其中m表示该区域a中像素点的数量，vi表示第i个像素点的可见光亮度通道的像素值，ni表示第i个像素点的对应像素点的近红外强度。
[0078]
在另外一些实施例中，对于短曝光场景的任一区域b，该区域b对应的第一映射关系可以用以下式(6)进行表示：
[0079]
v＝a
×
n，式(6)，
[0080]
其中，v表示短曝可见光图像中该区域b内像素点的可见光亮度通道的像素值，n表示短曝近红外图像中该区域b内像素点的近红外强度，a为映射参数，该映射参数取决于该区域b中像素点的可见光亮度和近红外强度，可以通过拟合方式得到。相较而言，此种方式只需获取一个映射参数，计算方便，且计算过程所需资源更少。
[0081]
图6a显示为本公开实施例中将短曝光场景分割为若干区域的流程图。如图6a所示，本公开实施例中对短曝光场景进行分割的流程包括以下步骤s61a至步骤s63a。
[0082]
在步骤s61a中，对短曝可见光图像的各通道进行分割以获取第一分割结果。
[0083]
在步骤s62a中，对短曝近红外图像进行分割以获取第二分割结果。
[0084]
在步骤s63a中，根据第一分割结果和第二分割结果获取短曝光场景的分割结果。
[0085]
例如，若短曝可见光图像为短曝光rgb图像，则本公开实施例中对其进行分割的方法为：将短曝光rgb图像转换为h、s、v三个通道，依次对h通道、s通道、v通道以及短曝近红外图像进行分割，也即，在h通道分割结束后，根据h通道的分割结果对s通道进行分割，根据s通道的分割结果对v通道进行分割，根据v通道的分割结果对短曝近红外图像进行分割，从而得到最终的分割结果。
[0086]
图6b显示为本公开实施例中对短曝可见光图像的任一通道b进行分割的流程图。如图6b所示，本公开实施例中对通道b进行分割的流程包括以下步骤s61b以及步骤s62b。
[0087]
在步骤s61b中，获取通道b的多等级灰度直方图。例如，在一些实施例中可以获取通道b的256级灰度直方图，也即，根据通道b中像素点的灰度值建立0至255等级的灰度直方图。
[0088]
在步骤s62b中，在通道b的多等级灰度直方图中获取通道b的的灰度峰值，并以相邻灰度峰值之间的波谷作为分割边界对该通道的像素点进行分割。
[0089]
图7是示出根据本公开实施例中根据短曝可见光图像对长曝可见光图像的过曝区域进行色度重建的流程图。如图7所示，本公开实施例中色度重建的流程图包括以下步骤s71和步骤s72。
[0090]
在步骤s71中，在短曝可见光图像中，获取长曝可见光图像的过曝区域的对应图块。
[0091]
在步骤s72中，根据对应图块的色度对长曝可见光图像的过曝区域进行色度重建。例如，步骤s72中可以使用对应图块的色度替换长曝可见光图像的过曝区域的色度，但本公开并不以此为限。
[0092]
在一些实施例中，在对长曝可见光图像的过曝区域进行色度重建以后，还可以利用引导滤波对长曝可见光图像的色度通道进行平滑处理。
[0093]
图8a是示出本公开实施例中获取长曝可见光图像、长曝近红外图像、短曝可见光图像和短曝近红外图像的流程图。如图8a所示，本公开实施例中获取上述图像的方法包括以下步骤s81和s82。
[0094]
在步骤s81中，获取长曝原始图像文件和短曝原始图像文件，其中长曝原始图像文件和短曝原始图像文件由图像采集设备采用不同的曝光参数对目标场景采集得到。本公开实施例中长曝原始图像文件可以为图像采集设备采用长曝光时间，例如8ms，获取的raw格式文件，短曝原始图像文件可以为图像采集设备采用短曝光时间，例如2ms，获取的raw格式文件。
[0095]
在步骤s82中，对长曝原始图像文件进行解马赛克处理以获取长曝可见光图像以及长曝近红外图像，对短曝原始图像文件进行解马赛克处理以获取短曝可见光图像以及短曝近红外图像。
[0096]
接下来将以包含r、g、b和nir通道的长曝原始图像文件为例对解马赛克处理进行
详细介绍。需要说明的是，本公开实施例中长曝原始图像文件的通道并不限制于r、g、b和nir。
[0097]
在一些实施例中，可以将长曝原始图像文件的r、g、b和nir通道图像提取出来分别进行插值以得到长曝可见光图像和长曝近红外图像。具体地，可以将nir通道提取出来并合成一个分辨率为[w/2，h/2]的单通道图像，该图像即为长曝近红外图形，其中w和h分别为长曝原始图像文件的宽度和高度。对g通道进行平均后，将r、g和b通道重新合并成普通bayer(拜耳)格式的raw图像，其分辨率为[w/2，h/2]。对该bayer格式的raw图像进行解马赛克处理即可得到rgb彩色图像，也即长曝可见光图像。
[0098]
在一些实施例中，还可以采用以下方式对长曝原始图像文件进行处理来获取长曝可见光图像和长曝近红外图像。具体地，将r、g和b通道重新合并成普通bayer格式的raw图像，对该raw图像进行解马赛克处理以获取一张降分辨率的rgb彩色图像。对nir通道进行插值处理以得到全分辨率的nir单通道图像，该图像即为长曝近红外图形。将上述降分辨率的rgb彩色图像和nir单通道图像进行融合即可得到全分辨率的rgb彩色图像，也即长曝可见光图像。
[0099]
此外，本公开实施例中可以采用上述类似的方法对短曝原始图像文件进行解马赛克处理以获取短曝可见光图像和短曝近红外图像。
[0100]
在一些实施例中，生成高动态范围图像的方法还可以包括：调整图像采集设备的曝光参数，以使短曝可见光图像和长曝近红外图像均不过曝，并使短曝可见光图像的亮区域不过曝。具体地，在获取长曝可见光图像、长曝近红外图像、短曝可见光图像和短曝近红外图像以后，判断该四张图像是否满足预设条件。若不满足，则调整图像采集设备的曝光参数并重新采集长曝原始图像文件和短曝原始图像文件，直到获取的长曝可见光图像、长曝近红外图像、短曝可见光图像和短曝近红外图像满足预设条件。上述预设条件例如可以为：短曝可见光图像和长曝近红外图像均不过曝，短曝可见光图像的亮区域不过曝，且长曝可见光图像的暗区域成像清晰。
[0101]
在一些实施例中，图像采集设备的阵列包含r、g、b和nir四通道，且图像采集设备采集到的同一帧图像中rgb通道和nir通道的空间关系基本一致。图8b和图8c分别示出了图像采集设备的两种阵列排布方式，但本公开并不以此为限。
[0102]
需要说明的是，对于长曝可见光图像、长曝近红外图像、短曝可见光图像和短曝近红外图像的获取方式，本公开不作限制。例如，在一些实施例中可以通过上述图像采集设备或其类似设备实时采集这些图像。在另外一些实施例中可以是从其他设备获取到的满足预设条件且长短曝下空间关系一致的可见光图像和近红外图像。此外，图像采集设备可以是独立的采集设备，也可以是本公开实施例提供的生成高动态范围图像的方法的执行主体的一部分，也即，图像采集设备与执行本公开实施例所提供的该方法的电子设备可以是同一设备，也可以是不同的设备。当可见光图像和近红外图像是从其他设备获取到的满足要求的图像时，可以根据获取的原始文件的具体阵列排布进行解马赛克。
[0103]
本公开还提供一种生成高动态范围图像的装置。图9是示出根据本公开实施例中生成高动态范围图像的装置100的结构示意图。如图9所示，本公开实施例提供的装置100包括图像获取模块101、亮度重建模块102、色度重建模块103以及图像重建模块104。图像获取模块101被配置为获取目标场景的长曝可见光图像、长曝近红外图像、短曝可见光图像和短
曝近红外图像，其中短曝近红外图像和长曝近红外图像均不过曝，短曝可见光图像的亮区域不过曝，长曝可见光图像和长曝近红外图像的空间关系一致，短曝可见光图像和短曝近红外图像的空间关系一致。亮度重建模块102被配置为根据长曝近红外图像、短曝可见光图像和短曝近红外图像对长曝可见光图像的过曝区域进行亮度重建。色度重建模块103被配置为根据短曝可见光图像对长曝可见光图像的过曝区域进行色度重建。图像重建模块104被配置为根据长曝可见光图像及其亮度重建结果和色度重建结果生成高动态范围图像。
[0104]
需要说明的是，本公开实施例中生成高动态范围图像的装置100中的各模块与图1所示生成高动态范围图像的方法中步骤s11至步骤s14一一对应，此处不作过多赘述。
[0105]
本公开还提供一种计算机可读存储介质，其上存储有计算机程序。该计算机程序被执行以实现根据本公开任一实施例所述的生成高动态范围图像的方法。
[0106]
本公开实施例中，可以采用一个或多个存储介质的任意组合。存储介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、ram、rom、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0107]
本公开还提供一种电子设备。图10显示为本公开一实施例中电子设备200的结构示意图。如图10所示，本实施例中电子设备200包括存储器201和处理器202。
[0108]
存储器201被配置为存储计算机程序。在一些实施例中，存储器201包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0109]
具体地，存储器201可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)和/或高速缓存存储器。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器201可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
[0110]
处理器202与存储器201相连，并且被配置为执行存储器201存储的计算机程序，以使电子设备200执行本公开实施例中提供的生成高动态范围图像的方法。
[0111]
在一些实施例中，处理器202可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等。处理器202还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0112]
在一些实施例中，本实施例中电子设备200还可以包括显示器203。显示器203与存储器201和处理器202通信相连，用于显示生成高动态范围图像的方法的相关gui交互界面。
[0113]
本公开所述的生成高动态范围图像的方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本公开的原理所做的现有技术的步骤增减、步骤替换所实现的方案
都包括在本公开的保护范围内。
[0114]
本公开还提供一种生成高动态范围图像的装置，所述生成高动态范围图像的装置可以实现本公开所述的生成高动态范围图像的方法，但本公开所述的生成高动态范围图像的方法的实现装置包括但不限于本实施例列举的生成高动态范围图像的装置的结构，凡是根据本公开的原理所做的现有技术的结构变形和替换，都包括在本公开的保护范围内。
[0115]
综上所述，根据本公开实施例提供的生成高动态范围图像的方法，通过对长曝光可见光图像的过曝区域进行亮度重建和色度重建，并根据重建结果以及长曝光可见光图像生成高动态范围图像。由此生成的高动态范围图像中的明暗部分均能够清晰成像，且不会出现伪影。因此，本公开有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0116]
上述实施例仅例示性说明本公开的原理及其功效，而非用于限制本公开。任何熟悉此技术的人士皆可在不违背本公开的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本公开所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本公开的权利要求所涵盖。