高动态范围的混合曝光成像方法和装置与流程

1.本技术涉及图像处理技术领域，具体涉及一种高动态范围的混合曝光成像方法和装置。


背景技术：

2.目前，通过图像传感器可以采集到动态范围图像。然而，常规的图像传感器的位宽较小，一次曝光采集到的图像的动态范围有限，而自然界的动态范围远高于图像传感器能够采集到的动态范围，这就导致，在高动态范围场景中，图像传感器采集到的图像可能出现暗部过暗或亮部过曝的情况。
3.当前，可以采用围绕曝光的方式得到高动态范围的图像，具体可以借助预先设计的算法将采集到的多帧图像合成高动态范围图像。但是，在实践过程中发现，上述成像方式通常会使用统一的降噪强度对图像进行降噪。由于图像中的不同区域的噪声程度存在不同，因此，使用相同的降噪强度对噪声程度不同的区域进行降噪，可能会出现部分区域过度降噪而部分区域降噪不足的问题，从而导致得到的图像的清晰度较低。
4.因此，需要一种新的高动态范围的成像技术方案。


技术实现要素：

5.有鉴于此，本说明书实施例提供一种高动态范围的混合曝光成像方法和装置，能够解决图像中部分区域过度降噪或部分区域降噪不足的问题，从而提升图像的清晰度。
6.本说明书实施例提供以下技术方案：
7.第一方面，本说明书实施例提供一种高动态范围的混合曝光成像方法，所述方法包括：
8.获取混合曝光的多帧图像；其中，所述混合曝光的多帧图像至少包括超短曝光图像、短曝光图像、正常曝光图像以及长曝光图像；
9.对所述正常曝光图像和所述长曝光图像分别进行降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像；
10.对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行修补，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像；
11.对所述修补后的超短曝光图像、所述短曝光图像、所述修补后的正常曝光图像以及所述修补后的长曝光图像进行加权融合，得到融合图像；
12.根据所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像。
13.第二方面，本说明书实施例还提供一种高动态范围的混合曝光成像装置，所述装置包括：
14.获取单元，用于获取混合曝光的多帧图像；其中，所述混合曝光的多帧图像至少包括超短曝光图像、短曝光图像、正常曝光图像以及长曝光图像；
15.第一降噪单元，用于对所述正常曝光图像和所述长曝光图像分别进行降噪，得到
降噪后的正常曝光图像和降噪后的长曝光图像；
16.修补单元，用于对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行修补，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像；
17.融合单元，用于对所述修补后的超短曝光图像、所述短曝光图像、所述修补后的正常曝光图像以及所述修补后的长曝光图像进行加权融合，得到融合图像；
18.第二降噪单元，用于根据所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像。
19.第三方面，本说明书实施例还提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面中任一项所述的方法。
20.第四方面，本说明书实施例还提供一种计算设备，所述计算设备包括：
21.至少一个处理器、存储器和输入输出单元；
22.其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如第一方面中任一项所述的方法。
23.与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：能够通过对不同的曝光图像分别进行降噪和修补，实现针对图像中不同的区域的实际情况来分别进行降噪，避免出现过度降噪或部分区域降噪不足的问题，提升了图像的清晰度。
附图说明
24.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
25.图1是本技术中的一种高动态范围的混合曝光成像方法的流程示意图；
26.图2是本技术中的一种混合曝光的多帧图像的获取方法的流程示意图图；
27.图3是本技术中的一种基于正常曝光图像和长曝光图像的降噪方法的流程示意图；
28.图4是本技术中的一种基于混合曝光的多帧图像的修补方法的流程示意图；
29.图5是本技术中的一种基于融合图像的降噪的流程示意图；
30.图6是本技术中的一种高动态范围的混合曝光成像装置的结构示意图；
31.图7是本技术中的一种介质的结构示意图；
32.图8是本技术中的一种计算设备的结构示意图。
具体实施方式
33.下面结合附图对本技术实施例进行详细描述。
34.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神
下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本技术，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
36.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
37.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践。
38.以下结合附图，说明本技术各实施例提供的技术方案。
39.如图1所示，本说明书实施例提供一种高动态范围的混合曝光成像方法，可包括：
40.步骤s101、获取混合曝光的多帧图像。
41.本发明实施例中，所述混合曝光的多帧图像至少包括超短曝光图像、短曝光图像、正常曝光图像以及长曝光图像。所述混合曝光的多帧图像通过图像采集设备采集，图像采集设备可以为相机、摄像机等。超短曝光图像、短曝光图像、正常曝光图像以及长曝光图像在采集过程中图像采集设备设置的曝光值都不相同。曝光值可以为预先设置的固定数值，也可以为与图像采集设备所处环境匹配的数值。
42.举例来说，正常曝光图像对应的曝光值可以为图像采集设备的自动曝光值(auto exposure value，aev)，短曝光图像对应的曝光值可以为正常曝光图像对应的曝光值的一半，超短曝光图像对应的曝光值可以为短曝光图像对应的曝光值的一半，长曝光图像取的曝光值可以为正常曝光图像对应的曝光值的两倍。
43.本发明另一实施例中，为了保证获取到混合曝光的多帧图像更加适合生成高动态范围图像，可以针对不同的环境设置不同的曝光策略，如图2所示，则上述步骤s101由以下步骤s201～步骤s203代替：
44.步骤s201、获取所述图像采集设备所处的当前环境。
45.步骤s202、确定与所述当前环境匹配的曝光策略。
46.步骤s203、根据所述曝光策略获取混合曝光的多帧图像。
47.实施上述的步骤s201～步骤s203，由于在不同的环境下，光线、动态范围都不尽相同，因此需要针对不同的环境设置不同的曝光策略，从而保证获取到混合曝光的多帧图像更加适合生成高动态范围图像。
48.作为一种可选的实施方式，步骤s202确定与所述当前环境匹配的曝光策略之前，该方法还可以包括以下步骤：获取训练数据集，所述训练数据集中至少包括环境信息及其
对应的环境类别；基于所述训练数据集，对场景分类模型进行训练，得到训练后的场景分类模型；
49.以及，步骤s202确定与所述当前环境匹配的曝光策略的方式具体可以为：将所述当前环境输入所述场景分类模型，得到与所述当前环境匹配的曝光策略。
50.其中，实施这种实施方式，可以根据获取到的大量的训练数据集对场景分类模型进行训练，以使场景分类模型可以准确地根据输入的环境信息输出准确的曝光策略。
51.本发明实施例中，可以使用mobilenet-v3构建场景分类模型，在place365数据集上进行初步训练，然后根据实际的使用场景进行迁移学习，得到训练完成的场景分类模型。
52.步骤s102、对所述正常曝光图像和所述长曝光图像分别进行降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像。
53.本发明实施例中，所述正常曝光图像和所述长曝光图像的数量均为多帧。
54.举例来说，可以采集一帧超短曝光图像、一帧短曝光图像、四帧正常曝光图像以及四帧长曝光图像，对此，本发明实施例不做限定。其中，在最终的高动态范围合成图像中，低亮区域的像素值来自于图像采集的正常曝光图像和长曝光图像，图像信号通常由热辐射光电效应的电子以及镜头射进来的光子的光电效应积累电荷产生电压成像的，然而对于低亮度区域，其镜头射进来的光子数量很少，占主要成分的是热辐射激发的电子，所以低亮区域的信噪比通常较低，为了提高低亮部分的信噪比，我们采集了多帧正常曝光和长曝光进行时域叠加和降噪，提高低亮区域的信噪比，根据中心极限定理分析，采用四帧图像得到的合成图像的噪声方差降为原来的四分之一，能够显著提升低亮区域信噪比。
55.本发明另一实施例中，为了有效提高正常曝光图像和长曝光图像暗部图像信号的信噪比，可以根据对正常曝光图像和长曝光图像进行多帧叠加降噪，如图3所示，则上述步骤s102由以下步骤s301～步骤s307代替：
56.步骤s301、从多帧所述正常曝光图像中选取一帧基准正常曝光图像。
57.步骤s302、从多帧所述长曝光图像中选取一帧基准长曝光图像。
58.步骤s303、根据所述基准正常曝光图像，确定多帧所述正常曝光图像中除所述基准正常曝光图像之外的正常曝光图像的第一单应性矩阵。
59.作为一种可选的实施方式，步骤s303根据所述基准正常曝光图像，确定多帧所述正常曝光图像中除所述基准正常曝光图像之外的正常曝光图像的第一单应性矩阵的方式可以包括以下步骤：
60.确定所述基准正常曝光图像和多帧所述正常曝光图像中除所述基准正常曝光图像之外的目标正常曝光图像的orb特征；
61.根据所述基准正常曝光图像的orb特征和各个所述目标正常曝光图像的orb特征，确定各个所述目标正常曝光图像的第一单应性矩阵。
62.其中，实施这种实施方式，单应性矩阵刻画了两幅图像之间的全局空间位置关系，包括平移、旋转、缩放，等仿射关系，由于正常曝光图像用于高动态范围成像的像素区域主要是中低亮度区域，因此我们在单应性矩阵计算的误差公式中，可以将中低亮度区域像素值误差赋予更高的权重，使得正常曝光图像中低亮度区域的误差控制更严格。
63.本发明实施例中，选择一帧正常曝光图像为基准正常曝光图像i
m0
，其余的正常曝光图像可以为i
m1
、i
m2
以及i
m3
，分别计算i
m0
、i
m1
、i
m2
、i
m3
的orb特征orb0、orb1、orb2、orb3，可以
采用ransac算法，计算i
m0
分别与i
m1
、i
m2
、i
m3
的第一单应性矩阵h
01
,h
02
,h
03
,其中第一单应性矩阵可以为一个3x3矩阵，其通常形式为：
[0064][0065]
此外，为了避免orb特征在图像空间上只向某个空间聚集，可以采用八叉树把正常曝光图像进行划分，分别求取各区域的orb特征，最终用来配合正常曝光图像全局配准。
[0066]
步骤s304、根据所述基准长曝光图像，确定多帧所述长曝光图像中除所述基准长曝光图像之外的长曝光图像的第二单应性矩阵。
[0067]
作为一种可选的实施方式，步骤s304根据所述基准长曝光图像，确定多帧所述长曝光图像中除所述基准长曝光图像之外的长曝光图像的第二单应性矩阵的方式可以包括以下步骤：
[0068]
确定所述基准长曝光图像和多帧所述长曝光图像中除所述基准长曝光图像之外的目标长曝光图像的orb特征；
[0069]
根据所述基准长曝光图像的orb特征和所述目标长曝光图像的orb特征，确定各个所述目标长曝光图像的第二单应性矩阵。
[0070]
其中，实施这种实施方式，单应性矩阵刻画了两幅图像之间的全局空间位置关系，包括平移、旋转、缩放，等仿射关系，由于长曝光图像用于高动态范围成像的像素区域主要是中低亮度区域，因此我们在单应性矩阵计算的误差公式中，可以将中低亮度区域像素值误差赋予更高的权重，使得长曝光图像中低亮度区域的误差控制更严格。
[0071]
本发明实施例中，长曝光图像的第二单应性矩阵的确定方式与正常曝光图像的第一单应性矩阵的确定方式相同，在此不做赘述。
[0072]
步骤s305、基于所述第一单应性矩阵和所述基准正常曝光图像，对所述正常曝光图像中除所述基准正常曝光图像之外的正常曝光图像进行配准，得到配准后的正常曝光图像。
[0073]
本发明实施例中，可以使用bicubic插值算法对正常曝光图像中除基准正常曝光图像之外的正常曝光图像进行全局配准，得到的配准后的正常曝光图像与基准正常曝光图像的亮度匹配。
[0074]
步骤s306、基于所述第二单应性矩阵和所述基准长曝光图像，对所述长曝光图像中除所述基准长曝光图像之外的长曝光图像进行配准，得到配准后的长曝光图像。
[0075]
本发明实施例中，可以使用bicubic插值算法对长曝光图像中除基准正常曝光图像之外的长曝光图像进行全局配准，得到的配准后的长曝光图像与基准正常曝光图像的亮度匹配。
[0076]
步骤s307、对所述正常曝光图像中的第一运动区域、所述配准后的正常曝光图像中的第一运动区域、所述长曝光图像中的第二运动区域以及所述配准后的长曝光图像中的第二运动区域进行空域降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像。
[0077]
实施上述的步骤s301～步骤s307，由于正常曝光图像和长曝光图像通常亮部过曝，有效内容有限，且有效内容主要集中在暗部，因此，对正常曝光图像和长曝光图像进行多帧叠加降噪能够有效提高二者暗部图像信号的信噪比。
[0078]
作为一种可选的实施方式，步骤s307对所述正常曝光图像中的第一运动区域、所述配准后的正常曝光图像中的第一运动区域、所述长曝光图像中的第二运动区域以及所述配准后的长曝光图像中的第二运动区域进行空域降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像的方式可以包括以下步骤：
[0079]
根据所述基准正常曝光图像中各个像素的像素值以及所述配准后的正常曝光图像中各个像素的像素值，得到所述基准正常曝光图像中各个像素的第一绝对差之和；
[0080]
根据所述基准长曝光图像中各个像素的像素值以及所述配准后的长曝光图像中各个像素的像素值，得到所述基准长曝光图像中各个像素的第二绝对差之和；
[0081]
将所述基准正常曝光图像中第一绝对差之和大于等于第一预设阈值的像素表示的区域确定为第一运动区域；
[0082]
将所述配准后的正常曝光图像中与所述第一运动区域对应的区域也确定为第一运动区域；
[0083]
将所述基准长曝光图像中第二绝对差之和大于等于第一预设阈值的像素表示的区域确定为第二运动区域；
[0084]
将所述配准后的长曝光图像中与所述第二运动区域对应的区域也确定为第二运动区域；
[0085]
对所述第一运动区域和所述第二运动区域进行空域降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像。
[0086]
其中，实施这种实施方式，在正常曝光图像和长曝光图像中可能存在各种的局部运动，例如非刚性形变等，因此可以先确定出正常曝光图像和长曝光图像中局部运动的运动区域，之后可以针对运动区域专门进行降噪，可以使针对正常曝光图像和长曝光图像的降噪效果更好。
[0087]
本发明实施例中，经过全局配准之后，正常曝光图像和长曝光图像还存在少量的运动区域，因此需要对运动区域进行时域图像降噪。
[0088]
以基准正常曝光图像i
m0
中的坐标(x，y)为例，i
′
m1
、i
′
m2
、i
′
m2
可以为配准后的正常曝光图像，基于坐标(x，y)选择5x5区域，计算i
m0
的坐标(x，y)的5x5区域与i
′
m1
、i
′
m2
、i
′
m2
的坐标(x，y)点的5x5区域的绝对差之和(summation of absolute difference，sad)：
[0089][0090]
然后根据给定的阈值判断该像素点是否在局部运动区域：
[0091][0092]
其中，thresh为第一预设阈值，若move(x,y)为0，则表示坐标(x，y)所在的区域没有运动，反之则坐标(x，y)所在的区域有局部运动。
[0093]
若该区域没有局部运动，那么进行时域叠加降噪，其计算公式为：
[0094][0095]
其中，当k＝0时，i
′
mk
＝i
m0
；
[0096]
若某区域存在局部运动，那么可以采用空域降噪，将其噪声水平近似降到与没有局部区域的噪声水平一致，空域降噪可以采用5x5区域的non-local-means算法。
[0097]
本发明实施例中，对配准后的正常曝光图像和配准后的长曝光图像进行降噪之后，可以得到一帧降噪后的正常曝光图像和一帧降噪后的长曝光图像；降噪后的正常曝光图像和降噪后的长曝光图像在中低亮区域的信噪比有了很大程度的提升，这将对于最终高动态范围成像图像的暗部图像质量有很大的提升。
[0098]
步骤s103、对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行修补，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像。
[0099]
本发明另一实施例中，为了使混合曝光的多帧图像更加完整，可以对运动区域进行修补，如图4所示，则上述步骤s103由以下步骤s401～步骤s407代替：
[0100]
步骤s401、基于所述短曝光图像对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行全局配准，得到配准后的超短曝光图像、配准后的正常曝光图像以及配准后的长曝光图像。
[0101]
作为一种可选的实施方式，步骤s401基于所述短曝光图像对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行全局配准，得到配准后的超短曝光图像、配准后的正常曝光图像以及配准后的长曝光图像的方式可以包括以下步骤：
[0102]
以所述短曝光图像的亮度值为基础，对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行亮度对齐，得到亮度对齐后的超短曝光图像、亮度对齐后的正常曝光图像以及亮度对齐后的长曝光图像；
[0103]
确定所述短曝光图像、所述亮度对齐后的超短曝光图像、所述亮度对齐后的正常曝光图像以及所述亮度对齐后的长曝光图像的orb特征；
[0104]
根据所述短曝光图像、所述亮度对齐后的超短曝光图像、所述亮度对齐后的正常曝光图像以及所述亮度对齐后的长曝光图像的orb特征，确定所述亮度对齐后的超短曝光图像、所述亮度对齐后的正常曝光图像以及所述亮度对齐后的长曝光图像的第三单应性矩阵；
[0105]
基于所述第三单应性矩阵和所述短曝光图像，对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行全局配准，得到配准后的超短曝光图像、配准后的正常曝光图像以及配准后的长曝光图像。
[0106]
其中，实施这种实施方式，可以以短曝光图像的亮度值为基础，将超短曝光图像、降噪后的正常曝光图像以及降噪后的长曝光图像进行亮度对齐，以使这四种类型的图像的亮度相互匹配，从而更好的将这四种类型的图像进行融合。
[0107]
本发明实施例中，由于超短曝光图像、短曝光图像、降噪后的正常曝光图像以及降噪后的长曝光图像的曝光值的差异导致不同图像在亮度上的差别很大，因此，可以将图像在亮度值上进行对齐。
[0108]
以短曝光图像的亮度值ev-1
为参考：
[0109][0110]
其中，sl表示超短曝光图像，l表示短曝光图像，m表示正常曝光图像，h表示长曝光图像。
[0111]
经过亮度对齐之后，可以通过八叉树对各图像进行划分，然后分别求其orb特征，记为orb
sl
,orb
l
,orbm，orbh，以短曝光图像为基准图像，利用标准ransac算法特征进行亮度对齐，以及可以估计不同图像之间的第三单应性矩阵。
[0112]
最后，可以使用bicubic插值算法对超短曝光图像、降噪后的正常曝光图像以及降噪后的长曝光图像进行全局配准，得到的配准后的超短曝光图像、配准后的正常曝光图像以及配准后的长曝光图像。
[0113]
步骤s402、根据所述短曝光图像、所述配准后的超短曝光图像、所述配准后的正常曝光图像以及所述配准后的长曝光图像中各个像素的像素值，得到所述短曝光图像中各个像素的第三绝对差之和。
[0114]
步骤s403、将所述短曝光图像中第三绝对差之和大于等于第二预设阈值的像素表示的区域确定为第三运动区域。
[0115]
本发明实施例中，如果第三绝对差之和大于等于第二预设阈值，可以认为该像素的亮度值过高，需要进行修补，因此可以将该像素表示的区域确定为第三运动区域，即第三运动区域需要进行图像修补。
[0116]
步骤s404、将所述短曝光图像中第三绝对差之和小于所述第二预设阈值且所述第三绝对差之和大于0的像素表示的区域确定为第四运动区域。
[0117]
本发明实施例中，如果第三绝对差之和小于第二预设阈值，可以认为该像素的亮度与全局的亮度不匹配，需要对该像素进行亮度对齐，因此可以将该像素表示的区域确定为第四运动区域，即第四运动区域需要进行亮度对齐。
[0118]
步骤s405、将所述配准后的超短曝光图像、所述配准后的正常曝光图像以及所述配准后的长曝光图像中与所述第三运动区域对应的区域也确定为第三运动区域。
[0119]
步骤s406、将所述配准后的超短曝光图像、所述配准后的正常曝光图像以及所述配准后的长曝光图像中与所述第四运动区域对应的区域也确定为第四运动区域。
[0120]
步骤s407、对所述第三运动区域进行像素值修补，以及对所述第四运动区域进行鬼影消除，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像。
[0121]
实施上述的步骤s401～步骤s407，在混合曝光的多帧图像中可能存在各种的局部运动对应的运动区域或者在高光区域中存在运动场景的运动区域，这种场景对应的运动区域通常没有相似的内容进行填充，因此需要对运动区域进行修补，以使混合曝光的多帧图像更加完整。
[0122]
本发明实施例中，像素值修补的方法可以为采用优先级计算的方法实现。具体的，可以获取位于第三运动区域的边缘处的图像块ψ
p
，该图像块ψ
p
可以以p点为中心，以及可以定义p点的优先级p(p)，其计算公式可以为：
[0123]
p(p)＝c(p)d(p)
[0124]
其中，c(p)为置信度项，d(p)为数据项，并且它们的定义如下：
[0125][0126][0127]
其中，|ψ
p
|指的是图像块ψ
p
中像素数，α为归一化因子，n
p
为边界δω上的法向量；优先级p(p)在所有的边界点的图像块上进行计算，对于置信度c(p)，在待填充区ω中，它的初始值为0，第三运动区域所在的图像的非填充区的初始值为1；
[0128]
在所有边界点的优先级全部计算完成之后，可以选择优先级最高的点做填充，假设优先级最高的点为以其为中心对应的小块区域为之后可以在第三运动区域所在的图像的非填充区搜索和它相似度最高的块，用相似度最高的块来填充该区块：
[0129][0130]
填充完成之后，可以把填充的点设置在非填充区中，更新全部优先级，找到最高优先级的点，继续填充，直至填充结束。
[0131]
步骤s104、对所述修补后的超短曝光图像、所述短曝光图像、所述修补后的正常曝光图像以及所述修补后的长曝光图像进行加权融合，得到融合图像。
[0132]
本发明实施例中，在对修补后的超短曝光图像、短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像进行加权融合之前，还可以对修补后的超短曝光图像、短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像进行亮度对齐。
[0133]
本发明实施例中，可以把每帧图像按照亮度等分为五等分，坐标分别为{d0,d1,d2,d3,d4,d5}。以超低曝图像为例，可以统计其在[d3,d5]区间的均值μ
l
与方差然后在(μ
l-3σ
l
,μ
l
+3σ
l
)区域的按照标准正态分布计算其权重ω
sl
，同理对于低曝在[d2,d4]区域计算权重ω
l
，中曝在[d1,d3]区域计算权重ωm，长曝在[d0,d2]区域计算权重ωh，于是对于像素点(x,y)，可以根据各图像计算的权重进行线性加权融合，其计算公式为：
[0134][0135]
步骤s105、根据所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像。
[0136]
本发明另一实施例中，为了得到的高动态范围图像的噪声方差更加稳定，可以基于预先构建的高斯-泊松分布表来实现降噪后的融合图像的逆方差稳定变换，如图5所示，则上述步骤s105由以下步骤s501～步骤s504代替：
[0137]
步骤s501、从预先构建的高斯-泊松分布表中获取所述融合图像的各个像素值分别对应的高斯-泊松分布参数。
[0138]
本发明实施例中，高斯-泊松分布表的构建方式可以为：对任一曝光图像按照图像亮度进行500段划分，假设最大像素值为pix_max，那么每一段的长为step＝pix_max/500，估计每个均值的[i*step-0.5*step,i*step+0.5*step]区间内像素点的方差，并画出该曝
光图像的均值-方差点对根据图像中的噪声方差对，将数据分为四段，分别采用最小二乘法估计这四段的高斯-泊松分布的参数(ai,bi)：
[0139][0140]
其中，a为泊松分布参数，b为高斯分布的参数，经过最小二乘参数估计，我们得到四组参数(ai,bi),i＝1,2,3,4；即得到高斯-泊松分布表。
[0141]
步骤s502、根据所述各个像素值和所述高斯-泊松分布参数，得到变换后的像素值。
[0142]
本发明实施例中，对融合图像的所有像素值，可以根据高斯-泊松分布表中的亮度分段，查找其高斯-泊松分布参数(ai,bi)，进行方差稳定变化，得到变换后的像素值，其变化公式为：
[0143][0144]
其中，s为变换之前的像素值，t为变换之后的像素值，μi为标定出来的高斯分布的均值，通常高斯分布的均值为0。
[0145]
步骤s503、根据预设的边缘权重以及所述变换后的像素值对所述融合图像进行降噪，得到降噪后的融合图像。
[0146]
本发明实施例中，可以通过加权导向滤波器对融合图像进行降噪，以使融合图像具有更好的边缘保持特性。
[0147]
具体的，可以对指导图像g进行分析，对于像素点p
′
,及其的3x3邻域ω1(p
′
)内的方差为于是对于整幅图像，可以得到如下的边缘指标：
[0148][0149]
其中ε为一个很小的参数，对外开放，为了防止边缘权重γg(p
′
)引起的图像的分片线性效应，可以对边缘权重γg(p
′
)做一个简单的高斯滤波；
[0150]
经过权重计算之后，可以借助图像权重分配，将权重引入导向滤波器，重新推导加权的导向滤波器：
[0151][0152]
得到其最优解为：
[0153][0154]bp
′
＝μ
x
(p
′
)-a
p
′
μg(p
′
)
[0155]
其中，
⊙
为两矩阵元素点对点相乘，
[0156]
借助加权导向滤波器对图像的各个亮度区域采用不同的去噪强度进行滤波，从而得到降噪之后的图像μ为均值，最终的滤波公式为：
[0157][0158]
这里的和为3x3窗内的a
p
和b
p
的均值；根据滤波公式对融合图像进行降噪滤波，得到降噪后的融合图像。
[0159]
步骤s504、对所述降噪后的融合图像进行逆方差稳定变换，得到高动态范围图像。
[0160]
本发明实施例中，逆方差稳定变换可以使用最优无偏方差稳定变换，对于每个像素点，其变换公式可以为：
[0161][0162]
实施上述的步骤s501～步骤s504，可以基于预先构建的高斯-泊松分布表来实现降噪后的融合图像的逆方差稳定变换，以使得到的高动态范围图像的噪声方差更加稳定。
[0163]
作为一种可选的实施方式，步骤s105之后还可以执行以下步骤：
[0164]
对所述高动态范围图像进行边缘保持滤波，得到所述高动态范围图像的基本结构层；
[0165]
根据所述高动态范围图像和所述基本结构，得到所述高动态范围图像的细节层；
[0166]
对所述基本结构层进行全局色调映射，得到基本结构图像；
[0167]
根据所述基本结构图像和所述细节层，得到全局色调映射图像；
[0168]
对所述全局色调映射图像进行局部色调映射，得到强对比度的高动态范围图像。
[0169]
其中，实施这种实施方式，可以先对高动态范围图像进行边缘保持滤波，并对高动态范围图像的基本结构层采用全局色调映射，将高动态范围图像的位宽降到目标位宽；经过局部色调映射，得到强对比度的高动态范围图像。
[0170]
本发明实施例中，高动态范围图像的数据位宽较高，目前的显示器通常使用8位的图像显示系统，此时，需要对高动态范围图像进行全局色调映射，将位宽降低至与显示系统的位宽一致，然而通过全局色调映射之后的图像在对比度上通常不够，还需要对其进行局部色调映射，增强图像的局部对比度。
[0171]
具体的，边缘保持滤波的方式可以为：
[0172]
为了保留高动态范围图像的细节、对比度以及保持防止高动态范围图像因为色调映射等引起的圆晕效应，对高动态范围图像进行边缘保持滤波，得到图像的基本结构层i
base
，边缘保持滤波可以为侧窗滤波器(sidewindowfilter)，该滤波器在进行滤波的同时具有很好的边缘保持特性，同时计算速度很快，其具体过程为：
[0173]
(1)选定s＝{0
°
,45
°
,90
°
,135
°
,180
°
,235
°
，270
°
,315
°
}八个方向；
[0174]
(2)在选定的八个方向的选择指定窗口大小，在窗口内进行盒子滤波(boxfiltering)；
[0175]
(3)在八个滤波结果里选择与待处理点误差最小的点作为滤波结果，即：
[0176][0177]
其中，in为在n∈s方向上的盒子滤波结果。并且可以将高动态范围图像与基本结构层相减，得到高动态范围图像的细节层i
detail
，即：
[0178][0179]
本发明实施例中，全局色调映射的方式可以为：对高动态范围图像的基本结构层采用全局色调映射，将图像的位宽降到目标位宽；全局色调映射计算公式可以为：
[0180][0181]
其中，i为i
base
，d为经过全局色调映射后的基本结构图像，d
max
为显示系统的最大像素值，d
min
为显示系统的最小像素值，τ通过对基本结构图像的自适应计算而来，用来自适应控制图像全局色调映射，τ的计算方法如下：
[0182]
(1)计算i
base
的log均值：
[0183][0184]
其中，n是高动态范围图像像素数，ε是一个很小的数，用防止高动态范围图像像素值为0时的计算；
[0185]
(2)计算用来控制图像亮度的k值
[0186][0187]
其中，a和b是经验值，分别设为0.4和2，于是k的取值范围是[0.2,0.8]；
[0188]
(3)计算τ，τ的公式为如下所示
[0189][0190]
可以通过数值求根方法(比如牛顿法)求解上述方程，便可以得到τ；进而得到经过全局色调映射的基本结构图像i
base-gtm
，然后将图像的细节叠加回来，得到全局色调映射图像，即
[0191]igtm
＝i
base-gtm
+i
detail
[0192]
本发明实施例中，局部色调映射的方式可以为：可以采用改进的基于retinex理论的局部色调映射算法，其步骤如下：
[0193]
(1)图像全局自适应计算：
[0194][0195]
其中，为log均值，其计算过程与全局色调映射中的log均值计算方法一致，在此不做赘述；
[0196]
(2)图像局部自适应计算映射：
[0197]il
(x,y)＝log(ig(x,y))-log(hg(x,y))
[0198]
其中，hg为对ig进行侧窗滤波的结果，即局部色调映射的结果为：
[0199][0200]
其中，α(x,y)为对比度控制因子，其计算公式为：
[0201][0202]
其中，η为控制参数，调节图像的对比度；β为非线性度控制参数，其计算公式为：
[0203][0204]
经过局部色调映射，可以得到强对比度的高动态范围图像，该强对比度的高动态范围图像能够方便显示系统进行显示，并且强对比度的的高动态范围图像具有很好的对比度。
[0205]
本发明能够通过对不同的曝光图像分别进行降噪和修补，实现针对图像中不同的区域的实际情况来分别进行降噪，避免出现过度降噪或部分区域降噪不足的问题，提升了图像的清晰度。此外，本发明还可以保证获取到混合曝光的多帧图像更加适合生成高动态范围图像。此外，本发明还可以使场景分类模型可以准确地根据输入的环境信息输出准确的曝光策略。此外，本发明还可以使得正常曝光图像中低亮度区域的误差控制更严格。此外，本发明还可以使得长曝光图像中低亮度区域的误差控制更严格。此外，本发明还可以有效提高正常曝光图像和长曝光图像暗部图像信号的信噪比。此外，本发明还可以使针对正常曝光图像和长曝光图像的降噪效果更好。此外，本发明还可以更好的将这四种类型的图像进行融合。此外，本发明还可以使混合曝光的多帧图像更加完整。此外，本发明还可以使得到的高动态范围图像的噪声方差更加稳定。此外，本发明还可以得到强对比度的高动态范围图像。
[0206]
在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的一种高动态范围的混合曝光成像装置进行说明，装置包括：
[0207]
获取单元601，用于获取混合曝光的多帧图像；其中，所述混合曝光的多帧图像至少包括超短曝光图像、短曝光图像、正常曝光图像以及长曝光图像；
[0208]
第一降噪单元602，用于对获取单元601获取的所述正常曝光图像和所述长曝光图像分别进行降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像；
[0209]
修补单元603，用于对获取单元601获取的以及第一降噪单元602得到的所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行修补，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像；
[0210]
融合单元604，用于对修补单元603得到的所述修补后的超短曝光图像、所述短曝光图像、所述修补后的正常曝光图像以及所述修补后的长曝光图像进行加权融合，得到融合图像；
[0211]
第二降噪单元605，用于根据融合单元604得到的所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像。
[0212]
作为一种可选的实施方式，所述混合曝光的多帧图像通过图像采集设备采集，获取单元601获取混合曝光的多帧图像的方式具体可以为：
[0213]
获取所述图像采集设备所处的当前环境；
[0214]
确定与所述当前环境匹配的曝光策略；
[0215]
根据所述曝光策略获取混合曝光的多帧图像。
[0216]
其中，实施这种实施方式，由于在不同的环境下，光线、动态范围都不尽相同，因此需要针对不同的环境设置不同的曝光策略，从而保证获取到混合曝光的多帧图像更加适合生成高动态范围图像。
[0217]
作为一种可选的实施方式，获取单元601还用于：
[0218]
获取训练数据集，所述训练数据集中至少包括环境信息及其对应的环境类别；
[0219]
基于所述训练数据集，对场景分类模型进行训练，得到训练后的场景分类模型；
[0220]
将所述当前环境输入所述场景分类模型，得到与所述当前环境匹配的曝光策略。
[0221]
其中，实施这种实施方式，可以根据获取到的大量的训练数据集对场景分类模型进行训练，以使场景分类模型可以准确地根据输入的环境信息输出准确的曝光策略。
[0222]
作为一种可选的实施方式，所述正常曝光图像和所述长曝光图像的数量均为多帧，第一降噪单元602对所述正常曝光图像和所述长曝光图像分别进行降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像的方式具体可以为：
[0223]
从多帧所述正常曝光图像中选取一帧基准正常曝光图像；
[0224]
从多帧所述长曝光图像中选取一帧基准长曝光图像；
[0225]
根据所述基准正常曝光图像，确定多帧所述正常曝光图像中除所述基准正常曝光图像之外的正常曝光图像的第一单应性矩阵；
[0226]
根据所述基准长曝光图像，确定多帧所述长曝光图像中除所述基准长曝光图像之外的长曝光图像的第二单应性矩阵；
[0227]
基于所述第一单应性矩阵和所述基准正常曝光图像，对所述正常曝光图像中除所述基准正常曝光图像之外的正常曝光图像进行配准，得到配准后的正常曝光图像；
[0228]
基于所述第二单应性矩阵和所述基准长曝光图像，对所述长曝光图像中除所述基准长曝光图像之外的长曝光图像进行配准，得到配准后的长曝光图像；
[0229]
对所述正常曝光图像中的第一运动区域、所述配准后的正常曝光图像中的第一运动区域、所述长曝光图像中的第二运动区域以及所述配准后的长曝光图像中的第二运动区域进行空域降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像。
[0230]
其中，实施这种实施方式，由于正常曝光图像和长曝光图像通常亮部过曝，有效内容有限，且有效内容主要集中在暗部，因此，对正常曝光图像和长曝光图像进行多帧叠加降噪能够有效提高二者暗部图像信号的信噪比。
[0231]
作为一种可选的实施方式，第一降噪单元602根据所述基准正常曝光图像，确定多帧所述正常曝光图像中除所述基准正常曝光图像之外的正常曝光图像的第一单应性矩阵的方式具体可以为：
[0232]
确定所述基准正常曝光图像和多帧所述正常曝光图像中除所述基准正常曝光图像之外的目标正常曝光图像的orb特征；
[0233]
根据所述基准正常曝光图像的orb特征和各个所述目标正常曝光图像的orb特征，
确定各个所述目标正常曝光图像的第一单应性矩阵。
[0234]
其中，实施这种实施方式，单应性矩阵刻画了两幅图像之间的全局空间位置关系，包括平移、旋转、缩放，等仿射关系，由于正常曝光图像用于高动态范围成像的像素区域主要是中低亮度区域，因此我们在单应性矩阵计算的误差公式中，可以将中低亮度区域像素值误差赋予更高的权重，使得正常曝光图像的中低亮度区域的误差控制更严格。
[0235]
作为一种可选的实施方式，第一降噪单元602根据所述基准长曝光图像，确定多帧所述长曝光图像中除所述基准长曝光图像之外的长曝光图像的第二单应性矩阵的方式具体可以为：
[0236]
确定所述基准长曝光图像和多帧所述长曝光图像中除所述基准长曝光图像之外的目标长曝光图像的orb特征；
[0237]
根据所述基准长曝光图像的orb特征和所述目标长曝光图像的orb特征，确定各个所述目标长曝光图像的第二单应性矩阵。
[0238]
其中，实施这种实施方式，单应性矩阵刻画了两幅图像之间的全局空间位置关系，包括平移、旋转、缩放，等仿射关系，由于长曝光图像用于高动态范围成像的像素区域主要是中低亮度区域，因此我们在单应性矩阵计算的误差公式中，可以将中低亮度区域像素值误差赋予更高的权重，使得长曝光图像中低亮度区域的误差控制更严格。
[0239]
作为一种可选的实施方式，第一降噪单元602对所述正常曝光图像中的第一运动区域、所述配准后的正常曝光图像中的第一运动区域、所述长曝光图像中的第二运动区域以及所述配准后的长曝光图像中的第二运动区域进行空域降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像的方式具体可以为：
[0240]
根据所述基准正常曝光图像中各个像素的像素值以及所述配准后的正常曝光图像中各个像素的像素值，得到所述基准正常曝光图像中各个像素的第一绝对差之和；
[0241]
根据所述基准长曝光图像中各个像素的像素值以及所述配准后的长曝光图像中各个像素的像素值，得到所述基准长曝光图像中各个像素的第二绝对差之和；
[0242]
将所述基准正常曝光图像中第一绝对差之和大于等于第一预设阈值的像素表示的区域确定为第一运动区域；
[0243]
将所述配准后的正常曝光图像中与所述第一运动区域对应的区域也确定为第一运动区域；
[0244]
将所述基准长曝光图像中第二绝对差之和大于等于第一预设阈值的像素表示的区域确定为第二运动区域；
[0245]
将所述配准后的长曝光图像中与所述第二运动区域对应的区域也确定为第二运动区域；
[0246]
对所述第一运动区域和所述第二运动区域进行空域降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像。
[0247]
其中，实施这种实施方式，在正常曝光图像和长曝光图像中可能存在各种的局部运动，例如非刚性形变等，因此可以先确定出正常曝光图像和长曝光图像中局部运动的运动区域，之后可以针对运动区域专门进行降噪，可以使针对正常曝光图像和长曝光图像的降噪效果更好。
[0248]
作为一种可选的实施方式，修补单元603对所述超短曝光图像、所述降噪后的正常
曝光图像以及所述降噪后的长曝光图像进行修补，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像的方式具体可以为：
[0249]
基于所述短曝光图像对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行全局配准，得到配准后的超短曝光图像、配准后的正常曝光图像以及配准后的长曝光图像；
[0250]
根据所述短曝光图像、所述配准后的超短曝光图像、所述配准后的正常曝光图像以及所述配准后的长曝光图像中各个像素的像素值，得到所述短曝光图像中各个像素的第三绝对差之和；
[0251]
将所述短曝光图像中第三绝对差之和大于等于第二预设阈值的像素表示的区域确定为第三运动区域；
[0252]
将所述短曝光图像中第三绝对差之和小于所述第二预设阈值且所述第三绝对差之和大于0的像素表示的区域确定为第四运动区域；
[0253]
将所述配准后的超短曝光图像、所述配准后的正常曝光图像以及所述配准后的长曝光图像中与所述第三运动区域对应的区域也确定为第三运动区域；
[0254]
将所述配准后的超短曝光图像、所述配准后的正常曝光图像以及所述配准后的长曝光图像中与所述第四运动区域对应的区域也确定为第四运动区域；
[0255]
对所述第三运动区域进行像素值修补，以及对所述第四运动区域进行鬼影消除，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像。
[0256]
其中，实施这种实施方式，在混合曝光的多帧图像中可能存在各种的局部运动对应的运动区域或者在高光区域中存在运动场景的运动区域，这种场景对应的运动区域通常没有相似的内容进行填充，因此需要对运动区域进行修补，以使混合曝光的多帧图像更加完整。
[0257]
作为一种可选的实施方式，修补单元603基于所述短曝光图像对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行全局配准，得到配准后的超短曝光图像、配准后的正常曝光图像以及配准后的长曝光图像的方式具体可以为：
[0258]
以所述短曝光图像的亮度值为基础，对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行亮度对齐，得到亮度对齐后的超短曝光图像、亮度对齐后的正常曝光图像以及亮度对齐后的长曝光图像；
[0259]
确定所述短曝光图像、所述亮度对齐后的超短曝光图像、所述亮度对齐后的正常曝光图像以及所述亮度对齐后的长曝光图像的orb特征；
[0260]
根据所述短曝光图像、所述亮度对齐后的超短曝光图像、所述亮度对齐后的正常曝光图像以及所述亮度对齐后的长曝光图像的orb特征，确定所述亮度对齐后的超短曝光图像、所述亮度对齐后的正常曝光图像以及所述亮度对齐后的长曝光图像的第三单应性矩阵；
[0261]
基于所述第三单应性矩阵和所述短曝光图像，对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行全局配准，得到配准后的超短曝光图像、配准后的正常曝光图像以及配准后的长曝光图像。
[0262]
其中，实施这种实施方式，可以以短曝光图像的亮度值为基础，将超短曝光图像、降噪后的正常曝光图像以及降噪后的长曝光图像进行亮度对齐，以使这四种类型的图像的
亮度相互匹配，从而更好的将这四种类型的图像进行融合。
[0263]
作为一种可选的实施方式，第二降噪单元605根据所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像的方式具体可以为：
[0264]
从预先构建的高斯-泊松分布表中获取所述融合图像的各个像素值分别对应的高斯-泊松分布参数；
[0265]
根据所述各个像素值和所述高斯-泊松分布参数，得到变换后的像素值；
[0266]
根据预设的边缘权重以及所述变换后的像素值对所述融合图像进行降噪，得到降噪后的融合图像；
[0267]
对所述降噪后的融合图像进行逆方差稳定变换，得到高动态范围图像。
[0268]
其中，实施这种实施方式，可以基于预先构建的高斯-泊松分布表来实现降噪后的融合图像的逆方差稳定变换，以使得到的高动态范围图像的噪声方差更加稳定。
[0269]
作为一种可选的实施方式，第二降噪单元605还用于：
[0270]
在根据所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像之后，对所述高动态范围图像进行边缘保持滤波，得到所述高动态范围图像的基本结构层；
[0271]
根据所述高动态范围图像和所述基本结构，得到所述高动态范围图像的细节层；
[0272]
对所述基本结构层进行全局色调映射，得到基本结构图像；
[0273]
根据所述基本结构图像和所述细节层，得到全局色调映射图像；
[0274]
对所述全局色调映射图像进行局部色调映射，得到强对比度的高动态范围图像。
[0275]
其中，实施这种实施方式，可以先对高动态范围图像进行边缘保持滤波，并对高动态范围图像的基本结构层采用全局色调映射，将高动态范围图像的位宽降到目标位宽；经过局部色调映射，得到强对比度的高动态范围图像。
[0276]
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图7对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图7，其示出的计算机可读存储介质为光盘70，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取混合曝光的多帧图像；其中，所述混合曝光的多帧图像至少包括超短曝光图像、短曝光图像、正常曝光图像以及长曝光图像；对所述正常曝光图像和所述长曝光图像分别进行降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像；对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行修补，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像；对所述修补后的超短曝光图像、所述短曝光图像、所述修补后的正常曝光图像以及所述修补后的长曝光图像进行加权融合，得到融合图像；根据所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像；各步骤的具体实现方式在此不再重复说明。
[0277]
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
[0278]
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图8对本发明示例性实施方式的用于高动态范围的混合曝光成像的计算设备。
[0279]
图8示出了适于用来实现本发明实施方式的示例性计算设备80的框图，该计算设
备80可以是计算机系统或服务器。图8显示的计算设备80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0280]
如图8所示，计算设备80的组件可以包括但不限于：一个或者多个处理器或者处理单元801，系统存储器802，连接不同系统组件(包括系统存储器802和处理单元801)的总线803。
[0281]
计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0282]
系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，rom8023可以用于读写不可移动的、非易失性磁介质(图8中未显示，通常称为“硬盘驱动器”)。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0283]
具有一组(至少一个)程序模块8024的程序/实用工具8025，可以存储在例如系统存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本发明所描述的实施例中的功能和/或方法。
[0284]
计算设备80也可以与一个或多个外部设备804(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(i/o)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块(如处理单元801等)通信。应当明白，尽管图8中未示出，可以结合计算设备80使用其它硬件和/或软件模块。
[0285]
处理单元801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如，获取混合曝光的多帧图像；其中，所述混合曝光的多帧图像至少包括超短曝光图像、短曝光图像、正常曝光图像以及长曝光图像；对所述正常曝光图像和所述长曝光图像分别进行降噪，得到降噪后的正常曝光图像和降噪后的长曝光图像；对所述超短曝光图像、所述降噪后的正常曝光图像以及所述降噪后的长曝光图像进行修补，得到修补后的超短曝光图像、修补后的正常曝光图像以及修补后的长曝光图像；对所述修补后的超短曝光图像、所述短曝光图像、所述修补后的正常曝光图像以及所述修补后的长曝光图像进行加权融合，得到融合图像；根据所述融合图像的亮度对所述融合图像进行降噪，得到高动态范围图像。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了高动态范围的混合曝光成像装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0286]
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0287]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0288]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0289]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0290]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0291]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0292]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
[0293]
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0294]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的产品实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见系统实施例的部分说明即可。
[0295]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。