图像多帧融合的方法、装置、电子设备及存储介质与流程

1.本说明书中实施方式关于计算机图形学，尤其涉及一种图像多帧融合的方法、装置、电子设备及存储介质。


背景技术：

2.在拍摄图像时，当环境中动态范围过大时，例如存在复杂光源或背光场景的情况；由于手机端传感器模组的精度等原因，无法总是捕捉到图像的全部动态范围，特别是在夜间场景下。因此，在图像生成的过程中，为了保证生成图像的质量总是维持在一个可接受范围内，总是将图像的动态范围保持在低动态范围，以此保证可以抓取大部分的场景信息，从而会舍弃图像中的部分高光或低光信息，导致了人眼视觉与照片的差异性。为了保证在夜间的图像采集总是能够具有良好的视觉效果，使用多张不同曝光的图像融合成为了首要的选择。
3.但是，多帧曝光图像的融合会面临着较大的挑战，例如运动场景、光晕、对比度压缩等。在图像融合的过程中，可能会生成的光晕，还有可能会使高亮区域被进一步放大；光源周围的既存的光晕也不能被有效消除。


技术实现要素：

4.本说明书中多个实施方式提供一种图像多帧融合的方法、装置、电子设备及存储介质，在图像融合过程中，使用光源扩散权重的方式为图像引入局部信息，使融合后图像具有更高的动态范围和更低的光晕。
5.本说明书的一个实施方式提供一种图像多帧融合的方法，包括：
6.基于图像中曝光锐度最高的一帧进行图像对齐；图像对齐包括提取图像每一帧的特征点，使图像每一帧都具有同样的空间布局；
7.基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；
8.基于融合区域，对每一帧不同曝光度的图像进行融合；图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；
9.将融合图像压缩至预先设定的动态范围区间。
10.本说明书的一个实施方式提供一种图像多帧融合的装置，包括：
11.获取模块，用于基于图像中曝光锐度最高的一帧进行图像对齐；图像对齐包括提取图像每一帧的特征点，使图像每一帧都具有同样的空间布局；
12.计算模块，用于基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；
13.融合模块，用于基于融合区域，对每一帧不同曝光度的图像进行融合；图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；
14.映射模块，用于将融合图像压缩至预先设定的动态范围区间。
15.本说明书的一个实施方式提供一种电子设备，包括存储器、处理器及存储在存储
器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的方法。
16.本说明书的一个实施方式提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述任一所述方法。
17.本说明书提供的多个实施方式，通过在图像融合过程中，使用光源扩散权重的方式为图像引入局部信息，使融合后图像具有更高的动态范围和更低的光晕。
附图说明
18.为了更清楚地说明本说明书实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本说明书的一个实施方式提供的图像多帧融合的方法流程图；
20.图2为本说明书的一个实施方式提供的图像多帧融合的装置示意图；
21.图3为本说明书的一个实施方式提供的图像融合权重计算示意图；
22.图4为本说明书的一个实施方式提供的图像光源扩散权重计算示意图；
23.图5为本说明书的一个实施方式提供的图像人像检测示意图；
24.图6为本说明书的一个实施方式提供的图像融合示意图；
25.图7为本说明书的一个实施方式提供的图像增强示意图。
具体实施方式
26.下面将结合本说明书中的附图，对本本说明书提供的实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是一部分实施方式，而不是全部的实施方式。基于本说明书提供的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
27.在拍摄图像时，当环境中动态范围过大时，例如存在复杂光源或背光场景的情况；由于手机端传感器模组的精度等原因，无法总是捕捉到图像的全部动态范围，特别是在夜间场景下。因此，在图像生成的过程中，为了保证生成图像的质量总是维持在一个可接受范围内，总是将图像的动态范围保持在低动态范围，以此保证可以抓取大部分的场景信息，从而会舍弃图像中的部分高光或低光信息，导致了人眼视觉与照片的差异性。为了保证在夜间的图像采集总是能够具有良好的视觉效果，使用多张不同曝光的图像融合成为了首要的选择。
28.但是，多帧曝光图像的融合会面临着较大的挑战，例如运动场景、光晕、对比度压缩等。在图像融合的过程中，可能会生成的光晕，还有可能会使高亮区域被进一步放大；光源周围的既存的光晕也不能被有效消除。
29.有鉴于此，本说明书提供了一种图像多帧融合的方法、装置、电子设备及存储介质。
30.请参阅图1。本说明书实施方式提供一种图像多帧融合的方法，可以包括以下步骤。
31.s101：基于图像中曝光锐度最高的一帧进行图像对齐；所述图像对齐包括提取所述图像每一帧的特征点，使所述图像每一帧都具有同样的空间布局。
32.本实施方式中，对输入的所有图像进行曝光后，再对所有不同曝光度的图像进行锐度检测；锐度是影响图像质量的最重要的因素，它决定了一个图像系统重现图像细节的数量。锐度由不同色度或颜色区域的边界决定。在进行锐度检测后，找到曝光锐度最高的一帧图像，并以这张图像为基准进行图像对齐；即提取图像每一帧的特征点，对图像每一帧的特征点集进行匹配，得到最优匹配，再利用仿射变换/透视变换等优化图像每一帧之间的对应关系，从而求得变换参数，最终可利用最优化参数，使图像每一帧都具有同样的空间布局；来保证空间一致性，防止因为相机抖动等外在原因导致融合过程中产生重影，从而降低图像的质量；为图像融合做好基础。其中，锐度检测的方法包括10/90上升距离法(10-90％rise distance technique)，相对对比度(输出对比度/输入对比度)，频域法和斜边法。本实施方式中，锐度检测的方法不做限定，可以根据需求选用不同的锐度检测的方法。
33.示例性的，基于图像中曝光锐度最高的一帧进行图像对齐后，还可以包括：检测图像对齐后的每一帧不同曝光度的图像间的运动物体；将每一帧不同曝光度的图像映射至同一亮度区间；计算不同帧之间的差异性，找到每一帧不同曝光度的图像中的干扰区域。
34.具体的，在对输入的图像进行图像对齐后，需要检测每一帧不同曝光度的图像间的运动物体；使用背景差方法检测运动目标时，在曝光后的图像中经常会出现干扰区域，也可以称之为鬼影区域。在大多数高动态范围成像技术中，都需要拍摄的目标场景保持静止。一旦场景在拍摄的过程中发生任何改变，或是有运动物体闯入，最后得到的融合图像中都会在运动区域出现模糊或半透明的影像，一般称之为“鬼影”。当对背景初始化建模时，运动目标可能处于背景中，它们运动后会产生鬼影；另一种情况，当场景中运动目标由运动变成静止后，再开始运动，也会产生鬼影。其他类似鬼影的情况是背景中遗留的物体，或者停止运动的运动目标。考虑到不同图像曝光的差异性，使用动态选帧的方式保证输入图像亮度；可以使用直方图映射的方式将不同曝光的图像映射至同一亮度区间，然后再计算不同帧之间的差异性，找到图像每一帧的曝光图像中的鬼影区域；当拍摄场景中的物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动，从而寻找鬼影区域。
35.s102：基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域。
36.示例性的，所述步骤s102，具体包括，以亮度为基准计算图像每一帧的融合权重，将光源区域处曝光度高的图像的权重分配给曝光度低的图像。
37.本实施方式中，如图3所示，依据多帧曝光图像，可以将多帧曝光图像的最大rgb和灰度作为联合输入亮度级数，然后以联合输入亮度级数作为基准，对不同曝光的可用区间进行划分；计算每一个曝光后的图像的融合权重，同时在计算全局权重中引入空间域的局部亮度扩散权重信息，能有效的抑制光晕的出现。多帧曝光图像是利用三张及以上的同一场景的不同曝光度的图像，在图像变换域或空间域进行一些图像处理操作，融合成一张清晰度高的、颜色细节丰富的图像。
38.在多帧曝光图像的融合中，仅仅考虑全局的信息来处理图像会难以平衡图像的对比度，并且容易出现引入光晕等情况。因此，需要在处理的过程中引入局部信息对高亮区域
等难处理区域进行保护或特殊处理。所以光源扩散权重可以在计算权重或映射等后处理过程中对光源区域进行特别处理，以达到降低光晕、提高图像全局对比度。
39.可以使用基于导向滤波模拟光源扩散模型，来计算光源扩散权重。如图4所示，在输入多帧曝光图像后，需要定位光源的位置；光源与反射物体最大的差别是：光源属于自发光物体，明亮且不易受到环境亮度的影响；因此短曝光拍摄同样可以使传感器得到较高的响应；因此，在检测光源的过程中，使用最大池化和切割光掩膜来获取主图像，即在最短的曝光图像中截取达到阈值且最明亮的部分作为我们的光源；其中，阈值可以根据具体的曝光比进行调整。由于拍摄照片受到环境的限制，同一个光源在不同的大气环境下具有不同的光晕扩散表征；相应的，更长时间的曝光能够从某种程度上表征当前场景下的光源发散能力；另一方面，融合过程中在低频部分引入过多光源部分的高亮区间也会放大光晕；因此可以根据需求选择一张与输入图像形态接近的，具有更长曝光的图像作为引导图像，使用它的亮度信息来引导光源向外扩散的方向和力度；在扩散的过程中，在空间域上与光源更接近，以及在亮度上与光源亮度级数更接近的方向，将获得更大的扩散力度，通过多次迭代即可得到一张光源的扩散图像(light diffusion map)。鉴于光源扩散的平滑特性，这些计算可以在降采样后的小图上完成，从而减少计算时间。通常所说的采样指的是下采样，也叫降采样，是对信号的抽取。上采样和下采样都是对数字信号进行重采，重采的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较，大于原信号的称为上采样，小于原信号的称为下采样；上采样是下采样的逆过程。计算光源扩散权重的方法不仅限于上述所使用的方法，可以根据需求选择不同的计算方法。
40.为了满足整幅图像不同区域均具有更好的视觉呈现，不会被场景中的光源等因素影响；需要从不同曝光的图像中选择最合适的区域来进行融合；在这里综合采用亮度信息、颜色信息和空间域的局部信息进行调整，以达到给局部区域选择最合适的曝光后的图像；在权重计算中，主要会基于图像的亮度信息和相关色彩信息选择最适合的多曝光融合区域。在像素级的权重计算中，由于输入图像临近曝光差异比较近，这样就会存在超过一帧图像处于合适的亮度区间内；在这种场景下，我们会在权重的分配中引入颜色信息作为参考，对颜色更鲜艳的曝光给与更多的支持。此外，使用单一的灰度图作为计算权重的标准，会因为灰度图的生成方式影响具有单一颜色的物体权重分配的公平性。有鉴于此，如图3所示，参与计算的亮度信息改为由灰度图和亮通道图像协同构成，其中亮通道图像通过rgb色彩空间中像素点rgb最大通量生成；因为灰度图的计算规则使先验的颜色亮度信息总是不同程度的低于真实的场景亮度，而加入色彩信息可以使我们融合后的图像的颜色总是保持鲜艳，并且与自然图像高度一致，防止出现因为权重的分配而导致的融合图像颜色低饱和的情况；其次，在计算权重的过程中引入了空间域的局部的亮度扩散信息，主要利用光源扩散图像来使光源局部区域的权重分配阈值更低，具体的执行方式可以用公式表示，为由公式(1)转变为公式(2)：
41.w＝(y-y
low
)/(y
high-y
low
)，y
high
》y》y
low
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
42.w＝(y-y
p_low
)/(y
p_high-y
p_low
)，y
p_high
》y》y
p_low
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
43.y
p_low
＝y
low-a，y
p_high
＝y
high-a
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
44.其中，在公式(1)中，w为图像融合权重，y为图像明亮度，y
high
为图像高明亮度，y
low
为图像低明亮度；在公式(2)和公式(3)中，w为由灰度图和亮通道图像协同构成后计算出的
图像融合权重，y为由灰度图和亮通道图像协同构成后的图像明亮度，y
p_low
为由灰度图和亮通道图像协同构成后的图像低明亮度，y
p_high
为由灰度图和亮通道图像协同构成后的图像高明亮度；a表示像素点级别光源扩散权重。在常规的权重计算中，低于y
low
时权重全部分配给当前帧，高于y
high
时不分配权重给当前帧，它们在全局是一个常数。
45.s103：基于所述融合区域，对每一帧不同曝光度的图像进行融合；所述图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像。
46.示例性的，所述步骤s103，具体包括，使用基于拉普拉斯金字塔融合的方法对每一帧不同曝光度的图像进行融合。
47.本实施方式中，使用基于拉普拉斯金字塔融合的方法，将每一帧不同曝光度的图像进行融合；主要是通过亮度或细节等分量计算不同曝光的图像的融合区域mask(掩膜)，然后将多帧曝光图像在不同尺度下以拉普拉斯算子分离高频，然后融合的方式得到一幅各个块过渡自然的融合图像；基于拉普拉斯金字塔实现不同曝光的图像的最优选择区域平滑过度；其中，掩膜是用选定的图像，图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程；用于覆盖的特定图像或物体。
48.在基于拉普拉斯金字塔融合的基础上，添加了受局部空间域信息关联的“光源扩散权重”的计算，旨在利用空间域的局部光源信息在融合和后处理中施加影响，使图像在处理过程中拥有更小的光晕和更高的对比度；所述光源扩散权重在上述的实施方式中已经说明，在此不做赘述。
49.通过多幅同场景不同曝光的图像，来合成一张高动态范围的照片是恢复图片动态范围的主流做法。并不仅限于使用基于拉普拉斯金字塔融合的方法，还可以使用其他多曝光融合算法包括基于物理曝光比的高动态范围图像合成，基于块的结构分解算法，基于泊松融合的多曝光融合算法等。其中，在基于曝光比的高动态范围图像合成中，主要方式是将不同曝光的图像，依据原始曝光比例在过度曝光的像素点填上适合的值，然后将其映射在既定的范围内；基于块分解的方法主要是将图像的结构信息分解为不同的模块，例如颜色，信号强度，信号结构等，然后对不同的模块分别进行融合，最后将它们合并为一幅彩色图像；基于泊松融合的算法是对高亮区域在平滑过渡和边缘保留的基础上将低曝光同区域信息贴回。
50.在一个可行的实施方式中，基于所述融合区域，对每一帧不同曝光度的图像进行融合后，还包括：检测是否存在人像和/或人像所在的区域，若存在所述人像和/或所述人像所在的区域，则对人像进行保护，使人像亮度保持在合适的范围。
51.本实施方式中，当人像亮度在场景的整个动态范围中处于较低位置时(在有灯光的夜景场景中经常发生)，采用拉普拉斯多曝光融合的结果往往表现出人像偏暗的现象，图像观感极为不佳，因此存在人像场景时我们有必要对人像进行保护，保持人像亮度在合适的范围。所以如图5所示，首先需要检测出是否存在人像及其所在区域，若需要更精细的处理，则还需要对人像部分进行单独的分割。所以使用基于mobilenet v2作为主干结构的pfld人脸检测模型能够快速的检测出人像所在区域，以及使用基于u-net的分割网络能够对人像区域进行精准的分割；pfld人脸检测模型可以自动定位一组预定义的人脸基准点(比如眼角点、嘴角点)，监测精度高，处理速度快；u-net分割网络是一个基于cnn的图像分割网络，主要用于医学图像分割上，网络最初提出时是用于细胞壁的分割，之后在肺结节检
测以及眼底视网膜上的血管提取等方面都有着出色的表现；所以使用基于u-net的分割网络可以对人像区域进行精准分割。
52.示例性的，所述检测是否存在人像和/或人像所在的区域，若存在所述人像和/或所述人像所在的区域，则对人像进行保护，使人像亮度保持在合适的范围的步骤包括，通过使用人工智能人脸检测来检测所述人像和/或所述存在人像的区域，通过人像部分的前后亮度变化来计算gamma映射曲线，使人像亮度在融合后保持在合适的范围。它能够始终保证人脸亮度在融合后处于一个良好的区间内，具有以较小的计算量保持人脸亮度舒适的优点。还可以使用ai人像抠图，用前景背景分块gamma映射融合；主要通过分别计算前景和背景不同的映射曲线，使人像始终处于一个舒适区间，同时保证背景的正常映射；它具较高的精度，将人像和背景分开处理能够更精细的处理人像，同时使背景正常的映射；因此，该方式能够精准的使人像的细节、颜色、亮度均得到很好的保护，不会影响背景的正常映射。通过上述方式可以有效的对人脸进行保护。其中，gamma曲线是一种特殊的色调曲线，在0-1的区间中，当gamma值等于1的时候，输入和输出信号是线性对应的，输入等于输出，信号没有“失真”；当gamma大于1时，输出的信号总小于输入的信号，大于1的gamma值会把输入信号失真的更小，输出亮度会比预期的更暗。当gamma小于1时，输出的信号总大于输入的信号，小于1的gamma值会使输出的亮度更亮。对人脸进行保护的方式不仅限于此，还可以根据需求使用其他人脸保护的方式。
53.s104：将所述融合图像压缩至预先设定的动态范围区间。
54.本实施方式中，首先使用多条不同的曲线映射出主要部分、高亮部分和黑暗部分；其次，考虑局部空间信息对两幅映射图像进行像素级的y值融合；最后，将颜色以主帧的颜色为基准，以其拉普拉斯金字塔融合权重作为mask，对图像正常亮度区间进行色彩的矫正，保证融合前后颜色的一致性；将融合后的高动态范围图像压缩至指定的动态范围区间内，最终得到一幅具有更高动态范围的高质量图像。yuv是一种颜色编码方法，是编译true-color颜色空间(color space)的种类，常使用在各个视频处理组件中。yuv在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。其中的“y”表示明亮度，也就是灰阶值，即黑到白的范围值，所以只有y值的图像，是黑白的；“u”表示色彩值，“v”表示色彩的饱和度，“u”“v”用于指定像素的颜色。
55.若因为融合的原因超过了既定的动态范围图像，则需要压缩至给出的范围内。由于在整幅图像中不同区域的亮度分布也不同，而过多的依赖全局信息，会因为过高的动态范围压缩至一个固定且较小的范围内，使压缩后的图像整体对比度趋近于平坦化；因此在这个部分，我们会更加充分的考虑空间域的局部信息使局部对比度尽可能不被压缩。如图6所示，首先，我们将高动态范围图像的全局动态范围切割多个区间并映射，例如：主要显示区间和突出显示区等；突出显示区可以包括高亮显示区间和黑暗显示区间等；主要显示区间会将直方图中两端的信息切割，使用斜线映射，主要保证亮度正常区域对比度信息不被过多的压缩；为保证高亮区域和黑暗区域的信息和对比度不会被压缩，我们可以选择使用大于1和小于1的gamma曲线进行映射。人眼对亮度的感知特性符合gamma曲线，即对暗区的变化较敏感，对亮区的变化较迟钝。图像在采集和编码的时候会丢失部分数据，通过提升位宽和符合人眼曲线的编码形式(即，倒gamma)可以降低数据丢失对图像质量的影响。
56.在映射的过程中，为了更好的处理光源附近的动态范围和光晕，以及高光细节；可
以使用光源扩散图像，该光源扩散图像会从光源处开始向外扩散，依据空间域的邻近像素亮度信息，使邻近越明亮的区域越容易扩散；相应的，在我们的多条曲线映射的图像融合过程中，会将这个扩散图像作为我们的融合权重基准之一；对于光源的部分，将更多的使用主要显示区间图像的信息；越靠近光源部分，会越多的使用更多的高亮显示区间信息；这样使用主图像、光源扩散图像和突出显示图像相融合的方式，可以得到一幅具有更高动态范围的图像；这样引入空间域局部信息的融合，在映射过程中具有防止局部动态范围被压缩、提高图像对比度以及压制光晕的优点。
57.在一个可行的实施方式中，将所述融合图像压缩至预先设定的动态范围区间后，还包括：使用图像增强方法，使每一帧不同曝光度的图像不同区域的局部亮度相互接近。
58.本实施方式中，为了有针对性的处理输入图中可能存在的光晕或光雾，可以使用基于retinex思想的后处理光晕技术；retinex是一种常用的建立在科学实验和科学分析基础上的图像增强方法；其主要作用是将图像不同区域的局部亮度信息调整至接近的程度；基于这个作用，可以使用负片图像和retienx处理的模式将可能存在光雾的区域的亮度拉低至与正常区域尽可能一致的程度，从而达到压制光雾的目的。具体的，如图7所示，首先获得yuv图像中的y图像的负片；负片是经曝光和显影加工后得到的影像，其明暗与被摄体相反，其色彩则为被摄体的补色，它需经印放在照片上才还原为正像；拿黑白的片子来说，在负片的胶片上人的头发是白的，实际上白色的衣服在胶片上是黑色的；彩色的胶片，胶片上的颜色与实际的景物颜色正好是互补的，如：实际是红色的衣服在胶片上是青色的；其次对负片图像估计照度，并基于照度图像对负片图像分离照度；照度是指单位面积上所接受可见光的能量，用于指示光照的强弱和物体表面积被照明程度的量；最终将分离照度后的负片图像恢复正常的y域，再将uv值对应的等比例映射后，就可以将图像不同区域的局部亮度信息调整至接近的程度。
59.在retinex照度图像的计算中，为了更加的有针对性的压制存在光晕的图像，可以使用形态学闭操作平滑图像，同时还可以覆盖掉一些较暗的信息；闭操作为先膨胀后腐蚀，具有填充物体内细小空洞，连接邻近物体和平滑边界的作用；在负片的场景下，存在光晕区域的局部亮度信息是比较平且暗的，这也意味着这些地方几乎不会过多的受到闭操作的影响；而其他区域在形态学计算后会更多的趋近于[0，1]区间的1。这样也使我们能够有效的分离光晕区域和非光晕区域。此外，不可避免的，闭操作的边缘不会总是与自然边缘一致而产生人造痕迹，因此可以使用导向滤波对人造痕迹进行修正；导向滤波主要用于图像增强、图像融合、图像去雾、图像去噪、羽化、美颜和三维重建等，而且其处理图像的速度快，效率高。
[0060]
通过上述可以看出，本说明书实施方式提供的一种图像多帧融合的方法，通过多张相同场景的不同曝光度的图像的融合，而且在图像融合的过程中，使用光源扩散权重的方式为图像引入局部信息，使图像具有更高的动态范围和更低的光晕，使图像更具美学，质量更高；此外，使用retinex技术后处理图像，在保证图像对比度的基础上，进一步降低了输入图像的光晕，特别是输入图像中存在光雾时，进一步提高了光晕压制的效果和稳定性；通过使用动态选帧的方式保证输入图像亮度；使用短曝光的亮处和长曝光的暗处mask来计算融合后图像的直方图两端切割阈值，保证最佳动态区间的切割；使用主帧颜色作为基准映射至融合图像，保证图像颜色的一致性；使其在复杂场景下具有鲁棒的融合效果；人像保护
模块使人像场景下同样具有稳定的输出；在复杂光源环境下，也能够保证正常区域和光源的自然过度。
[0061]
请参阅图2。本说明书实施方式还提供一种图像多帧融合的装置，可以包括以下模块。
[0062]
获取模块210，用于基于图像中曝光锐度最高的一帧进行图像对齐；图像对齐包括提取图像每一帧的特征点，使图像每一帧都具有同样的空间布局；
[0063]
计算模块220，用于基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；
[0064]
融合模块230，用于基于融合区域，对每一帧不同曝光度的图像进行融合；图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；
[0065]
映射模块240，用于将融合图像压缩至预先设定的动态范围区间。
[0066]
在一个可行的实施方式中，计算模块220还用于：
[0067]
检测图像对齐后的每一帧不同曝光度的图像间的运动物体；将每一帧不同曝光度的图像映射至同一亮度区间；计算不同帧之间的差异性，找到每一帧不同曝光度的图像中的干扰区域。
[0068]
在一个可行的实施方式中，计算模块220还用于：
[0069]
以亮度为基准计算图像每一帧的融合权重，将光源区域处曝光度高的图像的权重分配给曝光度低的图像。
[0070]
在一个可行的实施方式中，融合模块230还用于：
[0071]
使用基于拉普拉斯金字塔融合的方法对每一帧不同曝光度的图像进行融合。
[0072]
在一个可行的实施方式中，映射模块240还用于：
[0073]
使用图像增强方法，使每一帧不同曝光度的图像不同区域的局部亮度相互接近。
[0074]
在一个可行的实施方式中，图像多帧融合的装置，还包括：
[0075]
监测模块，用于检测是否存在人像和/或人像所在的区域，若存在人像和/或人像所在的区域，则对人像进行保护，使人像亮度保持在合适的范围。
[0076]
在一个可行的实施方式中，监测模块还用于：
[0077]
通过使用人工智能人脸检测来检测人像和/或存在人像的区域，通过人像部分的前后亮度变化来计算gamma映射曲线，使人像亮度在融合后保持在合适的范围。
[0078]
本说明书实施方式还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施方式中的图像多帧融合的方法。
[0079]
本说明书实施方式还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述任一实施方式中的图像多帧融合的方法。
[0080]
可以理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本说明书实施方式，而非限制本发明的范围。
[0081]
可以理解，在本说明书中的各种实施方式中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本说明书实施方式的实施过程构成任何限定。
[0082]
可以理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本说明书实施方式对此并不限定。
[0083]
除非另有说明，本说明书实施方式所使用的所有技术和科学术语与本说明书的技术领域的技术人员通常理解的含义相同。本说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在限制本说明书的范围。本说明书所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。在本说明书实施方式和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0084]
可以理解，本说明书实施方式的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施方式的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signalprocessor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0085]
可以理解，本说明书实施方式中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)。应注意，本文描述的装置和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0086]
本领域普通技术人员可以意识到，结合本文中所公开的实施方式描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本说明书的范围。
[0087]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。
[0088]
在本说明书所提供的几个实施方式中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0089]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0090]
另外，在本说明书各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0091]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0092]
以上所述，仅为本说明书的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本说明书的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。