一种夜景高动态范围图像融合方法、装置和电子设备与流程

本发明涉及图像融合技术领域，具体而言，涉及一种夜景高动态范围图像融合方法、装置和电子设备。

背景技术：

高动态范围图像(high-dynamicrange，简称hdr)，根据不同的曝光时间的图像，并利用每个曝光时间相对应最佳细节的图像来合成的，相比普通的图像，可以提供更多的动态范围和图像细节，能够更好的反映出真实环境中的视觉效果。

目前hdr图像生成的算法有很多，但是整体上大致一般可以分成2类，一种是传统的hdr算法，但是传统的hdr算法，需要相机参数信息或者预先场景先验信息，要求条件相对苛刻并且准确的先验信息计算较难，而且时间复杂度较高。另一种是多张不同曝光值图像通过某种规则直接融合方式，比如论文<不同曝光值图像的直接融合方法>等方式，这类方式无需相机参数或者场景先验信息，算法速度较快。但是这种方案很难在夜景hdr时候使用，由于夜景环境下，相同场景亮暗差异更大，并且不同曝光图像噪声差异严重，很容易造成结果图像出现突兀的亮区域和不自然的噪声过渡。

因此，迫切需要一种无需先验信息且夜景高动态范围图像融合效果好的方法及装置。

技术实现要素：

本发明解决的问题是如何从样本数据中快速确定困难样本。

为解决上述问题，本发明首先提供一种夜景高动态范围图像融合方法，其包括：

获取多个待融合图像，所述待融合图像至少包括过曝图像、欠曝图像和正常曝光图像中的任意两种；

根据所述欠曝图像或正常曝光图像进行亮度调整后确定参考图像；

根据所述参考图像对所述待融合图像的亮度进行调整，得到调整后待融合图像；

将所述调整后待融合图像进行融合，得到hdr融合图像。

这样，既不必确定相机参数信息或者预先场景先验信息即可对待融合图像进行hdr融合，时间复杂度低，也可以减少不同曝光图像之间的噪声差异，极大地减少甚至避免融合得到的图像出现突兀的亮区域以及不自然的噪声过度。从而可以在低时间复杂度的情况下，达到更好的融合效果，减少了融合图像中出现突兀的亮区域及不自然噪声的可能。

可选的，所述根据所述参考图像对所述待融合图像的亮度进行调整中，所述待融合图像包括用于确定所述参考图像的所述欠曝图像或者所述正常曝光图像。

可选的，所述根据所述参考图像对所述待融合图像的亮度进行调整中，所述待融合图像为除用于确定所述参考图像的所述欠曝图像或者所述正常曝光图像之外的所有待融合图像；且

所述将所述调整后待融合图像进行融合，包括：将所述参考图像和所述调整后待融合图像进行融合。

可选的，所述根据所述参考图像对所述待融合图像的亮度进行调整，包括：

针对每一个所述待融合图像，根据所述参考图像的平均亮度对所述待融合图像的平均亮度进行整体调整，整体调整后所述待融合图像的平均亮度与所述参考图像的平均亮度相同；

对整体调整后的所述待融合图像的亮度进行微调，得到调整后待融合图像；

遍历所有待融合图像，得到对应的所述调整后待融合图像。

这样，通过整体调整和微调，将待融合图像调整为与参考图像非常接近的调整后待融合图像，消除了(极大地减小了)待融合图像与参考图像的亮度差异，同时通过微调，减小了噪声干扰。

可选的，所述根据所述参考图像的平均亮度对所述待融合图像的平均亮度进行整体调整，包括：

根据所述待融合图像和所述参考图像中各个像素点的亮度，确定所述待融合图像和所述参考图像的平均亮度；

根据所述待融合图像和所述参考图像的平均亮度确定所述待融合图像和所述参考图像的亮度差异比例；

根据所述亮度差异比例对所述待融合图像中各个像素点的亮度进行整体调整，整体调整后所述待融合图像的平均亮度和所述参考图像的平均亮度相同。

这样，通过整体调整可以快速将所述待融合图像的亮度贴近所述参考图像，且等比例调整减少了整体调整造成失真的可能性。

可选的，所述根据所述亮度差异比例对所述待融合图像中各个像素点的亮度进行整体调整，包括：通过将所述待融合图像中各个像素点的亮度均与所述亮度差异比例相乘进行所述整体调整。

可选的，所述对整体调整后的所述待融合图像的亮度进行微调，得到调整后待融合图像，包括：

将所述参考图像和整体调整后的所述待融合图像缩小；

对缩小后的所述参考图像和缩小后的所述待融合图像进行相同参数的引导滤波；

根据滤波后的所述参考图像和滤波后的所述待融合图像中各个像素点的亮度，确定各个像素点的差异比例，并存入调整掩码中；

将所述调整掩码放大到与整体调整前的所述待融合图像大小相同；

根据放大后的所述调整掩码的差异比例，对所述整体调整后的所述待融合图像中对应位置处的像素点的亮度进行调整，得到调整后待融合图像。

这样，将平均亮度调整(整体调整)后的待融合图像进行小图放大进行微调，可以保证待融合图像附近相似区域像素强度接近，避免噪声干扰。

可选的，所述对所述整体调整后的所述待融合图像中对应位置处的像素点的亮度进行调整，包括：通过将所述整体调整后的所述待融合图像中对应位置处的像素点的亮度与对应的所述差异比例相乘进行调整。

可选的，所述将所述参考图像和所述调整后待融合图像进行融合，得到hdr融合图像，包括：

根据所述调整后待融合图像和所述参考图像，确定所述调整后待融合图像的融合权重和所述参考图像的融合权重；

根据所述调整后待融合图像的融合权重和所述参考图像的融合权重，将所述调整后待融合图像和所述参考图像进行融合，得到hdr融合图像。

这样，通过分配融合权重后再进行图像融合，可以使得最终得到的hdr融合图像的整体亮度噪声都很自然。

可选的，所述根据所述欠曝图像或正常曝光图像进行亮度调整后确定参考图像，包括：

从所述待融合图像中选取一个欠曝图像或正常曝光图像作为待参考图像；

根据所述待参考图像确定所述待参考图像中各个像素点的过曝掩码；

获取预设的调整参数，根据所述调整参数和所述过曝掩码确定所述待参考图像中各个像素点的亮度调整参数；

根据所述亮度调整参数调整所述待参考图像中各个像素点的亮度，得到所述参考图像。

这样，通过预设调整参数，对像素点的亮度进行调整，从而可以将调整后的亮度作为最终生成的hdr融合图像的整体亮度，从而与客户的喜好风格对应，增加客户的体验感和使用的舒适性。并且通过检测过曝区域，防止在亮度调整时候，导致亮区过曝，并且由于过曝掩码过渡平滑自然，所有也不会出现亮度异常跳变的过渡带。

可选的，所述过曝掩码的获取方式为：

e＝1-min(n,1)

式中，e为像素点的过曝掩码，p为待参考图像中像素点的亮度，pt为亮度阈值，s为平滑度，n为中间变量。

可选的，所述亮度调整参数的获取方式为：

a＝(a-1)×e+1

式中，a为像素点的亮度调整参数，a为调整参数，e为像素点的过曝掩码。

可选的，所述待融合图像为所述过曝图像时，对应的所述调整后待融合图像的融合权重的获取方式为：

式中，w+为过曝图像对应的调整后待融合图像的融合权重，p为调整后待融合图像中像素点的亮度，pt为亮度阈值，s为平滑度。

可选的，所述待融合图像为所述欠曝图像时，对应的所述调整后待融合图像的融合权重的获取方式为：

式中，w-为欠曝图像对应的调整后待融合图像的融合权重，p为调整后待融合图像中像素点的亮度，pt为亮度阈值，s为平滑度。

再次提供一种夜景高动态范围图像融合装置，其包括：

获取单元，用于获取多个待融合图像，所述待融合图像至少包括过曝图像、欠曝图像和正常曝光图像中的任意两种；

确定单元，用于根据所述欠曝图像或正常曝光图像进行亮度调整后确定参考图像；

调整单元，用于根据所述参考图像对所述待融合图像的亮度进行调整，得到调整后待融合图像；

融合单元，用于将所述调整后待融合图像进行融合，得到hdr融合图像。

这样，既不必确定相机参数信息或者预先场景先验信息即可对待融合图像进行hdr融合，时间复杂度低，也可以减少不同曝光图像之间的噪声差异，极大地减少甚至避免融合得到的图像出现突兀的亮区域以及不自然的噪声过度。从而可以在低时间复杂度的情况下，达到更好的融合效果，减少了融合图像中出现突兀的亮区域及不自然噪声的可能。

从次再提供一种电子设备，包括处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的夜景高动态范围图像融合方法。

最后提供一种计算机可读存储介质，存储有指令，其特征在于，所述指令被处理器加载并执行时实现上述所述的夜景高动态范围图像融合方法。

附图说明

图1将多张不同曝光值的夜景图像通过直接融合得到的融合图像；

图2为根据本发明实施例的夜景高动态范围图像融合方法的流程图；

图3为根据本发明实施例的夜景高动态范围图像融合方法步骤30的流程图；

图4为根据本发明实施例的夜景高动态范围图像融合方法步骤31的流程图；

图5为根据本发明实施例的夜景高动态范围图像融合方法步骤32的流程图；

图6a为根据本发明实施例直接小图放大得到的调整后待融合图像；

图6b为根据本发明实施例先平均亮度调整再小图放大得到的调整后待融合图像；

图7为根据本发明实施例的夜景高动态范围图像融合方法步骤40的流程图；

图8为根据本发明实施例的夜景高动态范围图像融合方法步骤20的流程图；

图9为根据本发明实施例的夜景高动态范围图像融合装置的结构框图；

图10为根据本发明实施例的一种电子设备的结构框图；

图11为根据本发明实施例的另一种电子设备的框图。

附图标记说明：

1-获取单元，2-确定单元，3-调整单元，4-融合单元，12-电子设备，14-外部设备，16-处理单元，18-总线，20-网络适配器，22-输入/输出(i/o)接口，24-显示器，28-系统存储器，30-随机存取存储器，32-高速缓存存储器，34-存储系统，40-实用工具，42-程序模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

显然，所说明的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，在本发明中，需要对其中的技术问题进行详细阐述。

高动态范围图像(high-dynamicrange，简称hdr)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的ldr(low-dynamicrange，低动态范围图像)，并利用每个曝光时间相对应最佳细节的ldr图像来合成最终hdr图像。它能够更好的反映出真实环境中的视觉效果。

根据曝光时间的不同，ldr图像的名称也不同。若曝光时间不足，则得到的ldr图像为欠曝图像；若曝光时间处于正常范围，则得到的ldr图像为正常曝光图像；若曝光时间过长，则得到的ldr图像为过曝图像。

现有的hdr算法，一种是先确定相机参数信息或者预先场景先验信息，然后根据相机参数信息或者预先场景先验信息对图像进行融合，这种hdr算法需要先确定相机参数信息或者预先场景先验信息，计算较难，而且时间复杂度较高；一种是将多张不同曝光值图像通过某种规则直接融合，但是这种方法只能适用于图像噪声差异小的情况下，一旦处于夜景环境下，相同场景的亮暗差异很大，不同曝光图像噪声差异严重，就会使得融合得到的图像出现突兀的亮区域以及不自然的噪声过度。

如图1所示，其为将多张不同曝光值的夜景图像通过直接融合得到的融合图像(即通过第二种方法对夜景图像融合得到的融合图像)；从该图我们可以明显看出，其上面出现了很多突兀的亮区域，且噪声过度很不自然。

本公开实施例提供了一种夜景高动态范围图像融合方法，该方法可以由夜景高动态范围图像融合装置来执行，该夜景高动态范围图像融合装置可以集成在手机、笔记本、服务器、摄像机、照相机、pad等电子设备中。如图2所示，其为根据本发明实施例的夜景高动态范围图像融合方法的流程图一；其中，所述夜景高动态范围图像融合方法，包括：

步骤10，获取多个待融合图像，所述待融合图像至少包括过曝图像、欠曝图像和正常曝光图像中的任意两种；

其中，所述待融合图像的获取方式可以为直接通过电子设备拍摄，也可以是通过其他设备输入该电子设备中，也可以为其他可行的获取方式。

需要说明的是，所述待融合图像均是对同一对象的不同曝光时长的图像，也即是说，所述待融合图像中各个像素点是一一对应的，仅仅是亮度(像素点的像素值或者像素强度值)不同而已。

可选的，所述待融合图像的数量为至少2个。

其中，所述待融合图像至少包括过曝图像、欠曝图像和正常曝光图像中的任意两种。

其中，对待融合图像是过曝图像还是欠曝图像还是正常曝光图像的判断，可以根据拍摄待融合图像的电子设备内的预设判断条件来判断，也可以是根据待融合图像的曝光时长或者根据实际情况确定来确定。

对于过曝图像来说，其优点在于图像噪声低，缺点在于由于像素点的亮度(像素点的像素值或者像素强度值)最高为255.0，超出该亮度的部分也显示为255.0，也即是说，部分信息由于过曝的原因，统一变为了255.0的亮度，从而损失了对应的信息，也即是说，过曝图像的信息量较少。

对于欠曝图像来说，恰好相反，其优点为过曝区域的信息量较多，缺点在于图像的噪声较高。

因此，所述待融合图像不能仅为过曝图像或者仅为欠曝图像，这样会导致缺点无法通过图像融合的方式消除。

步骤20，根据所述欠曝图像或正常曝光图像进行亮度调整后确定参考图像；

其中，所述参考图像是通过对所述欠曝图像或正常曝光图像中的其中一个进行亮度调整后得到的。这样，通过待融合图像生成参考图像，从而不必确定相机参数信息或者预先场景先验信息即可对待融合图像进行hdr融合，时间复杂度低。

其中，选取正常曝光图像或欠曝图像；这是由于过曝图像的过曝区域中信息量少，若以过曝图像生成参考图像，则会导致参考图像中的过曝区域信息量过少，其他待融合图像根据参考图像进行调整时，对应过曝区域的部分容易失真，进而导致融合的hdr图像失真严重；不选择过曝图像，则可以避免过曝区域造成的融合hdr图像失真。

步骤30，根据所述参考图像对所述待融合图像的亮度进行调整，得到调整后待融合图像；

这样，通过对待融合图像进行处理，使得调整后待融合图像与参考图像更接近，从而减少不同曝光图像之间的噪声差异，极大地减少甚至避免融合得到的图像出现突兀的亮区域以及不自然的噪声过度。

步骤40，将所述调整后待融合图像进行融合，得到hdr融合图像。

这样，既不必确定相机参数信息或者预先场景先验信息即可对待融合图像进行hdr融合，时间复杂度低，也可以减少不同曝光图像之间的噪声差异，极大地减少甚至避免融合得到的图像出现突兀的亮区域以及不自然的噪声过度。从而可以在低时间复杂度的情况下，达到更好的融合效果，减少了融合图像中出现突兀的亮区域及不自然噪声的可能。

可选的，所述根据所述参考图像对所述待融合图像的亮度进行调整中，所述待融合图像包括用于确定所述参考图像的所述欠曝图像或者所述正常曝光图像。

在此需要说明的是，所述待融合图像在处理时，由于其中一个待融合图像通过亮度调整后确定了参考图像(也可以说是生成了参考图像)，因此在后续步骤中对该待融合图像(确定了参考图像的待融合图像)的处理，可以有两种方式来处理，此为第一种处理方式。

也即是说，在步骤30，根据所述参考图像对所述待融合图像的亮度进行调整，得到调整后待融合图像中，仍然对该待融合图像(确定了参考图像的待融合图像)进行亮度调整，得到调整后待融合图像；然后在步骤40，将所述调整后待融合图像进行融合，得到hdr融合图像中，直接将所有的调整后待融合图像(也即是包括对确定了参考图像的待融合图像进行亮度调整后得到的那个调整后待融合图像)进行融合，即可得到hdr融合图像。

这样，无需特别区分待融合图像中确定了参考图像的待融合图像和其余的待融合图像的区别，直接对所有待融合图像进行亮度调整和融合，简单方便。

可选的，所述根据所述参考图像对所述待融合图像的亮度进行调整中，所述待融合图像为除用于确定所述参考图像的所述欠曝图像或者所述正常曝光图像之外的所有待融合图像；且

所述将所述调整后待融合图像进行融合，包括：将所述参考图像和所述调整后待融合图像进行融合。

此为前述处理方式中的第二种处理方式。

也即是说，在步骤30，根据所述参考图像对所述待融合图像的亮度进行调整，得到调整后待融合图像中，不再对该待融合图像(确定了参考图像的待融合图像)进行亮度调整；然后在步骤40，将所述调整后待融合图像进行融合，得到hdr融合图像中，直接将参考图像和所有的调整后待融合图像(也即是不包括对确定了参考图像的待融合图像进行亮度调整后得到的那个调整后待融合图像，实际上是用参考图像代替了该调整后待融合图像)进行融合，即可得到hdr融合图像。

这样，无需再对确定了参考图像的待融合图像进行亮度调整，而是以参考图像代替该待融合图像调整后的图像，直接与其它的所有待融合图像进行亮度调整和融合，简单方便。可选的，如图3所示，所述步骤30，根据所述参考图像对所述待融合图像的亮度进行调整，包括：

步骤31，针对每一个所述待融合图像，根据所述参考图像的平均亮度对所述待融合图像的平均亮度进行整体调整，整体调整后所述待融合图像的平均亮度与所述参考图像的平均亮度相同；

其中，所述待融合图像有多个，为了对所有所述待融合图像均进行调整，先对其中一个进行调整后，再对其余的所述待融合图像分别进行调整，直至全部调整完毕为止；在具体施行该方案时，也可以采用并行的方式，同时对多个待融合图像进行处理。

其中，参考图像和所述待融合图像具有多个像素点，每个像素点上均具有对应的亮度(也可以称为像素点的像素值或者像素强度值)或亮度值；参考图像和所述待融合图像的平均亮度，即为该图像所有像素点的亮度的平均值。

本步骤中的整体调整，是指同时对所有像素点进行等比例的调整，从而避免在调整过程中造成失真。

步骤32，对整体调整后的所述待融合图像的亮度进行微调，得到调整后待融合图像；

整体调整简单方便，但是同时也会把噪声部分进行等比例的放大或缩小，无法单独对其中的某些像素点进行单独调整。

通过本步骤的微调，可以对待融合图像的噪声部分进行微调，从而避免噪声干扰，最终使得微调后的待融合图像(调整后待融合图像)与参考图像更为接近。

步骤33，遍历所有待融合图像，得到对应的所述调整后待融合图像。

通过重复执行步骤31-32，从而对其他未调整的待融合图像进行调整，得到对应的所述调整后待融合图像。

这样，通过整体调整和微调，将待融合图像调整为与参考图像非常接近的调整后待融合图像，消除了(极大地减小了)待融合图像与参考图像的亮度差异，同时通过微调，减小了噪声干扰。

可选的，如图4所示，所述步骤31，根据所述参考图像的平均亮度对所述待融合图像的平均亮度进行整体调整，包括：

步骤311，根据所述待融合图像和所述参考图像中各个像素点的亮度，确定所述待融合图像和所述参考图像的平均亮度；

其中，参考图像和所述待融合图像的平均亮度，即为该图像所有像素点的亮度的平均值。

步骤312，根据所述待融合图像和所述参考图像的平均亮度确定所述待融合图像和所述参考图像的亮度差异比例；

其中，所述亮度差异比例为所述参考图像的平均亮度与所述待融合图像的平均亮度的比值。

比如，待融合图像的平均亮度为127.0，参考图像的平均亮度为65.0；则所述待融合图像和所述参考图像的亮度差异比例为65/127。(该亮度差异比例是作为一个中间变量来整体调整所述待融合图像，因此分子与分母的位置可以颠倒，只需要在后续整体调整中选择对应的除以操作即可)

步骤313，根据所述亮度差异比例对所述待融合图像中各个像素点的亮度进行整体调整，整体调整后所述待融合图像的平均亮度和所述参考图像的平均亮度相同。

本步骤中的整体调整，即为将所述待融合图像中各个像素点的亮度均乘以所述亮度差异比例，从而使得整体调整后的所述待融合图像的平均亮度和所述参考图像的平均亮度相同。

可选的，所述对所述整体调整后的所述待融合图像中对应位置处的像素点的亮度进行调整，包括：通过将所述整体调整后的所述待融合图像中对应位置处的像素点的亮度与对应的所述差异比例相乘进行调整。

其中，所述亮度差异比例为所述参考图像的平均亮度与所述待融合图像的平均亮度的比值。该亮度差异比例是作为一个中间变量来整体调整所述待融合图像，因此分子与分母的位置可以颠倒，只需要在后续整体调整中选择对应的除以操作即可。

比如，若待融合图像的平均亮度为127.0，参考图像的平均亮度为65.0；如果将所述待融合图像和所述参考图像的亮度差异比例记为127/65，则整体调整即是将所述待融合图像中各个像素点的亮度均除以亮度差异比例；如果将所述待融合图像和所述参考图像的亮度差异比例记为65/127，则整体调整即是将所述待融合图像中各个像素点的亮度均乘以亮度差异比例；整体调整后待融合图像的平均亮度为65.0。

这样，通过整体调整可以快速将所述待融合图像的亮度贴近所述参考图像，且等比例调整减少了整体调整造成失真的可能性。

可选的，如图5所示，所述步骤32，对整体调整后的所述待融合图像的亮度进行微调，得到调整后待融合图像，包括：

步骤321，将所述参考图像和整体调整后的所述待融合图像缩小；

其中，将所述参考图像和所述待融合图像缩小，是指将所述参考图像和所述待融合图像由大图缩小到小图，比如由4000像素×3000像素的大图，按照1/16的比例，缩小为1000像素×750像素的小图。

其中，将大图缩小到小图的具体缩小方式，可以根据实际情况确定，但是需要明确的是，所述参考图像和整体调整后的所述待融合图像需要通过同样的方式进行缩小。

这其中需要说明的是，如果所述待融合图像的数量较多，需要重复执行步骤32，以及步骤321-325，那么在首次执行本步骤中，可以对所述参考图像和整体调整后的所述待融合图像进行相同比例的缩小，在非首次执行本步骤时，可以不再对参考图像进行缩小而是直接读取首次执行时获得的缩小后的参考图像，仅缩小整体调整后的所述待融合图像即可。

步骤322，对缩小后的所述参考图像和缩小后的所述待融合图像进行相同参数的引导滤波；

本步骤中，相同参数的引导滤波可以为除了输入图像和引导图像(可能将输入图像作为引导图像)不同外，其余部分均相同。

这其中需要说明的是，如果所述待融合图像的数量较多，需要重复执行步骤32，以及步骤321-325，那么在首次执行本步骤中，可以对所述参考图像和所述待融合图像进行相同参数的引导滤波；在非首次执行本步骤时，可以不再对参考图像进行引导滤波而是直接读取首次执行时获得的滤波后的参考图像，仅对所述待融合图像进行相同参数的引导滤波即可。

通过引导滤波，可以使得所述待融合图像和所述参考图像中附近相似区域像素强度接近，避免噪声干扰。

步骤323，根据滤波后的所述参考图像和滤波后的所述待融合图像中各个像素点的亮度，确定各个像素点的差异比例，并存入调整掩码中；

其中，所述待融合图像和所述参考图像中各个像素点的差异比例，即为所述参考图像的对应像素点的亮度和所述待融合图像的对应像素点的亮度的比值。比如，待融合图像中某个像素点的亮度为139.0，参考图像中对应位置的像素点的亮度为61.0；则所述待融合图像和所述参考图像中该像素点的差异比例为61/139。(该差异比例是作为一个中间变量来微调所述待融合图像，因此分子与分母的位置可以颠倒，只需要在后续微调中选择对应的除以操作即可)

需要说明的是，上述差异比例是针对各个像素点分别进行计算的，也即是所述参考图像有n个像素点，就需要计算n次，得到n个差异比例。若缩小后的参考图像(待融合图像)为1000像素×750像素的小图，则具有75,0000个像素点，需要计算75,0000个差异比例。

其中，所述调整掩码是与待融合图像对应的矩阵或图像，其中记载着所有计算得到的差异比例(n个，75,0000个)，且存储到对应位置。

步骤324，将所述调整掩码放大到与整体调整前的所述待融合图像大小相同；

本步骤中，即是将调整掩码由小图放大到大图，该大图的尺寸大小与整体调整前的所述待融合图像相同。

其中，将小图放大到大图的具体放大方式，可以根据实际情况确定。

比如，调整掩码为1000像素×750像素的小图(如果将调整掩码视为一张图)，本步骤即为按照16/1的比例，放大为4000像素×3000像素的大图。这样放大后，调整掩码与各个像素点的对应位置处均会标有对应的差异比例。

步骤325，根据放大后的所述调整掩码的差异比例，对所述整体调整后的所述待融合图像中对应位置处的像素点的亮度进行调整，得到调整后待融合图像。

可选的，所述对所述整体调整后的所述待融合图像中对应位置处的像素点的亮度进行调整，包括：通过将所述整体调整后的所述待融合图像中对应位置处的像素点的亮度与对应的所述差异比例相乘进行调整。

其中，所述待融合图像和所述参考图像中各个像素点的差异比例，即为所述参考图像的对应像素点的亮度和所述待融合图像的对应像素点的亮度的比值。

该差异比例是作为一个中间变量来微调所述待融合图像，因此分子与分母的位置可以颠倒，只需要在后续微调中选择对应的除以操作即可。

比如，若待融合图像中某个像素点的亮度为139.0，参考图像中对应位置的像素点的亮度为61.0；如果将所述待融合图像和所述参考图像中该像素点的差异比例记为139/61，则微调即是将所述待融合图像中该个像素点的亮度除以差异比例；如果将所述待融合图像和所述参考图像中该像素点的差异比例记为61/139，则微调即是将所述待融合图像中该个像素点的亮度乘以差异比例。

这样，将平均亮度调整(整体调整)后的待融合图像进行小图放大进行微调，可以保证待融合图像附近相似区域像素强度接近，避免噪声干扰。

需要说明的是，小图放大过程中会出现像素扩散导致像素比例外泄，如果没有事先将待融合图像亮度拉到和参考图像一个水平，那么亮度差异会很大的区域上，这些比例权重外泄会导致亮度调整时候，有像素使用到错误的区域亮度比例，如果相邻区域亮度比例变化较大时候，容易导待融合图像调整亮度后图像出现黑边或者白边的情况，如图6a所示，即为直接小图放大得到的调整后待融合图像，可以看到出现了很多黑边和白边的情况，失真严重。

因此，先平均亮度调整再小图放大，可以防止在小图放大过程中，由于像素扩散导致的调整后待融合图像出现了很多黑边和白边的情况，如图6b所示，即为先平均亮度调整再小图放大得到的调整后待融合图像，可以看出基本无黑边和白边的情况。

可选的，如图7所示，所述步骤40，将所述参考图像和所述调整后待融合图像进行融合，得到hdr融合图像，包括：

步骤41，根据所述调整后待融合图像和所述参考图像，确定所述调整后待融合图像的融合权重和所述参考图像的融合权重；

其中，根据所述调整后待融合图像确定所述调整后待融合图像的融合权重，根据所述参考图像，确定所述参考图像的融合权重。在此需要说明的是，融合权重的确定是以单个像素点为单位进行逐个确定的。

其中，我们可以确定所述参考图像为或者近似是所述调整后待融合图像的其中之一，因此，所述参考图像的融合权重的确定方式和调整后待融合图像的融合权重的确定方式也很相似或相同；在此为了便于计算，我们将其均通过同样的方式来确定权重。

根据图像形成过程中的曝光时间不同，所述待融合图像分为过曝图像、欠曝图像和正常曝光图像三种，不同种类的待融合图像的优缺点不同，因此融合权重的确定方式也不同。

对于过曝图像而言，其像素点的亮度越低，分配的融合权重越高；对于欠曝图像而言，其像素点的亮度越高，分配的融合权重越高；对于正常曝光图像而言，当像素点的亮度越靠近中间位置(中间位置的亮度由亮度阈值来决定)，其分配的融合权重越高，越靠近两端位置，其分配的融合权重越低。

可选的，所述待融合图像为所述过曝图像时，对应的所述调整后待融合图像的融合权重的获取方式为：

式中，w+为过曝图像对应的调整后待融合图像的融合权重，p为调整后待融合图像中像素点的亮度，pt为亮度阈值，s为平滑度。

可选的，所述待融合图像为所述欠曝图像时，对应的所述调整后待融合图像(或者参考图像)的融合权重的获取方式为：

式中，w-为欠曝图像对应的调整后待融合图像的融合权重，p为调整后待融合图像中像素点的亮度，pt为亮度阈值，s为平滑度。

其中，平滑度s的取值范围为【1，10】；这样，通过设置平滑度，使得融合权重更加过渡自然平滑，不存在截断分成，更方便进行融合。

其中，所述亮度阈值pt根据实际情况或工程调试确定。

可选的，所述待融合图像为所述正常曝光图像时，对应的所述调整后待融合图像(或者参考图像)的融合权重的获取方式为：

式中，w为正常曝光图像对应的调整后待融合图像的融合权重，p为调整后待融合图像中像素点的亮度，pt为亮度阈值，s为平滑度。

步骤42，根据所述调整后待融合图像的融合权重和所述参考图像的融合权重，将所述调整后待融合图像和所述参考图像进行融合，得到hdr融合图像。

在此需要说明的是，图像融合是以单个像素点为单位进行逐个确定的；也即是将所述调整后待融合图像和所述参考图像对应位置处的所有像素点的亮度进行计算，得到的新的亮度即为hdr融合图像对应位置处的像素点的亮度。这样，对图像中各个位置处的像素点逐个进行计算，最终得到hdr融合图像的所有像素点的亮度。

其中，所述调整后待融合图像和所述参考图像对应位置处的所有像素点的亮度进行计算，得到hdr融合图像对应位置处的像素点的亮度，即为将所述调整后待融合图像和所述参考图像对应位置处的像素点的亮度与该图像的融合权重相乘后求和，然后除以所有该位置处所有融合权重之和(所述调整后待融合图像和所述参考图像在位置处的融合权重的和)，得到hdr融合图像对应位置处的像素点的亮度。

这样，通过分配融合权重后再进行图像融合，可以使得最终得到的hdr融合图像的整体亮度噪声都很自然。

可选的，如图8所示，所述步骤20，根据所述欠曝图像或正常曝光图像进行亮度调整后确定参考图像，包括：

步骤21，从所述待融合图像中选取一个欠曝图像或正常曝光图像作为待参考图像；

其中，选取的正常曝光图像或欠曝图像；这是由于过曝图像的过曝区域中信息量少，若以过曝图像生成参考图像，则会导致参考图像中的过曝区域信息量过少，其他待融合图像根据参考图像进行调整时，对应过曝区域的部分容易失真，进而导致融合的hdr图像失真严重；不选择过曝图像，则可以避免过曝区域造成的融合hdr图像失真。

因此所述待参考图像为正常曝光图像或欠曝图像，从而可以避免生成的参考图像中的由于信息量不足导致过曝区域失真。

可选的，若所述待融合图像包括正常曝光图像和欠曝图像，则选取所述正常曝光图像中的一个作为所述待参考图像；若所述待融合图像包括欠曝图像但不包括正常曝光图像，则选取所述欠曝图像中的一个作为所述待参考图像。

步骤22，根据所述待参考图像确定所述待参考图像中各个像素点的过曝掩码；

其中，所述过曝掩码是用以反映对应的像素点是否位于过曝区域，也即是说，0值的过曝掩码代表对应的像素点没有过曝，不位于过曝区域；正值的过曝掩码代表对应的像素点过曝，位于过曝区域。

可选的，所述过曝掩码的获取方式为：

e＝min(n,1)

式中，e为像素点的过曝掩码，p为待参考图像中像素点的亮度，pt为亮度阈值，s为平滑度，n为中间变量。

通过该获取公式，可以看出，若亮度小于等于亮度阈值时，过曝掩码为0；若亮度大于亮度阈值，过曝掩码为大于0小于等于1的正值。

这样，通过设置亮度阈值，可以判断像素点是否过曝，通过设置平滑度，使得对过曝区域(过曝掩码为正值的像素点构成的区域)的检测结果更加过渡自然平滑，不存在截断分成，更方便融合时候。

步骤23，获取预设的调整参数，根据所述调整参数和所述过曝掩码确定所述待参考图像中各个像素点的亮度调整参数；

其中，所述预设的调整参数可以预设在电子设备内，以便于需要时进行读取；该调整参数可以是相机等电子设备默认的数值，也可以是由客户根据感官确定的数值。

需要说明的是，亮度调整参数即为像素点的亮度放大倍数；因此对于完全过曝的像素点(亮度为255.0)，其放大倍数为1倍(也即是保持不变，不再放大)。

可选的，所述亮度调整参数的获取方式为：

a＝(a-1)×e+1

式中，a为像素点的亮度调整参数，a为调整参数，e为像素点的过曝掩码。

这样，通过计算方式确定亮度调整参数，简单、快速、方便。

步骤24，根据所述亮度调整参数调整所述待参考图像中各个像素点的亮度，得到所述参考图像。

本步骤中，根据所述亮度调整参数调整所述待参考图像中各个像素点的亮度，即为将述亮度调整参数与各个像素点的亮度相乘，从而得到调整后的所述参考图像。

这样，通过预设调整参数，对像素点的亮度进行调整，从而可以将调整后的亮度作为最终生成的hdr融合图像的整体亮度，从而与客户的喜好风格对应，增加客户的体验感和使用的舒适性。并且通过检测过曝区域，防止在亮度调整时候，导致亮区过曝，并且由于过曝掩码过渡平滑自然，所有也不会出现亮度异常跳变的过渡带。

本公开实施例提供了一种夜景高动态范围图像融合装置，用于执行本发明上述内容所述的夜景高动态范围图像融合方法，以下对所述夜景高动态范围图像融合装置进行详细描述。

如图9所示，一种夜景高动态范围图像融合装置，其包括：

获取单元1，用于获取多个待融合图像，所述待融合图像至少包括过曝图像、欠曝图像和正常曝光图像中的任意两种；

确定单元2，用于根据所述欠曝图像或正常曝光图像进行亮度调整后确定参考图像；

调整单元3，用于根据所述参考图像对所述待融合图像的亮度进行调整，得到调整后待融合图像；

融合单元4，用于将所述调整后待融合图像进行融合，得到hdr融合图像。

这样，既不必确定相机参数信息或者预先场景先验信息即可对待融合图像进行hdr融合，时间复杂度低，也可以减少不同曝光图像之间的噪声差异，极大地减少甚至避免融合得到的图像出现突兀的亮区域以及不自然的噪声过度。从而可以在低时间复杂度的情况下，达到更好的融合效果，减少了融合图像中出现突兀的亮区域及不自然噪声的可能。

可选的，所述调整单元3，还用于：针对每一个所述待融合图像，根据所述参考图像的平均亮度对所述待融合图像的平均亮度进行整体调整，整体调整后所述待融合图像的平均亮度与所述参考图像的平均亮度相同；对整体调整后的所述待融合图像的亮度进行微调，得到调整后待融合图像；遍历所有待融合图像，得到对应的所述调整后待融合图像。

可选的，所述调整单元3，还用于：根据所述待融合图像和所述参考图像中各个像素点的亮度，确定所述待融合图像和所述参考图像的平均亮度；根据所述待融合图像和所述参考图像的平均亮度确定所述待融合图像和所述参考图像的亮度差异比例；根据所述亮度差异比例对所述待融合图像中各个像素点的亮度进行整体调整，整体调整后所述待融合图像的平均亮度和所述参考图像的平均亮度相同。

可选的，所述调整单元3，还用于：将所述参考图像和整体调整后的所述待融合图像缩小；对缩小后的所述参考图像和缩小后的所述待融合图像进行相同参数的引导滤波；根据滤波后的所述参考图像和滤波后的所述待融合图像中各个像素点的亮度，确定各个像素点的差异比例，并存入调整掩码中；将所述调整掩码放大到与整体调整前的所述待融合图像大小相同；根据放大后的所述调整掩码的差异比例，对所述整体调整后的所述待融合图像中对应位置处的像素点的亮度进行调整，得到调整后待融合图像。

可选的，所述待融合图像至少包括过曝图像、欠曝图像和正常曝光图像中的任意两种。

可选的，所述融合单元4，还用于：根据所述调整后待融合图像和所述参考图像，确定所述调整后待融合图像的融合权重和所述参考图像的融合权重；根据所述调整后待融合图像的融合权重和所述参考图像的融合权重，将所述调整后待融合图像和所述参考图像进行融合，得到hdr融合图像。

可选的，所述确定单元2，还用于：从所述待融合图像中选取一个欠曝图像或正常曝光图像作为待参考图像；根据所述待参考图像确定所述待参考图像中各个像素点的过曝掩码；获取预设的调整参数，根据所述调整参数和所述过曝掩码确定所述待参考图像中各个像素点的亮度调整参数；根据所述亮度调整参数调整所述待参考图像中各个像素点的亮度，得到所述参考图像。

可选的，所述过曝掩码的获取方式为：

e＝1-min(n,1)

式中，e为像素点的过曝掩码，p为待参考图像中像素点的亮度，pt为亮度阈值，s为平滑度，n为中间变量。

可选的，所述亮度调整参数的获取方式为：

a＝(a-1)×e+1

式中，a为像素点的亮度调整参数，a为调整参数，e为像素点的过曝掩码。

可选的，所述待融合图像为所述过曝图像时，对应的所述调整后待融合图像的融合权重的获取方式为：

式中，w+为过曝图像对应的调整后待融合图像的融合权重，p为调整后待融合图像中像素点的亮度，pt为亮度阈值，s为平滑度。

可选的，所述待融合图像为所述欠曝图像时，对应的所述调整后待融合图像的融合权重的获取方式为：

式中，w_为欠曝图像对应的调整后待融合图像的融合权重，p为调整后待融合图像中像素点的亮度，pt为亮度阈值，s为平滑度。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上描述了夜景高动态范围图像融合装置的内部功能和结构，如图10所示，实际中，该夜景高动态范围图像融合装置可实现为电子设备，包括：处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的夜景高动态范围图像融合方法。

图11是根据本发明实施例示出的另一种电子设备的框图。图11显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图11所示，电子设备12可以通用电子设备的形式实现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industrystandardarchitecture；以下简称：isa)总线，微通道体系结构(microchannelarchitecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation；以下简称：vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection；以下简称：pci)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory；以下简称：ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compactdiscreadonlymemory；以下简称：cd-rom)、数字多功能只读光盘(digitalvideodiscreadonlymemory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它电子设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(localareanetwork；以下简称：lan)，广域网(wideareanetwork；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。要说明的是，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

本发明的电子设备可以是服务器，也可以有限算力的终端设备，本发明的轻量级网络结构尤其适用于后者。所述终端设备的基体实现包括但不限于：智能移动通信终端、无人机、机器人、便携式图像处理设备、安防设备等等。本公开实施例提供了一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的夜景高动态范围图像融合方法。

本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。