本发明涉及图像处理技术领域，尤其涉及一种图像融合方法、装置、电子设备及介质。
背景技术：
随着智能手机市场的竞争日趋激烈，各大手机厂商的竞争焦点从以前的硬件军备竞赛逐渐延伸到影音娱乐领域，尤其越来越注重手机的拍照性能。随着手机的快速迭代，单摄像头手机的拍照性能在一定程度上达到极限，要想在拍照领域再度有所突破，必须要借助双摄像头，故近两年，不少手机厂商推出了双摄像头手机。
双摄像头中较为重要的一种即彩色相机(RGB)+黑白相机(Mono)，该类双摄像头主要用于提升暗光和夜景影像的拍摄质量，通过Mono增强图像细节，通过RGB提供颜色，从而融合图像得到质量更优的暗光和夜景图像。
然而，由于Mono摄像头的感光度优于RGB摄像头，故在拍摄场景有灯光等光线的时候，很容易出现Mono图像过曝，而RGB图像的图像细节效果反而更优。这种情况下，如果直接融合Mono图像和RGB图像会导致过曝区域的融合图像效果较差。针对该问题现有的优化方法为：检测出Mono图像的过曝区域后，该区域不作融合，直接采用RGB图像，但这种方案融合的图像在过曝区域边缘过度不自然，很突兀。
可见，现有技术中的彩色相机+黑白相机的双摄像头融合生成的图片存在过曝区域边缘过度不自然导致图像质量差的问题。
技术实现要素：
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像融合方法、装置、电子设备及介质。
第一方面，提供一种图像融合方法，包括：
获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
检测所述黑白图像上的过曝区域，以确定目标过曝区域；
膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
可选的，所述膨胀所述目标过曝区域之前，还包括：获取所述黑白图像上的所述目标过曝区域的第一平均亮度和所述彩色图像上的对应过曝区域的第二平均亮度，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述目标过曝区域与所述对应过曝区域为匹配区域；计算所述第一平均亮度与所述第二平均亮度的比值，作为平均亮度比例；所述膨胀所述目标过曝区域，包括：根据所述平均亮度比例，确定膨胀系数；根据所述膨胀系数，膨胀所述目标过曝区域。
可选的，所述膨胀系数与所述平均亮度比例正相关，所述膨胀系数与膨胀所述目标过曝区域的膨胀程度正相关。
可选的，所述根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像之前，还包括：获取所述黑白图像上的所述目标过曝区域的第一平均亮度和所述彩色图像上的对应过曝区域的第二平均亮度，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述目标过曝区域与所述对应过曝区域为匹配区域；计算所述第一平均亮度与所述第二平均亮度的比值，作为平均亮度比例；所述根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，包括：根据所述平均亮度比例，确定权重值；根据所述权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像。
可选的，所述平均亮度比例与所述权重值正相关，所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重反相关；或者，所述平均亮度比例与所述权重值反相关，所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重正相关。
可选的，当所述黑白图像上包括多个所述目标过曝区域时：所述计算所述第一平均亮度与所述第二平均亮度的比值，作为平均亮度比例，包括：分别计算所述多个目标过曝区域中每个目标过曝区域对应的所述第一平均亮度与所述第二平均亮度的比值，获得所述多个目标过曝区域中每个目标过曝区域对应的平均亮度比例；所述膨胀所述目标过曝区域，包括：根据所述每个目标过曝区域对应的平均亮度比例，分别确定所述每个目标过曝区域的膨胀系数；并根据所述每个目标过曝区域的所述膨胀系数，一一对应的分别膨胀所述每个目标过曝区域；所述根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，包括：根据所述每个目标过曝区域对应的平均亮度比例，分别确定所述每个目标过曝区域的权重值；并根据所述每个目标过曝区域的所述权重值，一一对应的分别融合所述每个目标过曝区域对应的所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像。
可选的，所述检测所述黑白图像上的过曝区域，以确定目标过曝区域，包括：检测所述黑白图像上的过曝区域，并将所述过曝区域以过曝标记存入掩码；对所述掩码进行区域分割，生成多个掩码区域；删除所述多个掩码区域中不包含所述过曝标记的区域，以剩下的掩码区域作为所述目标过曝区域。
可选的，所述根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，包括：根据伽玛权重参数，采用伽玛曲线权重方式融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像。
可选的，在所述检测所述黑白图像上的目标过曝区域之前，还包括：将所述黑白图像和所述彩色图像转换为YUV图像格式；在所述生成融合图像之后，还包括：将所述融合图像转换为RGB图像格式。
第二方面，提供一种图像融合装置，包括：
获取模块，用于获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
检测模块，用于检测所述黑白图像上的过曝区域，以确定目标过曝区域；
膨胀模块，用于膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
融合模块，用于根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
检测所述黑白图像上的过曝区域，以确定目标过曝区域；
膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
检测所述黑白图像上的过曝区域，以确定目标过曝区域；
膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
本发明实施例中提供的技术方案，至少具有如下技术效果或优点：
本发明实施例提供的图像融合方法、装置、电子设备及介质，在获取彩色图像和黑白图像后，先检测确定所述黑白图像上的目标过曝区域，然后膨胀所述目标过曝区域，并融合黑白图像和彩色图像上的膨胀后的过曝区域，以增加过曝区域的融合范围，从而使融合后的过曝区域边缘过度更自然。并且，本发明对过曝区域的融合采用权重值方式进行融合，能够结合图片实际情况，通过调节权重值来尽量降低融合后的过曝区域的细节丢失，有效提高了过曝区域融合后的图像质量。
进一步，本发明通过计算黑白图像上目标过曝区域的平均亮度与彩色图像上对应区域的平均亮度的比值，作为平均亮度比例，并根据所述平均亮度比例来确定膨胀所述目标过曝区域的膨胀系数和/或融合图像的所述权重值，尽可能的将融合过曝区域时过曝区域周边的图像细节损失较低到最小，进一步提高融合图像的质量效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例中图像融合方法的流程图；
图2为本发明实施例中图像融合方法的细节流程图
图3为本发明实施例中图像融合装置的结构示意图；
图4为本发明实施例中电子设备的结构示意图；
图5为本发明实施例中存储介质的结构示意图；
图6为本发明实施例中gamma曲线示意图。
具体实施方式
本发明实施例中的技术方案，总体思路如下：
在获取同一拍摄对象的彩色图像和黑白图像后，检测所述黑白图像上的目标过曝区域，并膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，再根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域，然后，根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像，一方面，通过扩大过曝区域的融合范围，使得融合后的过曝区域边缘过度更自然。另一方面，通过对过曝区域采用权重值方式进行融合，能够结合图片实际情况，通过调节权重值来尽量降低融合后的过曝区域的细节丢失，有效提高了过曝区域融合后的图像质量。
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
本实施例提供了一种图像融合方法，请参考图1，图1为本发明实施例中图像融合方法的流程图，包括：
步骤S101，获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
步骤S102，检测所述黑白图像上的过曝区域，以确定目标过曝区域；
步骤S103，膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
步骤S104，根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
需要说明的是，本实施例提供的方法可以应用于双摄像头分别拍摄的图像的融合，也可以应用于同一摄像头以不同拍摄方式拍摄的图像的融合，在此不作限制。
还需要说明的是，获取本实施例的黑白图像和彩色图像的摄像头可以均安装在同一电子设备上，也可以分别安装在不同的电子设备上，在此也不作限制。
下面，结合图1详细介绍本实施例提供的图像融合方法的具体实施步骤：
首先，执行步骤S101，获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同。
在本发明实施例中，如前所述，所述彩色图像和所述黑白图像可以是由不同的摄像头拍摄获取的，也可以是由同一摄像头拍摄获取的，下面分别举例进行说明：
第一种，由不同摄像头获取。
以智能手机为例，智能手机上设置有至少两个摄像头，其中，一个为RGB摄像头，一个为Mono摄像头。当用户需要拍摄某目标对象时，将两个摄像头对准所述目标对象，并点击智能手机屏幕上的拍摄按钮，则控制所述RGB摄像头获取所述目标对象的彩色图像，并控制所述Mono摄像头获取所述目标对象的黑白图像。
第二种，由同一摄像头获取。
以智能相机为例，智能相机上的摄像头具备彩色图像拍摄和黑白图像拍摄两种拍摄功能。当用户需要拍摄某目标对象时，将摄像头对准所述目标对象，并点击智能相机上的拍摄按钮，则通过该次点击控制所述摄像头获取所述目标对象的彩色图像，并同样通过该次点击控制所述摄像头获取所述目标对象的黑白图像，其中，获取彩色图像和黑白图像的先后顺序不作限制。进一步，为了便于后续图片融合，可以设置获取所述彩色图像和获取所述黑白图像的时间间隔小于一预设时间长度。
当然，在具体实施过程中，所述彩色图像和所述黑白图像可以如上述两种情况所示，由同一设备上的摄像头获取，也可以由不同设备上的摄像头分别获取，举例来说：
可以设置两个不同的监控摄像头安装在不同位置，两个监控摄像头面向同一拍摄对象，且与一控制设备连接，当用户在控制设备上进行拍摄操作时，一个监控摄像头获取拍摄对象的黑白图像，另一个监控摄像头获取拍摄对象的彩色图像。
在获得黑白图像和彩色图像后，执行步骤S102，检测所述黑白图像上的过曝区域，以确定目标过曝区域。
在本发明实施例中，检测所述目标过曝区域可以采用设置临界像素值来筛选过曝区域的方法，也可以用大量样本进行机器模型训练后，采用机器模型来检测过曝区域的方法，在此不作限制，也不再一一列举。
以设置临界像素值来筛选过曝区域为例，所述临界像素值可以是像素的亮度值或像素的强度值，可以设置临界像素值为像素的亮度值250，检测黑白图像上像素的亮度值超过250的区域，以检测出的像素的亮度值超过250的区域作为所述目标过曝区域。当然，在具体实施过程中，所述临界像素值也可以设置为像素的亮度值为200、220或260等数值，具体由技术人员根据图像需求和经验数据来确定，在此不作限制。
在具体实施过程中，可以直接以检测出的过曝区域作为所述目标过曝区域，也可以是对检测出的过曝区域进行分区后的区域作为所述目标过曝区域，下面分别进行说明：
第一种，直接以检测出的过曝区域作为所述目标过曝区域。
即通过设置临界像素值或设置机器模型等方式来检测出所述黑白图像上的过曝区域，并直接以检测出的过曝区域作为所述目标过曝区域。
第二种，对检测出的过曝区域进行分区后的区域作为所述目标过曝区域。
具体来讲，考虑到检测出的过曝区域有可能存在零星的区域，为了减少后续进行膨胀处理和图像融合时的处理计算量以及提高融合后图像的整体流畅度，可以对所述过曝区域进行分区，以分区后的区域作为一个或多个目标过曝区域。
举例来说：
可以在检测所述黑白图像上的过曝区域时，将所述过曝区域以过曝标记的形式存入掩码，通过所述掩码来记录检测出的过曝区域。所述掩码为与所述黑白图像尺寸大小相同的一张虚拟图，用于记录所述黑白图像的坐标，可以通过在所述掩码上设置过曝标记来标记所述黑白图像上存在过曝情况的位置和区域。例如，当检测出过曝区域后，将所述掩码上与检测出的过曝区域对应的区域的像素设置为255，作为过曝标记，将其余区域的像素设置为0。当然，也可以设置所述掩码上与检测出的过曝区域对应的区域的像素为100或200，将其余区域的像素设置为0、10或500，在此不作限制，只要保证所述掩码上需要设置过曝标记处的像素与其余位置的像素不相等即可。
然后，对所述掩码进行区域分割，生成多个掩码区域，具体来讲，对所述掩码进行分割的方式可以是按预设面积进行等面积分割，也可以是通过分割算法(Segment)进行智能分割，在此不作限制。
接下来，再删除分割出的所述多个掩码区域中不包含所述过曝标记的区域，以删除后剩下的掩码区域所对应的所述黑白图像上的区域作为一个或多个所述目标过曝区域。
当然，在具体实施过程中，除了上述两种确定目标过曝区域的方法，还可以采用其他方法确定目标过曝区域，在此不作限制，也不再一一列举。
进一步，为了保证确定出的目标过曝区域的准确度，还可以设置，在检测出黑白图像上的过曝区域后，先通过腐蚀算法或尺寸计算算法等去除掉面积过小的过曝区域和噪声干扰，再确定所述目标过曝区域。
举例来说，当拍摄对象中包括远方的路灯或星光时，黑白图像上的路灯或星光的光斑在进行过曝区域检测时，容易被误认为是过曝区域，故通过删除面积过小的过曝区域和噪声干扰，可以避免将该类图像误划入过曝区域范围，进一步提高融合后图像的质量。
进一步，在本发明实施例中，由于后续需要融合所述黑白图像和所述彩色图像，故还需要先对所述黑白图像和所述彩色图像进行图像配准，以将所述黑白图像和所述彩色图像进行匹配和叠加，将两张图像中的相同图像特征进行配准。具体来讲，可以采用光流算法对所述黑白图像和所述彩色图像进行图像配准，也可以采用特征比对算法对所述黑白图像和所述彩色图像进行图像配准，在此不作限制，也不再一一列举。
在具体实施过程中，所述图像配准可以是在步骤S101和步骤S102之间执行，也可以是在步骤S102与步骤S103之间执行，在此不作限制。
在确定出所述目标过曝区域后，接下来，执行步骤S103，膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域。
具体来讲，膨胀所述目标过曝区域，是在保持所述黑白图像尺寸不变的前提下，对所述目标过曝区域进行均匀的扩大，所述黑白图像上膨胀扩大后的区域即为所述膨胀后过曝区域。需要说明的是，膨胀时所述黑白图像上所述目标过曝区域内的图像的尺寸和参数并没有变化，而是基于所述目标过曝区域进行了图像范围的膨胀扩大，所述膨胀后过曝区域不仅包括了所述目标过曝区域内的图像，还包括了所述目标过曝区域边缘外的部分图像。而所述彩色图像上的所述对应膨胀后区域是与所述膨胀后过曝区域匹配的区域，即在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为对准重叠的匹配区域。
在本发明实施例中，对所述目标过曝区域的膨胀是根据膨胀系数来进行的，可以设置所述目标过曝区域的膨胀程度与膨胀系数正相关，也即是说，对同一目标过曝区域，所述膨胀系数越大则对应的所述膨胀后过曝区域的面积越大。
举例来讲，所述膨胀系数可以等于所述膨胀后过曝区域的面积与对应的所述目标过曝区域的面积的比值；所述膨胀系数还可以等于所述膨胀后过曝区域的最大宽度与对应的所述目标过曝区域的最大宽度的比值；所述膨胀系数还可以等于所述膨胀后过曝区域的面积减去对应的所述目标过曝区域的面积的差值；所述膨胀系数还可以等于所述膨胀后过曝区域的最大宽度减去对应的所述目标过曝区域的最大宽度的差值，在此不作限制，也不再一一列举。
在本发明实施例中，所述膨胀系数可以是技术人员根据经验设置的定值，也可以是根据黑白图像的尺寸确定的值，还可以是与过曝区域的亮度相关的值，下面分别进行说明：
第一种，根据所述平均亮度比例，确定膨胀系数。
具体来讲，在检测出所述目标过曝区域后：
先计算所述目标过曝区域的平均亮度比例，所述平均亮度比例等于所述黑白图像上的所述目标过曝区域的第一平均亮度与所述彩色图像上的对应过曝区域的第二平均亮度的比值。其中，所述第一平均亮度为所述目标过曝区域内的图像亮度的平均值，所述第二平均亮度为所述对应过曝区域内的图像亮度的平均值。而所述彩色图像上的所述对应过曝区域是与所述目标过曝区域匹配的区域，即在所述彩色图像和所述黑白图像进行图像配准后，所述对应过曝区域与所述目标过曝区域为对准重叠的匹配区域。
然后，根据所述平均亮度比例，确定膨胀系数。具体可以设置所述膨胀系数与所述平均亮度比例正相关，即所述平均亮度比例越大，对应的所述膨胀系数越大，即所述目标过曝区域需要膨胀的程度越重，以保证过曝区域的图像效果和过曝区域边缘的过度自然。
在具体实施过程中，可以设置所述膨胀系数等于所述平均亮度比例；也可以设置所述膨胀系数等于所述平均亮度比例与一常数的和值或乘积；还可以设置所述膨胀系数等于所述平均亮度比例的平方，在此不作限制，也不再一一列举。
具体来讲，设置所述膨胀系数与所述平均亮度比例正相关，能在曝光程度比较严重时，扩大膨胀的程度，以保证边缘过度自然，在曝光程度比较轻微时，减小膨胀的程度，以保证图片的质量。
第二种，所述膨胀系数为定值。
即技术人员可以根据以往对曝光区域处理的工作经验或试验经验确定一个定值作为所述膨胀系数，当确定出目标曝光区域后，直接根据所述定值对所述目标曝光区域进行程度固定的膨胀。
具体来讲，所述膨胀系数设置为定值，能减少图像处理计算量。
第三种，根据黑白图像的尺寸确定所述膨胀系数。
即根据经验或试验数据，预先设置图像尺寸与膨胀系数的对应关系列表，当确定了目标曝光区域后，根据所述黑白图像的尺寸从所述对应关系列表中查找出对应的膨胀系数，然后按照该膨胀系数膨胀所述目标曝光区域。
具体来讲，根据黑白图像的尺寸确定所述膨胀系数一方面减少图像处理计算量，另一方面能避免图像尺寸过小时的过度膨胀和图像尺寸过大时的不充分膨胀，提高图像质量。
当然，在具体实施过程中，除了上述三种确定所述膨胀系数的方法，还可以采用其他方法来确定膨胀系数，在此不作限制，也不再一一列举。
在对所述目标曝光区域进行膨胀后，执行步骤S104，根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
在本申请实施例中，可以直接根据所述权重值，按照所述黑白图像和所述彩色图像的权重配比进行图像的亮度融合。即所述权重值表征了所述黑白图像的所述膨胀后过曝区域和所述彩色图像的所述对应膨胀后区域融合时各自亮度值所占的比重。
具体来讲，由于黑白图像主要提供的是亮度的细节补充，且过曝对图像的主要影响也是亮度，故融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像是对两个图像的亮度进行融合。即根据所述权重值，确定出所述膨胀后过曝区域所占的第一亮度比重和所述对应膨胀后区域所占的第二亮度比重，然后，按照所述第一亮度比重和所述第二亮度比重分别对所述膨胀后过曝区域和所述对应膨胀后区域进行亮度融合。
举例来说，假设确定的所述第一亮度比重为20％，所述第二亮度比重为80％，则取所述膨胀后过曝区域的像素亮度值的20％加上所述对应膨胀后区域的像素亮度值的80％，以相加的亮度和值作为融合后图像对应区域的亮度值。
在具体实施过程中，可以设置所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重反相关，也即是说，所述权重值越大则对应的所述膨胀后过曝区域的图像在融合时所占的比重越小。也可以设置所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重正相关，也即是说，所述权重值越大则对应的所述膨胀后过曝区域的图像在融合时所占的比重越大。在此不作限制。
举例来讲，当所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重反相关时，可以设置所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重成反比；还可以设置所述权重值等于100％减去融合图像时所述膨胀后过曝区域的图像所占的比重的差值；还可以设置所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重的平方成反比，在此不作限制，也不再一一列举。
举例来讲，当所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重正相关时，可以设置所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重成正比；还可以设置所述权重值等于融合图像时所述膨胀后过曝区域的图像所占的比重；还可以设置所述权重值等于融合图像时所述膨胀后过曝区域的图像所占的比重的平方，在此不作限制，也不再一一列举。
在本发明实施例中，所述权重值可以是技术人员根据经验设置的定值，也可以是过曝区域的亮度相关的值，下面分别进行说明：
第一种，根据所述平均亮度比例，确定所述权重值。
具体来讲，在检测出所述目标过曝区域后：
先计算所述目标过曝区域的平均亮度比例，所述平均亮度比例等于所述黑白图像上的所述目标过曝区域的第一平均亮度与所述彩色图像上的对应过曝区域的第二平均亮度的比值。其中，所述第一平均亮度为所述目标过曝区域内的图像亮度的平均值，所述第二平均亮度为所述对应过曝区域内的图像亮度的平均值。而所述彩色图像上的所述对应过曝区域是与所述目标过曝区域匹配的区域，即在所述彩色图像和所述黑白图像进行图像配准后，所述对应过曝区域与所述目标过曝区域为对准重叠的匹配区域。
然后，根据所述平均亮度比例，确定权重值。具体来讲，当所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重反相关时，设置所述权重值与所述平均亮度比例正相关；当所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重正相关，设置所述权重值与所述平均亮度比例反相关。即所述平均亮度比例越大，所述黑白图像的所述膨胀后过曝区域在图像融合时所占的比重应该越小，以减少过曝区域对融合后图像的影响，增加更多彩色图像中的图像细节，提高图像质量。
在具体实施过程中，当所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重反相关时，可以设置所述权重值等于所述平均亮度比例；也可以设置所述权重值等于所述平均亮度比例与一常数的和值或乘积；还可以设置所述权重值等于所述平均亮度比例的平方，在此不作限制，也不再一一列举。
当所述权重值与融合图像时所述膨胀后过曝区域的图像所占的比重正相关时，可以设置所述权重值与所述平均亮度比例成反比；也可以设置所述权重值等于一常数减去所述平均亮度比例的差值；还可以设置所述权重值与所述平均亮度比例的平方成反比，在此不作限制，也不再一一列举。
具体来讲，设置所述平均亮度比例越大，所述黑白图像的所述膨胀后过曝区域在图像融合时所占的比重越小，能减少严重过曝区域对融合后图像的影响，增加更多彩色图像中的图像细节，提高图像质量。
第二种，所述权重值为定值。
即技术人员可以根据以往对曝光区域处理的工作经验或试验经验确定一个定值作为所述权重值，直接根据所述定值来融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像。
具体来讲，设置所述权重值为定值，能减少图像处理计算量。
当然，在具体实施过程中，除了上述两种确定所述权重值的方法，还可以采用其他方法来确定权重值，在此不作限制，也不再一一列举。
较优的，在本发明实施例中，为了进一步保证融合图像的融合效果，可以设置所述权重值为伽玛(gamma)曲线权重参数，具体为根据所述gamma曲线权重参数，采用gamma曲线权重方式融合所述膨胀后过曝区域的图像的亮度值和所述对应膨胀后区域的图像的亮度值。
具体来讲，融合方法为:设置gamma曲线图，其中，gamma曲线图的横坐标为所述黑白图像或所述彩色图像的像素的亮度值，纵坐标为横坐标对应像素在融合时亮度值所占的比重。采用前述根据所述平均亮度比例，确定所述权重值方法确定出gamma曲线权重参数γ(即前述权重值)，再确定出该gamma曲线权重参数γ所对应的那条gamma曲线。当需要融合时，将像素的亮度值作为横坐标，查找该横坐标在确定的gamma曲线上对应的纵坐标，该纵坐标即为融合时该像素的亮度值所占比重。分别确定出每个像素的亮度值比重后，按确定的比重进行每个像素的亮度值融合即可。
在具体实施过程中，根据gamma曲线图的设置方法不同，确定融合时各像素的亮度值比重的方法也不相同，下面给出一具体实例：
假设gamma曲线图的gamma曲线权重参数γ与所述平均亮度比例成反比，则融合时γ越小所述黑白图像上像素所占比重越小，以保证所述平均亮度比例越大则所述黑白图像上过曝区域像素所占比重越小。
举例来说，假设图6中gamma曲线图的gamma曲线权重参数γ与所述平均亮度比例成反比，则图6中的横坐标为所述彩色图像的所述对应膨胀后区域中的像素的亮度值，纵坐标为融合时对应像素的亮度值所占的比重。由图6可见，黑白图像过曝越严重对应的所述平均亮度比例越大，则图6中的γ越小，进而融合时彩色图像像素的亮度值所占比重越大，黑白图像上对应像素的亮度值所占比重越小。
例如，假设γ等于所述平均亮度比例的倒数：
当所述平均亮度比例为5时，对应的γ等于0.2，则确定图6中连接细线空心圆圈的曲线为计算比重时需要用到的曲线。当需要融合所述彩色图像上所述对应膨胀后区域内的A像素和所述黑白图像上所述膨胀后过曝区域内对应的A’像素时，假设A像素的亮度值为0.6，则以0.6作为横坐标根据之前确定的曲线查找纵坐标为0.85，则确定A像素的亮度值所占比重为0.85，对应的A’像素的亮度值所占比重为1-0.85＝0.15。然后，取所述彩色图像中A像素的亮度值的85％再加上所述黑白图像中A’像素的亮度值的15％，以相加的亮度和值作为融合后图像对应像素的亮度值。
当然，在具体实施过程中，也可以设置gamma曲线图的gamma曲线权重参数γ与所述平均亮度比例成正比，并设置对应的gamma曲线图来确定融合时各像素的亮度值比重，在此不作限制，也不再一一列举。
需要说明的是，在整体融合所述黑白图像和所述彩色图像时，对所述膨胀后过曝区域对应的区域可以直接采用本实施例的步骤S102-S104生成的所述融合图像作为结果图像，其余区域采用现有的融合方法进行图像融合生成结果图像即可。
在本发明实施例中，当所述黑白图像上确定出的目标过曝区域有多个时，需要分别对各个目标过曝区域均执行步骤S103-S104来生成对应的融合图像。
进一步，当存在多个目标过曝区域，且需要根据平均亮度比例来确定膨胀系数和/或权重值时：
需要先分别计算所述多个目标过曝区域中每个目标过曝区域对应的所述第一平均亮度与所述第二平均亮度的比值，获得所述多个目标过曝区域中每个目标过曝区域对应的平均亮度比例；
然后，再根据所述每个目标过曝区域对应的平均亮度比例，分别确定所述每个目标过曝区域的膨胀系数；并根据所述每个目标过曝区域的所述膨胀系数，一一对应的分别膨胀所述每个目标过曝区域；和/或，
根据所述每个目标过曝区域对应的平均亮度比例，分别确定所述每个目标过曝区域的权重值；并根据所述每个目标过曝区域的所述权重值，一一对应的分别融合所述每个目标过曝区域对应的所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成所述每个目标过曝区域对应的融合图像；
再将生成的各个融合图像作为对应区域的结果图像一一填充入最终的完整结果图像。
还需要说明的是，考虑到过曝主要是导致黑白图像上过曝区域的亮度失常，主要需要调整的是亮度数据，故可以先将所述黑白图像和所述彩色图像转换为YUV图像格式，以便于采用本实施例前述方法对图像的Y通道的亮度数据进行融合。在执行完本实施例的步骤S102-S104以生成所述融合图像之后，再将所述融合图像与所述彩色图像进行色彩参数合并，合并色彩参数后的图像转换为RGB图像格式，以便于分享和显示。
在介绍了本实施例提供的具体实施步骤后，为了便于从整体上了解本实施例的详细执行步骤，下面以双摄像头的智能手机为例，结合图2来完整说明该方法：
首先，执行步骤S201，预先在智能手机中设置好平均亮度比例与膨胀系数和权重值的确定关系；
然后，执行步骤S202，当夜晚需要拍摄夜景图像时，用户点击拍摄按钮，控制RGB相机获取彩色图像，控制Mono相机获取黑白图像；
然后，执行步骤S203，将彩色图像和黑白图像的格式转换为YUV图像格式；
再下来，执行步骤S204，对所述黑白图像和所述彩色图像进行图像配准，具体可以采用光流算法进行图像配准；
然后，执行步骤S205，以250为临界像素值，检测黑白图像上像素亮度值超过250的过曝区域，并通过过曝标记在掩码中存储记录所述过曝区域；
接下来，执行步骤S206，腐蚀所述掩码，去掉噪声干扰和面积较小的过曝区域，以排除图像中的灯光或星光等小光点；
再下来，执行步骤S207，对所述掩码进行区域分割，并删除不包括所述过曝标记的分割区域，保留区域作为所述目标过曝区域；
然后，执行步骤S208，计算各个目标过曝区域的区域平均亮度比例(Mono/RGB)，并按照预设的确定关系，根据所述平均亮度比例确定膨胀系数和权重值；
然后，执行步骤S209，按照各自的膨胀系数分别膨胀对应的目标曝光区域，区域平均亮度比例越大的目标曝光区域膨胀程度越大；
再下来，执行步骤S210，对膨胀后的区域分别按照各自的权重值，进行gamma权重曲线融合，得到各自的结果图像，区域平均亮度比例越大的区域融合时黑白图像所占的比重越小；
再下来，执行步骤S211，将各膨胀后的区域对应的结果图像作为完整结果图像中各膨胀后的区域对应区域的最终图像；
然后，执行步骤S212，将最终的完整结果图像转换为RGB图像格式。
本实施例提供的图像融合方法，在获取彩色图像和黑白图像后，先检测确定所述黑白图像上的目标过曝区域，然后膨胀所述目标过曝区域，并融合黑白图像和彩色图像上的膨胀后的过曝区域，以增加过曝区域的融合范围，从而使融合后的过曝区域边缘过度更自然。并且，本实施例对过曝区域的融合采用权重值方式进行融合，能够结合图片实际情况，通过调节权重值来尽量降低融合后的过曝区域的细节丢失，有效提高了过曝区域融合后的图像质量。
进一步，本实施例通过计算黑白图像上目标过曝区域的平均亮度与彩色图像上对应区域的平均亮度的比值，作为平均亮度比例，并根据所述平均亮度比例来确定膨胀所述目标过曝区域的膨胀系数和/或融合图像的所述权重值，尽可能的将融合过曝区域时过曝区域周边的图像细节损失较低到最小，进一步提高融合图像的质量效果。
基于同一发明构思，本发明实施例还提供了实施例一中方法对应的装置，见实施例二。
实施例二
如图3所示，提供一种图像融合装置，包括：
获取模块301，用于获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
检测模块302，用于检测所述黑白图像上的过曝区域，以确定目标过曝区域；
膨胀模块303，用于膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
融合模块304，用于根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本发明实施例还提供了实施例一中方法对应的电子设备，见实施例三。
实施例三
如图4所示，本实施例提供一种电子设备，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，所述处理器420执行所述计算机程序411时实现以下步骤：
获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
检测所述黑白图像上的过曝区域，以确定目标过曝区域；
膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
在本发明实施例中，所述处理器420执行所述计算机程序411时可以实现本发明实施例一中任一实施方式。
由于本发明实施例三所介绍的电子设备，为实施本发明实施例一的方法所采用的设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的设备都属于本发明所欲保护的范围。
基于同一发明构思，本发明实施例还提供了实施例一中方法对应的存储介质，见实施例四。
实施例四
本实施例提供一种计算机可读存储介质500，如图5所示，其上存储有计算机程序511，其特征在于，该计算机程序511被处理器执行时实现以下步骤：
获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；
检测所述黑白图像上的过曝区域，以确定目标过曝区域；
膨胀所述目标过曝区域，以确定所述黑白图像的膨胀后过曝区域，并根据所述膨胀后过曝区域确定所述彩色图像的对应膨胀后区域；其中，在所述彩色图像和所述黑白图像进行图像配准后，所述膨胀后过曝区域与所述对应膨胀后区域为匹配区域；
根据权重值，融合所述膨胀后过曝区域的图像和所述对应膨胀后区域的图像，生成融合图像。
在具体实施过程中，该计算机程序511被处理器执行时，可以实现本发明实施例一中任一实施方式。
本发明实施例中提供的技术方案，至少具有如下技术效果或优点：
本发明实施例提供的图像融合方法、装置、电子设备及介质，在获取彩色图像和黑白图像后，先检测确定所述黑白图像上的目标过曝区域，然后膨胀所述目标过曝区域，并融合黑白图像和彩色图像上的膨胀后的过曝区域，以增加过曝区域的融合范围，从而使融合后的过曝区域边缘过度更自然。并且，本发明对过曝区域的融合采用权重值方式进行融合，能够结合图片实际情况，通过调节权重值来尽量降低融合后的过曝区域的细节丢失，有效提高了过曝区域融合后的图像质量。
进一步，本发明通过计算黑白图像上目标过曝区域的平均亮度与彩色图像上对应区域的平均亮度的比值，作为平均亮度比例，并根据所述平均亮度比例来确定膨胀所述目标过曝区域的膨胀系数和/或融合图像的所述权重值，尽可能的将融合过曝区域时过曝区域周边的图像细节损失较低到最小，进一步提高融合图像的质量效果。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像融合装置、电子设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。