一种多帧图像融合方法及装置与流程

本发明一般地涉及图像处理技术领域，特别是涉及一种多帧图像融合方法及装置。

背景技术：

多帧图像融合算法由于其去噪效果相对单帧更佳，细节纹理保持更好等原因，目前已在业内广泛使用。基于内存和算法运行时间的考虑，目前常用的方案是：摄像头连续拍摄5-10张图像，选择其中一张作为参考帧，其他图像进行图像配准，对配准后图像进行多帧图像融合，进而得到去噪图像。

但在实际多帧拍摄场景中，进行多张融合时，都会存在或轻或重的运动模糊，如若连续拍摄玩耍的孩子，奔跑的宠物等运动速度较快的目标时，在多帧图像融合的过程中会出现较为严重的拖影现象，严重影响对图像去噪成像的质量；在大噪声的场景下，很多噪声也会被误检测为运动状态，影响图像去噪。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供一种多帧图像融合方法及装置。

第一方面，本发明实施例提供一种多帧图像融合方法，其中，包括：连续图像获取步骤，通过连续拍摄，获取多张连续拍摄图像；参考帧选取步骤，从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取步骤，获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间；配准步骤，将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割步骤，将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合步骤，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。

在一实施例中，图像融合步骤包括：图像融合步骤包括：根据配准后的长曝光图像的纹理区域和平坦区域，获得配准后的参考帧图像的纹理区域和平坦区域；根据配准后的参考帧图像的纹理区域和平坦区域，获得辅助图像的纹理区域和平坦区域；将配准后的参考帧图像的纹理区域与辅助图像的纹理区域进行融合；将配准后的参考帧图像的平坦区域与辅助图像的平坦区域进行融合。

在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：直接将配准后的参考帧图像的纹理区域作为纹理区域的融合结果。

在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：获得配准后的辅助图像的纹理区域内的各个像素点与参考帧图像在纹理区域中对应的各个的像素点的像素差，像素差小于预设阈值时，将对应的像素点进行融合；像素差大于或等于预设阈值时，对应的辅助图像的像素点不参与融合。

在一实施例中，参考帧选取步骤包括，对多张连续拍摄图像进行边缘检测，通过边缘检测得到每个连续拍摄图像的清晰度，选取清晰度最高的连续拍摄图像作为参考帧图像。

在一实施例中，配准步骤包括，通过mtb算法对长曝光图像和参考帧图像进行配准。

在一实施例中，长曝光图像与连续拍摄图像分别通过不同摄像头针对同一景象进行同时拍摄。

在一实施例中，图像融合步骤包括：通过直接平均或双边权重的方式进行融合。

第二方面，本发明实施例提供一种多帧图像融合装置，其中，包括：连续图像获取模块，用于通过连续拍摄，获取多张连续拍摄图像；参考帧选取模块，用于从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取模块，用于获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间；配准模块，用于将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割模块，用于将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合模块，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。

第三方面，本发明实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行多帧图像融合方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行多帧图像融合方法。

本发明提供的一种多帧图像融合方法及装置，适用于多摄设备，多摄同时采图，不会额外增加采图时间消耗；通过长曝光图像与参考帧图像配准后进行平坦区域和纹理区域分割，有助于区分连续拍摄图像中可能存在拖影现象和不存在拖影现象的区域，在分割区域的过程中不受噪声干扰；由于对长曝光图像的分辨率不需要太高，因此拍摄长曝光的设备也可以是低端设备。配准后的连续图像根据平坦区域和纹理区域进行分区域融合，有助于合理去噪和消除拖影影响；通过使用本发明的多帧图像融合方法及装置，能够得到去噪效果正常且去除拖影现象良好的图像。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了本发明实施例提供的一种多帧图像融合方法示意图；

图2示出了本发明实施例提供的一种多帧图像融合装置示意图；

图3示出了本发明实施例提供的一种电子设备示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

图1为多帧图像融合方法10的一个实施例的流程示意图。如图1所示，该是实例方法包括：连续图像获取步骤110、参考帧选取步骤120、长曝光图像获取步骤130、配准步骤140、区域分割步骤150、图像融合步骤160。下面对图1中的各个步骤进行详细说明。

连续图像获取步骤110，通过连续拍摄，获取多张连续拍摄图像。

在本实施例中，通过相机或者手机等拍照设备的一镜头进行拍摄，获取多张连续拍摄图像，例如获取连续拍摄的5到10张的连续拍摄图像，用于多帧融合去除噪声。

参考帧选取步骤120，从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像。

在本实施例中，将获取的多张连续拍摄图像分为参考帧图像和辅助图像，选取多张连续拍摄图像中的一张图像作为参考帧图像，用于在后续配准和图像融合的过程中作为参考图像；其余连续拍摄图像为辅助图像。便于图像在融合的过程中合理去噪，避免噪声和拖影的影响。

长曝光图像获取步骤130，获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间。

在本实施例中，在连续拍摄图像的同时，通过另一镜头进行长曝光拍摄与连续图像景物相同图像，从而得到长曝光图像。曝光时间越长，越能够清晰的捕捉物体的运动变化。在保证看清景象轮廓的前提下，最优选择拍摄一张长曝光图像所用时长为拍摄一帧连续图像曝光所用时长的10倍，即拍摄一张长曝光图像的同时，可拍摄10张连续拍摄图像，此时物体运动效果明显、图像清晰。在一例中，长曝光图像与连续拍摄图像同时获取；在另一例中，长曝光图像与连续拍摄图像分批获取。长曝光图像有助于区分物体移动变化，区域分割时不会受到噪声干扰，有助于连续拍摄图像在融合时避免拖影的影响。

配准步骤140，将长曝光图像和辅助图像分别与参考帧图像进行配准。

在本实施例中，以参考帧图像为标准，将连续拍摄图像和长曝光图像进行特征提取，通过相似性度量找到辅助图像和长曝光图像与参考帧图像匹配的特征点对，根据匹配到的特征点对获得图像空间坐标变换参数，根据坐标变换参数进行图像配准，将所有连续拍摄图像和长曝光图像的坐标系进行统一，便于后续将图像划区域分割进行图像融合，有利于图像去噪和去拖影。在一例中，将长曝光图像与连续拍摄图像同时获取进行配准。在另一例中，分批获取长曝光图像与连续拍摄图像。将辅助图像先与参考帧图像进行配准，再将与连续拍摄图像对应的长曝光图像进行获取，将长曝光图像根据参考帧图像进行配准。

区域分割步骤150，将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域。

在本实施例中，将配准后的长曝光图像通过边缘提取算法，如：sobel边缘算子、log(高斯拉普拉斯)、canny边缘提取算法，将长曝光图像根据提取边缘的密集程度进行区域分割，边缘密集的区域为纹理区域，边缘稀疏的区域为平坦区域。纹理区域为可能出现拖影的区域，平坦区域为不可能出现拖影的区域。由于移动的物体必然有纹理，所以将图像中可能出现拖影的位置都划分至纹理区域中。相对于在正常拍摄的图片，使用长曝光图像进行区域分割，可以在避免噪声干扰情况下，准确分割出运动物体或者拖影可能存在区域。

图像融合步骤160，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。

在本实施例中，将配准后的辅助图像和参考帧图像分区域进行融合，有助于合理去噪、消除拖影误检测的影响，从而提升结果图像的清晰度。

在一例中，图像融合步骤160包括：根据配准后的长曝光图像的纹理区域和平坦区域，获得配准后的参考帧图像的纹理区域和平坦区域；根据配准后的参考帧图像的纹理区域和平坦区域，获得辅助图像的纹理区域和平坦区域；将配准后的参考帧图像的纹理区域与辅助图像的纹理区域进行融合；将配准后的参考帧图像的平坦区域与辅助图像的平坦区域进行融合。

通过配准，辅助图像和长曝光图像中的各个像素点均能在参考帧图像中找到具有对应匹配的像素点。通过长曝光图像与参考帧图像进行配准，在参考帧图像中可对应找到与长曝光图像分割的纹理区域和平坦区域对应的像素点，因此在参考帧图像中可分割出与长曝光图像相对应的纹理区域和平坦区域。同理，将配准后的辅助图像对照分割后的参考帧图像进行分割，获得与参考帧图像相对应的纹理区域和平坦区域。最终，长曝光图像、参考帧图像和辅助图像均能获得相互对应的纹理区域和平坦区域。由于平坦区域不会产生拖影现象，因此将参考帧图像和连续拍摄图像在平坦区域内的像素直接采用多图融合的方式进行融合，降低图像噪声，方便快捷。连续拍摄图像通过与长曝光图像配准，区分出可能出现拖影现象和不可能出现拖影现象的区域，分区域进行融合有助于避免多张连续拍摄图像因直接融合而产生的噪声干扰、拖影现象和噪声放大等负面作用。

在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：直接将配准后的参考帧图像的纹理区域作为纹理区域的融合结果。为了避免在多帧融合的过程中产生拖影现象，辅助图像和参考帧图像在纹理区域内进行进行融合时，直接选取参考帧图像在纹理区域内的像素作为融合结果的像素，能够节省大量融合图像的时间，提高多帧图像融合的速率。

在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：获得配准后的辅助图像的纹理区域内的各个像素点与参考帧图像在纹理区域中对应的各个的像素点的像素差，像素差小于预设阈值时，将对应的像素点进行融合；像素差大于或等于预设阈值时，对应的辅助图像的像素点不参与融合。

在纹理区域中，提前预设参考帧图像与辅助图像在纹理区域内像素点的像素差阈值，将参考帧图像与辅助图像在纹理区域中对应的像素点逐点进行计算像素差，将参考帧图像与辅助图像的像素差小于预设阈值的对应的像素点进行融合；将像素差大于或者等于阈值的像素点，辅助图像对应的像素点不参与融合。例如：在一例中，预设像素差阈值为20，五张连续拍摄图像针对纹理区域中的a点进行融合，第一张a点的像素为159，第二张a点的像素为169，第三张a点像素为186，第四张a点的像素为145，第五张a点的像素为149，其中第二张连续拍摄图像为参考帧图像，其余四张图像为辅助图像。通过计算，第一张、第三张连续拍摄图像与参考帧图像关于a点的像素差小于20，第四张连续拍摄图像与参考帧图像关于a点的像素差大于20，第五张连续拍摄图像与参考帧图像关于a点的像素差等于20。因此，在该纹理区域中，采用前三张连续拍摄图像关于a点的像素进行融合，融合结果作为五张连续拍摄图像关于a点多帧图像融合的像素。在另一例中，五张连续拍摄图像纹理区域中a点的像素值沿用上一例，而预设像素差阈值设为10，其中第二张连续拍摄图像为参考帧图像，其余四张图像为辅助图像，辅助图像与参考帧图像在对应的纹理区域中的像素差均大于或等于10，在此情况下，直接将配准后的参考帧图像在纹理区域中对应的像素点作为融合结果。通过预设像素差阈值，能够提高在纹理区域内图像融合的精确度，使得到的结果图像更清晰准确。

在一实施例中，长曝光图像与连续拍摄图像分别通过不同摄像头针对同一景象进行同时拍摄。通过使用不同的拍摄设备同时拍摄图像，拍摄的时间相同，不会产生额外的时间消耗，拍摄的景象为同一景象，在划分的过程中可以保证连续拍摄图像和长曝光图像中物体的运动变化一致。还可以根据曝光程度不同，合理避免噪声对图像的干扰，更好的保留图像细节纹理。由于对长曝光图像进行平坦区域和纹理区域分类，并不需要像素级配准和特别高的图像分辨率，因此拍摄长曝光图像的设备可以是低分辨率的硬件设备，也可以是终端设备，例如：手机的两个主、副摄像头，主摄像头为采集连续拍摄图像的设备，副摄像头为采集长曝光图像的设备。

在一实施例中，参考帧选取步骤120包括，对多张连续拍摄图像进行边缘检测，通过边缘检测得到每个连续拍摄图像的清晰度，选取清晰度最高的连续拍摄图像作为参考帧图像。通过使用边缘检测算子或者log(高斯拉普拉斯)等边缘提取算法对多张连续拍摄图像进行边缘检测，选择连续拍摄图像中清晰度最高的一帧图像作为参考帧图像。选择清晰度高的图像有助于提高融合图像的精确性及可靠性，降低噪声的干扰。

在一实施例中，配准步骤140包括，通过mtb算法对长曝光图像和参考帧图像进行配准。mtb算法(均值二值化对齐算法)是利用像素百分位二值化的方法来解决多幅曝光不同的图像配准问题，通过对每幅图像构造二值化金字塔图像，然后分别在水平和垂直方向上搜索偏移量进行图像配准。因拍摄长曝光图像可能会发生平移现象，不会出现旋转现象，即使出现一些旋转，也不会影响观察者的注意力，因此采用mtb算法对长曝光图像和参考帧图像进行配准，能够节省时间，提高图像配准速率。在另一实施例中，也可以采用sift(尺度不变特征变换)、fast特征点检测算法等算法进行图像配准。

在一实施例中，图像融合步骤160包括：通过直接平均或双边权重的方式进行融合。多张连续拍摄图像是针对同一景物进行连续拍摄，因此每一帧图像上对应区域的像素差别小，常采用多张图像的像素在同一区域内的平均像素作为该区域内的融合像素；或者利用可变参数的交叉双边滤波器对连续拍摄图像进行多尺度分解，针对不同分解层赋予不同的权重值，根据权重比值将多张连续拍摄图像进行融合。

图2示出了多帧图像融合装置20的示例性结构示意图。如图2所示，该多帧图像融合装置包括：连续图像获取模块210，用于通过连续拍摄，获取多张连续拍摄图像；参考帧选取模块220，用于从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取模块230，用于获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的时间；配准模块240，用于将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割模块250，用于将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合模块260，用于根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。

装置中的各个模块所实现的功能与上文描述的方法中的步骤相对应，其具体实现个技术效果请参见上文对于方法步骤的描述，在此不再赘述。

如图3所示，本发明的一个实施方式提供了一种电子设备30。其中，该电子设备30包括存储器310、处理器320、输入/输出(input/output，i/o)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本发明实施例的用于多帧图像融合方法。其中，处理器320分别与存储器310、i/o接口330连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本发明实施例中涉及的用于多帧图像融合的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。

本发明实施例中处理器320可以采用数字信号处理器(digitalsignalprocessing，dsp)、现场可编程门阵列(field-programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(centralprocessingunit，cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(randomaccessmemory，ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)等。

本发明实施例中，i/o接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中i/o接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。