一种图像拼接方法及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种图像拼接方法及装置。

背景技术：

随着移动终端相机的普及，人们越来越喜欢在社交网站上分享图片来增加趣味性，移动终端相机的各种拍照功能层出不穷，有的时候用户想用一张图片来记录一个动作的过程或者瞬间，如图1所示，图1记录了运动员滑雪的过程，为了得到如图1所示的图片，需要运用图像拼接技术。

图像拼接技术作为图像处理技术的一个重要分支，是指将通过相机对同一场景拍摄的、一系列有部分重叠区域的多幅图像，根据不同图像的特征，运用不同的处理算法进行匹配对准，从而拼接成一幅宽视角图像的过程。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

现有的图像拼接技术将这些在同一场景下拍摄的图像拼接成一幅图片时，当物体运动的比较慢时，相邻的图像之间重叠部分较大，图像显示的物体较模糊，在没有任何选取方法时，得到的拼接图像虽然能将运动目标的运动全貌记录下来，扩大了图片视角，但是多帧运动目标之间的重叠部分也会呈现在图片上，无法得到一幅清晰的运动目标拼接图像，图像的拼接效果不佳。

技术实现要素：

本发明实施例的目的在于提供一种图像拼接方法及装置，可以得到一幅清晰的运动目标拼接图像，提高了图像拼接效果。具体技术方案如下：

本发明公开了一种图像拼接方法，包括：

获取多帧待拼接图像；

确定所述多帧待拼接图像的运动目标和除所述运动目标以外的背景区域；

根据每帧背景区域确定全部待拼接图像的背景模型；

计算相邻两帧运动目标重叠面积比例值，选取重叠面积比例值满足预设条件的运动目标作为目标运动区域；

将全部目标运动区域与所述背景模型拼接成目标图像。

具体的，所述计算相邻两帧运动目标重叠面积比例值，包括：

计算相邻两帧运动目标重叠部分面积；

计算所述相邻两帧运动目标的总面积；

计算所述相邻两帧运动目标重叠面积比例值，所述重叠面积比例值为所述相邻两帧运动目标重叠部分面积和所述相邻两帧运动目标合并面积的比值，其中，所述相邻两帧运动目标合并面积为所述相邻两帧运动目标的总面积与所述相邻两帧运动目标重叠部分面积之差。

具体的，所述选取重叠面积比例值满足预设条件的运动目标作为目标运动区域，包括：

选取所述预设条件为重叠面积比例值小于或等于预设阈值范围的运动目标作为目标运动区域。

具体的，所述确定所述多帧待拼接图像的运动目标和除所述运动目标以外的背景区域，包括：

通过帧间差分法确定所述多帧待拼接图像的运动目标和除所述运动目标以外的背景区域。

具体的，所述根据每帧背景区域确定全部待拼接图像的背景模型，包括：

将每帧背景区域通过帧间差分法，得到全部待拼接图像的背景模型。

具体的，所述将全部目标运动区域与所述背景模型拼接成目标图像，包括：

将全部目标运动区域拼接到背景模型时，采用羽化操作虚化拼接处的边缘，得到目标图像。

具体的，所述获取多帧待拼接图像，包括：

获取具有相同背景区域的多帧待拼接图像。

本发明还公开了一种图像拼接装置，包括：

获取模块，用于获取多帧待拼接图像；

图像处理模块，用于确定所述多帧待拼接图像的运动目标和除所述运动目标以外的背景区域；根据每帧背景区域确定全部待拼接图像的背景模型；

计算模块，用于计算相邻两帧运动目标重叠面积比例值；

选取模块，用于选取重叠面积比例值满足预设条件的运动目标作为目标运动区域；

拼接模块，将全部目标运动区域与所述背景模型拼接成目标图像。

具体的，所述计算模块，包括：

第一计算子模块，用于计算相邻两帧运动目标重叠部分面积；

第二计算子模块，用于计算所述相邻两帧运动目标的总面积；

第三计算子模块，用于计算所述相邻两帧运动目标重叠部分面积和所述相邻两帧运动目标合并面积的比值，其中，所述相邻两帧运动目标合并面积为所述相邻两帧运动目标的总面积与所述相邻两帧运动目标重叠部分面积之差。

具体的，所述选取模块，具体用于选取所述预设条件为重叠面积比例值小于或等于预设阈值范围的运动目标作为目标运动区域。

具体的，所述图像处理模块，包括：

第一图像处理子模块，用于通过帧间差分法确定所述多帧待拼接图像的运动目标和除所述运动目标以外的背景区域；

第二图像处理子模块，用于将每帧背景区域通过帧间差分法得到全部待拼接图像的背景模型。

具体的，所述拼接模块，具体用于通过羽化操作虚化拼接处的边缘，将全部目标运动区域拼接到背景模型时，得到目标图像。

本发明实施例提供的一种图像拼接方法及装置，通过计算两帧运动目标重叠面积比例值，选取满足预设条件的运动目标作为目标运动区域，将全部目标运动区域拼接到背景模型上，通过本发明得到的拼接图像考虑了图像与图像之间的重叠问题，选取重叠面积比例值满足预设条件的运动目标形成拼接图像，解决了现有技术中，拼接图像有大量重叠、易模糊的问题，能够得到一幅清晰的运动目标拼接图像，提高了图像拼接效果。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中图像拼接效果图；

图2为本发明实施例图像拼接方法的流程图；

图3为本发明实施例计算相邻两帧运动目标重叠面积比例值的流程图；

图4为本发明实施例选取重叠面积比例值满足预设条件的运动目标作为目标运动区域的流程图；

图5为本发明实施例图像拼接装置的结构图；

图6为本发明实施例计算模块的结构示意图；

图7为本发明实施例图像处理模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着移动终端相机的普及和各种拍照功能层出不穷，当人们想要用一张图片记录一个动作的过程或者瞬间时，如图1所示的图片，图1记录了运动员滑雪的过程，为了得到如图1所示的图片，需要运用图像拼接技术。

现有的图像拼接技术将在同一场景下拍摄的图像拼接成一幅图片时，当物体运动的比较慢时，相邻图像帧中运动目标之间重叠部分较大，拼接图像上显示的物体较模糊，在没有任何选取方法时，得到的拼接图像虽然能将物体的运动全貌记录下来，扩大了运动目标的运动视角，但是多帧运动物体之间的重叠部分也会呈现在图片上，无法得到一幅清晰的运动目标拼接图像，图像的拼接效果不佳。

为了解决现有技术中，拼接图像有大量重叠、易模糊的问题，得到一幅清晰的运动目标拼接图像，提高图像的拼接效果，本发明提供了一种图像拼接方法和装置。

下面首先对本发明提供的图像拼接方法进行详细说明。

图2为本发明提供的图像拼接方法的流程图，包括如下步骤：

步骤201，获取多帧待拼接图像。

本步骤中，为了实现本发明提供的图像拼接方法，需要预先获取多帧待拼接图像，将多帧待拼接图像处理成一幅可以体现运动目标运动全貌的拼接图像。获取待拼接图像时，待拼接图像的背景区域分为两种情况：背景区域相同和背景区域不同。背景区域相同，后续处理运动的、单一的物体时，背景区域的影响较小。背景区域不完全相同，待拼接图像的背景区域会随时间和位置而变化，在后续确定背景区域时，需要通过一定的图像处理技术获得。待拼接图像之间的背景区域不完全相同，但存在重叠区域，将重叠区域确定为背景区域也可以得到用户所需的背景区域。获取背景区域不相同时的背景区域，可以采用图像处理技术，将重叠区域全部提取出来，得到背景区域。

具体的，获取多帧待拼接图像时，获取具有相同背景区域的多帧待拼接图像。

在实际应用中，获取待拼接图像时，为了得到凸显运动目标的拼接图像，在同一场景下连拍时容易得到具有相同背景区域的多帧待拼接图像。例如，在手机相机连拍时，不要移动手机，就会得到具有相同背景区域的图像。

步骤202，确定多帧待拼接图像的运动目标和除运动目标以外的背景区域。

本步骤中，为了得到所需运动目标的运动轨迹，需要对多帧待拼接图像进行图像处理，将运动目标和除运动目标以外的背景区域分离，便于后续对运动目标作拼接处理。运动目标可以根据用户的需求而有所不同，运动目标可以为运动中的人、物体，可以为单一的物体，也可以为两个及两个以上的物体，根据用户的需求而有所不同，本发明实施例中以单一的运动目标为例，便于更好的解释说明。除了运动目标以外的部分就是背景区域，背景区域和运动目标共同组成一幅待拼接图像。

确定待拼接图像的运动目标和除运动目标以外的背景区域可以通过多种方法，例如抠图的方法。抠图是图像处理中最常运用的操作之一，是将图像中需要的部分从画面中精确地提取出来的一种方法，抠图方法具体还包括：套索工具抠图法、魔术棒抠图法、路径抠图法、通道抠图法等。这些方法都可以实现将待拼接图像的运动目标和除运动目标以外的背景区域分离的目的。这些抠图方法虽然可以分割出运动目标和背景区域，不过是交互的，需要人们去手工交互完成抠图，对于本发明，从提高用户体验的角度来说，采用自动化帧间差分法来得到运动目标和背景区域是更好的方法。

具体的，通过帧间差分法确定多帧待拼接图像的运动目标和除运动目标以外的背景区域。

帧间差分法是一种通过将图像序列中时间上连续的两帧或三帧作差分运算来获得运动目标的方法，运动目标在两帧图像当中会出现较明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断绝对值是否大于一定阈值来分析图像序列的运动特性，确定图像序列中有无物体运动。通常通过自定义的方法选择阈值，例如，待拼接图像中的第一帧和第二帧图像分别为f1和f2，两帧对应像素点的灰度值记为f1(x,y)、f2(x,y)，两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像D2。设定预设阈值T，预设阈值T根据用户需求或者工业需要任意设定,本发明实施例中预设阈值T具体表示为，灰度值为255的点为运动目标点，灰度值为0的点为背景区域点。逐个对差分图像D2对应的像素点进行二值化处理，得到二值化图像D2’，其中，灰度值为255的点为运动目标点，灰度值为0的点为背景区域点，由此将所有待拼接图像进行帧间差分法的运算，得到运动目标和除运动目标以外的背景区域。运用帧间差分法确定多帧待拼接图像的运动目标和除运动目标以外的背景区域时，可以通过设定阈值的方式灵活选择满足条件的背景区域。

步骤203，根据每帧背景区域确定全部待拼接图像的背景模型。

在步骤202中，将运动目标和除运动目标以外的背景区域分离以后，所有的背景区域都存在空白区域，为了得到一幅干净而且完整的背景模型图像，需要将所有的背景区域进行图像处理，有利于后续操作中图像拼接的完整性。可以通过不同的方法确定全部待拼接图像的背景模型，常见方法有统计的方法，利用统计值表征背景，建立背景模型。还可以根据帧间差分法的结果来确定背景模型，然后多次运用帧间差分法来增量确定整个背景模型。

具体的，将每帧背景区域通过帧间差分法，得到全部待拼接图像的背景模型。

在将所有的背景区域进行图像处理时，可以采用帧间差分法，帧间差分法实际上是一种统计滤波的思想，将采集到的多帧图像进行相邻两帧作差。举例说明如下；

假设在实际应用中，选取10帧待拼接图像，f1、f2、f3...f10分别代表每一帧待拼接图像的三原色光模式(color model，RGB)值，求取10帧待拼接图像的背景模型的过程为：将这10帧待拼接图像每相邻两帧作差，得到9帧作差后的图像，在这9帧图像中，差异值较小或者为零的区域是背景区域，根据这些背景区域上相同像素点的RGB值具体生成背景模型上相应像素点的RGB向量值方式可以有多种，平均法是比较常用的方法。多帧平均法就是将采集到的多帧图像的RGB值相加，求其平均值的方法。

步骤204，计算相邻两帧运动目标重叠面积比例值，选取重叠面积比例值满足预设条件的运动目标作为目标运动区域。

本步骤中，将已经确定的、多帧待拼接图像的运动目标进行图像处理，计算相邻两帧运动目标重叠面积比例值。为了选取合适的运动目标，可以通过不同的方法来确定相邻两帧运动目标重叠面积比例值，例如可以通过抠图法计算面积，也可以通过计算机图像处理软件，运用计算机语言来计算相邻两帧运动目标重叠面积比例值。得到重叠面积比例值后，将满足预设条件的运动目标作为目标运动区域，预设条件可以随着用户的需求而有所变化。

具体的，选取预设条件为重叠面积比例值小于或等于预设阈值范围的运动目标作为目标运动区域。

预设阈值范围是根据用户需求或者工业需要任意设定的，本发明实施例的预设阈值范围为3％～5％，在3％～5％范围内，均能满足本发明实施例的需求。在重叠面积比例值小于或等于5％时，拼接图像效果较佳，在重叠面积比例值小于或等于3％时，拼接图像效果最好，在3％～5％的范围内，得到的拼接图像均能满足用户需求。

步骤205，将全部目标运动区域与背景模型拼接成目标图像。

为了得到一幅完整的拼接图像，包含运动目标的运动全貌而且图像清晰，需要将全部目标运动区域拼接到背景模型的相应位置。在拼接的过程中，为了得到更自然的拼接图像，可以采用一些图像拼接技术，使得边缘处的过渡更流畅。

具体的，将全部目标运动区域拼接到背景模型时，采用羽化操作虚化拼接处的边缘，得到目标图像。

在将全部目标运动区域拼接到背景模型时，会出现拼接边缘不流畅，线条过于硬朗，为了得到更自然流畅的拼接效果图，可以采用羽化操作来虚化拼接处的边缘，产生过渡半透明的效果。也可以采用多加一些结点和图层蒙版的方法，也可以虚化拼接处的边缘。

图3为本发明计算相邻两帧运动目标重叠面积比例值的流程图。

步骤301，计算相邻两帧运动目标重叠部分面积。

本步骤中，计算相邻两帧目标运动的重叠部分面积时，可以有多种方法。例如，统计相邻两帧运动目标重叠部分像素值，以重叠部分像素值作为相邻两帧目标运动的重叠部分的面积数值。运用数字图像处理技术可以自动计算出运动目标的面积，每个像素点代表一定的实际面积，假设两帧图像f1和f2重叠部分的像素值为a，则a所代表的实际面积就为f1和f2的重叠部分面积。

计算相邻两帧运动目标重叠部分面积还可以通过图像分割边缘检测的方法，先检测出每个图形的轮廓并作标记，然后重新扫描新图像再计算面积；还可以通过灰度值来表示该运动目标，直接扫描图像，使具有不同的灰度值加1即可得出相邻两帧运动目标重叠部分面积。

步骤302，计算相邻两帧运动目标的总面积。

本步骤中，计算相邻两帧运动目标的总面积的方法和步骤301相同，统计相邻两帧运动目标总像素值，将相邻两帧的像素点值相加，得到总像素点值，每个像素点代表一定的实际面积，假设两帧图像f1和f2的像素值分别为A和B，则f1和f2的总像素值为A加B，A加B所代表的实际面积就为f1和f2的总面积。

同步骤301，图像分割边缘检测方法统计灰度值的方法也可以计算相邻两帧运动目标的总面积。

步骤303，计算相邻两帧运动目标重叠部分面积和相邻两帧运动目标合并面积的比值。

相邻两帧运动目标合并面积为相邻两帧运动目标的总面积与相邻两帧运动目标重叠部分面积之差，将步骤301和步骤302中得到的相邻两帧运动目标的总面积和相邻两帧运动目标重叠部分面积，作差就会得到相邻两帧运动目标合并面积。

计算相邻两帧运动目标重叠部分面积和相邻两帧运动目标合并面积的比值，得到相邻两帧运动目标重叠面积比例值。计算相邻两帧运动目标重叠面积比例值的方法是选取合适的目标运动区域，根据步骤204描述的方法，获得的相邻两帧运动目标重叠面积比例值会影响图像的拼接效果，选取满足预设条件的运动目标时，可以改善图像的拼接效果。

图4为本发明选取目标运动区域的流程图。

步骤401，选取相邻两帧运动目标。

在确定多帧待拼接图像的运动目标和除运动目标以外的背景区域后，选取相邻两帧运动目标，进行计算。

步骤402，计算相邻两帧运动目标重叠面积比例值。

本步骤按照图3所示的流程图计算相邻两帧运动目标重叠面积比例值。

步骤403，判断重叠面积比例值是否满足预设条件。

将计算得到的重叠面积比例值与预设条件中的预设阈值范围进行比较，本步骤中还包括：

步骤403a，若重叠面积比例值满足预设条件，选取对应的两帧运动目标作为目标运动区域。

具体的，选取所述预设条件为重叠面积比例值小于或等于预设阈值范围的运动目标作为目标运动区域。

步骤403b，若重叠面积比例值不满足预设条件，淘汰对应的两帧运动目标的任意一帧，选取相邻的其它运动目标。

对于不满足预设条件的重叠面积比例值所对应的运动目标，可以淘汰任意一帧，然后再选取余下的相邻的一帧运动目标，重复步骤402和403，直到选取出全部满足预设条件的运动目标作为目标运动区域。

本发明所公开的图像拼接方法通过计算两帧运动目标重叠面积比例值，选取满足预设条件的运动目标作为目标运动区域，将全部目标运动区域拼接到背景模型上，可以得到展现运动目标运动全貌的拼接图像，而且目标运动区域与目标运动区域之间重叠区域面积小，通过本发明得到的拼接图像考虑了图像中运动目标与运动目标之间的重叠问题，选取重叠面积比例值满足预设条件的运动目标形成拼接图像，解决了现有技术中，拼接图像有大量重叠、易模糊的问题，能够得到一幅清晰的运动目标拼接图像，提高了图像拼接效果。

本发明还提供了一种图像拼接装置，下面结合附图进行详细说明。图5为本发明实施例图像拼接装置的结构图，该装置包括：获取模块501、图像处理模块502、计算模块503、选取模块504、拼接模块505；

获取模块501，用于获取多帧待拼接图像；

图像处理模块502，用于确定多帧待拼接图像的运动目标和除运动目标以外的背景区域；根据每帧背景区域确定全部待拼接图像的背景模型；

计算模块503，用于计算相邻两帧运动目标重叠面积比例值；

选取模块504，用于选取重叠面积比例值满足预设条件的运动目标作为目标运动区域；

具体的，选取模块504，用于选取预设条件为重叠面积比例值小于或等于预设阈值范围的运动目标作为目标运动区域。

拼接模块505，用于将全部目标运动区域与背景模型拼接成目标图像。

本发明所公开的图像拼接装置，通过计算两帧运动目标重叠面积比例值，选取满足预设条件的运动目标作为目标运动区域，将全部目标运动区域拼接到背景模型上，不仅可以得到展现运动目标运动全貌的拼接图像，而且目标运动区域与目标运动区域之间重叠区域面积小，考虑到现有技术中图像与图像之间的重叠问题，图像的拼接效果易模糊的问题，若选取重叠面积比例值在预设条件内的运动目标形成拼接图像，可以得到一幅清晰的拼接图像，提高了图像拼接效果。

需要说明的是，本发明实施例的装置是应用上述图像拼接方法的装置，则上述图像拼接方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

图6为本发明实施例计算模块的结构示意图，计算模块包括：第一计算子模块601、第二计算子模块602、第三计算子模块603；

第一计算子模块601，用于计算相邻两帧运动目标重叠部分面积；

第二计算子模块602，用于计算相邻两帧运动目标的总面积；

第三计算子模块603，用于计算相邻两帧运动目标重叠部分面积和相邻两帧运动目标合并面积的比值，其中，相邻两帧运动目标合并面积为相邻两帧运动目标的总面积与相邻两帧运动目标重叠部分面积之差。

具体的，选取模块，具体用于选取预设条件为重叠面积比例值小于或等于预设阈值范围的运动目标作为目标运动区域。

图7为本发明实施例图像处理模块的结构示意图，包括：第一图像处理子模块701和第二图像处理子模块702；

第一图像处理子模块701，用于通过帧间差分法确定多帧待拼接图像的运动目标和除运动目标以外的背景区域；

第二图像处理子模块702，用于将每帧背景区域通过帧间差分法得到全部待拼接图像的背景模型。

具体的，拼接模块，用于通过羽化操作虚化拼接处的边缘，将全部目标运动区域拼接到背景模型时，得到目标图像。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。