一种视频拼接的方法与装置与流程

本发明涉及视频处理技术领域，特别是涉及一种视频拼接的方法与装置。

背景技术：

单个或固定摄像头的视野范围有限，为了获取单帧图像中更广阔的视觉效果，需要使用视频拼接技术，即将多个固定摄像头或单个移动摄像头的内容进行拼接组合形成分辨率更高，内容更丰富的图像或视频。

目前的拼接技术主要应用在交通行业的视频实时监控领域，研究也主要集中在对摄像机位置相对固定的交通监控视频的拼接上。算法相对比较成熟的是对静态图像的拼接，视频拼接技术主要利用视频图像帧之间的相关性，拼接过程中涉及到大量的计算，这就需要在保证画面质量的前提下，选取一种快速的匹配算法，以减少整个视频拼接的计算量，提高视频拼接速度。关于视频拼接原理和方法国内外已有不少的研究成果，但是现在还没有通用的能够达到实时处理速度的视频拼接方式。

可见，如何满足视频拼接对实时处理速度的要求，是本领域技术人员亟待解决的问题。

技术实现要素：

本发明实施例的目的是提供一种视频拼接的方法与装置，可以满足视频拼接对实时处理速度的要求。

为解决上述技术问题，本发明实施例提供一种视频拼接的方法，包括：

s10：判断待处理视频帧是否为特定视频帧；若是，则执行s11；

s11：将所述待处理视频帧和所述待处理视频帧对应的相邻视频帧之间的图像重叠区域作为roi视频图像；其中，所述待处理视频帧和所述相邻视频帧由相邻的两台摄像机采集；

s12：对所述roi视频图像进行显著性区域检测，获得所述roi视频图像对应的显著性区域；

s13：利用surf算法对所述显著性区域进行特征点检测，获取到所述显著性区域的特征点；

s14：利用最近邻与次近邻比算法对所述特征点进行粗匹配；

s15：利用ransac算法对粗匹配后的特征点进行提纯，计算出所述特征点对应的投影变换矩阵；

s16：利用所述投影变换矩阵对所述待处理视频帧以及所述相邻视频帧进行融合、拼接，得到目标视频帧。

可选的，在所述s10中包括：

判断待处理视频帧是否为首帧；若是，则执行所述s11；

若否，则判断所述待处理视频帧是否为关键帧；

若所述待处理视频帧为所述关键帧，则执行所述s11。

可选的，在所述判断所述待处理视频帧是否为关键帧之前还包括：

计算各路视频对应的间隔帧数；

每隔所述间隔帧数选取一帧图像作为关键帧。

可选的，所述计算各路视频对应的间隔帧数包括：

计算第一路视频中的第一视频帧分别与所述第一视频帧相邻的前三个视频帧之间的相关系数；所述第一路视频为各路视频中的任意一路视频；

计算所述相关系数的平均值

根据公式

确定出所述第一路视频的间隔帧数；

其中，fps表示采集所述视频帧的帧率，所述间隔帧数取δn的整数部分。

可选的，在所述s12中包括：

计算所述roi视频图像的对数谱l(i)；

根据公式a(i)＝l(i)×h(i)，计算出所述roi视频图像的平均谱a(i)，

其中，

利用公式r(i)＝l(i)-a(i)，计算出所述roi视频图像的频域残差r(i)；

根据公式s(i)＝ifft[exp(r(i)+p(i))]²，计算出所述roi视频图像的空间域残差s(i)，

其中，p(i)表示相位角；

依据所述空间域残差s(i)，对所述roi视频图像进行二值化处理，获得所述roi视频图像对应的显著性区域，所述显著性区域的公式如下所示，

其中，theshold表示的是残差图分割的阈值，otherwise表示的是s(i)≤theshold的数值。

可选的，在所述s13中包括：

从所述显著性区域中选取检测surf特征的目标区域；

利用尺度空间极值检测，确定出所述目标区域的初始特征点的位置和所在尺度，构建尺度空间的图像金字塔；

根据公式δ(h)＝dxxdyy-(0.9dxy)²，计算出对应的局部极值，并对所述局部极值进行非极大值抑制，确定出候选点，

其中，δ(h)是矩阵是判别式，dxx指的是采用盒子滤波器对图像进行x方向滤波后得到的结果，dyy指的是采用盒子滤波器对图像进行y方向滤波后得到的结果，dxy指的是采用盒子滤波器对图像进行xy方向滤波后得到的结果；

对所述初始特征点和所述候选点进行harr小波响应计算，确定出特征点主方向；

依据所述特征点主方向，计算所述显著性区域的harr小波响应，生成特征点的描述子。

可选的，还包括：

判断所述视频帧是否为末帧；

若否，则重新计算各路视频对应的间隔帧数，并返回所述s10。

本发明实施例还提供了一种视频拼接的装置，包括判断单元、处理单元、检测单元、匹配单元、计算单元和拼接单元，

所述判断单元，用于判断待处理视频帧是否为特定视频帧；

若所述待处理视频帧是特定视频帧，则触发所述处理单元，所述处理单元，用于将所述待处理视频帧和所述待处理视频帧对应的相邻视频帧之间的图像重叠区域作为roi视频图像；其中，所述待处理视频帧和所述相邻视频帧由相邻的两台摄像机采集；

所述检测单元，用于对所述roi视频图像进行显著性区域检测，获得所述roi视频图像对应的显著性区域；

所述检测单元还用于利用surf算法对所述显著性区域进行特征点检测，获取到所述显著性区域的特征点；

所述匹配单元，用于利用最近邻与次近邻比算法对所述特征点进行粗匹配；

所述计算单元，用于利用ransac算法对粗匹配后的特征点进行提纯，计算出所述特征点对应的投影变换矩阵；

所述拼接单元，用于利用所述投影变换矩阵对所述待处理视频帧以及所述相邻视频帧进行融合、拼接，得到目标视频帧。

可选的，所述判断单元具体用于判断待处理视频帧是否为首帧；若是，则触发所述处理单元；

若否，则判断所述待处理视频帧是否为关键帧；

若所述待处理视频帧为所述关键帧，则触发所述处理单元。

可选的，还包括选取单元，

所述计算单元还用于计算各路视频对应的间隔帧数；

所述选取单元，用于每隔所述间隔帧数选取一帧图像作为关键帧。

可选的，所述计算单元包括相关系数计算子单元、平均值计算子单元和间隔帧数确定子单元，

所述相关系数计算子单元，用于用于计算第一路视频中的第一视频帧分别与所述第一视频帧相邻的前三个视频帧之间的相关系数；所述第一路视频为各路视频中的任意一路视频；

所述平均值计算子单元，用于计算所述相关系数的平均值

所述间隔帧数确定子单元，用于

根据公式

确定出所述第一路视频的间隔帧数；

其中，fps表示采集所述视频帧的帧率，所述间隔帧数取δn的整数部分。

可选的，所述检测单元包括对数谱计算子单元、平均谱计算子单元、频域残差计算子单元、空间域残差计算子单元和二值化处理子单元，

所述对数谱计算子单元，用于计算所述roi视频图像的对数谱l(i)；

所述平均谱计算子单元，用于根据公式a(i)＝l(i)×h(i)，计算出所述roi视频图像的平均谱a(i)，

其中，

所述频域残差计算子单元，用于利用公式r(i)＝l(i)-a(i)，计算出所述roi视频图像的频域残差r(i)；

所述空间域残差计算子单元，用于根据公式s(i)＝ifft[exp(r(i)+p(i))]²，计算出所述roi视频图像的空间域残差s(i)，

其中，p(i)表示相位角；

所述二值化处理子单元，用于依据所述空间域残差s(i)，对所述roi视频图像进行二值化处理，获得所述roi视频图像对应的显著性区域，所述显著性区域的公式如下所示，

其中，theshold表示的是残差图分割的阈值，otherwise表示的是s(i)≤theshold的数值。

可选的，所述检测单元包括选取子单元、确定子单元和计算子单元，

所述选取子单元，用于从所述显著性区域中选取检测surf特征的目标区域；

所述确定子单元，用于利用尺度空间极值检测，确定出所述目标区域的初始特征点的位置和所在尺度，构建尺度空间的图像金字塔；

所述确定子单元还用于根据公式δ(h)＝dxxdyy-(0.9dxy)²，计算出对应的局部极值，并对所述局部极值进行非极大值抑制，确定出候选点，

其中，δ(h)是矩阵是判别式，dxx指的是采用盒子滤波器对图像进行x方向滤波后得到的结果，dyy指的是采用盒子滤波器对图像进行y方向滤波后得到的结果，dxy指的是采用盒子滤波器对图像进行xy方向滤波后得到的结果；

所述计算子单元，用于对所述初始特征点和所述候选点进行harr小波响应计算，确定出特征点主方向；

所述计算子单元还用于依据所述特征点主方向，计算所述显著性区域的harr小波响应，生成特征点的描述子。

可选的，还包括第二判断单元，

所述第二判断单元，用于判断所述视频帧是否为末帧；

所述计算单元还用于当所述视频帧不是末帧时，则重新计算各路视频对应的间隔帧数，并触发所述判断单元。

由上述技术方案可以看出，当待处理视频帧为特定视频帧时，则将所述待处理视频帧和所述待处理视频帧对应的相邻视频帧之间的图像重叠区域作为roi视频图像；对该roi视频图像进行显著性区域检测，并利用surf算法对所述显著性区域进行特征点检测，利用最近邻与次近邻比算法对所述特征点进行粗匹配；利用ransac算法对粗匹配后的特征点进行提纯，计算出所述特征点对应的投影变换矩阵；从而利用所述投影变换矩阵对所述待处理视频帧以及所述相邻视频帧进行融合、拼接，得到目标视频帧。按照上述操作方式，提高了视频帧特征点检测的效率以及匹配的准确率，满足了视频拼接对实时处理速度的要求。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频拼接的方法的流程图；

图2为本发明实施例提供的一种对roi视频图像进行显著性区域检测的方法的流程图；

图3a为本发明实施例提供的一台摄像机拍摄的某一帧图像的示意图；

图3b为本发明实施例提供的与图3a对应的显著性区域检测图的示意图；

图3c为本发明实施例提供的与图3a相邻的摄像机拍摄的某一帧图像的示意图；

图3d为本发明实施例提供的与图3c对应的显著性区域检测图的示意图；

图3e为本发明实施例提供的一种将图3a和图3c视频帧拼接后的目标视频帧的示意图；

图4为本发明实施例提供的一种利用surf算法对显著性区域进行特征点检测的方法的流程图；

图5为本发明实施例提供的一种视频拼接的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

接下来，详细介绍本发明实施例所提供的一种视频拼接的方法。图1为本发明实施例提供的一种视频拼接的方法的流程图，该方法包括：

s10：判断待处理视频帧是否为特定视频帧。

本发明实施例中可以通过多台摄像机采集视频数据，每台摄像机采集的视频数据可以称之为一路视频，在该路视频中可以包含有多个视频帧。对多路视频进行拼接，即将多路视频数据中包含的视频帧进行拼接处理。

摄像机在采集视频数据时，每秒钟可以采集多个视频帧。特定视频帧可以是需要进行拼接的视频帧。可以从每路视频中选取包含较大数据量的视频帧作为特定视频帧，在本发明实施例中可以选取首帧和关键帧作为特定视频帧。

以每秒钟采集的视频帧为例，在该时间内采集的第一张图像即为该路视频的首帧。关键帧可以是该路视频中具有显著特征的视频帧。

以一路视频为例，待处理视频帧可以是该路视频中的任意一个视频帧。通过判断待处理视频帧是否为特定视频帧，来决定是否对该待处理视频帧进行后续拼接处理。

具体的，可以先判断待处理视频帧是否为首帧；

当该待处理视频帧是首帧时，则进入s11；当该待处理视频帧不是首帧时，则可以进一步判断所述待处理视频帧是否为关键帧。当所述待处理视频帧为关键帧时，则进入s11。

s11：将所述待处理视频帧和所述待处理视频帧对应的相邻视频帧之间的图像重叠区域作为roi视频图像。

其中，所述待处理视频帧和所述相邻视频帧可以由相邻的两台摄像机采集，即待处理视频帧可以由摄像机1采集，相邻视频帧由摄像机2采集，摄像机1和摄像机2为相邻的两台摄像机。

在本发明实施例中，当待处理视频帧为特定视频帧时，可以通过获取相邻摄像机采集的视频帧，对这两路视频进行surf特征点检测、配准，求出待处理视频帧和相邻视频帧之间的图像重叠区域。

s12：对所述roi视频图像进行显著性区域检测，获得所述roi视频图像对应的显著性区域。

对于roi视频图像进行显著性区域的检测，可以实现图像显著性信息的提取，从而可以更加准确的进行后续视频帧的拼接。

在本发明实施例中，可以通过计算对数残差谱的方式来求得显著性区域。具体的，可以按照图2所示的方法，该方法包括：

s201：计算所述roi视频图像的对数谱l(i)。

s202：根据公式a(i)＝l(i)×h(i)，计算出所述roi视频图像的平均谱a(i)。

其中，h(i)的具体形式如下，

s203：利用公式r(i)＝l(i)-a(i)，计算出所述roi视频图像的频域残差r(i)。

s204：根据公式s(i)＝ifft[exp(r(i)+p(i))]²，计算出所述roi视频图像的空间域残差s(i)。

对所述频域残差做相应的快速傅里叶逆变换可以得到对应的空间域残差s(i)，roi视频图像的空间域残差

s(i)＝ifft[exp(r(i)+p(i))]²

其中，p(i)为相位角。

s205：依据所述空间域残差s(i)，对所述roi视频图像进行二值化处理，获得所述roi视频图像对应的显著性区域。

获得的显著性区域的公式如下所示，

其中，o(i)表示获得的显著性区域，theshold表示的是残差图分割的阈值，otherwise表示的是s(i)≤theshold的数值。

对于theshold的取值，可以按照如下方式计算。

求出该残差图的灰度分布直方图。在本发明实施例中，为了使灰度直方图分布相对集中，可以采用每5度划分为一组。

假设该残差图的灰度分布直方图的峰值为h，取所有大于10％×h的灰度值以及每一组灰度值在残差图中的个数组成新的灰度直方图c。求解出灰度分布直方图c后的期望a1以及方差a2。theshold的取值可以是a1+5a2。

s13：利用surf算法对所述显著性区域进行特征点检测，获取到所述显著性区域的特征点。

特征点能够反映显著性区域的本质特征，特征点的获取是进行视频帧拼接的重要步骤。

特征点提取算法有sift算法、surf算法等，在本发明实施例中，可以采用surf算法对显著性区域进行特征点的检测。

s14：利用最近邻与次近邻比算法对所述特征点进行粗匹配。

对s13中获取的特征点可以采用最近邻与次近邻比进行特征点的粗匹配。

s15：利用ransac算法对粗匹配后的特征点进行提纯，计算出所述特征点对应的投影变换矩阵。

为了进一步提高特征点匹配准确度，可以对粗匹配后的特征点进行提纯。

由于每幅图像是摄像机在不同角度下拍摄得到的，所以它们并不在同一投影面上，如果对重叠的图像直接进行拼接，会破坏实际景物的视觉一致性，所以需要先对图像进行投影变换，再进行拼接。

s16：利用所述投影变换矩阵对所述待处理视频帧以及所述相邻视频帧进行融合、拼接，得到目标视频帧。

如图3a为一台摄像机拍摄的某一帧图像(视频帧)，参照s12中的操作，可以获取到该视频帧进行显著性区域检测后的图像如图3b所示；图3c为与图3a中摄像机相邻的另一台摄像机拍摄的某一帧图像，参照s12中的操作，可以获取到该视频帧进行显著性区域检测后的图像如图3d所示；参照上述步骤，将图3a和图3c这两个视频帧进行融合、拼接后的目标视频帧的图像如图3e所示。其中，对于图3e图像中黑色边框，是由于摄像机在固定时，摄像机的光轴不一定的水平平行的，可能会出现y方向的平移，或者其他方向上的旋转等。为了最终拼接看起来仍然是一个矩形，所以对拼接后在原图中不存在的像素点采用黑色像素点填充，也就是黑色的边框，图中实际的拼接图像是中间像素点组成。

在s13中进行特征点检测，下面将对利用surf算法对显著性区域进行特征点检测的具体操作展开介绍，如图4所示该步骤包括：

s401：从所述显著性区域中选取检测surf特征的目标区域。

s402：利用尺度空间极值检测，确定出所述目标区域的初始特征点的位置和所在尺度，构建尺度空间的图像金字塔。

具体的，在s401选择的区域中，可以通过扩大方框的大小形成不同尺度的图像金字塔，构造盒式滤波模板。

s403：根据公式δ(h)＝dxxdyy-(0.9dxy)²，计算出对应的局部极值，并对所述局部极值进行非极大值抑制，确定出候选点。

候选点可以是除初始特征点之外的剩余的特征点。

在构建完尺度金字塔后，使用δ(h)逼近来求取det(h)，det(h)是hessian矩阵的行列式的值。通过判断判别式的结果为正，即可判定该点为极大值或者极小值。判别式表达式如下所示，

δ(h)＝dxxdyy-(0.9dxy)²

其中，δ(h)是矩阵是判别式，dxx指的是采用盒子滤波器对图像进行x方向滤波后得到的结果，dyy指的是采用盒子滤波器对图像进行y方向滤波后得到的结果，dxy指的是采用盒子滤波器对图像进行xy方向滤波后得到的结果。

对该初始特征点的3×3×3邻域内进行非极大值抑制，将符合条件的点记下作为候选点，同时记录下候选点的位置以及尺度。

s404：对所述初始特征点和所述候选点进行harr小波响应计算，确定出特征点主方向。

以一个特征点为例，在surf算法中，以该特征点为中心，以6s(s为特征点的尺度单位)为半径的圆内对显著性区域进行harr小波响应计算。在特征点周围60°的圆形范围内，计算尺寸为4σ的harr小波响应(σ代表的是特征点所在的尺度)。然后对响应以dx和dy建立坐标系，将各个特征点的响应值映射到该坐标系，分别累加各方向60°范围内小波响应值，把最大响应的方向定为主方向。

s405：依据所述特征点主方向，计算所述显著性区域的harr小波响应，生成特征点的描述子。

描述子是特征点的一种数学表达形式。

首先将坐标系旋转到以特征点为中心的主方向，然后沿着主方向将20s×20s的图像划分为4×4的子块；对于每个5σ×5σ的子块采用尺寸为2s的harr模板进行水平方向以及垂直方向的小波响应，得到小波响应的值为dx,dy。接着对响应值进行统计求和得到∑dx、∑|dx|，∑dy，∑|dy|形成特征矢量，然后以特征点为中心，对dx，dy进行高斯加权，其中σ＝3.3s。对所有的子块的响应值进行统计后的每个子块的矢量是：

v＝(∑dx∑|dx|∑dy∑|dy|)

在本发明实施例中，对于每路视频中的关键帧可以通过计算的方式选取出。具体的，可以计算各路视频对应的间隔帧数；每隔所述间隔帧数选取一帧图像作为关键帧。

对于间隔帧数的计算，可以如下方式计算。

可以先计算出第一路视频中的第一视频帧分别与所述第一视频帧相邻的前三个视频帧之间的相关系数。

多台摄像机可以采集到多路视频，以多路视频中的任意一路视频即第一路视频为例，第一视频帧可以是第一路视频中的其中一个视频帧。

相关系数可以用于表示视频帧之间的关联程度，可以通过对视频帧的灰度值的匹配分析，计算出两个视频帧之间的相关系数。

计算出的三个相关系数，可以用ρi(i＝1,2,3)表示，可以按如下公式将这三个相关系数取平均值即计算出相关系数的平均值，可以用表示。

根据公式

可以确定出所述第一路视频的间隔帧数。

摄像头采集视频数据的帧率可以用fps表示其中，间隔帧数取值为整数，即间隔帧数取δn的整数部分。

例如，当计算出的数值为小数是时，则可以取该数值的整数部分作为间隔帧数。

由上述技术方案可以看出，当待处理视频帧为特定视频帧时，则将所述待处理视频帧和所述待处理视频帧对应的相邻视频帧之间的图像重叠区域作为roi视频图像；对该roi视频图像进行显著性区域检测，并利用surf算法对所述显著性区域进行特征点检测，利用最近邻与次近邻比算法对所述特征点进行粗匹配；利用ransac算法对粗匹配后的特征点进行提纯，计算出所述特征点对应的投影变换矩阵；从而利用所述投影变换矩阵对所述待处理视频帧以及所述相邻视频帧进行融合、拼接，得到目标视频帧。按照上述操作方式，提高了视频帧特征点检测的效率以及匹配的准确率，满足了视频拼接对实时处理速度的要求。

按照上述方式，可以实现视频帧的拼接，当视频帧是最后一帧即末帧时，则可以结束操作，当该视频帧不是最后一帧时，则可以重新计算各路视频对应的间隔帧数，并返回所述s10，即重复执行上述操作，直至完成各路视频的拼接。

图5为本发明实施例提供的一种视频拼接的装置的结构示意图，包括判断单元51、处理单元52、检测单元53、匹配单元54、计算单元55和拼接单元56，

所述判断单元51，用于判断待处理视频帧是否为特定视频帧；

若所述待处理视频帧是特定视频帧，则触发所述处理单元52，所述处理单元52，用于将所述待处理视频帧和所述待处理视频帧对应的相邻视频帧之间的图像重叠区域作为roi视频图像；其中，所述待处理视频帧和所述相邻视频帧由相邻的两台摄像机采集；

所述检测单元53，用于对所述roi视频图像进行显著性区域检测，获得所述roi视频图像对应的显著性区域；

所述检测单元53还用于利用surf算法对所述显著性区域进行特征点检测，获取到所述显著性区域的特征点；

所述匹配单元54，用于利用最近邻与次近邻比算法对所述特征点进行粗匹配；

所述计算单元55，用于利用ransac算法对粗匹配后的特征点进行提纯，计算出所述特征点对应的投影变换矩阵；

所述拼接单元56，用于利用所述投影变换矩阵对所述待处理视频帧以及所述相邻视频帧进行融合、拼接，得到目标视频帧。

可选的，所述判断单元具体用于判断待处理视频帧是否为首帧；若是，则触发所述处理单元；

若否，则判断所述待处理视频帧是否为关键帧；

若所述待处理视频帧为所述关键帧，则触发所述处理单元。

可选的，还包括选取单元，

所述计算单元还用于计算各路视频对应的间隔帧数；

所述选取单元，用于每隔所述间隔帧数选取一帧图像作为关键帧。

可选的，所述计算单元包括相关系数计算子单元、平均值计算子单元和间隔帧数确定子单元，

所述相关系数计算子单元，用于用于计算第一路视频中的第一视频帧分别与所述第一视频帧相邻的前三个视频帧之间的相关系数；所述第一路视频为各路视频中的任意一路视频；

所述平均值计算子单元，用于计算所述相关系数的平均值

所述间隔帧数确定子单元，用于

根据公式

确定出所述第一路视频的间隔帧数；

其中，fps表示采集所述视频帧的帧率，所述间隔帧数取δn的整数部分。

可选的，所述检测单元包括对数谱计算子单元、平均谱计算子单元、频域残差计算子单元、空间域残差计算子单元和二值化处理子单元，

所述对数谱计算子单元，用于计算所述roi视频图像的对数谱l(i)；

所述平均谱计算子单元，用于根据公式a(i)＝l(i)×h(i)，计算出所述roi视频图像的平均谱a(i)，

其中，

所述频域残差计算子单元，用于利用公式r(i)＝l(i)-a(i)，计算出所述roi视频图像的频域残差r(i)；

所述空间域残差计算子单元，用于根据公式s(i)＝ifft[exp(r(i)+p(i))]²，计算出所述roi视频图像的空间域残差s(i)，

其中，p(i)表示相位角；

所述二值化处理子单元，用于依据所述空间域残差s(i)，对所述roi视频图像进行二值化处理，获得所述roi视频图像对应的显著性区域，所述显著性区域的公式如下所示，

其中，theshold表示的是残差图分割的阈值，otherwise表示的是s(i)≤theshold的数值。

可选的，所述检测单元包括选取子单元、确定子单元和计算子单元，

所述选取子单元，用于从所述显著性区域中选取检测surf特征的目标区域；

所述确定子单元，用于利用尺度空间极值检测，确定出所述目标区域的初始特征点的位置和所在尺度，构建尺度空间的图像金字塔；

所述确定子单元还用于根据公式δ(h)＝dxxdyy-(0.9dxy)²，计算出对应的局部极值，并对所述局部极值进行非极大值抑制，确定出候选点，

其中，δ(h)是矩阵是判别式，dxx指的是采用盒子滤波器对图像进行x方向滤波后得到的结果，dyy指的是采用盒子滤波器对图像进行y方向滤波后得到的结果，dxy指的是采用盒子滤波器对图像进行xy方向滤波后得到的结果；

所述计算子单元，用于对所述初始特征点和所述候选点进行harr小波响应计算，确定出特征点主方向；

所述计算子单元还用于依据所述特征点主方向，计算所述显著性区域的harr小波响应，生成特征点的描述子。

可选的，还包括第二判断单元，

所述第二判断单元，用于判断所述视频帧是否为末帧；

所述计算单元还用于当所述视频帧不是末帧时，则重新计算各路视频对应的间隔帧数，并触发所述判断单元。

由上述技术方案可以看出，当待处理视频帧为特定视频帧时，则将所述待处理视频帧和所述待处理视频帧对应的相邻视频帧之间的图像重叠区域作为roi视频图像；对该roi视频图像进行显著性区域检测，并利用surf算法对所述显著性区域进行特征点检测，利用最近邻与次近邻比算法对所述特征点进行粗匹配；利用ransac算法对粗匹配后的特征点进行提纯，计算出所述特征点对应的投影变换矩阵；从而利用所述投影变换矩阵对所述待处理视频帧以及所述相邻视频帧进行融合、拼接，得到目标视频帧。按照上述操作方式，提高了视频帧特征点检测的效率以及匹配的准确率，满足了视频拼接对实时处理速度的要求。

图5所对应实施例中特征的说明可以参见图1、图2和图4所对应实施例的相关说明，这里不再一一赘述。

以上对本发明实施例所提供的一种视频拼接的方法与装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。