一种双视频连续拼接算法的制作方法

本发明涉及拼接算法领域，尤其涉及一种双视频连续拼接算法。

背景技术：

视频拼接算法目前在国内属于一个较为模糊，并未被大众所熟知的细分技术领域，其基础是目前较为火热机器视觉(模式识别)技术。视频拼接技术简单来说是基于图像拼接技术基础上的高运算速度下的实时拼接技术。作为基础的图像拼接技术就是把针对同一场景的相互有部分重叠的一系列图片合成一张大的宽视角的图像.拼接后的图像要求最大程度地与原始图像接近,失真尽可能小,没有明显的缝合线。对公众来说，可能较为熟知的是目前手机摄像头所广泛采用的全景图像拍摄技术(水平旋转滚动的全景图)。

目前导航电子产品品牌garmin所产的型号gdr190拼接型行车记录仪，其采用的是机械精确校准型视频拼接方式。通过在工艺上的优势，其对双摄像头的cmos成像模块进行了精确焊接，以保证双视频拍摄角度基本处于水平。且由于其使用的是一种成本较高无畸变镜头，其通过算法对双视频交接部分进行裁剪，裁剪角度在镜头角度完全固定且量产误差不大的请况下基本保持不变，然后对裁剪后的视频进行接合，以达到接近无缝拼接的效果。

其实在国际上视频拼接的算法方案尚比较丰富，有多视频单应性变换的拼接方法，有机械对齐式拼接方法，有鱼眼镜头对称拼接的360度视频算法，有动态平衡多视频拼接算法。以下对各个方案进行概述，并说明为何选用自研发的算法的原因。

机械对其式拼接方法

实际就是garmingdr190该类产品所采用的方案。目前联咏等行车记录仪专用芯片厂商也提供类似的解决方案。

其拼接算法部分是写在内部的一块dsp里的。算法极大依赖于摄像头cmos位置的精确固定(不仅是摄像头位置，内部成像单元cmos的对称性，水平误差都会对拼接效果产生很大影响)，这种方案需要镜头尽可能毫无畸变拼接效果才会可靠。而单个无畸变镜头若想达到120度以上的广角角度，基本上就会丧失成本优势，且无畸变镜头绝难做到140°以上的高广角角度。故而这种拼接方案的角度上限为200°。

而其必要的cmos黏贴精度要求，就国内供应商的工艺水平来说，很难满足这样的cmos黏贴精度，所以目前在不依赖算法的基础上，故而若要做到和garmingdr190一样的拼接效果(水平无畸变高清视频拼接)，只能依赖较高精度的设备和供应商，其工艺成本过高。对于单应性变换的视频拼接方法，其特点在于计算速度快，帧数高，但是拼接效果不良，尤其对于的硬件平台，双镜头夹角过大，导致单应性变换的图像匹配度大幅降低，基本不能应用。

技术实现要素：

为了解决上述不足的缺陷，本发明提供了一种双视频连续拼接算法，本发明视频拼接技术可以视作一种超宽视角图像的合成：将普通图像或视频图像进行无缝拼接,得到超宽视角的全景图,这样就可以用普通相机实现场面宏大的景物拍摄；本发明所设计的算法可以通过广角镜头尤(有畸变镜头)进行拼接，最广广角镜头测试结果显示，最广拼接角度达到250°以上，甚至可以覆盖左右两边侧窗。而这样的广角拼接效果，是garmin算法无法做到的，因为他们的算法只支持无畸变视频拼接；其技术应用了光束平差法，波段矫正，knn&kd树，lm优化算法，surf特征点提取算法等多种复杂的机器视觉算法。本算法最大的特点在于适应性广泛，对镜头精度要求低，处理速度快，移植性优秀，可以应用在多种开发平台之上。对于本产品的需求来说，该算法完美地解决需要在低成本控制下达到大广角拼接视频覆盖的要求，就目前来说并没有其他算法能够媲美。

本发明提供了一种双视频连续拼接算法，包括以下步骤：

步骤(1)：出厂设置；

步骤(2)：图像配准过程；

步骤(3)：图像合成过程。

上述的一种双视频连续拼接算法，其中，所述步骤(1)包括：测试单图拼接；记录为初始化图像。

上述的一种双视频连续拼接算法，其中，所述步骤(1)具体包括：对室内的参考对象进行拍摄，得到了两幅可拼接校准的初始图像；经过单图拼接测试，检测其能否得到足够的特征点，特征匹配程度是否够精细；最后检验其拼接效果能否达标；若达标将这两幅图记录为初始化图像，若不达标，重新进行拍摄过程，反复测试，直到找到可靠的初始化图像为止；图片通过服务器进行存储，当用户绑定设备后，可以通过设备号检索到对应的初始化图像。

上述的一种双视频连续拼接算法，其中，所述步骤(2)包括：载入初始化图像；提取特征并进行特征匹配和提取。

上述的一种双视频连续拼接算法，其中，所述步骤(2)具体包括：当用户开启app配对设备并第一次连接服务器后，app会向服务器请求载入初始化图像；调整尺寸到设计的拼接图像大小，然后进行特征提取；在取得特征点后通过knn算法+kd树加速匹配的方式进行特征点匹配，实现特征匹配，特征点的匹配点对得到后，再经过利用这些匹配点对评估计算图像间的单应矩阵h。

上述的一种双视频连续拼接算法，其中，所述步骤(3)中采用图像金字塔先对图像降阶之后再依照同变换预估出曝光补偿增益，以此增益对原始图像的变换图像进行曝光补偿。

上述的一种双视频连续拼接算法，其中，采用图割法进行接缝线提取，接缝线计算仅在第一张拼接图进行一次，得出左右掩模之后不再计算，之后的接缝默认同意。

上述的一种双视频连续拼接算法，其中，通过分别建立各个图像的拉普拉斯金字塔，然后针对重叠区域，把它们的金字塔的相同层进行合并，最后对该合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像。

本发明具有以下有益效果：1、本发明视频拼接技术可以视作一种超宽视角图像的合成：将普通图像或视频图像进行无缝拼接,得到超宽视角的全景图,这样就可以用普通相机实现场面宏大的景物拍摄；本发明所设计的算法可以通过广角镜头尤(有畸变镜头)进行拼接，最广广角镜头测试结果显示，最广拼接角度达到250°以上，甚至可以覆盖左右两边侧窗。而这样的广角拼接效果，是garmin算法无法做到的，因为他们的算法只支持无畸变视频拼接；其技术应用了光束平差法，波段矫正，knn&kd树，lm优化算法，surf特征点提取算法等多种复杂的机器视觉算法。本算法最大的特点在于适应性广泛，对镜头精度要求低，处理速度快，移植性优秀，可以应用在多种开发平台之上。对于本产品的需求来说，该算法完美地解决需要在低成本控制下达到大广角拼接视频覆盖的要求，就目前来说并没有其他算法能够媲美。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。

图1为本发明的整体的流程示意图。

图2为本发明出厂设置过程的流程示意图。

图3为本发明图像配准过程的流程示意图。

图4a、图4b为本发明中图像合成过程的流程示意图。

图5为本发明中两幅图像的拼接示意图。

图6为本发明的整体流程示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

本发明提供了一种双视频连续拼接算法，如图1所示，其中图像配准和图像合成两部分为纯算法部分，可以将图像配准理解为模型初始化，而将图像合成理解为逐帧循环操作。

在本发明中，出厂设置过程：

对室内精确设计的参考对象进行拍摄，得到了两幅可拼接校准的初始图像

经过单图拼接测试，检测其能否得到足够的特征点，特征匹配程度是否够精细。最后检验其拼接效果能否达标。

若达标将这两幅图记录为初始化图像，若不达标，重新进行拍摄过程，反复测试，直到找到可靠的初始化图像为止。

图片通过服务器进行存储，当用户绑定设备后，可以通过设备号检索到对应的初始化图像。

在本发明中，图像配准过程为：

当用户开启app配对设备并第一次连接服务器后，app会向服务器请求载入初始化图像；

调整尺寸到设计的拼接图像大小，然后进行特征提取；

本算法采用的是surf算法提取特征值。surf算法通过hessian矩阵的行列式来确定兴趣点位置，再根据兴趣点邻域点的haar小波响应来确定描述子，其描述子大小只有64位，是一种非常优秀的兴趣点检测算法。经测试若采用sift算法则虽然会对特征点提取上有一定的准确度提升，但是在设定的目标分辨率上并没有太大的效果提升，且浪费了大部分算力，故而在经过多次衡量后选择了surf特征提取方式。

在取得特征点后通过knn算法+kd树加速匹配的方式进行特征点匹配，实现特征匹配，特征点的匹配点对得到后，再经过就可以利用这些匹配点对评估计算图像间的单应矩阵h。

如果平面到平面之间的映射关系是投影映射的话，那么一定存在一个非奇异的3×3的矩阵h，当p表示一个平面的任意一点时，那么该点映射到另一平面的点就为hp。当相机围绕一点进行旋转而得到不同的两幅图像时(如图所示)，这两幅图像之间就是投影映射，它们之间的关系就可以用矩阵h来进行描述，即图像a中的点通过矩阵h就可以映射到图像b中，从而实现两幅图像的拼接，参照图5所示。

其中，speededuprobustfeatures(surf，加速稳健特征)，是一种稳健的局部特征点检测和描述算法。最初由herbertbay发表在2006年的欧洲计算机视觉国际会议(europenconferenceoncomputervision，eccv)上，并在2008年正式发表在computervisionandimageunderstanding期刊上。

k最近邻(knn，k-nearestneighbor)分类算法是数据挖掘分类技术中最简单的方法之一。

k-d树[1](k-dimensional树的简称)，是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索(如：范围搜索和最近邻搜索)。k-d树是二进制空间分割树的特殊的情况。

在本发明中，如果只是完成上述步骤就只能完成无畸变图像拼接，由于本发明的摄像机镜头采用的是广角大畸变镜头，所以还需要对图像进行畸变校准，在畸变校准的基础上进行拼接，这就引入了之后的相机参数评估的步骤。

由于双镜头的角度基本上处于水平，因此基本可以认为两张成像图像是属于水平旋转的关系，通过由相机坐标到世界坐标的逆推关系，以相机成像模型模拟的方式可以通过两张图像上的匹配点逆推相机的内外参数。由于使用的是双图拼接模式，所以算法去除了最大生成树寻找参考平面的计算过程，但是由于镜头旋转角度过大，依然有图像旋转的累计误差产生。

本发明通过光束平差法(bundleadjustment)来精确化相机参数。光束指的是相机光心“发射”出来的光束(或射线)，它透过相片达到物点，因此相片中的点应该和物点处于一个光束线上，但当两者不共线时，就需要对结构和视角参数进行调节，以达到最优解甚至共线的目的。最优化采用lm算法。(全局相机参数优化)

同时在这之后得出来新相机参数通过波段矫正方法修正了图像拼接之后的旋转误差，以使图像保持于近似一个水平线。在此基础上通过对水平重叠部分大小的估计和对水平偏移的估计，得到合成图像的近似大小，该数值对对之后生产图像的裁剪起到很大帮助。注意到每个相机的安装位置都有一定误差，所以每个产品的合成图像都有一定的偏移，找到这个偏移的期望，对偏移误差进行控制之后找到最合适的裁剪方式，是app端输出的重要命题。

其中lm算法，全称为levenberg-marquard算法，它可用于解决非线性最小二乘问题，多用于曲线拟合等场合。

图像配准过程，最终得到一组初始化参数，该组参数包含(图像变换矩阵，接缝位置参数，接缝厚度参数，曝光补偿系数等)。这些参数可以应用到图像合成循环的算法过程中，而其参数估计只需在初始化的图像配准过程中做一次。

在本发明中，图像合成过程具体为：算法运行于android平台，视频流由行车记录仪通过wifi点对点传输至手机，手机在接收到视频流的同时进行图像切片，图片按序排列后以队列的方式不断循环导入图像合成算法中。

在本发明中，由于镜头安放角度一左一右相差在90度以上，所以经常会出现左右视频曝光不一致的情况，如果不同图像之间有不同的曝光程度，那么拼接图像中的重叠部分也会出现明显的边缘，这样就使图像看起来十分不自然。因此，还需要对每幅图像进行曝光补偿，来使所有图像具有相同的曝光程度。本算法采用的是增益补偿的方式，通过计算局部拼接部分的曝光差异得出一个增益补偿值，对拼接部分进行渐变式补偿。由于图像合成是处于循环计算的阶段，其计算速度直接影响了算法的运行速度。所以采用图像金字塔先对图像降阶之后再依照同变换预估出曝光补偿增益，以此增益对原始图像的变换图像进行曝光补偿。

同样的，通过低阶图像来完成边缘处理的步骤，本算法采用图割法进行接缝线提取，接缝线计算仅在第一张拼接图进行一次，得出左右掩模之后不再计算，之后的接缝默认同意。

在上一步中，虽然已经得到了接缝线，但如果只是简单的对接缝线的两侧选取不同的图像，那么对于重叠区域，在接缝线处的过度会出现不连贯的现象，在视觉上会显得有些突兀。因此还需要在接缝线两侧，对不同图像进行融合处理来克服上述不足之处。应用于图像拼接的融合算法有两种常用的方法：羽化和多频段融合。

羽化的原理是对边界进行平滑虚化，通过渐变的方法达到自然衔接的效果。在应用于图像拼接时，羽化是只对接缝线两侧的区域进行处理。

羽化算法本质上就是加权平均的过程。另外羽化处理还可以通过设置锐度参数，来调整羽化平滑处理的虚化程度和羽化面积。

羽化算法虽然简单，但当重叠部分有细微的不重合的时候，图像的高频部分会出现较为明显的模糊情况。

为了能够保留图像的高频成分(即图像的细节部分)，则需要应用多频段融合方法，它通过建立拉普拉斯(带通滤波器)金字塔，使各个频段上的信息都保留并融合在一起。

下面给出多频段融合方法的具体执行步骤：首先分别建立各个图像的拉普拉斯金字塔，然后针对重叠区域，把它们的金字塔的相同层进行合并，最后对该合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像。对每个循环产生的合成图像进行排序，按帧保存图像，待获取一定缓冲区之后开始合成视频图像流。并交付app输出端。基于本算法在安卓平台上实现了视频图流的实时拼接；完成了对单个163°高畸变广角镜头拍摄画面的双摄拼接，达到了合成超过260°的超广角录像；输出效果优良，接缝不明显，广角视频保真度高。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。