视频拼接方法及系统的制作方法
【专利摘要】本发明提供了一种视频拼接方法及系统，该视频拼接方法包括提取及匹配步骤、模板建立步骤、图像融合步骤和处理步骤。本发明的有益效果是：本发明能够将视频进行完美的融合及拼接，使拼接后的视频清晰无缝，满足用户的需求。
【专利说明】
视频拼接方法及系统
技术领域
[0001 ]本发明涉及视频数据处理技术领域，尤其涉及视频拼接方法及系统。
【背景技术】
[0002] 目前的视频拼接技术，拼接的视频效果不理想，无法满足用户的需求。
【发明内容】
[0003] 本发明提供了一种视频拼接方法，包括如下步骤：
[0004] 提取及匹配步骤，对多摄像机同一时刻所捕获的首帧图像组进行相应的特征提 取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；
[0005] 模板建立步骤，根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状及角 度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精确投 影到各自对应的空白模板上，建立公用数据单元；
[0006] 图像融合步骤，再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按照各 自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪 过的帧图像进行帧图像融合；
[0007] 处理步骤，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新 的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。
[0008] 作为本发明的进一步改进，在所述图像融合步骤中包括重叠区域初步融合步骤， 在所述重叠区域初步融合步骤中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中， 以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：
[0009]
[0010] A，B分别为两个帧图像的坐标矩阵，As表示两幅帧图像之间的位移，Θ为旋转角 度，a为尺度变化倍数，1和7分别表示点的X坐标和y坐标，八1和八 7分别表示变换后的X坐标 和y坐标的偏移量。
[0011] 作为本发明的进一步改进，在所述重叠区域初步融合步骤中，为实现多摄像机最 终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确 定：
[0012]
[0013] 其中Cm(x，y)表示转换后的灰度图像在坐标(x，y)处的灰度值，w为各坐标位置的 权重值。
[0014] 作为本发明的进一步改进，在所述图像融合步骤中包括消除拼接缝步骤，在所述 消除拼接缝步骤中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中 各高频部分进行中值滤波，最后重构图像。
[0015] 本发明还提供了一种视频拼接系统，包括：
[0016] 提取及匹配模块，用于对多摄像机同一时刻所捕获的首帧图像组进行相应的特征 提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；
[0017] 模板建立模块，用于根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状 及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精 确投影到各自对应的空白模板上，建立公用数据单元；
[0018]图像融合模块，用于再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按 照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及 裁剪过的帧图像进行帧图像融合；
[0019] 处理模块，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新 的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。
[0020] 作为本发明的进一步改进，在所述图像融合模块中包括重叠区域初步融合模块， 在所述重叠区域初步融合模块中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中， 以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：
[0021]
[0022] A，B分别为两个帧图像的坐标矩阵，As表示两幅帧图像之间的位移，Θ为旋转角 度，a为尺度变化倍数，1和7分别表示点的X坐标和y坐标，八1和八 7分别表示变换后的X坐标 和y坐标的偏移量。
[0023] 作为本发明的进一步改进，在所述重叠区域初步融合模块中，为实现多摄像机最 终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确 定：
[0024]
[0025] 其中Cm(x，y)表示转换后的灰度图像在坐标(x，y)处的灰度值，w为各坐标位置的 权重值。
[0026] 作为本发明的进一步改进，在所述图像融合模块中包括消除拼接缝模块，在所述 消除拼接缝模块中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中 各高频部分进行中值滤波，最后重构图像。
[0027] 本发明的有益效果是:本发明能够将视频进行完美的融合及拼接，使拼接后的视 频清晰无缝，满足用户的需求。
【附图说明】
[0028]图1是本发明的方法流程图。
【具体实施方式】
[0029]如图1所示，本发明公开了一种视频拼接方法，包括如下步骤：
[0030] 步骤SI.提取及匹配步骤，对多摄像机同一时刻所捕获的首帧图像组进行相应的 特征提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；
[0031] 步骤S2.模板建立步骤，根据首帧图像组中帧图像的匹配特征点对每帧图像进行 形状及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数 据精确投影到各自对应的空白模板上，建立公用数据单元；
[0032] 步骤S3.图像融合步骤，再次从多个摄像机中连续捕获一组组帧图像，将每帧图像 按照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形 及裁剪过的帧图像进行帧图像融合；
[0033]步骤S4.处理步骤，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终 图像以新的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。
[0034] 另外，在执行步骤Sl之前，将多个摄像机放置在具有稳定光照和相对位移和角度 固定的位置，对每个摄像机捕获的帧图像进行初始对比，使他具有大致相同的环境和一定 的重叠区域。
[0035] 在所述图像融合步骤中包括重叠区域初步融合步骤，在所述重叠区域初步融合步 骤中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧 图像组通付W下亦拖S笪法对梧僮M首巾阳井杆亦报.
[0036]
[0037] A，B分别为两个帧图像的坐标矩阵，As表示两幅帧图像之间的位移，Θ为旋转角 度，a为尺度变化倍数，1和7分别表示点的X坐标和y坐标，八1和八 7分别表示变换后的X坐标 和y坐标的偏移量。
[0038] 在所述重叠区域初步融合步骤中，为实现多摄像机最终的实时融合，采用计算量 小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：
[0039]
[0040] 其中Cm(x，y)表示转换后的灰度图像在坐标(x，y)处的灰度值，w为各坐标位置的 权重值。
[0041] 在所述图像融合步骤中包括消除拼接缝步骤，在所述消除拼接缝步骤中，首先对 图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波， 最后重构图像。
[0042] 在消除拼接缝步骤中，融合阶段结束后，还需要进行帧图像去噪，因此帧图像在融 合的过程中用的是加权平法。在两幅图像中间的临界部分，通过去噪小波变换法，使图像过 渡区域看上去更自然。利用图像噪声和信号所在频域分布不同，噪声常常表现为图像上孤 立像素的灰度突变，具有高频特性和空间不相关性。具体去噪步骤为，首先对图像进行小波 变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图 像。
[0043] 由于直接移植图像拼接及融合算法到多摄像头拼接，会导致最后新帧图像无法形 成整体及无法满足实时性等问题，那么在对摄像机图像拼接算法进行改进时首先要想到的 是提速。CPU的特点是强控制弱计算，更多资源用于缓存，而GPU(图像处理器)的特点是弱控 制强计算，更多的资源是用于计算。因此，在图像图形处理提速方面，GPU编程是极有效的处 理方法之一。由于图像拼接的每一个步骤都十分复杂精确，从特征描述的方式到特征检测 的方式，从特征点相似判定标准到剔除误配，从最开始的初步融合到精细化的去噪，每一步 既精细又不多余。要对整个过程精简，首先要找出整个过程的重复处和耗时处。
[0044] GPU(图像处理器）的运行需要程序进行指挥，但不是用原始的C程序，要调用它需 要用到CUDA硬件编程框架。与GPU以及所包含的SP，SM相对应的CUDA编程框架可大致对应分 为gird ,block ,thread。它们之间的关系为，一个网络(Grid)由若干线程块(block)组成，每 个线程块则由最多512个线程组成。而软件程序中的并行计算部分有kennel以网络grid的 形式执行。其基本步骤如下：
[0045] 1.主机代码执行；
[0046] 2.传输数据到GPU;
[0047] 3.确定grid ,block即并行线路的多少；
[0048] 4.调用内核函数，GPU运行程序；
[0049] 5.传输结果到GPU;
[0050] 6.继续运行主机代码；
[0051 ]本发明还公开了一种视频拼接系统，包括：
[0052] 提取及匹配模块，用于对多摄像机同一时刻所捕获的首帧图像组进行相应的特征 提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；
[0053] 模板建立模块，用于根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状 及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精 确投影到各自对应的空白模板上，建立公用数据单元；
[0054]图像融合模块，用于再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按 照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及 裁剪过的帧图像进行帧图像融合；
[0055] 处理模块，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新 的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。
[0056] 在所述图像融合模块中包括重叠区域初步融合模块，在所述重叠区域初步融合模 块中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧 图像组通过以下变换运算法对摄像机首帧进行变形：
[0057]
[0058] A，B分别为两个帧图像的坐标矩阵，As表示两幅帧图像之间的位移，Θ为旋转角 度，a为尺度变化倍数，1和7分别表示点的X坐标和y坐标，八1和八7分别表示变换后的X坐标 和y坐标的偏移量。
[0059]在所述重叠区域初步融合模块中，为实现多摄像机最终的实时融合，采用计算量 小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：
[0060]
[0061] 其中Cm(x，y)表示转换后的灰度图像在坐标(x，y)处的灰度值，w为各坐标位置的 权重值。
[0062] 在所述图像融合模块中包括消除拼接缝模块，在所述消除拼接缝模块中，首先对 图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波， 最后重构图像。
[0063]摄像机捕获一些列静止图片是一幅幅静止的图像，同理，拼接的视频也一样，都是 由摄像头捕获的一系列静止图像按一定的顺序连接构成的。所以，将几个摄像机拼接到一 起，本质上是视频图像包含的帧图像拼接。
[0064] 本发明是从各摄像机拍摄的视频中获取帧图像，按时间顺序对他们进行分组，利 用每个摄像机对应的关键帧图像，运用图像拼接的技术方法，将每个摄像机所拍摄的视频 片段关键帧进行图像匹配和图像融合，并用图像去噪的算法消除可能存在的接缝，再将拼 接好的帧序列连成视频，由于将图像拼接的相关算法应用于视频后，计算量加大，导致处理 的过程中效果和实时性较差，因此本发明将充分运用GPU等并行计算算法以及opencv运算 库，同时进行帧图像处理部分并行处理，从而节省运行时间，提高性能。
[0065] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的 保护范围。
【主权项】
1. 一种视频拼接方法，其特征在于，包括如下步骤： 提取及匹配步骤，对多摄像机同一时刻所捕获的首帖图像组进行相应的特征提取，对 首帖图像进行特征点匹配，确定精确有效的匹配特征点组合； 模板建立步骤，根据首帖图像组中帖图像的匹配特征点对每帖图像进行形状及角度变 换和精确剪切，并建立空白模板，将首帖图像组中的每个帖图像剪切后的数据精确投影到 各自对应的空白模板上，建立公用数据单元； 图像融合步骤，再次从多个摄像机中连续捕获一组组帖图像，将每帖图像按照各自所 属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪过的 帖图像进行帖图像融合； 处理步骤，最后，设置帖率，将多个摄像机每个对应组所融合完成的最终图像W新的帖 图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。2. 根据权利要求1所述的视频拼接方法，其特征在于，在所述图像融合步骤中包括重叠 区域初步融合步骤，在所述重叠区域初步融合步骤中，当各摄像机之间的变换矩阵产生后， 存储在空矩阵H中，W供后续帖使用，将匹配的帖图像组通过W下变换运算法对摄像机首帖 进行变形：A，B分别为两个帖图像的坐标矩阵，As表示两幅帖图像之间的位移，0为旋转角度，a为 尺度变化倍数，X和y分别表示点的X坐标和y坐标，Ax和Ay分别表示变换后的X坐标和y坐 标的偏移量。3. 根据权利要求2所述的视频拼接方法，其特征在于，在所述重叠区域初步融合步骤 中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图 像灰度值由下公式确定：其中Cm(x，y)表示转换后的灰度图像在坐标(x，y)处的灰度值，W为各坐标位置的权重 值。4. 根据权利要求1所述的视频拼接方法，其特征在于，在所述图像融合步骤中包括消除 拼接缝步骤，在所述消除拼接缝步骤中，首先对图像进行小波变换分解，其次，根据中值滤 波技术对小波分解中各高频部分进行中值滤波，最后重构图像。5. -种视频拼接系统，其特征在于，包括： 提取及匹配模块，用于对多摄像机同一时刻所捕获的首帖图像组进行相应的特征提 取，对首帖图像进行特征点匹配，确定精确有效的匹配特征点组合； 模板建立模块，用于根据首帖图像组中帖图像的匹配特征点对每帖图像进行形状及角 度变换和精确剪切，并建立空白模板，将首帖图像组中的每个帖图像剪切后的数据精确投 影到各自对应的空白模板上，建立公用数据单元； 图像融合模块，用于再次从多个摄像机中连续捕获一组组帖图像，将每帖图像按照各 自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪 过的帖图像进行帖图像融合； 处理模块，最后，设置帖率，将多个摄像机每个对应组所融合完成的最终图像W新的帖 图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。6. 根据权利要求5所述的视频拼接系统，其特征在于，在所述图像融合模块中包括重叠 区域初步融合模块，在所述重叠区域初步融合模块中，当各摄像机之间的变换矩阵产生后， 存储在空矩阵H中，W供后续帖使用，将匹配的帖图像组通过W下变换运算法对摄像机首帖 进行变形：A，B分别为两个帖图像的坐标矩阵，As表示两幅帖图像之间的位移，0为旋转角度，a为 尺度变化倍数，X和y分别表示点的X坐标和y坐标，Ax和Ay分别表示变换后的X坐标和y坐 标的偏移量。7. 根据权利要求6所述的视频拼接系统，其特征在于，在所述重叠区域初步融合模块 中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图 像灰度值由下公式确定：其中Cm( X，y)表示转换后的灰度图像在坐标(X，y)处的灰度值，W为各坐标位置的权重 值。8. 根据权利要求5所述的视频拼接系统，其特征在于，在所述图像融合模块中包括消除 拼接缝模块，在所述消除拼接缝模块中，首先对图像进行小波变换分解，其次，根据中值滤 波技术对小波分解中各高频部分进行中值滤波，最后重构图像。
【文档编号】H04N5/265GK105915804SQ201610422452
【公开日】2016年8月31日
【申请日】2016年6月16日
【发明人】蔡业飞, 刘勇, 邹时鹏
【申请人】恒业智能信息技术（深圳）有限公司