一种大场景视频图像拼接方法
【专利摘要】本发明公开了一种大场景视频图像拼接方法，该方法包括：采集两路拍摄场景有重叠的两路视频数据；对两路视频数据提取两幅背景图像，计算两幅背景图像间的单应性变换矩阵，通过单应性变换矩阵确定两幅背景图像的重叠背景区域；利用背景变换矩阵对两幅背景图像进行变换、拼接、融合得到当前帧的背景拼接图像；逐帧对两路视频数据提取两幅前景图像；对在重叠背景区域的前景图像提取特征点并匹配，利用匹配的特征点位置关系对背景变换矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过前景变换矩阵对两幅前景图像进行变换、拼接、融合；将前景拼接图像与背景拼接图像合成当前帧的拼接图像。本发明实施例可以满足拼接实时性的要求。
【专利说明】一种大场景视频图像拼接方法
【技术领域】
[0001] 本发明实施例涉及图像【技术领域】，尤其涉及一种大场景视频图像拼接方法。
【背景技术】
[0002] 视频拼接技术利用多路有重合区域的视角的视频经过变换、拼接、融合成为一个 大视场的视频，相对于使用鱼眼镜头或者广角镜头获取大视场视频，有着畸变小，宽动态， 更高分辨率等优点,视频拼接技术是静态图像拼接技术的拓展，但是对实时性有很高要求， 如果对视频逐帧应用静态图像拼接方法进行拼接，因为目前已有图像拼接方法非常耗时， 这样将无法满足视频拼接实时性的要求，现有技术通过对最初的视频帧图像运用静态图像 拼接算法计算视频帧之间的单应性变换矩阵，之后的所有视频帧都使用最初得到的单应性 变换矩阵进行变换、拼接、融合，因为少去了对每次对帧图像间变换矩阵的计算，大大提高 拼接的速度，来满足实时性的要求。但是因为前景的运动，之后的帧图像间单应性变换矩阵 发生变换，拼接得到的视频帧图像拼接效果不好，将会出现"鬼影"。
【发明内容】
[0003] 本发明提供一大场景视频图像拼接方法，用以满足拼接实时性的要求。
[0004] 本发明实施例提供一种大场景视频图像拼接方法，该方法包括：
[0005] 步骤A、采集两路拍摄场景有重叠的两路视频数据；
[0006] 步骤B、对所述两路视频数据提取两幅背景图像，计算所述两幅背景图像间的单应 性变换矩阵，通过所述单应性变换矩阵确定所述两幅背景图像的重叠背景区域；利用背景 变换矩阵对所述两幅背景图像进行变换、拼接、融合得到所述当前帧的背景拼接图像；
[0007] 步骤C、逐帧对所述两路视频数据提取两幅前景图像；对在所述步骤B中的重叠背 景区域的前景图像提取特征点并匹配，利用匹配的特征点位置关系对所述步骤B中的所述 背景变换矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过所述前景变换 矩阵对所述两幅前景图像进行变换、拼接、融合，得到当前帧的前景拼接图像；
[0008] 步骤D、将所述前景拼接图像与所述背景拼接图像合成所述当前帧的拼接图像，输 出所述拼接图像。
[0009] 本发明实施例提供的大场景视频图像拼接方法，通过对前景、背景图像分别进行 拼接，计算前景变换矩阵时，特征点的提取与匹配仅仅是对重叠区域内前景区域的小区域 图像进行，同时前景变换矩阵仅仅需要对背景变换矩阵的平移参数调整获得，因此非常迅 速，可以满足拼接实时性的要求；由于每一帧时刻拼接图像都是对前景区域的图像进行拼 接后补回原背景拼接图像中得到，而不是对整幅图进行拼接，因此充分利用了视频流中帧 与帧之间的时间、空间信息；此外，视频中前景背景的图像景深差别较大，各自视差相差较 大，避免了现有技术中使用同一个单应性变换矩阵进行变换、拼接会出现视差失真的问题。
【专利附图】
【附图说明】
[0010] 图1为本发明实施例中所适用的摄像头的位置关系示意图。
[0011] 图2为本发明一个实施例提供的大场景视频图像拼接方法的流程示意图。
【具体实施方式】
[0012] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0013] 图1为本发明实施例中所适用的摄像头的位置关系示意图，如图1所示，本发明实 施例中视频的采集由两路拥有相同焦距，镜头的同款摄像机完成，两路摄像机左右水平排 列且成一定夹角放置，水平方向视角重叠区域大约为25%，采集得到的视频数据由若干由 原始YUV的格式转换为图像处理所需的RGB格式的视频帧图像。
[0014] 图2为本发明一个实施例提供的大场景视频图像拼接方法的流程示意图，如图2 所示，本发明实施例包括如下步骤：
[0015] 步骤201、采集两路拍摄场景有重叠的两路视频数据；
[0016] 步骤202、对两路视频数据提取两幅背景图像，计算两幅背景图像间的单应性变换 矩阵，通过单应性变换矩阵确定两幅背景图像的重叠背景区域；利用背景变换矩阵对两幅 背景图像进行变换、拼接、融合得到当前帧的背景拼接图像；
[0017] 步骤203、逐帧对两路视频数据提取两幅前景图像；对在步骤202中的重叠背景区 域的前景图像提取特征点并匹配，并利用匹配的特征点位置关系对步骤202中的背景变换 矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过前景变换矩阵对两幅前 景图像进行变换、拼接、融合，得到当前帧的前景拼接图像；
[0018] 步骤204、将前景拼接图像与背景拼接图像合成当前帧的拼接图像，输出拼接视 频。
[0019] 进一步地，步骤102中的对两路视频数据提取两幅背景图像，计算两幅背景图像 间的单应性变换矩阵，通过单应性变换矩阵确定两幅背景图像的重叠背景区域，具体包括 以下步骤：
[0020] 步骤B1、对两幅背景图像进行特征提取；
[0021] 步骤B2、提取两幅背景图像中各自背景图像的特征点，并进行匹配，应用随机采样 一致算法剔除误匹配的特征点对，得到左图特征点X匹配的右图特征点X';根据匹配点位 置关系，计算初步的单应性变换矩阵M;
[0022] 步骤B3、对步骤B2中得到的变换矩阵进行迭代求精，得到精确的背景变换矩阵 Hb：
【权利要求】
1. 一种大场景视频图像拼接方法，其特征在于，包括以下步骤： 步骤A、采集两路拍摄场景有重叠的两路视频数据； 步骤B、对所述两路视频数据提取两幅背景图像，计算所述两幅背景图像间的单应性变 换矩阵，通过所述单应性变换矩阵确定所述两幅背景图像的重叠背景区域；利用背景变换 矩阵对所述两幅背景图像进行变换、拼接、融合得到所述当前帧的背景拼接图像； 步骤C、逐帧对所述两路视频数据提取两幅前景图像；对在所述步骤B中的重叠背景区 域的前景图像提取特征点并匹配，利用匹配的特征点位置关系对所述步骤B中的所述背景 变换矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过所述前景变换矩阵 对所述两幅前景图像进行变换、拼接、融合，得到当前帧的前景拼接图像； 步骤D、将所述前景拼接图像与所述背景拼接图像合成所述当前帧的拼接图像，输出所 述拼接图像。
2. 根据权利要求1所述的方法，其特征在于，所述步骤B中的所述对所述两路视频数据 提取两幅背景图像，计算所述两幅背景图像间的单应性变换矩阵，通过所述单应性变换矩 阵确定所述两幅背景图像的重叠背景区域，具体包括以下步骤： 步骤B1、对所述两幅背景图像进行特征提取； 步骤B2、提取所述两幅背景图像中各自背景图像的特征点，并进行匹配，应用随机采样 一致算法剔除误匹配的特征点对，得到左图特征点X匹配的右图特征点X';根据匹配点位 置关系，计算初步的单应性变换矩阵M; 步骤B3、对所述步骤B2中得到的所述变换矩阵进行迭代求精，得到精确的背景变换矩
步骤B4、利用所述背景变换矩阵将所述两幅背景图像中的右路背景图像变换投影到所 述两幅背景图像中的左路背景图像中，得到：
步骤B5、采用加权平均法融合得到所述两路视频数据的背景拼接图像； 步骤B6、利用所述背景变换矩阵，将所述右路背景图像的左上角、左下角变换投影到所 述左路背景图像所形成的位置点，与所述左路背景图像的右上角、右下角位置点，该四个位 置点构成的四边形内区域为所述左路背景图像中与所述右路背景图像的重叠区域；同理， 所述左路背景图像的右上角、右下角投影变换到所述左路背景图像所形成的位置点，与所 述右路背景图像的左上角、左下角位置点，该四个位置点构成的四边形内区域为所述右路 背景图像中与所述左路背景图像的重叠区域；从而确定所述右路背景图像中的重叠区域与 所述左路背景图像中的重叠区域。
3. 根据权利要求1所述的方法，其特征在于，所述步骤C具体包括如下步骤： 步骤C1、使用3帧差法得到前景图像；该前景图像中，在前景区域的图像点亮度值不为 0,在背景区域的图像点亮度值被置为0 ; 步骤C2、对于落在所述步骤B中得到的背景重叠区域的左右两路路前景图像部分进行 特征点提取，匹配，左图特征点L与其匹配的右图特征点R，R投影到左图点R'，坐标位置 分别为yto)、（Xsn，yKn)、（X' Kn)，对背景变换矩阵Hb中图像平移参数进行调整，得 到前景变换矩阵Hf ;如果得不到足够数量的匹配点，前景变换矩阵用背景变换矩阵替代； 步骤C3、根据得到的前景变换矩阵对前景图像进行拼接、融合。
4. 根据权利要求1所述的方法，其特征在于，所述步骤D具体包括如下步骤： 步骤D1、遍历背景拼接图像中每一个图像点； 步骤D2、判断每个图像点在前景拼接图像中对应位置的图像点的亮度值是否为0 ;若 不为〇,则该图像点位置属于前景区域，将该图像点的RGB值替换为前景拼接图像中对应位 置的图像点的RGB值；若为0,则该图像点位置属于背景区域，该图像点的RGB值保持不改 变； 步骤D3、对前景拼接图像和背景拼接图像合成当前帧的拼接图像，输出拼接视频。
5. 根据权利要求2所述的方法，其特征在于，对前景变换矩阵的计算间隔N帧进行，N 帧共用同一个前景变换矩阵。
6. 根据权利要求1 一 5任一所述的方法，其特征在于，所述方法还包括：通过设定间隔 时间对所述背景变换矩阵和背景拼接图像进行更新。
【文档编号】G06T5/50GK104408701SQ201410727895
【公开日】2015年3月11日 申请日期:2014年12月3日 优先权日:2014年12月3日
【发明者】程德强, 郑珍, 刘洋, 王仕琛, 张剑英, 张媛媛, 张佳琳, 邓杰 申请人:中国矿业大学