一种多功能全景视频实时拼接方法
【技术领域】
[0001]本发明属于图像处理领域，具体是一种多功能全景视频实时拼接方法。
【背景技术】
[0002]全景视频拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。全景图可以表达完整的周围环境信息，相当于观察者从一个固定视点向四周转一圈所能看到的景象。
[0003]全景视频图像拼接技术是将一段视频中各相邻帧图像相互配准而生成一幅包含视频序列所有信息的全景图。全景给人们带来全新的真实现场感和交互式的感受。它可广泛应用于三维电子商务，如在线的房地产楼盘展示、虚拟旅游、虚拟教育等领域，该技术在大面积静态场景观测、虚拟现实、视频检索、以及高分辨率图像的获取等方面也有着重要应用。
[0004]对于实时视频全景合成技术，主要困难之一在于实时性的要求。众所周知，正常视频帧率一般为25~30FPS，这意味着至少必须在0.04秒内合成一幅全景帧，而现有的静态全景图像生成算法都无法做到这一点，因此无法直接应用于视频合成。而针对静态全景图像质量的改进算法也由于计算量太大无法用于处理视频帧。
[0005]近年来有关三维全景视频的实时拼接的研究快速发展，国内外对视频拼接方法展开了诸多研究，许多科研院校、企业都投入了大量的资金和人力在全景视频实时拼接、三维景观构建的相关理论及工程应用中。
[0006]目前的3D全景视频拼接方法在快速性真实感、实时性方面有很大欠缺，存在实时速度不高拼接效果不理想等问题。全景目前被高度商业化，随着计算机技术的进步，人们对全景的期望越来越高，因此，有必要根据实际应用背景，进一步研究探索更加准确快速方便实用的视频拼接方法。
【发明内容】
[0007]本发明提出一种多功能全景视频实时拼接方法。主要针对全景视频生成的实时性和准确性的需求下，提出一种全新的解决方式，即在运动状态下，实时生成带有位置信息的3D全景视频图像，本发明能实现三维全景视频帧与带有经玮度坐标的3DGIS数据的自动匹配与无缝集成。
[0008]本发明提出了一种多功能全景视频实时拼接方法，包括:获得多个摄像机对不同角度拍摄的立体视频流数据、GPS数据、INS数据和3DGIS数据；判断GPS与INS时间是否同步、GPS与GIS位置是否同步以及各路视频是否同步；完成视频数据和空间位置信息的解析、压缩、分析提取和存储工作；对各路数据进行数据校准，将视频数据、GPS数据、GIS数据、INS数据统一处理并集成，提取带有经玮度信息的空间特征点；利用立体坐标精确特征点匹配对，自动优选拼接参数，对图像实时拼接和融合。
[0009]本发明数据采集设备采用一种新型的布局结构进行固定，只需在摄像机同步采集的前几帧进行图像特征点、视频匹配帧、图像拼接变换参数的自动优选，同时通过特征点对空间坐标信息进行校正，获取最优的拼接参数，然后将该最优拼接参数用于后续视频帧的拼接函数中，实现三维全景视频流的实时动态拼接。
[0010]本发明提出的一种多功能全景视频实时拼接方法具有如下有益效果:1.本发明能高效、实时生成具有精准位置标识的三维全景视频。2.本发明通过特征点对对立体空间坐标的配对校正，提高了拼接的精度。
【附图说明】
[0011 ] 图1是本发明的方法流程图；
图2是本发明的摄像机布局结构图。
【具体实施方式】
[0012]下面结合附图对本发明进行详细说明。
[0013]图1是本发明一较佳实例中一种多功能全景视频实时拼接方法流程图，该方法包括如下步骤:
步骤S101:获得多个摄像机对不同角度拍摄的立体视频流数据、GPS数据、INS数据和3DGIS数据；
步骤S102:判断GPS与INS时间是否同步、GPS与GIS位置是否同步以及各路视频是否同步；
步骤S103:完成视频数据和空间位置信息的解析、压缩、分析提取和存储工作；
步骤S104:对各路数据进行数据校准，将视频数据、GPS数据、GIS数据、INS数据统一处理并集成，提取带有经玮度信息的空间特征点；
步骤S105:利用立体坐标精确特征点匹配对，自动优选拼接参数，对全景视频实时拼接。
[0014]该采集数据步骤S101，包括多台摄像机、GPS接收机、PC等设备。在摄像机标定之后，采用多个摄像机对不同方位进行拍摄，摄像机、GPS/INS采集机同步控制，完成某点周边360度场景以及位置坐标信息的一次同步采集。
[0015]该同步控制步骤S102，根据判定各路视频提取的基于时间和空间的特征信息、GPS和GIS各自的空间位置信息、GPS和INS各自精确的时间信息是否匹配来确定两路信息是否同步。
[0016]该S103步骤中，包括GPS数据解析、通过坐标变换将坐标系统一、通过投影变换将经玮度转换为GIS数据所采用的参照系中的坐标。
[0017]该提取特征点步骤S104，根据各视频的时间标识信息以及空间的颜色信息提取出共同的特征信息点，将视频数据、GPS数据、GIS数据、INS数据统一处理数据融合。
[0018]该全景视频拼接步骤S105，通过特征点对空间坐标信息进行校正，获取最优的拼接参数，对全景视频实时拼接。
[0019]图2是本发明的摄像机布局结构图。本发明采用复数台(6台8台等)摄像机进行结构固定，以8台为例，结构图如图2所示。8台摄像机等分圆周，固定在同一个圆的周围，任意两个相邻的相机间夹角相等，图中，C代表相机，Z为同心圆的圆心，A表示相邻两个相机拍摄的重叠区域，E为单个相机的视野范围。
[0020]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替代和改进等，均包含在本发明的保护范围之内。
【主权项】
1.一种多功能全景视频拼接方法，其特征在于，包括步骤: 步骤(S101)，获得多个摄像机对不同角度拍摄的立体视频流数据、GPS数据、INS数据和3DGIS数据; 步骤(S102)，判断GPS与INS时间是否同步、GPS与GIS位置是否同步以及各路视频是否同步； 步骤(S103)，完成视频数据和空间位置信息的解析、压缩、分析提取和存储工作； 步骤(S104)，对各路数据进行数据校准，将视频数据、GPS数据、GIS数据、INS数据统一处理并集成，提取带有经玮度信息的空间特征点； 步骤(S105)，利用立体坐标精确特征点匹配对，自动优选拼接参数，对全景视频实时拼接。2.如权利要求1所述的一种多功能全景视频拼接方法，其特征在于，所述步骤(101)中，在运动状态下，多台摄像机、GPS/INS等同步工作，完成周边360度场景以及位置坐标信息的一次性同步采集。3.如权利要求1所述的一种多功能全景视频拼接方法，其特征在于，多台摄像机采用一种新型的布局结构进行固定，同步采集得到的视频的相对应参数也相应固定。4.如权利要求1所述的一种多功能全景视频拼接方法，其特征在于，所述步骤(102)中，根据判定各路视频提取的基于时间和空间的特征信息、GPS和GIS各自的空间位置信息、GPS和INS各自精确的时间信息是否匹配来确定两路信息是否同步。5.如权利要求1所述的一种多功能全景视频拼接方法，其特征在于，在摄像机同步采集的前几帧进行图像特征点、视频匹配帧、图像拼接变换参数的自动优选，同时通过特征点对空间坐标信息进行校正，获取最优的拼接参数，然后将该最优拼接参数用于后续视频帧的拼接函数中，实现三维全景视频流的实时动态拼接。6.如权利要求1所述的一种多功能全景视频拼接方法，其特征在于，所述步骤(S103)中，包括GPS数据解析、通过坐标变换将坐标系统一、通过投影变换将经玮度转换为GIS数据所采用的参照系中的坐标。7.如权利要求1所述的一种多功能全景视频拼接方法，其特征在于，所述步骤(S104)中，根据各视频的时间标识信息以及空间的颜色信息提取出共同的特征信息点，将视频数据、GPS数据、GIS数据、INS数据统一处理数据融合。8.如权利要求3所述的一种多功能全景视频拼接方法，其特征在于，所述布局结构为用复数台摄像机进行结构固定，复数台摄像机等分圆周，固定在同一个圆的周围，任意两个相邻的相机间夹角相等。
【专利摘要】本发明提供一种多功能全景视频拼接方法。该方法包括步骤：获得多个摄像机对不同角度拍摄的立体视频流数据、GPS数据、INS数据和3DGIS数据；判断GPS与INS时间是否同步、GPS与GIS位置是否同步以及各路视频是否同步；完成视频数据和空间位置信息的解析、压缩、分析提取和存储工作；对各路数据进行数据校准，将视频数据、GPS数据、GIS数据、INS数据统一处理并集成，提取带有经纬度信息的空间特征点；利用立体坐标精确特征点匹配对，自动优选拼接参数，对全景视频实时拼接。本发明是基于图像特征点、视频匹配帧、图像拼接变换参数的自动优选技术以及整合特征点的空间坐标信息的高性能全景视频拼接。
【IPC分类】H04N5/262, H04N5/04, H04N5/232
【公开号】CN105262949
【申请号】CN201510663892
【发明人】宋夫华
【申请人】浙江卓锐科技股份有限公司
【公开日】2016年1月20日
【申请日】2015年10月15日