专利名称：自由视点四维空间视频序列的采集与形成方法
技术领域：
本发明涉及ー种自由视点四维空间视频序列的采集与形成方法，属于视频压缩编码技术领域。
背景技术：
随着信息技术的快速发展，各种形式的立体视频处理及应用已经涌入人们的生活，如全景环幕电影，平面立体电视与电影、立体医学图像成像与传输、机器人控制立体成像、虚拟现实系统等。与此同时，立体视频处理算法及系统研究近年来已经成为国际上发展最快的研究热点之一。目前，国内外对自由视点立体视频的研究从空间构成上不外乎两种形式柱面/ 球面ニ维视频与平面立体视频。平面立体视频是指具有深度信息的平面三维视频序列，由 具有一定视差的多个视频序列组成，表示为(X，Y, V)。其利用多个视频序列的运动、视差及深度预测和增强算法，在平面视角范围内进行立体视频处理。而柱面/球面ニ维视频则是以平面视频处理为基础，进行柱面/球面的ニ维视频处理从而达到全景立体效果。其中，柱面ニ维视频是平面ニ维视频序列在柱面弧度维空间扩展后得到的360度全景视频，表示为(x, y, O。平面立体视频是基于平面的具有深度信息的空间三维结构视频，柱面ニ维视频是基于柱面的具有弧度信息的空间三维结构视频。两者虽然都能够实现一定程度的自由视点立体视频显示，但是都有不足。平面立体视频不具有弧度信息，无法显示360度全方位立体视频，而柱面ニ维视频不具有深度信息，无法显示基于柱面的三维视频。因此就有了自由视点四维空间视频概念。自由视点四维空间视频将柱面空间的ニ维视频与平面空间的三维视频结合起来，共同组成具有空间四维结构的自由视点四维空间视频系统。该系统在空间范围内具有四维数据结构，表示为平面坐标(x，y)、深度信息维V及弧度信息维α的四维空间结构(x，y，v，α )0弧度维对平面立体视频进行柱面扩展，深度维对柱面ニ维视频进行深度扩展，在空间上构成了既具有深度信息，又具有弧度信息的视频序列。其同时继承了柱面空间的全方位特性及平面视角的三维视觉特性，能够在柱面空间进行立体视频显示，弥补了平面立体和柱面ニ维视频的空间缺陷，从真正意义上重现和展示真实世界中360度全方位立体场景。由于自由视点四维空间视频处理技术是对现有平面立体及柱面ニ维视频处理技术的扩展，g在实现柱面360度全景环境中任意角度的立体视频的实时处理，这是目前平面立体视频及柱面ニ维视频系统所无法媲美的较新的技术领域。国际上很多研究都是围绕自由视点四维空间视频处理的算法与系统的设计展开。相应的，这就为视频采集提出了新的要求，即如何为自由视点四维空间视频处理的算法研究与系统验的证提供所需的测试码流。目前，国际上对于柱面ニ维视频及平面立体视频都提供了标准的官方测试码流，但是由于自由视点四维空间视频理论研究还未大規模展开，所以相关视频处理标准官方组织还未有相应的视频测试码流提供。
发明内容
针对现有技术的不足，本发明提出ー种自由视点四维空间视频序列的采集与形成方法。自由视点四维空间视频序列的采集方法，由设置在机架上的N个摄像头实现，N个摄像头排列为ー个半径为r的圆，相邻两个摄像头之间的夹角相同，均为Θ ;被拍摄物组成ー个半径为R的圆并且与摄像头构成的圆为同心圆ホ个摄像头同时对被拍摄物拍摄，得到N个具有自由视点特征的平面ニ维图像帧。自由视点四维空间视频序列的形成方法，摄像头采集到的图像帧是具有自由视点特征的平面ニ维图像帧，若要生成自由视点四维空间的视频序列，则须先经过平面图像到柱面图像的映射，増加弧度維信息，然后再根据图像的重叠部分将多张衔接的图像进行拼接，形成360度柱面全景图；柱面全景视频序列通过视差计算与深度感知原理用视差来预测图像帧的深度信息，从而在空间上增加了深度信息，最終形成自由视点四维空间视频序列。 半径r、夹角Θ和半径R的选择对自由视点四维空间视频序列的形成有如下关系从平面图像像素点A (x，y)到柱面图像像素点A’(x’，y’)的映射关系为
权利要求
1.ー种自由视点四维空间视频序列的采集方法，其特征在于，由设置在机架上的N个摄像头实现，N个摄像头排列为ー个半径为r的圆，相邻两个摄像头之间的夹角相同，均为Θ ;被拍摄物组成ー个半径为R的圆并且与摄像头构成的圆为同心圆ホ个摄像头同时对被拍摄物拍摄，得到N个具有自由视点特征的平面ニ维图像帧。
2.—种自由视点四维空间视频序列的形成方法，其特征在于，摄像头采集到的图像帧是具有自由视点特征的平面ニ维图像帧，若要生成自由视点四维空间的视频序列，则须先经过平面图像到柱面图像的映射，増加弧度維信息，然后再根据图像的重叠部分将多张衔接的图像进行拼接，形成360度柱面全景图；柱面全景视频序列通过视差计算与深度感知原理用视差来预测图像帧的深度信息，从而在空间上增加了深度信息，最終形成自由视点四维空间视频序列； 半径r、夹角Θ和半径R的选择对自由视点四维空间视频序列的形成有如下关系从平面图像像素点A (x,y)到柱面图像像素点A’(x’，y’)的映射关系为
全文摘要
一种自由视点四维空间视频序列的采集与形成方法，属于视频压缩编码技术领域。采集由设置在机架上的N个摄像头实现，摄像头排列为一个半径为r的圆，相邻两个摄像头之间的夹角均为θ；被拍摄物组成一个半径为R的圆并且与摄像头构成的圆为同心圆；摄像头同时对被拍摄物拍摄，得到具有自由视点特征的平面二维图像帧；形成方法为，经过平面图像到柱面图像的映射，增加弧度维信息，然后再根据图像的重叠部分将多张衔接的图像进行拼接，形成360度柱面全景图；柱面全景视频序列通过视差计算与深度感知原理用视差来预测图像帧的深度信息，从而在空间上增加了深度信息，最终形成自由视点四维空间视频序列。
文档编号G03B35/08GK102692806SQ20121017939
公开日2012年9月26日 申请日期2012年6月4日 优先权日2012年6月4日
发明者周莉, 孙涛, 王少伟 申请人:济南大学