专利名称:一种面向全景视频的运动搜索方法
技术领域:
本发明涉及图象视频压縮技术,特别涉及全景视频的快速运动搜索方法。
背景技术:
全景视频(panoramic video)也称为沉浸式视频(immersive video)。观察者视点不能随 意变,改变观察方向能够观察到周围的全部场景。普通的二维视频只反应了全方位视频的某 个局部,难以使人产生身临其境的沉浸感,利用全景视频可以建立起供用户观察的虚拟环境。 用户通过在其中的漫游,能够交互地从不同观察点和方向了解环境。全景视频摄像机的示意 图如图1所示,由多个摄像机对同一视点周围的场景进行采集处理。任何一个视角的二维场 景都可以由这些采集的图像绘制出来。全景视频可以应用于广播、存储和交互式的在线应用 等。
全景视频的生成是基于一种图象拼接技术。首先用若干个摄像机采集不同角度的实时图 像(需要的摄像机个数与采集的角度有关),然后把同一时间内采集到的不同角度的图象用 一种无缝的图像拼接技术缝合成一幅360度的全景图。然后再把这幅全景图用柱面或者球面 算法映射到一个二维的平面上。由于全景视频图像是由多幅采集图像缝合而成,因此, 一般 来说,全景图像的分辨率非常大,譬如说,2048X768。考虑一个每秒25帧的全景视频序列, 则一秒的数据量达到112M。如此庞大的数据,不经过有效压缩,是无法进行存储,更不用说 实时传输。因此,研究研究全景视频的压縮技术,尤其具有理论和现实意义。
目前在大多数视频编码标准中,采用的传统的运动补偿估计方法是基于全搜索算法。该 算法虽然运动搜索的范围比较广,估计较为精确,但非常耗时。而在全景视频里,图像的分 辨率非常大,编码的大部分时间都耗费在运动估计上,若无法加速运动估计的时间,必将限 制很多全景视频的应用。
发明内容
本发明的目的是克服现有技术的不足,提供一种基于率失真方法的快速运动搜索算法, 用于有效压縮全景视频。
为了达到上述目的,本发明采取如下技术方案 一种基于率失真方法的快速搜索算法,包括以下步骤
(1)把每一帧全景视频分割成互不重叠的块,块的尺寸有16X16、 16X8、 8X16和8
X8;
(2) 对当前块进行初始化运动搜索;
(3) 判定当前块是否是零运动矢量的帧间编码块;
(4) 对己经划分好的8X8以上大小的块使用一种阀值方法来判定是否要继续进行8X8 块以下的分割。
进一步地,步骤(1)中,块的划分依次为16X16、 16X8、 8X16和8X8的顺序,使用
率失真算法判定最终块大小。
进一步地,步骤(2)中,所使用的快速运动估计方法是三步快速运动估计算法。 进一步地,搜索范围是64X64,半像素精度搜索。
进一步地,步骤(3)中,通过亮度和色度的残差大小判定当前块是否为零运动矢量的帧 间编码块。
进一歩地,所述歩骤(4)中,8X8块大小以下的块划分包括8X8、 8X4、 4X8、 4X4。 本发明方法的优点在于 (1)针对全景视频的特点,设计了一种有效的快速运动搜索方法,相对传统的运动补偿 估计方法,编码速度更快,同时保持相同的主观重构视频质量;
'(2)快速判定是否需要进行8X8块以下的运动估计,节省了率失真优化的运算时间。
图1是本发明实施例中由多个摄像机对同一视点周围场景进行采集处理的示意图; 图2是本发明实施例中基于率失真算法的宏块划分示意图3是本发明实施例中面向全景视频的快速运动搜索算法流程图。
具体实施例方式
下面结合附图和具体实施方式
对本发明作进一步详细描述 , 如图3所示,为本发明的一种面向全景视频的快速运动搜索方法的操作流程图。该方法
的操作步骤包括
步骤10中,首先将当前帧划分为互不重叠的16X16的块,然后再依次划分为8X16, 16X8, 8X8的块
步骤20,在该步骤中,使用了一种快速运动估计方法,称为菱形搜索法。菱形搜索法 使用两种搜索模板,分别是9个检测点的大模板和5个检测点的小模板,开始搜索时使用大 模板,当最佳点位于中心点时,再使用小模板。
步骤30,如果当前块的亮度的残差和色度的残差同时满足以下条件,则当前块是零运动
矢量的帧间编码块-<formula>formula see original document page 5</formula><formula>formula see original document page 5</formula>歩骤40,在16X16、 16X8、 8X16和8X8块的运动估计结束以后,若当前块亮度的预 测值和原始值的差,即亮度残差大于一个设定的阀值Mffi—*,见以下公式,则16X16块再 度划分为8X8以下的块进行运动估计 '<formula>formula see original document page 5</formula>最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施 例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修 改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求 范围当中。
权利要求
1、一种面向全景视频的快速运动搜索方法,包括以下步骤(1)把每一帧全景视频分割成互不重叠的块,块的尺寸有16×16、16×8、8×16和8×8;(2)对当前块进行初始化运动搜索;(3)判定当前块是否是零运动矢量的帧间编码块;(4)对已经划分好的8×8以上大小的块使用一种阀值方法来判定是否要继续进行8×8块以下的分割。
2、 根据权利要求1所述面向全景视频的快速运动搜索方法,其特征是,步骤(1)中, 块大小的划分为16X16、 16X8、 8X16禾I3 8X8。
3、 根据权利要求1所述面向全景视频的快速运动搜索方法,其特征是,步骤(2)中, 对当前块使用菱形搜索算法初始化运动矢量。
4、 根据权利要求,l所述面向全景视频的快速运动搜索方法,其特征是,步骤(3)中, 用亮度预测残差来判定当前块是否是零运动矢量的帧间编码块。
5、 根据权利要求1所述面向全景视频的快速运动搜索方法,其特征是,步骤(4)中, 用一种阀值法来判定当前块是否要继续进行8X8块以下的分割。
全文摘要
本发明公开了一种面向全景视频的快速运动搜索方法,包括以下步骤(1)把每一帧全景视频分割成互不重叠的块,块的尺寸有16×16、16×8、8×16和8×8;(2)对当前块进行初始化运动搜索(3)判定当前块是否是零运动矢量的帧间编码块(4)对已经划分好的8×8以上大小的块使用一种阀值方法来判定是否要继续进行8×8块以下的分割。本发明的优点在于针对全景视频的特点,设计了一种适合全景视频编码的快速运动搜索算法,方案比传统的运动搜索算法更简洁,运算时间更短,同时保持相同的全景视频编码效率。
文档编号H04N7/26GK101350921SQ200710130319
公开日2009年1月21日 申请日期2007年7月17日 优先权日2007年7月17日
发明者晨 张 申请人:北京华辰广正科技发展有限公司