专利名称：2d和3d播放模式平滑切换的立体视频解码结构及工作方法
技术领域：
本发明涉及一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，属 于立体视频解码技术领域。
背景技术：
人类视觉系统具有获取外部环境深度信息，形成三维视觉的能力。随着人们对立 体视频显示的需求，立体视频编、解码算法及显示技术得到迅速发展。目前的立体视频显示 技术，都是在人眼成像原理的基础上发展的，例如基于单目和深度信息的成像原理，以及双 目视差成像原理。相对于传统平面视频处理技术，立体视频具有巨大的图像数据处理量、存 储量、传输量，其算法和系统设计都非常复杂。而且基于目前绝大多数视频均为平面视频，立体技术在满足立体显示需求的同 时，还需要与传统的平面视频处理技术有良好的兼容性。一种与传统平面视频兼容的设计 思路，便是在视频码流编码时将码流分为基本视频码流和补充视频码流。解码端，若工作在 平面显示模式，只需处理基本视频码流；若工作在立体显示模式，则需处理基本视频码流和 补充视频码流，补充视频码流包含视差补偿信息或深度信息。如果立体视频与平面视频之间的切换为直接切换，切入的时机有可能是视频序列 中的任意帧图像，解码器将无法识别出补充视频序列的头信息，也就无法根据之前解码的 补充视频序列的参考图像进行当前帧的视差补偿计算或深度图像补偿计算，所以在平面视 频向立体视频切换的过程中，需要在时间不等的延迟后(即找到补充视频流的头信息后)， 才能够显示立体视频。如果选择在平面视频显示的同时，进行立体视频信息的完整解码和 处理，势必会对解码电路处理速度带来不必要的要求，也会造成存储空间的极大浪费。因此，有必要研究一种平面视频与立体视频切换的有效控制结构。这种控制结构 既能够保证与传统平面视频解码的兼容性，又能够保证平面视频与立体视频随机切换时的 正常过渡，并能够最大限度地减少无效数据处理带宽和无效解码时间，优化系统性能。
发明内容
本发明的目的是，提出一种2D和3D播放模式平滑切换的立体视频解码结构及工 作方法，能够保证平面视频与立体视频随机切换时的正常过渡，并能够最大限度的减少无 效数据处理带宽和无效解码时间，优化系统性能。本发明的上述目的通过以下技术方案实现一种2D和3D播放模式平滑切换的立体视频解码结构，包括基本视频流解码单元，用于对基本视频流解码，生成用于2D播放模式的视频码 流。补充视频流解码单元，用于对补充视频流解码，生成深度补偿码流帧或视差估计 的补偿码流帧。
自适应空间缩放控制单元，用于接收播放模式控制信号，对补充视频流解码单元 解码后的补充视频流进行自适应下采样预处理，生成并且保存低分辨率的深度补偿码流的 参考帧或视差估计补偿码流的参考帧。立体视频生成单元，2D播放模式下，根据基本视频流解码单元解码后的基本视频 流和自适应空间缩放控制单元下采样后保存的参考帧，重建较大失真度的立体视频图像； 3D播放模式下，根据基本视频流解码单元解码后的基本视频流和未经下采样后处理的补充 视频流的参考帧，重建高保真度的立体视频图像；平面播放模式向立体播放模式切换的瞬 间，在找到工帧之前，工作方式与2D播放模式下相同，在找到I帧之后，即进入3D播放模 式。图1给出视频解码总结构图。图2给出自适应空间缩放控制单元内部结构图。本发明的有益效果是，与平面视频兼容的立体视频显示技术是未来的发展趋势。编码、解码电路的性能 将很大程度地影响到立体视频显示的成本、速度、功耗。本发明成果在保证与平面视频显示 兼容的前提下，有效地解决了平面视频播放和立体视频播放之间随机切换时可能因补充视 频码流头信息丢失，而造成的立体视频显示不定时延迟的问题；而且能够最大限度的减少 无效数据处理带宽和无效解码时间，优化系统性能。
图1是本发明中视频解码总结构图。图2是本发明中自适应空间缩放控制单元内部结构图。图中，1、基本视频码流，2、补充视频码流，3、播放模式控制信号，4、基本视频流解 码单元，5、补充视频流解码单元，6、自适应空间缩放控制单元，6-1、选择开关，6-2、补充视 频流下采样模块，6-3、补充视频流参考帧存储模块，7、立体视频生成单元，8、选择开关，9、 输出数据选择器。
具体实施例方式下面结合附图和实施例对本发明进一步说明。实施例一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，主要包括基本 视频流解码单元G)、补充视频流解码单元(5)、自适应空间缩放控制单元(6)和立体视频 生成单元(7)。基本视频流解码单元(4)可以对基本视频流(1)解码，生成用于平面播放的 视频码流。立体视频生成单元(7)根据基本视频流解码单元(4)输出的视频流和自适应空 间缩放控制单元(6)输出的视频流，合成立体视频码流。图1中，视频播放解码系统根据根据播放模式控制信号(3)选择播放模式2D播 放模式或3D播放模式。2D播放模式下选择开关⑶选择上路，基本视频流解码单元⑷对基本视频流 (1)解码，生成的码流用于平面视频播放；同时，补充视频流解码单元( 对补充视频流(2) 解码，解码后的数据流送给自适应空间缩放控制单元(6)，选择开关(6-1)选择下路，补充视频流下采样模块(6- 对解码后的补充数据流进行下采样，并且补充视频流参考帧存储 模块(6- 保存补充视频流下采样后的低分辨率的参考帧。输出数据选择器(9)选择基本 视频流解码单元的输出码流作为输出。 2D播放模式向3D播放模式切换的瞬间选择开关(8)选择下路，基本视频流解码 单元(4)解码后的数据流送给立体视频生成单元(7)，2D播放模式结束，在找到补充视频流 的I帧之前，立体视频生成单元(7)根据解码后的基本视频流和自适应空间缩放控制单元 (6)保存的低分辨率的参考帧，即补充视频流的头信息，合成较大失真度的立体视频码流， 用于3D视频播放，选择开关(6-1)仍然选择下路。在找到补充视频流的I帧之后，选择开 关(6-1)选择上路，自适应空间缩放控制单元(6)不再对解码后的补充视频流下采样，立体 视频生成单元(7)根据解码后的基本视频流和补充视频流中未经过下采样的参考帧合成 较大保真度的立体视频码流，用于立体视频播放，输出数据选择器(9)选择立体视频生成 单元(7)的输出码流作为输出。并进3D播放模式，完成2D播放模式向3D播放模式的平滑 切换。
权利要求
1.一种2D和3D播放模式平滑切换的立体视频解码结构，其特征是，包括用于对基本 视频流进行解码的基本视频流解码单元、用于对补充视频流进行解码的补充视频流解码单 元、对解码后的补充视频流进行下采样的自适应空间缩放控制单元和合成立体视频码流的 立体视频生成单元；基本视频流解码单元与基本视频流输入端口和数据输出选择器相连； 补充视频流解码单元与补充视频流输入端口、自适应空间缩放控制单元相连；自适应空间 缩放控制单元与补充视频流解码单元和立体视频生成单元相连；立体视频生成单元与基本 视频流解码单元、自适应空间缩放控制单元和数据输出选择器相连。
2.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所 述的基本视频流解码单元是按照MPEG标准进行解码的标准二维视频解码器。
3.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所 述的补充视频流解码单元是按照H. 264/AVS标准，解码生成多视点视差图像帧或深度信息 图像帧的视频解码器。
4.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所 述的自适应空间缩放控制单元包含下采样模块和存储器模块，下采样模块用于根据设定值 对解码后的补充视频流下采样，存储器模块用于实时保存下采样后的补充视频流。
5.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所 述的立体视频生成单元是按照H. 264/AVS标准，根据解码后的基本视频流和补充视频流， 合成含有深度信息的立体图像帧的视频解码器。
6.一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，其特征是，工作方 法如下1)根据播放模式控制信号选择播放模式播放模式包括2D播放模式和3D播放模式； 在2D播放模式下，基本视频流解码单元对基本视频流进行解码，生成的码流用于平面视频 播放；同时，补充视频流解码单元对补充视频流解码，解码后的数据流送给自适应空间缩放 控制单元，自适应空间缩放控制单元对解码后的数据流下采样，生成低分辨率的下采样参 考帧，并存储于自适应空间缩放控制单元的存储器模块；2)2D播放模式向3D播放模式切换的瞬间自适应空间缩放控制单元在找到补充视频 流的I帧之前，基本视频流解码单元解码后的数据流送给立体视频生成单元，同时停止平 面视频播放，立体视频生成单元根据解码后的基本视频流和自适应空间缩放控制单元保存 的下采样参考帧，合成较大失真度的立体视频码流，用于立体视频播放；在找到补充视频流 的I帧之后，自适应空间缩放控制单元停止对解码后的补充视频流下采样，立体视频生成 单元根据解码后的基本视频流和补充视频流中未下采样的参考帧合成较小失真度的立体 视频码流，进入3D播放模式，完成2D播放模式向3D播放模式的平滑切换。
7.如权利要求6所述的2D和3D播放模式平滑切换的立体视频解码结构及工作方法， 其特征是，在2D播放模式下和2D播放模式向3D播放模式切换的瞬间，立体视频生成单元 合成较大失真度的立体视频图像，在这个过程中，立体视频生成单元处理、存储的数据量， 比在3D播放模式下合成较小失真度的立体视频图像时大大减少。
全文摘要
一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，属于立体视频解码技术领域。本发明包括基本视频流解码单元、补充视频流解码单元、自适应空间缩放控制单元和立体视频生成单元。基本视频流解码单元生成用于2D播放的码流；补充视频流解码单元解码补充视频流，自适应空间缩放控制单元对解码后的补充视频码流下采样，并保存可供切换瞬间使用的参考帧。本发明有效解决了2D播放模式向3D播放模式随机切换时，因找不到补充视频码流的参考帧而无法立即生成立体视频的问题；与2D播放模式下完全合成、保存补充视频码流参考帧的方法相比，本发明在不影响切换瞬间3D播放效果的同时，减少了无效数据处理带宽。
文档编号H04N7/46GK102055984SQ201110028760
公开日2011年5月11日 申请日期2011年1月27日 优先权日2011年1月27日
发明者吕众, 周莉, 崔玉瑞, 崔艳 申请人:山东大学