专利名称：解码2d-兼容立体视频流的方法
解码2D-兼容立体视频流的方法
说明书本发明涉及一种解码立体数字视频流的方法，该立体数字视频流即为当在可视化装置中适当处理时产生被观众感知为三维的图像序列的视频流。
该方法允许传统的(即，非立体的)解码器和/或电视机的用户在2D模式下观看立体图像，并且使用立体(3D)解码器和/或电视机进行2D显示。
近年来，在新的数字技术可利用的新的生产工具的刺激下，电影生产领域更加关注并投入巨大资源于立体3D内容的生产中。
对3D的兴趣现在延伸到家用，也就是，在电视机上显示图像。例如，一些付费电视操作者不久将播放3D节目。最普通的呈现立体视频内容的方法包括显示分别针对右眼和左眼的两个独立的视频流，其之后由人脑重组为三维对象。
家用的立体内容通常是高清晰度的视频内容并可在大容量存储器介质(DVD或蓝光光盘、磁光或固态介质等)上或经由(有线或无线)广播信道或经由通信网络(IP)分布。
然而，在生产环境中，用现有的结构不可能分别转换并处理由立体摄像机从两个不同的视点拍摄景象而产生的两个流。
此外，到达终端用户的分布网络如此巨大以至于使用两个独立的高清晰度流来提供单一服务是不经济的。因此，为了减小内容转换和完成所需的比特率，在生产过程中必须采取一些措施。
由于对感知二维和三维图像的细节的差异所实施的研究结果似乎表明，即使当与二维内容的分辨率相比立体内容的分辨率有所降低，但被用户感知的质量依然可接受，因此已研发了不同的技术来将组成立体影像的两个图像封装成单帧(帧封装)。
例如，在单一的高清晰度帧C (1920X 1080像素)的情况下，以等于高清晰度帧的分辨率的一半的水平分辨率获得组成左右信道(此后称为L和R)的两个图像，之后并排排列成单帧(并排格式)，如图Ia所示。
这样，可以使用单一的高清晰度流来传输两个独立的视频信道；在解码时，然后通过应用合适的插值技术将两个半帧分离并且返回到16/9格式。
同样地，可使用备选处理，其包括将竖直分辨率平分并保持水平分辨率不变，之后将两个巾贞L和R —个排列在另一个顶端(上下格式),如图Ib所不。
然后将由复合帧组成的立体视频流压缩，以便在将其分布在广播网络、IP网络或大容量存储器介质上之前减小其传输比特率。
各种服务供应商(尤其是公共服务广播公司)所关注的最重要的需求之一是立体信号的2D兼容性。
事实上，为了允许那些已经拥有高清晰度解码器的用户享受广播服务，期望3D节目也可以如2D节目一样被显示。同样地，期望DVD、蓝光光盘3D或互联网站上的3D内容可以由2D和3D电视机和监视器都能显示。
该结果可由两种方式来实现同时播放一个节目的2D和3D版本，或采取合适的技术来编码立体流。
显然，第一种选择涉及带宽浪费，这是服务供应商宁愿避免的事情。
至于第二种选择，在生成2D兼容立体流的领域中已知若干技术。
这些技术中之一涉及应用所谓的“深度图”，例如如在美国专利申请 no. US2002/0048395 和 no. US2004/0101043 中所描述的那样。
实际上，信号与承载深度图的互补黑白视频形式的二维彩色视频相关联。合适的解码器可以从所接收到的数据重建立体视频。然而，该技术遭受与前述的同样节目的2D和 3D传输非常相同的问题事实上，两个视频信号必须并行转换，导致高传输比特率。
另一 2D兼容的立体流编码技术是例如被称作“多重视角”的技术。
因为组成立体视频流的成对的左右图像以高度相似为特征，因此当编码二维流时采用的时空冗余抑制技术也可在这种情况下使用。事实上，一旦减去由于射影点之间的几何距离(也就是，目间距)而导致的偏差，右图像与左图像之间的差别就会小。
已利用叫做多视角轮廓(MVP)的补充规范扩展了 MPEG2标准；同样地，通过包括多视角编码(MVC)规范来扩展随后的H. 264/AVC标准。
这两种规范的共同特征是使用可升级视频编码；将立体视频流压缩成基层(2D基流)加上加强层，该层传输第二视角。编码流的语法确保2D视频也可由旧代解码器来解码， 只要它们遵从所述MPEG2或H. 264/AVC标准即可。
然而，将立体流编码为上述格式中之一所需的比特率仍然太高以至于不能使其在播放环境中使用，因此，帧封装格式仅保留启动3D服务的可行短期方案。
因此本发明的目的是提供一种解码方法，其允许从立体数字视频流中提取2D兼容的(2D)视频信号，尤其是用来基于使用复合帧来解码2D兼容的立体数字视频流的方法， 其适用于任何用来封装所述复合帧之中的左右图像的方法。
通过解码立体视频流的方法来达到本发明的上述及其他目的，该方法并入了在所附权利要求中陈述的特征，所附权利要求意在作为本说明书的构成整体的部分。
本发明的进一步目的和优点从一些实施例的以下描述将变得更加明显，通过非限制性实例来提供这些实施例。
将参考附图
描述所述实施例，其中-图la、lb和lc，上面已经提及，示出了分别为并排格式、上下格式以及备选格式的立体视频流的复合帧；-图2a、2b和2c分别示出了图la、Ib和Ic的复合帧，其中帧区域已经被适当地加亮以例示根据本发明的方法的特定步骤；-图3示出了产生和显示图像视频流的系统，其包括根据本发明的解码器和视频回放>j-U ρ α装直。
现在参考图3，示出了用于产生和显示图像视频流的系统，其包括立体编码器200 (产生复合帧的装置，也被称为立体编码)，该立体编码器200构造为分别接收由字母L和R 所指定的成对的左右立体图像。在待分布的视频流中，根据特定的封装格式将一对立体图像组合成单一的复合帧FC。在该实施例中，通过使用之前参考图Ia所描述的封装格式来组合图像。
立体编码器200的输出信号可通过编码器202压缩并可能与其他压缩信号一起多路复用，之后在广播网络上播放，或者可作为文件经由电信网络分布或分布在存储介质上。应当注意的是，立体编码器200可以是单独的装置或可并入编码器202。
通过使用已知的设备和方法来执行产生复合帧FC之后的处理步骤，这些不属于本发明的范围，因此这里将不会进一步描述。
必须指出的是，在立体编码、压缩或多路复用步骤期间，通常做法是将合适的信号发送元数据插入在结果数据流中，以便描述用来编码立体流的帧封装方法。例如，此类元数据可被输入H. 264编码的SEI (补充增强信息)消息或被输入服务信息，其描述了视频内容已被多路复用的传输流的组成。选择性地，根据在专利申请IT2008M0000267中所描述的方法，元数据可正好被输入组合帧FC。事实上，所述元数据可以任何形式或模式输入(例如，它可被输入为XML描述符、或合适的二元数据结构，或从为解码装置所知的查找表得出的代码)；此外，它可作为带内或带外信号发送来传输，并且可与视频流在内容产生和分布链中的任何点相关联。这些模式不是本发明的部分，因此这里将不会进一步描述。
为了再现视频流，解码器212可基于在上述元数据中传输的帧封装格式描述来确定两张立体图像(在图2a、2b和2c中所示)之一占据的区域，之后切割该区域将其发送给 2D可视化设备。
可开始于元数据显性地或隐性地获得该确定结果。
在显性模式中，帧封装格式的几何结构在元数据中得到详尽描述(例如，通过明确地声明每个立体图像所占据的区域的顶点的坐标)。
相反，在隐性模式中，在元数据中仅声明帧封装类型(例如，并排式)，所述指示对于解码器来讲足以确定这些区域。
在第一实施例中，被编码、压缩和播放、或从存储介质中读取的立体信号到达数字解码器212，数字解码器212可连接到可视化设备222 (例如，传统的电视机)。
解码器212装备有合适的软件组件，允许其获取并分析用于描述立体信号的信号发送。例如，这些软件组件可在制造阶段或随后通过可采取不同方式进行升级处理来安装 例如，用无线电接收新的固件版本、经由电信网络下载，或从经由USB接口连接的外围读取。所述软件组件还包括依据使用的帧封装格式获得组成立体视频的两个图像之一所必须的算法的实现。
例如，当使用隐性模式和并排格式(图Ia)时，根据本发明的方法通过将所述帧分为两部分来确定其中一个立体图像所占据的区域，其中所述两部分沿着帧本身的竖轴具有相同的面积(图2a)。相反，在上下格式(图Ib)的情况下，沿着水平轴划分帧(图2b)。
将帧被细分的部分之一选为二维图像，然后在已被适当处理(调整大小)之后再显/Jn ο
如果信号发送包括帧封装格式的显性描述(例如，图Ic的格式)，那么解码器212 将选择从立体视频流的帧切割两个组成图像之一所必要的信息。例如，信息发送可指示围绕组成立体对的图像之一的多边形的顶点的坐标(例如，图2c的点A、B、C、D):在此情况下， 解码器212应当仅选择与两个图像之一有关的数据并且应用与所使用的帧封装形式相对应的切割算法。
随后的所选部分的调整大小可委托给解码器212的定标器，或者，根据等效的结果，委托给显示装置222中的一个。该组件应用适当的插值算法，以便将图像返回到其所选的显示格式，从而重建缺失的像素或修改用于像素表现的形状因子。
在一个选择性实施例中，解码器212与显示装置222合为一体。
应该注意的是，复合帧的那些没有包含在2D显示窗中的部分(例如，图2a、2b、2c 中的白色部分)没有被可视化设备使用，并且原则上，甚至不可被解码。因此，如果解码器读取封装格式信息，甚至可放弃解码复合帧的那些没有用于2D可视化的部分。例如，不能处理50或60Hz 1080p帧，只能处理1080i帧的的解码器，可以能够解码表示被输入图Ic的 1080p帧的两个视角的一个的720p图像。
在本发明的又一实施例中，在用户决定临时从3D显示转换成2D显示的情况下(例如，因为他的/她的眼睛由于立体视觉而变得疲倦)可以通过解码器212或3D可视化设备来应用上述方法。在此情形下，观众可通过发出合适的指令(例如，通过按压指定的遥控按钮)来在3D和2D显示之间转换。
总而言之，根据本发明的方法和解码器确保针对传统的2D可视化设备和3D可视化设备的三维视频流的2D兼容性。
解码器212可以是根据本发明的能够接收和解码立体视频流的任何装置，例如， 数字电视接收器、光学阅读器或磁数字媒体(DVD、蓝光光盘播放器、个人录像机)。解码器 212也可构建在包括播放装置的设备中。
本发明不限于立体视频流的2D兼容解码的方法和相关装置，但是可在不背离发明主旨的情况下进行许多修改、改进或等效部分和元件的替换，如在以下权利要求中所清楚指明的那样。
权利要求
1.一种用于处理数字图像的视频流的方法，所述方法包括下述步骤-接收包括至少一个复合帧(Fe)的视频流，所述复合帧包含根据预定封装格式的一对立体数字图像(L，R)；-接收描述所述复合帧(FC)的格式的元数据；-生成可以在可视化设备(222)上再现的输出视频流，其特征在于所述方法包括下述步骤-基于所述元数据确定复合帧(FC)中的由所述复合帧内的立体对的一个图像所占据的区域；-从所述复合帧(FC)中提取包含在所述区域中的图像，以及 -生成包含所提取图像的输出帧。
2.根据权利要求I所述的方法，其中，所述元数据包括所述封装格式的指示符。
3.根据权利要求I所述的方法，其中，所述元数据位于H.264标准的SEI消息中。
4.根据权利要求I所述的方法，其中，所述元数据位于传输流的服务信息中。
5.根据权利要求I所述的方法，其中，所述元数据位于所述复合帧(FC)中。
6.根据权利要求2所述的方法，其中，所述元数据包括所述封装格式的显性描述。
7.根据权利要求I至6中任一项所述的方法，其中，仅对所述复合帧(FC)中包含待提取图像的部分进行解码。
8.一种用于解码数字图像的视频流的装置，其特征在于实施根据权利要求I至7中任一项所述的方法。
9.根据权利要求8所述的解码装置，其中，在用户指令时启用所述解码方法。
10.根据权利要求9所述的解码装置，其中，所述用户通过按压指定的遥控按钮来启用所述解码方法。
11.一种包括根据权利要求8至10中任一项所述的解码装置的视频回放装置。
全文摘要
本发明涉及一种用于处理数字图像的视频流的方法，所述方法包括下述步骤接收包括至少一个复合帧(FC)的视频流，所述复合帧包含根据预定封装格式的一对立体数字图像；接收描述所述复合帧的格式的元数据；生成可以在可视化装置上再现的输出视频流，其中所述方法还包括下述步骤基于所述元数据确定复合帧中的由所述复合帧内的立体对的一个图像所占据的区域；从所述复合帧中提取包含在所述区域中的图像，以及生成包含所提取图像的输出帧。
文档编号H04N13/00GK102986229SQ201180032070
公开日2013年3月20日 申请日期2011年6月27日 优先权日2010年6月28日
发明者G.巴洛卡, P.达马托, S.塞拉 申请人:西斯维尔科技有限公司