专利名称：对主视频信号和一个或更多个副视频信号进行编解码的方法和设备的制作方法
技术领域：
本发明涉及用于对主视频信号和一个或更多个副视频信号进行编码、解码及呈现的方法和设备。
背景技术：
通常，在显示器上对数字编码后的视频信号进行画中画(PIP)呈现需要针对每个所显示的视频流具有一个视频解码器。在电视广播应用中，由于通常不同的视频信号是无关的，所以这是不可避免的。然而，在诸如光盘之类的存储介质的环境下，在著作时间内已经知道了所有的内容。如果主视频流和辅助PIP视频流具有联合时间轴(jointtimeline)，则因而现有技术水平是将辅助PIP视频信号直接编辑为基本视频，然后将它们联合编码为单个编码的视频流。然后，呈现于屏幕的预定位置中的副视频信号可以用作‘视频菜单按钮’，以便将当前主视频切换至视频菜单按钮中预览的其它视频流之一。如例如在US-A-2004/0126085中所示，典型的应用将会是在多角度存储介质中的不同摄像机角度之间进行屏幕切换。
从3D图形设计中已知，可以在单个图像(例如，JPEG图像)中联合地传输用于场景中的各种不同对象的静态图像纹理。
发明内容
该方案的主要缺点在于，需要预先设计主视频信号和一个或更多个辅助PIP类型的视频信号组的任何组合。除非主视频的附加版本(不包括PIP视频信号)是另外地放在盘上的，否则不可以关闭类PIP视频信号，这使该主视频所需的存储容量有效地加倍。
本发明要解决的问题是，能够仅使用单个视频解码器来实现画中画视频显示，并且对相关视频信号进行相应地编码。通过权利要求1和3中公开的方法来解决该问题。在权利要求2和4中公开了利用相应方法的设备。
根据本发明-能够实现时间轴相关的副视频信号的类PIP呈现；-从而给出了对于类PIP信号呈现的用户控制；-而仅使用一个编码后的视频流获得以上能力。
尤其在高分辨率视频的情况下，可以为可选PIP视频信号牺牲一些主视频分辨率。如图1所示，将具有例如1920*1080个像素的视频平面在逻辑上分为例如1680*1080个像素的主视频窗口MNVID和承载了一个或更多个PIP窗口PIP 1至PIP 5的240*1080个像素的副面板。
在解码之后，例如如图2所示地在中心显示主视频窗口MNVID，或者将其拉伸或缩放至完全的1920*1080的显示器大小。依据所选显示器选项，解码后像素的纵宽比(缩放之前)将会是方形(在中心的显示器中)或非方形。
并不直接显示副面板的视频内容，而是依据辅助信息，将该副面板的一些部分覆盖在主视频窗口MNVID上。如图2所示，该辅助信息包含与副面板视频的逻辑内容(例如，大小为240*160个像素的1至6副视频信号)、以及在主视频之上的这些副视频信号中每个的所期望的缩放和位置有关的信息。
由于不再将类PIP信号“硬编码”为主视频窗口的事实，所以用户控制这些附加视频信号中每一个的显示和隐藏。另外，可以使用户能够控制在例如图3所示的显示器的任何位置处对PIP窗口进行定位或缩放。
这些操作中没有一个操作需要对独立的视频流进行解码和呈现，而在现有技术中需要。因此，显示、隐藏、缩放或重新定位操作既不导致时间延迟(即，视频回放的停顿)、也不会需要附加的存储空间。
在编码器侧，有利地，限制主视频信号和辅助(PIP)视频信号的位置和大小，从而使它们的边界与由编解码器编码的实体的边界一致，典型地，块或宏块的大小为16*16个像素。
此外，可以限制应用于先进大多数编解码器的时间预测，从而对于给定的块或宏块，仅使用来自相同逻辑信号的预测数据。即，仅从属于主视频区域的像素中预测属于主视频区域的宏块。这同样也适用于PIP信号中的每一个。
原理上，本发明的方法适于对主视频信号和一个或更多个副视频信号进行编码，所述方法包括以下步骤-把所述主视频信号设置成仅与预定图像区域的主要部分相关；-把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关；-对所述主视频信号和所述一个或更多个副视频信号一起编码，以提供单个编码后的视频信号；-生成与所述一个或更多个副视频信号有关的位置和缩放信息；-将所述单个编码后的视频信号的数据与所述编码后的位置和缩放信息的数据组合，用于提供对于存储介质可控制的组合数据流。
原理上，本发明的设备适于对主视频信号和一个或更多个副视频信号进行编码，所述设备包括-设置装置，适于把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及适于把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关；-编码装置，适于对所述主视频信号和所述一个或更多个副视频信号一起编码，以提供单个编码后的视频信号；-生成装置，适于生成与所述一个或更多个副视频信号有关的位置和缩放信息；-组合装置，适于将所述单个编码后的视频信号的数据与所述编码后的位置和缩放信息的数据组合，用于提供针对存储介质可控制的组合数据流。
原理上，本发明的方法适于对主视频信号和一个或更多个副视频信号进行解码，并适于呈现所述主视频信号和零个或多个所述副视频信号，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，所述方法包括以下步骤-接收来自存储介质的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据；-利用单个解码器，对所述主视频信号和所述一个或更多个副视频信号进行解码，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；-从所述组合数据流中捕获与所述一个或更多个副视频信号有关的位置和缩放信息数据；-使用所述位置和缩放信息数据来构成所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
原理上，本发明的设备适于对主视频信号和一个或更多个副视频信号进行解码，并适于呈现所述主视频信号和零个或多个所述副视频信号，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，所述设备包括-组合装置，适于接收来自存储介质的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据，以及所述装置包括单个解码器，用于对所述主视频信号和所述一个或更多个副视频信号进行解码，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；-捕获装置，适于从所述组合数据流中捕获与所述一个或更多个副视频信号有关的位置和缩放信息数据；-构成装置，适于使用所述位置和缩放信息数据来构成所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
在各个从属权利要求中公开了本发明有利的附加实施例。
参照附图，对本发明的示例性实施例进行描述，其中图1示出了存储在介质上的主视频画面和PIP画面的逻辑数据结构；
图2示出了用于呈现重放的PIP画面的第一示例；图3示出了用于呈现重放的PIP画面的第二示例；图4示出了利用仿真PIP画面生成多个视频流；图5示出了对主图像和PIP画面一起进行解码、合成和显示；图6示出了在显示主图像时隐藏PIP画面；图7示出了合成器的框图。
具体实施例方式
在图4中，例如三个视频图像或视频图像序列源级VID1、VID2和VID3示出了三个不同的源主视频图像。这些级中的每一个分别将它的输出信号馈入相应的组合器CMB1、CMB2、CMB3，并且分别馈入相应的下转换器DWNC1、DWNC2、DWNC3，形成了相应的PIP画面。组合器可以将主视频画面与源自另一视频图像或视频图像序列源的一个或更多个PIP画面进行组合，使得PIP数据被设置为与相应主图像数据相邻(例如，以类似于在该图的顶部和底部处所示的方式)进行设置。组合器CMB1、CMB2和CMB3的输出信号经过相应的视频编码器ENC1、ENC2和ENC3，其后用于盘控制级DMST，以将这些编码后的视频数据与相关的PIP位置和缩放信息数据项目、并最终与按钮命令数据进行组合，以便控制存储介质STM。按钮命令数据可以用于相应的存储介质播放器，以跳至作为在用户激活显示PIP画面VIDn的按钮时显示的主画面的源画面VIDn，其中，在本例中n＝1至3。例如，视频编码器使用MPEG-1、MPEG-2、MPEG-4、MPEG-4/AVC或VC-1编码。
在图5中，示出了用于对主图像和PIP画面一起解码、合成和显示的框图。使用拾取和信道解码器(未示出)，从存储介质STM中读取包括编码后的主画面数据和PIP画面数据的数据。如在图4和5的顶部所示的设置，单个视频解码器DEC对包括主画面数据和PIP画面数据的编码后的画面数据进行解码。视频解码器DEC使用相应类型的解码，即MPEG-1、MPEG-2、MPEG-4、MPEG-4/AVC或VC-1解码。在位置和缩放解码器DECPSC中对相关的PIP位置和缩放信息数据项目进行解码。该解码器、以及按钮命令数据解码器(未示出)最终将相应信息项目提供给合成器CPSTR。合成器CPSTR包括存储解码后的帧的缓冲器，将这些信息项目应用至解码后的视频数据，并输出以用户所期望的方式设置的主画面和PIP画面数据MPDPIPD。可以通过帧缓冲器内的快速块移动操作，或者在多个视频层可用的显示过程的情况下，通过将PIP视频数据移动至另一层进行显示，可以执行用于覆盖类PIP视频信号的处理。
图5的上半部分示出了重放处理，其中，V1是主画面，V2和V3是两个PIP画面，而图5的下半部分示出了在用户按下了V2 PIP按钮之后用于重放处理的相同级DEC、DECPSC和CPSTR，其中，V2是主画面，V1和V3是两个PIP画面。
从所述存储介质中取出位置和缩放信息，或者由用户生成、控制或修改位置和缩放信息。
在图6中，示出了用于对主图像进行解码、合成和显示或不具有PIP画面的框图，即，在显示主图像时，可以隐藏PIP画面。使用拾取和信道解码器(未示出)，从存储介质STM中读取包括编码后的主画面数据和PIP画面数据的数据。如在图6的顶部所示的设置，单个视频解码器DEC对包括主画面数据和PIP画面数据的编码后的画面数据进行解码。视频解码器DEC使用相应类型的解码，即MPEG-1、MPEG-2、MPEG-4、MPEG-4/AVC或VC-1解码。在位置和缩放解码器DECPSC中对相关的PIP位置和缩放信息数据项目进行解码。该解码器、以及按钮命令数据解码器(未示出)最终将相应信息项目提供给合成器CPSTR。合成器CPSTR包括存储解码后的帧的缓冲器，将这些信息项目应用至解码后的视频数据，并输出以用户所期望的方式设置的主画面和PIP画面数据MPDPIPD。可以通过帧缓冲器内的快速块移动操作，或者在多个视频层可用的显示过程的情况下，通过将PIP视频数据移动至另一层进行显示，可以执行用于覆盖类PIP视频信号的处理。合成器对与一个或更多个PIP画面的显示状态相关的附加显示PIP输入信号进行接收和评估。该信号的‘真’状态SPIPTR使一个或更多个PIP画面显示在图6的上半部分。
图6的下半部分示出了在用户按下了‘隐藏PIP’按钮之后用于重放处理的相同级DEC、DECPSC和CPSTR，合成器接收其状态为‘假’的显示PIP输入信号SPIPF，其中V1仍然是主画面，而V2和V3 PIP画面不再包含于要显示的视频数据中。
对于副视频信号中的每一个，使用SPIPTR和SPIPF数据来控制它是否与主视频信号一起呈现。
在显示过程中，PIP视频信号的编码后的像素纵宽比取决于视频缩放器(如果有的话)的位置。如果在对显示缓冲器进行缩放之前覆盖了PIP视频信号，则主视频和PIP视频均需要具有适合的非方形像素。如果PIP视频呈现于并不进行缩放的单独视频层、或者如果不对主显示缓冲器进行缩放，则PIP视频必须具有方形像素纵宽比。这假设显示设备具有方形像素，如在即将到来的1920*1080个像素的显示标准中的情况下一样。
在图7合成器CPSTR的更加详细的框图中，将来自图5和6中DEC的解码后的视频输出信号存储在帧缓冲器FRBUF中。包括主视频信号的帧缓冲器输出仅经过第一缩放器SCLR1，在其中对图像进行水平和/或垂直拉伸，以使该信号占据整个显示格式，例如，16:9或4:3格式。将解码后的PIP画面数据从帧缓冲器FRBUF传输至PIP缓冲器PIPBUF，该PIP缓冲器PIPBUF的输出经过第二缩放器SCLR2，在该第二缩放器SCLR2中，以与在第一缩放器SCLR1中执行的缩放相匹配的程度来对PIP画面或多个PIP画面进行水平或垂直拉伸。可选地，由用户来控制缩放器SCLR1和/或SCLR2，以便定制PIP画面的缩放。叠加器SIMPR将缩放后的PIP画面数据与缩放后的主画面数据进行组合，并相应地输出组合后的画面数据MPDPIPD。第二缩放器SCLR2和叠加器SIMPR接收来自图5和6的位置和缩放解码器DECPSC的解码后的PIP位置和缩放信息数据项目。如结合图6所描述的，叠加器SIMPR还可以对显示或隐藏PIP输入信号SPIPTR或SPIPF进行接收和评估。
有利地，本发明在不需要第二视频解码器或使存储空间加倍的情况下便于显示可选画中画视频。仅存在主视频水平分辨率的较小降低。本发明可以用于光记录或硬盘系统(例如，DVD，HD-DVD，BD)，以及除了单个视频流的简单解码和显示之外，在显示之前，播放器或接收机中仅需要一些附加的视频数据传输。
权利要求
1.一种对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行编码的方法，其特征在于以下步骤-把所述主视频信号(MNVID)设置(CMB1、CMB2、CMB3)成仅与预定图像区域的主要部分相关；-把所述一个或更多个副视频信号(PIP1、PIP2、PIP3)设置(CMB1、CMB2、CMB3)成与所述预定图像区域的剩余部分相关；-对所述主视频信号和所述一个或更多个副视频信号一起编码(ENC1、ENC2、ENC3)，以提供单个编码后的视频信号；-生成与所述一个或更多个副视频信号有关的位置和缩放信息(PSCI)；-将所述单个编码后的视频信号的数据与所述编码后的位置和缩放信息的数据组合(DMST)，用于提供针对存储介质(STM)可控制的组合数据流。
2.一种用于对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行编码的设备，所述设备包括-设置装置(CMB1、CMB2、CMB3)，适于把所述主视频信号(MNVID)设置成仅与预定图像区域的主要部分相关，以及适于把所述一个或更多个副视频信号(PIP1、PIP2、PIP3)设置成与所述预定图像区域的剩余部分相关；-编码装置(ENC1、ENC2、ENC3)，适于对所述主视频信号和所述一个或更多个副视频信号一起编码，以提供单个编码后的视频信号；-生成装置(PSCI)，适于生成与所述一个或更多个副视频信号有关的位置和缩放信息；-组合装置(DMST)，适于将所述单个编码后的视频信号的数据与所述编码后的位置和缩放信息的数据组合，用于提供针对存储介质(STM)可控制的组合数据流。
3.一种对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行解码、并呈现所述主视频信号和零个或多个所述副视频信号的方法，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，所述方法包括以下步骤-接收来自存储介质(STM)的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据；-利用单个解码器，对所述主视频信号和所述一个或更多个副视频信号进行解码(DEC)，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；-从所述组合数据流中捕获(DECPSC)与所述一个或更多个副视频信号有关的位置和缩放信息数据；-使用所述位置和缩放信息数据来构成(CSPTR)所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
4.一种用于对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行解码、并用于呈现所述主视频信号和零个或多个所述副视频信号的设备，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，所述设备包括-接收装置(DEC)，适于接收来自存储介质(STM)的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据；并且所述接收装置包括单个解码器，用于对所述主视频信号和所述一个或更多个副视频信号进行解码，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；-捕获装置(DECPSC)，适于从所述组合数据流中捕获与所述一个或更多个副视频信号有关的位置和缩放信息数据；-构成装置(CPSTR)，适于使用所述位置和缩放信息数据来构成所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
5.如权利要求3所述的方法或如权利要求4所述的设备，其中，对所述主视频信号进行缩放(SCLR1)以用于所述呈现，由所述位置和缩放信息数据来控制所述缩放。
6.如权利要求5所述的方法或设备，其中，对所述一个或更多个副视频信号进行缩放(SCLR2)以用于所述呈现，由所述位置和缩放信息数据来控制所述缩放。
7.如权利要求3、5和6之一所述的方法、或如权利要求4至6之一所述的设备，其中，对于所述一个或更多个副视频信号中的每一个，控制(SPIPTR、SPIPF)是否它与所述主视频信号一起呈现。
8.如权利要求3以及5至7之一所述的方法、或如权利要求4至7之一所述的设备，其中，将呈现辅助信号用作用户按钮，以用于从所述存储介质中进行捕获、对与所述呈现辅助信号相对应的不同的主信号(V2)进行解码和呈现，并用于呈现所述不同的主信号而不是当前的主信号(V1)。
9.如权利要求3以及5至8之一所述的方法、或如权利要求4至8之一所述的设备，其中，从所述存储介质中取出所述位置和缩放信息数据，或者由用户生成、控制或修改所述位置和缩放信息数据。
10.如权利要求1、3以及5至9之一所述的方法、或如权利要求2以及4至9之一所述的设备，其中，所述存储介质是DVD、HD-DVD或BD盘。
全文摘要
通常，直接将辅助PIP视频信号编辑为主视频信号，然后将它们联合编码为单个编码后的视频流。然而，为了使用户完全控制编码后的视频信号的PIP呈现，每个PIP信号需要单独的编码，以及在接收机中，所显示的每个视频流需要一个视频解码器。根据本发明，实现了时间轴相关副视频信号的类PIP呈现，它仅使用一个编码后的视频流、因而使用单个视频解码器来实现。当编码时，将视频平面在逻辑上分为主视频窗口和承载了的一个或更多个PIP窗口的副面板区域。在解码后，主视频区域显示在中心、或拉伸至完全的显示器大小。并不直接显示副面板的内容，而是依据辅助信息，将该副面板的一些部分覆盖在主视频窗口上。由于不再将类PIP信号硬编码为主视频窗口，所以用户控制PIP视频信号中每一个的显示或隐藏。
文档编号H04N5/45GK101065962SQ200580040519
公开日2007年10月31日 申请日期2005年11月14日 优先权日2004年12月2日
发明者卡斯滕·赫佩尔, 迪尔克·冈多尔夫, 约布斯特·赫雷恩特, 拉尔夫·奥斯特曼, 乌韦·扬森, 哈特穆特·彼得斯, 安德烈·谢温措, 马尔科·温特 申请人:汤姆森许可贸易公司