专利名称：视频编码方法、视频编码器、视频解码方法与视频解码器的制作方法
视频编码方法、视频编码器、视频解码方法与视频解码器技术领域
本发明所揭露的实施方式是有关于视频编码/解码，尤指一种用以对包含至少一立体浮雕视频(three-dimensional anaglyph video)的多个视频数据输入进行编码的视频编码方法与装置，以及相关的视频解码方法与装置。
背景技术：
随着科技技术的发展，使用者追求立体感以及更真实的影像播放更胜于高画质的影像。当今的立体影像播放有两个技术，一个是使用需要搭配镜片(像是立体眼镜)的视频输出装置，而另一个则是直接使用视频输出装置而无需搭配镜片。无论是使用哪个技术， 立体视频播放的主要原理是让左右眼看见不同影像，如此大脑可将两眼所见的不同影像视作立体影像。
关于使用者所使用的立体浮雕眼镜(anaglyph glasses),其具有两个带有相反颜色(也就是互补颜色)的镜片，例如红色(red)与青绿(cyan)，因而让使用者通过观看由浮雕影像(anaglyph image)所构成的立体浮雕视频(three-dimensional anaglyph video) 来体验立体(three-dimensional，3D)效果。每个浮雕影像是由左右眼两个不同视差的色层(color layer)迭合而成，以制造出深度效果。当使用者戴上立体浮雕眼镜来看每个浮雕影像时，左眼会看到一个颜色过滤后影像(filte red colored image),而右眼会看到与左眼所见的颜色过滤后影像稍微不同的另一个颜色过滤后影像。
由于网络(例如，YouTube、谷歌地图街景等等)、蓝光光盘(Blu-ray disc)、数字多功能光盘(digital versatile disc),甚至是印刷品上所呈现的影像/视频,立体浮雕技术最近便复苏了起来。如上所述，立体浮雕视频可通过使用互补颜色的任意组合来产生。 当立体浮雕视频的色对(color pair)不匹配于立体浮雕眼镜所使用的色对时，使用者就无法体验三维效果。此外，长时间观赏立体浮雕影片会让使用者不适，因而会希望可以观看以平面(two-dimensional)方式来播放的影片内容。另外，使用者会想要在自己喜欢的深度设定下观看立体浮雕视频。一般来说，视差(disparity)为同一点在左右眼影像之间的坐标差异，并通常是以像素为单位来测量。因此，不同视差设定的立体浮雕视频会播放出不一样的深度感受。所以，需要一种编码/解码方法来让视频播放能在不同视频播放格式(例如，平面视频与立体浮雕视频、具有第一色对的立体浮雕视频与具有第二色对的立体浮雕视频，或是具有第一视差设定的立体浮雕视频与具有第二视差设定的立体浮雕视频)之间进行切换。发明内容
有鉴于此，本发明揭示了用于对包含至少一立体浮雕视频的多个视频数据输入进行编码的视频编码方法与装置，以及相关的视频解码方法与装置，来解决上述问题。
依据本发明的一实施方式，揭露一种视频编码方法。该示范性的编码方法包含接收分别对应于多个视频播放格式的多个视频数据输入，其中视频播放格式包含第一立体浮雕视频；通过组合从视频数据输入所得到的视频内容，来产生组合视频数据；以及通过将组合视频数据编码来产生编码视频数据。
依据本发明的另一实施方式，揭露一种视频解码方法。该示范性的视频解码方法包含接收具有多个视频数据输入的编码视频内容组合于其中的编码视频数据，其中视频数据输入分别对应于多个视频播放格式，而视频播放格式包含第一立体浮雕视频；以及通过将编码视频数据解码来产生解码视频数据。
依据本发明又一实施方式，揭露视频编码器。该示范性的视频编码器具有接收单元、处理单元以及编码单元。接收单元用以接收分别对应于多个视频播放格式的多个视频数据输入，其中视频播放格式包含立体浮雕视频。处理单元用以通过组合从视频数据输入所得到的视频内容，以产生组合视频数据。编码单元用以通过编码组合视频数据以产生编码视频数据。
依据本发明再一实施方式，揭露一种视频解码器。该示范性的视频解码器包含接收单元与解码单元。接收单元用以接收具有多个视频数据输入的编码视频内容组合于其中的编码视频数据，其中多个视频数据输入分别对应于多个视频播放格式，而多个视频播放格式包含第一立体浮雕视频。解码单元用以通过将编码视频数据解码，以产生解码视频数据。
视频编码方法与装置，以及相关的视频解码方法与装置提供了新的产生编码视频数据的方法和装置以及相关解码方法和装置。
图1是依据本发明一实施方式的简化视频系统的示意图。
图2是图1所示的处理单元所使用的基于空间域的组合方法的第一例子的示意图。
图3是处理单元所使用的基于空间域的组合方法的第二例子的示意图。
图4是处理单元所使用的基于空间域的组合方法的第三例子的示意图。
图5是处理单元所使用的基于空间域的组合方法的第四例子的示意图。
图6是处理单元所使用的基于时间域的组合方法的例子的示意图。
图7是处理单元所使用的基于档案容器(视频串流)的组合方法的例子的示意图。
图8是处理单元所使用的基于档案容器(分离视频流)的组合方法的例子的示意图。
图9是依据本发明的示范性实施方式而在不同视频播放格式之间切换的视频切换方法的流程图。
具体实施方式
在说明书及后续的权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及后续的权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及后续的请求项当中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。
图1是依据本发明一实施方式的简化视频系统的示意图。简化视频系统100包含视频编码器(video encoder) 102、传送媒介(transmission medium) 103、视频解码器 (video decoder) 104以及显示设备(display apparatus) 106。视频编码器102使用本发明所提出的视频编码方法以产生编码视频数据(encoded video data)Dl,并包含接收单元 (receiving unit) 112、处理单兀(processing unit) 114与编石马单兀(encoding unit) 116。 接收单元112是用以接收分别对应于多个视频播放格式(video display format)的多个视频数据输入Vf VN，其中该多个视频播放格式包含立体浮雕视频。处理单元114是通过组合从视频数据输入VfVN所得到的视频内容，以产生组合视频数据(combined video data) VC。编码单元116是通过将组合视频数据VC编码以产生编码视频数据Dl。
传送媒介103可以是任何可以将编码视频数据Dl从视频编码器102传送至视频解码器104的数据载体。例如，传送媒介103可以是储存媒介(例如，光盘)、有线连接或无线连接。
视频解码器104用于产生解码视频数据(decoded video data) D2,并包含接收单元122、解码单元(decoding unit) 124以及巾贞缓冲器(frame buffer) 126。接收单元122 用以接收具有视频数据输入Vl VN的编码视频内容组合于其中的编码视频数据Dl。解码单元124是用以通过将编码视频数据Dl解码，以产生解码视频数据D2给帧缓冲器126。在解码视频数据D2可以在帧缓冲器126中取得之后，视频帧数据可从解码视频数据D2得到并传送至显示设备106来进行播放。
如上所述，要被视频编码器102所处理的视频数据输入VfVN的多个视频播放格式包含立体浮雕视频。在第一操作情境中，多个视频播放格式包含立体浮雕视频与平面视频。在第二操作情境中，多个视频播放格式包含第一立体浮雕视频与第二立体浮雕视频，而第一立体 浮雕视频与第二立体浮雕视频分别使用不同的互补色对(例如，从红-青绿、琥珀 (amber)-蓝(blue)、绿(green)-洋红(magenta)等色对中所选出的色对)。在第三操作情境中，多个视频播放格式包含第一立体浮雕视频与第二立体浮雕视频，而第一立体浮雕视频与第二立体浮雕视频虽然是使用相同的互补色对，但是对同一视频内容却会有不同的视差设定。简单来说，视频编码器102可以提供具有不同视频数据输入的编码视频内容组合在一起的编码视频数据，因此，用户便可依据他/她的观赏喜好而在不同的视频播放格式之间进行切换。例如，视频解码器104可依据开关信号(switch control signl)SC(像是使用者输入)来致能从视频播放格式至另视频播放格式的切换。如此一来，使用者便可有较佳的平面/立体浮雕视频观赏体验。此外，因为每个视频播放格式不是平面视频就是立体浮雕视频，所以视频解码的复杂度很低，因而使得视频解码器104的设计可以十分简单。 视频编码器102与视频解码器104的更进一步的细节将描述如下。
关于实作在视频编码器102中的处理单元114，处理单元114可通过采用本发明所提出的多个示范性组合方法(例如，基于空间域的组合方法(spatial domain based combining method)、基于时间域的组合方法(temporal domain based combining method)、基于档案容器(视频串流)的组合方法(file container (video streaming)based combining method)以及基于档案容器(分离视频流)的组合方法(file container (separated video streams) based combining method))的其中之一，来产生组合视频数据VC。
请参照图2，图2是图1中所示的处理单元114所使用的基于空间域的组合方法的第一例子的示意图。假设前述视频数据输入νΓνΝ的数目为二。如图2所示，视频数据输入202包含多个视频帧(video frame) 203，以及另一视频数据输入204包含多个视频帧 205。视频数据输入202可以是平面视频(标记为“平面”)，而视频数据输入204可以是立体浮雕视频(标记为“立体浮雕”)。在一个设计变化中，视频数据输入202可以是第一立体浮雕视频(标记为“立体浮雕(I) ”)，而视频数据输入204可以是第二立体浮雕视频(标记为“立体浮雕(2) ” )，其中第一立体浮雕视频与第二立体浮雕视频是使用不同互补色对， 或是使用相同的互补色对但是对相同的视频内容有着不同的视差设定。图2中的处理单元 114是用以组合从分别对应视频数据输入202与视频数据输入204的视频帧(例如，F11与 F2·1)所得到的视频内容(例如，F1/与F21 ’ )以产生组合视频数据的视频帧207。更明确来说，水平并排(左与右)的巾贞包装格式(frame package format)被用以制作出处理单元114 所产生的组合视频数据中的每个视频帧207。如图2所见，视频内容F1/是自视频帧F11得到的，例如，通过使用视频巾贞F11的一部分或视频巾贞F11的缩放结果(scaling result),并将其置于视频帧207的左半部，而视频内容F21’是自视频帧F21得到的，例如，通过使用视频帧 F21的一部分或视频帧F21的缩放结果，并将其置于视频帧207的右半部。图2中所示的例子中，视频巾贞203、205、207的巾贞大小(frame size)相同(也就是说,相同的垂直影像分辨率与水平影像分辨率)。因此，水平并排(左与右)的帧包装格式可保持视频帧203/205的垂直影像分辨率，但是会将视频帧203/205的水平影像分辨率减半。然而，这只用于图示目的。在一设计变化中，水平并排(左与右)的帧包装格式还可保持视频帧203/205的垂直影像分辨率与水平影像分辨率，这会使得视频帧207的水平影像分辨率是视频帧203/205 的水平影像分辨率的两倍。
请参照图3，图3是处理单元114所使用的基于空间域的组合方法的第二例子的示意图。如图3所示，处理单元114组合从分别对应视频数据输入202与视频数据输入204 的视频帧(例如，F11与F21)所得到的视频内容(例如，Fn”与F21 ”)以产生组合视频数据的视频帧307，并使用垂直并排(上半部与下半部)的帧包装格式来制作出处理单元114所产生的组合视频数据中的每个视频帧307。因此，视频内容F11 ”是自视频帧F11得到的，例如， 通过使用视频帧F11的一部分或视频帧F11的缩放结果，并将其置于视频帧307的上半部，而视频内容F21 ”是自视频帧F21得到的，例如，通过使用视频帧F21的一部分或视频帧F21的缩放结果，并将其置于视频帧307的下半部。图3中所示的例子中，视频帧203、205、307的帧大小相同(也就是说，相同的垂直影像分辨率与水平影像分辨率)。因此，垂直并排的帧包装格式可保持视频帧203/205的水平影像分辨率，但是会将视频帧203/205的垂直影像分辨率减半。然而，这只用于图示目的。在一设计变化中，垂直并排的帧包装格式也可保持视频帧203/205的垂直影像分辨率与水平影像分辨率，这会使得视频帧307的垂直影像分辨率是视频帧203/205的垂直影像分辨率的两倍。
请参照图4，图4是处理单元114所使用的基于空间域的组合方法的第三例子的示意图。如图4所示，使用了交错的帧包装格式来制作出处理单元114所产生的组合视频数据中的每个视频帧407。因此，视频帧407的奇数扫描线(odd line)是自视频帧F11的像素行 (pixel row)得到的(例如,选择或缩放),而视频巾贞407的偶数扫描线是自视频巾贞F21的像素行得到的(例如，选择或缩放)。在图4所示的例子中，视频帧203、205、407的帧大小相同 (也就是说，相同的垂直影像分辨率与水平影像分辨率)。因此，交错的帧包装格式可保持视频帧203/205的水平影像分辨率，但会将视频帧203/205的垂直影像分辨率减半。然而， 这只用于图示目的。在一设计变化中，交错的帧包装格式也可保持视频帧203/205的垂直影像分辨率与水平影像分辨率，这会使得视频帧407的垂直影像分辨率是视频帧203/205 的垂直影像分辨率的两倍。
请参照图5，图5是处理单元114所使用的基于空间域的组合方法的第四例子的示意图。如图5所示，使用了棋盘状的帧包装格式来制作出处理单元114所产生的组合视频数据中的每个视频帧507。因此，位于视频帧507的奇数扫描线的奇数像素与位于视频帧 507的偶数扫描线的偶数像素是自视频帧F11的像素得到的(例如，选择或缩放)，而位于视频帧507的奇数扫描线的偶数像素与位于视频帧507的偶数扫描线的奇数像素是自视频帧 F21的像素得到的(例如，选择或缩放)。在图5所示的例子中，视频帧203、205、507的帧大小相同(也就是说，相同的垂直影像分辨率与水平影像分辨率)。因此，棋盘状的帧包装格式可将视频帧203/205的水平影像分辨率与垂直影像分辨率均减半。然而，这只用于图示目的。在一设计变化中，棋盘状的帧包装格式也可保持视频帧203/205的垂直影像分辨率与水平影像分辨率，这会使得视频帧507的垂直影像分辨率与水平影像分辨率分别是视频帧203/205的垂直影像分辨率与水平影像分辨率的两倍。
如上所述，处理单元114通过处理多个视频数据输入(例如，202与204)所产生的组合视频数据VC会由编码单元116编码为编码视频数据D1。在编码视频数据Dl的每个编码视频巾贞被视频解码器104中实作的解码单元124所解码后,解码视频巾贞(decoded video frame)会有着分别对应于多个视频数据输入(例如，202与204)的视频内容。假如处理单元114是使用水平并排的帧包装方法，则解码单元124会将全部的编码视频帧解码，因此， 图2所示的多个视频帧207是连续地由解码单元124取得并接着被储存至帧缓冲器126。
当用户想要观赏平面显示时，储存在帧缓冲器126的视频帧207的左半部会被取回以当作视频帧数据，并被传送给显示设备106来进行播放。当用户想观赏立体浮雕显示时，储存在帧缓冲器126的视频帧207的右半部会被取回以当作视频帧数据，并被传送给显示设备106来进行播放。
在一设计变化中，当使用者想要观赏使用指定的互补色对或指定的视差设定的第一立体浮雕显示时，被储存在帧缓冲器126的视频帧207的左半部会被取回以当作视频帧数据，并被传送至显示设备106以进行播放。当使用者想要观赏使用指定的互补色对或指定的视差设定的第二立体浮雕显示播放时，被储存于帧缓冲器126的视频帧207的右半部会被取回以当作视频帧数据，并被传送至显示设备106以进行播放。
由于本领域的技术人员在读过上述说明后，即可轻易了解视频帧307/407/507的播放操作，故进一步的描述便在此省略以求简洁。
请参照图6，图6是处理单元114所使用的基于时间域的组合方法的例子的示意图。假设前述的视频数据输入VfVN的数目为二。如图6所示，视频数据输入602包含多个视频帧603 (Fn、F12, F13、F14, F15, F16, F17,…)，而另一视频输入数据604包含多个视频帧605(F21、F22、F23、F24、F25、F26、F27、…)。视频数据输入602可以是平面视频(标记为“平面”)，而视频数据输入604可以是立体浮雕视频(标记为“立体浮雕”)；在一设计变化中， 视频数据输入602可以是第一立体浮雕视频(标记为“立体浮雕(I) ”)，而视频数据输入 604可以是第二立体浮雕视频(标记为“立体浮雕(2)”)，其中第一立体浮雕视频与第二立体浮雕视频是使用不同的互补色对，或是使用相同互补色对但是对同一视频内容有着不同的视差设定。图6所示的处理单元114是使用视频数据输入602与视频数据输入604的视频帧Fn、F13、F15、F17、F22、F24以及F26作为组合视频数据的视频帧606。更明确来说，处理单元114通过排列分别对应于视频数据输入602与视频数据输入604的视频帧603与视频帧 605，来产生组合视频数据的视频帧606。因此，自视频数据输入602的视频帧得到的Fn、F13、 F15与F17以及自视频数据输入604得到的视频帧F22、F24与F26在同一视频流中是分时交错的(time-1nterleaved)。在图6所示的例子中,视频数据输入602中的多个视频巾贞603的一部份与视频数据输入604中的多个视频帧605的一部份是以分时交错的方式来组合。因此，相较于视频数据输入602中的视频帧603，当播放自处理单元114所产生的组合视频数据中的视频数据输入602的被选取视频帧(例如，Fn、F13、F15与F17)时，会有较低的帧速率 (frame rate)。同样地,相较于视频数据输入604中的视频巾贞605,当播放自处理单元114 所产生的组合视频数据中的视频数据输入604的被选取视频帧(例如，F22、F24与F26)时，会有较低的帧速率。然而，这只用于图示目的。在一设计变化中，视频数据输入602所包含的所有视频帧603以及视频数据输入604所包含的所有视频帧605可透过分时交错的方式来组合，因而使得帧速率维持不变。
如上所述，处理单元114通过处理多个视频数据输入(例如，602与604)所产生的组合视频数据VC会被编码单元116编码为编码视频数据D1。当编码单元116遵循特定视频标准来处理组合视频数据VC时,视频巾贞F11可以是内编码巾贞(intra-coded frame,1-frame)(图6中显示为画面类型I)，视频帧F22、F13、F15与F26可以是双向预测编码帧 (bidirectionally predictive coded frame, B-frame)( 图 6 中显不为画面类型 B),而视频中贞F24与F17可以是预测编码巾贞(predictive coded frame, P-frame)(图6中显示为画面类型P)。一般来说，双向预测编码帧的编码可使用前一内编码帧或下一预测编码帧来作为中贞间预测(inter-frame prediction)所需的参考巾贞(reference frame),而预测编码中贞的编码可使用前一内编码帧或前一预测编码帧来作为帧间预测所需的参考帧。因此，当对视频帧F22编码时，编码单元116可允许参考视频帧F11或视频帧F24来执行帧间预测。然而，视频帧F22与视频帧F24是属于同一视频数据输入604，视频帧F11与视频帧F22则是属于不同的视频数据输入602与视频数据输入604，其中视频数据输入602与视频数据输入604 具有不同的视频播放格式。因此，当使用帧间预测来将视频帧F22编码时，选择视频帧F11当作参考帧会导致低编码效率；同样地，当使用帧间预测来将视频帧F13编码时，选择视频帧 F24当作参考帧会导致低编码效率；当使用帧间预测来将视频帧F15编码时，选择视频帧F24 当作参考帧会导致低编码效率；以及当使用帧间预测来将视频帧F26编码时，选择视频帧F17 当作参考帧会导致低编码效率。
为达到有效率的帧编码，本发明提出了立体浮雕视频的帧最好是由立体浮雕视频的帧来进行预测，同时平面视频的帧也最好由平面视频的帧来进行预测。换句话说，当第一视频数据输入(例如，604)的第一视频帧(例如，F24)与第二视频数据输入(例如，602)的视频帧(例如，F11)可供第一视频数据输入(例如，604)的第二视频帧(例如，F22)编码所需要的帧间预测来使用时，编码单元116依据第一视频帧(例如，F24)与第二视频帧(例如， F22)来执行帧间预测，以求更高效率的编码。基于上述的编码原则，编码单元116可依据视频帧F11与视频帧F13来执行帧间预测，依据视频帧F15与视频帧F17来执行帧间预测，以及依据视频帧F24与视频帧F26来执行帧间预测，如图6所示。此外，帧间预测所使用的参考帧的信息是被记录在编码视频数据Dl内的语法元素(syntax element)中，因此，基于得自编码视频数据Dl的参考帧的信息，解码单元124便可以正确并简单地重建出视频帧F22、F13、 ^15 与 F26°
在解码单元124将编码视频数据Dl的多个连续的编码视频帧解码后，会连续地产生多个解码视频帧。因此，解码单元124会(例如依时间)连续得到图6中的多个视频帧 606，且多个视频帧606会接续被存入帧缓冲器126。
当用户想观赏平面显示时，视频数据输入602的视频帧(例如，F11, F13、F15与F17) 可自帧缓冲器126连续取回以作为视频帧数据，并被传送给显示设备106来进行播放。当用户想观赏立体浮雕显示时，视频数据输入604的视频帧(例如，F22、F24与F26)可自帧缓冲器126连续取回以作为视频帧数据，并被传送给显示设备106来进行播放。
在一设计变化中，当使用者想要观赏使用指定的互补色对或指定的视差设定的第一立体浮雕显示时，视频数据输入602的视频帧(例如，Fn、F13、F15与F17)可自帧缓冲器126 连续取回以作为视频帧数据，并被传送给显示设备106来进行播放。当使用者想要观赏使用指定的互补色对或指定的视差设定的第二立体浮雕显示时，视频数据输入604的视频帧 (例如，F22、F24与F26)可自帧缓冲器126连续取回以作为视频帧数据，并被传送给显示设备 106来进行播放。
请参照图7，图7是处理单元114所使用的基于档案容器(视频串流)的组合方法的例子的示意图。假设前述的视频数据输入VllN的数目为二。如图7所示，视频数据输入702包含多个视频帧703(Fi，而另一视频数据输入704包含多个视频帧 705 (F21I2 3(|)。视频数据输入702可以是平面视频(标记为“平面”)，而视频数据输入704 可以是立体浮雕视频(标记为“立体浮雕”)。在一设计变化中，视频数据输入702可以是第一立体浮雕视频(标记为“立体浮雕(I) ”)，而视频数据输入704可以是第二立体浮雕视频 (标记为“立体浮雕(2) ”)，其中第一立体浮雕视频与第二立体浮雕视频是使用不同的互补色对，或使用相同的互补色对但对相同的视频内容有着不同的视差设定。图7中的处理单元114使用视频数据输入702的视频帧(例如，F1-^F1-3(|)以及视频数据输入704的视频帧 (例如，F21 F2 3(I)来作为组合视频数据的视频帧706。更明确来说，处理单元114通过排列分别对应于视频数据输入702与视频数据输入704的画组(picture group) 708_1、708_2、 708_3、708_4，以产生组合视频数据的多个连续的视频帧706，其中每个画组708_广708_4 包含了一个以上的视频帧(例如，15个视频帧)。因此，画组708_广708_4是以分时交错的方式排列在同一视频流中。另外，处理单元114所产生的组合视频数据的视频帧数目等于视频数据输入702与视频数据输入704的视频帧数目的总和。然而，这只用于图示目的，而非对本发明设限。
如上所述，处理单元114通过处理多个视频数据输入(例如，702与704)所产生的组合视频数据VC由编码单元116编码成为编码视频数据Dl。为便于对视频解码器104中的所需视频内容(例如，平面/立体浮雕，或立体浮雕(I)/立体浮雕(2))的选择与解码，可使用不同的包装设定(packaging setting)来包装视频编码器102中的画组708_1 708_4。 换句话说，每个画组708_1与708_3包含了自视频数据输入702得到的视频帧，并依据第一包装设定来进行编码，而每个画组708_2与708_4则包含了自视频数据输入704得到的视频帧，并依据不同于第一包装设定的第二包装设定来进行编码。在示范性设计中，每个画组708_1与708_3可由所使用的视频编码标准(例如，MPEG、H. 264或快闪视频标准(Flash Video,意指VP6标准))的一般起始码(general start code)来包装,而每个画组708_2 与708_4可由所使用的视频编码标准(例如，MPEG、H. 264或快闪视频标准(VP6))的保留起始码(reserved start code)来包装。在另一示范性设计中，每个画组708_1与708_3可被包装成所使用的视频编码标准(例如，MPEG、H. 264，或快闪视频标准(VP6))的视频数据， 而每个画组708_2与708_4则可被包装成所使用的视频编码标准(例如，MPEG、H. 264或快闪视频标准(VP6))的用户数据。又在另一示范性设计中，画组708_1与708_3可使用多个第一影音交错(Audio/Video Interleaved, AVI)数据块(chunks)来包装,而画组708_2与 708_4可使用多个第二影音交错数据块来包装。
应该要注意的是，画组708_广708_4不一定需要使用相同的视频标准来编码。换句话说，视频编码器102中的编码单元116可依据第一视频标准来对视频数据输入702的画组708_1与画组708_3进行编码，并可依据不同于第一视频标准的第二视频标准来对视频数据输入704的画组708_2与画组708_4进行编码。另外，视频解码器104中的解码单元124应适当设定，以便依据第一视频标准来对视频数据输入702的编码画组进行解码，并依据第二视频标准来对视频数据输入704的编码画组进行解码。
对于施加在编码视频数据(其是通过对基于空间域的组合方法或基于时间域的组合方法所产生的组合视频数据进行编码来产生)的解码操作来说，包含在编码视频数据中的每个编码视频帧是由视频解码器104来解码，接着，所要被播放的帧数据会从帧缓冲器126中 所暂存的解码视频数据中被选取出来。然而，对于施加在编码视频数据(其是通过对基于档案容器(视频串流)的组合方法所产生的组合视频数据进行编码来产生)的解码操作来说，对包含在编码视频数据中的每一编码视频帧进行解码是不需要的。进一步来说，因为编码画组可以由所使用的包装设定(例如，一般起始码与保留起始码/用户数据与视频数据/不同的影音交错数据块)来辨识，解码单元124可以不需要将所有包含这视频流中的画组解码，而只将所需要的画组解码即可。例如，解码单元124接收一个能够指示出多个视频数据输入中哪一视频数据输入是所要的视频数据输入的开关信号SC，并只将开关信号SC所指示出的所需视频数据输入的编码画组进行解码，其中开关信号SC可因应使用者输入(user input)来产生，因此，当用户想观赏平面显示时，解码单元124可以只将视频数据输入702的编码画组解码，并连续地将所获得的视频帧(例如，F1^F13tl)储存至帧缓冲器126，然而，当用户想观赏立体浮雕显示时，解码单元124可以只将视频数据输入704的编码画组解码，并连续地将所获得的视频帧(例如，F2—^F2 3tl)储存至帧缓冲器126。
在一设计变化中，当使用者想观赏使用指定的互补色对或指定的视差设定的第一立体浮雕显示时，解码单元124可以只将视频数据输入702的编码画组解码，并连续地将所获得的视频帧(例如，Fl_fFl_30)储存至帧缓冲器126，然而，当使用者想观赏使用指定的互补色对或指定的视差设定的第二立体浮雕显示时，解码单元124可以只将视频数据输入704的编码画组解码，并连续地将所获得的视频帧(例如，F21X30)储存至帧缓冲器126。
请参照图8，图8是处理单元114所使用的基于档案容器(分离视频流)的组合方法的一例子的示意图。假设前述的视频数据输入VllN的数目为二。如图8所示，视频数据输入802包含多个视频帧803 (F1 ^Fln)，而另一视频数据输入804包含多个视频帧 805(F21 F2N)。视频数据输入802可以是平面视频(标记为“平面”)，而视频数据输入804 可以是立体浮雕视频(标记为“立体浮雕”)。在一设计变化中，视频数据输入802可以是第一立体浮雕视频(标示为“立体浮雕(I) ”)，而视频数据输入804可以是第二立体浮雕视频(标示为“立体浮雕(2)”)，其中第一立体浮雕视频与第二立体浮雕视频使用不同的互补色对，或使用相同的互补色对但对相同的视频内容有着不同的视差设定。图8中的处理单元114使用视频数据输入802的视频帧F11-Fi n与视频数据输入804的视频帧F2—N来作为组合视频数据的视频帧。更明确地说，处理单元114通过组合分别对应于多个视频数据输入(例如，802与804)的多个视频流(例如，第一视频流807与第二视频流808)来产生组合视频数据，其中每个视频流807与808包含着对应视频数据输入802/804的所有的视频巾贞，如图8所示。
如上所述，处理单元114通过处理多个视频数据输入(例如，802与804)所产生的组合视频数据VC会由编码单元116编码成编码视频数据Dl。应该要注意的是，第一视频流 807与第二视频流808不需要以相同的视频标准来编码。例如，视频编码器102中的编码单元116经由适当设定，便可依据第一视频标准来对视频数据输入802的第一视频流807进行编码，并依据不同于第一视频标准的第二视频标准来对视频数据输入804的第二视频流 808进行编码。另外，视频解码器104中的解码单元124也应该被适当地设定，以依据第一视频标准来将视频数据输入802的编码视频流解码，并依据第二视频标准来将视频数据输 A 804的编码视频流解码。
因为同一档案容器806内有两个分开的编码视频流，解码单元124可以只将所需要的视频流进行解码，而不 需要将同一档案容器内的所有视频流都进行解码。例如，解码单元124接收了一个指出多个视频数据输入中哪一个是所要的视频数据输入的开关信号SC， 并只对开关信号SC所指出的所要的视频数据输入的编码视频流进行解码，其中开关信号 SC可因应使用者输入而产生。因此，当用户想观赏平面显示时，解码单元124可以只对视频数据输入802的编码视频流解码，并连续地将所要的视频帧(例如，视频帧F1—广F1-N的其中一些或全部)储存至帧缓冲器126，而当用户想观赏立体浮雕显示时，解码单元124可以只对视频数据输入804的编码视频流解码，并连续地将所要的视频帧(例如，视频帧F2—广F2—N 的其中一些或全部)储存至帧缓冲器126。
在一设计变化中，当使用者想观赏使用指定的互补色对或指定的视差设定的第一立体浮雕显示时，解码单元124可以只对视频数据输入802的编码视频流解码，并连续地将所要的视频帧(例如，视频帧F1^F1 N的其中一些或全部)储存至帧缓冲器126，而当用户想观赏使用指定的互补色对或指定的视差设定的第二立体浮雕显示时，解码单元124可以只对视频数据输入804的编码视频流解码，并连续地将所要的视频帧(例如，视频帧F21、— n的其中一些或全部)储存至帧缓冲器126。请注意，本发明所述开关信号SC也被称为控制信号SC。
因为载有相同视频内容的多个编码视频流是个别出现在同一档案容器806中，在不同的视频播放格式间进行切换便需要寻找一个适当的起始点来对选取的视频流进行解码，否则，视频数据输入802的被播放的视频内容会在每次用户选择播放视频数据输入802 时，都从第一个视频帧F1」起始，而视频数据输入804的被播放的视频内容会在每次用户选择播放视频数据输入804时，都从第一个视频帧F2」起始。因此，本发明提出一种可以提供平滑(smooth)的视频播放的视频切换方法。
请参照图9，图9是依据本发明的示范性实施方式的视频切换方法的流程图。如果可大致上获得相同的结果，则这些步骤不需要完全遵照图9的顺序来执行。示范性视频切换方法可以简短地概述如下。
步骤900:开始。
步骤902:多个视频数据输入之一是由使用者输入所选出或是由预设设定 (default setting)来决定。
步骤904 :依据播放时间(playback time)、巾贞编号(frame number)或其它串流索引信息(例如，影音交错偏移(Audio/Video Interleaved offset,AVI offset))来找出目前所选出的视频数据输入的编码视频流中的编码视频帧。·
步骤906 :将编码视频帧解码，并将解码视频帧的帧数据传送至显示设备106进行播放。
步骤908 :检查用户是否选择另一视频数据输入来播放，即是否有另一视频数据输入被选择来播放。如果是的话，执行步骤910 ;否则，执行步骤904以继续处理目前所选出的视频数据输入的编码视频流中的下一编码视频帧。
步骤910 :因应指示从一个视频播放格式切换至另一视频播放格式的用户输入， 更新要被处理的视频数据输入的选取(selection)。因此，步骤908中新选出的视频数据输入会变成步骤904中的目前所选择的视频数据输入。接下来，执行步骤904。
考虑用户可在平面视频播放与立体浮雕视频播放之间切换的情况，当在步骤902 中选择/决定了视频数据输入802时，平面视频会在步骤904与步骤906中在显示设备106 上播放，以及步骤908是用以检查用户是否选择视频数据输入804来播放立体浮雕视频。然而，当视频数据输入804在步骤902中被选择/决定时，立体浮雕视频会在步骤904与步骤 906中在显示设备106上播放，以及步骤908是用来检查用户是否选择视频数据输入802来播放平面视频。
考虑使用者可在第一、第二立体浮雕视频播放之间切换的另一情况，当在步骤902 中选择/决定了视频数据输入802时，使用指定的互补色对或指定的视差设定的第一立体浮雕视频会在步骤904与步骤906中在显示设备106上播放，以及步骤908中是用以检查用户是否选择视频数据输入804来播放使用指定的互补色对或指定的视差设定的第二立体浮雕视频。然而，当视频数据输入804在步骤902中被选择/决定时，使用指定的互补色对或指定的视差设定的第二立体浮雕视频会在步骤904与步骤906中在显示设备106上播放，以及步骤908是用来检查用户是否选择视频数据输入802来播放使用指定的互补色对或指定的视差设定的第一立体浮雕视频。
不论哪个视频数据输入被选取来进行视频播放，都会执行步骤904来找出待解码的适当的编码视频帧，由此，视频内容的播放才会连续，而不会又从头开始重复播放。例如， 当视频数据输入802的视频帧F1J正在播放而用户接着选择播放视频数据输入804时，步骤904会选择对应于视频数据输入804的视频帧F2 2的编码视频帧。因为视频帧F1 2与视频帧F2 2对应相同的视频内容，但是有着不同的播放效果，当在不同的视频播放格式之间进行切换时，便可以实现平滑的视频播放。
本发明虽以较佳实施方式揭露如上，然其并非用以限定本发明的范围，任何本领域的技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。
权利要求
1.一种视频编码方法，包含 接收分别对应至多个视频播放格式的多个视频数据输入，其中该多个视频播放格式包含第一立体浮雕视频； 通过组合从该多个视频数据输入所得到的视频内容，来产生组合视频数据；以及 通过将该组合视频数据编码，来产生编码视频数据。
2.如权利要求1所述的视频编码方法，其特征在于，该多个视频播放格式另包含平面视频。
3.如权利要求1所述的视频编码方法，其特征在于，该多个视频播放格式另包含第二立体浮雕视频。
4.如权利要求3所述的视频编码方法，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频分别使用不同的互补色对。
5.如权利要求3所述的视频编码方法，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频使用同一互补色对，并且该第一立体浮雕视频与该第二立体浮雕视频针对同一视频内容分别有不同的视差设定。
6.如权利要求1所述的视频编码方法，其特征在于，该多个视频数据输入中的每一视频数据输入包含多个视频帧，而产生该组合视频数据的步骤包含 组合从分别对应于该多个视频数据输入的视频帧所得到的视频内容，以产生该组合视频数据的视频帧。
7.如权利要求1所述的视频编码方法，其特征在于，该多个视频数据输入中的每一视频数据输入包含多个视频帧，而产生该组合视频数据的步骤包含 使用该多个视频数据输入的视频帧来作为该组合视频数据的视频帧。
8.如权利要求7所述的视频编码方法，其特征在于，使用该多个视频数据输入的视频帧来作为该组合视频数据的视频帧的步骤包含 通过排列分别对应至该多个视频数据输入的多个视频帧，以产生该组合视频数据的连续的多个视频帧。
9.如权利要求8所述的视频编码方法，其特征在于，产生该编码视频数据的步骤包含 当第一视频数据输入的第一视频帧与第二视频数据输入的视频帧可供该第一视频数据输入的第二视频帧进行编码所需的帧间预测来使用时，依据该第一视频帧与该第二视频帧来执行该帧间预测。
10.如权利要求7所述的视频编码方法，其特征在于，使用该多个视频数据输入的视频帧来作为该组合视频数据的视频帧的步骤包含 通过排列分别对应至该多个视频数据输入的多个画组，以产生该组合视频数据的连续的多个视频帧,其中该多个画组中的每一画组包含多个视频帧。
11.如权利要求10所述的视频编码方法，其特征在于，产生该编码视频数据的步骤包含: 依据第一包装设定，来对第一视频数据输入的多个画组进行编码；以及依据不同于该第一包装设定的第二包装设定，来对第二视频数据输入的多个画组进行编码。
12.如权利要求10所述的视频编码方法，其特征在于，产生该编码视频数据的步骤包含: 依据第一视频标准，来对第一视频数据输入的多个画组进行编码；以及 依据不同于该第一视频标准的第二视频标准，来对第二视频数据输入的多个画组进行编码。
13.如权利要求7所述的视频编码方法，其特征在于，使用该多个视频数据输入的视频帧来作为该组合视频数据的视频帧的步骤包含 通过组合分别对应于该多个视频数据输入的多个视频流，来产生该组合视频数据，其中该多个视频流中的每一视频流包含相对应的一个视频数据输入的所有的视频帧。
14.如权利要求13所述的视频编码方法，其特征在于，产生该编码视频数据的该步骤包含 依据第一视频标准，来对第一视频数据输入的视频流进行编码；以及 依据不同于该第一视频标准的第二视频标准，来对第二视频数据输入的视频流进行编码。
15.一种视频解码方法，包含 接收具有多个视频数据输入的编码视频内容组合于其中的编码视频数据，其中该多个视频数据输入分别对应于多个视频播放格式，以及该多个视频播放格式包含第一立体浮雕视频；以及 通过解码该编码视频数据，来产生解码视频数据。
16.如权利要求15所述的视频解码方法，其特征在于，该多个视频播放格式另包含平面视频。
17.如权利要求15所述的视频解码方法，其特征在于，该多个视频播放格式另包含第二立体浮雕视频。
18.如权利要求17所述的视频解码方法，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频分别使用不同的互补色对。
19.如权利要求17所述的视频解码方法，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频使用同一互补色对，以及该第一立体浮雕视频与该第二立体浮雕视频针对同一视频内容分别具有不同的视差设定。
20.如权利要求15所述的视频解码方法，其特征在于，该编码视频数据包含多个编码视频帧，而产生该解码视频数据的步骤包含 对该编码视频数据中的编码视频帧进行解码，以产生具有分别对应至该多个视频数据输入的视频内容的解码视频帧。
21.如权利要求15所述的视频解码方法，其特征在于，该编码视频数据包含分别对应于该多个视频数据输入的多个连续编码视频帧，而产生该解码视频数据的步骤包含 对该多个连续编码视频帧进行解码，以依序地分别产生多个解码视频帧。
22.如权利要求15所述的视频解码方法，其特征在于，该编码视频数据包含分别对应于该多个视频数据输入的多个编码画组，该多个编码画组中的每一编码画组包含多个编码视频帧，而产生该解码视频数据的步骤包含 接收控制信号，其指出该多个视频数据输入中哪一个是所要的视频数据输入；以及 只对该控制信号所指出的所要的视频数据输入的多个编码画组进行解码。
23.如权利要求22所述的视频解码方法，其特征在于，该所要的视频数据输入的该多个编码画组是通过参照该多个编码画组的包装设定，而从该编码视频数据中选取出来。
24.如权利要求22所述的视频解码方法，其特征在于，第一视频数据输入的多个编码画组是依据第一视频标准来进行解码，以及第二视频数据输入的多个编码画组是依据不同于该第一视频标准的第二视频标准来进行解码。
25.如权利要求15所述的视频解码方法，其特征在于，该编码视频数据包含分别对应于该多个视频数据输入的多个编码视频流，该多个编码视频流中的每一编码视频流包含相对应的一个视频数据输入的所有的编码视频帧，而产生该解码视频数据的步骤包含 接收控制信号，其指出该多个视频数据输入中哪一视频数据输入是所要的视频数据输入；以及 只对该控制信号所指出的所要的视频数据输入的编码视频流进行解码。
26.如权利要求25所述的视频解码方法，其特征在于，第一视频数据输入的编码视频流是依据第一视频标准来进行解码，以及第二视频数据输入的编码视频流是依据不同于该第一视频标准的第二视频标准来进行解码。
27.一种视频编码器，包含 接收单元，用以接收分别对应于多个视频播放格式的多个视频数据输入，其中该多个视频播放格式包含第一立体浮雕视频； 处理单元，用以通过组合从该多个视频数据输入所得到的视频内容，以产生组合视频数据；以及 编码单元，用以通过编码该组合视频数据，以产生编码视频数据。
28.如权利要求27所述的视频编码器，其特征在于，该多个视频播放格式另包含平面视频。
29.如权利要求27所述的视频编码器，其特征在于，该多个视频播放格式另包含第二立体浮雕视频。
30.如权利要求29所述的视频编码器，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频分别使用不同的互补色对。
31.如权利要求29所述的视频编码器，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频使用的是同一互补色对，而该第一立体浮雕视频与该第二立体浮雕视频针对同一视频内容分别有不同的视差设定。
32.—种视频解码器，包含 接收单元，用以接收具有多个视频数据输入的编码视频内容组合于其中的编码视频数据，其中该多个视频数据输入分别对应于多个视频播放格式，而该多个视频播放格式包含第一立体浮雕视频；以及 解码单元，用以通过解码该编码视频数据，以产生解码视频数据。
33.如权利要求32所述的视频解码器，其特征在于，该多个视频播放格式另包含平面视频。
34.如权利要求32所述的视频解码器，其特征在于，该多个视频播放格式另包含第二立体浮雕视频。
35.如权利要求34所述的视频解码器，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频分别使用不同的互补色对。
36.如权利要求34所述的视频解码器，其特征在于，该第一立体浮雕视频与该第二立体浮雕视频使用同一互补色对，而该第一立体浮雕视频与该第二立体浮雕视频针对同一视频内容分别有不同的视差设定。
全文摘要
本发明提供视频编码方法、视频解码方法、视频编码器和视频解码器。其中，视频编码方法包含接收分别对应于多个视频播放格式的多个视频数据输入，其中视频播放格式包含第一立体浮雕视频；通过组合从视频数据输入所得到的视频内容，来产生组合视频数据；并通过将组合视频数据编码，来产生编码视频数据。上述视频编码方法与装置，以及相关的视频解码方法与装置提供了新的产生编码视频数据的方法和装置以及相关解码方法和装置。
文档编号H04N13/00GK103024409SQ20121035242
公开日2013年4月3日 申请日期2012年9月20日 优先权日2011年9月20日
发明者朱启诚, 何镇在, 陈鼎匀 申请人:联发科技股份有限公司