专利名称：两种相关数据序列的编码的制作方法
技术领域：
本发明涉及将第一数据序列块和第二数据序列块编码的方法，其中第二数据序列块与第一数据序列块相关。本发明可以应用于例如对立体视频的编码。
背景技术：
适当的数据块作为其它数据块预先编码的参考，以这样的方式对数据块序列编码是可能的。这种技术应用于，例如根据移动图像专家组(MPEG)标准对视频帧编码。
存在这样的应用，其中两个相关序列的数据块需要被编码，立体视频的编码是个例子。立体(3D)视频通常包括左眼视频帧的序列和右眼视频帧的序列。左眼视频帧的序列和右眼视频帧的序列，可以被各自看作是第一和第二数据序列块，这些序列彼此相关。
立体视频可以以后面的方式编码。左眼视频帧的序列根据MPEG视频编码技术编码，假设这个序列是普通视频信号。这意味着适当的左眼视频帧将作为其它左眼视频帧预先编码的参考。而对于右眼视频帧序列，每个右眼视频帧相应于相应的左眼视频帧预先编码。这意味着每个左眼视频帧形成相应右眼视频帧预先编码的参考。立体视频编码的这种方式，在已公告的第0639031号欧洲专利申请中被揭示出来。
发明概述本发明的目的是能够减小现有成本。
本发明考虑了以下方面。为了使预先编码的数据块解码，有必要得到作为这个预先编码的参考的每个数据块。结果，在解码端，有必要临时存储数据块，它已作为其它数据块预先编码的参考。
根据现有技术，每个右眼视频帧相应于相应的左眼视频帧预先编码。这意味着在解码端，需要临时存储每个左眼视频帧。这种存储需要相对大的存储量，特别是因为视频帧通常包括相对多的位。
根据本发明，第一数据序列块以这样的方式编码，即适当的数据块作为其它数据块预先编码的参考。与第一数据序列块相关的第二数据序列块以这样的方式编码，即所有数据块相应于作为参考的第一序列中的数据块预选编码。
由此，在解码端，不必存储第一序列中包括的所有数据块，相反，这在现有技术中是必要的。存储作为参考的第一序列中的那些数据块，就已足够。结果，与现有技术的解码器相比，根据本发明的解码器只要比较少的存储容量。结果，本发明能够实现成本的减少。
本发明的另一个优点涉及以下方面。预先编码内在地引起一些不精确性预测很少会100％的正确。对于解码端得到的数据的质量，这种不精确性通常具有相反的效果。根据现有技术，第二序列中的一些数据块相应于第一序列中的数据块预先编码，其中第一序列的数据块本身是预先编码的结果。这意味着，根据现有技术，一些数据块的编码包括序列中的两个预先编码操作。结果，不精确性将会累加。由于根据本发明，第二序列中所有的数据块相应于作为参考的第一序列中的所有数据块预先编码，不精确性这样的累加不会发生。结果，本发明能够得到更好的质量。
此后，将参考图示，更具体地描述本发明的这些和其它方面。
附图的简要描述
图1是原理图，说明了此前描述的本发明的基本结构；图2是根据本发明的立体视频编码器的方块图；图3是示意图，说明了根据本发明对左眼和右眼视频帧编码的方法；图4是示意图，代表了编码的立体视频数据，它由图2中说明的编码器提供；图5是根据本发明的立体视频解码器的方块图。
本发明的实施例后面的陈述涉及参考符号。在所有的图中，相似的部分有相似的参考字母指示。几个相似的部分会出现在单一的图中。在这种情况下，数字或下标加到参考字母上，来区别相似的部分。为了方便起见，数字或下标可以被省略，或者在数字或下标的值不重要(不考虑值)的情况下，它可以被星号代替。这也应用在权利要求书中。
图1说明了此前描述的本发明的基本特点，它具有第一序列[SQ1]数据块[DB1-*]和第二序列[SQ2]数据块[DB2-*]。第二序列[SQ2]数据块[DB2-*]与第一序列[SQ1]数据块[DB1-*]相关。第一序列[SQ1]数据块[DB1-*]以这样的方式编码，即适当的数据块作为第一序列[SQ1]中其它数据块预先编码[PE]的参考[REF]。第二序列[SQ2]数据块[DB2-*]以这样的方式编码，即第二序列[SQ2]数据块[DB2-*]相应于作为参考[REF]的第一序列[SQ1]中的那些数据块预先编码[PE]。
图1说明的特征可以用于，例如对立体(3D)视频编码。在这种情况下，图1说明的数据块可以，例如符合视频帧。可以基于当前在非立体视频的MPEG视频编码中应用的移动估算和压缩技术，来进行预先编码。
图2显示了根据本发明的立体视频编码器。编码器接收左眼视频帧序列[VL]和右眼视频帧序列[VR]，并且响应于此，而提供编码的立体视频数据[CSV]。编码器包括预先处理码器[PREP]、核心编码器[CENC]、可变长度编码器[VLC]、格式器[FRMT]和控制器[CNTRL]。更特别地，核心编码器[CENC]包括移动估算器及补偿器[MCE]、减法器[SUB]、离散余弦变换器及量化器[DCTQ]、反离散余弦变换器及量化器[IDCTQ]、加法器[ADD]和存储器[MEM]。
图2中说明的编码器基本上如下操作。预先处理器[PREP]根据MPEG标准调整左眼视频帧的顺序。这意味着调整左眼视频帧的顺序，好象这些视频帧属于非立体视频信号。预先处理器[PREP]将左眼视频帧以再次排列的顺序，与右眼视频帧组合。由此，预先处理器[PREP]应用左眼和右眼视频帧的多路复用调制，而提供给核心编码器[CENC]。
核心编码器[CENC]根据MPEG标准将左眼视频帧编码，好象这些视频帧属于非立体视频信号。结果，根据它们在序列中各自的位置和应用的MPEG编码类型，左眼视频帧受到I、P或B编码之一。相反，所有的右眼视频帧受到B编码，这是预先编码。更特别地，每个右眼视频帧相应于已经受到I或P编码之一的左眼视频帧而被编码，而不相应于受到B编码的左眼视频帧而被编码。这意味着，核心编码器[CENC]将每个右眼视频帧编码，好象这些视频帧是被指定受到B编码的左眼视频帧。核心编码器[CENC]对编码的左眼和右眼的每个视频帧提供量化系数[CF]。如果视频帧已经预先编码的话，它还提供预先编码参数[PP]。
可变长度编码器[VLC]将量化的系数[CF]和预先编码参数[PP]翻译成可变长度的码词。格式器[FRMT]将不同来源的码词与解码末尾需要的任何其它数据组合，如标识符。格式器[FRMT]将所有这些数据做成适当的格式。由此，格式器[FRMT]提供编码的立体视频数据[CSV]。照此进行，而不论控制器是否被适当编程，而对编码器中的各个部分提供控制信号，并且促使这些部分根据此前的描述来工作。
图3说明了对左眼和右眼视频帧编码。方块代表了被编码的视频帧。显示了四个左眼视频帧[L]和四个右眼视频帧[R]。视频帧中参考符号的下标指示了序列[VL，VR]中视频帧的位置，其中序列[VL，VR]由图2显示的解码器接收。方块内的字母I、P或B指示了相关视频帧将进行的编码操作。
在图3中，预先编码用箭头的方式说明。箭头从中发出的视频帧，是预先编码的视频帧。箭头到达的视频帧，是作为这种预先编码参考的视频帧。例如，左眼视频帧L(n+1)和L(n+2)将相应于左眼视频帧L(n)和L(n+3)预先编码。所有的右眼视频帧也相应于左眼视频帧L(n)和L(n+3)预先编码。预先处理器[PREP]可以将左眼和右眼视频帧以后面的顺序提供给核心编码器[CENC]L(n)，L(n+3)，R(n)，L(n+1)，R(n+1)，L(n+2)，R(n+2)，R(n+3)。
图4代表了编码的立体视频数据[CSV]，它由图2中说明的编码器提供。编码的立体视频数据[CSV]包括方块代表的编码的左眼和右眼视频帧[Lc，Rc]。左眼和右眼视频帧[Lc，Rc]从图3显示的左眼和右眼视频帧[Lc，Rc]的编码中得到。编码的左眼和右眼视频帧[Lc，Rc]的参考符号中的下标，各自指示了左眼或右眼视频帧[L，R]，它们已经被编码。例如，编码的左眼视频帧L(n+1)是图3显示的左眼视频帧L(n+1)的B编码图像。
图5显示了根据本发明的立体视频解码器。解码器通过没有画出的传输通道，接收图4中说明的编码的立体视频数据[CSV]。响应于此，它提供解码的左眼视频帧序列[VL｀]和解码的右眼视频帧序列[VR｀]。解码器包括反格式器[DFRMT]、可变长度解码器[VLD]、核心解码器[CDEC]、立体视频多路解调器[STDEMUX]和控制器[CNTRL]。更特别地，核心解码器[CDEC]包括反离散余弦变换器及量化器[IDCTQ]，移动补偿器[MC]和存储器[MEM]。图5中显示的解码器基本上如后操作。反格式器[DFRMT]从不将被可变长度解码的数据中，分离出将被可变长度解码的数据，后者被提供给控制器[CNTRL]。数据可以包括，例如识别符，它可以被立体视频多路解调器[STDEMUX]使用，来区别左眼视频帧和右眼视频帧。可变长度加码器[VLD]将码词翻译回成量化系数[CF]和预先编码参数[PP]，它们已经在图2中说明的编码器中确定。
核心解码器[CDEC]根据量化系数[CF]和预先编码参数[PP]，再次产生左眼和右眼视频帧。更特别地，核心解码器[CDEC]再次产生左眼视频帧，好象它们源于标准的非立体MPEG视频数据。核心解码器[CDEC]再次产生右眼视频帧，好象它们是B编码的左眼视频帧。参考图3，存储器[MEN]临时存储I编码视频帧L(n)和P编码视频帧L(n+3)，而将图3显示的所有视频帧解码，这是充分的。
立体视频多路解调器[STDEMUX]再次排列核心解码器[CDEC]提供的左眼视频帧的顺序。它进一步将左眼视频帧和右眼视频帧多路解调。例如参考图3，核心解码器[CDEC]将连续地提供视频帧L(n)，L(n+3)，R(n)，L(n+1)，R(n+1)，L(n+2)，R(n+2)，R(n+3)的解码图像。在适当的延迟后，然后立体视频多路解调器[STDEMUX]将连续地提供左眼视频帧[L]的解码图像，并且与之平行，提供右眼视频帧[R]的解码图像。由此，得到左眼视频帧的解码序列[VL｀]和右眼视频帧的解码序列[VR｀]。照此进行，控制器被适当编程，而对解码器中的各个部分提供控制信号，并且促使这些部分根据此前的描述工作。
此前的图示及它们的描述，用于说明而非限制本发明。在所附的范围内，明显有多个变化。在这方面，进行了后面结束部分的陈述。
有几种方式使编码的立体视频格式化。图4只说明了一种可能的格式，其中解码帧的顺序为Lc(n/I)，Lc(n+3/P)，Rc(n/B)，Lc(n+1/B)，Rc(n+1/B)，Lc(n+2/B)，Rc(n+2/B)，Rc(n+3/B)。另一种可能的格式是例如Lc(n/I)，Lc(n+3/P)，Lc(n+1/B)，Lc(n+2/B)，Rc(n/B)，Rc(n+1/B)，Rc(n+2/B)，Rc(n+3/B)。很多不同的格式都是可能的，正象标准MPEG编码中存在很多不同的格式一样。
有各种方式将编码的立体视频从编码器传输到解码器。例如，通过携带编码的立体视频数据[CSV]的传输通道，图2说明的编码器可以连接到图5说明的解码器上。另一种可能的应用是，例如编码器是记录设备的一部分，这意味着将编码的立体视频数据[CSV]记录到载体上。解码器可以是相同记录设备的一部分，或者是从载体上检索编码的立体视频数据[CSV]的另一个设备。
有几种方式通过几项硬件或软件，或两者几项的结合来实现功能。在这方面，附图是示意性的，每个只代表本发明的一种可能的实施例。这样，尽管图示用不同的方块显示了不同的功能，这无论如何也不排除单一一项硬件或软件执行几个功能。也不排除几项硬件和/或软件结合来执行功能。
权利要求书中任何的参考符号将不构成对权利要求书的限制。动词“包括”不排除使用权利要求书中定义的那些以外的元件或步骤。元件或步骤前面的不定冠词“一”或“一个”不排除使用多个这样的元件或步骤。
权利要求
1.一种将第一序列[SQ1]数据块[DB1-*]和第二序列[SQ2]数据块[DB2-*]编码的方法，其中所述第二序列[SQ2]数据块[DB2-*]与所述第一序列[SQ1]数据块[DB1-*]相关，所述方法包括将所述第一序列[SQ1]数据块[DB1-*]以这样的方式编码的步骤，即适当的数据块作为将所述第一序列[SQ1]中其它数据块预先编码[PE]的参考[REF]，其特征在于，所述方法包括将所述第二序列[SQ2]数据块[DB2-*]以这样的方式编码的步骤，即所有的数据块[DB2-*]相应于作为参考[REF]的所述第一序列[SQ1]中的那些数据块预先编码[PE]。
2.一种编码器，用于将第一序列[VL]数据块[L]和第二序列[VR]数据块[R]编码，其中所述第二序列[VR]数据块[R]编码与所述第一序列[VL]数据块[L]相关，所述编码器包括装置，将所述第一序列[VL]数据块[L]以这样的方式编码，即适当的数据块作为将所述第一序列[VL]中其它数据块[L(n+1)，L(n+2)]预先编码的参考，其特征在于，所述编码器包括将所述第二序列[VR]数据块[R]以这样的方式编码的装置，即所有的数据块[R]相应于作为参考[L(n)，L(n+3)]的所述第一序列[VL]中的那些数据块预先编码。
3.一种解码器，用于将多路复用编码的第一序列[VL]数据块[L]和编码的第二序列[VR]数据块[R]解码，所述第二序列[VR]数据块[R]与所述第一序列[VL]数据块[L]相关，所述解码器包括装置，将所述第一序列[VL]数据块[L]以这样的方式解码，即适当的数据块[L(n)，L(n+3)]作为将所述第一序列[VL]中其它数据块[L(n+1)，L(n+2)]预定解码的参考，其特征在于，所述解码器包括装置，将所述第二序列[VR]数据块[R]以这样的方式解码，即所有的数据块[R]相应于作为参考[L(n)，L(n+3)]的所述第一序列[VL]中的那些数据块预先解码。
4.一种编码的第一序列[VL]数据块[L]和编码的第二序列[VR]数据块[R]的多路复用器[CSV]，所述第二序列[VR]数据块[R]与所述第一序列[VL]数据块[L]相关，所述第一序列[VL]数据块[L]已经以这样的方式编码，即适当的数据块[L(n)，L(n+3)]作为将所述第一序列[VL]中其它数据块[L(n+1)，L(n+2)]预先解码的参考，其特征在于所述第二序列[VR]数据块[R]已经以这样的方式解码，即所有的数据块[R]相应于作为参考[L(n)，L(n+3)]的所述第一序列[VL]中的那些数据块预先编码。
全文摘要
第一序列[SQ1]数据块[DB1－*]和第二序列[SQ2]数据块[DB2－*]被编码。第二序列[SQ2]数据块[DB2－*]与第一序列[SQ1]数据块[DB1－*]相关。这可以认为是,例如立体视频(3D)的编码。第一序列[SQ1]数据块[DB1－*]以这样的方式编码,即适当的数据块作为将第一序列[SQ1]中其它数据块预先编码[PE]的参考[REF]。第二序列[SQ2]数据块[DB2－*]以这样的方式编码,即相应于作为参考[REF]的第一序列[SQ1]中的那些数据块[DB1－*],所有的数据块[DB2－*]被预先编码[PE]。例如,在立体(3D)视频编码应用中,左眼视频帧被MPEG编码,好象它们属于普通的非立体视频信号,而右眼视频帧相应于I和P编码的左眼视频帧都被B编码,反之亦然。在解码端,相对小的存储器足以用于解码的目的。
文档编号H04N7/32GK1365577SQ01800718
公开日2002年8月21日 申请日期2001年3月19日 优先权日2000年3月31日
发明者S·佩奈恩, G·古特勒 申请人:皇家菲利浦电子有限公司