在多视图编码的视频中进行错误隐藏的方法和装置制造方法
【专利摘要】本发明提供一种在多视图编码的视频中进行错误隐藏的方法和装置。所述装置包括：解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。
【专利说明】在多视图编码的视频中进行错误隐藏的方法和装置
[0001]分案说明
[0002]本申请是申请日为2008年8月11日，申请号为200880102686.8，题为“在多视图编码的视频中进行错误隐藏的方法和装置”的中国专利申请的分案申请。
[0003]相关申请的交叉引用
[0004]本申请要求2007年8月15日提交的美国临时申请序列号N0.60/955，899的优先权，其内容以全文引用的方式并入本文中。
【技术领域】
[0005]本原理一般地涉及视频解码，更具体地，涉及用于在多视图编码的视频中进行错误隐藏的方法和装置。
【背景技术】
[0006]多视图视频编码方案是一种将来自多个不同摄像机的画面相结合以获得高编码效率或者支持特定应用(如三维(3D)电视、自由视点电视等等)的视频编码系统。不能始终保证许多视图的健壮传输，从而需要提供如在传统单视图编码中执行的对丢失或者损坏的画面进行隐藏。
[0007]存在多种处理单视图编码的现有技术错误隐藏方案。大致上，可以将这些技术分类为空间纠错(EC)、时间纠错、或者空间-时间联合纠错。
【发明内容】
[0008]本原理解决现有技术的这些和其它缺陷和缺点，涉及在多视图编码的视频中进行错误隐藏的方法和装置。
[0009]根据本原理的一方面，提供了一种装置。该装置包括:解码器，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。
[0010]根据本原理的另一方面，提供了一种方法。该方法包括:使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。
[0011]通过下面结合附图来阅读的示例实施例的详细描述，本原理的这些和其它方面、特征以及优点将变得显而易见。
【专利附图】
【附图说明】
[0012]根据下列示例附图，可以更好地理解本原理，附图中:
[0013]图1是示出了根据本原理的实施例可以对其应用本原理的示例多视图视频编码(MVC)编码器的框图；
[0014]图2是示出了根据本原理的实施例可以对其应用本原理的示例多视图视频编码(MVC)解码器的框图；
[0015]图3是示出了根据本原理的实施例可以对其应用本原理的具有8个视图的多视图视频编码系统的时间优先编码结构的图；
[0016]图4是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的示例方法的流程图；
[0017]图5是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
[0018]图6是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
[0019]图7是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
[0020]图8是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
[0021]图9是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；以及
[0022]图10是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图。
【具体实施方式】
[0023]本原理涉及在多视图编码视频中进行错误隐藏的方法和装置。
[0024]本描述说明了本原理。因此，可以认识到，本领域技术人员能够想到各种实施本原理的设置，虽然这里没有显式地描述或示出这些设置，但是，这些设置包括在本原理的精神和范围中。
[0025]这里阐述的所有示例和条件语言是为了教导的目的，以帮助读者理解本原理以及发明人为了改进现有技术而贡献的概念，这些应被解释为并非将本发明局限于这样具体阐述的示例和条件。
[0026]此外，这里阐述本发明的原理、方面和实施例以及其具体示例的所有表述应包括其结构和功能的等效物。此外，这样的等效物应包括当前已知的等效物以及未来开发的等效物，例如，开发出的执行相同功能的任何元件，而不论其结构如何。
[0027]因此，例如，本领域技术人员应理解，这里呈现的框图表示了实现本原理的示意电路图的概念视图。类似地，可以认识到，任何流程图、流程图表、状态转移图、伪代码等表示了各种过程，所述过程可以被实质上表示在计算机可读介质中，并从而由计算机或处理器执行，而不论是否显式地示出了这样的计算机或处理器。
[0028]可以通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件，来提供图中所示的各种元件的功能。在由处理器提供时，可以由单个专用处理器、单个共享处理器或多个单处理器(其中一些可以是共享的)来提供该功能。此外，显式使用的术语“处理器”或“控制器”不应被解释为是排他性地指能够执行软件的硬件，可以隐含地包括但不限于:数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和永久存储器。
[0029]也可以包括其他硬件，不论其为传统的和/或常规的。类似地，图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互，或甚至手动地实施其功能，如从上下文中可以更具体地理解的，实现者可以选择特定的技术。
[0030]在权利要求书中，表述为用于执行指定功能的装置的任何元件应包含执行该功能的任何方式，例如包括a)执行该功能的电路元件的结合或者b)任何形式的软件,从而包括固件、微代码等，与执行该软件的适当电路相结合来执行该功能。由这样的权利要求所限定的本原理在于以下事实:以权利要求所要求保护的方式，将各种所述装置所提供的功能结合并集合在一起。因此，应认为可以提供这些功能的任何装置都与这样所示的装置等效。
[0031]本说明书中对本原理的“一个实施例”或者“实施例”的引用意味着，在本原理的至少一个实施例中包括与该实施例相结合描述的特定特征、结构、特性等等。因此，出现在本说明书中各处的短语“在一个实施例”或者“在实施例中”不一定都是指相同的实施例。此外，如本领域和相关领域的普通技术人员容易理解的，尽管由数字(例如实施例1、实施例2等等)来指代本文的特定实施例，但是可以单独或者以任何组合的形式来实现这些实施例，并且维持本原理的精神。
[0032]如本文使用的，“高级语法”是指在层级上位于宏块层以上的比特流中出现的语法。例如，如文本所使用的，高级语法可以指代但不限于在片(slice)首部级、补充增强信息(SEI)级、画面参数集(PPS)级、序列参数集(SPS)级、视图参数集(VPS)级、以及网络抽象层(NAL)单元首部级的语法。
[0033]此外，如本文中可交换使用的，“跨视图”以及“视图间”都是指属于不同于当前视图的视图的画面。
[0034]此外，如本文所使用的，“多个”指两个或者更多项。从而例如“多个局部视差向量”指代两个或者更多局部视差向量。
[0035]此外，如本文所使用的，与当前正在解码的画面相关的术语“错误”指当前画面中的错误(例如损坏)或者当前画面的丢失(例如，未收到)等等中的任一项。
[0036]应当理解，使用术语“和/或”以及“至少一个”，例如在“A和/或B”以及“A和B中的至少一个”的情况下，预期包含仅对所列第一选项(A)的选择、仅对所列第二选项(B)的选择、或者同时对两个选项(A和B)的选择。作为另一个示例，在“A、B和/或C”以及“A、B和C中至少一个”的情况下，这种短语预期包含仅对所列第一选项(A)的选择、或者仅对所列第二选项(B)的选择、或者仅对所列第三选项(C)的选择、或者仅对所列第一和第二选项(A和B)的选择、或者仅对所列第一和第三的选项(A和C)的选择、或者仅对所列第二和第三选项(B和C)的选择、或者对所有三个选项(A和B和C)的选择。如本领域和相关领域普通技术人员容易理解的，这可以扩展用于所列的许多项。
[0037]此外，应当理解，尽管本文针对国际标准化组织/国际电子技术委员会(IS0/IEC)运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC标准)/国际电信联合会电信部(ITU-T)H.264建议(下文称作MPEG-4AVC标准)的多视图视频编码(MVC)扩展来描述本原理的一个或者更多实施例，但是本原理并不仅限于该标准，因此可以针对其他视频编码标准、建议及其与多视图视频编码相关的扩展(包括MPEG-4AVC标准的扩展)来利用本原理，并且维持本原理的精神。
[0038]转到图1，由参考标号100来总体指示示例多视图视频编码(MVC)编码器。编码器100包括组合器105，组合器105具有与变换器110的输入以信号通信方式连接的输出。变换器110的输出以信号通信方式与量化器115的输入相连。量化器115的输出以信号通信方式与熵编码器120的输入以及反量化器125的输入相连。反量化器125的输出以信号通信方式与反变换器130的输入相连。反变换器130的输出以信号通信方式与组合器135的第一非反相输入相连。组合器135的输出以信号通信方式与巾贞内预测器145的输入和解块滤波器150的输入相连。解块滤波器150的输出以信号通信方式与参考画面存储器155 (用于视图1)的输入相连。参考画面存储器155的输出以信号通信方式与运动补偿器175的第一输入和运动估计器180的第一输入相连。运动估计器180的输出以信号通信方式与运动补偿器175的第二输入相连。
[0039]参考画面存储器160 (用于其它视图)的输出以信号通信方式与视差/照明估计器170的第一输入和视差/照明补偿器165的第一输入相连。视差/照明估计器170的输出以信号通信方式与视差/照明补偿器165的第二输入相连。
[0040]熵解码器120的输出可用作编码器100的输出。组合器105的非反相输入可用作编码器100的输入，并且以信号通信方式与视差/照明估计器170的第二输入以及运动估计器180的第二输入相连。开关185的输出以信号通信方式与组合器135的第二非反相输入以及与组合器105的反相输入相连。开关185包括以信号通信方式与运动补偿器175的输出相连的第一输入、以信号通信方式与视差/照明补偿器165的输出相连的第二输入、以及以信号通信方式与帧内预测器145的输出相连的第三输入。
[0041]模式判定模块140具有与开关185相连的输出，用于控制开关185选择哪个输入。
[0042]转到图2，由参考标号200来总体指示示例多视图视频编码(MVC)解码器。解码器200包括熵解码器205,熵解码器205具有以信号通信方式与反量化器210的输入相连的输出。反量化器的输出以信号通信方式与反变换器215的输入相连。反变换器215的输出以信号通信方式与组合器220的第一非反相输入相连。组合器220的输出以信号通信方式与解块滤波器225的输入以及帧内预测器230的输入相连。解块滤波器225的输出以信号通信方式与参考画面存储器240 (用于视图1)的输入相连。参考画面存储器240的输出以信号通信方式与运动补偿器325的第一输入相连。
[0043]参考画面存储器245 (用于其它视图)的输出以信号通信方式与视差/照明补偿器250的第一输入相连。
[0044]熵编码器205的输入可用作解码器200的输入，用于接收残余比特流。此外，模式模块260的输入也可用作解码器200的输入,用于接收控制开关255选择哪个输入的控制语法。此外，运动补偿器235的第二输入可用作解码器200的输入，用于接收运动向量。此夕卜，视差/照明补偿器250的第二输入可用作解码器200的输入，用于接收视差向量和照明补偿语法。
[0045]开关255的输出以信号通信方式与组合器220的第二非反相输入相连。开关255的第一输入以信号通信方式与视差/照明补偿器250的输出相连。开关255的第二输入以信号通信方式与运动补偿器235的输出相连。开关255的第三输入以信号通信方式与巾贞内预测器230的输出相连。模式模块260的输出以信号通信方式与开关255相连,用于控制开关255选择哪个输入。解块滤波器225的输出可用作解码器的输出。
[0046]多视图视频编码(MVC)序列是从不同视点捕捉相同场景的两个或者更多视频序列的集合。我们已经认识到，多视图编码(MVC)的序列对错误隐藏提出了特殊的问题。[0047]相应地并且有利地，本原理涉及一种在多视图编码的视频中进行错误隐藏的方法和装置。在提供这种方法和装置时，本原理利用不同视图之间的附加冗余。
[0048]可以利用这些不同视图之间的冗余来增强并改善用于单视图编码的当前错误隐藏技术。我们将所提出的使用视图信息的纠错(EC)分类为视图纠错。我们提出可以单独使用或与空间和/或时间纠错联合应用的视图纠错。
[0049]正在开发多视图编码系统用于MPEG-4AVC标准。因此，尽管如上所述，本原理并不仅限于MPEG-4AVC标准或者其扩展，但是将在与MPEG-4AVC标准相对应的上下文中描述根据本原理的一个或者更多实施例的下列描述。
[0050]多视图视频编码(MVC)系统包括从不同位置观看场景的多个视图。多视图视频编码系统使用大量摄像机间相关来提高系统的编码效率。
[0051]转到图3，由参考标号300来总体指示具有8个视图的多视图视频编码系统的时间优先编码结构。在图3的示例中，连续地对来自不同视图的相同时刻的所有画面进行编码。从而，首先对在时刻TO的所有画面(S0-S7)进行编码，之后是时刻T8处的画面(S0-S7)，以此类推。这被称作时间优先编码。
[0052]此外，MPEG-4AVC标准的当前多视图视频编码(MVC)扩展包括仅可以使用在该时刻的画面来进行视图间预测的约束。从而，由于丢失的画面可能不仅用作时间参考还用作视图参考，因此这使得检测该时刻的画面丢失更加相关。
[0053]如从图3中可以看到，存在在这种多视图视频编码系统中利用的大量冗余。我们使用这种冗余来改进错误隐藏技术。
[0054]实施例1 (画面拷贝)
[0055]在MPEG-4AVC标准的多视图视频编码系统中，执行时间优先编码，其中首先对特定时刻的所有画面进行编码。
[0056]错误隐藏中的第一步骤是检测。在执行检测步骤之后，以最优方式来隐藏丢失的画面。可以使用的方法中的一种是画面拷贝。传统上，在单视图情况下，画面拷贝涉及拷贝来自当前位置的先前时刻的画面。备选地，更进一步，可以从先前时刻的画面和后续时刻的画面(如果这种画面可用)对丢失的画面进行插值。然而，由于引起画面冻结效应并且还严重影响后续画面，因此这不是最优的。
[0057]对于多视图视频编码，我们已经认识到，可以从不同视图的相同时刻的已解码画面来对画面进行拷贝或插值。这具有下述优点:来自另一个视图的画面与隐藏画面同步，因此潜在地是丢失画面的更好表示。
[0058]转到图4，由参考标号400来总体指示在多视图视频编码中进行错误隐藏的示例方法。
[0059]方法400包括开始框405，将控制传递给功能框410。功能框410检测与正在针对当前视图进行解码的当前画面相关的画面错误，并且将控制传递给功能框415。功能框415将来自相同或不同时间戳的另一个视图的画面拷贝为当前画面，以获得当前画面的隐藏画面，并且将控制传递给功能框417。功能框417联合或单独考虑时间和视图间错误隐藏，并且将控制传递给功能框420。功能框420继续对其它画面进行解码，并且将控制传递给判定框425。判定框425解码确定是否已经对所有画面进行解码。如果是，将控制传递给结束框499。否则，将控制返回功能框410。[0060]转到图5，由参考标号500来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
[0061]方法500包括开始框505，将控制传递给功能框510。功能框510检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框515。功能框515对来自与当前视图相关的其它视图的一个或者更多画面(来自与当前画面相同或不同的时间戳)进行插值，以生成当前画面的隐藏画面，并且将控制传递给功能框517。功能框517联合或单独考虑时间和视图间错误隐藏，并且将控制传递给功能框520。功能框520继续对其它画面进行解码，并且将控制传递给判定框525。判定框525解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框599。否则，将控制返回给功能框510。
[0062]实施例2 (视图生成)
[0063]多视图编码视频可以支持每一个视图的摄像机参数的传输，以及附加地，支持视图的每一个画面的深度信息的传输。使用视图合成以使用摄像机参数以及深度信息来生成视图用于视图预测，或者生成用于自由视点电视的虚拟视图。视图生成还可以用于隐藏丢失的画面。当特定视图的画面丢失时，使用高级语法传输的摄像机参数以及深度信息可以用于生成该视图。生成的画面可以是丢失画面的良好近似。
[0064]转到图6，由参考标号600来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
[0065]方法600包括开始框605，将控制传递给功能框610。功能框610检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框615。功能框615使用深度和摄像机参数来执行视图合成，以生成当前画面的隐藏画面，并且将控制传递给功能框617。功能框617联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框620。功能框620继续对其它画面进行解码并且将控制传递给判定框625。判定框625解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框699。否则，将控制返回功能框610。
[0066]实施例3 (全局/局部视差信息)
[0067]可以在多视图视频编码系统中使用高级语法来传输全局视差向量(GDV)和/或局部视差向量(RDV)。这些全局视差向量和局部视差向量分别表示当前视图相对于参考视图的全局偏移或者局部偏移。对于丢失的画面，可以使用全局视差向量和/或局部视差向量信息以及画面拷贝来将画面偏移该向量。这将导致在偏移之后创建空的空间，使用一个或者更多合适的隐藏技术来填充该空的空间。
[0068]转到图7，由参考标号700来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
[0069]方法700包括开始框705，将控制传递给功能框710。功能框710检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框715。功能框715使用相对于相邻视图的全局视差向量或者局部视差向量来生成当前画面的隐藏画面，并且将控制传递给功能框717。功能框717联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框720。功能框720继续对其它画面进行解码，并且将控制传递给判定框725。判定框725解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框799。否则将控制返回功能框710。[0070]实施例4 (运动和/或残差拷贝)
[0071]将运动跳跃(motion skip)作为一个现有技术方案中的编码工具提出。根据该现有技术方案，从特定宏块(在比特流中指示)的另一个视图(基于序列参数集中指示的依赖性)拷贝运动和模式信息，并且使用该信息在时间画面上进行运动补偿。可以将该概念扩展至残差预测，其中，为了编码效率，将来自另一个视图的残差信息继承用于当前视图。
[0072]这些技术可以在画面丢失的情况下用于错误隐藏。当画面丢失时，我们可以将所有宏块视为运动跳跃宏块并且继承来自相邻视图的画面的运动、模式以及潜在地残差信息。一旦拷贝了运动、模式以及残差信息，我们具有使用时间画面作为参考来对当前画面进行解码所需的全部信息。
[0073]本方法的扩展是还将与相邻视图相关联的所有存储器管理控制操作(MMCO)和参考画面列表重排序(RPLR)命令拷贝到正在隐藏的当前画面。
[0074]转到图8，由参考标号800来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
[0075]方法800包括开始框805，将控制传递给功能框810。功能框810检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框815。功能框815通过将当前画面的所有宏块视为运动跳跃模式宏块来生成当前画面的隐藏画面以对当前画面进行解码，并且将控制传递给功能框817。功能框817联合或单独考虑时间和视图间错误隐藏，并且将控制传递给功能框820。功能框820继续对其它画面进行解码，并且将控制传递给判定框825。判定框825确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框899。否则将控制返回功能框810。
[0076]转到图9，由参考标号900来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
[0077]方法900包括开始框905，将控制传递给功能框910。功能框910检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框913。功能框913通过将当前画面的所有宏块(MB)视为运动跳跃模式宏块来生成当前画面的隐藏画面以对当前画面进行解码，并且将控制传递给功能框916。功能框916考虑来自一个或者更多相邻视图的残差预测以改进隐藏画面并从而改进错误隐藏，并且将控制传递给功能框917。功能框917联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框920。功能框920继续对其它画面进行解码，并且将控制传递给判定框925。判定框925解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框999。否则将控制返回功能框910。
[0078]转到图10，由参考标号900来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
[0079]方法1000包括开始框1005，将控制传递给功能框1010。功能框1010检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框1013。功能框1013通过将当前画面的所有宏块(MB)视为运动跳跃模式宏块来生成当前画面的隐藏画面以对当前画面进行解码，并且将控制传递给功能框1016。功能框1016考虑来自一个或者更多相邻视图的残差预测以改进隐藏画面并从而改进错误隐藏，并且将控制传递给功能框1018。功能框1018从一个或者更多相邻视图拷贝存储器管理控制操作命令以及RPLR命令，以构建并修改当前画面的参考列表(要由隐藏画面来表示)，并且将控制传递给功能框1019。功能框1019联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框1020。功能框1020继续对其它画面进行解码，并且将控制传递给判定框1025。判定框1025解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框1099。否则将控制返回功能框 1010。
[0080]现在将对本发明的许多附属优点/特征中的一些进行描述，其中一些已经在上面提及。例如，一个优点/特征是一种装置，包括:解码器，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。
[0081]另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:拷贝来自另一个视图的画面作为当前画面的隐藏画面。
[0082]另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括:拷贝来自另一个视图的画面作为上述当前画面的隐藏画面，其中，来自所述另一个视图的画面属于与当前画面相同的时刻或者与当前画面不同的时刻。
[0083]另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:对来自其它视图的画面进行插值，以获得当前画面的隐藏画面。
[0084]另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括:对来自其它视图的画面进行插值，以获得上述当前画面的隐藏画面，其中，来自所述其它视图的画面属于与当前画面相同的时刻或者与当前画面不同的时刻。
[0085]此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:使用视图合成以获得当前画面的隐藏画面。
[0086]此外，另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括:使用视图合成以获得上述当前画面的隐藏画面，其中所述视图合成产生用作隐藏画面的合成画面。
[0087]此外，另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括:使用视图合成以获得上述当前画面的隐藏画面，其中，所述视图合成产生进一步细化的合成画面，从而使用细化的合成画面作为隐藏画面。
[0088]此外，另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括:使用视图合成以获得上述当前画面的隐藏画面，其中，所述视图合成使用深度信息和摄像机参数来产生用作隐藏画面的合成画面。
[0089]此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:使用全局视差向量和局部视差向量中的至少一个来对当前画面的隐藏画面进行预测操作和插值操作中的至少一个操作。
[0090]此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:使用运动跳跃模式对当前画面的所有宏块进行解码。
[0091]此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器使用来自另一个视图的残差预测来对当前画面的错误隐藏进行细化。
[0092]此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器从另一个视图拷贝存储器管理控制操作命令和参考画面列表重排序命令，以构建并修改用于当前画面的参考列表。
[0093]此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器单独使用或与空间错误隐藏和时间错误隐藏中的至少一个联合使用视图错误隐藏。
[0094]本领域技术人员根据这里的教导可以容易地确定本原理的这些和其他特征以及优点。应理解，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本原理的教导。
[0095]最优选地，将本原理的教导实现为硬件和软件的组合。此外，可以将软件实现为在程序存储单元上确实实现的应用程序。可以将应用程序加载至包括任何合适体系结构的机器并由其执行。优选地，在具有如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口之类的硬件的计算机平台上实现所述机器。计算机平台还可以包括操作系统和微指令代码。这里所描述的各种过程和功能可以是由CPU来执行的微指令代码的一部分或应用程序的一部分或其任何组合。此外，可以将各种其他外围单元连接到计算机平台，如附加数据存储单元和打印单元。
[0096]还将理解，因为附图中所描述的一些系统组成组件和方法优选地是以软件来实现的，所以系统组件或处理功能模块之间的实际连接可能依对本原理进行编程的方式的不同而不同。在这里所给出的教导的情况下，本领域技术人员将能够想到本原理的这些和类似的实现或配置。
[0097]尽管这里参考附图描述了示意实施例，然而应理解，本原理不限于这些具体实施例，在不脱离本原理的精神和范围的前提下，本领域技术人员可以对本原理进行各种改变和修改。所有这些改变和修改应包括在所附权利要求所阐述的本原理的范围之内。
【权利要求】
1.一种在多视图编码的视频中进行错误隐藏的装置，包括: 解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:拷贝来自另一个视图的画面作为当前画面的隐藏画面。
2.根据权利要求1所述的装置，其中，来自所述另一个视图的画面属于与当前画面相同的时刻或者与当前画面不同的时刻。
3.一种在多视图编码的视频中进行错误隐藏的装置，包括: 解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:对来自其它视图的画面进行插值，以获得当前画面的隐藏画面。
4.一种在多视图编码的视频中进行错误隐藏的装置，包括: 解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:使用全局视差向量和局部视差向量中的至少一个来对当前画面的隐藏画面进行预测操作和插值操作中的至少一个操作。
5.一种在多视图编码的视`频中进行错误隐藏的装置，包括: 解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:使用运动跳跃模式对当前画面的所有宏块进行解码。
6.一种在多视图编码的视频中进行错误隐藏的装置，包括: 解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器(200)使用来自另一个视图的残差预测来对当前画面的错误隐藏进行细化。
7.一种在多视图编码的视频中进行错误隐藏的装置，包括: 解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器(200)从另一个视图拷贝存储器管理控制操作命令和参考画面列表重排序命令，以构建并修改用于当前画面的参考列表。
8.一种在多视图编码的视频中进行错误隐藏的方法，包括: 使用基于视图间画面信息和视图间依赖性信息(415、515)中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:拷贝来自另一个视图的画面作为当前画面的隐藏画面(415)。
9.一种在多视图编码的视频中进行错误隐藏的方法，包括: 使用基于视图间画面信息和视图间依赖性信息(415、515)中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:对来自其它视图的画面进行插值，以获得当前画面的隐藏画面(515)。
10.一种在多视图编码的视频中进行错误隐藏的方法，包括: 使用基于视图间画面信息和视图间依赖性信息(415、515)中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:使用全局视差向量和局部视差向量中的至少一个来对当前画面的隐藏画面进行预测操作和插值操作中的至少一个操作(715)。
11.一种在多视图编码的视频中进行错误隐藏的方法，包括: 使用基于视图间画面信息和视图间依赖性信息(415、515)中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括:使用运动跳跃模式对当前画面的所有宏块进行解码(815)。
12.—种在多视图编码的视频中进行错误隐藏的方法，包括: 使用基于视图间画面信息和视 图间依赖性信息(415、515)中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码步骤使用来自另一个视图的残差预测来对当前画面的错误隐藏进行细化(916)。
13.一种在多视图编码的视频中进行错误隐藏的方法，包括: 使用基于视图间画面信息和视图间依赖性信息(415、515)中的至少一个的错误隐藏来对多视图视频内容进行解码， 其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码步骤从另一个视图拷贝存储器管理控制操作命令和参考画面列表重排序命令，以构建并修改用于当前画面的参考列表(1018)。
【文档编号】H04N19/895GK103428504SQ201310341550
【公开日】2013年12月4日 申请日期:2008年8月11日 优先权日:2007年8月15日
【发明者】普尔温·比贝哈斯·潘迪特, 尹鹏 申请人:汤姆森许可贸易公司