使用跳跃模式的编码/解码方法和装置与流程

文档序号:11996319阅读:369来源:国知局
使用跳跃模式的编码/解码方法和装置与流程
本发明涉及使用跳跃模式的编码/解码方法和设备,尤其是,涉及用于使用跳跃模式编码/解码多视图视频的方法和设备。

背景技术:
随着信号处理技术和网络传输技术的改进,各种多媒体服务已经变为可能,并且对交互式多媒体内容和实现的媒体内容的需要已经日益增长。多视图视频编译方法,作为用于生成多媒体内容和实现的媒体内容的各种技术之一,是在观看从多个视点生成的视频的时候允许观众去感觉立体效果的技术。多视图视频能够在各种领域中使用,诸如FVV(自由视点视频)、FTV(自由视点TV)、3DTV、监视,和家庭娱乐。近年来,MPEG(运动图像专家组)的JVT(联合视频组)和VCEG(视频编译专家组)已经标准化MVC(多视图视频编译),其是多视图视频编译技术的标准技术。与单视图视频不同,多视图视频在相邻图像帧之间具有高的相关性,相邻图像帧是存在于相同的POC(图片顺序计数)之中的各种视点的图像。在现有的视频编码方法中,能够使用单视图视频的空间/时间/统计相关性来减少或者除去重复的信息。在多视图视频编码方法中,能够在现有的方法中另外使用视图间相关性以便减少视频的重复信息。由于多视图视频是通过使用彼此邻近的多个相机同时地拍摄相同的场景而获得的,所以除视差和轻微照度差别之外,多视图视频包含几乎相同的信息,并且因此具有非常高的视图间相关性。

技术实现要素:
技术问题本发明的一个目的是提供一种参考扭曲的预测深度图片或者参考图片使用跳跃模式的编码/解码方法,其能够增强视频的编码效率和解码效率。本发明的另一个目的是提供一种用于参考扭曲的预测深度图片或者参考图片使用跳跃模式执行编码/解码方法的设备,其能够增强视频的编码效率和解码效率。问题的解决方案按照本发明的一个方面,提供了一种视频解码方法,包括步骤:生成扭曲的预测深度视频单元,并且对解码目标视频单元的跳跃信息进行解码;和基于跳跃信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该扭曲的预测深度视频单元可以是通过在预测目标深度图片的视点上扭曲具有与预测目标深度图片相同的POC(图片顺序计数)的深度图片而获得的图片。该跳跃信息可以是基于以下步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度视频单元相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。按照本发明的另一个方面,提供了一种视频解码方法,包括步骤:生成多个扭曲的预测深度视频单元,并对解码目标视频单元的跳跃信息和要用于执行跳跃模式的扭曲的预测深度视频单元的索引信息进行解码;和基于跳跃信息和索引信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该扭曲的预测深度视频单元的索引信息可以是在多个扭曲的预测深度视频单元之中具有与解码目标视频单元的深度信息小的差别的扭曲的预测深度图片的索引信息。该跳跃信息可以是基于以下的步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度视频单元相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。按照本发明的再一个方面,提供了一种视频解码方法,包括步骤:生成参考图片,并且对解码目标视频单元的跳跃信息和要用于执行跳跃模式的参考图片的索引信息进行解码;和基于跳跃信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该参考图片可以包括作为经历扭曲的参考图片的扭曲的预测深度图片,和作为没有经历扭曲的参考图片的非扭曲的预测深度图片。该跳跃信息可以是基于以下步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度视频单元相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。按照本发明的再一个方面,提供了一种视频解码器,包括:熵解码模块,其对解码目标视频单元的跳跃信息进行解码;和预测模块,其生成扭曲的预测深度视频单元,并基于跳跃信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该熵解码模块可以是当使用多个扭曲的预测深度视频单元,或者多个参考图片的时候,对用于解码目标视频单元的跳跃模式的视频单元或者图片的索引信息进行解码的熵解码模块。该预测模块可以是当解码目标视频单元使用跳跃模式解码的时候,使用基于索引信息确定的扭曲的预测深度视频单元或者参考图片的一个的深度信息作为解码目标视频单元的深度信息的预测模块。该扭曲的预测深度视频单元可以是通过在预测目标深度图片的视点上扭曲具有与预测目标深度图片相同的POC(图片顺序计数)的深度图片而获得的图片。该跳跃信息可以是基于以下步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度图片相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。有益效果在按照本发明的方面使用跳跃模式的编码/解码方法和设备中,能够基于使用以预测目标深度图片的视点扭曲的扭曲的预测深度图片或者参考图片所计算的视频渲染质量来确定是否使用跳跃模式执行编码/解码处理。因此,由于不执行不必要的预测处理来编码和解码视频单元,所以能够增强视频的编码和解码效率。附图说明图1是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。图2是图示按照本发明的一个实施例确定是否使用跳跃模式编码视频单元的方法的流程图。图3是图示按照本发明的一个实施例具有多个视点的VSP(视图合成预测)方法的示意图。图4是图示按照本发明的一个实施例,当给出多个参考扭曲的图片的时候,确定是否使用跳跃模式编码视频单元方法的流程图。图5是图示当两个扭曲的预测深度图片用于使用跳跃模式编码的时候,确定是否使用跳跃模式编码视频单元方法的流程图。图6是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。图7是图示按照本发明的一个实施例的视频解码方法的流程图。图8是图示按照本发明的一个实施例的视频解码方法的流程图。图9是图示按照本发明的一个实施例的视频解码方法的流程图。图10是图示按照本发明的一个实施例的视频编码器一部分的示意图。图11是图示按照本发明一个实施例的深度信息预测模块的示意图。图12是图示按照本发明的一个实施例的视频解码器一部分的示意图。具体实施方式在下文中,将参考伴随的附图详细描述本发明的实施例。当确定在本发明中涉及的已知技术或者功能的详细说明使本发明的要点难以理解的时候,将不进行详细说明。当提及一个元件“耦合”或者“连接”到另一个元件的时候,应该理解,再一个元件可以插入在其间,以及两个元件可以彼此直接耦合或者连接。“包括”特定元件的表达指的是不排除其它的元件,并且额外的元件可以包括在本发明的一个实施例或者本发明的技术范围中。诸如“第一”和“第二”的术语能够用于描述各种元件,但是,元件不局限于该术语。这术语仅仅用于区别一个元件与另一个元件。例如,在不脱离本发明的范围的情况下,第一元件可以称作第二元件,并且第二元件可以类似地称作第一元件。为了对不同的具体功能解释便利的目的,单独地图示在本发明的实施例中描述的元件,并且这并不意味着分别通过单独的硬件或者单独的软件模块来实施元件。也就是说,为了解释便利的目的,元件被图示和描述为组成模块,元件中的两个或更多个元件可以被组合以形成单个元件,或者一个元件可以分成多个元件。在不脱离本发明的概念的情况下,元件被组合和/或分解的实施例属于本发明的范围。某些元件可以不必是用于执行本发明的必要功能的必要元件,而可以是仅仅用于改善性能的选择性的元件。本发明可以通过除了仅用于改善性能的元件以外仅仅对实施本发明所必要的元件来实施,并且仅仅包括除了仅用于改善性能的选择性的元件以外所必要的元件的结构属于本发明的范围。图1是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。参考图1,可以给出具有相同的POC(图片顺序计数)的第一视图视频100和第二视图视频150。具有相同的POC(图片顺序计数)的视频可以是具有相同的视频输出顺序的视频。第一视图视频100可以包括第一纹理图片110和第一深度图片120,并且第二视图视频150可以包括第二纹理图片160和第二深度图片170。能够使用附加信息,诸如相机参数和深度数据,通过扭曲第一深度图片120生成用于存在于除第一视图以外的视图中的第二深度图片170的预测的深度图片140。在发明以下的实施例中,通过从一个视图到另一个视图执行扭曲操作获得的、并且用作预测的深度图片的深度图片被定义为扭曲的预测深度图片,而且要预测的深度图片被定义为预测目标深度图片。由于扭曲的预测深度图片140的深度信息是原始第二深度图片170的深度信息的预测值,所以在原始第二深度图片170和扭曲的预测深度图片140的深度信息之间可能存在差别。按照本发明的一个实施例,就编译效率而言,能够通过将扭曲的预测深度图片140的深度信息与第二深度图片170的视频信息比较来确定是否使用跳跃模式编码第二深度图片170。跳跃模式指的是以相同的方式使用包括在扭曲的预测深度图片140中的视频信息作为预测目标深度图片170的视频信息的值的编码方法。例如,当包括在预测目标深度图片170中的预测目标块175使用跳跃模式的时候,与预测目标块175相对应的、存在于扭曲的预测深度图片140中的块145的深度信息可以被用作预测目标块175的深度信息。与预测目标块175相对应的块可以是在扭曲的预测深度图片140中的块,其包括在与预测目标块175相同位置上的点,并且其位于预测目标块175的协同定位(col-located)位置上。与预测目标块175相对应的块145可以是相对于预测目标块175的位置在基于预先确定的位置计算方法计算的另一个图片中存在于指定位置的块。因此,在使用跳跃模式执行编码处理的时候,在对包括在与预测目标块175相同预测目标深度图片170中的视频单元进行编码时,不使用附加信息,诸如残留信息、参考图片信息,和运动矢量信息,并且因此,能够增强视频的编译效率。在本发明以下的实施例中,为了解释便利的目的,将主要地描述预测包括在预测目标深度图片中的块的方法。但是,按照本发明的一个实施例的使用跳跃模式的视频编码方法可以是预测各种视频单元(例如,CU、PU、TU、LCU、宏块、片、帧和图片)以及块单元的方法。例如,可以使用确定是否对通过以图片为单位执行预测处理获得的值使用跳跃模式编码图片的方法。在本发明的以下实施例中使用的术语中,术语“视频单元”可以被分析为包括各种视频单元,诸如CU、PU、TU、LCU、宏块、片、帧和图片。确定是否使用跳跃模式执行编码处理可以对如上所述的各种视频单元执行。例如,为了确定是否使用跳跃模式编码特定的视频单元,可以通过计算在预测目标视频单元175的深度信息和扭曲的预测深度图片(中的对应视频单元145)的深度信息之间的差值来确定是否使用跳跃模式编码预测目标视频单元175。在下面将简单地提及确定是否对特定的视频单元使用跳跃模式执行编码处理的方法。(1)为了确定是否在编码视频单元的方法中使用跳跃模式,扭曲的预测深度图片的视频单元145的深度值和预测目标深度图片的视频单元175的深度值相比较以计算期间的差值。计算的差值可用于确定是否使用跳跃模式执行编码处理。(2)作为用于确定是否使用跳跃模式编码视频单元的附加信息,可以另外确定与预测目标深度图片的视频单元170相对应的纹理图片的视频单元165是否包括边缘区域。例如,计算视频渲染质量的不同的方法可以适用于纹理图片的视频单元165包括边缘的情形,和纹理图片的视频单元165不包括边缘的情形。当视频单元在大小上,例如,从块单元增大到图片单元的时候,可以通过使用边缘数量信息作为用于确定是否使用跳跃模式执行编码处理的信息,来确定是否使用跳跃模式对图片单元执行编码处理。(3)视频的渲染质量可以基于在扭曲的预测深度视频单元145的深度信息和在步骤(1)中计算的预测目标深度视频单元175的深度信息之间的差值以及在步骤(2)中计算的边缘信息来计算。当计算的渲染质量小于预先确定的阈值的时候,可以对相应的视频单元执行跳跃模式编码处理。为了解释便利的目的,仅仅存在于相同的POC(图片顺序计数)的两个视点的视频(第一视图视频100和第二视图视频150)在图1中图示,但是,两个或更多个视图的视频可以存在于相同的POC。这种情形另外在图3中图示。图2是图示按照本发明的一个实施例确定是否使用跳跃模式编码视频单元方法的流程图。在图2中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以变化的顺序来执行。在下文中,在本发明的实施例中使用的表达式是用于执行确定是否使用跳跃模式编码特定的视频单元方法的示例,并且可以使用各种表达式。参考图2,计算视频单元的深度信息(步骤S200)。视频单元的深度信息可以采用相对于相机平面计算的视频单元的深度信息。表达式1是用于在相机的图像平面上计算在坐标(x,y)处深度信息的表达式。<表达式1>在表达式1中,Z(x,y)表示深度图片的实际的深度值,Zfar表示最大深度值,和Znear表示最小深度值。实际的深度值Z(x,y)可以基于表达式1被转换为关于相机平面的深度信息L(x,y)。计算在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值(步骤S210)。当对于一个视频单元确定是否使用跳跃模式执行编码处理的时候,扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息可以被比较来计算在其间的差值。该计算的差值可用于在后面的步骤中计算视频的渲染质量。表达式2是表示使用由表达式1计算的深度信息计算在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间差值方法的表达式。<表达式2>在表达式2中,表示扭曲的预测深度视频单元的深度信息,和Lp′(x,y)表示预测目标深度视频单元的深度信息。在表达式2中,假设最大差值是通过宏块单元计算的,但是,步骤210的处理可以适用于如上所述的各种视频单元。例如,在深度信息上的差值可以通过图片单元而不是块单元来计算。判断与预测目标深度视频单元的视频单元相对应的纹理图片的视频单元的边缘信息(步骤S220)。判断与预测目标视频单元的视频单元相对应的纹理图片的视频单元的边缘信息。例如,当预测目标图片的视频单元是块单元的时候,各种块边缘确定方法可用于确定对应的纹理图片是否包括边缘信息。例如,当预测目标视频单元是图片单元的时候,可以使用确定图片中存在的边缘数量的信息的方法。当假设视频单元是块的时候,取决于与预测目标视频单元相对应的纹理视频单元是否包括边缘,不同的视频渲染质量计算方法可以适用。基于在扭曲的预测深度视频单元的深度值和预测目标深度视频单元的深度值之间的差值以及边缘信息计算视频的渲染质量(步骤S230)。预测目标视频单元的渲染质量可以基于在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度值之间的差值,以及纹理图片的视频单元的边缘信息来计算。表达式3表示当假设ΔL(xp,yp)的深度编译误差出现在与相机P相对应的视图视频的坐标(xp,yp)处的时候计算的纹理映射误差Δp′(xp,yp)。<表达式3>在表达式3中,kx和ky可以是在相机视图p和p’之间的距离,Znear和Zfar的函数。可以被定义,这里^表示当存在深度编译误差的时候的坐标。视频的渲染质量可以基于表达式3的误差计算方法使用纹理视频单元的边缘信息通过表达式4和5来计算。表达式4和5是用于基于使用表达式2计算的深度信息差别和边缘区域信息来计算视频的渲染质量的表达式。当视频单元是除块单元以外的视频单元的时候,以下的表达式可以被修改,并且这个修改的实施例也包括在本发明的范围中。表达式4是当纹理图片的对应的视频单元不包括边缘区域的时候,用于计算预测目标视频单元的渲染质量的表达式。表达式5是当纹理图片的对应的视频单元包括边缘区域的时候,用于计算预测目标视频单元的渲染质量的表达式。<表达式4>D∞rendered(Qdepth)=K·Qdepth在这里,Qdepth可以使用表达式2来计算,并且K是取决于实施方式设置的常数。<表达式5>在表达式5中,Qdepth可以使用表达式2来计算,表示要编译的区域的纹理视频像素的局部相关值,并且表示要编译的区域的纹理视频像素值的变化值。此外,C是取决于实施方式确定的常数。确定视频的渲染质量是否小于特定的阈值(步骤S240)。在步骤S240中,取决于对应的纹理视频单元是否包括边缘区域,可以确定视频的渲染质量是否小于使用不同的阈值的特定的阈值。当在步骤S240确定计算的渲染质量小于阈值的时候,确定无需很大地牺牲视频质量,甚至通过使用跳跃模式执行编码处理,编译效率能够被增强,并且可以能够使用跳跃模式编码预测目标视频单元。当步骤S240的确定结果是否定的时候,可以使用编码额外的预测信息的另一个编码方法代替跳跃模式。当对应的纹理视频单元包括边缘区域的时候,以及当对应的纹理视频单元不包括边缘区域的时候,用于确定是否使用跳跃模式用于编码的阈值可以具有不同的值。关于是否使用跳跃模式编码特定的视频单元的信息可以基于语法元素被编码。表1示出表示是否使用跳跃模式执行编码处理的语法。<表1>参考表1,关于是否使用跳跃模式执行编码预先确定的视频单元(宏块)的信息可以使用作为新语法元素的depth_skip_mode_flag表示为标记信息。标记信息标题和标记信息值是任意的,并且可以变化,并且这个变化的实施例包括在本发明的范围中。语法元素depth_skip_mode_flag是指示是否使用跳跃模式用于编码目标视频单元的信息。例如,当语法元素的标记值是1的时候,这指的是编码目标视频单元被使用跳跃模式编码。因此,当depth_skip_mode_flag的标记值是1的时候,扭曲的预测深度视频单元的深度信息可以用作预测目标深度视频单元的深度信息。当标记值是0的时候,在扭曲的预测深度视频单元的深度值和预测目标视频单元的深度信息之间的差值以及附加信息(诸如,参考图片信息和运动矢量信息)可以被编码和发送。关于是否使用跳跃模式用于编码的信息可以不由如表1所示的特定的语法元素表示,而是可以是经由解码推导出的值,或者与其它信息组合和编码的值。在以下本发明的实施例中,假设关于是否使用跳跃模式信息和要稍后另外描述的索引信息被使用语法元素编码。图3是图示按照本发明的一个实施例在多个视点上的VSP(视图合成预测)方法的示意图。参考图3,可以存在具有相同的POC并且能够用作参考扭曲的图片的n个图片(视图1至视图n)。具有相同的POC的n个深度图片的至少一个深度图片可以相对于与预测目标深度图片相同的视图被扭曲,以生成扭曲的预测深度图片315-1和335-1。当多个扭曲的预测深度图片315-1和335-1作为用于确定是否使用跳跃模式用于编码的比较图片而存在的时候,可以基于多个扭曲的预测深度图片315-1和335-1确定是否使用跳跃模式编码预测目标视频单元350-1。甚至当存在如在图3中图示的三个以上视图的时,不使用多个扭曲的预测深度图片,并且仅仅一个扭曲的预测深度图片315-1可以被生成,如在图1中所示。例如,当考虑到编译顺序存在具有相同的POC,并且在预测目标深度图片以前被编码的其它视图的n个深度图片的时候,最大n-1个扭曲的预测深度图片可以通过相对于预测目标深度图片的视图执行扭曲处理来生成。所有视图的图片可以相对于当前预测目标深度图片的视图被扭曲。在以下本发明的实施例中,假设仅仅二个不同的视图,视图1310和视图3330的深度视频单元用作扭曲的预测深度图片。通过扭曲存在于当前预测目标深度图片的左侧视图(视图1310)上的深度图片获得的扭曲的预测深度图片可以被定义为第一扭曲的预测深度图片315-1,并且通过扭曲存在于当前预测目标深度图片的右侧视图(视图2330)上的深度图片获得的扭曲的预测深度图片可以被定义为第二扭曲的预测深度图片335-1。第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1可以使用索引信息来区别。第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1的仅仅一个深度图片可以被选择为最终的扭曲的预测深度图片,并且可以确定是否使用跳跃模式用于编码,如在图1中所示。例如,作为选择第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1中的一个深度图片的方法,在候选的扭曲的预测深度图片315-1和335-1与预测目标深度图片350之间的残留值可以被比较。对于别的示例,可以使用第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1两者确定是否使用跳跃模式用于编码。当使用两个扭曲的预测深度图片315-1和335-1两者的时候,两个扭曲的预测深度图片315-1和335-1的视频单元350-2和350-3的深度信息可以与预测目标深度图片350的视频单元350-1的深度信息相比较。基于该比较结果,可以使用类似于原始信息(预测目标深度视频单元的深度信息)的扭曲的预测深度视频单元来确定是否使用跳跃。当使用这个方法的时候,在对于每个预测目标视频单元执行跳跃模式的时候,可以选择不同的扭曲的预测深度视频单元。图4是图示按照本发明的一个实施例,当给出多个参考扭曲的图片的时候,确定是否使用跳跃模式编码视频单元方法的流程图。图4图示确定多个扭曲的预测深度图片的一个扭曲的预测深度图片作为最终的扭曲的预测深度图片,并且确定是否使用跳跃模式用于编码的方法。在图4中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。参考图4,生成扭曲的预测深度图片(步骤S400)。当存在具有相同的POC的n个图片的时候,可以生成相对于预测目标深度图片的视点扭曲的多个扭曲的预测深度图片。例如,可以使用存在于接近预测目标深度图片的视点的视点处的图片生成两个扭曲的预测深度图片。一个扭曲的预测深度图片被选择为最终的扭曲的预测深度图片(步骤S410)。当在步骤S400生成多个扭曲的预测深度图片的时候,一个扭曲的预测深度图片可以被选择为最终的扭曲的预测深度图片,并且可用于确定是否使用跳跃模式编码预测目标图片的视频单元。在一个扭曲的预测深度图片被选择为最终的扭曲的预测深度图片之后,确定是否使用跳跃模式用于编码的处理流程(步骤S420至S460)可以包括相对于一个扭曲的预测深度图片确定是否使用跳跃模式用于编码的处理流程,类似于步骤S200至S240的处理流程。当两个扭曲的预测深度图片都用于使用跳跃模式编码的时候,是否使用跳跃模式编码视频单元可以使用在图5中图示的处理流程确定,而无需执行确定两个扭曲的预测深度图片的一个图片的步骤。图5是图示当两个扭曲的预测深度图片被用于使用跳跃模式的编码的时候,确定是否使用跳跃模式编码视频单元方法的流程图。在图5中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。计算视频的深度信息(步骤S500)。与在步骤S200中使用的相同的方法可用于计算视频的深度信息。计算在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值(步骤S510)。可以计算在多个扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值。例如,当两个图片被用作扭曲的预测深度图片的时候,可以计算在第一扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值,并且可以计算在第二扭曲的预测深度视频单元和预测目标深度视频单元的深度信息之间的差值。与在图2的步骤S210中使用的相同的方法可以被用作计算该差值的方法。基于在扭曲的预测深度视频单元和预测目标深度视频单元的深度信息之间的差值选择一个扭曲的预测深度视频单元(步骤S520)。基于在扭曲的预测深度视频单元和预测目标深度视频单元的深度信息之间的差值,具有较小差值的扭曲的预测深度视频单元可以被选择为用于确定是否使用跳跃模式用于编码的扭曲的预测深度视频单元。在选择一个扭曲的预测深度视频单元之后的步骤S530至S550可以以与在图2的步骤S220之后的步骤中描述的相同的方式执行。关于是否使用跳跃模式用于编码的信息可以被编码,并且可以发送语法元素depth_skip_mode_flag,其是指示是否使用跳跃模式编码视频单元的信息。当要使用跳跃模式编码的选择的图片另外如在图3至5中图示的那样被使用的时候,通过发送多个扭曲的预测深度图片的索引信息,关于哪个图片被用于使用跳跃模式预测的信息可以另外被编码和发送。按照本发明的一个实施例,另一个参考图片(例如,具有相同的POC的先前的深度图片或者后续的深度图片)以及扭曲的预测深度视频单元可用于预测预测目标视频单元。在以下本发明的实施例中,用于预测预测目标视频单元的图片被定义为参考图片。该参考图片可以包括作为经历扭曲处理的参考图片的扭曲的参考图片,和作为没有经历扭曲处理的参考图片的非扭曲的参考图片。图6是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。具有不同的POC值并且没有经历扭曲处理的参考图片以及扭曲的预测深度图片可用于确定是否使用跳跃模式用于编码。参考图6,多个参考图片可用于预测预测目标视频单元的深度值。假设T1图片620-1、D1图片620、T2图片630-1,和D2图片630是比T3图片615-1、D3图片615、T4图片640-1和D4图片640更早编码和解码的图片,并且它们被用作用于预测T3图片615-1、D3图片615、T4图片640-1和D4图片640的参考图片。参考图片可用于具有包括扭曲的预测深度图片605和610以及非扭曲的预测深度图片615、620和630的概念。扭曲的预测深度图片605和610是用于生成通过执行扭曲处理而生成的预测目标深度图片的预测的深度信息值的图片,并且非扭曲的预测深度图片615、620和630是用于无需执行扭曲处理来预测预测目标视频单元的深度信息的图片。例如,非扭曲的预测深度图片615、620和630可以包括具有与预测目标深度图片640相同视图并且具有与其不同的POC值的深度图片630,具有不同于预测目标深度图片640的视图并且具有与其不同的POC值的深度图片620,和具有不同于预测目标深度图片640的视图并且具有相同的POC值的深度图片615。扭曲的预测深度图片605和610可以包括通过扭曲具有不同于预测目标深度图片640的视图并且具有与预测目标深度图片640相同的POC值的深度图片615而获得的扭曲的预测深度图片,和通过扭曲具有不同的POC值的深度图片620而获得的扭曲的预测深度图片610。当存在多个参考图片的时候,非扭曲的预测深度图片615、620和630,和扭曲的预测深度图片605和610可以被索引以生成参考图片列表。例如,索引可以首先赋予扭曲的预测深度图片605和610,然后索引可以赋予非扭曲的预测深度图片615、620和630。小的索引值可以赋予在扭曲的预测深度图片605和610之中存在于接近预测目标深度图片的视点的视点处的深度图片,在非扭曲的预测深度图片615、620和630之中具有相同视点的深度图片可以被标引,然后索引值可以赋予具有小的POC差值的参考图片。各种方法可用于构成参考图片列表。如在图1和2中图示的,当用于确定是否使用跳跃模式用于编码的参考图片是一个扭曲的预测深度图片的时候,可以仅编码关于是否执行跳跃模式的信息,而无需分别地索引用于确定是否使用跳跃模式用于执行使用跳跃模式的编码处理的参考图片。但是,当用于确定是否使用跳跃模式用于编码的参考图片的数目是两个或更多个的时候,在使用跳跃模式执行编码处理的时候,除了关于是否执行跳跃模式的信息之外,用于确定是否使用跳跃模式用于编码的参考图片的索引信息可以被另外编码。也就是说,当各种图片,诸如扭曲的预测深度图片605和610,和非扭曲的预测深度图片615、620和630另外用于确定是否使用跳跃模式用于编码的时候,在使用跳跃模式执行编码处理的时候,除了关于是否执行跳跃模式的信息之外,通过索引关于用于确定是否使用跳跃模式用于编码的参考图片的信息而获得的索引信息可以被编码。再次参考图6,例如,假设一个扭曲的预测深度图片605和三个非扭曲的预测深度图片(第一参考图片630、第二参考图片615和第三参考图片620)存在于用于供预测预测目标视频单元640-2的参考图片的参考图片列表中。在这里,作为包括在参考图片列表中的参考图片的索引信息,索引0可以分配给扭曲的预测深度图片605,索引1可以分配给第一参考图片630,索引2可以分配给第二参考图片615,并且索引3可以分配给第三参考图片620。编码器可以比较在预测目标视频单元和多个参考图片的视频单元,诸如扭曲的预测深度图片605、第一参考图片630、第二首选图片615和第三参考图片620之间的残留值。可以基于作为比较结果具有最小残留值的参考图片确定是否使用跳跃模式编码预测目标视频单元。例如,当作为残留值的比较结果在预测目标块和包括在第一参考图片630中的对应块之间的残留值是最小的时候,可以使用在第一参考图片630中对应的块在与在图2中图示的相同的处理流程中确定是否使用跳跃模式用于编码。可以基于标记信息,诸如以上提及的语法元素depth_skip_mode_flag编码关于是否使用跳跃模式执行编码处理的信息,并且可以基于额外的索引信息编码所使用的参考图片的信息。当不执行跳跃模式的时候,类似于编码预测目标块的现有方法,额外的预测信息,诸如参考图片列表信息、参考图片信息、运动矢量信息,和残留信息可以被编码和发送给解码器。图7是图示按照本发明的一个实施例的视频解码方法的流程图。图7图示了一种解码方法,该解码方法使用确定是否使用跳跃模式编码一个扭曲的预测深度视频单元的方法,其在图1和2中图示。在图7中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。参考图7,生成扭曲的预测深度图片(步骤S700)。当扭曲的预测深度图片仅仅用于使用跳跃模式解码的时候,跳跃模式编码信息可以被首先解码,然后可以生成扭曲的预测深度图片。也就是说,步骤S700可以在如下所述的步骤S710之后执行。由于是否生成扭曲的预测深度图片可以取决于何时跳跃解码目标视频单元确定,但是,除跳跃模式以外的解码方法(例如,合并模式或者AMVP)可用于解码视频单元,所以在解码预测目标深度图片的时候,扭曲的预测深度图片可以存储在参考图片列表中。通过解码该跳跃信息,确定是否使用跳跃模式用于编码(步骤S710)。跳跃信息是指示是否执行跳跃模式的标记,诸如depth_skip_mode_flag,并且是关于是否使用跳跃模式来编码解码目标视频单元的信息。例如,关于是否使用跳跃模式编码视频单元的信息可以通过推理获得而无需解码跳跃信息,或者关于是否使用跳跃模式编码视频单元的信息可以基于通过与另一个语法元素信息组合和编码跳跃信息获得的信息来获得。当视频单元被使用跳跃模式编码的时候,使用跳跃模式解码该解码目标视频单元(步骤S720)。当使用跳跃模式执行解码处理的时候,扭曲的预测深度视频单元的深度信息可以直接用作解码目标视频单元的深度信息。当不使用跳跃模式来编码视频单元的时候,对于解码视频单元所必需的附加信息被解码(步骤S730)。当不使用跳跃模式来编码视频单元的时候,对于解码视频单元所必需的附加信息(例如,参考图片信息、运动矢量信息和残留信息)被解码。图8是图示按照本发明的一个实施例的视频解码方法的流程图。图8图示基于在图3至5中图示的编码方法的解码方法。在图8中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。参考图8,生成多个扭曲的预测深度图片(步骤S800)。当用于执行跳跃模式的图片是多个扭曲的预测深度图片的时候,可以通过执行扭曲处理生成多个扭曲的预测深度图片。生成的扭曲的预测深度图片可以存储在缓存器中,诸如参考图片列表。解码跳跃信息(步骤S810)。跳跃信息是指示是否执行跳跃模式的标记,诸如depth_skip_mode_flag,并且是关于是否使用跳跃模式编码解码目标视频单元的信息。例如,关于是否使用跳跃模式编码视频单元的信息可以通过推理获得而无需解码跳跃信息,或者关于是否使用跳跃模式编码视频单元的信息可以基于通过与另一个语法元素信息组合和编码跳跃信息获得的信息来获得。解码参考图片索引信息(步骤S820)。当使用跳跃模式执行解码处理的时候,用于解码目标视频单元的参考图片索引信息可以被解码以获得关于使用多个扭曲的预测深度图片之中什么扭曲的预测深度图片来执行使用跳跃模式的解码处理的信息。当如上所述使用两个扭曲的预测深度视频单元的时候,关于使用什么视频单元用于跳跃模式的索引信息可以被编码,并且这样的索引信息可以被解码,并且用于使用跳跃模式的解码处理。使用跳跃模式对解码目标视频单元进行解码(步骤S830)。使用跳跃模式的解码处理可以使用在步骤S820中选择的扭曲的预测深度视频单元执行。当在步骤S810确定不使用跳跃模式的时候,对于解码视频单元所必需的附加信息被解码(步骤S840)。当不使用跳跃模式来编码视频单元的时候,对于解码视频单元所必需的附加信息(例如,参考图片信息、运动矢量信息和残留值信息)被解码。图9是图示按照本发明的一个实施例的视频解码方法的流程图。图9图示基于在图5中图示的编码方法的解码方法。在图9中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。参考图9,构成参考图片列表(步骤S900)。用于执行跳跃模式的参考图片列表可以包括至少一个扭曲的预测深度图片或者非扭曲的预测深度图片。各种方法可以用作索引扭曲的预测深度图片或者非扭曲的预测深度图片的方法。解码跳跃信息(步骤S910)。跳跃信息是指示是否执行跳跃模式的标记,诸如depth_skip_mode_flag,并且是关于是否使用跳跃模式编码解码目标视频单元的信息。例如,关于是否使用跳跃模式编码视频单元的信息可以通过推理获得而无需解码跳跃信息,或者关于是否使用跳跃模式编码视频单元的信息可以基于通过与另一个语法元素信息组合和编码跳跃信息获得的信息来获得。解码用于解码目标视频单元的参考图片索引信息(步骤S920)。当使用跳跃模式执行解码处理的时候,参考图片的索引信息可以被解码以获得关于使用多个参考图片之中的什么参考图片来执行使用跳跃模式的解码处理的信息。使用跳跃模式对解码目标视频单元进行解码(步骤S930)。使用跳跃模式的解码处理可以使用在步骤S920中选择的扭曲的预测深度视频单元来执行。当在步骤S910确定不使用跳跃模式的时候,对于解码视频单元所必需的附加信息被解码(步骤S940)。当不使用跳跃模式编码视频单元的时候,对于解码视频单元所必需的附加信息(例如,参考图片信息、运动矢量信息和残留值信息)被解码。图10是图示按照本发明的一个实施例的视频编码器一部分的示意图。参考图10,该视频编码器可以包括存储器1000和预测模块1005,并且该预测模块1005可以包括深度信息预测模块1010和纹理信息预测模块1020。预先编码的深度图片和纹理图片可以存储在存储器1000中。存储在存储器1000中的编码的深度图片和纹理图片可以用于预测模块1005预测深度图片和纹理图片。纹理信息预测模块1020可以预测纹理信息,诸如多视图视频的亮度信息和色度信息。各种预测方法,诸如内部预测方法和中间预测方法可以用作预测纹理信息的方法。深度信息预测模块1010可以预测视频的深度信息。如上所述,深度信息预测模块1010可以利用使用跳跃模式的另一个图片的视频信息而无需编码预测信息。深度信息预测模块1010可以通过扭曲存储在存储器中的深度图片生成扭曲的预测深度图片,并且可以基于一个扭曲的预测深度图片或者多个扭曲的预测深度图片确定是否执行跳跃模式。当深度信息预测模块101执行使用跳跃模式的编码处理的时候,指示使用跳跃模式编码预测目标视频单元的信息可以被编码和发送给解码器而无需编码和发送残留信息(在预测深度信息和原始深度信息之间的差值),并且因此,视频解码器可以使用跳跃模式执行解码处理。当使用多个扭曲的预测深度图片或者多个参考图片的时候,用于跳跃模式的图片的索引信息可以被另外编码和发送。当深度信息预测模块101不执行使用跳跃模式的编码处理的时候,残留信息可以被另外编码,用于预测的附加的预测信息(诸如,运动矢量信息和参考图片索引信息)可以被编码,并且结果信息可以被发送给视频解码器。深度信息预测模块101可以包括以下的附加元素,以便确定是否使用跳跃模式编码预测目标视频单元。图11是图示按照本发明一个实施例的深度信息预测模块的示意图。参考图11,深度信息预测模块1150可以包括扭曲模块1100、差值生成模块1110、边缘信息确定模块1120,和跳跃确定模块1130。扭曲模块1100可以在预测目标图片的视点上通过扭曲从存储器提供的编码的深度图片执行扭曲处理。扭曲模块1100可以生成扭曲的预测深度图片用于确定是否使用跳跃模式执行预测目标图片的视频单元。差值生成模块1110可以计算在预测目标深度图片的视频单元和与预测目标深度图片的视频单元相对应的扭曲的预测深度图片的视频单元之间的深度信息差值。由差值生成模块1110生成的差值可以输入给跳跃确定模块1130,并且可以确定是否在其中使用跳跃模式编码预测目标深度图片的视频单元。边缘信息确定模块1120可以确定与预测目标深度图片的视频单元相对应的纹理图片的视频单元的边缘信息。例如,当边缘信息确定模块1120确定边缘存在于纹理图片的视频单元的时候,对应的信息可以输入给跳跃确定模块1130,并且可以用作确定是否使用跳跃模式用于编码的信息。图12是图示按照本发明的一个实施例的视频解码器一部分的示意图。参考图12,视频解码器可以包括预测模块1250和存储器1230,并且预测模块1250可以包括深度信息预测模块1220和纹理信息预测模块1200。预先解码的深度图片和纹理图片可以存储在存储器1230中。存储在存储器1230中的解码的深度图片和纹理图片可以用于预测模块1230预测深度图片和纹理图片。纹理信息预测模块1200可以基于从视频编码器发送的预测信息生成纹理信息的预测值,诸如,多视图视频的亮度信息和色度信息。深度信息预测模块1220可以基于从视频编码器发送的信息预测视频的深度信息。当从视频编码器发送指示使用跳跃模式的信息的时候,深度信息预测模块1220可以从存储器接收参考图片,并且可以使用通过扭曲参考图片生成的扭曲的预测深度图片的深度信息作为预测目标图片的深度信息。当多个扭曲的预测深度图片或者多个参考图片用于执行使用跳跃模式的解码处理的时候,用于跳跃模式的图片的索引信息可以被另外解码来执行使用跳跃模式的解码处理。经历使用跳跃模式解码处理的视频单元可以被解码而无需使用附加的残留信息。当编码器使用除跳跃模式以外的预测方法执行预测处理的时候,深度信息预测模块1220可以将预测值与视频单元的解码的残留信息相加,并且可以输出相加的信息。虽然以上参考许多实施例描述了本发明,本领域技术人员将理解,在不脱离在所附权利要求书中描述的本发明的精神和范围的情况下,本发明可以以各种形式修改和变化。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1