用于处理视频信号的方法和设备的制造方法
【技术领域】
[0001]本发明涉及一种用于处理视频信号的方法和装置。
【背景技术】
[0002]压缩指的是用于通过通信线路来发送数字信息或者以适合于存储介质的形式存储该数字信息的信号处理技术。压缩目标包括音频、视频以及文本信息。特别地，压缩图像的技术被称作视频压缩。多视图视频有空间冗余、时间冗余以及视图间冗余的特性。
【发明内容】
[0003]技术问题
[0004]本发明的目的在于改进视频信号编译效率。
[0005]技术方案
[0006]在视图合成预测中，在使用深度信息的变形过程中，即使存在多条深度信息，本发明仅使用一条深度信息。
[0007]另外，本发明使用时间视图间运动向量获得被用于变形过程的视图间运动向量。
[0008]本发明更新获得的视图间运动向量，并且在未来使用更新的视图间运动向量。
[0009]此外，本发明使用从编码器发送的预先确定的视图间运动向量执行变形过程。
[0010]本发明解决的技术问题不限于上面的技术问题，并且本领域中的技术人员可以从下面的描述中理解其它的技术问题。
[0011]有益效果
[0012]通过防止参考块的顺序的变化，本发明能够增加视图合成预测精确度，或者即使在视图合成预测中使用深度信息的变形过程中存在多条深度信息，仅使用一条深度信息增加参考块之间的间隔。
[0013]另外，通过使用时间视图间运动向量，本发明能够获得用于变形过程的单元的精确的视图间运动向量。
[0014]此外，本发明能够更新获得的视图间运动向量，以便获取用于变形过程的单元的视图间运动向量。
[0015]通过使用从编码器发送的预先确定的视图间运动向量执行变形过程，本发明能够获得用于变形过程的单元的视图间运动向量。
[0016]本领域的技术人员将会理解的是，通过本发明能够实现的效果不限于在上面已经特别地描述的效果，并且从下面的详细描述将会更加清楚地理解本发明的其它优势。
【附图说明】
[0017]图I是根据本发明的实施例的应用深度编译的广播接收机的框图。
[0018]图2是根据本发明的实施例的视频解码器的框图。
[0019]图3是图示根据本发明的实施例的示例性的视图合成预测的流程图。
[0020]图4图示使用参考块和深度块获得虚拟参考块的示例。
[0021]图5a图示其中使用参考块和深度块获得的虚拟参考块的顺序被反转的示例。
[0022]图5b图示其中使用参考块和深度块获得的虚拟参考块之间的间隔增加的示例。
[0023]图6是图示根据本发明的实施例的用于获得视图合成预测的虚拟参考图片的示例性方法的流程图。
[0024]图7图示根据本发明的实施例的视图合成预测的示例性变形方法。
[0025]图8是图示根据本发明的实施例的使用虚拟深度信息的第N个单元的视图间运动向量的示例的流程图。
[0026]图9图示根据本发明的实施例的使用虚拟深度信息获得第N个单元的视图间运动向量的示例。
[0027]图10是图示根据本发明的实施例的更新视图间运动向量的示例的流程图。
【具体实施方式】
[0028]本发明提供一种用于处理视频信号的方法和装置，其获得与第一单元相对应的时间视图间运动向量，使用时间视图间运动向量获得与第一单元相对应的虚拟深度信息，使用与第一单元相对应的虚拟深度信息获得与第一单元相对应的视图间运动向量，并且更新与第一单元相对应的视图间运动向量。
[0029]使用与第一单元的相邻单元相对应的视图间运动向量获得时间视图间运动向量。
[0030]虚拟深度信息是不同于第一单元的视图的深度块的深度信息。
[0031]用于处理视频信号的方法和设备使用被更新的视图间运动向量获得与第二单元相对应的视图间运动向量。
[0032]用于处理视频信号的方法和装置使用与第一单元相对应的视图间运动向量获得与第二单元相对应的时间视图间运动向量，使用与第二单元相对应的时间视图间运动向量获得与第二单元相对应的虚拟深度信息，并且使用与第二单元相对应的虚拟深度信息获得与第二单元相对应的视图间运动向量。
[0033]用于处理视频信号的方法和设备更新与第二单元相对应的视图间运动向量。
[0034]用于处理视频信号的方法和设备使用与第一单元相对应的视图间运动向量获得第一虚拟参考块，其中第一虚拟参考块被包括在用于视图合成预测的虚拟参考图片中。
[0035]本发明的模式
[0036]用于对多视图视频信号数据进行压缩或解码的技术考虑空间冗余、时间冗余以及视图间冗余。在多视图图像的情况下，能够对在两个或更多个视图处拍摄的多视图纹理图像进行编码以便生成三维图像。此外，必要时可以对与多视图纹理图像相对应的深度数据进行编码。考虑空间冗余、时间冗余或视图间冗余，可以压缩深度数据。深度数据是关于相机与对应像素之间的距离的信息。在本说明书中深度数据能够被灵活地解释为诸如深度信息、深度图像、深度图片、深度序列以及深度比特流的深度相关信息。此外，编译(coding)在本说明书中能够包括编码(encoding)和解码(decoding)的两个概念，并且能够在本发明的技术精神和技术范围内被灵活地解释。
[0037]图1是根据应用本发明的实施例的应用深度编译的广播接收机的框图。
[0038]根据本实施例的广播接收机接收地面广播信号以再现图像。使用接收到的深度相关信息，广播接收机能够生成三维内容。广播接收机包括调谐器100、解调器/信道解码器102、传输解复用器104、解分组器106、音频解码器108、视频解码器110、PSI/PSIP处理器114,3D渲染器116、格式化器120以及显示器122。
[0039]调谐器100从经由天线(未示出)输入的多个广播信号当中选择由用户调谐到的频道的广播信号并且输出所选择的广播信号。解调器/信道解码器102对来自调谐器100的广播信号进行解调，并且对已解调信号执行纠错解码以输出传输流TS。传输解复用器104对传输流进行解复用，以便将传输流划分成视频PES和音频PES，并提取PSI/PSIP信息。解分组器106对视频PES和音频PES进行解分组以恢复视频ES和音频ES。通过对音频ES进行解码，音频解码器108输出音频比特流。音频比特流被数字-模拟转换器(未示出)转换成模拟音频信号，被放大器(未示出)放大，并且之后，通过扬声器(未示出)输出。视频解码器HO对视频ES进行解码以恢复原始图像。基于由PSI/PSIP处理器114所确认的分组ID(PID)，能够执行音频解码器108和视频解码器110的解码过程。在解码过程期间，视频解码器110能够提取深度信息。此外，视频解码器110能够提取生成虚拟相机视图的图像所必需的附加信息，例如，相机信息或用于估计通过前面物体隐藏的闭塞(occlus1n)的信息(例如，诸如物体轮廓的几何信息、物体透明性信息以及彩色信息)，并且将附加信息提供给3D渲染器116。然而，在本发明的其它实施例中，深度信息和/或附加信息可以通过传输解复用器104彼此分离。
[0040]PSI/PSIP处理器114从传输解复用器104接收PSI/PSIP信息，解析PSI/PSIP信息，并且将经解析的PSI/PSIP信息存储在存储器(未示出)或寄存器中，以便使得能够基于所存储的信息广播。3D渲染器116能够使用经恢复的图像、深度信息、附加信息以及相机参数在虚拟相机位置生成彩色信息、深度信息等。
[0041]此外，通过使用经恢复的图像和有关经恢复的图像的深度信息来执行3D变形，3D渲染器116在虚拟相机位置生成虚拟图像。虽然在本实施例中3D渲染器116被配置为与视频解码器110分离的块，但是这仅仅是示例，并且3D渲染器116可以被包括在视频解码器110中。
[0042]格式化器120格式化在解码过程中恢复的图像，即，由相机拍摄的实际图像，和由3D渲染器116根据广播接收机的显示模式所生成的虚拟图像，使得3D图像通过显示器122来显示。这里，响应于用户命令，可以选择性地执行深度信息和虚拟图像在虚拟相机位置通过3D渲染器116的合成以及通过格式化器120的图像格式化。也就是说，用户可以操纵遥控器(未示出)，使得合成图像不被显示，并且指定图像合成时间。
[0043]如上所述，用于生成3D图像的深度信息由3D渲染器116使用。然而，在其它实施例中深度信息可以由视频解码器110使用。将给出其中视频解码器110使用深度信息的各种实施例的描述。
[0044]图2是根据应用本发明的实施例的视频解码器的框图。
[0045]参考图2，视频解码器110可以包括熵解码单元210、逆量化单元220、逆变换单元230、环内滤波器单元240、解码图片缓冲单元250、中间预测单元260以及内部预测单元270。在图2中，实线表示彩色图片数据流，而虚线表示深度图片数据流。虽然在图2中单独地表示了彩色图片数据和深度图片数据，但是彩色图片数据和深度图片数据的单独表示可以指代单独的比