专利名称：多视点视频编码设备和方法
技术领域：
与本发明一致的设备和方法涉及多视点视频编码，更具体地讲，涉及自适应地确定作为对多视点视频进行压缩编码的基础的I帧的位置以提高压缩效率的多视点视频编码。
背景技术：
图1示出了现有技术的视频输入系统。参照图1，多视点视频是从在多个视点的多个相机输入的多个视频。因此，多视点视频编码设备从多个相机接收不同视点的多个视频。因为多视点视频本身就需要大量的数据，所以必须进行压缩编码处理，以便使用多视点视频提供有效的三维(3D)服务。作为国际运动图像标准组的运动图像专家组(MPEG)正在讨论基于H.264的技术的使用，所述基于H.264的技术被认为是在对多视点视频编码中高级的视频编码器。
发明内容
本发明提供一种自适应地确定作为对多视点视频进行压缩编码的基础的I帧的位置以提高预测效率和压缩率的多视点视频编码设备和方法。
根据本发明的一方面，提供了一种多视点视频编码设备，所述设备包括多视点视频输入单元，接收多视点视频；I帧位置确定单元，根据在预定时间的多视点帧的特性确定作为对多视点视频编码的基础的I帧的位置；和编码单元，基于确定的I帧的位置对多视点视频编码。
多视点视频输入单元可将在预定时间的多视点帧发送到I帧位置确定单元，并将每一视点的多视点视频发送到编码单元。
I帧位置确定单元可按照以下方式确定I帧的位置，当在预定时间的多视点帧中的一帧被编码为I帧，并且在与I帧同时获得的其余的多视点帧参考I帧被预测编码为P参考帧时，所确定的I帧的位置是预测P参考帧的最有效的位置。
I帧位置确定单元可选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧，参考I帧将与I帧同时获得的其余的多视点帧预测编码为P参考帧，将用于对I帧和P参考帧编码的比特的数量相加，分别存储每一视点产生的相加的比特数量，并且将这样的帧的位置确定为I帧的位置，当所述帧被编码为I帧时使用的比特的数量最小。
当选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧时，I帧位置确定单元可顺序地将在预定时间的多视点帧中的每一帧选择为I帧，并基于I帧对其余的多视点帧编码。
I帧位置确定单元可将位于确定的I帧的位置之前的多视点帧在I帧的反向上预测编码为P参考帧，并将位于确定的I帧的位置之后的多视点帧在I帧的前向上预测编码为P参考帧。
编码单元可包括多视点视频排列单元，添加至少一个多视点帧，并排列对每一视点的视频编码所需的比特流，其中，所述至少一个多视点帧被在确定的I帧的位置之前或之后的视点并与I帧同时的另一多视点帧参考，以进行预测编码。
编码单元还可包括H.264编码单元，使用排列的比特流执行H.264编码处理，其中，H.264编码单元顺序地对每一视点的比特流编码。
编码单元还可包括多视点视频比特流输出单元，从编码的每一视点的比特流去除添加的所述至少一个多视点帧。
根据本发明的另一方面，提供了一种多视点视频编码方法，所述方法包括接收多视点视频；根据在预定时间的多视点帧的特性确定作为对多视点视频编码的基础的I帧的位置；和基于确定的I帧的位置对多视点视频编码。
通过参照附图对本发明的示例性实施例进行的详细描述，本发明的以上和其他方面将会变得更加清楚，其中图1示出了现有技术的多视点视频输入系统；
图2示出了(T-1，S-1)模式下的多视点视频编码；图3示出了(T-1，S)模式下的多视点视频编码；图4示出了(T，S-1)模式下的多视点视频编码；图5示出了新的区域根据视点的变换出现在其中的图像；图6示出了新的区域根据视点的变换出现随后又消失在其中的图像；图7示出了根据本发明示例性实施例的多视点视频编码设备；图8是示出根据本发明示例性实施例的多视点视频编码方法的示图；图9是示出根据本发明示例性实施例的多视点视频编码方法的流程图；图10是示出根据本发明示例性实施例的图9的多视点视频编码方法中确定I帧的位置的操作的详细流程图；和图11是示出根据本发明示例性实施例的图9的多视点视频编码方法中在确定I帧的位置之后对多视点视频编码的操作的流程图。
具体实施例方式
现在参照附图对本发明进行更全面的描述，本发明的示例性示例显示在附图中。然而，本发明可以以许多不同的形式来实现，并且不应该被解释为限于这里阐述的示例性实施例；相反，提供这些示例性实施例以使得本公开彻底和完整，并向本领域技术人员全面地传达本发明的构思。
现在将参照图2到图4描述H.264编码器执行多视点视频编码方法的三种模式。图2示出了(T-1，S-1)模式下的多视点视频编码。在如图2所示的(T-1，S-1)模式下，从I帧开始，在时间方向和空间方向上产生P参考帧(最上行和最左列中的灰色的帧)。然后，如箭头所指示，对随后的P帧连续地进行预测编码。(T-1，S-1)模式是以下将描述的(T-1，S)模式和(T，S-1)模式的组合。
图3示出了(T-1，S)模式下的多视点视频编码。在如图3所示的(T-1，S)模式下，在初始时间的多个帧中，参照第一帧(即I帧)在水平方向(即空间方向)上产生P参考帧，并对所述P参考帧进行预测编码。然后，将初始时间的视频帧(图3的最上行的灰色的帧)指定为用于预测编码的P参考帧，并且在垂直方向(即时间方向)上对随后的帧进行预测编码。在产生P参考帧之后的编码处理与现有技术的H.264编码处理相同。
图4示出了(T，S-1)模式下的多视点视频编码。在如图4所示的(T，S-1)模式下，在第一视点的多个帧中，参照第一帧(即I帧)在垂直方向(即时间方向)上产生P参考帧，并对所述P参考帧进行预测编码。然后，将第一视点的视频帧(图4的最左列的灰色的帧)指定为用于预测编码的P参考帧，并且在水平方向(即空间方向)上对随后的帧进行预测编码。在产生P参考帧之后的编码处理与现有技术的H.264编码处理相同。
与帧之间的时间相关性随着采样频率的增加而增加的方式相同，帧之间的空间相关性随着用于获取多视点视频的相机之间的距离的减小而增加。因为时间方向上的改变小于视点的改变，所以在如上所述的三种模式中，(T-1，S)模式具有最好的压缩效率。根据参照图2到图4描述的现有技术的编码方法，基于布置在预定位置的I帧来执行编码处理。然后，基于所述I帧对每一模式的P参考帧进行预测编码，并且在每一视点执行独立的编码处理。在根据H.264编码器操作的模式的方向上，通过H.264编码器从所述P参考帧对参考所述P参考帧的随后的P帧进行压缩编码。
在参照图2到图4描述的编码方法中，在初始时间第一视点的帧总是被指定为I帧，并且编码处理被相应地执行。然而，在这种情况下，可能无法获得参照图5和图6描述的最优压缩效率。换句话说，压缩效率可能不高。
图5示出了新的区域根据视点的变换出现在其中的图像。参照图5，当视点变换时，先前隐藏的区域逐渐地出现在帧中。在这种情况下，在对新出现的区域的块预测中失败的可能性高，从而降低了压缩效率。在图5的图像中，当在将第一视点的最右边的帧指定为I参考帧时执行编码处理时，可获得比现有技术的编码方法更高的预测效率和压缩率。
图6示出了新的区域根据视点的变换出现随后又消失在其中的图像。参照图6，当视点变换时，先前隐藏的区域逐渐地出现在帧中，随后又消失。在这种情况下，因为即使如图5在将第一视点的最右边的帧指定为I参考帧时执行编码处理时，也存在有高的可能性不能被预测的块，所以压缩效率降低。因此，在具有先前隐藏但是在视点变换之后出现的区域的视频的帧中，必须根据图像的特性将新位置的帧确定为I帧。换句话说，与现有技术的编码方法中将作为视频编码的基础的I帧的位置固定不同，根据图像的特性将I帧的位置自适应地确定在显示最佳压缩效率的位置，并相应地执行编码处理。
图7示出了根据本发明示例性实施例的多视点视频编码设备。参照图7，所述多视点视频编码设备包括多视点视频输入单元710、I帧位置确定单元720和编码单元730。
多视点视频输入单元710分别从数量与视点的数量相同的多个相机接收视频。相机在如图1所示的弧线上规则地隔开分布，并且相机拍摄的帧被输入到多视点视频输入单元710。多视点视频输入单元710将在预定时间的多视点帧(例如，在初始时间的多视点帧I0到I7)发送到I帧位置确定单元720，并将多视点图像的每一视点输入的多视点视频(多视点帧I0到I7以及基于多视点帧I0到I7在每一视点预测的P帧)发送到包括在编码单元730中的多视点视频排列单元731。
I帧位置确定单元720根据在预定时间的多视点帧的特性确定作为多视点视频编码的基础的I帧的位置。换句话说，在预定时间的多视点帧中的一帧被自适应地确定为I帧并被编码，而与I帧同时获得的其余的多视点帧参照I帧被预测编码为P参考帧。在这种情况下，对P参考帧的预测最有效的位置被确定为I帧的位置。
为此，I帧位置确定单元720将在预定时间的多视点帧中的一帧选择为I帧，并对I帧编码。I帧位置确定单元720还参照I帧将与I帧同时获得的其余的多视点帧预测编码为P参考帧。然后，I帧位置确定单元720将用于编码的I帧和P参考帧的比特的数量相加，存储当将多视点中的每一视点的帧选择为I帧时使用的比特的各个数量，并将使用最少的比特数量的位置确定为I帧的位置。
更具体地讲，在预定时间的每一视点的多视点帧(例如，在初始时间的多视点帧)被输入到多视点视频输入单元710。I帧位置确定单元720将在初始时间的多视点帧中的一帧选择为I帧，并对I帧编码。这时，I帧位置确定单元720顺序地选择在初始时间获得的多视点帧中的每一帧作为I帧，并对I帧编码。这一处理如下执行。
在初始时间第一视点的帧被选择为I帧并被编码，在其余视点的帧参照I帧被预测编码为P参考帧。用于编码的I帧和P参考帧的比特的数量被相加，并且比特的总数被存储。然后，在初始时间的第二视点的帧被选择为I帧并被编码，在其余视点的帧被预测编码为P参考帧。用于编码的I帧和P参考帧的比特的数量被相加，并且比特的总数被存储。在这种情况下，在第一视点的P参考帧相对于其他的P参考帧，在第二视点的I帧的反向上被预测编码。
换句话说，当对M视点视频编码时，如果将在第N(≤M)视点的帧确定为I帧，则将在第N视点的I帧之后的视点的(M-N)个帧在确定的I帧的前向上预测编码为P参考帧，并且将在第N视点的I帧之前的视点的(N-1)个帧在确定的I帧的反向上预测编码为P参考帧。然后，将用于对帧编码产生的比特的总数按照每一视点分别存储。这一过程一致执行到M＝N，并且存储为被指定为I帧的每一视点产生的比特的数量。
I帧位置确定单元720基于下面的等式1确定I帧的位置。换句话说，对M个产生的比特的数量进行比较，并且I帧位于使用最小比特数量的视点。然后，将基于I帧预测编码的P帧确定为每一视点的P参考帧。
I帧的位置＝arg min bit_amount(N)N∈{0，...，M-1}...(1)其中，bit_amount(N)表示当第N视点被设置为I帧的位置时产生的比特的数量。
在图7所示的多视点视频中，确定的I帧的位置是第三视点。编码单元130参照由此确定的I帧对多视点视频编码。编码单元730基于确定的I帧的位置产生P参考帧。编码单元730包括多视点视频排列单元731、H.264编码单元733和多视点视频比特流输出单元735。
多视点视频排列单元731添加对在每一视点的视频编码所需的帧。换句话说，多视点视频排列单元731添加这样的帧，所述帧被在确定的I帧的位置之前或之后的视点并与I帧同时的帧参考，以进行预测编码。参照图7，只有在I0帧之前添加I2帧和I1帧之后，第一视点的视频才能通过H.264编码单元733被编码。只有在I1帧之前添加I2帧之后，第二视点的视频才能通过H.264编码单元733被编码。多视点视频排列单元731排列对每一视点的视频编码所需的每一视点的比特流。换句话说，多视点视频排列单元731排列被添加以对第一视点的视频编码的I2帧和I1帧，并在将从多视点视频输入单元710输入的第一视点的视频比特流发送到H.264编码单元733之前排列所述视频比特流。
H.264编码单元733使用排列的比特流执行H.264编码。对各个视点的顺序输入的比特流执行H.264编码。参照P参考帧产生P帧的方法与现有技术的H.264编码方法相同。在本公开中，描述了使用H.264编码方法来对多视点视频编码。然而，可使用除了H.264编码方法以外的编码方法来对多视点视频编码。
多视点视频比特流输出单元735去除多视点视频排列单元731添加的帧，以便只使用对每一视点的视频解码所需的帧的比特流。换句话说，多视点视频比特流输出单元735仅采用在图7的多视点视频比特流输出单元735之下示出的包括在由虚线指示的块中的比特流。例如，在图7中，多视点视频比特流输出单元735去除第一视点的视频比特流中的I2帧和I1帧，并且去除在最后视点的视频比特流中的I2到I6帧。
图8是示出根据本发明示例性实施例的多视点视频编码方法的示图。参照图8，根据多视点视频编码方法，自适应地确定I帧的位置以提高预测效率和编码率。在图8中，确定的I帧的位置是视点S5。在第一时间的视点S0到S4的帧参考I帧在反向上被水平地预测编码，在第一时间T0的视点S6和S7的帧参考I帧在前向上被水平地预测编码。通过使用H.264编码方法对于每一视点顺序地对在第一时间T0之后获得的帧编码。
图9是示出根据本发明示例性实施例的多视点视频编码方法的流程图。参照图9，多视点视频被输入到多视点视频输入单元710(操作S910)。I帧位置确定单元720根据在预定时间的多视点帧的特性，确定作为对多视点视频编码的基础的I帧的位置(操作S920)。更具体地讲，在预定时间的多视点帧中，预测P参考帧的最有效的位置被确定为I帧的位置。在预定时间的多视点帧可以是在初始时间的多视点帧。多视点视频基于确定的I帧的位置被编码(操作S930)。
将参照图10和图11更详细地描述多视点视频编码方法。图10是示出根据本发明示例性实施例的图9的多视点视频编码方法中确定I帧的位置的操作的详细流程图。参照图10，M表示总视点(或相机)的数量，m是正被处理的帧的视点的索引，并且m在0和M-1之间，i表示I帧的索引，LoI(I帧的位置)表示确定的I帧的位置的索引。
第一视点的帧被被确定为I帧，并且在初始时间的帧被编码。换句话说，m和i被设置为0(操作S1001)。然后，确定m和i是否相等(操作S1002)。因为m和i相等，所以第一视点的帧被编码为I帧(操作S1003)，并且m增1(操作S1004)。对M和m进行比较(操作S1005)，因为m小于M，所以再次执行操作S1002。因为m是1且i是0，所以m和i不等(操作S1002)并且m被确定为不小于i(操作S1006)。因此，P帧参考第一视点(即视点0)的I帧在前向上被预测编码(操作S1007)。m增1(操作S1004)。因为m小于M，所以再次执行操作S1002。重复以上操作直到最后视点的帧被预测编码。
当最后视点的帧被编码并且m增1时(操作S1004)，执行操作S1005，并且确定m不小于M。然后，通过当第一视点的帧被确定为I帧时对在初始时间的帧编码产生的比特的数量被存储(操作S1009)。然后，对i和(M-1)进行比较(操作S1010)。因为i小于(M-1)，所以i增1为1，且m被设置为0(操作S1011)。以这种方式，第一视点的帧被编码为I帧，与I帧同时获得的其余的帧被预测编码为P参考帧，并且用于编码的比特的数量被存储。
接下来，第二视点的帧被编码为I帧，与I帧同时获得的其余的帧参考I帧被预测编码为P参考帧。因为i＝1且m＝0，所以m和i不等(操作S1002)。也就是说，m小于i。因此，第一视点的帧在I帧的反向上被预测编码为P参考帧。随后m增1(操作S1004)，并且操作S1005到S1002被顺序地执行。因为m和i相等，所以第二视点(即视点1)的帧被编码为I帧(操作S1003)。然后，操作S1004、S1005、S1002和S1006被顺序地执行。第三视点(即视点2)的在I帧的前向上被预测编码为P参考帧(操作S1007)。重复以上操作直到最后视点的帧被预测编码。
当最后视点的帧被编码并且m增1时(操作S1004)，执行操作S1005，并且确定m不小于M。然后，通过当第二视点的帧被确定为I帧时对在初始时间的帧编码产生的比特的数量被存储(操作S1009)。然后，对i和(M-1)进行比较(操作S1010)。因为i小于(M-1)，所以i增1为2，且m被设置为0(操作S1011)。
当将第三到最后视点的帧指定为I帧来执行以上操作时，当每一视点的帧被编码为I帧并且与I同时获得其余的帧参考I帧被预测编码为P参考帧时，对初始时间获得的多个帧进行预测编码所需的各个比特数量可被获得。换句话说，当最后视点的帧被选择为I帧并且用于预测编码产生的比特的数量被存储时(操作S1009)，因为在操作S1010中i等于(M-1)，所以执行操作S1012。在操作S1012中，当第一视点到最后视点的帧被处理为I帧时产生的比特的数量被比较。然后，在被指定为I帧时导致用于预测编码的最小比特数量的帧被确定为用于实际编码处理的I帧。如A所指示，确定的I帧的位置(LoI)被发送到基于确定的I帧的位置依次对多视点视频编码的编码单元730。
图11是示出根据本发明示例性实施例的图9的多视点视频编码方法中在确定I帧的位置之后对多视点视频编码的操作的流程图。换句话说，图11示出了由包括在图7所示的多视点视频编码设备的编码单元730中的多视点视频排列单元731、H.264编码单元733和多视点视频比特流输出单元735执行的操作。
基于假设如图7第三视点被确定为I帧的位置(LoI)来进行对图11的描述。在图11中，m表示正被处理的帧的视点的索引，n表示正被编码的帧的视点的索引。m和n被设置为0(操作S1101)。因为m不等于LoI(操作S1102)且m小于LoI(操作S1103)，所以第(m+1)视点(即第一视点)的I帧(图7的I1)作为第一视点的第一帧被添加到比特流Seq(0)(操作S1104)，以便比特流Seq(0)可被输入到H.264编码单元733，并被H.264编码单元733编码。接下来，m增1为1(操作S1105)并与LoI比较(操作S1102)。因为m不等于LoI，并且m小于LoI(操作S1103)，所以第(m+1)视点(即第二视点)的I帧(图7的I2)作为第一视点的第一帧被添加到比特流Seq(0)(操作S1104)，以便比特流Seq(0)可被输入到H.264编码单元733，并被H.264编码单元733编码。
当m增1为2时(操作S1105)，m等于LoI(操作S1102)。因此，H.264编码操作被执行(操作S1110)。换句话说，多视点视频排列单元731将I1帧和I2帧添加到第一视点(即视点0)的比特流Seq(0)，并将具有I1帧和I2帧的比特流Seq(0)发送到H.264编码单元733。在H.264编码单元733执行H.264编码操作之后，多视点比特流通过多视点视频比特流输出单元735被输出。在该操作中，将n与LoI进行比较。因为n小于LoI(操作S1111)，所以比特流Seq(0)中在第(LoI-n)帧(即第二帧)之后的帧被输出为比特流，以去除为了H.264编码操作而添加的帧(操作S1112)。换句话说，添加的I1帧和I2帧被去除。在操作S1112之后，n增1为1(操作S1108)并且m被设置为1(操作S1109)。然后，排列第二视点(图8的S1)的视频比特流。
因为m不等于LoI(操作S1102)且m小于LoI(操作S1103)，所以第二视点的I帧(图7的I2)被添加到比特流Seq(1)，作为它的第一帧(操作S1104)。当m增1为2时(操作S1105)，m等于LoI(操作S1102)。因此，H.264编码操作被执行(操作S1110)。在H.264编码操作之后，执行输出多视点比特流的操作。在该操作中，将n与LoI进行比较。因为n小于LoI(操作S1111)，所以比特流Seq(1)中在第(LoI-n)帧(即第一帧)之后的帧被输出为比特流(操作S1112)。换句话说，添加的I2帧被去除。在操作S1112之后，n增1为2(操作S1108)并且m被设置为2(操作S1109)。然后，排列第三视点(图8的S2)的视频比特流。
当m和n是2时，m等于LoI。因此，H.264编码操作被执行(操作S1110)。在H.264编码操作之后，因为没有帧被添加以用于H.264编码操作，所以输出多视点比特流的操作被跳过。因此，操作S1108被执行。n增1为3(操作S1108)并且m被设置为3(操作S1109)。然后，排列第四视点(即视点3，图8的S3)的视频比特流。
因为m不等于LoI(操作S1102)且m不小于LoI(操作S1103)，所以第(m-1)视点(即第二视点)的I帧(图7的I2)被添加到比特流Seq(3)，作为它的第一帧(操作S1106)。然后，m减1为2(操作S1107)，并且m等于LoI(操作S1102)。因此，H.264编码操作被执行(操作S1110)。在H.264编码操作之后，执行输出多视点比特流的操作。在该操作中，将n与LoI进行比较。因为n大于LoI(操作S1111)，所以比特流Seq(3)中在第(n-LoI)帧(即第一帧)之后的帧被输出为比特流(操作S1113)。换句话说，为了H.264编码操作而添加的I2帧被去除。在操作S1113之后，n增1为4(操作S1108)并且m被设置为4(操作S1109)。然后，排列第五视点(图8的S4)的视频比特流。当最后视点的比特流以这种方式被输出时，多视点视频的编码完成。
为了对使用根据本发明示例性实施例的多视点视频编码方法编码的多视点视频解码，首先，对I帧解码。然后，使用I帧对与I帧同时获得的P参考帧解码。最后，基于P参考帧对在每一视点的P参考帧之后的P帧分别解码。通过能够输出多视点视频的3D视频输出设备将由此解码的多视点视频提供给用户。
根据本发明的多视点视频编码设备和方法，作为对多视点视频进行压缩编码的基础的I帧的位置并不固定。相反，自适应地确定I帧的位置以提高预测效率和压缩率。
本发明也可实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质为任何可存储其后能由计算机系统读取的数据的数据存储装置。所述计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。
所述计算机可读记录介质也可分布于网络连接的计算机系统上，以便所述计算机可读代码以分布方式被存储并被执行。
虽然已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上对这些实施例进行各种变动。
权利要求
1.一种多视点视频编码设备，所述设备包括多视点视频输入单元，接收多视点视频；I帧位置确定单元，根据在预定时间的多视点帧的特性确定作为对多视点视频编码的基础的I帧的位置；和编码单元，基于确定的I帧的位置对多视点视频编码。
2.如权利要求1所述的设备，其中，多视点视频输入单元将在预定时间的多视点帧发送到I帧位置确定单元，并将每一视点的多视点视频发送到编码单元。
3.如权利要求1所述的设备，其中，I帧位置确定单元按以下方式确定I帧的位置，当在预定时间的多视点帧中的一帧被编码为I帧，并且与I帧同时获得的其余的多视点帧参考I帧被预测编码为P参考帧时，所确定的I帧的位置是预测P参考帧的最有效的位置。
4.如权利要求1所述的设备，其中，I帧位置确定单元选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧，参考I帧将与I帧同时获得的其余的多视点帧预测编码为P参考帧，将用于对I帧和P参考帧编码的比特的数量相加，分别存储每一视点产生的相加的比特数量，并且将这样的帧的位置确定为I帧的位置，当所述帧被编码为I帧时使用的比特的数量最小。
5.如权利要求4所述的设备，其中，当选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧时，I帧位置确定单元顺序地将在预定时间的多视点帧中的每一帧选择为I帧，并基于I帧对其余的多视点帧编码。
6.如权利要求1所述的设备，其中，I帧位置确定单元将位于确定的I帧的位置之前的多视点帧在I帧的反向上预测编码为P参考帧，并将位于确定的I帧的位置之后的多视点帧在I帧的前向上预测编码为P参考帧。
7.如权利要求1所述的设备，其中，编码单元包括多视点视频排列单元，添加至少一个多视点帧，并排列对每一视点的视频编码所需的比特流，其中，所述至少一个多视点帧被在确定的I帧的位置之前或之后的视点并与I帧同时的另一多视点帧参考，以进行预测编码。
8.如权利要求7所述的设备，其中，编码单元还包括H.264编码单元，使用排列的比特流执行H.264编码处理，其中，H.264编码单元顺序地对每一视点的比特流编码。
9.如权利要求8所述的设备，其中，编码单元还包括多视点视频比特流输出单元，从编码的每一视点的比特流去除添加的所述至少一个多视点帧。
10.一种多视点视频编码方法，所示方法包括接收多视点视频；根据在预定时间的多视点帧的特性确定作为对多视点视频编码的基础的I帧的位置；和基于确定的I帧的位置对多视点视频编码。
11.如权利要求10所述的方法，其中，确定I帧的位置的步骤包括按照以下方式确定I帧的位置，当在预定时间的多视点帧中的一帧被编码为I帧，并且与I帧同时获得的其余的多视点帧参考I帧被预测编码为P参考帧时，所确定的I帧的位置是预测P参考帧的最有效的位置。
12.如权利要求11所述的方法，其中，将位于与I帧相同时间的其余的多视点帧预测编码为P参考帧的步骤包括将位于确定的I帧的位置之前的多视点帧在I帧的反向上预测编码为P参考帧，并将位于确定的I帧的位置之后的多视点帧在I帧的前向上预测编码为P参考帧。
13.如权利要求10所述的方法，其中，确定I帧的位置的步骤包括选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧，参考I帧将与I帧同时获得的其余的多视点帧预测编码为P参考帧；将用于对I帧和P参考帧编码的比特的数量相加；分别存储每一视点产生的相加的比特数量；和将这样的帧的位置确定为I帧的位置，当所述帧被编码为I帧时使用的比特的数量最小。
14.如权利要求13所述的方法，其中，选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧的步骤包括顺序地将在预定时间的多视点帧中的每一帧选择为I帧，并基于I帧对其余的多视点帧编码。
15.如权利要求10所述的方法，其中，对多视点视频编码的步骤包括添加至少一个多视点帧，其中，所述至少一个多视点帧被在确定的I帧的位置之前或之后的视点并与I帧同时的另一多视点帧参考，以进行预测编码；和排列对每一视点的视频编码所需的比特流。
16.如权利要求15所述的方法，其中，对多视点视频编码的步骤还包括使用排列的比特流执行H.264编码，其中，每一视点的比特流在H.264编码处理中被顺序地编码。
17.如权利要求16所述的方法，其中，对多视点视频编码的步骤还包括从编码的每一视点的比特流去除添加的所述至少一个多视点帧。
18.一种其上具有用于执行多视点视频编码方法的程序计算机可读记录介质，所述方法包括接收多视点视频；根据在预定时间的多视点帧的特性确定作为对多视点视频编码的基础的I帧的位置；和基于确定的I帧的位置对多视点视频编码。
19.如权利要求18所述的计算机可读记录介质，其中，确定I帧的位置的步骤包括按照以下方式确定I帧的位置当在预定时间的多视点帧中的一帧被编码为I帧，并且在与I帧同时获得的其余的多视点帧参考I帧被预测编码为P参考帧时，所确定的I帧的位置是预测P参考帧的最有效的位置。
20.如权利要求19所述的计算机可读记录介质，其中，将位于与I帧相同时间的其余的多视点帧预测编码为P参考帧的步骤包括将位于确定的I帧的位置之前的多视点帧在I帧的反向上预测编码为P参考帧，并将位于确定的I帧的位置之后的多视点帧在I帧的前向上预测编码为P参考帧。
21.如权利要求18所述的计算机可读记录介质，其中，确定I帧的位置的步骤包括选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧，参考I帧将与I帧同时获得的其余的多视点帧预测编码为P参考帧；将用于对I帧和P参考帧编码的比特的数量相加；分别存储每一视点产生的相加的比特数量；和将这样的帧的位置确定为I帧的位置，当所述帧被编码为I帧时使用的比特的数量最小。
22.如权利要求21所述的计算机可读记录介质，其中，选择在预定时间的多视点帧中的一帧并将选择的多视点帧编码为I帧的步骤包括顺序地将在预定时间的多视点帧中的每一帧选择为I帧，并基于I帧对其余的多视点帧编码。
23.如权利要求18所述的计算机可读记录介质，其中，对多视点视频编码的步骤包括添加至少一个多视点帧，其中，所述至少一个多视点帧被在确定的I帧的位置之前或之后的视点并与I帧同时的另一多视点帧参考，以进行预测编码；和排列对每一视点的视频编码所需的比特流。
24.如权利要求23所述的计算机可读记录介质，其中，对多视点视频编码的步骤还包括使用排列的比特流执行H.264编码，其中，每一视点的比特流在H.264编码处理中被顺序地编码。
25.如权利要求24所述的计算机可读记录介质，其中，对多视点视频编码的步骤还包括从编码的每一视点的比特流去除添加的所述至少一个多视点帧。
全文摘要
提供了一种多视点视频编码设备及其方法。所述设备包括多视点视频输入单元，接收多视点视频；I帧位置确定单元，根据在预定时间的多视点帧的特性确定作为对多视点视频编码的基础的I帧的位置；和编码单元，基于确定的I帧的位置对多视点视频编码。当使用所述设备和方法时，作为对多视点视频进行压缩编码的基础的I帧的位置可被自适应地确定，而不是固定的，从而提高了预测效率和压缩率。
文档编号H04N7/32GK101018331SQ20071000702
公开日2007年8月15日 申请日期2007年2月7日 优先权日2006年2月7日
发明者金兑熙 申请人:三星电子株式会社