专利名称：用于编码和解码立体视频的方法和装置的制作方法
技术领域：
本发明涉及用于一种对立体(stereoscope)视频编码和解码的方法和设备。更特别地，本发明涉及一种方法和设备，用于通过使用传统的MPEG-4MAC(多重辅助分量)，将立体视频编码和解码为编码流。
背景技术：
作为传统的立体视频编码方法，已经开发出MVP(多视图剖面)方法，用于扩展MPEG-2技术中的二维视频编码技术。关于MVP方法，用于通过使用运动补偿执行编码的基础层的编码结构对应于MPEG-2MP(主剖面)的编码结构，因此，当传统的二维视频解码器重构基础层的数据时，重构左和右图像之一，从而保持与现有的二维视频解码器系统的兼容性。增强层的编码器使用右和左图像之间提供的相关性信息执行编码。这是通过使用时间可扩展性(temporal scalability)用于执行编码的方法，并且MPEG-4标准也已经使用立体视频编码定义了时间可扩展性。
上述现有技术已经由标题为“Digital 3D/stereoscope video compensationtechnique utilizing two disparity estimates(利用两个不一致估计的数字3D/立体视频补偿技术)”的美国专利no.5,612,735公开。关于时间可扩展性基础上的专利‘735，基础层使用运动补偿算法和DCT(离散余弦变换)基础算法以对左眼的图像编码，而增强层使用基础层和增强层之间的不一致(disparity)信息以对右眼的图像编码，而没有对右眼图像的运动补偿。
同样地，关于标题为“Digital 3D/stereoscope video compensation techniqueutilizing disparity and motion compensated prediction(利用不一致和运动补偿的预测的数字3D/立体视频补偿技术)”的美国专利no.5,619,256，基础层使用运动补偿算法和DCT基础算法以对左眼的图像编码，而增强层在时间可扩展性基础上，以类似于专利‘735的方式，使用关于右眼图像间的运动补偿和基础层和增强层之间的不一致的信息，对右眼的图像编码。通过使用运动和不一致信息，这种方法通过执行编码达到有效的压缩率，但是该方法具有复杂的编码结构，并且以硬连线的方式难于实现该方法，并且处理HDTV图像时该方法要求大量的计算。
因此，在通过使用时间可扩展性对立体视频编码的情况下，为简化右和左图像之间的同步问题，可能(problematically)需要额外的多路复用器，用于作为单一的流发射分别由基础层和增强层输出的编码流。
传统的多视图视频编码方法包括一种方法，用于通过使用包含象素的不一致向量值的不一致图(map)执行编码，该方法已经由标题为“Method andapparatus for compressing multi-view video(用于压缩多视图视频的方法和装置)”的美国专利no.6,055,274公开。
专利‘274对第一图像(左图像)的全部图像数据编码，并且从第一图像和第二图像(右图像)产生包含用于各象素的不一致向量值的不一致图，以执行对运动补偿的不一致向量的编码，并且使用编码后重构的第一图像来不一致补偿重构的不一致图，并且对产生的第二图像和输入的第二原始图像之间的残留(residual)图像数据编码。这种方法可能输出多个编码流，并且另外需要多路复用器用于以单一流的格式发射它们。
为了使用传统的用于二维图像的MPEG编解码器，并且执行立体视频中右和左图像间的简单同步，在Andrew Woods、Tom Docherty和Rolf Koch的“3D video standards conversion，stereoscopic displays and applications”的学报(VII，California，Feb.1996，Proceedings of the SPIE vol.1653A)中的五种方法中，已经提出用于右和左图像分别减少1/2并将它们转换为二维标准图像的方法。
上面的技术也已经在标题为“Stereoscopic coding system(立体编码系统)”的美国专利no.5,633,682中公开。
如‘682公开的发明选择奇场图像用于左眼的图像，并选择偶场图像用于右眼的图像，从而转换它们为单一图像，因此关于现存的二维图像对转换的单一图像执行MPEG编码。这个方法考虑快门(shuttering)方法，用于在显示立体视频的情况下交替显示右和左图像，并且该方法不适合于同时显示右和左图像的偏振显示。
发明内容
本发明的优势是对使用现有的MPEG-4编码技术和系统保持兼容性，并且最小化右和左图像间同步的复杂度。
本发明的另一个优势是选择性地控制图像的质量并且根据图像的重要性或者复杂度对图像编码，从而改进编码效率。
在本发明的第一方面中，一种用于对包括第一和第二图像的立体视频编码的方法包含(a)对第一图像编码，并且输出第一图的量化的视频对象和运动向量；(b)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及(c)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并输出量化的水平不一致图。
在本发明的第二方面中，一种用于对包括第一和第二图像的立体视频编码的方法包含(a)对第一图像编码，并且输出第一图的量化的视频对象和运动向量；(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并输出量化的水平不一致图；(e)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；(f)根据(b)中重构的第一图像的象素值和(e)中重构的水平不一致图的水平不一致向量值，执行不一致补偿并且输出不一致补偿的第二图像的象素值；以及(g)对第二图像的象素值和(f)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
在本发明的第三方面中，一种用于对包括第一和第二图像的立体视频编码的方法包含(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图和基于象素的垂直不一致图；(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并输出量化的水平不一致图；(e)根据基于象素的垂直不一致图和运动向量，对垂直不一致图编码并输出量化的垂直不一致图；(f)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；(g)重构(d)中输出的量化的垂直不一致图，并且输出重构的垂直一致图；(h)根据(b)中重构的第一图像的象素值、(f)中重构的水平不一致图的水平不一致向量值和(h)中重构的垂直不一致图的垂直不一致向量值，执行不一致补偿并输出不一致补偿的第二图像的象素值；以及(i)对第二图像的象素值和(h)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
在本发明的第四方面中，一种用于对包括第一和第二图像的立体视频解码的方法包含(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；(b)根据视频对象的量化数据和运动向量对视频对象解码并且重构第一图像；(c)根据水平不一致图的量化数据和运动向量对水平不一致图的量化数据解码；以及(d)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且重构第二图像。
在本发明的第五方面中，一种用于对包括第一和第二图像的立体视频解码的方法包含(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；(b)根据视频对象的量化数据和运动向量对视频对象解码并且重构第一图像；(c)根据水平不一致图的量化数据和运动向量对水平不一致图的量化数据解码；(d)根据亮度残留纹理的量化数据和运动向量对亮度残留纹理的量化数据解码；(e)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及(f)将不一致补偿的亮度纹理和(d)中重构的亮度残留纹理相加以重构第二图像。
在本发明的第六方面中，一种用于对包括第一和第二图像的立体视频解码的方法包含(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据和亮度残留纹理的量化数据；(b)根据视频对象的量化数据和运动向量对视频对象解码并且重构第一图像；(c)根据水平不一致图的量化数据和运动向量对水平不一致图的量化数据解码；(d)根据垂直不一致图的量化数据和运动向量对垂直不一致图的量化数据解码；(e)根据亮度残留纹理的量化数据和运动向量对亮度残留纹理的量化数据解码；(f)根据重构的第一图像、解码的水平不一致图和解码的垂直不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及(g)将不一致补偿的亮度纹理和(e)中重构的亮度残留纹理相加以重构第二图像。
在本发明的第七方面中，一种用于包括第一和第二图像的立体视频的编码器包含视频对象编码器，用于对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及辅助分量编码器，用于根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对水平不一致图编码并且输出量化的水平不一致图。
在本发明的第八方面中，一种用于包括第一和第二图像的立体视频的编码器，包含视频对象编码器，用于对第一图像编码以输出第一图像的量化的视频对象和运动向量，并且对量化的视频对象编码以输出重构的第一图像；不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；第一辅助分量编码器，用于对水平不一致图编码以输出量化的水平不一致图，并且根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对输出和量化的水平不一致图解码以输出重构的水平不一致图；不一致补偿器，用于根据由视频对象编码器输出的重构的第一图像的象素值和由第一辅助分量编码器输出的重构的水平不一致图的水平不一致向量值，执行不一致补偿并且输出不一致补偿的第二图像的象素值；第二辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
在本发明的第九方面中，一种用于包括第一和第二图像的立体视频的解码器，包含可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；视频对象解码器，用于根据由可变长度解码器输出的视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；辅助分量解码器，用于根据由可变长度解码器输出的水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；以及不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且重构第二图像。
在本发明的第十方面中，一种用于包括第一和第二图像的立体视频的解码器，包含可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；视频对象解码器，用于根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；第一辅助分量解码器，用于根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；第二辅助分量解码器，用于根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由第一辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理和不一致补偿的色度纹理；以及第一加法器，用于把由不一致补偿器输出的不一致补偿的亮度纹理和由第二辅助分量解码器输出的重构的亮度残留纹理加起来。
被合并并且构成说明书一部分的
了本发明的实施例，并且与描述一起用于解释本发明的原理图1显示由MPEG-4标准定义的video_object_layer_shape_extention的辅助分量的类型和数目；图2显示根据本发明第一个优选实施例的立体视频编码器；图3显示根据本发明第一个优选实施例的立体视频解码器；图4显示根据本发明优选实施例，要求用于对立体视频编码的额外定义的video_object_layer_shape_extention的辅助分量的类型和数目；图5显示增加MAC(多重辅助分量)的辅助分量的数目到大于4时，要求额外定义的video_object_layer_shape_extention的辅助分量的类型和数目；图6显示根据本发明第二个优选实施例的立体视频编码器；图7显示根据本发明第二个优选实施例的立体视频解码器；图8显示由根据本发明第二个优选实施例的编码器输出的编码流；图9显示根据本发明第三个优选实施例的立体视频编码器；图10显示根据本发明第三个优选实施例的立体视频解码器；图11显示由根据本发明第三个优选实施例的编码器输出的编码流；图12显示根据本发明第四个优选实施例的立体视频编码器；图13显示根据本发明第四个优选实施例的立体视频解码器；
图14显示由根据本发明第四个优选实施例的编码器输出的编码流；图15显示根据本发明第五个优选实施例的立体视频编码器；图16显示根据本发明第五个优选实施例的立体视频解码器；图17显示由根据本发明第五个优选实施例的编码器输出的编码流；图18显示用于根据本发明的优选实施例的视频对象编码器的详细的方块图；图19显示用于根据本发明的优选实施例的辅助分量编码器的详细的方块图；图20显示用于根据本发明的优选实施例的视频对象解码器的详细方块图；以及图21显示用于根据本发明的优选实施例的辅助分量解码器的详细方块图。
具体实施例方式
在下面的详细说明中，仅仅通过说明实现本发明的发明人打算的最佳模式，已经显示和说明了仅仅本发明的优选实施例。如将被理解的，本发明能够在各种明显的方面修改，全部不背离本发明。因此，附图和描述实际上被看作说明性的，而不是限制性的。
当前的MPEG-4编解码器分配辅助信息给包括三个辅助分量的MAC(多重辅助分量)以对它们编码，辅助信息包括与各视频对象有关的alpha、不一致和深度。
本发明涉及一种方法，用于使用MPEG-4MAC编码立体视频，并且将定义要分配给MAC的辅助信息。
添加当前的MPEG-4MAC到MPEG-4视频版本2，以便说明视频对象的透明度，并且它进而定义辅助信息，包括与视频对象有关的不一致、深度和额外的纹理(texture)。
图1显示由MPEG-4标准定义的video_object_layer_shape_extention的辅助分量的类型和数目。
如所示，video_object_layer_shape_extention的值被定义为0001、0010、0011和0100，video_object_layer_shape_extention中辅助分量包括不一致类型，并且没有辅助分量被定义为从1101到1111的值。
在优选实施例中，定义video_object_layer_shape_extention值的未定义辅助分量以包括需要的辅助信息，用于立体视频更有效的编码。
图2显示根据本发明的第一个优选实施例的立体视频编码器。编码器使用由图1中所示的现有MPEG-4MAC定义的辅助分量以对立体视频数据编码。
如所示，编码器包含不一致估计器100、视频对象编码器200、辅助分量编码器320和可变长度编码器600。
视频对象编码器200接收立体视频的一个图像(在优选实施例中是左图像)，并且输出量化的视频对象和运动向量。不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图。即，不一致估计器100输出移动到水平轴的位置向量作为水平不一致图，以便搜索和估计右图像的象素被提供到左图像的什么位置。
辅助分量编码器320接收水平不一致图，它是由不一致估计器100输出的辅助分量，以及由视频对象编码器200输出的运动向量，并且输出量化的水平不一致图。
可变长度编码器600接收由视频对象编码器200输出的量化的视频对象和运动向量，以及由辅助分量编码器320输出的量化的水平不一致图；执行可变长度编码；并且输出编码流。
图3显示根据本发明的第一个优选实施例的解码器。
如所示，解码器包含可变长度解码器700、视频对象解码器800、辅助分量解码器920和不一致补偿器1000。
可变长度解码器700对由图2的编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量和水平不一致图的量化数据。
视频对象解码器800接收视频对象的量化数据和运动向量，并且对视频对象解码以对左图像解码。
辅助分量解码器920接收水平不一致图的量化数据和运动向量，并且对水平不一致图解码。
不一致补偿器1000接收重构的左图像和重构的水平不一致图，根据水平不一致图的不一致向量执行不一致补偿，并且最终重构右图像。
如上所述，不一致估计是用于搜索和估计提供右图像的象素到左图像的什么位置的过程，并且移动到水平轴的位置向量作为水平不一致图输出，而移动到垂直轴的位置向量作为垂直不一致图输出。一般地，不一致图表示水平不一致图，因为理想的立体图像的右和左图像只有水平不一致值，并且所有垂直不一致值是零。
根据第一个优选实施例的编码器和解码器用于理想系统，并且使用预先定义的MAC，该系统只有水平不一致值，垂直不一致值为0。
换句话说，根据优选实施例的编码器和解码器使用具有包括图1的不一致类型的传统辅助分量的video_object_layer_shape_extention的值，以分配水平不一致图给不一致类型辅助分量，并且将其编码。在这种情况下，从亮度数据和色度数据中找到不一致图用于亮度数据。
因为通过计算机由计算机图形学理想地产生立体视频，垂直不一致值可以全部设置为零，以便产生立体视频。因此，可以通过根据第一个优选实施例的编码器和解码器找到准确的不一致图，并且右图像的质量在某种程度上由这个信息保证。
但是，在由立体相机获得的真实图像的情况下，根据实际制造的立体相机的形状和性能，提供垂直不一致值，该值不同于由计算机图形学产生的图像。另外，因为由计算找到的水平不一致向量的不一致图的精度低于计算机图形图像的精度，只通过水平不一致信息重构的右图像的质量基本上劣化。进而，因为根据第一个优选实施例的不一致图没有关于闭塞区域的信息，难于精确地重构右图像，该信息不提供给左图像而提供给右图像。
因此，关于垂直不一致和残留纹理的信息以及关于水平不一致的信息作为关于右图像的信息添加到MPEG-4MAC，以定义具有图4和5的辅助分量的video_object_layer_shape_extention。
图4的video_object_layer_shape_extention包括从1011到1111的值，该值未由现有的MPEG-4MAC定义，而新定义为本发明的优选实施例中的辅助分量，而图5的video_object_layer_shape_extention在本发明的优选实施例中新定义，以便支持MPEG-4MAC不支持的4个辅助分量。
如图4和5中所示，不一致信息由水平和垂直不一致值分割为水平不一致图和垂直不一致图，残留纹理分类为亮度残留纹理和色度残留纹理信息，并且根据图像的重要性和复杂度选择辅助信息以执行编码。在这种情况下，亮度残留纹理信息表示解码后重构的左图像的数据、由重构的不一致图不一致补偿的右图像、和输入的右图像的亮度分量的残留图像。色度残留纹理信息表示编码后重构的左图像的数据、由重构的不一致图不一致补偿的右图像、和输入的右图像的色度分量的残留图像。
图6和7根据本发明的第二个优选实施例分别显示编码器和解码器。编码器和解码器建立具有水平不一致类型和亮度残留纹理类型的两个辅助分量的video_object_layer_shape_extention，其被新定义用于对立体视频编码；并且对立体视频编码和解码。
如图6中所示，编码器包含不一致估计器100、视频对象编码器200、辅助分量编码器320和340、不一致补偿器400、加法器500和可变长度编码器600。
视频对象编码器200接收立体视频的一个图像(在优选实施例中为左图像)，输出量化的视频对象和运动向量，并且输出由重构量化的视频对象得到的左图像。
不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图。
辅助分量编码器320接收水平不一致图，它是由不一致估计器100输出的辅助分量；以及由视频对象编码器200输出的运动向量，产生量化的水平不一致图，输出量化的水平不一致图，并且输出由重构量化的水平不一致图得到的水平不一致图。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度)和由辅助分量编码器320输出的重构的水平图的水平不一致向量，不一致补偿器400执行不一致补偿，并且输出补偿的右图像的象素值(亮度)。
加法器500对右图像的象素值(亮度)和由不一致补偿器400输出的不一致补偿的右图像的象素值(亮度)执行残留过程，以输出亮度残留纹理，并且辅助分量编码器340对亮度残留纹理编码以输出量化的亮度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图和由辅助分量编码器340输出的量化的亮度残留纹理执行可变长度编码，并且输出编码流。
图8显示由根据本发明的第二个优选实施例的编码器输出的编码流。如所示，由编码器(可变长度编码器)输出的编码流包括编码的视频对象(左图像)的宏块、用于编码的水平不一致图的辅助分量AC
的宏块和用于编码的亮度残留纹理的辅助分量AC［1］的宏块。
图7显示根据本发明的第二个优选实施例的解码器。
如所示，解码器包含可变长度解码器700、视频对象解码器800、辅助分量解码器920和940、不一致补偿器1000和加法器1100。
可变长度解码器700对由如图8中所示的编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据。
视频对象解码器800接收视频对象的量化数据和运动向量，并且对视频对象解码以对左图像解码。
辅助分量解码器920接收水平不一致图的量化数据和运动向量，并且对水平不一致图解码。
辅助分量解码器940接收亮度残留纹理的量化数据和运动向量，并且对亮度残留纹理解码。
不一致补偿器1000接收重构的左图像和重构的水平不一致图，并且根据水平不一致图的不一致向量执行不一致补偿。
加法器1100将来自不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像。
在图6和7中显示的第二个优选实施例中，作为单一的视频对象对左图像编码和解码，并且使用图4中显示的MAC对右图像编码和解码。即，分配参考左图像找到的基于象素的水平不一致图给aux_comp_type
，并且分配亮度残留纹理给aux_comp_type[1]以执行编码和解码，该亮度残留纹理是亮度分量的残留图像数据。
第二个优选实施例对简单图像或不要求精确重构的图像是可应用的，该简单图像当执行编码而没有垂直不一致图和色度残留纹理信息时没有极大地影响图像质量的恶化，该色度残留纹理信息是色度分量上的残留图像数据。
图9和10分别显示根据本发明的第三个优选实施例的编码器和解码器。编码器和解码器建立具有参考图4另外定义的水平不一致类型、亮度残留纹理类型和色度残留纹理类型的三个辅助分量的video_object_layer_shape_extention，并且执行编码和解码。
即，分配参考左图像找到的基于象素的水平不一致图给aux_comp_type
，分配亮度残留纹理给aux_comp_type[1]，而分配色度残留纹理给aux_comp_type[2]，该色度残留纹理是色度分量上的残留图像数据。该编码器和解码器可用于简单图像或不要求精确重构的图像，该简单图像当执行编码而没有垂直不一致图时没有极大地影响图像质量的恶化。
如图9中所示，根据本发明的第三个优选实施例的编码器包含不一致估计器100、视频对象编码器200、辅助分量编码器320、340以及360、不一致补偿器400、加法器500和可变长度编码器600。
与图6的编码器的那些组件执行相同或相似功能的图9的组件具有相同的参考号码，并且将不提供执行与图6的组件相同的操作的图9的组件的重复说明。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度和色度)和由辅助分量编码器320输出的重构的水平图的水平不一致向量，不一致补偿器400执行不一致补偿，并且输出补偿的右图像的象素值(亮度和色度)。
加法器500对不一致补偿的右图像的象素值(亮度和色度)和由不一致补偿器400输出的补偿的右图像的象素值(亮度和色度)执行残留过程，以输出亮度残留纹理和色度残留纹理，并且辅助分量编码器340和360对亮度残留纹理和色度残留纹理编码以输出量化的亮度残留纹理和量化的色度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图、由辅助分量编码器340输出的量化的亮度残留纹理和由辅助分量编码器360输出的量化的色度残留纹理执行可变长度编码，并且输出编码流。
图11显示由根据本发明的第三个优选实施例的编码器输出的编码流。如所示，由编码器输出的编码流包括编码的视频对象的宏块、用于编码的水平不一致图的辅助分量AC
的宏块、用于编码的亮度残留纹理的辅助分量AC[1]的宏块和用于编码的色度残留纹理的辅助分量AC[2]的宏块。
图10显示根据本发明的第三个优选实施例的解码器。
如所示，解码器包含可变长度解码器700、视频对象解码器800、辅助分量解码器920、940和960、不一致补偿器1000和加法器1100和1200。
与图7的解码器的那些组件执行相同或相似功能的图10的组件具有相同的参考号码，并且将不提供执行与图7的组件相同的操作的图10的组件的重复说明。
可变长度解码器700对由编码器输出并在图11中显示的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据、亮度残留纹理的量化数据和色度残留纹理的量化数据。
辅助分量解码器940接收亮度残留纹理的量化数据和运动向量，并且对亮度残留纹理解码。
辅助分量解码器960接收色度残留纹理的量化数据和运动向量，并且对色度残留纹理解码。
不一致补偿器1000接收重构的左图像和重构的水平不一致图，并且根据水平不一致图的不一致向量执行不一致补偿。
加法器1100把来自由不一致补偿器1000不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像的亮度分量。
加法器1200把来自不一致补偿的数据中的不一致补偿的色度纹理和由辅助分量解码器940输出的重构的色度残留纹理加起来，以重构右图像的色度分量。
图12和13分别显示根据本发明的第四个优选实施例的编码器和解码器。编码器和解码器建立具有水平不一致类型、垂直不一致类型和亮度残留纹理类型的三个辅助分量的video_object_layer_shape_extention，并且执行编码和解码，参考图4另外定义该三个辅助分量。
即，分配参考左图像找到的基于象素的水平不一致图给aux_comp_type
，分配参考左图像找到的基于象素的垂直不一致图给aux_comp_type[1]，并且分配亮度残留纹理给aux_comp_type[2]，该亮度残留纹理是亮度分量上的残留图像数据。编码器和解码器可用于简单图像或不要求精确重构的图像，该简单图像当执行编码而没有色度残留纹理信息时没有极大地影响图像质量的恶化，该色度残留纹理信息是色度分量上的残留图像数据。
如图12中所示，根据本发明的第四个优选实施例的编码器包含不一致估计器100、视频对象编码器200、辅助分量编码器320、340以及380、不一致补偿器420、加法器500和可变长度编码器600。
与图6的编码器的那些组件执行相同或相似功能的图12的组件具有相同的参考号码，并且将不提供执行与图6的组件相同的操作的图12的组件的重复说明。
不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图和垂直不一致图。
辅助分量编码器380接收由不一致估计器100输出的垂直不一致图和由视频对象编码器200输出的运动向量，产生量化的垂直不一致图，输出量化的垂直不一致图，并且输出由重构量化的垂直不一致图得到的垂直不一致图。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度)、由辅助分量编码器320输出的重构的水平不一致图的水平不一致向量和由辅助分量编码器380输出的重构的垂直不一致图的垂直不一致向量，不一致补偿器420执行不一致补偿，并且输出补偿的右图像的象素值(亮度)。
加法器500对右图像的象素值(亮度)和由不一致补偿器420输出的不一致补偿的右图像的象素值(亮度)执行残留过程，以输出亮度残留纹理，并且辅助分量编码器340对亮度残留纹理编码以输出量化的亮度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图、由辅助分量编码器380输出的量化的垂直不一致图和由辅助分量编码器360输出的量化的亮度残留纹理执行可变长度编码，并且输出编码流。
图14显示由根据本发明的第四个优选实施例的编码器输出的编码流。如所示，由编码器输出的编码流包括编码的视频对象的宏块、用于编码的水平不一致图的辅助分量AC
的宏块、用于编码的垂直不一致图的辅助分量AC[1]的宏块和用于编码的亮度残留纹理的辅助分量AC[2]的宏块。
图13显示根据本发明的第四个优选实施例的解码器。
如所示，解码器包含可变长度解码器700、视频对象解码器800、辅助分量解码器920、940和980、不一致补偿器2000和加法器1100。
与图7的解码器的那些组件执行相同或相似功能的图13的组件具有相同的参考号码，并且将不提供执行与图7的组件相同的操作的图13的组件的重复说明。
可变长度解码器700对由如图14中所示的编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据和亮度残留纹理的量化数据。
辅助分量解码器980接收垂直不一致图的量化数据和运动向量，并且对垂直不一致图解码。
不一致补偿器2000接收重构的左图像、重构的水平不一致图和重构的垂直不一致图，并且根据水平不一致图和垂直不一致图的不一致向量执行不一致补偿。
加法器1100把来自由不一致补偿器2000不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像的亮度分量。
图15和16分别显示根据本发明的第五个优选实施例的编码器和解码器。该编码器和解码器建立具有水平不一致类型、垂直不一致类型、亮度残留纹理类型和色度残留纹理类型的四个辅助分量的video_object_layer_shape_extention，并且执行编码和解码，如图5中所示，当MAC的辅助分量的数目增加到等于或大于四时另外定义该四个辅助分量。
即，编码器和解码器分配参考左图像找到的基于象素的水平不一致图给aux_comp_type
，分配参考左图像找到的基于象素的垂直不一致图给aux_comp_type[1]，分配作为亮度分量上的残留图像数据的亮度残留纹理给aux_comp_type[2]，并且分配作为色度分量上的残留图像数据的色度残留纹理给aux_comp_type[3]，以执行编码和解码。
上述第五个优选实施例可应用到这样的情况通过使用右图像上所有种类的辅助信息重构高质量图像。
如图15中所示，根据本发明的第五个优选实施例的编码器包含不一致估计器100、视频对象编码器200、辅助分量编码器320、340、360以及380、不一致补偿器420、加法器500和可变长度编码器600。
与图12的编码器的那些组件执行相同或相似功能的图15的组件具有相同的参考号码，并且将不提供执行与图12的组件相同的操作的图15的组件的重复说明。
不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图和垂直不一致图。
辅助分量编码器380接收由不一致估计器100输出的垂直不一致图和由视频对象编码器200输出的运动向量，产生量化的垂直不一致图，输出量化的垂直不一致图，并且输出由重构量化的垂直不一致图得到的垂直不一致图。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度和色度)、由辅助分量编码器320输出的重构的水平不一致图的水平不一致向量和由辅助分量编码器380输出的重构的垂直不一致图的垂直不一致向量，不一致补偿器420执行不一致补偿，并且输出补偿的右图像的象素值(亮度和色度)。
加法器500对右图像的象素值(亮度和色度)和由不一致补偿器420输出的不一致补偿的右图像的象素值(亮度和色度)执行残留过程，以输出亮度残留纹理和色度残留纹理，并且辅助分量编码器340和辅助分量编码器360分别对亮度残留纹理和色度残留纹理编码，以输出量化的亮度残留纹理和量化的色度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图、由辅助分量编码器380输出的量化的垂直不一致图、由辅助分量编码器340输出的量化的亮度残留纹理和由辅助分量编码器360输出的量化的色度残留纹理执行可变长度编码，并且输出编码流。
图17显示由根据本发明的第五个优选实施例的编码器输出的编码流。如所示，由编码器输出的编码流包括编码的视频对象的宏块、用于编码的水平不一致图的辅助分量AC
的宏块、用于编码的垂直不一致图的辅助分量AC[1]的宏块、用于编码的亮度残留纹理的辅助分量AC[2]的宏块和用于编码的色度残留纹理的辅助分量AC[3]的宏块。
图16显示根据本发明的第五个优选实施例的解码器。
如所示，解码器包含可变长度解码器700、视频对象解码器800、辅助分量解码器920、940、960和980、不一致补偿器2000和加法器1100和1200。
与图13的解码器的那些组件执行相同或相似功能的图16的组件具有相同的参考号码，并且将不提供执行与图13的组件相同的操作的图16的组件的重复说明。
可变长度解码器700对如图17中所示并由编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据、亮度残留纹理的量化数据和色度残留纹理的量化数据。
不一致补偿器2000接收重构的左图像、重构的水平不一致图和重构的垂直不一致图，并且根据水平不一致图和垂直不一致图的不一致向量执行不一致补偿。
加法器1100把来自由不一致补偿器2000不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像的亮度分量。
加法器1200把来自由不一致补偿器2000不一致补偿的数据中的不一致补偿的色度纹理和由辅助分量解码器960输出的重构的色度残留纹理加起来，以重构右图像的色度分量。
现在将进一步详细说明视频对象编码器200、辅助分量编码器320、340、360和380、视频对象解码器800和辅助分量解码器920、940、960和980。
图18显示用于根据本发明的优选实施例的视频对象编码器200的详细方块图。
如所示，视频对象编码器200包含编码单元220、解码单元240、运动估计器260和运动补偿器280。
编码单元220对视频对象数据(左图像)和已经经过残留过程的运动补偿的数据执行离散余弦变换，量化离散余弦变换的数据，并且输出量化的视频对象。编码单元220包含加法器221，用于对视频对象数据和运动补偿的数据执行残留过程；DCT(离散余弦变换器)222，用于对由加法器221输出的残留数据执行离散余弦变换；以及量化器223，用于量化由DCT 222输出的数据。
解码单元240对由编码单元220输出的量化的视频对象去量化，并且对去量化的数据执行逆离散余弦变换以重构视频对象数据。解码单元240包含去量化器241，用于对由编码单元220输出的量化的视频对象去量化；IDCT(逆离散余弦变换器)242，用于对由去量化器241输出的数据执行逆离散余弦变换；加法器243，用于把由IDCT 242输出的视频对象和运动补偿的数据加起来以重构视频对象数据；以及存储器244，用于存储由加法器243输出的重构的左图像。
运动估计器260比较视频对象数据(左图像)和存储在存储器244中的前一帧的重构的左图像，以输出运动向量MV。
运动补偿器280比较由运动估计器260输出的运动向量和存储在存储器244中的前一帧的左图像，以输出运动补偿数据。
图19显示用于根据本发明的优选实施例的辅助分量编码器300的详细方块图。
如所示，辅助分量编码器300包含编码单元310、解码单元330和运动补偿器350。
编码单元310对辅助分量数据和已经经过残留过程的运动补偿的数据执行离散余弦变换，量化离散余弦变换的数据，并且输出量化的辅助分量数据。编码单元310包含加法器331，用于对辅助分量数据和运动补偿的数据执行残留过程；DCT(离散余弦变换器)312，用于对由加法器331输出的残留数据执行离散余弦变换；以及量化器313，用于量化由DCT 312输出的数据。
解码单元330对由编码单元310输出的量化的辅助分量数据去量化，并且对去量化的数据执行逆离散余弦变换以重构辅助分量数据。解码单元330包含去量化器331，用于对由编码单元310输出的量化的辅助分量数据去量化；IDCT(逆离散余弦变换器)332，用于对由去量化器331输出的数据执行逆离散余弦变换；加法器333，用于把由IDCT 332输出的辅助分量数据和运动补偿的数据加起来以重构辅助分量数据；以及存储器334，用于存储由加法器333输出的重构的辅助分量数据。
运动补偿器350比较由视频对象编码器200的运动估计器260输出的运动向量和存储在存储器334中的前一帧的辅助分量数据，以输出辅助分量上的运动补偿数据。
图20显示用于根据本发明的优选实施例的视频对象解码器800的详细方块图。
如所示，视频对象解码器800包含去量化器810、IDCT 820、加法器830、运动补偿器850和存储器840。
去量化器810对由可变长度解码器输出视频对象的量化数据去量化，IDCT 820对由去量化器810输出的数据执行逆离散余弦变换，并且运动补偿器850比较存储在存储器840中的前一帧的重构的视频对象数据和运动向量以对运动进行补偿，并且输出补偿的运动向量数据。
加法器830把由IDCT 820输出的视频对象和由运动补偿器850输出的运动补偿的向量数据加起来，以输出重构的视频对象数据。
图21显示用于根据本发明的优选实施例的辅助分量解码器900的详细方块图。
如所示，辅助分量解码器900包含去量化器901、IDCT 902、加法器903、运动补偿器905和存储器904。
去量化器901对由可变长度解码器输出的辅助分量的量化数据去量化，IDCT 902对由去量化器901输出的数据执行逆离散余弦变换，而运动补偿器905比较存储在存储器904中的前一帧的重构的辅助分量数据和运动向量以对运动进行补偿，并且输出补偿的运动向量数据。
加法器903把由IDCT 902输出的辅助分量数据和由运动补偿器905输出的运动补偿的向量数据加起来，以输出重构的视频对象数据。
如所述，因为根据本发明的优选实施例，通过使用MPEG-4的MAC对立体视频编码，所以提供了对使用当前的MPEG-4编码技术和系统的兼容性。
同样地，因为右和左图像的编码流作为单一的编码流输出，所以右和左图像间的同步被简单地执行。
进而，通过以各种方式分配右图像的辅助信息的四个分量给MAC，根据用户或制作者想要的图像质量水平选择其方式，并且将其编码，改善了编码效率。
虽然已经结合目前被认为最实用和优选的实施例说明了本发明，但要理解，本发明不限于所公开的实施例，而正相反，意图在于覆盖包括在权利要求的精神和范围内的各种修改和等效安排。
例如，辅助信息使用由MPEG-4标准定义的MAC分配，此外，还可以使用由其它协议定义的信息。
如所述，对使用现有的MPEG-4编码技术和系统的兼容性被保持，并且右和左图像间同步的复杂度被最小化。
另外，通过根据图像的重要性和复杂度选择性控制图像质量并对它编码，改善了编码效率。
权利要求
1.一种用于对包括第一和第二图像的立体视频编码的方法，包含(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；(b)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及(c)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并且输出量化的水平不一致图。
2.根据权利要求1所述的方法，还包含(d)对量化的视频对象、运动向量和量化的水平不一致图执行可变长度编码，并且作为单一流输出它们。
3.根据权利要求1所述的方法，其中量化的水平不一致图被分配给MPEG-4MAC(多重辅助分量)的不一致类型的辅助分量，并且被编码。
4.根据权利要求1所述的方法，其中第一图像是左图像，而第二图像是右图像。
5.一种用于对包括第一和第二图像的立体视频解码的方法，包含(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；(b)根据视频对象的量化数据和运动向量，对视频对象解码并且重构第一图像；(c)根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；以及(d)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且重构第二图像。
6.根据权利要求5所述的方法，其中第一图像是左图像，而第二图像是右图像。
7.一种用于对包括第一和第二图像的立体视频编码的方法，包含(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并且输出量化的水平不一致图；(e)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；(f)根据(b)中重构的第一图像的象素值和(e)中重构的水平不一致图的水平不一致向量值，执行不一致补偿并输出不一致补偿的第二图像的象素值；以及(g)对第二图像的象素值和(f)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
8.根据权利要求7所述的方法，还包含(h)对量化的视频对象、运动向量、量化的水平不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
9.根据权利要求7所述的方法，其中量化的水平不一致图和量化的亮度残留纹理被分配给MPEG-4MAC，然后被编码。
10.根据权利要求7所述的方法，其中第一图像是左图像，而第二图像是右图像。
11.根据权利要求7所述的方法，还包含(h)对第二图像的象素值和(f)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
12.根据权利要求11所述的方法，还包含(i)对量化的视频对象、运动向量、量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
13.根据权利要求11所述的方法，其中量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理被分配给MPEG-4MAC，然后被编码。
14.一种用于对包括第一和第二图像的立体视频解码的方法，包含(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；(b)根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；(c)根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；(d)根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；(e)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及(f)把不一致补偿的亮度纹理和(d)中重构的亮度残留纹理加起来，以重构第二图像。
15.根据权利要求14所述的方法，其中第一图像是左图像，而第二图像是右图像。
16.根据权利要求14所述的方法，其中步骤(a)包含接收编码流，并且另外输出色度残留纹理的量化数据，步骤(d)另外包含根据色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码，以及步骤(f)另外包含把不一致补偿的色度纹理和色度残留纹理加起来，以重构第二图像。
17.一种用于对包括第一和第二图像的立体视频编码的方法，包含(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图和基于象素的垂直不一致图；(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并且输出量化的水平不一致图；(e)根据基于象素的垂直不一致图和运动向量，对垂直不一致图编码并且输出量化的垂直不一致图；(f)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；(g)重构(d)中输出的量化的垂直不一致图，并且输出重构的垂直不一致图；(h)根据(b)中重构的第一图像的象素值、(f)中重构的水平不一致图的水平不一致向量值和(h)中重构的垂直不一致图的垂直不一致向量值，执行不一致补偿并输出不一致补偿的第二图像的象素值；以及(i)对第二图像的象素值和(h)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
18.根据权利要求17所述的方法，还包含(j)对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
19.根据权利要求17所述的方法，其中量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理被分配给MPEG-4MAC，然后被编码。
20.根据权利要求17所述的方法，其中第一图像是左图像，而第二图像是右图像。
21.根据权利要求17所述的方法，还包含(j)对第二图像的象素值和(h)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
22.根据权利要求21所述的方法，还包含(k)对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
23.一种用于对包括第一和第二图像的立体视频解码的方法，包含(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据和亮度残留纹理的量化数据；(b)根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；(c)根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；(d)根据垂直不一致图的量化数据和运动向量，对垂直不一致图的量化数据解码；(e)根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；(f)根据重构的第一图像、解码的水平不一致图和解码的垂直不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及(g)把不一致补偿的亮度纹理和(e)中重构的亮度残留纹理加起来，以重构第二图像。
24.根据权利要求23所述的方法，其中步骤(a)包含接收编码流，并且另外输出色度残留纹理的量化数据；步骤(e)另外包含根据色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码；以及步骤(g)另外包含把不一致补偿的色度纹理和色度残留纹理加起来，以重构第二图像。
25.一种用于包括第一和第二图像的立体视频的编码器，包含视频对象编码器，用于对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及辅助分量编码器，用于根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对水平不一致图编码并且输出量化的水平不一致图。
26.根据权利要求25所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量和量化的水平不一致图执行可变长度编码，并且作为单一流输出它们。
27.一种用于包括第一和第二图像的立体视频的解码器，包含可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；视频对象解码器，用于根据由可变长度解码器输出的视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；辅助分量解码器，用于根据由可变长度解码器输出的水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；以及不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且重构第二图像。
28.一种用于包括第一和第二图像的立体视频的编码器，包含视频对象编码器，用于对第一图像编码以输出第一图像的量化的视频对象和运动向量，并且对量化的视频对象编码以输出重构的第一图像；不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；第一辅助分量编码器，用于对水平不一致图编码以输出量化的水平不一致图，并且根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对输出和量化的水平不一致图解码以输出重构的水平不一致图；不一致补偿器，用于根据由视频对象编码器输出的重构的第一图像的象素值和由第一辅助分量编码器输出的重构的水平不一致图的水平不一致向量值，执行不一致补偿并且输出不一致补偿的第二图像的象素值；第二辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
29.根据权利要求28所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
30.根据权利要求28所述的编码器，其中量化的水平不一致图和量化的亮度残留纹理被分配给MPEG-4MAC，然后被编码。
31.根据权利要求28所述的编码器，还包含第三辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
32.根据权利要求31所述的编码器，还包含变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
33.根据权利要求31所述的编码器，其中量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理被分配给MPEG-4MAC，然后被编码。
34.根据权利要求28所述的编码器，其中不一致估计器参考第一图像另外输出第二图像上的基于象素的垂直不一致图；用于立体视频的编码器还包含第三辅助分量编码器，用于根据由不一致估计器输出的基于象素的垂直不一致图和由视频对象编码器输出的运动向量，对垂直不一致图编码并输出量化的垂直不一致图；以及根据重构的第一图像的象素值、重构的水平不一致图的水平不一致向量值和重构的垂直不一致图，不一致补偿器执行不一致补偿并输出不一致补偿的第二图像的象素值。
35.根据权利要求34所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
36.根据权利要求34所述的编码器，其中量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理被分配给MPEG-4MAC，然后被编码。
37.根据权利要求34所述的编码器，还包含第四个辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
38.根据权利要求37所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
39.根据权利要求28所述的编码器，其中视频对象编码器包含编码单元，用于对第一图像和运动补偿的数据执行残留过程，对该数据执行离散余弦变换和量化，并且输出量化的视频对象；解码单元，用于对由编码单元输出的量化的视频对象执行去量化和逆离散余弦变换，重构视频对象数据，并且在存储器中存储重构的视频对象数据；运动估计器，用于比较第一图像和存储器中存储的前一帧的重构的视频对象数据，并且输出运动向量；以及运动补偿器，用于比较由运动估计器输出的运动向量和存储器中存储的前一帧的重构的视频对象数据，并且输出运动补偿数据。
40.根据权利要求39所述的编码器，其中第一辅助分量编码器包含编码单元，用于对水平不一致图和运动补偿的数据执行残留过程，对该数据执行离散余弦变换和量化，并且输出量化的水平不一致图；解码单元，用于对由编码单元输出的量化的水平不一致图执行去量化和逆离散余弦变换，重构水平不一致图，并且在存储器中存储重构的水平不一致图；以及运动补偿器，用于比较由视频对象编码器的运动估计器输出的运动向量和存储器中存储的前一帧的重构的水平不一致图，并且输出运动补偿数据。
41.一种用于包括第一和第二图像的立体视频的解码器，包含可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；视频对象解码器，用于根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；第一辅助分量解码器，用于根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；第二辅助分量解码器，用于根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由第一辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理和不一致补偿的色度纹理；以及第一加法器，用于把由不一致补偿器输出的不一致补偿的亮度纹理和由第二辅助分量解码器输出的重构的亮度残留纹理加起来。
42.根据权利要求41所述的解码器，其中可变长度解码器另外输出色度残留纹理的量化数据，以及用于立体视频的解码器还包含第三辅助分量解码器，用于根据由可变长度解码器输出的色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码；以及第二加法器，用于把由不一致补偿器输出的不一致补偿的色度纹理和由第三辅助分量解码器输出的重构的色度残留纹理加起来。
43.根据权利要求41所述的解码器，其中可变长度解码器另外输出垂直不一致图的量化数据；用于立体视频的解码器还包含第三辅助分量解码器，用于根据由可变长度解码器输出的垂直不一致图的量化数据和运动向量，对垂直不一致图的量化数据解码；以及根据由视频对象解码器输出的重构的第一图像、由第一辅助分量解码器输出的解码的水平不一致图和由第三辅助分量解码器输出的解码的垂直不一致图，不一致补偿器执行不一致补偿，并且输出不一致补偿的亮度纹理和不一致补偿的色度纹理。
44.根据权利要求43所述的解码器，其中可变长度解码器另外输出色度残留纹理的量化数据，以及用于立体视频的解码器还包含第四辅助分量解码器，用于根据由可变长度解码器输出的色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码；以及第二加法器，用于把由不一致补偿器输出的不一致补偿的色度纹理和由第三辅助分量解码器输出的重构的色度残留纹理加起来。
45.根据权利要求41所述的解码器，其中视频对象解码器包含去量化器，用于对由可变长度解码器输出的视频对象的量化数据去量化；IDCT(逆离散余弦变换器)，用于对由去量化器输出的数据执行逆离散余弦变换；运动补偿器，用于比较前一帧的重构的视频对象数据和运动向量以对运动进行补偿，并且输出运动向量；以及加法器，用于把由IDCT输出的视频对象和由运动补偿器输出的运动补偿的数据加起来。
46.根据权利要求41所述的解码器，其中第一辅助分量解码器包含去量化器，用于对由可变长度解码器输出的水平不一致图的量化数据去量化；IDCT(逆离散余弦变换器)，用于对由去量化器输出的数据执行逆离散余弦变换；运动补偿器，用于比较前一帧的重构的水平不一致图和运动向量以对运动进行补偿，并且输出运动向量；以及加法器，用于把由IDCT输出的水平不一致图和由运动补偿器输出的运动补偿的数据加起来。
47.一种用于对包括第一和第二图像的立体视频编码/解码的方法，其中作为视频对象建立第一图像，作为第一图像的辅助信息的第二图像被分配给MPEG-4MAC，然后被编码/解码。
48.根据权利要求47所述的方法，其中辅助信息包括下列至少之一水平不一致图，包含参考第一图像的右图像的基于象素的水平不一致向量值；垂直不一致图，包含参考第一图像的右图像的基于象素的垂直不一致向量值；亮度残留纹理，包括编码后重构的第一图像，由重构的不一致图不一致补偿的第二图像，以及输入的第二图像上的亮度分量上的残留图像数据；以及色度残留纹理，包括编码后重构的第一图像，由重构的不一致图不一致补偿的第二图像，以及输入的第二图像上的色度分量上的残留图像数据。
全文摘要
通过使用由现有的MPEG－4标准定义的MAC对立体视频编码和解码。立体视频被分割为作为单个视频对象的一个图像；以及另一个图像，作为用于作为视频对象建立的图像的辅助信息。所述辅助信息包括水平不一致图、垂直不一致图、亮度残留纹理和色度残留纹理，它们根据图像的重要性和复杂度分别被分配给MAC的辅助分量，被编码，然后作为单一编码流被输出。
文档编号H04N7/24GK1742488SQ03826007
公开日2006年3月1日 申请日期2003年1月22日 优先权日2002年12月27日
发明者曹叔嬉, 崔润静, 尹国镇, 李珍焕, 咸泳权, 安致得, 金庸汉 申请人:韩国电子通信研究院