专利名称：编码图像信息的方法和设备及解码图像信息的方法和设备的制作方法
技术领域：
本发明涉及图像信息编码设备和方法、图像信息解码设备和方法以及图像信息编码/解码程序，在通过网络媒体比如广播卫星、有线TV或因特网接收通过正交变换比如离散余弦变换(DCT)和如在MPEG(运动图像专家组)、H.26X等中的运动补偿而压缩的图像信息(位流)时或者在存储媒体(比如光盘、磁盘、高速存储器等)中操纵这种图像信息时使用它们。
本申请要求2001年11月30日申请的日本专利申请No.2001-367867为优先权，在此将其全部内容以引用参考的方式结合在本申请中。
背景技术：
最近，在从广播站发布信息和在普通的家里接收信息中已经广泛地使用符合MPEG等的设备，并且在这种设备中以通过使用冗余唯一性的运动补偿和正交变换比如DCT压缩图像信息以数字数据的形式操纵图像信息，以便图像信息实现高效率的传输和图像信息的存储。
其中MPEG-2(IS/IEC13818-2)是一种十分公知的可适用于隔行图像和顺序扫描图像以及标准分辨率图像和高清晰度图像的通用图像编码系统。它将继续广泛地使用在专业和用户应用中。使用MPEG-2压缩系统，通过将4至8Mbps的位速率分配给例如包括720×480像素的标准分辨率隔行图像和将18至22Mbps的位速率分配给包括1920×1088像素的高清晰度隔行图像，可以实施高数据压缩比率和图像质量。
MPEG-2主要用于广播的高图像质量编码，但它并不支持比在MPEG-1的位速率更低的任何位速率，即不支持以更高的压缩速率的任何编码。然而，由于移动终端已经广泛地使用，相信将来会越来越需要用于MPEG-2的广播的高图像质量编码。在这些情况下，使MPEG-4编码系统标准化。对于进行图像编码，在1998年12月将MPEG-4作为国际标准ISO/IEC14496-2。
最近，H.26L(ITU-T Q6/16 VCEG)在标准化的过程最初的目的是用于电话会议的图像编码。公知的是，与常规的编码系统比如MPEG-2和MPEG-4相比，这种H.26L是用于实现高效率的编码，虽然它要求许多操作用于图像信息的编码和解码。基于H.26L和H.26L不支持的涵盖功能的系统被标准化为用于更高效率的编码的“增强的压缩视频编码的连接模型”。这种标准化是MPEG-4领域的一部分。
附图1所示为常规的图像信息编码器的结构，该图像信息编码器通过正交编码比如DCT(离散余弦变换)或Karhunen-Loeve变换(KLT)和运动补偿压缩图像。图像信息编码器以100总体地表示。如附图1所示，图像信息编码器100包括A-D(模拟数字)转换器101、帧重新整理缓冲器102、加法器103、正交变换单元104、量化器105、可逆编码器106、存储缓冲器107、去量化器108、反向正交变换单元109、帧存储器110、运动估计/补偿单元111和速率控制器112。
如附图1所示，A-D转换器101将输入图像信号转换为数字信号。帧重新整理缓冲器102相应地将帧重新整理到从图像信息编码器100中输出的压缩图像信息的GOP(图像组)配置中。同时，对于要进行帧内编码的图像，帧重新整理缓冲器102将整个帧上的图像信息输送给正交变换单元104。正交变换单元104进行图像信息的正交变换比如DCT(离散余弦变换)或Karhunen-Loeve变换(KLT)，并将转换系数输送给量化器105。量化器105对从正交变换单元104中输送的转换系数进行量化。
可逆编码器106进行量化的转换系数的可逆编码(比如可变长度编码或算术编码)，并将编码的转换系数输送给存储缓冲器107，转换系数存储在该存储缓冲器107中。编码的转换系数作为压缩的图像信息提供。
量化器105的行为受速率控制器112控制。此外，量化器105将量化的转换系数输送给去量化器108，去量化器108对输送的转换系数进行去量化。反向正交变换单元109对去量化的转换系数进行反向正交变换以产生解码的图像信息并将该信息输送给帧存储器110。
另一方面，对于要进行帧内编码的图像，帧重新整理缓冲器102将图像信息输送给运动估计/补偿单元111.同时，运动估计/补偿单元111从帧存储器110中取出参考图像信息，并进行该信息的运动估计/补偿以产生参考的图像信息。运动估计/补偿单元111将参考图像信息输送给加法器103，该加法器103将参考图像信息转换为表示参考图像信息与原始图像信息的差值的信号。此外，在同时，运动估计/补偿单元111将运动矢量信息输送给可逆编码器106。
可逆编码器106进行运动矢量信息的可逆编码(比如可变长度编码或算术编码)以形成也插入到压缩的图像信息的头部中的信息。应该注意的是，其它的过程与要进行帧内编码的图像信息相同，故在此不再作任何描述。
附图2所示为与前述的图像信息编码器100对应的常规的图像信息解码器的结构的示意图。图像信息解码器以参考标号120总体地表示。如附图2所示，图像信息解码器120包括存储缓冲器121、可逆解码器122、去量化器123、反向正交变换单元124、加法器125、帧重新整理缓冲器126、D-A转换器127、运动估计/补偿单元128和帧存储器129。
如附图2所示，存储缓冲器121临时地存储输入的压缩图像信息，然后将它传输到可逆解码器122。可逆解码器122基于预定的压缩图像信息格式进行压缩的图像信息的可变长度解码或算术解码，并将量化的转换系数输送给去量化器123。此外，在该帧是一个已经进行了帧内编码的帧时，可逆解码器122也对插入在压缩的图像信息的头部中的运动矢量信息进行解码，并将该信息输送给运动估计/补偿单元128。
去量化器123对从可逆解码器122中输送的量化的转换系数进行去量化，并将转换系数输送给反向正交变换单元124。反向正交变换单元124基于预定的压缩图像信息格式进行转换系数的反向离散余弦变换(反向DCT)或反向正交变换比如反向Karhunen-Loeve变换(反向KLT)。
注意，在帧是一个已经进行了帧内编码的帧的情况下，反向正交变换图像信息将被存储在帧重新整理缓冲器126中，在D-A转换器127中进行D/A转换，然后输出。
在另一方面，在该帧是一个已经进行了帧内编码的帧的情况下，基于已经进行反向解码的运动矢量信息和存储在帧存储器129中的图像信息产生参考图像，在加法器125中将该参考图像和反向正交变换单元124的输出组合在一起。应该注意的是，其它的处理过程与对帧内编码帧的处理过程相同，故在此不再作任何描述。
注意，作为图形信号的彩色信息格式，广泛地使用YUV格式，而MPEG-2支持420格式。附图3所示为在图形信号与隔行图像相关时在亮度和色差信号之间的相位关系。如附图3所示，MPEG2规定，在第一域中，色差信号应该存在于覆盖亮度信号的采样周期的一个相位的四分之一中，在第二域中，它应该存在于该相位的四分之三中。
在MPEG-2中，定义了两种运动估计/补偿模式域运动估计/补偿模式和帧运动估计/补偿模式。下文将参考附图描述这些模式。
在附图4中示出了帧运动估计/补偿模式。帧运动估计/补偿模式用于对由两个隔行的域形成的帧进行运动估计和补偿。对于由16像素和16行隔行的每个块预测亮度信号。附图4所示为目标帧从与目标帧隔开一个帧的参考帧的运动的前向估计和补偿的实例。对于以相对较低的与保持较高的帧内相关等速运动的帧，这种帧运动估计和补偿是有效的。
附图5所示为域运动估计/补偿模式。这个域运动估计/补偿模式用于进行每个域的运动补偿。如附图5所示，对于第一域使用运动矢量mv1和对于第二域使用运动矢量mv2估计域运动。
此外，参考域可以是第一域，并且在宏块数据中将它设置为运动垂直域选择标志。如附图5所示，第一域用作第一和第二域的参考域。应用这种域运动估计/补偿模式，估计在宏块中的每个域的域运动，因此以8行16像素的域块为单元预测亮度信号。
注意，对于P图形(预测编码图形)或者单向预测的B-图形(双向预测的编码图形)，每个宏块要求两条运动矢量信息。此外，对于双向预测编码的B-图形，每个宏块要求四条运动矢量信息。因此，域运动估计/补偿模式允许通过估计每个域的运动以改善的估计效率估计局部运动和加速的运动，但由于与帧运动估计/补偿模式相比它要求两倍的运动矢量信息量，因此总的编码效率可以降低。
根据H.26L，基于可变的块大小估计并补偿运动以实现较高的编码效率。根据当前的H.26L，将顺序扫描的图形作为输入。然而，目前，存在的趋势是扩展H.26L以便可以操纵隔行图形。例如，“Core Experiment on Interlaced Video Coding”(VCEG-N85，ITU-T)定义了如在附图6中所示的用于隔行图形的二十种类型的块尺寸。
此外，H.26L定义了以高达1/4或者1/8-像素的精度进行运动估计和补偿。然而，目前，这种标准仅定义了用于顺序扫描的图形的运动估计和补偿。
附图7所示为在H.26L中所定义的1/4-像素精度的运动估计和补偿。为产生具有1/4-像素精度估计的图形，首先基于存储在帧存储器中的像素值并对每个水平和垂直方向使用6-抽头的FIR滤波器产生具有1/2-像素精度的像素值。应该注意，FIR滤波器的系数由下式(1)确定{1，-5，20，20，-5，1}/32…………………(1)
然后，基于如上产生的以1/2-像素精度估计的图形并通过线性插值产生以1/4-像素精度估计的图形。
此外，H.26L定义了通过如下的表达式(2)给出的滤波器组以用于1/8-像素精度的运动的估计和补偿。
111/8{-3，12，-37，485，71，-21，6，-1}/5122/8{-3，12，-37，229，71，-21，6，-1}/2563/8{-6，-24，-76，387，229，-60，18，-4}/5124/8{-3，-12，-39，158，158，-39，12，-3}/2565/8{-4，18，-60，229，387，76，24，-6}/5126/8{-1，6，-21，71，229，-37，12，-3}/2567/8{-1，6，-21，71，485，-37，12，-3}/512……………………(2)附图8所示为在基于MPEG-2压缩的图像信息中在宏块处于帧运动估计/补偿模式和运动矢量垂直分量的值为1.0时在亮度信号和色差信号之间的相位关系。如附图8所示，色差信号应该是使每个像素存在于由三角形定义的相位中的信号，但它实际存在于以方块所示的相位中。在运动矢量垂直分量的值是…，-3.0，5.0，9.0，…时即它是4n+1.0(n是整数)时这个问题也会发生。
附图9所示为在基于MPEG-2压缩的图像信息中在宏块处于域运动估计/补偿模式并且运动矢量垂直分量的值为2.0时在亮度信号和色差信号之间的相位关系。如附图9所示，色差信号应该是使每个像素存在于由三角形定义的相位中的信号，但它实际存在于以方块定义的相位中。在运动矢量垂直分量的值是…，±2.0，±6.0，±10.0，…时即它是4n+2.0(n是整数)时这个问题也会发生。
在如附图9所示的问题发生时，参考用于色差信号的域和用于亮度信号的不同的域，因此图像质量极大地降低。这种问题不会使在基于MPEG-2的图形编码系统中的图像质量极大地降低，在这种系统中允许以下至1/2-像素的精度进行运动估计和补偿。然而，在基于MPEG-4或H.26L的图形编码系统中，由于允许以下至1/4-像素或1/8-像素的精度分别进行运动估计和补偿，该问题可能是造成图像质量降低的重要原因。
在宏块处于帧运动估计/补偿模式以及处于域估计模式时这种问题就产生了，并且在以如附图6中所示的可变块尺寸实现运动补偿时也会发生这种问题。
发明内容
因此，本发明的一个目的是如下克服在相关技术中的上述缺陷，提供一种图像信息编码设备和方法、图像信息解码设备和方法以及图像信息编码/解码程序，它们能够校正在输入信号是隔行信号时由运动估计和补偿引起的色差信号的相移，由此改善了压缩的图像信息的输出图像的质量。
上述的目的可以通过提供一种图像信息编码方法实现，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该方法包括如下的步骤对于运动估计和补偿，将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的方法中，输入图像信号是一种420的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息编码方法中的运动估计/补偿，参考图像块中的色差信号自适应地相移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述目的还可以通过提供一种图像信息编码器实现，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该设备包括相位校正装置，对于运动估计和补偿，该相位校正装置将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的设备中，输入图像信号是一种420的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息编码器中的运动估计/补偿，参考图像块中的色差信号自适应地相移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述的目的还可以通过提供一种图像信息解码方法实现，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码的图像串进行包括运动补偿的解压缩，该方法包括如下的步骤对于运动估计和补偿，将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的方法中，输入图像信号是一种420的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息解码方法中的运动估计/补偿，参考图像块中的色差信号自适应地相移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述的目的还可以通过提供一种图像信息解码器实现，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码的图像串进行包括运动补偿的解压缩，该设备包括相移装置，对于运动估计和补偿，该相移装置将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的方法中，输入图像信号是一种420的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息解码器中的运动估计/补偿，参考图像块中的色差信号自适应地相移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述的目的还可以通过提供一种图像信息压缩编码程序实现，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该程序包括如下的步骤对于运动估计和补偿，将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的程序中，输入图像信号是一种420的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息压缩编码程序中的运动估计/补偿，参考图像块中的色差信号自适应地相移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
结合附图，通过参考下文对实施本发明的最佳模式的详细描述将会更加清楚本发明的这些目的、其它目的、特征和优点。
附图1所示为通过正交变换和运动补偿对图像进行压缩编码的常规图像信息编码器的结构示意图。
附图2所示为对通过正交变换和运动补偿压缩的图像信息进行解码的常规图像信息解码器的结构的示意图。
附图3所示为在输入图像信号是420格式的隔行图像时在亮度和色差信号之间的相位关系。
附图4解释了在MPEG-2中定义的帧运动估计/补偿模式。
附图5解释了在MPEG-2中定义的域运动估计/补偿模式。
附图6解释了在“Core Experiment on Interlaced VideoCoding”(VCEG-N85，ITU-T)中定义的并且输入隔行图像(如果有的话)所采取的十二种可能的块大小。
附图7解释了在H.26L中定义的1/4-像素精度运动估计/补偿。
附图8解释了在宏块处于帧运动估计/补偿模式中并且在运动矢量中的垂直分量的值是1.0时在MPEG-2压缩的图像信息中的亮度信号和色差信号之间的相位关系。
附图9解释了在宏块处于帧运动估计/补偿模式中并且在运动矢量中的垂直分量的值是2.0时在MPEG-2压缩的图像信息中的亮度信号和色差信号之间的相位关系。
附图10所示为根据本发明的图像信息编码器的结构的示意图。
附图11所示为根据本发明的图像信息解码器的结构的示意图。
附图12解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量的值是1.0时在色差信号相位校正单元中进行的操作。
附图13解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量的值是2.0时在色差信号相位校正单元中进行的操作。
附图14解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量的值是3.0时在色差信号相位校正单元中进行的操作。
附图15解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量具有比整数像素值更小的操作时在色差信号相位校正单元中进行的操作。
附图16解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第一域产生第一域的预测图形时在色差信号相位校正单元中进行的操作。
附图17解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第一域产生第一域的预测图形时在色差信号相位校正单元中进行的操作。
附图18解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图19解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图20解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第一域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图21解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第一域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图22解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图23解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
具体实施例方式
下文参考附图描述本发明的实施例。在这些实施例中，本发明应用于图像信息编码器，向该图像信息编码器输送420的格式的隔行图像作为输入信号并通过正交变换和运动估计和补偿压缩该图像，本发明还应用于图像信息解码器，该图像信息解码器对这种压缩的图像信息进行解码。在图像信息编码器和解码器中，校正由运动估计和补偿引起的色差信号的相移以防止输出的压缩的图像信息的质量降低。
首先，参考附图10描述根据本发明的图像信息编码器的结构。图像信息编码器以参考标号10总体地表示。如附图10所示，图像信息编码器10包括A-D(模拟-数字)转换器11、帧重新整理缓冲器12、加法器13、正交变换单元14、量化器15、可逆编码器16、存储缓冲器17、去量化器18、反向正交变换单元19、帧存储器20、运动估计/补偿单元(可变的块大小)21、色差信号相位校正单元22和速率控制器23。
如附图10所示，给A-D转换器11输送图像信号并将输入图像信号转换为数字信号。然后，帧重新整理缓冲器12对应地将帧重新整理到从图像信息编码器10中输出的压缩图像信息的GOP(图像组)配置中。同时，对于要进行帧内编码的图像，帧重新整理缓冲器12将整个帧上的图像信息输送给正交变换单元14。正交变换单元14进行图像信息的正交变换比如DCT(离散余弦变换)或Karhunen-Loeve变换(KLT)，并将转换系数输送给量化器15。量化器15对从正交变换单元14中输送的转换系数进行量化。
可逆编码器16形成量化的转换系数的可逆编码，比如可变长度编码或算术编码，并将编码的转换系数输送给存储缓冲器17，转换系数存储在该存储缓冲器17中。经编码的转换系数作为压缩的图像信息提供。
量化器15的行为受速率控制器23控制。此外，量化器15将量化的转换系数输送给去量化器18，去量化器18对输送的转换系数进行去量化。反向正交变换单元19进行去量化的转换系数的反向正交变换以产生解码的图像信息并将该信息输送给帧存储器20。
另一方面，对于要进行帧内编码的图像，帧重新整理缓冲器12将图像信息输送给运动估计/补偿单元(可变的块大小)21。同时，运动估计/补偿单元(可变的块大小)21从帧存储器20中取出参考图像信息，并在色差信号相位校正单元22中进行色差信号的相位校正的同时进行该信息的运动估计/补偿(下文将会进一步描述)以产生参考图像信息。
运动估计/补偿单元(可变的块大小)21将参考图像信息输送给加法器13，该加法器13将参考图像信息转换为表示参考图像信息与原始图像信息的差值的信号。此外，在同时，运动估计/补偿单元21将运动矢量信息输送给可逆编码器16。
可逆编码器16进行运动矢量信息的可逆编码(比如可变长度编码或算术编码)以形成也插入到压缩的图像信息的头部中的信息。应该注意的是，其它的过程与要进行帧内编码的图像信息相同，故在此不再作任何描述。
附图11所示为根据本发明的图像信息解码器的示意图。图像信息解码器以参考标号30总体地表示。如附图11所示，图像信息解码器30包括存储缓冲器31、可逆解码器32、去量化器33、反向正交变换单元34、加法器35、帧重新整理缓冲器36、D-A转换器37、运动估计/补偿单元38(可变的块大小)、帧存储器39和色差信号相位校正单元40。
如附图11所示，存储缓冲器31临时地存储输入的压缩图像信息，然后将它传输到可逆解码器32。可逆解码器32基于预定的压缩图像信息格式进行压缩的图像信息的可变长度解码或算术解码，并将量化的转换系数输送给去量化器33。此外，在帧是一个已经进行了帧内编码的帧时，可逆解码器32也对插入在压缩的图像信息的头部中的运动矢量信息进行解码，并将该信息输送给运动估计/补偿单元38(可变的块大小)。
去量化器33对从可逆解码器32中输送的量化的转换系数进行去量化，并将转换系数输送给反向正交变换单元34。反向正交变换单元34基于预定的压缩图像信息格式进行转换系数的反向离散余弦变换(反向DCT)或反向正交变换比如反向Karhunen-Loeve变换(反向KLT)。
注意，在帧是一个已经进行了帧内编码的帧的情况下，反向正交变换单元34将反向正交变换的图像信息输送给帧重新整理缓冲器36。帧重新整理缓冲器36临时地存储所输送的图像信息，然后将它输送给D-A转换器37。D-A转换器37进行图像信息的D-A转换并输出该数据。
在另一方面，在帧是一个已经进行了帧内编码的帧的情况下，如下文将会进一步描述，基于已经进行反向解码的运动矢量信息和存储在帧存储器39中的图像信息，在色差信号相位校正单元40中校正色差信号的相位的同时运动估计/补偿单元(可变的块大小)38产生参考图像。加法器35将参考图像和反向正交变换单元34的输出彼此组合在一起。应该注意的是，其它的处理过程与对帧内编码帧的处理过程相同，故在此不再作任何描述。
如上文所述，在图像信息编码器10中和图像信息解码器30中，作为本发明的实施例，在它们相应的色差信号相位校正单元22和40中校正由运动估计和补偿引起的色差信号的相移。下文描述如何校正这种相移。应该注意的是在操作的理论上色差信号相位校正单元22与色差信号相位校正单元40相同，因此下文对相移校正的操作理论的描述限于色差信号相位校正单元22。
色差信号相位校正单元22运行以将由运动估计和补偿引起的色差信号的相移自适应地校正到宏块运动估计/补偿模式和运动矢量的值。
首先，运动矢量信息中的垂直分量是4n+1.0(n是整数)时，色差信号相位校正单元22起作用，正如下文参考附图12所讨论，附图12所示为运动矢量信息中的垂直分量的值例如是+1.0时在色差信号相位校正单元22中进行的操作。应该注意在附图12中圆圈表示亮度信号，而方块表示色差信号。
从附图12中可以看出，为使输入帧和参考帧的色差信号彼此同相，在参考帧中的色差信号应该处于以三角形表示的相位中。然而，存储在帧存储器20中的参考信号的色差信号处于以方块表示的相位中。因此，在输入和参考帧的色差信号之间出现了相移，造成图像质量下降。
在这种情况下，假设色差信号的采样周期是一个相位则色差信号相位校正单元22将参考帧中的色差信号以域为单位平移-1/4相位，从以方块表示的相位移到以三角形表示的相位。
接着，描述运动矢量信息中的垂直分量是4n+2.0(n是整数)时在色差信号相位校正单元22中进行的操作。例如，附图13所示运动矢量信息中的垂直分量的值是+2.0时在色差信号相位校正单元22中进行的操作。
从附图13所示，在如附图12所示的情况下在输入和参考帧中的色差信号之间产生了相移。在这种情况下，假设色差信号ss的采样周期是一个相位则色差信号相位校正单元22将在参考帧中的色差信号以域为单位平移-1/2相位，从以方块表示的相位移到以三角形表示的相位。
接着，描述在运动矢量信息中的垂直分量是4n+3.0(n是整数)时在色差信号相位校正单元22中进行的操作。例如，附图14所示在运动矢量信息中的垂直分量的值是+3.0时在色差信号相位校正单元22中进行的操作。
从附图14所示，在如附图12和13所示的情况下在输入和参考帧中的色差信号之间产生了相移。在这种情况下，假设色差信号的采样周期是一个相位则色差信号相位校正单元22将在参考帧中的色差信号以域为单位平移-3/4相位，从以方块表示的相位移到以三角形表示的相位。
注意在上述的情况彼此相同，其中以域为单位对色差信号进行相移并且通过线性插值或者使用具有几个抽头的FIR滤波器可以实现这种相移。可替换的是，可以准备基于对应于以具有整数像素值的运动矢量表示的相位的色差像素以一个操作产生以对应于对其进行的操作小于整数像素值的运动矢量表示的相位的像素的系数，并通过将该系数应用到输入像素一次实现该平移操作。在下文中更详细地描述这些。
例如，在附图12中所示的情况下，可以使用下式(3)以线性插值产生色差信号的像素值XX＝(3a+b)/4……………………(3)此外，通过在前述的附图7中所示的方法可以产生像素值X。即，首先可以使用通过等式(1)定义的6-抽头FIR滤波器以域内插值产生对应于在附图12中以参考符号“c”所示的相位的像素值，并可以使用下式(4)对应于以参考标记“c”所示的相位产生色差信号像素值XX＝(a+c)/2 …………………………(4)此外，可以准备对应于一系列操作的滤波器系数，并从对应于以参考标号“a”表示的相位的像素值和对应于以参考标记“b”所表示的相位的像素值中通过一阶滤波可以产生色差信号像素值X，而不产生对应于以参考标记“c”所表示的相位的任何像素值。
此外，使用由下式(5)给出的FIR滤波器系数可以产生色差信号像素值X{-3，12，-37，229，71，-21，6，-1}/256…(5)在附图13中所示的情况中，使用下式(6)以线性插值可以产生色差信号像素值XX＝(a+b)/2 ………………………(6)此外，使用通过等式(1)定义的6-抽头的FIR滤波器可以产生色差信号像素值X。
此外，使用由下式(7)给出的FIR滤波器系数可以产生色差信号像素值X{-3，12，-37，229，71，-21，6，-3}/256……(7)在附图14中所示的情况中，使用下式(8)以线性插值可以产生色差信号像素值XX＝(a+3b)/2 ……………………………(8)此外，通过前文参考附图7已经描述的方法也可以产生色差信号像素值X。即，首先可以使用通过等式(1)定义的6-抽头FIR滤波器以域内插值产生对应于在附图14中以参考符号“c”所示的相位的像素值，并可以使用下式(9)对应于以参考标记“c”所示的相位产生色差信号像素值XX＝(b+c)/2 …………………………(9)此外，使用由下式(10)给出的FIR滤波器系数可以产生色差信号像素值X{-1，6，-21，71，229，-37，12，-3}/256………(10)接着，在宏块运动估计/补偿模式是帧运动估计/补偿模式并且运动矢量信息中的垂直分量具有小于整数像素值的操作时，色差信号相位校正单元22将如参考附图15所描述地那样地作用。在附图15中，白方块表示运动矢量信息中的垂直分量是0.0时的色差信号的相位，白三角形表示运动矢量信息中的垂直分量是1.0时的色差信号的相位。
在上述的情况中，色差信号相位校正单元22基于对应于以参考标记“a”表示的相位的像素值和对应于以参考标记“b”表示的相位的像素值产生用于运动矢量信息的垂直分量0.5的色差信号像素值x。应该注意的是，参考标记“a”表示存储在帧存储器中的色差信号的相位，参考标记“b”表示以在附图14中所示的操作产生的色差信号的相位。
此外，不仅可以产生具有1/2-像素精度的相位的像素值x，而且还可以产生具有1/4-像素精度的色差信号像素值，在附图15中分别以y1和y2给出。
更具体地说，色差信号像素值x，y1和y2可以通过使用下式(11)至(13)以线性插值产生x＝(a+b)/2…………………………………(11)y1＝(a+3b)/4 …………………………………(12)y2＝(3a+b)/4 …………………………………(13)此外，使用通过前述的等式(1)给定的FIR滤波器通过域内插值可以产生色差信号像素值x，并通过下面给出的(14)和(15)可以产生像素值y1和y2y1＝(x+b)/2…………………………………(14)y2＝(x+a)/2…………………………………(15)此外，色差信号像素值x，y1和y2可以通过使用由下式(16)给定的FIR滤波器系数产生{-3，12，-37，229，71，-21，6，-1}/256{-3，12，-39，158，158，-39，12，-3}/256{-1，6，-21，71，229，-37，12，-3}/256……(16)接着，在宏块处于域运动估计模式中时，色差信号相位校正单元22如下文参考附图16至23所描述地作用。应该注意的是，虽然参考运动矢量信息的垂直分量mv的三个范围0至2的每个范围描述色差信号相位校正单元22的操作，但是这些解释对任何其它的范围也都是正确。此外，虽然附图16至23包含1/4-像素精度，但该精度也可以延伸到1/8-像素或者更高。
作为第一实例，如附图16和17所示参考第一域产生第一域的预测图形。附图16所示为运动矢量信息中的垂直矢量mv是0至0.75时的情况，附图17所示为运动矢量信息中的垂直分量值mv为1至1.75的情况。
从附图16和17中可以看出，在这两种情况下色差信号必须进行mv/2的相移。
作为第二实例，如附图18和19中所示参考第二域产生第一域的预测图形。附图18所示为运动矢量信息中的垂直分量的值mv为0至0.75时的情况，以及附图19所示为运动矢量信息中的垂直分量的值mv为1至1.75的情况。
从附图18和19中可以看出，在这两种情况中对色差信号必须进行(mv/2-1/4)的相移。例如，在mv＝0.25的情况下，色差信号应该作+1/8(＝0.25*1/2-1/4)的相移。
作为第三实例，如附图20和21所示参考第一域产生第二域的预测图形。附图20所示为运动矢量信息中的垂直分量的值mv为0至0.75的情况，以及附图21所示为运动矢量信息中的垂直分量的值为1至1.75的情况。
从附图20和21中可以看出，在这两种情况中对色差信号必须进行(mv/2+1/4)的相移。例如，在mv＝0.25的情况下，色差信号应该作+3/8(＝0.25*1/2+1/4)的相移。
作为最后的实例，如附图22和23所示参考第二域产生第二域的预测图形。附图22所示为运动矢量信息中的垂直分量的值mv为0至0.75的情况，以及附图23所示为运动矢量信息中的垂直分量的值mv为1至1.75的情况。
从附图22和23中可以看出，在这两种情况中对色差信号必须进行mv/2的相移。
即，在参考域不同于输入域的情况下，必须不同于亮度地对色差信号进行相移。例如，在参考第二域产生第一域的预测图形的情况下，应该将色差信号相移-1/4相位。为参考第一域产生第二域的预测图形，应该平移该相位+1/4相位。
注意，在任何情况下，通过域内插值比如线性插值或使用具有6抽头的FIR滤波器进行相移。还应该注意的是，作为FIR滤波器系数，可以使用通过计算对应于输出色差信号的相位的前述的等式(2)获得的系数。
如前文已经描述，在作为本发明的实施例的用于压缩以420格式形成的隔行图像的图像信息编码器10和对压缩的图像信息进行解码的图像信息解码器30中，色差信号的垂直相位自适应地平移到运动矢量信息中的垂直分量的值和所选择的运动估计模式，由此可以防止通过色差信号的相移造成图像质量降低。
在前文中，参考附图以本发明的某些优选实施例作为实例详细地描述了本发明。但是，本领域的普通技术人员应该理解的是本发明并不限于这些实施例，在不脱离如附加的权利要求所阐述并定义的范围和精神的前提下可以对本发明以各种方式进行修改、变型设计或以其它不同形式实施。
工业实用性根据本发明，为进行运动估计/补偿，将参考图像块中的色差信号自适应地相移到所选择的运动估计模式和在运动矢量信息中的垂直分量的值mv，以便参考图像块在色差信号的相位上与输入图像块一致，由此能够避免由彼此异相的色差信号或者域反向引起的色差信号造成图像质量降低。
权利要求
1.一种图像信息编码方法，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该方法包括如下的步骤对于运动估计和补偿，将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
2.如权利要求1所述的方法，其中输入图像信号是一种420的格式的隔行图像；以及运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
3.如权利要求2所述的方法，其中在运动估计模式是帧运动估计/补偿模式和运动矢量信息中的垂直分量的值mv时，通过域内插值对色差信号进行相移。
4.如权利要求3所述的方法，其中在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
5.如权利要求4所述的方法，其中通过线性插值实现相移-1/4、-1/2或-3/4相位。
6.如权利要求4所述的方法，其中使用具有多个抽头的FIR滤波器实现相移-1/2相位；和通过在由使用FIR滤波器产生的-1/2相位的色差信号和输入图像信号中的色差信号之间的线性插值实现相移-1/4或-3/4相位。
7.如权利要求6所述的方法，其中使用具有6抽头的FIR滤波器作为FIR滤波器，每个抽头具有一个滤波器系数{1，-5，20，20，-5，1}/32。
8.如权利要求4所述的方法，其中使用具有几个抽头的FIR滤波器实现相移-1/4、-1/2或-3/4相位。
9.如权利要求8所述的方法，其中在用于相移-1/4、-1/2或-3/4相位的FIR滤波器中，它的抽头分别具有如下的滤波器系数{-3，12，-37，229，71，-21，6，-1}/256{-3，12，-39，158，158，-39，12，-3}/256{-1，6，-21，71，229，-37，12，-3}/256
10.如权利要求2所述的方法，其中在运动估计模式是帧运动估计/补偿模式和在运动矢量信息中的垂直分量的值mv具有小于像素值的精度时，在值mv附近的整数值是运动矢量信息中的垂直分量的位置上的像素的色差信号被相移，并基于通过相移获得的色差信号通过域内插值产生以值mv作为在运动矢量信息中的垂直分量的像素的色差信号。
11.如权利要求10所述的方法，其中通过域内插值相移在值mv附近的整数值是运动矢量信息中的垂直分量的位置上的像素的色差信号；和在整数值是4n+1.0(n是整数)时，将色差信号相移-1/4相位；在整数值是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和在整数值是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
12.如权利要求11所述的方法，其中使用具有多个抽头的FIR滤波器实现相移-1/2相位；和通过在由使用FIR滤波器产生的-1/2相位的色差信号和输入图像信号中的色差信号之间的线性插值实现相移-1/4或-3/4相位。
13.如权利要求2所述的方法，其中运动估计模式是域运动估计/补偿模式；和当一起形成一个帧的、一个用于参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；当参考图像是第二域而输入图像是第一域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2-1/4；和当参考图像是第一域而输入图像是第二域时，将色差信号相移在运动矢量信息中的垂直分量的值mv的mv/2+1/4。
14.如权利要求13所述的方法，其中相移通过域内插值实现。
15.如权利要求1所述的方法，其中使用具有8抽头的FIR滤波器实现相移，每个抽头分别具有如下的滤波器系数111/8{-3，12，-37，485，71，-21，6，-1}/5122/8{-3，12，-37，229，71，-21，6，-1}/2563/8{-6，24，-76，387，229，-60，18，-4}/5124/8{-3，12，-39，158，158，-39，12，-3}/2565/8{-4，18，-60，229，387，76，24，-6}/5126/8{-1，6，-21，71，229，-37，12，-3}/2567/8{-1，6，-21，71，485，-37，12，-3}/512
16.一种图像信息编码器，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该设备包括相位校正装置，对于运动估计和补偿，该相位校正装置将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
17.如权利要求16所述的设备，其中输入图像信号是一种420的格式的隔行图像；以及运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
18.如权利要求17所述的设备，其中运动估计模式是帧运动估计/补偿模式；和在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
19.如权利要求17所述的设备，其中运动估计模式是域运动估计/补偿模式；和对于一起形成一个帧的、一个用参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；当参考图像是第二域而输入图像是第一域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2-1/4；和当参考图像是第一域而输入图像是第二域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2+1/4。
20.一种图像信息解码方法，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码的图像串进行包括运动补偿的解压缩，该方法包括如下的步骤对于运动估计和补偿，将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
21.如权利要求20所述的方法，其中输入图像信号是一种420的格式的隔行图像；以及运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
22.如权利要求21所述的方法，其中运动估计模式是帧运动估计/补偿模式；和在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
23.如权利要求21所述的方法，其中运动估计模式是域运动估计/补偿模式；当一起形成一个帧的、一个用于参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；当参考图像是第二域而输入图像是第一域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2-1/4；和当参考图像是第一域而输入图像是第二域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2+1/4。
24.一种图像信息解码器，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码的图像串进行包括运动补偿的解压缩，该设备包括相移装置，对于运动估计和补偿，该相移装置将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
25.如权利要求24所述的设备，其中输入图像信号是一种420的格式的隔行图像；以及运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
26.如权利要求25所述的设备，其中运动估计模式是帧运动估计/补偿模式；和在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
27.如权利要求25所述的设备，其中运动估计模式是域运动估计/补偿模式；和当一起形成一个帧的、一个用于参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；当参考图像是第二域而输入图像是第一域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2-1/4；和当参考图像是第一域而输入图像是第二域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2+1/4。
28.一种图像信息压缩编码程序，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该程序包括如下的步骤对于运动估计和补偿，将参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和运动矢量信息中的垂直分量的值mv，以使参考图像块在色差信号的相位上与输入图像块一致。
29.如权利要求28所述的程序，其中输入图像信号是一种420的格式的隔行图像；以及运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
30.如权利要求29所述的程序，其中运动估计模式是帧运动估计/补偿模式；和在运动矢量信息中的垂直分量的值my是4n+1.0(n是整数)时，将色差信号相移-1/4相位；在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
31.如权利要求29所述的程序，其中运动估计模式是域运动估计/补偿模式；和当一起形成一个帧的、一个用于参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；当参考图像是第二域而输入图像是第一域时，将色差信号相移运动矢量信息中的垂直分量的值my的my/2-1/4；和当参考图像是第一域而输入图像是第二域时，将色差信号相移运动矢量信息中的垂直分量的值mv的mv/2+1/4。
全文摘要
本发明涉及一种编码图像信息的方法和设备和解码图像信息的方法和设备。在向其输送4∶2∶0格式的隔行图像的图像信息编码器(10)中，对于运动估计和补偿，色差信号相位校正单元(22)将在参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和在运动矢量信息中的垂直分量的值mv以使参考图像块在色差信号的相位上与输入图像块一致。
文档编号H04N7/26GK1489868SQ02804330
公开日2004年4月14日 申请日期2002年11月29日 优先权日2001年11月30日
发明者佐藤数史, 彦, 春原修, 库恩, 铃木辉彦, 彼德·库恩, 阳一, 矢ク崎阳一 申请人:索尼株式会社