专利名称：用于活动图像解码的运动补偿方法及其装置的制作方法
本案是申请日为1997年5月29日、申请号为97112906.1的分案申请。
本发明涉及包含随机目标对象的活动图象的编码和解码系统。尤其涉及一种用于活动图像解码的运动补偿方法及其装置。
近来，为了适用于可视电话和电视会议系统以极低比特率发送活动图象的国际标准取得进展。为以极低比特率发送电视图象，人们广泛研究使用面向对象的编码技术，这种编码技术将活动图象中的有意义的目标分割然后将分割后的目标发送出去。面向对象的编码技术被认为是以极低比特率发送活动图象的一项基本技术。在活动图象的面向对象的编码中，需要运动预测技术以去掉关于目标的时间相关性并且为了提高编码效率还需要更精确的运动预测技术。
本发明的目的是提供一种用于对活动图像进行解码的运动补偿装置及方法，其中对目标区域进行用恢复的网格表示的信号处理，产生预测图像数据，以对图像进行运动预测解码，从而实现精确的运动补偿和适用于设计极低比特率的解码装置。
为实现本发明的上述目的，根据本发明的第一方面，提供一种用于对活动图像进行解码的运动补偿装置，其特征在于该装置包括目标轮廓信息恢复单元，用以将所接收到的编码后的随机目标轮廓数据进行解码，并输出已恢复的随机目标轮廓信息的轮廓数据；网格信息生成单元，用以根据所接收到的轮廓数据识别出目标区域，并对目标区域进行用恢复的网格表示的信号处理，以输出网格数据；运动补偿单元，用于根据所接收到的运动信息、参考图像数据以及来自于网格信息生成单元的网格数据，产生预测图像数据。
根据本发明的第二方面，还提供了一种用于对活动图像进行解码的运动补偿方法，该方法包括目标轮廓信息恢复步骤，用以将接收到的编码后的随机目标轮廓数据进行解码，并输出已恢复的随机目标轮廓信息的轮廓数据；网格信息生成步骤，用以根据所接到的轮廓数据识别出目标区域，并对目标区域进行用恢复的网格表示的信息处理，以输出网格数据；运动补偿步骤，用于根据所接收到的运动信息、参考图像数据以及来自于网格信息生成单元的网格数据，产生预测图像数据。
参照附图描述本发明的优先实施例，其中；
图1为按照本发明的优先实施例的活动图象编码装置的框图；图2为图1中网格生成器的详细框图；图3为对图1中装置所编码的数据进行解码的活动图象解码装置框图；图4为按照本发明的另一优先实施例的活动图象编码装置框图；图5为对图4装置所编码的数据进行解码的活动图象解码装置的框图。
参照附图详细描述本发明的优先实施例。
图1所示为按照本发明的优先实施例的活动图象编码装置，目标提取器10接收来自外部源的数字图象数据并从由接收的图象数据所表示的当前图象中提取随机目标。然后，该目标提取器10产生代表被提取目标轮廓信息的目标轮廓数据。该目标轮廓数据被提供给差值数据编码器20和后面将要描述的图3的解码装置。该目标轮廓数据包含确定该目标轮廓的各象素的空间位置或象素组成的段的空间位置。该目标提取器10将目标轮廓数据和接收到的当前图象数据输出到网格生成器12。该网格生成器12根据目标轮廓数据从当前图象中识别出目标区域并且对有关目标区域内的图象进行规则网格表示的信号处理。该网格生成器12的详细结构和操作将参照图2描述。
网格生成器12中的块生成器121(block former)接收从目标提取器10输出的当前图象数据和目标轮廓数据。该块生成器121将收到的图象数据所表示的当前图象划分为各具有预定大小的图象块，并且将代表图象块的图象块数据和目标轮廓数据加到块选择器123。该块选择器123根据目标轮廓数据在构成当前图象的全部图象块中选择包含目标区域中图象数据的图象块。代表被选图象块的数据和目标轮廓数据一起输出到目标图象生成器125(objectimage composer)。此处，只具有不属于目标区域的图象数据的图象块不被选择。因此代表未被选择的图象块的数据不被选到目标图象生成器125。接收被选图象块数据的目标图象生成器125合并各被选图象块，并把合并结果产生的代表目标图象的数据与目标轮廓数据一起送到网格生成器127。接收目标图象数据的网格生成器127将该目标图象划分为规则的矩形网格或规则的三角形网格。
在采用规则的矩形网格划分图象的情况下，网格生成器127将目标图象划分为各具有与块尺寸不同的预定尺寸的栅格。此处栅格的尺寸比块尺寸小。然后该网格生成器127在由划分得到的栅格的各顶点中将包含在目标区域中的各顶点确定为控制点，并且将具有控制点的栅格确定为规则的矩形栅格。该网格生成器127将包含有关规则矩形栅格的控制点的图象数据的矩形网格数据输出到图1中所示的运动估计和补偿部件14。这里，涉及每一控制点的图象数据包括控制点的位置和在该控制点的位置处的灰度值，以及与该控制点相邻位置的各象素的位置及其灰度值。该网格生成器127还输出当前图象数据到差值计算器18。
在采用规则的三角形网格划分图象的情况下，该网格生成器127将通过上述过程得到的每一规则矩形网格根据网格中图象数据的相似性划分为两个规则的三角形网格。为了判断每一规则矩形网格的图象数据的相似性，该网格生成器127将对应于位于规则矩形网格中45°对角线方向上的两个控制点的象素值之间的差值与对应于其尺寸内-45°对角线方向上的两个控制点的象素值之间的差值进行比较。该网格生成器127按照较小差值的对角线方向划分矩形网格。其结果是每一矩形网格产生两个规则三角形网格。该网格生成器127将包含涉及规则三角形网格的控制点的图象数据的三角形网格数据输出到运动估计和补偿部件14。该网格生成器127还输出当前图象数据到差值计算器18。
该运动估计和补偿部件14利用存储器16中存储的参考图象数据和涉及来自网格生成器12的当前图象中目标图象的网格数据进行运动估计和补偿操作。该运动估计和补偿部件14首先将与每一网格的控制点有关的图象数据与存储器16中存储的参考图象数据作幅度的比较。理想情况下，每一控制点对应于单一象素。即一个控制点由一个象素的空间位置和灰度值表示。然而，实际中只通过象素与象素比较很难恰好找到与参考图象中控制点相似的图象数据的位置。因此，涉及每一控制点的图象数据是与对应该控制点有关的象素和与对应该控制点邻近的多个象素的图象数据，如网格生成器127中所描述的。该运动估计和补偿部件14根据数据幅度比较结果确定具有与控制点的图象数据最近似的图象数据的参考图象中的位置。然后，运动估计和补偿部件14确定代表控制点及参考图象中相应位置之间的位移的运动矢量。如果对所有控制点确定各运动矢量，运动估计和补偿部件14利用所确定的各运动矢量进行空间变换如图象弯曲(image warping)，并产生当前图象的预测图象。代表预测图象的数据输出到差值计算器18和加法器24。代表对应所有控制点运动矢量的运动信息加到图3所示的装置。由于上述的空间变换在数字图象处理领域已广为人知，所以与之有关的详细描述将被省略。
差值计算器18计算从网格生成器12接收的当前图象与运动估计和补偿部件14输出的预测图象数据之间的差值。在当前图象和预测图象的各对应位置的各象素之间完成差值计算，并且该差值数据结果输出到差值数据编码器20。该差值数据编码器20对差值计算器18送来的差值数据中由目标提取器10的目标轮廓数据所确定的目标区域中的差值数据进行编码。如果由差值数据编码器20所编码的数据被规定为目标区域中的差值数据，则只有有关当前图象的目标的差值数据被编码。因此，差值数据编码器20能够对当前图象进行更有效的编码操作。该差值数据编码器20还对从目标提取器10接收的目标轮廓数据进行编码。为了对目标区域中的差值数据和目标轮廓数据进行编码，该差值数据编码器20使用的是熟为人知的包括离散余弦变换(DCT)等在内的正交变换编码方法。该编码后的目标轮廓数据、编码后的差值数据和运动信息经传送信道(未示出)被传送到后文中将要描述的图3中的解码装置，或者被记录在图3解码装置中使用的存储介质里。
差值数据解码器22接收来自差值数据编码器20的编码后差值数据并通过与差值数据编码器20的信号处理的相反过程恢复差值数据。加法器24将运动估计和补偿部件14输出的预测图象数据与差值数据解码器22的差值数据相加，并将相加结果输出到存储器16中。从加法器24输出的数据是已经完成运动估计和补偿的当前图象的数据，并且该数据被存储在存储器16中作为下一幅图象的运动估计和补偿用的参考图象数据。
如图3所示的活动图象解码装置接收编码后的差值数据、编码后的目标轮廓数据和由图1所示装置产生的运动信息。一目标轮廓恢复器30将编码后的目标轮廓数据解码。该目标轮廓数据输出到网格生成器34。接收该目标轮廓数据的该网格生成器34将整幅图象划分成各具有预定尺寸的栅格，并在由划分得到的栅格的各顶点中确定存在于由目标轮廓数据所确定的目标区域中的顶点作为控制点，以及确定具有控制点的栅格为矩形网格。在图1的网格生成器12被设计成产生代表矩形网格的网格数据的情况下，网格生成器34还产生代表矩形网格的网格数据。同时，在图1的网格生成器12被设计成产生有关三角形网格的网格数据的情况下，该网格生成器34产生关于三角形网格的网格数据。该网格生成器34将产生的网格数据加到运动补偿器38并且将目标轮廓数据加到加法器36。
同时，差值数据解码器32将图1装置产生的编码后的差值数据解码。该差值数据输出到加法器36。运动补偿器38接收网格生成器34输出的网格数据和由图1装置产生的运动信息。运动补偿器38利用包含在对应于当前图象的网格中的控制点、包含在运动信息中的对应于所有控制点的运动矢量以及存储在存储器40中的参考图象数据产生预测图象数据。为了产生预测图象数据，运动补偿器38利用对应于每一控制点的运动矢量找到最近似于该控制点的参考图象中的位置，然后利用空间变换(如图象弯曲)来产生当前图象的预测图象。该运动补偿器38输出产生的预测图象到加法器36。
该加法器36接收从运动补偿器38输出的预测图象数据和从差值数据解码器32输出的差值数据。该加法器36只将全部预测图象数据中由网格生成器34提供的目标轮廓数据所确定的目标区域中的预测图象数据与对应的差值数据相加。经过这样的运算有关当前图象中的目标的图象数据能被恢复。加法器36的输出数据存储在存储器40中用作下一幅图象运动补偿的参考图象数据。
图4所示为按照本发明另一优先实施例的活动图象编码装置。由于图4中与图1相同参考号的方块完成的是同样的功能，所以有关的详细描述被省略。图1装置使用当前图象得到的网格和存储在存储器16中的参考图象数据以产生预测图象数据。与之相反图4装置使用从存储器48中存储的参考图象数据得到的网格和外部输入的当前图象数据以产生预测图象数据。
外部的当前图象数据输入到目标提取器10以及运动估计和补偿部件44。该目标提取器10利用当前图象数据产生目标轮廓数据。该目标轮廓数据输出到差值数据编码器20。网格生成器42读取存储在存储器48中的参考图象数据并且将全部参考图象划分为规则的网格。对于这种划分，该网格生成器42将参考图象划分为规则矩形网格且再次将规则矩形网格划分为规则三角形网格。由于生成规则矩形网格和规则三角形网格的方法与图1中网格生成器12的信号处理相同，因此详细的描述被省略。
该网格生成器42的另一功能是从规则矩形网格或规则三角形网格产生不规则网格。产生不规则网格的过程如下该网格生成器42从规则三角形网格的控制点中移去一个被选中的控制点，并且对移去该控制点的区域实现三角化。由三角化生成的三角形网格具有不规则的三角形状。这种移去控制点并进行三角化的过程重复进行直到剩余控制点的数量等于预定值。为了移去一个特定的控制点，需要提供当该控制点已经被从该控制点的支撑区(support region)去除时得到的图象图形(image descriptiveness)与当该控制点没有被去除时得到的图象图形之间的量化差值。这里，该支撑区是由对应控制点的各邻近控制点和连接这些邻近控制点的线所围绕的区域。在图象图形的各量化差值中对应最小差值的控制点对图象描述没有什么用处，因此被去除。不规则网格生成技术公开在题目名称为“基于去除自适应控制点的不规则三角形网格表示(Irregular Triangular Mesh Representation Based onAdaptive Control Point Removal)”的文章中，该文章发表在SPIE的1996年论文集的“可视通信和图象处理”(Visual Communications and ImageProcessing)中，作者Kang W.Chun，Byung woo Jean和Jae M.Jo。网格生成器42将有关最后生成的不规则三角形网格的信息(即代表剩余控制点和由该控制点围绕的不规则网格的不规则网格数据)输出到运动估计和补偿部件44。该网格生成器42还将从存储器48读取的参考图象数据输出到差值计算器46。
运动估计和补偿部件44接收外部输入的当前图象数据和网格生成器42产生的不规则网格数据并读取存储在存储器48中的参考图象数据。该运动估计和补偿部件44确定在具有最近似于不规则网格的控制点的图象数据在当前图象中的对应位置。在对应位置确定之后，该运动估计和补偿部件44产生控制点及相应位置之间的运动矢量并且利用当前图象使用空间变换产生预测图象。该预测图象数据加到差值计算器46和加法器24，并且代表运动矢量的运动信息经传送信道发送出去或被记录在存储介质中以供解码装置使用。
该差值计算器46产生来自网格生成器42的参考图象数据和来自运动估计和补偿部件44的预测图象数据之间的差值数据，并将该差值数据提供给差值数据编码器20。该差值数据编码器20对目标提取器10输出的目标轮廓数据和差值计算器46输出的差值数据进行编码。该差值数据编码器20以与图1中对应部分相同的方式处理输入数据。因此，从差值数据编码器20输出的编码后数据包括对目标区域中差值数据进行编码得到的数据和编码后的轮廓数据。编码后的数据经传送信道发送到接收端(图中未示)或记录在记录介质中(未示)。在编码后数据中的编码后差值数据被传送到差值数据解码器22。
该差值数据解码器22将在差值数据编码器中编码的差值数据解码，并将解码后的差值数据提供给加法器24。该加法器24将运动估计和补偿部件44提供的预测图象数据和差值数据解码器22的差值数据相加，其结果存储在存储器48中作为下一幅图象的运动估计和运动补偿的参考图象数据。
图5所示为对应图4装置的活动图象解码装置。由于图5中与图3中具有相同参考号的各方块完成的是相同的功能，所以其详细描述被忽略。该编码后的目标轮廓数据输入到目标轮廓恢复器30，同时运动信息输入到运动补偿器52。另外，编码后的差值数据输入到差值数据解码器32。该差值数据解码器32将编码后的差值数据解码并将解码后的差值数据输出到加法器56。该目标轮廓恢复器30将编码后的目标轮廓数据解码并将解码后的目标轮廓数据输出到网格生成器51。该网格生成器51读取存储在存储器54中的参考图象数据，并且将目标轮廓数据确定的参考图象中的目标区经与图4中网格生成器42同样的信号处理过程划分为不规则网格，网格生成器51输出的网格数据送到运动补偿器52。该运动补偿器52利用网格数据、运动信息和存储在存储器54中的参考图象数据产生预测图象数据。该加法器56将预测图象数据和差值数据解码器32输出的差值数据相加。其产生的当前图象存储在存储器54中以作为下一幅图象的运动补偿的参考图象数据。
如上所述，按照本发明的编码和解码系统根据包含于图象中随机目标的网格表示实现运动估计和运动补偿。其结果是与对整幅图象进行运动估计和运动补偿相比能够实现更有效的编码。因此，可以设计出适于应用极低比特率的装置。
虽然这里仅仅描述了本发明的某些实施例，而很明显在不脱离本发明的要旨和范围的情况下可以对本发明做许多修改。
权利要求
1.一种用于对活动图像进行解码的运动补偿装置，其特征在于该装置包括目标轮廓信息恢复单元，用以将所接收到的编码后的随机目标轮廓数据进行解码，并输出已恢复的随机目标轮廓信息的轮廓数据；网格信息生成单元，用以根据所接收到的轮廓数据识别出目标区域，并对目标区域进行用恢复的网格表示的信号处理，以输出网格数据；运动补偿单元，用于根据所接收到的运动信息、参考图像数据以及来自于网格信息生成单元的网格数据，产生预测图像数据。
2.如权利要求1所述的运动补偿装置，其特征在于所述的网格信息生成单元将所接收到的轮廓数据划分为预定尺寸的栅格，而所得栅格的各顶点中将包含在目标区域内的顶点确定为控制点，并将具有控制点的栅格确定为矩形网格。
3.如权利要求2所述的运动补偿装置，其特征在于由所述的网格生成单元所确定的矩形网格产生三角形网格。
4.如权利要求1所述的运动补偿装置，其特征在于所述的运动补偿单元中，利用对应于每一网格控制点的运动矢量找到最近似于该控制点的参考图像中的位置，然后通过空间变换来产生预测图像数据。
5.一种用于对活动图像进行解码的运动补偿方法，其特征在于该方法包括目标轮廓信息恢复步骤，用以将接收到的编码后的随机目标轮廓数据进行解码，并输出已恢复的随机目标轮廓信息的轮廓数据；网格信息生成步骤，用以根据所接到的轮廓数据识别出目标区域，并对目标区域进行用恢复的网格表示的信息处理，以输出网格数据；运动补偿步骤，用于根据所接收到的运动信息、参考图像数据以及来自于网格信息生成单元的网格数据，产生预测图像数据。
6.如权利要求5所述的运动补偿装置，其特征在于所述的网格生成步骤中将所接收到的轮廓数据划分为预定尺寸的栅格，而所得栅格的各顶点中将包含在目标区域内的顶点确定为控制点，并将具有控制点的栅格确定为矩形网格。
7.如权利要求6所述的运动补偿方法，其特征在于由所述的网格生成步骤所确定的矩形网格产生三角形网格。
8.如权利要求5所述的运动补偿方法，其特征在于所述的运动补偿步骤中，利用对应于每一网格控制点的运动矢量找到最近似于该控制点的参考图像中的位置，然后通过空间变换来产生预测图像数据。
全文摘要
一种对活动图像进行解码的运动补偿装置,包括:目标轮廓信息恢复单元,用以将所接收到的编码后的随机目标轮廓数据进行解码,并输出已恢复的随机目标轮廓信息的轮廓数据;网格信息生成单元,用以根据所接收到的轮廓数据识别出目标区域,并对目标区域进行用恢复的网格表示的信号处理,以输出网格数据;运动补偿单元,用于根据所接收到的运动信息、参考图像数据以及来自于网格信息生成单元的网格数据,产生预测图像数据。
文档编号H04N7/50GK1254238SQ99121590
公开日2000年5月24日 申请日期1997年5月29日 优先权日1996年5月29日
发明者千罡旭, 全炳宇 申请人:三星电子株式会社