专利名称：活动图象编码方法、活动图象编码设备、和活动图象编码程序的制作方法
技术领域：
本发明涉及活动图象编码方法、用于编码活动图象的设备、及活动图象编码程序。
背景技术：
近年来，已经做到通过诸如互联网的网络来发送和接收活动图象。当活动图象通过网络被发送或被接收时，在发送一方进行活动图象的压缩处理。
在发送一方的处理中，量化处理包括划分通过对于活动图象数据执行DCT(离散余弦变换)而得到的DCT系数的处理。所以，量化处理具有大的处理负荷，已设想了用于减缓量化处理的负荷的各种方法。
例如，在日本专利公开号No.10-191334和日本专利公开号No.10-116267中，揭示了通过在预定的情形下在量化处理中跳过除法而整个地减轻处理负荷的方法。
在这些方法中，在量化处理之前，先确定被包含在块中的所有的DCT系数在量化处理中是否都为零，以及如果确定它们都是零，则跳过量化处理。
例如，假设”x”是要量化的DCT系数，”K”是基于量化参量的除数，以及在量化时的算术运算是x/K，通过表达式y＝x/K得到的”y”，在-K＜x＜K的范围时被确定为y＝0，而不进行该除法。在这种情形下，在除法结果中十进制数的个位数以下的数字被丢弃。
发明内容
然而，在上述的惯用的方法中，确定被包含在活动图象数据的每个块中的所有的DCT系数(例如，64个系数)是否为零作为量化结果。
然而，由于这样的判决，被包含在块中的所有的DCT系数常常是零作为量化结果。在这种情形下，用于计算DCT系数的处理和用于确定每个DCT系数的处理的结果被丢弃。
也就是，如果量化结果是零，则用于计算作为DCT的对象的信号的处理，包括复数算术运算的DCT处理，以及用于确定被包含在每个块中的DCT系数的处理是无用的，导致较低的处理效率。
本发明的目的是提供一种用于以更高的速度和提高的效率编码活动图象的处理。
为了达到以上目的，按照本发明的第一方面，提供了一种用于通过包括运动估算处理的预定处理来编码处理目标的活动图象的活动图象编码方法，根据有关在该块与在编码时要参考的帧(即，在进行运动矢量检测时要参考的帧)的参考块之间的差信息(例如，差平方之和、差值绝对值和、或与在运动估算处理中计算的差值有关的参量)、和在该活动图象的量化处理中使用的量化参量(例如，在本发明实施例中的“QP”)，确定对于处理目标的预定处理(例如，DCT处理和量化处理)是否可被省略，如果确定该预定处理不能被省略则执行该预定的处理，以及如果确定该预定处理可被省略则省略该预定的处理，并且使得一组规定的数值成为对于该块的该预定处理的结果。
这里，当预定的处理可被省略时，除了其中这些条件被精确地满足(例如，相应于图2的区域<1>)以外，有可能包含这样的情形，其中在本发明的实施例中表达式(6)或(7)表示的条件在一定范围(例如，相应于图2的区域<2>)内被放宽。
本发明第2方面是按照第1方面的活动图象编码方法，其中当对于块的预定处理按照在有关差信息与量化参量之间的对应关系被省略时，该方法可包括设置特定的特性它表示关于对于块的预定处理是否可被省略而对活动图象的图象质量只有最小影响的判决条件，以及根据特定的特性确定对于块的预定处理是否可被省略。
在图2上，表示判决条件的特定的特性被设定，这样，在具有较小的差绝对值之和的区域，或在具有较大的量化参量的区域中，预定的处理可被省略。
本发明第3方面是按照第1或2方面的活动图象编码方法，其中在处理对象的块与参考块之间的差绝对值之和或差平方之和可在运动估算处理中被计算，以及差绝对值之和或差平方之和被用作有关差信息。
本发明第4方面是按照第3方面的活动图象编码方法，其中根据差绝对值之和与量化参量进行比较的结果，按照以下表达式作出对于块的预定的处理是否被省略的判决 S＜K(QP)其中S是差绝对值之和，QP是量化参量，以及K是量化参量QP的线性函数。
这里，给出S＜K(QP)的比较表达式的例子，诸如[公式5]14Σx=0N-1Σy=0M-1|f(x,y)|<52QP]]>其中f(x，y)是表示块的函数，QP是量化参量，M，N是正整数，表示块的纵向和水平尺寸(象素)。
或[公式6]14Σx=0N-1Σy=0M-1|f(x,y)|<QM(u,v)16(2QP-12)]]>其中f(x，y)是表示块的函数，QP是量化参量，QM(u，v)是量化矩阵，M，N是正整数，表示块的纵向和水平尺寸(象素)。
在以上两个表达式中，在左边的∑∑|f(x，y)|的一部分是指差绝对值之和，两个表达式中的前一个是用于H.263方法的，而后一个表达式是用于MPEG方法的比较表达式。
而且，当差绝对值之和被用作为在运动估算处理中图形匹配时用于确定块之间的相似性的指数时，用它直接构成有关的差信息。另外，当差平方之和被用作为在运动估算处理中图形匹配时用于确定块之间的相似性的指数时，可通过以本发明本实施例中的(差平方之和的平方根)去近似如表达式(9)中所表示的(差绝对值之和)来利用它。在本申请中所指的“差绝对值之和”覆盖通过这个近似得到的差绝对值之和。
本发明第5方面是按照第1到4中的任一方面的活动图象编码方法，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量，对于处理对象的块的预定处理的结果不是全零，则确定预定的处理不能被省略，而如果对于处理对象的块的预定处理的结果是全零，则确定预定的处理可被省略，以及规定的数值被置成零。
本发明第6方面是按照第1到4中的任一方面的活动图象编码方法，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量，某个或更大的百分数的、对于处理对象的块的预定处理的结果不是零，则确定预定的处理不能被省略，而如果某个或更大的百分数的、对于处理对象的块的预定处理的结果是零，则确定预定的处理可被省略，以及规定的数值被置成零。
本发明第7方面是按照第1到3中的任一方面的活动图象编码方法，其中根据有关差信息和量化参量与各自门限值进行比较的结果(例如，通过图3和图4的边界坐标决定的差绝对值之和与量化参量)，作出是否省略对于块的预定处理的判决。
本发明第8方面是按照第1到7中的任一方面的活动图象编码方法，其中根据编码处理的需要的时间和预测的时间，通过参考对于处理对象的块执行的编码处理需要的时间，作出是否省略对于块的预定处理的判决。
这里，编码处理的预测时间是通过计算而被计算的，或作为对于前一帧的处理时间被实际测量的。
本发明第9方面是按照第1到7中的任一方面的活动图象编码方法，其中根据代码量，通过参照对于块所执行的编码处理中的代码量，作出是否省略对于处理对象的块的预定处理的判决。
本发明第10方面是按照第1到7中的任一方面的活动图象编码方法，其中根据有关结构的信息，通过参照有关对于块的结构的信息，作出是否省略对于处理对象的块的预定处理的判决。
这里所使用结构是一个表示图象对于人的视觉容易感知的程度的参量，它可以从差绝对值之和被计算。
本发明第11方面是按照第1到7中的任一方面的活动图象编码方法，其中根据任意输入的判决条件，作出是否省略对于块的预定处理的判决。
也就是，判决条件可以通过由用户选择的参量被决定。
本发明第12方面是按照第1到11中的任一方面的活动图象编码方法，其中用于确定是否省略对于处理对象的块的预定处理的判决条件，取决于编码处理的负荷状态被动态地改变。
因此，当编码处理的负荷增加时，判决条件可被改变为其中对于更多的块的预定的处理被省略的条件。
本发明第13方面是按照第1到12中的任一方面的活动图象编码方法，其中预定的处理包括DCT处理和量化处理。
本发明第14方面是一种用于通过预定的处理(例如，DCT或量化)对处理对象的活动图象进行帧内编码的活动图象编码方法，根据通过把包含在处理对象的帧中的块的数值相加所得到的信息、及在活动图象的量化处理时使用的量化参量来确定是否可省略对于块的预定的处理，如果确定不能省略预定的处理，则执行预定的处理，以及如果确定可省略预定的处理，则省略预定的处理，并且使得一组规定的数值成为对于该块的预定处理的结果。
例如，在要编码的块中的象素值被相加，以及在DCT处理和量化处理后进行判决对于所有的块相加结果是否为零，其中如果确定对于所有的块相加结果是零，则预定的处理被省略，或如果确定对于所有的块相加结果不是零，则执行预定的处理。
本发明第15方面是一种用于通过包括运动估算处理的预定处理对处理对象的活动图象进行编码的活动图象编码设备，根据有关在该块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量确定对于处理对象的块的预定处理是否可被省略，如果确定预定的处理不能被省略，则执行预定的处理，以及如果确定预定处理可被省略，则省略预定的处理，并且使得一组规定的数值成为对于该块的预定处理的结果。
本发明第16方面是按照第15方面的活动图象编码设备，其中当对于块的预定处理模照在有关差信息与量化参量之间的对应关系被省略时，该方法包括设置特定的特性、它表示关于对于块的预定处理是否可被省略而对活动图象的图象质量只有最小影响的判决条件，以及根据特定的特性来确定对于块的预定处理是否可被省略。
本发明第17方面是按照第15或16方面的活动图象码设备，其中在处理对象的块与参考块之间的差绝对值之和或差平方之和可在运动估算处理中被计算，以及差绝对值之和或差平方之和被用作有关差信息。
本发明第18方面是按照第17方面的活动图象编码设备，其中根据差绝对值之和与量化参量进行比较的结果，按照以下表达式作出对于块的预定处理是否被省略的判决[公式7]S＜K(QP)其中S是差绝对值之和，QP是量化参量，以及K是量化参量QP的线性函数。
本发明第19方面是按照第15到18中的任一方面的活动图象编码设备，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量，对于处理对象的块的预定处理的结果不是全零，则确定预定的处理不能被省略，而如果对于处理对象的块的预定处理的结果是全零，则确定预定的处理可被省略，以及规定的数值被置成零。
本发明第20方面是按照第15到18中的任一方面的活动图象编码设备，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量，某个或更大的百分数的、对于处理对象的块的预定处理的结果不是零，则确定预定的处理不能被省略，而如果某个或更大的百分数的、对于处理对象的块的预定处理的结果是零，则确定预定的处理可被省略，以及规定的数值被置成零。
本发明第21方面是按照第15到17中的任一方面的活动图象编码设备，其中根据有关差信息和量化参量与各自门限值进行比较的结果，作出是否省略对于块的预定处理的判决。
本发明第22方面是按照第15到21中的任一方面的活动图象编码设备，其中根据编码处理的需要的时间和预测的时间，通过参照对于块执行的编码处理的需要时间，作出是否省略对于处理对象的块的预定处理的判决。
在活动图象编码设备中，根据代码量，通过参照对于块执行的编码处理中的代码量，作出是否省略对于处理对象的块的预定处理的判决。
本发明第24方面是按照第15到21中的任一方面的活动图象编码设备，其中根据有关结构的信息，通过参照对于块的结构的信息，作出是否省略对于处理对象的块的预定处理的判决。
本发明第25方面是按照第15到21中的任一方面的活动图象编码设备，其中根据任意输入的判决条件，作出是否省略对于块的预定处理的判决。
本发明第26方面是按照第15到21中的任一方面的活动图象编码设备，其中用于确定是否省略对于处理对象的块的预定处理的判决条件，取决于编码处理的负荷状态被动态地改变。
本发明第27方面是按照第15到26中的任一方面的活动图象编码设备，其中预定的处理包括DCT处理和量化处理。
本发明第28方面是一种用于通过预定的处理对处理对象的活动图象进行帧内编码的活动图象编码设备，根据通过把包含在处理对象的帧中的块的数值相加所得到的信息、及在活动图象的量化处理时使用的量化参量来确定是否可省略对于块的预定的处理，如果确定不能省略预定的处理，则执行预定的处理，以及如果确定可省略预定的处理，则省略预定的处理，并且使得一组规定的数值成为对于块的预定处理的结果。
本发明第29方面是一种用于通过包括运动估算处理的预定处理来编码处理对象的活动图象的活动图象编码程序，该程序包括下列功能根据有关在块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量，确定对于处理对象的块的预定处理是否可被省略，如果确定预定处理不能被省略，则执行预定的处理，以及如果确定预定的处理可被省略，则省略预定的处理，并且使得一组规定的数值成为对于块的预定处理的结果。
本发明第30方面是按照第29方面的活动图象编码程序，其中当对于块的预定处理按照在有关差信息与量化参量之间的对应关系被省略时，该方法包括设置特定的特性、它表示关于对于块的预定处理是否可被省略而对活动图象的图象质量只有最小影响的判决条件，以及根据特定的特性确定对于块的预定处理是否可被省略。
本发明第31方面是按照第29或30方面的活动图象编码程序，其中在处理对象的块与参考块之间的差绝对值之和或差平方之和在运动估算处理中被计算，以及差绝对值之和或差平方之和被用作有关差信息。
本发明第32方面是按照第31方面的活动图象编码程序，其中根据差绝对值之和与量化参量进行比较的结果，按照以下表达式作出对于块的预定处理是否被省略的判决[公式8]S＜K(QP)其中S是差绝对值之和，QP是量化参量，以及K是量化参量QP的线性函数。
本发明第33方面是按照第29到32中的任一方面的活动图象编码程序，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量，对于处理对象的块的预定处理的结果不是全零，则确定预定的处理不能被省略，而如果对于处理对象的块的预定处理的结果是全零，则确定预定的处理可被省略，以及规定的数值被置成零。
本发明第34方面是按照第29到32中的任一方面的活动图象编码程序，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在活动图象的量化处理中使用的量化参量，某个或更大的百分数的、对于处理对象的块的预定处理的结果不是零，则确定预定的处理不能被省略，而如果某个或更大的百分数的、对于处理对象的块的预定处理的结果是零，则确定预定的处理可被省略，以及规定的数值被置成零。
本发明第35方面是按照第29到31中的任一方面的活动图象编码程序，其中根据有关差信息和量化参量与各自门限值进行比较的结果，作出是否省略对于块的预定处理的判决。
本发明第36方面是按照第29到35中的任一方面的活动图象编码程序，其中根据编码处理的需要的时间和预测的时间，通过参照对于块执行的编码处理需要的时间，作出是否省略对于处理目标的块的预定处理的判决。
本发明第37方面是按照第29到35中的任一方面的活动图象编码程序，其中根据代码量，通过参照对于块执行的编码处理中的代码量，作出是否省略对于处理对象的块的预定处理的判决。
本发明第38方面是按照第29到35中的任一方面的活动图象编码程序，其中根据有关结构的信息，通过参照有关对于该块的结构的信息，作出是否省略对于处理对象的块的预定处理的判决。
本发明第39方面是按照第29到35中的任一方面的活动图象编码程序，其中根据任意输入的判决条件，作出是否省略对于块的预定处理的判决。
本发明第40方面是按照第29到39中的任一方面的活动图象编码程序，其中用于确定是否省略对于处理对象的块的预定处理的判决条件，取决于编码处理的负荷状态被动态地改变。
本发明第41方面是按照第29到40中的任一方面的活动图象编码程序，其中预定的处理包括DCT处理和量化处理。
本发明第42方面是一种用于通过预定的处理对处理对象的活动图象进行帧内编码的活动图象编码程序，根据通过把包含在处理对象的帧中的块的数值相加所得到的信息、及在活动图象的量化处理时使用的量化参量来确定是否可省略对于块的预定的处理，如果确定不能省略预定的处理，则执行预定的处理，以及如果确定可省略预定的处理，则省略预定的处理，并且使得一组规定的数值成为对于块的预定处理的结果。
通过本发明，采用有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息(对于每个块的差绝对值之和或差平方之和)，作出是否可省略预定处理的判决。如果确定对于该块可以省略预定的处理，则不执行预定的处理，以及处理结果被设置为规定的数值。也就是，不是对于每个象素而是以块为单位作出条件判决。
因此，在编码活动图象时，有可能有效地确定是否可省略预定的处理，特别是具有不小的、然而是不考虑编码条件就需要处理负荷的DCT处理和量化处理。另外，判决条件允许预定的处理(诸如DCT处理和量化处理)被省略，而同时抑制活动图象的质量恶化，由此，活动图象的编码处理可以快速而有效地执行。
在本发明中，由于在确定预定的处理是否可被省略时所使用的信息(差绝对值之和或差平方之和)是在用于编码的运动估算时得到的，故用于条件判决的算术运算可被减小，这使得处理更有效。
而且，作为判决的结果，当预定的处理可被省略时，不需要在预定处理的前一级处进行算术运算以便从编码时要参考的帧的参考块得出该差值，这使得编码处理更快速和更有效。
另外，当判决条件在一定范围内被放宽时，编码处理可以在活动图象质量的许可的恶化下更快速地完成。
更具体地说，预定的处理不仅对于精确地满足判决条件的块，而且是对于不满足判决条件、但在预定的处理被省略时对活动图象的质量只有很小影响的块，都是优选被省略的。由此，有可能使得编码处理更快速，以及避免其中活动图象的质量由于增加了的处理负荷而被极大地恶化的情形。
图1是示意地表示可应用本发明的活动图象编码设备1的功能性配置的方框图；图2表示以差绝对值之和S与量化参量之间的关系为判决条件的图；图3表示以差绝对值之和S与量化参量之间的关系为判决条件的一个例子的图；以及图4表示以差绝对值之和S与量化参量之间的关系为判决条件的另一个例子的图。
具体实施例方式
下面将参照附图描述按照本发明的活动图象编码设备的优选实施例。
图1是示意地表示可应用本发明的活动图象编码设备1的功能性配置的方框图。活动图象编码设备1是用于按照MPEG-4(活动图象专家组阶段4)编码活动图象的设备。
在图1上，活动图象编码设备1包括运动估算部分(ME)10、DCT(离散余弦变换)部分20、量化部分(Q)30、和熵编码部分40。熵编码部分40，涉及传统的可变长度编码处理，将不作描述，以及只描述运动估算部分10，DCT部分20和量化部分30。虽然活动图象包括帧间编码块和帧内编码块，但在本实施例中将描述用于操作帧内编码块的处理。
运动估算部分10把要编码的块(包括宏块)与在编码时要参考的帧的每个块进行图形匹配，得出对于最相似的块的运动矢量。
在图形匹配时，差绝对值之和或差平方之和被用作用于确定在每个块之间的相似性的指数。
更具体地说，假设a(x，y)是要编码的块的象素数据，以及b(x’，y’)是用于运动估算的、被参考的帧的块的象素数据，通过以下公式给出差绝对值之和[公式9] 以及通过以下公式给出差平方之和[公式10] 在表达式(1)和(2)中，N表示块的纵向和横向尺寸(象素)。
运动矢量通过把其中差绝对值之和或差平方之和是最小的块看作最相似的块而得出。
DCT对于要编码成基本波之和(分解成频率分量)的帧的象素数据进行离散余弦变换。
更具体地说，假设f(x，y)是象素数据的函数，通过对f(x，y)进行离散余弦变换得出的函数F(u，v)由以下公式给出[公式11]F(u,v)=2NC(u)C(v)Σx=0N-1Σy=0N-1f(x,y)cos(2x+1)uπ2Ncos(2y+1)vπ2N----(3)]]>其中 量化部分30量化由DCT部分20计算的DCT系数。在MPEG-4中规定了两种量化方法，包括H.263方法和MPEG方法。
更具体地说，量化部分30进行算术运算，包括把DCT系数除以预定的量化参量，以及把通过量化得出的小的数值(量化结果)设置为DCT系数。结果，特别是在编码比特率低时，大多数DCT系数常常成为零。所以，在传统上采用以下述方式跳过量化处理的方法。
例如，在H.263方法的情形下，f(x，y)，QF(u，v)的量化结果可以从下式得出QF(u，v)＝(F(u，v)-QP/2)/(2QP)对于F(u，v)≥0以及QF(u，v)＝(F(u，v)+QP/2)/(2QP)对于F(u，v)＜0其中QP是量化参量。
这样，对于每个DCT系数，比较F(u，v)和QP，如果根据比较的结果QF(u，v)是零，则跳过对于它的DCT系数的量化处理。
然而，对于这种方法，即使对于块内的所有的DCT系数的比较结果都是零，也对于每个DCT系数进行F(u，v)和QP的比较。
一方面，如果对于所有的DCT系数比较的结果都是零，则在运动估算部分10中计算的差绝对值之和或差平方之和可想像地落入固定的范围内。
因此，在本发明中，通过利用在运动估算部分10中计算的差绝对值之和或差平方之和，作出关于块内所有的DCT系数是否为零的判决。如果所有的DCT系数都是零，则跳过量化处理。
下面将讨论用于确定块内所有的DCT系数是否为零的判决条件。这里，将主要讨论差绝对值之和。
首先，可被计算的DCT系数的最大值从以上的表达式(3)得出。
|F(u,v)|=|2NC(u)C(v)Σx=0N-1Σy=0N-1f(x,y)cos(2x+1)uπ2Ncos(2y+1)vπ2N|]]>N、C(u)、C(v)是正的，则=2NC(u)C(v)|Σx=0N-1Σy=0N-1f(x,y)cos(2x+1)uπ2Ncos(2y+1)vπ2N|]]>
因为|a+b+c+...|≤|a|+|b|+|c|+...≤2NC(u)C(v)Σx=0N-1Σy=0N-1|f(x,y)cos(2x+1)uπ2Ncos(2y+1)vπ2N|]]>因为-1＜cosθ＜+1，≤2NC(u)C(v)Σx=0N-1Σy=0N-1|f(x,y)|]]>因为N＝8，C(u)，C(v)＝1，1/√2，≤14Σx=07Σy=07|f(x,y)|----(4)]]>另外，其中在量化F(u，v)时DCT系数是零时F(u，v)的条件(对于QF(u，v)＝0的条件)为[公式13] 这样， 因此，-2QP-QP2<F(u,v)<+2QP+QP2]]>所以，|F(u,v)|<52QP----(5)]]>也就是，如果在DCT处理后DCT系数的最大值处在其中量化结果是零的F(u，v)的范围内，则在量化结果中所有的DCT系数变成零。因此，不用执行DCT处理和量化而确定量化结果是否为零的条件可以从表达式(4)和(5)给出，以使得，[公式14]|F(u,v)|≤14Σx=07Σy=07|f(x,y)|<52QP----(6)]]>其中f(x)的绝对值之和在运动估算部分10中被计算。
因此，在运动估算部分10的处理后，作出关于f(x)的绝对值之和是否满足表达式(6)的判决。如果确定满足表达式(6)，则DCT部分20和量化部分30的处理被跳过，以及对于它的块，在量化后所有的DCT系数(QF(u，v))被设置为零。
以上描述了在H.263的情形下的量化方法。然而，在MPEG方法的情形下，可以类似地作出对于f(x，y)的判决。也就是，当在MPEG方法中的量化参量是QP时，f(x，y)的量化结果QF(u，v)由下式表示[公式15]qf＝16F(u，v)//QM(u，v)QF(u，v)＝qf/(2QP)(7)在表达式(7)中，它意味着，当X大于或等于零时，X//Y是(X+Y/2)/Y或当X小于零时，是(X-Y/2)/Y。另外，QM(u，v)是量化矩阵。
在MPEG方法中条件表达式通过与H.263方法相同的算术运算被给出，诸如，[公式16]|F(u,v)|≤14Σx=07Σy=07|f(x,y)|<QM(u,v)16(2QP-12)----(8)]]>虽然这里示例地说明在H.263方法和MPEG方法中的条件表达式，但量化方法不限于这些方法，但可以采用不同于以上的其他条件表达式。
而且，以上的判决条件是基于在运动估算部分10中使用差绝对值之和的运动估算，但通过使用这个判决条件，当运动估算部分10使用差平方之和时可以得出近似的判决条件。
也就是，在表达式(6)中的设置值，诸如，[公式17]S=Σx=07Σy=07|∫(x,y)|----(9)]]>差平方之和T可能具有下述关系，[公式18]S≤T----(10)]]>因此，当运动估算部分10利用按照表达式(6)和(10)的差平方之和时，有可能以一定的精确度确定在每个块的量化后所有的DCT系数是否都是零。在这种情形下，对于其中在量化后所有的DCT系数实际上不是零的块，确定在处理该块时量化后的DCT系数是零。然而，如果要求较快的处理以交换严格的精度，则有意义的是以上述的方式执行处理，即使图象质量有某些恶化。特别是在实时处理中，当需要平滑的图象过渡时它是有用的。
虽然在本实施例中示例地说明帧间编码，但是如果进行帧内编码，则有可能通过利用要编码的块的象素值，而不是有关与参考块的差信息、诸如差绝对值之和或差平方之和，来确定DCT处理和量化处理是否可被省略。
也就是，DCT和量化处理可以以与帧间编码相同的方式，通过把包含在要编码的块中的象素值相加以及在执行DCT和量化处理中确定对于所有的块的相加结果是否为零，而被省略。
如上所述，可应用本发明的活动图象编码设备1，通过利用对于每个块的差绝对值之和或差平方之和，根据预定的条件(表达式(6)或(7))作出判决。对于其中确定块的所有的DCT系数在量化处理后是零的块，不进行DCT处理和量化处理，以及量化后的DCT系数被设置为零。也就是，以块为单位，而不是对于每个图象质量，作出在量化后的DCT系数是否为零的判决。
因此，在编码活动图象时，处理负荷被减小，以及有可能有效地确定是否可省略具有不考虑编码条件就需要处理负荷的DCT处理和量化处理。另外，判决条件是，可以省略DCT处理和量化处理而能抑制活动图象的恶化，由此，活动图象编码处理可以快速和有效地执行。
另外，活动图象编码设备1在确定DCT处理和量化处理的省略时所使用的差绝对值之和或差平方之和在用于编码的运动估算时获得，由此，用于条件判决的算术运算被减轻，使得处理更有效。
而且，作为判决的结果，当DCT处理和量化处理可被省略时，不需要在DCT处理的前面的级进行从编码时要参考的帧的预定的块计算差值的算术运算。由此使得编码处理更快速和更有效。
在本实施例中，在使用差绝对值之和时的判决条件为(见表达式(6))，在量化后所有的DCT系数肯定是零。图2是显示以差绝对值之和S与量化参量之间的关系为判决条件的图。在图2上基于表达式(6)的判决条件表示区域<1>，在该区域中，在量化后所有的DCT系数肯定是零。
另一方面，区域<2>是包含这样的块的区域，其中在量化后某个或更小的百分数(例如，50％或更小，或者30％或更小)的DCT系数不是零。除了如表达式(6)中给出的判决条件以外，确定在量化后某个或更小的百分数的DCT系数不是零，但图象质量上具有可许可的恶化。相反，因为预期更快速的编码处理，故判决条件可放宽到某个或更小的百分数(区域<2>)。
传统上，在进行活动图象的实时编码时，如果活动图象的编码不是在预定的时间内结束，则编码处理在编码期间对于该帧在中途被停止，或在编码期间的帧被丢弃。
在这种情形下，在编码后活动图象的质量可能被极大地恶化，诸如图象的缺损部分或丢失的帧。
因此，对于其中在量化后所有的DCT系数不是零的某些块，判定在量化后所有的DCT系数是零，以减小编码时的处理负荷，由此有可能避免其中活动图象的质量被极大地恶化的情形。
帧的每个块被给予优先权次序，以便跳过对编码的活动图象的质量具有较小影响的块的编码，由此有可能使得编码处理更快速，而同时更适当地保持活动图象的质量。
下面将描述用于使编码处理更快的各种方法，包括确定区域<2>为其中在量化后所有的DCT系数是零的区域的情形。
第一种方法涉及确定图2的区域<2>为其中在量化后所有的DCT系数是零的区域，如上所述。
在图2上，如果区域具有较小的差绝对值之和，则该区域在量化后所有的DCT系数是零的趋势之百分数较高。另外，对于其中在量化后所有的DCT系数不是零的块，即使判定为在量化后DCT系数是全零，具有较小的差绝对值之和的区域对于活动图象的质量也只有较小的影响。
因此，在图2上指明边界条件(以后称为“边界线”)的函数的梯度基于预定的参量(在编码处理或任意输入时可得到的参量)而改变，这样，判定为在量化后所有的DCT系数是零的区域从区域<1>扩展到区域<2>。
这里，下面将描述在改变边界线的梯度时作为参考的参量。
在图2上，假设差绝对值之和是Diff，在量化参量QP与梯度之间存在以下关系。
Diff＝K×QP (11)而且，表达式(11)的梯度K可以采用以下函数。
K＝t’/(T-t) (12)然而，t’＝min(T，t)，其中”T”是对于编码处理可允许的最长时间，以及”t”是编码处理中已花费的时间。所以，在t＝0的情形下，梯度K是零，或如果t＞T，则梯度K是无穷大。
这里所使用的“对于编码处理可允许的最长时间”是打算作为编码处理时间的、以帧或块(宏块)为单位的时间。
作为表达式(12)中的”T”，可以使用通过计算的预测的数值，或以前的处理的结果(例如，在编码时要参考的帧的处理时间)。
虽然梯度K在表达式(12)中是用作为参考的编码时间被决定的，但梯度K可根据代码的处理量，或编码的图象的结构被决定，或可在进行编码处理时由用户人工地输入。
这里，当梯度K根据编码图象的结构被决定时，梯度K被改变，这样，对于人的视觉容易感知的图象的一部分受到正常的编码处理，以及对于人的视觉较少感知的其他的部分跳过编码处理。这个结构可以根据差绝对值之和，或通过使用在运动估算部分10中计算的各个参量而被表征。
第二种方法涉及确定图3的区域<3>为其中在量化后所有的DCT系数是零的区域。在图3上，由点线表示的特性表示图2上的区域<1>的边界线。
在这种情形下，规定边界线的坐标(此后，被称为“边界坐标”)以与第一种方法中决定梯度K的相同的方式根据代码的处理量或编码的图象的结构被决定，或在进行编码处理时由用户人工地输入。
第三种方法涉及确定图4的区域<4>为其中在量化后所有的DCT系数是零的区域。在图4上，由点线表示的特性表示图2上的区域<1>的边界线。
在这种情形下，边界线的坐标以与第一种方法中相同的方式根据代码的处理量或编码图象的结构被决定，或在进行编码处理时由用户人工地输入。
在第一到第三方法中，梯度K或边界坐标与差绝对值之和有关而被决定，如上所述。另外，梯度K或边界坐标与按照表达式(10)的差平方之和有关而被决定。而且，梯度K或边界线可以与在运动决定处理中得到的各种参量有关而被决定。
在第一到第三方法中，边界线是直线。然而，边界线不限于直线，而可以是曲线。
而且，在第一到第三方法中，梯度K或边界坐标可以取决于编码处理的状态(处理能力)被动态地改变。
这样，编码处理不仅对于其中在量化后所有的DCT系数是零的块，而且对于其中在量化后几乎所有的DCT系数是零的块也被跳过，由此，通过省略帧的不太显著部分的编码、而以更高的优先权来形成要编码的帧的重要部分。
也就是，帧的质量可被保持在某个水平，而不在半途结束要编码的帧的编码处理。所以，即使编码处理的负荷增加，通过大大降低活动图象的质量来完成更快速的编码处理。
通过本发明，采用有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息(对于每个块的差绝对值之和或差平方之和)，作出是否可省略预定处理的判决。如果确定对于该块的可以省略预定的处理，则不执行预定的处理，以及处理结果被设置为规定的数值。也就是，不是对于每个象素而是以块为单位作出条件判决。
因此，在编码活动图象时，有可能有效地确定是否可省略预定的处理，特别是具有不小的、然而是不考虑编码条件就需要处理负荷的DCT处理和量化处理。另外，判决条件允许预定的处理(诸如DCT处理和量化处理)被省略，而同时抑制活动图象的质量恶化，由此，活动图象的编码处理可以快速而有效地执行。
在本发明中，由于在确定预定的处理是否可被省略时所使用的信息(差绝对值之和或差平方之和)是在用于编码的运动估算时得到的，故用于条件判决的算术运算可被减少，这使得处理更有效。
而且，作为判决的结果，当预定的处理可被省略时，不需要在预定处理的前一级处进行算术运算以便从编码时要参考的帧的参考块得出该差值，这使得编码处理更快速和更有效。
另外，当判决条件在一定范围内被放宽时，编码处理可以在活动图象质量的许可的恶化下更快速地完成。
更具体地说，预定的处理不仅对于精确地满足判决条件的块，而且对于不满足判决条件、但在预定的处理被省略时对活动图象的质量只有很小影响的块都是优选被省略的。由此，有可能使得编码处理更快速，以及避免其中活动图象的质量由于增加了的处理负荷而被极大地恶化的情形。
权利要求
1.一种用于通过包括运动估算处理的预定处理来编码处理对象的活动图象的活动图象编码方法，根据有关在该块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，确定对于处理对象的块的所述预定处理是否可被省略，如果确定所述预定处理不能被省略则执行所述预定的处理，以及如果确定所述预定处理可被省略则省略所述预定的处理，并且使得一组规定的数值成为对于所述块的所述预定处理的结果。
2.按照权利要求1的活动图象编码方法，其中当对于所述块的预定处理按照在有关所述差信息与所述量化参量之间的对应关系被省略时，该方法包括设置特定的特性、它表示关于对于所述块的预定处理是否可被省略而对活动图象的图象质量只有最小影响的判决条件，以及根据所述特定的特性确定对于所述块的预定处理是否可被省略。
3.按照权利要求1或2的活动图象编码方法，其中在处理对象的所述块与所述参考块之间的差绝对值之和或差平方之和在所述运动估算处理中被计算，以及所述差绝对值之和或差平方之和被用作有关所述差信息。
4.按照权利要求3的活动图象编码方法，其中根据所述差绝对值之和与所述量化参量进行比较的结果，按照以下表达式作出对于所述块的所述预定处理是否被省略的判决[公式1]S＜K(QP)其中S是所述差绝对值之和，QP是所述量化参量，以及K是所述量化参量QP的线性函数。
5.按照权利要求1到4的任一项的活动图象编码方法，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，对于处理对象的块的所述预定处理的结果不是全零，则确定所述预定的处理不能被省略，而如果对于处理对象的块的所述预定处理的结果是全零，则确定所述预定的处理可被省略，以及所述规定的数值被置成零。
6.按照权利要求1到4的任一项的活动图象编码方法，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，某个或更大的百分数的、对于处理对象的块的所述预定处理的结果不是零，则确定所述预定的处理不能被省略，而如果某个或更大的百分数的、对于处理对象的块的所述预定处理的结果是零，则确定所述预定的处理可被省略，以及所述规定的数值被置成零。
7.按照权利要求1到3的任一项的活动图象编码方法，其中根据有关所述差信息和所述量化参量与各自门限值进行比较的结果，作出是否省略对于所述块的所述预定处理的判决。
8.按照权利要求1到7的任一项的活动图象编码方法，其中根据编码处理的所述需要的时间和预测的时间，通过参照对于处理对象的块执行的编码处理需要的时间，作出是否省略对于所述块的所述预定处理的判决。
9.按照权利要求1到7的任一项的活动图象编码方法，其中根据所述代码量，通过参照对于所述块执行的编码处理中的代码量，作出是否省略对于处理对象的块的所述预定处理的判决。
10.按照权利要求1到7的任一项的活动图象编码方法，其中根据有关结构的所述信息，通过参照有关对于所述块的结构的信息，作出是否省略对于处理对象的块的所述预定处理的判决。
11.按照权利要求1到7的任一项的活动图象编码方法，其中根据任意输入的判决条件，作出是否省略对于所述块的所述预定处理的判决。
12.按照权利要求1到11的任一项的活动图象编码方法，其中用于确定是否省略对于处理对象的块的所述预定处理的判决条件，取决于编码处理的负荷状态被动态地改变。
13.按照权利要求1到12的任一项的活动图象编码方法，其中所述预定的处理包括DCT处理和量化处理。
14.一种用于通过预定的处理对处理对象的活动图象进行帧内编码的活动图象编码方法，根据通过把包含在处理对象的帧中的块的数值相加所得到的信息、及在所述活动图象的量化处理时使用的量化参量来确定是否可省略对于块的所述预定的处理，如果确定不能省略所述预定的处理，则执行所述预定的处理，以及如果确定可省略所述预定的处理，则省略所述预定的处理，并且使得一组规定的数值成为对于所述块的所述预定处理的结果。
15.一种用于通过包括运动估算处理的预定处理来编码处理对象的活动图象的活动图象编码设备，根据有关在该块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，确定对于处理对象的块的所述预定处理是否可被省略，如果确定所述预定处理不能被省略则执行所述预定的处理，以及如果确定所述预定处理可被省略则省略所述预定的处理，并且使得一组规定的数值成为对于所述块的所述预定处理的结果。
16.按照权利要求15的活动图象编码设备，其中当对于所述块的预定处理按照在有关所述差信息与所述量化参量之间的对应关系被省略时，该方法包括设置特定的特性、它表示关于对于所述块的预定处理是否可被省略而对活动图象的图象质量只有最小影响的判决条件，以及根据所述特定的特性确定对于所述块的预定处理是否可被省略。
17.按照权利要求15或16的活动图象编码设备，其中在处理对象的所述块与所述参考块之间的差绝对值之和或差平方之和在所述运动估算处理中被计算，以及所述差绝对值之和或差平方之和被用作有关所述差信息。
18.按照权利要求17的活动图象编码设备，其中根据所述差绝对值之和与所述量化参量进行比较的结果，按照以下表达式作出对于所述块的所述预定处理是否被省略的判决[公式2]S＜K(QP)其中S是所述差绝对值之和，QP是所述量化参量，以及K是所述量化参量QP的线性函数。
19.按照权利要求15到18的任一项的活动图象编码设备，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，对于处理对象的块的所述预定处理的结果不是全零，则确定所述预定的处理不能被省略，而如果对于处理对象的块的所述预定处理的结果是全零，则确定所述预定的处理可被省略，以及所述规定的数值被置成零。
20.按照权利要求15到18的任一项的活动图象编码设备，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，某个或更大的百分数的、对于处理对象的块的所述预定处理的结果不是零，则确定所述预定的处理不能被省略，而如果某个或更大的百分数的、对于处理对象的块的所述预定处理的结果是零，则确定所述预定的处理可被省略，以及所述规定的数值被置成零。
21.按照权利要求15到17的任一项的活动图象编码设备，其中根据有关所述差信息和所述量化参量与各自门限值进行比较的结果，作出是否省略对于所述块的所述预定处理的判决。
22.按照权利要求15到21的任一项的活动图象编码设备，其中根据编码处理的所述需要的时间和预测的时间，通过参照对于所述块执行的编码处理的需要时间，作出是否省略对于处理对象的块的所述预定处理的判决。
23.按照权利要求15到21的任一项的活动图象编码设备，其中根据所述代码量，通过参照对于所述块执行的编码处理中的代码量，作出是否省略对于处理对象的块的所述预定处理的判决。
24.按照权利要求15到21的任一项的活动图象编码设备，其中根据有关结构的所述信息，通过参照有关对于所述块的结构的信息，作出是否省略对于处理对象的块的所述预定处理的判决。
25.按照权利要求15到21的任一项的活动图象编码设备，其中根据任意输入的判决条件，作出是否省略对于所述块的所述预定处理的判决。
26.按照权利要求15到25的任一项的活动图象编码设备，其中用于确定是否省略对于处理对象的块的所述预定处理的判决条件，取决于编码处理的负荷状态被动态地改变。
27.按照权利要求15到26的任一项的活动图象编码设备，其中所述预定的处理包括DCT处理和量化处理。
28.一种用于通过预定的处理对处理对象的活动图象进行帧内编码的活动图象编码设备，根据通过把包含在处理对象的帧中的块的数值相加所得到的信息、及在所述活动图象的量化处理时使用的量化参量来确定是否可省略对于块的所述预定的处理，如果确定不能省略所述预定的处理，则执行所述预定的处理，以及如果确定可省略所述预定的处理，则省略所述预定的处理，并且使得一组规定的数值成为对于所述块的所述预定处理的结果。
29.一种用于通过包括运动估算处理的预定处理来编码处理对象的活动图象的活动图象编码程序，所述程序包括下列功能根据有关在该块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，确定对于处理对象的块的所述预定处理是否可被省略，如果确定所述预定处理不能被省略则执行所述预定的处理，以及如果确定所述预定处理可被省略则省略所述预定的处理，并且使得一组规定的数值成为对于所述块的所述预定处理的结果。
30.按照权利要求29的活动图象编码程序，其中当对于所述块的预定处理按照在有关所述差信息与所述量化参量之间的对应关系被省略时，该方法包括设置特定的特性、它表示关于对于所述块的预定处理是否可被省略而对活动图象的图象质量只有最小影响的判决条件，以及根据所述特定的特性确定对于所述块的预定处理是否可被省略。
31.按照权利要求29或30的活动图象编码程序，其中在处理对象的所述块与所述参考块之间的差绝对值之和或差平方之和在所述运动估算处理中被计算，以及所述差绝对值之和或差平方之和被用作有关所述差信息。
32.按照权利要求31的活动图象编码程序，其中根据所述差绝对值之和与所述量化参量进行比较的结果，按照以下表达式作出对于所述块的所述预定处理是否被省略的判决[公式3]S＜K(QP)其中S是所述差绝对值之和，QP是所述量化参量，以及K是所述量化参量QP的线性函数。
33.按照权利要求29到32的任一项的活动图象编码程序，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，对于处理对象的块的所述预定处理的结果不是全零，则确定所述预定的处理不能被省略，而如果对于处理对象的块的所述预定处理的结果是全零，则确定所述预定的处理可被省略，以及所述规定的数值被置成零。
34.按照权利要求29到32的任一项的活动图象编码程序，其中如果根据有关在处理对象的块与在编码时要参考的帧的参考块之间的差信息、和在所述活动图象的量化处理中使用的量化参量，某个或更大的百分数的、对于处理对象的块的所述预定处理的结果不是零，则确定所述预定的处理不能被省略，而如果某个或更大的百分数的、对于处理对象的块的所述预定处理的结果是零，则确定所述预定的处理可被省略，以及所述规定的数值被置成零。
35.按照权利要求29到31的任一项的活动图象编码程序，其中根据有关所述差信息和所述量化参量与各自门限值进行比较的结果，作出是否省略对于所述块的所述预定处理的判决。
36.按照权利要求29到35的任一项的活动图象编码程序，其中根据编码处理的所述需要的时间和预测的时间，通过参照对于所述块执行的编码处理需要的时间，作出是否省略对于处理对象的块的所述预定处理的判决。
37.按照权利要求29到35的任一项的活动图象编码程序，其中根据所述代码量，通过参照对于所述块执行的编码处理中的代码量，作出是否省略对于处理对象的块的所述预定处理的判决。
38.按照权利要求29到35的任一项的活动图象编码程序，其中根据有关结构的所述信息，通过参照有关对于所述块的结构的信息，作出是否省略对于处理对象的块的所述预定处理的判决。
39.按照权利要求29到35的任一项的活动图象编码程序，其中根据任意输入的判决条件，作出是否省略对于所述块的所述预定处理的判决。
40.按照权利要求29到39的任一项的活动图象编码程序，其中用于确定是否省略对于处理对象的块的所述预定处理的判决条件，取决于编码处理的负荷状态被动态地改变。
41.按照权利要求29到40的任一项的活动图象编码程序，其中所述预定的处理包括DCT处理和量化处理。
42.一种用于通过预定的处理对处理对象的活动图象进行帧内编码的活动图象编码程序，根据通过把包含在处理对象的帧中的块的数值相加所得到的信息、及在所述活动图象的量化处理时使用的量化参量来确定是否可省略对于块的所述预定的处理，如果确定不能省略所述预定的处理，则执行所述预定的处理，以及如果确定可省略所述预定的处理，则省略所述预定的处理，并且使得一组规定的数值成为对于所述块的所述预定处理的结果。
全文摘要
为了提供以更高速度和提高的效率来编码活动图象的处理，本发明提供了用于通过包括运动估算处理的预定处理来编码处理对象的活动图象的活动图象编码方法，根据有关在该块与在编码时要参考的帧(即，在进行运动矢量检测时要参考的帧)的参考块之间的差信息、和在该活动图象的量化处理中使用的量化参量，确定对于处理对象的块的预定处理(例如，DCT处理和量化处理)是否可被省略，如果确定该预定处理不能被省略则执行该预定处理，以及如果确定该预定处理可被省略则省略该预定处理，并且使得一组规定的数值成为对于该块的该预定处理的结果。
文档编号H04N7/50GK1449198SQ03108000
公开日2003年10月15日 申请日期2003年3月28日 优先权日2002年3月29日
发明者萩原典尚 申请人:精工爱普生株式会社