专利名称：用于使用时间相关编码一个目标轮廓的方法和设备的制作方法
技术领域：
本发明涉及一种编码以视频信号表示的目标轮廓的方法和设备，更具体地讲，涉及一种通过利用基于各个轮廓间的时间相关的轮廓运动估算技术而能够减少传输数据量的方法和设备。
在诸如可视电话、电话会议和高清晰度电视系统之类的数字电视系统中，因为在视频帧信号中的视频行信号中包括称之为象素的数字数据的序列，为限定每个视频帧信号，需要大量的数字数据。
但是，因为常规传输信道的可用带宽是有限的，为了经由信道发送大量的数字数据，不可避免地要通过使用各种数据压缩技术压缩或减少数据量，特别是在如可视电话和电话会议系统的那些低比特率视频信号编码器的情况下。
一种用于编码低比特率编码系统的视频信号的这种技术是被称为面向目标的分析-合成编码技术(见Signal ProcessingImage Cmmunication 2409-428，Dec.1990中，Michael Hotter著的“Object-Oriented Analysis-Synthesis CodingBased on Moving Two-Dimensional Objects”)。
按照该面向目标的分析-合成编码技术，一个输入视频图象被分为多个目标；且通过不同的编码信道对用于限定每个目标的运动、轮廓和象素数据的三组参数进行处理。
面向目标的分析-合成编码技术的一个例子是MPGE-4，MPGE-4已经被建议提供一种满足在低比特率通信、交互多媒体和区域监视中的基于内容的交互性和编码效率和/或普遍性的音频-视频编码标准(见MPEG-4视频检验模型版本2.0，国际标准化组织，ISO/IEC JTC1/SC29/WG 11 N1260，1996年3月)。
按照MPGE-4，一个视频信号被分为多个视频目标平面(多个VOP)，其中一个VOP是一个用户可以存取和处理的包含比特流的实体。一个VOP可以被称为一个目标且被表示为一个分界矩形，该矩形的宽度和长度都是16N个象素，N是一个正整数。VOP是在编码器中的处理单元。一个VOP包括由亮度分量Y和色度分量Cr及Cb组成的色度彩色信息和例如由二进制掩蔽表示的轮廓信息。
为了以VOP单元，即，以目标单元处理视频信号，对于目标形状的分析和合成来说，轮廓信息是重要的。一种传统表示轮廓信息的方法是链形编码方法。但是，虽然该方法不会招至轮廓信息的丢失，该链形编码方法要求代表该信息的大量的比特。
为了克服该缺点，已经建议使用多边形近似技术的轮廓编码方法。在多边形近似技术中，首先，选择两个开始顶点A和B。如果该轮廓是开环的，两个端点被选择为开始顶点。另一方面，如果轮廓是闭环的，在轮廓上的两个最远点被选择为开始的顶点。然后，在两个开始的顶点之间连接一个线段AB，其中该线段是连接两个开始顶点的一条直线，并确定在该轮廓上离该线段最远的一个点C。如果线段AB与点C之间的距离大于预定的值Dmax，则点C被选择为另外一个顶点。这种处理被重复，直至对连接两个相邻顶点的每个线段的Dmax都等于或小于一个预定的阈值TH1。
通过使用诸如上述的多边形近似之类的方法，可以减少将要发送的比特量。但是，在常规的多边形近似的方法中，一个轮廓被独立地多边形近似，而未考虑它与其它帧中的轮廓的时间相关。因此，在包含在两个连续帧中的各轮廓是高度时间相关的情况下，通过在编码中使用各帧之间的时间相关，要被发送的比特仍可以显著地被减少。也就是说，在前一帧中的前一个轮廓和在当前帧中的当前轮廓除某些部分外彼此是非常近似的，通过利用前一个轮廓编码当前轮廓的近似部分，要被发送的比特量可以被进一步减少。
因此，本发明的主要目的是通过利用基于各轮廓之间的时间相关的轮廓运动估算技术，提供一种能够减少发送数据量的方法和设备。
按照本发明，提供了一种用于基于一以前的轮廓编码包含一当前轮廓的输入轮廓的方法，该以前的轮廓通过由对照该当前轮廓运动估算和补偿该以前的轮廓而生成一预测的轮廓而被在先编码。通过示指在预测轮廓上的轮廓象素和编码作为预测的和当前的轮廓相重叠的部分的各匹配段的端点的示指，提供编码的主顶点信息。作为在当前轮廓上不包括在任何匹配段内的部分的各不匹配段被进行多边形近似以找到小顶点且这些小顶点的相关位置被编码，以便提供编码的小顶点信息。
当编码小顶点时，选择用于编码小顶点数量的模式以便最小化用于编码小顶点数量的比特数。通过复用编码的主顶点信息和编码的小顶点信息，本方法提供了编码的轮廓信息。
从下面结合附图对各优选实施例的描述中，本发明的上述和其它目的和特点将变得显而易见，其中
图1表示按照本发明的用于编码输入轮廓图象的设备的示意性方框图；图2A表示由图1的设备编码的以前的和当前的帧的一个例子；图2B和2C表示由本发明进行编码的以前的和当前的轮廓的匹配的和不匹配的段的例子；和图3给出了图1所示的小顶点编码方框的详细方框图。
参照图1，其中表示本发明的轮廓图象编码设备100的示意性方框图，其中输入到该设备的轮廓图象数据代表组成一个当前轮廓的各个轮廓象素位置。输入的轮廓图象被送到轮廓图象编码设备100的运动估算和运动补偿(ME & MC)方框130、匹配段检测方框150和不匹配段分离方框170。
为了方便的目的，属于在该输入轮廓图象前进行编码的以前的帧数据，被称为与当前轮廓比较的以前的轮廓，该二轮廓的例子如图2所示。
ME & MC方框130通过朝着当前轮廓移动以前的轮廓，找到以前和当前轮廓之间的最佳匹配。例如ME & MC方框130利用分别平均每个以前的和当前的轮廓的所有轮廓象素的位置坐标找到对于当前和以前的轮廓的形心；并计算表示当前和以前的轮廓的形心之间空间位移的运动矢量。当前轮廓的形心是基于包含在输入的轮廓图象中的当前轮廓获得的，而以前轮廓是基于包括在通过轮廓重建方框110重建的和存储在存储器120中的以前轮廓图象中的以前的轮廓获得的。其中以前轮廓图象表示组成以前轮廓的轮廓象素和各个顶点的位置。通过根据诸如上述计算的运动矢量，将以前的和当前的轮廓相重叠，ME & MC方框130然后产生一个运动补偿的以前轮廓或一个预测的轮廓。在图2A中，从以前的轮廓PC，根据运动矢量MV得到运动补偿的以前轮廓MC。
来自ME & MC方框130的运动矢量经线L30被送到轮廓重建方框110和复用器(MUX)210。同时，由ME & MC方框130形成的表示该预测轮廓的轮廓象素的预测轮廓图象数据经线L40被转移到预测轮廓象素示指方框140和匹配段检测方框150。
预测轮廓象素示指方框140从一参考点RP开始，通过扫描输入到该方框的预测的轮廓图象数据，给该预测的轮廓上的每个轮廓象素分配一个示指。例如，在图2B中，在以前轮廓上，从参考点RP开始并反时针进行到四个示例性的点A、B、C和D，分别分配了示指k、l、m和n。示指i表示该点是从RP开始的第i个象素，i是一个非负的整数。因此，如果在预测的轮廓上有n个象素(n是一个整数)，则从RP之后紧接着的象素开始反时针行进，这些象素被给定示指i到i+n。按照上述方式得到的每个象素位置和它的示指从具有最小示指的象素开始，被顺序地送到主顶点编码方框160。
同时，响应于输入轮廓图象数据和预测的轮廓图象数据，匹配段检测方框150检测匹配段，其中一个匹配段对应于一组位于当前和预测轮廓的相同位置上的相邻的象素。且在该组的象素数必须高于作为匹配的段的预定数。从例子MC或图2A的预测轮廓，由匹配段检测方框检测到两个匹配的段MS，该二匹配的段在图2B中示为实曲线。在匹配段检测方框150，一个匹配段的长度一般要求大于一个设置在其中的预定阈值。除了多边形近似方法外，当一种离散正弦变换(DST)法被用于编码中时，如果在当前的和预测的轮廓上的各个轮廓象素是在预定范围内彼此分开的，则可以被确定为匹配的段。按照上述方式确定的匹配段的各端点被定义为该匹配段的主顶点。每对主顶点的水平和垂直地址代表其匹配段并构成各匹配段的主顶点信息。用于所有具有配对信息的匹配段的主顶点信息(该信息指示哪些作为一对的主顶点构成各匹配段)被顺序地送到主顶点编码方框160和不匹配段分离方框170。
主顶点编码方框160根据从预测轮廓象素示指方框140向其输入的各示指，编码从匹配段检测方框150向其输入的各匹配段的主顶点信息。匹配段之一具有对应于主顶点A(k)和D(n)的端点，而另一个具有B(l)和C(m)作为端点。箭头表示由预测轮廓象素示指方框140从RP开始进行示指的方向，该箭头还将指示在主顶点编码方框160中主顶点的编码次序。对于要被编码的第一主顶点A(k)，分配给其足以编码总的轮廓长度(CL)的比特。但是，对于下一个主顶点B(l)，仅分配给其足以编码(CL-k)的比特。同样，对于主顶点C(m)和D(n)，分配给其足以编码(CL-l)和(CL-m)的比特。主顶点编码方框160利用所分配的比特分别编码主顶点A、B、C和D的示指k、l、m和n且和从匹配段检测方框150转来的配对信息一起发送被编码的主顶点信息到MUX 210。
在本发明的另外一个优选实施例中，主顶点编码方框160可以被改变为检查RP是否在一个匹配段上，以代替从匹配段检测方框150而获得配对信息。如果RP在一个匹配段上，则开始和最后被编码的主顶点构成一个匹配段。且对于所有其它的主顶点，被顺序编码的主顶点形成一个匹配段。在图2B给出的例子中，RP在匹配段上。结果，首先和最后被编码的主顶点A和D构成一个匹配段，且被顺序编码的主顶点B和C构成另一匹配段。诸如由主顶点编码方框160得到的配对信息和编码的主顶点信息一起被送到MUX 210。
不匹配段分离方框170根据从匹配段检测方框150向其输入的主顶点信息和配对信息分离作为当前的和预测的轮廓彼此不匹配的部分的不匹配段。被分离的各个不匹配段逐段地被送到多边形近似方框180。多边形近似方框180通过对各个不匹配段使用多边形近似技术找到多个小顶点，各小顶点在逐段的基础上形成一个开环。来自多边形近似方框180的代表所找到的小顶点的小顶点信息经线L10被耦合到动态范围确定方框190和小顶点编码方框200。分别以虚线和实线示出了图2A的当前轮廓的不匹配段(US)和MS的例子。在US上，小顶点e到j由多边形近似方框180找到。
动态范围确定方框190确定一个用于编码在当前轮廓上的每个US的动态范围且经线L20发送该确定的动态范围到小顶点编码方框200和MUX210。
小顶点编码方框200编码从多边形近似方框180以逐段的方式转来的小顶点信息，从而馈送被编码的小顶点信息到MUX 210和轮廓重建方框110。
参照图3，图中表示出了图1的小顶点编码方框200的一个优选实施例，其中包括小顶点数模式方框220、小顶点数编码方框230、和相关位置编码方框240。
在L10上的小顶点信息被提供给图3的上述三个方框，即，小顶点数模式方框220、小顶点数编码方框230和相关位置编码方框240。在L20上的用于编码各US的动态范围仅被输入到图3的相关位置编码方框240。
相关位置编码方框240根据相应的动态范围编码在小顶点信息中的各小顶点的相关位置，从而提供各小顶点的编码的相关位置到线L40。小顶点的相关位置代表从该小顶点到一个最接近的主顶点或另一小顶点的位移。这些编码的相关位置经L40被顺序地提供到MUX 210和轮廓重建方框110。
小顶点数模式方框220和小顶点数编码方框230分别编码小顶点数模式和实际的小顶点数。因为实际的小顶点数是比较小的，小顶点数模式方框220首先编码小顶点数模式且提供被编码的小顶点数模式m到线L42，该小顶点数模式还被提供到小顶点数编码方框230，m是一个非负的整数。然后，小顶点数编码方框230以2m比特编码小顶点的实际数。以这样一种方式，传送的比特数可以被有效地减少。例如，如果有3个小顶点，小顶点数模式方框220编码‘1’而小顶点数编码方框230利用2(＝21)比特编码3。因此，被编码的小顶点数是‘11’，然后该数被提供到线L41。在另外一个例子中，如果有254个小顶点，小顶点数模式方框220编码‘3’，而小顶点数编码方框230以8(＝23)比特编码254为‘11111110’。
再参照图1，MUX 210多路转换来自主顶点编码方框160的被编码的主顶点信息和配对信息、来自动态范围确定方框190的用于编码各不匹配段的动态范围、来自ME & MC方框130的在L30上的运动矢量和来自小顶点编码方框200的被编码的小顶点信息，从而提供由一个发送机(未示出)提供欲被发送的当前轮廓的被编码轮廓信息，其中为各不匹配段顺序发送的编码的小顶点信息包括在L40上的小顶点的编码的相关位置、在L41上的编码的小顶点数和在L42上的编码的小顶点数模式。
在接收端的解码器中，在当前轮廓上的匹配段根据已解码的以前的轮廓和该运动矢量首先被解码。其次，各个不匹配段根据对应的动态范围和编码的小顶点信息被顺序解码，以便产生一个完整的已解码的当前轮廓。
同时，轮廓重建方框110以类似于上面对于在接收端的解码器的描述重建当前轮廓，并将该重建的轮廓送到存储器120以存储在其中。存储器120存储输入的重建的轮廓，以用于编码下一个当前轮廓。
虽然本发明仅对于某些优选实施例进行了描述，在不脱离后附的权利要求书中的本发明的精神和范围的情况下，可以作出其它的修改和改变
权利要求
1.一种用于根据目标的以前的轮廓编码代表目标的当前轮廓的输入轮廓图象的方法，包括以下步骤(a)从当前轮廓运动估算和运动补偿该以前的轮廓以提供一个预测的轮廓；(b)检测预测的和当前的轮廓的各匹配段以生成各匹配段的端点，作为一对表示所述各匹配段的的主顶点，一个匹配段代表一个当前和以前的轮廓相互重叠的轮廓部分；(c)根据所述预测的轮廓编码该对主顶点；和(d)从当前轮廓中分离出所有不匹配段，一不匹配段代表与任何匹配段不相重叠的段，且编码所有不匹配段。
2.按照权利要求1的方法，其中步骤(a)包括以下步骤(a1)通过平均在每个轮廓上的所有象素的位置坐标，找到当前和以前的轮廓的形心；(a2)计算当前和以前的轮廓的形心之间的位移；和(a3)将当前和以前的轮廓的形心重叠以提供该预测轮廓。
3.按照权利要求1的方法，其中步骤(c)包括以下步骤(c1)在预测轮廓上设置一个轮廓象素作为参考点；(c2)对在预测轮廓上的每个轮廓象素给出一个示指，从而以连续的示指表示连续的轮廓象素，各示指从该参考点开始以预定方向前进有一预定的顺序；以及(c3)对主顶点的所有对编码构成所述各对的主顶点的示指。
4.按照权利要求3的方法，其中每个匹配段大于一个预定的阈值。
5.按照权利要求1的方法，其中步骤(d)包括以下步骤(d1)多边形近似各不匹配段以产生多个小顶点；和(d2)编码所述小顶点。
6.按照权利要求5的方法，其中步骤(d2)包括以下步骤(d21)计算用于编码各小顶点的动态范围；和(d22)以在步骤(d21)计算的动态范围所分配的比特编码各小顶点的相对位置，其中各小顶点的相对位置代表从所述各小顶点到最接近的主顶点或其它小顶点的位移。
7.按照权利要求6的方法，其中步骤(d22)包括以下步骤根据在步骤(d21)计算的相应动态范围分配用于编码各小顶点的比特；以分配比特步骤所分配的比特编码各小顶点的相对位置；确定小顶点数模式，该模式确定了用于编码各小顶点数的比特；和根据该小顶点数模式编码小顶点数。
8.一种用于基于代表构成一以前编码的轮廓的轮廓象素位置的以前轮廓编码一代表构成一当前轮廓的轮廓象素位置的输入轮廓图象从而提供编码的轮廓信息的设备，该设备包括用于通过基于该当前的轮廓运动估算和运动补偿该以前的轮廓而产生一预测轮廓的预测轮廓产生装置；用于从一个参考点开始且在一个预设的方向上顺序进行而示指该预测轮廓上的轮廓象素的示指装置；用于检测当前和该预测轮廓的各匹配段的匹配段检测装置，一个匹配段代表一个当前和预测轮廓相互重叠的轮廓部分，并提供每个匹配段的端点作为一对主顶点；主顶点编码装置，用于顺序编码由示指装置给出的主顶点的示指以提供包括代表构成各匹配段的主顶点对的配对信息的编码的主顶点信息；用于检测各不匹配段的不匹配段检测装置，一个不匹配段代表不包含在任何匹配段的一个段；用于对每个不匹配段进行多边形近似从而检测小顶点的多边形近似装置；用于编码小顶点从而提供编码的小顶点信息的小顶点编码装置；和用于组合编码的主顶点信息和编码的小顶点信息作为所述编码的轮廓信息的多路复用装置。
9.按照权利要求8的设备，其中预测轮廓产生装置包括用于通过平均在各轮廓上的所有象素的位置坐标，找到当前和以前轮廓的形心的装置；用于计算当前和以前轮廓的形心之间的位移的装置；和用于将该以前轮廓移动由计算装置计算的位移从而提供该预测的轮廓的装置。
10.按照权利要求9的设备，其中示指装置包括用于确定在该预测的轮廓上的一个轮廓象素作为所述参考点的装置；用于给出在预设方向上最接近该参考点的一个轮廓象素一个示指i的装置，i是一个非负的整数；用于给出在预设方向上邻近轮廓象素i的相邻轮廓象素一个示指i+1的装置；和用于在预设方向上前进并重复上述示指过程，直至在该预测的轮廓上的所有轮廓象素具有示指i到i+n的装置，n是一个表示在该预测的轮廓上的轮廓象素数的整数。
11.按照权利要求10的设备，其中预设方向是反时针。
12.按照权利要求11的设备，其中每个匹配段大于一个预定的阈值。
13.一种用于通过参照一为以前编码的轮廓的以前轮廓编码包含在输入轮廓图象中的当前轮廓以提供编码的轮廓信息的装置，其中基于该以前轮廓，通过运动估算和运动补偿该当前轮廓产生一个预测的轮廓，该设备包括用于在以前轮廓上示指轮廓象素的装置；用于通过匹配预测轮廓与以前轮廓以检测匹配段而确定预测轮廓的主顶点的装置，一个匹配段代表该两个轮廓相互重叠的轮廓部分，该装置还提供匹配段的各端点作为主顶点；用于通过多边形近似不匹配段确定预测轮廓的小顶点的装置，一个不匹配段代表不与任何由主顶点确定装置找到的匹配段相重叠的轮廓段；用于编码由示指装置给予在主顶点的位置的轮廓象素的各示指从而提供编码的主顶点信息的装置；用于计算用于编码各小顶点的动态范围的装置，其中该动态范围为编码相应的小顶点分配比特；用于利用由相应的动态范围分配的比特编码各小顶点的相对位置的小顶点位置编码装置，其中小顶点的相对位置表示从上述各小顶点到最接近的主顶点或其它小顶点的一个位移；用于确定小顶点数模式的确定装置，该模式确定用于编码小顶点数的比特；和用于根据小顶点数模式编码小顶点数的小顶点数编码装置。
14.按照权利要求13的设备，其中该示指装置包括用于确定在以前轮廓上的一个轮廓象素作为参考点的装置；用于给出在预设方向上最接近该参考点的一个轮廓象素一个示指i的装置，i是一个非负的整数；用于给出在预设方向上邻近轮廓象素i的相邻轮廓象素一个示指i+1的装置；和用于重复上述过程，直至在该以前轮廓上的所有轮廓象素具有示指i到i+n的装置，n是一个代表在该以前轮廓上的轮廓象素数的整数。
15.按照权利要求14的设备，其中每个匹配段大于一个预定的阈值。
16.按照权利要求15的设备，其中编码的主顶点信息包括指定哪些作为一对的主顶点形成各匹配段的配对信息。
17.按照权利要求16的设备，还包括用于多路复用编码的小顶点相对位置、编码的小顶点数模式和编码的小顶点数作为编码的小顶点信息的装置；和用于组合编码的主顶点信息和小顶点信息以提供所述编码的轮廓信息的装置。
全文摘要
用于输入轮廓图象的方法,基于当前轮廓,利用对以前轮廓的运动估算和补偿产生一预测轮廓。通过示指预测轮廓上的轮廓象素的和对各个匹配段的端点的示指编码,提供编码的主顶点信息。不匹配段被多边形近似以找到小顶点,且小顶点的相对位置被编码以提供编码的小顶点信息。多路复用编码的主顶点信息和编码的小顶点信息以提供编码的轮廓信息。
文档编号H04N7/32GK1196643SQ9711232
公开日1998年10月21日 申请日期1997年6月17日 优先权日1997年4月11日
发明者金镇宪 申请人:大宇电子株式会社