专利名称：用运动模型的分层结构分割与估算移动目标的运动的方法
技术领域：
本发明涉及用于编码图象信号的面向目标的分析-综合编码技术；更具体地，涉及按照其中的移动目标分割一个图象及估算这些移动目标的各个运动的方法。
在诸如视频电话、电话会议及高清晰度电视系统等数字电视系统中，由于视频帧信号中的一个视频行信号包括一序列称作象素值的数字数据，而需要大量的数字数据来定义各视频帧信号。然而，由于常规的传输信道的可利用的频带宽度是有限的，为了通过它来传输大量的数字数据，不可避免地要通过采用数据压缩技术来压缩或减少数据量，尤其是在诸如视频电话或电话会议系统等低比特率视频信号编码器的情况中。
用于编码低比特率编码系统的视频信号的方法之一是称作面向目标的分析-综合编码技术，在该技术中，将一个其中包含移动目标的输入视频图象按照这些移动目标进行划分；并用三组定义该目标的运动、轮廓(或形状)与象素数据的参数来描述各目标。
为了达到面向目标的分析-综合技术的主要目的，即恰当地将输入视频图象分成其中的移动目标并精确地估算这些移动目标的各个运动的任务，已经提议过若干种方法。基中之一是一种分层结构的分割技术(参见Michacl Hatter等人的“基于面向目标的映射参数估算的图象分割”，信号处理(Signalprocessing)，15，第3号，315-334页(1988年10月))。
按照分层结构的分割技术，待被分割的输入视频图象的一个区是由表示为映射参数的一组均匀运动与位置参数定义的。例如，用8个参数来描述一个平面刚体的任意三维运动。在第一步骤中，一个变化检测器判别两个相继的场中的暂时改变与非改变区。将各改变的图象区看作为一个目标。各目标的运动与位置是用一组映射参数描述的。根据这些映射参数及关于暂时在前场的信息，便能得到一个暂时接至场的重构。在分层结构的下一步骤中，用变化检测器重新检测在映射中未正确地描述的图象中的那些区，并按照在分层结构的第一步骤中检测到的改变部分进行处理，然而，在这一技术中，如果在一个改变区内包含大量的移动目标，便十分难于适当地分割与精确地估算它们。
因此，本发明的主要目的为提供一种通过采用一种多阶段分割方案将一个图象信号恰当地分割成其中的移动目标并用一组运动参数精确地估算这些移动目标的各个运动的改进的方法。
按照本发明，提供了一种用在一个面向目标的分析-综合编码器中的，根据运动模型的分层结构将一个当前帧的其中包含移动目标的一个图象信号按照其中的移动目标分割成区并用一组运动参数描述这些移动目标的各个运动的方法，包括下述步骤(a)将当前帧与一个先前帧进行比较以检测出当前帧中的一个移动区；(b)进一步将当前帧与先前帧进行比较以检测出移动区中的各象素的运动矢量，从而生成一个运动矢量场；(c)将运动矢量场分割成称作平移补片(translational patches)的部分，各该平移补片具有用一组两个运动参数如下定义的一个二维平移运动u(x，y)＝a1，V(x，y)＝a2；(d)将这些平移补片合并成称作平面补片(planar patches)的较大部分，各该平面补片用一组6个运动参数描述的一个平面补片模型表示如下u(x，y)＝a1＋a2x＋a3y，v(x，y)＝b1＋b2x＋b3y；以及(e)将这些平面补片组合成称为抛物线型补片(parabolic patches)的更大部分，各该抛物线型补片用一组12个运动参数描述的一种抛物线型补片模型表示如下u(x，y)＝a1＋a2x＋a3y＋a4x2＋a5y2＋a6xy，v(x，y)＝b1＋b2x＋b3y＋b4x2＋b5y2＋b6xy；其中u(x，y)与v(x，y)分别为位于运动矢量场中的一个象素位置(x，y)上的一个运动矢量的x方向与y方向的分量，而a1至a6及b1至b6为实数。
从下面结合附图给出的较佳实施例的描述中，本发明的上述与其它目的及特征将是显而易见的，其中
图1为按照本发明将一个图象分割成其中的移动目标并用一组运动参数描述这些移动目标的各个运动的方框图；以及图2至6为展示按照本发明将一个图象分割成移动目标的处理过程的说明图。
如图1中所示，分别将两个输入信号，即一个当前帧信号及一个重构的先前帧信号馈送给一个变化检测器100及一个运动估算器102。
变化检测器100将当前帧信号与重构的先前帧信号进行比较，从当前帧中的背景中检测出一个改变区。将检测到的改变区信息送至运动估算器102及一个运动矢量场检测器103。
运动估算器102检测改变区中一组选取的象素，即特征点，的运动矢量，其中各特征点为能够代表其相邻象素的一个象素。这便是，首先从包含在改变区中的所有象素中选取若干牲点。然后，通过在各选取的特征点上形成预定大小的一个块及通过采用一种块匹配算法(参见诸如J.R.Jain等人的“位移测量及其在帧间图象编码中的应用”，IEEE Transactions on Communications，COM-29，第12号，1799-1808页(1981年12月))确定各选取的特征点的运动矢量，其中各运动矢量表示当前帧中的一个特征点与重构的先前帧中的一个对应匹配点，即一个最相似的象素，之间的空间位移。
运动矢量场检测器103通过求出这些特征点的运动矢量的平均值而确定改变区中的非特征点的运动矢量，从而确定改变区中所有象素的运动矢量。由其中的所有象素的运动矢量所定义的改变区称作一个运动矢量场。如图2中所示，其中描绘了从两个连续的头与肩部图象帧得到的一个示例性运动矢量场。
为了按照移动目标将运动矢量场分成区，按照本发明采用了一种多阶段，诸如3阶段的分割方案。这三个阶段是分别在第一、第二及第三分割单元104、106及108中作出的。
第一分割单元104将运动矢量场分割成具有相似运动矢量的部分。各部分具有一种二维运动，并表示为一块二维平移补片，该补片可用一组两个运动参数描述如下u(x，y)＝a1式(1a)v(x，y)＝a2式(1b)其中u(x，y)＝a1与v(x，y)＝a2分别为位于运动矢量场中一个象素位置(x，y)上的一个运动矢量的x方向与y方向分量，且a1与a2为实数。为了将运动矢量场分割成具有相似运动矢量的部分，采用了一种相似性测度Mi、其定义如下Mi＝|dx，R－dx，i|＋|dy，R－dy，i式(2)其中dx，R及dy，R分别表示包含在一个区R中的运动矢量的x方向与y方向分量的平均值；而dx，i与dy，i则分别为区R内部或周围的一个运动矢量di的x方向与y方向分量。如果相似性测度Mi小于一个预定值，则运动矢量Mi属于区R。在第一阶段分割以后，将结果，即图3中所示的二维平移补片，提供给第二分割单元106。
在第二分割单元106中，将二维平移补片合并成区，各区是与一个平面表面的三维刚体运动一致的，并称作一个平面补片。三维刚体运动能用6个运动参数描述如下u(x，y)＝a1＋a2x＋a3y式(3a)v(x，y)＝b1＋b2x＋b3y式(3b)其中u(x，y)与v(x，y)分别为位于象素位置(x，y)上的一个运动矢量的x方向各与y方向分量，而a1至a3及b1至b3为实数。
为了将二维平移补片合并成一块平面补片，执行下述区增长进程，在第一步骤中，从这些二维平移补片中选取一块种子平移补片。一块种子平移补片便是尚未分配给已建立的平面补片的平移补片中最大的一块Ri。在第二步骤步中，将邻接在种子补片周围的那些平移补片定为其候选补片(Rjj＝1，……，n)，在第三步骤中，检验是否将各候选补片合并进种子补片。例如，通过式(4)确定用于组合补片Ri URj的一组最佳的6个运动参数E(a1，…，b3)＝∑k[(u(xk，yk)－a1－a2xk－a3yk)2＋(V(xk，yk)－b1－b2xk－b3yk)2] 式(4)其中K表示组合补片RiURj中的一个元素，而u(x，y)与V(x，y)分别为位于象素位置(x，y)上的一个给定的运动矢量的x方向与y方向分量。该组最佳的6个运动参数是一组6个方程的一组解，各方程是通过相对于a1，…，b3取式(4)的偏导数并使它们等于零而导出的。此后，确定一个候选补片Rj中的一个给定的运动矢量组与从该最佳的6个运动参数组得出的其中一个估算的运动矢量组之间的一个误差值。然后，如果该误差值小于一个预定值，便将一块候选补片合并进该种子补片中。在最后的步骤中，重复第二与第三步骤直到只在种子补片或组合的种子与前面合并的补片周围找不到任何候选补片为止。在第二分割单元106中的第二阶段分割之后，便将分割结果，即图4中所示的平面补片，提供给一个第三分割单元108。在第三分割单元108中，通过利用抛物线型补片模型将平面补片合并成块，该模型可用一组12个运动参数描述如下u(x，y)＝a1＋a2x＋a3y＋a4x2＋a5y2＋a6xy·式(5a)v(x，y)＝b1＋b2x＋b3y＋b4x2＋b5y2＋b6xy 式(5b)其中u(x，y)与v(x，y)分别为位于象素位置(x，y)上的一个运动矢量的x方向与y方向分量，而a1至a6及b1至b6为实数。第三分割方法与第二分割单元106的分割方法相同，但除了用抛物线型补片模型替代了平面补片运动模型以外。从而，运动矢量场被紧凑地分割成图5中所示的抛物线型补片，并生成与各该抛物线型补片对应的一组12个运动参数。
此外，在确定了与当前帧中所有的抛物线型补片对应的各组12个运动参数之后，便用各组12个运动参数补偿先前帧以提供一个运动补偿的帧。然后，通过从当前帧中减去该运动补偿的帧而抽取一个运动失误区。图6中所示的运动失误区需要特殊的图象编码。
虽然已经相对于特定的实施例展示与描述了本发明，对于熟悉本技术的人员显而易见可以在不脱离所附的权利要求书中所定义的发明精神与范围下作出许多改变与修正。
权利要求
1.一种用于在一个面向目标的分析-综合编码器中将一个当前帧的其中包含移动目标的图象信号按照其中的移动目标分割成区，并根据运动模型的分层结构用一组运动参数描述这些移动目标的各个运动的方法，包括下述步骤(a)将当前帧与一个先前帧进行比较以检测出当前帧中的一个移动区；(b)进一步将当前帧与先前帧进行比较以检测出移动区中的各象素的运动矢量，从而生成一个运动矢量场；(c)将该运动矢量场分割成称作平移补片的部分，各该平移补片具有用一组两个运动参数如下定义的一个二维平移运动u(x，y)＝a1，V(x，y)＝a2；(d)将这些平移补片合并成称作平面补片，各该平面补片用一组6个运动参数描述的一个平面补片模型表示如下u(x，y)＝a1＋a2x＋a3y，v(x，y)＝b1＋b2x＋b3y；以及(e)将这些平面补片组合成称为抛物线型补片，各该抛物线型补片用一组12个运动参数描述的一种抛物线型补片模型表示如下u(x，y)＝a1＋a2x＋a3y＋a4x2＋a5y2＋a6xy，v(x，y)＝b1＋b2x＋b3y＋b4x2＋b5y2＋b6xy；其中u(x，y)与(x，y)分别为位于运动矢量场中的一个象素位置(x，y)上的一个运动矢量的x方向与y方向的分量，而a1至a6及b1至b6为实数。
2.按照权利要求1的方法，还包括下述步骤(f)用各该组12个运动参数运动补偿先前帧以提供一个经过运动补偿的帧；(g)从当前帧中减去经过运动补偿的帧而为各象素生成一个误差信号；以及(h)将这些误差信号与一个预定值进行比较而抽取一个运动补偿失误区。
全文摘要
一种利用运动模型的分层结构分割与估算移动目标的运动的方法，包括下述步骤(a)将当前帧与其先前帧进行比较以检测出当前帧中的一个移动区；(b)进一步将当前帧与先前帧进行比较而检测出移动区中的各象素的运动矢量，即一个运动矢量场；(c)用一个二维平移补片模型分割该运动矢量场；(d)用一个平面补片模型分割第一阶段的分割结果；以及(e)用一个抛物线型补片模型分割第二阶段的分割结果。
文档编号H04N7/26GK1142163SQ9510999
公开日1997年2月5日 申请日期1995年7月21日 优先权日1995年7月21日
发明者张圭焕, 丁海默, 金成大, 崔在觉, 李时雄, 赵顺济 申请人:大宇电子株式会社