专利名称：运动图象编码方法及其装置的制作方法
技术领域：
本发明涉及一运动图象编码系统，更具体地涉及利用变换编码技术的运动图象编码方法及其装置。本申请以韩国申请No.59425/1995为基础，并将其纳入本文作为参考。
已有很多方法对运动图象进行编码，在这些方法中每一帧运动图象被分成很多四边形对象，运动被每一四边形对象单元跟踪，并利用图象扭曲(warping)来实现运动补偿。这些方法以下列题目发表的“一种采用数字图象扭曲并基于临时预测的视频编码图(A Novel Video Coding Scheme Based onTemporal Prediction using Digital Image Warping)”(J.Neiweglowski，G.Gambell，and P.Haavisto，pp.14 1-150，IEEE Trans.on Consumer Electronics，August，1993)(文件1)和“活动网格-一种搜索和跟踪图象顺序代表图的特性(ActiveMesh-A Feature Seeking and Tracking Image Sequence RepresentationSeheme)”(Y.Wang and O.Lee，pp.610-624.IEEE Trans.on Image ProcessingSeptember，1994)(文件2)。
这些方法的基本结构示于
图1中。
一初始网格发生器2将一运动图象的每一帧分成很多正方形初始网格(或对象)。一对象变换器4将该初始正方形对象变换成任意四边形。一运动跟踪器6用作跟踪由对象变换器4产生的该任意四边形对象每一个角相对于时间轴的运动。一运动补偿和帧预测器8在假设的运动矢量基础上通过图象扭曲由前一帧预测一当前帧。一预测误差编码器10用来得到由运动补偿和帧预测器8预测的帧和当前帧之前的误差并按照该误差去编码一误差信号。
现在参照图1结构来说明该运动图象编码方法。
这里指出根据运动图象输入的一时间序列要进行当前编码的输入帧称作当前帧而与该当前帧正好相邻的帧称作前一帧。该前一帧意味着是一已完成编码和解码并已存在于编码器的和解码器的帧。
当一当前待编码的当前帧输入时，已解码的前一帧在初始网格发生器2内被分成具有N×N大小的初始正方形对象(或网格)。该初始正方形对象由图2A所示的四个角来表示，并且表示该正方形对象的每一个角的位置按每一帧的空间或时间复杂性被迁移。在各个角被迁移时在每一个角的每一位置上的一象素值的空间和时间变化率用以确定该个角的运动的程度和定位。该正方形对象通过代表正方形对象的每一个角的位置的迁移被变换成一任意四边形，如图2B所示。相对于对象变换器4产生的任意正方形对象，该正方形对象每一个角在时间轴上的运动被运动跟踪器6跟踪。为了跟踪每一个角的运动矢量，有利用象素值的空间和时间变化率的跟踪方法和利用一修正的一般模块匹配技术的跟踪方法。该运动矢量在一范围内被跟踪，其中由该运动矢量变换的正方形形状不破坏方形的基本结构。当该正方形对象的每一个角的运动矢量在该运动跟踪器6内被跟踪时，该当前帧由前一帧通过在该运动补偿和帧预测器8内的图象扭曲而得到预测。该图象扭曲是通过利用文件2建议的线性内插以及利用文件1建议的在将四边形分成两个三角形后仿射(affine)变换的方法来进行的。
通过得到当前帧与前一帧的每一四边形各个角的运动矢量所预测得的帧之间的差这一过程，在预测误差所形成一误差帧后在该预测误差编码器10内对一误差信号进行编码。为了将该误差帧编码，每一误差帧被分成具有K×K大小的很多规则的正方形块并且自适应地利用一诸如离散余弦变换(DCT)的变换编码技术按照误差的程度对该块进行编码。
在利用上述的现有图象扭曲技术的运动图象编码技术中，该前一帧被分成很多四边形对象并且相对于每一正方形各角的运动矢量利用跟踪和扭曲作运动补偿。这样，为运动补偿形成的预测帧通过任意四边形对象来表示而该预测误差也是由一任意四边形对象(或块)单元来形成的。在现有技术中该预测误差帧是在前一帧的面积上形成的，而预测误差是将预测误差帧再次分成规则的正方形对象来利用诸如DCT的变换编码技术而进行编码的。然而，在采用扭曲来预测的情况下，由于每一任意四边形对象呈现它独立的特性，因此将预测误差帧再次分成规则正方形对象的现有预测误差编码方法不能反映预测误差的这种特性。相应地，现有技术的编码方法在预测误差编码中的效率很低。
在利用图象扭曲或活动网格的运动图象编码算法中，按照运动预测和补偿的预测误差具有与四边形对象无关的特性。由于本发明能独立地编码一四边形对象，因此编码效率得到改进，从而在与现有技术的编码算法有同样的比特率下提供优良的运动图象质量。
为了克服上述问题，本发明的一目的是提供一种改进预测误差编码效率的运动图象编码方法及其装置。
本发明的另一目的是提供一方法将以任意四边形形式表示的一对象变换成一规则正方形对象并对于变换后的规则正方形利用一般的变换编码算法对该对象进行编码。
根据本发明的其他目的可以由一运动图象编码方法来实现，该运动图象编码方法的包括步骤为(a)将所述运动图象的前一帧分成任意的四边形对象；(b)由每一四边形对象单元通过运动跟踪和预测得到一预测误差；(c)将根据步骤(b)的每一四边形的单元所代表的所述预测误差转成一具有K×K大小，其中K为一整数的规则正方形对象，由此来对每一四边形对象独立地编码。
参照下列详细说明和附图本发明及其附带的诸优点的更完整的评价将显而易见并变得更好理解，附图中同样的符号表示同一或相似部分，其中图1是运动图象编码的现有技术的方块图；图2A和2B是展示现有技术的四边形对象空间变换的图；图3是为运动图象编码的本发明的方块图；图4是展示按照本发明从一具有一预测误差的任意四边形对象变换成一规则正方形对象的过程的图。
图3中由虚线方框指示的一初始网格发生器2、一对象变换器4、一运动跟踪器6和一运动补偿和帧预测器8是与现有技术中相同的各部件。然而在本发明中加入了一预测误差形成单元20和一对象重新形成单元22。该预测误差形成单元20用以由形成一预测对象的一四边形单元来计算一预测误差并用以产生四边形形式的一预测误差信号。该对象重新形成单元22用以将任意四边形形式的预测误差信号重新形成为一规则正方形形式的预测误差信号。一预测误差编码器24用以将在对象重新形成单元22中变换后的规则正方形形式的预测误差信号利用变换编码方法进行编码。
现在来详细说明具有如此结构的本发明的工作情况。
编码后的前一帧在初始网格发生器2内被分成规则正方形形式的初始网格(或对象)。该初始正方形网格在对象变换单元4内被变换成任意四边形。相对于由对象变换单元4产生的任意四边形对象的每一四边形对象沿时间轴上的运动被跟踪。根据在该运动补偿和帧预测器8中所跟踪的运动矢量由该前一帧的该四边形对象通过图象扭曲而形成一预测对象。
该预测误差形成单元20由每一四边形为单元产生预测误差信号。即该预测误差存在于该任意四边形对象内而该对象重新形成单元22将限于四边形形式的该预测误差信号转换到具有K×K大小的规则正方形对象内。
对象重新形成单元22的工作过程参照图4来详细说明。
在图4中相对于限于任意矩形形式的预测误差，假设该四边形对象各个角的坐标为P1，P2，P3和P4，各个角通过一对象重新形成算法被映射成为规则正方形对象的各个角
和
。根据上述映射规则，位于四边形对象内的所有各个点被转换成位于规则正方形对象内的各点。转换是由该对象重新形成算法来完成的，由该对象重新形成算法可将一任意四边形对象转换成一规则正方形对象。
在说明该算法前，定义图4的四边形对象的各坐标如下。
该四边形对象的各个角的空间位置定义为P1＝(x1，y1)，P2＝(x2，y2)，P3＝(x3，y3)和P4＝(x4，y4)(这里P1表示四个角中最左边的一个点)。具有K×K大小的规则正方形对象各个角的空间位置定义为
(x3，y3)和
。该对象的各个角依次连接形成一封闭周线。在规则正方形中，
表示左上端的点，
表示右上端的点，
为右下端点而
为左下端点。
该对象重新形成算法由下列四个步骤组成。
<第一步，设置起始点>
该四边形对象各个角中最左面的角P1被选来设置为规则正方形对象的起始点
<第二步，映射四边形对象的各个角>
在该起始点
有两个相邻角
和
比较各个邻角在y方向上的位置在y方向上有较大值的相邻角被映射到
而在y方向上有最小值的相邻点被映射到
。在起始点P1对角位置上的四边形对象的角自动地被映射成
<第三步，在四边形对象各个角上计算变换矢量>
在第三步骤中四边形对象各个角的映射被确定时，一指示映射程度的变换矢量di被计算如下
i＝1，2，3，4<第四步，内插>
位于四边形对象内各个点的变换矢量利用该四边形对象各个角的变换矢量由线性内插来确定。
于是当通过这样的对象重新形成算法以将一四边形对象映射成一规则正方形对象的变换矢量被确定时该四边形对象内的各个点都被移入该规则正方形内。相应地该规则正方形内每一点的误差信号值可以由线性内插方法确定。
于是在该预测误差编码器24内，限于规则正方形对象的该误差信号利用K×K的两维DCT进行变换以进行编码。利用两维DCT的编码方法将K×K的误差信号进行变换而DCT的系数在变换域内被量化并且采用一可变长度编码技术进行编码。
在解码器中上述过程的各步骤反过来进行，由接收一可变长度的已编码比特流来完成一可变长度的解码，通过逆量化和逆DCT，一K×K大小的误差信号被存储起来。该K×K大小的误差信号在对象变换算法的逆过程中重新形成四边形对象并存储由该四边形对象表示的误差信号。
在本发明中是将四边形对象各个角的变换矢量作线性内插的方法作为将任意四边形对象变换成规则正方形对象的一种技术。然而也可采用将四边形对象分为两个三解形对象的仿射变换方法或者也可采用高阶的内插法。
在本发明中一两维DCT的变换编码方法被用来对由限于四边形对象的误差信号变换成K×K大小误差信号所产生的K×K大小误差信号进行编码。其他算法也能被用作此目的。即可采用K×K大小的矢量量化方法以及该K×K误差信号可再次被分解以进行编码。
另外，在本发明中，内部值是被当作四边形对象的一误差信号的，然而该对象变换算法可被用来对具有一般灰度值的信号进行编码。
在采用图象扭曲或活动网格的运动图象编码算法中，按运动预测和补偿的预测误差具有独立于四边形对象的特性。因此由于本发明能独立地对一四边形对象进行编码，所以编码效率提高了从而在与现有编码算法相同的比特率情况下提供优良的质量的运动图象。
因此必须理解本发明并不限于此处作为实施本发明最好模式所揭示的特殊实施例，本发明除了在权利要求中所规定的外也不限于在本说明书中叙述的具体实施例。
权利要求
1.一运动图象编码方法，包括步骤(a)将所述运动图象的前一帧分成任意的四边形对象；(b)通过运动跟踪和预测由每一四边形对象单元得到一预测误差。(c)将根据步骤(b)的每一四边形单元所表示的该预测误差转成一具有K×K大小的规则正方形对象，其中K为一整数，由此来对每一四边形对象独立地编码。
2.一运动图象编码方法，包括步骤(a)将一解码后的前一帧分成规则正方形形式的初始网格；(b)将所述正方形初始网格变换成任意四边形；(c)相对于在所述步骤(b)中形成的所述任意四边形对象对每一四边形对象在时间轴上的运动进行跟踪；(d)从所述前一帧的四边形对象通过基于所述被跟踪运动矢量的图象扭曲来形成一预测对象；(e)从所述预测对象由每一四边形单元来产生一预测误差。(f)将限于一四边形形式的所述误差信号转换到一具有K×K大小的规则正方形对象内。(g)将限于规则正方形对象的所述误差信号利用一预定的变换编码方法进行编码。
3.权利如要求2所述的一运动图象编码方法，其中所述步骤(f)包括下列步骤(h)选择一四边形对象各个角中最左边的一个角P1并设置所选该点为一规则正方形对象的起始点
(i)比较所述起始点P1的两个相邻角P2和P4在y方向上的位置，将在y方向上具有较大值的相邻角映射成P2、在y方向上具有最小值的相邻角映射成
，同时将在所述起始点P1的对角位置的四边形对象的角映射成
(j)当所述四边形对象各个角的映射被确定时，计算所述四边形对象各个角处的变换矢量；(k)利用所述四边形对象每一个角的所述变换矢量由线性内插来确定所述四边形对象内各个位置的所述变换矢量。
4.如权利要求3所述的运动图象编码方法，其中所述步骤(j)使用
i＝1，2，3，4其中di是表示映射程度的一变换矢量。
5.一运动图象编码装置，包括将解码后的前一帧分成正方形的各初始网格的一初始网格发生器；将所述初始正方形对象变换成任意四边形的一对象变换器；用于跟踪每一四边形对象相对于由该对象变换器产生的任意四边形对象在时间轴上的运动的运动跟踪器；用于在假定的运动矢量基础上通过图象扭曲从所述前一帧的所述四边形对象形成一预测对象的一运动补偿和帧预测器；由每个四边形单元从所述形成的预测对象中产生一预测误差信号的一预测误差形成单元；将限于一四边形形式的所述预测误差信号转换到一具有K×K大小的规则正方形内的一对象重新形成单元；以及将限于一规则正方形对象的所述预测误差信号利用一预定的变换编码方法来进行编码的一预测误差编码器。
全文摘要
一改进了预测误差编码效率的运动图象编码方法及其装置。该运动图象编码方法包括下列步骤(a)将运动图象的前一帧分成任意的四边形对象；(b)由每一四边形对象单元通过运动跟踪和预测得到一预测误差；以及(c)将在根据步骤(b)中的每一四边形单元所表示的该预测误差转成一具有K×K大小，其中K为一整数的规则正方形对象，由此来对每一四边形对象独立地编码。
文档编号G06T9/00GK1158057SQ9611671
公开日1997年8月27日 申请日期1996年12月27日 优先权日1995年12月27日
发明者千罡旭 申请人:三星电子株式会社