数字图象填补方法、图象处理装置及数据记录媒体的制作方法

专利名称：数字图象填补方法、图象处理装置及数据记录媒体的制作方法
技术领域：
本发明涉及数字图象填补方法、图象处理装置及数据记录媒体，尤其涉及对数字图象信号实施象素值填补处理的填补方法，上述数字图象信号对应于具有任意形状的隔行扫描图象；使用此填补方法对数字图象信号进行编码或译码的图象处理装置；以及存储了程序的数据记录媒体，上述程序是用于由计算机来实现利用上述填补方法或图象处理装置而进行的图象处理。
为了高效地存储或传送数字信号，需要对数字图象信息进行压缩编码，目前，作为数字图象信息压缩编码的方法，除了以JPEG和MPEG为代表的离散余弦变换以外，还有子频带、子波、分形等波形编码方法。
另外，作为去除相邻帧等画面上的冗长图象信息的方法，有的方法是对使用着移动补偿的画面之间实行预测，即，将构成现在画面象素的象素值用其与构成前一画面象素的象素值的差分值来表示，对此差分值形成的差分图象信号进行波形编码。
利用现行电视图象信号的隔行扫描所得到的图象信号形成隔行扫描图象。此隔行扫描图象的一帧(一个画面)由扫描定时不同的奇数场和偶数场构成，因此，根据在此隔行扫描图象的画面上显示的各个物体(即具有构成一个画面图象的任意形状的各个图象)移动的大小，相邻扫描线之间的象素值的相关值既有变大的情况，也有变小的情况。
所以，在对应于这种隔行扫描图象的图象信号编码处理中，在扫描线之间的象素值的相关值大的情况下，对于该图象信号以帧为单位实施移动补偿处理及波形编码处理，另一方面，在扫描线之间的象素值的相关值小的情况下，将该图象信号分为奇数场和偶数场，以各场为单位实施移动补偿处理及波形编码处理。
然而，近来，随着图象信号压缩效率的提高，几乎能够以构成一个画面图象的各个物体为单位来实行图象信号的重放，可以考虑对该物体所对应的图象信号分别以每个物体进行压缩并传送的编码方式。根据此编码方式被编码的图象编码信号在重放一侧被实施与上述编码方式相对应的译码处理。即，在此译码处理中，每个物体所对应的图象编码信号被译码，基于该译码所得到的各物体所对应的图象译码信号被合成，生成图象重放信号。然后，根据图象重放信号，由各个物体构成的一个画面所对应的图象被显示。
通过使用上述的以物体为单位进行图象信号编码的编码方式，在重放一侧，能够实现将各个物体自由地组合而生成合成图象，由此，能够简单地对动画图象进行再编辑。另外，能够根据通道的混合情况及重放装置性能或视听者的喜好，对不太重要的物体不进行重放，而对仅由重要度高的物体构成的动画图象进行显示。
这里，对物体(即具有任意形状的图象)所对应的图象信号进行编码时，或者使用实行与该物体形状相对应的信号处理的波形变换，例如形状适应离散余弦变换，或者使用在实行对于图象信号的填补处理之后再进行波形变换的方法。此方法在具体上，对于形成与各个物体相对应的图象空间(矩形区域)的图象信号，将其无效区域象素的象素值用基于规定的方法所得到的填补象素值来实施置换填补处理，对于实施了该填补处理的图象信号实施以往的8×8余弦变换处理。这里，上述无效区域是矩形区域的物体之外的区域，是没有用于显示物体的象素值的象素所构成的区域。即，与无效区域相对应的图象信号仅由所谓没有意义的样值构成。另外，上述8×8余弦变换是将矩形区域所对应的图象信号以由8×8象素构成的图象空间(块)为单位进行余弦变换的波形变换处理。
另外，作为去除相邻帧等画面上的冗长信号的具体方法，有以16×16象素构成的图象空间(宏块)作为单位区域，将成为编码处理对象的对象宏块所对应的图象信号、与它的预测信号两者的差分作为预测误差信号(差分信号)的求解方法。这里，上述预测信号是与基于移动补偿所得到的预测区域相对应的图象信号。再有，移动补偿是在已经实施了编码处理或译码处理的画面内，以给出图象信号的16×16象素构成的区域作为预测区域进行检测的处理，上述图象信号是它与对象宏块的图象信号的差分变为最小时的图象信号。
但是，此预测区域有时也含有具有非有意义样值的象素(以下称为无意义象素)的区域。此时，若取含有无意义象素的预测区域所对应预测信号与成为译码处理对象的对象区域的图象信号这两者的差分，无意义象素的样值由于在该差分成为最小这一意义下，不一定是最佳的预测值，常常出现差分值非常大的情况。
因此，对于上述预测区域所对应的图象信号，在实施了对其无意义的样值用规定的填补值进行置换的填补处理之后，将实施了填补处理的预测信号与对象宏块的图象信号的差分作为差分信号求出，对该差分信号实施为了编码的变换处理。这样，利用对预测信号实施填补处理，能够对差分信号进行抑制。
在以往的图象值的填补处理中，作为对于无意义样值的填补值，使用将无意义象素上水平及垂直方向上相邻的有意义象素(具有有意义样值的象素)的样值进行平均后的平均值。由于将这种有意义象素的样值的平均值作为平均值来使用，相对于实施了填补处理后的图象空间的图象信号(预测信号)的高频成分受到了抑制，由此，能够提高编码效率。
然而，当将无意义象素上水平及垂直方向上相邻的有意义象素的平均值作为填补值的填补处理被应用于对应于隔行扫描图象的图象信号时，存在使得此图象信号的高频成分增加的问题，以下对此进行详述。
在隔行扫描图象中，尤其在物体的移动较大的情况下，相邻扫描线之间的象素值的相关值减低。

图18是此种隔行扫描图象中，在相邻扫描线之间的象素值的相关值减低情况下的象素值排列的具体例子，图中示出了在图象空间301上的图象排列模式。
此图象空间301是由8×8个象素构成的图象空间。另外，图中，各象素由网个来表示，用影线表示的网个所对应的象素(例如象素303、304)是具有有意义样值的象素(有意义象素)，没有用影线表示的网个所对应的象素(例如象素302)是具有无意义样值的象素(无意义象素)。另外，各网个中所表示的数字为相应象素的样值。
由于隔行扫描图象其奇数场和偶数场的扫描定时不同，当图象中的物体的移动大时，在两个场合成的一帧中，会出现如图18所示的在图象空间301处的物体形状的重叠。此时，例如，有意义象素304在上下方向与无意义象素成为相邻。
接着，用图18及图19对以往的填补方法及其补偿结果进行具体说明。
在以往的填补方法中，利用3个步骤进行填补处理。
在第1步S1的处理中，对于沿水平方向排列的无意义象素，从该图象空间301的内侧的象素开始，顺序地将上述图象空间301的无意义象素的样值用与其相邻的有意义象素的样值进行置换，接着，对于沿垂直方向排列的无意义象素，从该图象空间的内侧的象素开始，顺序地将实施了此水平方向置换处理的图象空间上的无意义象素的样值用与其相邻的有意义象素的样值进行置换。这样，通过对于上述图象空间301所实施的第1步S1的处理，得到了图18所示的由具有样值的象素构成的图象空间350。
具体上，通过上述第1步S1的水平方向的置换处理，构成图象空间350上的象素行353～359的无意义象素的样值被填补值(有意义象素的样值)所置换。另外，通过上述第1步S1的垂直方向的置换处理，根据构成象素行354的有意义象素及填补过的象素(样值被填补值替换了的无意义象素)的样值，构成象素行352～353的无意义象素的样值被置换。
在第2步S2的处理中，与上述第1步S1相反，对于沿垂直方向排列的无意义象素，从图象空间的内侧的象素开始，顺序地将上述图象空间301的无意义象素的样值用与其相邻的有意义象素的样值进行置换，之后，对于沿水平方向排列的无意义象素，从图象空间的内侧的象素开始，顺序地将实施了此垂直方向置换处理的图象空间上的无意义象素的样值用与其相邻的有意义象素的样值进行置换。这样，通过对于上述图象空间301所实施的第2步S2的处理，得到了图18所示的由具有样值的象素构成的图象空间351。
具体上，通过上述第2步S2的垂直方向的置换处理，构成图象空间351上的象素列362～365的无意义象素的样值被填补值所置换。另外，通过上述第2步S2的水平方向的置换处理，根据构成象素列362的有意义象素及填补过的象素的样值，构成象素列360～361的无意义象素的样值被置换。同样，根据构成象素列365的有意义象素及填补过的象素的样值，构成象素列367～368的无意义象素的样值被置换。
然后，在第3步S3的处理中，如图19所示，在由第1步S1得到的图象空间350上的各个象素与由第2步S2得到的图象空间351上的各个象素之间，对应位置的象素的样值被进行平均。由此，得到图19所示的由具有样值的各象素构成的图象空间380。
将此图象空间380作为一帧，若实行将构成该图象空间380的象素与奇数场和偶数场相对应地进行划分的再取样处理，如图20所示，可以得到对应于奇数场的由多个象素构成的图象空间381，和对应于偶数场的由多个象素构成的图象空间382。在这些与各个场相对应的图象空间381、382之间，如图20所示，象素的样值变得不均等，在与各图象空间381、382对应的图象信号中引入了高频成分。
另外，这种填补处理的问题并不单纯存在于由隔行扫描而产生的图象(隔行扫描图象)，也发生于由逐行扫描而产生的图象(逐行扫描图象)。具体上，即使是逐行扫描图象，具有条纹图样的图象很多，也对这样的具有条纹图样的图象进行上述的再取样处理，例如，有的将构成一帧(图象空间)的多个象素对应于该图象空间的条纹图样的条纹部分与其之间的部分进行归集，实施形成同该图象空间的条纹图样的条纹部分与其之间的部分对应的图象空间的处理，然后，与由该再取样处理得到的图象空间相对应地实施编码处理。
此情况下，若利用以往的填补方法对与上述的具有条纹图样的逐行扫描图象相对应的图象信号进行填补时，高频成分被引入到与由该再取样处理得到的图象空间相对应的图象信号中，存在编码效率降低的问题。
再有，就使用与无意义象素在水平方向或垂直方向上相邻的有意义的样值来求出填补值、这种上述方法以外的填补方法而言，也存在与上述同样的问题。
本发明是为了解决上述问题所进行的发明，目的在于得到数字图象填补方法，该方法能够一边抑制上述预测误差信号的编码处理上的编码效率的降低，一边实施对于由隔行扫描产生的图象和条纹图样的任意形状图象的填补处理，使更高编码效率的编码处理成为可能；图象处理装置，该装置使用上述填补方法进行图象编码或图象译码处理；存储了程序的数据记录媒体，上述程序是用于由计算机来实现利用上述填补方法及该图象处理装置而进行的图象处理。
本发明(方案1)涉及的数字图象填补方法是一种对形成原图象空间的数字图象信号实施象素值的填补处理的方法，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，该方法包含按照规定的规则将构成上述原图象空间的多个象素进行分组而形成多个由同一组的象素构成的小图象空间的象素排列替换处理、和将各小图象空间的无意义象素的图象值用规定的方法生成的填补象素值来进行置换的象素填补处理。
在上述构成的数字图象填补方法中，构成原图象空间的多个象素按照规定的规则被抽出，形成多个小图象空间。因此，例如，能够将相邻的象素或扫描线之间的象素值相关值低的原图象空间分割为相邻的象素或扫描线之间的象素值相关值高的多个小图象空间。因此，能够不是以相邻的象素或扫描线之间的象素值相关值低的原图象空间，而是以该象素值相关值高的小图象空间为单位，来实行对于由隔行扫描产生的图象及条纹图样的任意形状图象的填补处理。此情况下，实施了填补处理的小图象空间其上述象素值相关值变高，通过对于由隔行扫描产生的图象及条纹图样的任意形状图象的填补处理，能够回避对应于原图象空间的图象信号中高频成分的引入。
其结果是能够一边抑制因填补处理带来的编码效率降低，一边实施对于由隔行扫描产生的图象等的差分编码处理或差分译码处理。
本发明(方案2)是如在方案1所记载的数字图象填补方法上，在上述排列替换处理中，是以从第1个到第(N+1)个的象素作为取样开始象素，将构成上述原图象空间的象素沿规定的方向每隔N(N为正整数)个象素进行抽出的取样处理进行(N+1)次，形成(N+1)个由一次取样处理所得到的规定数的象素所构成的小图象空间。
在这样构成的数字图象填补方法中，由于是在该原图象空间上沿规定的方向每隔规定数的象素将原图象空间上的象素抽出而形成小图象空间，因此，尤其能够与条纹图样的条纹部分的宽度及条纹部分的配置间隔无关地、将含有具有纵条纹图样和横条纹图样的任意形状的图象的原图象空间分割为相邻象素行或象素列的象素值相关值高的小图象空间。
本发明(方案3)是如在方案2所记载的数字图象填补方法上，作为置换第n(n=1,2,…,N+1)个小图象空间上的无意义象素的象素值的填补象素值，使用基于上述第n个小图象空间上的有意义象素的象素值计算而得到的计算值。
在此种构成的数字图象填补方法中，由于小图象空间上的无意义象素的象素值是被由同一小图象空间上的有意义象素的象素值得到的填补象素值所置换的，因此，通过填补处理，能够抑制与小图象空间的有意义象素的象素值相远离的象素值的产生。
本发明(方案4)是如在方案2所记载的数字图象填补方法上，为使这些象素形成与上述原图象空间相同象素排列的复原图象空间，按照与上述分组时规定的规则所对应的规则，对构成上述实施填补处理的所有小图象空间的多个象素实施排列替换的图象空间复原处理。
在此种构成的数字图象填补方法中，将原图象空间分割为象素值的相关值高的小图象空间，在对这些小图象空间实施象素值的填补处理之后，由于为了实现与原图象空间的象素排列相同的象素排列，对实施了填补处理的小图象空间上的象素进行排列替换，因此，能够与对应于未实施填补处理的原图象空间的图象信号完全相同地、对与对应于实施了填补处理的原图象空间的图象信号进行处理。
本发明(方案5)是如在方案4所记载的数字图象填补方法上，作为置换第n(n=1,2,…,N+1)个小图象空间上的无意义象素的象素值的填补象素值，使用基于上述第n个小图象空间上的有意义象素的象素值计算而得到的计算值。
在此种构成的数字图象填补方法中，由于小图象空间上的无意义象素的象素值是被由同一小图象空间上的有意义象素是象素值得到的填补象素值所置换的，因此，通过填补处理，能够抑制与小图象空间的有意义象素的象素值相远离的象素值的产生。
本发明(方案6)是如在方案1所记载的数字图象填补方法上，在上述排列替换处理中，是以从第1个及第2个的象素行作为取样开始象素行，将上述原图象空间的象素沿原图象空间的垂直方向每隔1个象素行进行抽出的连续取样处理进行2次，生成通过第1个及第2个的取样处理分别得到的、由规定象素构成的第1及第2小图象空间。
在这样构成的数字图象填补方法中，由于是在该原图象空间上沿垂直方向每隔一个象素将原图象空间上的象素抽出，而形成由原图象空间上的奇数个扫描线构成的小图象空间和由原图象空间上的偶数个扫描线构成的小图象空间，因此，能够不是以相邻的扫描线之间的象素值相关值低的原图象空间，而是以该象素值相关值高的各场所对应的小图象空间为单位来实行对于由隔行扫描产生的图象的填补处理。其结果是通过对于由隔行扫描产生的图象的填补处理，能够回避对应于此图象的图象信号中高频成分的引入。
本发明(方案7)涉及的数字图象填补方法是一种对形成原图象空间的数字图象信号实施象素值的填补处理的方法，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，此方法是将上述原图象空间分割为仅由该原图象空间上的奇数象素行上的象素构成的第1小图象空间，和仅由该原图象空间上的偶数象素行上的象素构成的第2小图象空间，使用上述第1小图象空间上的有意义象素的象素值生成第1填补象素值，在同该第1小图象空间上的无意义象素的象素值进行置换的同时，使用上述第2小图象空间上的有意义象素的象素值生成第2填补象素值，将该第2小图象空间上的无意义象素的象素值用第2填补象素值来进行置换。
在这样构成的数字图象填补方法中，能够不是以相邻的扫描线之间的象素值相关值低的原图象空间，而是以该象素值相关值高的各场所对应的第1、第2小图象空间为单位来实行对于由隔行扫描产生的图象的填补处理。其结果是通过对于由隔行扫描产生的图象的填补处理，能够回避对应于该图象的图象信号中高频成分的引入。
另外，由于各小图象空间上的无意义象素的象素值是被由同一小图象空间上的有意义象素的象素值得到的填补象素值所置换的，因此，通过填补处理，能够抑制与小图象空间的有意义象素的象素值相远离的象素值的产生。
本发明(方案8)涉及的数字图象填补方法是一种对形成原图象空间的数字图象信号实施填补处理的方法，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，该填补处理是由用该原图象空间上的有意义象素的象素值决定的填补象素值，对该原图象空间上的无意义象素的象素值进行置换。此方法是把在上述填补象素值的决定上其象素值被使用的有意义象素，当作与作为上述填补对象的无意义象素相邻的象素以外的象素。
在上述构成的数字图象填补方法中，由于与原图象空间上的无意义象素的象素值进行置换的填补象素值是由上述无意义象素相邻的象素以外的有意义象素的象素值所决定的，因此，至少是无意义象素的象素值不会与同它相邻的象素的象素值进行置换，因此，例如，能够一边抑制与原图象空间所对应的图象信号中引入的高频成分，一边实施对于相邻象素或扫描线之间的象素值相关值低的原图象空间象素值的填补处理。
本发明(方案9)是如在方案8所记载的数字图象填补方法上，将在上述填补象素值的决定上其象素值被使用的有意义象素，当作与作为上述填补对象的无意义象素在垂直方向上相隔一个象素而相邻的象素。
在这样构成的数字图象填补方法中，在该原图象空间上的奇数个扫描线上的无意义象素的象素值，被由其他奇数个扫描线上的有意义象素的象素值所得到的填补象素值所置换，原图象空间上的偶数个扫描线上的无意义象素的象素值，被由其他偶数个扫描线上的有意义象素的象素值所得到的填补象素值所置换。因此，通过对于由隔行扫描产生的图象图象的填补处理，能够回避对应于该图象的图象信号中高频成分的引入。
本发明(方案10)涉及的图象处理装置是一种实行图象编码的装置，它具有相关识别装置，它对构成数字图象信号的象素值的相关进行识别，并将该识别结果所对应的取样标识符输出；编码处理装置，它根据上述取样标识符来实施使用了相对于数字图象信号的预测图象信号的差分编码处理，并将图象编码信号输出；预测处理装置，它根据对该图象编码信号进行局部译码所得到的图象译码信号来生成上述预测图象信号，上述编码处理装置在构成上具有减法器，它将上述数字图象信号与预测图象信号的差分作为差分图象信号求出；信息压缩器，它将该差分图象信号进行压缩生成压缩差分信号；可变长编码器，它将该压缩差分信号进行可变长编码，上述预测处理装置在构成上具有信息扩展器，它将上述压缩差分信号扩展生成扩展差分信号；加法器，它将上述扩展差分信号与上述预测图象信号求和生成图象译码信号；填补装置，它相对于该图象译码信号，将利用该图象译码信号形成的图象空间上的象素进行排列替换，根据上述取样标识符，对该象素被排列替换的图象空间上的无意义象素的象素值，实施用由规定的方法生成的填补象素值进行置换的填补处理；预测图象信号生成装置，它基于上述取样标识符由被实施了填补处理的图象译码信号生成上述预测图象信号。
在这样构成的图象处理装置中，由于生成与数字图象信号对应的预测图象信号的预测处理装置在构成上是具有在差分编码处理时对于通过差分编码信号的局部译码而得到的图象译码信号进行象素值填补处理的填补装置，由该被实施了填补处理的图象译码信号生成预测图象信号，该填补装置在构成上是在实施了对于该图象译码信号的象素值的排列替换处理之后，用规定的填补象素值对该图象译码信号上的无意义象素的象素值进行置换，因此，在实施与由隔行扫描产生的图象和条纹图样的任意形状图象相对应的数字图象信号的差分编码处理的时候，利用局部译码的图象译码信号的填补处理，能够回避用于差分编码处理的预测图象信号中高频成分的引入。其结果是具有能够一边抑制上述因填补处理引起的编码效率的降低，一边实施对于由隔行扫描产生的图象等的差分编码处理的效果。
本发明(方案11)是如在方案10所记载的图象处理装置上，所述编码处理装置在构成上，具有填补装置，它是在上述差分图象信号上，对由此差分图象信号形成的图象空间的象素进行排列替换，根据上述取样标识符，实施把在该象素被排列替换的图象空间上的无意义象素的象素值用由规定的方法生成的填补象素值进行置换的填补处理。在上述信息压缩器中，通过实施了该填补处理的差分图象信号的信息压缩生成压缩差分信号。
在这种构成的图象处理装置中，由于在对于作为信息压缩器输入的差分图象信号的象素值的排列替换处理实施之后，实施将该差分信号上的无意义象素的象素值用填补象素值进行置换的填补处理，能够回避信息压缩器所输入的图象信号中高频成分的引入。因此，在实施与由隔行扫描产生的图象和条纹图样的任意形状图象对应的数字图象信号的差分编码处理的时候，能够高效率地实施DCT处理等的波形变换处理。
本发明(方案12)涉及的图象处理装置是一种实行图象译码的装置，它具有重放处理装置，它使用对应于该数字图象信号的预测图象信号把对数字图象信号进行编码得到的图象编码信号进行重放并输出图象重放信号；预测处理装置，它根据该图象重放信号生成上述预测图象信号，上述重放处理装置在构成上具有数据解析器，它通过上述图象编码信号的解析，从该图象编码信号中抽出取样标识符，该取样标识符表示与数字图象信号相对应的压缩差分信号、以及构成该数字图象信号的象素值的相关；信息扩展器，它将上述压缩差分信号扩展生成扩展差分信号；加法器，它将上述扩展差分信号与上述预测图象信号求和生成上述图象重放信号，上述预测处理装置在构成上是将上述图象重放信号及从该图象重放信号得到的预测图象信号的至少一者作为填补对象信号，相对于该填补对象信号，将由此填补对象信号形成的图象空间上的象素进行排列替换，根据上述取样标识符，实施把在该象素被排列替换的图象空间上的无意义象素的象素值用由规定的方法生成的填补象素值进行置换的填补处理。
在这样构成的图象处理装置中，由于生成与数字图象信号对应的预测图象信号的预测处理装置在构成上是具有将与数字图象信号所对应的图象重放信号或预测图象信号作为填补对象信号来实施象素值的填补处理的填补装置，在该填补装置中，在实施了对于该填补对象信号的象素值的排列替换处理之后，用规定的填补象素值对该填补对象信号上的无意义象素的象素值进行置换，因此，在对与由隔行扫描产生的图象和条纹图样的任意形状图象相对应的数字图象信号的差分编码信号进行译码处理的时候，利用被译码的图象重放信号或预测图象信号的填补处理，能够回避用于差分译码处理的预测图象信号中高频成分的引入。其结果是具有能够实现抑制由象素值的填补处理引起的编码效率的劣化的、与差分编码处理相对应的差分译码处理。
本发明(方案13)是如在方案12所记载的图象处理装置上，上述预测处理装置在构成上，具有填补装置，它根据上述取样标识符，在帧单位或场单位中实施对于上述图象重放信号的填补处理；帧存储器，它存储利用该图象重放信号的填补处理所得到的填补重放信号，该帧存储器所存储的填补重放信号作为上述预测图象信号向上述重放处理装置进行输出。
在这样构成的图象处理装置中，在图象重放信号上，由于是根据取样标识符在帧单位或场单位中实施填补处理，尤其是在实施对于由隔行扫描产生的图象的数字图象信号的差分译码处理时，利用对于被重放的图象重放信号的填补处理，能够回避从该图象重放信号得到的预测图象信号中高频成分的引入。
本发明(方案14)是如在方案12所记载的图象处理装置上，上述预测处理装置在构成上，具有帧存储器，它存储上述图象重放信号；
填补装置，它根据上述取样标识符，在帧单位或场单位中实施对于从该帧存储器中存储的图象重放信号中抽出的预测图象信号的填补处理，将实施了填补装置的预测图象信号向上述重放处理装置输出。
在这样构成的图象处理装置中，在预测图象信号上，由于是根据取样标识符在帧单位或场单位中实施填补处理，尤其是在实施对于由隔行扫描产生的图象的数字图象信号的差分译码处理时，利用对于预测图象信号的填补处理，能够具有回避该预测图象信号中高频成分的引入的效果，除此之外，由于填补处理是仅对于从帧存储器抽出的预测图象信号实施，因此，能够使在预测处理装置的填补处理为信号处理量少的填补处理。
本发明(方案15)涉及的图象处理装置是一种实行图象译码的装置，它具有重放处理装置，它使用对应于该数字图象信号的预测图象信号把对数字图象信号进行编码得到的图象编码信号进行重放并输出图象重放信号；预测处理装置，它根据该图象重放信号生成上述预测图象信号，上述重放处理装置在构成上具有数据解析器，它通过上述图象编码信号的解析，从该图象编码信号中抽出取样标识符，该取样标识符表示与数字图象信号相对应的压缩差分信号、以及构成该数字图象信号的象素值的相关；信息扩展器，它将上述压缩差分信号扩展生成扩展差分信号；加法器，它将上述扩展差分信号与上述预测图象信号求和生成上述图象重放信号，上述预测处理装置在构成上具有填补装置，它根据上述取样标识符，对于上述图象重放信号，实施把根据此图象重放信号形成的图象空间上的无意义象素的象素值、用至少是由与该无意义象素相邻的象素之外的有意义象素的象素值生成的填补象素值进行置换的填补处理；排列替换装置，它根据上述取样标识符，对于实施了填补处理的图象重放信号，对由此图象重放信号形成的图象空间上的象素实施排列替换处理。
在这样构成的图象处理装置中，对于从含有数字图象信息的差分编码信号得到的图象重放信号进行填补处理时，由于同由图象重放信号形成的图象空间上的无意义象素的象素值进行置换的填补象素值、是由与该无意义象素相邻的象素之外的有意义象素的象素值所决定的，至少无意义象素不是用与其相邻的象素的象素值置换，因此，在进行数字图象信号的差分译码处理时，能够一边抑制原图象空间所对应的图象信号中高频成分的引入，一边实施如对于相邻的象素或扫描线之间的象素值相关值低的原图象空间的象素值的填补处理。
本发明(方案16)涉及的数据记录媒体是存储了程序的数据记录媒体，上述程序是为了让计算机实行对形成原图象空间的数字图象信号实施象素值的填补处理，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，上述程序的构成是为了由计算机来实行根据方案1所记载的数字图象填补方法的象素值的填补处理。
利用将此种构成的数据记录媒体所存储的程序装入计算机，能够利用计算机实现在对于由隔行扫描产生的图象等的差分编码处理或差分译码处理上、不引起编码效率劣化的填补处理。
本发明(方案17)涉及的数据记录媒体是存储了程序的数据记录媒体，上述程序是为了让计算机实行对形成原图象空间的数字图象信号实施象素值的填补处理，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，上述程序的构成是为了由计算机来实行根据方案7所记载的数字图象填补方法的象素值的填补处理。
利用将此种构成的数据记录媒体所存储的程序装入计算机，能够利用计算机实现在对于由隔行扫描产生的图象的差分编码处理或差分译码处理上、不引起编码效率劣化的填补处理。
本发明(方案18)涉及的数据记录媒体是存储了程序的数据记录媒体，上述程序是为了让计算机实行对形成原图象空间的数字图象信号实施象素值的填补处理，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，上述程序的构成是为了由计算机来实行根据方案8所记载的数字图象填补方法的象素值的填补处理。
利用将此种构成的数据记录媒体所存储的程序装入计算机，能够利用计算机实现在对于由隔行扫描产生的图象等的差分编码处理或差分译码处理上、不引起编码效率劣化的填补处理。
本发明(方案19)涉及的数据记录媒体是存储了用于让计算机实行图象信号的编码处理的程序的数据记录媒体，上述程序的构成是为了由计算机来实行由方案10所记载的图象处理装置的数字图象信号的差分编码处理。
利用将此种构成的数据记录媒体所存储的程序装入计算机，能够利用软件实现在对于由隔行扫描产生的图象等进行的差分编码处理上、不因上述填补处理而带来编码效率劣化的处理。
本发明(方案20)涉及的数据记录媒体是存储了用于让计算机实行图象信号的译码处理的程序的数据记录媒体，上述程序的构成是为了由计算机来实行由方案12所记载的图象处理装置的数字图象信号的差分译码处理。
利用将此种构成的数据记录媒体所存储的程序装入计算机，能够利用软件来实现在对于由隔行扫描产生的图象等进行的差分译码处理上，不因填补处理而带来编码效率劣化的、与差分编码处理相对应的差分译码处理。
本发明(方案21)涉及的数据记录媒体是存储了用于让计算机实行图象信号的译码处理的程序的数据记录媒体，上述程序的构成是为了由计算机来实行由方案15所记载的图象处理装置的数字图象信号的差分译码处理。
利用将此种构成的数据记录媒体所存储的程序装入计算机，能够利用软件来实现在对于由隔行扫描产生的图象等进行的差分译码处理上，不因填补处理而带来编码效率劣化的、与差分编码处理相对应的差分译码处理。
图1为根据本发明实施例1的数字图象填补方法的图象处理流程示意图。
图2为用于说明上述实施例1的数字图象填补方法中再取样处理的模式图。
图3(a)及图3(b)是对上述实施例1的数字图象填补方法中象素值的填补处理进行说明的模式图，图3(c)是对根据上述实施例1的变形例1的数字图象填补方法上象素值的合并处理进行说明的模式图。
图4为根据本发明实施例1的变形例1的数字图象填补方法的图象处理流程示意图。
图5为根据本发明实施例1的变形例2的数字图象填补方法的图象处理流程示意图。
图6为根据本发明实施例1的变形例3的数字图象填补方法的图象处理流程示意图。
图7为用来对上述实施例1的变形例3的数字图象填补方法中象素值的填补处理进行说明的模式图。
图8(a)及图8(b)是对上述实施例2的数字图象填补方法中象素值的填补处理进行说明的模式图。
图9是用来对根据本发明实施例3的图象编码装置进行说明的方框图，图9(a)所示为该图象编码装置的整体构成图，图9(b)为构成该图象编码装置的填补处理装置的构成图。
图10(a)～图10(d)是用于对上述实施例3的图象编码装置的填补处理进行说明的说明图，图10(a)所示为排列替换处理，图10(b)所示为帧填补处理，图10(c)所示为场填补处理，图10(d)所示为象素的复原合并处理。
图11所示为上述实施例3的图象编码装置输出的图象编码信号的数据构造模式图。
图12为用来对根据本发明实施例3的变形例1的图象编码装置进行说明的方框图。
图13为用来对根据本发明实施例3的变形例2的图象编码装置进行说明的方框图，图13(a)所示为该图象编码装置的整体构成图，图13(b)为构成该图象编码装置的填补处理装置的构成图。
图14为用来对根据本发明实施例4的图象译码装置进行说明的方框图。
图15为用来对根据本发明实施例4的变形例1的图象译码装置进行说明的方框图。
图16为用来对根据本发明实施例4的变形例2的图象译码装置进行说明的方框图。
图17(a)、图17(b)、图17(c)为用于对数据记录媒体进行说明的说明图，上述数据记录媒体存储有为了由计算机来实现上述各实施例的数字图象填补方法或由图象处理装置进行的图象处理所用的程序。
图18为对根据以往的数字图象填补方法的象素值的置换处理进行说明的模式图。
图19为对根据以往的数字图象填补方法的象素值的平均处理进行说明的模式图。
图20为对根据以往的数字图象填补方法的象素值的再取样处理进行说明的模式图。
以下，用图1至图17就本发明实施例进行说明。
实施例1图1～图3为用来对根据本发明实施例1的数字图象填补方法进行说明的说明图。图1为该填补方法的图象信号处理流程示意图。
此实施例1的数字图象填补方法如图1所示，它含有对于由被取样的输入数字图象信号形成的原图象空间实施再取样处理，形成多个小图象空间的处理(步骤12)、和对于该各小图象空间将其无意义象素的样值用由规定的方法得到的填补象素值进行置换的填补处理(步骤13)。
图2示出了上述数字图象填补方法中再取样处理的模式，上述输入数字图象信号所对应的原图象空间301在此由8×8的象素构成，包含着具有有意义样值的有意义象素和具有无意义样值的无意义象素。此外，图2中，各象素用网个进行表示，上述有意义象素是对应于影线所表示的网个的象素(例如象素303、304)，上述无意义象素是对应于没有用影线表示的网个的象素(例如象素302)。另外，各网个中的数字所表示的是相应象素的样值。
另外，由上述再取样处理所得到的小图象空间401～402分别由4×4的象素构成。这里，小图象空间401由处于上述原图象空间301上的奇数个的象素列与奇数个的象素行的交叉位置的象素构成。小图象空间403由处于上述原图象空间301上的偶数个的象素列与奇数个的象素行的交叉位置的象素构成。小图象空间402由处于上述原图象空间301上的奇数个的象素列与偶数个的象素行的交叉位置的象素构成。小图象空间404由处于上述原图象空间301上的偶数个的象素列与偶数个的象素行的交叉位置的象素构成。
图3示出了上述实施例1的数字图象填补方法中填补处理的模式。通过对上述小图象空间401及403实施与以往的填补处理同样的处理得到小图象空间405(参照图3(a))，通过对上述小图象空间402及404实施与以往的填补处理同样的处理得到小图象空间406(参照图3(b))。
接着，就作用和效果进行说明。
在本实施例1的填补方法中，在步骤S11输入被取样的数字图象信号。这里，此数字图象信号是作为对应于物体、即具有任意形状的图象，它形成含有该物体的图2所示的原图象空间301。
再有，此数字图象信号既可以是对应于由隔行扫描产生的图象(隔行扫描图象)的信号，也可以是对应于由逐行扫描产生的图象(逐行扫描图象)的信号。当上述数字图象信号是对应于逐行扫描图象的信号时，例如，具有条纹图样的物体的图象相当于上述图2所示的原图象空间301上的图象。另外，当上述数字图象信号是对应于隔行扫描图象的信号时，例如，物体移动大的图象相当于上述图2所示的原图象空间301上的图象，在这样的隔行扫描图象中，存在如图2所示的物体呈现出的错位双影。
另外，上述原图象空间301含有各个物体，它可以是该物体所对应的区域(目标区域)的自身，另外，也可以是将此目标区域分割为由规定的象素(例如N×M取样)构成的多个图象空间(块)。这里，为了说明方便，在上述步骤S11中，上述目标区域所对应的数字图象信号取作每帧顺序被输入信号。
在步骤S12，在上述数字图象信号所对应的原图象空间301上实施再取样处理生成多个小图象空间401～404。即从上述原图象空间301沿水平方向每隔一个象素、且沿垂直方向上每隔一个象素地抽出象素，利用抽出的象素，生成上述4个小图象空间401～404。
对上述各小图象空间进行具体的说明如下，将处于上述原图象空间301上的奇数个的象素列与奇数个的象素行的交叉位置的象素抽出形成小图象空间401，将偶数个的象素列与奇数个的象素行的交叉位置的象素抽出形成小图象空间403。另外，将处于上述原图象空间301上的奇数个的象素列与偶数个的象素行的交叉位置的象素抽出形成小图象空间402，将处于上述原图象空间301上的偶数个的象素列与偶数个的象素行的交叉位置的象素抽出形成小图象空间404。
接着在步骤S13，对上述小图象空间401～404实施填补处理。本实施例中的填补处理，由以往的填补方法上的、如图18及图19所示的第1～第3步骤S1～S3(以下称为第1～第3填补步骤)构成。
即在第1填补步骤中，沿水平方向从小图象空间的内侧开始，顺序地实施将上述小图象空间上的无意义象素的样值用该无意义象素相邻的有意义象素的样值进行置换的处理，接着沿垂直方向从小图象空间的内侧开始，顺序地实施将已实施了此水平方向置换处理的小图象空间上的无意义象素的样值、用相邻的有意义象素或已填补象素(被进行了样值置换的无意义象素)的样值进行置换的处理。
在第2填补步骤中，与上述第1填补步骤相反，沿垂直方向从小图象空间的内侧开始，顺序地实施将上述小图象空间上的无意义象素的样值用该无意义象素相邻的有意义象素的样值进行置换的处理，然后，沿水平方向从小图象空间的内侧开始，顺序地实施将已实施了此垂直方向置换处理的小图象空间上的无意义象素的样值、用相邻的有意义象素或已填补象素的样值进行置换的处理。
接着，在第3填补步骤中，对通过第1填补步骤的置换处理得到的小图象空间上的各象素的样值，和与其对应位置的、通过第2填补步骤的置换处理得到的小图象空间上的各象素的样值进行平均，求得构成小图象空间的各象素的样值。
通过这样的填补处理，上述小图象空间401、403被变换为分别由具有图3(a)所示的样值的象素构成的小图象空间405，上述小图象空间402、404被变换为分别由具有图3(b)所示的样值的象素构成的小图象空间406。
将通过这些填补处理得到的小图象空间与通过以往的方法得到的奇数场图象空间381及偶数场图象空间382(参照图20)相比较，可以表明，构成各小图象空间405、406(参照图3)的象素的样值成为均等的样值，该各小图象空间所对应的图象信号中没有引入高频成分。
然后，在最后的步骤S14中，对在实施了上述再取样处理的原图象空间是否是对应于构成上述数字图象信号的最终帧进行判定，当上述原图象空间是对应于最终帧的情况下，结束上述步骤S11～S14的处理。另一方面，当上述原图象空间不是对应于最终帧的情况下，对下一帧所对应的原图象空间实施上述步骤S11～S14的处理。
在本实施例1中，从输入的数字图象信号所对应的原图象空间301上的象素中，沿水平方向每隔一个象素、且沿垂直方向上每隔一个象素地抽出象素，将抽出的多个象素排列替换形成4个小图象空间401～404，由于是对于这些小图象空间实施象素值的填补处理，因此，象素值的填补处理不是对于相邻扫描线之间的象素值相关值低的原图象空间实施，而是对于相邻扫描线之间的象素值相关值高的多个小图象空间实施。即，实施了填补处理的小图象空间的上述象素值相关值变高。因此，例如，通过对物体的移动大的隔行扫描图象的填补处理，能够回避该隔行扫描图象所对应的数字图象信号中高频成分的引入，而且，能够具有一边抑制因填补处理带来的编码效率降低，一边以高编码效率实施对于由隔行扫描图象等的差分编码处理或差分译码处理的效果。
再有，在上述实施例1中，已说明过，原图象空间作为与含有物体的目标区域相对应，上述原图象空间也可以对应于将目标区域进行了分割的、作为编码处理的单位的块。此情况下，在S14中，首先，对原图象空间是否是对应于构成目标区域的最终块进行判定，当上述原图象空间不是对应于最终块的情况下，对下一块所对应的原图象空间实施上述步骤S12～S14的处理。另外，在上述原图象空间是对应于最终块的情况下，对原图象空间是否是对应于最终帧进行判定，根据此判定结果，判定是结束处理，还是对下一帧的最初的块所对应的原图象空间实施上述步骤S12～S14的处理。
另外，在上述实施例1中，填补处理由第1～第3填补步骤的3个填补步骤而构成的情况已进行了说明，然而，作为上述填补处理，也可以仅实施第1填补步骤或第2填补步骤。
再者，在上述实施例1中，使用了无意义象素相邻的有意义象素的样值作为与小图象空间上的无意义象素的样值进行置换的填补值，然而，作为上述填补值，也可以使用上述小图象空间上的多个有意义象素的样值的平均值、或使用上述小图象空间上的位于物体的边界上的多个有意义象素的样值的平均值。
再有，在上述实施例1中，为形成上述小图象空间进行再取样的时候，是从数字图象信号所对应的原图象空间上的象素沿水平方向每隔一个象素、且沿垂直方向上每隔一个象素地抽出象素。然而，原图象空间上的象素的抽出，也可以是一般地沿水平方向每隔N(N为正整数)个象素、且沿垂直方向上每隔N个象素地抽出。这里抽出的象素的间隔也可以根据由数字图象信号形成的图象的条纹图样等进行适当的变更。
接着，对实施例1的变形例1～3进行说明。
实施例1的变形例1图4为根据本发明实施例1的变形例1的数字图象填补方法的图象处理流程示意图，图中示出了该填补方法的图象处理流程。
本发明实施例1的变形例1的数字图象填补方法是在图1所示的实施例1的数字填补方法的各步骤S11～S15的处理的基础上，增加了步骤S16的象素合并处理。
在步骤S16中，将在步骤S13通过填补处理得到的小图象空间405及406的所有构成象素进行排列替换，以便与输入的数字图象信号所对应的原图象空间成为相同的图象排列，形成与原图象空间301相同尺寸的合并图象空间407(参照图3(c))。
具体上，将相对于小图象空间401由填补处理得到的小图象空间405的各象素，配置在纵横尺寸是小图象空间的2倍的合并图象空间的奇数个象素列与奇数个象素行的交叉位置上，将相对于小图象空间403由填补处理得到的小图象空间405的象素，配置在上述的合并图象空间的偶数个象素列与奇数个象素行的交叉位置上，进一步，将相对于小图象空间402由填补处理得到的小图象空间406的象素，配置在上述的合并图象空间的奇数个象素列与偶数个象素行的交叉位置上，将相对于小图象空间404由填补处理得到的小图象空间406的象素，配置在上述的合并图象空间的偶数个象素列与偶数个象素行的交叉位置上。
在这样构成的本实施例1的变形例1中，从输入的数字图象信号所对应的原图象空间301上的象素中，沿水平方向每隔一个象素、且沿垂直方向上每隔一个象素地抽出象素，将抽出的多个象素排列替换形成4个小图象空间401～404，对于这些小图象空间实施象素值的填补处理，然后，通过该实施了填补处理的小图象空间405、406的象素的再排列处理，形成与原图象空间301相同的象素排列的合并图象空间407。因此，对于实施了填补处理的合并图象空间，能够与未实施填补处理的原图象空间完全相同地实施编码等图象处理，具有无需根据填补处理对填补处理后的图象信号的处理进行变更的效果。
实施例1的变形例2图5为根据本发明实施例1的变形例2的数字图象填补方法的说明图，图中示出了该填补方法的图象处理流程。
本发明实施例1的变形例2的数字图象填补方法如图5所示，含有如下步骤步骤S52，对于由取样输入数字图象信号形成的原图象空间，就其相邻象素列之间的象素值的相关值的大小进行评价；步骤S53，根据上述评价结果，判定是否对上述原图象空间实施再取样处理而形成多个小图象空间；步骤S54，在实施了对于原图象空间的再取样处理之后，对于上述小图象空间实施填补处理；步骤S55，对原图象空间实施直接填补处理。
接着，对作用和效果进行说明。
在此实施例1的变形例2填补方法中，在步骤S51中，形成规定的原图象空间的数字图象信号被输入，该原图象空间的象素呈矩阵状排列。接着在步骤S52中，求出原图象空间对相邻象素列之间的象素值的相关值的大小。具体上，在本变形例中，将上述原图象空间上的相邻的奇数象素列与偶数象素列作为一组，求各组的奇数象素列与偶数象素列之间的样值的差分，将此差分的绝对值添加到上述原图象空间上的各组奇数象素列和偶数象素列上求和，生成第1评价值。
另外，将上述原图象空间上的相邻奇数象素列作为一组，求它们之间的样值的差分(第1差分)，同时，将上述原图象空间上的相邻奇数象素列作为一组，求它们之间的样值的差分(第2差分)，将此第1和第2差分的绝对值添加到上述图象空间上的各组的偶数象素列和各组的奇数象素列上求和，生成第2评价值。
然后，在步骤S53中，对于上述第1评价值与第2评价值进行比较，作为此比较的结果，若第2评价值比第1评价值小，即奇数象素列与偶数象素列之间的象素值的相关值比奇数象素列之间及偶数象素列之间的象素值的相关值小的情况下，则在步骤S54中对上述原图象空间实施再取样处理，之后进行填补处理。即，将构成上述原图象空间的象素每隔一象素列地进行抽出，生成仅由构成奇数象素列的象素构成的第1小图象空间、和仅由构成偶数象素列的象素构成的第2小图象空间，然后，对各小图象空间实施象素值的填补处理。
另一方面，作为上述步骤S53比较的结果，若第2评价值不比第1评价值小的情况下，则在步骤55中，不对原图象空间实施再取样处理地、对原图象空间实施填补处理。再有，这里的填补处理与上述实施例1的步骤S13中实施的填补处理完全相同。
在这样构成的本实施例1的变形例2中，由于是对于相对于所输入数字图象信号的原图象空间，判定相邻象素列之间的象素值的相关值，根据此判定结果，选择是对于通过对原图象空间实施再取样处理所得到的小图象空间实施填补处理，还是对原图象空间实施直接填补处理，因此，能够按照所输入的数字图象信号的性质实施填补处理，可以回避对相邻象素列之间的象素值相关值低的原图象空间实施的填补处理，能够不引起编码效率劣化地、实施图象信号的编码处理或译码处理上的填补处理。
再有，在上述实施例1的变形例2中，示出了对原图象空间上的象素列之间的象素值相关值进行判定，将原图象空间分为由奇数象素列构成的小图象空间、和由偶数象素列构成的小图象空间的情况，然而，上述象素值的相关值也可以在原图象空间上的象素行之间进行判定。此情况也与上述实施例1的变形例2同样，通过求出2个评价值并对它们进行比较来进行判定，根据此判定结果，决定是否在填补处理之前对于原图象空间实施垂直方向的再取样处理，即，将原图象空间分为由奇数象素行构成的小图象空间(奇数场)、和由偶数象素行构成的小图象空间(偶数场)的处理。
另外，上述实施例1的变形例2中，说明了每隔一象素列(或一象素行)将原图象空间上的象素抽出，对抽出的象素列(或象素行)之间的样值的相关值进行比较的情况，然而，也可以一般地将原图象空间的象素沿其垂直方向(或水平方向)每隔N(N=1,2,3,…)个象素进行抽出，求出该抽出的象素之间的象素值相关值，生成多个评价值，根据这些评价值的大小关系，决定是否在填补处理之前实施垂直方向(或水平方向)的每隔N个象素的再取样处理。
另外，根据从原图象空间抽出的象素的样值来计算评价值时所使用的函数，并不限于上述的将样值的差分的绝对值之和作为评价值，也可以使用其他的函数，另外，也可以仅根据有意义的取样来计算评价值。
实施例1的变形例3图6为根据本发明实施例1的变形例3的数字图象填补方法的说明图，图中示出了上述填补方法的图象处理流程。
本发明实施例1的变形例3的数字图象填补方法如图6所示，含有如下步骤步骤S62，对于由取样输入数字图象信号形成的原图象空间，就其相邻扫描线(象素行)之间的象素值的相关值的大小进行评价；步骤S63，根据上述评价结果，对于上述原图象空间上场的象素值相关值的大小进行判定；步骤S64，对原图象空间实施再取样处理，形成奇数场所对应的小图象空间和偶数场所对应的小图象空间，在各小图象空间，即以场单位实施填补处理；步骤S65，对于原图象空间以帧单位实施填补处理。
接着，对作用和效果进行说明。
在此实施例1的变形例3填补方法中，在步骤S61中，形成规定的原图象空间的数字图象信号被输入，该原图象空间的象素呈矩阵状排列。这里，数字图象信号取作与隔行扫描图象相对应的、形成如图2所示图象空间301的信号。
接着，在步骤62中，求出上述原图象空间上的扫描线之间的象素值相关值。即，利用图5中说明过的方法，生成表示上述原图象空间上的奇数线与偶数线之间的象素值相关值的第1评价值，与此同时，生成表示上述原图象空间上的奇数线之间及偶数线之间的象素值相关值的第2评价值。
接着，在步骤S63中，通过对第1评价值和第2评价值的比较，判定场的象素值相关值是否大于帧的象素值相关值。
作为此比较的结果，若第2评价值比第1评价值小，即场的象素值相关值大于帧的象素值相关值时，则在步骤S64中，以场单位实施对于由数字图象信号形成的原图象空间的填补处理。即，生成仅由奇数线构成的小图象空间和仅由偶数线构成的小图象空间，以各小图象空间(场)为单位，实施填补处理。另一方面，在第2评价值不比第1评价值小的情况下，则在步骤65中，以帧单位、即以奇数线和偶数线合并的状态对于原图象空间实施填补处理。
图7为用来对图2的原图象空间301的场单位填补处理进行说明的说明图，图7(a)表示上述原图象空间301上对应于奇数场的小图象空间701、及对于该小图象空间701实施填补处理所得到的小图象空间703，图7(b)表示上述原图象空间301上对应于偶数场的小图象空间702、及对于该小图象空间702实施填补处理所得到的小图象空间704。
从图7可以看出，能够不引入高频成分地对于上述小图象空间701、702实施填补处理。
如上所述，本实施例1的变形例3中，判定对输入的数字图象信号所对应的原图象空间以场单位进行填补，还是以帧单位进行填补，以两者之一的单位对原图象空间实施了象素值的填补处理，因此，能够不引起隔行扫描图象所对应图象信号的编码效率劣化地实施对于隔行扫描图象的填补处理。
实施例2图8是对根据实施例2的数字图象填补方法进行说明的模式图，它示出了由作为填补对象的数字图象信号形成的原图象空间、和对于此原图象空间实施填补处理所得到已实施填补空间。
本实施例2的数字图象填补方法，含有将上述实施例1的数字图象填补方法中实施再取样的步骤S12及实施填补处理的步骤S13取代，对数字图象信号所对应的原图象空间801实施直接填补处理，即，将原图象空间801上的无意义象素的样值、基于规定的规则、用由有意义象素的样值得到的填补值来进行填补处理的步骤。这里，作为上述填补值的生成所用的有意义象素，使用上述原图象空间中的相对于无意义象素在水平方向相邻、在垂直方向隔一个象素而相邻的象素。
即，本实施例2的数字图象填补方法，具有沿水平方向顺序地进行无意义象素的样值的置换的第1置换步骤S21(图8(a))，和沿垂直方向顺序地进行无意义象素的样值的置换的第2置换步骤S22(图8(b))。在此第2置换步骤S22中，将由上述第1置换步骤S21得到的图象空间801a上的无意义象素的样值、用与含有该无意义象素的象素行相隔一个象素行相邻的象素行的象素的样值来进行替换。
接着，对作用即效果进行说明。
由于上述原图象空间801的奇数行(象素行)与偶数行(象素列)之间的象素值相关值低，不用说，象上述的实施例1所示那样，将上述原图象空间801分为由奇数行构成的小图象空间和由偶数行构成的小图象空间，对于各小图象空间分别实施填补处理的方法是有效的，然而，对于形成此种奇数行之间以及偶数行之间的象素值相关值大的原图象空间的图象信号来说，对于作为填补对象的象素，即原图象空间上的无意义象素，使用处于垂直方向仅离开一个象素间隔(处在隔一个象素相邻位置上的两个象素之间的间隔)之处的有意义象素的样值进行填补的方法也是有效的。
因此，在本实施例2的数字图象填补方法中，首先，如(图8(a))所示，对于沿水平方向排列的无意义象素，从该原图象空间801的内侧的象素开始，顺序地将上述原图象空间801上的无意义象素的样值、用与其相邻的有意义象素的样值来进行置换处理(第1置换步骤S21)。
接着，如(图8(b))所示，将上述由第1置换步骤S21得到的图象空间801a上的象素行812的无意义象素的样值、用与上述象素行812隔着象素行813相邻的象素行814上的象素的样值来进行置换，上述图象空间801a上的象素行811的无意义象素的样值、用与上述象素行811隔着象素行812相邻的象素行813上的象素的样值来进行置换(第2置换步骤S21)。
在本实施例2的数字图象填补方法中，可以得到与上述实施例1所示的、对于与输入数字图象信号相对应的原图象空间实施再取样处理，对由此得到的图象空间实施填补处理的数字图象填补方法同样的填补效果。即，上述数字图象信号即使是对应于隔行扫描图象的信号，也能够回避因上述处理对原图象空间所对应的数字图象信号中高频成分的引入，进而，具有能够一边抑制因填补处理带来的编码效率降低，一边高编码效率地实施对于隔行扫描图象等的差分编码处理或差分译码处理的效果。
此外，在上述实施例2中，在针对无意义象素的样值的第2置换步骤S22中，示出了将从该无意义象素在垂直方向仅离开一个取样间隔的有意义象素的样值作为填补象素值使用的情况，然而，作为填补象素值所用的样值并不局限于此，在对于无意义象素的样值的填补处理上，一般来说，可以使用在垂直方向上仅离开该无意义象素N个取样间隔的有意义象素的样值。
另外，在本实施例2中，在水平方向上顺序实施了无意义象素的样值的置换之后，沿垂直方向每隔一个象素地实施了无意义象素的样值的置换，然而，也可以在垂直方向上顺序实施了无意义象素的样值的置换之后，沿水平方向每隔一个象素地实施了无意义象素的样值的置换。此时，能够实施对于具有条纹图样的逐行扫描图象有效的填补处理。
以下，作为本发明实施例3，对于使用上述的本发明的数字图象填补方法的图象编码装置进行说明，另外，作为本发明实施例4，对于使用上述的本发明的数字图象填补方法的图象译码装置进行说明。
实施例3图9是用来对根据本发明实施例3的作为图象处理装置的图象编码装置进行说明的方框图，图9(a)所示为该图象编码装置的整体构成图，图9(b)为构成该图象编码装置的填补处理装置的构成图。
本实施例3的图象编码装置100a具有组块器101，它将输入端子101a上所输入的输入数字图象信号Sg与作为编码处理的单位的、由16×16的象素构成的块相对应地进行分割，将图象信号(以下也称为组块图象信号)Bg进行输出；隔行扫描检测器104，它根据上述组块器101的输出Bg，对上述数字图象信号Sg所对应的图象是隔行扫描图象，还是逐行扫描图象进行识别，输出相应于此识别结果的取样标识符Di；预测处理装置120a，它生成对应于成为编码处理对象的对象块的预测图象信号Prg。
另外，上述图象编码装置100a还具有减法器102，它将上述对象块的图象信号Bg与其预测图象信号Prg的差分作为差分信号(预测误差信号)Dg进行输出；信息压缩器110，它对于该减法器102的输出Dg根据上述取样标识符Di实施信息压缩处理，将压缩差分信号Qg输出；可变长编码器(VLC)103，它对于该信息压缩器110的输出Qg实施可变长编码处理，输出图象编码信号Eg。
这里，上述信息压缩器110在构成上具有象素排列替换器113，它对于对象块的差分信号Dg，根据上述取样标识符Di，对构成由该差分信号Dg形成的差分图象空间的象素进行排列替换；DCT器111，它对于此象素排列替换器113的输出Pdg实施离散余弦变换处理；量化器112，它对于上述DCT器111的输出Tg进行量化，将量化系数作为上述压缩差分信号Qg输出。
这里，离散余弦变换处理是将上述由16×16的象素构成的块分割为4个由8×8的象素构成的子块，以子块为单位实施的。此时，在上述排列替换处理被实施的情况下，如图10(c)所示那样，将块250c分割为子块251～254，在上述排列替换处理未被实施的情况下，如图10(b)所示那样，将块250b分割为子块255～258。
然后，上述象素排列替换器113如图10(a)所示那样，通过根据上述取样标识符Di，对于与差分信号Dg对应的图象空间250的象素进行排列替换处理，生成已排列替换图象空间250a。在此已排列替换图象空间250a中，其16×8的象素构成的上部区域250a1由与差分信号Dg所对应的图象空间250的奇数象素行上的象素构成，其16×8的象素构成的下部区域250a2由与差分信号Dg所对应的图象空间250的偶数象素行上的象素构成。
另外，上述预测处理装置120a具有信息扩展器130，对上述信息压缩器110的输出Qg实施信息扩展，输出扩展差分信号ITg；加法器123，将上述扩展差分信号ITg与上述预测图象信号Prg进行求和，输出复原图象信号Lrg。
这里，上述信息扩展器130由如下构成逆量化器121，对上述信息压缩器110的输出Qg进行逆量化变换；IDCT器122，对于逆量化器121的输出IQg，实施将频域的数据变换为空间区域的数据的反DCT处理，输出上述扩展差分信号ITg。
另外，上述预测处理装置120a具有填补处理器150，它对于来自上述加法器123的复原图象信号Lrg实施根据上述取样标识符Di的填补处理；预测信号生成部140，它由上述实施了填补处理的已填补复原图象信号Pag生成预测图象信号Prg。
这里，该预测信号生成部140具有帧存储器124，对上述填补处理器150的输出Pag进行存储；移动检测器(ME)125，根据上述帧存储器124中存储的图象数据Mg、对象块的图象信号Bg、及上述取样标识符Di，求出对应于对象块的移动向量MV，并进行输出；移动补偿器(MC)126，根据上述移动检测器125输出的移动向量MV，产生上述帧存储器124的地址Add1，将对应于该地址Add1的存储区域的图象信号作为上述预测图象信号Prg进行输出。
此外，上述移动检测器125根据上述取样标识符Di生成对应于帧的移动向量和对应于场的移动向量。此移动向量MV及取样标识符Di在上述可变长编码器103中，与上述压缩差分信号Qg一起被实施可变长编码。
另外，上述填补处理器150如图9(b)所示，具有帧填补器128a，对于上述加法器123输出的信号Lrg以帧单位实施填补处理；场填补器128b，对于上述加法器123输出的复原图象信号Lrg以场单位实施填补处理；前级开关127a，它设置于这些填补器的前级，根据上述取样标识符Di，将上述加法器123输出的复原图象信号Lrg提供给上述两个填补器其中一方的填补器；后级开关127b，它设置于上述两个填补器的后级，根据上述取样标识符Di，对上述两个填补器的输出Pa1及Pa2其中一方进行选择；图象排列替换器129，它接受上述作为后级开关127b的选择信号SPa的已填补复原信号，对于由此已填补复原信号形成的图象空间实施象素的排列替换处理。
这里，上述帧填补器128a如图10(b)所示，对于复原图象信号Lrg实施填补处理，使上述复原图象信号所对应的图象空间(16×16象素)250b上的4个子块(8×8象素)255～258合成为一。另外，上述场填补器128b如图10(c)所示，对于上述复原图象信号Lrg实施填补处理，使上述复原图象信号所对应的图象空间250c的上部区域250c1上的、构成第1场的线所形成的子块251及252合成为一，并且，使上述复原图象信号所对应的图象空间250c的下部区域250c2上的、构成第2场的线所形成的子块253及254合成为一。进一步，上述图象排列替换器129对于作为上述场填补器128b的输出的已填补复原图象信号所对应的图象空间250d的象素实施排列替换，使构成该图象空间250d的上部区域250d1的8个象素行、与构成下部区域250d2的8个象素行进行交叉排列，并将交叉排列的合成复原图象空间250e所对应的图象信号Pag输出。
接着，对于上述图象编码装置100a输出的图象编码信号的数据结构进行说明。图11为表示该图象编码信号(位流)的数据构造的模式图。
在此位流200中，一个画面所对应的位串F包括有图象同步信号203，表示编码串的开始位置；量化步进值204，表示编码时量化处理的量化宽度(量化步长)；数据D(1)、D(2)、D(3)、…、D(i)，各数据分别对应于由16×16象素组成的各块(宏块)M(1)、M(2)、M(3)、…、M(i)。
另外，各宏块所对应的数据D(1)、D(2)、D(3)分别由如下构成取样标识符205、208、211；可变长编码后的移动向量206、209、212；构成各宏块的、8×8象素形成的子块所对应的DCT系数207、210、213。
此外，图11中，214是上述画面F的下一个画面所对应的图象同步信号。
这里，图象同步信号203、214被设置在一画面图象所对应的位串的始端，跟着该图象同步信号203之后，继续有用于量化的步进值204、取样标识符205、移动向量206离散余弦变换(DCT)的系数207的压缩数据。图象同步信号203表示一幅图象200的压缩数据的始端，用一致的32位编码来表示。量化步进值204是对DCT系数进行逆量化所用的5位的参数。
接着，就动作进行说明。
当本图象编码装置100a输入了数字图象信号Sg时，该数字图象信号Sg在组块器101中对一个画面进行分区，与由16×16象素组成的图象空间(块)相对应，进行组块并输出。然后，在减法器102中，将此组块图象信号Bg与预测处理装置120a输出的预测图象信号Bg之间的差分作为差分信号(预测误差信号)Dg供给信息压缩器110。此时，在上述隔行扫描检测器104中，根据各块的图象信号(组块图象信号)Bg，对于输入图象是否是隔行扫描图象进行识别，将根据此识别结果的取样标识符Di输出。
上述差分信号Dg供给到信息压缩器110，在象素排列替换器113中，对应于上述取样标识符Di，实施对于该差分信号Dg的排列替换处理。即，上述数字图象信号如是与隔行扫描图象所对应的信号，该差分信号Dg实施排列替换处理并向DCT器111输出，上述数字图象信号如是与逐行扫描图象所对应的信号，该差分信号Dg则不实施排列替换处理，直接向DCT器111输出。然后，在DCT器111中，对于上述图象排列替换器113输出的Pdg实施离散余弦变换处理。具体上，对于与隔行扫描图象相对应的块，如图10(c)所示那样，将其分割为子块，另一方面，对于与逐行扫描图象相对应的块，如图10(b)所示那样，将其分割为子块，以各个子块为单位对上述Pdg实施DCT处理。此DCT器111的输出Tg在其后级的量化器112中，以规定的量化步长被实施量化，作为与上述差分信号对应的量化系数Qg向可变长编码器103和信息扩展器130输出。
在信息扩展器130中，对象块的压缩差分信号Qg被扩展，变换为扩展差分信号ITg。具体上，在本实施例中，在逆量化器121中，上述压缩差分信号Qg被实施逆量化，进一步，在反离散余弦变换器(IDCT)122中，对于逆量化器(原文误为量化器——译者注)121的输出IQg，实施将频率范围的信号变换为空间区域信号的反频率变换处理。
此扩展差分信号ITg在上述加法器123中，与上述预测图象信号Prg相求和，从该加法器123向上述填补处理装置150输出复原图象信号Lrg。
在此填补处理装置150中，上述复原图象信号Lrg通过开关127a，输出给帧填补器128a和场填补器128b的其中一方。此时，前级开关127a由上述取样标识符Di来进行切换控制，在取样标识符Di为1、即场内的相关值高的时候，上述复原图象信号Lrg通过开关127a，输出给场填补器128b，实施场内填补处理。具体上，对于上述复原图象信号实施填补处理，如图10(c)所示那样，将复原图象空间250c上构成第1场的线所形成的子块251和252合成为一，而且，将复原图象空间250c上构成第2场的线所形成的子块253和254合成为一。
另一方面，在取样标识符Di为0，即，帧内的相关值高的时候，上述复原图象信号Lrg通过开关127a，输出给帧填补器128a，实施帧内填补处理。具体上，对于上述复原图象信号实施填补处理，如图10(b)所示那样，将构成块250b的子块255～258合成为一。
经这样实施了填补处理的填补复原图象信号Pa1、Pa2通过后级开关127b被送到象素排列替换器129。在此象素排列替换器129中，根据上述取样标识符Di，对于以场单位填补的宏块250d，将构成第1场的象素与构成第2场的象素进行排列替换，成为与隔行扫描图象相对应的象素排列。即，图10(d)所示的复原图象空间250d上的象素被实施排列替换，使构成其上部区域250d1的象素行、与构成其下部区域250d2的象素行交叉地设置，得到形成图象空间250e的图象信号，该图象空间250e具有与由上述差分信号Dg形成的图象空间相同的象素排列。另一方面，对于以帧单位填补的块，在上述排列替换器129中实施象素的排列替换处理。
经这样实施了排列替换处理的填补复原图象信号Pag被存储在预测信号生成部140的帧存储器124中。
这时，在上述预测信号生成部140中，上述对象块的图象信号Bg被输入到移动检测器125中，同时，从帧存储器124将填补复原图象信号Pag作为已实施了编码处理的前帧的图象信号向移动检测器125读出。
在此移动检测器125中，利用块匹配等方法，将具有相对于对象块的图象信号Bg的误差为最小的图象信号的、前帧的区域作为检测区域被检测、并将表示该预测区域的位置的移动变位信息(移动向量)MV输出。此移动向量MV被送到移动补偿器126，在该移动补偿器126中，由该移动向量生成帧存储器124的地址Add1，根据此地址Add1前帧的预测区域所对应的图象信号被作为预测图象信号Prg读出。
进一步，此时，相对于上述对象块的移动向量MV、取样标识符Di、以及差分编码信号Qg被提供给可变长编码器103，被变换为对应的可变长编码，作为图象编码信号Eg由输出端子101b输出。
在如上所述的实施例3中，在预测处理装置120b中，由于是根据数字图象信号的状态，即根据数字图象信号是对应于隔行扫描图象和逐行扫描图象之中的哪一个来实施填补处理的，因此，能够以高的编码效率来实施对于隔行扫描图象的差分编码处理。
接着，就本实施例3的变形例进行说明。
实施例3的变形例1图12为用来对根据本发明实施例3的变形例1的图象编码装置进行说明的方框图。
本实施例3的变形例1的图象编码装置100b仅其预测处理装置120b与上述实施例3的图象编码装置100a在构成上不同。此图象编码装置100b的预测处理装置120b在构成上具有取代了上述实施例1中预测处理装置120a的填补处理器150的合并处理器151，它对于作为加法器123的输出的复原图象信号Lrg，实施其图象空间上的象素排列替换的合并处理；填补处理器150b，它对上述合并处理器151的输出Mrg进行填补。
这里，上述合并处理器151如图10(d)所示那样，实施象素的排列替换，使由构成图象空间250d的上部区域250d1的象素行、与构成其下部区域250d2的象素行进行交叉排列。另外，此填补处理器150b由上述实施例3的填补处理器150上的前级及后级开关127a、127b、帧存储器128a及场存储器128b构成，上述场存储器128b在构成上是利用上述实施例2的数字图象填补方法来实施填补处理的。此外，其他的构成与上述实施例3完全相同。
此种构成的实施例3的变形例1也具有与实施例3相同的效果。
实施例3的变形例2图13为用来对根据本发明实施例3的变形例2的图象编码装置进行说明的说明图，图13(a)所示为该图象编码装置的整体构成图，图13(b)为该图象编码装置上构成信息压缩器110c的填补处理器150c的构成示意图。
此实施例3的变形例2的图象编码装置100c仅其信息压缩器110c与上述实施例3的图象编码装置100a在构成上不同。此图象编码装置100c的信息压缩器110c在上述实施例3的信息压缩器110上的象素排列替换器113与其后级DCT器111的中间，设置了对于该象素排列替换器113的输出PDg实施填补处理的填补处理器150c。
这里，上述填补处理器150c设置有帧填补器158a，对于上述排列替换器113输出的PDg以帧单位实施填补处理；场填补器158b，对于上述排列替换器113输出的PDg以场单位实施填补处理；前级开关157a，它设置于这些填补器的前级，根据上述取样标识符Di，将上述象素排列替换器113输出的PDg提供给上述两个填补器中的一方；后级开关157b，它设置于上述两个填补器的后级，根据上述取样标识符Di，对上述两个填补器的输出PDg1与PDg2中的一方进行选择。此外，在构成上，上述帧填补器158a及场填补器158b与上述实施例3上的填补器128a及场填补器128b实施完全相同的填补处理。另外，其他的构成与上述实施例3完全相同。
在如上所述的实施例3的变形例2中，由于实施了填补处理的差分信号被供给到DCT器111，因此，能够在上述实施例3的效果的基础上，具有提高DCT处理效率的效果。
实施例4图14为用来对根据本发明实施例4的图象译码装置进行说明的方框图。
本实施例4的图象译码装置900a在构成上是接受作为对图象信号进行压缩编码得到的图象编码信号Eg、例如图11所示数据构造的位串200，对于该图象编码信号Eg实施译码处理。
即，此图象译码装置900a具有
数据解析器902，它接受作为译码处理对象的对象区域(对象块)所对应的差分编码信号Eg，对该差分编码信号Eg进行解析，实施可变长译码；信息扩展器903，对于上述数据解析器902的输出AEg实施扩展处理，将扩展差分信号Deg输出；加法器906，对上述信息扩展器903的输出Deg与对象块所对应的预测图象信号Pg2进行求和；解块器907，将作为上述加法器906输出的PEg的各块所对应的图象重放信号进行综合，并将扫描线构造的图象输出信号REg输出；预测处理装置910a，生成上述预测图象信号Pg2。
这里，上述信息扩展器903在构成上，具有逆量化器904，对于上述数据解析器902的输出AEg实施实施逆量化处理；IDCT变换器905，对于上述逆量化器904的输出DEg1，实施作为一种反频率变换处理的IDCT(反离散余弦变换)处理，并将扩展差分信号DEg输出。
另外，上述预测处理装置901a具有填补处理器920a，对于上述加法器906的输出PEg实施填补处理；帧存储器909，将上述填补处理器920a的输出Pa作为图象重放信号进行存储；移动补偿器911，用于根据该帧存储器909的输出Rg2、和在上述数据解析器902被编码的对象块所对应的移动向量MV，来产生该帧存储器909的地址Add2，根据此地址Add2，从上述帧存储器909存储的数据Rg2中，将对象块所对应的预测图象信号Pg2读出。
这里，上述填补处理器920a在构成上，具有帧填补器921a，对于上述加法器906的输出PEg以帧单位实施填补处理；场填补器921b，对于上述求和的输出PEg以场单位实施填补处理；前级开关922，它设置于这些填补器的前级，根据来自数据解析器902的取样标识符Di，将上述加法器的输出PEg提供给上述两个填补器其中一方的填补器；后级开关923，它设置于上述两个填补器的后级，根据来自数据解析器的取样标识符，对上述两个填补器的输出Pa1及Pa2其中一方进行选择；图象排列替换器924，它对于上述作为后级开关923的选择信号Pas的填补图象信号，实施象素的排列替换处理。
此外，图中901a及901b分别是本图象译码装置900的输入端子及输出端子。
接着，对动作进行说明。
经压缩编码的图象编码信号Eg(例如图11所示的位流200)在输入端子901a被输入时，在数据解析器902中，这些图象编码信号通过解析被实施可变长译码。此被可变长译码的数据作为压缩了量化步长及DCT系数的差分压缩信号AEg，输出给信息扩展器903。另外，来自上述数据解析器902的移动向量MV和取样标识符Di被输出给预测处理装置910a。
这时，在上述信息扩展部903中，压缩差分信号通过扩展处理，作为与对象块相对应的扩展差分信号被复原。具体上，在本实施例中，在逆量化器904中，上述压缩差分信号被实施逆量化处理，进一步，在反离散余弦变换器IDCT905中，对于量化器904的输出DEg1，实施将频率范围的信号变换为空间区域的信号的逆频率变换处理。
另外，在移动补偿器911中，根据来自数据解析器902的移动向量MV，生成对帧存储器进行存取所需的地址Add2，从帧存储器909中存储的图象重放信号中将对象块所对应的预测图象信号Pg2抽出。在上述加法器906中，将信息扩展器903的输出Deg与此预测图象信号Pg2求和，输出与对象块相对应的图象重放信号Peg。
此图象重放信号在提供给解块器907的同时，还供给到预测处理装置910a。
在上述解块器907中，上述重放块信号被进行综合，变换为扫描线构造的图象重放信号。
另外，在上述预测处理装置910a中，上述图象重放信号PEg通过开关922供给到帧填补器921a和场填补器921b的其中一方。此时，上述的前级开关922由来自数据解析器902的取样标识符Di进行切换控制，如上所述，取样标识符的值为1、场内的象素相关值高的时候，上述图象重放信号PEg通过开关922供给到场填补器921b，实施场内填补处理。
具体上，对于上述图象重放信号PEg实施填补处理，如图10(c)所示那样，例如，将图象重放信号PEg所对应的图象空间250c上构成第1场的线所形成的子块251和252合成为一，而且，将复原图象空间250c上构成第2场的线所形成的子块253和254合成为一。
另一方面，在取样标识符Di为0，帧内的相关值高的时候，上述图象重放信号PEg通过开关922，输出给帧填补器921a，实施帧内填补处理。具体上，对于图象重放信号PEg实施填补处理，如图10(b)所示那样，例如，将对应于图象重放信号PEg的图象空间250b的子块255～258合成为一。
经这样实施了填补处理的图象重放信号Pas，通过后级开关923被送到象素排列替换器924。在此象素排列替换器924中，对于以场单位填补的块，将构成第1场的象素与构成第2场的象素进行排列替换，成为与隔行扫描图象相对应的象素排列。例如，在此象素排列替换器924中，上述图象重放信号Pas被变换为与图象空间250e对应的图象重放信号，该图象重放信号是将构成与上述图象重放信号Pas对应的图象空间250d(参照图10(d))的上部区域250d1的行、与构成其下部区域250d2的行各个交叉地排列而得到的。另一方面，对于以帧单位实施了填补的块，在上述排列替换器924中实施象素的排列替换处理。经这样实施了排列替换处理的填补复原图象信号Pa被存储在帧存储器909中。
再有，上述实施例4中，对于与隔行扫描图象对应的图象重放信号PEg，形成如图10(d)所示的图象空间250d那样，其上部区域250d1由奇数行形成、其下部区域由偶数行形成的图象空间的情况进行了说明，然而，在图象重放信号PEg以场1和场2合并的形式输出的情况下、即，隔行扫描图象所对应的图象重放信号PEg形成如图10(a)所示的图象空间250那样的、奇数行和偶数行交叉排列的图象空间的信号的情况下，需要对场填补器921b的组装方法进行变更。即，该场填补器921b在构成上，需要在实施填补处理之前，对图象重放信号PEg实施象素排列替换处理，以使其图象空间变换成为如图10(d)所示的图象空间250d那样的、其上部区域由场1形成、其下部区域由场2形成的图象空间。
另外，如上所述，在图象重放信号PEg以场1和场2合并的形式输出的情况下，在场填补器921b中，也可以在为了使构成1帧的奇数行和偶数行分别集中在图象空间的上部区域和下部区域、而实施了象素排列替换之后，并不是每场都实施填补处理，而是象实施例2的填补方法那样，不实施这种象素排列替换处理，对于相当于一帧的图象信号，将被填补象素(无意义象素)的样值，用离开该无意义象素一个取样间隔的有意义象素的样值进行填补。
进一步，在上述实施例4中，对于场填补器的输出实施了排列替换处理，然而，在将场填补器的输出直接存储在帧存储器的情况下、即无需进行象素的排列替换的情况下，也可以将象素排列替换器924省略。
另外，在上述实施例4中，是将通过DCT处理压缩了的图象编码信号作为输入的，然而，输入的编码信号也可以是其他波形编码方法，例如，用子波、分维图形(夫拉克泰尔图形)等编码的图象编码信号，此情况下，同上述实施例4一样，能够根据场内的象素值相关值的大小，实施对场填补处理和帧填补处理的切换处理。
再有，在上述位流200中，每个块都设有取样标识符，然而，也可以对于一个物体的图象信号，让全部的块共用相同的取样标识符。此时，对于上述图象信号，从波形变换效率的观点出发，需要事先将其分为场1和场2，然后进行组块及编码。
另外，在象上述的将取样标识符让全部的块共用的情况下，也可以一个图象只设一个取样标识符，将其设置于图象编码信号的始端处。此情况下，不用说，同一取样标识符适用于全部的块。
实施例4的变形例1图15为用来对根据本发明实施例4的变形例1的图象译码装置进行说明的方框图。
本实施例的图象译码装置900b基本构成及动作与图14所示的实施例4的图象译码装置900a相同。
只是，此图象译码装置900b取代了上述实施例4的图象译码装置900a中的预测处理装置910a，设有与其不同构成的预测处理装置910b。
在此预测处理装置910b中，其构成上，是将填补处理器920设置于移动补偿器911与加法器906之间，对于根据移动补偿器所得到的预测图象信号Pg2实施填补处理，并提供给加法器906。这里，上述填补处理器920b具有帧存储器921a及场存储器921b；前级开关922，它根据取样标识符Di将来自移动补偿器911的预测图象信号Pg2提供给上述两个存储器其中一方；后级开关923，它根据取样标识符Di进行选择，将上述两个存储器的输出的其中一方提供给加法器906。
接着，对作用及效果进行说明。
对于隔行扫描图象，可以以场单位和帧单位进行移动补偿。在以帧单位进行补偿的情况下，从一帧中取得预测图象信号，而在以场单位进行补偿的情况下，则是分别从第1场和第2场取得预测图象信号。
本实施例4的变形例1的图象译码装置900b对于这种以场单位进行补偿的情况是有效的，在此图象译码装置900b中，根据来自数据解析器902的取样标识符Di前级开关922被切换，移动补偿器911的输出被输入给帧存储器921a及场存储器921b其中的一方。然后，上述预测图象信号在各自的填补器中被实施填补处理，并被提供到加法器906。
另外，在本实施例的变形例1中，为了对从帧存储器909抽出的预测图象信号实施填补处理，能够使得在预测处理装置中的填补处理、与对于帧存储器909中所存储的全部图象重放信号实施填补处理的情况相比，为小的信号处理量。
实施例4的变形例2图16为用来对根据本发明实施例4的变形例2的图象译码装置进行说明的方框图。本实施例4的变形例2的图象译码装置900c是将本实施例4的图象译码装置900a的构成、与其变形例1的图象译码装置900b的构成进行组合而成的。换言之，此图象译码装置900c是在具有上述实施例4的图象译码装置900a中的填补处理器920a的预测处理装置910a的构成基础上，在移动补偿器911的后级设置了辅助填补处理器(第2填补处理器)920c2，并将此辅助填补处理器920c2的输出送给上述加法器906。再有，这里，将上述实施例4中的填补处理器920a作为第1填补处理器920c1，另外，上述第2填补处理器920c2与上述实施例4的变形例1中的填补处理器920b在构成上完全相同。
在这样构成的实施例4的变形例2中，能够在第1填补处理器920c1和第2填补处理器920c2之间对填补处理进行分担，可以进一步高效率地实施在预测处理装置的填补处理。
再有，实现上述各实施例所示的数字图象填补方法及图象处理装置的构成所需的程序、被存储在软盘等数据存储媒体上，由此，能够在独立的电子计算机系统中简单地实施在上述各实施例中所表示的处理。
图17是用于对使用存储了上述图象处理所对应的程序的软盘，由计算机系统来实现根据上述各实施例的数字填补方法的图象处理、或利用上述图象处理装置进行的图象编码处理或图象译码处理进行说明的说明图。
图17(b)表示了表示了软盘FD从正面看时的外观、断面的构造、及作为记录媒体的软盘主体，图17(a)表示了软盘主体D的物理格式化的例子，软盘主体D被设置在外壳F内，该软盘主体D的表面上，从同心圆外圆开始向着内圆形成多条磁道Tr，各磁道在转角的方向上被分割为16个区段Se。因此，在存储了上述程序的软盘本体D上，作为上述程序的数据被记录在上述程序的软盘本体D上的被分配的区域上。
另外，图17(c)表示对软盘FD实施上述程序的记录重放的构成。在将上述程序向软盘FD进行记录时，从计算机系统Cs通过软盘驱动器FDD将上述作为程序的数据向软盘FD写入。另外，利用软盘FD中的程序将上述译码方法向计算机系统Cs进行安装时，利用软盘驱动器FDD将程序从软盘FD读出，传送给计算机系统Cs。
再有，在上述说明中，对于由使用了作为数据记录媒体的软盘的计算机系统来进行图象处理的情况进行了说明，然而，也可以使用光盘同样地进行此图象处理。另外，记录媒体并不限于此，例如IC卡、ROM盒式磁带等，只要能够记录程序，都能够同样地实施上述图象处理。
以上所述的关于本发明的数字图象填补方法、图象处理装置、以及数据记录媒体，能够谋求在图象信号的压缩处理上的编码效率的提高，对于实现在实施图象信号传送及存储的系统上的图象编码处理及图象译码处理，是极其有用的，尤其适合于依据MPEG4等规格的动画图象的压缩、扩展处理。
权利要求
1．一种数字图象填补方法，该方法是一种对形成原图象空间的数字图象信号实施象素值的填补处理的方法，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，该方法的特征在于包括按照规定的规则将构成上述原图象空间的多个象素进行分组而形成多个由同一组的象素构成的小图象空间的象素排列替换处理、和将各小图象空间的无意义象素的图象值用规定的方法生成的填补象素值来进行置换的象素填补处理。
2．如权利要求1所记载的数字图象填补方法，其特征在于在上述排列替换处理中，是以从第1个到第(N+1)个的象素作为取样开始象素，将构成上述原图象空间的象素沿规定的方向每隔N(N为正整数)个象素进行抽出的取样处理进行(N+1)次，形成(N+1)个由一次取样处理所得到的规定数的象素所构成的小图象空间。
3．如权利要求2所记载的数字图象填补方法，其特征在于作为置换第n(n=1,2，…,N+1)个小图象空间上的无意义象素的象素值的填补象素值，使用基于上述第n个小图象空间上的有意义象素的象素值计算而得到的计算值。
4．如权利要求2所记载的数字图象填补方法，其特征在于为使这些象素形成与上述原图象空间相同象素排列的复原图象空间，按照与上述分组时规定的规则所对应的规则，对构成上述实施填补处理的所有小图象空间的多个象素实施排列替换的图象空间复原处理。
5．如权利要求4所记载的数字图象填补方法，其特征在于作为置换第n(n=1,2,…,N+1)个小图象空间上的无意义象素的象素值的填补象素值，使用基于上述第n个小图象空间上的有意义象素的象素值计算而得到的计算值。
6．如权利要求1所记载的数字图象填补方法，其特征在于在上述排列替换处理中，是以从第1个及第2个的象素行作为取样开始象素行，将上述原图象空间的象素沿原图象空间的垂直方向每隔1个象素行进行抽出的连续取样处理进行2次，生成利用第1个及第2个的取样处理分别得到的、由规定象素构成的第1及第2小图象空间。
7．一种数字图象填补方法，该方法是一种对形成原图象空间的数字图象信号实施象素值的填补处理的方法，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，其特征在于此方法是将上述原图象空间分割为仅由该原图象空间上的奇数象素行上的象素构成的第1小图象空间，和仅由该原图象空间上的偶数象素行上的象素构成的第2小图象空间，使用上述第1小图象空间上的有意义象素的象素值生成第1填补象素值，在同该第1小图象空间上的无意义象素的象素值进行置换的同时，使用上述第2小图象空间上的有意义象素的象素值生成第2填补象素值，将该第2小图象空间上的无意义象素的象素值用第2填补象素值来进行置换。
8．一种数字图象填补方法，该方法是一种对形成原图象空间的数字图象信号实施填补处理的方法，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，该填补处理是由用该原图象空间上的有意义象素的象素值决定的填补象素值，对该原图象空间上的无意义象素的象素值进行置换，其特征在于把在上述填补象素值的决定上其象素值被使用的有意义象素，当作与作为上述填补对象的无意义象素相邻的象素以外的象素。
9．如权利要求8所记载的数字图象填补方法，其特征在于将在上述填补象素值的决定上其象素值被使用的有意义象素，当作与作为上述填补对象的无意义象素在垂直方向上相隔一个象素而相邻的象素。
10．一种图象处理装置，该装置是一种实行图象编码的装置，它包括相关识别装置，它对构成数字图象信号的象素值的相关进行识别，并将该识别结果所对应的取样标识符输出；编码处理装置，它根据上述取样标识符来实施使用了相对于数字图象信号的预测图象信号的差分编码处理，并将图象编码信号输出；预测处理装置，它根据对该图象编码信号进行局部译码所得到的图象译码信号来生成上述预测图象信号，其特片在于上述编码处理装置在构成中包括减法器，它将上述数字图象信号与预测图象信号的差分作为差分图象信号求出；信息压缩器，它将该差分图象信号进行压缩生成压缩差分信号；可变长编码器，它将该压缩差分信号进行可变长编码，上述预测处理装置在构成中包括信息扩展器，它将上述压缩差分信号扩展生成扩展差分信号；加法器，它将上述扩展差分信号与上述预测图象信号求和生成图象译码信号；填补装置，它相对于该图象译码信号，将利用该图象译码信号形成的图象空间上的象素进行排列替换，根据上述取样标识符，对该象素被排列替换的图象空间上的无意义象素的象素值，实施用由规定的方法生成的填补象素值进行置换的填补处理；预测图象信号生成装置，它基于上述取样标识符由被实施了填补处理的图象译码信号生成上述预测图象信号。
11．如权利要求10所记载的图象处理装置，其特征在于所述编码处理装置在构成上，具有填补装置，它是在上述差分图象信号上，对由此差分图象信号形成的图象空间的象素进行排列替换，根据上述取样标识符，实施把在该象素被排列替换的图象空间上的无意义象素的象素值用由规定的方法生成的填补象素值进行置换的填补处理；在上述信息压缩器中，通过实施了该填补处理的差分图象信号的信息压缩生成压缩差分信号。
12．一种图象处理装置，该装置是一种实行图象译码的装置，它包括重放处理装置，它使用对应于该数字图象信号的预测图象信号把对数字图象信号进行编码得到的图象编码信号进行重放并输出图象重放信号；预测处理装置，它根据该图象重放信号生成上述预测图象信号，其特征在于上述重放处理装置在构成中包括数据解析器，它通过上述图象编码信号的解析，从该图象编码信号中抽出取样标识符，该取样标识符表示与数字图象信号相对应的压缩差分信号、以及构成该数字图象信号的象素值的相关；信息扩展器，它将上述压缩差分信号扩展生成扩展差分信号；加法器，它将上述扩展差分信号与上述预测图象信号求和生成上述图象重放信号，上述预测处理装置在构成上是将上述图象重放信号及从该图象重放信号得到的预测图象信号的至少一者作为填补对象信号，相对于该填补对象信号，将由此填补对象信号形成的图象空间上的象素进行排列替换，根据上述取样标识符，实施把在该象素的被排列替换的图象空间上的无意义象素的象素值用由规定的方法生成的填补象素值进行置换的填补处理。
13．如权利要求12所记载的图象处理装置，其特征在于上述预测处理装置在构成中包括填补装置，它根据上述取样标识符，在帧单位或场单位中实施对于上述图象重放信号的填补处理；帧存储器，它存储利用该图象重放信号的填补处理所得到的填补重放信号，该帧存储器所存储的填补重放信号作为上述预测图象信号向上述重放处理装置进行输出。
14．如权利要求12所记载的图象处理装置，其特征在于上述预测处理装置在构成中包括帧存储器，它存储上述图象重放信号；填补装置，它根据上述取样标识符，在帧单位或场单位中实施对于从该帧存储器中存储的图象重放信号中抽出的预测图象信号的填补处理，将实施了填补装置的预测图象信号向上述重放处理装置输出。
15．一种数字图象译码装置，包括重放处理装置，它使用对应于该数字图象信号的预测图象信号把对数字图象信号进行编码得到的图象编码信号进行重放并输出图象重放信号；预测处理装置，它根据该图象重放信号生成上述预测图象信号，其特征在于上述重放处理装置在构成中包括数据解析器，它通过上述图象编码信号的解析，从该图象编码信号中抽出取样标识符，该取样标识符表示与数字图象信号相对应的压缩差分信号、以及构成该数字图象信号的象素值的相关；信息扩展器，它将上述压缩差分信号扩展生成扩展差分信号；加法器，它将上述扩展差分信号与上述预测图象信号求和生成上述图象重放信号，上述预测处理装置在构成中包括填补装置，它根据上述取样标识符，对于上述图象重放信号，实施把根据此图象重放信号形成的图象空间上的无意义象素的象素值、用至少是由与该无意义象素相邻的象素之外的有意义象素的象素值生成的填补象素值进行置换的填补处理；排列替换装置，它根据上述取样标识符，对于实施了填补处理的图象重放信号，对由此图象重放信号形成的图象空间上的象素实施排列替换处理。
16．一种数据记录媒体，该数据记录媒体是存储了程序的数据记录媒体，上述程序是为了让计算机实行对形成原图象空间的数字图象信号实施象素值的填补处理，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，其特征在于上述程序的构成是为了由计算机来实行根据方案1所记载的数字图象填补方法的象素值的填补处理。
17．一种数据记录媒体，该数据记录媒体是存储了程序的数据记录媒体，上述程序是为了让计算机实行对形成原图象空间的数字图象信号实施象素值的填补处理，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，其特征在于上述程序的构成是为了由计算机来实行根据方案7所记载的数字图象填补方法的象素值的填补处理。
18．一种数据记录媒体，该数据记录媒体是存储了程序的数据记录媒体，上述程序是为了让计算机实行对形成原图象空间的数字图象信号实施象素值的填补处理，该原图象空间由含有具有任意形状的图象的有意义象素和无意义象素构成，其特征在于上述程序的构成是为了由计算机来实行根据方案8所记载的数字图象填补方法的象素值的填补处理。
19．一种数据记录媒体，该数据记录媒体是存储了用于让计算机实行图象信号的编码处理程序的数据记录媒体，其特征在于上述程序的构成是为了由计算机来实行由方案10所记载的图象处理装置的数字图象信号的差分编码处理。
20．一种数据记录媒体，该数据记录媒体是存储了用于让计算机实行图象信号的译码处理程序的数据记录媒体，其特征在于上述程序的构成是为了由计算机来实行由方案12所记载的图象处理装置的数字图象信号的差分译码处理。
21．一种数据记录媒体，该数据记录媒体是存储了用于让计算机实行图象信号的译码处理程序的数据记录媒体，其特征在于上述程序的构成是为了由计算机来实行由方案15所记载的图象处理装置的数字图象信号的差分译码处理。
全文摘要
本发明的数字图象填补方法如图2所示将输入的数字图象信号所对应的原图象空间301上的象素,沿水平方向每隔一个象素、且沿垂直方向每隔一个象素地进行抽出,对于该抽出的多个象素进行排列替换,形成4个小图象空间401－404,对于这些小图象空间实施象素值的填补处理。在这样构成的数字图象填补方法中,能够不是以相邻扫描线之间的象素值相关值低的原图象空间,而是对于相邻扫描线之间的象素值相关值高的多个小图象空间来实行象素值的填补处理。即,实施了填补处理的小图象空间的上述象素值相关值变高。因此,例如,通过对于物体移动大的隔行扫描图象进行填补处理,能够回避该隔行扫描图象所对应的数字图象信号中高频成分的引入,而且,能够具有一边抑制因填补处理带来的编码效率降低,一边以高编码效率实施对于由隔行扫描图象等的差分编码处理或差分译码处理的效果。
文档编号H04N7/50GK1216199SQ98800085
公开日1999年5月5日 申请日期1998年1月27日 优先权日1997年1月30日
发明者文仲丞 申请人:松下电器产业株式会社