专利名称：图像处理设备、图像处理方法及为其提供的媒体的制作方法
本申请涉及第08/816,867号美国专利申请，该申请于1997年3月13日提交，它部分地转让给本发明的受让人，本申请还涉及第08/837,491号美国专利申请，该申请于1997年4月18日提交，它转给本发明的受让人，而所述相关的美国专利申请都通过参照被引入于此。
本发明涉及图像处理设备、图像处理方法和其记录媒体，本发明尤其涉及及图像处理设备、图像处理方法和其记录媒体，其中可以根据时间上连续的图像以象素为单位来估算运动。
作为根据运动画面估算指出图像运动(下面称的运动估算)的参数的方法，已知一种仪用最小预测偏差(residual)法则的方法，例如，块匹配方法，在使用最小预测偏差法则的运动估算方法中，由于把图像划分为由多个象素形成的块，并且运动估算以块为单位执行，故运动估算的空间分辨率较低，并且运动估算只能对于刚体执行，形成该刚体的部分平行地运动。结果，用这种方法不能对具有不均匀的运动分布的非刚体进行运动估算。
例如，在使用最小预测偏差法则的运动估算方法中，用块匹配方法，当实际运动超出搜索范围时，运动估算有较大误差，并出现较低耐久性。相应地，希望提供一种方法、设备和计算机程序，以在图像运动估算中提高空间分辨率，并确保耐久性。考虑了上述情况做出本发明。
本发明的一个目的是使用不偏置估算，通过非判决理论(non-decisiontyeory)方法提高运动估算的空间分辨率，并确保耐久性。
本发明的一个特点是通过使用不偏置估算，以象素为单位进行运动估算，由此提高运动估算的空间分辨率和耐久性。
根据本发明的一个方面，用于估算运动画面(该画面包含多个图像)的运动的方法包括下述步骤根据第k个图像和第(k+1)个图像估算相应于第k个图像的每一个象素的运动参数，以产生相应干第k个图像的一级运动分布图像，相应于第k个图像的一级运动分布图像由相应干第k个图像的象素的运动参数来表示；至少根据第(k+1)个图像估算相应于第(k+1)个图像的每一个象素的运动参数，以产生相应于第(k+1)个图像的一级运动分布图像，相应于第(k+1)个图像的一级运动分布图像的相应于第(k+1)个图像的象素的运动参数来表示；更新相应于第(k+1)个图像的一级运动分布图像，以产生相应于第(k+1)个图像的二极运动分布图像；根据相应于第(k+1)个图像的二极运动分布图像预测相应于第(k+1)个图像的三级运动分布图像；以及内插相应于第(k+2)个图像的三级运动分布图像，从产生相应于第(k+2)个图像的四级运动分布图像，这里k是整数，并且其中更新步骤用高于从第k个图像产生的一级运动分布的图像的运动分布图像，更新相应于第(k+1)个图像的一级运动分布图像。
根据本发明另一个方面，用于估算运动画面的移动的设备。(运动画面包括多个图像)包括估算装置，用于根据第k个图像和第(k+1)个图像估算相应于第k个图像的每一个像素的运动产物，以产生相应于第k个图像的一级运动分布图像，相应于第k个图像的一级运动分布图像的相应于第k个图像的素素的运动参数表示；估算装置，用于根据第(k+1)个图像估算相应于第(k+1)个图像的每一个像素的运动参数，以产生相应于第(k+1)个图像的一级运动分布图像，相应于第(k+1)个图像的一级运动分布图像由相应于第(k+1)个图像的象素的运动参数表示；更新装置，用于更新相应于第(k+1)个图像的一级运动分布图像，以产生相应于第(k+1)个图像的二级运动分布图像；预测装置，用于根据相应于第(k+1)个图像的二级运动分布图像预测相应于第(k+2)个图像的三级运动分布图像；及内插装置，用于内插相应于第(k+2)个图像的三级运动分布图像，从产生相应于第(k+2)个图像的四级运动分布图像，这里k是整数，并且其中更新装置用高于根据第k个图像产生的一级运动分布图像的运动分布图像，更新相应于第(k+1)个图像的一级运动分布图像。
根据本发明的另一个方面，用于估算运动画面运动画面包括多个图像的运动的设备包括用于估算的电路，根据第k个图像和第(k+1)个图像估算相应于第k个图像的每一个象素的运动参数，以产生相应于第k个图像的一级运动分布图像，相应于第k个图像的一级运动分布图像由相应于第k个图像的象素的运动参数表示；用于估算的电路，至少根据第(k+1)个图像估算相应于第(k+1)个图像的每一个象素的运动参数，以产生相应于第(k+1)个图像的一级运动分布图像、相应于第(k+1)个图像的一级运动分布图像、相应于第(k+1)个图像的一级运动分布图像电相应于第(k+1)个图像的象素的运动参数表示；用于更新的电路，更新相应于第(k+1)个图像的一级运动分配图像，从产生相应于第(k+1)个图像的二极运动分布图像；用于根据预测的电路相应于第(k+1)个图像的二极运动分布图像预测相应于第(k+2)个图像的三级运动分布图像；及用于内插的电路，内插相应于第(k+2)个图像的三级运动分布图像，从产生相应于第(k+2)个图像的四级运动分布图像，这里k是整数，其中，更新电路使用高于根据第k个图像产生的一级运动分布图像的运动分布图像更新相应于第(k+1)个图像的一级运动分布图像。
根据本发明的另一个方面，用于估算运动画面(该运动画面包含多个图像)的运动的设备包括第一估算器，用于根据第k个图像和第(k+1)个图像估算相应于第k个图像的每一个象素的运动参数，从产生相应于第k个图像的一级运动分布图像，相应于第k个图像的一级运动分布图像电相应于第k个图像的象素的运动参数表示；第二估算器，用于至少根据第(k+1)个图像估算相应于第(k+1)个图像的每一个象素的运动参数，相应于第(k+1)个图像的一级运动分布图像由相应于第(k+1)个图像的象素的运动参数表示；更新器，用于更新相应于第(k+1)个图像的一级运动分布图像，以产生相应于第(k+1)个图像的二级运动分布图像；预测器，用于根据相应于第(k+1)个图像的二级运动分布图像预测相应于第(k+2)个图像的三级运动分布图像，和内插器，用于内插相应于第(k+2)个图像的三级运动分布图像，从产生相应于第(k+2)个图像的四级运动分布图像，这里k是整数，并且其中用于更新的电路用高于根据第k个图像产生的一级运动分布图像的运动分布图像更新相应于第(k+1)个图像的一级运动图像分布图像。
根据本发明的又一个方面，一种程序储存装置(可由机器读取)，确实包含可以由机器执行的指令的程序，以执行用于估算运动画面的移动的方法步骤，这些步骤包括根据第k个图像和第(k+1)个图像估算相应于第k个图像的每一个象素的运动参数，以产生相应于第k个图像的一级运动分布图像，相应于第k个图像的一级运动分布图像由相应于第k个图像的象素的运动参数表示；至少根据第(k+1)个图像估算相应于第(k+1)个图像的每一个象素的运动参数，以产生相应于第(k+1)个图像一级运动分布图像，相应于第(k+1)个图像的一级运动分布图像由相应于第(k+1)个图像的象素的运动参数表示；更新相应于第(k+1)个图像的一级运动分布图像，以产生相应于第(k+1)个图像的二级运动分布图像；根据相应于第(k+1)个图像的二级运动分布图像预测相应于第(k+2)个图像的三级运动分布图像；以及内插相应于第(k+2)个图像的三级运动分布图像，以产生相应于第(k+2)个图像的四级运动分布图像，这里k是整数，并且其中更新步骤用高于根据第k个图像产生的一级运动分布图像的运动分布图像，更新相应于第(k+1)个图像的一级运动分布图像。
当参照下面的描述和附图考虑时，这些和其他的目的、特点和优点将是显然的，这里相同类似的标号代表相同或相似的部分。
图1是示出应用本发明的图像处理设备结构的方框图。
图2是流程图，描述图1所示的图像处理设备的操作。
图3是示出图1所示的图像处理设备的操作的图。
图4是图2的步骤S3中所示的估算处理的流程图。
图5是描述图2的步骤S6中所示的预测处理的图。
图6是描述图2的步骤S6中所示的预测处理的另一图。
图7是图2的步骤S6中所示的预测处理的流程图。
图8是图2的步骤S7中所示的内插处理的流程图。
图9是图2的步骤S5中更新处理的流程图。
图10A和10B是示于显示器上的灰度等级图像的照片，用于在本发明和传统的图像处理之间进行比较。
图11A、11B、11C和11D示出示于显示器上的灰度等级图像的照片，以描述将本发明应用于拉摄图像的情况。
下面描述本发明的实施例。下面将通过参照图1描述应用本发明的图像处理设备的结构。图像处理设备中的控制部分1控制整个设备。硬盘2存储预先输入的运动图像，并根据控制部分1的控制，将运动图像输出到再现部分3。一系列运动图像一个(场景)由多个静止图像(帧)形成，对这些帧分配帧序号(fr=0,1,2,…,k,k+1,…,N)。
再现部分3以帧为(作为静止图像)单位从硬盘2送来的运动图像，并将这样的数据输出到估算部分4。
估算部分4根据第k帧和第(k+1)帧应于k帧为每一个象素计算运动矢量及其可靠度，第k帧和第(k+1)帧在时序上是连续的，并从再现部分3送出。估算部分4还通过将运动矢量和其可靠度分配给每一个象素(执行无偏置估算)而产生相应于第k帧的一级运动分布图像，并将这样的数据输出给更新部分5。相应于第0帧的一级运动分布图像输出到预测部分6。
更新部分5组合了相应于从估算部分4送出的第(k+1)帧的一级运动分布图像以及相应于从内插部分7(在下面描述)送出的第(k+1)帧的四级运动分布图像，以产生相应于第(k+1)帧的二级运动分布图像，并将其输出到预测部分6。在相应于第0帧(fr=0)的一级运动分配图像的情况下，不执行此更新操作。
预测部分6根据相应于从更新部分5送出的第k帧的二级运动分布图像(或者在fr=0的情况下，相应于从估算部分4送出的第0帧的一级运动分布图像)，预测相应于第(k+1)帧的三级运动分布图像，并将其输出到内插部分7。在这种情况下，三级运动分布图像中每一个象素的运动矢量由一假设预测，即二级分配图像(或者在fr=0的情况下，相应于第0帧的一级运动分布图像)中每一个象素的运动矢量不变。
内插部分7使用不偏置估算在相应于输入第(k+1)帧的三级运动分布图像的空白间隙中内插，以产生相应于第(k+1)帧的四级运动分布图像。作为最后的运动分布图像输出，相应于第(k+1)帧的四级运动分布图像，它表示从第k帧到第(k+1)帧的移动，并被提供给更新部分5。
作为每一个部分的工作区域，存储器8暂时地存储信息并将其输出到每一个部分。如图1中所示，控制部分1、硬盘2、再现部分3、估算部分4、更新部分5、预测部分6、内插部分7和储存器8通过总线9耦合。
下面将参照图2和图3中所示的流程图描述这个图像处理设备的操作。在步骤S1中，控制部分1检查构成存储在硬盘2中的构成一个场景的帧的总数N，并初始化指出帧的顺序的参数fr(fr设置为0)。
在步骤S2中，判定fr是否为N(N表示最后帧)。当确定fr不是N时，处理进入至步骤S3。
在步骤S3中，执行估算处理。下面将参照图4的流程图描述估算处理的细节。
在步骤S11中，要在估算帧(第k级帧)中估算的象素的坐标(i,j)初始化为(0,0)。在步骤S12中，判定要估算的象素的坐标(i,j)是否不大于最大值(imax,jmax)(即在帧内)。当判定要估算的象素的坐标(i,j)不大于最大值(imax,jmax)(即在帧内)时，处理进至步骤S13。
在步骤13中，变量“counter”和“sum”设置为零。在步骤S14中，参考帧(第(k+1)帧)中参考象素的坐标(ix,jy)初始化(i-range,j-range)。参考帧中的参考象素的区域是一个正方形，它具有规定长度(2×range)的边，中心在坐标(i,j)处。因此，坐标(ix-range,iy-range)指出参考区域左上角处的象素。
在步骤15中，算出要估算的象素(i,j)的象素值和参考象素(ix,iy)之间差值的平方和+0.01)的值，并加到变量“sum”中。数值0.01是为防止可靠度发散到无限大的补偿值。
在步骤16中，算出参考象素的坐标(ix,iy)和要估算的象素的坐标(i,j)之间的差值(ix-i,iy-j)(运动数量)。用参考区域中象素的序号“counter”把算出的值设置在数组iv_hist[counter]中。以相同的方法，用参考区域中的象素的序号counter把变量sum设置在数组sum_histp[counter]中，阵列sum_hist[counter]用于下面描述步骤S21中计算可靠度P。
在步骤S17中，判定参考象素的坐标(ix,iy)是否小于最大值(i+range,j+range)(在参考区域中是否在尚未被参考的象素)。当确定它们不小于(即已经参考参考区域中所有的象素时)，处理进至步骤S18。如果存在尚未被参考的象素，则处理进至步骤S23，而变量counter递增。然后处理进至步骤S24，在该步骤处坐标(ix,iy)递增。然后用另一个要处理的象素执行步骤S15。
在步骤S18中，变量sum_thres定义为变量sum乘以一随机数(在0和1之间)。换句话说，使用定义阈值，在步骤S19中，变量ocunter初始化为零。
在步骤S20中，判定数组sum_hist[counter]的值是否大于在步骤S18中随机地定义为sum_thres(阈值)(它是否不适合作为参考象素)。如果数组sum_hist[counter]的值小于或等于sum_thres(它不适合作为参考象素)，则处理进至步骤S25。变量counter递增，而处理返回步骤S20。如在步骤中描述的，由于经过处理的值一次在变量sum中累加，当变量counter变大时，sum_hist[counter]的值也变大。结果sum_hist[counter]的值变得大于sum_thres的值的可能性增加。
当判定数组sum_hist[counter]的值大于sum_thres(即，象素适合作为参考象素时)，处理进至步骤S21。在步骤S21中，相应于数组sum_hist[counter]设置在数组iv_hist[counter]中运动矢量拷贝为要估算的移动矢量(在坐标(i,j)处的象素)，而(sum_hist[counter]-sum_hist[counter])/sum的值算为它的可靠度P，并被设定。
在步骤S22中，递增坐标(i,j)。当有其他设置的坐标要被处理时，处理返回到步骤S12。
在步骤S12中，如果判定(i,j)大于最大值(imax,jmax)(不在帧内)，则相应于第fr帧的一级估算分布图像的估算处理结束，而相应于第fr帧的一级估算分配图像的处理返回到图2中的步骤S3。
在上述方法中，已经用不偏置估算产生了fr=0的一级运动分布图像。
下面将再次描述图2中的流程图。
以上述方式执行了估算处理后，在步骤S4判定是否帧参数fr=0(指出开始帧)。当判定fr不是零时，处理进至步骤S5。在步骤S5中，更新部分5执行更新处理。但如果起先fr为0，则跳过步骤S5中的更新处理，而处理进至步骤S6。
在步骤6中，执行预测处理，如图5中所示。即，相应于第(fr+1)帧的每一个象素作预测，其假设为在相应于第fr帧的输入二级移动分配图像中(如果fr=0相应于第0级帧的一级移动分配图像)中象素以相同的速度运动。还有，如图6中所示，当可考虑多个移动矢量，使用具有最大可靠度P的移动矢量。下面将参照图7的流程图描述预测处理的细节。
在步骤S31中，把相应于第fr级帧的输入二级移动分配图像(或如果fr=0，相应于第fr帧的一级移动分配图像)的移动矢量(x,y)和安排在输入数据数组src[i,j]中。
在步骤S32中，把输出数组dst[i,j]初始化(把移动矢量和可靠度P都设置为零)。在步骤S33中，要预测的象素的坐标(i,j)初始化为(0,0)。
在步骤S34中，判定第fr帧的要预测的象素的坐标(i,j)是否不大于最大值(imax,jmax)(在帧内)。如果判定坐标(i,j)不大于最大值(imax,jmax)(在帧的范围内)，则处理进至步骤S35。
在步骤35中，把变量(fx,fy)设定为输入数据数组src[i,j]的移动矢量(x,y)(fx设定为移动矢量的x分量，而fy设定为移动矢量的y分量)。
在步骤36中，判定dst[i+fx,j+fy]的可靠度P是否小于scr[i,j]的可靠度。当判定dst[i+fx,j+fy]的可靠度P小于src[i,j]的可靠度时，处理进至步骤S37。在步骤S37中，把dst[i+fx,j+fy]的移动矢量(三级移动分配图像的移动矢量)设定为src[i,j]的运动矢量。换句话说，执行图6所示的处理。当判定dst[i+fx,j+fy]的可靠度P不小于scr[i,j]的可靠度时，或当步骤S37结束时，在步骤38中递增坐标(i,j)，并且然后当有另一个被设定要处理的象素时处理回到步骤S34。在步骤S34中，当判定要预测为象素的坐标(i,j)大于最大值(imax,jmax)(不在帧内)时，预测处理结束，并且处理返回至图2中的步骤S6。用上述方法，用图3中所示的预测处理得到相应于第(fr+1)帧的三级移动分配图像。
下面将再描述图2中的处理。
在用上述方式执行了相应于第(fr+1)帧的移动分配图像的预测处理之后，在步骤S7内插部分7对相应于第(fr+1)帧的三级移动分配图像执行内插处理。下面将参照图8中的流程图描述内插处理的细节。
在步骤S41中，内插的第(fr+1)帧的象素的坐标(i,j)(内插目标)初始化为(0,0)。在步骤S42中，判定坐标(i,j)是否大于最大值(imax,jmax)(在帧内)。当判定要内插的象素的坐标(i,j)不大于最大值(imax,jmax)(在帧内)，则处理进至步骤S43。
在步骤S43中，内插部分7判定坐标(i,j)处象素的可靠度P(i,j)是否小于规定的参考值。当判断可靠度P小于规定的参考值(象素缺少信息)时，处理进至步骤S44。当可靠度P(i,j)不小于规定的值时，由于象素不缺少信息。故不需要内插处理。处理进至步骤S55。坐标(i,j)递增。当有另一个要处理的象素时，处理返回到步骤S42，并执行相同的处理。
在步骤S44中，变量counter和sum设定为零。在步骤S45中，参考帧中的参考象素的坐标(ix,jy)初始化为(i-range,j-range)。参考象素区域是一个正方形，具有规定长度(2×range)的边，并且执行在坐标(i,j)处。因此，坐标(i-range,j-range)指出在参考区域的左上角处的象素。
在步骤S46中，内插部分7判断坐标(ix,iy)处的象素的可靠度P(ix,iy)是否大于零。当判定可靠度大于零(即，象素适合作为将其信息(象素值)拷贝到缺少信息的象素上)时，处理进至步骤S47。当可靠度为零时，象素不适合作为拷贝源象素。因此处理进至步骤S56。坐标(ix,iy)递增，并且在另一个要处理的象素时，返回到步骤S46。
在步骤S47中，把L((ix,iy),(i,j))的值加到变量sum，其中L((ix,iy),(i,j))指出一函数，该函数表示坐标(ix,iy)处的象素是否适合作为要内插的象素(i,j)的拷贝源象素，并表示如下L((ix,iy),(i,j))= P(ix,iy)×Exp(-P1((ix,iy),(i,j))/a-D2((ix,iy),(i,j)/b)其中P(ix,iy)指出参考象素的可靠度，D1((ix,iy),(i,j)指出坐标(ix,iy)和(i,j)之间的距离，而D2((ix,iy),(i,j))指出(ix,iy)和(i,j)的象素值之间的差值。
在步骤S48中，算出参考象素(把它当作其要象素值是适合的拷贝源象素)的坐标(ix,iy)之间的差值(ix-1,iy-j)(移动矢量)。用参考区域中的象素的序号counter把算得的值(移动矢量)设置在数组iv_hist[counter]中。用同样的方式，用参考区域中的象素的序号数counter把变量sum设置在sum_hist[counter]中。
在步骤S49中，判定参考象素的坐标(ix,iy)是否小于最大值(i+range,j+range)(在参考区域中是否还存在未被参考的象素)。当判定它们不小于最大值时，(即参考区域中的所有象素都被参考了)，则处理进至步骤S50。如果还有未被参考的象素，则处理进至步骤S57，并且变量counter递增。然后处理进至步骤S56。坐标(ix,iy)递增。当有另一个要处理的象素时，执行从步骤S46起的处理。
在步骤S50中，判定变量sum和counter大于零。当贫困sum和counter大于零(在参考区域中存在适合于拷贝的源象素)，则处理进至步骤S51。当sum和counter中至少一个是零时，由于参考区域中不存在适合于作拷贝源的象素，故处理进至步骤58。坐标(ix,iy)的可靠度P设置为零，并且处理进至步骤S55。步骤(ix,iy)递增，并且当有另一个要处理的象素时，执行从步骤S42起的处理。
在步骤51中，变量“sum_thres”定义为变量“sum”乘以随机数(在0和1之间)。换句话说，通过使用随机数来定义阈值。在步骤S52中，变量“counter”初始化为零。
在步骤53中，判定数组sum_hist[counter]的值是否大于在步骤51中随机定义的sum_thres(阈值)(它是否适合作为拷贝源象素)。如果数组sum_hist[counter]的值不大于sum_thres(它适合作为拷贝源象素)，则处理进至步骤S39。变量“counter”递增，并且处理返回步骤S53。如在步骤S47中所述的，由于处理的值依次在变量“sum”中累加，故当变量“counter”变大时，sum_hist[counter]的值[counter]也变大。结果，sum_hist[counter]的值变得大于sum_thres的值的可能性增加。
当数组sum_hist[counter]的值大于sum_thres(它适合作为拷贝源象素)时，处理进入步骤S54。在步骤S54中，(设置在数组“iv_hist[counter]”中的)可靠度和运动矢量拷贝为要内插的象素的可靠度p(i,j)和运动矢量V1(i,j)。然后，在步骤S55中，坐标(i,j)递增。处理返回到步骤S42，并且执行后继的处理。
在步骤S42中，如果判定(i,j)大于最大值(imax,jmax)(不在帧内)(换句话说，帧中所有的象素已经被处理)，则内插处理结束，并且处理返回图2中的步骤S7。
按照上述方式，通过使用不偏置估算(如图3中所示)，相应于第(fr+1)帧的四级运动分布图像已经由内插产生。相应于第(fr+1)帧的四级运动分布图像输出为最后的运动分布图像，并用于更新相应于第(fr+1)帧的一级分布图像，以及产生相应于第(fr-1)帧的二级运动分布图像。
下面将描述如图2中所示的流程图。
在按照上述方式执行了内插处理后，在步骤S8中fr递增1，并且处理返回到步骤S2。
在步骤S2和S3中，按照相同的方式执行上述处理。在步骤S4中，由于fr不为零，则处理进到步骤S5，并且更新部分5执行更新处理。下面将参照图9描述更新处理的细节。
在步骤S71中，要更新的象素的坐标(i,j)初始化为(0,0)。在步骤S72中，判定(i,j)是否不大于最大值(imax,jmax)(在帧内)。当判定(i,j)不大于最大值(imax,jmax)(在帧内)时，处理进至步骤S73。
在步骤S73中，变量pp设定为相应于静止图像的四级运动分布图像的数据数组pre[i,j]的可靠度p，其中静止图像具有从内插部分7送出的fr=(k+1)(初始k=0)。按照相同的方式，变量cp设定为到相应于静止图像的一级运动分布图像的数据数组cur[i,j]的可靠度p，其中静止图像具有从内插部分7送出的fr=(k+1)。
在步骤S74中，判定变量pp是否大于变量cp。当判定pp大于cp(四级运动分布图像的可靠度p大于一级运动分布图像的可靠度)时，则处理进至步骤S75。当判定pp不大于cp(一级运动分布图像的可靠度p大于四级运动分布图像的可靠度)时，则运动矢量不被更新，并且处理进至步骤S76。坐标(i,j)递增，并且在有另一个要处理的象素时，处理返回到步骤S72。
在步骤S75中，使用“pp”和“cp”用下面的表达式计算一级运动分布图像的运动矢量和四级运动分布图像的运动矢量的加权平均值，以得到和设定相应于第(k+1)帧的二级运动分布图像的运动矢量。
二级运动分布图像的运动矢量=(pre[i,j]的运动矢量)×{pp/(pp+cp)}+(cur[i,j]的运动矢量)×{cp/(pp+cp)}在步骤S72中，当判定(i,j)大于最大值(imax,jmax)时，更新处理结束，并且处理返回到图2中的步骤S5。
在上述方式中，通过图3中所示的更新处理得到二级运动分布图像。
现在将比较由上述图像处理设备得到的运动分布图像和由传统方式得到的运动分布图像。图10A中示出由应用本发明的图像处理设备得到的运动分布图像。图10B示出根据最大似然估算(这是传统的方法)得到的运动分布图像。用两种方式处理相同的图像(其中模型卡车在固定的桌子上沿左向移动)。图10A中，从最上端的图像开始，示出相应于fr=0静止图像的一级运动分布图像、相应于fr=1的静止图像的三级运动分布图像和相应于fr=4的静止图像的三级运动分布图像。这些图像中的象素密度指出沿水平方向(图像中的左向)运动矢量的大小。
在图10B所示的图像中，模型卡车的轮廓模糊，并且桌子(它是固定的，并在模型的下面)的象素具有某一密度(它指出运动)。另一方面，在图10A所示的图像中，当fr增加时，信息被积累。模型卡车的轮廓变清自析，并且固定部分(桌子)的象素密度增加。换句话说，在图像的固定部分和图像的移动部分之间的相对对比度增加。因此，判定图10A示出具有错误判决少的运动分布图像。
有了如此得到的正确的运动分布图像，可以得出并描绘移动部分的图像，并且变得可能进行运动估算。
现在参照图11A-11D，当拉摄图像时，考虑象素的运动矢量(图像的水平分量)具有朝图像的中心的方向(如图11D中所示)，并且其大小数量在其位置离开中心线时增加。图11A描述了根据源数据的图像(代表蝴蝶的图像)。图11B示出图11A的拉摄的图像，其中图11B是相应于fr=1的三级运动分布图像。在图11C(该图示出相应于fr=4的三级运动分布图像)中，图像中象素的密度从左到右逐渐地变浓。其性质类似于如图11D中所示的性质。因此，可以说，可利用本发明的图像处理设备执行变焦的运动估算。
虽然只用了水平运动以解释本发明，但本发明同样可应用于沿诸如垂直的轴等其他轴的运动。另外，本发明还能移应用于指出深度的参数的估算。
虽然为了解释本发明，四级运动分布图像作为最后的运动分布图像输出，但另外的运动分布图像(即第一、第二或第三运动分布图像)亦可以作为最后的运动分布图像输出。
执行上述每一个处理的计算机程序可以通过诸如互联网和数字卫星之类的网络媒体提供给用户。另外，程序存储装置或信息记录媒体(诸如磁盘、CD-ROM、RAM、磁带或DVD)可以用于包含这样的计算机程序。这样的计算机程序可以由机器执行，以执行根据本发明估算移动的方法步骤。
如上所述，根据本发明的图像处理设备、图像处理方法和记录媒体，由于以象素为单位通过使用不偏置估算执行运动估算，故运动估算的空间分辨率增加，并且确保其耐用性。
虽然只详细描述了一些实施例，但那些具有本领域一般技术的人将知道，在不背离本发明的主旨的基础上可以作许多种修改。打算把所有这些修改包括在下面的权利要求中。
权利要求
1．一种用于估算运动画面的运动的方法，所述运动画面包括多个图像，其特征在于所述方法包括下述步骤根据第k个图像和第(k+1)个图像估算相应于所述第k个图像的每一个象素的运动参数，以产生相应于所述第k个图像的一级运动分布图像，所述相应于第k个图像的一级运动分布图像，由相应于所述第k个图像的象素的运动参数表示；至少根据所述第(k+1)个图像估算相应于所述第(k+1)个的每一个象素的运动参数，以产生相应于所述第(k+1)个的图像的一级运动分布图像，所述相应于(k+1)个图像一级运动分布图像，由相应于所述第(k+1)个图像的象素的运动参数表示；更新相应于第(k+1)个图像的一级运动分布图像，以产生相应于第(k+1)个图像的二级运动分布图像；根据相应于所述第(k+1)个图像的二级运动分布图像预测相应于所述第(k+2)个图像的三级运动分布图像；及内插相应于所述第(k+2)个图像的三级运动分布图像，以产生相应于所述第(k+2)个图像的四级运动分布图像，其中k是整数，及更新步骤用使用高于根据所述第k个图像产生的一级运动分布图像的运动分布图像，更新相应于所述第(k+1)个图像的一级运动分布图像。
2．如权利要求1所述的方法，其特征在于所述高于根据第k个图像产生的一级运动分布图像是相应于第(k+1)个图像的四级运动分布图像。
3．如权利要求1所述的方法，其特征在于所述高于根据第k个图像产生的一级运动分布图像是相应于第(k+1)个图像的四级运动分布图像，所述方法还包括下述步骤根据相应于所述第k个图像的一级运动分布图像预测相应于所述第(k+1)个图像的三级运动分布图像；及内插相应于所述第(k+1)个图像的三级运动分布图像，以产生相应于所述第(k+1)个图像的四级运动分布图像。
4．如权利要求1所述的方法，其特征在于预测步骤根据相应于所述第(k+1)个图像的二级图像预测相应于所述第(k+2)个图像的运动分布图像，其中假设如在相应于所述第(k+1)个图像的二级图像中那样，象素以相同的速度运动。
5．如权利要求1所述的方法，其特征在于所述运动参数包括运动矢量和可靠度的指示。
6．如权利要求5所述的方法，其特征在于，根据由所述第k个图像产生的所述一级和高于一级的运动分布图像的可靠度，所述更新步骤对每一个象素把表示相应于所述第(k+1)个图像的所述一级运动分布图像的运动矢量和表示高于根据第k个图像产生的所述一级运动分布图像的运动分布图像的运动矢量相组合。
7．如权利要求6所述的方法，其特征在于，高于根据第k个图像产生的一级运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像。
8．一种用于估算运动画面的运动的设备，所述运动画面包括多个图像，其特征在于，所述设备包括用于估算的装置，根据第k个图像和第(k+1)个图像估算相应于所述第k个图像的每一个象素的运动参数，以产生相应于所述第k级图像的一级运动分布图像，所述相应于所述第k个图像的一级运动分布图像由相应所述第k个图像的象素的运动参数表示；用于估算的装置，至少根据所述第(k+1)个图像估算相应于所述第(k+1)个图像的每一个象素的运动参数的装置，以产生相应于所述第(k+1)个图像的一级运动分布图像，相应于第(k+1)个图像的一级运动分布图像由相应于所述第(k+1)个图像的象素的运动参数表示；用于更新的装置，更新相应于所述第(k+1)个图像的一级运动分布图像，以产生相应于所述第(k+1)个图像的二级运动分布图像；用于预测的装置，根据相应于(k+1)个图像的二级运动分布图像预测相应于所述第(k+2)个图像的三级运动分布图像；及用于内插的装置，内插相应于所述第(k+2)个图像的三级运动分布图像，以产生相应于所述第(k+2)个图像的四级运动分布图像，其中k是整数，及其中，用于更新的装置使用高于根据所述第k个图像产生的一级运动分布图像的运动分布图像，更新相应于所述第(k+1)个图像的一级运动分布图像。
9．如权利要求8所述的设备，其特征在于所述高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述所述第(k+1)个图像的四级运动分布图像。
10．如权利要求8所述的设备，其特征在于所述高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像，其中，所述用于预测的装置根据相应于所述第k个图像的一级运动分布图像预测相应于所述第(k+1)个图像的三级运动分布图像；及所述内插装置内插相应于所述第(k+1)个图像的三级运动分布图像，以产生相应于所述第(k+1)个图像的四级运动分布图像。
11．如权利要求8所述的设备，其特征在于所述用于预测的装置根据相应于所述第(k+1)个图像的二级图像预测相应于所述第(k+2)个图像的运动分布图像，其中假设如在相应于所述第(k+1)个图像的二级图像中那样，象素以相同的速度运动。
12．如权利要求8所述的设备，其特征在于所述运动参数包括运动矢量和可靠度的指示。
13．如权利要求12所述的设备，其特征在于，对每一个象素，所述用于更新的装置，根据可靠度由所述第k个图像产生的一级和高于一级的运动分布图像的可靠度，把表示相应于所述第(k+1)个图像的一级运动分布图像运动矢量，和表示高于根据所述第k个图像产生的一级运动分布图像的运动矢量组合起来。
14．如权利要求13所述的设备，其特征在于所述高于根据第k个图像产生的一级运动分布图像是相应于所述第(k+1)个图像的四运动分布图像。
15．一种用于估算运动画面的运动的设备，其中所述运动画面包括多个图像，其特征在于，所述设备包括用于估算的电路，根据第k个图像和第(k+1)个图像估算相应于所述第k个图像的每一个象素的运动参数，以产生相应于所述第k个图像的一级运动分布图像，所述相应于第k个图像的一级运动分布图像由相应于所述第k个图像的象素的运动参数表示；用于估算的电路，至少根据所述第(k+1)个图像估算相应于所述第(k+1)个图像的每一个象素的运动参数，以产生相应于所述第(k+1)个图像的一级运动分布图像，所述相应于第(k+1)个图像的一级运动分布图像由相应于所述第(k+1)个图像的象素的运动参数表示；用于更新的电路，更新相应于所述第(k+1)个图像的一级运动分布图像，以产生相应于所述第(k+1)个图像的二级运动分布图像；用于预测的装置，根据相应于所述第(k+1)个图像的二级运动分布图像预测相应于所述第(k+2)个图像的三级运动分布图像；及用于内插的电路，内插相应于所述第(k+2)个图像的三级运动分布图像，以产生相应于所述第(k+2)个图像的四级运动分布图像，这里k是整数，及其中，所述用于更新的电路用高于根据所述第k个图像产生的一级运动分布图像的运动分布图像，更新相应于所述第(k+1)个图像的一级运动分布图像。
16．如权利要求15所述的设备，其特征在于，高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像。
17．如权利要求15所述的设备，其特征在于高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像，其中，所述用于预测的电路根据相应于所述第(k+1)个图像的一级运动分布图像预测相应于所述第k个图像的三级运动分布图像；及所述内插装置内插所述第(k+1)个图像三级运动分布图像，以产生相应于所述第(k+1)个图像的四级运动分布图像。
18．如权利要求15所述的设备，其特征在于，所述用于预测的电路根据相应于所述第(k+1)个图像的二级图像预测相应于所述第(k+2)个图像的运动分布图像，所作的假设为，如在相应于所述第(k+1)个图像的二级图像中那样，那样，象素以相同速度运动。
19．如权利要求15所述的设备，运动参数包括运动矢量和可靠度的指示。
20．如权利要求19所述的设备，其特征在于用于更新的电路根据由所述第k个图像产生的一级和高于一级的运动分布图像的可靠度，对每一个象素，把表示相应于所述第(k+1)个图像的一级运动分布图像的运动矢量和表示高于由第k个图像产生的一级运动分布图像的运动矢量相组合。
21．如权利要求20所述的设备，其特征在于所述高于根据第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像。
22．一种用于估算运动画面的运动的设备，所述运动画面包括多个图像，其特征在于所述设备包括第一估算器，用于从所述第k个图像和第(k+1)个图像估算相应于所述第k个图像的每一个象素的运动参数，以产生相应于所述第k个图像的一级运动分布图像，相应于所述第k个图像的一级运动分布图像由相应于所述第k个图像的象素的运动参数表示；第二估算器，用于至少根据所述第(k+1)个图像估算相应于所述第(k+1)个图像的每一个象素的运动参数，以产生所述第(k+1)个图像的一级运动分布图像，相应于所述第(k+1)个图像的一级运动分布图像由相应于所述第(k+1)个图像的象素的运动参数表示；更新器，用于更新相应于所述第(k+1)个图像的一级运动分布图像，以产生相应于所述第(k+1)个图像的二级运动分布图像；预测器，用于根据相应于所述第(k+1)个的图像二级运动分布图像预测相应于所述第(k+2)个图像的三级运动分布图像；及内插器，用于内插相应于所述第(k+2)个图像的三级运动分布图像，以产生相应于所述第(k+2)个图像的四级运动分布图像，这里k是整数，及所述更新装置用高于根据所述第k个图像产生一级运动分布图像的运动分布图像，更新相应于所述第(k+1)个图像的一级运动分布图像。
23．如权利要求22所述的设备，其特征在于所述高于根据第k个图像产生的一级运动分布图像是运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像。
24．如权利要求22所述的设备，其特征在于所述高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像，其中，所述预测器根据相应于所述第k个图像的一级运动分布图像预测相应于所述第(k+1)个图像的三级运动分布图像；及内插器内插相应于所述第(k+1)个图像三级运动分布图像，以产生相应于所述第(k+1)个图像的四级运动分布图像。
25．如权利要求22所述的设备，其特征在于所述预测器根据相应于所述第(k+1)个图像的二级图像预测相应于所述第(k+2)个图像的运动分布图像，所作的假设是如相应于所述第(k+1)个图像的二级图像那样，象素以相同的速度运动。
26．如权利要求22所述的设备，其特征在于所述运动参数包括运动矢量和可靠度的指示。
27．如权利要求26所述的设备，其特征在于，用于更新的电路根据由所述第k个图像产生的一级和高于一级的运动分布图像的可靠度，对每一象素，把表示相应于所述第(k+1)个图像的一级运动分布图像的运动矢量和表示高于根据所述第k个图像产生的一级运动分布图像的运动矢量相组合。
28．如权利要求27所述的设备，其特征在于所述高于根据所述第k个图像产生的一级运动分布图像相应于所述第(k+1)个图像的四级运动分布图像。
29．一种可由机器读取的程序储存装置，所述装置确实地包含电机器执行的指令的程序，以完成用于估算运动画面的运动的方法步骤，其特征在于所述方法步骤包括根据第k个图像和第(k+1)个图像估算相应于所述第k个图像的每一个象素的运动参数，以产生相应于所述第k个图像的一级运动分布图像，所述相应于第k个图像的一级运动分布图像由相应于所述第k个图像的象素的运动参数表示；至少根据所述第(k+1)个图像估算相应于所述第(k+1)个图像的每一个象素的运动参数，以产生相应于所述第(k+1)个图像的一级运动分布图像，所述相应于第(k+1)个图像的一级运动分布图像由相应于所述所述第(k+1)个图像的象素的运动参数表示；更新相应于所述第(k+1)个图像的一级运动分布图像，以产生相应于所述第(k+1)个图像的二级运动分布图像；根据相应于所述第(k+1)个图像的二级运动分布图像的预测相应于所述第(k+2)个图像三级运动分布图像；及内插相应于所述第(k+2)个图像的三级运动分布图像，以产生相应于所述第(k+2)个图像的四级运动分布图像，这里k是整数，及其中，更新步骤用高于根据所述第k个图像产生的一级运动分布图像的运动分布图像，更新相应于所述第(k+1)个图像的一级运动分布图像。
30．如权利要求29所述的程序存储装置，其特征在于所述高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像。
31．如权利要求29所述程序存储装置，其特征在于所述高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像，所述方法步骤包括根据相应于所述第k个图像的一级运动分布图像预测相应于所述第(k+1)个图像的三级运动分布图像；及内插所述第(k+1)个图像的三级运动分布图像，以产生相应于所述第(k+1)个图像的四级运动分布图像。
32．如权利要求29所述的程序存储装置，其特征在于预测步骤从相应于所述第(k+1)个图像的二级图像预测相应于所述第(k+2)个图像的运动分布图像，其中假设象素在相应于所述第(k+1)个图像的二级图像中以相同的速度运动。
33．如权利要求29所述的程序储存装置，其特征在于运动参数包括运动矢量和可靠度的指示。
34．如权利要求33所述的程序存储装置，其特征在于根据由所述第k个图像产生的一级和高于一级的运动分布图像，更新步骤对每一个象素，把表示相应于所述第(k+1)个图像的一级运动分布图像的运动矢量和表示高于根据所述第k个图像产生的一级运动分布图像的运动矢量相组合。
35．如权利要求34所述的程序存储装置，其特征在于所述高于根据所述第k个图像产生的一级运动分布图像的运动分布图像是相应于所述第(k+1)个图像的四级运动分布图像。
全文摘要
估算部分根据两个连续的个计算每一个象素的运动矢量和其可靠度,并产生相应于所述第k帧和第(k+1)帧的一级运动分布图像,可把任何的运动矢量和可靠度分配给每一个象素。更新部分把相应于所述第(k+1)帧的输入一级运动分布图像和相应于第(k+1)帧的四级运动分布图像组合,以产生相应于所述第(k+1)帧的二级运动分布图像。预测部分产生相应于所述第(k+2)个的三级运动分布图像。内插部分用不偏置估算以产生相应于所述第(k+2)个的四级运动分布图像。
文档编号G06T7/20GK1230079SQ9910104
公开日1999年9月29日 申请日期1999年1月7日 优先权日1998年1月7日
发明者近藤哲二郎, 中屋秀雄, 田中健司 申请人:索尼株式会社