运动矢量检测装置、运动矢量检测方法和计算机程序的制作方法

专利名称：运动矢量检测装置、运动矢量检测方法和计算机程序的制作方法
技术领域：
本发明涉及一种运动矢量检测装置、运动矢量检测方法和计算机程序。具体地，本发明涉及一种从运动图像数据中检测运动矢量的运动矢量检测装置、运动矢量检测方法和计算机程序。
背景技术：
随着近来信息处理设备和通信终端功能的提高、高速通信基础设施的发展、以及诸如DVD和蓝光盘等高密度记录媒体的普及，通过网络的运动图像数据的配送、使用高密度记录媒体的运动图像数据的存储和再现等正盛行。鉴于这个情况，期望运动图像数据的数据处理例如编码等的效率或者速度得到提高。
例如，在运动图像数据高效编码的运动补偿图像编码以及交通监视系统或者自主行驶车辆的视觉传感器的运动物体检测或者速度检测中，需要被包括在图像数据中的每个物体的运动方向和大小(速度)的检测，即运动矢量的检测。
例如，作为运动补偿图像编码的例子，已经提出了作为运动图像高效编码国际标准的MPEG(运动图像编码专家组)编码。MPEG编码是通过将DCT(离散余弦变换)和运动补偿预测编码进行组合来执行编码。在运动补偿预测编码中，检测运动图像数据的连续帧之间，即当前帧和紧前帧之间的图像信号级别的相关性，基于所检测的相关性来检测运动矢量，并且基于所检测的运动矢量来校正运动图像，由此实现高效编码。
作为检测运动矢量的方法，公知块匹配法。参考图1，说明块匹配法的概要。提取出运动图像在时间上连续的帧图像，例如图中时间(t)上的当前帧[Ft]20和时间(t-1)上的先前帧[Ft-1]10。帧图像的一个画面被分割成由多个像素构成的m像素×n行的小区域(以后称为块)。
将当前帧[Ft]20用作为基准帧，基准帧的检查块By 21在特定的搜索区域22内移动，检测出与先前帧[Ft-1]10的基准块Bx 11具有最小像素值差、即具有像素值之最高匹配度(最高相关性)的检查块。假定先前帧[Ft-1]10的基准块Bx11已经移动到从当前帧[Ft]20检测的高度相关的检查块的位置。基于表示所假定运动的矢量，计算每个像素的运动矢量。如上述，在块匹配法中，运动矢量是通过基于具有预定尺寸(m×n)的单个块来检查帧之间的相关性(匹配)被确定的。
在块匹配法中，运动矢量是以每个块为基础确定的。作为表示每个块的相关性即匹配度的估计值，例如使用帧差的绝对值之和，该帧差绝对值之和通过下述获得将基准块Bx内的多个像素和检查块By内的在空间上对应位置上的多个像素之间的值相减来计算帧差，以及将所计算的帧差的绝对值累加。或者，例如，也可以使用帧差的平方和。
但是，在上述块匹配法中，由于要执行全部搜索以比较搜索区域内的所有数据，因此检测所需要的比较次数是非常大的，以致为了运动检测要花费很长的时间，这是不利的。
而且，当运动部分和静止部分都包括在块中时，以块为基础检测的运动不会精确地对应于块中各个像素的运动。尽管这个问题通过设定块尺寸能够被缓解，但是，例如，当块尺寸增大时，计算量增加，并且可能产生块内多个运动的问题。相反，当块尺寸降低时，由于用于检查匹配的区域变小，将产生运动检测精度降低的问题。就是说，当进行块匹配时，可能产生与基准块类似的大量的检查块，即具有与基准块的高度相关性的检查块。这是因为，其包括了不归因于运动的块。这降低了运动检测的精确性。例如，当文本放映机(telop)水平或者垂直地运动时，可能产生重复图案效应。在汉字字符文本图案的情况下，当相同字符被分割成小的部分时，小的图案经常发生。因此，当多个运动存在于块中时，确定正确的运动是困难的。
例如在专利文献1中，本专利申请的申请人已经提出了一种运动矢量检测方法和检测装置，其中能够对各个像素检测运动矢量，防止不正确检测，而不增加计算量。
专利文献1公开的运动矢量检测处理的要点是代替计算估计值和确定每个像素或者每个块的运动矢量，作为处理的第一步，将每个都由多个像素构成的多个块设置在一个帧中，并设置各个块的代表点，检查在另一个帧中设置的搜索区域内的每个代表点和每个像素之间的相关性，并计算基于相关性信息的估计值以产生估计值表作为基于估计值的相关性信息，以及从该估计值表中提取出多个候选矢量。然后，作为处理的第二步，从所提取的候选矢量中选择推测为最优的候选矢量并且与每个像素进行关联，由此将该候选矢量确定为每个像素的运动矢量。如上述，各个像素的运动矢量通过下述确定产生估计值表；基于估计值表选择候选矢量；以及关联从多个候选矢量中选择的候选矢量，作为每个像素的运动矢量。
该方法下文将称为候选矢量法。
通过候选矢量法实现的运动矢量检测处理的优点是通过基于估计值表来提取有限数量的候选矢量，能够降低计算量。另一个优点是即使在可能发生运动矢量不正确检测的物体的边界区域中，也有可能从预先选择的候选矢量中确定出每个像素的最佳运动矢量。迄今是这种情况通过全部搜索，即通过计算例如帧之间的像素差作为估计值以及计算帧内所有像素的估计值，来确定每个像素的运动矢量。在候选矢量法中，有可能从预先选择的候选矢量中确定每个像素的最佳运动矢量。因此，与全部搜索比较，相同估计值发生的概率降低了，由此防止了不正确检测。
但是，在用于生成估计值表的处理中，设置各个块的代表点，检查每个代表点和在另一个帧中设置的搜索区域中的每个像素之间的相关性以基于相关性信息计算估计值，以及累加估计值。
例如，当代表点像素X和包括在搜索区域中的输入像素Y之间的差的绝对值小于特定的阈值TH时，该估计值被设置作为累加估计值。即，当满足下式时|X-Y|＜TH就在估计值表的相应位置上计数+1，画面上所有代表点的计算结果被合计到估计表中，由此生成估计值表。
在生成估计值表中，仅仅基于代表点的亮度级别和搜索区域内输入像素的亮度级别来检查相关性。因此，当使用图2所示的当前帧31和先前帧30来生成用于运动矢量检测的估计值表时，在当前帧31中所设置的搜索区域32内搜索对应于先前帧30内代表点38的高相关像素，即基本上具有相同亮度级别的像素，并且在估计值表中累加并计数该像素。
在图2右侧所示的图形中，示出了穿过先前帧30内代表点38的在X方向的一线的像素级别、以及当前帧搜索区域32内的在X方向的一线的像素级别。
当用先前帧的代表点38的像素级别＝100来从搜索区域38搜索具有高相关性的像素即具有类似像素级别的像素时，检测到三个像素35、36和37。这三个像素都满足条件|X-Y|＜TH因此这些像素被设置作为估计值表中的累加点。但是，实际上，在三个像素35、36和37中仅仅像素36与正确运动矢量相关联，因此其它两个像素35和37被不正确地作为累加点加到估计值表中。
如上述，在迄今已经使用的用于生成估计值表的方法中，可能发生基于不正确信息的累加，因此使得不能确定由估计值表内的峰值所表示的候选矢量都是正确的。能够将迄今使用的估计值表生成处理中的问题归纳如下(a)在仅仅基于与所检测代表点之间的相关性来计数+1的方法中，估计值表的频率依赖于图像内物体的面积。因此，从估计值表中检测出画面上存在的多个物体的运动矢量是困难的。
(b)由于估计值表内峰值的大小依赖于物体的面积，因此对应于诸如放映机的图像内具有小面积但显著的物体候选矢量的峰值小，使得读出候选矢量困难。
而且，当基于候选矢量最终确定与每个像素相关联的运动矢量时，进行块匹配。在块匹配中，邻近先前帧中关注像素(subject pixel)的像素被设置作为块，被包括在块中的多个像素的相关性被整体检测。为了通过块匹配正确地确定运动矢量，需要增加块尺寸以便正确地检查相关性。当块尺寸增加时，诸如差的绝对值的和的计算的用于计算相关性的估计值的计算量增加。因此，效率降低，用于保持像素值的存储器大小一定增加，引起增加硬件规模的问题。
日本未审查专利申请公开号2001-61152。

发明内容
本发明考虑了上述问题，本发明的目的是提供一种运动矢量检测装置、运动矢量检测方法和计算机程序，其通过检查考虑了代表点以及邻近代表点的像素级别的空间波形的相关性，而使得在基于代表点匹配的估计值表的生成中，能够生成更精确的估计值表和进行运动矢量的更精确检测。
本发明的另一目的是提供一种运动矢量检测装置、运动矢量检测方法和计算机程序，其通过检查代表点以及邻近代表点的像素是否具有与代表点相类似的运动来检查相关性，使得在基于代表点匹配的估计值表的生成中，能够生成更精确的估计值表和进行运动矢量的更精确检测。
本发明的又一目的是提供一种运动矢量检测装置、运动矢量检测方法和计算机程序，其在从多个候选矢量中确定与每个像素相关联的运动矢量时不使用块匹配而能够在例如基于候选矢量方法的运动矢量检测处理中进行运动矢量的正确确定。
本发明的第一方面是用于从运动图像数据中检测运动矢量的运动矢量检测装置，所述运动矢量检测装置包括估计值表生成器，其基于时间轴上在不同帧之间的像素值相关性信息而生成估计值表；以及运动矢量确定器，其基于估计值表来检测运动图像数据帧内像素的运动矢量，并将该运动矢量与该像素相关联，其中，所述估计值表生成器包括像素相关性计算器，其以基于从一个帧中所选择的代表点的代表点匹配为基础，计算时间轴上在不同帧之间的相关性信息；权重计算器，其使用由像素相关性计算器的计算结果、和以在关注像素和邻近关注像素的像素之间的像素值差为基础的计算结果中的至少一个，来生成运动的可信度指数；以及估计值表计算器，其通过累加对应于由权重计算器计算的可信度指数的估计值来生成估计值表。
而且，在根据本发明的运动矢量检测装置的实施例中，所述运动矢量检测装置还包括运动相似性检测器，其检测在对应于关注像素的代表点和邻近该代表点的代表点之间的运动的相似性，以及权重计算器基于作为运动相似性检测器检测结果的在代表点和邻近代表点之间存在运动相似性的判定，通过考虑在代表点和邻近代表点之间的像素值差来生成运动的可信度指数。
而且，在根据本发明的运动矢量检测装置的实施例中，如果在代表点之间存在运动相似性的判定已经从运动相似性检测器输入，则权重计算器被构成为根据下述公式并基于关注代表点的亮度级别Pm和被确定为具有运动相似性的N个邻近代表点的亮度级别Pn来计算可信度指数β[公式2]β=ΣnN|Pm-Pn|]]>而且，在根据本发明的运动矢量检测装置的实施例中，所述运动矢量检测装置还包括计算器，其接收来自像素相关性计算器的基于代表点匹配的有无相关性的检查结果的输入、和来自权重计算器的可信度指数的输入，以及计算器被构成为把从像素相关性计算器输入的基于代表点匹配的有无相关性的检查结果和可信度系数进行相加或者相乘，以计算最终估计值，并且将最终估计值输出到估计值表计算器。
而且，在根据本发明的运动矢量检测装置的实施例中，如果在代表点之间存在运动相似性的判定已经从运动相似性检测器输入，则权重计算器被构成为计算可信度指数，使得可信度指数反映下述参数中的至少一个(a)邻近代表点的运动的匹配或者相似性的例数；(b)与具有匹配或者相似运动的代表点之间的空间梯度；(c)具有匹配或者相似运动的代表点之间的距离。
而且，在根据本发明的运动矢量检测装置的实施例中，估计值表生成器还包括代表点静止检查器，其检查代表点是否处于静止区域中，以及当代表点静止检查器确定代表点处于静止区域中时，权重计算器被构成为将可信度指数设置为0或者减少值。
而且，在根据本发明的运动矢量检测装置的实施例中，估计值表生成器还包括标志数据计算器，其生成对应于在关注像素和关注像素的邻近区域内像素之间的像素值差数据的标志数据；以及相关性计算器，其基于标志数据计算帧之间的标志数据相关性信息；权重计算器被构成为使用基于像素相关性计算器之计算结果的像素相关性信息和基于标志相关性计算器之计算结果的标志相关性信息中的至少一个来计算权重系数W，并且生成可信度指数作为基于该权重系数W所计算的值，权重计算器被构成为基于考虑了在所述代表点和所述邻近代表点之间的像素值差所生成的可信度指数、和被计算作为基于所述权重系数W之值的可信度指数，来计算新的可信度指数K，以及估计值表计算器被构成为通过累加对应于由权重计算器计算的新可信度指数K的估计值，来生成估计值表。
而且，在根据本发明的运动矢量检测装置的实施例中，所述运动矢量检测装置还包括标志数据计算器，其生成对应于在关注像素和邻近关注像素的像素之间的像素值差数据的标志数据；以及标志相关性计算器，其基于标志数据计算帧之间的标志数据相关性信息；以及所述权重计算器使用基于像素相关性计算器之计算结果的像素相关性信息和基于标志相关性计算器之计算结果的标志相关性信息中的至少一个，来生成权重系数W，并且生成可信度指数作为基于该权重系数W所计算的值。
而且，在根据本发明的运动矢量检测装置的实施例中，标志数据计算器被构成为计算对应于在关注像素和关注像素的邻近区域内像素之间的像素值差数据的标志数据，使得该标志数据具有比像素值差数据更少的位数。
而且，在根据本发明的运动矢量检测装置的实施例中，权重计算器被构成为将权重系数W确定为从基于像素相关性计算器的计算结果的像素相关性信息中计算出的权重系数，所述权重系数W是至少基于在代表点像素的像素值和包括关注像素及邻近关注像素之像素的相关性检查目标像素的像素值之间的差所计算的值W。
而且，在根据本发明的运动矢量检测装置的实施例中，权重计算器被构成为将权重系数W计算作为从基于像素相关性计算器的计算结果的像素相关性信息和基于标志相关性计算器的计算结果的标志相关性信息中计算出的权重系数，所述权重系数W是基于X和Y之间的差的大小、Xf0和Yf0之间的差的大小、以及Xf1和Yf1之间的差的大小所计算的值W，这里，X表示代表点像素的像素值，Xf0和Xf1表示基于在X和邻接代表点像素的两个像素的像素值之间的差数据的标志数据，Y表示相关性检查目标像素的像素值，Yf0和Yf1表示基于在Y和邻接该像素的两个像素的像素值之间的差数据的标志数据。
而且，在根据本发明的运动矢量检测装置的实施例中，权重计算器被构成为将活动性A计算作为图像数据的复杂性指数，以及权重计算器被构成为基于所计算的活动性A和权重系数W来计算可信度指数，所述权重系数W是至少基于在代表点像素的像素值和包括关注像素及邻近关注像素之像素的相关性检查目标像素的像素值之间的差的大小而计算的。
而且，在根据本发明的运动矢量检测装置的实施例中，所述运动矢量检测装置还包括候选矢量提取器，其基于估计值表提取出一个或者多个候选矢量，以及运动矢量确定器被构成为从候选矢量中选择将与运动图像数据帧内每个像素相关联的运动矢量，并且将该运动矢量与该像素相关联。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出特征像素，并且基于以该特征像素为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器包括试探(tentative)检查器，其通过检查在将与运动矢量关联的关注像素的像素值和由候选矢量指定的像素的像素值之间的相关性，来从候选矢量中仅仅选择具有高相关性的候选矢量，以及仅仅对于由试探检查器选择的所选择候选矢量才进行基于特征像素的相关性检查。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出特征像素，并且基于以该特征像素的位置信息为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出特征像素，并且基于以该特征像素的像素值信息为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与邻接像素之间具有像素值差最大绝对值的像素，作为特征像素，并且基于以该特征像素的位置信息为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与关注像素之间具有像素值差最大绝对值的像素作为特征像素，并且基于以该特征像素的像素值信息为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出多个特征像素，并且基于以该多个特征像素为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与关注像素之间具有最大和最小像素值差的两个像素作为特征像素，并且基于以该两个特征像素为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为基于以该两个特征像素的位置信息为基础的相关性检查来确定与关注像素相关的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与关注像素之间具有最大和最小像素值差的两个像素作为特征像素，并且基于以包括该两个特征像素和关注像素的三个像素为基础的相关性检查来确定与关注像素相关联的运动矢量。
而且，在根据本发明的运动矢量检测装置的实施例中，运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出两个特征像素，并且基于以包括该两个特征像素和关注像素的三个像素的像素值为基础的相关性检查来确定与关注像素相关联的运动矢量。
本发明的第二方面是一种运动矢量检测方法，用于从运动图像数据中检测运动矢量，所述运动矢量检测方法包括估计值表生成步骤，其基于时间轴上在不同帧之间的像素值相关性信息生成估计值表；以及运动矢量检测步骤，其基于估计值表检测运动图像数据帧内像素的运动矢量，并将该运动矢量与该像素相关联，其中，所述估计值表生成步骤包括像素相关性计算步骤，其以基于从一个帧中所选择代表点的代表点匹配为基础，计算时间轴上在不同帧之间的相关性信息；权重计算步骤，其使用像素相关性计算步骤中的计算结果和以在关注像素和邻近关注像素的像素之间的像素值差为基础的计算结果的至少一个，生成运动的可信度指数；以及估计值表计算步骤，其通过累加对应于所计算的可信度指数的估计值来生成估计值表。
本发明的第三方面是一种计算机程序，用于从运动图像数据中检测运动矢量，所述计算机程序包括估计值表生成步骤，其基于时间轴上在不同帧之间的像素值相关性信息生成估计值表；以及运动矢量检测步骤，其基于估计值表检测运动图像数据帧内像素的运动矢量，并将该运动矢量与该像素相关联；其中，所述估计值表生成步骤包括像素相关性计算步骤，其以基于从一个帧中所选择代表点的代表点匹配为基础，计算时间轴上在不同帧之间的相关性信息；权重计算步骤，其使用像素相关性计算步骤中的计算结果和以在关注像素和邻近关注像素的像素之间的像素值差为基础的计算结果中的至少一个，生成运动的可信度指数；以及估计值表计算步骤，其通过累加对应于所计算的可信度指数的估计值来生成估计值表。
根据本发明的计算机程序是例如通过存储媒体或者通信媒体能够提供的程序，所述存储媒体或者通信媒体将计算机可读形式的程序提供给能够执行各种程序代码的计算机系统，例如，记录媒体诸如CD、FD、或者MO，或者通信媒体例如为网络。通过提供计算机可读形式的程序，根据该程序的处理将在计算机系统上运行。
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其它目的、特性、优点将变得更加清楚。在本说明书中，系统是指多个设备的逻辑组合，而与构成设备是否放置于同一壳体内无关。
根据本发明的特征，当基于代表点匹配生成估计值表时，考虑代表点和邻近代表点的像素级别的空间波形来执行相关性检查。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，权重系数W以代表点像素的相关性信息和标志相关性信息为基础计算，所述标志相关性信息基于与在关注像素和关注像素的邻近区域内像素之间的像素值差数据相对应的标志数据，可信度指数α被生成作为以所计算的权重系数W和作为图像数据复杂性指数的活动性A为基础所计算的值，并且累加对应于可信度指数α的估计值以生成估计值表。因此，能够生成基于考虑了在代表点和邻近代表点的像素之间的像素值差来设定权重的估计值的估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，计算对应于在关注像素和关注像素的邻近区域内像素之间的像素值差数据的标志数据，使得标志数据具有比像素值差数据更少的位数，使得标志相关性能够通过处理具有小位数的数据来计算。因此，能够在不降低处理速度的情况下生成精确的估计值表，以及能够更正确地检测运动矢量。因此，通过将本发明应用到例如执行运动图像数据编码等的图像处理设备，能够高效地检测运动矢量，还能够实现设备尺寸的缩小。
而且，根据本发明的特征，当基于代表点匹配生成估计值表时，检查在代表点和邻近代表点的像素之间的运动相似性。当存在运动相似性时，确定相关性检查结果的可信度是高的。然后，计算可信度指数β，累加基于可信度指数β的估计值以生成估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，检查在代表点和邻近该代表点的代表点之间的运动的相似性。如果确定存在运动相似性，则考虑在代表点和邻近代表点之间的像素值差而生成可信度指数β，并且累加对应于可信度指数β的估计值以生成估计值表。考虑下述参数计算可信度指数β(a)邻近代表点的运动的匹配或者相似性的例数(b)与具有匹配或者相似运动的代表点之间的空间梯度(c)具有匹配或者相似运动的代表点之间的距离并且累加基于可信度指数β的估计值以生成估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，除了可信度指数β之外，权重系数W以标志相关性信息为基础计算，所述标志相关性信息基于与在关注像素和关注像素的邻近区域内像素之间的像素值差数据相对应的标志数据，可信度指数α被生成作为以所计算的权重系数W和作为图像数据复杂性指数的活动性A为基础所计算的值，并且累加对应于具有可信度指数α和可信度指数β的可信度指数K＝α+β的估计值，以生成估计值表。因此，能够生成基于所考虑的也具有在代表点和邻近代表点之间的像素值差的估计值的估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。由此，通过将本发明应用到例如执行运动图像数据编码等的图像处理设备，能够高效地检测运动矢量，还能够实现设备尺寸的缩小。
而且，根据本发明的特征，在从运动图像数据检测运动矢量的处理中，当从多个候选矢量中选择和确定与每个像素相关联的运动矢量时，从将与运动矢量相关联的关注像素的邻近区域中提取出特征像素，并且基于特征像素的位置信息或者像素值信息而检查相关性，以确定运动矢量。因此，不需要使用块匹配，结果能够降低用于计算相关性的估计值的计算量，例如差的绝对值之和的计算。因此，提高了处理的效率，并且能够降低用于保持像素值的存储器大小，使得能够实现硬件规模的减少。因此，通过将本发明应用到例如执行运动图像数据编码等的图像处理设备，能够更正确地检测运动矢量。


图1是用于解释块匹配概要的示意图。
图2是用于解释基于代表点匹配的运动矢量检测处理的问题的示意图。
图3是用于解释在运动矢量检测处理中使用的代表点匹配的概要的示意图。
图4包括图4(A)、(B)、(C)，是用于解释在运动矢量检测处理中执行的基于代表点匹配的估计值表的创建、基于该估计值表的候选矢量的提取、以及基于所提取的候选矢量来设定与各个像素相关联的运动矢量的概要的示意图。
图5包括图5(a)和(b)，是用于解释在运动矢量检测处理中从候选矢量确定运动矢量的处理的概要的示意图。
图6是表示用于执行运动矢量检测处理的根据本发明的运动矢量检测装置实施例的结构的示意图。
图7是用于解释用来执行运动矢量检测处理的根据本发明的运动矢量检测装置执行的处理顺序的流程图。
图8是表示在根据本发明的运动矢量检测装置中估计值表生成器的详细结构的示意图。
图9是表示在估计值表生成器中的标志数据计算器的详细结构的示意图。
图10包括图10(a)和(b)，是用于解释由标志数据计算器执行的特定处理例子的示意图。
图11包括图11(a)和(b)，是用于解释由权重计算处理器执行的特定处理例子的流程示意图。
图12是表示根据本发明的运动矢量检测装置中估计值表生成器的详细结构的第二例子的示意图。
图13是表示用于解释根据本发明的运动矢量检测装置执行的估计值表生成处理的顺序的流程图的示意图。
图14是用于解释代表点匹配的示意图。
图15是用于解释根据本发明用来执行邻近代表点的类似性检查的处理的示意图。
图16是表示根据本发明的运动矢量检测装置中估计值表生成器的详细结构的示意图。
图17是用于解释在根据本发明的运动矢量检测装置中由估计值表生成器内的运动类似性检测器执行的处理的示意图。
图18包括图18(a)和(b)，是用于解释在根据本发明的运动矢量检测装置中由估计值表生成器内的权重计算器执行的处理的示意图。
图19是用于解释在根据本发明的运动矢量检测装置中由估计值表生成器内的权重计算器执行的处理的示意图。
图20是用于解释在根据本发明的运动矢量检测装置中由估计值表生成器内的权重计算器计算的可信度指数β的特定例子的示意图。
图21包括图21(A)和(B)，是用于解释在根据本发明的运动矢量检测装置中由估计值表生成器内的代表点静止检查器执行的处理的示意图。
图22是表示用于解释根据本发明的运动矢量检测装置执行的估计值表生成处理的顺序的流程图的示意图。
图23是表示估计值表生成处理将要执行的运动图像数据的例子的示意图。
图24是表示通过将从像素相关性计算器输出的数据直接累加所生成的估计值表的例子的示意图。
图25是表示通过由根据本发明的估计值表生成器执行的处理所生成的估计值表的例子的示意图。
图26是表示通过由根据本发明的估计值表生成器执行的处理所生成的估计值表的例子的示意图。
图27是表示根据本发明的运动矢量检测装置中的运动矢量确定器的详细结构的示意图。
图28是用于解释由运动矢量确定器内的试探检查器执行的处理的示意图。
图29是表示根据本发明的运动矢量确定器内的附加信息计算器的详细结构的示意图。
图30是用于解释由附加信息计算器检测的特征像素的示意图。
图31是用于解释由附加信息计算器执行的特征像素检测处理的示意图。
图32是用于解释由根据本发明的运动矢量检测装置中的运动矢量确定器执行的详细处理的示意图。
图33是用于解释由根据本发明的运动矢量检测装置执行的运动矢量确定处理的顺序的流程图。
图34是表示根据本发明的运动矢量确定器内的附加信息计算器的示例结构的示意图。
图35是表示根据本发明的运动矢量检测装置中的运动矢量确定器的详细结构(第二实施例)的示意图。
图36是表示根据本发明的运动矢量确定器内的附加信息计算器的示例结构的示意图。
图37是用于解释由附加信息计算器检测的特性像素的示意图。
图38是用于解释由根据本发明的运动矢量检测装置中的运动矢量确定器执行的详细处理的示意图。
图39是用于解释由根据本发明的运动矢量检测装置执行的运动矢量确定处理的顺序的流程图。
图40是用于解释由根据本发明的运动矢量检测装置中的运动矢量确定器执行的详细处理的示意图。
图41是用于解释由根据本发明的运动矢量检测装置执行的运动矢量确定处理的顺序的流程图。
图42是用于解释由根据本发明的运动矢量检测装置执行的运动矢量确定处理的顺序的流程图。
具体实施例方式
下面，参考附图，详细说明根据本发明的运动矢量检测装置、运动矢量检测方法和计算机程序。说明将按下述题目顺序给出1.通过代表点匹配法和候选矢量法生成估计值表的概要。
2.运动矢量检测装置的整体结构和运动矢量检测处理的过程。
3.使用基于与邻近像素之间的差的标志的估计值表生成处理的细节。
4.考虑了在代表点和邻近代表点之间的相关性信息的估计值表生成处理的细节。
5.估计值表的特定例子。
6.基于特征像素的运动矢量确定处理的细节。
在下述运动矢量检测处理中，使用代表点匹配法。在由本专利申请的申请人早先提交的已经授权的日本专利号2083999中说明了该代表点匹配法。就是说，下述运动矢量检测处理是例子，其中使用了在背景技术部分中早先说明的候选矢量法(在日本未审查专利申请公开号2001-61152中公开)，并且其中使用了代表点匹配法。
在下述说明中，将说明基于帧的运动矢量检测处理的例子，这里，一帧的运动图像数据被考虑作为一个画面，通过画面(帧)之间的相互检查来检测帧内的运动矢量。但是，本发明不局限于该示例处理，其可以使用在例如这种情况对应于一帧的段(segment)的一场被考虑作为一个画面，以逐场为基础来执行运动矢量检测处理。
在下述说明中，尽管将主要说明用于处理基于电视信号的运动图像数据的例子，但本发明除了电视信号之外还能够应用于各种类型的运动图像数据。而且，当处理视频信号时，该视频信号可以是隔行扫描信号(interlaced signals)或者非隔行扫描信号。
参考图3到5，总体说明在根据本发明的运动矢量检测处理中使用的通过代表点匹配引起的估计值表的创建、基于该估计值表的候选矢量的提取、以及基于所检测候选矢量的各个像素的运动矢量的设定。
提取出运动图像在时间上连续的帧图像，例如图3所示的时间(t)上的当前帧[Ft]80和时间(t-1)上的先前帧[Ft-1]70。
例如，当前帧[Ft]80被考虑作为基准帧，先前帧[Ft-1]70被分割成每个由m像素×n线构成的多个块，以及设置代表各个块的代表点Ry。作为每个块的代表点，代表该块的像素值被关联，例如a.在块中心的像素值；b.块中所有像素的像素值的平均；c.块中所有像素的像素值的中值。
在代表点匹配中，与对于先前帧[Ft-1]70设定的块代表点Ry 71对应，在当前帧[Ft]80上设定一定的搜索区域81，并且将搜索区域81中包括的每个像素的像素值与代表点Ry 71的像素值进行比较。例如以由p像素×q线构成的像素区域的形式设置搜索区域81。
就是说，将搜索区域81内的每个像素的像素值和根据上述a到c之一的代表点的像素值进行比较和检查，以计算估计值(例如帧差或者检查结果)。在搜索区域81的每个偏移(每个像素位置)上计算该估计值。与先前帧[Ft-1]70内设定的每个块代表点对应、在当前帧[Ft]80上设定搜索区域，获得基于在代表点的像素值和对应搜索区域内每个像素的像素值之间的比较的估计值，以及累加一个画面中的所有代表点的估计值。如此，创建了具有与搜索区域相同大小的估计值表。
可以设置与代表点相关联的搜索区域，使得邻接搜索区域部分重叠，如图4(A)所示。图4(A)表示其中搜索区域以p×q(像素或者线)定义的区域的形式设置。例如，设置与先前帧[Ft-1]70内设定的块代表点71a相关联的搜索区域81a和与先前帧[Ft-1]70内设定的块代表点71b相关联的搜索区域81b，使得具有重叠。
如上述，搜索区域与各个代表点对应设置，在每个代表点和与该代表点对应设定的搜索区域内的像素之间进行比较，以及基于比较的值来设定估计值，使得例如在相关度变得更高时(在像素值的匹配度变得更高时)，设定更高的估计值，由此设置与每个搜索区域的构成像素对应的估计值。
累加用于搜索区域的估计值，如图4(B)所示，由此生成图4(C)所示的估计值90。估计值表包括基于在例如先前帧[Ft-1]70内n块上设定的块代表点Ry 1到n、和与用作为基准帧的当前帧[Ft]80内设定的各个代表点Ry 1到n相关联的搜索区域中的像素之间的比较的估计值，例如作为差绝对值的累加值计算的估计值，并且估计值表具有与每个搜索区域相同的大小。
在估计值表90中，当搜索区域的偏离位置(i，j)上的像素值和代表点之间的相关性高时产生峰值(极值)。发生在估计值表中的峰值对应于在运动图像数据的画面上显示的物体的运动。
例如，当整个画面(帧)以相同方式运动时，在具有与搜索区域相同大小(p×q)的估计值表中，峰值发生在对应于具有运动之方向和距离的矢量终点的位置上。当画面(帧)内两个物体以不同方式运动时，在具有与搜索区域相同大小(p×q)的估计值表中，两个峰值发生在对应于具有运动之不同方向和距离的两个矢量终点的两个位置上。当存在静止部分时，对应于静止部分的峰值也会发生。
基于如上述在估计值表中发生的峰值，获得在先前帧[Ft-1]70和用作为基准帧的当前帧[Ft]80之间的运动矢量的候选(候选矢量)。
在基于在估计值表中发生的峰值而提取出多个候选矢量之后，对于帧的每个像素，从所选择的候选矢量中选择最合适的候选矢量，其被设置作为与像素相关联的运动矢量。
参考图5，说明基于所提取候选矢量来设定用于每个像素的运动矢量的处理。
图5(a)中，中心像素91表示先前帧[Ft-1]内的一个像素。例如，该像素具有亮度值(α)。假设基于上述估计值表中发生的峰值已经提取出多个候选矢量，并且这些候选矢量是图中所示的候选矢量A、B和C。确定先前帧[Ft-1]内的像素91根据这些候选矢量的一个运动并且被显示在对应于当前帧[Ft]内像素的位置上。
图5(a)中，像素a95、a96、和a97表示像素位置的当前帧[Ft]的像素，所述像素位置基于候选矢量A、B和C被推定为从先前帧[Ft-1]内像素91运动的目的地。在包括这三个像素的块内的像素值和包括像素91的块内的像素值之间的相关性通过块匹配检查，选择具有最高相关性的对(pair)，为所选择的对而设定的候选矢量被选择作为像素91的运动矢量。
使用块匹配的原因是如果检查仅仅一个像素的对应则会发生下述问题。
(1)对于涉及关注帧内像素的基准帧内的n个候选矢量，当存在具有与运动矢量目的地的像素相同或者类似相关性的多个像素时，仅仅基于表示相关度的像素之间的差的绝对值(以后称为MC残差)来确定哪个运动矢量是正确的运动矢量是困难的。
(2)如果运动矢量是正确的，则假定与运动矢量目的地的像素之间的MC残差是最小的。然而，在实际的图像数据中，由于噪声等的影响，与正确运动矢量目的地的像素之间的MC残差在候选矢量中并不必定是最小的。
因为这些问题，单个像素的MC残差并不足以用来确定。因此，使用块尺寸的多个像素来检查关注像素作为中心的块内像素和候选矢量目的地的块内像素之间的相关性。
参考图5(b)说明特定块匹配处理。如图5(b)所示，作为在由候选矢量指示的块内包括的多个像素之间的相关性的指数，根据下式计算差的绝对值的和[公式3]SAD(vx,vy)=ΣM×N|Ft(x+vx,y+vy)-Ft-1(x,y)|]]>Ft-1(x，y)表示关注帧的亮度级别，Ft(x+vx，y+vy)表示用作为基准的帧的运动矢量目的地的亮度级别，M×N表示用于估计的块大小。
例如，使用把最小化根据上述公式计算的差的绝对值的和(SAD)的候选矢量(vx，vy)选择作为关注像素的运动矢量的方法。但是，在使用诸如块匹配的块的运动矢量分配中，不得不增加块大小，以便改善运动矢量分配的性能。然而，用于计算诸如差的绝对值之和那样的估计值的计算量增加，使得硬件规模增加。
在[6.基于特征像素的运动矢量确定处理的细节]部分将详细说明克服了上述问题的基于代表点匹配的运动矢量检测处理的方案。
如上述，通过设置表示各个块的代表点，以及仅仅对已经设置的代表点计算估计值，有可能设置候选矢量。因此，通过仅仅对有限数量的代表点计算估计值，能够降低计算估计值所需要的计算量，使得能够实现高速处理。
图6表示根据本发明的运动矢量检测装置实施例的结构，其执行运动矢量检测处理，图7表示运动矢量检测处理的处理顺序的流程图。
如图6所示，运动矢量检测装置包括估计值表生成器101、候选矢量提取器102、运动矢量确定器103和控制器104。估计值表生成器101通过输入端接收图像数据的输入作为运动矢量检测处理对象，以及生成估计值表。输入图像例如是通过光栅扫描获得的图像数据。图像数据例如包括数字色彩视频信号的分量信号中的亮度信号。
输入图像数据被提供给估计值表生成器101，在这里，具有与搜索区域相同尺寸的估计值表基于上述代表点匹配法生成。这对应于图7所示流程中的步骤S101的处理。
候选矢量提取器102从由估计值表生成器101生成的估计值表中提取出多个运动矢量作为一个画面中的候选矢量。就是说，如上述，候选矢量提取器102基于在估计值表中发生的峰值而提取多个候选矢量。这对应于图7所示流程中的步骤S102的处理。
关于由候选矢量提取器102提取的多个候选矢量，对于所有帧中的每个像素，运动矢量确定器103检查帧的像素之间的相关性，所述像素通过候选矢量被相互相关联。然后，运动矢量确定器103将链接具有最高相关性的块的候选矢量设定作为与像素相关联的运动矢量。这对应于图7所示流程中的步骤S103的处理。该处理对应于参考图5上述的处理。
对于一个画面(帧)中包括的每个像素，运动矢量确定器103从候选矢量中选择最佳矢量，由此确定用于每个像素的运动矢量，并且输出所确定的运动矢量。例如，对于特定的关注像素，使用由3线×3像素构成的总共9像素的矩形块，并且将用于链接根据块匹配而具有最高相关性的块的候选矢量确定作为关注像素的运动矢量。
控制器104控制估计值表生成器101、候选矢量提取器102以及运动矢量确定器103中的处理时序，以及进出存储器的中间数据的存储和输出等。
上面已经说明了基于代表点匹配通过运动矢量检测装置生成估计值表、和基于候选矢量方法的运动矢量检测处理的概要。
下面，说明由根据本发明的运动矢量检测装置中的估计值表生成器执行的处理的细节，即，使用基于与邻近像素之间的差的标志的估计值表生成处理的细节。图8表示估计值表生成器结构细节。
如图8所示，根据本发明的运动矢量检测装置中的估计值表生成器200包括像素相关性计算器210、标志数据计算器220、标志相关性计算器230、比较器241和242、权重计算处理器250、计算器260、以及估计值表计算器270。
像素相关性计算器210包括代表点存储器211、用于计算像素值之间的差数据的差计算器212、以及用于计算差数据绝对值的绝对值计算器。标志相关性计算器230包括标志数据存储器231，用于存储由标志数据计算器220计算的标志数据；差计算器232，用于计算标志数据之间的差数据；以及绝对值计算器223，用于计算差数据的绝对值。
权重计算处理器250包括活动性(activity)计算器251、权重计算器252、查询表(LUT)253、以及解码器254。估计值表计算器270在估计值累加器271中累加每个由例如从计算器260输出的8位数据构成的估计值，以生成估计值表，并且将该估计值表存储在估计值表存储器272中。
首先，说明由像素相关性计算器210执行的处理。像素相关性计算器210执行代表点匹配。
图像数据通过输入端例如以逐帧为基础被输入到像素相关性计算器210。被输入到像素相关性计算器210的图像数据被提供给差计算器212和代表点存储器211。
存储在代表点存储器211中的图像数据是从例如以逐帧为基础输入的图像数据所生成的预定代表点的数据。例如，一个代表点被设置在每个块中，所述块是参考图3和4上述的通过分割画面而设定的，所述块例如由m×n像素构成。代表点与代表所述块的像素值数据相关联，例如a.在块中心的像素值；b.块中所有像素的像素值的平均；c.块中所有像素的像素值的中值。
更具体地，例如，在基于来自控制器104(参考图6)的信号的时序控制之下，从输入帧图像中选择在空间上以规律间隔采样的像素位置的图像数据(像素值数据)，并且将其存储在代表点存储器211中作为代表点数据。
从代表点存储器211读出的先前帧的代表点数据、和当前帧的图像数据被提供给差计算器212。
差计算器211计算在先前帧内代表点的像素值和对应于当前帧图像数据内所设置代表点的搜索区域中的像素的像素值之间的差，例如帧差(相关性计算结果)，并将该帧差输出到绝对值计算器213。
绝对值计算器213接收基于从差计算器211输入的先前帧代表点数据和当前帧图像数据的帧差(相关性检查结果)的输入，并计算帧差的绝对值。
帧差的绝对值被输入到比较器241，并与预定阈值1(TH1)进行比较。当帧差的绝对值小于阈值1(TH1)时，确定存在相关性，结果从比较器241中输出表示存在相关性的位数据(例如[1])。当帧差的绝对值大于或者等于阈值1(TH1)时，确定不存在相关性，结果从比较器242中输出表示不存在相关性的位数据(例如
)。
迄今，是这种情况，将从比较器241输出的值直接用作为生成估计值表时的累加点。就是说，是这种情况，通过累加一个画面所有代表点相关性的计算结果来生成估计值表，并且基于在所生成估计值表中产生的峰值(极值)来提取候选矢量。
然而，如参考图2上述，当估计值表通过仅仅基于代表点的相关性检查而生成时，在一些情况下，由于被不正确检测的累加点，导致不产生具有对应于正确矢量的峰值的估计值表。
因此，根据本发明，考虑代表点附近的像素级别，即代表点附近的空间波形，生成估计值表。表示相关性存在或者不存在的、仅仅由从比较器241输出的代表点的相关性信息构成的1位数据在计算器260中基于权重计算器250的输出而被转换成例如8位数据。该8位数据被输出到估计值累加器271，使得产生基于该8位数据的估计值表。
现在，说明由标志数据计算器220、标志相关性计算器230和权重计算器250执行的处理。
(a)标志数据计算器标志数据计算器220接收图像数据的输入，并且执行用于将所有输入像素和邻接像素数据之间关系变换成标志数据的处理。
图9表示标志数据计算器220的结构细节。对于由标志数据计算器220执行的处理，通过参考将与邻接像素之间的差值变换成标志的例子来说明，如图10所示。
作为输入信号的像素信号以光栅顺序输入，并被提供给图9所示的寄存器221和差计算器226。差计算器226计算在从寄存器221输出的像素的级别和后续的输入像素的级别之间的差。
寄存器221的输出被存储在寄存器222中，并且还被提供给差计算器223。差计算器223计算在来自寄存器222的在先像素的级别和寄存器221中存储的后续像素的级别之间的差。
就是说，在图10(a)所示的例子中，对于关注像素(x，y)300，计算了与前后邻接像素(x+1，y)302和(x-1，y)303的级别之间的差值。
例如，当像素级别由0到255的8位数据表示时，这些差数据以8位差数据的形式分别从差计算器223和226中输出。
分别从差计算器223和226输出的8位差数据被输入到量化器224和227，并基于转换表225被转换成4位标志数据，该4位标志数据被输出到标志数据存储器231。
转换表225由图10(b)所示的表构成。基于差数据d的值，参考转换表225，量化器224和227将分别从差计算器223和226输入的差数据d变换成特定的标志数据。例如-255＜d≤-32→标志＝0-32＜d≤-16→标志＝1……16＜d≤32→标志＝14
32＜d≤255→标志＝15量化器224和227基于分别从差计算器223和226输入的8位差数据d(0到255)的值，生成4位标志数据(0到15)，并且将该4位标志数据输出到标志数据存储器231。
通常，作为图像数据的性质，由于与邻接像素数据之间的相关性高，使得即使通过与邻接像素之间的差值上限，通过少的位数来表示图像数据，也可推断通过恢复原始像素数据获得的整个图像中的量化误差是小的。因此，根据本实施例的方案，用于表示关注像素数据和邻接像素数据的每组3个像素的位数是8位×3＝24位，差信息被减少到4位标志数据。
在检查基于标志数据的相关性的标志相关性计算器230中，能够基于被减少到4位的数据来检查相关性。因此，处理的速度增加，硬件规模降低。
像素差数据到标志数据的转换不限于基于图10(b)所示的转换表的转换。例如，邻接像素数据的8位差数据可以被减少到4位，或者8位像素值数据的较高4位可以被用作为标志信息。
将邻接像素之间的差转换成标志的方案是一种方法的例子，由于输入像素以光栅顺序被输入，因此该方法使得通过不要求额外线存储器的小计算电路就能有效地描述空间波形。而且，由于差数据被转换成标志，因此有利的是，不会丢失由3像素构成的粗略波形信息。
(b)标志相关性计算器下面，说明由标志相关性计算器230执行的处理，其从标志数据计算器220中接收根据上述说明产生的标志数据的输入。
标志相关性计算器230将从标志数据计算器220输入的标志数据存储在标志数据存储器231中。从标志数据存储器231读出的先前帧的标志数据和当前帧的标志数据被提供给差计算器232。
差计算器232计算在先前帧的标志数据和当前帧的标志数据之间的标志差，并将该标志差输出到绝对值计算器233。
绝对值计算器233接收从差计算器232输入的、基于先前帧的标志数据和当前帧的标志数据的帧差(计算标志相关性的结果)的输入，计算帧差的绝对值，以及将绝对值输出到比较器242。
比较器242将从标志相关性计算器230输入的标志数据差的绝对值与预定阈值2(TH2)进行比较，并且在标志数据差的绝对值小于预定阈值2(TH2)时将表示存在相关性的位数据输出到权重计算器252，或者在标志数据差的绝对值大于或等于预定阈值2(TH2)时将表示不存在相关性的位数据输出到权重计算器252。
(c)权重计算处理器下面，说明由权重计算处理器250执行的处理。权重计算处理器250将由标志相关性计算器230计算的标志数据差的值输入到解码器254，并且计算图像数据的活动性。
活动性是随着图像数据变得复杂其值增加的指数。更具体地，在例如诸如亮度级别的像素值级别在小范围内显著变化的边缘区域的区域，活动性高，而如在天空图像的情况下当图像数据由平坦像素值构成时，活动性低。当代表点的邻近区域的活动性高时，很容易确定代表点是否已经运动，并且显著地影响人的视觉感知。当具有高活动性的物体面积小时，根据迄今已经使用的现有技术，估计值表内的峰值依赖于尺寸，使得峰值的级别变低，其导致提取候选矢量的困难。结果，在候选矢量不包括具有高活动性的物体的运动矢量的情况下，在确定运动矢量时确定可能的运动矢量是困难的。而且，根据图像的性质，当具有高活动性的像素数据运动时，级别在运动量不大于图像数据的采样时显著变化。不管这个性质，当确定基于像素级别数据的相关性高时，能够期望所检测候选运动矢量的可信度是高的。
参考图11详细说明活动性的计算。图11(a)表示由权重计算处理器250保持的转换表253。这是用于实现参考图10(B)前述的转换表的逆变换的表，其用于从标志数据计算像素值差。当与邻接像素之间的像素值差大时，确定活动性高。
在图11所示的例子中，[3]被输入作为左像素的标志数据信息，[9]被输入作为右像素的标志数据信息。在这种情况下，解码器254从图11(a)所示的转换表253中获得对应代表值差，并将该代表值差输出到活动性计算器251。
对应于作为左像素标志数据信息的[3]的代表点差是[-10]；对应于作为右像素标志数据信息的[9]的代表点差是[2]。
在这种情况下的活动性A是A＝|-10|+|2|＝12。
图11(b)表示在进行上述计算的情况下特定像素值的设定例子。
关注像素的像素值＝128右邻接像素的像素值＝130左邻接像素的像素值＝118。
在该设定之下，通过上述计算所计算的活动性是A＝|130-128|+|118-128|＝12该值等于动态范围(DR)，其是这3个像素中在最大像素值(MAX)＝130和最小像素值(MIN)＝118之间的差。
就是说，从标志数据计算的活动性(A)具有对应于动态范围(DR)的值。
在上述处理的例子中，权重计算处理器250从标志相关性计算器230接收标志数据的输入，并且基于像素值差数据计算活动性，该像素值差数据通过基于转换表的转换获得(参考图11)。或者，例如，如图12所示，活动性计算器251可以接收从像素相关性计算器210输出的帧差绝对值数据，以及基于该帧差绝对值数据计算活动性A。
基于标志数据或者帧差绝对值数据通过活动性计算器251计算的活动性A的值被输出到权重计算器252。权重计算器252基于从比较器241和242输入的、作为与阈值(TH1和TH2)比较结果的、表示有或者没有相关性的数据，来计算权重W，并且基于活动性A和权重W的值来计算可信度指数α。
基于代表点像素数据和不同帧上设置的搜索区域内的相关性，比较器241将由像素相关性计算器计算的像素相关性计算结果和阈值(TH1)进行比较。基于标志数据之间的相关性，比较器242将由标志相关性计算器计算的标志相关性计算结果和阈值(TH2)进行比较，并且输出比较结果。
作为相关性检查的例子，当假设代表点的像素数据和代表点的标志数据由X、Xf0、和Xf1表示，输入像素数据和输入像素的标志数据由Y、Yf0、和Yf1表示时，比较器241检查下述表达式是否被满足|X-Y|＜TH1…(表达式1)，以及比较器242检查下述表达式是否被满足|Xf0-Yf0|＜TH2…(表达式2)，|Xf1-Yf1|＜TH2…(表达式3)。
检查的结果被输入到权重计算器252。
尽管阈值TH1和TH2在本例中是固定的，但可选择地，这些阈值可以通过从图像数据计算阈值而改变。
权重计算器252基于根据上述三个表达式(表达式1到3)的检查结果将相关度计算作为权重。例如，当满足表达式1，2和3时，有可能确定相关性是高的。另一方面，当满足表达式1的条件但不满足表达式2和3的条件时，有可能确定相关性是低的。因此，有可能检查基于相关度所检测的候选运动矢量的可信度。
而且，基于从表达式1计算的残差，有可能计算像素级别的相关度。例如，当满足表达式1的条件时，作为表示相关度的指数的权重系数W能够被表示为W＝(TH1-|X-Y|)…(表达式4)。
当不满足表达式2和3时W＝0。因此，可以考虑，随着权重系数W的值变大，所检测的候选运动矢量的可信度是更高的。而且，根据表达式2和3的相关度可以被反映在权重系数W上。即Wall＝(TH1-|X-Y|)+(TH2-|Xf0-Yf0|)+(TH2-|Xf1-Yf1|)…(表达式5)。
当不满足表达式2和3时Wall＝0。
权重计算器252基于由上述方法之一计算的权重系数W和前述的活动性A计算可信度指数α。可信度指数α根据下式计算α＝A×W(表达式6)权重计算器252将基于权重系数W和活动性A根据上述表达式(表达式6)已经计算的可信度指数α输出到计算器260，并且将该可信度指数α与基于从比较器241输出的代表点像素而表示有或者没有相关性的结果位相乘。结果，当基于从比较器241输出的代表点像素而表示有或者没有相关性的结果位是[1]时，可信度指数[α]的值被输出到估计值表计算器270。
例如，当用于检查与代表点数据之间的相关性的阈值是TH1＝5并且与关注像素左右的两个邻接像素有关的活动性上限是6位时，可信度的范围为0≤α≤252，结果，与迄今使用的现有技术的1位相比，大约8位的权重能够加到估计值表。因此，能够创建可靠的估计值表。
尽管在上述实施例中，与水平邻接关注像素的两个像素之间的差的绝对值的和被用作为活动性，但是或者例如也可以使用动态范围。
估计值表计算器270在估计值累加器271中累加对应于输入可信度指数的估计值以生成估计值表，并且将估计值表存储在估计值表存储器272中。
估计值累加器271累加对应于从计算器260输入的可信度指数的估计值。结果，创建了基于可信度指数的估计值表。
参考图13所示的流程，说明上述根据本发明的由运动矢量检测装置执行的估计值表生成处理的顺序。
在步骤S201，在先前帧图像数据中设置(确定)代表点。如上述，每个块的代表点与代表该块的像素值相关联，例如a.在块中心的像素值；b.块中所有像素的像素值的平均；c.块中所有像素的像素值的中值。
在步骤S202，输入当前帧数据。当前帧数据例如以光栅顺序输入。在步骤S203，标志数据计算器220(参考图8)执行用于将输入像素和左右邻接像素之间的差变换成标志的处理。
如参考图9和10所述的，这个处理将例如8位像素值差数据变换成4位(0到15)标志数据。
在步骤S204，检查在代表点数据和输入像素数据之间的相关性。这个处理由图8所示的像素相关性计算器210和比较器241执行。当前帧的图像数据和从代表点存储器211读出的先前帧的代表点数据被提供给差计算器212，计算在先前帧内代表点的像素值和与当前帧图像数据内所设定的每个代表点相对应的搜索区域内的像素之间的像素值差，例如帧差(相关性的计算结果)，并且将该帧差输出到绝对值计算器213，在这里计算帧差的绝对值。帧差的绝对值被输入到比较器241并与预定阈值1(TH1)进行比较。当帧差的绝对值小于阈值1(TH1)时，确定存在相关性，因此从比较器241中输出表示存在相关性的位数据(例如[1])。当帧差的绝对值大于或者等于阈值1(TH1)时，确定不存在相关性，因此从比较器241中输出表示不存在相关性的位数据(例如
)。
在步骤S205，检查在代表点标志数据和输入像素标志数据之间的相关性。这个处理由图8所示的标志相关性计算器230和比较器242执行。
标志相关性计算器230将从标志数据计算器220输入的标志数据存储在标志数据存储器231中。当前帧的标志数据和从标志数据存储器231中读出的先前帧的标志数据被提供给差计算器232。
差计算器232计算在先前帧的标志数据和当前帧的标志数据之间的标志差，并将该标志差输出到绝对值计算器233。
绝对值计算器233接收从差计算器232输入的、基于先前帧的标志数据和当前帧的标志数据的帧差的输入(标志相关性计算结果)，计算帧差的绝对值，以及将帧差的绝对值输出到比较器242。
比较器242将从标志相关性计算器230输入的标志数据差的绝对值与预定阈值2(TH2)进行比较，并且在标志数据差的绝对值小于预定阈值2(TH2)时将表示存在相关性的位数据输出到权重计算器252，或者在标志数据差的绝对值大于预定阈值2(TH2)时将表示不存在相关性的位数据输出到权重计算器252。
在步骤S206，计算可信度指数α。可信度指数α的计算在权重计算器250中进行。
如上述，基于标志数据或者帧差绝对值数据，活动性A在活动性计算器251中计算，基于比较器241和242的输出计算权重系数W，基于活动性A和权重系数W，根据下式计算可信度指数αα＝A×W。
在步骤207，可信度指数α输出作为估计值表中的累加点。在步骤S208，检查在所有代表点和搜索区域内的像素之间的相关性检查是否结束。当相关性检查还没有结束时，对于未处理像素，进行步骤S202和随后步骤的处理。当处理对于所有像素结束时，结束处理。
下面，详细说明考虑代表点和邻近代表点之间的相关性信息的估计值表的生成。
首先，参考图14和15，说明本实施例中估计值表的生成概要。在迄今已经使用的代表点匹配的相关性检测中，如图14所示，例如，对于从先前帧320选择的代表点321，对于当前帧(输入帧)322内设置的搜索区域323的像素，顺序执行像素值的比较，以计算相关性并基于存在或者不存在相关性来获得估计值，该估计值被用作为估计值表中的累加点。
例如，在图14所示的例子中，当与代表点321具有高相关性的像素324在搜索区域323中检测出时，对应于矢量V(Vx，Vy)的点被累加作为估计值表中的估计值。
假定代表点321的像素值由X(x，y)表示，像素324的像素值由Y(x；Vx，y+vy)表示，当满足下式时，确定存在相关性并相加估计值|X(x，y)-Y(x，+Vx，y+vy)|＜TH。
在本实施例的估计值计算中，如图15所示，例如，对于从先前帧340选择的代表点341，对于当前帧(输入帧)350内设置的搜索区域中的像素，顺序执行像素值的比较，以计算像素值的相关性，并基于存在或者不存在相关性来检测矢量，另外，对于邻接代表点341的代表点342，对于搜索区域355内的像素也执行像素值的比较，以计算像素值的相关性，并类似地基于存在或者不存在相关性来检测矢量，当通过基于该多个代表点的相关性检测所检测的运动矢量是类似的时，设置具有增加权重的估计值。
更具体地，在基于先前帧340的代表点341的相关性检查来计算估计值时，当进行与代表点341邻近区域内的另一个代表点342有关的相关性检查，并且对于这两个代表点341和342在对应于相同矢量V(vx，vy)的位置上检测到具有高相关性的像素351和352时，则判定由代表点341和具有高相关性的像素351确定的运动矢量V(vx，vy)具有高可信度，因此输出通过添加可信度而确定权重的估计值。
如上述，当本实施例中的估计值表生成器通过对于代表点检查相关性来确定估计值时，估计值表生成器检查在基于代表点相关性信息的运动矢量和基于与邻近代表点有关的相关性信息的运动矢量之间的相似性，并且当类似运动矢量存在时通过添加可信度来设置大的估计值，而当类似运动矢量不存在时设置小的估计值，由此生成估计值表。
图16表示本实施例中估计值表生成器400的结构。如图16所示，本实施例中的估计值表生成器400包括像素相关性计算器410、运动类似性检测器420、比较器430、权重计算器441、计算器442、代表点静止检查检测器450、以及估计值表计算器270。
像素相关性计算器410包括代表点存储器411、用于计算像素值之差数据的差计算器412、以及用于计算差数据之绝对值的绝对值计算器413。运动类似性检测器420包括具有寄存器(线存储器)422和差计算器423的像素差计算器421、计算器424、绝对值计算器425、以及相关性检查器426。
代表点静止检查检测器450包括基准值存储器451、比较器452、以及标志存储器453。在估计值表计算器470中，估计值累加器471累加例如由从计算器442输出的8位数据构成的估计值，由此生成估计值表，并将估计值表存储在估计值表存储器472中。
首先，说明由像素相关性计算器410执行的处理。像素相关性计算器410执行代表点匹配。
图像数据通过输入端例如以逐帧为基础被输入到像素相关性计算器410。被输入到像素相关性计算器410的图像数据被提供给差计算器412和代表点存储器411。
存储在代表点存储器411中的图像数据是从例如以逐帧为基础输入的图像数据所生成的预定代表点的数据。例如，一个代表点被设置在每个块中，所述块是如上所述参考图3和4通过分割画面而设定的、例如由m×n像素构成。代表点与代表所述块的像素值数据相关联，例如a.在块中心的像素值；b.块中所有像素的像素值的平均；c.块中所有像素的像素值的中值。
更具体地，例如，在基于来自控制器104(参考图6)的信号的时序控制之下，从输入帧图像中选择在空间上以规律间隔采样的像素位置的图像数据(像素值数据)，并且该图像数据被存储在代表点存储器411中作为代表点数据。
当前帧的图像数据和从代表点存储器411读出的先前帧的代表点数据被提供给差计算器412。
差计算器411计算在先前帧的代表点的像素值和与当前帧图像数据内所设置的每个代表点相关联的搜索区域中的像素的像素值之间的差，例如帧差(相关性计算结果)，并将该帧差输出到绝对值计算器413。
绝对值计算器413从差计算器411接收基于先前帧代表点数据和当前帧图像数据的帧差(相关性计算结果)的输入，并且计算帧差的绝对值。
帧差的绝对值被输入到比较器430并与预定阈值进行比较。当帧差的绝对值小于阈值(TH)时，确定存在相关性，因此从比较器430中输出表示存在相关性的位数据(例如[1])。当帧差的绝对值大于或者等于阈值(TH)时，确定不存在相关性，因此从比较器430中输出表示不存在相关性的位数据(例如
)。
迄今，是这种情况，通过将从比较器430输出的值直接用作为累加点来生成估计值表。就是说，是这种情况，通过累加与一个画面所有代表点有关的相关性的计算结果来生成估计值表，并且基于在所生成估计值表中产生的峰值(极值)来提取候选矢量。
如参考图15上述，当通过对于代表点执行相关性检查来确定估计值时，根据本实施例的运动矢量检测装置中的估计值表生成器检查在基于代表点相关性信息的运动矢量和基于邻近代表点的相关性信息的运动矢量之间的相似性，并且当类似运动矢量存在时通过添加可信度来设置大的估计值，而当类似运动矢量不存在时设置具有小权重的估计值。
这些处理步骤由图16所示的运动相似性检测器420、代表点静止检查器450、权重计算器441、和计算器442执行。由这些部分执行的处理将在下面说明。
(a)运动相似性检测器首先，参考图17，在处理的特定例子的环境中说明由运动相似性检测器420执行的处理。运动相似性检测器420接收图像数据的输入，并将输入像素数据存储在像素差计算器421的寄存器(线存储器)422中。图17所示的输入帧510被存储在寄存器(线存储器)422中。差计算器423计算在寄存器(线存储器)422中所存储的像素数据和输入像素数据之间的像素值差。例如，如图17所示，计算在像素511的像素值X1和像素512的像素值X5之间的差D＝X5-X1。这个处理在图17所示的步骤1[S1]中执行。X1和X5分别表示像素511和512的像素值。
选择像素511和像素512之间的间隔等于先前帧500内设定的代表点的间隔。
然后差D被输入到计算器424，由计算器计算的结果被输入到绝对值计算器425。基于从像素差计算器421输入的值和从代表点存储器411提供的先前帧内的代表点的像素值，计算器424和绝对值计算器425执行图17所示的步骤2[S2]和步骤3[S3]中的计算。
更具体地，首先，在步骤2[S2]，计算在从图6所示代表点存储器411输入的先前帧500内的代表点像素502的像素值Q和输入帧510的像素512之间的差的绝对值|Q-X5|。
然后，在步骤3[S3]，计算在从图6所示代表点存储器411输入的先前帧内的代表点像素501的像素值P和输入帧510的像素511之间的差的绝对值|P-X5+D|。
图17示出检测出在关注代表点501和右邻近代表点502之间的相似性的例子。在代表点匹配中，在一个输入像素和多个代表点之间检查相关性，使得|Q-X5|和|P-X1|不被并行地计算，并且计算|P-X5+D|代替计算|P-X1|。因此，如图17所示的计算程序S 1到S3中那样，在进行代表点匹配之前，预先计算输入帧的输入像素和隔开代表点间隔的像素之间的差D。
然后，相关性检查器426执行图17所示步骤4[S4]的处理，即在预定的阈值[TH]和步骤2和3计算的像素差之间的比较，以检查是否满足下式|Q-X5|＜TH|P-X5+D|＜TH。
当满足|Q-X5|＜TH和|P-X5+D|＜TH两者时，确定对于代表点和邻近代表点设置相同的运动矢量，并且存在运动的相似性。然后，图16所示的运动相似性检测器420将运动相似性存在的检查结果，例如位[1]，输出到权重计算器441。
当不满足|Q-X5|＜TH和|P-X5+D|＜TH的一个时，确定对于代表点和邻近代表点不设置相同的运动矢量，并且不存在运动的相似性。然后，图16所示的运动相似性检测器420将运动相似性不存在的检查结果，例如位
，输出到权重计算器441。
(b)权重计算器下面，说明由权重计算器441执行的处理。将图像内物体上的代表点考虑作为关注像素，当通过与邻近代表点有关的相关性检测所获得的运动矢量是相似的时，权重计算器441确定该运动矢量具有高可信度，计算基于该可信度的可信度指数β，以及将该可信度指数β输出到计算器442。
计算器442接收可信度指数β的输入，并且还接收来自比较器430输出的输入，即，作为由像素相关性计算器410执行的代表点匹配的结果，基于在代表点和搜索区域像素之间的相关性检查结果，作为存在或者不存在相关性的检查结果，当存在相关性时是位[1]或者当不存在相关性时是位
。
当作为代表点匹配的结果确定存在相关性时，计算器442对位1执行加上或者乘以基于由权重计算器输入的、关于邻近代表点而检查存在运动相似性的结果而计算的可信度指数，并且将β×1或者β+1输出到估计值累加器471作为最后的估计值。
当来自运动相似性检测器420的输出指示检查出存在相似性的结果时，权重计算器441计算可信度指数β。下面详细说明权重计算器441中的可信度指数β的计算。
如图18所示，当关注代表点和邻近代表点的运动矢量是相似的时，如果在这些代表点之间存在空间梯度，即当在这些代表点之间存在大的像素值差时，如图18(a)所示，则在图像内具有亮度级别差的区域运动，并且运动矢量被考虑为具有更高的可信度。另一方面，当在这些代表点之间不存在大的像素值差时，如图18(b)所示，则具有小的亮度级别差的区域运动，例如背景区域或者天空区域，并且确定运动矢量的可信度是低的，即使检测到运动的相似性。
更具体地，如图19所示，基于在代表点之间的空间梯度550，权重计算器441计算可信度指数β。
当检查在代表点之间存在运动相似性的结果被从运动相似性检测器420中输入时，权重计算器441按照下式计算运动矢量的可信度指数β[公式4]β=ΣnN|pm-pn|]]>图20表示根据上式计算的可信度指数β的特定例子。图20表示在关注代表点550周围的四个代表点被选择作为邻近代表点，并且通过运动相似性检测器420检测到各个邻近代表点的运动相似性时的例子。
假设与关注代表点具有运动相似性的邻近代表点560和562被检测作为由运动相似性检测器420的检测结果，以及邻近代表点561和563被确定作为与关注代表点550没有运动相似性。
代表点的像素值如下代表点550→[Pm]代表点560→[P0]代表点561→[P1]代表点562→[P2]代表点563→[P3]。
在这种情况下，根据上式计算的可信度指数β是可信度指数β＝|Pm-P0|+|Pm-P2|。
当代表点的位置不是固定的，并且能够根据从图像数据计算的特定参数而变化时，希望在邻近代表点的运动矢量匹配时，考虑距关注代表点的距离来选择可信度指数。就是说，随着代表点之间的距离变短，确定类似运动矢量的可信度更高，并且随着代表点之间的距离变短，可信度指数被选择为更高。
计算在关注代表点和邻近代表点的运动矢量相似情况下的运动矢量的可信度指数β，使得该值反映下述参数的至少一个1.邻近代表点的运动的匹配或者相似的例数；2.与具有匹配或者相似运动的代表点之间的空间梯度；3与具有匹配或者相似运动的代表点之间的距离。
权重计算器441从运动相似性检测器420中接收与特定代表点相关联的N个邻近代表点的相似性检查的结果的输入，而且，如图16所示，获得基于像素相关性计算器410的输出的代表点之间的空间梯度(像素值差信息)，计算根据上述公式的可信度指数β，以及将可信度指数β输出到计算器442。
但是，当运动的相似性被应用到静止区域中的代表点时，从静止区域检测的除(0，0)矢量之外的候选运动矢量的检查结果的可信度是低的，使得将检查结果加到估计值表是无意义的。因此，考虑从在被确定为静止区域的区域中的代表点所检测的候选运动矢量的可信度是低的，可信度指数β被选择为0或者小的值。代表点的像素位置是否处于静止区域由代表点静止检查器450确定。
(c)代表点静止检查器下面，说明由代表点静止检查器450执行的处理。代表点静止检查器450包括基准值存储器451、比较器452、以及标志存储器453。
比较器452接收在像素相关性计算器410中执行的代表点匹配的结果的输入，并且将该结果与在基准值存储器451中存储的预设基准值比较，以确定代表点是否处于静止区域中。
参考图21说明由比较器452执行的静止检查的特定例子。参考图21(A)说明先前帧[Ft-1]内的代表点Ry的静止检查。该先前帧[Ft-1]内的代表点Ry的静止检查不是基于在先前帧[Ft-1]内的代表点Ry和当前帧[Ft-1]内的点Qy之间的帧差、而是基于在先前帧[Ft-1]内的代表点Ry和更先前帧[Ft-2]内的点Py之间的帧差来进行。这是因为，在使用Ry和Qy之间的帧差时，仅仅在当前帧内的Qy的数据被提供时才能够检查代表点Ry的静止，但是，在使用Ry和Py之间的帧差时，在先前帧[Ft-1]的所有数据已经被提供时获得先前帧[Ft-1]内存在的代表点的静止检查结果。
而且，由于对于帧[Ft-2]内的代表点Py，在先前帧[Ft-1]内的代表点Ry和更先前帧[Ft-2]内的点Py之间的帧差的绝对值已经通过像素相关性计算器410计算出，有可能使用这个值。
比较器452接收由像素相关性计算器410计算的在先前帧[Ft-1]内的代表点Ry和更先前帧[Ft-2]内的点Py之间的帧差的绝对值的输入。当帧差的绝对值小于在基准值存储器451内存储的预设基准值时，比较器452假设先前帧[Ft-1]内的代表点Ry处于静止区域中，并且将静止标志(0)设置在标志存储器453中。
另一方面，当由像素相关性计算器410计算的在先前帧[Ft-1]内的代表点Ry和更先前帧[Ft-2]内的点Py之间的帧差的绝对值大于或者等于在基准值存储器451内存储的预设基准值时，比较器452假设先前帧[Ft-1]内的代表点Ry不处于静止区域中，并且将运动标志(1)设置在标志存储器453中。这些标志在由控制器(图6所示的控制器104)的时序控制之下被存储在标志存储器453中。
而且，在控制器控制下的适当时序上，代表点静止检查标志从标志存储器453被输出到权重计算器441。权重计算器441基于输入标志的值来检查代表点是否处于静止区域中。当代表点处于静止区域中时，权重计算器441确定基于与代表点相关联所检测的相关性的运动矢量的可信度是低的，并且将可信度指数β设定为0或者小的值。可选择地，当计算器442进行的计算是加时，β可以被设置为0，当计算器442进行的计算是乘时，β可以被设置为1。
但代表点不处于静止区域时，根据上述公式计算的可信度指数β被输出到计算器442。计算器442进行可信度指数β的加或者乘，或者考虑可信度指数β计算输出估计值，并且将结果输出到估计值累加器471。
估计值表计算器270在估计值累加器271中累加反映输入可信度指数β的估计值以生成估计值表，并且将估计值表存储在估计值表存储器272中。
估计值累加器271累加反映从计算器260输入的可信度指数β的估计值。结果，生成了基于可信度指数β的估计值表。
参考图22所示的流程，说明上述根据本发明的由运动矢量检测装置执行的估计值表生成处理的顺序。
在步骤S301，在先前帧图像数据中设置(确定)代表点。如上述，每个块的代表点与代表该块的像素值相关联，例如a.在块中心的像素值；b.块中所有像素的像素值的平均；c.块中所有像素的像素值的中值。
在步骤S302，输入当前帧数据。当前帧数据例如以光栅顺序输入。步骤S303由像素差计算器421执行，并且计算在输入帧的输入像素和距代表点间隔(dx)的另一个输入像素之间的差。这个处理对应于参考图17说明的步骤S1中的处理，即D＝X5-X1的计算。
在步骤S304，检查在代表点数据和输入像素数据之间的相关性。这个处理由像素相关性计算器410和比较器430执行。当前帧的图像数据和从代表点存储器411读出的先前帧的代表点数据被提供给差计算器412，在这里计算在先前帧内每个代表点的像素值和与当前帧图像数据内所设定的每个代表点相对应的搜索区域内的像素值之间的差，例如帧差(相关性的计算结果)。该帧差被输出到绝对值计算器413，在这里计算帧差的绝对值。帧差的绝对值被输入到比较器430，在这里帧差的绝对值与预定阈值1(TH)进行比较。当帧差的绝对值小于阈值(TH)时，确定存在相关性，结果从比较器430中输出表示存在相关性的位数据(例如[1])。当差的绝对值大于或者等于阈值(TH)时，确定不存在相关性，结果从比较器430中输出表示不存在相关性的位数据(例如
)。
在步骤S305，从输入像素和代表点之间的差数据检测邻近代表点的运动的相似性。这个处理由运动相似性检测器420执行，并且确定基于与对应于先前帧内的关注代表点和邻近代表点的输入帧中具有高相关性的像素之间的对应而检测的在关注代表点和邻近代表点之间的运动是否是相似的。当确定出存在运动的相似性时，运动相似性检测器420将表示存在相似性的检查结果输出到权重计算器441。对于关注代表点的多个邻近代表点，执行存在或者不存在相似性的检查，并且结果的数据被输出到权重计算器441。
在步骤S306，计算可信度指数β。可信度指数β的计算由权重计算器441进行。
如上述，将在关注代表点和邻近代表点的运动矢量相似的情况下的运动矢量的可信度指数β定义为至少反映下述参数的值1.邻近代表点的运动的匹配或者相似的例数；2.与具有匹配或者相似运动的代表点之间的空间梯度；3.与具有匹配或者相似运动的代表点之间的距离。
在步骤S307，可信度指数β被输出作为估计值表的累加点。在步骤S308，检查在所有代表点和搜索区域内的像素之间的相关性检查是否结束。当相关性检查还没有结束时，对于未处理像素，进行步骤S302和随后步骤的处理。当对于所有像素的处理结束时，结束处理。
可选择地，可信度指数K可以根据下述公式通过将前述的可信度指数α和可信度指数β组合来计算K＝α+β使得反映可信度指数K的估计值被加到估计值表。在这种情况下，估计值表生成器被构成为图8所示结构和图16所示结构的组合。
在现有技术中，是这种情况，估计值表生成器被构成为通过添加作为仅仅基于代表点匹配的相关性检查的结果所获得的1位(存在或者不存在相关性)来形成估计值表。相反，通过使用上述的可信度指数α、可信度指数β或者可信度指数K＝α+β，有可能形成基于更精确估计值的估计值表。
例如，当使用可信度指数K＝α+β时，假设对每个代表点所计算的匹配的可信度α的上限是7位，相似运动所涉及的代表点数是2，即左右代表点，以及在代表点之间的空间梯度的上限是6位，则在对于左右邻近代表点检测到相同的候选运动矢量时的可信度β最大为7位，结果所检测的运动矢量的可信度指数K的权重能够通过8位分辨率(resolution)来计算。由此，能够形成具有高可信度的估计值表。
说明当使用按上述构成的具有估计值表生成器的运动矢量检测装置来处理实际运动图像数据时产生的频率分布估计值表的例子。
作为特定例子，使用其中在静止背景上存在运动物体(A)801、运动物体(B)802、运动物体(C)803、和运动物体(D)804的运动图像数据800，如图23所示。
运动物体(A)801和运动物体(C)803在水平左方向(-X方向)上运动，使得与在这些物体显示区域中的像素相关联的正确运动矢量是(Vx，Vy)＝(-n，0)。就是说，水平左方向运动矢量将被设置在这些像素区域中。运动物体(B)802在水平右方向(+X方向)上运动，使得与在该物体显示区域中的像素相关联的正确运动矢量是(Vx，Vy)＝(n，0)。就是说，水平左方向矢量将被设置在该像素区域中。
运动物体(D)804在垂直向上(+Y方向)上运动，使得与在该物体显示区域中的像素相关联的正确运动矢量是(Vx，Vy)＝(0，n)。就是说，垂直向上矢量将被设置在该像素区域中。
图24表示通过使用迄今使用的技术来仅仅累加代表点的相关性数据所生成的估计值表，例如，在日本未审查专利申请公开号2001-61152中公开的估计值表生成处理。在图24所示的估计值表中，仅仅二维地示出了与垂直方向(-Y或者+Y方向)的运动矢量相关联的峰值。
就是说，图24示出了通过直接累加从像素相关性计算器输出的数据所生成的估计值表的两维数据，其中仅仅出现了具有(Vy＝0)的峰值，即与背景区域中的静止像素的静止矢量相关联的峰值。
图25表示基于上述的可信度指数α，即基于活动性A和权重系数W的可信度指数α所生成的估计值表的两维数据。在这个表中，出现了与静止像素相关联的峰值、和与在垂直方向(Y方向)上运动的运动物体D相关联的峰值。
如上述，在以基于活动性A和权重系数W的可信度指数α所生成的估计值表中，与在图像数据的显示区域中仅仅占据小区域的物体的运动相关联的峰值能够出现在估计值表中。这用作为正确地提取候选矢量和确定运动矢量。
图26表示基于可信度指数β，即考虑了在关注代表点和邻近代表点之间的运动相似性检测、以及在代表点之间的空间梯度(像素值差)所计算的可信度指数β所生成的估计值表的三维数据。在这个估计值表中，出现了与静止像素对应的峰值、和分别对应于运动物体A，B，C和D的峰值。
如上述，在基于考虑了在关注代表点和邻近代表点之间的运动相似性检测、以及在代表点之间的空间梯度(像素值差)所计算的可信度指数β所生成的估计值表中，与在图像数据的显示区域中代表点的活动性A小但占据大区域的物体的运动相对应的峰值能够出现在估计值表中。这用作为正确地提取候选矢量和确定运动矢量。
如参考图6的上述，使用代表点匹配的运动矢量检测装置包括估计值表生成器101、候选矢量提取器102和运动矢量确定器103。估计值表生成器101基于输入图像数据生成估计值表，候选矢量提取器102从估计值表中提取多个候选矢量，以及运动矢量确定器103从多个候选矢量中确定用于每个像素的运动矢量。
但是，如上述，为了提高运动矢量确定器103对运动矢量确定的精度，在块匹配中使用的块尺寸一定要大。当块尺寸大时，需要在存储器中存储被包括在块中的大量的像素值。而且，在上述差的绝对值之和的计算中，需要进行基于被包括在块中的大量像素值的计算。这引起硬件规模增大和处理效率下降的问题。
因此，在下述实施例中，代替在由运动矢量确定器103执行的运动矢量确定处理中使用块匹配，而是基于特征像素位置信息来执行运动矢量确定处理。下面，详细说明该运动矢量确定处理。
现在，说明基于特征像素位置信息的运动矢量确定处理的两个方案，即(1)基于两点匹配的运动矢量确定处理；(2)基于三点匹配的运动矢量确定处理。
(1)基于两点匹配的运动矢量确定处理首先，说明基于两点匹配的运动矢量确定处理。图27表示根据本实施例的运动矢量检测装置中的运动矢量确定器的详细结构。图27所示的运动矢量确定器1200对应于图6所示的运动矢量检测装置中的运动矢量确定器103。
图27所示的运动矢量确定器1200从图6所示的候选矢量提取器102中接收基于上述估计值表所确定的多个候选矢量的信息输入，并且确定将与每个像素相关联的运动矢量。
如图27所示，在本实施例中的运动矢量确定器1200包括像素相关性检查器1210、试探检查器1221、门1222、附加信息计算器1250、以及特征像素位置相关性检查器1230。像素相关性检查器1210包括当前帧存储器1211、先前帧存储器1212、像素值差计算器1213、以及绝对值计算器1214。特征像素位置相关性检查器1230包括当前帧附加信息存储器1231、先前帧附加信息存储器1232、以及相关性检查器1233。参考图29和随后附图详细说明附加信息计算器1250。
像素相关性检查器1210接收图像信号的输入。该输入图像是例如通过光栅扫描获得的图像数据。例如，图像数据包括数字色彩视频信号的分量信号中的亮度信号。
图像数据以帧数据为基础输入。图像数据被首先存储在当前帧存储器1211中，然后被存储在先前帧存储器1212中。因此，像素相关性检查器1210将两个连续帧的帧数据存储在所述存储器中。
而且，像素相关性检查器1210从图6所示候选矢量提取器102中接收候选矢量信息的输入，基于候选矢量信息，对于先前帧的每个像素，即对于将确定运动矢量的每个像素(关注像素)，指定由多个候选矢量指定的当前帧内的像素位置，在像素值差计算器1213中计算在先前帧的关注像素和由多个候选矢量指定的当前帧内的每个像素之间的差，在绝对值计算器1214中计算该差的绝对值，以及将绝对值输出到试探检查器1221。
参考图28说明该系列处理。图28表示输入帧(当前帧)图像数据1300和过去帧(先前帧)图像数据1310。这些帧数据是在当前帧存储器1211和先前帧存储器1212中存储的数据。
像素相关性检查器1210从图6所示候选矢量提取器102中接收候选矢量信息的输入，候选矢量信息代表图28所示候选矢量a到g。这些候选矢量已经通过上述估计值表内的峰值的检测而获得。
像素相关性检查器1210基于候选矢量信息，对于先前帧的每个像素，即对于将确定运动矢量的每个像素(关注像素)，确定由多个候选矢量指定的当前帧内的像素位置。例如，对于图28所示的过去帧(先前帧)图像数据1310内的关注像素1311，识别了由多个候选矢量指定的当前帧内的像素位置A到G。
像素值差计算器1213计算在过去帧(先前帧)图像数据1310的关注像素1311和由候选矢量指定的当前帧内的每个像素位置A到G的像素值之间的差。绝对值计算器1214计算每个差的绝对值，即像素差的绝对值(MC残差)，并且将该绝对值输出到试探检查器1221。
试探检查器1221接收关注像素和由多个候选矢量确定的各个像素之间的差的绝对值(MC残差)的输入。例如，当候选矢量数是n时，输入n个差的绝对值(MC残差)[di]，这里i＝1到n。
试探检查器1221从n个差的绝对值(MC残差)[di]中选择与关注像素1311相关联的运动矢量。更具体地，试探检查器1221从n个差的绝对值(MC残差)[di]中选择最小的MC残差。
假设该n个MC残差的最小值用dmin表示，预定阈值用TH表示，则选择指定满足di-dmin≤TH的像素或者满足dmin的像素的任何一个的候选矢量。
在图28所示的例子中，例如，当在像素A到E中A、C和E被选择作为满足上述标准的像素时，这些所选择像素的候选矢量信息被从试探检查器1221输出到门1222，使得在从图6所示候选矢量提取器102输入的候选矢量信息中，仅仅所选择的候选矢量信息被输入到特征像素位置相关性检查器1230。
特征像素位置相关性检查器1230从由试探检查器1221选择的候选矢量中确定与像素相关联的一个运动矢量。特征像素位置相关性检查器1230基于从附加信息计算器1250输入的关注像素之邻接像素的特征像素位置信息，来检查像素值的相关性，并且从由试探检查器1221选择的候选矢量中确定运动矢量。
参考图29说明附加信息计算器1250的详细结构。作为特征像素，附加信息计算器1250例如在邻近关注像素的像素中提取与邻接像素之间具有最大像素值差绝对值的像素。
图29所示的附加信息计算器1250包括邻接像素差绝对值计算器1251，其包括寄存器1252、像素值差计算器1253、和绝对值计算器1254；寄存器1255；最大差检测器1256；最大差像素位置检测器1257；以及寄存器1258。
邻接像素差绝对值计算器1251接收要检测运动矢量的图像信号，并且将图像帧数据存储在寄存器1252中。像素值差计算器1253顺序地计算寄存器1252中存储的图像数据的邻接像素之间的差，绝对值计算器1254顺序地计算该邻接像素之间的差的绝对值，并将该绝对值输出到最大差检测器1256。
参考图30，说明特定处理。在附加信息计算器1250中，顺序计算寄存器1252中存储的图像数据的邻接像素之间的差的绝对值，以识别例如在关注像素之邻近区域内的像素中与邻接像素之间具有差的最大绝对值的像素。所述关注像素之邻近区域内的像素是指例如在关注像素水平方向前或后-8到+7个像素的像素范围内的预定像素区域。
在图30所示的例子中，在关注像素1281的邻近区域内，识别与邻接像素具有差的最大绝对值的像素1282。
图29所示的最大差检测器1256完成比较，同时在寄存器1255中存储顺序输入的邻接像素之间的差的绝对值，以对-8到+7每组16个像素检测具有像素值差之最大绝对值的像素差。就是说，如图31所示，对于16个像素的每一个，最大差检测器1256对于各组16像素顺序检测具有像素值差之最大绝对值的像素差MAXa，MAXb和MAXc。
由最大差检测器1256检测的对于每个预定区域(例如每组16个像素)具有像素值差之最大绝对值的像素的信息被输入到最大差像素位置检测器1257，在这里检测用于每个预定区域(例如每组16个像素)的最大差像素位置信息，并且该最大差像素位置信息被存储在寄存器1258中。
在图30所示的例子中，在关注像素1281的邻近区域内，当关注像素的像素位置被表示为0时，具有与邻接像素之间差的最大绝对值的像素1282的像素位置为[+4]。
在寄存器1258中存储的用于每个预定区域(例如每组16个像素)的最大差像素位置信息被顺序地输出到当前帧附加信息存储器1231。
再参考图27，继续说明由运动矢量确定器1200执行的处理。参考图29说明的来自附加信息计算器1250的特征像素位置信息被存储在图27所示的特征像素位置相关性检查器1230的当前帧附加信息存储器1231中。在当前帧附加信息存储器1231中，存储了与帧相关联而提取的用于每个预定区域(例如每组16个像素)的最大差像素位置信息。当前帧附加信息存储器1231中的信息在用于每帧的处理步骤中被传送和存储在先前帧附加信息存储器1232中。
而且，当前帧附加信息存储器1231接收试探检查器1221的输出，即由试探检查器1221选择的选择候选矢量信息。
基于在关注像素邻近区域中提取的特征像素，相关性检查器1233从由试探检查器1221选择的选择候选矢量中确定与关注像素相关联的单个运动矢量。
参考图32说明由相关性检查器1233执行的运动矢量确定处理。图32表示输入帧(当前帧)图像数据1301和过去帧(先前帧)图像数据1310，其类似于参考图28上述的情况。
在输入帧(当前帧)图像数据1300中，示出了由参考图28上述的试探检查器进行的候选矢量选择处理所选择的候选矢量a，c和e。
特征像素位置相关性检查器1230中的相关性检查器1233基于从过去帧(先前帧)图像数据1310中所选择的关注像素，即与运动矢量相关联的关注像素1311，的邻近区域中的特征像素位置数据，从候选矢量a，c，和e中确定运动矢量。
在图32所示的例子中，基于从附加信息计算器1250输入的信息，当关注像素1311的像素位置被表示为
时，确定关注像素1311的邻近区域内的特征像素位置是[-3]。图32中，关注像素的-4到+3的像素区域被示作为邻近区域。
相关性检查器1233检查关注像素1311的邻近区域内的特征像素位置和由所选择候选矢量a，c和e指定的对应像素位置A，C和E的邻近区域内的特征像素位置之间的相关性。在附图所示的例子中，在由所选择候选矢量a指定的对应像素位置A的邻近区域1301内，当像素位置A被表示为
时，特征像素出现在[-3]的位置。该特征像素是对于具有预定大小的每个像素区域所选择的特征像素，是在被定义为像素位置A之邻近区域的区域内具有与邻接像素之差的最大绝对值的像素。
在由所选择候选矢量c指定的对应像素位置C的邻近区域1302内，当像素位置C被表示为
时，特征像素出现在[-2]的位置。在由所选择候选矢量e指定的对应像素位置E的邻近区域1303内，当像素位置C被表示为
时，特征像素出现在[+2]的位置。
当关注像素位置被表示为
时，关注像素1311的邻近区域内的特征像素出现在[-3]的位置。该特征像素位置对应于由候选矢量a指定的像素A的邻近区域1301内的特征像素位置[-3]，但不对应于由另外两个候选矢量c和e指定的像素C和E的邻近区域1302和1303内的特征像素位置[-2]和[+2]。
因此，候选矢量a被选择作为与关注像素1311相关联的运动矢量。
相关性检查器1233顺序地将构成帧的像素设置作为关注像素，并且对于每个关注像素，与上述类似，检查与邻近区域内的特征像素位置之间的相关性，由此从所选择的候选矢量中选择和确定与构成帧的每个像素相关联的运动矢量。
如上述，在图27所示的运动矢量确定器中，基于关注像素的邻近区域内的像素值，指定特征像素位置，判定在与关注像素的邻近区域内的关注像素位置相对应的特征像素的相对位置和由试探检查器1221选择的每个候选矢量所指定的像素的邻近区域内的特征像素位置之间的相关性、以及将指定具有最高相关性的特征像素位置上的像素的候选矢量确定作为与关注像素相关联的运动矢量。
现在，参考图33所示流程图，说明上述运动矢量确定处理。
说明图33所示流程的各个步骤中的处理。图33表示单个关注像素的运动矢量确定处理的流程。当对帧图像的所有构成像素确定运动矢量时，帧图像的构成像素被顺序选择作为关注像素，并且对每个关注像素执行图33所示的流程。
首先，在步骤S1201执行的处理中，计算在关注像素和由n个候选矢量指定的每个像素之间的差的绝对值，即MC残差dn。这个处理由图27所示的运动矢量确定器1200中的像素相关性检查器1210执行。
步骤S1202到S1204由试探检查器1221执行。在步骤S1202中，试探检查器1221接收n个差绝对值(MC残差)[di]的输入，并且在n个MC残差中检测最小的值dmin。
在步骤S1203，进行初始设定，使得i＝0(0≤i≤n)。在步骤S1204，检查是否满足下式，这里TH表示预定阈值di-dmin≤TH。
步骤S1204中进行的处理是试探检查，用于从参考图28上述的候选矢量中选择候选矢量。当确定不满足di-dmin≤TH时，确定相关的候选矢量不是要被选择的候选矢量。然后，处理跳过基于步骤S1205和S1206的关注像素之邻近区域内的特征像素位置的相关性检查，并且前进到步骤S1207。
当在步骤S1204执行的试探检查中满足di-dmin≤TH时，相关候选矢量被选择作为所选择候选矢量，并且处理前进到步骤S1205。步骤S1205和S1206的处理由图27所示的运动矢量确定器1200的特征像素位置相关性检查器1230执行。
在步骤S1205，检查特征像素位置的相关性。在该处理中，如参考图32上述，检查是否存在在关注像素的邻近区域内的特征像素位置和被选择作为所选择候选矢量的每个像素的邻近区域内的特征像素位置之间的相关性，即位置的对应。
在步骤S1206，选择具有更高相关性的候选矢量。在步骤S1207，基于i的值，检查所有的候选矢量是否已经被检查。当没有完成检查时，处理前进到步骤S1209，其中i的值被更新(增加1)，并且重复步骤S1204和随后步骤的处理。
当所有候选矢量的检查已经结束时，处理前进到步骤S1208。在步骤S1208，在当时已经选择的候选矢量中具有最高相关性的候选矢量，即在步骤S1205计算的在关注像素的邻近区域内的特征像素位置和被选择作为所选择候选矢量的像素的邻近区域内的特征像素位置之间具有最高相关性的候选矢量，被确定作为与处理中关注像素相关联的运动矢量。
如上述，根据基于本实施例的两点匹配的运动矢量确定处理，当从候选矢量中确定运动矢量时，代替进行块匹配，使用关注像素和其附近的特征像素位置的信息。因此，不需要在块匹配中执行的基于对应于块尺寸的大量像素值的相关性计算，从而能够实现高效的处理。
当输入像素数据以光栅扫描的顺序输入时，在被限定到关注像素的水平方向的邻近区域内具有最大差绝对值的像素位置的检测、或者与邻接像素之间具有最大差绝对值的像素位置的检测，即由附加信息计算器1250进行的附加信息计算处理，能够与由图6所示的估计值表生成器101执行的估计值表生成处理并行进行，使得在估计值表生成处理结束时有可能结束附加信息的计算。因此，不需要设置新的处理周期，使得能够在不降低处理速度的情况下进行运动矢量检测处理。
尽管结合关注像素的邻近区域被定义为-8到+7的16个像素或者-4到+3的8个像素以及关注像素位置被表示为
的例子已经说明了上述实施例，但是，任意区域都能够被定义为邻近区域。而且，考虑到像素以光栅扫描的顺序被输入，通过将邻近区域仅仅设置在水平方向右侧的范围内，有可能基于光栅扫描顺序的输入像素值来比较邻接像素。因此，能够减少用于像素值的存储器面积，使得能够进一步降低硬件规模。
在上述实施例中，设置了像素的邻近区域，附加信息计算器1250将与邻近区域内邻接像素之间差绝对值成为最大的像素位置计算作为特征像素信息，并且该特征像素信息被用于相关性检查。就是说，用于相关性检查的信息是(a)具有与邻接像素的差绝对值的像素的位置代替仅仅使用具有与邻接像素之间最大差绝对值的像素位置的信息，例如，下述信息可以被用作为相关性检查信息(b)具有与邻接像素之间最大差绝对值的像素的位置和像素值图34表示在(b)情况下，即具有与邻接像素之最大差绝对值的像素的位置和像素值用作为相关性检查信息之情况下，附加信息计算器1250的示例结构。
图34所示附加信息计算器1250的结构基本上与图29所示附加信息计算器1250的结构相同，其包括邻接像素差绝对值计算器1251，其包括寄存器1252、像素值差计算器1253和绝对值计算器1254；寄存器1255；最大差检测器1256；最大差像素位置检测器1257；以及寄存器1258。
邻接像素差绝对值计算器1251接收要检测运动矢量的图像信号的输入，并且将图像帧数据存储在寄存器1252中。像素值差计算器1253顺序地计算寄存器1252中存储的图像数据的邻接像素之间的差。绝对值计算器1254顺序地计算该邻接像素之间的差的绝对值并将该绝对值输出到最大差检测器1256。
最大差检测器1256执行比较，同时在寄存器1255中存储顺序输入的邻接像素之间的差的绝对值，由此在例如每组16个像素的每个预定区域中检测具有像素值差之最大绝对值的像素差。
由最大差检测器1256检测的对于每个预定区域(例如每组16个像素)具有最大绝对像素值差的像素的信息被输入到最大差像素位置检测器1257，在这里检测用于每个预定区域(例如每组16个像素)的具有最大差的像素的位置信息，并且该位置信息被存储在寄存器1258中。
参考图29如上所述的附加信息计算器1250仅仅将寄存器1258中存储的位置信息输出到当前帧附加信息存储器1231，使得基于位置信息检查相关性。图34所示的附加信息计算器1250将具有最大差之像素位置的像素值信息、以及在寄存器1258中存储的代表具有最大差之像素位置的位置信息，从寄存器1255输出到当前帧附加信息存储器1231。
在图27所示的特征像素位置相关性检查器1230中，使用这两个数据，即具有与邻接像素之间最大差绝对值的像素的位置信息和像素值信息，来检查相关性。
例如，在上述图32中，即使当所有被选择候选矢量在与关注像素邻近区域中所检测的像素位置相同的位置上具有特征像素时，通过进一步检查像素值的相关性，有可能选择具有最高匹配度的候选矢量，并将该候选矢量确定作为关注像素的运动矢量。
通过不仅使用位置信息而且还使用像素值级别信息或者像素值级别差信息以及位置信息来用于相关性检查，有可能更精确地确定运动矢量。
上述两点匹配基于物体运动且具有确定面积的假设。例如，当特征像素被设置在远离关注像素的位置时，为相同物体的概率是低的。因此，可以执行处理，使得与特征像素之间的距离被反映在相关性以及特征位置的匹配度上。就是说，对于距关注像素近的位置上的特征像素，其权重可以在相关性检查中增加，同时，对于距关注像素远的位置上的特征像素，其权重在相关性检查中降低。
(2)基于三点匹配的运动矢量确定处理下面，说明基于三点匹配的运动矢量确定处理。图35表示根据本实施例的运动矢量检测装置中的运动矢量确定器的详细结构。图35所示的运动矢量确定器400对应于图6所示的运动矢量检测装置中的运动矢量确定器103。
图35所示的运动矢量确定器400从图6所示的候选矢量提取器102中接收基于上述估计值表所确定的多个候选矢量的信息输入，并且确定将与每个像素相关联的运动矢量。
如图35所示，本实施例中的运动矢量确定器400包括像素相关性检查器1410、试探检查器1421、附加信息计算器1450、当前帧附加信息存储器1422、先前帧附加信息存储器1423、以及邻近区域信息相关性检查器1430。像素相关性检查器1410包括当前帧存储器1411、先前帧存储器1412、像素值差计算器1413、以及绝对值计算器1414。邻近区域信息相关性检查器1430包括寄存器1431和1432、门1433、和相关性检查器1434。参考图35详细说明附加信息计算器1450。
像素相关性检查器1410接收图像信号的输入。该输入图像是例如通过光栅扫描获得的图像数据，如参考图6上述的。例如，图像数据包括数字色彩视频信号的分量信号中的亮度信号。
图像数据以帧数据为基础输入。图像数据被首先存储在当前帧存储器1411中，然后被存储在先前帧存储器1412中。因此，像素相关性检查器1410将两个连续帧的数据保持在所述存储器中。
而且，像素相关性检查器1410从图6所示候选矢量提取器102中接收候选矢量信息的输入，基于候选矢量信息，对于先前帧的每个像素，即对于将确定运动矢量的每个像素(关注像素)，识别由多个候选矢量指定的当前帧内的像素位置，在像素值差计算器1413中计算在先前帧的关注像素和由多个候选矢量指定的当前帧内的每个像素之间的差，在绝对值计算器1414中计算该差的绝对值，以及将差的绝对值输出到试探检查器1421。系列处理与上述两点匹配的情况相同。
试探检查器1421接收关注像素和由多个候选矢量确定的各个像素之间的差的绝对值(MC残差)的输入。例如，当候选矢量数是n时，输入n个差的绝对值(MC残差)[di]，这里i＝1到n。
试探检查器1421从n个差的绝对值(MC残差)[di]中选择与关注像素相关联的运动矢量。更具体地，试探检查器1421从n个差的绝对值(MC残差)[di]中选择小的MC残差。这个处理也与上述两点匹配情况相同。例如，假设该n个MC残差的最小值用dmin表示，预定阈值用TH表示，则选择指定满足下式的像素或者满足dmin的像素的候选矢量di-dmin≤TH。
在参考图28上述的例子中，例如，当在像素A到E中A、C和E被选择作为满足上述标准的像素时，用于这些像素的所选择候选矢量信息被从试探检查器1421输出到门1433，使得在从图6所示候选矢量提取器102输入的候选矢量信息中，仅仅所选择的候选矢量信息被输入到邻近区域信息相关性检查器1430。
而且，在根据本实施例的像素相关性检查器1410中，关注像素的邻近区域内的两个像素的像素信息被从像素相关性检查器1410的当前帧存储器1411输入到邻近区域信息相关性检查器1430的寄存器1432，对应于由候选矢量指定的n个像素的两个像素，即n×2个像素，被从像素相关性检查器1410的先前帧存储器输入到邻近区域信息相关性检查器1430的寄存器1431。
邻近区域中的哪个像素将被输出由当前帧附加信息存储器1422、先前帧附加信息存储器1423以及n个候选矢量的信息输出来确定。
由附加信息计算器1450计算的结果被输出到当前帧附加信息存储器1422和先前帧附加信息存储器1423。
参考图36说明附加信息计算器1450的特定结构。例如，附加信息计算器1450提取与关注像素之间具有最大像素值差的像素和与关注像素之间具有最小像素值差的像素，作为关注像素附近的像素中的特征像素。
图36所示的附加信息计算器1450包括关注像素差计算器1451，其包括寄存器1452和像素值差计算器1453；最大差像素信息获得单元(MAX)1454；最小差像素信息获得单元(MIN)1455；最大差像素位置检测器1456；寄存器1457；最小差像素位置检测器1458；以及寄存器1459。
关注像素差计算器1451接收要检测运动矢量的图像信号的输入，并且将图像帧数据存储在寄存器1452中。像素值差计算器1453顺序地计算寄存器1452中存储的图像数据的邻近区域内的差，并且将具有最大差的像素的信息存储在最大差像素信息获得单元(MAX)1454中，同时将具有最小差的像素的信息存储在最小差像素信息获得单元(MIN)1455中。这些像素信息包括像素位置信息。
参考图37，说明特定处理。在附加信息计算器1450中，对于寄存器1452中存储的图像数据，顺序计算关注像素和关注像素的邻接像素值之间的差，以在关注像素的邻近区域内的像素中获得例如与关注像素之间具有最大差的像素的信息和与关注像素之间具有最小差的像素的信息。所述关注像素的邻近区域内的像素是指例如在水平方向上关注像素的-8到+7像素范围、或者在二维区域中设定的块的预定像素区域。
在图37所示的例子中，在关注像素1481的邻近区域内，当关注像素1481的像素位置被表示为
时，具有与关注像素之间最大差的像素是像素1482，即在像素位置[-5]上的像素。就是说，具有最大空间梯度的像素被选择，像素信息被获得作为特征像素。而且，当关注像素1481的像素位置被表示为
时，具有与关注像素之间最小差的像素是像素1483，即在像素位置[-1]上的像素。就是说，具有最小空间梯度的像素被选择，像素信息被获得作为特征像素。
图36所示的最大差像素信息获得单元(MAX)1454基于被顺序输入其中的像素的差信息来在例如每组-8到+7的16个像素的每个预定区域中检测与关注像素之间具有最大差的像素。最小差像素信息获得单元(MIN)1455基于被顺序输入其中的像素的差信息来在每个预定区域中检测与关注像素之间具有最小差的像素。
由最大差像素信息获得单元(MAX)1454检测的在每个预定区域中具有最大像素差的像素的信息被输入到最大差像素位置检测器1456，在这里每个预定区域(例如每组16个像素)的最大差像素位置信息被检测，而且该最大差像素位置信息被存储在寄存器1457中。
由最小差像素信息获得单元(MIN)1455检测的在每个预定区域中具有最小像素差的像素的信息被输入到最小差像素位置检测器1458，在这里每个预定区域(例如每组16个像素)的最小差像素位置信息被检测，而且该最小差像素位置信息被存储在寄存器1459中。
例如，在图37所示的例子中，在关注像素1481的邻近区域内，当关注像素的像素位置被表示为0时，与关注像素之间具有最大差的像素1482的像素位置为[-5]。当关注像素的像素位置被表示为0时，与关注像素之间具有最小差的像素1483的像素位置为[-1]。
在寄存器1457中存储的用于每个预定区域(例如每组16个像素)的最大差像素位置信息和在寄存器1459中存储的用于每个预定区域(例如每组16个像素)的最小差像素位置信息被顺序地输出到当前帧附加信息存储器1422。
再参考图35，继续说明由运动矢量确定器400执行的处理。参考图36说明的来自附加信息计算器1450的特征像素位置信息被输入到图35所示的当前帧附加信息存储器1422中。对于每个帧的处理，该附加信息被传送到先前帧附加信息存储器1423。
输入到当前帧附加信息存储器1422的当前帧存储器内的附加信息，也就是与关注像素相关联的两个特征像素位置信息，即，与关注像素之间具有最大差的像素位置信息和与关注像素之间具有最小差的像素位置信息，被输出到像素相关性检查器1410的当前帧存储器1411，并且两点的像素信息基于输出信息被存储在邻近区域信息检查器1430的寄存器1432中。该像素信息包括像素位置信息。
而且，输入到先前帧附加信息存储器1423的先前帧存储器内的附加信息，也就是与关注像素之间具有最大差的像素位置信息和与关注像素之间具有最小差的像素位置信息，被输出到像素相关性检查器1410的先前帧存储器1412。先前帧存储器1412还从候选矢量提取器中接收n个候选矢量的信息输入。从由候选矢量信息指定的每个像素所确定的邻近区域中识别两个特征像素，使得n×2个特征像素信息被存储在邻近区域信息检查器1430的寄存器1431中。该像素信息包括像素位置信息。
寄存器1431中存储的n×2个特征像素信息通过门1433被输出到相关性检查器1434。在门1433，基于通过试探检查器1421的试探检查而从n个候选矢量中所选择的所选择候选矢量，仅仅在与所选择候选矢量相关联的像素的邻近区域内的特征像素信息被输出到相关性检查器1434。
另一方面，关注像素的特征像素信息被直接输出到相关性检查器1434。相关性检查器1434检查这些特征像素的相关性，以从所选择候选矢量中确定单个运动矢量。
参考图38说明由相关性检查器1434执行的运动矢量确定处理。图38表示输入帧(当前帧)的图像数据1500和过去帧(先前帧)的图像数据1510，其类似于参考图28上述的情况。
在输入帧(当前帧)的图像数据1500中，示出了由参考图28上述的试探检查器进行的候选矢量选择处理所选择的候选矢量a，c和e。
邻近区域信息检查器1430中的相关性检查器1433基于从过去帧(先前帧)图像数据1510中所选择的关注像素，即与运动矢量相关联的关注像素1511，的邻近区域中的特征像素位置数据，从候选矢量a，c，和e中确定运动矢量。
在图38所示的例子中，关注像素1511的邻近区域是二维块区域。邻近区域的设置是任意的，可以设置水平一维区域，类似于前述两点匹配的情况。
当将关注像素1511的像素位置作为中心时，确定在与关注像素之间具有最大差的像素位置上的最大空间梯度像素1512和在与关注像素之间具有最小差的像素位置上的最小空间梯度像素1513。
在输入帧(当前帧)1500中，在由各个所选择候选矢量指定的像素周围设置的每个像素区域中，即在与所选择候选矢量a相关设置的像素区域1501、与所选择候选矢量c相关设置的像素区域1502、以及在与所选择候选矢量e相关设置的像素区域1503的每一个中，确定与中心像素之间具有最大差的像素位置上的最大空间梯度像素和与中心像素之间具有最小差的像素位置上的最小空间梯度像素。
相关性检查器1433检查关注像素1511的邻近区域内的特征像素位置和由所选择候选矢量a，c和e指定的像素位置的邻近区域内的特征像素位置之间的相关性。
在附图所示的例子中，由所选择候选矢量1指定的邻近区域1501处于对应于关注像素1511的邻近区域内的特征像素位置的位置上。由另外两个所选择候选矢量c和e指定的邻近区域1502和1503不位于对应于关注像素1511的邻近区域内的特征像素位置的位置上。
因此，候选矢量a被选择和确定作为与关注像素1511相关联的运动矢量。
相关性检查器1433顺序地将帧内的像素设置作为关注像素，并且对于每个关注像素，与上述处理类似，执行用于检查邻近区域内的特征像素位置的相关性的处理，由此从所选择的候选矢量中选择和确定与帧内的每个像素相关联的运动矢量。
如上述，在图35所示的运动矢量确定器400中，基于关注像素的邻近区域内的像素值，识别两个特征像素位置，检查在与关注像素的邻近区域内的关注像素位置相对应的特征像素的位置和由试探检查器1221选择的候选矢量所指定的像素的邻近区域内的特征像素位置之间的相关性，以及将指定具有最高相关性的特征像素位置的像素的候选矢量确定作为与关注像素相关联的运动矢量。
现在，参考图39所示流程图，说明上述运动矢量确定处理的顺序。图39所示流程涉及确定与单个关注像素相关联的运动矢量的处理。当对帧图像的所有像素确定运动矢量时，帧图像内的像素被顺序设定作为关注像素，并且对每个关注像素执行图39所示的流程。
首先，步骤S1301执行的处理是计算在关注像素和由n个候选矢量指定的像素之间的差的绝对值，即MC残差dn。这个处理由图35所示的运动矢量确定器的像素相关性检查器1410执行。
步骤S1302到S1304由试探检查器1421执行。在步骤S1302中，试探检查器1421接收n个差绝对值(MC残差)[di]的输入，并且检测n个MC残差中的最小值dmin。
在步骤S1303，进行初始设定，使得i＝0(0≤i＜n)。在步骤S1304，检查是否满足下式，这里TH表示预定阈值di-dmin≤TH。
步骤S1304中进行的处理是试探检查，用于选择候选矢量，如参考图28上述。当确定不满足di-dmin≤TH时，确定相关的候选矢量将不被选择作为选择的候选矢量。然后，跳过基于关注像素之邻近区域内的特征像素位置的步骤S1305，S1306和S1307中的相关性检查，处理前进到步骤S1308。
当在步骤S1304执行的试探检查中满足di-dmin≤TH时，相关候选矢量被选择作为所选择候选矢量，并且处理前进到步骤S1305。
在步骤S1305，检查特征像素位置的相关性。如参考图36的上述，在该处理中，检查在关注像素的邻近区域内的两个特征像素的位置和被选择作为所选择候选矢量的像素的邻近区域内的两个特征像素的位置之间是否存在相关性，即位置的对应。
在步骤S1306，选择具有更高相关性的候选矢量。在步骤S1307，基于i的值，检查所有的候选矢量检查是否已经完成。当没有完成检查时，处理前进到步骤S1310，其中i的值被更新(增加1)，并且重复步骤S1304和随后步骤的处理。
当所有候选矢量的检查已经结束时，处理前进到步骤S1308，其中，在已经选择的候选矢量中具有最高相关性的候选矢量，即在步骤S1305计算的在关注像素的邻近区域内的两个特征像素的位置和被选择作为所选择候选矢量的像素的邻近区域内的两个特征像素的位置之间具有高相关性的候选矢量被确定作为与处理中的关注像素相关联的运动矢量。
如上述，在基于本实施例的三点匹配的运动矢量确定处理中，当从候选矢量中确定运动矢量时，不执行块匹配，而是使用关注像素和邻近该关注像素的两个特征像素的位置信息。因此，不需要基于块匹配中使用的根据块尺寸的大量像素值的相关性计算，结果能够实现高效的处理。
在上述实施例中，基于使用当前帧和先前帧的两个特征像素位置的位置信息来检查相关性。或者，也可以基于与关注像素相关联的特征像素位置上的像素值来检查相关性。就是说，可以仅仅基于使用关注像素的像素值和关注像素的邻近区域内的两个特征像素的三点来进行块匹配。参考图40说明该处理的顺序。
图40表示输入帧(当前帧)图像数据1600和过去帧(先前帧)图像数据1610，其类似于上述图38。
在输入帧(当前帧)的图像数据1600中，示出了由参考图28上述的试探检查器进行的候选矢量选择处理所选择的候选矢量a，c和e。
邻近区域信息检查器1430中的相关性检查器1433基于从过去帧(先前帧)图像数据1510中所选择的关注像素、即作为与运动矢量相关联的像素的关注像素1511，的邻近区域中的特征像素位置数据，从候选矢量a，c，和e中确定运动矢量。
在图40所示的例子中，关注像素1611的邻近区域是二维块区域。邻近区域的设置是任意的，可以设置水平一维区域，类似于前述两点匹配的情况。
当将关注像素1611的像素位置作为中心时，确定在与关注像素之间具有最大差的像素位置上的最大空间梯度像素1612和在与关注像素之间具有最小差的像素位置上的最小空间梯度像素1613。
在输入帧(当前帧)1600中，在由各个所选择候选矢量指定的像素周围设置的每个像素区域中，即在与所选择候选矢量a相关设置的像素区域1601、在与所选择候选矢量c相关设置的像素区域1602、以及在与所选择候选矢量e相关设置的像素区域1603的每一个中，拾取与关于在过去帧中检测的关注像素1611的最大空间梯度像素1612和最小空间梯度像素1613的位置相对应的像素，并输出到图35所示的邻近区域信息相关性检查器1430。
如图40所示，从由所选择候选矢量a，c和e指定的每一个像素区域1601，1602和1603中，拾取与关于在过去帧中检测的关注像素1611的最大空间梯度像素1612和最小空间梯度像素1613的位置相对应的像素，并且检查相关性。
就是说，在图35所示的邻近区域信息检查器1430中，检查这些像素之间的像素值的相关性。更具体地，判定在与关注像素1611相关的最大空间梯度像素1612和最小空间梯度像素1613的位置上的像素以及在像素区域1601，1602，和1603的对应位置上的像素的像素值之间的相关性。至于中心像素，通过试探检查器1421检查相关性。因此，获得了仅仅基于三点的匹配的结果，并且与通过三点匹配被确定为具有最高相关性的数据相关的所选择候选矢量被确定为与关注像素相关联的运动矢量。
图41表示根据上述方法的运动矢量确定处理的流程。在图41所示的处理流程中，步骤S1401到S1404的处理对应于参考图39上述的处理流程中的步骤S1301到S1304的处理，其中所选择候选矢量通过试探检查器提取出。
在步骤S1405，进行基于三点的块匹配。就是说，如参考图40的上述，从由所选择候选矢量指定的每一个像素区域中，拾取与关于在过去帧中检测的关注像素的最大空间梯度像素和最小空间梯度像素的位置相对应的像素，并且检查相关性。对于中心像素，即与关注像素位置相关联的像素相关性信息，参考试探检查器的检查结果。
通过在这三点之间检查匹配来检查相关性，具有最高相关性的矢量被确定为与关注像素相关联的运动矢量。步骤S1406到S1408和S1410的处理对应于参考图39上述的处理流程中的步骤S1306到S1308和S1310的处理，因此其说明省略。
如上述，在基于三点匹配从候选矢量确定运动矢量的处理中，不使用关注像素的邻近区域(块)中的所有像素来检查相关性，而使用关注像素和两个邻接特征像素的位置信息或者像素值信息。因此，不需要基于块匹配中使用的根据块尺寸的大量像素值的相关性计算，结果能够实现高效的处理。
有可能执行将上述两个处理结合的处理，即基于参考图39说明的使用特征像素位置的相关性信息的相关性检查的运动矢量确定处理、和基于参考图41说明的使用像素值的相关性信息的相关性检查的运动矢量确定处理。
图42表示用于解释处理顺序的流程，该处理顺序将基于使用特征像素位置的相关性信息的相关性检查的运动矢量确定处理和基于使用像素值的相关性信息的相关性检查的运动矢量确定处理结合。
在图42所示的处理流程中，步骤S1501到S1504的处理对应于参考图39上述的处理流程中的步骤S1301到S1304的处理，其中所选择的候选矢量通过试探检查器提取出。
在步骤S1505，检查特征像素位置的相关性。如参考图36上述，在该处理中，检查在关注像素的邻近区域内的两个特征像素的位置和被选择作为所选择候选矢量的像素的邻近区域内的两个特征像素的位置之间是否存在相关性，即位置的对应。
然后，在步骤S1506，进行基于三像素的块匹配。就是说，如参考图40上述，从由所选择候选矢量指定的每一个像素区域中，拾取与关于在过去帧中检测的关注像素的最大空间梯度像素和最小空间梯度像素的位置相对应的像素，并且检查相关性。对于中心像素，即与关注像素位置相关联的像素相关性信息，参考试探检查器的检查结果。
在步骤S1507，考虑步骤S1505的相关性检查和步骤S1506的相关性检查二者来选择具有最高相关性的矢量。步骤S1508到S1510的处理对应于参考图39上述的处理流程中的步骤S1307到S1308和S1301的处理，因此其说明省略。
如上述，在基于像素位置的相关性和三点匹配从候选矢量确定运动矢量的处理中，不需要使用关注像素的邻近区域(块)中的所有像素来检查相关性，而仅仅使用像素信息的极小的量。因此，不需要基于块匹配中使用的根据块尺寸的大量像素值的相关性计算，结果能够实现高效的处理。
尽管参考特定实施例已经说明了本发明，但显然，对于本领域技术人员，在不脱离本发明精神的情况下，有可能对实施例进行改进或者替换。就是说，本发明已经利用例子进行了说明，本发明不应当做限制性解释。应当根据权利要求来解释本发明的精神。
本说明书所述的处理系列能够由硬件、软件、或者硬件和软件的组合来进行。当处理通过软件实现时，其中记录了处理序列的程序被安装和执行在嵌入于特殊硬件中的计算机存储器中，或者程序被安装和执行在能够执行各种处理的通用计算机上。
例如，程序能够被预先记录在用作为记录媒体的硬盘或者只读存储器(ROM)上。另外，程序可以被临时或者永久地存储(记录)在诸如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘或者半导体存储器等可移去记录媒体上。这种可移去记录媒体能够以所谓封装软件的形式提供。
代替将程序从上述可移去记录媒体安装在计算机上，程序可以从下载站点无线地传送到计算机或者通过诸如LAN(局域网)或者因特网的网络有线地传送到计算机，结果计算机能够接收被传送的程序，并将程序安装在诸如硬盘的内部记录媒体上。
代替以上述顺序顺序地执行，可以按照需要或者根据执行处理的设备的处理能力来并行或个别地进行本说明书说明的各种处理。本说明书中的系统是指多个设备的逻辑组合，不限于构成设备存在于同一壳体内的情况。
工业实用性如上述，根据本发明的特征，当基于代表点匹配生成估计值表时，考虑代表点和邻近代表点的像素的级别的空间波形来执行相关性检查。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，权重系数W以代表点像素的相关性信息和标志相关性信息为基础计算，所述标志相关性信息基于与在关注像素和关注像素的邻近区域内像素之间的像素值差数据相对应的标志数据，可信度指数α被生成作为以所计算的权重系数W和作为图像数据复杂性指数的活动性A为基础所计算的值，并且累加对应于可信度指数α的估计值以生成估计值表。因此，能够生成基于考虑了在代表点和邻近代表点的像素之间的像素值差而设定权重的估计值的估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，计算对应于在关注像素和关注像素的邻近区域内像素之间的像素值差数据的标志数据，使得标志数据具有比像素值差数据更少的位数，使得标志相关性能够通过处理具有少位数的数据来计算。因此，能够在不降低处理速度的情况下生成精确的估计值表，以及能够更正确地检测运动矢量。因此，通过将本发明应用到例如执行运动图像数据编码等的图像处理设备，能够高效地检测运动矢量，还能够实现设备尺寸的缩小。
而且，根据本发明的特征，当基于代表点匹配生成估计值表时，检查在代表点和邻近代表点的像素之间的运动相似性。当存在运动相似性时，确定相关性检查结果的可信度是高的。然后，计算可信度指数β，累加基于可信度指数β的估计值以生成估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，检查在代表点和邻近该代表点的代表点之间的运动相似性。如果确定存在运动相似性，则考虑在代表点和邻近代表点之间的像素值差而生成可信度指数β，并且累加对应于可信度指数β的估计值，以生成估计值表。考虑下述参数计算可信度指数β(a)邻近代表点的运动的匹配或者相似性的例数；(b)与具有匹配或者相似运动的代表点之间的空间梯度；(c)具有匹配或者相似运动的代表点之间的距离。并且累加基于可信度指数β的估计值，以生成估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。
而且，根据本发明的特征，除了可信度指数β之外，权重系数W以标志相关性信息为基础计算，所述标志相关性信息基于与在关注像素和关注像素的邻近区域内像素之间的像素值差数据相对应的标志数据，可信度指数α被生成作为以所计算的权重系数W和作为图像数据复杂性指数的活动性A为基础所计算的值，并且累加对应于具有可信度指数α和可信度指数β的可信度指数K＝α+β的估计值以生成估计值表。因此，能够生成基于也考虑了具有在代表点和邻近代表点之间的像素值差的估计值的估计值表。因此，能够生成更精确的估计值表，并能够更正确地检测运动矢量。由此，通过将本发明应用到例如执行运动图像数据编码等的图像处理设备，能够高效地检测运动矢量，还能够实现设备尺寸的缩小。
而且，根据本发明的特征，在从运动图像数据检测运动矢量的处理中，当从多个候选矢量中选择和确定与每个像素相关联的运动矢量时，从将与运动矢量相关联的关注像素的邻近区域中提取出特征像素，并且基于特征像素的位置信息或者像素值信息来检查相关性以确定运动矢量。因此，不需要使用块匹配，结果能够降低用于计算相关性的诸如差的绝对值之和的计算的估计值计算的量。因此，提高了处理的效率，并且能够降低用于保持像素值的存储器大小，使得能够实现硬件规模的减少。因此，通过将本发明应用到例如执行运动图像数据编码等的图像处理设备，能够更正确地检测运动矢量。
权利要求
1.一种运动矢量检测装置，用于从运动图像数据中检测运动矢量，所述运动矢量检测装置包括估计值表生成器，基于时间轴上不同帧之间的像素值相关性信息而生成估计值表；以及运动矢量确定器，基于估计值表来检测运动图像数据帧内像素的运动矢量，并将该运动矢量与该像素相关联；其中，所述估计值表生成器包括像素相关性计算器，以基于从一个帧中所选择的代表点的代表点匹配为基础，计算时间轴上不同帧之间的相关性信息；权重计算器，使用由像素相关性计算器的计算结果、和以在关注像素和邻近关注像素的像素之间的像素值差为基础的计算结果中的至少一个，来生成运动的可信度指数；以及估计值表计算器，通过累加对应于由权重计算器计算的可信度指数的估计值来生成估计值表。
2.根据权利要求1的运动矢量检测装置，还包括运动相似性检测器，用于检测在对应于关注像素的代表点和邻近该代表点的代表点之间的运动的相似性，其中，所述权重计算器基于作为运动相似性检测器检测结果的在代表点和邻近代表点之间存在运动相似性的判定，通过考虑在代表点和邻近代表点之间的像素值差，来生成运动的可信度指数。
3.根据权利要求2的运动矢量检测装置，其中，如果在代表点之间存在运动相似性的判定已经从运动相似性检测器输入，则所述权重计算器被构成为根据下述公式，基于关注代表点的亮度级别Pm和被确定为具有运动相似性的N个邻近代表点的亮度级别Pn，来计算可信度指数β[公式1]β=ΣnN|Pm-Pn|.]]>
4.根据权利要求2的运动矢量检测装置，其中，所述运动矢量检测装置还包括计算器，所述计算器接收来自像素相关性计算器的基于代表点匹配的有无相关性的检查结果的输入、和来自权重计算器的可信度指数的输入，以及其中所述计算器被构成为把从像素相关性计算器输入的基于代表点匹配的有无相关性的检查结果、和可信度系数进行相加或者相乘，以计算最终估计值，并且将最终估计值输出到估计值表计算器。
5.根据权利要求2的运动矢量检测装置，其中，如果在代表点之间存在运动相似性的判定已经从运动相似性检测器输入，则所述权重计算器被构成为计算可信度指数，使得可信度指数反映下述参数中的至少一个(a)邻近代表点的运动的匹配或者相似的例数；(b)与具有匹配或者相似运动的代表点之间的空间梯度；(c)具有匹配或者相似运动的代表点之间的距离。
6.根据权利要求2的运动矢量检测装置，其中，所述估计值表生成器还包括代表点静止检查器，用于检查代表点是否处于静止区域中，以及其中，当代表点静止检查器确定代表点处于静止区域中时，所述权重计算器被构成为将可信度指数设置为0或者减少值。
7.根据权利要求2的运动矢量检测装置，其中，所述估计值表生成器还包括标志数据计算器，生成对应于在关注像素和该关注像素的邻近区域内像素之间的像素值差数据的标志数据；以及相关性计算器，基于标志数据计算帧之间的标志数据相关性信息；其中，所述权重计算器被构成为使用基于像素相关性计算器之计算结果的像素相关性信息和基于标志相关性计算器之计算结果的标志相关性信息中的至少一个，来计算权重系数W，并且生成可信度指数作为基于该权重系数W所计算的值，其中，所述权重计算器被构成为基于考虑了在所述代表点和所述邻近代表点之间的像素值差所生成的可信度指数、和被计算作为基于所述权重系数W之值的可信度指数，来计算新的可信度指数K，以及其中，所述估计值表计算器被构成为通过累加对应于由权重计算器计算的新可信度指数K的估计值，来生成估计值表。
8.根据权利要求1的运动矢量检测装置，还包括标志数据计算器，生成对应于在关注像素和邻近该关注像素的像素之间的像素值差数据的标志数据；以及标志相关性计算器，基于标志数据计算帧之间的标志数据相关性信息；其中所述权重计算器使用基于像素相关性计算器之计算结果的像素相关性信息和基于标志相关性计算器之计算结果的标志相关性信息中的至少一个，来生成权重系数W，并且生成可信度指数作为基于该权重系数W所计算的值。
9.根据权利要求8的运动矢量检测装置，其中，所述标志数据计算器被构成为计算对应于在关注像素和该关注像素的邻近区域内像素之间的像素值差数据的标志数据，使得该标志数据具有比像素值差数据更少的位数。
10.根据权利要求1的运动矢量检测装置，其中，所述权重计算器被构成为将权重系数W确定为从基于像素相关性计算器的计算结果的像素相关性信息中计算出的权重系数，所述权重系数W是至少基于在代表点像素的像素值和包括关注像素及邻近该关注像素之像素的相关性检查目标像素的像素值之间的差所计算的值W。
11.根据权利要求8的运动矢量检测装置，其中，所述权重计算器被构成为将权重系数W计算作为从基于像素相关性计算器的计算结果的像素相关性信息和基于标志相关性计算器的计算结果的标志相关性信息中计算出的权重系数，所述权重系数W是基于X和Y之间的差的大小、Xf0和Yf0之间的差的大小、以及Xf1和Yf1之间的差的大小所计算的值W，其中，X表示代表点像素的像素值，Xf0和Xf1表示基于在X和邻接该代表点像素的两个像素的像素值之间的差数据的标志数据，Y表示相关性检查目标像素的像素值，Yf0和Yf1表示基于在Y和邻接该像素的两个像素的像素值之间的差数据的标志数据。
12.根据权利要求1的运动矢量检测装置，其中，所述权重计算器被构成为将活动性A计算作为图像数据的复杂性指数，以及其中，所述权重计算器被构成为基于所计算的活动性A和权重系数W来计算可信度指数，所述权重系数W是至少基于在代表点像素的像素值和包括关注像素及邻近该关注像素之像素的相关性检查目标像素的像素值之间的差的大小而计算的。
13.根据权利要求1的运动矢量检测装置，其中，所述运动矢量检测装置还包括候选矢量提取器，所述候选矢量提取器基于估计值表提取出一个或者多个候选矢量，以及其中，所述运动矢量确定器被构成为从候选矢量中选择将与运动图像数据帧内每个像素相关联的运动矢量，并且将该运动矢量与该像素相关联。
14.根据权利要求13的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出特征像素，并且基于以该特征像素为基础的相关性检查来确定与该关注像素相关联的运动矢量。
15.根据权利要求14的运动矢量检测装置，其中，所述运动矢量确定器包括试探检查器，所述试探检查器通过检查在将与运动矢量关联的关注像素的像素值和由候选矢量指定的像素的像素值之间的相关性，来从候选矢量中仅仅选择具有高相关性的候选矢量，以及其中，仅仅对于由试探检查器选择的所选择候选矢量进行基于特征像素的相关性检查。
16.根据权利要求14的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出特征像素，并且基于以该特征像素的位置信息为基础的相关性检查来确定与关注像素相关联的运动矢量。
17.根据权利要求14的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出特征像素，并且基于以该特征像素的像素值信息为基础的相关性检查来确定与关注像素相关联的运动矢量。
18.根据权利要求14的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与邻接像素之间具有像素值差最大绝对值的像素，作为特征像素，并且基于以该特征像素的位置信息为基础的相关性检查来确定与该关注像素相关联的运动矢量。
19.根据权利要求14的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与该关注像素之间具有像素值差最大绝对值的像素，作为特征像素，并且基于以该特征像素的像素值信息为基础的相关性检查来确定与该关注像素相关联的运动矢量。
20.根据权利要求14的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出多个特征像素，并且基于以该多个特征像素为基础的相关性检查来确定与该关注像素相关联的运动矢量。
21.根据权利要求20的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与关注像素之间具有最大和最小像素值差的两个像素作为特征像素，并且基于以该两个特征像素为基础的相关性检查来确定与关注像素相关联的运动矢量。
22.根据权利要求21的运动矢量检测装置，其中，所述运动矢量确定器被构成为基于以该两个特征像素的位置信息为基础的相关性检查来确定与关注像素相关联的运动矢量。
23.根据权利要求20的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出与该关注像素之间具有最大和最小像素值差的两个像素作为特征像素，并且基于以包括该两个特征像素和关注像素的三个像素为基础的相关性检查来确定与关注像素相关联的运动矢量。
24.根据权利要求20的运动矢量检测装置，其中，所述运动矢量确定器被构成为从将与运动矢量关联的关注像素的邻近区域中提取出两个特征像素，并且基于以包括该两个特征像素和关注像素的三个像素的像素值为基础的相关性检查来确定与关注像素相关联的运动矢量。
25.一种运动矢量检测方法，用于从运动图像数据中检测运动矢量，所述运动矢量检测方法包括估计值表生成步骤，基于时间轴上不同帧之间的像素值相关性信息生成估计值表；以及运动矢量检测步骤，基于估计值表检测运动图像数据帧内像素的运动矢量，并将该运动矢量与该像素相关联；其中，所述估计值表生成步骤包括像素相关性计算步骤，以基于从一个帧中所选择代表点的代表点匹配为基础，计算时间轴上不同帧之间的相关性信息；权重计算步骤，使用像素相关性计算步骤中的计算结果和以在关注像素和邻近该关注像素的像素之间的像素值差为基础的计算结果的至少一个，生成运动的可信度指数；以及估计值表计算步骤，通过累加对应于所计算的可信度指数的估计值来生成估计值表。
26.一种计算机程序，用于从运动图像数据中检测运动矢量，所述计算机程序包括估计值表生成步骤，基于时间轴上不同帧之间的像素值相关性信息生成估计值表；以及运动矢量检测步骤，基于估计值表检测运动图像数据帧内像素的运动矢量，并将该运动矢量与该像素相关联；其中，所述估计值表生成步骤包括像素相关性计算步骤，以基于从一个帧中所选择代表点的代表点匹配为基础，计算时间轴上不同帧之间的相关性信息；权重计算步骤，使用像素相关性计算步骤中的计算结果和以在关注像素和邻近该关注像素的像素之间的像素值差为基础的计算结果中的至少一个，生成运动的可信度指数；以及估计值表计算步骤，通过累加对应于所计算的可信度指数的估计值来生成估计值表。
全文摘要
提供一种装置和方法，用来生成精确估计值表以实现正确运动矢量检测处理。权重系数W以代表点像素的相关性信息和标志相关性信息为基础计算，所述标志相关性信息基于与在关注像素和关注像素的邻近区域内像素之间的像素值差数据相对应的标志数据。可信度指数以所计算的权重系数W和作为图像数据复杂性指数的活动性A为基础生成，或者可信度指数以在代表点和邻近该代表点的像素之间的运动相似性为基础生成，并且累加对应于该可信度指数的估计值以生成估计值表。而且，基于邻近关注像素的特征像素的位置或者像素值来检查相关性以确定运动矢量。
文档编号G06T7/20GK1926881SQ200580006359
公开日2007年3月7日 申请日期2005年2月22日 优先权日2004年3月1日
发明者近藤哲二, 高桥健治, 吉川和志, 石川贵规 申请人:索尼株式会社