运动向量检测设备、运动向量检测方法和程序的制作方法

专利名称：运动向量检测设备、运动向量检测方法和程序的制作方法
技术领域：
本发明涉及优选地应用于从运动图像数据检测运动向量并执行 诸如高效率编码的图像处理的运动向量检测设备和运动向量检测方 法。并且，本发明涉及执行运动向量检测处理的程序。
背景技术：
迄今为止，在运动图像处理的领域中，高效的图像处理是使用运 动信息(即图像中物体的运动的随时间改变的量值和方向)执行的。 例如，运动检测结果被用于图像的高效编码中的运动补偿帧间编码， 或用于通过帧间时间区域滤波器的电视噪声减少设备的运动的参数 控制。在现有技术中，块匹配方法被用作计算运动的方法。在块匹配 方法中，在图像的一个帧中，以块为单位搜索发生了运动的区，每一 个块都由预定数量的像素构成。基于块匹配方法的运动向量检测处理 是作为使用运动向量的图像处理的最常用的通用处理，该处理已经在
MPEG (运动图像专家组)方法等中使用了。
然而，以块为单位执行的块匹配方法不一定以高准确度在每一个 帧中检测图像中的运动。因此，本申请的申请人提出了一种在专利文 献1 (日本未审专利申请公开No.2005-175869)中描述的运动向量检 测处理。在该运动向量检测处理中，从图像信号检测有关各个像素位 置处的运动的评估值，所检测的评估值被保持在评估值表格中，并且 从评估值表格的数据中抽取一个画面中的多个候选向量。然后，在整 个画面上的每一个像素中确定由抽取的候选向量关联的帧间像素的 相关性。然后，连接具有最强相关性的像素的候选向量被确定为像素 的运动向量。该处理的详情将在下面的实施例中描述。
图28示出了先前提出的在使用评估值表格确定运动向量的情况下的评估值表格形成单元的配置。在图28所示的配置中，在输入端1 处获得的图像信号被供应至相关性运算单元2。相关性运算单元2包 括参考点存储器2a、目标点存储器2b和绝对值计算单元2c。在输入 端1处获得的图像信号先被存储在参考点存储器2a中，并且参考点 存储器2a中存储的数据被传送至目标点存储器2b，从而参考点存储 器2a和目标点存储器2b存储相差一个帧的像素信号。然后，读取存 储在目标点存储器2b中的图像信号中的目标点的像素值、和存储在 参考点存储器2a中的图像信号中被选择作为参考点的像素位置处的 像素值，并且由绝对值检测单元2c检测两个像素值之间的差。所检 测的差的绝对值的数据被供应至相关性确定单元3。相关性确定单元 3包括比较单元3a，该比较单元3a比较所检测的差的绝对值的数据 和设定的阈值，并获得评估值。作为评估值，可使用例如相关性值。 当差等于或小于阈值时，确定相关性强。
相关性确定单元3中获得的评估值被供应至评估值表格计算单 元4，其中评估值累积单元4a对评估值进行累积，并且评估值表格存 储器4b存储累积结果。然后，存储在评估值表格存储器4b中的数据 作为评估值表格数据从输出端5供应至下一级的电路中。
图29A和29B示出了通过使用根据图28所示的现有技术中的评 估值表格确定运动向量的处理状态的概览。如图29A所示，用作确定 前一帧F0 (当前帧Fl的前一帧的图像数据)中的运动向量的基础的 像素位置被设定为目标点d0。在设定了目标点d0之后，在当前帧Fl 中设定在目标点d0的像素位置的预定周边范围中的搜索区SA。在设 定了搜索区SA之后，对被设定为参考点dl的搜索区SA中的各个像 素计算评估值，并且在评估值表格中登记评估值。然后，在评估值表 格中登记的评估值中，搜索区SA中具有最大评估值的参考点被确定 为当前帧Fl中的对应于从前一帧F0中的目标点d0的运动的像素位 置。在以该方式确定了具有最大评估值的参考点之后，如图29B所示， 基于具有最大评估值的参考点和目标点之间的运动量确定运动向量以该方式，可通过图28、 29A和29B所示的处理，基于评估值 表格数据检测运动向量。

发明内容
在基于评估值表格数据检测运动向量的情况下，最佳运动向量的 确定基于评估值表格的性能。在根据图29A和29B所示的现有技术的 方法中，确定目标点和对应于另一帧(当前帧)中的搜索区中的候选 运动的像素之间的相关性。更具体地讲，如果亮度值的差的绝对值等 于或小于阈值，则在评估值表格中对候选运动计数。
然而，在根据现有技术的该处理中，可能出现下述问题。也就是 说，如果在平坦部分处或条紋图案中在所有或部分方向上几乎不存空 间倾斜的图像中，仅通过上述相关性确定形成评估值表格，则可能添 加错误运动(false motion )，其降低了评估值表格的可靠性。评估值 表格的可靠性的降低引起了检测运动向量的准确度的降低。
在根据现有技术的评估值表格中，如果图像中出现了多个运动则 可能会添加错误运动。因此，埋入了源自各个运动的评估值，使得难 以检测各个运动向量。
本发明是考虑到上述问题而做出的，并且涉及增强通过使用评估 值表格检测运动向量的准确度。并且，本发明涉及当出现多个运动时 检测多个运动。
本发明的实施例适用于从运动图像数据检测运动向量。
在处理配置中，执行产生评估值信息的处理、基于评估值信息抽 取运动向量的处理、和在抽取的候选运动向量中确定运动向量的处 理。
在产生评估值信息的处理中，当基于像素值相关性信息确定强相 关性时，对目标像素和参考像素中的至少任何一个进行计数。然后， 基于由计数获得的计数值确定要被添加至评估值信息的评估值，由此 形成评估值信息。
根据本发明的实施例，在将要成为候选运动向量的具有高相关性值的目标像素或参考像素的计数值超过阈值的情况下，存在许多错误 候选。在该状态下，检测到错误候选运动向量的可能性非常高。
也就是说，假设这样一种理想状态，其中显示在图像的一个帧中 的特定位置处的物体在另一个帧的一部分处运动，并且正确地检测到 运动向量而没有任何错误。在该状态下，目标像素和参考像素彼此一 一对应。因此，当在超过阈值的许多目标像素中选择特定位置处的像 素作为候选参考像素时，存在许多错误候选运动向量。同样地，当关 于一个参考像素存在许多候选目标像素时，存在许多错误候选运动向 量。因此，如果通过使用该像素作为候选参考像素或候选目标像素来 执行确定运动向量的处理，则执行参照错误信息的低可靠性的运动向 量检测的可能性很高。
在本发明的 一个实施例中，当指示用作目标像素或参考像素的候 选的各个位置处的像素的数量的计数值超过阈值时，确定存在许多错 误候选，并且消除这些候选。因此，仅保留具有一定的准确度的运动 检测的候选，从而可获得合适的用于检测运动向量的评估值表格。
根据本发明的实施例，当产生指示相关性确定结果的分布的评 估值表格时，可将对超过阈值的候选进行计数的状态排除在比较候选 的计数值和阈值的处理之外，从而可获得合适的评估值表格。也就是 说，排除了其中在某些位置处的许多像素被选作目标像素或参考像素 的候选的状态(因为许多错误候选被包括在内)，从而可获得合适的 候选评估值，并且可获得合适的评估值表格。因此，可减少由于图像 的平坦部分或重复图案中的像素而导致的错误运动，可产生高可靠的 评估值表格，并且可增强检测运动向量的准确度。并且，即使搜索区 中出现多个运动，也可以合适地获得各个运动的评估值，并且可同时 计算多个运动。


图1是示出了根据本发明的第一实施例的运动向量检测设备的
配置的例子的框图；图2是示出了根据第一实施例的整个处理的例子的流程图3是示出了根据第一实施例的评估值表格形成单元的配置的
例子的框图，其中通过使用目标和参考点的匹配数来辨别像素； 图4是示出了由图3所示的配置执行的处理的流程图； 图5示出了在图3所示的配置中的参考点和目标点之间的关系； 图6A和6B示出了在图3所示的配置中的匹配数的概览； 图7A和7B示出了测试图像的例子； 图8示出了在图3所示的配置中的匹配数的直方图的例子； 图9是示出了在没有执行基于匹配数的辨别的情况下的评估值
表格的例子的特性曲线图10是示出了在用根据第一 实施例的固定的阈值执行基于匹配
数的辨别的情况下的评估值表格的例子的特性曲线图11是示出了在使用最频值作为根据第一实施例的阈值来执行
基于匹配数的辨别的情况下的评估值表格的例子的特性曲线图12是示出了根据本发明的第二实施例的评估值表格形成单元
的配置的例子的框图，其中通过使用目标和参考点的匹配数和空间倾
斜图案来辨别像素；
图13是示出了由图12所示的配置执行的处理的流程图14A和14B示出了参考点和目标点的空间倾斜图案和空间倾
斜代码；
图15示出了根据第二实施例的空间倾斜代码的例子；
图16示出了根据第二实施例的空间倾斜图案的例子；
图17示出了在图12所示的配置中的匹配数的直方图的例子；
图18是示出了在根据第二实施例执行基于匹配数的辨别的情况
下的评估值表格的例子的特性曲线图19是示出了在通过使用最频值作为根据第二实施例的阔值执
行基于匹配数的辨别的情况下的评估值表格的例子的特性曲线图； 图20是示出了在通过使用加权平均值作为根据第二实施例的图21是示出了根据本发明的第三实施例的评估值表格形成单元 的配置的例子的框图，其中通过使用目标和参考点的匹配数加权来辨 别像素；
图22是示出了由图21所示的配置执行的处理的流程图23是示出了图1所示的运动向量抽取单元的配置的例子的框
图24是示出了由图23所示的配置执行的处理的流程图25是示出了图1所示的运动向量确定单元的配置的例子的框
图； 图26是示出了由图25所示的配置执行的处理的流程图27示出了由图25所示的配置执行的运动向量确定处理的例
子；
图28是示出了根据现有技术的评估值表格形成单元的配置的例 子的框图；以及
图29A和29B示出了根据现有技术的评估值表格形成处理的例 子的概览。
具体实施例方式
<1.检测运动向量的整体配置的概览> 参照图1至ll描述本发明的第一实施例。
在本实施例中，运动向量检测设备从运动图像数据检测运动向 量。在检测处理中，基于像素值相关性信息形成评估值表格，对评估 值表格的数据进行累积，由此确定运动向量。在下述说明部分中，存 储运动向量的评估值信息的表格被称为"评估值表格"。评估值表格不 一定必须被配置为表格形式的存储的信息，而是可以接受任何形式的 指示运动向量的评估值的信息。例如，可将评估值的信息表示为直方 图。
图1示出了运动向量检测设备的整体配置。在图像信号输入端11处获得的图像信号被供应至评估值表格形成单元12,该形成单元 12形成评估值表格。例如，图像信号是数字图像信号，其中可在每一 帧中的各个像素中获得单独的亮度值。评估值表格形成单元12形成 了具有与搜索区相同大小的评估值表格。
由评估值表格形成单元12形成的评估值表格的数据被供应至运 动向量抽取单元13，该运动向量抽取单元13从评估值表格抽取多个 候选运动向量。此处，基于评估值表格中出现的峰值抽取多个候选向 量。由运动向量抽取单元13抽取的多个候选向量被供应至运动向量 确定单元14。针对由运动向量抽取单元13抽取的候选向量，运动向 量确定单元14在整个画面中以^泉素为单位通过区域匹配等确定由候 选向量关联的帧间像素的相关性。然后，运动向量确定单元14将连 接具有最强相关性的像素或块的候选向量设定为与像素相对应的运 动向量。在控制器16的控制下执行获得运动向量的处理。
设定的运动向量的数据从运动向量输出端15输出。此时，可按 照需要在将数据添加至在输入端11处获得的图像信号的同时输出数 据。例如，在图像数据的高效编码中使用输出运动向量数据。可供替 换地，可在高图像质量处理中使用输出运动向量，以在电视接收机中 显示图像。此外，可在其它图像处理中使用在上述处理中检测的运动 向量。
<2.检测运动向量的全部处理的概览>
图2中的流程图示出了确定运动向量的处理的例子。首先，基于 输入图像信号形成评估值表格(步骤Sll)，并且从评估值表格中抽 取多个候选向量(步骤S12)。在多个抽取的候选向量中，确定相关 性最强的运动向量(步骤S13)。为每一个帧执行沿图2中的流程图 的处理。上述配置是作为使用评估值表格的运动向量检测配置的通用 配置。
在本实施例中，评估值表格形成单元12具有图3所示的配置，
以形成评估值表格。在图3所示的例子中，在形成评估值表格时对目 标点和参考点的像素位置被设定为目标点或参考点的候选的次数进行计数，并且基于计数的结果辨别像素。此处，目标点是用作确定运 动向量的基础的像素位置(目标像素)。参考点是可以作为从目标点 的运动的目的地的点处的像素位置(参考像素)。参考点是包括目标 点的帧的后一帧或前一帧中的目标点的像素位置附近(即，在搜索区 中)的像素。
在描述作为本实施例的特征的图3所示的配置之前，参照图5 描述目标点和参考点之间的关系。
如图5所示，用作在前一帧FIO(当前帧Fll的前一帧的图像数 据)中确定运动向量的基础的像素位置被设定为目标点d10。在设定 了目标点dlO之后，在当前帧Fll中设定目标点d10的像素位置的预 定周边范围中的搜索区SA。在设定了搜索区SA之后，将搜索区SA 中的每一个像素视为参考点dll来计算评估值。
<3.根据第一实施例的配置的例子>
在如图5所示设定了目标和参考点之后，由图3所示的配置产生 评估值表格的数据。
在图3所示的配置中，在输入端11处获得的图像信号被供应至 评估值表格形成单元12中的相关性运算单元20。相关性运算单元20 包括参考点存储器21、目标点存储器22和绝对值计算单元23。在输 入端11处获得的图像信号中，用作参考点的帧的像素值被存储在参 考点存储器21中。在下一帧周期中，存储在参考点存储器21中的帧 的信号被传送至目标点存储器22。在该例子中，参考点是前一帧中的 信号。
然后，存储在目标点存储器22中的目标点的像素值、和存储在 参考点存储器21中的参考点的像素值被供应至绝对值计算单元23， 该绝对值计算单元23检测两个像素值之间的差的绝对值。此处，该 差是像素信号之间的亮度值的差。所检测的差的绝对值的数据被供应 至相关性确定单元30。相关性确定单元30包括比较单元31，该比较 单元31将该差与设定的阈值相比较，并获得评估值。评估值被表示 为二进制值，例如，当该差等于或小于阈值时，相关性被确定为强，而当该差超过阈值时该相关性被确定为弱。
相关性确定单元30中获得的评估值被供应至像素辨别单元40。 像素辨别单元40包括门单元41,以辨别从相关性确定单元30输出的 二进制值。并且，为了控制门单元41,像素辨别单元40包括参考点 像素存储器42、目标点像素存储器43和匹配数计数存储器44。
当在比较单元31做出的比较中，差的绝对值被确定为等于或小 于阈值时，参考点像素存储器42从参考点存储器21获得帧中的参考 点的像素位置的数据，并存储该获得的数据。因此，参考点像素存储 器42累积这样的值该值指示帧中的各个像素被确定为被辨别为候 选的运动向量的参考点的次数。
当在比较单元31做出的比较中，差的绝对值被确定为等于或小 于阈值时，目标点像素存储器43从目标点存储器22获得帧中的目标 点的像素位置的数据，并存储该获得的数据。因此，目标点像素存储 器43累积这样的值该值指示帧中的各个像素被确定为被辨別为候 选的运动向量的目标点的次数。
为了计数每一个像素被确定为被辨别为候选的参考点或目标点 的次数，由相关性确定单元30进行的强相关性的确定被输出至匹配 数计数存储器44。然后，匹配数计数存储器44的输出被供应至参考 点像素存储器42和目标点像素存储器43，从而允许存储器42和43 对每一个像素位置被确定为参考点或目标点的次数进行计数。
然后，基于存储在参考点像素存储器42中的帧中的各个像素的 所辨别的像素的计数数量、和存储在目标点像素存储器43中的帧中 的各个像素的所辨别的像素的计数数量来控制评估值在门单元41中
的通过。
在此处执行的控制中，确定存储在参考点像素存储器42中的所 辨别的像素的计数数量是否超过预定(或适应性地设定的)阈值。当 计数数量超过了阈值时，关于像素的评估值经由门单元41的通过被 阻拦。
同样地，确定存储在目标点像素存储器43中的所辨别的像素的计数数量是否超过了预定(或适应性地设定的)阈值。当计数数量超
过了阈值时，关于像素的评估值经由门单元41的通过被阻拦。
因为参考点和目标点位于相差一个帧周期的帧上，通过参考点像 素存储器42的输出控制门单元41的帧、和通过目标点像素存储器43 的输出控制门单元41的帧相差一个帧。
通过像素辨别单元40中的门单元41的评估值被供应至评估值表 格计算单元50，并且在评估值表格计算单元50中的评估值累积单元 51中被累积，从而累积结果被存储在评估值表格存储器52中。以该 方式获得的存储在评估值表格存储器52中的数据作为评估值表格数 据从输出端12a被供应至下一级的电路。
<4.根据第一实施例的处理的例子>
图4中的流程图示出了由图3所示的配置执行的处理。
参照图4，图3所示的配置执行从基于目标点和参考点的匹配数 确定所辨别的像素开始、直到将评估值写入评估值表格的处理。在下 文中，参照流程图，主要关于在像素辨别单元40中执行的处理进行 描述。图4中的流程图示出了确定是否执行向评估值表格添加的处理， 并且不一定对应于图3所示的配置中的信号流。
首先，在比较单元31做出的比较中确定目标点和参考点之间的 差是否等于或小于阔值(步骤S21)。当目标点和参考点之间的差等 于或小于阈值时，对应的运动向量是候选运动向量。
如果在步骤S21中确定该差等于或小于阈值，则此时目标点的像 素位置的计数值增加一，并且参考点的像素位置的计数值也增加一 (步骤S22)。各个计数值是匹配计数值，并分别存储在参考点像素 存储器42和目标点像素存储器43中。
在步骤S22中增加了计数值之后，或在步骤S21中确定差值大 于阈值之后，确定是否已对用于在帧的图像数据中的运动检测的所有 像素执行了该处理(步骤S23)。如果确定已对帧中的所有像素执行 了该处理，则执行像素辨别处理。
在像素辨别处理中，将当前确定的像素的匹配计数值与预设的阈值(或适应性地设定的阈值)相比较。此处，各个像素具有作为参考 点的计数值和作为目标点的计数值。例如，确定作为参考点的计数值 和作为目标点的计数值的每一个是否都等于或小于用于辨别像素的
阈值(步骤S24)。
如果在步骤S24中做出了肯定的确定，则目标点和参考点被确定 为被辨别的像素(步骤S25)。此后，确定目标点和参考点之间的差 是否等于或小于阈值(步骤S26)。步骤S26中使用的阈值与步骤S21 中使用的阈值相同。
如果在步骤S26中确定该差等于或小于阈值，则允许该差通过门 单元41，从而将对应的评估值添加至评估值表格(步骤S27)。如果 在步骤S24中确定参考点和目标点的计数值都超过了阈值，或如果在 步骤S26中确定目标点和参考点之间的差超过了阈值，则禁止将对应 的评估值写入评估值表格中(步骤S28 )。
<5.根据第一实施例的处理的原理>
图6A和6B示出了对匹配数进行计数的例子。图6A示出了对目 标点的匹配数进行计数的例子，而图6B示出了对参考点的匹配数进 行计数的例子。
参照图6A，前一帧F10中的特定位置处的像素dlO被设定为目 标点。假设，从目标点dlO来看，在当前帧Fll中的搜索区(由虚线 指示)中，五个参考点dll至d15被检测为具有相对于目标点d10的 亮度值在预定范围内的亮度值的像素。在该情况下，目标点dlO的匹 配数的计数值为5。
另一方面，参照图6B，当前帧Fll中的特定位置处的像素dll 被设定为参考点。假设，如图所示，在前一帧F10中相对于参考点 dll存在四个目标点d7至d10。在该情况下，参考点dll的匹配数的 计数值为4。
在实际图像中，仅一个参考点对应于前一帧F10中的目标点d10 处的像素。在图6A所示的对于一个目标点存在多个参考点的情况下， 并且在图6B所示的对于一个参考点存在多个目标点的情况下，除了真的点以外的候选点是错误候选。
在图3所示的配置中，以及在图4所示的处理中，目标点的匹配 数超过阈值的情况、和参考点的匹配数超过阈值的情况被确定为存在 许多错误候选的状态。存在许多错误候选的状态下的评估值不被添加 至评估值表格，所以能够检测正确的运动向量。
当在附近存在许多相同状态的像素时，例如在具有重复条紋的图 案的图像中，这样的比较匹配数与阈值并限制评估值的处理特别有 效。
<6.根据第一实施例的处理状态的例子>
现在，参照图7A、 7B等描述在根据本实施例的配置中实际产生 评估值表格的例子。
图7A和7B示出了用于产生评估值表格的测试图像的例子。图 7A示出了测试图像的帧。在测试图像中，两个矩形的有条紋的区域 根据帧的变化沿箭头所指示的方向移动。图7B是移动的有条紋的图 案的放大图，示出了重复相同形状的状态。
图8示出了通过在图3所示的配置中对测试图像执行匹配确定而 获得的匹配数的直方图。在图8中，水平轴指示匹配数的计数值，而
垂直轴指示对应于计数值的像素的数量。
在图8所示的例子中，匹配数的计数值的最频值为103。也就是 说，具有计数值为103的像素在帧中最常见。
图9示出了在通过将图3所示的相关性确定单元30的输出供应 至评估值表格计算单元50而不在像素辨别单元40中进行辨别而产生 图7所示的测试图像的评估值表格的情况下、帧中的各个像素位置中 的评估值的累积状态。也就是说，图9所示的例子对应于根据现有技 术的特性曲线图，其中没有执行根据本实施例的像素辨别。
在图9中，Vx指示水平方向上的像素位置，Vy指示垂直方向上 的像素位置，并且垂直轴指示累积值。也就是说，图9三维地示出了 帧中的各个像素中的评估值的累积状态。
如从图9可理解的，在具有如图7所示的重复相同形状的图案的图像中，对许多错误评估值进行累积，这使得难以确定正确的评估值。
另一方面，图10和11示出了根据本实施例的、基于匹配数执行
像素辨别的例子。
在图10所示的例子中，计数值20被设定为确定匹配数的计数值 的阈值，限制超过20的值，并且对具有20或更少的计数值的点(目 标点和参考点)的评估值进行累积。
如从图IO可理解的，使用匹配数的固定计数值的限制有效地消 除了错误评估值，从而能够以有利的方式从累积的评估值最终确定运 动向量《
在图11所示的例子中，图8所示的最频值103被设定为确定匹 配数的计数值的阈值，限制超过103的值，并且对具有103或更少的 计数值的点(目标点和参考点)的评估值进行累积。
如从图ll可理解的，使用计数值的最频值的限制显著地消除了 错误评估值，从而能够以有利的方式从累积的评估值最终确定运动向 量。
<7.第一实施例的修改>
用于确定匹配数的计数值的阈值可以是固定值和最频值中的任 何一种。应选择的值基于要处理的图像而改变。当使用固定值时，可 为每一个类型的图像设定固定值。例如，可根据图像的类型准备多个 类型的固定值用于具有相对快的运动的体育图像的固定值；以及用 于具有相对慢的运动的电影或戏剧的图像的固定值。然后，可选择并 设定固定值中合适的一个。
在设定了例如最频值的可变阈值的情况下，可为每一个帧计算最 频值。可供替换地， 一旦设定了最频值之后，可在一个预定的时间段 (预定帧周期)将阔值固定为该设定的最频值。在该情况下，在逝去 了该预定帧周期之后，再次计算最频值并再次设定阈值。可供替换地， 可在当图像在处理的图像信号中显著地改变时，也就是说，当检测到 所谓的场景改变时的定时，再次计算最频值并再次设定阈值。
可供替换地，可在除了最频值以外的条件下设定阈值。例如，可将匹配数的计数值的平均值或加权平均值设定为阈值。
更具体地讲，当在一帧中匹配数分布在0-20的范围内时，将阈值设 定为10。当在一帧中匹配数分布在0-2的范围内时，阁值被设定为 1。以该方式，即使使用平均值作为阈值，也可获得良好的评估值。
在上面给出的描述中，在目标点和参考点的每一个中确定匹配数 的计数值，由此限制评估值的通过。可供替换地，可在目标点和参考 点中的任何一个中对匹配数计数，由此可通过确定计数值是否超过阈 值来限制评估值的通过。
<8.根据第二实施例的配置的例子>
下面，参照图12至20描述本发明的第二实施例。
在本实施例中，同样，运动向量检测设备从运动图像数据检测运 动向量。基于#>素值相关性信息形成评估值表格并且从评估值表格的 数据确定运动向量的配置与根据上述第一实施例的配置相同。
运动向量检测设备的整体配置和整体处理都与根据第一实施例 的图l所示的配置和图2所示的处理相同。并且目标像素(目标点) 和参考像素(参考点)的定义与根据第一实施例的定义相同。
在本实施例中，图1示出的运动向量检测设备中的评估值表格形 成单元12具有图12所示的配置。在图12所示的评估值表格形成单 元12中，与根据第一实施例的图3所示的评估值表格形成单元12中 的相同的部件由相同的附图标记表示。
在根据图12所示的本实施例的配置中，施加了通过目标点和参 考点的匹配数的限制，并且也考虑关于在由评估值表格形成单元12 执行的评估值表格形成处理中的另 一个目标点或参考点的因素施加 了限制。此处，作为关于另一个目标点或参考点的因素，基于预定条 件，在目标点的像素或参考点的像素和与其相邻的像素之间的空间倾 斜具有特定值或更大值的情况下，对评估值进行累积。否则，施加限 制。下面将描述空间倾斜具有特定值或更大值的情况的具体例子。此 处，通过使用空间倾斜图案或空间倾斜代码做出的确定的结果被使 用。在图12所示的配置中，相关性运算单元20和相关性确定单元 30具有与图3所示的相同的配置。也就是说，在输入端ll处获得的 图像信号中，被用作参考点的帧的像素值被存储在参考点存储器21 中。在下一帧周期中，存储在参考点存储器21中的帧的信号被传送 至目标点存储器22。
然后，存储在目标点存储器22中的目标点的像素值、和存储在 参考点存储器21中的参考点的像素值被供应至绝对值计算单元23, 该绝对值计算单元23检测两个像素值之间的差的绝对值。此处，该 差是像素信号之间的亮度值的差。所检测的差的绝对值的数据被供应 至相关性确定单元30。相关性确定单元30包括比较单元31，该比较 单元31将该差与设定的阈值相比较，并获得评估值。评估值被表示 为二进制值，例如，当该差等于或小于阈值时，相关性被确定为强， 而当该差超过阈值时该相关性被确定为弱。
相关性确定单元30中获得的评估值被供应至像素辨别单元60。 像素辨别单元60包括门单元61，以确定从相关性确定单元30输出的 二进制值。并且，为了控制门单元61，像素辨别单元60包括参考点 像素存储器62、目标点像素存储器63和匹配数计数存储器64。此外， 像素确定单元60包括空间倾斜图案计算单元65、图案比较单元66和 空间倾斜图案存储器67。
在像素辨别单元60中的参考点像素存储器62、目标点像素存储 器63和匹配数计数存储器64中执行的处理与在图3所示的像素辨别 单元40中的各个存储器42、 43和44中执行的处理相同。也就是说， 当在比较单元31做出的比较中，差的绝对值被确定为等于或小于阈 值时，参考点像素存储器62从参考点存储器21获得帧的参考点的像 素位置的数据，并存储所获得的数据。因此，参考点像素存储器62 累积这样的值该值指示帧中的各个像素被确定为被辨别为候选的运 动向量的参考点的次数。
当在比较单元31做出的比较中，差的绝对值被确定为等于或小 于阈值时，目标点像素存储器63从目标点存储器22获得一个帧中的目标点的像素位置的数据，并存储该获得的数据。因此，目标点像素
存储器63累积这样的值该值指示一个帧中的各个像素被确定为被 辨别为候选的运动向量的目标点的次数。
为了对每一个像素被确定为被辨别为候选的参考点或目标点的 次数进行计数，由相关性确定单元30进行的强相关性的确定被输出 至匹配数计数存储器64。然后，匹配数计数存储器64的输出被供应 至参考点像素存储器62和目标点像素存储器63，从而允许存储器62 和63对每一个像素位置被确定为参考点或目标点的次数进行计数。
然后，基于存储在参考点像素存储器62中的帧中的各个像素的 所辨别的像素的计数数量、和存储在目标点像素存储器63中的帧中 的各个像素的所辨别的像素的计数数量来控制评估值在门单元61中 的通过。
到目前为止，控制评估值在门单元61中的通过的处理与根据第 一实施例的处理相同。
在本实施例中，像素辨别单元60包括空间倾斜图案计算单元65、 图案比较单元66和空间倾斜图案存储器67。利用该配置，通过使用 空间倾斜图案进一 步辨别像素。
空间倾斜图案计算单元65通过计算像素和八个与其相邻的像素 之间的空间倾斜，计算帧中的每一个像素的空间倾斜图案。将计算的 空间倾斜图案供应至图案比较单元66，该图案比较单元66比较该空 间倾斜图案和存储在空间倾斜图案存储器67中的空间倾斜图案，并 确定空间倾斜图案。根据确定的空间倾斜图案，控制评估值在门单元 61中的通过。
因此，在根据本实施例的像素辨别单元60中，仅当匹配数的计 数值等于或小于阈值时，并且当像素和相邻像素之间的空间倾斜图案 在预定状态下时，门单元61才允许评估值从其通过，并且在评估值 表格中对评估值进行累积。
通过像素辨别单元60的门单元61的评估值被供应至评估值表格 计算单元50，并且在评估值表格计算单元50中的评估值累积单元51中被累积，从而累积结果被存储在评估值表格存储器52中。以该方 式获得的存储在评估值表格存储器52中的数据作为评估值表格数据 从输出端12a被供应至下一级的电路。
<9.根据第二实施例的处理的例子>
图13是示出了在图12所示的配置中执行的处理的流程图。 在图13中的流程图中，与图4中的流程图相同的步骤由相同的 步骤编号表示。
与图4中的流程图相同，图13中的流程图示出了确定是否将执 行向评估值表格添加的处理，并且不一定对应于图12所示的配置中 的信号流。
首先，通过图案比较单元66做出的比较，确定当前被供应至门 单元61的评估值的像素和相邻像素之间的空间倾斜图案是否在参考 点和目标点二者中均为特定图案。如果确定空间倾斜图案在参考点和 目标点两者中均为特定图案，则供应至门单元61的评估值被允许从 其通过。否则，不允许评估值从其通过(步骤S20)。
此后，与图4中的流程图一样地执行步骤S21至S28，从而基于 匹配数的计数值以及图案比较单元66中的像素辨别执行门单元61中 的控制。
也就是说，在基于空间倾斜图案的像素辨别之后，通过比较单元 31的比较确定目标点和参考点之间的差是否等于或小于阁值(步骤 S21)。
如果在步骤S21中确定该差等于或小于阈值，则此时目标点和参 考点的像素位置的计数值增加一 (步骤S22)。
对帧中所有的像素执行步骤S21中的与阈值的比较和步骤S22 中的增加(步骤S23)，然后执行像素辨别处理。
在像素辨别处理中，将当前确定的像素的匹配数的计数值与预设 的阈值(或适应性地设定的阈值)相比较。例如，确定参考点和目标 点的计数值是否都等于或小于用于辨别像素的阈值(步骤S24)。
如果在步骤S24中做出了肯定的确定，则目标点和参考点被确定为被辨别的像素(步骤S25)。此后，确定是否目标点和参考点之间 的差等于或小于阈值(步骤S26)。
如果在步骤S26中确定该差等于或小于阈值，则允许该差通过门 单元61，从而将对应的评估值添加至评估值表格(步骤S27)。如果 在步骤S24中确定参考点和目标点的计数值都超过了阈值，或如果在 步骤S26中确定目标点和参考点之间的差超过了阈值，则禁止将对应 的评估值写入评估值表格中(步骤S28)。
<10.根据第二实施例的处理的原理>
图14A和14B示出了图12示出的配置和图13示出的流程图中 的处理状态的概览。
如图14A所示，用作确定前一帧F10 (当前帧Fll的前一帧的 图像数据)中的运动向量的基础的像素位置被设定为目标点d10。在 设定了目标点dlO之后，在当前帧Fll中设定目标点d10的像素位置 周围的预定范围中的搜索区SA。在设定了搜索区SA之后，将搜索区 SA中的各个像素作为参考点dll计算评估值。
在该例子中，如图14B所示，基于前一帧F10中的目标点和与 其相邻的八个像素之间的差计算各个方向上的空间倾斜代码。并且， 基于当前帧F11中的参考点和与其相邻的八个像素之间的差计算各个 方向上的空间倾斜代码。然后，在八个方向上的空间倾斜代码形成了 预设的特定空间倾斜代码状态下的空间倾斜图案的情况被视为是辨 别条件。将使用空间倾斜图案的辨别条件添加至基于匹配数的计数值 和阈值之间的比较的辨别条件，由此控制门单元61中的通过。
在该情况下，如图14A和14B所示，可获得由目标点和参考点 之间的位置关系确定的运动方向"m"，并且运动方向可用于确定。在 该情况下，如图14B所示，确定运动方向"m"上的与目标像素相邻的 像素的空间倾斜代码，并确定在运动方向"m"上与参考像素相邻的像 素的空间倾斜代码。图14B中示出的粗体箭头指示确定空间倾斜代码 的方向。如果各个空间倾斜代码匹配，则允许评估值通过门单元61。
可在门单元61中执行基于使用运动方向的特殊倾斜代码的确定的辨别、和基于匹配数的计数值和阈值之间的比较的辨别。可供替换 地，可组合地执行基于空间倾斜图案的比较的辨别、基于使用运动方 向的空间倾斜代码的确定的辨别、和基于匹配数的计数值和阈值之间 的比较的辨别。
图15示出了基于目标点和参考点关于相邻像素确定空间倾斜代 》马的例子。
如图15的左上侧所示，与目标点的像素相邻的八个像素被视为 相邻像素。将目标点的像素值与每一个相邻像素的像素值相比较，并 且基于目标点确定像素值(亮度值)的差是否在特定范围内，该差是 否在正方向上超过特定范围，或者该差是否在负方向上超过该特定范 围。
在图15中，部分(a)示出了目标点和相邻像素之间的像素值的 差在特定范围内的情况。在该情况下，目标点和相邻像素之间没有空 间倾斜，所以空间倾斜为O。 O处的空间倾斜是这样一个状态，其中， 目标点和相邻像素之间基本不存在空间倾斜。当用于确定图15所示 的差的特定范围很窄时，对应于没有空间倾斜的可允许的差值的范围 很窄。当该特定范围很宽时，对应于没有空间倾斜的可允许的差值的 范围很宽。
在图15中，部分(b)示出了这样的情况，其中该差在正方向上 超出了特定范围，因为相邻像素的值大于目标点的值。在该情况下， 目标点和相邻像素之间存在空间倾斜，所以差代码为"+ "。
在图15中，部分(c)示出了这样的情况，其中该差在负方向上 超出了特定范围，因为相邻像素的值小于目标点的值。在该情况下， 目标点和相邻像素之间存在空间倾斜，所以差代码为"- "。
已参照图15描述了确定目标点的空间倾斜代码的处理。该处理 也可应用于参考点。在参考点的情况下，参考点的像素值被用作基础， 并且相邻像素是与参考点相邻的像素。
以该方式，确定关于八个相邻像素的空间倾斜的代码，并且基于 八个相邻像素的代码计算基础位置(目标像素或参考像素)处的像素的空间倾斜图案。
此处，如图16所示，假设空间倾斜图案P由目标点(或参考点) 和八个周边像素，共九个像素组成。在空间倾斜图案P中，目标点 d10和八个周边^f象素之间的空间倾斜具有相同的代码。这样的空间倾 斜图案对应于其中目标点(或参考点)的亮度与周边像素的亮度完全 不同的状态。
当目标点和参考点都具有图16所示的空间倾斜图案时，执行控 制以允详位于图案的中心的目标点和参考点的评估值通过门单元61 。 请注意，图16所示的空间倾斜图案是一个例子，并且可确定另一个 空间倾斜图案。
在本实施例中，基于匹配数的计数值控制评估值经由门单元61 的通过的处理的原理与参照图6A和6B在第一实施例中描述的原理相 同。
如上所述，通过执行基于空间倾斜图案的评估值的辨别、和通过 匹配数的计数值和阈值之间的比较的辨别，可限制候选评估值，所以 可获得良好的评估值表格。
<11.根据第二实施例的处理状态的例子>
参照图17至20，关于通过执行本实施例的处理获得图7A和7B 所示的测试图像的评估值表格的例子进行描述。
图17示出了匹配数的直方图，该匹配数是通过在图7A和7B所 示的测试图像中，在图12所示的配置中，对由图16所示的空间倾斜 图案所辨别的评估值进行的匹配的确定而获得的。在图17中，水平 轴指示匹配数的计数值，而垂直轴指示对应于计数值的像素数量。
在图17所示的例子中，匹配数的计数值的最频值为5，而加权 平均值为25。也就是说，计数值为5的像素在帧中最常见，并且加权 平均值为25。如从与图8所示的直方图相比较可理解的，评估值被限 制在图17所示的直方图的窄的范围中。
图18示出了在像素辨别单元60中的门单元61仅执行对来自图 12所示的相关性确定单元30的输出的辨别(也就是说，借助于空间倾斜图案的评估值辨别)的情况下的评估值的累积状态的例子作为参 考。
在图18中，Vx指示水平方向上的像素位置，Vy指示垂直方向 上的像素位置，而垂直轴指示累积值。也就是说，图18三维地示出 了帧中的各个像素中的评估值的累积状态。
如从图18可理解的，与其中不执行辨别的图9所示的状态相比， 使用空间倾斜图案的辨别限制了评估值。请注意，如可从图18中的 垂直轴上的值理解的，峰值处的评估值的累积值相当高，并且评估值 没有被充分地限制。
另一方面，图19和20示出了其中通过在图7A和7B中示出的 测试图像中使用本实施例的匹配数执行像素的辨别的情况的例子。
在图19所示的例子中，执行使用空间倾斜图案的辨别，作为最 频值的计数值5被设定为确定匹配数的计数值的阁值，超过5的值被 限制，而对具有5或更少的计数值的点(目标点和参考点)的评估值 进行累积。
如从图19可理解的，通过固定匹配数的计数值的限制显著地消 除了错误评估值，所以可基于评估值的累积值良好地执行运动向量的 最终确定。
在图20所示的例子中，执行使用空间倾斜图案的辨别，作为图 17所示的加权平均值的计数值25被设定为确定匹配数的计数值的阈 值，超过25的值被限制，而对具有25或更少的计数值的点(目标点 和参考点)的评估值进行累积。
如从图20可理解的，通将匹配数的计数值设定为最频值的限制 显著地消除了错误评估值，所以可基于评估值的累积值良好地执行运 动向量的最终确定。
<12.第二实施例的修改>
在第二实施例中，没有关于固定阈值以确定匹配数的计数值的例 子进行描述。然而，与第一实施例中一样，可一直使用事先固定的阈 值。第一实施例中描述的各个例子可被应用于改变像最频值一样可变的阈值的定时。并且，如第一实施例，可基于除了最频值以外的条件、 例如平均值设定阈值。
还是在根据第二实施例的配置中，在目标点和参考点的每一个处 确定匹配数的计数值，以限制评估值的通过。可供替换地，可在目标 点和参考点中的任何一个中对评估值的匹配数进行计数，并且可通过 确定计数值是否超过阈值来限制评估值的通过。
此外，在第二实施例中，空间倾斜图案或空间倾斜代码的比较被 应用为用除了匹配数的计数值以外的因素限制对评估值表格的累积 的处理。可供替换地，可组合另一个处理。此外，关于空间倾斜图案，
可确定与除图16所示的图案以外的空间倾斜图案的匹配。
<13.根据第三实施例的配置的例子>
下文中，参照图21和22描述本发明的第三实施例。
在本实施例中，同样，运动向量检测设备从运动图像数据检测运 动向量。评估值表格是基于像素值相关性信息形成、并且运动向量是 基于评估值表格的数据确定的特征与第一实施例中的相同。
运动向量检测设备的整体配置和整体处理都与根据第一实施例 的图1所示的配置和图2所示的流程图相同。并且，目标像素(目标 点)和参考像素(参考点)的定义与根据第一实施例的定义相同。
在本实施例中，图1示出的运动向量检测设备中的评估值表格形 成单元21具有图21所示的配置。在图21所示的评估值表格形成单 元12中，与根据第一实施例的图3所示的评估值表格形成单元12中 的相同的部件由相同的附图标记表示。
在根据图21所示的本实施例的配置中，在由评估值表格形成单 元12执行的评估值表格形成处理中，通过使用目标点和参考点的匹 配数对评估值表格进行加权。也就是说，通过使用第一实施例中的匹 配数来限制评估值的累积，而在第三实施例中，根据匹配数执行加权， 以在多个阶段中对评估值表格中的评估值的可靠性进行评估。
在图21所示的配置中，相关性运算单元20和相关性确定单元 30具有与图3所示的相同的配置。也就是"^兌，在输入端11处获得的图像信号中，用作参考点的帧的像素值被存储在参考点存储器21中。 在下一帧周期中，存储在参考点存储器21中的帧的信号被传送至目 标点存储器22。
然后，存储在目标点存储器22中的目标点的像素值、和存储在 参考点存储器21中的参考点的像素值被供应至绝对值计算单元23, 该绝对值计算单元23检测两个像素值之间的差的绝对值。此处，该 差是像素信号的亮度值的差。所检测的差的绝对值的数据被供应至相 关性确定单元30。相关性确定单元30包括比较单元31，该比较单元 31将该差与设定的阈值相比较，并获得评估值。评估值被表示为二进 制值，例如，当该差等于或小于阈值时，相关性被确定为强，而当该 差超过阈值时该相关性被确定为弱。
相关性确定单元30中获得的评估值被供应至像素辨别单元70。 像素辨别单元70包括门单元71，以确定从相关性确定单元30输出的 二进制值。并且，为了控制门单元71，像素辨别单元70包括参考点 像素存储器72、目标点像素存储器73、图案比较单元74和空间倾斜 图案存储器75。此外，像素辨别单元70包括匹配数计数存储器76。
在像素辨别单元70中的参考点像素存储器72、目标点像素存储 器73和匹配数计数存储器76中执行的处理与在图3所示的像素辨别 单元40中的各个存储器42、 43和44中执行的处理相同。也就是说， 当比较单元31确定差的绝对值等于或小于阔值时，参考点像素存储 器72从参考点存储器21获得帧中的参考点的像素位置的数据，并存 储所获得的数据。因此，参考点像素存储器72累积这样的值，该值 指示帧中的各个像素被确定为被辨别为候选的运动向量的参考点的 次数。
当通过比较单元31的比较确定差的绝对值等于或小于阈值时， 参考点像素存储器73从目标点存储器22获得帧中的目标点的像素位 置的数据，并存储该获得的数据。因此，目标点像素存储器73累积 这样的值，该值指示帧中的各个像素被确定为被辨别为候选的运动向 量的目标点的次数。为了对每一个像素被确定为被辨别为候选的参考点或目标点的
次数进行计数，由相关性确定单元30做出的强相关性的确定被输出 至匹配数计数存储器76。匹配数计数存储器76根据每一个像素位置 处的匹配数的计数值输出加权因子。
当空间倾斜图案计算单元75确定存在空间倾斜时，图案比较单 元74比较目标点和参考点处的空间倾斜图案，并且确定图案是否匹 配。空间倾斜图案计算单元75通过计算帧中的每一个像素和与其相 邻的八个周边像素之间的空间倾斜，确定空间倾斜图案的存在/不存 在。
如果确定存在空间倾斜，并且空间倾斜图案匹配，则允许相关性 确定单元30在当时输出的评估值通过门单元71。如果空间倾斜图案 不匹配，则不允许相关性确定单元30在当时输出的评估值通过门单 元71。
通过门单元71的评估值被供应至评估值表格计算单元50，并且 通过评估值累积单元51被累积到评估值表格存储器52中的评估值表 格的数据。
此处，从像素辨别单元70中的匹配数计数存储器76输出的加权 因子被供应至评估值累积单元51,并且使各个像素位置处的评估值的 累积值乘以加权因子。下面描述加权因子的例子。例如，当匹配数为 l时因子为l，并且随着匹配数从l增加，因子也从l增加。
乘以了根据匹配数的因子的评估值被评估值表格计算单元50中 的评估值累积单元51累积，并且累积结果存储在评估值表格存储器 52中。然后，以上述方式获得的存储在评估值表格存储器52中的数 据作为评估值表格数据从输出端子12a供应至下一级的电路。
<14.根据第三实施例的处理的例子>
图22是示出了由图21所示的配置执行的处理的流程图。
与图4中的流程图相同，图22中的流程图示出了确定是否执行 向评估值表格添加的处理，并且不一定对应于图21所示的配置中的 信号流。首先，确定对应于当前被供应至门单元71的评估值的像素的参 考点和目标点的空间倾斜图案是否彼此相匹配。如果确定参考点和目 标点都具有相同的特定图案，则允许供应至门单元71的评估值从其 通过。如果图案不匹配，则不允许评估值从其通过(步骤S31)。在 步骤S31中，通过使用空间倾斜图案执行像素辨别。
然后，确定目标点和参考点之间的差是否等于或小于阈值(步骤 S32)。该确定是由相关性确定单元30做出的。如果该差大于阈值， 则不允许对应的像素的评估值通过，并且该评估值不被累积至存储在 评估值表格存储器52中的评估值表格(步骤S35 )。
另 一方面，如果在步骤S32中确定参考点和目标点之间的差等于 或小于阈值，则对目标点处的匹配数计数，并将计数结果存储在匹配 数计数存储器76中(步骤S33)。然后，从匹配数计数存储器76输 出基于存储的计数值的因子。
然后，关于在步骤S32中确定的目标点的要在评估值表格中累积 的评估值使用存储在匹配数计数存储器76中的匹配数乘以加权因子， 并将相乘结果存储在评估值表格存储器52中(步骤S34 )。
当相对于特定目标点匹配数为1时(这是理想状态)，在步骤 S34中乘以的权重因子为1，并且在评估值表格中对目标点处的评估 值1进行累积。当加权因子为l时，相加的可靠性为1。当匹配数为 2或更多时，加权因子根据该值减小至小于1。例如，当匹配数为IO 时，相加的可靠性为1/10并且权重因子也为1/10，并且在评估值表格 中对目标点处的评估值0.1进行累积。
如上所述，在本实施例中用匹配数对评估值表格中的各个评估值 进行加权。因此，评估值与匹配数成比例，所以可获得良好的评估值。
<15.运动向量抽取单元的配置和操作的例子>
下面，参照图23和24，关于图1所示的运动向量检测设备中的 运动向量抽取单元13的配置和操作的例子进行描述。
图23示出了图l所示的运动向量抽取单元13的配置的例子。
在运动向量抽取单元13中，向输入端子13a供应评估值表格数据。评估值表格数据是运动向量的评估值表格的数据，该数据是在根 据上述第一至第三实施例中的任何一个的配置中获得的，并且是可能 是帧中的候选向量的累积运动向量的数据。
例如，从图3所示的评估值表格计算单元50中的评估值表格存 储器52供应评估值表格数据，并且该数据被供应至评估值表格数据 变换单元111。
评估值表格数据变换单元111将向其供应的评估值表格数据变 换为频率值或差分值的数据。然后，排序单元112按照频率的顺序对 变换的数据中的帧中的候选向量排序。按照频率的顺序排序的候选向 量的评估值表格数据被供应至候选向量评估单元113。此处，被排序 的候选向量中的预定数量的排名在前面的候选向量被供应至候选向 量评估单元113。例如，在帧中存在的高频率候选向量中，抽取10个 最高频率的候选向量，并将其供应至候选向量评估单元113。
候选向量评估单元113在预定条件下评估向其供应的最高频率 候选向量的每一个。此处，在预定条件下执行评估，例如即使候选向 量在频率值的预定高排名内，如果其频率值等于或小于预定阈值，也 去除该候选向量。
可供替换地，可以通过使用用于辨别在运动向量抽取单元13的 前一级中的评估值表格形成单元12 (图1)中的像素的数据来评估候 选向量的可靠性。在使用用于辨别像素的数据来评估候选向量的可靠 性的情况下，使用由图3所示的像素辨别单元40用于辨别像素的被 辨别的目标点的数据。从评估值表格形成单元12获得被辨别的目标 点的数据，确定从各个被辨别的目标点的角度来看的最合适的候选向 量，并且评估候选向量。
基于在候选向量评估单元113中获得的各个候选向量的评估结 果，候选向量可靠性确定单元114确定候选向量中的高度可靠的候选 向量，并且从输出端子13b输出高度可靠的候选向量的数据。
从输出端子13b输出的候选向量的可靠性数据被供应至图l所示 的运动向量确定单元14。图24是示出了由图23所示的运动向量抽取单元13从评估值表 格数据抽取候选向量的处理的例子的流程图。
首先，按照频率的顺序对评估值表格数据指示的候选向量进行排 序(步骤Slll)。在被排序的候选向量中，以频率的降序抽取预定数 量的候选向量。例如，可按照频率的降序抽取十个候选向量(步骤 S112)。
然后，评估抽取的候选向量，以确定是否候选向量的每一个都是 适合的，从而限制候选向量(步骤S113)。例如，确定各个候选向量 的频率值。当候选向量具有等于或小于该阈值的频率值时，候选向量 的评估值很小。可采用各种处理作为评估候选向量的处理，并且评估 处理对抽取的候选向量的准确度有影响。
基于评估处理的结果，确定每一个候选向量的可靠性。然后，仅 高度可靠的候选向量，也就是说，有可能被分配给图像的候选向量， 被供应至图1所示的运动向量确定单元14 (步骤S114 )。
<16.运动向量确定单元的配置和操作的例子>
参照图25至27,关于图1所示的运动向量检测设备中的运动向 量确定单元14的配置和操作的例子进行描述。
图25示出了图l所示的运动向量确定单元14的配置的例子。运 动向量确定单元14执行将从运动向量抽取单元13供应的多个候选向 量中的任何一个分配给帧中的每一个像素的处理。
在该例子中，在每一个像素位置周围设定由预定数量的像素构成 的固定的块作为目标点，由此确定运动向量。
参照图25，将候选运动向量的数据和候选向量的图像信号供应 至运动向量确定单元14的输入端14a。图像信号被供应至作为帧存储 器的参考点存储器211,其中存储一个帧的图像信号。然后，在每个 帧周期中，存储在参考点存储器211中的图像信号被传送至目标点存 储器212。因此，存储在参考点存储器211中的图像信号、和存储在 目标点存储器212中的图像信号永远具有一个帧的延迟。
然后，将具有预定大小的包括中心处的目标点的固定块的像素信号从存储在目标点存储器212中的图像信号读取至数据读取单元213。 同样地，将具有预定大小的包括中心处的参考点的固定块的像素信号 从存储在参考点存储器211中的图像信号读取至数据读取单元213。 由数据读取单元213读取的目标点和参考点(目标像素和参考像素) 的像素位置，由数据读取单元213基于从运动向量抽取单元13(图1) 供应的候选向量的数据确定。例如，当存在十个候选向量时，确定由 从目标点延伸的十个候选向量指示的十个参考点。
然后，由数据读取单元213读取的包括位于中心的目标点的固定 区的像素信号和包括位于中心的参考点的固定区的像素信号被供应 至评估值计算单元214，其中检测两个固定区中的像素信号之间的差。 以该方式，评估值计算单元214将由候选向量连接的所有参考点的固 定区的像素信号确定为当前评估的目标点，并且将像素信号中的每一 个与包括位于中心的目标点的固定区的像素信号相比较。
然后，作为比较的结果，评估值计算单元214选择具有与包括位 于中心处的目标点的固定区的像素信号最相似的固定区的参考点。
将所选择的参考点连接至目标点的候选向量的数据供应至向量 分配单元215。向量分配单元215将候选从目标点分配给运动向量， 并从输出端15输出分配的向量。
图26是示出了由图25所示的配置执行的向量确定(分配)处理 的例子的流程图。
参照图26,基于评估值表格的数据读取候选向量区(步骤S121 )。 然后，确定对应于所读取候选向量的目标点的坐标位置，并且从目标 点存储器212读取形成固定块的该位置的像素(目标像素)和目标像 素周围的像素(步骤S122)。并且，确定对应于所读取候选向量的参 考点的坐标位置，并且从参考点存储器211读取形成固定块的该位置 处的像素(参考像素)和参考像素周围的像素(步骤S123)。
然后，计算各个固定块中的各个像素的像素电平(像素值亮度
值)和为目标点设定的固定块中的各个像素的像素电平之间的差，在 所有的块中将该差的绝对值相加，从而计算绝对差的和(步骤S124)。对由所有对应于本目标点的候选向量指示的参考点执行该处理。
然后，在通过目标点和多个参考点之间的比较获得的绝对差的和 中，搜索具有最小的值的参考点。在已确定了具有最小值的参考点之 后，将连接确定的参考点和目标点的候选向量作为目标点的运动向量
分配(步骤S125)。
图27示出了图25所示的配置和图26示出的流程图中的处理状 态的概苋。
在该例子中，目标点dlO存在于帧F10 (目标帧)中。并且，在 目标点dlO和在时间轴上随后的帧Fll (参考帧)之间存在多个候选 向量Vll和V12。帧Fll包括通过候选向量Vll和V12连接至目标 点d10的参考点dll和d12。
在图27所示的状态下，在帧F10中设定在目标点dlO周围包括 预定数量的像素的固定块BIO，并且在图26的步骤S122中确定固定 块B10中的像素值。同样地，在帧Fll中设定在参考点dll和d12 周围包括预定数量的像素的固定块Bll和B12，并且在图26中的步 骤S123中确定固定块Bll和B12中的4象素值。
然后，获得固定块Bll中的各个像素的像素值和固定块B10中 的各个像素的像素值之间的差，获得该差的绝对值并将其相加，并获
得绝对差的和。同样地，获得固定块B12中的各个像素的像素值和固 定块B10中的各个像素的像素值之间的差，获得该差的绝对值并将其 相加，并获得绝对差的和。然后，相互比较两个绝对差的和。如果确 定使用固定块Bll的绝对差的和较小，则选择连接固定块Bll的中心 处的参考点dll和目标点d10的候选向量Vll。将所选择的候选向量 Vll作为目标点d10的运动向量分配。
图27示出了两个候选向量以简化说明，但实际上一个目标点可 能存在许多候选向量。并且，图27仅示出了一个目标点以简化说明， 但实际上一个帧中多个代表像素的每一个或所有像素用作目标点。
通过以上述方式执行在候选向量中确定向量的处理，可选择连接 彼此相似的目标点周围的像素状态和参考点周围的像素状态的向量，从而可有利地选择要分配给各个像素的运动向量。
<17.各个实施例共用的修改>
在上述实施例中，没有具体描述选择目标点的处理。例如，帧中 的每个像素都可被顺序地选择为目标点，并且可检测各个像素的运动
向量。可供替换地，帧中的代表像素都可被选择为目标点，并且可检 测所选择的像素的运动向量。
并且，关于选择对应于目标点的参考点的处理，图6A和6B中 示出的搜索区SA是一个例子，并且可将各种大小的搜索区设定为目 标点。
在上述实施例中，描述了运动向量检测设备的配置。可供替换地， 可在各种类型的图像处理设备中并入运动向量检测设备。例如，可在
编码设备中并入运动向量检测设备，以执行高效编码，所以可使用运 动向量数据执行编码。可供替换地，可在图像显示设备中并入运动向 量检测设备，以显示输入(接收的)图像数据；或在图像记录设备中 并入运动向量检测设备，以执行记录，并且可使用运动向量数据以获 得高图像质量。
可将根据本发明的实施例的用于检测运动向量的各个元件配置 为程序，该程序可被载入信息处理设备，诸如计算机设备，以处理各 种数据，并且可如上所述执行相同的处理，以从被输入信息处理设备 的图像信号检测运动向量。
本申请包含与于2008年7月30日在日本专利局提交的日本优先 权专利申请JP 2008-196611中公开的相关的主题，该专利申请的全部 内容通过引用而并入本文。
本领域技术人员应理解为，只要在所附权利要求或其等同物的范 围内，可以基于设计需要和其它因素进行各种修改、组合、子组合和 变形。
权利要求
1.一种运动向量检测设备，包括评估值信息形成单元，被配置为基于运动图像数据中的时间轴上的一个帧中的目标像素和另一个帧中的搜索区中的参考像素之间的像素值相关性信息，形成运动向量的评估值信息，该评估值信息评估参考像素是目标像素的候选运动的可能性，当基于像素值相关性信息确定强相关性时对目标像素和参考像素中的至少任何一个执行计数，基于通过计数获得的计数值确定要被添加至评估值信息的评估值，由此形成评估值信息；运动向量抽取单元，被配置为基于由评估值信息形成单元形成的评估值信息，为运动图像数据的帧中的各个像素抽取候选运动向量；以及运动向量确定单元，被配置为在由运动向量抽取单元抽取的候选运动向量中确定运动向量。
2. 根据权利要求1所述的运动向量检测设备，其中，评估值信息形成单元将具有通过计数获得的等于或小于预 定阈值的计数值的像素设定为候选运动，并且将具有超过预定阈值的 计数值的像素从候选运动中去除。
3. 根据权利要求1所述的运动向量检测设备，其中，当通过计数获得的计数值较大时，评估值信息形成单元将 较小的评估值设定为候选运动的评估值，而当计数值较小时，将较大 的评估值设定为候选运动的评估值。
4. 根据权利要求2所述的运动向量检测设备， 其中，对目标像素和参考像素都执行计数。
5. 根据权利要求4所述的运动向量检测设备， 其中评估值信息形成单元添加基于除了与计数值的阈值的比较以外的、有关参考像素和目标像素的状态而做出的确定的结果，作为 限制候选以形成评估值信息的因素。
6. 根据权利要求5所述的运动向量检测设备，其中，当目标像素和目标像素的相邻像素之间的空间倾斜具有特 定值或更大值时，以及当参考像素和参考像素的相邻像素之间的空间 倾斜具有特定值或更大值时，作为基于有关参考像素和目标像素的状 态而做出的确定的结果的、限制候选以形成评估值信息的因素确定候 选，而在其它情况下不确定候选。
7. 根据权利要求6所述的运动向量检测设备，其中，在目标像素和参考像素的空间倾斜图案彼此相匹配的情况 下，空间倾斜被确定为具有特定值或更大值，目标像素的空间倾斜图 案是从目标像素的像素值和相邻像素的像素值之间的差获得的，而参 考像素的空间倾斜图案是从参考像素的像素值和相邻像素的像素值 之间的差获得的。
8. 根据权利要求6所述的运动向量检测设备，其中，在目标像素和参考像素之间的运动方向上，在目标像素和 相邻Y象素之间的空间倾斜代码与参考像素和相邻像素之间的空间倾 斜代码相匹配的情况下，空间倾斜被确定为具有特定值或更大值。
9. 根据权利要求2所述的运动向量检测设备，其中，预定阈值是画面中的各个像素的计数值的最频值。
10. 根据权利要求2所述的运动向量检测设备，其中，预定阈值是画面中的各个像素的计数值的平均值。
11. 一种运动向量检测方法，包括下述步骤基于运动图像数据中的时间轴上的 一个帧中的目标像素和另一 个帧中的搜索区中的参考像素之间的像素值相关性信息，形成评估值 信息，该评估值信息评估参考像素是目标像素的候选运动的可能性，当在形成评估值信息时基于像素值相关性信息确定强相关性时， 对目标像素和参考像素中的至少任何一个执行计数，基于通过计数获 得的计数值确定要被添加至评估值信息的评估值，由此形成评估值信 息；基于评估值信息为运动图像数据的帧中的各个像素抽取候选运动向量；以及在通过抽取而抽取的候选运动向量中确定运动向量。
12. —种允许信息处理设备执行下述步骤的程序 基于运动图像数据中的时间轴上的一个帧中的目标像素和另一 个帧中的搜索区中的参考像素之间的像素值相关性信息，形成评估值 信息，该评估值信息评估参考像素是目标像素的候选运动的可能性， 当在形成评估值信息时基于像素值相关性信息确定强相关性时， 对目标像素和参考像素中的至少任何一个执行计数，基于通过计数获 得的计数值确定要被添加至评估值信息的评估值，由此形成评估值信 息；基于评估值信息为运动图像数据的帧中的各个像素抽取候选运 动向量；以及在通过抽取而抽取的候选运动向量中确定运动向量。
全文摘要
运动向量检测设备包括评估值信息形成单元，基于在运动图像数据中的时间轴上的一个帧的目标像素和在另一个帧中的搜索区中的参考像素之间的像素值相关性信息，形成评估参考像素是目标像素的候选运动的可能性的运动向量的评估值信息，当基于像素值相关性信息确定强相关性时对目标像素和参考像素中的至少任何一个执行计数，并且基于通过计数获得的计数值确定要被添加至评估值信息的评估值；抽取候选运动向量的运动向量抽取单元；以及在候选运动向量中确定运动向量的运动向量确定单元。
文档编号H04N7/26GK101640800SQ200910160200
公开日2010年2月3日 申请日期2009年7月30日 优先权日2008年7月30日
发明者近藤哲二郎, 铁川弘树, 高桥健治 申请人:索尼株式会社