运动矢量检测装置、运动矢量检测方法以及程序的制作方法

专利名称：运动矢量检测装置、运动矢量检测方法以及程序的制作方法
技术领域：
本发明涉及适合应用于从运动图像数据检测运动矢量以执行诸 如高效编码的图像处理的运动矢量检测装置和运动矢量检测方法，以 及用于执行其运动矢量检测处理的程序。
背景技术：
过去，在运动图像处理领域，利用运动信息(即，在不同时间的 图像中物体的运动方向和幅度)来执行有效的图像处理。例如，已经 将运动检测的结果用于在高效图像编码中执行的运动补偿帧间编码和 在使用帧间时域滤波器的电视减噪装置中执行的基于运动的参数控制 中。作为检测运动的方法，通常^f吏用块匹配方法。在块匹配方法中， 将一个帧的图像划分成每个都包括预定数量的像素的多个块单元，以 搜索块运动区域。根据块匹配的运动矢量检测处理是作为使用运动矢
量的图像处理的最普及的一般处理，其在MPEG (运动图像专家組) 格式等中被实际使用。
然而，在块匹配方法中，按块单位执行处理，因此不一定以高精 度检测各帧的图像中的运动。因此，本申请人先前已经提出了在日本 待审专利申请公报No. 2005-175869中描述的运动矢量检测处理。根据 该运动矢量检测处理，从图像信号检测与各像素位置处的运动相关的评 估值，将所检测到的评估值存储为评估值表。从该评估值表的数据中提 取多个矢量作为一个画面中的候选矢量。然后，对于整个画面中的每个 像素，确定通过所述多个提取的候选矢量而彼此关联的帧之间的像素的 相关度。结果，将连接被确定为具有最高相关度的像素的候选矢量确定 为与这些像素相对应的运动矢量。在后述实施例中将描述该处理的详情。
图24是例示了在通过使用评估值表来确定运动矢量时使用的先前提出的评估值表创建单元的结构的图。在图24的结构中，将在输入 端子1处获得的图像信号提供给相关度算术运算单元2。相关度算术 运算单元2包括参考点存储器2a、目标点存储器2b以及绝对值计算 单元2c。首先将在输入端子1处获得的图像信号存储在参考点存储器 2a中。进而，将存储在参考点存储器2a中的数据传送给目标点存储 器2b以在其中存储在参考点存储器2a与目标点存储器2b之间具有 一个帧的差的图像信号。然后，读取目标点存储器2b中存储的图像信 号中的目标点处的像素值和参考点存储器2a中存储的图像信号中的 被选择为参考点的像素位置处的像素值。然后，通过绝对值检测单元 2c检测这两个信号之间的差值。将所检测到的差值的绝对值的数据提 供给相关度确定单元3。相关度确定单元3包括用于将该差值与设定 的阈值进行比较的比较单元3a。根据与阈值进行的比较，获得评估值。 作为评估值，例如可以使用相关度值。例如，如果所述差值等于或小 于阈值，则确定相关度高。
将在相关度确定单元3处获得的评估值提供给评估值表计算单元 4，以在评估值积分单元4a处进行积分。将积分的结果存储在评估值 表存储器4b中。然后，将存储在评估值表存储器4b中的数据从输出 端子5提供给位于随后级的电路，作为评估值表数据。
图25A和25B是例示了通过利用图24例示的评估值表来确定运 动矢量的现有技术处理的状态的概要的图。如图25A所例示，在前一 帧F0 (其为当前时间的帧(当前帧)Fl之前一个帧的图像数据)中， 首先将充当用于确定运动矢量的基准的像素位置确定为目标点d0。在 确定了目标点d0之后，在当前帧Fl中设定目标点d0的像素位置周 围的预定范围内的搜索区SA。在设定了搜索区SA之后，针对搜索区 SA中作为参考点dl的每个像素计算评估值，并将其注册在评估值表 中。然后，将评估值表中注册的值之中具有搜索区SA中的最高评估 值的参考点确定为从前一帧的目标点起的运动的在当前帧中的像素位 置。由于如此获得了具有最高评估值的参考点，因此从目标点与具有 最高评估值的参考点之间的运动量确定运动矢量，如图25B所例示。通过图24到25B所例示的处理，可以基于评估值表数据来检测 运动矢量。

发明内容
在基于评估值表数据的运动矢量检测中，对最佳运动矢量的确定 依赖于评估值表的性能。在图24所例示的现有技术的方法中，如果在 目标点与像素之间相关度被确定为将来帧(当前帧)的搜索范围内的 候选运动的目的地，具体来说如果目标点与像素之间的亮度值的差值 的绝对值等于或小于特定阈值，则对于候选运动将频率计数添加到评 估值表。
然而，在根据现有技术方法的处理中，如果仅仅基于上述相关度 确定来创建评估值表，则当图像在平坦部分或带状图案部分中的所有 或一些方向上几乎不包括空间倾斜度时，可能会将错误运动添加到该 表。结果，评估值表的可靠性降低。评估值表的可靠性降低进而导致 所检测到的运动矢量的准确度的降低。
此外，如果图像包括多个运动，则现有技术的评估值表会被加入 错误运动。因此，会掩盖归因于相应的运动的评估值，使得难以检测 到相应的运动矢量。
鉴于上述问题，本申请人先前已经提出了图26所例示的评估值 表创建处理的结构。
图26的结构与图24的结构的不同之处在于，来自相关度确定单 元3的输出经受像素选择单元6的选择，然后被写入评估值表计算单 元4中的评估值表存储器4b中。
像素选择单元6包括用于传输来自相关度确定单元3的输出的门 单元6a，并将来自门单元6a的输出提供给评估值表计算单元4的评 估值积分单元4a。
在像素选择单元6中，空间倾斜度模式计算单元6b计算表示目 标点存储器2b中存储的目标像素与相邻于目标像素的像素之间的变 化状态的目标点空间倾斜度模式。空间倾斜度模式计算单元6b进一步于参考像素的像 素之间的变化状态的参考点空间倾斜度模式。将计算出的目标点空间 倾斜度模式和参考点空间倾斜度模式提供给模式比较单元6c，以确定 这两个模式之间的相关度。参照空间倾斜度模式存储器6d来执行该比 较。
此外，将像素选择单元6配置成基于在模式比较单元6c处获得 的相关度确定结果来控制通过门单元6a的输出的传输。
如图26所例示，利用根据目标像素和参考像素的模式执行的像 素选择，仅将在空间倾斜度方面与目标像素相关的参考像素的值写在 代表目标像素的候选运动的评估值表中。因此，该示例具有提高用于 检测运动矢量的评估值的准确度的效果。
然而，为了在图26所例示的像素选择单元6处执行高度可靠的 选择，在目标点与参考点之间进行空间倾斜度模式的简单相关度确定 是不够的。
即，在图26的结构中，由于在像素选择单元6的门单元6a处进 行的像素选择，将候选运动矢量缩减到一定数量的像素的运动矢量。 此外，评估值表存储器4b中存储的评估值表构成在一定程度上被视为 可靠的运动矢量的集合。然而，得到的评估值表仍然是大量运动矢量 的集合。为了从评估值表的数据最终确定帧中的运动矢量，应当通过 某种处理进一步缩减评估值表中的运动矢量。然而，根据过去提出的 方法，检测准确度不足。
此外，在两个相邻帧之间存在的运动矢量的数量根据对应的图像 而变化。因此，通过现有技术的方法来检测最佳数量的运动矢量还没 有被考虑。即，根据特定方法，例如，仅从评估值表中存储的多个运 动矢量提取固定数量的最频繁运动矢量。该方法经验性地计算两个相 邻帧之间存在的运动矢量的合适数量，以确定运动矢量的最终数量。 然而，实际上，将带有运动的图像分成带有相对活跃的运动的图像(其 中在两个帧之间存在许多运动向量)和基本上处于静态状态的图像(其 中在两个帧之间只存在小量运动矢量)。因此，固定运动矢量的数量是不合适的。
鉴于上述问题提出了本发明。在本发明中期望通过使用用于评估 运动矢量的评估值表来提高运动矢量的检测精度。在本发明中还期望 即使在图像中存在多个运动的情况下也能够对该多个运动进行合适的 检测。
本发明适用于从运动图像数据检测运动矢量。根据本发明实施例
的处理被配置成包括生成运动矢量的评估值信息的处理，该评估值 信息用于评估运动矢量是候选运动矢量的可能性；基于所述评估值信 息提取候选运动矢量的处理；以及在所提取的候选运动矢量中确定运 动矢量的运动矢量确定处理。
所述生成评估值信息的处理基于 一 个帧中的目标1泉素与另 一 帧 中的搜索区中的参考像素的像素值相关度信息，生成运动矢量的评估 值信息，该评估值信息用于评估参考像素是从目标像素开始的运动的 目的地的候选目的地的可能性。
所述基于评估值信息提取运动矢量的处理在以所述一个帧中的 所述目标像素为中心的预定区域中的像素与以所述另 一帧中的所述参 考像素为中心的预定区域中的像素之间执行比较，该比较是在整个区 域中执行的，基于所述比较的结果来评估评估值表的各候选矢量，以 及将具有高评估值的运动矢量提取为候选运动矢量。
根据本发明的实施例，作为基于评估值信息提取运动矢量的处 理，在整个区域中对以目标像素为中心的预定区域中的像素与以参考 像素为中心的预定区域中的像素进行相互比较，以检查它们之间的相 关度，并基于该比较的结果来评估各候选矢量。因此，通过目标像素 的周边区域的状态与参考像素的周边区域的状态之间的比较，对被选 择为评估值信息的像素的数据进行进一步的选择。
根据本发明的实施例，对于评估值信息中的运动矢量的评估值， 将作为各运动矢量的运动起点的目标点的周边区域中的差值的和与作 为运动目的地的参考点的周边区域中的差值的和相互比较。由此，对 候选矢量的可靠性进行合适的评估。利用如此获得的候选矢量的可靠性，可以在候选运动矢量中合适 地确定最终运动矢量。此外，即使一个图像包括多个运动，其多个矢 量也可以根据合适数量的高度可靠的候选矢量来合适地确定。


图l是例示了根据本发明实施例的装置的结构示例的框图； 图2是例示了根据本发明实施例的总体处理示例的流程图； 图3是例示了根据本发明实施例的评估值表的创建示例(利用空
间倾斜度模式来执行像素选择的示例)的框图4是例示了根据本发明实施例的示例的运动矢量提取单元的处
理的结构示例的框图5是例示了根据图3的示例的确定要选择的像素的处理示例的
流程图6A和6B是例示了根据图3的示例的对空间倾斜度模式进行 比较的处理示例的说明图7A到7D是例示了根据图3的示例的空间倾斜度码的示例的 说明图8是例示了根据图3的示例的空间倾斜度模式的示例的说明
图9是例示了根据本发明实施例的候选矢量可靠性确定处理示例 (第一示例)的流程图.10A和10B是例示了根据图9的处理示例的可靠性确定处理 的概要的说明图11是例示了根据本发明实施例的候选矢量可靠性确定处理示 例(第二示例在两个层上执行处理的示例)的流程图12A和12B是例示了根据图11的处理示例的可靠性确定处理 的概要的说明图13是例示了根据本发明实施例的上层和下层的示例的说明图14是例示了根据本发明实施例的对下层的处理示例的说明图；图15是例示了根据本发明实施例的对上层的处理示例的说明图； 图16是例示了根据本发明实施例的评估值表的示例的说明图； 图17是按频率顺序示出了根据本发明实施例的示例从评估值表
提取的候选矢量的说明图18是示出了根据本发明实施例的示例的候选矢量在下层上的
评估结果的示例的说明图19是示出了根据本发明实施例的示例的候选矢量在上层上的
评估结果的示例的说明图20是示出了根据本发明实施例的示例的候选矢量在上层和下
层上的评估结果的示例的说明图21是例示了根据本发明实施例的示例的运动矢量确定处理的
结构示例的框图22是例示了根据图21的示例的处理的流程图23是例示了根据图21的示例的运动矢量确定处理的状态示例
的说明图24是例示了根据现有技术的评估值表数据生成处理的结构示 例的框图25A和25B是例示了根据现有技术的评估值表数据生成处理 的示例的概要的说明图；以及
图26是例示了根据现有技术的评估值表数据生成处理的另一结 构示例的框图。
具体实施例方式
参照图1到23，将按以下顺序描述本发明的实施例的示例1、 用于检测运动矢量的总体结构的概要(图1) ; 2、用于检测运动矢量 的总体处理的概要(图2、图6A和6B); 3、用于生成选择的像素数 据的结构示例(图3、图6A到8) ; 4、运动矢量提取单元的结构示 例(图4) ; 5、用于生成选择的像素数据的处理示例(图5) ; 6、用 于评估评估值表数据的可靠性的处理示例(仅使用下层的示例)(图9);7、用于评估评估值表数据的可靠性的原理的描述(图IOA和10B); 8、用于评估评估值表数据的可靠性的处理示例(使用下层和上层的示 例)(图ll); 9、用于评估评估值表数据的可靠性的原理的描述(使 用下层和上层的示例)(图12A到13); 10、对下层和上层的描述(图 14和15) ; 11、评估值表和评估结果的示例(图16到20) ; 12、运 动矢量确定单元的结构和操作的示例(图21到23) ; 13、实施例的 变型例的描述。
用于检测运动矢量的总体结构的概要本实施例是从运动图像数 据检测运动矢量的运动矢量检测装置。运动矢量检测装置的检测处理 包括基于像素值相关度信息创建评估值表、对评估值表的数据的积 分、以及确定运动矢量。在以下描述中，将存储运动矢量的评估值信 息的表称为评估值表。然而，不一定要将评估值表配置成以表的格式 存储的信息。因此，只要评估值表构成表示运动矢量的评估值的信息 就足够了。例如，可以将评估值配置成直方图格式的信息，并且可以 存储直方图格式的评估值信息。
图l是例示了运动矢量检测装置的总体结构的图。将在图像信号 输入端子11处获得的图像信号提供给评估值表创建单元12，以创建 评估值表。该图像信号例如是数字视频信号，从该数字视频信号获得 各帧中的各像素的各个亮度值。评估值表创建单元12创建与搜索区相 同大小的评估值表。
将由评估值表创建单元12创建的评估值表数据提供给运动矢量 提取单元13。运动矢量提取单元13从评估值表提取多个运动矢量作 为候选矢量。基于评估值表中出现的峰值，运动矢量提取单元13提取 多个候选矢量。稍后将描述提取多个候选矢量的处理的详情。将在运 动矢量提取单元13处提取的多个候选矢量提供给运动矢量确定单元 14。
根据区域匹配等，运动矢量确定单元14针对整个画面中的每个 像素，确定由于在运动矢量提取单元13处提取的多个候选矢量而彼此 相关联的帧的像素之间的相关度。然后，运动矢量确定单元14将连接具有最高相关度的像素或块的候选矢量设定为与这些像素相对应的运
动矢量。在控制单元(控制器)16的控制下，执行用于获得运动矢量 的以上处理。
从运动矢量输出端子15输出所设定的运动矢量的数据。在该处 理中，根据情况，可以将运动矢量的数据加入输入端子11处获得的图 像信号以与图像信号一起输出。所输出的运动矢量用于例如图像数据 的高效编码。另选地，可以将所输出的运动矢量用于在由电视机的图 像显示中执行的图像质量提高处理中。另选地，可以将通过本示例的 处理检测到的运动矢量用于其它图像处理。
用于检测运动矢量的总体处理的概要图2的流程图例示了直至 确定运动矢量的处理的示例。首先，从输入图像信号创建评估值表(步 骤Sll)，然后从所创建的评估值表提取多个候选矢量(步骤S12)。 然后，在多个提取的候选矢量中确定具有最高相关度的运动矢量(步 骤S13)。在每个帧中执行图2的流程图的处理。到目前为止的处理 具有与使用评估值表的运动矢量检测结构相同的结构。
在本实施例中，评估值表创建单元12的评估值表创建处理由图3 例示的结构来执行。这里，目标点是指充当用于确定运动矢量的基准 的点(基准点)的像素位置(目标像素)。参考点是指具有作为从目 标点起的运动的目的地的可能性的点的像素位置(参考像素)。参考 点对应于包括目标点的帧的下一帧或前一帧中的目标点的像素位置附 近(即在搜索区中)的像素。在以下描述中，在特定上下文中，将目 标点和参考点分别称为目标像素和参考像素。目标像素是指位于目标 点处的像素，参考像素是指位于参考点处的像素。
在描述图3的结构之前，将参照图6A描述目标点与参考点之间 的关系。如图6A所例示，在前一帧F10 (其为当前时间的帧(当前 帧)Fll之前一帧的图像数据)中，将充当用于确定运动矢量的基准 的像素位置确定为目标点d10。在已经确定了目标点d10之后，在当 前帧Fll中设定目标点d10的像素位置周围的预定范围内的搜索区 SA。在已经设定了搜索区SA之后，针对搜索区SA中的作为参考点dll的每个像素计算评估值。在图6A中，出于描述的方便起见，仅例示了一个目标点。然而，实际上，顺序地将一个帧中的所有像素或多个代表像素设定为目标点，并且将针对每个目标点设定的搜索区SA中的每个像素确定为参考点。
用于生成选择的像素数据的结构示例利用如图6A中所示设定的目标点和参考点，通过图3的结构来生成评估值表的数据。
在图3中的示例的结构中，将在输入端子11处获得的图像信号提供给评估值表创建单元12中的相关度算术运算单元20。相关度算术运算单元20包括参考点存储器21、目标点存储器22以及绝对值计算单元23。从输入端子11处获得的图像信号中，将帧中的用作参考点的像素值存储在参考点存储器21中。然后，在下一帧周期中执行将参考点存储器21中存储的帧的信号传送到目标点存储器22的处理。在本示例中，参考点包括在当前帧之前的一个帧的信号中。
然后，将目标点存储器22中存储的目标点的像素值和参考点存储器21中存储的参考点的像素值提供给绝对值计算单元23，以检测这两个信号之差的绝对值。此处的差是指图像信号之间的亮度值的差。将检测到的差的绝对值的数据提供给相关度确定单元30。相关度确定单元30包括用于将所述差与设定的阈值进行比较并且获得评估值的比较单元31。该评估值例如是当差等于或小于阈值时表示高相关度而当差超过阈值时表示低相关度的二元值。
将在相关度确定单元30处获得的评估值提供给像素选择单元40。像素选择单元40包括用于选择从相关度确定单元30输出的二元值的门单元41。作为用于控制门单元41的结构，像素选择单元40包括空间倾斜度模式计算单元42、模式比较单元43以及空间倾斜度模式存储器44。
空间倾斜度模式计算单元42计算目标像素与相邻于目标像素的8个周边像素中的每一个之间的空间倾斜度的状态，以及计算参考像素与相邻于参考像素的8个周边像素中的每一个之间的空间倾斜度的状态。基于目标像素和参考像素中的每一个与在包括该像素的帧中相图6A和6B是例示了空间倾斜度模式的确定的示例的图。如前所述，在两个相邻帧F10和F11中分别设定了目标点和参考点之后，在各帧中确定该点处的像素(目标点处的像素或参考点处的像素)的亮度值和8个周边像素的亮度值。
图7A到7D是例示了将中央的目标像素或参考像素的亮度值与周边像素的亮度值进行比较以确定空间倾斜度码的原理的图。
即，当确定了目标点处的像素时，如图7A所例示，将相邻于目标点的8个像素确定为相邻像素。然后，当将目标点设定为基准时，将目标点的像素值与各相邻点的像素值进行比较，以确定这两个像素的像素值(亮度值)之差是在预定范围内、在正方向上超过预定范围、还是在负方向上超过预定范围。
图7B例示了作为基准的目标点与相邻像素之差在预定范围内的示例。在此情况下，确定在目标点与相邻像素之间不存在空间倾斜度，并设定空间倾斜度0。空间倾斜度0表示在目标点与相邻像素之间几乎不存在空间倾斜度的状态。如果减小用于确定图7B到7D中例示的差的预定范围，则会减小被确定为不存在空间倾斜度的差的容限值。同时，如果增大所述预定范围，则会增大被确定为不存在空间倾斜度的差的容限值。
图7C例示了相邻像素的值大于作为基准的目标点的值，因此它们之间的差在正方向上超过预定范围的示例。在此情况下，确定在目标点与相邻像素之间存在空间倾斜度，并设定差值码+。
图7D例示了相邻像素的值小于作为基准的目标点的值，因此它们之间的差在负方向上超过预定范围的示例。在此情况下，确定在目标点与相邻像素之间存在空间倾斜度，并设定差值码- 。
在图7A到7D中，已经对确定目标点的空间倾斜度码的处理进行了描述。该描述也适用于参考点的情况。在参考点的情况下，图7A到7D中设定的基准改变成参考点处的像素值，并且相邻像素的值对应于相邻于参考点的像素的值。
在本实施例中，基于通过图7A到7D中例示的处理而获得的、中央的目标像素或参考像素与其8个周边像素中的每一个之间的空间倾斜度的空间倾斜度码，来确定空间倾斜度模式。具体来说，如果目标像素或参考像素与8个周边像素之间的空间倾斜度的空间倾斜度码全部是空间倾斜度0，则确定该目标像素或参考像素在亮度上与周边像素几乎没有差异，即，没有空间倾斜度。此外，如果目标像素或参考像素具有沿任何方向的+或-的空间倾斜度，则根据表现出+或 - 的空间倾斜度的空间倾斜度模式，确定该目标像素或参考像素具有空间倾斜度。
图8是例示了空间倾斜度模式的示例的图。在图8的左侧例示了一个帧中的9像素模式P，在图8的右侧例示了该9像素模式P的放大视图。图8例示了目标点(目标像素)d10及其8个周边像素的示例，其中中央的目标点d10与8个周边像素之间的空间倾斜度的空间倾斜度码全为+或-。
图8的模式例示了一个示例。因此，根据目标点与8个周边像素之间的空间倾斜度码的组合，可以设定多种空间倾斜度模式。
回到对图3的结构的描述，像素选择单元40的空间倾斜度模式计算单元42计算一个帧中的每个点(目标像素或参考像素)的空间倾斜度模式。将该计算的结果发送到模式比较单元43，然后执行比较以确定计算出的空间倾斜度模式与用于像素选择的空间倾斜度模式是否匹配。为了执行该比较，将用于像素选择的模式的数据从空间倾斜度模式存储器44发送到模式比较单元43。
例如，如果将具有如图8所示的空间倾斜度模式的像素设定为要选择的像素，则模式比较单元43接收从空间倾斜度模式存储器44发送的图8的模式的数据，并且执行比较以确定所接收到的模式是否与计算出的空间倾斜度模式相匹配。尽管最优选的是通过利用目标点和参考点这两者来执行比较，但是也可以利用目标点和参考点中的任一个来执行比较。如果通过在模式比较单元43处进行的比较而确定计算出的空间倾斜度模式与被确定为具有空间倾斜度的模式相匹配，则向门单元41发送选择对应的像素的指令。发送该指令的数据是所选像素数据。
当接收到根据所选像素数据来选择像素的指令时，门单元41使与对应的目标点和参考点相关的评估值通过。
将通过像素选择单元40的门单元41的评估值提供给评估值表计算单元50。在评估值表计算单元50中，评估值积分单元51对评估值进行积分，并将积分结果存储在评估值表存储器52中。将如此获得的存储在评估值表存储器52中的数据作为评估值表数据从输出端子12a提供到位于后级的电路(图1中的运动矢量提取单元13)。
此外，将本实施例被配置成将提供到门单元41的所选像素数据从输出端子12a提供到运动矢量提取单元13。
运动矢量提取单元的结构示例图4是例示了图l的运动矢量提取单元13的结构示例的图。在运动矢量提取单元13中，向输入端子13a提供了评估值表数据、所选像素数据以及图像数据。
将评估值表数据从图3的评估值表计算单元50提供到评估值表数据转换单元61。
所选像素数据是从图3的像素选择单元40的门单元41提供的，并表示由门单元41选择的目标点的像素位置。将目标点的所选像素数据提供到所选像素数据存储器73以存储在其中，直到对应的帧中的处理完成。
所述图像数据是正被处理的每个帧的图像数据，并被提供给帧存储器74以存储在其中，直到对应的帧中的处理完成。
评估值表数据转换单元61将所提供的评估值表数据转换成诸如频率值或微分值的数据。转换后的数据经受频率顺序排序处理单元62的处理，使得按频率的顺序在一个帧中对候选矢量进行重排。将按频率的顺序重排后的候选矢量的评估值表数据提供给候选矢量可靠性确定单元70。
在候选矢量可靠性确定单元70中，将按频率的顺序重排后的评估值表数据提供给候选矢量可靠性评估单元71。候选矢量可靠性评估单元71对由所选像素数据存储器73中存储的目标点的所选像素数据表示的相应所选像素的位置处的候选矢量的可靠性进行评估。将该评估的结果提供给候选矢量可靠性确定单元72，以生成候选矢量的可靠性数据。然后，将候选矢量的可靠性数据从输出端子13b提供到位于后级的处理单元(图1中的运动矢量确定单元14)。
用于生成所选像素数据的处理示例随后，将对通过图3和4的
估的处理示例进行描述。
参照图5的流程图，将首先描述确定要选择的像素的处理。通过图3的结构来执行确定要选择的像素的处理。
参照图5，通过图3中例示的结构的处理对应于通过利用目标点和参考点的空间倾斜度模式来选择评估值的处理。在下面的流程图中，将主要描述像素选择单元40的处理。
图5的流程图例示了使用图8中例示的空间倾斜度模式的示例，即，包括中央的一个像素以及8个相邻像素的9像素模式的示例，其中中央的目标点或参考点与8个相邻像素之间的关系全部由除0以外的码(即，码+或-)表示。
首先，空间倾斜度模式计算单元42从根据目标点与各相邻像素之间的差的空间倾斜度模式计算空间倾斜度码。类似地，空间倾斜度模式计算单元42还从根据参考点与各相邻像素之间的差的空间倾斜度模式计算空间倾斜度码。由此，获得空间倾斜度模式(步骤S21)。
然后，确定所获得的空间倾斜度模式与空间倾斜度模式存储器44中先前准备的空间倾斜度模式是否匹配(步骤S22)。如果通过该确定确认了与所准备的空间倾斜度模式相匹配，则确定目标点处的像素与参考点处的像素之间的亮度值差是否等于或小于预定阈值，由此确定目标点与参考点是否相同(步骤S23)。
在该步骤中，如果确定了目标点与参考点相同，则使对应的评估值通过门单元41并积分在评估值表中(步骤S24)。然后，存储将目标点指示为所选像素的信息(步骤S25)。
此外，如果在步骤S22处这两个空间倾斜度模式彼此不匹配，以及如果在步骤S23处目标点与参考点之差超过阈值，则阻止评估值通过门单元41，以禁止将评估值写入评估值表中(步骤S26)。
用于评估评估值表数据的可靠性的处理示例随后，参照图9的流程图，将描述对评估值表中的如此获得的评估值进行评估的处理示例。对评估值表中的评估值进行评估的处理由图4所例示的运动矢量提取单元13来执行。
首先，候选矢量可靠性评估单元71从频率顺序排序处理单元62读取候选矢量(步骤S31)。这些候选矢量是从由频率顺序排序处理单元62按频率的顺序排序后的候选矢量中提取的，并且是一个帧中的预定数量的最频繁候选矢量。在此情况下，例如，从一个帧中的候选矢量中按频率的降序提取前20个候选矢量。
然后，对于由从所选像素数据存储器73提供的所选像素数据表示的目标点处的所选像素，候选矢量可靠性评估单元71设定以各目标像素为中心的预定区域。然后，对于目标像素，将参考点设定为由在步骤S31提取的相应候选矢量表示的候选运动目的地。例如，如果如上所述提取了前20个候选矢量，则针对一个目标点处的所选像素设定20个参考像素。
在设定了多个参考像素之后，设定以各参考像素为中心的预定区域。该区域的大小与以目标像素为中心而设定的区域的大小相同。
然后，从帧存储器74获取以所选目标像素为中心的区域的像素值和以相应参考像素为中心的区域的像素值(步骤S32)。
在获取了各区域的像素值之后，获取以目标像素为中心的区域中的各像素的像素值与以各参考像素为中心的各区域中的各像素的像素值之间的差，并针对各区域计算这些差的绝对值之和(步骤S33)。基于以上计算，在从所选目标像素延伸的候选矢量中，将具有最小差值绝对值和的参考像素的候选矢量确定为高度可靠的，并将可靠性计数值增加+1 (步骤S34 )。然后，针对一个帧中的所有所选目标像素执行类似的候选矢量可
靠性评估，由此确定候选矢量的相应可靠性(步骤S35)。
用于评估评估值表数据的可靠性的原理的描述随后，参照图IOA和10B,将描述通过图4的结构和图9的流程图的处理来执行的评估评估值表数据的可靠性的处理中的可靠性确定的原理。在以上描述中，按频率的降序提取20个矢量作为候选矢量。这里，为了筒化描述，假设已经按频率的降序提取了 3个候选矢量。
首先，如果前一帧F10包括所选目标点d10，如图10A所例示，则在目标点d10周围分配作为候选运动的3个候选矢量。通过候选矢量的分配，在当前帧Fll中获得了 3个参考点dll、 d12以及dl3作为由候选矢量表示的候选运动目的地。 在此情况下，在图9中的流程图的步骤S32处，在前一帧F10中设定以目标点dlO为中心的区域alO，如图10B所示。此外，在当前帧Fll中设定分别以参考点dll、 dl2以及dl3为中心的区域a11、a12以及a13。
各区域all、 a12以及al3的大小相等。例如，每个区域包括垂直方向上8个像素乘以水平方向上16个像素，即，包括128个像素。
然后，在图9中的流程图的步骤S33中，将目标点周围的区域a10中的各像素的像素值与各参考点周围的各区域all、 a12以及a13中的各像素的像素值进行比较。由此，获得它们之间的差值。将通过比较获得的各像素位置处的差值转换成相应的绝对值，并在各区域中相加，从而获得差值绝对值和。具体来说，如图10B所示，获得区域alO中的各像素与区域all中的各像素之间的差值，并在区域中将差值的绝对值相加以获得差值绝对值和Aal。此外，获得区域a10中的各像素与区域a12中的各像素之间的差值，并在区域中将差值的绝对值相加以获得差值绝对值和Aj31。此外，获得区域a10中的各像素与区域a13中的各像素之间的差值，并在区域中将差值的绝对值相加以获得差值绝对值和^1 。
然后，将差值绝对值和Aal、 API以及Ayl相互比较，并将最小的差值绝对值和确定为高度可靠的。在图10B的示例中，假设差值绝对值和Actl最小。在此情况下，将连接目标点d10与参考点dll的运动矢量确定为目标点d10的候选矢量中的最可靠候选矢量。在确定了目标点d10的最可靠候选矢量之后，对于在图9中的流程图的步骤S31处提取的候选矢量之中被确定为高度可靠的候选矢量，将表示评估值的计数值增加+1。该处理对应于图9中的流程图的步骤S34。
然后，针对一个帧中的所有所选目标像素，执行以上述方式计算可靠性的处理。然后，利用最终获得的表示评估值的计数值，确定图9中的流程图的步骤S31处提取的多个候选矢量的相应可靠性。
用于评估评估值表数据的可靠性的处理示例(使用下层和上层的示例)在图9到10B的示例中，针对一个目标点和由从该目标点延伸的候选矢量指示的参考点中的每一个设定一个区域，使得该区域以所述点为中心，并且确定该区域中的像素的差值绝对值和。另选地，可以针对目标点和参考点中的每一个设定多个区域。这里，参照图11到12B，将描述在上层和下层上执行区域设定的示例，作为设定多个区域的示例。
首先，参照图11的流程图，将描述在上层和下层这两个层上评估所选目标像素的候选矢量的处理示例。评估候选矢量的处理由图4中例示的运动矢量提取单元13来执行。
参照图11，候选矢量可靠性评估单元71从频率顺序排序处理单元62读取候选矢量(步骤S41)。这些候选矢量是从由频率顺序排序处理单元62按频率的顺序排序的候选矢量中提取的，并且是一个帧中的预定数量的最频繁候选矢量。在此情况下，例如，从一个帧的候选矢量中按频率的降序提取前20个候选矢量。然后，并行执行对下层的处理和对上层的处理。
为了执行对下层的处理，本过程进行到步骤S42。对于由从所选像素数据存储器73提供的所选像素数据表示的目标点处的所选像素，候选矢量可靠性评估单元71设定以各目标像素为中心的下层上的预定区域。然后，对于目标像素，将参考点设定为由步骤S41处提取的各候选矢量指示的候选运动目的地。例如，如果如上所述提取了前20个候选矢量，则针对一个目标点处的所选像素设定20个参考像素。
在设定了多个参考像素之后，将下层上的预定区域设定为以各参 考像素为中心。以各参考像素为中心的下层上的区域的大小与被设定 为以目标像素为中心的下层上的区域的大小相同。
然后，从帧存储器74获取以所选目标像素为中心的下层上的区 域的像素值和以各参考像素为中心的下层上的区域的像素值(步骤 S42)。在该示例中，下层上的各区域例如包括垂直方向上8像素乘以 水平方向上16像素，即，128像素。
在获取了各区域的像素值之后，获取以目标像素为中心的区域中 的各像素的像素值与以各参考像素为中心的各区域中的各像素的像素 值之间的差值，并针对各区域计算差值的绝对值的和(步骤S43)。 基于以上计算，在从所选目标像素延伸的候选矢量中，将具有最小差 值绝对值和的参考像素的候选矢量确定为下层上的高度可靠的矢量， 并将可靠性计数值增加+1 (步骤S44 )。
同时，为了执行对上层的处理，本过程进行到步骤S45。对于由 从所选像素数据存储器73提供的所选像素数据指示的目标点处的所 选像素，候选矢量可靠性评估单元71设定以各目标像素为中心的上层 上的预定区域。此外，同样对于位于与下层上的参考点相同的位置处 的各参考点，将上层上的预定区域设定为以参考像素为中心。以参考
像素为中心的上层上的区域的大小与被设定为以目标像素为中心的上 层上的区域的大小相同。在本示例中，上层上的各区域例如包括垂直 方向上24像素乘以水平方向上48像素，即，1152像素。然而，在上 层上，将像素分组成多个块，每个块构成垂直方向上3个像素乘以水 平方向上3个像素的单元，并针对每个块计算平均像素值。
然后，获得以目标像素为中心的区域中的块的平均像素值与以各 参考像素为中心的各区域中的块的平均像素值之间的差值，并针对各 区域计算差值的绝对值的和(步骤S46)。基于以上计算，在从所选 目标像素延伸的候选矢量中，将具有最小差值绝对值和的参考像素的 候选矢量确定为在上层上高度可靠的，并将可靠性计数值增加+1 (步骤S47 )。
然盾，对于一个帧中的所有所选目标像素，执行类似的下层的候 选矢量的可靠性评估和上层的候选矢量的可靠性评估。然后，确定候
选矢量的相应可靠性(步骤S48)。
用于评估评估值表数据的可靠性的原理的描述(使用下层和上层 的示例)随后，参照图12A和12B，将描述在由图11的流程图的 处理执行的通过使用下层和上层评估评估值表数据的可靠性的处理中 的可靠性确定的原理。为了简化描述，还是假设在本示例中已经按频 率的降序提取了 3个候选矢量。在图12A和12B中，对下层的处理与 图IOA和10B中描述的处理完全相同。
首先，如果前一帧F10包括所选目标点d10，如图12A所例示， 则在目标点dlO周围分配作为候选运动的3个候选矢量。通过候选矢 量的分配，在当前帧Fll中获得了 3个参考点dll、 d12以及dl3作 为由候选矢量指示的候选运动目的地。图12A的状态与图10A的状态相 同。
然后，在图11中的流程图的步骤S42处执行的对下层的处理中， 在前一帧F10中设定以目标点d10为中心的下层上的区域a10，如图 12B所例示。此外，在当前帧Fll中设定分别以参考点dll、 dl2以及 dl3为中心的下层上的区域a11、 al2以及a13。
下层上的各区域a10、 all、 a12以及a13的大小相等。例如，各 区域包括垂直方向上8个像素乘以水平方向上16个像素，即128个像素。
在图11中的流程图的步骤S45处执行的对上层的处理中，在前 一帧F10中设定以目标点d10为中心的上层上的区域AIO，如图12B 所例示。此外，在当前帧Fll中设定分别以参考点dll、 d12以及d13 为中心的上层上的区域All、 A12以及A13。
在上层上，将像素分组成多个块，如图13所例示。即，如图13的 (a)中例示，在设定目标点dlO或参考点dll周围的区域时，将块B0、 Bl、 B2、 B3、 B4等设定为9像素单元，每个9像素单元包括垂直方向 上的3个像素乘以水平方向上的3个像素。对每个块中的9个像素的像素值(亮度值)进行平均。由此，每个块具有平均像素值。
然后，如图15所例示，准备垂直方向上的8个块乘以水平方向上 的16个块，即，128个块。计算这128个块的平均像素值的差值绝对值 和。
各区域AIO、 All、 A12和A13的大小相等，并且分别大于下层上 的区域a10、 all、 al2以及a13。例如，每个区域包括垂直方向上的24 个像素乘以水平方向上的48个像素，即，1152个#>素。
回到对图12B的描述，在图11中的流程图的步骤S43处执行的 对下层的处理中，将目标点周围的区域a10中的各像素的像素值与各 参考点周围的区域all、 a12以及a13中的每一个中的各像素的像素值 进行比较。由此，获得它们之间的差值。将通过该比较获得的各^f象素位 置处的差值转换成相应的绝对值，并在各区域中相加，从而获得差值绝 对值和。具体来说，如图IOB所例示，获得区域a10中的各像素与区域 all中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得下 层上的差值绝对值和Acd。此外，获得区域a10中的各像素与区域a12 中的各〗象素之间的差值，并在区域中将差值的绝对值相加，以获得下层 上的差值绝对值和AP1。此外，获得区域a10中的各像素与区域a13中的 各像素之间的差值，并在区域中将差值的绝对值相加，以获得下层上的 差值绝对值和A)4。
类似地，在图11中的流程图的步骤S46处执行的对上层的处理 中，将目标点周围的区域AIO中的各像素的像素值与各参考点周围的 区域All、 A12以及A13中的每一个中的各像素的像素值进行比较。由 此，获得它们之间的差值。将通过该比较获得的各像素位置处的差值转 换成相应的绝对值，并在各区域中相加，从而获得差值绝对值和。具体 来说，如图12B所例示，获得区域AIO中的各《象素与区域AU中的各像 素之间的差值，并在区域中将差值的绝对值相加，以获得上层上的差值 绝对值和Aa2。此外，获得区域AIO中的各像素与区域A12中的各像素 之间的差值，并在区域中将差值的绝对值相加，以获得上层上的差值绝 对值和AP2。此外，获得区域A10中的各像素与区域A13中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得上层上的差值绝对
值和Ay2。
然后，将下层上的差值绝对值和Aotl、 Apl和Ayl相互比较，并 将最小的差值绝对值和确定为在下层上高度可靠的。在图12B的示例中， 假设在下层上差值绝对值和Aal是最小的。在此情况下，在对下层的确 定处理中，将连接目标点d10与参考点dll的运动矢量确定为在此情况 下选择的目标点d10的候选矢量中的最可靠候选矢量。
在确定了在下层上目标点d10的最可靠候选矢量之后，对于在图11 中的流程图的步骤S41处获得的候选矢量中被确定为高度可靠的候选矢 量，将表示下层上的评估值的计数值增加+1。该处理对应于图11中的流 程图的步骤S44。
类似地，将上层上的差值绝对值和Aa2、 Ap2和Ay2相互比较，并 将最小的差值绝对值和确定为在上层上高度可靠的。在图12B的示例中， 假设在上层上差值绝对值和Aa2是最小的。在此情况下，在对上层的确 定处理中，将连接目标点d10与参考点dll的运动矢量确定为在此情况 下选择的目标点d10的候选矢量中的最可靠候选矢量。
在确定了在上层上目标点d10的最可靠候选矢量之后，对于在图11 中的流程图的步骤S41处获得的候选矢量中被确定为高度可靠的候选矢 量，将表示上层上的评估值的计数值增加+1。该处理对应于图11中的流 程图的步骤S47。
然后，针对一个帧中的所有所选目标像素，执行以上述方式计算 可靠性的处理。然后，利用最终获得的表示评估值的计数值，确定图 U中的流程图的步骤S41处提取的多个候选矢量的各自的可靠性。
在图12A和12B的示例中，在对下层的处理中4皮确定为最可靠的候 选矢量与在对上层的处理中被确定为最可靠的候选矢量是同一矢量。然 而，在上层与下层之间，被确定为最可靠的候选矢量不一定相同。
利用以上述方式获得的下层上的候选矢量的可靠性的评估值(计 数值)和上层上的候选矢量的可靠性的评估值(计数值)，在一个帧 的整个画面中的候选矢量之中确定高度可靠的候选矢量。在图11的流程图中，描述了对下层和上层都执行处理的示例。 然而，可以仅设定上层上的区域，以基于在上层上获得的块的平均像 素值的差值绝对值和来评估候选矢量的可靠性。
对下层和上层的描述在图14和15中分别例示了对图12A和 12B中例示的候选矢量的可靠性进行评估的处理示例，分别作为对下 层的处理和对上层的处理。
即，在下层上，如图14所例示，设定了区域a10、 all、 al2等， 每个区域包括8个像素乘以16个像素，并且分别以所选目标像素dl0和 由从目标像素d10延伸的候选矢量指示的参考像素dll、 d12以及d13 为中心。然后，获得各区域中的像素的差值绝对值和，并进行相互比较。
在上层上，如图15所例示，设定了区域AIO、 All、 A12等，每 个区域包括24个像素乘以48个像素，并且分别以目标像素d10和由从 目标像素d10延伸的候选矢量指示的参考像素dll、 d12以及d13为中 心，并且这些像素被分组成每个均包括3个像素乘以3个像素的多个块 单元。然后，获得各区域中的块的平均值的差值绝对值和，并进4亍相互 比较。
以上述方式，针对评估值表中所示的每个候选运动矢量，获得表 示可靠性的计数值，并且基于表示候选矢量的相应可靠性的计数值来 缩减候选矢量。
评估值表和评估结果的示例这里，参照图16到20,将描述通 过评估值表获得的候选矢量和评估结果的示例。
首先，图16例示了针对一个帧的整个画面检测到的评估值表的 示例。图16的示例例示了整个画面在一个方向上运动的状态。该示例 例示了在一个帧的整个画面中发生了表示为水平方向(Vx)为-3 (即，3 个像素的运动)且垂直方向(Vy)为0 (即，没有运动)的运动的情况。
在该示例中，评估值表数据在位置(-3，0)处具有峰值，这是正确的 运动矢量位置。然而，在其它矢量位置处也留有一定数量的运动矢量作 为寸吳选运动矢量。
图17示出了从图16所例示的状态下的评估值表中的运动矢量中按频率计数值的顺序提取的候选矢量。在图17的示例中，按频率的降 序提取前20个候选矢量，并按频率的降序为其分配编号(id )0， 1， 2，...， 和19。
图18示出了基于对与所选目标像素相关的下层上的区域中的差 值绝对值和的确定而对图17中的20个最频繁候选矢量进行高可靠性 计数得到的数值。在对下层的处理中，具有1以上的计数值的候选矢 4:中的最低频候选矢量是id9。然而，在比id9频率更高的候选矢量id4 和id6中，计数值为O。比id9频率低的候选矢量都具有计数值0，即， 这些候选矢量被确定为在任何所选像素中不是高度可靠的。
在本示例中，选择位于IO个坐标位置处的按频率的顺序的前10 个候选矢量idO到id9作为最终候选矢量。将如此选择的候选矢量的数 据发送到图1中例示的运动矢量确定单元14，以确定最终运动矢量。
在图18的示例中，仅对下层执行确定。这样，该示例对应于图9 中的流程图的处理的结果。
图19示出了基于对与所选目标像素相关的上层上的区域中的差 值绝对值和的确定而对图17中的20个最频繁候选矢量进行高可靠性 计数得到的数值。在对上层的处理中，位于3个坐标位置处的候选矢 量idO、 id3和id7具有计数值。在所有其它候选矢量中，计数值为0， 即，其它候选矢量被确定为在任何所选像素中不是高度可靠的。
因此，在本示例中，选择位于3个坐标位置处的候选矢量idO、 id3和id7作为最终候选矢量。将如此选择的候选矢量的数据发送到图1 中例示的运动矢量确定单元14,以确定最终运动矢量。
在图19的示例中，仅对上层执行确定。这样，该示例对应于图 11中的流程图的一些处理(步骤S41、 S45、 S46、 S47和S48处的处理) 的结果。
图20示出了基于下层上的确定的高可靠性计数而得到的数值和 基于上层上的确定的高可靠性计数而得到的数值，即，图18和19的 组合。图20的示例对应于图11中的流程图的处理的结果。
对图20所示的候选矢量的各计数值进行评估，并提取预定数量的具有计数值的最频繁候选矢量作为候选矢量，并将其发送到运动矢
量确定单元14。
选择仅对下层进行确定、仅对上层进行确定以及对上层和下层这 两层进行确定中的哪一个优选地根据实际图像的状态而变化。即，在 具有相对小的运动的图像的情况下，可以通过仅使用下层来合适地评 估候选矢量的可靠性，从而缩减候选矢量。此外，在具有相对大的运 动的图像的情况下，可以通过仅使用上层来合适地评估候选矢量的可 靠性，从而缩减候选矢量。
此外，通过组合使用下层和上层，可以处理相对小的运动和相对 大的运动。然而，在组合使用下层和上层时，应当执行一些处理以基 于在这两个层上获得的两种类型的计数值来确定候选矢量的最终范 围。
通过如上所述地配置的本实施例的处理，可以对通过所选像素数 据缩减的评估值表的数据执行可靠性评估，并且可以合适地执行确定 最终运动矢量的处理。具体来说，确定一个帧的图像中的运动矢量的 最终数量以在一定程度上反映基于评估的计数值而被确定为高度可靠 的矢量的数量。因此，当一个图像包括多个运动时，可以合适地执行 运动矢量检测。与将一个帧中的运动矢量的数量限制性地确定为按经 验得到的常数值的现有技术示例相比，本实施例能够根据实际图像的 状态自适应地设定运动矢量的数量，并且特别地能够执行适合于具有 很多运动变化的图像的运动矢量检测。
运动矢量确定单元的结构和操作的示例随后，参照图21到23， 将描述图1的结构中例示的运动矢量检测装置中的运动矢量确定单元 14的结构和操作的示例。
图21例示了图l的运动矢量确定单元14的结构示例。运动矢量 确定单元14执行如下处理对一个帧中的每个^(象素分配从位于前级的 运动矢量提取单元13提供的多个候选矢量中的一个。
在本示例中，当将每个像素位置设定为目标点时，在该目标点周 围设定作为由预定数量的像素形成的区域的固定块，以确定运动矢量。
29参照图21，将对该结构进行描述。向运动矢量确定单元14的输 入端子14a提供候选运动矢量的数据和与候选矢量对应的图像信号。 将该图像信号提供给充当帧存储器的参考点存储器211，并将一帧的 图像信号存储在其中。然后，在每个帧周期中将存储在参考点存储器 211中的图像信号传送到目标点存储器212。因此，存储在参考点存储 器211中的图像信号和存储在目标点存储器212中的图像信号通常彼 此错开一个帧周期。
然后，数据读取单元213从存储在目标点存储器212中的图像信 号读取以目标点为中心的预定大小的固定块的像素信号。类似地，数
据读取单元213从存储在参考点存储器211中的图像信号读取以各参 考点为中心的预定大小的固定块的像素信号。由数据读取单元213基 于从运动矢量提取单元13 (图1)提供的候选矢量的数据对由数据读 取单元213读取的目标点和参考点(目标像素和参考像素)的像素位 置进行确定。即，如果例如存在IO个候选矢量，则将10个参考点确 定为从目标点延伸的10个候选矢量的目的地。
然后，将已由数据读取单元213读取的、以目标点为中心的固定 区域的像素信号和以各参考点为中心的固定区域的像素信号提供给评 估值计算单元214，以检测这两个固定区域的像素信号之间的差值。 按此方式，评估值计算单元214确定通过候选矢量连接到当前被评估 的目标点的所有参考点的固定区域的像素信号，并将这些像素信号与 以目标点为中心的固定区域的像素信号进行比较。
然后，基于该比较的结果，评估值计算单元214选择具有一固定 区域的参考点，该固定区域最接近于以目标点为中心的固定区域的像 素信号。
将连接所选参考点与目标点的候选矢量的数据发送到矢量确定 单元215。矢量确定单元215执行将候选矢量分配为从目标点延伸的 运动矢量的确定处理，并从输出端子15输出所确定的候选矢量。
图22的流程图例示了图21的矢量确定(分配)操作的示例。将 参照图22按顺序进行描述。首先基于评估值表的数据读取候选矢量(步骤S121 )。确定与所读取的候选矢量相对应的目标点的坐标位置， 并从目标点存储器212读取由位于该位置(目标像素)处的像素及其 周边像素构成的固定块的像素(步骤S122)。此外，确定与所读取的 候选矢量相对应的各参考点的坐标位置，并从参考点存储器211读取 由位于该位置(参考像素)处的像素及其周边像素构成的固定块的像 素(步骤S123)。
然后，计算各固定块中的像素水平(像素值在此情况下为亮度 值)的差值的绝对值和(步骤S124)。至此为止的处理是针对由与当 前目标点相对应的所有候选矢量指示的参考点而执行的。
然后，将针对为参考点设定的各固定块计算的差值绝对值和与为 目标点设定的固定块的差值绝对值和进行比较，并寻找具有最小差值 的参考点。在以上处理中已经确定了具有最小差值的参考点之后，确 定将连接所确定的参考点与目标点的候选矢量分配为目标点的运动矢 量(步骤S125 )。
图23是例示了图21的结构的概要以及图22的流程图的处理的图。
在该示例中，假设帧F10(目标帧)包括目标点d10，并且在帧 F10与在时间轴上位于其后的下一帧Fll (参考帧)之间存在多个候 选矢量Vll和V12。帧Fll包括通过候选矢量Vll和V12分别连接 到目标点d10的参考点dll和d12。
在如上假设的图23的状态下，在图22的步骤S122，将包括预 定数量的像素的固定块B10固定地设定为以帧F10中的目标点d10为 中心，并计算该固定块BIO中的像素值的差值的绝对值和。类似地， 在图22的步骤S123，将均包括预定数量的像素的固定块Bll和B12 固定地设定为分别以帧Fll中的参考点dll和d12为中心，并分别计 算固定块Bll和B12中的像素值的差值的相应的绝对值和。
然后，执行比较以确定固定块Bll中的差值的绝对值和以及固定 块B12中的差值的绝对值和中的哪一个较接近于固定块B10中的差值 的绝对值和。例如，如果通过比较确定固定块Bll中的差值的绝对值和较接近于固定块BIO中的差值的绝对值和，则选择连接固定块Bll 的中央的参考点dll与目标点d10的候选矢量Vll。将所选候选矢量 Vll分配为目标点d10的运动矢量。
为了简化描述，在假设存在两个候选矢量的情况下进行了图23 中的描述。然而，实际上，存在对于一个目标点来说有更大数量的候 选矢量的情况。此外，为了简化描述，仅例示了一个目标点。然而， 实际上，如上所述，将一个帧中的所有像素或多个代表像素设定为目 标点。
利用如此从候选矢量确定要选择的矢量的处理，选择连接其周边 像素的状态彼此接近的目标点与参考点的矢量。因此，可以合适地选 择被分配给各像素的运动矢量。
实施例的变型例的描述在上述实施例中，未对选择目标点的处 理给出具体描述。例如，可以将这些实施例配置成顺序地选择一个帧 中的所有像素作为目标点，并且为每个像素检测运动矢量。另选地， 这些实施例可以适用于选择一个帧中的代表像素作为目标点并检测所 选像素的运动矢量。
此外，在选择目标点的参考点的处理中，图6A中例示的搜索区 SA等是一个示例。因此，也可以选择多种搜索区。
此外，在上述实施例中，在从图18到20所示的候选矢量的评估 结果选择最终候选矢量的处理中，范围不包括被确定为可靠的候选矢 量，即，排除了包括图18中的连续计数值O等的范围以选择较高的范 围。另选地，也可以去除具有除O以外的计数值的候选矢量。例如， 在选择了前IO个候选矢量的图18的示例中，可以排除具有小计数值 (如个位值)的候选矢量。
此外，在上述实施例中例示的各层上的各区域的像素尺寸是一个 示例。因此，这些区域可以具有其它尺寸。
此外，使用各区域中的信号来计算该区域中的各像素值的差值的 绝对值的和。另选地，可以通过其它算术运算处理来确定这些区域之 间的相关度。例如，可以不将区域中的像素值的差值转换成绝对值，而可以将差值直接相加以确定像素值的变化方向。此外，可以通过不 使用差值绝对值和的算术运算处理来获得两个区域的相关度值，并且 可以基于相关度值的大小来进行确定。
此外，在上述实施例中，已经描述了使用亮度信号作为图像信号 的像素值的示例。另选地，可以使用以像素单位获得的其它信号分量， 诸如颜色信号和色差信号。
此外，在上述各实施例中，已经描述了被配置成用于从图像信号 检测运动矢量的运动矢量检测装置的示例。另选地，可以将运动矢量 检测装置并入各种图像处理装置中。例如，可以将运动矢量检测装置 并入执行高效编码的编码装置中，由此使用运动矢量数据执行编码。 另选地，可以将运动矢量检测装置并入通过使用输入(接收)的图像 数据来显示图像的图像显示装置或记录图像的图像记录装置中，由此 使用运动矢量数据来提高图像质量。
此外，可以将根据本发明实施例的用于执行运动矢量检测的各构 成要素实现为程序。然后，可以将该程序安装在各种信息处理装置中， 例如安装在执行各种数据处理的计算机装置中，以在从输入到该信息 处理装置的图像信号中检测运动矢量的处理中执行与上述处理类似的 处理。
本发明包含与2008年7月30日在日本专利局提交的日本在先专 利申请JP2008-196612中7〉开的主题有关的主题，通过引用将其全部内 容并入于此。
本领域技术人员应当理解，根据设计要求和其它因素，可以想到 各种修改、组合、子组合以及变更，只要它们在所附权利要求书或其 等同物的范围内。
权利要求
1、一种运动矢量检测装置，包括评估值信息创建单元，被配置成基于由多个帧构成的运动图像数据中的时间轴上的一个帧中的目标像素与时间轴上的另一帧中的搜索区中的参考像素的像素值相关度信息，创建运动矢量的评估值信息，该评估值信息用于评估所述参考像素是从所述目标像素开始的运动的候选目的地的可能性；运动矢量提取单元，被配置成基于由所述评估值信息创建单元创建的评估值信息来提取所述运动图像数据的帧中的每个像素的候选运动矢量，针对每个所提取的候选运动矢量，将以所述一个帧中的所述目标像素为中心的预定区域中的像素与以所述另一帧中的所述参考像素为中心的预定区域中的像素进行比较，以检查它们之间的相关度，基于在整个预定区域中执行的比较的结果来评估所述评估值信息的各个候选矢量以检查相关度，以及提取具有高评估值的运动矢量作为候选运动矢量；以及运动矢量确定单元，被配置成从由所述运动矢量提取单元作为候选运动矢量提取的运动矢量中确定运动矢量。
2、 根据权利要求l所述的运动矢量检测装置，其中所述评估值信息创建单元在基于所述目标点与其各周边像 素之间的空间倾斜度状态以及所述参考点与其各周边像素之间的空间 倾斜度状态而执行的像素选择的结果的基础上，创建所述评估值信息， 并且其中所述运动矢量提取单元针对通过所述像素选择而选择的像 素的每个运动矢量，在以所述一个帧中的所述目标像素为中心的预定 区域中的像素与以所述另一帧中的所述参考像素为中心的预定区域中 的像素之间执行比较以检查它们之间的相关度，该比较是在整个区域 中执行的。
3、 根据权利要求2所述的运动矢量检测装置，其中在由所述运动矢量提取单元执行的用于检查预定区域中的 像素之间的相关度的比较中，计算以所述目标像素为中心的预定区域 中的像素与以所述参考像素为中心的预定区域的像素之间的差值，并 在所述预定区域中将所述差值的绝对值相加以获得差值绝对值和，并 且其中与最小差值绝对值和对应的运动矢量被确定为候选运动矢量。
4、 根据权利要求3所述的运动矢量检测装置， 其中包括第一数量的像素并且以所述目标像素或所述参考像素为中心的区域和包括与第 一数量不同的第二数量的像素并且以所述目 标像素或所述参考像素为中心的区域被设定为所述预定区域，并且 其中基于这两个区域中的差值绝对值和来确定候选运动矢量。
5、 根据权利要求4所述的运动矢量检测装置， 其中包括第二数量的像素的所述区域是由块的集合构成的，每个块包括预定数量的像素，并且其中以块为单位对像素值进行平均以比较块单位的差值绝对值和。
6、 根据权利要求3所迷的运动矢量检测装置， 其中所述预定区域是由块的集合构成的，每个块包括预定数量的像素，并且其中以块为单位对像素值进行平均以比较块单位的差值绝对值和。
7、 根据权利要求2所述的运动矢量检测装置， 其中所述运动矢量提取单元基于所确定的候选运动矢量的运动方向和运动量对所确定的候选运动矢量进行分类，对分类后的候选运 动矢量的数量进行计数，并且将候选运动矢量缩减为按计数数量的降 序选择的、预定数量的运动矢量的序列。
8、 根据权利要求2所述的运动矢量检测装置， 其中所述运动矢量确定单元将由所述运动矢量提取单元作为候选运动矢量提取的运动矢量分配给一个帧中的所有像素或代表像素， 检查包括每个被分配了矢量的像素的位置及其周边的区域与运动目的 地区域之间的相关度，并且将与相关度最高的区域对应的运动矢量确 定为对应像素的运动矢量。
9、 一种运动矢量检测方法，包括以下步骤 基于由多个帧构成的运动图像数据中的时间轴上的一个帧中的目标像素与时间轴上的另 一 帧中的搜索区中的参考像素的像素值相关 度信息，创建评估值表，该评估值表用于评估所述参考像素是从所述 目标像素开始的运动的候选目的地的可能性；基于所创建的评估值表来提取所述运动图像数据的帧中的每个像素的候选运动矢量；作为在提取运动矢量的步骤中提取的候选运动矢量的选择操作， 执行以下操作在以所述一个帧中的所述目标像素为中心的预定区域中的像素的差值之和与以所述另 一帧中的所述参考像素为中心的预定 区域中的像素的差值之和之间进行比较，基于所述比较的结果来评估 所述评估值表的各个候选矢量，并将具有高评估值的运动矢量确定为候选运动矢量；以及从所述具有高评估值的运动矢量中确定运动矢量。
10、 一种安装在信息处理装置中以使得所述信息处理装置执行以 下处理的程序基于由多个帧构成的运动图像数据中的时间轴上的一个帧中的 目标像素与时间轴上的另 一帧中的搜索区中的参考像素的像素值相关 度信息创建评估值表的处理，该评估值表用于评估所述参考像素是从 所述目标像素开始的运动的候选目的地的可能性；基于所创建的评估值表来提取所述运动图像数据的帧中的每个 像素的候选运动矢量的处理；运动矢量评估处理，作为在提取运动矢量的步骤中提取的候选运 动矢量的选择操作，执行以下操作在以所述一个帧中的所述目标像 素为中心的预定区域中的像素的差值之和与以所述另一帧中的所述参考像素为中心的预定区域中的像素的差值之和之间进行比较，基于所 述比较的结果来评估所述评估值表的各个候选矢量，并将具有高评估值的运动矢量确定为候选运动矢量；以及运动矢量确定处理，从所述运动矢量评估处理中被确定为候选运 动矢量的具有高评估值的运动矢量中确定运动矢量。
全文摘要
运动矢量检测装置、运动矢量检测方法以及程序。该运动矢量检测装置包括评估值信息创建单元，根据包括多个帧的运动图像数据中的一个帧中的目标像素与另一帧中的参考像素的相关度信息，创建评估值信息，该评估值信息用于评估所述参考像素是从所述目标像素开始的运动的候选目的地的可能性；运动矢量提取单元，通过使用评估值信息，提取帧中的每个像素的候选运动矢量，针对提取的候选运动矢量，将所述目标像素周围的区域中的像素与所述参考像素周围的区域中的像素进行比较，通过使用在整个区域中的比较的结果来评估评估值信息的候选矢量，以及提取具有高评估值的运动矢量作为候选运动矢量；和运动矢量确定单元，在所提取的运动矢量中确定运动矢量。
文档编号H04N7/26GK101640798SQ200910160198
公开日2010年2月3日 申请日期2009年7月30日 优先权日2008年7月30日
发明者吉川和志, 武田直己, 石川贵规, 近藤哲二郎, 铁川弘树, 高桥健治 申请人:索尼株式会社