图像处理装置及方法、程序和记录介质的制作方法

专利名称：图像处理装置及方法、程序和记录介质的制作方法
技术领域：
本发明涉及一种图像处理装置及方法、程序和记录介质，尤其涉及 一 种可以通过判断计算块(computation block)内的有 效像素在水平方向或垂直方向上具有梯度的单侧梯度像素 (one-sided gradient pixel)的比例来提高运动矢量(motion vector) 的检测精度的图像处理装置及方法、程序和记录介质。
背景技术：
利用用于进行运动图像帧频转换处理或运动图像压缩处 理的图像处理装置，常常对运动图像进行运动检测处理，并使 用所检测到的运动矢量进行处理(参见专利文献l)。对于该运动 检测处理，作为通常使用的方法有块匹配和迭代梯度法等。迭代梯度法具有能够利用简单计算检测亚像素的运动的 特征，但是像素增量的检测精度差，因此，在通常情况下，经 常通过累积块增量的值进行运动矢量的检测。因此，在此之前，通过使用用作检测运动矢量的对象的感 兴趣的像素、或者使用在感兴趣的像素的周围所设置的计算块 内的所有像素，进行梯度法计算(gradient method computing)。 理想地，在大体上具有相同动作的计算块内的像素的情况下， 可以检测到可能的运动矢量。专利文献l:日本特开平9-172621发明内容然而，注意，在一些情况下，在计算块中混合有运动与感 兴趣的像素或感兴趣的块的运动不同的对象像素，在这种情况下，常常4全测到靠不住的运动矢量，因此，显著降低了运动矢 量的检测精度。另外，在计算块包括在以下区域中的情况下，同样常常检 测到靠不住的运动矢量，所述区域是仅在水平方向或垂直方向 上存在梯度的区域(单侧梯度区域)。而且，经过使用作为运动矢量检测的结果所获得的运动矢量的帧频转换的图像存在如下可能性由帧频转换引起的显著 视觉劣化，特别地，例如在其对象的边界周围产生噪声和发生不连续等。考虑这种状况做出本发明，本发明能够提高使用梯度法的 运动矢量的检测精度。根据本发明的一个方面的图像处理装置是用于根据图像 帧检测运动矢量的图像处理装置，包括有效像素判断部件， 用于基于用作检测运动矢量的梯度法计算的对象的计算块内的 像素差，判断计算块内的像素对于运动矢量检测是否是有效的； 单侧梯度像素判断部件，用于判断在由有效像素判断部件判 断为对于运动矢量检测有效的有效像素中，是否存在许多在水 平方向或垂直方向上不具有梯度的像素；以及计算切换部件， 用于基于单侧梯度像素判断部件的判断结果，将梯度法计算切 换成使用差的平方和的积分梯度法计算或在水平方向或垂直方 向上执行的独立梯度法计算。在单侧梯度判断部件判断为存在少量在水平方向或垂直 方向上不具有梯度的像素的情况下，计算切换部件将梯度法计 算切换成积分梯度法计算。该图像处理装置还包括积分梯度法 计算部件，用于仅使用计算块内的像素中的、由有效像素判断部件判断为对于运动矢量检测有效的有效像素，执行由计算切 换部件所切换的积分梯度法计算。在单侧梯度判断部件判断为存在许多在水平方向或垂直 方向上不具有梯度的像素的情况下，计算切换部件将梯度法计 算切换成针对水平和垂直各方向执行的独立梯度法计算。该图 像处理装置还包括独立梯度法计算部件，用于仅使用由有效像 素判断部件判断为对于运动矢量检测有效的有效像素中的、在 水平方向上具有梯度的像素，执行由计算切换部件所切换的水 平方向上的独立梯度法计算，并且仅使用由有效像素判断部件判断为对于运动矢量^r测有效的有效^象素中的、在垂直方向上 具有梯度的像素，执行由计算切换部件所切换的垂直方向上的 独立梯度法计算。该图像处理装置还包括矢量评价部件，用于基于单侧梯度 像素判断部件的判断结杲，根据通过梯度法计算所检测到的运 动矢量的评价值与待比较的预定矢量的评价值的比较结果，校 正通过梯度法计算所检测到的运动矢量。该图像处理装置还包括迭代判断部件，用于基于单侧梯度 像素判断部件的判断结果，判断是否迭代梯度法计算。该图像处理装置还包括梯度检测部件，用于检测由有效像 素判断部件判断为对于运动矢量检测有效的有效像素是否包括 水平方向或垂直方向上的梯度；其中，单側梯度像素判断部件 基于梯度检测部件的判断结果，判断在有效像素中是否存在许 多在水平方向或垂直方向上不具有梯度的像素。有效像素判断部件包括第一空间差计算部件，用于计算 检测运动矢量的第 一 帧中的计算块内的像素的第 一 空间的像素 差；第二空间差计算部件，用于计算作为第一帧的下一帧的第 二帧中的计算块内的像素的第二空间的像素差；时间差计算部 件，用于计算第一帧和第二帧中的计算块内的像素在时间方向 上的像素差；以及梯度条件判断部件，用于基于由第一和第二空间差计算部件所计算出的第 一 和第二空间、以及时间差计算 部件所计算出的时间方向上的像素差，判断计算块内的像素是否满足以下条件注重水平方向上的梯度的条件、注重垂直方 向上的梯度的条件、以及注重水平方向和垂直方向上的梯度的 条件；其中，在梯度条件判断部件判断为计算块的像素满足以 下条件中的至少一个条件的情况下注重水平方向上的梯度的 条件、注重垂直方向上的梯度的条件、以及注重水平方向和垂 直方向上的梯度的条件，做出以下判断，即计算块内的像素对 于运动矢量检测是有效的。在注重水平方向上的梯度的条件、注重垂直方向上的梯度 的条件、以及注重水平方向和垂直方向上的梯度的条件中，基 于梯度条件判断部件判断为对于运动矢量检测有效的有效像素 所满足的条件，单侧梯度像素判断部件判断在有效像素中是否 存在许多在水平方向或垂直方向上不具有梯度的像素。根据本发明的一个方面的图像处理方法是一种用于检测 运动矢量并基于所检测到的运动矢量生成像素值的图像处理装 置的图像处理方法，该方法包括有效像素判断步骤，用于基 于作为检测运动矢量的梯度法计算的对象的计算块内的像素 差，判断计算块内的像素对于运动矢量检测是否是有效的；单 侧梯度像素判断步骤，用于判断在通过有效像素判断步骤中 的处理判断为对于运动矢量检测有效的有效像素中，是否存在 许多在水平方向或垂直方向上不具有梯度的像素；以及计算切 换步骤，用于基于单侧梯度像素判断步骤中的处理的判断结果， 将梯度法计算切换成使用差的平方和的积分梯度法计算或在水 平方向或垂直方向上执行的独立梯度法计算。根据本发明的 一 个方面的程序是一 种用于使计算机执行 以下处理的程序检测运动矢量、并基于所检测到的运动矢量生成像素值，该程序包括有效像素判断步骤，用于基于作为 检测运动矢量的梯度法计算的对象的计算块内的像素差，判断计算块内的像素对于运动矢量检测是否是有效的；单侧梯度像素判断步骤，用于判断在通过有效像素判断步骤中的处理判 断为对于运动矢量检测有效的有效像素中，是否存在许多在水 平方向或垂直方向上不具有梯度的像素；以及计算切换步骤，法计算切换成使用差的平方和的积分梯度法计算或在水平方向 或垂直方向上执行的独立梯度法计算。根据本发明的一个方面的被记录在记录介质中的程序是 用于使计算机执行以下处理的程序检测运动矢量、并基于所 才全测到的运动矢量生成^f象素值；该程序包4舌有效i象素判断步 骤，用于基于作为检测运动矢量的梯度法计算的对象的计算块 内的像素差，判断计算块内的像素对于运动矢量检测是否是有 效的；单侧梯度像素判断步骤，用于判断在通过有效像素判 断步骤中的处理判断为对于运动矢量检测是有效的的有效像素 中，是否存在许多在水平方向或垂直方向上不具有梯度的像素； 以及计算切换步骤，用于基于单侧梯度像素判断步骤中的处理的判断结果，将梯度法计算切换成使用差的平方和的积分梯度 法计算或在水平方向或垂直方向上执行的独立梯度法计算。利用本发明的一个方面，基于用作检测运动矢量的梯度法 计算的对象的计算块内的像素差，判断计算块内的像素对于运动矢量检测是否是有效的；并且，对于被判断为对于运动矢量 检测有效的有效像素，判断是否存在许多在水平方向或垂直方 向上不具有梯度的像素。随后，基于该判断结果，将梯度法计 算切换成使用差的平方和的积分梯度法计算或在水平方向或垂 直方向上所执行的独立梯度法计算。根据本发明的一个方面，尤其可以提高4吏用梯度法的运动 矢量的检测精度。


图1是示出根据本发明的信号处理装置的结构示例的框图；图2是示出该信号处理设置的结构的框图； 图3是用于解释根据本发明的处理的原理的图； 图4是用于具体解释根据本发明的处理的图； 图5是用于说明该信号处理装置所使用的运动矢量的评价 值的图；图6是示出用于计算评价值DFD的评价值计算单元的结构 示例的框图；图7是用于说明图6所示的评价值计算单元的评价值计算处 理的流程图；图8是用于说明平均亮度水平变化时的评价值DFD的图； 图9是用于说明平均亮度水平变化时的评价值DFD的图； 图IO是用于说明平均亮度水平变化时的差的方差的图； 图ll是示出用于计算评价值mDFD的评价值计算单元的结构示例的框图；图12是用于说明图ll所示的评价值计算单元的评价值计算处理的流程图；图13是用于说明图ll所示的评价值计算单元的评价值计算 处理的流程图；图14是示出用于计算评价值dfv的评价值计算单元的结构 示例的框图；图15是用于说明图14所示的评价值计算单元的评价值计算ii处理的流程图；图16是用于说明该信号处理装置的帧频转换处理的流程图；图17是示出图2所示的矢量检测单元的结构的框图； 图18是用于说明该矢量检测单元所使用的梯度法的图； 图19是用于说明使用初始矢量的迭代梯度法的图； 图20是用于说明在图16的步骤S82所进行的运动矢量检测 处理的流程图；图21是示出图17所示的移位初始矢量分配单元的结构的框图；图22是用于说明在图20的步骤S104所进行的移位初始矢量分配处理的流程图；图23是示出图17所示的初始矢量选择单元的结构的框图； 图24是用于说明在图20的步骤S102所进行的初始矢量选择处理的流程图；图25是示出图17所示的迭代梯度法计算单元和矢量评价单元的结构的框图；图2 6是示出图2 5所示的有效像素判断单元的结构的框图； 图27是示出图25所示的梯度法计算单元的结构的框图； 图28是用于说明运动矢量检测块和计算块的图； 图29是用于说明有效像素判断方法的图； 图30是用于说明计算块中的有效像素的结构的图； 图31是用于说明单侧梯度区域的图；图32 是用于说明在图20的步骤S103所进行的迭代梯度计 算处理的流程图；图33是用于说明在图32的步骤S303所进行的有效像素判 断处理的流程图；图34是用于说明在图33的步骤S323所进行的有效像素计 算处理的流程图；图35是用于说明在图32的步骤S305所进行的梯度法执行 判断处理的流程图；图36是用于说明在图32的步骤S306所进行的梯度法计算 处理的流程图；图37是用于说明在图36的步骤S403所进行的积分梯度法 计算处理的流程图；图38是用于说明在图36的步骤S406所进行的独立梯度法 计算处理的流程图；图39是用于说明在图32的步骤S307所进行的矢量评价处 理的流程图；图40是示出图26所示的像素判断单元、计数器和计算执行判断单元的另 一结构的框图；图41是示出图27中的计算判断单元的另 一结构的框图； 图42是用于说明在步骤S32的步骤S303所进行的有效像素判断处理的另 一示例的流程图；图43是用于说明在图32的步骤S305所进行的梯度法执行判断处理的另 一示例的流程图；图44是用于说明在步骤S36的步骤S406所进行的独立梯度法执行判断处理的另 一示例的流程图；图45是示出图2所示的矢量检测单元的另 一结构的框图； 图46是示出图45所示的迭代梯度法计算单元和矢量评价单元的构的框图；图4 7是示出图4 6所示的有效像素判断单元的结构的框图； 图48是用于说明使用由图17所示的矢量检测单元所检测到的运动矢量所生成的插值帧的图；图49是用于i兌明^吏用由图17所示的矢量4全测单元所检测到的运动矢量所生成的插值帧的图；图50是用于说明使用由图17所示的矢量检测单元所检测到 的运动矢量所生成的插值帧的图；图51是用于说明图17所示的矢量检测单元的初始矢量选择 方法的图；图52是用于说明图17所示的矢量检测单元的初始矢量选择 方法的图；图53是用于说明图17所示的矢量检测单元的初始矢量选择 方法的图；图54是用于说明图17所示的矢量检测单元的初始矢量选择 方法的图；图55是用于说明图17所示的矢量检测单元的初始矢量选择 方法的图；图56是用于说明使用由图45所示的矢量检测单元所检测到 的运动矢量所生成的插值帧的图；图5 7是用于说明使用由图4 5所示的矢量检测单元所检测到 的运动矢量所生成的插值帧的图；图58是用于说明图45所示的矢量检测单元的初始矢量选择 方法的图；图5 9是用于说明图4 5所示的矢量检测单元的初始矢量选择 方法的图；图60是用于说明使用由图45所示的矢量检测单元所检测到 的运动矢量所生成的插值帧的图；图61是用于说明图45所示的矢量检测单元的初始矢量选择 方法的图；图62是用于说明使用由图45所示的矢量检测单元所检测到的运动矢量所生成的插值帧的图；图63是用于说明在图20的步骤S103所进行的迭代梯度法 计算处理的另 一 示例的流程图；图64是用于说明在图20的步骤S103所进行的迭代梯度法 计算处理的另 一示例的流程图；图65是用于说明在图20的步骤S103所进行的迭代梯度法 计算处理的另 一 示例的流程图；图66是用于说明在图64的步骤S614所进行的梯度法计算 和迭代设置处理的示例的流程图；图67是用于说明具有各标志值的矢量评价的比较对象和迭 代判断结果的图；图68是示出图2所示的矢量检测单元的另 一结构的框图；图69是示出图68所示的迭代梯度法计算单元和矢量评价单 元的结构的图；图70是用于说明在图63的步骤S565所进行的矢量存储控制的另 一示例的流程图；图71是示出图2所示的矢量分配单元的结构的框图； 图72是用于说明根据本发明的四点插值处理的概念的图； 图73是用于说明在图16的步骤S83所进行的矢量分配处理的流程图；图74是用于说明在图73的步骤S707所进行的分配矢量评 价处理的流程图；图75是示出图2所示的分配补偿单元的结构的框图； 图76是用于说明在图16的步骤S84所进行的分配补偿处理的流程图；图77是用于说明在'图76的步骤S803所进行的矢量补偿处 理的流程图；图78是示出图2所示的图像插值单元的结构的框图； 图79是用于说明在图16的步骤S85所进行的图像插值处理 的流程图。附图标记1信号处理装置51帧存储器52矢量4全测单元53检测到的矢量存储器54矢量分配单元55分配矢量存储器56所分配标志存储器57分配补偿单元58图像插值单元61、 61A、 61B评价值计算单元101初始矢量选择单元103迭代梯度法计算单元104矢量评价单元105移位初始矢量分配单元106评价值存储器107移位初始矢量存储器404有效像素判断单元405梯度法计算单元412评价判断单元421像素差计算单元422像素判断单元423计数器424梯度法连续判断单元说明书第12/158页425计算执行判断单元 461 4象素差计算单元 462计算判断单元 463-1积分梯度计算单元 463-2独立梯度计算单元 464矢量计算单元 521初始矢量选择单元 522迭代梯度法计算单元 523矢量评价单元 524初始候选矢量存储器 531有效像素判断单元 541评价判断单元 551梯度法连续判断单元 561矢量评价单元 571零矢量标志区域 581评价判断单元具体实施方式
下面参考附图做出对于本发明的实施例的说明。 图l示出适用本发明的信号处理装置l的结构示例。例如， 信号处理装置l由个人计算机等构成。在图l中，CPU(中央处理 单元)ll根据存储在ROM(只读存储器)12或存储单元18中的程 序执行各种类型的处理。需要时将CPU ll执行的程序和数据等 存储在RAM(随机存取存储器)13中。CPU 11、ROM 12和RAM 13 通过总线14相互连接。另外，输入/输出接口 15通过总线14与CPU ll连接。输入/ 输出接口 15与输入单元16和输出单元17连接，其中，由键盘、鼠标和麦克风等组成，而输出单元17由显示器和扬声器等组成。 CPU ll响应于从输入单元16输入的指令，执行各种类型的处 理。随后，CPU ll将作为该处理的结果所获得的图像或音频等 输出给输出单元17。与输入/输出接口 15连接的存储单元18由例如硬盘配置构 成，并且存储CPU ll执行的程序和各种类型的数据。通信单元 19通过因特网或其它网络与外部装置进行通信。另外，可以进 行以下配置通过通信单元19获得程序，并将程序存储在存储 单元18中。利用与输入/输出接口 15连接的驱动器20，驱动安装在驱动 器20上的磁盘31、光盘32、磁光盘33或半导体存储器34等此类 介质，并且获得记录在该介质中的程序和数据等。在需要时将 所获得的程序和数据传送给存储单元18。注意，可以将信号处理装置l当作为例如电视机、光盘播 放器、或它们的信号处理单元。图2是示出信号处理装置1的框图。注意，可以利用硬件或软件实现信号处理装置1的各种功 能。也就是说，可以将本说明书的各框图当作硬件框图，或者 当作软件的功能框图。利用图2所示结构的信号处理装置1，例如，输入由具有24 Hz帧频的'渐进图傳d言号(progressive image signal)(以下称之为 24P信号)组成的图像，将所输入的图像(输入图像)转换成由具 有60 Hz帧频的渐进图像信号(以下称之为60P信号)组成的图 像，并且输出该信号。也就是说，图2是示出作为图像处理装置 的信号处理装置的结构的图。将输入给信号处理装置1的输入24P信号图像提供给帧存 储器51、矢量检测单元52、矢量分配单元54、分配补偿单元57和图像插值单元58。帧存储器51以帧增量存储输入图像。帧存 储器5 l存储时间点t的帧，该帧是时间点t+l的输入图像的前一 个输入图像。将存储在帧存储器51中的时间点t的帧提供给矢量 冲全测单元52、矢量分配单元54、分配补偿单元57和图〗象插值单 元58。注意，以下将帧存储器51上的时间点t的帧称为帧t，并 将时间点t+l的输入图像的帧称为帧t+l 。矢量检测单元52检测帧存储器51上的帧t的感兴趣的块与 输入图像的帧t +1的对象块之间的运动矢量，并且将所检测到的 运动矢量存储在检测到的矢量存储器53中。对于两个帧之间的 运动矢量的检测方法，可以使用梯度法或块匹配法等。后面将 参考图17详细说明矢量检测单元52的结构。检测到的矢量存储 器53存储矢量检测单元52在帧t所检测到的运动矢量。矢量分配单元54将在24P信号的帧t上所获得的运动矢量分 配给分配矢量存储器55上插值的60P信号的帧(为了与24P信号 的帧相区分，以下还将60P信号的帧称为插值帧)上的像素，并 且重写运动矢量被分配成l(真)的像素的所分配标志存储器56 的标志。后面将参考图71详细说明矢量分配单元54的结构。分配矢量存储器55存储由矢量分配单元54所分配的运动 矢量，以将运动矢量与插值帧的各像素相关联。所分配标志存 储器56存储表示有无分配给插值帧的各像素的运动矢量的所分 配标志。例如，为真(l)的所分配标志表示相应^f象素分配有运动 矢量；而为假(O)的所分配标志表示相应像素未被分配运动矢 量。分配补偿单元57参考所分配标志存储器56的所分配标志， 利用感兴趣的像素的周围像素的运动矢量，补偿未由矢量分配 单元54分配运动矢量的感兴趣的像素，并对分配矢量存储器55 的插值帧分配该感兴趣的像素。此时，分配补偿单元57重写运动矢量被分配成l(真)的感兴趣的像素的所分配标志。后面将参考图75详细说明分配补偿单元57的结构。图像插值单元58使用分配给分配矢量存储器55的插值帧 的运动矢量、以及帧t和下一帧t+l的〗象素^f直，进4于插值并生成 插值帧的像素值。随后，图像插值单元58输出所生成的插值帧， 在此之后如有需要，输出帧t+l，从而向未示出的随后的阶段输 出60P信号图像。后面将参考图78详细说明图像插值单元58的 结构。注意，以下，在适当的情况下，将像素值称作亮度值。 图3是用于说明根据本发明的信号处理装置1的处理的原 理的图。对于图3中的示例，虚线表示将输入给信号处理装置l 的时间点t、 t+l和t+2的24P信号的帧，而实线表示信号处理装 置l根据输入的24P信号所生成的时间点t、 t+0.4、 t+0.8、 t+1.2、 t+1.6和t+2的60P信号的插值帧。通常，为了将24P信号转换成60P信号，需要5/2倍多的帧。 也就是说，必需根据两个24P信号图像生成五个60P信号图像。 此时，为了 ^f吏它们的帧间隔一致，将所生成的60P信号插值帧 配置在对于24P信号时间相位为0.0、 0.4、 0.8、 1.2和1.6的位置 处。在这些帧中，除时间相位为O.O的时间点t的一个帧以外的 四个帧(t+0.4、 t+0.8、 t+1.2和t+1.6的帧)是不存在的图像。因此， 一旦输入2 4 P信号图像，信号处理装置1根据时间点t和时间点 t+l的两个24P信号帧生成四个插值帧。因此，从信号处理装置l 输出由时间点t、 t+0.4、 t+0.8、 t+1.2和t+1.6的五个帧组成的60P 信号图像。因此，信号处理装置l执行用于将帧频从24P信号图像转换 成60P信号图像的处理。注意，理论上，如上所述，根据24P信号的时间点t和时间点t+l的两个帧生成时间点t、 t+0.4、 t+0.8、 t+1.2和t+1.6的五个 60P信号帧，但是实际上，在图3的示例的情况下，基于24P信 号的时间点t和时间点t+l的两个帧，生成t、 t+0.4和t+0.8的60P 信号帧，并且基于24P信号的时间点t+l和t+2的两个帧，生成 t+1.2、 t+1.6和t+2的6P信号帧。图4是用于更具体地说明本发明的处理的图。对于图4中的 示例，粗线箭头表示向各状态的演变，而箭头T表示状态J1 ~ J5 中的时间流逝方向。另外，状态J1 ~ J5纟既念性地表示在给组成 信号处理装置l的各单元输入或从组成信号处理装置l的各单元 输出时的24P信号的时间点t的帧t、时间点t随后的时间点t+l的 帧t+l、或在帧t和帧t+l之间所生成的60P信号的插4直帧F。也就 是说，实际上，例如，不将检测到如状态J2中所示的运动矢量 等的运动矢量的帧输入给矢量分配单元54,而将该帧和运动矢 量分别输入给矢量分配单元54。另外，对于图4中的示例，矢量检测单元52、矢量分配单 元54和分配补偿单元57每一均包括用于计算用以评价运动矢量 的精度可靠性的评价值的评价值计算单元61 。状态Jl表示输入给矢量检测单元52的24P信号的帧t和帧 t+l的状态。状态Jl的帧t上的黑点表示帧t上的像素。矢量4企测单元52#r测在下 一 时间点的帧t+l处，状态Jl中的 帧t上的像素向哪一位置移动，并且输出其运动作为与各像素相 对应的运动矢量，例如状态82中的帧t上所示的运动矢量。对于 两个帧之间的运动矢量的检测方法，使用块匹配法或梯度法等。 注意，此时，在像素被检测到多个运动矢量的情况下，矢量检 测单元52使其中内置的评价值计算单元61计算各运动矢量的评 价值，并且基于所计算的评价值选择运动矢量。状态J2表示输入给矢量分配单元54的帧t和帧t+l的状态。21在状态J2中，帧t的各像素的箭头表示由矢量检测单元52所检测 到的运动矢量。矢量分配单元54将对于状态J2中的帧t的各像素所检测到 的运动矢量延长至下一帧t+l，并且获得该运动矢量通过了位于 预定时间相位(例如，图3中的t+0.3)的插值帧F上的哪 一位置。 这是因为，如果作支定在帧t和帧t+l之间是匀速运动，则该运动 矢量通过插值帧F的点变成该帧上的像素位置。因此，矢量分配单元54将该通过的运动矢量分配给状态J3中的插值帧F上的 相邻四个^f象素。另外，此时，根据插值帧的像素，存在以下情况，例如不 存在运动矢量的情况或多个运动矢量可以成为所分配候选项的 情况。在后一情况下，以与矢量检测单元52相同分方式，矢量 分配单元54使其中内置的评价值计算单元61计算各运动矢量的 评价值，并且基于所计算的评价值选择将分配的运动矢量。状态J3表示将输入给分配补偿单元57的帧t、帧t+l和已被 分配了运动矢量的插值帧F的状态。对于状态J 3中的插值帧F ， 示出了以下像素由矢量分配单元54已分配了运动矢量的各像 素和矢量分配单元54没有分配运动矢量的各像素。分配补偿单元57利用分配给状态J3中未被分配运动矢量的 像素的周围像素的运动矢量，补偿该未被分配运动矢量的像素。 这是因为，如果感兴趣的某一像素的相邻区域具有相同运动这 一假定成立，则感兴趣的像素的周围像素的运动矢量与感兴趣 的像素的运动矢量相似。因此，可以将一定程度正确的运动矢 量提供给未被分配运动矢量的像素，因此，将运动矢量分配给 状态84中的插值帧F上的所有像素。注意，同样在这种情况下，存在多个外围像素的运动矢量 作为候选，因此，以与矢量分配单元54相同的方式，分配补偿单元57^f吏其中内置的评<介4直计算单元61计算各运动矢量的评<介 值，并且基于所计算的评价值选择将分配的运动矢量。状态J4表示将输入给图像插值单元58的帧t、帧t+l和所有 像素都被分配有运动矢量的插值帧F的状态。根据分配给所有 像素的运动矢量，图像插值单元58可以判断插值帧F上的像素 与帧t和帧t+l的4象素之间的位置关系。因此，图像插值单元58使用插值帧F上所分配的运动矢量、 以及帧t和帧t+l的像素值，象状态J5中的插值帧F的黑点所示的 一样，在插值帧F上进行插值并生成像素值。随后，图像插值 单元58输出所生成的插值帧，在此之后如有需要，输出帧t+l， 从而向未示出的随后的阶段输出60P信号图像。接着，参考图5说明根据本发明的信号处理装置1所使用的 运动矢量的评价值。如以上参考图4所述，利用信号处理装置l 的各个单元(矢量检测单元52、矢量分配单元54和分配补偿单元 57)，选择对随后的处理最适合的运动矢量。此时，利用信号处理装置l的各单元，通过各单元的评价 值计算单元61计算位移帧差(displaced frame difference ， DFD)， 并且使用DFD作为运动矢量的评价值，其中，DFD表示被移位 两个帧的感兴趣的矢量量的块之间的相关值。对于图5中的示例，示出了两个块，其中一个块为时间点t 的帧t上以像素位置p为中心的mxn块，另 一个块为时间点t+l的 帧t+l上以从像素位置P开始移位感兴趣的运动矢量v的矢量量 的像素位置p+v作为中心的mxn块。利用下面的表达式(l)表示 在这两个块之间所获得的位移帧差DFD"p)。[数学表达式l]<formula>formula see original document page 23</formula>, (1)这里，Ft(p)表示时间点t的像素位置p的亮度值，而mxn表 示用于获得位移帧差的DFD计算范围(块)。位移帧差表示这两 个帧的DFD计算范围(块)之间的相关值，因此，通常，位移帧 差越小，则帧之间块的波形越一致，因此，做出判断位移帧 差越小，则运动矢量v的可靠性越高。因此，在从多个候选项中选择最可能的运动矢量等的情况 下，使用该位移帧差(以下称之为评价值DFD)。此外，将对于评^N直DFD进^f亍详细"i兌明。图6是示出用于计算评价值DFFD的评价值计算单元61的 结构示例的框图。对于图6的示例，将来自帧存储器51的时间点 t的图像帧t和时间点t+l的图像帧t+l输入给亮度值获取单元72。评价值计算单元61由块位置计算单元71、亮度值获取单元 72、差的绝对值计算单元73以及乘积和计算单元74构成。从前一阶段将帧t的块(DFD计算范围)位置和评价的运动矢 量输入给评价值计算单元61。将该帧的块位置输入给块位置计 算单元71和亮度值获取单元72，并且将该运动矢量输入给块位 置计算单元71。块位置计算单元71使用输入帧t的块位置和该运动矢量，计 算帧t+l的块位置，并且将帧t+l的块位置输出给亮度值获取单 元72。亮度值获取单元72从未示出的帧t的帧存储器获取与输入 帧t的块位置相对应的亮度值，从帧t+l的帧存储器51获取与输 入帧t+l的块位置相对应的亮度值，并且将所获取的各个亮度值 输出给差的绝对值计算单元73。差的绝对值计算单元73使用来自亮度值获取单元72的帧t 和t+l每一个内的亮度值，计算亮度差的绝对值，并将所计算的 亮度差的绝对值输出给乘积和计算单元74。乘积和计算单元74 通过对差的绝对值计算单元73所计算的亮度差的绝对值求积分，获取评价值DFD，并且将所获取的评价值DFD输出给随后的阶段。接着参考图7的流程图说明图6中的评价值计算单元61的 评价值计算处理。从前一阶段将帧t的块(DFD计算范围)位置和评价的运动矢 量输入给评价值计算单元61。在输入帧t的块位置和评价的运动 矢量时，在步骤Sll，块位置计算单元71使用输入帧t的块位置 和该运动矢量，计算帧t+l的块位置，并且将帧t+l的块位置输 出给亮度值获取单元72。在步骤S12,亮度值获取单元72基于输入帧t和帧t+l的块位 置获取各帧的块(DFD计算范围)的像素的亮度值，并将所获取 的各个亮度值输出给差的绝对值计算单元73。注意，亮度值获 取单元72从该块的左上处的像素的亮度值开始进行获取。在步骤S13,差的绝对值计算单元73使用来自亮度值获取 单元72的帧t和帧t+l的像素的亮度值，计算差的绝对值，并且 将所计算的亮度差的绝对值输出给乘积和计算单元74。在步骤S14，乘积和计算单元74对来自差的绝对值计算单 元73的差的绝对值求积分，并且在步骤S15,判断是否已对该 块内的所有像素完成了该处理。如果在步骤S15判断为没有对 该块内的所有像素完成该处理，则处理返回到步骤S12,并且 重复此后的处理。也就是说，进行对于该块的下一像素的处理。另一方面，如果在步骤S15判断为已对该块内的所有像素 完成了该处理，则在步骤S16,乘积和计算单元74获取作为对 亮度差的绝对值进行积分的结果的DFD,并且将DFD输出给随 后的阶段，作为评价值DFD。因而完成评价值计算处理。如上所述，可以通过对块(DFD计算范围)内亮度值的差的 绝对值求积分来获得评价值DFD,因此，通常做出以下判断评《介值DFD越小，则帧之间块的波形越一致，运动矢量v的可靠 性越高。然而，注意，在由于光源移动或阴影横移而导致在获得评 价值的帧之间的平均亮度水平变化很大的情况下，难以使用评 价值DFD正确地评〗介运动矢量。接着，参考图8和图9对于平均亮度水平变化时的评价值 DFD进行说明。对于图8的示例，箭头T表示在该附图中从时间 点t的左前帧t到时间点t+l的右后帧t+l过去的时间。在帧t上示出以4象素p0为中心的mxn块BO。量的运动矢量vl，并且示出以像素pl+vl为中心的mxn块Bl，其 中像素pl+vl是从与帧t上的像素pO相对应的像素pl移位运动矢 量vl的矢量量的位置。另外，在帧帧t+l上示出作为帧t和t+l之 间的像素pO的不正确的运动矢量的运动矢量v2,并且示出以像 素pl+v2为中心的mxn块B2，其中，像素pl+v2是从与帧t上的像 素p0相对应的像素pl移位运动矢量v2的矢量量的位置。图9左側的图示出 一般情况下(即，帧之间没有包括光源移 动和阴影横移等的情况下)图8中的块B0、块B1和块B2各自的 (像素)位置处的亮度值的波形YO、 Y1和Y2，而右侧的图示出在 块B1包括光源移动或阴影横移等的情况下图8中的块BO、块B1 和块B2各自的(像素)位置处的亮度值的波形YO、 Y11和Y2、以 及受此影响的块B1。也就是说，块B0和B2没有受到光源移动或阴影横移的影 响，左侧和右侧图中的亮度值的波形Y0和Y2没有变化，即，是 相同的。如图9左侧的图所示，在一般情况下，块B1的亮度值的波 形Y1与块B0的亮度值的波形YO的相似胜过相似于块B2的亮度值的波形Y2，如波形YO和波形Yl之间的阴影区域所示，因此， 块B0与块B1之间的评价值DFD(Y1)小于块B0与块B2之间的评 价值DFD(Y2)。因此，做出以下判断作为正确运动矢量的运 动矢量vl的可靠性高于作为不正确运动矢量的运动矢量v2的可靠性。
然而，注意，如图9的右侧的图所示，在帧t+l上的块Bl包 括光源移动或阴影横移等且仅块B1受此影响的情况下，作为波 形Y1的块B1的亮度值整体上(平均地)亮度水平发生了极大变 化，如波形Y11所示。也就是说，块B1的亮度值的波形Y11与左 侧图的波形Y1分离平均亮度值水平的变化量，因此，如波形YO 与波形Yl l之间的阴影区域所示，块B1的亮度值的波形Yll与块 BO的亮度值的波形Y0的分离胜过与块B2的亮度值的波形Y2的 分离。
因此，作为偏移量叠加平均亮度值水平的变化量，这种情 况下块B0和块B1之间的评价值DFD(Y11)较块B0和块B2之间的 评价值DFD(Y2)变得更大，因此，做出以下判断作为正确运 动矢量的运动矢量vl的可靠性低于作为不正确运动矢量的运动 矢量v2的可靠性。
如上所述，在由于光源移动或阴影横移等而导致具有运动 v的对象的平均亮度水平发生极大变化的情况下，将平均亮度值 水平的变化量叠加在作为偏移量的评价值DFD上，因此，评价 值DFD变大，因此，真正的运动量v的可靠性变低。
因此，代替评价值DFD，利用信号处理装置l的矢量检测单 元52,使用差的方差(dfv)作为关于运动矢量的评价值的另 一示 例，并且选择最适合随后阶段的运动矢量，其中，以与利用评 价值DFD相同的方式，计算包括用作评价对象的矢量的起点和 终点的块之间差的方差。如果把评价的运动矢量作为v的话，利用下面的表达式(2)表示差的方差。
<formula>formula see original document page 2</formula>
这里，数学表达式3即？^j表示mxn像素的差的方差的计 算范围中的亮度值的均值。
注意，实际上，根据表达式(2)可以理解，差的方差是以下 值的平方和通过从时间点t+l的像素位置p+v的亮度值与时间 点t +1的像素位置p+v的计算范围中的亮度值之间的平均差中减 去时间点t的像素位置p的亮度值与时间点t的像素位置p的计算 范围中的亮度值之间的平均差所获得的值，但是，可以通过展 开表达式(2)获得计算块内的亮度值差的方差表达式(后面说明 的表达式(5))，因此将其称之为差的方差。
差的方差还是以与利用评价值DFD相同的方式把帧之间的 块的波形的 一 致性当作矢量的可靠性的评价值，并且可以做出 以下判断该值越小，矢量v的可靠性越高。 图10是用于说明平均亮度水平变化时的差的方差的图。注 意，图10示出与参考图9所述的评价值DFD的示例相对应的差的 方差dfv的示例，并且，利用图10的示例，以与利用图9的示例 相同的方式，参考图8中的块B0、块B1和块B2进行说明。
图IO左侧的图以与利用图9的情况相同的方式示出 一般情 况下(即，在帧之间没有包括光源移动和阴影橫移等的情况下) 图8中的块BO、块B1和块B2各自的(像素)位置处的亮度值的波 形YO、 Y1和Y2，而右侧的图示出在块B1包括光源移动或阴影 横移等的情况下图8中的块B0、块B1和块B2各自的(像素)位置 处的亮度值的波形YO、 Y11和Y2、以及受此影响的块B1。
如图10左侧的图所示，在一般情况下，块B1的亮度值的波形Yl与块BO的亮度值的波形Y0的相似胜过相似于块B2的亮度 值的波形Y2，如波形Y0和Y1之间的阴影区域所示，因此，以 与利用图9的评价值DFD的情况相同的方式，块B0与块B1之间 的差的方差dfv(Yl)小于块BO与块B2之间的差的方差dfv(Y2)。 因此，做出以下判断为正确运动矢量的运动矢量vl的可靠性 高于为不正确运动矢量的运动矢量v2的可靠性。
另一方面，如图10右侧的图所示，在帧t+l上的块Bl包括 光源移动或阴影横移等且仅块B 1受此阴影的情况下，作为波形 Y1的块B1的亮度值整体上(平均地)亮度水平发生了极大变化， 如波形Y11所示。也就是说，块B1的亮度值的波形Y11与波形 Yl分离平均亮度值水平的变化量，因此，块B1的亮度值的波形 Y11与块B0的亮度值的波形YO的分离胜过与块B2的亮度值的 波形Y2的分离。
这里，利用图10右侧的图，示出以虚线所示的波形Z1和波 形Z2。波形Z1表示从波形Y11减去波形Y11与波形YO之间的差 平均值的亮度值的波形，波形Z2表示从波形Y2减去波形Y2与波 形Y 0之间的差平均值的亮度值的波形。
如表达式(2)所示，差的方差是对于各帧减去作为偏移量的 计算块内的亮度值平均值的亮度值的平方和，即对于各帧减去 作为偏移量的计算块内的亮度值平均值的统计量。
因此，作为图IO右侧的图的阴影区域的波形YO与波形Z1 之间的差表示减去波形Yl 1与波形Yl 1和波形YO之间的差平均 值之间的差的波形YO,即，表示用于获得块B0与块B1之间的差 的方差dfv(Yll)的表达式(2)的平方和的括号内的部分，该差的 值小于波形YO与波形Z2之间的差值，波形Z2表示减去波形Y2 与波形Y2和波形YO之间的差平均值之间的差的波形YO ，即， 表示用于获得块B0与块B2卓绝爱女的差的方差dfv(Y2)的表达式(2)的平方和的括号内的部分。
因此，即使在由于光源移动或阴影横移等而导致具有运动 v的对象的平均亮度水平发生极大变化的情况下，块B0与块B1 之间的差的方差dfv(Yll)小于块B0与块B2之间的差的方差 dfv(Y2)。因此，做出以下判断作为正确运动矢量的运动矢量 vl的可靠性高于作为不正确运动矢量的矢量v2的可靠性。
如上所述，即使在使用DFD作为评价值时难以应付的帧之 间的平均亮度水平的变化的情况下，使用差的方差(以下还称之 为评价值dfv)作为评价值，从而可以正确评价矢量的可靠性。
注意，如表达式(2)所示，评价值dfv为平方和的表达式， 因此，需要使用乘法单元，因此，与硬件有关的电路规模大于 计算评价值DFD的情况下的电路规模。
因此，可以引用考虑了亮度平均偏移量的DFD(以下称之为 mDFD(mem DFD))作为不进行平方的评价值以及与作为差的方 差(评价值dfv)的特征的平均亮度水平的变化相对应的运动矢 量的评价值。可以利用表达式(3)表示mDFD。
齒t(P) |(Ft+1 (Px,y + V)-Ft + "Px,y + V)) -(Ft(Px'y) -F"Px,y))l (3)
x,y
mDFD还以与利用差的方差相同的方式表示考虑平均亮度 水平的波形的 一 致性，并且是与帧之间的平均亮度水平发生极 大变化的情况相对应的运动矢量的评价值。因此，以下还将 mDFD称为评价值mDFD。
此外，将对于评价值mDFD进行详细il明。
图ll是示出用于计算评价值mDFD的评价值计算单元61A 的结构示例的框图。
注意，图11的示例与图6的评价值计算单元61的相同在于设置了块位置计算单元71、亮度值获取单元72、差的绝对值计 算单元73和乘积和计算单元74，而与图6的评价值计算单元61 的不同在于图ll的示例还添加了乘积和计算单元81-l和81-2、 平均值计算单元82-l和82-2、以及差计算单元83-1和83-2。对于图11的示例，亮度值获取单元7 2从未示出的帧t的帧存 储器获取与所输入的帧t的块位置相对应的亮度值，并将所获取 的帧t的亮度值输出给乘积和计算单元81-1和差计算单元83-1。 另外，亮度值获取单元72从帧t+l的帧存储器51获取与输入的帧 t+l的块位置相对应的亮度值，并且将所获取的帧t+l的亮度值 输出给乘积和计算单元81-2和差计算单元83-2。乘积和计算单元81-l对帧t的块内所有像素的亮度值求积 分，并将积分后的亮度值输出给平均值计算单元82-l。平均值 计算单元82-l使用来自乘积和计算单元81-1的积分后的亮度值 计算该块内的亮度平均值，并将计算出的该块内的亮度平均值 输出给差计算单元83-l。差计算单元83-l使用来自亮度值获取单元72的亮度值和来 自平均值计算单元82-l的该块内的亮度平均值，计算帧t的该块 内的各像素和该块内的亮度平均值之间的差，并将所计算的帧t 的差输出给差的绝对值计算单元73。乘积和计算单元81-2、平均值计算单元82-2和差计算单元 8 3 - 2使得帧t +1经过与乘积和计算单元8 2 -1 、平均值计算单元 82-1和差计算单元83-1的处理相同的处理。也就是说，乘积和计算单元81-2对帧t+l的该块内所有像素 的亮度值求积分，并且将积分后的亮度值输出给平均值计算单 元82-2。平均值计算单元82-2使用来自乘积和计算单元81-2的 积分后的亮度值计算该块内的亮度平均值，并将计算出的该块 内的亮度平均值输出给差计算单元83-2。差计算单元83-2使用来自亮度值获取单元72的亮度值和来 自平均值计算单元82-2的该块内的亮度平均值，计算帧t+l的该 块内各像素和该块内的亮度平均值之间的差，并且将所计算的 帧t+l的差输出给差的绝对值计算单元73。对于图ll的示例，差的绝对值计算单元73使用来自差计算 单元83-l的帧t的该块内的亮度值和来自差计算单元83-2的帧 t+l的该块内的亮度值，计算亮度差的绝对值，并且将所计算的 亮度差的绝对值输出给乘积和计算单元74。乘积和计算单元74 通过对在差的绝对值计算单元73所计算的亮度差的绝对值求积 分，获得评价值mDFD,并且将所获得的评价mDFD输出给随后 的阶段。接着，参考图12和13的流程图说明图ll中的评价值计算单 元61A的评价值计算处理。从前一阶段，将帧t的块(DFD计算范围)位置和评价的运动 矢量输入给评价值计算单元61A。在输入帧t的块位置和评价的 运动矢量时，在步骤S31，块位置计算单元71使用所输入的帧t 的块位置和运动矢量，计算帧t+l的块位置，并将计算结杲输出 给亮度值获取单元72。在步骤S32，亮度值获取单元72基于输入的帧t和帧t+l的块 位置，获取各块(DFD计算范围)的像素的亮度值，将所获取的 帧t的像素的亮度值输出给乘积和计算单元81-l，并将所获取的 帧t+l的像素的亮度值输出给乘积和计算单元81-2。注意，此时， 亮度值获取单元72还将所获取的帧t的像素的亮度值输出给差 计算单元83-1,并且还将所获取的帧t+l的像素的亮度值输出给 差计算单元83-2。在步骤S33，乘积和计算单元81-1对来自亮度值获取单元72 的帧t的像素的亮度值求积分，并且在步骤S34判断是否已对该块内的所有像素完成了该处理。如果在步骤S34判断为没有完 成对于该块内的所有^f象素的该处理，则处理返回到步-骤S32， 并且重复此后的处理。也就是说，进行对于该块的下一像素的 该处理。如果在步骤S34判断为已对该块内的所有像素完成了该处 理，则乘积和计算单元81-l将通过对帧t的该块内的所有像素的 亮度值求积分所获得的值输出给平均值计算单元82-l。在步骤S35，平均值计算单元82-l使用来自乘积和计算单元 81-l的积分后的亮度值计算帧t的该块内的亮度平均值，并将计 算出的该块内的亮度平均值输出给差计算单元83-l。在图13的步骤S36,差计算单元83-l使用来自亮度值获取单 元72的亮度值和来自平均值计算单元82-l的该块内的亮度平均 值，计算帧t的该块内的各像素与该块内的亮度平均值之间的 差，并将所计算的帧t的差输出给差的绝对值计算单元73。注意，说明是重复的，因此为了便于说明将省略重复说明， 但是，同样利用乘积和计算单元81-2、平均值计算单元82-2和 差计算单元83-2,以相同方式对帧t+l进行上述步骤S32 ~ S36 的处理。因此，在步骤S37,通过差计算单元83-l计算帧t的该 块内的各像素与该块内的亮度平均值之间的差，并将该差输出 给差的绝对值计算单元73。在步骤S38,差的绝对值计算单元73对来自差计算单元83-l 和差计算单元83-2的亮度差的绝对值求积分，并且在步骤S39 判断是否已对该块内的所有像素完成了该处理。如果在步骤 S38判断为没有完成对于该块内的所有像素的该处理，则处理 返回到步骤S36,并重复此后的处理。也就是说，进行对于该 块的下一像素的该处理。另一方面，如果在步骤S39判断为已对该块内的所有像素完成了该处理，则在步骤S40，乘积和计算单元74获得考虑了 亮度平均偏移量的DFD(即，mDFD)，作为对亮度差的绝对值求 积分的结果，并且将该结果输出给随后的阶段作为评价值 mDFD。因此，结束评价值计算处理，从而可以获得评价值mDFD， 作为与帧之间的平均亮度水平发生极大变化的情况相对应的运动矢量的评价值。因此，图11中的用于计算评价值mDFD的评价值计算单元 61A不需要乘法单元，因而无需增大与硬件有关的电路规模。然而，注意，对于评价值mDFD的计算处理，通过表达式 (3)和图12可显而易见， 一旦计算了各块内的平均亮度值，并且 确定了各块内的平均亮度值，就无需进行以下过程从该块内 的各像素的亮度值减去相应的平均亮度值，并且对所获得差求 积分。也就是说，对于评价值mDFD的计算处理，在确定各块 内的平均亮度值之前，不能进行接着的处理。这里，再次对于利用表达式(2)所表示的差的方差进行说 明。下面的表达式(4)表示在像素位置Px, y处具有运动矢量v的 帧之间的差。[数学表达式5]Dt(px，y, v) = Ft+1 (px,y+v) -Ft(px，〉) …(4) 在使用上述表达式(4)变换上述差的方差dfv的表达式(2) 时，利用下面的表达式(5)表示差的方差。 [数学表达式6]表达式(5)表示差的方差是评价值计算块内亮度值Dt的方 差。因此，可以通过展开该方差表达式将表达式(5)变换成象表…(5)达式(6)—样。[数学表达式7]<formula>formula see original document page 35</formula>如表达式(6)所示，可以将差的方差分成差的平方和项以及差的和的平方项。也就是说，在计算差的方差的情况下，可以 配置差的方差的计算单元以并行计算各项。图14是示出用于计算差的方差(即，评价值dfv)的评价值计 算单元61B的结构示例的框图。注意，图14的示例与图6中的评价值计算单元61的相同在 于设置了块位置计算单元71和亮度值获取单元72，而与图6 中的评价值计算单元61的不同在于代替差的绝对值计算单元 73和乘积和计算单元74，图14的示例添加了差计算单元91、差 的和的平方计算单元92、差的平方和计算单元93、乘法单元94 和差计算单元95。对于图14的示例，亮度值获取单元7 2从未示出的帧t的帧存 储器获取与输入的帧t的块位置相对应的亮度值，从帧t+l的帧 存储器51获取与输入的帧t+l的块位置相对应的亮度值，并且将 所获取的各个亮度值输出给差计算单元91。差计算单元91计算所处理的像素的亮度值的差，并将所计 算的亮度值的差输出给差的和的平方计算单元92和差的平方和 计算单元93。差的和的平方计算单元92由乘积和计算单元92a和乘法单 元92b构成。乘积和计算单元92a对来自差计算单元91的亮度值的差求积分，求积分的次数与块的数量相同，并且将积分后的亮度值的差(亮度值的差的和)输出给乘法单元92b。乘法单元 92b对来自乘积和计算单元92a的亮度值的差的和求平方，并将 亮度值的差的和的平方输出给差计算单元95。差的平方和计算单元93由乘法单元93a以及乘积和计算单 元93b构成。乘法单元93a计算来自差计算单元91的亮度值的差 的平方，并将所计算出的亮度差的平方输出给乘积和计算单元 93b。乘积和计算单元93b对亮度差的平方求积分，求积分的次 数与块的数量相同，并且将积分后的亮度值的差的平方(亮度值 的差的平方和)输出给乘法单元94。从未示出的控制单元等将块内的像素数量输入给乘法单 元94。乘法单元94将块内像素的数量与亮度差的平方和相乘， 并且将该结果输出给差计算单元95。差计算单元95通过从来自乘法单元94的乘以块内像素数 量的亮度差值的平方和减去来自乘法单元92b的亮度值的差的 平方和，获得差的方差，并且将差的方差输出给随后的阶段， 作为评价值dfv。接着将参考图15所示的流程图说明图14中的评价值计算 单元61B的评价值计算处理。从前 一 阶段将帧t的块(DFD计算范围)位置和评价的运动矢 量输入给评价值计算单元61B。在输入帧t的块位置和评价的运 动矢量时，在步骤S51，块位置计算单元71使用输入的帧t的块 位置和运动矢量，计算帧t+l的块位置和运动矢量，并将计算结 果输出给亮度值获取单元72。在步骤S52,亮度值获取单元72基于输入的帧t和帧t+l的块 位置获取各帧的块(DFI)计算范围)的像素的亮度值，并且将所 获取的各个的亮度值输出给差计算单元91。在步骤S53，差计算单元91计算将处理的像素的亮度值的 差，并且将所计算的亮度值的差输出给差的和的平方计算单元 92和差的平方和计算单元93。在步骤S54,计算亮度值的差，并且对亮度值的差的平方 求积分。也就是说，在步骤S54，差的和的平方计算单元92的 乘积和计算单元92a对来自差计算单元91的亮度值的差求积分。 此时，同时，差的平方和计算单元93的乘积和计算单元93b对该 亮度值的差的平方求积分，其中，通过乘法单元93a计算来自差 计算单元91的亮度差。在步骤S55，乘积和计算单元92a和乘积和计算单元93b判 断是否已对该块内的所有像素完成了该处理。如果在步骤S55 判断为没有完成对于该块内的所有像素的该处理，则处理返回 到步骤S52,并且重复此后的处理。也就是说，进行对于该块 的下一像素的该处理。另一方面，如果在步骤S55判断为已对该块内的所有像素 完成了该处理，则乘积和计算单元92a将积分后的亮度值的差 (亮度值的差的和)输出给乘法单元92b，并且乘积和计算单元 93b将积分后的亮度值的差的平方(亮度值的差的平方和)输出 给乘法单元94。在步骤S56,计算亮度值的差的和的平方，计算该块内像 素的数量和亮度值的差的平方和。也就是说，在步骤S56，差 的和的平方计算单元92的乘法单元92b求来自乘积和计算单元 92a的亮度值的差的和的平方，并且将亮度值的差的和的平方输 出给差计算单元95。此时，乘法单元94同时将该块内的像素数 量和亮度差值的平方和相乘，并将结果输出给差计算单元95。在步骤S57,差计算单元95从来自乘法单元92b的亮度值的 差的和的平方减去已乘以该块内的像素数量的亮度差值的平方和，并且在步骤S58获取作为相减结果的差的方差，并将差的 方差输出给随后的阶段，作为评价值dfv。因此，结束评价值计算处理，从而可以获得评价值dfv,用作与帧之间的平均亮度水平发生极大变化的情况相对应的运动 矢量的评价值。因此，根据作为评价所使用的差的方差，即使在帧之间的 平均亮度水平发生极大变化的情况下，也可以进行高可靠性的矢量评价。同样，对于用于计算差的方差的该评价值计算处理，在步骤S54和步骤S56，差的和的平方计算单元92和差的平方和计算 单元93可以并4亍进行计算处理。因此，如图14中的评价值计算 单元61B所示，差的方差需要有乘法单元，因此硬件实现变大， 但另一方面，可以对电^各进行并行化，乂人而与mDFD的情况相 比，可以减少计算处理时间。此后，当没有特别言及时，对于信号处理装置l的矢量检 测单元52,在选择运动矢量的情况下，使用评价值dfv而不是评 价值DFD作为评价值，并且，对于其它矢量分配单元54和分配 补偿单元57,在选择运动矢量的情况下，使用差的绝对值的和 (以下称之为评价值DFD)作为评价值。因此，在以下假定的前提下，做出下面的说明矢量检测 单元52包括评价值计算单元61B,并且矢量分配单元54和分配 补偿单元57包括评价值计算单元61。注意，不用说，可以进行以下配置，其中，不仅对于矢量 检测单元52,而且对于矢量分配单元54或分配补偿单元57，都 可以使用评价值d fv代替评价值D F D 。接着，参考图16的流程图说明信号处理装置1的用于转换 帧频的处理。在步骤S 81 ，矢量检测单元5 2输入时间点t +1的输入图像帧 t+l和帧存储器51的输入图像前的 一 个时间点t的帧t的像素值。 注意，此时，矢量分配单元54、分配补偿单元57和图像插值单 元58也输入时间点t+l的输入图像帧t+l和帧存储器51的输入图 像前的 一 个时间点t的帧t的像素值。在步骤S82，矢量检测单元52执行运动矢量检测处理。也 就是说，矢量检测单元52检测帧存储器51上的帧t的感兴趣的块 与作为输入图像的下 一 帧t +1的待处理的块之间的运动矢量，并 将所检测到的运动矢量存储在检测到的矢量存储器5 3中。对于 两个帧之间的运动矢量的检测方法，可以使用梯度法或块匹配 法等。另外，在存在多个候选运动矢量的情况下，利用矢量检测 单元52,通过评价值计算单元61B获得对于各运动矢量的评价 值(差的方差)，并且基于所获得的评价值dfv检测具有高可靠性 的运动矢量。也就是说，在这种情况下，在检测运动矢量的感 兴趣的块内，选择和检测最可靠的运动矢量。后面将参考图20 详细说明步骤S 8 2中的运动矢量检测处理。在步骤S83,矢量分配单元54执行矢量分配处理。也就是 说，在步骤S83，矢量分配单元54将在帧t上所获得的运动矢量 分配给分配矢量存储器55上将所插值的插值帧上的感兴趣的像 素，并且重写运动矢量被分配成l(真)的像素的所分配标志存储 器56的所分配标志。例如，为真的所分配标志表示已将运动矢 量分配给了相应像素，而为假的所分配标志表示没有将运动矢 量分配给相应像素。注意，在对于各像素存在多个候选运动矢量的情况下，利 用矢量分配单元54，通过评价值计算单元61获得对于各运动矢 量的评价值DFD,并且基于所获得的评价值DFD分配具有高可靠性的运动矢量。也就是说，在这种情况下，对于被分配了运 动矢量的感兴趣的像素，选择和分配最可靠的运动矢量。后面将参考图73详细说明步骤S83中的矢量分配处理。在步骤S84，分配补偿单元57执行分配补偿处理。也就是 说，在步骤S84,分配补偿单元57参考所分配标志存储器56的 所分配标志，利用感兴趣的像素的周围像素的运动矢量，补偿 矢量分配单元54没有分配运动矢量的感兴趣的像素，并且将这 些感兴趣的像素分配到分配矢量存储器55的插值帧上。此时， 分配补偿单元57补偿该运动矢量，并将分配的感兴趣的像素的 所分配标志重写成l(真)。注意，在具有多个运动矢量的周围像素的情况下，利用分 配补偿单元57，通过评价值计算单元61获得对于各运动矢量的 评价值D F D,基于所获得的评价值D F D分配具有高可靠性的运 动矢量。也就是说，在这种情况下，对于分配了运动矢量的感 兴趣的像素，选择和分配最可靠的运动矢量。后面将参考图76 详细说明步骤S84中的分配补偿处理。在步骤S85,图像插值单元58执行图像插值处理。也就是 说，在步骤S85,图像插值单元58使用分配给分配矢量存储器 55的插值帧的运动矢量、以及帧t和帧t+l的像素值，进行插值 并生成该插值帧的像素值。后面将参考图79详细说明步骤S85 中的图像插值处理。在步骤S86,图像插值单元58输出所生成 的插值帧，在此之后如有需要，输出帧t+l，从而向未示出的随 后的阶段输出60P信号图像。在步骤S87,矢量检测单元52判断是否已完成了对于所有 帧的该处理，并且在判断出没有完成对所有帧的该处理的情 况下，返回到步骤S81，并且重复此后的处理。另一方面，如 果判断为完成了对所有帧的该处理，则矢量检测单元5 2结束用于转换帧频的处理。如上所述，根据本发明的信号处理装置1从输入的24P信号 图像检测运动矢量，并且将所检测到的运动矢量分配给60P信 号的帧上的像素，并且基于所分配的运动矢量生成6 0 P信号的 帧上的像素值。此时，利用矢量检测处理，信号处理装置l基于评价值 dfv(差的方差)选择具有较高可靠性的运动矢量，并且将该运动 矢量输出给随后的阶段。因此，利用信号处理装置l,即使在从 其获得运动矢量的帧之间的平均亮度水平发生极大变化的情况 下，也可正确评价运动矢量的可靠性。因此，抑制了运动失败， 并且可以生成精度更好的图像。接着对于矢量检测单元5 2的结构进行详细说明。图17是示出矢量检测单元52的结构的框图。图17示出其结 构的矢量检测单元52使用输入的时间点t的图像帧t和时间点t+l 的图像帧t+l，以检测帧t上的运动矢量，并将所检测到的运动 矢量存储在检测到的矢量存储器53中。对于由多个像素组成的 每一预定块执行用于检测运动矢量的处理。初始矢量选择单元101将从过去的运动矢量的检测结果所 获得的具有高可靠性的运动矢量输出给迭代梯度法计算单元 103作为初始矢量vO,初始矢量vO用作针对每一预定块的梯度法 所使用的初始值。具体地，初始矢量选择单元101选择在过去存 储在检测到的矢量存储器53中所获得的周围块的运动矢量和存 储在移位初始矢量存储器107中的移位初始矢量，作为初始矢量 的候选矢量。随后，包括以上参考图14所述的评价值计算单元 61B的初始矢量选择单元101使评价值计算单元61B使用帧t和 帧t+l获得候选矢量的评价值dfv，基于通过评价值计算单元6B 所获得的评价值d fv,从候选矢量中选择具有最高可靠性的矢量，并且输出该矢量作为初始矢量VO。注意，后面将参考图23 详细il明初始矢量选择单元101的结构。预滤波器102-l和102-2由低通滤波器和高斯滤波器构成， 每 一 滤波器消除输入图像的帧t和帧t +1的噪声分量，并且将帧t 和帧t+l输出给迭代梯度法计算单元103。迭代梯度法计算单元103利用梯度法，使用从初始矢量选 择单元101输入的初始矢量VO、以及通过预滤波器102-1和102-2 输入的帧t和帧t+l，计算每一预定块的运动矢量Vn。迭代梯度 法计算单元103将初始矢量VO和所计算的运动矢量Vn输出给矢 量评价单元104。另外，迭代梯度法计算单元103基于矢量评价 单元104的运动矢量的评价结果，重复进行梯度法的计算，从而 计算运动矢量Vn。矢量评价单元104还包括评价值计算单元61B，矢量评价单 元104使评价值计算单元61B从迭代法计算单元103获得矢量 Vn-l(或初始矢量VO)，并使评价值计算单元61B获得运动矢量 Vn的评价值dfv，矢量评价单元104控制迭代梯度法计算单元 103,以基于评价值计算单元61B所获得的评价值dfv重复执行梯 度法的计算，并且，矢量评价单元104最终基于评价值dfv选择 具有高可靠性的运动矢量V，并且将所选择的运动矢量V存储在 检测到的矢量存储器53中。此时，矢量评价单元104向移位初始矢量分配单元105不仅 提供运动矢量V,而且还提供其获得对于运动矢量V的评价值 dfv。注意，后面将参考图25详细说明迭代梯度发计算单元103 和矢量评价单元104的结构。在从矢量评价单元104提供运动矢量V和运动矢量V的评价 值dfv时，移位初始矢量分配单元105将通过下一帧上感兴趣的 块的运动矢量移位至感兴趣的块，并将该运动矢量设置为移位初始矢量。换句话i兌，移位初始矢量分配单元105将具有与运动 矢量V相同大小和相同方向的运动矢量设置为移位初始矢量， 其中，将与运动矢量V的终点块相同位置的下一帧上的感兴趣 的块作为起点。随后，移位初始矢量分配单元105将所i殳置的移 位初始矢量分配纟会移位初始矢量存4诸器107，从而将该移位初始矢量与感兴趣的块相关联。具体地，移位初始矢量分配单元105将作为移位初始矢量 所分配的评价值dfv存储在评价值存储器106中，以将该评价值 dfv预先与感兴趣的块相关联，并且将该评价值dfv与通过同一 感兴趣的块(即，将与感兴趣的块相同位置的过去的帧的块作为 终点)的其它运动矢量V的评价值dfv进行比较。随后，移位初始 矢量分配单元105将基于该评价值dfv已^f皮确定可靠性高的运动 矢量V移位至感兴趣的块，并且将运动矢量V分配纟合移位初始矢 量存储器107,作为感兴趣的块的移位初始矢量。注意，后面将 参考图21详细说明移位初始矢量分配单元105的结构。接着对于矢量检测单元52所使用的梯度发的原理进行说 明。首先，假定在运动图像中，将以使用水平、垂直和时间 轴的坐标(x, y, t)所表示的像素的像素值作为g(x， y, t)。这 里，当感兴趣的像素(x。， y。， t。)在微小时间中位移(dx， dy， dt)时，在分别利用gx(x。， y。， t"、 gy(x。， y。， t。)和gt(x。， y0， t"表示水平、垂直和时间轴的梯度(差的差)时，使用Taylor展开 近似式以下面的表达式(7)表示位移后的像素的亮度值。[数学表达式8]g(xO+dx, yO+dy, tO+dt) g(x0， y0, t0) + gx(xO， y0， tO)dx + gy(x0, y0， tO)dy + gt(x0, y0， tO)dt …(7)这里，在运动图像内的某一感兴趣的像素在一个帧后水平 移动vz且垂直移动vy(以下表示为(vx， vy))的情况下，该运动图像的像素的亮度值以下面的表达式(8)表示。[数学表达式9]g(x0+vx， yO+vy, tO+l) = g(x0， y0， t0) …(8) 在将表达式(8)代入表达式(7)时，以下面的表达式(9)对此 进行表示。[数学表达式IO]gx(x0， y0, t0)vx + gv(x0， y0, t0)vy + gt(x0, y0， t0) = 0…(9) 表达式(9)是由两个变量vx和vy组成的表达式，因此，不能 利用对于一个感兴趣的像素的独立表达式获得表达式(9)的解。 因此，如下所述，将作为感兴趣的像素的周围区域的块当作为 一个处理增量，假定该块(周围区域)内的所有像素进行相同运 动(vx， vy),并且对于各像素建立相同的表达式。尽管上述假 定是前提，但是对于这两个变量获得与周围像素的数量相同数 量的表达式。因此，将这些表达式转换成联立表达式，从而获 得(vx, vy),从而使得该块内的所有像素的运动补偿帧的差的 平方和变得最小。当像素(x，y，t)在一个帧中移动(vx， vy)时，运动补偿帧之 间的差d以下面的表达式(10)表示。[数学表达式llld = g(x+vx， y+vy, t+l) - g(x， y， t) = Ax vx + Ay vy + At …(10) 在表达式(10)中，Ax = gx(x, y, t)成立，表示水平方向上的 梯度，Ay = gy(x， y, t),表示垂直方向上的梯度，At = gt(x， y, t) 成立，表示时间方向上的梯度。在使用它们，并且将运动补偿 帧之间的差的平方和作为E时，以表达式(l l)来表示它。 [数学表达式12JK = 2d2 =2AxAtvx+2AyAtvy+At )= vx22Ax2+vy2SAy2+2vxvy2:AxAy+2vxi:AxAt+2vy2:AyAt+i:At2 ...(11)这里，E为最小的(vx, vy)为各变量的偏微分值为O,即条 件5E/Svx-SE/Svy = 0成立时，因此，从表达式(ll)得出下面 的表达式(12)和表达式(13)。[数学表达式13]vxSAx2 + vy2AxAy + SAxAt = 0 …(12) [数学表达式14]vy2Ay2 + vxSAxAy + SAyAt = 0 …(13) 可以通过计算下面的表达式(14)获得作为根据表达式(12) 和表达式(13)所获得的运动的(vx, vy)。 [数学表达式15]VX= (ZAX2)(ZAy2)-("XAy)2(ZAx2)(ZMAy)-(ZAxAy)(ZAtAx) vy=--^-(ZAx2)(ZAy2)-(ZAxAy) (14)这里参考图18进行具体说明。对于图18的示例，箭头X表 示水平方向，而箭头Y表示垂直方向。另外，箭头T表示该附图 中从时间点t的右后帧t到时间点t+l的左前帧t+l过去的时间。注 意，在图18的示例中，对于各帧，仅示出了梯度法的计算所使 用的8x8像素的区域，作为感兴趣的像素p的周围区域(块)。对于帧t，在使用上述梯度法获得作为从左上像素开始的第 五个像素以及到右边的第五个像素的感兴趣的像素p的运动矢 量V(vx, vy)的情况下，可以利用以下配置获得运动矢量V(vx，vy),其中，对于感兴趣的^f象素p的周围区域(8x8^f象素)的所有像 素获得对于感兴趣的像素p的x和y方向的每一方向获得的相邻 像素px和py之间的亮度差的差(即，梯度)Ax和Ay、以及与用帧 t+l所获4f的感兴趣的l象素p位于相同相^f立的^象素q在时间方向 上的亮度差的差(梯度)At，并且使用表达式(14)计算这些差的 差。也就是说，梯度法是这样一种方法，其中，获得两个帧之 间的梯度Ax、 Ay和At，并且使用差的平方和根据所获得的Ax、 Ay和At在统计学上计算运动矢量V(vx， vy)。通常，利用使用这类梯度法的运动矢量检测方法，对于微 小运动可以获得高精度的结果。然而，注意，在试图获得实际 运动图像内的运动的情况下，由于运动图像的运动量太大，因 而不能说梯度法是可行的。为了对付这一情况，可以考虑用于 对梯度法进行多次迭代的方法。通过以迭代方式执行梯度法使 使各计算所获得的运动量收敛，从而可以逐渐获得正确运动。然而，注意，在试图进行实时处理的情况下，从计算时间 的角度来看，简单迭代梯度法是不可行的。因此，对于矢量检 测单元52,使用基于过去的帧中的周围像素的运动和当前帧中 的周围像素的运动所获得的初始矢量，作为初始值，从而减少 了梯度法的迭代次数。也就是说，通过相加从用作运动的起点 的感兴趣的像素到以初始矢量预先表示的目的地的偏移量来计 算粗运动，并且，从相加了该偏移量的位置开始，进行使用梯 度法的计算，因而可以进行包括像素和像素的运动的精细调整。 因此，可以检测到正确的运动矢量，而不增加计算时间。图19是用于具体说明使用初始矢量所执行的迭代梯度法 的图。对于图19的示例，该附图中的箭头T表示从时间点t的左 前帧t到时间点t+l的右后帧t+l过去的时间。注意，以各Y象素p、q0、 ql、 q2和q3为中心的块表示梯度法的计算所使用像素的像 素的周围区域(块)。在图19的示例的情况下，对于帧t的感兴趣的像素p，利用 帧t+l，不是用与感兴趣的像素p位于相同相位的像素q0、而是 用通过偏移(移动)预先获得的初始矢量v0所计算出的位置(像 素)ql作为起点，进行第一次梯度计算，作为第一次梯度计算的 结果，获得运动矢量vl。接着，利用通过从像素q0偏移v0+vl作为起点所计算的位 置(像素)q2，进行第二次梯度法计算，作为该计算的结果，获 得运动矢量v2。因此，最终如表达式(15)那样获得运动矢量V。V = v0 + vl + v2 ... (15)如此使用初始矢量执行迭代梯度法的计算，从而可以获得 高精度的运动矢量，同时可以减少计算时间。接着参考图2 0的流程图对于运动矢量检测处理进行详细 说明。将时间点t的图像帧t和时间点t+l的图像帧t+l输入给矢量 检测单元52。在步骤SIOI，初始矢量检测单元101选择帧t上待处理的块 作为感兴趣的块。注意，为了光栅扫描，在该帧上从左上块开 始l丸行该处理。在步骤S102，初始矢量选择单元101执行初始矢量选择处理。在步骤S102,初始矢量选择单元101为每一预定块从过去的运动矢量的检测结果中选择具有高可靠性的运动矢量，并且 将所选择的运动矢量输出给迭代梯度法计算单元103,作为用作梯度法所使用的初始值的初始矢量VO。也就是说，初始矢量选择单元101选择在过去的梯度法计 算评价处理(后述的步骤S103)所获得的且被存储在检测到的矢 量存储器53中的周围块的运动矢量以及在过去的移位初始矢量存储在移位初始矢量存储器107 中的移位初始矢量，作为初始矢量的候选矢量。随后，初始矢量选择单元101使评价值计算单元61B使用帧t和帧t+l获得候选 矢量的评价值dfv，初始矢量选择单元101基于评价值计算单元 61B根据所获得的候选矢量的评价dfv选择具有高可靠性的运动 矢量，并且输出所选择的候选矢量作为初始矢量VO。注意，后 面将参考图24详细说明步骤S102中的初始矢量选择处理。在步骤S103，迭代梯度法计算单元103和矢量评价单元104 执行迭代梯度法计算评价处理(还称之为迭代梯度法计算处 理)。具体地，在步骤S103,迭代梯度法计算单元103使用从初 始矢量选择单元IOI所输入的初始矢量VO以及通过预滤波器 102-l和102-2所输入的帧t和帧t+l，基于矢量评价单元104的运动矢量评价结果，重复进行梯度法的计算，从而计算运动矢量 Vn。另外，矢量评价单元104使评价值计算单元61B获得来自迭 代梯度法计算单元103的运动矢量Vn-l和运动矢量Vn的评价值 dfv,矢量评价单元104基于评价值计算单元61B所获得的评价值 dfv选择具有最高可靠性的运动矢量，并将其存储在检测到的矢 量存储器53中，作为运动矢量V。此时，矢量评价单元104相移 位初始矢量分配单元105不仅提供运动矢量V,而且还提供其对 于运动矢量V所获得的评价值dfV。注意，后面将参考图32详细 说明步骤S103中的迭代梯度法计算处理。在步骤S104,移位初始矢量分配单元105执行移位初始矢 量分配处理。在从矢量评价单元104输入运动矢量V和运动矢量 V的评价值dfv时，在步骤S104,移位初始矢量分配单元105将 通过下一帧上的感兴趣的块的运动矢量移位至下一帧的感兴趣 的块，并将该运动矢量设置为移位初始矢量。即，换句话说， 将具有与运动矢量V相同大小和相同方向的运动矢量设置为移位初始矢量，其中，将与运动矢量v的终点块的位置相同的位置的下一帧上的感兴趣的块作为起点。随后，移位初始矢量分配单元105将所设置的移位初始矢量分配给移位初始矢量存储 器107,以将该移位初始矢量与感兴趣的相关联。具体地，移位初始矢量分配单元105将作为移位初始矢量 所分配的评价值dfv存储在评价值存储器106中，以将该评价值 dfv预先与感兴趣的块相关联，移位初始矢量分配单元105将该 评价值dfv与通过同 一感兴趣的块(即，将与该感兴趣的块相同 位置的过去的帧的块作为终点)的其它运动矢量V的评价值dfv 进行比较，将基于该评价值dfv被判断为可靠性高的运动矢量V 移位至该帧的块，设置运动矢量V为移位初始矢量，并且将运 动矢量V分配给移位初始矢量存储器107,以将运动矢量V与移 位块相关联。注意，后面将参考图22详细说明移位初始矢量分 配单元105的结构。在步骤S105，初始矢量选择单元101判断是否完成了对于 帧t的所有块的该处理。如果在步骤S10 5判断为没有完成对于所 有块的该处理，则处理返回到步骤SIOI,并且重复此后的处理。即，如果判断为对于帧t上的所有块已检测到了运动矢量V，则结束运动矢量检测处理。如上所述，从过去所检测到的运动矢量中选择初始矢量，基于所选择的初始矢量使用迭代梯度法的计算重复计算运动矢 量，并且从所计算的运动矢量中检测基于评价值dfv具有高可靠 性的运动矢量(即，最正确的矢量)。从而将与帧t上的所有块相 对应的运动矢量V存储在检测到的矢量存储器53中。接着对于移位初始矢量分配单元105的结构进行详细说明。图21是示出移^立初始矢量分配单元105的结构的冲匡图。图 21示出其结构的移位初始矢量分配单元105基于对于前一(过去 的)帧矢量评价单元104所检测到的运动矢量V,设置用作初始 矢量的候选矢量的移位初始矢量，并进行用于将移位初始矢量 分配给移位初始矢量存储器107的处理。将矢量评价单元104所 才企测到的运动矢量V和运动矢量V的评价4直dfv输入给移位初始 矢量分配单元105。分配对象位置计算单元2 01计算下 一 时间点的帧上由矢量 评价单元104所检测到的运动矢量V通过的块的位置(即，与在 当前帧上所检测到的运动矢量V的终点的块的位置相同的下一 帧上的块的位置)，并将所计算的块位置提供给评价值存储器 106和移位初始矢量替换单元203。在输入运动矢量V和运动矢量V的评价值dfv时，评价值比 较单元202从评价值存储器106读出来自分配对象位置计算单元 201的块位置的评价值dfv。随后，评价值比较单元202将从评价 值存储器106读出的评价值dfv与矢量评价单元104所检测到的 运动矢量V的评价值dfv进行比较。如果判断为所检测到的运动矢量V的评价值d fv较小(即，可 靠性高)，则评价值比较单元202对移位初始矢量替换单元203 进行控制，以使用基于评价值dfv被判断为可靠性高的运动矢量 V，重写从移位初始矢量分配单元105所提供的块位置处的移位 初始矢量。另外，与此同时，评价值比较单元202对评价值替换 单元204进行控制，以对于评价值存储器106使用运动矢量V的 评价值dfv重写由分配对象位置计算单元201所选择的块位置处 的评价值dfv。移位初始矢量替换单元203使用从评价值比较单元202所 提供的运动矢量(即，具有与运动矢量V相同大小和相同方向的运动矢量)重写乂人移位初始矢量存^f渚器107的分配对象位置计 算单元201所提供的块位置处的移位初始矢量。评价值替换单元 204在评价值存储器106的评价值比较单元202的控制下，使用运 动矢量V的评价值dfv重写分配对象位置计算单元201所选择的 块位置处的评价值dfv。评价值存储器106为每一块存储分配给下一帧上的各块的 移位初始候选矢量的评价值dfv。移位初始矢量存储器107存储 下 一 帧上的各块处具有最小评价值d fv的运动矢量(即，最可靠 的运动矢量)，作为移位初始矢量，以将该移位初始矢量与各块 相关联。接着参考图22的流程图对于移位初始矢量分配处理进行 详细i兌明。在前一阶,殳;险测到帧t - l上的感兴趣的块的运动矢 量V时，矢量评价单元104将所检测到的运动矢量V和其对于运 动矢量V所获得的评价值dfv提供给移位初始矢量分配单元 105。在步骤S201,评价值比较单元202输入来自矢量评价单元 104的运动矢量V和运动矢量V的评价值dfv。另外，此时，分配 对象位置计算单元201也输入运动矢量V。在步骤S202,分配对 象位置计算单元201获得运动矢量V在帧t上的移位(运动补偿) 目的地处的分配对象块的位置。也就是说，分配对象位置计算 单元201获得与在帧1- 1上所检测到的运动矢量V的终点块的位 置相同的、位置帧t上的块的位置。在步骤S203,分配对象位置计算单元201从所获得的分配 对象块中选择一个分配对象块，并将所选择的分配对象块的位 置提供给评价值存储器106和移位初始矢量替换单元203。注意，在步骤S203，按照在帧t上的顺序从左上块开始从分配对象块中 进行选择。在步骤S204,评价值比较单元202从评价值存储器106获取 由分配对象位置计算单元201所选择的分配对象块的评价值 dfv，并且在步骤S205判断在步骤S201所输入的运动矢量V的评 价值dfv是否小于评价值存储器106的评价值dfv(即，运动矢量V 的评价值dfv在可靠性上高于评价值存储器106的评价值dfv)。 如果在步骤S205判断为运动矢量V的评价值dfv小于评价值存 储器106的评价值dfv,则处理进入步骤S206。在步骤S206，评价值比较单元202对移位初始矢量替换单 元203进行控制，以4吏用运动矢量V(即，具有与运动矢量V相同 的大小和相同的方向的运动矢量)重写由分配对象位置计算单 元201所选择的移位初始矢量存储器107的分配对象块的移位初 始矢量，并且在步骤S207,对评价值替换单元204进行控制， 以使用运动矢量V的评价值dfv重写由分配对象位置计算单元 201所选择的分配对象块的评价值dfv。量V的评价值dfv不小于评价值存储器106的评价值dfv,则处理 跳过步骤S206和S207,并且进入步骤S208。也就是说，在这种 情况下，判断为评价值存储器10 6的评价值d fv在可靠性上高于 运动矢量V的评价值dfv，因此不重写评价值存储器106和移位 初始矢量存储器107的值。在步骤S208，分配对象位置计算单元201判断是否已完成 了对于运动矢量V的所有分配对象块的该处理。如果在步骤 S208判断为没有完成对于运动矢量V的所有分配对象块的该处 理，则处理返回到步骤S203，并且重复此后的处理。另外，如 果在步骤S208判断为已完成了对于运动矢量V的所有分配对象 块的该处理，则结束移位初始矢量分配处理。注意，在该初始处理中，未将与所选择的分配对象块相对应的移位初始矢量存储在移位初始矢量存储器107中。因此，在 未将该移位初始矢量的评价值dfv存储在评价值存储器106的相 应分配对象块中的情况下，在步骤S204，未从所选择的分配对 象块获取评价值dfv,因而我们说在步骤S205中的判断为Yes， 因此执行步骤S206和S207中的处理。如上所述，在分配移位初始矢量的情况下还使用评价值 dfv，因此，即使在由于光源移动或阴影横移等而导致帧之间平 均亮度水平发生变化的情况下，也可以正确地评价矢量的可靠 性，并且当使用梯度法的计算检测运动矢量时，可以获得更适 合的候选初始矢量。另外，当获得移位初始矢量时，获得下一时间点的帧上的、 在前一时间点的帧处所检测到的运动矢量通过的块(即，与在帧 t - 1上所检测到的运动矢量V的终点块的位置相同的位置处帧t上的块)，分配下 一 时间点的帧上的感兴趣的块处的矢量作为移 位初始矢量，并且还在那时使用在获得在前 一 时间点的帧上所 检测到的运动矢量时所计算的评价值dfv,因此无需再次获得评 价值dfv,并且与从前一 时间点的帧上的所有块的运动矢量中搜 索通过感兴趣的块的运动矢量的情况相比，可以减少该处理的 计算量，从而可以实现由于计算量巨大而难以实现的硬件实现。 接着对于初始矢量选择单元101的结构进行详细说明 图23是示出初始矢量选择单元101的结构的框图。图23示 出其结构的初始矢量选择单元101进行用于从前一(过去的)帧 上所检测到的运动矢量和移位初始矢量等候选矢量(以下还称之为初始候选矢量)中选择具有高可靠性的运动矢量作为初始 矢量的处理。将时间点t的图像帧t和时间点t +1的图像帧t +1输入给初始矢量选择单元IOI。在输入帧t时，候选矢量位置计算单元251选择帧t上待处理的感兴趣的块，乂人感兴趣的块的周围区域获得用于获得感兴趣 的块的初始候选矢量的候选块的位置、以及用作初始候选矢量 的运动矢量的种类和优先顺序，并且按照所获得的优先顺序， 将候选块的位置信息和初始候选矢量的种类信息提供给检测到的矢量获取单元252和移位初始矢量获取单元253。另外，候选 矢量位置计算单元251还将候选块的位置信息提供给偏移位置 计算单元254。注意，对于信号处理装置l，基于初始矢量的位置与硬件 性能之间的平衡将初始候选矢量的数量预先设置为预定数量， 此外，还预先设置候选块的位置、初始候选矢量的种类和有效 顺序。另外，初始候选矢量的种类的示例包括移位初始矢量 SV，是这样一种运动矢量，其中，将通过过去的帧上的预定块 的运动矢量移位至该预定块(即，具有与以下的运动矢量V相同 的大小和相同的方向的运动矢量，其中，运动矢量V具有与在 过去的帧上所检测到的运动矢量的终点块的位置相同的位置处 的下 一 帧上的块)；在过去的帧上所检测到的运动矢量(以下还 称之为过去矢量PV);在当前帧上的感兴趣的帧以前的帧处所 检测到的运动矢量(还称之为当前矢量CV);以及零矢量。因此，在初始候选矢量的预定种类为过去矢量或当前矢量 的情况下，候选矢量位置计算单元251将候选块的位置信息和初 始候选矢量的种类信息提供给检测到的矢量获取单元252，而在 所获得的初始候选矢量的种类是移位初始矢量的情况下，则将 候选块的位置信息和初始候选矢量的种类信息提供给移位初始 矢量获取单元253，而在所获得的初始候选矢量的种类为上述以 外的种类的情况下(即，在初始候选矢量的种类为零矢量的情况 下)，候选矢量位置计算单元251设置零矢量，并且将零矢量和 候选块的位置信息提供给偏移位置计算单元254。检测到的矢量获取单元252从检测到的矢量存储器53获取 与从候选矢量位置计算单元251所提供的候选块的位置信息和 初始候选矢量的种类信息相对应的运动矢量，并将所获得的运 动矢量输出给偏移位置计算单元254，作为初始候选矢量。移位初始矢量获取单元253根据从候选矢量位置计算单元 251所提供的候选块的位置信息和初始候选矢量的种类信息，从 移位初始矢量存储器107获取与候选块的位置信息相对应的移 位初始矢量，并且将该移位初始矢量输出给偏移位置计算单元 254，作为初始候选矢量。另外，在没有向候选矢量位置计算单 元251所指定的块位置分配移位初始矢量的情况下，移位初始矢 量获取单元253向偏移位置计算单元254输出零矢量。注意，在没有分配移位初始矢量的情况下，可以预先将零矢量存储在移 位初始矢量存储器107中。在从检测到的矢量获取单元252或移位初始矢量获取单元 253输入初始候选矢量时(或者从候选矢量位置计算单元251输 入零矢量时)，偏移位置计算单元254基于从候选矢量位置计算 单元251所提供的候选块的位置信息，计算偏移目的地的块位 置，其中，对于各初始候选矢量将帧t的感兴趣的块偏移(移动 和补偿)至帧t+l。随后，偏移位置计算单元254将初始候选矢量、 候选块的位置信息和偏移目的地块位置的信息输出给以上参考 图14所述的评价值计算单元61B。在从偏移位置计算单元254输入初始候选矢量、候选块的 位置信息和偏移目的地块位置的信息时，评价值计算单元61B 使用帧t和帧t+l获得初始候选矢量的评价值dfv。随后，评价值 计算单元61B将初始候选矢量和所获得的评价值d fv输出给评价 值计算单元256。评价值比较单元256将由评价值计算单元61B所输入的评价值dfv和存储在最佳候选项存储寄存器257中的最佳候选矢量 的评价值dfv进行比较，并且，在由评价值计算单元61B所输入 的评价值dfv小于最佳候选矢量的评价值dfv的情况下，即，在 初始候选矢量在可靠性上高于最佳候选矢量的情况下，利用被 判断为可靠性高的初始候选矢量和该初始候选矢量的评价值 dfV替换最佳候选项存储寄存器257的最佳候选矢量和该最佳候 选矢量的评价值dfv。最后，评价值比较单元256对最佳候选项 存储寄存器257进行控制，以将所有候选矢量中基于评价值dfv 被判断为可靠性最高的最佳候选矢量输出给迭代梯度法计算单 元103,作为初始矢量V0。利用最佳候选项存储寄存器257，将已被评价值比较单元 256确定为评价值dfv较小(可靠性高)的初始候选矢量存储为最 佳候选矢量， 一起还存储该最佳候选矢量的评价值dfv。随后， 最佳候选项存储寄存器257在评价值比较单元256的控制下，将 最终存储的最佳候选矢量输出给迭代梯度法计算单元103，作为 初始矢量VO。接着，参考图24的流程图对于初始矢量选择处理进行详细说明。在步骤S251,候选矢量位置计算单元251从所选择的感兴 趣的块的周围区域获得预先设置的用于获得感兴趣的块的初始 候选矢量的候选块的位置、以及初始候选矢量的种类和优先顺 序，并且，在步骤S252,按照所获得的优先顺序判断候选块的 初始候选矢量的种类是否是过去矢量或当前矢量。如果在步骤 S252判断为候选块的初始候选矢量的种类是过去矢量或当前 矢量，则在步骤S253，候选矢量位置计算单元251将候选块的 位置信息和初始候选矢量的种类信息提供给检测到的矢量获取 单元252，使检测到的矢量获取单元252从检测到的矢量存储器53获取与候选块的位置信息和初始候选矢量的种类信息相对应 的运动矢量(过去矢量PV或当前矢量CV)，并且将所获得的运动 矢量输出给偏移位置计算单元254。如果在步骤S 2 5 2判断为候选块的初始候选矢量的种类不 是过去矢量或当前矢量，则在步骤S254，候选矢量位置计算单 元251判断候选块的初始候选矢量的种类是否是移位初始矢量。 如果在步骤S2 54判断为候选块的初始候选矢量的种类为移位 初始矢量，则在步骤S255，候选矢量位置计算单元251将候选 块的位置信息和初始候选矢量的种类信息提供给移位初始矢量 获取单元253，使移位初始矢量获取单元253从移位初始矢量存 储器107获取与候选块的位置信息相对应的移位初始矢量，并将 所获得的移位初始矢量输出给偏移位置计算单元254。如果在步骤S254判断为候选块的初始候选矢量的种类不 是移位初始矢量(即，如果判断为候选块的初始候选矢量的种类 为零矢量)，则在步骤S256,候选矢量位置计算单元251将零矢 量设置为初始候选矢量，并且将零矢量和候选块的位置信息提 供给偏移位置计算单元254。注意，同样在步骤S253和S255, 候选矢量位置计算单元251将候选块的位置信息提供给偏移位 置计算单元254。在步骤S257,在从检测到的矢量获取单元252或移位初始 矢量获取单元253输入初始候选矢量时，偏移位置计算单元254 基于从候选矢量位置计算单元251所提供的候选块的位置信息， 计算偏移目的地的块位置，其中，对于各初始候选矢量将帧t 的感兴趣的块偏移至帧+1。随后，偏移位置计算单元254将初 始候选矢量、候选块的位置信息和偏移目的地块位置的信息输 出给评价值计算单元61B。在从偏移位置计算单元254输入初始候选矢量、候选块的位置信息和偏移目的地块位置的信息时，在步骤S258，评价值 计算单元61B使用帧t和帧+l获得初始候选矢量的评价值dfv，并 且将初始候选矢量和所获得的评价值d fV输出给评价值比较单 元256。在步骤S259,评价值比较单元256判断由评价值计算单元 61B所获得的评价值dfV是否小于存储在最佳候选项存储寄存器 257中的最佳候选矢量的评价值dfv,并且，在由评价值计算单 元61B所获得的评价值dfv小于存储在最佳候选项存储寄存器 257中的最佳候选矢量的评价值dfv的情况下，即，初始候选矢 量在可靠性上高于最佳候选矢量，在步骤S260,评价值比较单 元256使用被判断为可靠性高的初始候选矢量和该初始候选矢 量的评价值dfv重写最佳候选项存储寄存器257的最佳候选矢量 和该最佳候选矢量的评价值dfV。另外，在由评价值计算单元61B所获得的评价值dfv不小于 存储在最佳候选项存储寄存器257中的最佳候选矢量的评价值 dfv的情况下，处理返回到步骤S252，并且重复此后的处理。在步骤S261,候选矢量位置计算单元251判断是否已完成 了对于所有初始候选矢量(例如，8个矢量)的该处理。如果在步 骤S261判断为没有完成对于所有初始候选矢量的该处理，则处 理返回到步骤S252，并重复此后的处理。如果在步骤S261判断为已完成了对于所有初始候选矢量 的该处理，则在步骤S262,评价值比较单元256对最佳候选项 存储寄存器257进行控制，以将所有初始候选矢量中基于评价值 d fv被判断为可靠性最高的最佳候选矢量输出给迭代梯度法计 算单元103。因此，结束初始矢量选择处理。如上所述，对于感兴趣的块，获得多个初始候选矢量的评 价值dfV,并且选择评价值dfv被判断为最小，即，可靠性被判断为最高的初始候选矢量作为初始矢量，从而可以提供最适合 随后阶段运动矢量的检测的初始矢量，因此，即使在由于光源 移动或阴影橫移等而导致运动对象的平均亮度水平发生极大变 化的情况下，也可以提高随后阶段的运动矢量的检测精度。此外，在连续帧之间，运动对象的运动量有一定程度的连续性，基于运动量小的变化，使用评价值dfv还获得移位初始矢 量，其中，该移位初始矢量是通过前一帧的感兴趣的块的运动 矢量，并且将该运动矢量设置为初始矢量的候选，从而与对于 周围块仅将过去所获得的运动矢量作为初始矢量的候选的传统 情况相比，可以进行高精度的运动4全测。这在运动对象的边界 处特别有效。接着详细说明迭代梯度法计算单元103和矢量评价单元 104的结构。图25是示出迭代梯度法计算单元103和矢量评价单元104 的结构的框图。图25示出其结构的迭代梯度法计算单元103和矢 量评价单元104进行用于使用时间点t的输入图像帧t和时间点 t+l的图像帧t+l检测最佳运动矢量的处理。该用于检测运动矢量的处理是针对由多个像素所组成的 每一预定块所执行的处理，并且迭代梯度法计算单元103和矢量 评价单元104针对每一块使用梯度法重复执行计算，从而基于评 价值dfv输出可靠性高的最佳运动矢量。也就是说，针对用作运 动矢量的检测对象的每一检测对象块获得运动矢量，但是，利 用作梯度法的计算的对象的计算块作为对象，执行获得检测对 象块时的梯度法的计算。迭代梯度法计算单元103由选择器401、存储器控制信号生 成单元402、存储器403、有效像素判断单元404、梯度法计算单 元405和延迟单元406构成。将来自初始矢量选择单元101的初始矢量VO输入给选择器 401。选择器401选择来自初始矢量选择单元101的初始矢量V0 作为运动矢量Vn-l(以下称之为偏移矢量)，其中，使用运动矢 量Vn-l作为梯度法的计算的初始值，并且将运动矢量Vn-l输出 给存储器控制信号生成单元402、梯度法计算单元405和矢量评 价单元104。另外，在从延迟单元406输入作为梯度法计算单元405所执 行的梯度法的计算结果的运动矢量V的情况下，选择器401选择 由梯度法计算单元405所计算的运动矢量V作为偏移矢量Vn-l， 并且将该运动矢量V输出给存储器控制信号生成单元402、梯度 法计算单元405和矢量评价单元104。从信号处理装置l的未示出的控制单元将用于控制处理的 开始定时的控制信号和位置信息输入给存储器控制信号生成单 元402。存储器控制信号生成单元402使存储器403读出构成来自 存储在存储器403中的时间点t的图像帧t和时间点t +1的图像帧 t+l的待处理的计算块的像素的像素值(亮度值)(以下称之为对 象像素值)，并将所读取的对象像素值提供给有效像素判断单元 404和梯度法计算单元405。通过预滤波器102-1和102-2将时间点t的图像帧t和时间点 t+l的图像帧t+l输入给存储器403，并将它们存储在存储器403中。 ，、、，.，、— 、。、 曰、、.素值计算例如帧t和帧t+l的计算块的像素的差，并基于所计算 的像素的差判断对于计算块，对于梯度法的计算有效的像素 的数量是否大于预定阚值，并将预该判断结果相对应的计数器 标志(counflg)提供给梯度法计算单元405和矢量评价单元104。另外，有效像素判断单元404获得关于判断为计算块中的有效像素的像素在水平和垂直各方向上的梯度状态(即，是否具 有梯度)，判断仅在水平方向或垂直方向上具有梯度的像素(以 下还称之为单侧梯度像素)的比例是否大，并且根据该判断结果的梯度标志(gladflg)提供给梯度法计算单元405和矢量评价单 元104。梯度法计算单元405基于从有效像素判断单元404所提供 的计数器标志和梯度标志的值，使用从存储器403所提供的对象 像素值执行梯度法的计算，使用来自选择器401的偏移矢量 Vn-l计算运动矢量Vn，并且将所计算的运动矢量Vn输出给矢量 评价单元104。注意，此时，对于梯度法计算单元405,将所使 用的梯度法的计算(表达式)切换成下面其中一个计算处理，并 执行该处理使用上述表达式(14)的最小平方和的梯度法计算 处理(以下还称之为积分梯度法计算处理)或后述的表达式(23)的简单梯度法计算处理(以下称之为独立梯度法计算处理)。从矢量评价单元104将作为梯度法计算单元405的计算结 果的、且由矢量评价单元104所评价的运动矢量V输入给延迟单 元406。延迟单元406保持从矢量评价单元104所输入的运动矢量 V,直到有效像素判断单元404和梯度法计算单元405的下一处 理循环为止，并且在下 一 处理循环将运动矢量V输出给选择器 401。矢量评价单元104由以上参考图14所述的评价值计算单元 61B和评价值判断单元412构成。通过预滤波器102-1和102-2将时间点t的图像帧t和时间点 t+l的图像帧t+l输入给评价值计算单元61B,并且从信号处理单 元l的未示出的控制单元输入用于对位置信息进行控制的控制 信号。评价值计算单元61B在评价值判断单元412的控制下，使用帧t、帧t+l和位置信息，获得梯度法计算单元405所计算的运动 矢量Vn的评价值dfv、来自选择器401的偏移矢量Vn-l和零矢 量。随后，评价值计算单元61B将各矢量和所获得的评价值dfv 输出给评价值判断单元412。评价值判断单元412基于从有效像素判断单元404所提供 的计数器标志和梯度标志对评价值计算单元61B所计算的评价 值进行比较，从而选择具有高可靠性的评价值dfv,并获得运动 矢量V。另外，评价值判断单元412基于从有效像素判断单元404所提供的计数器标志和梯度标志判断是否重复梯度法计算处理， 并且，如果判断为重复梯度法计算处理，则将所获得的运动矢 量V输出给延迟单元406。如果判断为不重复'梯度法计算处理， 则评价值判断单元412将所获得的运动矢量V存储在检测到的 矢量存储器53中。此时，评价值判断单元412将运动矢量V和对 于运动矢量V所获得的评价值dfv提供给移位初始矢量分配单 元105。图26是详细示出有效像素判断单元404的结构的框图。对 于图26的示例，有效像素判断单元404由4象素差计算单元421、 像素判断单元422、计数器423、梯度法连续判断单元424和计算 执行判断单元425构成。像素差计算单元431由第 一 空间梯度像素差计算单元 421-1、第二空间梯度像素差计算单元421-2和时间方向像素差 计算单元421-3构成。第一空间梯度像素差计算单元421-1使用从存储器403所提供的对象像素值中的帧t+l的计算块内的像素的像素值，计算帧 t+l的计算块内的像素在水平方向上的像素差Ax和在垂直方向 上的像素差Ay，并将计算出的帧t+l的计算块内的像素在水平方向上的像素差Ax和在垂直方向上的像素差Ay输出给像素判断 单元422。第二空间梯度像素差计算单元421-2使用从存储器403所提 供的对象像素值中的帧t的计算块内的像素的像素值，计算帧t 的计算块内的像素在水平方向上的像素差Ax和在垂直方向上的像素差Ay，并将计算出的帧t的计算块内的像素在水平方向上 的像素差Ax和在垂直方向上的像素差Ay输出给像素判断单元 422。时间方向像素差计算单元421-3使用从存储器403所提供的 对象像素值(即，帧t和帧t+l的计算块内的像素的像素值)，计算 帧t的计算块内的像素在时间方向上的像素差At,并将计算出的 帧t的计算块内的像素在时间方向上的像素差At输出给像素判 断单元422。像素判断单元422由有效像素判断单元431、水平梯度判断 单元432和垂直梯度判断单元433构成。计数器423由有效像素数 量计数器441、无水平梯度计数器442和无垂直梯度计数器443构成。有效像素判断单元431使用来自第一空间梯度像素差计算 单元421 -1的帧t+l的计算块内的像素在水平方向上的像素差Ax 和在垂直方向上的像素差Ay、来自第二空间梯度像素差计算单 元421-2的帧t的计算块内的像素在水平方向上的像素差Ax和在 垂直方向上的像素差Ay、以及来自时间方向像素差计算单元 421-3的帧t与帧t+l之间的计算块内的像素在时间方向上的像 素差At,进行预定的逻辑运算。有效像素判断单元431基于其预定的逻辑运算判断计算块 内的像素对于运动矢量的检测(即，随后阶段的梯度法计算单元 405的计算)是否有效，并且，如果判断为像素对于运动矢量的检测是有效的，则将有效像素数量计数器441的值(有效像素的 数量)增大l，并且对水平梯度判断单元432和垂直梯度判断单元 433进行控制，以获得关于被判断为对于运动矢量的检测有效的 有效像素在水平和垂直各方向上的梯度状态。水平梯度判断单元432在有效像素判断单元431的控制下， 获得有效像素在水平方向上的梯度状态，判断在有效像素的水 平方向上是否具有梯度，并且，如杲判断为在有效像素的水平 方向上没有梯度，则将无水平梯度计数器442的值(不具有水平 梯度的像素的数量)增大l。垂直梯度判断单元433在有效像素判断单元431的控制下， 获得有效像素在垂直方向上的梯度状态，判断在有效像素的垂 直方向上是否具有梯度，并且，如果判断为在有效像素的垂直 方向上没有梯度，则将无垂直梯度计数器442的值(不具有垂直 梯度的像素的数量)增大l。有效像素数量计数器441存储有效像素判断单元431针对 各计算块判断为对于运动矢量的检测有效的有效像素的数量。 无水平梯度计数器442存储无水平梯度计数器442针对各计算块 判断为在水平方向上不具有梯度的有效像素的数量。无水平梯 度计数器443存储无垂直梯度计数器443针对各计算块判断为在 垂直方向上不具有梯度的有效像素的数量。梯度法连续判断单元424参考有效像素数量计数器441判 断计算块内对于梯度法的计算有效的像素的数量是否大于预定阈值a。如果判断为计算块内对于梯度法的计算有效的像素的 数量大于预定阈值a，则梯度法连续判断单元424将用于执行梯 度法的计算的计数器标志(countflg = l)输出给计算执行判断单 元425、梯度法计算单元405和矢量评价单元104;如果判断为计 算块内对于梯度法的计算有效的像素的数量小于预定阈值a,则将用于取消梯度法的计算的计数器标志(countflg = O)输出给 计算执行判断单元425、梯度法计算单元405和矢量评价单元 104。计算执行判断单元425由计数器值计算单元451和标志设 置单元452构成。当来自梯度法连续判断单元424的计数器标志的值为l时， 计数器值计算单元451从计数器423(有效像素数量计数器441、 无水平梯度计数器442和无垂直梯度计数器443)获取有效像素 的数量、水平方向上不具有梯度的像素的数量和垂直方向上不 具有梯度的像素的数量，计算计算块内有效像素的数量与有效 像素中具有单侧梯度的像素(即，在水平和垂直其中 一个方向上具有梯度的像素)之间的比例，并且根据该计算结果对由标志设 置单元4 5 2所设置的梯度标志(g 1 a d fl g)的值进行控制。标志设置单元452在计数器值计算单元451的控制下设置 梯度标志的值，并将梯度标志输出给梯度法计算单元452和评价 值判断单元412。后面将参考图31对于梯度标志的值进行说明。图27是详细示出梯度法计算单元405的结构的框图。对于 图27的示例，梯度法计算单元405由像素差计算单元461、计算 判断单元462、积分梯度计算单元463-l、独立梯度计算单元 463-2和矢量计算单元464构成。像素差计算单元461由第 一 空间梯度像素差计算单元 461-1、第二空间梯度像素差计算单元461-2和时间方向像素差 计算单元461-3构成，并且在计算判断单元462的控制下，计算 待处理的像素之间的差。第 一 空间梯度像素差计算单元461-1具有与第 一 空间梯度 像素差计算单元421-1相同的结构，并且使用从存储器403所提 供的对象像素值中的帧t+l的计算块内的像素的像素值，计算帧65t+l的计算块内的《象素在水平方向上的〗象素差Ax和在垂直方向 上的像素差Ay，并将计算出的帧t+l的计算块内的像素在水平方 向上的像素差Ax和在垂直方向上的像素差Ay输出给计算判断 单元462。第二空间梯度像素差计算单元461-2具有与第二空间梯度 像素差计算单元421-2相同的结构，并且使用从存储器403所提 供的对象像素值中的帧t的计算块内的像素的像素值，计算帧t 的计算块内的像素在水平方向上的像素差Ax和在垂直方向上 的像素差Ay，并将计算出的帧t的计算块内的像素在水平方向上 的像素差Ax和在垂直方向上的像素差Ay输出给计算判断单元 462。时间方向像素差计算单元461-2具有与时间方向像素差计 算单元421-3相同的结构，使用从存储器403所提供的对象像素 值(即，帧t和帧t+l的计算块内的像素的像素值)，计算帧t的计 算块内的像素在时间方向上的像素差At,并将计算出的帧t的计 算块内的像素在时间方向上的像素差At输出给计算判断单元 462。计算判断单元462由有效像素判断单元471、水平梯度判断 单元472和垂直梯度判断单元473构成。有效像素判断单元471 基于从梯度法连续判断单元242所提供的计数器标志(countflg) 对于执行/禁止梯度计算单元4 0 5的执行进行控制。另外，有效像素判断单元471对于执行/禁止第一空间梯度 像素差计算单元461-1、第二空间梯度像素差计算单元461-2和 时间方向像素差计算单元461-3的像素差计算处理的执行进行 控制，并且基于从计算执行判断单元425所提供的梯度标志 (gladflg)的值，判断是在积分梯度计算单元463-l还是在独立梯 度计算单元463-2处进行梯度法计算处理。在基于梯度标志的值判断为在积分梯度计算羊元463-l处进行梯度法计算处理的情况下，有效像素判断单元471使用来自第一空间梯度像素差计算单元461-l的帧t+l的计算块内的像素 在水平方向上的像素差Ax和在垂直方向上的像素差Ay、来自第二空间梯度像素差计算单元4 61 - 2的帧t的计算块内的像素在水 平方向上的像素差Ax和在垂直方向上的像素差Ay、以及来自时 间方向像素差计算单元461-3的帧t与帧t+l之间的计算块内的 像素在时间方向上的像素差At，进行与有效像素判断单元431 相同的预定的逻辑运算，基于预定逻辑运算判断计算块内的像 素对于运动矢量的检测是否有效，并将被判断为对于运动矢量 的检测有效的有效像素的梯度(像素差)提供给积分梯度计算单 元463-l，并使积分梯度计算单元463-l执行积分梯度计算处理。 在基于梯度标志的值判断为在独立梯度计算单元463-2处 进行梯度法计算处理的情况下，有效像素判断单元471对水平梯 度判断单元472和垂直梯度判断单元473中的至少 一 个进行控 制，以获得关于基于预定逻辑运算被判断为对于运动矢量的检 测有效的计算块内的像素的有效像素在水平和垂直各方向上的 梯度状态。在有效像素判断单元471的控制下，水平梯度判断单元472 获得有效像素在水平方向上的梯度状态，判断有效像素是否具 有水平方向上的梯度，并且仅将有效像素中具有水平方向上的 梯度的像素的梯度(像素差)提供给独立梯度计算单元463-2，并 使独立梯度计算单元463-2对于水平方向执行独立梯度计算处 理。在有效像素判断单元471的控制下，垂直梯度判断单元473 获得有效像素在水平方向上的梯度状态，判断有效像素是否具 有垂直方向上的梯度，并且仅将有效像素中具有垂直方向上的梯度的像素的梯度(像素差)提供给独立梯度计算单元463-2，并 使独立梯度计算单元463-2对于垂直方向执行独立梯度计算处理。积分梯度计算单元463-l在有效像素判断单元471的控制 下，执行积分梯度计算处理。也就是说，积分梯度计算单元463-l 对有效像素判断单元471所提供的有效像素的梯度求积分(时间 方向上的像素差At、水平方向上的像素差Ax和垂直方向上的像 素差Ay),使用上述表达式(14)的最小平方和获得运动矢量vn， 并且将所获得的运动矢量vn输出给矢量计算单元464。独立梯度计算单元463-2在水平梯度判断单元472的控制 下，在水平方向上执行独立梯度计算处理。也就是说，独立梯 度计算单元463-2对水平梯度判断单元472所提供的有效像素中 具有水平方向上的梯度的像素的梯度求积分(时间方向上的像 素差At、水平方向上的像素差Ax和垂直方向上的像素差Ay)，使 用用作后述的简化表达式的表达式(23)代替表达式(14)，获得运 动矢量vn的水平方向分量，并将所获得的运动矢量vn的水平方 向分量输出给矢量计算单元464。另外，独立梯度计算单元463-2在垂直梯度判断单元473的 控制下在水平方向上执行独立梯度计算处理。也就是说，独立 梯度计算单元463-2对垂直梯度判断单元473所提供的有效像素 中具有垂直方向上的梯度的像素的像素值的梯度求积分(时间 方向上的像素差At、水平方向上的像素差Ax和垂直方向上的像 素差Ay),使用用作后述的简化表达式的表达式(23)代替表达式 (14)，获得运动矢量vn的垂直方向分量，并将所获得的运动矢 量vn的垂直方向分量输出给矢量计算单元464。矢量计算单元464将来自选择器401的偏移矢量Vn-l相加 给来自积分梯度计算单元463-l的运动矢量vn和来自独立梯度计算单元463-2的运动矢量vn,以计算运动矢量Vn,并且将计 算出的运动矢量Vn输出给矢量评价单元104。图28示出用作运动矢量检测对象的检测对象块的另 一 示 例和用作与该检测对象块相对应的梯度法计算对象的计算块的 另一示例。注意，对于图28的示例，示出了帧t，并且帧t上的 圏表示像素。在图28的示例的情况下，在帧t上示出了由4x4像素组成的 检测对象块K1 ~ K3和以各检测对象块K1 ~ K3为中心的每一由 8x8像素组成的计算块El ~ E3。注意，各计算块E1 E3均与相 邻计算块重叠组成各计算块的像素的一半。利用矢量检测单元52,从该帧上的左上^r测对象块开始， 按照光栅扫描顺序执行运动矢量的检测。因此，在帧t上，检测 对象块K1 、检测对象块K 2和检测对象块K 3按照此顺序成为运 动矢量检测对象块。与此相对应，梯度法的计算块为计算块E1、 计算块E2和计算块E3。也就是说，在图28的示例的检测对象块 和计算块的情况下，各计算块E1 ~ E3与相邻计算块重叠组成计 算块的像素的一般。注意，下面将使用如此构成的检测对象块和计算块对于图 25中的迭代梯度法计算单元103和矢量评价单元104的处理进行 说明，本发明不局限于如此构成的检测对象块和计算块，因此， 检测对象块不局限于四个像素，并且，例如可以由一个像素构 成、或者可以由其它多个数量的像素构成。另外，对于图28的 示例，在检测对象块和计算块之间像素的数量不同，但是，检 测对象块和计算块可以由相同数量的像素构成。也就是说，可 以配置计算块以在无需任何变化的情况下用作检测对象块。接着参考图2 9说明有效像素判断单元404的有效像素判断 方法。在图29所示的示例中，箭头T表示从该附图中左前的时间点t的帧t到右后的时间点t+l的帧t+l的时间演变方向。在帧t中，示出了将检测运动矢量的、由4x4像素组成的检 测块kt(该附图中的实点)和以检测块Kt为中心(围绕检测块)由 8x8像素组成的计算块Et。另一方面，在帧t+l上，示出了与枱r 测块Kt相对应的由4x4像素组成的检测块Kt+l(该附图中的实点) 和与计算块Et相对应的由8x8像素组成的计算块Et+l。注意，帧 t+l中所示的虛线的块表示与检测块Kt相同相位的块，并且，帧 t+l上的被从该虛线块移位(移动)等于已被设置了运动矢量 V(Vx， Vy)的初始矢量的位置处的计算块Et- l是梯度法计算的对象。这里，以帧t的计算块Et中的像素pl与帧t+l的计算块Et+l 中相同位置处的^f象素p2之间的时间方向像素差(帧差)作为At， 并以此时的图^象框作为w，可以通过表达式(16) 表达式(18)获 得计算块Et的像素pl的水平像素差Axl、垂直方向像素差Ayl和 时间方向像素差At。[数学表达式16]△xl = Yt (k+l) - Yt (k) …(16)[数学表达式n]△yl = Yt (k+w) - Yt (k) …(17) [数学表达式18] △t = Yt+l(k)-Yt(k) ...(18)注意，Yt+1表示时间点t+l的像素值，Yt表示时间点t的像 素值，而K+1和K表示地址(位置)。另外，可以以相同方式获得 与像素pl相对应的计算块Et+l的像素p2的水平像素差Ax2和垂 直方向像素差Ay2。有效像素判断单元404使用这些值进行逻辑运算，并且基 于逻辑运算的结果进行有效像素判断。也就是说，有效像素判断单元404的有效像素判断单元431通过获得是否满足以下三个 条件表达式(19)~ (21)的其中一个(也就是说，满足表达式(22))， 判断计算块Et中的像素对于运动矢量检测是否是有效像素。 [数学表达式19] Axl # 0 && Ax2 # 0 &&|Axl| > thl |Ayl| && |At/Axl-At/Ax2| < th2…(19) [数学表达式20] △yl # 0 && Ay2 - 0 &&|Ayl| >thl |Axl| && |At/Ayl-At/Ay2| < th2…(20) [数学表达式21]△xl # 0 && Ax2 * 0 && Ayl # 0 && Ay2 # 0 && |At/Axl-At/Ax2| < th2 && 1At/Ayl-At/Ay2i < th2 …(21) 表达式(19)||表达式(20)||表达式(21)...(22) 这里，H表示逻辑和，&&表示逻辑积，'表示乘法，而thl 和th2均表示预定阈值。注意，thl为例如l、 1.5或2,而th2为例 如4。因此，在表达式(19)中，Axl * 0 && Ax2 * O是指像素pl和 像素p2的水平梯度不是平坦的(在水平方向上具有梯度)。|Axl| >thl IAyll是指水平梯度大于垂直梯度一定程度，因此更占优 势。|At/Axl-At/Ax2| < th2意为根据梯度法的水平方向上的运 动(标准化时)小于预定阈值th2,即，水平方向上的运动具有相 似性。因此，表达式(19)表示注重水平方向的条件，并且确定 满足所有这些条件的像素在水平方向的运动中具有相似性，并且判断为该像素在下游所进行的梯度法中是有效的。另外，在表达式(20)中，Ayl # 0 && Ay2 * O意为垂直梯 度不是平坦的(在垂直方向上具有梯度)。|Ayl| 〉 thl IAxll意为垂直梯度大于水平梯度一定程度，因此更占优势。 I At/Ay 1 - At/Ay21 < th2意为在垂直方向的运动中具有相似性(标 准化时)。因此，表达式(20)表示注重垂直方向的条件，并确定 满足所有这些条件的像素在垂直方向的运动中具有相似性，并 且确定该 -像素在下游所进行的梯度法中是有效的。以相同方式，在表达式(21)中，Axl * 0 && Ax2 - 0 && Ayl # 0 && Ay2 * O意为垂直和水平梯度不是平坦的(在垂直和水 平方向上具有梯度)。|At/Axl-At/Ax2| <th2 && |At/Ayl-At/Ay2| < th2意为根据梯度法的垂直方向和水平方向上的运动(标准化 时)具有相似性。因此，表达式(21)表示不满足表达式(19)或表 达式(20)的像素的、注重和垂直两个方向(以下还称之为倾斜方 向或水平和垂直方向)的条件(以下称为水平/垂直注重条件)，并 且确定满足所有这些条件的像素在水平和垂直方向的运动中具 有相似性，并且确定该像素在下游进行的梯度法中是有效的。注意，只要使用像素差，用于判断有效像素的逻辑运算不 局限于图29所示的示例。另外，判断有效像素不局限于基于上 述像素差的判断；例如，在对于帧t的计算块Et中的像素pl与帧 t+l的计算块Et+l中的相同位置处的像素p2之间的时间方向上 的像素差(帧差)A t是否小于预定值进行判断的情况下，并且判 断为该像素差较小，则可以判断像素是有效的。图30示出计算块中的像素结构示例。在图30所示的示例 中，在以4x4像素构成的检测块K为中心、由8x8像素(64个像素) 构成的计算块E中，示出了满足上述表达式(22)且被判断为有效 像素的像素(该附图中的白色圏)和不满足上述表达式(22)且未 被作为梯度法计算的对象的像素(该附图中的实点)。因此，有效像素判断单元404使用表达式(22)判断计算块Et 中的各像素在水平方向、垂直方向或倾斜方向中的任一方向上的运动中是否具有相似性。然后，有效〗象素判断单元404判断在 水平方向、垂直方向或倾斜方向中的任一方向上的运动具有相似性的像素，即，被判断为有效像素的像素的数量是否为50% (总共64个像素中多于32个像素)，并且，例如，如果被判断为 有效像素的像素为50%或少于50% ,则判断为该计算块处的计 算不稳定，并且进行用以退出计算的处理。注意，将有效像素 数量计数器的阈值定为50% ,但是，当然可以其它值。因此，可以防止混入具有微小相似性并具有不同运动的像 素，因此可以进行稳定的梯度法计算。因而，提高了通过梯度 法计算所获得的运动矢量的相似性，并且提高了运动矢量检测 的精度。另 一方面，在被判断为有效像素的像素大于50%的情况 下，梯度法计算单元405还使用表达式(22)判断计算块Et中的各 像素在水平方向、垂直方向或倾斜方向中的任一方向上的运动中是否具有相似性，并且从梯度法计算的对象中清除被判断为 在水平方向、垂直方向或倾斜方向中的任一方向上的运动中不具有相似性的像素，从而仅使用计算块E中被判断为有效像素 的像素(34个像素)进行梯度法计算。《叉利用在水平方向、垂直方向或倾4+方向中的4壬一方向上 的运动中具有相似性的像素执行梯度法计算，因此可以防止混 入不同运动，可以进行稳定的梯度法计算，因而可以检测到可 能的运动矢量。注意，在上述有效像素判断方法中，在不区分存在水平方存在水平方向或垂直方向梯度的区域(以下称之为单侧梯度区 域)的情况下，进行梯度法计算。因此，在实际应用中可能存在 以下情况尤其单侧梯度区域中降。接着参考图31说明单侧梯度区域。在图31所示的示例中， 箭头T表示从该附图左前的时间点t的帧t到右后的时间点t+l的 帧t+l的时间演变方向。帧t和帧t+l上的线L表示由具有亮度值e的像素所组成的区 域(白色区域)与由具有不同于亮度值e的亮度值f的像素组成的 区域(阴影线区域)之间的边界。在帧t的线L上示出作为运动矢量检测的对象的、由4x4像素 构成的计算块Et。注意，从图31所示的示例省略了用于检测的 块。另一方面，在帧t+l中示出与计算块Et相对应的、由4x4像 素构成的计算块Et+l。另外，帧t+l中的实线块表示与计算块Et 相同相位的块，通过重复梯度法计算从虛线块检测到运动矢量 V(Vx， Vy)，并最终使用计算块Et+l作为梯度法计算的对象。在该帧t中，如右边的被放大的所示，计算块Et的左边两列 像素(像素p00、像素p10、像素p20和像素p30、以及像素p01、 像素pll、像素p21和像素p31)都是相同亮度值e，而计算块Et 右边两列的像素(像素p02、像素pl2、像素p22和像素p32、以及 像素p03、像素pl3、像素p23和像素p33)都是相同亮度值f。也就是说，在计算块Et中，在同一区域内的像素之间没有 梯度，如像素pOl与像素pOO之间以及像素p01与像素pll之间、 或者像素p02与像素p03之间、或像素p02与像素pl2之间，但是 在像素p01与像素p02之间、在像素pll与像素pl2之间、在像素 p21与像素p22之间、以及在像素p31与像素p32之间具有梯度。也就是说，这里仅是帧t的计算块Et内的水平方向梯度，而 没有垂直方向梯度，因此，根据梯度法原理，对于帧t+l中的运 动矢量V可以检测到水平方向运动，但是不能检测到垂直方向 运动。这里，对于如此构成的单侧梯度区域计算块Et，在仅应用上述有效 <象素判断方法的情况下，由于满足上述的注重水平方向的表达式(19),因而将边界部分的像素(像素p01、像素pll、 像素p21、 4象素p31、 4象素p02、 4象素pl2、寸象素p22和亏象素p32) 判断为有效像素。然而，如果实际使用表达式(14)在包括大量仅在水平方向 上具有梯度的像素的计算块中进行梯度法计算，则这可能导致 4全观'j到不应该^皮检测到的垂直方向运动矢量(即，4普i吴运动矢量)。也就是说，即使存在以下可能性使用帧t+l中的线L上的 计算块Et+l上面或下面的块作为计算的对象所检测到的运动矢 量是最适合的运动矢量，但是，通过重复从虛线块重复梯度法 计算、并最终使用计算块Et+l作为帧t+l中的梯度法计算的对 象，可能评价和检测到运动矢量V(Vx, Vy)作为最适合的运动 矢量。因此，在有效像素判断处理之后，有效像素判断单元404还基于各像素的水平和垂直方向的梯度状态进行梯度法执行判 断，并且基于该判断结果使梯度法计算单元405切换成使用表达 式(14)的积分梯度法计算或使用作表达式(14)的简化的下面的 表达式(23)的独立梯度法计算的其中一个，以检测运动矢量。 [数学表达式22]Zsign(Ax) Atvx=—vy=Zsign(Ay) MZlAyl …(23)如下进行使用表达式(23)的独立梯度法计算在获得运动75矢量的水平方向分量的情况下，不使用待计算的像素的垂直梯度；而在获得该运动矢量的垂直方向分量的情况下，不使用待 计算的像素的水平梯度。也就是说，可以使用各方向分量的梯 度检测运动，因此，可以在仅具有水平梯度或垂直梯度的单侧 梯度区域中获得可能的运动矢量，从而可以提高运动矢量的检测精度。另外，与利用表达式(14)的积分梯度法计算的计算负荷相 比，该独立梯度法计算的计算负荷较小，因而更易于硬件实现。 接着说明在有效像素判断之后进行的梯度法执行判断。 有效像素判断单元404使得通过上述有效像素判断处理被 判断为有效像素的、计算块中的像素进一步经过以下判断是 否具有水平方向梯度和是否具有垂直方向梯度，获得通过有效像素判断处理所获得的有效像素的数量(c n t—t)、无水平方向的 梯度的像素的数量(ngcnt—x)和无垂直方向的梯度的像素的数量 (ngcnt—y),并使用这些值利用下面的表达式(24) ~表达式(26) 进行梯度法执行判断处理。 [数学表达式23]cnt—t - ngcnt_x - ngcnt—y 2 pxl—a，th3 …(24) [数学表达式24]cnt_t - ngcnt—x 2 pxl—a'th3…(25) [数学表达式25]cnt—t - ngcnt—y 2 pxl—a'th3…(26)这里，pxl一a表示计算块中的像素的全部数量，.表示乘法， 而th3表示小于l的预定阈值。首先，如果判断为满足表达式(24),则可以认为状态如下 适当存在具有水平方向和垂直方向梯度(具有正常梯度)的有效 像素。因此，有效像素判断单元404设置梯度标志(gladflg二4),并4吏梯度法计算单元405执^M吏用表达式(14)的积分冲弟度法计算。相应地，在梯度标志(gladflg-4)的情况下，梯度法计算单 元405以有效像素作为梯度法计算的对象，执行使用表达式(14) 的积分梯度法计算。注意，在梯度标志(gladflg-4)的情况下，矢量评价单元104 将作为积分梯度法计算的结果所获得的运动矢量的评价值dfv 与偏移矢量的评价值d fv进行比较，将两者中被判断为具有较小 评价值dfv的评价作为具有较高可靠性的运动矢量，并且根据该 评价结果校正(改变)运动矢量。另外，仅在作为积分梯度法计 算的结果所获得的运动矢量的可靠性高，并且还判断为迭代的 次数没有达到最大次数的情况下，矢量评价单元10 4才判断为重复迭代梯度法计算处理。在判断为不满足表达式(24),而满足表达式(25)和表达式 (26)的情况下，可以认为存在相当数量的在水平方向或垂直 方向上不具有梯度的有效像素。因此，有效像素判断单元404 设置梯度标志(gladflg = 0)，使梯度法计算单元405对于水平和 垂直各方向执行使用表达式(23)的独立梯度法计算，并且得到 该计算结果。这里所进行的各方向分量的梯度法计算仅使用在 相应方向上具有梯度的有效像素。相应地，在梯度标志(gladflg =0)的情况下，梯度法计算单 元4 0 5以具有水平梯度的有效像素作为梯度法计算的对象，执行 使用表达式(23)的水平方向独立梯度法计算，并且还以具有垂 直梯度的有效像素作为梯度法计算的对象，执行使用表达式(23)的垂直方向独立梯度法计算。在不满足表达式(24)、而仅满足表达式(25)的情况下，可以 认为存在相当数量的在垂直方向上不具有梯度的有效像素。因此，有效《象素判断单元404设置梯度标志(gladflg = 1),不使 梯度法计算单元405执行关于垂直方向运动的计算，而是将此作 为无运动(零矢量)，并使梯度法计算单元405仅对水平方向执行 使用表达式(23)的独立梯度法计算。这里所进行的梯度法计算 仅使用在水平方向上具有梯度的有效像素。相应地，在梯度标志(gladflg = l)的情况下，梯度法计算单 元405以具有水平梯度的有效像素作为梯度法计算的对象，执行 使用表达式(23)的水平方向独立梯度法计算。在不满足表达式(24)、而仅满足表达式(26)的情况下，可以 认为存在相当数量的在水平方向上不具有梯度的有效像素。 因此，有效像素判断单元404设置梯度标志(gladflg = 2)，不使 梯度法计算单元405执行关于水平方向运动的计算，而是将此作 为无运动(零矢量)，并使梯度法计算单元405仅对垂直方向执行 使用表达式(23)的独立梯度法计算。这里所进行的梯度法计算 仅使用在垂直方向上具有梯度的有效像素。相应地，在梯度标志(gladflg-2)的情况下，梯度法计算单 元405以具有垂直梯度的有效像素作为梯度法计算的对象，执行 使用表达式(23)的垂直方向独立梯度法计算。注意，在梯度标志(gladflg-0、 l或2)的情况下，矢量评价 单元104将作为独立梯度法计算的结果所获得的运动矢量的评 价值dfv与零矢量的dfv进行比较，将两者中被判断为具有较小 评价值dfv的评价作为具有较高可靠性的运动矢量，并且根据该 评价结果校正(改变)运动矢量。此外，在这种情况下，矢量评 价单元104不重复迭代梯度法计算处理。如果判断为不满足表达式(24) 表达式(26)，则可以认为 计算块内存在较少被判断为有效的像素，并且难以进行梯度法 计算。因此，有效像素判断单元404设置梯度标志(gladflg二3),并且不^f吏梯度法计算单元405进行计算，而是将此设置为无运动 (零矢量)。相反，在梯度标志(gladflg-O)的情况下，梯度法计算羊元 405不执行梯度法计算，并且矢量评价单元104不对评价值dfv 进行比较，而且不重复迭代梯度法计算处理。如上所述，^f吏用表达式(24) ~表达式(26)进行梯度法执行判 断处理，并且根据该判断结果切换梯度法计算，因此，即使对 于单侧梯度区域也可以4全测到可能的运动矢量，并且可以提高 运动矢量的检测精度。另外，对于独立梯度法计算，将仅使用 在相应方向上具有梯度的有效像素获得方向分量的运动矢量和 不具有梯度的像素的方向分量的运动矢量作为零矢量，从而可 以获得可能的运动矢量。此外，根据梯度法执行判断处理的结果，不仅进行对于梯 度法计算的控制，而且还进行对于以下的控制矢量评价和改 变与该评价相对应的运动矢量、以及梯度法计算的迭代判断， 并且能够进一步提高矢量检测精度。接着参考图3 2所示的流程图说明迭代梯度法计算处理的 示例。在前一阶段将初始矢量V0输入给选择器401。在步骤S301,选择器401选择偏移矢量Vn-l，并将所选择 的偏移矢量Vn-l输出给存储器控制信号生成单元402、梯度法 计算单元405和评价值计算单元61B。在从初始矢量选4奪单元101输入初始矢量VO的情况下，选 择器401选择所输入的初始矢量VO作为所选择的偏移矢量 Vn-l,而在从延迟单元406输入作为梯度法计算单元405的计算 结果所获得的、且由评价判断单元412所评价的运动矢量V的情 况下，选择器401选择运动矢量V作为偏移矢量Vn-l。存储器控制信号生成单元402接收来自信号处理装置l的未示出的控制单元的、用于控制处理开始定时和位置信息的控
制信号的输入，并从选择器401接收偏移矢量。在步骤S302, 存储器控制信号生成单元402根据该控制信号和来自选择器401 的偏移矢量Vn-l ，从存储在存储器403中的时间点t的图像帧t和 时间点t +1的图像帧t +1读出待处理的计算块中的像素的值，并 将该已读出的、待处理的像素的值提供给有效像素判断单元404 和梯度法计算单元405。
在接收从存储器403所提供的待处理的像素的输入时，有 效像素判断单元404在步骤S303执行有效像素判断处理。后面 将参考图33详细说明有效像素判断处理。
使用在步骤S303的有效像素判断处理中从存储器403所提 供的、待处理像素的值，计算帧t和帧t+l中的计算块的像素差， 从而利用有效像素数量计数器441计数对于梯度法计算有效的 计算块中的有效像素的数量。另外，对于被判断为计算块中的 有效像素的有效像素，获得在水平方向和垂直方向上的梯度状 态，并且，分别在无水平梯度计数器442和无垂直梯度计数器443 中计数不具有水平梯度的像素的数量和不具有垂直梯度的像素 的数量。
在步骤S304,梯度法连续判断单元242判断存储在有效像 素数量计数器441中的值(有效像素的数量)是否大于预定阈值 a。如果在步骤S304判断为有效像素的数量大于预定阈值a,则 梯度法连续判断单元424将用于进行梯度法计算的计数器标志 (countflg = 1)输出给计算执行判断单元425、梯度法计算单元 405和矢量评价单元104,并且处理进入步骤S305。
在从梯度法连续判断单元424输入计数器标志(countflg = 1) 时，计算执行判断单元425在步骤S305中执行梯度法执行判断 处理。后面将参考图3 5详细说明梯度法执行判断处理。
80对于步骤S305的梯度法执行判断处理，参考有效像素数量 计数器441的有效像素的数量、无水平梯度计数器442的不具有 水平梯度的像素的数量、以及无垂直梯度计数器443的不具有垂 直梯度的像素的数量，对于具有单侧梯度的有效像素的数量是 否是大的进行判断，并且根据该判断结果，设置用于将梯度法 计算单元405所进行的梯度法计算处理切换成积分梯度法计算 处理和独立梯度法计算处理的其中 一个的梯度标志(gladflg)， 将所设置的梯度标志输出给梯度法计算单元405和评价判断单 元412，并且处理进入步骤S306。
另 一方面，在从梯度法连续判断单元424输入计数器标志 (countflg = 1)，并且从计算执行判断单元425输入梯度标志时， 梯度法计算单元405在步骤S306中执行梯度法计算处理。后面 将参考图36详细说明梯度法计算。
对于在步骤S306中所进行的梯度法计算处理，根据来自计 算执行判断单元42 5的梯度标志，执行以下处理中的至少 一 个处 理使用有效像素的积分梯度法计算处理、以及使用在水平方 向上具有梯度的有效像素的水平方向上的独立梯度法计算处理 或使用在垂直方向上具有梯度的有效像素的垂直方向上的独立 梯度法计算处理；获得运动矢量Vn,并将所获得的Vn输出给矢 量评价单元104，并且处理进入步骤S307。
在步骤S307，矢量评价单元104执行矢量评价处理。后面 将参考图39详细说明矢量评价处理。
对于步骤S307中的矢量评价处理，根据梯度标志从梯度计 算单元405获得运动矢量Vn、偏移矢量Vn-l和零矢量评价值 dfv，根据梯度标志通过计算执行判断单元426对运动矢量Vn与 偏移矢量Vn-1或零矢量的评价值dfv进行比较，并且根据该比较 结果获得运动矢量V。例如，在比较运动矢量Vn和偏移矢量Vn-l的评i"介^直dfv,并且i人为运动矢量Vn的评^N直的可靠性更高的 情况下，将运动矢量Vn作为运动矢量V，并且将梯度法计算的 迭代次数增大l。
在步骤S308,矢量评价单元104基于来自计算执行判断单 元425的梯度标志和梯度法计算的迭代次数，判断是否迭代梯度 法计算。
也就是说，在梯度标志为用于执行积分梯度法计算处理的 标志(即，梯度标志(countflg-4))，并且梯度法计算的迭代次数 没有达到所设置的最大迭代次数(例如，两次)的情况下，在步 骤S308,矢量评价单元104判断为进行梯度法计算的迭代，并 将所获得的运动矢量V输出给延迟单元406。
延迟单元406保持从矢量评价单元104所输入的运动矢量， 直到有效像素判断单元404和梯度法计算单元405的下一处理循 环为止，并且，在下一处理循环，将运动矢量V输出给选择器 401。因此，流程返回到步骤S301，并且重复随后的处理。
另外，在梯度标志为用于执行积分梯度法计算处理的标志 以外的标志、或者梯度法计算的迭代次数已达到所设置的最大 迭代次数(例如，两次)的情况下，在步骤S308，矢量评价单元 104确定不进行梯度法计算的迭代，即，确定结束梯度法计算。 在步骤S310，矢量评价单元104将所获得的运动矢量V存储在与 用于检测的块相对应的检测到的矢量存储器53中，并且结束迭 代梯度法计算处理。注意，此时，将运动矢量V和运动矢量V 的评价值dfv同样也输出给移位初始矢量分配单元105。
另 一方面，如果在步骤S304判断为有效像素的数量小于预 定阈值a，则梯度法连续判断单元424向计算执行判断单元425、 梯度法计算单元405和评价判断单元412输出用于退出梯度法计 算的计数器标志(countflg = 0),并且处理进入步骤S309。在来自梯度法连续判断单元424的计数器标志的值为0的 情况下，计算执行判断单元425和梯度法计算单元405不执行梯 度法计算，评价值判断单元412在步骤S309中将零矢量设置为 运动矢量V,并且在步骤S310中，将运动矢量V存储在与用于检 测的块相对应的检测到的矢量存储器53中。注意，此时，同样 将作为零矢量的运动矢量V和运动矢量V的评价值dfv输出给移 位初始矢量分配单元105。
因此，结束迭代梯度法计算处理，利用在下游的矢量分配 单元54所使用的、存储在检测到的矢量存储器53中的运动矢量 V, -使用运动矢量V和运动矢量V的评价值dfv，通过移位初始矢 量分配单元105执4于移位初始矢量分配处理。
因此，进行配置，以便不仅进行有效像素判断，而且还判 断在有效像素中是否存在各方向上的梯度，以根据有效像素中 单侧梯度的像素的比例切换梯度法计算方法，并将所述有效像 素作为矢量评价的对象，并进行梯度法迭代的判断等，从而不 仅可以利用正常梯度区域，而且还可以利用单侧梯度区域检测 到可能的运动矢量，还可以减轻过大的计算负荷。
另外，做出该配置，从而使得在矢量评价单元104，获得 运动矢量Vn、偏移矢量Vn-l和零矢量的评价值dfv,并且根据 有效像素中具有单侧梯度的像素的比例，选择具有最小评价值 dfv的运动矢量，即具有最高可靠性的运动矢量，因此，即使在 由于光源移动或阴影横移等而导致对象的平均亮度水平发生极 大变化的情况下，在后一矢量分配中也可以分配最适合的运动 矢量，因而还可以提高后一矢量分配的精度。
接着参考图33的流程图说明图32的步骤S303中的有效像 素判断处理。
在输入从存储器403所提供的计算块的对象像素值时，有效像素判断单元404的像素差计算单元421对像素判断单元422 的各单元(有效像素判断单元431、水平梯度判断单元432和垂直 梯度判断单元433)进行控制，并复位各种计数器(有效像素数量 计数器441、无水平梯度计数器442和无垂直梯度计数器443)的值。
像素差计算单元421的各单元(第一空间梯度像素差计算单 元421-1、第二空间梯度像素差计算单元421-2和时间方向像素 差计算单元421-3)在步骤S322从计算块中选择一个像素，并且 在步骤S323中执行有效像素计算处理。后面将参考图34的流程 图说明有效像素计算处理。
时间方向像素差计算单元421-3计算计算块内所选择的像 素在帧t+l与帧t之间的时间方向上的l象素差At，并在步骤S351, 将计算出的帧t+l与帧t之间时间方向上的像素差At输出给像素 判断单元422。
第一空间梯度像素差计算单元421-1计算计算块内所选择 的像素在帧t +1上的水平方向上的像素差A x和垂直方向上的像 素差Ay,并且在步骤S352,将计算出的在帧t+l上的水平方向上 的像素差Ax和垂直方向上的像素差Ay输出给像素判断单元
422。
第二空间梯度像素差计算单元421-2计算计算块内所选择 的像素在帧t上的水平方向上的像素差Ax和垂直方向上的像素 差Ay，并且在步骤S353，将计算出的在帧t上的水平方向上的像 素差Ax和垂直方向上的像素差Ay输出给像素判断单元422。
在步骤S354，像素判断单元422的有效像素判断单元431使 用来从第 一空间梯度像素差计算单元421-1所选择的像素在帧 t+l上的水平方向上的像素差Ax和垂直方向上的像素差Ay 、从 第二空间梯度像素差计算单元421-2所选择的像素在帧t上的水平方向上的像素差Ax和垂直方向上的像素差Ay、以及从时间方 向像素差计算单元421 -3所选择的像素在帧t+1与帧t之间在时 间方向上的像素差At，以进行作为注重水平方向的条件的表达 式(19)、作为注重垂直方向的条件的表达式(20)和作为注重水平 和垂直方向的条件的表达式(21)的逻辑计算。在此之后，流程 返回到图33的步骤S323，并且进入步骤S324。在步骤S324,有效像素判断单元431基于上述三个表达式 的逻辑和(即，获得表达式(22),以及表达式(22)是否为真)判断 所选择的像素是否是有效像素。因此，在满足上述表达式(19) 表达式(21)其中 一个的情况下，有效像素判断单元431在步骤 S324判断为所选择的像素是有效像素，并且在步骤S325将有效 像素数量计数器441中的有效像素的数量增加l。在有效像素判断单元431的控制下，水平梯度判断单元432 获得被有效像素判断单元431判断为有效像素的像素在水平方 向上的梯度状态，并且在步骤S326中判断该有效像素在水平方 向是否具有梯度，并且，如果判断为该像素在水平方向上不具 有梯度，则在步骤S327中将无水平梯度计数器442中的不具有 水平梯度的像素的数量增加l。如果在步骤S326判断为该有效 像素在水平方向上具有梯度，则处理跳过步骤S327，并进入步 骤S328。在有效像素判断单元431的控制下，垂直梯度判断单元433 获得被有效像素判断单元431判断为有效像素的像素在垂直方 向上的梯度状态，并且在步骤S328中判断该有效像素在垂直方 向上是否具有梯度，并且，如果判断为该有效像素在垂直方向 上不具有梯度，则在步骤S329中将无垂直梯度计数器443中的 不具有垂直梯度的像素的数量增加l。如果在步骤S328中判断 为该有效像素在垂直方向上具有梯度，则处理跳过步骤S329,并进入步骤S330。在步骤S330,像素差计算单元421判断是否结束对于计算 块内的所有像素的该处理。如果在步骤S330判断为结束对于计 算块内的所有^f象素的该处理，则结束有效像素判断处理，并且 流程返回到图32中的步骤S303，并进入步骤S304。如果在步骤S324判断为不满足上述任何一个表达式 (19)~表达式(21)，并且所选择的像素不是有效像素，或者如果 在步骤S330中判断为没有结束对于计算块内的所有像素的该 处理，则流程返回到步骤S322,并且重复此后的处理。如此，将计算块内被判断为有效的有效像素的数量存储在 有效像素数量计数器441中，将有效像素内被判断为不具有水平 梯度的像素的数量存储在无水平梯度计数器442中，并将有效像 素内被判断为不具有垂直梯度的像素的数量存储在无垂直梯度 计数器443中。接着，参考图35的流程图详细说明图32的步骤S305中的梯 度法执行判断处理。图3 5中的梯度法执行判断处理是计算执行 判断单元425基于以上参考图34所述的存储像素的数量的各计 数器所执行的处理。计算执行判断单元425的计数器值计算单元451从有效像 素数量计数器441获得有效像素的数量(cnt—1)，从无水平梯度计 数器442获得在水平方向上不具有梯度的像素的数量(ngcnt—x)， 并从无垂直梯度计数器443获得在垂直方向上不具有梯度的像 素的数量(ngcnt—y),并且在步骤S381判断是否满足表达式(24)。如果在步骤S381判断为满足表达式(24),可以认为在有效 像素中存在足够的在水平方向和垂直方向上具有梯度的像素。 因此，在步骤S382，标志设置单元452将梯度标志的值设置为 进行使用表达式(14)的积分梯度法计算处理的"4",并且将该梯86度标志(gladflg = 4)输出给梯度法计算单元405和评价判断单元 412，并结束梯度法执行判断处理。然后流程返回到图32中的步 骤S305,并且进入步骤S306,从而执行根据梯度标志(gladflg = 4)的梯度法计算处理。如果在步骤S381判断为不满足表达式(24),则计数器值计 算单元451在步骤S383中判断是否满足表达式(25)和表达式 (26)。如果在步骤S383判断为满足表达式(25)和表达式(26)，则 认为在有效像素中包括相当数量的在水平或垂直其中一个方向 上不具有梯度的像素。因此，在步骤S384，标志设置单元452 将梯度标志值设置成对于水平和垂直各方向进行使用表达式 (23)的独立梯度法计算处理的"0",并将该梯度标志(gladflg二 0) 输出给梯度法计算单元405和评价判断单元412，并结束梯度法 执行判断处理。然后流程返回到图32中的步骤S305，并进入步 骤S306,从而执行根据梯度标志(gladflg = O)的梯度法计算处 理。如果在步骤S383判断为不满足表达式(25)和表达式(26),则 计数器值计算单元451在步骤S385中判断是否满足表达式(25)。 如果在步骤S385中判断为满足表达式(25)，则认为在有效像素 中存在大量在垂直方向上不具有梯度的像素。因此，在步骤 S386,标志设置单元452将梯度标志值设置成对于水平方向进 行使用表达式(23)的独立梯度法计算处理的"1"，并将该梯度标 志(gladflg = 1)输出给梯度法计算单元405和评价判断单元412, 并结束梯度法执行判断处理。然后流程返回到图3 2中的步骤 S305，并进入步骤S306，从而执行根据梯度标志(gladflg = 1)的梯度法计算处理。如果在步骤S385判断为不满足表达式(25),则计数器值计 算单元451在步骤S387判断是否满足表达式(26)。如果在步骤S387判断为满足表达式(26),则认为在有效像素中存在大量在 水平方向上不具有梯度的像素。因此，在步骤S388，标志设置 单元452将梯度标志值设置成对于垂直方向进行使用表达式(23) 的独立梯度法计算处理的"2",并将该梯度标志(gladflg = 2)输 出给梯度法计算单元405和评价判断单元412,并结束梯度法执 行判断处理。然后流程返回到图32的步骤S305，并进入步骤 S306,从而执行根据梯度标志(gladflg = 2)的梯度法计算处理。如果在步骤S387判断为不满足表达式(26),则认为存在较 少被判断为有效的像素。因此，在步骤S389,标志设置单元452 将梯度标志值设置成禁止梯度法计算处理的"3",并且将该梯度 标志(gladflg =3)输出给梯度法计算单元405和评价判断单元 412,并结束梯度法执行判断处理。然后流程返回到图32的步骤 S305,并进入步骤S306,从而执行根据梯度标志(gladflg^3)的 梯度法计算处理。如此，将根据计算块的梯度状态(即，有效像素的数量、有 效像素中不具有水平梯度的像素的数量、有效像素中不具有垂 直梯度的像素的数量)的梯度标志输出给梯度法计算单元405和 评价判断单元412。接着参考图3 6的流程图详细说明由梯度法计算单元4 0 5所 执行的、图32的步骤S306中的梯度法计算处理。在计算判断单元462的有效像素判断单元471中输入来自 梯度法连续判断单元424的计数器标志(countflg^l)和来自标志 设置单元452的梯度标志。在计数器标志为l的情况下，有效像 素判断单元471开始图36中的梯度法计算处理。有效像素判断单元471在步骤S401判断梯度标志值是否为 3,并且，如果判断为梯度标志值不为3，则在步骤S402中判断 梯度标志值是否为4。如果在步骤S402判断为梯度标志值为4 ，则有效像素判断 单元471对梯度法计算单元405的各单元进行控制，以在步骤 S 4 0 3中执行积分梯度法计算处理。后面将参考图3 7的流程图说 明积分梯度法计算处理。利用步骤S403中的积分梯度法计算处理，有效像素变成梯 度法计算的对象，其中，对有效像素在水平方向上的像素差Ax、 在垂直方向上的^f象素差Ay和在时间方向上的〗象素差At求积分， 并且通过使用表达式(14)的最小二乘和与积分后的梯度，获得 运动矢量vn，并将运动矢量vn输出给矢量计算单元464。在步骤S404,矢量计算单元464将利用积分梯度计算单元 463-1所获得的运动矢量vn相加给来自选择器401的偏移矢量 Vn-l，并且将运动矢量Vn输出给矢量评价单元104,其中，已 将运动矢量vn相加给偏移矢量Vn-l。在步骤S404，将利用矢量计算单元464所计算出的运动矢 量Vn输出给矢量评价单元104，从而结束梯度法计算冷处理， 并且流程返回到图32的步骤S306，并进入步骤S307。另外，如果在步骤S402判断为梯度标志值不为4，则有效 像素判断单元471在步骤S405判断梯度标志值是否为2。如果在 步骤S405判断为梯度标志值为2，则可认为在有效像素中存在 许多在水平方向上不具有梯度的像素，因此，流程跳过步骤 S楊，并且进入步骤S407。也就是说，在这种情况下，使用在水平方向上不具有梯度 的像素以外的有效像素求运动矢量的水平方向分量是不正确 的，因此不执行水平方向上的独立梯度法计算处理。如果在步骤S 4 0 5判断为梯度标志值不为2 (即，梯度标志值 为0或1),则有效像素判断单元471在步骤S406对水平梯度判断 单元472进行控制，并且执行水平方向上的独立梯度法计算处理。后面将参考图38说明水平方向上的独立梯度法计算处理。利用步骤S406中的水平方向上的独立梯度法计算处理，有 效像素中在水平方向上具有梯度的像素变成梯度法计算的对 象，其中，对有效像素中在水平方向上具有梯度的像素在水平 方向上的 <象素差Ax和在时间方向上的 <象素差At求积分，通过4吏 用积分后的梯度和表达式(23)获得运动矢量vn的水平方向分 量，并且将该水平方向分量输出给矢量计算单元464,并且流程 进入步骤S407。在步骤S407，有效像素判断单元471判断梯度标志值是否 为l。如果在步骤S407判断为梯度标志值为1,则可认为在有效 像素中包括许多在垂直方向上不具有梯度的像素，因此流程跳 过步骤S408，并且进入步骤S409。也就是说，在这种情况下，使用除在垂直方向上不具有梯 度的像素以外的有效像素来寻找运动矢量的垂直方向分量不是 正确的，因此不执行垂直方向上的独立梯度法计算处理。如果在步骤S407判断为梯度标志值不为1 (即，梯度标志值 为0或2),则有效^象素判断单元471在步骤S408对垂直梯度判断 单元473进行控制，并且执行垂直方向上的独立梯度法计算处 理。注意，垂直方向上的独立梯度法计算处理仅在对象方向方 面不同于步骤S406中的水平方向上的独立梯度法计算处理，并 且它们的基本处理是相同的，因此后面将参考图3 8概括说明独 立梯度法计算处理。利用步骤S408中的垂直方向上的独立梯度法计算处理，有 效像素中在垂直方向上具有梯度的像素变成梯度法计算的对 象，其中，对有效像素中在垂直方向上具有梯度的像素在垂直方向上的像素差Ay和在时间方向上的像素差At求积分，通过使 用积分后的梯度和表达式(23)获得运动矢量vn的垂直方向分量，并且流禾呈进入步骤S409。将运动矢量vn的水平方向分量和垂直分量中的至少一个 从独立梯度计算单元463-2输入进矢量计算单元464。在步骤 S409，矢量计算单元464相加来自选择器401的偏移矢量Vn-l的对象方向分量(水平方向分量和垂直分量中的至少一个)由独立 梯度计算单元463-2所获得的运动矢量vn的对象方向分量，并将 作为结果的运动矢量Vn输出给矢量评价单元104。注意，此时，在运动矢量vn的方向分量中，计算独立梯度 计算单元463-2没有输入的方向分量，作为零矢量。也就是说， 在梯度标志值为2的情况下，通过独立梯度计算单元463-2没有 获得运动矢量vn的垂直方向分量，因此矢量计算单元464使运动矢量vn的垂直方向分量为零矢量，而在梯度标志值为l的情况 下，通过独立梯度计算单元463-2没有获得运动矢量vn的水平方 向分量，因此矢量计算单元464使运动矢量vn的水平方向分量为零矢量。在步骤S409，将利用矢量计算单元464计算出的运动矢量 Vn输出给矢量评价单元104，结束梯度法计算处理，并且流程 返回到图32的步骤S306，并进入步骤S307。另一方面，如果在步骤S401判断为梯度标志值为3，则在 步骤S410,有效像素判断单元471禁止梯度法计算单元405的计 算，并结束梯度法计算处理。如上所述，在有效像素中存在少量单侧梯度像素的情况下，通过使用有效像素，利用积分梯度法计算获得运动矢量， 而在有效像素中存在许多单侧梯度像素的情况下，通过仅使用 有效像素中在某一方向上具有梯度的像素，利用独立梯度法计 算获得运动矢量。因此，即使在在计算块中存在许多单侧梯度像素的情况下，也可以获得运动矢量，其中，至少特定方向分量的梯度是 正确的。因此，即使对于单侧梯度区域，也提高了运动矢量的 检测精度。另外，对于单侧梯度区域进行简化的独立梯度法计算，因 此可以降低计算的负荷。接着参考图37的流程图详细说明图36的步骤S403的积分 梯度法计算处理。将从存储器403所提供的计算块的对象像素值输入进梯度 法计算单元405的像素差计算单元461中。在有效像素判断单元 471的控制下，像素差计算单元461的各单元(第 一 空间梯度像素 差计算单元461-2、第二空间梯度像素差计算单元461-2和时间 方向像素差计算单元461-3)在步骤S421选择来自计算块的一个 像素，使流程进入步骤S422，并执行有效像素计算处理。该有 效像素计算处理基本上是与以上参考图34所述的有效像素计算 处理相似的处理，因此省略对其的it明。利用步骤S422中的有效像素计算处理，获得所选择的像素 在帧t+l上的水平方向上的像素差Ax和垂直方向上的像素差 Ay 、在帧t上的水平方向上的像素差Ax和在垂直方向上的像素差 Ay、以及在帧t+l与帧t之间的时间方向上的^f象素差At,并且使 用这些像素差，进行表达式(19)~表达式(21)的逻辑运算。在步骤S423,基于上述三个表达式的逻辑和(即，获得表达 式(22)，以及表达式(22)是否为真)，有效像素判断单元471判断 所选择的像素是否是有效像素。如果在步骤S423判断为所选择 的像素不是有效像素，则处理返回到步骤S421，并且重复此后 的处理。如果在步骤S423判断为所选择的像素为有效像素，则有效 像素判断单元471将所选择的像素作为梯度法计算的对象，从而将该像素在水平方向上的像素差Ax、在垂直方向上的像素差Ay 和在时间方向上的像素差At提供给积分梯度计算单元463-l，在 步骤S424中对积分梯度计算单元463-1进行控制，以对所提供的 梯度(像素差)求积分。有效像素判断单元471在步骤S425判断是否结束对于计算 块内的所有像素的该处理。如果在步骤S425判断为没有结束对 于计算块内的〗象素的所有处理，则流程返回到步骤S421，并重 复此后的处理。如果在步骤S425判断为结束了对于计算块内所有像素的 该处理，则在步骤S426,有效像素判断单元471对积分梯度计 算单元463-l进行控制，并使用积分后的梯度，计算运动矢量vn。也就是"i兌，在步骤S424中，积分梯度计算单元463-l对由计 算判断单元425所提供的有效像素的时间方向上的像素差At、水 平方向上的像素差Ax和垂直方向上的像素差Ay求积分，并且， 如果在步骤S 4 2 5判断为结束对于计算块内的所有像素的该处 理，则在步骤S426，通过使用表达式(14)与积分后的梯度的最 小二乘和，获得运动矢量vn,并且将所获得的运动矢量vn输出 给矢量计算单元464。在此之后，处理返回到图36的步骤S403， 并进入步骤S404。如此，仅对来自计算块的有效像素的梯度求积分，从而执 行积分梯度法计算处理。因此，对于计算块可以防止检测到错 误运动矢量。接着将参考图38详细说明步骤S406和S408中的独立梯度 法计算处理。注意，在图38中说明水平方向的情况，但是，在 垂直方向的情况下也一样，仅待经过的方向分量不同，并且处 理基本上与水平方向情况下的相似。将从存储器403所提供的计算块的对象像素值输入进梯度93法计算单元405的像素差计算单元461。在有效像素判断单元471 的控制下，〗象素差计算单元461的各单元在步骤S441从计算块 内选择一个像素，流程进入步骤S442，并且执行有效像素计算 处理。该有效像素计算处理也基本上与以上参考图34所述的有 效像素计算处理相似，因此省略对其的说明。利用步骤S422中的有效像素计算处理，获得所选择的像素 在帧t+l上的水平方向上的像素差Ax和垂直方向上的像素差 Ay 、在帧t上的水平方向上的像素差Ax和垂直方向上的像素差 △y、以及在帧t+l与帧t之间的时间方向上的像素差At,并且使 用这些像素差，进行表达式(19) 表达式(21)的逻辑运算。在步骤S443，基于上述三个表达式的逻辑和(即，获得表达 式(22)，以及表达式(22)是否为真)，有效像素判断单元471判断 所选择的像素是否是有效像素。如果在步骤S443判断为所选择 的像素不是有效像素，则处理返回到步骤S441,并且重复此后 的处理。如果在步骤S443判断为所选择的像素是有效像素，则在步 骤S444，有效像素判断单元471对水平梯度判断单元472进行控 制，以判断在该有效像素的对象方向上(在该示例中为水平方向) 是否存在任何梯度。如果在步骤S444判断为在该有效像素的对 象方向上(在该示例中为水平方向)没有任何梯度，则流程返回 到步骤S441，并重复此后的处理。也就是说，重复对于计算块中的下一像素的有效像素判断 和单侧梯度判断。在水平梯度判断单元472判断为在该有效像素的水平方向 上具有梯度的情况下，将该有效像素作为梯度法计算的对象， 从而将该像素的水平方向上的像素差Ax和时间方向上的像素 差At提供给独立梯度计算单元463-2，并且水平梯度判断单元472在步骤S445中对独立梯度计算单元463-2进4亍控制，以对所 提供的梯度(像素差)求积分。有效像素判断单元471在步骤S446判断是否结束了对于计 算块内的所有^f象素的该处理。如果在步骤S446判断为没有结束 对于计算块内的所有像素的该处理，则流程返回到步骤S441， 并且重复此后的处理。如果在步骤S446判断为结束了对于计算块内的所有像素 的该处理，则在步骤S447，有效像素判断单元471对独立梯度 计算单元463-2进行控制，并使用积分后的梯度，计算该对象方 向上的运动矢量vn。也就是说，在步骤S445，独立梯度计算单元463-2对从水平 梯度判断单元472所提供的在水平方向上具有梯度的有效像素 的时间方向上的像素差A t和在水平方向上的像素差△ x求积分， 并且，如果在步骤S446判断为结束了对于计算块内所有像素的 该处理，则在步骤S447使用积分后的梯度和表达式(23)获得运 动矢量vn的对象方向(水平方向)分量，并且将所获得的运动矢 量vn的水平方向分量输出给矢量计算单元464。在此之后，流程 返回到步骤S407。如此，对于计算块中的有效像素中，仅对在对象方向上具 有梯度的像素的梯度求积分，并且执行对象方向上的梯度法计 算处理。因此，即使在单侧梯度区域中包括计算块，对于该计算块也能防止检测到来自错误运动矢量的对象方向分量。接着参考图39的流程图说明图32的步骤S307中的矢量评价处理。在将来自标志设置单元452的梯度标志输入进评价值判断 单元412时，开始图39中的矢量评价处理。评价值判断单元412 在步骤S461中判断梯度标志值是否为3，并且，在判断为梯度标志值不为3的情况下(即，在判断为执行梯度法计算的情况下)，评价值判断单元412在步骤S462对评价值计算单元61B进 行控制，以执行偏移矢量Vn-l、运动矢量Vn和零矢量的评价值 计算处理。该评价值计算处理基本上与以上参考图15所述的评 价值计算处理相似，因此省略对其的说明。利用步骤S462中的评价值计算处理，计算以下矢量的评价 值dfv:来自选择器401的偏移矢量Vn-l、由积分梯度计算单元 463-1或独立梯度计算单元463-2计算的、并由矢量计算单元464 计算出的运动矢量Vn、以及零矢量。评价值判断单元412在步骤S463中判断梯度标志值是否为 4,并且，在判断为梯度标志值为4的情况下(即，在通过积分梯 度计算单元463-l计算运动矢量Vn的情况下)，在步骤S464判断 利用矢量计算单元464计算出的运动矢量Vn的评价值dfv(n)是 否小于偏移矢量Vn-1的评价值dfv(n國1)。如果在步骤S464判断为评价值dfv(n-l)小于评价值 dfv(n)(偏移矢量Vn-1的可靠性较大)，则评价值判断单元412在 步骤S465中将偏移矢量Vn-l确定为运动矢量V。也就是说，运 动矢量V不是由矢量计算单元464计算出的运动矢量Vn，而是被 修改(校正)成偏移矢量Vn-1。在步骤S466,评价值判断单元412 将梯度法计算的迭代的数量设置成最大值，从而结束矢量评价 处理。也就是说，在步骤S466,即使使用已为偏移矢量Vn-l的运 动矢量V，并且重复梯度法计算，结果也是相同的，因此将迭 代的数量设置成最大值，从而不重复梯度法计算。另外，如果在步骤S464判断为评价值dfv(n)小于评价值 dfv(n-l)(利用矢量计算单元464计算出的运动矢量Vn的可靠性 较大)，则评价值判断单元412在步骤S467将矢量计算单元464计算出的运动矢量Vn照原样确定为运动矢量V,并且，在步骤 S468,将梯度法计算的迭代数量增加l，从而结束矢量评价处理。另 一方面，如果在步骤S463判断为梯度标志值不是4(即， 在利用独立梯度计算单元463-2所计算的运动矢量Vn的情况 下)，则在步骤S469判断利用矢量计算单元464计算出的运动矢 量Vn的评价值dfv(n)是否小于零矢量的评价值dfv(O).如果在步骤S469判断为评价值dfv(n)小于评价值dfv(O)(利 用矢量计算单元464计算出的运动矢量Vn的可靠性较大)，则评 价值判断单元412在步骤S470将利用矢量计算单元464计算出 的运动矢量Vn照原样确定为运动矢量V，从而结束矢量评价处 理。另夕卜，如果在步骤S469判断为评价值dfv(0)小于评价值 dfv(n)(零矢量的可靠性较大)，则评价值判断单元412在步骤 S471中将零矢量确定为运动矢量V,从而结束矢量评价处理。 也就是说，在步骤S471，运动矢量V不是利用矢量计算单元464 计算出的运动矢量Vn,而是被修改(校正)成零矢量。如果在步骤S461判断为梯度标志值为3，这是这样一种情 况，其中，判断为在计算块中具有较少有效像素，因此，在步 骤S472，将零矢量确定为运动矢量V，即，运动矢量V不是利用 矢量计算单元464计算出的运动矢量Vn,而是被修改(校正)成零 矢量，从而结束矢量评价处理。因此，基于梯度标志值，切换矢量评价的比较对象，评价 运动矢量，并且根据评价结果修改(校正)运动矢量，从而可以 检测根据计算块中的梯度状态具有良好精度的运动矢量。注意，在以上说明中，在确定了有效像素后，确定水平梯 度和垂直梯度以获得有效像素内的梯度状态(即，仅具有水平梯度或垂直梯度的像素的比例)，并且基于此进行梯度法执行判断，但是，如下所述，同样可以配置通过使用作用以判断有 效像素的条件表达式的表达式(19)~表达式(21)获得仅具有水 平梯度或垂直梯度的像素的比例，并且基于此进行梯度法执行判断。图40是示出图26所示的像素判断单元、计数器和计算执行 判断单元的另 一结构示例的框图。图40的示例中的像素判断单元422与图26中的像素判断单 元422的相同在于均具有有效像素判断单元431,而与图26中的 像素判断单元422的不同在于去除了水平梯度判断单元432和垂 直梯度判断单元433。注意，对于图40的示例，有效像素判断单 元431还配置有水平/垂直梯度判断单元431-1、水平梯度判断单 元431-2和垂直梯度判断单元431-3。水平/垂直梯度判断单元431-l使用表达式(21)以判断计算 块内的像素是否满足感兴趣的水平/垂直条件，并且，在判断为 计算块内的像素满足感兴趣的水平/垂直条件的情况下，即，判 断为由于在垂直方向和水平方向上具有梯度，因而具有水平 梯度和垂直梯度(以下称之为水平/垂直梯度)，并且在水平和垂 直方向的运动中具有相似性，因此，在将水平/垂直梯度计数器 481的值(具有水平梯度和垂直梯度的像素的数量)增加1的同 时，将有效像素数量计数器441的值也增加1。水平梯度判断单元431-2使用表达式(19)以判断计算块内 的像素是否满足感兴趣的水平条件，并且，在判断为计算块内 的像素满足感兴趣的水平条件的情况下，即，判断为由于水 平梯度稍微大于垂直梯度，因而具有水平梯度，水平梯度更占 优势，并且与水平方向上的运动具有相似性，因此，在将水平 梯度计数器482的值(具有水平梯度的像素的数量)增加l的同时，将有效像素数量计数器441的值也增加1。垂直梯度判断单元431-3使用表达式(20)以判断计算块内 的像素是否满足感兴趣的垂直条件，并且，在判断为计算块内 的像素满足感兴趣的垂直条件的情况下，即，判断为由于垂 直梯度稍微大于水平梯度，因而具有垂直梯度，垂直梯度更占 优势，并且与垂直方向上的运动具有相似性，因而在将垂直梯 度计数器483的值(具有垂直梯度的像素的数量)增加1的同时， 将有效像素数量计数器441的值也增加1。图40的示例中的计数器423与图26的计数器423的相同在 于均具有有效像素计数器441,而与图26中的计数器423的不同 在于去除了无水平梯度计数器442和无垂直梯度计数器443，并 且不同还在于增添了水平/垂直梯度计数器481、水平梯度计数 器482和垂直梯度计数器483。水平/垂直梯度计数器481存储被水平/垂直梯度判断单元 431-1判断为具有水平梯度和垂直梯度(以下还称之为水平/垂直 梯度)的像素(有效像素)的数量。水平梯度计数器482存储针对 各计算块被水平梯度判断单元431-2判断为具有水平梯度的像 素(有效像素)的数量。垂直梯度计数器483存储针对各计算块被 垂直梯度判断单元431-3判断为具有垂直梯度的像素(有效像素) 的数量。图40的示例中的计算执行判断单元425与图29中的计算执 行判断单元425的相同在于均具有标志设置单元452,而与图26 中的计算执行判断单元42 5的不同在于代替计数器值计算单元 451添加了计数器值计算单元491。当来自梯度法连续判断单元424的计数器标志的值为l时， 计数器值计算单元491从计数器423(有效像素数量计数器441、 水平/垂直梯度计数器481、水平梯度器483)获得有效像素的数量(cnt—1)、在水平方向和垂直方向上 具有梯度的像素的数量(cnt一xy)、在水平方向上具有梯度的像素 的数量(cnt—x)、以及在垂直方向上具有梯度的像素的数量 (cnt—y)，计算计算块中的有效像素与有效像素中的单侧梯度像 素的比例，并且根据该比例计算结果对标志设置单元452所设置 的梯度标志值进行控制。也就是说，计数器值计算单元491使用下面的表达式(27) 表达式(30)进行梯度法执行判断处理，其中，这些表达式使用 有效像素的数量(cnt—1)、具有水平/垂直方向上的梯度的像素的 数量(cnt一xy)、具有水平方向上的梯度的像素的数量(cnt—x)和具 有垂直方向上的梯度的像素的数量(cnt一y)。[数学表达式26]cnt—t 2: pxl—a'th4[数学表达式27] cnt—xy.(27)cntpxl—a th5(28)[数学表达式28]cnt xcnt t之pxl—a th6(29)[数学表达式29] cnt—ycntpxLa th7(30)这里，pxl—a表示计算块内的所有像素的数量，.表示乘法， 而th4 ~ th7均表示相互不同且小于l的预定阈值。注意，th4〉th5、 th6、 th7。首先，在判断为不满足表达式(27)、或者满足表达式(27) 单不满足表达式(28)~表达式(30)的情况下，可以认为在计算块内具有较少被判断为有效的像素，因而这是处于难以进行梯度法计算的状态。因此，计数器值计算单元491附加梯度标志 (gladflg = 3)，不使梯度法计算单元405进行计算，而是使其为 无运动(零矢量)。在判断为满足表达式(2 7)，并且还满足表达式(2 8)的情况 下，可以认为这是处于这样一种状态在有效像素中存在足够 在水平方向和垂直方向上具有梯度(具有正常梯度)的像素。因此，计数器值计算单元491设置梯度标志(gladflg = 4),并且使 梯度法计算单元405执行使用表达式(14)的积分梯度法计算。在判断为满足表达式(27)、满足表达式(28)、但不满足表达 式(29)的情况下，可以认为在有效像素中包括许多在垂直方向 上不具有梯度的像素。因此，计数器值计算单元491附加梯度标 志(gladflg = 2)，不使梯度法计算单元405进行与垂直方向上的 运动有关的计算，而使此为无运动(零矢量)，但是仅对于水平 方向上的运动执行使用表达式(23)的梯度法计算。注意，对于 此时的梯度法计算，仅使用具有水平方向上的梯度的有效像素。在判断为满足表达式(27)、不满足表达式(28)和表达式 (29)、但是满足表达式(30)的情况下，可以认为在有效像素中包 括许多在水平方向上不具有梯度的像素。因此，计数器值计算 单元491附加梯度标志(gladflg = 1),不使梯度法计算单元405进 行与水平方向上的运动有关的计算，而使此为无运动(零矢量)，但是，仅对于垂直方向上的运动执行使用表达式(23)的梯度法 计算。注意，对于此时的梯度法计算，仅使用具有垂直方向上 的梯度的有效像素。图41是示出与图40中的有效像素判断单元相对应的梯度 法计算单元的计算判断单元的另 一结构示例的图。也就是说，计算判断单元462与图27中的计算判断单元462的相同在于均具有有效像素判断单元471,而与图27中的计算判 断单元462的不同在于去除了水平梯度判断单元472和垂直梯度 判断单元473。注意，对于图41的示例，有效像素判断单元471 还配置有水平/垂直梯度判断单元471-1 、水平梯度判断单元 471-2和垂直梯度判断单元471-3。水平/垂直梯度判断单元471-l、水平梯度判断单元471-2和 垂直梯度判断单元471-3均基于梯度标志的值确定梯度法计算 处理的方法。也就是说，在基于梯度标志值判断为利用积分梯度计算单 元463-l进行梯度法计算处理的情况下，水平/垂直梯度判断单 元471-1通过使用表达式(21)判断计算块内的像素是否满足感 兴趣的水平/垂直条件，并且将被判断为满足感兴趣的水平/垂 直条件的像素的梯度(像素差)提供给积分梯度计算单元463-l。在基于梯度标志值判断为利用独立梯度计算单元463-2进 行梯度法计算处理的情况下，水平/垂直梯度判断单元471-l通 过使用表达式(21)判断计算块内的像素是否满足感兴趣的水平/ 垂直条件，并将被判断为满足感兴趣的水平/垂直条件的像素的 梯度(像素差)提供给独立梯度计算单元463-2。也就是说，在基于梯度标志值判断为利用积分梯度计算单 元463-l进行梯度法计算处理的情况下，水平梯度判断单元 471-2通过使用表达式(19)判断计算块内的像素是否满足感兴 趣的水平条件，并将被判断为满足感兴趣的水平条件的像素的 梯度(像素差)提供给积分梯度计算单元463-l。在基于梯度标志值判断为利用独立梯度计算单元463-2进 行对于水平方向的梯度法计算处理的情况下，水平梯度判断单元471-2通过使用表达式(19)判断计算块内的像素是否满足感 兴趣的水平条件，并将被判断为满足感兴趣的水平条件的像素的梯度(像素差)提供给独立梯度计算单元463-2。也就是说，在 判断为进行对于垂直方向的梯度法计算处理的情况下，不向独 立梯度计算单元463-2提供利用水平梯度判断单元471-2被判断 为满足感兴趣的水平条件的梯度(像素差)。也就是说，在基于梯度标志值判断为利用积分梯度计算单 元463-1进行梯度法计算处理的情况下，垂直梯度判断单元 471-3通过使用表达式(20)判断计算块内的像素是否满足感兴 趣的垂直条件，并将被判断为满足感兴趣的垂直条件的像素的 梯度(像素差)提供给积分梯度计算单元463-l。在基于梯度标志值判断为利用独立梯度计算单元463-2进 行对于垂直方向的梯度法计算处理的情况下，垂直梯度判断单 元471-3通过使用表达式(20)判断计算块内的像素是否满足感 兴趣的垂直条件，并将被判断为满足感兴趣的垂直条件的像素 的梯度(像素差)提供给独立梯度计算单元463-2。也就是说，在 判断为对于水平方向进行梯度法计算处理的情况下，不向独立 梯度计算单元463-2提供利用垂直梯度判断单元471-3被判断为 满足感兴趣的垂直条件的像素的梯度(像素差)。与此相对应，积分梯度计算单元463-l使用由水平/垂直梯 度判断单元471-1、水平梯度判断单元472-l和垂直梯度判断单 元471-3中的每一个判断为满足条件表达式的像素(即，有效像 素)的梯度，进行积分梯度法计算。独立梯度计算单元463-2通过使用由水平/垂直梯度判断单 元471-l和水平梯度判断单元471-2中的每一个判断为满足条件 表达式的像素(即，有效像素中具有水平梯度的像素)的梯度， 进行水平方向上的独立梯度法计算，并且通过使用由水平/垂直 梯度判断单元471-l和垂直梯度判断单元471-3中的每一个判断 为满足条件表达式的像素(即，有效像素中具有垂直梯度的像素)的梯度，进行垂直方向上的独立梯度法计算。接着，参考图42的流程图说明图40中由有效像素判断单元 404所进行的有效像素判断处理。注意，图42是以上参考图33 所述的、在图32的步骤S303中所进行的有效像素判断处理的另 一示例，并且，图42中的步骤S501 ~ S503和S511中的处理进行 与图33的步骤S321 ~ S323和S330中的处理基本上相同的处理， 因此省略对其的详细i兌明。在输入从存储器403所提供的计算块的对象像素值时，像控制，以复位各计数器(有效像素数量计数器441、水平/处置梯 度计数器481、水平梯度计数器482和垂直梯度计数器483)的值。像素差计算单元421的各单元(第一空间梯度像素差计算单 元421-1、第二空间梯度像素差计算单元421-2和时间方向像素 差计算单元421-3)在步骤S502中从计算块内选择一个像素，流 程进入步骤S503，并且执行有效像素计算处理。以上已参考图 34说明了这里的有效像素计算处理，因此省略对其的说明。在步骤S 5 0 3,利用有效像素计算处理计算出所选择的像素 的帧t +1的水平方向上的像素差△ x和垂直方向上的像素差△ y 、 帧t的水平方向上的像素差Ax和垂直方向上的像素差Ay、以及帧 t+l与帧t之间的时间方向上的像素差At,并且，使用这些像素 差，通过以下单元分别进行以下表达式的逻辑运算水平梯度 判断单元431-2,作为注重水平方向的条件的表达式(1";垂直 梯度判断单元431-3,作为注重垂直方向的条件的表达式(20); 以及水平/垂直梯度判断单元431-1,作为注重水平/垂直方向的 条件的表达式(21)。此后，流程返回到图42的步骤S503，并且 进入步骤S504。在步骤S504,水平/垂直判断单元431-l判断所选择的像素是否满足注重水平/垂直方向的条件(表达式(21))，并且，在判 断为所选择的像素满足注重水平/垂直方向的条件的情况下，在 步骤S505中将水平/垂直梯度计数器481中的具有水平/垂直梯 度的像素的数量增加l，并且在步骤S510，将有效像素数量计 数器441中的有效像素的数量增加l。如果在步骤S 5 04判断为不满足注重水平/垂直方向的条件， 则水平梯度判断单元431-2在步骤S506判断所选择的像素是否 满足感兴趣的水平条件(表达式(19))，并且在判断为所选择的像 素满足感兴趣的水平条件的情况下，在步骤S507将水平梯度 计数器482中的具有水平梯度的像素的数量增加1，并且在步骤 S510，将有效像素数量计数器441中的有效像素的数量增加1 。如果在步骤S506判断为不满足注重水平方向的条件，则垂 直梯度判断单元431-3在步骤S508判断所选择的像素是否满足 感兴趣的垂直条件(表达式(20))，并且，在判断为所选择的像素 满足感兴趣的垂直条件的情况下，在步骤S509中将垂直梯度计 数器483中的具有垂直梯度的像素的数量增加l，并且在步骤 S510,将有效像素数量计数器441中的有效像素的数量增加l。在在步骤S510中将有效像素的数量增加1后，流程进入步 骤S511,并且像素差计算单元421判断是否结束对于计算块内 的所有像素的该处理。如果在步骤S 510判断为结束了对于计算 块内的所有像素的该处理，则结束有效像素数量判断处理，因 而流程返回到图32的步骤S303,并且进入步骤S304。如果在步骤S 5 0 8判断为所选择的像素不满足注重水平方 向的条件(即，如果判断为不满足上述的任何一个表达式 (19)~表达式(21),并且所选择的像素不是有效像素)，或者如 果在步骤S511判断为没有结束对于计算块的所有像素的该处 理，则流程返回到步骤S502,并重复此后的处理。105从而，将计算块内被判断为有效的有效像素的数量存储在有效像素数量计数器441中，将有效像素中被判断为具有水平/ 垂直梯度(更具体地，在水平方向和垂直方向上具有梯度，并且 具有水平和垂直方向上的运动的相似性)的有效像素的数量存储在水平/垂直梯度计数器481中，将有效像素中被判断为具有 水平梯度(更具体地，水平梯度稍微大于垂直梯度，水平梯度更 占优势，并且具有水平方向上的运动的相似性)的像素的数量存 储在水平梯度计数器482中，并且将有效像素中被判断为具有垂 直梯度(更具体地，垂直梯度稍微大于水平梯度，垂直梯度更占 优势，并且具有垂直方向上运动的相似性)的像素的数量存储在 垂直梯度计数器483中。将参考图43的流程图详细说明图32的步骤S30S中的梯度 法执行判断处理。该梯度法执行判断处理是以上参考图35所述 的梯度法执行判断处理的另 一示例，并且是由图40中的计算执 行判断单元4 2 5基于如上所述存储像素数量的各计数器所执行 的处理。图4 0中的计数器值计算单元4 91从有效像素数量计数器 441获得有效像素的数量(cnt一t)，从水平/垂直梯度计数器481获 得有效像素中被判断为具有水平/垂直梯度的像素的数量 (cnt—xy),从水平梯度计数器482获得有效像素中被判断为具有 水平梯度的像素的数量(cnt—x)，以及从垂直梯度计数器483获得 有效像素中具有垂直梯度的像素的数量(ngcnly),并且在步骤 S521判断是否满足表达式(27)。如果在步骤S521判断为满足表达式(27)，则可以认为在计 算块内存在足够的有效像素，并且计数器值计算单元491在步骤 S522中判断是否满足表达式(28)。如果在步骤S522判断为满足表达式(28)，可以认为这是处于存在足够的在水平方向和垂直方向上具有梯度(具有正常梯 度)的有效像素的状态。因此，假定水平方向和垂直方向是可靠地，则标志设置单元452在步骤S523将梯度标志值设置为进行 使用表达式(14)的积分梯度法计算处理的"4",并且将梯度标志 (gladflg = 4)输出给梯度法计算单元405和评价判断单元412，并 结束梯度法执行判断处理。然后流程返回到图32中的步骤 S305，并进入步骤S306，其中，根据梯度标志(gladflg:4)执行 梯度法计算处理。如果在步骤S522判断为不满足表达式(28),则计数器值计 算单元491在步骤S524中判断是否满足表达式(29)。如果在步骤 S524判断为满足表达式(29),则可以认为在有效〗象素中包括许 多在追之方向上不具有梯度的像素。因此，假定水平方向是可 靠的，则标志设置单元452在步骤S525将梯度标志值设置为对 于水平方向进行使用表达式(23)的独立梯度法计算处理的"1", 并且将梯度标志(gladflg = 1)输出给梯度法计算单元405和评价 判断单元412，并且结束梯度法执行判断处理。然后流程返回到 图32的步骤S305,并且进入步骤S306，从而根据梯度标志 (gladflg = l)执行梯度法计算处理。如果在步骤S524判断为不满足表达式(29)，则计数器值计 算单元451在步骤S526判断是否满足表达式(30)。如果在步骤 S524判断为满足表达式(30),则可以认为在有效像素中包括许 多在水平方向上不具有梯度的像素。因此，假定垂直方向是可 靠地，则标志设置单元452在步骤S527中将梯度标志值设置为 对于垂直方向进行使用表达式(2 3)的独立梯度法计算处理的 "2",并将梯度标志(gladflg =2)输出给梯度法计算单元405和评 价判断单元412,并且结束梯度法执行判断处理。然后流程返回 到图32的步骤S305,并进入步骤S306，从而根据梯度标志(gladflg = 2)执行梯度法计算处理。如果在步骤S521判断为不满足表达式(27),或者在步骤 S 5 2 6判断为不满足表达式(3 0)，则可以认为在计算块存在较少 被判断为有效的^f象素。因此，在步骤S528,标志设置单元452 将梯度标志值设置为禁止梯度法计算处理的"3",并且将梯度标 志(gladflg = 3)输出给梯度法计算单元405和评价判断单元412， 并结束梯度法执行判断处理。然后流程返回到图32的步骤 S305,并进入步骤S306， /人而4艮据梯度标志(gladflg = 3)4丸行梯 度法计算处理。从而将根据计算块的梯度状态的梯度标志(即，有效像素的 数量、有效像素中具有水平/垂直梯度的像素的数量、有效像素 中具有水平梯度的像素的数量、以及有效像素中具有垂直梯度 的像素的数量)输出给梯度法计算单元405和评价判断单元412。因此，利用图40中的有效像素判断单元404,通过使用作 用以判断有效像素的条件表达式的表达式(19) 表达式(21)，获 得仅具有水平梯度或垂直梯度的像素的比例，并且基于该比例 进行梯度法执行判断，因此，不需要再次获得水平梯度或垂直 梯度。因此，与上述图26中的有效像素判断单元404的情况相比， 可以降低计算负荷。接着，参考图4 4的流程图详细说明图41中的梯度法计算单 元405所进行的处理中的独立梯度法计算处理。注意，图41中的 梯度法计算单元405所进行的梯度法计算处理基本上具有与以 上参考图36所述的图27中的梯度法计算单元405所进行的梯度 法计算处理相同的处理，除外步骤S406和S408中的独立梯度法 计算处理，因此，省略对其的详细说明。也就是说，图44是以上参考图38所述的、在图36的步骤 S406或S408中进行的独立梯度法处理的另 一 示例，并且图44中的步骤S531、 S532和S534 ~ S536中的处J里与图38的步骤S441 、S442和S445 ~ S447中的处理基本上相同，因此省略对其的详细说明。另外，图44同样说明了水平方向的情况，但是，即使在垂直方向的情况下，仅对象方向分量不同，并且处理基本上与 水平方向的情况下的相同。在有效像素判断单元471的控制下，图41中的像素差计算 单元461的各单元在步骤S531选择计算块内的一个像素，并且 流程进入步骤S532，从而执行有效像素计算处理。有效像素计 算处理基本上与以上参考图34所述的有效像素计算处理相同， 因此省略对其的"^兌明。在步骤S532，利用有效像素计算处理获得所选择的像素的 帧t+l的水平方向上的像素差Ax和垂直方向上的像素差Ay、帧t 的水平方向上的像素差Ax和垂直方向上的像素差Ay、以及帧 t+l与帧t之间的时间方向上的像素差At,并且使用这些像素差， 通过以下单元分别进行以下表达式的逻辑运算水平梯度判断 单元471-2,作为注重水平方向的条件的表达式(19);垂直梯度 判断单元471-3，作为注重垂直方向的条件的表达式(20);以及 水平/垂直梯度判断单元471-1,作为注重水平/垂直方向的条件 的表达式(21)。在此之后，流程返回到图44的步骤S532，并且 进入步骤S533。在步骤S533，水平/垂直梯度判断单元471-l和水平梯度判 断单元471-2判断所选择的像素在对象方向上(在该示例中为水 平方向)是否具有梯度。也就是说，水平/垂直梯度判断单元471-l 判断所选择的像素是否满足注重水平/垂直方向的条件(表达式 (21)),水平梯度判断单元471-2判断所选择的像素是否满足注重 水平方向的条件(表达式(19))，并且，在水平/垂直梯度判断单 元471-l判断为所选择的像素满足注重水平/垂直方向的条件的情况下，或者在水平梯度判断单元471-2判断除所选择的像素满 足感兴趣的水平条件的情况下，确定所选择的像素在水平方向 上具有梯度，从而流程进入步骤S534。另外，在步骤S533，在水平/垂直判断单元471-l判断为所 选择的像素不满足注重水平/垂直方向的条件的情况下，或者在 水平梯度判断单元471-2判断为所选择的像素不满足感兴趣的 水平条件的情况下，确定所选择的像素在水平方向上不具有梯 度，从而流禾呈返回到步骤S531,并且重复此后的处理。注意，在垂直方向的情况下，如果水平/垂直判断单元431-l 判断为所选择的像素满足注重水平/垂直方向的条件，或者如果 垂直梯度判断单元431-3判断为所选择的像素满足注重的垂直 方向，则确定所选择的像素在垂直方向上具有梯度。水平/垂直梯度判断单元471-l或水平梯度判断单元471-2选择在步骤S533中被判断为具有水平梯度的像素，作为梯度法 计算的对象，将该像素在水平方向上的像素差Ax和在时间方向 上的像素差At提供给独立梯度计算单元463-2，并且，在步骤 S534,对独立梯度计算单元463-2进行控制，以对所提供的梯度 (像素差)求积分。水平/垂直梯度判断单元471-1在步骤S535判断是否结束对 于计算块内的所有像素的该处理。如果在步骤S535判断为仍未 结束对于计算块的所有像素的该处理，则流程返回到步骤 S441,并且重复此后的处理。如果在步骤S535判断为结束了对于计算块内的所有像素 的该处理，则水平/垂直梯度判断单元471-l在步骤S536对独立 梯度计算单元463-2进行控制，并且使用积分后的梯度，计算运 动矢量vn的水平方向分量。独立梯度计算单元463-2在步骤S536使用积分后的梯度和表达式(23),以获得运动矢量vn的对象方向(水平方向)分量，并 且将所获得的运动矢量vn的水平方向分量输出给矢量计算单元 464。在此之后，流程返回图36的步骤S406,并进入步骤S407。 因此，同样利用图41中的梯度法计算单元405,与图37中 的梯度法计算单元4 0 5的情况相似，仅对计算块中的有效像素中 在对象方向上具有梯度的像素的梯度求积分，并且在对象方向上执行梯度法计算处理。因此，即使计算块为单侧梯度区域， 对于计算块也可防止检测到错误运动矢量的对象方向分量。因此，做出不仅用于判断计算块中的有效像素的配置，而 且还做出用于判断单侧梯度的像素的配置，其中，在有效像素 中仅存在水平梯度或垂直梯度其中一个，并且基于有效像素内 单侧梯度像素的比例，可以切换梯度法计算，或者可以切换评 价的矢量，从而进行迭代判断，与仅判断有效像素的情况相比， 尤其单侧梯度区域中，更能提高运动矢量的检测精度。接着，参考图4 5说明图17中的矢量检测单元5 2的另 一 结构 示例。如上所述，将利用图17中的矢量检测单元52所获得的运动 矢量V作为后面阶段的分配处理所使用的运动矢量(以下还称 之为检测矢量)存储到检测到的矢量存储器53,并且将使用运动 矢量V作为初始矢量选择单元101的初始候选矢量(初始矢量的 候选矢量)。相反，利用图45中的矢量检测单元52进行配置，以 分别存储后面阶段的矢量分配处理所使用的检测矢量和初始矢 量选择处理所使用的初始候选矢量。图45中的矢量检测单元52与图17中的矢量检测单元52的 相同在于均具有预滤波器102-1和102-2、移位初始矢量分配单 元105、评价值存储器106和移位初始矢量存储器107，而预图17 的矢量检测单元52的不同在于利用初始矢量选择单元521取代m初始矢量选择单元IOI,利用迭4戈梯度法计算单元522取代迭代 梯度法计算单元103,利用矢量评价单元523取代矢量评价单元 104,并且添加了初始候选矢量存储器524。注意，仅有的不同是初始矢量选择单元521不是从检测 到的矢量存储器53而是从初始候选矢量存储器524获得过去所 获得的块周围的运动矢量，并且初始矢量选择单元521的结构基 本上与图17中的矢量选择单元101相同，因此省略对其的详细说 明。在图45的示例中，迭代梯度法计算单元522的构成类似于 图17中的迭代梯度法计算单元103,并且通过使用从初始矢量选 择单元101输入的初始矢量V0和通过预滤波器102-1和102-2所 输入的帧t和帧t+l，针对各预定块利用梯度法计算运动矢量Vn。 此时，迭代梯度法计算单元522将作为梯度法的对象所使用的有 效像素的数量不仅与预定阈值a进行比较，而且还与预定阈值P (p < a)进行比较，并且将根据比较结果的计数器标志(countflg) 提供给矢量评价单元523。另外，与迭代梯度法计算单元103相似，迭代梯度法计算 单元522将初始矢量VO和计算出的运动矢量Vn输出给矢量根评 价单元523,基于矢量评价单元104的运动矢量的评价结果重复 进行梯度法的计算，并且计算出运动矢量Vn。注意，后面将参 考图46 —起详细说明迭代梯度法计算单元522和矢量评价单元 523。类似于图17中的矢量评价单元104，矢量评价单元523具有 评价值计算单元61B,并使评价值计算单元61B从迭代梯度法计 算单元103获得运动矢量Vn-l(或初始矢量V0)和运动矢量Vn的 评价值dfv,并且，基于评价值计算单元61B所获得的评价值dfv, 对迭代梯度法计算单元522进行控制，以重复执行梯度法计算，并最终基于评价值dfv选择具有高可靠性的运动矢量。此时，矢量评价单元523从来自迭代梯度法计算单元522的 运动矢量Vn-l(或初始矢量VO)、运动矢量Vn或零矢量中，根据 来自迭代梯度法计算单元522的各矢量的评价值dfv和计数器标 志，获得在后面阶段的分配处理中所使用的检测矢量Ve和在利 用初始矢量选择单元521的初始矢量选择的情况下所使用初始 候选矢量Vic。矢量评价单元523将所获得的检测矢量V3存储在 检测到的矢量存储器53中，并将初始候选矢量Vic存储在初始候 选矢量存储器524中。将利用矢量评价单元523所获得的初始候选矢量Vic存储在 与检测对象块相对应的初始候选矢量存储器524中。图46是示出迭代梯度法计算单元522和矢量评价单元523 的结构的框图。图46中的迭代梯度法计算单元522与图25中的迭代梯度法 计算单元103的相同在于均具有选择器401、存储器控制信号生 成单元402、存储器403、梯度法计算单元405和延迟单元406, 而与图25中的迭代梯度法计算单元103的不同在于利用有效像 素判断单元531取代有效像素判断单元404。也就是说，类似于有效像素判断单元404，通过使用例如 从存储器403所提供的对象像素值来计算帧t和帧t+l的计算块 之间的像素差，有效像素判断单元5 31判断计算块内针对梯度法 计算的有效像素的数量是否大于预定阈值，并且将根据该判断 结果的计数器标志(countflg)提供给梯度法计算单元405和矢量 评价单元523。此时，为了通过有效像素判断单元531判断针对梯度法计 算的有效像素的数量，使用两种类型的阈值预定阈值a和预 定阈值P,其中，a > (3。在判断为计算块中针对梯度法计算有效的像素的数量大于预定阈值a的情况下，有效像素判断单元531将计数器标志 (countflg = 1)提供给梯度法计算单元405和矢量评价单元523; 并且，在判断为计算块中针对梯度法计算有效的像素的数量小 于预定阈值a,而大于预定阈值p的情况下，有效像素判断单元 531将计数器标志(countflg = 10)提供给梯度法计算单元405和 矢量评价单元523;并且，在判断为计算块中针对梯度法计算有 效的像素的数量小于预定阈值(3的情况下，有效像素判断单元 531将计数器标志(countflg = 0)提供给梯度法计算单元405和矢 量评价单元523。另外，类似于有效像素判断单元404，有效像素判断单元 531获得计算块中被判断为有效像素的像素在水平和垂直各方 向上的梯度状态，判断仅在水平方向或垂直方向上具有梯度的 像素是否存在更大比例，并且根据该判断结果将梯度标志 (gladflg)提供给梯度法计算单元405和矢量评价单元523。图46中的矢量评价单元523与图25中的矢量评价单元104 的相同在于均具有评价值计算单元61B，而与图25中的矢量评 价单元104的不同在于评价判断单元541取代了评价判断单元 412。评价值判断单元523基于从有效像素判断单元53 1所提供 的计数器标志和梯度标志，判断是否迭代梯度法计算处理，并 且获得检测矢量Ve和初始候选矢量Vic中的每一个。也就是说，评价值判断单元523通过对有评价值计算单元 61B所计算的评价值dfv选择和修改具有较大可靠性的评价值 dfv，如有需要，获得运动矢量V，并且，在从有效像素判断单 元531提供计数器标志(countflg = l)的情况下(即，在有效像素 的数量大于预定阈值a的情况下)，判断是否迭代梯度法计算处理，并且在判断为进行迭代的情况下，将所获得的运动矢量V输出给延迟单元406。另外，在不对梯度法计算处理进行迭代的情况下，评价值 判断单元523根据计数器标志值，将所获得的运动矢量V或零矢 量作为检测矢量Ve存储在检测到的矢量存储器53中，并且将其 作为初始候选矢量Vic存储在初始候选矢量存储器524中。具体地，在从有效像素判断单元531提供计数器标志 (countflg = 10)的情况下(即，在有效像素的数量小于预定阈值ot 而大于预定阚值P的情况下)，评价值判断单元523将零矢量作为 检测矢量Ve存储在检测到的矢量存储器53中，同时将所获得的 运动矢量V作为初始候选矢量Vic存储在初始候选矢量存储器 524中。在从有效像素判断单元531提供计数器标志(countflg = 0) 的情况下(即，在有效像素的数量小于预定阈值p的情况下)，评 价值判断单元5 2 3将零矢量作为检测矢量Ve存储在检测到的矢 量存储器53中，并将其作为初始候选矢量Vic存储在初始候选矢 量存储器524中。也就是说，利用有效像素判断单元531,根据对于有效像 素数量的预定阈值ot判断是否将检测矢量Ve降低到零矢量。因 此，在预定阈值a约与图25中的有效像素判断单元404的阈值相 同的情况下，后面阶段的矢量分配单元54的检测矢量Ve的精度 约与图25的情况下的相同。此外，利用有效像素判断单元531,此时根据预定阈值卩(< 预定阈值a)判断是否将初始候选矢量Vic降低到零矢量。例如， 在有效像素的数量大于预定阈值|3的情况下，将初始候选矢量 Vic与检测矢量Ve进行比较，从而，如果检测处理结果的精度低， 则可以保持不为零矢量但却低的某 一 矢量值。因此，在将该矢量4企测处理用于其它周围块时，在4吏用Vic 作为初始候选矢量的情况下，候选矢量组中的零矢量的比例在 图25中的有效像素判断单元404中的有效像素的数量少千预定 阈值a的情况下低于降低到零矢量的情况，并且候选矢量组中 的矢量值的方差增大。结果，利用图46中的有效像素判断单元 531，候选矢量中存在接近真实运动量的矢量的可能性大于图25 中的有效像素判断单元404的情况，并且与图2 5中的有效像素判 断单元404相比，可以提高初始矢量的精度。图4 7是详细示出有效像素判断单元5 31的结构示例的框图。图47中的有效像素判断单元531与图26中的有效像素判断 单元404的相同在于均具有像素差计算单元421、像素判断单元 422、计数器423和计算执行判断单元425,而与图26中的有效像 素判断单元404的不同在于利用梯度法连续判断单元551取代梯 度法连续判断单元424。也就是说，梯度法连续判断单元551判断计算块中对于梯 度法计算有效的像素的数量是否大于预定阈值a，并且还参考有效像素数量计数器441判断计算块中对于梯度法计算有效的像素的数量是否大于预定阈值P 。在判断为计算块中对于梯度法计算有效的像素的数量大 于预定阈值a的情况下，梯度法连续判断单元551执行梯度法计 算，并且将用于将检测矢量Ve和初始矢量Vic确定为由梯度法计 算所获得的运动矢量V的计数器标志(Countflg= 1 )提供给计算执 行判断单元425、梯度法计算单元405和矢量评价单元523。另外，在判断为计算块中对于梯度法计算有效的像素的数 量小于预定阁值a而大于预定阈值P的情况下，梯度法连续判断 单元551执行梯度法计算，但是将检测矢量Ve确定为零矢量，116并且将用于将初始候选矢量Vic确定为利用梯度法计算所获得 的运动矢量V的计数器标志(countflg-10)提供给梯度法计算单 元405和矢量评价单元523。此外，在判断为计算块中对于梯度法计算有效的像素的数 量少于预定阈值p的情况下，梯度法连续判断单元551停止梯度 法计算，并将用于将检测矢量Ve和初始候选矢量Vic确定为是零 矢量的计数器标志(countflg-O)提供给梯度法计算单元405和矢 量评价单元523。接着参考图48~图62,对使用检测矢量作为初始候选矢量 的图17中的矢量检测单元52的情况与根据需要针对检测矢量和 初始候选矢量分别使用检测矢量的图4 5中的矢量检测单元5 2的 情况之间的比较进行说明。对于图48 ~图62中的示例，示出两个24P信号的时间点t的 帧t和时间点t+l的帧t+l，并且箭头T示出从该附图中上面的时 间点t的帧t到下面的时间点t+l的帧t+l的时间流逝方向。另外， 帧t上所示的分割线示出各块的界线，其中，在帧t上从该附图 的左边开始示出块AO ~ A2，并且从该附图的左边开始在帧t+l 上示出与帧t上未示出的块相对应的块B-3 ~ B-l和与块AO ~ A2 相对应的块B0 B2。也就是说，在帧t和帧t+l上，编号相同的 块表示相对应的块。另外，对于图48~图50、图56、图57、图60和图62,例如， 在帧t与帧t+l之间示出基于所检测到的运动矢量所生成的、时 间点t+0.4的插值帧Fl和时间点t+0.8的插值帧F2。对于图4 8的示例，是在图17的矢量检测单元5 2正确检测到 运动矢量的情况下所生成的插值帧的示例。也就是说，正确地 检测到真正的运动矢量V1作为与帧t和帧t+l之间相对应的块 (块AO和块BO)之间的运动，因此正确生成插值帧F1和插值帧F2上的图i象块al和a2。然而，如图49中的示例所示，未必经常正确地获得运动矢 量V1。例如，如果作为图17中的矢量检测单元52所执行的有效 像素判断的结果，对于梯度法计算所使用的有效像素的数量少，则作为对于具有少数量的有效像素的计算块的计算结果，所获 得的运动矢量V2大大偏离真正的运动矢量V1(即，在相对应的 块A0和块B0之间正确才全测到的运动矢量V1),因而运动矢量V2 的两端处的块(块A0和块B-2)不是相对应的块。因此，通过使用 运动矢量V2所生成的插值帧F1和插值帧F2上的图像块bl和b2 常常显示断开。相反，对于图17中的检测单元52，如以上参考图32所述， 在有效像素的数量等于或少于预定阈值的情况下，检测结果变 成零矢量SO。也就是说，由于有效像素的数量少，因而运动矢 量V2大大偏离真正的运动矢量V1，因此如图50的示例所示，作 为检测结果的运动矢量V2变成零矢量S0。因此，可以将使用零矢量S0所生成的插值帧F1和插值帧F2上的图像块cl和c2中的 断开抑制与没有运动补偿的情况下的插值处理大体相同的量，从而生成比较稳定的图像块cl和c2。另一方面，如以上参考图23所述，根据周围块(包括时空) 的检测结果选择用作迭代梯度法的初始偏移的初始矢量。在正确地将真正的运动矢量Vl检测为在帧t和帧t+l之间相 对应的块(块AO和块BO)(图48的情况)之间的运动的情况下，如 图51的示例所示，对于检测对象块Al,可能存在以下情况选量Vl,作为初始矢量VO。也就是说，使用周围块的检测结果作 为初始矢量具有以下优点作为检测对象块，有更大的可能性 被包括在同一对象中，并且，由于运动量相关性更高，因而，如果运动矢量是正确的，则获4寻块之间的运动传纟番效果，从而 导致运动检测处理的更快收敛。然而，对于上迷图50的情况，在根据检测结杲周围块不具 有正确的运动矢量V2，并且具有许多零矢量SO的情况下，对于 作为4企测对象的块Al ，容易地选择零矢量SO(在作为左边相邻 的块的块A 0中测到的运动矢量)作为初始矢量V 0,如图5 2的示例所示。此时，即4吏在4佥测对象块A1中4吏用初始矢量VO(零矢量SO) 进行梯度法计算，在块A1的计算块中，通过有效像素判断确定 的有效像素的数量也容易地变得小于预定阈值a，并且，如图 53的示例所示，；险测结果的运动矢量V2大大偏离真正的运动矢 量Vl,因此，如图54的示例所示，对于检测对象块Al,检测结 果同样常常变为零矢量。在这种情况下，而且，即使检测对象变成下一个块A2，也 存在高的可能性与图54的示例相似(即，检测结果变为零矢量 SO),因此，如图55的示例所示，零矢量SO不断传播，从而延迟 了运动检测处理的收敛(即，接近真正的运动矢量V1)。因此，对于使用用于检测矢量经过后面阶段的分配的相同 矢量和用作初始矢量选择的候选的初始候选矢量的图17中的矢 量检测单元52，在检测对象计算块的有效像素的数量等于或小 于预定阈值的情况下，使检测矢量为零矢量具有以下优点如 以上参考图50所述，抑制了插值帧上的图像块的断开，但是， 由于初始候选矢量也变成零矢量，因而延迟了运动检测处理的 收敛。也就是说，在有效像素的数量等于或小于预定阈值的情 况下，如图17中的矢量检测单元52中所示，如果检测矢量和初 始候选矢量变成零矢量，则这导致了质量下降。因此，对19使用两个阈值进行有效像素判断，并且根据有效像素判断结果， 可以根据有效像素的使用切换所检测到的运动矢量(是否用于后面阶段的分配处理、或者是否在矢量检测单元52内使用)。也就是说，在对检测对象块的计算块中的有效像素的数量和预定阈值a进4亍比4交的情况下，设置略^f氐于预定阈值a的新的 阈值(3(其中，|3<a),并且，当有效像素的数量小于预定阈值a 时，不是立即将运动矢量设置成零矢量；如果有效像素的数量 少于预定阈值a,则判断有效像素的数量是否大于预定阈值p。 在有效像素的数量小于预定阈值a而大于预定阈值P的情况下， 那么，如图56的示例所示，后面阶段的分配处理所使用的检测 矢量Ve变成零矢量SO，但是初始候选矢量Vic变为作为利用梯度 法计算所检测到的检测结果的运动矢量V 2 。具体来说，通过使零矢量SO作为后面阶段的分配处理所使 用的检测矢量Ve,例如，如图57的示例所示，类似于图50的示 例的情况，可以将使用零矢量S 0所生成的插值帧F1和插值帧F 2 上的图像块cl和c2的断开抑制与没有运动补偿情况下的插值处 理大体相同的量，因此，可以生成比较稳定的图像块cl和c2。另 一方面，通过使作为利用梯度法计算所检测到的检测结 果的运动矢量V2为初始候选矢量Vic，如图58的示例所示，在 将初始候选矢量Vic(V2)设置为下 一 检测对象块A1中的初始矢 量VO的情况下，与将零矢量SO设置为初始矢量VO的情况相比 (图52的情况)，初始矢量V0变得更接近真实的运动矢量V1。另外，此时，如图59的示例所示，通过对于检测对象块A1 进行使用初始矢量VO(运动矢量V2)的梯度法计算所获得的运 动矢量V3交初始矢量VO具有更高的可能性变得更接近真实的 运动矢量V1。此外，在对于检测对象块A1的运动检测处理中，即使在有效像素的#t量小，并且不能获得真实的运动矢量VI的情况下，将在后面阶段的分配处理所使用的检测矢量Ve修改成零矢量 SO,并且将作为利用梯度法计算所检测到的检测结果的运动矢 量V3设置为初始候选矢量Vic。通过将后面阶l更的分配处理所〗吏用的4全测矢量V"务改成 零矢量SO，如图60的示例所示，可将插值帧F1和插值帧F2上的 图像块d 1和d 2中的断开抑制与没有运动补偿的情况下的插值处 理大体相同的量，因此生成比较稳定的图像块dl和d2。另 一 方面，通过使作为利用梯度法计算所检测到的检测结 果的运动矢量V3作为初始候选矢量Vic,如图61的示例所示， 在将初始候选矢量Vic(V3)设置为下 一 检测对象块A2的初始矢 量V0的情况下，对于图52的示例的情况，与将零矢量SO设置为 初始矢量V 0的情况相比，初始矢量V 0 (V 3)变得更接近真实的运 动矢量V1。因此，如图62的示例所示，对于在检测对象块A2的有效像 素数量的判断，块A2的计算块中的有效像素的数量大于预定阈 值ot，提供了梯度法计算结杲的可靠性，并且通过在检测对象 块A2中进行使用初始矢量V0(运动矢量V3)的梯度法计算，增加 了检测到真实的运动矢量V1的可能性。因此，将真实的运动矢量V1正确地;险测为帧t和帧t+l之间 相对应的块(块A2和块B2)之间的运动，从而正确生成插值帧Fl 和插值帧F2上的图像块el和e2。因此，在检测对象块的计算块的有效像素少于预定阈值ot、 而大于预定阈值p的情况下，仅将检测矢量设置为零矢量，并 且将初始候选矢量设置为通过计算所获得的运动矢量，因此， 对于其它周围块的矢量检测处理，当使用Vic作为初始候选矢量 时，与在图25的有效像素判断单元404中将矢量降低到零矢量时间相位比，ji美选矢量组中的零矢量的比例变4寻较少，并且候选 矢量组中的矢量值的方差增大。因此，在图46的有效像素判断单元531的情况下，与在图 25的有效像素判断单元404的情况相比，候选矢量内存在接近真 实的运动量的矢量的可能性变得更高，并且与图25中的有效像 素判断单元404的情况相比，提高了初始矢量的精度。因此，可以提高梯度法计算的矢量检测处理的收敛速度， 同时维持后面阶段的分配处理所使用的检测矢量的精度与过去 情况大体相同。接着，参考图63的流程图说明图45中的矢量检测单元52的 迭代梯度法计算处理的示例。注意，图63中的步骤S551 ~ S558 进行与图32中的步骤S301 ~ S308类似的处理，因此适当省略对 其的详细i兌明。在步骤S551，选择器401选择偏移矢量Vn-l，将将所选择 的偏移矢量Vn-l输出给存储器控制信号生成单元402、梯度法 计算单元405和评价值计算单元61B。在步骤S552，存储器控制信号生成单元402根据来自信号 处理装置l中的未示出的控制单元的控制信号和来自选择器401 的偏移矢量V n -1 ，从存储在存储器4 0 3中的时间点t的图像帧t和 时间点t +1的图像帧t +1读取用作处理对象的计算块的对象像素 值，并将所读取的对象像素值提供给有效像素判断单元53 1和梯 度法计算单元405。在输入从存储器403所提供的对象像素值时，有效像素判 断单元531在步骤所553执行有效像素判断处理。该有效像素判 断处理是与以上参考图33所述的有效像素判断处理类似的处 理，并且省略对其的重复说明。利用步骤S553中的有效像素判断处理，通过使用从存储器403所提供的对象像素值计算帧t和帧t+l的计算块的像素差，在 有效像素数量计数器441中计数计算块中对于梯度法计算有效 的像素的数量。另外，对于在该计算处理中被判断为有效像素 的像素，获得水平方向和垂直上的梯度状态，并且通过无水平 梯度计数器442和无垂直梯度计数器443计数不具有水平梯度的 像素的数量和不具有垂直梯度的像素的数量。在步骤S 5 5 4 ，有效像素判断单元5 3 1的梯度法连续判断单 元551判断存储在有效像素数量计数器441中的值(有效像素的 数量)是否大于预定阔值oc。如果在步骤S554中判断为有效像素 的数量大于阈值ot，则梯度法连续判断单元551执行计算执行判 断单元425、梯度法计算单元405和评价判断单元541的梯度法计 算，并且输出用以确定运动矢量V的计数器标志(countflg二l)， 其中，利用梯度法计算获得检测矢量Ve和初始候选矢量Vic,并 且流程进入步骤S555。在从梯度法连续判断单元551输入计数器标志(countflag二l) 时，在步骤S555，计算执行判断单元425执行梯度法执行判断 处理。该梯度法执行判断处理是与以上参考图35所述的梯度法 执行判断处理类似的处理，并且省略对其的重复说明。对于步骤S555中的梯度法执行判断处理，参考有效像素数 量计数器441中的有效像素的数量、无水平梯度计数器442中的 不具有水平梯度的像素的数量和无垂直梯度计数器443中的不 具有垂直梯度的像素的数量，判断有效像素中单侧梯度的像素 的数量是否是大的数量，并且根据该判断结果，通过积分梯度 法计算处理和独立梯度法计算处理设置用于切换梯度法计算单 元405所进行的梯度法计算处理的梯度标志(gladflg),将所设置 的梯度标志输出给梯度法计算单元405和评价判断单元541，从 而流程进入步骤S556。在从梯度法连续判断单元551输入计数器标志(countflg二l) 并从计算执行判断单元425输入梯度标志时，梯度法计算单元 405在步骤S556执行梯度法计算处理。该梯度法计算处理是与 以上参考图36所述的梯度法计算处理类似的处理，并且省略对 其的重复说明。对于步骤S556中的梯度法计算处理，根据来自计算执行判 断单元425的梯度标志，至少执行以下其中一个处理使用有效 像素的积分梯度法计算处理、或使用有效像素中在水平方向上 具有梯度的像素的水平方向上的独立梯度法计算处理和使用有 效像素中在垂直方向上具有梯度的像素的垂直方向上的独立梯 度法计算处理，获得运动矢量Vn，并将所获得的Vn输出给矢量 评价单元523,并且流程进入步骤S557。在步骤S557,矢量评价单元523执行矢量评价处理。该矢 量评价处理是与以上参考图39所述的矢量评价处理类似的处 理，并且省略对其的重复说明。对于步骤S557中的矢量评价处理，通过梯度法计算单元 405获得运动矢量Vn的评价值dfv、偏移矢量Vn-l和零矢量，并 且基于来自计算执行判断单元425的梯度标志，对运动矢量Vn 与偏移矢量V n -1或零矢量的评价值d fv进行比较，根据比较结果 进行修改，并且获得运动矢量V。例如，在比较运动矢量Vn和 偏移矢量Vn-l的评价值dfv，并且确定运动矢量Vn的评价值dfv 的可靠性更高的情况下，将运动矢量Vn设置为运动矢量V，并 且将梯度法发计算的迭代数量增加一个计数。在步骤S558,评价判断单元541基于来自计算执行判断单 元425的梯度标志和梯度法计算的迭代数量，判断是迭代梯度计 算。也就是说，在梯度标志是用以执行积分梯度法计算处理的 标志(gladflg=4)、并且梯度法计算的迭代数量没有达到所设置的迭代的最大数量(例如，两次)的情况下，评价判断单元541在 步骤S558判断为迭代梯度法计算，并且将所获得的运动矢量V 输出给延迟单元406。延迟单元406保持从评价判断单元541输入的运动矢量V， 直到有效像素判断单元531和梯度法计算单元405的下一处理循 环为止，并且在下 一 处理循环将运动矢量V输出给选择器401 。 因此，流程进入步骤S551,并且重复此后的处理。另外，在梯度标志是除用以执行积分梯度法计算处理的标 志以外的标志、或者梯度法计算的迭代数量达到了所设置的迭 代的最大数量(例如，两次)的情况下，评价判断单元541在步骤 S558判断为不迭代梯度法计算(即，结束梯度法计算)，并且在 步骤S565，将所获得的运动矢量V与检测对象块相对应，并将 运动矢量V作为检测矢量Ve存储在检测到的矢量存储器5 3中， 并将运动矢量V作为初始候选矢量Vic存储在初始候选矢量存 储器524中。注意，此时，也将检测矢量Ve和检测矢量Ve的评 价值dfv输出给移位初始矢量分配单元105。另 一 方面，如果在步骤S554判断为有效像素的数量小于预 定阈值a,则梯度法连续判断单元551判断有效像素的数量是否 大于预定阈值(3 。如果在步骤S 5 5 9判断为有效像素的数量大于 预定阈值P，则梯度法类型判断单元551执行梯度法计算，但是 将检测矢量Ve确定为零矢量，并且将计数器标志(countflg= 10) 输出给梯度法计算单元405和评价判断单元541，其中，初始候 选矢量Vic被判断为通过梯度法计算所获得的运动矢量V，并 且，流程进入步骤S560。在从梯度法连续判断单元551输入计数器标志(countflg40) 时，计算执行判断单元4 2 5在步骤S 5 6 0中执行梯度法执行判断 处理。这里的梯度法执行判断处理是具有与上述步骤S555中的梯度法扭J亍判断处理类似的处理，因此省略对其的重复"i兌明。对于步骤S560中的梯度法执行判断处理，参考有效像素数 量计数器4 41中的有效像素的数量、无水平梯度计数器4 42中的 不具有水平梯度的像素的数量和无垂直梯度计数器443中的不 具有垂直梯度的像素的数量，判断有效像素中具有单侧梯度的 像素的数量是否大，并且根据该判断结果，设置用于在积分梯 度法计算处理和独立梯度法计算处理之间切换梯度法计算单元 405所进行的梯度法计算处理的梯度标志(gladflg)，从而将所设 置的梯度标志输出给梯度法计算单元405和评价判断单元541， 并且流程进入步骤S561。在从梯度法连续判断单元551输入计数器标志(coumflg^10) 时，当从计算执行判断单元425输入梯度标志时，梯度法计算单 元405在步骤S56U丸行梯度法计算处理。该梯度法计算处理具 有与上述步骤S556中的梯度法计算处理类似的处理，因此省略 对其的重复说明。对于步骤S561中的梯度法执行计算处理，根据来自计算执 行判断单元425的梯度标志，至少执行以下其中一个处理使用 有效像素的积分梯度法计算处理、或使用有效像素中在水平方 向上具有梯度的像素的水平方向上的独立梯度法计算处理和使 用有效像素中在垂直方向上具有梯度的像素的垂直方向上的独 立梯度法计算处理，获得运动矢量Vn，将所获得的运动矢量Vn 输出给矢量评价单元523 ，并且流程进入步骤所562。矢量评价单元523在步骤S562执行矢量评价处理。该矢量 评价处理是与上述步骤S559中的矢量评价处理类似的处理，并 且省略对其的重复说明。对于步骤S562中的矢量评价处理，从梯度法计算单元405 获得运动矢量Vn、偏移矢量Vn-l和零矢量的评价值dfv,并且基于来自计算扭J于判断单元425的梯度标志，对运动矢量Vn与 偏移矢量V n -1或零矢量的评价值d fv进行比较，并且根据比较结 杲进行修改，从而获得运动矢量V。注意，在这种情况下(在有 效像素的数量小于预定阈值a的情况下)，运动矢量Vn是利用少 于预定阈值a的有效像素的计算结果，并且预期运动矢量Vn的 量不会同利用多于预定阈值a的有效像素的计算结果一样高， 因此不执行迭代。评价判断单元541在步骤S563基于计数器标志(countflg40) 仅将检测矢量Ve确定为零矢量，在步骤S565中将零矢量作为检 测矢量Ve存储在与检测对象块相对应的检测到的矢量存储器 53中，并将所获得的运动矢量V作为初始候选矢量Vic存储在与 检测对象块相对应的初始候选矢量存储器524中。注意，此时， 还将检测矢量Ve和其评价值dfv输出给移位初始矢量分配单元 105。另 一 方面，如果在步骤S554判断为有效像素的数量小于预 定阈值P,则梯度法连续判断单元551停止梯度法计算，并将确 定检测矢量Ve和初始候选矢量Vic为零矢量的计数器标志 (countflg-0)输出给梯度法计算单元405和评价判断单元541,并 且流程进入步骤S564。相反，在来自梯度法连续判断单元551的计数器的值为0的 情况下，计算执行判断单元425和梯度法计算单元405不执行梯 度法计算。在步骤S564 ,评价值判断单元541基于计数器标志 (cojntflg二O)将检测矢量Ve和初始候选矢量Vic确定为零矢量，并 且在步骤S565，将零矢量作为检测矢量Ve存储在与检测对象块 相对应的检测到的矢量存储器53中，并且将零矢量作为初始候 选矢量Vic存储在初始候选矢量存储器524中。注意，此时，还将检测矢量Ve和其评价值dfv输出给移位初始矢量分配单元 105。不仅利用预定阈值a,而且还利用小于预定阈值a的阈值(3, 来判断计算块内有效像素的数量的比例，并且，在计算块内有效像素的数量小于预定阈值a、但大于阈值(3的情况下，不停止 梯度法计算，从而将梯度法计算结果设置成检测矢量，因此可 以提高梯度法计算的矢量检测处理的收敛速度，同时维持后面 阶段的分配处理所使用的检测矢量的精度与过去情况大体相同。此外，在计算块内有效像素的数量少于预定阈值a、但大 于阈值p的情况下，即使进行梯度法计算，也不进行迭代，因 此降低了计算负荷。注意，对于以上说明，说明了在阈值p之前判断预定阈值a 的示例，但是，可以比较先地判断阈值P。接着参考图6 4和图6 5的流程图说明图4 5所示的矢量检测 单元的迭代梯度法计算处理的另 一示例。对于图64所示的示例，示出以下情况下的处理判断为有 效像素的数量大于低于预定阈值a的预定阈值(3，进行积分梯度 法计算和独立梯度法计算两者，并且基于计数器标志和梯度标志的值，在评价判断单元5 41判断检测矢量Ve和初始候选矢量 Vic。注意，以下，将通过积分梯度法计算所获得的矢量描述为 积分计算结果矢量gv,将通过独立梯度法计算所获得的矢量描述为独立计算结果矢量sgv，将临时设置为检测矢量Ve的矢量描 述为临时检测矢量tve，并将临时设置为初始候选矢量Vic的矢 量描述为临时初始候选矢量tvi。在步骤S601,选择器401选择偏移矢量Vn-l，并将所选择1的偏移矢量Vn-l输出给存储器控制信号生成单元402、梯度法 计算单元405和评〗介值计算单元61B。根据来自信号处理设备l的未示出的控制单元的控制信号 的输入和来自选择器401的偏移矢量Vn-l，存储器控制信号生 成单元402乂人存储在存j诸器403中的时间点t的图^f象帧t和时间点 t+l的图 <象帧t+l读取预处理的计算块中待处理的值为f的像素。此时，在步骤S602，存储器控制信号生成单元402判断开t+l的 计算块中待处理的像素是否在框的外部。如果判断为帧t +1的计算块中感兴趣的像素在框的外部，则 在步骤S603,梯度法连续判断单元551将计数器标志的值设置 为3 ，并且将计数器标志(countflg=3)输出给计算执行判断单元 425、梯度法计算单元405和评价判断单元541。响应于此，在来自梯度法连续判断单元424的计数器标志 的值为3的情况下，计算执行判断单元425和梯度法计算单元405 不进行它们的处理。在步骤S604，基于计数器标志(countflg^3),评价判断单元 5 41临时将偏移矢量V n -1设置为临时检测矢量t v e (即，临时检测 矢量的水平方向分量tve.x = Vn-l.x，临时检测矢量的垂直方 向分量tve.y = Vn-l.y)，并且临时将零矢量设置为临时初始候 选矢量tvi(即，临时初始候选矢量的水平方向分量tvi.x = 0.0, 临时初始候选矢量的垂直方向分量tvi.y = 0.0)。在设置临时 检测矢量tve和临时初始候选矢量tvi后，流程进入图65的步骤 S615。如果判断为帧t+l的计算块中的感兴趣的像素没有在框的 外部，则在步骤S606,存储器控制信号输出单元402将从存储 器403读出的计算块的感兴趣的像素的值提供给有效像素判断 单元531和梯度法计算单元405。在输入从存储器403所提供的感兴趣的像素时，在步骤S606,有效〗象素判断单元531执行有效像素判断处理。该有效 像素判断处理是与以上参考图33所述的有效像素判断处理相同 的处理，因此省略对其的重复说明。对于在步骤S 5 5 3中所进行的有效像素判断处理，使用从存 储器4103所提供的感兴趣的像素计算帧t和帧t+l中的计算块之 间的像素差，从而在有效像素数量计数器441,对计算块中对于 梯度法计算有效的像素的数量。另外，对于计算块中被判断为 有效像素的像素，获得在水平和垂直各方向上的梯度状态，并 且分别通过无水平梯度计数器442和无垂直梯度计数器443计数 不具有水平梯度的像素的数量和不具有垂直梯度的像素的数在步骤S607，梯度法连续判断单元551判断存储在有效像 素数量计数器4 41中的值(有效像素的数量)是否小于预定阈值 P。如果在步骤S607中判断为有效像素的数量小于预定阈值P, 则梯度法连续判断单元551在步骤S608将计数器标志的值设置 为0 ，并将用于取消梯度法计算的计数器标志(countflg二O)输出 给计算执行判断单元425、梯度法计算单元405和评价判断单元 541 。响应于此，在来自梯度法连续判断单元424的计数器标志 的值为0的情况下，计算执行判断单元4 2 5和梯度法计算单元4 0 5 不进行它们各自的处理。在步骤S609，基于计数器标志(countflg^0),评价值判断单 元541临时设置零矢量为临时检测矢量tve(即，临时检测矢量的 水平方向分量tve.x二O.O，临时检测矢量的垂直方向分量tve.y =0.0),并且临时设置零矢量为临时初始候选矢量tvi(即，临时 初始候选矢量的水平方向分量tvi.x = 0.0，临时初始候选矢量的垂直方向分量tvi.y = 0.0)。在i殳置临时4全测矢量tve和临时 初始候选矢量tvi后，流程进入图65的步骤S615。如果在步骤S607判断为有效像素的数量大于预定阈值(3， 则在步骤S610，梯度法连续判断单元551判断积分梯度法计算 所使用的表达式(14)的分母是否为0。在所有有效像素都不具有 水平梯度的情况下、或者在所有有效像素都不具有垂直梯度的 情况下，积分梯度法计算所使用的表达式(14)的分母将为0。因 此，在这种情况下，除有效像素数量计数器441以外，梯度法连 续判断单元551参考无水平梯度计数器442和无垂直梯度计数器 443,并通过判断有效像素数量计数器441的值和无水平梯度计 数器442的值是否相同、以及有效像素数量计数器441的值和无 垂直梯度计数器443的值是否相同，来判断积分梯度法计算所使 用的表达式(14)的分母是否为0。如果在步骤S610判断为有效像素数量计数器441的值和无 水平梯度计数器442的值或无垂直梯度计数器443的值相同，则 判断为积分梯度法计算所使用的表达式(14)的分母为0，于是， 在步骤S611，梯度法连续判断单元551将计数器标志的值设置 为2 ，并且将用于取消梯度法计算的计数器标志(countflg二2)输 出给计算执行判断单元425、梯度法计算单元405和评价判断单 元541。响应于此，在来自梯度法连续判断单元424的计数器标志 的值为2的情况下，计算执行判断单元425和梯度法计算单元405 不进行它们的处理。在步骤S612,基于计数器标志(countflg^2)，评价判断单元 541临时设置偏移矢量Vn-l为临时检测矢量tve(即，临时检测矢 量的水平方向分量tve.x = Vn-l.x，临时4佥测矢量的垂直方向 分量tve.y = Vn-l.y)，并且临时设置偏移矢量Vn-l为临时初始4美选矢量tvi(即，临时初始4'美选矢量的水平方向分量tvi.x = Vn-l.x，临时初始4美选矢量的垂直方向分量tvi.y = Vn-l.y)。 在设置临时检测矢量tve和临时初始候选矢量tvi后，流程进入图 65的步骤S615。如果在步骤S610判断为有效像素数量计数器441的值和无 水平梯度计数442的值或无垂直梯度计数器443的值不相同，则 判断为积分梯度法计算所使用的表达式(14)的分母不为0，于 是，在步骤S613,梯度法连续判断单元551将计数器标志的值 设置为1，并且将用于执行梯度法计算的计数器标志(countflg-l) 输出给梯度法计算单元405和评价判断单元541。响应于此，在步骤S614，梯度法计算单元405和评价判断 单元541执行梯度法计算和临时设置处理。将参考图66的流程图 说明该梯度法计算和临时设置处理。在从梯度法连续判断单元551输入计数器标志(countflg二l) 时，有效像素判断单元471在步骤S631中对梯度法计算单元405 的各单元进行控制，以执行积分梯度法计算处理。已参考图37 的流程图说明了该积分梯度法计算处理，因此省略对其的说明。对于步骤S631中的积分梯度法计算处理，将有效像素作为 梯度法计算的对象，对有效像素的水平方向像素差Ax、有效像 素的垂直方向像素差Ay和有效像素的时间方向像素差At求积 分，并且使用积分后的梯度与表达式(14)的最小平方和获得积 分后的计算结果矢量gv，将矢量gv输出给矢量计算单元464。在步骤S632，矢量计算单元464将由积分梯度计算单元 463-1所获得的积分后的计算结果矢量gv与来自选择器401的偏 移矢量Vn-l相加，并且输出给矢量评价单元104。另外，在步骤S633，有效像素判断单元471对梯度法计算 单元405的单元进行控制，以执行水平方向独立梯度法计算处理。已参考图38的流程图说明了该水平方向独立梯度法计算处理，因此省略对其的说明。对于步骤S633中的水平方向独立梯度法计算处理，将具有 水平方向梯度的有效像素作为梯度法计算的对象，对有效像素 的水平方向像素差△ x和有效像素的时间方向像素差A t求积分， 并且使用积分后的梯度和表达式(23)获得独立计算结果矢量 sgv的水平方向分量(sgv.x),将该水平方向分量(sgv.x)输出给矢 量计算单元464。在步骤S634，有效像素判断单元471对梯度法计算单元405 的单元进行控制，已执行垂直方向独立梯度法计算处理。已参 考图38的流程图说明了该垂直方向独立梯度法计算处理，因此 省略对其的说明。对于步骤S634中的垂直方向独立梯度法计算处理，将具有 垂直方向梯度的有效像素作为梯度法计算的对象，对有效像素 的垂直方向像素差A y和有效像素的时间方向像素差A t进行求积 分，并且使用积分后的梯度和表达式(23)获得独立计算结果矢 量 sgv的垂直方向分量(sgv.y)， 一夸该垂直方向分量车俞出纟合矢量计 算单元464。矢量计算单元464至少输入来自独立梯度计算单元463-2的 独立计算结果矢量sgv的水平分量和垂直分量中的一个。在步骤 S635，矢量计算单元464相加来自选择器401的偏移矢量Vn-l的 相应的方向分量(水平分量和垂直分量其中至少一个)和由独立 梯度计算单元463-2所获得的独立计算结果矢量sgv的相应的方 向分量，并将结果输出给矢量评价单元104。注意，此时，将独立计算结果矢量sgv的方向分量中的未被 从独立梯度计算单元463-2输入的方向分量设置为零矢量。在步骤S636,梯度法连续判断单元551判断有效像素的数量是否小于预定阈值a。如果在步骤S636判断为有效像素的数 量小于预定阈值a，则在步骤S637,将计数器标志的值设置为 10,并将计数器标志(countflg^0)输出给评价判断单元541,其 中，将通过将积分后的计算结果矢量gv相加给偏移矢量Vn-l所 获得的值作为初始候选矢量(即，tvi = Vn-l + gv)。在步骤S638,基于计数器表示(countflg爿O)，评价判断单 元541临时设置零矢量作为临时检测矢量tve(即，临时检测矢量 的水平方向分量tve.x = 0.0，临时4全测矢量的垂直方向分量 tve.y = 0.0)，并且将通过将积分后的计算结果矢量gv相加给偏 移矢量Vn-l所获得的值临时设置为临时初始候选矢量tvi(即，临 时初始候选矢量的水平方向分量tvi.x = Vn-l.x + gv.x,临时 初始候选矢量的垂直方向分量tvi.y = Vn-l.y + gv.y)。在设置 临时纟企测矢量tve和临时初始〗'美选矢量tvi后，流禾呈进入图65的步 骤S615。如果在步骤S636判断为有效像素的数量大于预定阈值a， 则将值已被设置为1的计数器标志(countflg= 1 )输出给计算执行 判断单元425,并且在步骤S639，计算执行判断单元425执行梯 度法执行判断处理。该梯度法执行判断处理是与以上参考图3 5 所述的梯度法执行判断处理相同的处理，并且省略对其的重复 说明。对于步骤S339的梯度法执行判断处理，参考有效像素数量 计数器441中的有效像素的数量、无水平梯度计数器442的不具 有水平梯度的像素的数量和无垂直梯度计数器443的不具有垂 直梯度的像素的数量，判断具有单侧梯度的有效像素的数量是 否大，并且根据该判断结果，根据积分梯度法计算处理和独立 梯度法计算处理设置用于切换梯度法计算单元405进行的梯度 法计算的梯度标志(gladflg)，将所设置的梯度标志输出给梯度法计算单元405和评价判断单元541 ，并且处理进入步骤S640。在步骤S640 ，基于计数器标志(countflg二l)和梯度标志的 值，评价判断单元541临时设置临时检测矢量tve和临时初始候 选矢量tvi。也就是it,在梯度标志的值为l的情况下，々i定水平方向 是可靠的，因此临时设置临时设置的检测矢量的水平方向分量 tve.x = Vn-l.x + sgv.x和临时设置的4企测矢量的垂直方向分量 tve.y = 0.0,从而临时设置临时设置的初始候选矢量的水平方向 分量tvi.x = Vn-l.x + sgv.x和临时设置的初始候选矢量的垂直 方向分量tvi.y = 0.0。在梯度标志的值为2的情况下，假定垂直方向是可靠的， 因此临时设置临时设置的检测矢量的水平方向分量tve.x = 0.0 和临时设置的检测矢量的垂直方向分量tve.y = Vn-l.y + sgv.y ,从而临时设置临时设置的初始候选矢量的水平方向分 量tvi.x = O.O和临时设置的初始候选矢量的垂直方向分量 tvi.y = Vn-l.y + sgv.y。在梯度标志的值为3的情况下，假定水平或垂直方向都不 是可靠的，因此临时设置临时设置的检测矢量的水平方向分量 t v e. x = 0.0和临时设置的检测矢量的垂直方向分量t v e. y = 0.0, 从而临时设置临时设置的初始候选矢量的水平方向分量tvi.x =O.O和临时i殳置的初始候选矢量的垂直方向分量tvi.y = 0.0。在梯度标志的值为4的情况下，假定由于较少的单侧梯度 像素因而水平和垂直方向两者都是可靠的，因此临时设置临时 设置的检测矢量的水平方向分量tve.x = Vn-l.x + sv.x和临时 设置的检测矢量的垂直方向分量tve.y = Vn-l.y + sv.y,从而 临时设置临时设置的初始候选矢量的水平方向分量tvi.x = Vn-1 .x + sv.x和临时设置的初始候选矢量的垂直方向分量tvi.y=Vn-l.y + sv.y。只在这种情况下，将迭^的次lt增加l。在梯度标志的值为0的情况下，尽管存在一些单侧梯度像 素，但是假定水平和垂直方向两者一定程度都是可靠的，因此 临时设置临时设置的检测矢量的水平方向分量tve.x = Vn-l.x + sgv.x和临时i殳置的纟全测矢量的垂直方向分量tve.y = Vn-l.y + sgv.y,从而临时设置临时设置的初始候选矢量的水平方向分 量tvi.x = Vn-l.x + sgv.x和临时设置的初始候选矢量的垂直方 向分量tvi.y = Vn-1 .y + sgv.y 。在步骤S640中的设置临时检测矢量tve和临时初始候选矢 量tvi之后，处理进入图65的步骤S615。在步骤S615，评价判断单元541判断临时设置的矢量(临时 检测矢量tve和临时初始候选矢量tvi)的限制。如果判断为矢量 的值没有超过预定矢量值，则原样保留临时设置的矢量，但是， 如果判断为矢量超过了预定矢量值，则将临时设置的矢量设置 为零矢量。在步骤S616,评价判断单元541基于计数器标志和梯度标 志值，对于临时4企测矢量tve和临时初始〗'美选矢量tvi进4于矢量评价处理。也就是说，根据计数器标志值和梯度标志值，评价判断单 元541计算偏移矢量Vn-1 、零矢量、临时4全测矢量tve和临时初 始候选矢量t v i的固定值，并且将临时检测矢量t v e的评价值d fv 和偏移矢量V n -1的评价值d fv或零矢量的评价值d fv与临时初始 候选矢量tvi的评价值dfv和偏移矢量Vn-1的评价值dfv或零矢量 的评价值dfv进行比较，并且利用具有小的评价值dfv(即，高可 靠性)的矢量更新(改变)临时检测矢量tve和临时初始候选矢量 tvi。在步骤S617,评价判断单元541基于计数器标志值、梯度标志值和迭代的次数，判断是否结束梯度法计算的迭代。在计 数器标志值为l、梯度标志值为4、且已超过规定的迭代次数的情况下，在步骤S617做出迭代的判断，并且流程返回到图64的 步骤S601，并重复随后的处理。也就是说，此时，评价判断单元541将在步骤S616中利用 矢量评价结果更新的临时检测矢量tve纟是供给延迟单元406。如果在步骤S617判断为结束迭代，则在步骤S618，评价判 断单元541确定4企测矢量Ve为临时4企测矢量tve，以与4全测的块 相关的方式将所确定的#r测矢量Ve存储在#r测到的矢量存储 器53中，确定初始候选矢量Vic为临时初始候选矢量tvi，并且以 与检测的块相关的方式将所确定的初始候选矢量Vic存储在初 始候选矢量存储器524中。将参考图67说明在上述步骤S616和S617中进行的处理。图67示出标志的各值的矢量评价的比较对象和迭代判断结果。注意，仅在计数器标志的值为"l"的情况下才设置梯度标 士在计数器标志的值为"O"的情况下，不设置梯度标志，因此 步骤S616中的矢量评价中的比较为"无"，并且确定步骤S617中 的迭代判断为"不"。在计数器标志的值为"l",并且梯度标志为"l"的情况下， 步骤S616中的矢量评价的比较对象为"零矢量"，并且确定步骤 S617中的迭代判断为"不"。在计数器标志的值为"1"，并且梯度标志为"2"的情况下， 步骤S616中的矢量评价的比较对象为"零矢量"，并且确定步骤 S617中的迭代判断为"不"。在计数器标志的值为"l",并且梯度标志为"3"的情况下， 步骤S616中的矢量评价的比较对象为"零矢量"，并且确定步骤S617中的迭代判断为"不"。在计数器标志的值为"l"，并且梯度标志为"4"的情况下， 步骤S616中的矢量评价的比较对象为"偏移矢量(Vn-l)",并且 确定步骤S617中的迭代判断为'^艮据比较结果"。也就是说，如 果没有完成预定次数的迭代，则对作为偏移矢量的与比较结杲 相对应的矢量进行迭代。在计数器标志的值为"2"的情况下，没有设置梯度标志，并 且步骤S616中的矢量评价中的比较结果为"偏移矢量(Vn-l)", 而且，由于该偏移矢量与临时冲企测矢量tve相同，因而确定步骤 S617中的迭代判断为"不"。在计数器标志的值为"3"的情况下，没有设置梯度标志，并 且步骤S616中的矢量评价中的比较对象为"偏移矢量(Vn-l)"， 而且，由于该偏移矢量与临时检测矢量tve相同，因而确定步骤 S617中的迭代判断为"不"。在计数器标志的值为"10"的情况下，没有设置梯度标志， 步骤S616中的矢量评价的比较为"不"，并且确定步骤S617中的 迭代判断为"不"。注意，在图67的示例中，尽管该附图中没有示出计数器标志值为"r，、且梯度标志为"o"的情况，但是，以与梯度标志为"i、2、 3"的情况相同的方式，在步骤S616中的矢量评价的比较对 象为"零矢量"，且确定步骤S617中的迭代判断为"不"。如上所述，可以做出以下配置其中，如果需要，进行积 分梯度法计算和独立梯度法计算两者，均基于计数器标志临时 设置检测矢量和初始候选矢量，并且均最终基于计数器标志和 梯度标志确定检测矢量和初始候选矢量。注意，对于上述图45中的矢量检测单元52,为了作为分离 矢量保持检测到的矢量和初始候选矢量，还与检测到的矢量存储器53分开向该结构设置初始候选矢量存储器524。因此，图45 中的矢量检测单元52的存储容量是图17中的矢量检测单元52的 存储容量的两倍。这里，将参考图68说明结构示例，其中，作 为分离矢量保持检测到的矢量和初始候选矢量，而不另外设置 初始候选矢量存储器524。图68是示出图45中的矢量检测单元52的另 一结构示例的 框图。图68中的矢量检测单元52与图17中的矢量检测单元52的 相同在于均具有预滤波器102-1和102-2、移位初始矢量分配单 元105、评价值存储器106、移位初始矢量存储器107和迭代梯度 法计算单元522，而预图17中的矢量检测单元52的不同在于以 图17中的初始矢量选择单元101取代初始矢量选择单元521，以 矢量评价单元561取代矢量评价单元523,并且删除初始候选矢 量存储器524。另外，图6 8所示的检测到的矢量存储器5 3包括零矢量标志 区域571,其中，由矢量评价单元561写入一个检测块的l位零矢 量标志(zflg)。矢量评价单元561具有评价值计算单元61B,利用评价值计 算单元61B获得来自迭代梯度法计算单元522的运动矢量 Vn-l(或初始矢量VO)和运动矢量Vn的评价值dfv，从而基于由评 价值计算单元61B所获得的评价值对迭代梯度法计算单元522 进行控制，重复执行梯度法计算，并且最终基于评价值dfv选择 具有高可靠性的一个矢量。此时，对于图45中的矢量评价单元523的情况下，矢量评 价单元561根据来自迭代梯度法计算单元522的运动矢量 Vn-l(或初始矢量VO)、运动矢量Vn和零矢量，与来自迭代梯度 法计算单元522的计数器标志和各矢量的评价值dfv相对应，获得后面的分配处理所使用的检测矢量Ve和初始矢量选择单元 101选择初始矢量时所使用的初始候选矢量Vic。根据来自迭代梯度法计算单元522的计数器标志，在检测 矢量Ve和初始候选矢量Vic相同的情况下，矢量评价单元561将 零矢量标志设置为O，将检测矢量Ve存储在检测到的矢量存储 器53中，并且将零矢量标志(sflg- O)写到零矢量标志区域571。根据来自迭代梯度法计算单元522的计数器标志，在检测 矢量Ve和初始候选矢量Vic不相同的情况下(即，在检测矢量Ve 为零矢量的情况下)，矢量评价单元561将零矢量标志设置为1, 将初始候选矢量Vic存储在检测到的矢量存储器53中，并且将零 矢量标志(sflg- l)写到零矢量标志区域571。相应地，下游的矢量分配单元54基于零矢量标志，从检测 到的矢量存储器53读取检测矢量。也就是说，在零矢量标志为0 的情况下，矢量分配单元54从与检测到的矢量存储器53相对应 的块的位置读取检测矢量，但是在零矢量标志为l的情况下，矢 量分配单元54不从与检测到的矢量存储器53相对应的块的位置 读取检测矢量，而是将零矢量设置为检测矢量。另一方面，以与图17中的检测到的矢量存储器53相同的方 式，初始矢量选择单元101从检测到的矢量存储器53的相应块的 位置读出初始候选矢量。也就是说，可以说零矢量标志是矢量分配单元54读取检测矢量必需的标志。图69是示出迭代梯度法计算单元522和矢量评价单元561的结构的框图。图69所示的迭代梯度法计算单元522是与图46中的迭代梯 度法计算单元522的结构相同的结构。也就是说，在迭代梯度法 计算单元522的有效像素判断单元531判断为计算块中对于梯度法计算有效的^象素的数量大于预定阈值a的情况下，将计数器 标志(countflg=l)提供给梯度法计算单元405和矢量评价单元 561，并且，在判断为计算块中对于梯度法计算有效的像素的数 量小于预定阈值a、而大于阈值阈值p的情况下，将计数器标志 (countflg^0)提供给梯度法计算单元405和矢量评价单元561 , 并且在判断为计算块中对于梯度法计算有效的像素的数量小于 预定阈值(3的情况下，将计数器标志(countflg-0)提供给梯度法 计算单元405和矢量评价单元561。图69中的矢量评价单元561与图46中的矢量评价单元523 的相同点在于均具有评价值计算单元61B,而与图46中的矢量 评价单元523的不同在于利用评价判断单元581取代评价判断 单元541。评价判断单元581判断是否梯度法计算处理的迭代，并且 基于从有效像素判断单元531所提供的计数器标志和梯度标志， 获得检测矢量Ve和初始候选矢量V i c中的每 一 个。也就是说，如果需要，评价判断单元581比较评价值计算 单元61B所计算的评价值dfv，从而选择具有高可靠性的评价值 dfv,并获得运动矢量V。另外，在从有效像素判断单元531提供计数器标志 (countflg^)的情况下，评价判断单元581判断是否进行梯度法 计算处理的迭代，并且在判断为进行迭代的情况下，将所获得 的运动矢量V输出给延迟单元406。在判断为不进行迭代的情况 下，评价判断单元581根据计数器标志的值，将所获得的运动矢 量V存储在检测到的矢量存储器53中，作为检测矢量Ve或初始 候选矢量Vic,并且还存储零矢量标志。也就是说，在来自有效像素判断单元531的计数器标志的 值为1的情况下(在有效像素的数量大于预定阈值a的情况下)，量Vic是同 一矢量。另夕卜，在来自有效 像素判断单元531的计数器标志的值为0的情况下(在有效像素 的数量小于预定阈值(3的情况下)，检测矢量Ve和初始候选矢量 Vic是同一矢量(即，零矢量)。另 一方面，在来自有效像素判断单元531的计数器标志的 值为lO的情况下(在有效像素的数量小于预定阈值a、但大于预 定阈值P的情况下)，检测矢量Ve为零矢量，并且是不同于初始 候选矢量Vic的矢量。因此，在来自有效像素判断单元531的计数器标志的值为1 的情况下，评价值判断单元581将零矢量标志的值设置为0，并 存储检测矢量Ve, /人而使得初始矢量选择单元101和矢量分配 单元54两者使用存储在检测到的矢量存储器53中的矢量，此时， 还将零矢量标志(zflg)写到零矢量标志区域571。另外，同样，在来自有效像素判断单元531的计数器标志 的值为0的情况下，评价值判断单元581将零矢量标志的值设置 为O,并存储检测是Ve(-零矢量)，从而使得初始矢量选择单元 IOI和矢量分配单元54两者均使用存储在检测到的矢量存储器 53中的矢量，此时，还将零矢量标志(zflg)写到零矢量标志区域 571。此外，在来自有效像素判断单元5 31的计数器标志的值为 10的情况下，评价值判断单元581将零矢量标志的值设置为1, 并存储初始候选矢量Vic(=零矢量)，从而仅使初始矢量选择单 元101可以使用存储在检测到的矢量存储器53中的矢量，而矢量 分配单元54使用零矢量，此时，还将零矢量标志(zflg二l)写到零 矢量标志区域571。储器53中的零矢量标志的区域每块扩展一位，就可以有与具有初始候选矢量Vic的存储器 一样的优点。接着将参考图7 0的流程图说明图6 9所示的评价判断单元 581的矢量存储控制处理。注意，图70是图63的步骤S565中的 用于存储检测矢量和初始候选矢量的处理的另 一 示例。也就是 说，图68所示的矢量检测单元52的梯度法计算与以上参考图63 所述的图45所示的矢量检测单元52所进行的梯度法计算的不同 仅在于步骤S565中的评价判断单元581的检测矢量和初始候 选矢量的存储控制处理，而其它处理是基本上相同的处理，因 此省略对其的i兌明。在步骤S660,评价判断单元581判断来自有效像素判断单 元531的计数器标志的值是否为10。在步骤S660,如果判断为计数器标志的值不为10(即，为0 或l)，则评价判断单元581在步骤S661中将零矢量标志的值设置 为O,并且在步骤S662，将在图63的步骤S557中所获得的运动 矢量V作为检测矢量Ve ，从而将该检测矢量Ve与零矢量标志 (zflg=0)—起存储在检测到的矢量存储器63中。也就是说，与检测块相关联地存储检测矢量Ve，并且将零 矢量标志(zflg-0)与检测块相关联地存储在已被扩展1位的零矢 量标志区域571中。与此相对应，初始矢量选择单元101从检测到的矢量存储 器53中的相应块位置读出初始候选矢量，并且后面的矢量分配 单元54根据零矢量标志(zflg二0)从检测到的矢量存储器53中的 相应块位置读出检测矢量。另 一方面，在步骤S660,如果判断为计数器标志的值为10， 则在步骤S663,评价判断单元581将零矢量标志的值设置为1, 并且在步骤S664将在图63的步骤S557中所获得的运动矢量V与零矢量标志(zflg:l)—起，存储在检测到的矢量存储器53中，作为初始候选矢量。也就是说，与检测块相关联地存储初始候选矢量Vic，并且将零矢量标志(Zflg:l)与检测块相关联地存储在已被扩展l位的零矢量标志区域571中。与此相对应，初始矢量选择单元101从检测到的矢量存储 器53中的相应块位置读出初始候选矢量，并且后面的矢量分配 单元54根据零矢量标志(zflg-l)，不从检测到的矢量存储器53 中的相应块位置读出检测矢量，而是将零矢量作为检测矢量。如上所述，即使利用不具有初始候选矢量Vic的存储器(图 4 5中的初始候选矢量存储器5 2 4)的配置，仅通过将检测到的矢 量存储器53中的零矢量标志的区域每块扩展一位，就可以有与 具有初始候选矢量V i c的存储器 一 样的优点。也就是说，不仅使用预定阈值a，而且还使用小于预定阈 值a的预定阈值j3，来判断计算块内有效像素的数量的比例，并 且，在计算块内的有效像素的数量小于预定阈值a、但大预定 阈值于(3的情况下，将梯度法计算结果作为初始候选矢量，而 不取消梯度法计算，并且将零矢量作为检测矢量，因此可以提 高梯度法计算的矢量检测处理的收敛速度，同时维持后面的分 配处理中所使用检测矢量约与传统的相同精度。接着说明矢量分配单元54的详细结构。图71是矢量分配单元54的结构的图。图71示出其结构的矢 量分配单元5 4进行以下处理使用2 4 P信号中的时间点t的图像 帧t和时间点t+l的图像帧t+l,将在帧t中检测到的运动矢量分配 给分配矢量存储器55中的插值60P信号的插值帧中的像素。在图71所示的示例中，将时间点t的图像帧t和时间点t +1的 图像帧t+l输入给像素信息计算单元701、以上参考图6所述的评价值计算单元61和感兴趣的像素差计算单元703。像素信息计算单元701从左上像素开始按照光栅扫描顺序 连续获取检测到的矢量存储器53中的帧t中的像素处所检测到 的运动矢量，并在下 一 时间点的帧t+l的方向上延伸所获取的运 动矢量，并计算延伸的运动矢量和插值帧的交叉点。然后，像 素信息计算单元701基于已计算出的该运动矢量和插值帧的交 叉点，设置将在插值帧中将该运动矢量分配至的像素(以下还称 作为分配像素)，并且将该运动矢量和分配像素的位置的信息输 出给矢量选择单元705。另外，像素信息计算单元701计算分配 像素和该运动矢量相关的帧t上的位置P和帧t+l上的位置Q,并 且将计算出的帧t和帧t+l上的位置信息输出给评价值计算单元 61和感兴趣的<象素差计算单元703。在从像素信息计算单元701接收分配像素和运动矢量相关 的帧t和帧t+l上的位置信息的输入时，为了计算帧t的位置P和 帧t+l的位置Q的评价值DFD,评价值计算单元61设置以各位置 P和位置Q为中心的特定DFD计算范围(mxn)，并且判断DFD计 算范围是否在图像框内。在判断为DFD计算范围在图像框内的 情况下，评价值计算单元61使用DFD计算范围进行计算，从而 对于运动矢量获得分配像素的评价值DFD,并且将所获得的评 价值DFD输出给矢量评价单元704。在从像素信息计算单元701输入分配像素和运动矢量相关 的帧t和帧t+l上的位置信息时，感兴趣的像素差计算单元703使 用帧t的位置P和帧t+l的位置Q，获得分配像素的亮度差的绝对 值，并且将所获得的亮度差的绝对值输出给矢量评价单元704。矢量评价单元704由像素差判断单元711和评价值判断单 元712构成。像素差判断单元711从感兴趣的像素差计算单元703 输入的分配像素的亮度差的绝对值是否小于预定阈值。如果像素差判断单元711判断为从感兴趣的像素差计算单元703输入的 分配像素的亮度差的绝对值小于预定阈值，则评价值判断单元 712判断从评价值计算单元61输入的分配像素的评价值DFD是 否小于矢量选择单元705具有的DFD表中的最小评价值。如果评 价值判断单元712判断为分配像素的评价值DFD小于DFD表中 的最小评价值，则判断为与分配像素相对应的运动矢量的可靠 性高，并且将分配像素的评价值DFD输出给矢量选择单元705。矢量选择单元705具有用于保持插值帧中的各像素的最小 评价值的DFD表，并且在DFD表中预先保持将零矢量分配给插 值帧中的各像素情况下的评价值DFDO，作为插值帧中的各像素 的最小评价值。在从矢量评价单元704进行输入分配像素的评价 值DFD的输入时，矢量选择单元705基于来自像素信息计算单元 701的分配像素的位置信息，将所分配标志存储器56的标志重写 成l(真)，并且将分配像素的DFD表中的最小评价值重写成分配 像素的评价值DFD。另外，矢量选择单元705基于来自像素信息 计算单元701的分配像素的位置信息，将来自像素信息计算单元 701的运动矢量分配给分配矢量存储器55中的分配像素。尽管图71的示例说明了图17和图45中的检测到的矢量存 储器53的情况，但是在图68的示例中从检测到的矢量存储器53 获取运动矢量时，像素信息计算单元701根据与帧t中的像素相 对应的重写的零矢量标志的值，获取在帧t中的像素处所检测到 的运动矢量或零矢量。接着说明运动矢量的亚像素精度。对于以上述表达式(l)所表示的DFD评价计算，帧t中的像素 位置P移位矢量V的量的帧t +1中的相位p+v实际上通常与2 4 p信 号的帧t+l中的像素位置不相匹值DFD的计算，必须利用这种或那种方法生成亚像素相位中的亮度值。与此相对应，有这样一种方法不改变帧t的像素位置p而 将其移位了矢量v的量的帧t+l中最靠近相位p+v的像素的亮度 值。然而，利用该方法，舍弃了待评价运动矢量的亚像素分量， 这意味着丢弃了运动矢量的亚像素分量，并且降低了由此所获 得的评价值DFD的可靠性。因此，对于本发明，采样使用周围四个像素的亮度值的四 点插值。图72是示出根据本发明的四点插值的概念的图。在图 72中，箭头X表示帧t+l的水平方向，箭头Y表示帧t+l的垂直方 向。在帧t+l中，白色圏表示帧t+l中的像素位置，而黑点表示 亚像素(颗粒)位置。另外，在窗口E中放大示出帧t+l中最左上 的黑点p+v和4个周围像素。在窗口E中，白色圈中的拉丁字母 表示四个周围像素的亮度值。如果认为帧t+l中的最左上的黑点p+v是帧t中的像素位置P 移位矢量V的量的位置p+v,则可以 -使用相位p+v的水平方向的 亚^f象素分量a和其垂直方向的亚4象素分量P、以及相位p+v的四 个周围像素的亮度值L0 ~ L4，作为四个周围像素的距离的反比 的和，获得相位p+v的亮度值Ft+, (p+v)。也就是说，可以以下 面的表达式(31)表示亮度值Fw (p+v)。[数学表达式30] Ft+i(p+v)=(l-a)(l-(3)LO+a(l-P)Ll+(l-a)(3L2+aPL3 …(31)如上所述，使用通过四点插值处理所获得的亮度值Ft" (p+v)进行DFD评价计算，这使得可以抑制评价值DFD的可靠性 的下降，而不增加硬件实现的成本。注意，尽管在以下矢量分 配时的评价DFD和亮度差的绝对值等的计算中说明了使用该四 点插值的示例，但是，四点插值当然可应用于上述初始矢量选择处理和矢量检测处理等对矢量进行评价的情况下的评价值dfv(评价值mDFD)的计算、后述分配补偿处理等中用于对矢量 进行评价的评价值DFD的计算、以及后述图像插值处理。接着参考图73所示的流程图详细说明矢量分配。将作为 24P信号的原始帧的图像的时间点t的帧t和时间点t+l处的帧t+l 输入给像素信息计算单元701、评价值计算单元61和感兴趣的像 素差计算单元703。在输入新的原始帧时，像素信息计算单元7 01对矢量选择 单元705进行控制，以在步骤S701将所分配标志存储器56的所 分配标志初始化成O(假)，并且在步骤S702以零矢量初始化分配 矢量存储器55。。因此，结果将零矢量分配给未分配运动矢量的 像素。另外，在步骤S703,像素信息计算单元701对评价值计算 单元61进行控制，从而使用零矢量计算插值帧内的所有像素的 DFDO值，并且对矢量选择单元705进行控制，以将由评价值计 算单元61计算出的零矢量的评价值DFDO存储在DFD表中，作为 插值帧中各像素的最小评价值。也就是说，在步骤S703，评价 值计算单元61使用零矢量计算出插值帧中所有像素的评价值 DFD，并且通过矢量评价单元704将计算出的评价值DFDO输出 给矢量选择单元705。然后矢量选择单元705存储通过矢量评价 单元704输入的评价值DFDO ，作为与DFD表相对应的像素的最 小评价值。在步骤S704，像素信息计算单元701从检测到的矢量存储 器53中的原始帧选择像素。注意，从帧的左上开始按照光栅扫 描顺序进行像素的选择。在步骤S705，像素信息计算单元701执行像素位置计算处 理。具体地，像素信息计算单元701计算所获取的运动矢量与插值帧之间的交叉点，并且4艮据基于运动矢量和插^直帧所计算出 的交叉点设置分配像素。此时，如果交叉点与插值帧中的像素位置相匹配，则像素信息计算单元701将该交叉点设置为分配像素。另一方面，如果交叉点与插值帧中的像素位置不匹配，则像素信息计算单元701将插值帧中交叉点附近的四个像素设置 为分配像素。像素信息计算单元701通过将所获取的运动矢量移位至已 设置的分配像素(平行移动)，计算与所获取的运动矢量相关的 原始帧中的位置，并且使用各分配像素作为基准，获得移位运 动矢量与原始帧之间的交叉点的位置，该位置是评价值计算单 元61和感兴趣的像素差计算单元703获得评价值DFD和亮度差的绝对值所必需的。在步骤S706，像素信息计算单元701选择计算出的分配像 素，并且将所选择的分配像素和其运动矢量输出给矢量选择单 元705。同时，^象素信息计算单元701已所选择的分配像素为基 准，将与运动矢量有关的原始帧的位置信息输出给评价值计算 单元61和感兴趣的像素差计算单元703。注意，在步骤S706， 如果存在多个分配像素，则像素信息计算单元701从左上像素开 始进行选择。在步骤S707，像素信息计算单元701对于所选择的分配像 素执行分配矢量评价处理。后面将参考图74详细说明该分配矢 量评价处理，其中，在该分配矢量评价处理中，获得分配像素 处的运动矢量的评价值DFD和亮度差的绝对值，判断分配像素 处的运动矢量的可靠性，并且作为该判断的结果，利用被判断 为具有高可靠性的运动矢量重写分配矢量存储器55中的运动矢 量。在步骤S708，像素信息计算单元701判断是否结束了对所有分配〗象素的处理。如果在步骤S708判断为没有结束对所有分 配像素的处理，则流程返回到步骤S706，选择下一分配像素， 并且重复随后的处理。如果在步骤S 7 0 8判断为结束了对所有分配像素的处理，则 在步骤S709， -泉素信息计算单元701判断是否结束了对检测到 的矢量存储器53中的帧中的所有像素的处理。如果在步骤S709 判断为没有结束对检测到的矢量存储器53中的帧中的所有像素 的处理，则流程返回到步骤S704,选择检测到的矢量存储器53 中的原始帧中的下一像素，并且重复随后的处理。另外，如果 在步骤S709判断为结束了对于检测到的矢量存储器53中的帧 中的所有^f象素的处理，则结束矢量分配处理。4妄着参考图7 4的流程图详细i兌明分配矢量评 <介处理。注 意，图74示出在图73的步骤S707中所进行的分配矢量评价处理 的示例。在图73的步骤S706中，像素信息计算单元701以所选择的 分配像素为基准，获得与运动矢量相关的原始帧中运动矢量的 位置，并且将所获得的原始帧中的位置信息输入给评价值计算 单元61和感兴趣的像素差计算单元703。在从像素信息计算单元7 01输入原始帧中的位置信息时， 在步骤S741 ，评价值计算单元61获得以帧t和帧t+l上的各位置 为中心的DFD计算范围(mxn),并且在步骤S742，判断所获得的 DFD计算范围是否在图像框内。在步骤S742,如果判断为DFD计算范围没有在图像框内， 则判断为运动矢量不是分配给分配像素的分配候选矢量，并且 跳过步骤S743 ~ S749的处理，结束分配矢量评价处理，并且处 理返回到步骤S708。因此，从候选中清除以帧t上的位置P和帧 t+l上的位置Q为中心的DFD计算范围不在图像框内的运动矢量。在步骤S742 ，如果判断为所获得的DFD计算范围在图像框 内，则在步骤S743，评价值计算单元61使用被判断为在图像框 内的DFD计算范围计算分配像素的评价值DFD,并将所获得的 评价值DFD输出给评价值判断单元712。此时，在原始帧中的位 置为亚像素的情况下，使用上述四点插值以获得原始帧上的交 叉点处的亮度值，从而计算分配像素的评价值DFD。另 一方面，在从像素信息计算单元701输入原始帧上的位 置信息时，在步骤S744,获得分配像素处的亮度差的绝对值dp， 并且将所获得的亮度差的绝对值d p输出给像素差判断单元711 。 注意，同样，在这种情况下，如果原始帧中的位置为亚像素， 则感兴趣的像素差计算单元7 0 3使用上述四点插值获得原始帧 上的交叉点处的亮度值，从而计算分配像素的亮度差的绝对值 dp。在步骤S 7 4 5 ，像素差判断单元711判断分配像素的亮度差 的绝对值dp是否等于或小于预定阈值。如杲在步骤S745判断为 分配像素的亮度差的绝对值d p大于预定阈值，则判断为帧t和帧 t+l上的交叉点属于不同对象的可能性高，即，分配像素处的运 动矢量的可靠性低，并且不用作分配给分配像素的分配候选矢 量，因此处理跳过步骤S746 S749,结束分配矢量评价处理， 并且流程返回到图73中的步骤S708。因此，从候选中清除帧t和帧t+l上的交叉点属于不同对象 的运动矢量。如果在步骤S745判断为分配像素的亮度差的绝对值dp等 于或小于预定阈值，则流程进入步骤S746。在步骤S746，评价 值判断单元712参考矢量选择单元705的DFD表，判断来自评价 值计算单元61的分配像素的评价DFD是否小于存储在DFD表中的分配像素的最小评价值(在该示例中为零矢量的评价值DFD0)。如果在步骤S746判断为来自评价值计算单元61的分配 像素的评价DFD等于或大于存储在DFD表中的分配像素的最小 评价值，则判断为在分配像素处的运动矢量的可靠性不高，因 此处理跳过步骤S747 ~ S749,结束分配矢量评i"介处理，并且流 程返回到图73中的步骤S708。另 一方面，如果在步骤S746中判断为来自评价值计算单元 61的分配像素的评价DFD小于存储在DFD表中的分配像素的最 小评价值，则评价值判断单元712基于在分配像素处所比较的所 有运动矢量的评价值DFD,判断该运动矢量是否具有最高可靠 性，并且将被判断为可靠性高的分配像素的评价值DFD输出给 矢量选择单元705。在从评价值判断单元712输入分配像素的评价值DFD时，在 步骤S747,矢量选择单元705将所分配标志存储器56的分配像 素的标志重写成l(真)，并且在步骤S748,利用评价值判断单元 712判断为具有高可靠性的评价值DFD重写与DFD表中的分配像素相对应的最小评价值。在步骤S706将通过像素信息计算单元701所选择的分配像 素和其运动矢量输入给矢量选择单元705。因此，在步骤S749, 矢量选择单元705利用与被判断为具有高可靠性的评价值DFD 相对应的运动矢量，重写分配矢量存储器55中的分配给分配像 素的运动矢量。因此，结束分配矢量评价处理，并且处理返回 到图73中的步骤S708。如上所述，在选择将分配给插值帧中的分配像素的运动矢 量时，除评价值DFD以外，还分别处理和评价利用分配像素作 为基准基于与运动矢量相关的原始帧上的位置所获得的分配像 素的亮度差的绝对值，因此与仅使用评价值DFD的传统情况相比，可以从分配候选矢量中选择最可能的运动矢量，并将其分 配给分配像素。因此，提高了矢量分配精度，可以抑制在后面 的图像插值处理中所生成的图像中的不连续性，并且可以提高图像质量。此外，在需要亚像素位置的像素值的情况下，比如，在获得评价值DFD或亮度差的绝对值的情况下，基于亚像素位置的 四个附近像素的距离通过线性插值得以获得，因此使得可以进 行针对亚像素位置精度的处理，而且，与舍弃亚像素分量的传 统方法相比，可以以良好的精度获得亮度差的绝对值dp和固定 值DFD,因此，可以从分配候选矢量中分配感兴趣的像素的最 可能的运动矢量。也就是说，提高了矢量分配处理的精度。 接着详细il明分配补偿单元5 7的结构。图7 5是示出分配补偿单元5 7的结构的框图。图7 5所示结构 的分配补偿单元57由分配矢量判断单元801和矢量补偿单元802 构成，并且进行以下处理将像素置于矢量分配单元54没有分 配运动矢量的60P信号的插值帧中，并且填补来自周围像素的 运动矢量并进4于分配。通过上游的矢量分配单元54已将运动矢量分配给分配矢 量存储器55中的插值帧的像素。另外，将l(真)写给已由矢量分 配单元54分配了运动矢量的像素的所分配标志存储器56中的所 分配标志，并且将O(假)写给没有由矢量分配单元54分配运动矢 量的像素的所分配标志存储器56中的所分配标志。分配矢量判断单元801参考所分配标志存储器56的所分配 标志，判断矢量分配单元54是否向感兴趣的像素分配了运动矢 量。分配矢量判断单元801选择矢量分配单元54没有分配运动矢 量的感兴趣的像素，针对所选择的感兴趣的像素对矢量补偿单 元802进行控制，选择感兴趣的像素的周围像素的运动矢量，并且在分配矢量存储器55中的插值帧中进行分配。矢量补偿单元802由补偿处理单元811和以上参考图6所述 的评价值计算单元61构成。补偿处理单元811具有用于存储最小评价值DFD和作为候 选矢量的、最小评价值D F D的运动矢量(以下称之为补偿候选矢 量)的存储器821，其中，将作为最小评价值的零矢量的评价值 DFD存储在存储器821中，作为由分配矢量判断单元801所选择 的感兴趣的像素的初始值，并且，将零矢量存储在存储器821 中作为补偿候选矢量。补偿处理单元811参考所分配标志存储器 56，并判断在感兴趣的像素的周围像素中是否存在运动矢量， 从分配矢量存储器55中获得分配给周围像素的运动矢量，并且 对评价值计算单元61进行控制以计算运动矢量的评价值I) F D 。另外，补偿处理单元811判断由评价值计算单元61所计算 的评价值DFD是否小于存储在存储器821中的最小评价值，并 且，如果判断为所计算的评价值DFD小于最小评价值，则利用 所计算的评价值DFD和其的运动矢量重写存储器821中的补偿 候选矢量和最小评价值，最红将具有最小评价值DFD的周围像 素的运动矢量(补偿候选矢量)分配给分配矢量存储器55中的感 兴趣的像素，作为感兴趣的像素的运动矢量。此外，补偿处理 单元811将已被分配了运动矢量的感兴趣的像素的所分配标志 存储器56的所分配标志重写成1(真)。在从分配矢量存储器55获取周围像素的运动矢量时，评价 值计算单元61使用时间点t的24P信号的图像输入帧t和时间点 t+l的图像帧t+l计算分配矢量存储器55中的运动矢量的评价值 DFD，并且将所计算的评价值DFD输出给补偿处理单元811。接着参考图76所示的流程图详细说明分配补偿处理。通过 上游的矢量分配单元54已向分配矢量存储器55中的插值帧中的像素分配了运动矢量。另外，对于已由矢量分配单元54分配了 运动矢量的像素，将所分配标志存储器56中的所分配标志重写 成l(真)，对于未被分配运动矢量的像素，将所分配标志存储器 56中的所分配标志重写成OCf叚)。在步骤S801,分配矢量判断单元801选择所分配标志存储 器56中的插值帧中的像素作为感兴趣的像素。此时，分配矢量 判断单元801从帧的左上像素开始按照光栅扫描顺序选择像素。在步骤S 8 02 ，分配矢量判断单元8 01判断所分配标志存储 器56中的感兴趣的像素的所分配标志是否为O(假)，并且，如果 判断为所分配标志存储器56中的感兴趣的像素的所分配标志为 O(假)，则做出判断没有分配运动矢量，并且，在步骤S803， 对补偿处理单元811进行控制以执行矢量补偿处理。后面将参考 图77详细说明矢量补偿处理，并且由于该矢量补偿处理，从分 配给周围像素的、且被存储在存储器821中的运动矢量中选择具 有最小评价值DFD的运动矢量作为补偿候选矢量。在步骤S804，补偿处理单元811将存储器821中的补偿候选 矢量分配给分配矢量存储器55，作为感兴趣的像素的运动矢量， 并且，在步骤S805,将所分配标志存储器56中的感兴趣的像素 的所分配标志重写成l(真)。另 一方面，如果在步骤S802判断为所分配标志存储器56中 的感兴趣的像素的所分配标志为l(真)，则做出判断已向感兴 趣的像素分配了运动矢量，因此，处理跳过步骤S803 ~ 805， 并且流程进入步骤S806。在步骤S806，分配矢量判断单元801判断是否结束了对于 所分配标志存储器56内的插值帧中的所有像素的处理。如果在 步骤S 8 0 6判断为没有结束对所有像素的处理，则处理返回到步 骤S801,选择所分配标志存储器56中的插值帧的下一像素作为感兴趣的寸象素，并且才丸行随后的处理。如果在步骤S806判断为 结束了对所分配标志存储器56内的插值帧中的所有像素的处 理，则结束分配补偿处理。接着参考图77的流程图详细说明矢量补偿处理。注意，图 77示出图76的步骤S803中的矢量补偿处理的示例。补偿处理单元811在步骤S821对评价值计算单元61进行控 制，并使用零矢量计算评价值DFDO。具体地，在步骤S821,评 价值计算单元61使用所输入的时间点t的图像帧t和时间点t +1的 图像帧t+l计算感兴趣的像素的零矢量的评价值DFDO，例如， 如以上参考图62所述，并且将所计算的评价值DFDO输出给补偿 处理单元811 。在步骤S822，补偿处理单元811将评价值DFDO作为最小评 价值存储在存储器821中，并且，在步骤S823，将零矢量作为 补偿候选矢量存储在存储器821中。在步骤S824，补偿处理单 元811从由分配矢量判断单元8 01所选择的感兴趣的像素的8个 周围像素中选择一个周围像素。此时，补偿处理单元811从左上 像素开始按照光栅扫描顺序从这8个周围像素中选择周围像素。在步骤S825,补偿处理单元811参考所分配标志存储器56, 以判断是否存在所选择的周围像素的任何运动矢量。如果所分 配标志存储器56的周围像素的所分配标志为l(真)，则在步骤 S825判断为存在分配给所选择的周围像素的运动矢量，流程进 入步骤S826,并且补偿处理单元811从分配矢量存储器55获得 该周围像素的运动矢量。此时，还将该周围像素的运动矢量从 分配矢量存储器输出给评价值计算单元61。在从分配矢量存储器55输入周围像素的运动矢量时，在步 骤S 8 2 7 ，评价值计算单元61使用所输入的时间点t的图像帧t和 时间点t +1的图像帧t +1 ，以计算感兴趣的像素的来自分配矢量存储器55的运动矢量的评价值DFD，并将所计算的评价值DFD 输出给补偿处理单元811。在从评价值计算单元61输入评价值DFD时，补偿处理单元 811在步骤S828判断评价值DFD是否小于存储在存储器821中的 感兴趣的像素的最小评价值。如果在步骤S828判断为评价值 DFD小于存储在存储器821中的感兴趣的像素的最小评价值，则 补偿处理单元811在步骤S829将存储器821中的最小评价值重 写成被判断为小于最小评价值的评价值DFD,并且在步骤S830， 将存储器821中的补偿候选矢量重写成具有该最小评价值的运 动矢量。另一方面，在步骤S825，如果所分配标志存储器56中的周 围像素的所分配标志为O(假)，则做出判断不存在分配给所选 择的周围像素的运动矢量，跳过步骤S826 S830中的处理，并 且流程进入步骤S831。另外，如果在步骤S828中判断为评价值 DFD等于或大于存储在存储器821中的感兴趣的像素的最小评 价值，则跳过步骤S829 S830中处理，并且流程进入步骤S831。补偿处理单元811在步骤S831判断是否结束对感兴趣的像 素的所有8个周围像素的处理。如果在步骤S831判断为没有结 束对于感兴趣的像素的所有8个周围像素的处理，则流程返回到 步骤S824,选择下一周围像素，并且重复此后的处理。另外， 如果在步骤S831判断为结束对于感兴趣的像素的所有8个周围 像素的处理，则结束矢量补偿处理，并且流程返回到图76中的 步骤S804。因此，利用矢量分配处理，即使涉及不能被分配的像素， 通过使用存在与所述像素运动相关的事实，也可以从该像素的 周围的运动矢量中获得基于评价值DFD的具有高可能性的可能 的运动矢量。因此，与未分配矢量和分配了零矢量等的情况相比，提高了矢量分配的精度，因此可以抑制利用后面阶段的图 像插值处理所生成的图像的不连续性。
另外，利用上述分配补偿处理进行配置以重写像素的所分 配标志，其中，将运动矢量分配成l(真)，并且还使用利用分配 补偿处理所分配的运动矢量作为下一像素的补偿候选矢量，因 此通过类似运动矢量选择对象内具有大体相同的运动的像素， 从而可以获得具有少的错误的稳定运动矢量。因此，可以抑制
后面阶_歐所生成的图 <象的块噪声(block noise)或^分末噪声 (powder noise), 乂人而才是高该图 <象的质量。
注意，对于以上说明，对于矢量分配单元54没有进行分配 的像素进行矢量补偿处理，但是对于矢量检测单元52未检测到 (检测到零矢量)的像素等某种处理没有获得运动矢量的像素也 可以进行矢量补偿处理。另外，对于不具正确的检测到的运动 矢量或分配的运动矢量的像素(可靠性低)也可以进行矢量补偿 处理。
另外，通过以上说明，说明了像素增量的分配补偿处理， 但是，可以将分配给位于预定块单位周围中的像素的可能运动 矢量分配给预定块的所有像素。注意，在存在具有已分配给预 定块的运动矢量的像素的情况下，可以向除这些像素以外的其 它像素进行分配。
接着详细说明图像插值单元5 8的详细结果。
图78是示出图像插值单元58的结构的框图。图78示出其结 构的图像插值单元58使用分配矢量存储器55中的分配给插值帧 的运动矢量和帧t和帧t+l的像素值，插值/生成插值像素的像素 值，并且进行用以输出60P信号的图像的处理。
对于图78的示例，将时间点t的图像帧t输入空间滤波器 92-1 ，并将时间点t+1的图像帧t+1输入空间滤波器92-2和緩冲器95。
插值控制单元91选择分配矢量存储器55的插值帧中的像 素，并且基于分配给所选择的像素的运动矢量，分别获得插值 帧上的^f象素和帧t和帧t+l的两个^f象素之间的位置关系。也就是 说，以插值帧的像素作为基准，插值控制单元91获得距离与该 像素的运动矢量有关的帧t上的位置的空间偏移量和与插值帧 的像素相对应的帧t上的像素的位置，并且将所获得的空间偏移 量提供给空间滤器92-l。类似地，以插值帧的像素作为基准， 插值控制单元91获得距离与该像素的运动矢量有关的帧t+l上 的位置的空间偏移量和与插值帧的像素相对应的帧t+l上的像 素的位置，并且将所获得的空间偏移量提供给空间滤波器92-2。
另外，基于预先设置的插值帧的时间相位(时间点)，插值 控制单元91获得帧t和帧t+l之间的插值权重，并且在乘法器 93-1和93-2重设置所获得的插值权重。例如，在插值帧的时间 点为与帧t+l的时间点t+l分开"k"的时间点和为与帧t的时间点t 分开"1 -k"的时间点的情况下(即，在插值帧生成时间点以使得 时间点t和时间点t+l在内部^皮分成"l-k": "k"的情况下)，插值 控制单元91在乘法器93-l将插值权重设置为"l-k",并且在乘法 器93-2将插值权重设置为"k"。
例如，由立方滤波器(cubic filter)等构成空间滤波器92-1和
92- 2。空间滤波器9 2 -1基于从插值控制单元91所提供的空间偏 移量，获得所输入的帧t上的像素的像素值和与插值帧重的图像 相对应的帧t上的像素值，并将所获得的像素值输出给乘法器
93- 1。空间滤波器9 2 - 2基于从插值控制单元91所提供的空间偏 移量，获得所输入的帧t+l上的像素的像素值和与插值帧重的图 像相对应的帧t +1上的像素值，并将所获得的像素值输出给乘法 器93-2。注意，在插值帧的像素的位置与帧t或帧t+l的像素的位置 不匹配的情况下(即，在插值帧的像素的位置具有等于或低于帧t或帧t+1的像素的分量的情况下)，空间滤波器92-1和92-2使用 帧t或帧t+l的插值帧的像素位置除的周围四个像素的像素值， 以获得周围四个像素的距离的反比的和，从而获得与插值帧的 像素相对应的帧上的像素值。也就是说，利用线性插值获得等 于或低于像素位置的像素值，其中，以上参考图72所述的周围 四个像素之间的距离是其基础。乘法器93-l将从空间滤波器92-l输入的帧t上的像素值乘 以由插值控制单元91所设置的插值权重"l-k"，并且将加权后的 像素值输出给加法单元94。乘法器93-2将从空间滤波器92-2输 入的帧t +1上的像素值乘以由插值控制单元91所设置的插值权 重"k"，并且将加权后的像素值输出给加法单元94。加法单元94相加从乘法器93-1输入的像素值和从乘法器 93-2输入的像素值，从而生成插值帧的像素的像素值，并且将 所生成的插值帧的像素值输出给緩冲器95 。緩沖器95对输入帧 t+l进行緩沖。緩沖器95输出所生成的插值帧，然后基于预先设 置的60P帧的时间相位(时间点)，如有必要，输出经过緩沖的帧 t+l，从而将60P信号的图像输出给未示出的后面阶段。将参考图79的流程图详细说明如此配置的图像插值单元 58的图像插值处理。基于待处理的插值帧的时间相位，插值控制单元91在步骤 S901获得帧t与帧t+l之间的插值帧的插值权重(例如，"k"和 "l-k")，并且将所获得的插值权重设置给各乘法器93-l和93-2。 插值控制单元91从分配矢量存储器选择插值帧的像素。注意， 从帧的左上像素开始按照光栅扫描顺序选择插值帧上的像素。基于分配给所选择的像素的运动矢量，在步骤S903,插值控制单元91获4f插值帧上的 <象素和帧t和帧t+l的两个 <象素之间 的位置关系(空间偏移量)，并且将所获得的空间偏移量提供给各空间滤波器92-l和92-2。具体地，在步骤S903,以插值帧的 像素为基准，插值控制单元91获得距离与该像素的运动矢量有 关的帧t上的位置的空间偏移量和与插值帧的像素相对应的帧t 上的像素的位置，并且将所获得的空间偏移量提供给空间滤波 器92-l。类似地，以插值帧的像素为基准，插值控制单元91获 得距离与该像素的运动矢量有关的帧t+l上的位置的空间偏移 量和与插值帧的像素相对应的帧t+l上的像素的位置，并且将所 获得的空间偏移量提供给空间滤波器92-2。将时间点t的图像的帧t的像素值输入空间滤波器92 -1 ，并且 将时间点t+l的图^f象的帧t+l的像素值输入空间滤波器92-2 。在 步骤S904,空间滤波器92-l和92-2基于从插值控制单元91所提 供的空间偏移量，获得输入的帧t和帧t +1的像素的像素值和与 插值帧的像素相对应的各帧上的像素值，并且将所获得的像素 值输出给各乘法器93-l和93-2。在步骤S905,乘法器93-1和93-2对从空间滤波器92-1或92-2 所输入的各帧上的像素值进行由插值控制单元91所设置的权重 的加权，并且将加权后的像素值输出给加法器94。也就是说， 乘法器93-l将从空间滤波器92-l所输入的帧t上的像素值乘以由 插值控制单元91所设置的插值权重"l-k",并且将加权后的像素 值输出给加法器94。乘法器93-2将从空间滤波器92-2所输入的 帧t+l上的像素值乘以由插值控制单元91所设置的插值权重 "k"，并且将加权后的像素值输出给加法器94。在步骤S906，加法器94相加通过乘法器93-l加权的像素值 和通过乘法器93-2加权的像素值，从而生成插值帧的像素的像 素值，并且将所生成的像素值输出给緩冲器95。在步骤S907,161插值控制单元91判断是否结束对插值帧上的所有像素的处理。如果在步骤S907判断为没有结束对插值帧上的所有像素的处 理，则处理返回到步骤S902，并且重复此后的处理。如果判断 为结束了对插值帧上的所有像素的处理，则结束图像插值处理。因此，基于分配给插值帧的运动矢量，当生成插值帧的像 素值时，流程返回到上述图16的步骤S85，并且，在步骤S86， 通过緩沖器95输出插值帧，随后，如有需要，输出帧t+l，从而 在后面的阶段输出60P信号的图像。因此，将最适合的运动矢 量分配给插值帧的像素，因此可以生成高度正确的插值帧。利用本实施例，使用作为差绝对值和的评价值DFD、评价 值mDFD和评价值dfv说明了选择运动矢量情况下的评价值，但 是，不局限于评价值DFD、评价值mDFD和评价值dfv，并且可 以使用其它评价值，只要可以评价运动矢量的可靠性。另外，对于本实施例，说明了由8x8像素或9x9像素组成的 用于进行各种处理的块，但是这些仅是示例，并且组成用以进 行各种处理的块的像素的数量不局限于上述像素的数量。此外，对于本实施例，利用从24P信号到60P信号的信号转 换的示例给出了说明，但是，象运动图像的帧频转换一样，本 发明也可适用于转换交错信号或其它帧频转换。可以利用硬件执行上述一连串的处理，但是也可以利用软 件来执行。在利用软件执行这一连串的处理的情况下，将构成 该软件的程序从程序存储介质安装进内置专用硬件的计算机或 通用个人计算机中，例如，该通用个人计算机能够通过按照各 种类型的程序执行各种类型的功能。如图l所示，由磁盘31(包括软盘)、光盘32(包括CD-ROM(紧 凑型只读光盘存储器)和DVD(数字多功能光盘))、磁光盘 33(MD(Mini-Disc)(注册商标))介质(便携式介质)制成用以存储被安装在计算机中的、计算机 可执行状态的程序的程序存储介质。注意，对于本说明书，流程图中所示的步骤包括根据其所 写顺序以时序方式进行的处理，但不是必须以时序方式进行处 理，并且可以包4舌同时或分别执^f亍的处理。
权利要求
1.一种用以根据图像帧检测运动矢量的图像处理装置，包括有效像素判断部件，用于基于用作检测运动矢量的梯度法计算的对象的计算块内的像素差，判断所述计算块内的像素对于所述运动矢量检测是否是有效的；单侧梯度像素判断部件，用于判断在由所述有效像素判断部件判断为对于所述运动矢量检测有效的有效像素中，是否存在许多在水平方向或垂直方向上不具有梯度的像素；以及计算切换部件，用于基于所述单侧梯度像素判断部件的判断结果，将所述梯度法计算切换成使用差的平方和的积分梯度法计算或在水平方向或垂直方向上执行的独立梯度法计算。
2. 根据权利要求l所述的图像处理装置，其特征在于，在 所述单侧梯度判断部件判断为存在少量在水平方向或垂直方向 上不具有梯度的像素的情况下，所述计算切换部件将所述梯度 法计算切换成所述积分梯度法计算；所述图像处理装置还包括积分梯度法计算部件，用于仅使用所述计算块内的像素中 的、由所述有效像素判断部件判断为对于所述运动矢量检测有 效的有效像素，执行由所述计算切换部件所切换的所述积分梯度法计算。
3. 根据权利要求l所述的图像处理装置，其特征在于，在 所述单侧梯度判断部件判断为存在许多在水平方向或垂直方向 上不具有梯度的像素的情况下，所述计算切换部件将所述梯度 法计算切换成针对水平和垂直各方向执行的所述独立梯度法计算；所述图像处理装置还包括独立梯度法计算部件，用于仅使用由所述有效像素判断部件判断为对于所述运动矢量检测有效的有效〗象素中的、在所述 水平方向上具有梯度的像素，执行由所述计算切换部件所切换 的水平方向上的独立梯度法计算，以及仅使用由所述有效像素判断部件判断为对于所述运动矢量4全测有效的有效<象素中的、 在所述垂直方向上具有梯度的像素，执行由所述计算切换部件 所切换的垂直方向上的独立梯度法计算。
4. 根据权利要求l所述的图像处理装置，其特征在于，还 包括矢量评价部件，用于基于所述单侧梯度像素判断部件的判 断结果，根据通过所述梯度法计算所检测到的运动矢量的评价 值与待比较的预定矢量的评价值的比较结果，校正通过所述梯 度法计算所检测到的所述运动矢量。
5. 根据权利要求l所述的图像处理装置，其特征在于，还 包括迭代判断部件，用于基于所述单侧梯度像素判断部件的判 断结果，判断是否迭代所述梯度法计算。
6. 根据权利要求l所述的图像处理装置，其特征在于，还 包括梯度检测部件，用于检测由所述有效像素判断部件判断为 对于所述运动矢量检测有效的有效像素是否包括水平方向或垂 直方向上的梯度；其中，所述单侧梯度像素判断部件基于所述梯度检测部件 的判断结果，判断在所述有效像素中是否存在许多在水平方向 或垂直方向上不具有梯度的像素。
7. 根据权利要求l所述的图像处理装置，其特征在于，所 述有效像素判断部件包括第一空间差计算部件，用于计算从中检测所述运动矢量的第 一 帧中的所述计算块内的像素的第 一 空间的像素差；第二空间差计算部件，用于计算作为所述第一帧的下一帧的第二帧中的所述计算块内的像素的第二空间的像素差；时间差计算部件，用于计算所述第一帧和所述第二帧中的所述计算块内的像素在时间方向上的像素差；以及梯度条件判断部件，用于基于由所述第一和第二空间差计算部件所计算出的所述第 一 和第二空间、以及所述时间差计算部件所计算出的所述时间方向上的像素差，判断所述计算块内的像素是否满足以下条件注重水平方向上的梯度的条件、注 重垂直方向上的梯度的条件、以及注重水平方向和垂直方向上 的梯度的条件；其中，在所述梯度条件判断部件判断为所述计算块的像素 满足所述注重水平方向上的梯度的条件、所述注重垂直方向上 的梯度的条件、以及所述注重水平方向和垂直方向上的梯度的 条件中的至少 一个条件的情况下，判断为所述计算块内的像素 对于所述运动矢量检测是有效的。
8. 根据权利要求7所述的图像处理装置，其特征在于，在 所述注重水平方向上的梯度的条件、所述注重垂直方向上的梯 度的条件、以及所述注重水平方向和垂直方向上的梯度的条件有效的有效像素所满足的条件，所述单侧梯度像素判断部件判 断在所述有效像素中是否存在许多在水平方向或垂直方向上不 具有梯度的像素。
9. 一种用于检测运动矢量并基于所检测到的运动矢量生 成像素值的图像处理装置的图像处理方法，所述方法包括有效像素判断步骤，用于基于作为检测运动矢量的梯度法 计算的对象的计算块内的像素差，判断所述计算块内的像素对于所述运动矢量检测是否是有效的；单侧梯度像素判断步骤，用于判断在通过所述有效像素 判断步骤中的处理判断为对于所述运动矢量检测有效的有效像 素中，是否存在许多在水平方向或垂直方向上不具有梯度的像 素；以及计算切换步骤，用于基于所述单侧梯度像素判断步骤中的 处理的判断结果，将所述梯度法计算切换成使用差的平方和的 积分梯度法计算或在水平方向或垂直方向上执行的独立梯度法计算。
10. —种用于使计算机执行以下处理的程序检测运动矢 量、并基于所检测到的运动矢量生成像素值，所述程序包括有效像素判断步骤，用于基于作为检测运动矢量的梯度法 计算的对象的计算块内的像素差，判断所述计算块内的像素对 于所述运动矢量检测是否是有效的；单侧梯度像素判断步骤，用于判断在通过所述有效像素 判断步骤中的处理判断为对于所述运动矢量检测有效的有效像 素中，是否存在许多在水平方向或垂直方向上不具有梯度的像 素；以及计算切换步骤，用于基于所述单侧梯度像素判断步骤中的 处理的判断结果，将所述梯度法计算切换成使用差的平方和的 积分梯度法计算或在水平方向或垂直方向上执行的独立梯度法计算。
11. 一种记录有根据权利要求10所述的程序的记录介质。
全文摘要
本发明涉及一种图像处理装置和方法、程序以及记录介质，通过它们可以进一步提高梯度法的运动矢量的检测精度。计数器值计算单元451从有效像素数量计数器441、无水平梯度计数器442和无垂直梯度计数器443获取有效像素的数量、在水平方向上不具有梯度的像素的数量和在垂直方向上不具有梯度的像素的数量，计算计算块内的有效像素与有效像素中的单侧梯度像素之间的比例，并且对标志设置单元452根据计算结果所设置的标志的值进行控制。标志设置单元452设置梯度标志的值，并且将梯度标志输出给随后的阶段。在随后的阶段，基于梯度标志执行梯度法计算和矢量评价处理。本发明可适用于用于进行从24P信号到60P信号的帧频转换处理的单个处理装置。
文档编号H04N7/32GK101263719SQ20068003306
公开日2008年9月10日 申请日期2006年9月7日 优先权日2005年9月9日
发明者中村幸弘, 吉原典文, 堀士贤, 川口邦雄, 森藤孝文, 贝野彰彦, 长木悠太, 高桥康昭 申请人:索尼株式会社