图像处理设备、方法和程序的制作方法

专利名称：图像处理设备、方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、方法和程序。具体而言，本发明涉及适合用于帧速率转
换的图像处理设备、方法和程序。
背景技术：
目前，帧速率转换处理已得到广泛使用，其中在图像信号的连续帧之间生成插值 帧从而使得图像信号的帧速率得到转换。在帧速率转换处理中，从具有不同显示时刻的两 帧中检测运动向量，并且利用该运动向量通过运动补偿生成插值帧。 另外，在内容的视频信号等中，有时在图像上存在内容自身被显示的区域和包围 该区域的地带(在下文中，称为静止带区域(still-zonearea))。在部署在这种图像的边缘 处的静止带区域的地带中，同一图像(例如黑图像或者具有预定图案的设计的图像)被连 续显示。该静止带区域一般被称为黑条带、侧面板、信箱等等。 当对包括这种静止带区域的图像的视频信号执行帧速率转换时，如果在不考虑静 止带区域的情况下生成插值帧，则利用静止带区域的像素执行运动向量的检测和运动补 偿，从而导致插值的帧图像的图像质量的恶化。因此，在帧速率转换处理中，有必要可靠地 检测图像上的静止带区域，并对图像上的合适区域(即，对排除了静止带区域的区域)执行 运动向量的检测和运动补偿。 例如，作为检测静止带区域的方法，已提出了检测图像上的低亮度值区域作为静 止带区域的方法(例如，参见日本未实审专利申请公布No. 2005-203933和2006-229781) 以及利用亮度值和频率的相关来检测静止带区域的方法(例如，参见日本未实审专利申请 公布No. 7-29820和11-8799)。 另外，存在一种广泛使用的通过比较图像中心附近的像素的亮度值和围绕图像 边缘的像素的亮度值来检测静止带区域的方法(例如，参见日本未实审专利申请公布 No. 2007-150379)。另外，存在一种广泛使用的通过判定在对图像信号解码时是否有额外的 图像来检测静止带区域的方法(例如，参见日本未实审专利申请公布No. 2006-339737)。

发明内容
然而，在上述技术中，难以从图像中可靠地检测静止带区域。 例如，在确定图像的低亮度值区域是静止带区域的方法中，如果静止带区域是黑 区域(也就是低亮度值区域)，则可以正确地检测静止带区域。然而，如果静止带区域具有 高亮度值，则变得难以检测静止带区域。另外，在使用亮度值和频率的相关的方法中，如果 预定方向上图像的亮度值的改变不规则，则难以检测静止带区域。 另外，在通过比较图像中心附近的像素的亮度值和围绕图像边缘的像素的亮度值 来检测静止带区域的方法中，即使被选为样本的像素不是静止带区域的像素，当像素的亮 度值的差异较小时，也可能发生错误检测。另外，在通过检测是否有额外图像来检测静止带 区域的方法中，难以从已解码的基带信号中检测静止带区域。
4
考虑到这些情形提出了本发明。希望可以更可靠地从图像中检测静止带区域。 根据本发明的一个实施例，提供了一种从输入图像中检测部署在输入图像的边缘
处并连续显示同一图像的静止带区域的图像处理设备，该设备包括差异计算装置，用于
针对输入图像的每个像素，计算在彼此不同的帧中位于输入图像中的同一位置处的像素的
像素值之间的差异；像素运动信息生成装置，用于基于该差异生成指示输入图像的像素的
像素值是否改变的像素运动信息；以及第一检测装置，用于比较布置在输入图像中的第一
方向上的多个像素的像素运动信息，并检测静止带区域和有效区域在第一方向上的边界位
置，其中有效区域是输入图像中排除了静止带区域的区域。 图像处理设备还可包括行运动信息生成装置，用于生成指示在构成一行的像素 的像素值是否改变的行运动信息，所述一行包括布置在输入图像中的第一方向上的像素； 以及第二检测装置，用于比较布置在输入图像中垂直于第一方向的第二方向上的多行的行 运动信息，并检测静止带区域和有效区域在第二方向上的边界位置，其中有效区域是输入 图像中排除了静止带区域的区域。 如果由第一方向上两个相邻像素各自的像素运动信息所述指示的像素值是否改 变彼此不同，则第一检测装置可以检测到这两个像素的位置是第一方向上的边界位置。
图像处理设备还可包括第一输出装置，用于基于由第一检测装置检测出多个位 置来输出多个位置中最接近输入图像在第一方向上的末端的位置，作为第一方向上的边界 位置。 如果由第二方向上两个相邻行各自的行运动信息指示的像素值是否改变彼此不 同，则第二检测装置可以检测到这两行的位置是第二方向上的边界位置。 图像处理设备还可包括第二输出装置，用于基于由第二检测装置检测的多个位 置来输出多个位置中最接近输入图像在第二方向上的末端的位置，作为第二方向上的边界 位置。 图像处理设备还可包括运动向量检测装置，用于基于第一方向上的边界位置和 第二方向上的边界位置来从输入图像的有效区域中检测运动向量；以及运动补偿装置，用 于基于第一方向上的边界位置、第二方向上的边界位置和运动向量来对输入图像的有效区 域执行运动补偿，并转换输入图像的帧速率。 图像处理设备还可包括滤波处理装置，用于对针对每帧的输入图像获得的第一方 向上的多个边界位置和第二方向上的多个边界位置执行滤波处理，并且限制第一方向上的 边界位置和第二方向上的边界位置随时间的变化。 根据本发明的一个实施例，提供了一种在图像处理设备中处理图像的方法或程 序，该图像处理设备用于从输入图像中检测部署在输入图像的边缘处的静止带区域并连续 显示同一图像，该设备包括差异计算装置，用于针对输入图像的每个像素，计算在彼此不 同的帧中位于输入图像中的同一位置处的像素的像素值之间的差异；像素运动信息生成装 置，用于基于该差异生成指示输入图像的像素的像素值是否改变的像素运动信息；以及检 测装置，用于比较布置在预定方向上的多个像素的像素运动信息，并检测静止带区域和有 效区域在预定方向上的边界位置，其中有效区域是输入图像中排除了静止带区域的区域， 该方法包括以下步骤差异计算步骤，用于计算输入图像的像素的像素值之间的差异；像 素运动信息生成步骤，用于基于该差异生成像素运动信息；以及检测步骤，用于比较多个像素的像素运动信息，并检测在预定方向上的边界位置。 在本发明的实施例中，在用于从输入图像中检测部署在输入图像的边缘处并连续 显示同一图像的静止带区域的图像处理设备中，针对输入图像的每个像素计算在彼此不同 的帧中位于输入图像中的同一位置处的像素的像素值之间的差异，基于该差异生成指示输 入图像的像素的像素值是否改变的像素运动信息，以及比较布置在第一方向上的多个像素 的像素运动信息，并检测静止带区域和有效区域在第一方向上的边界位置，其中有效区域 是输入图像中排除了静止带区域的区域。 通过本发明的实施例，可以更可靠地从图像中检测静止带区域。


图1是输入图像中的有效区域和静止带区域的说明图； 图2是图示根据本发明一个实施例的图像处理设备的配置示例的示图； 图3是图示静止带坐标检测部件的更详细配置的示例的示图； 图4是图示左右坐标检测部件的更详细配置的示例的示图； 图5是图示上下坐标检测部件的更详细配置的示例的示图； 图6是图示帧速率转换处理的流程图； 图7是图示帧速率转换的示例的说明图； 图8是图示静止带区域检测处理的流程图； 图9是用于图示左右坐标的检测的示图； 图10是用于图示左右坐标的检测的示图； 图11是对左坐标的更新的说明图； 图12是对左坐标的更新的说明图； 图13是对右坐标的更新的说明图； 图14是对上下坐标的检测的说明图； 图15是对上下坐标的检测的说明图； 图16是对上坐标的更新的说明图； 图17是对下坐标的更新的说明图；以及 图18是图示计算机的配置示例的示图。
具体实施例方式
图像处理设备的配置 下面参考附图描述本发明的一个实施例。 在本发明被应用到的图像处理设备中，从输入图像的图像信号检测静止带区域， 并且利用检测结果来执行帧速率转换。 例如，如图l所示，输入图像的静止带区域是包围区域Rll的区域R12的地带，在 区域Rll中，显示了由图像信号重放的内容的图像。也就是说，区域R12是输入图像的边缘 部分区域。在区域R12中，诸如运动图像等的内容自身的图像不被显示，并且例如具有低亮 度值的黑图像或者具有预定图案设计的图像被连续显示。换句话说，在各帧中显示在输入 图像的区域R12中的图像是相同的。
6
图像处理设备从时间上不同帧的输入图像中检测作为输入图像上的静止带区域 的区域R12。另外，图像处理设备对排除了静止带区域的区域R11执行运动向量检测和运动 补偿以生成插值帧。为此，在下文中，输入图像的内容自身的图像被显示的区域Rll也被称 为有效区域。 静止带区域是通过获得例如在图中的xy坐标系统中区域Rll和区域R12之间的 边界位置的x坐标和y坐标来检测的，其中假定了右方向是x方向，下方向是y方向，且原 点是输入图像的左上边缘。 具体而言，由箭头P11指示的位置、即图中区域R11和区域R12之间的左侧边界部 分的x坐标被获得作为左坐标，而由箭头P12指示的位置、即图中区域Rll和区域R12之间 的右侧边界部分的x坐标被获得作为右坐标。换句话说，左坐标和右坐标是标识输入图像 中x方向上静止带区域和有效区域之间的边界位置的信息。 另外，由箭头P13指示的位置、即图中区域R11和区域R12之间的上侧边界部分的 y坐标被获得作为上坐标，而由箭头P14指示的位置、即图中区域Rll和区域R12之间的下 侧边界部分的y坐标被获得作为下坐标。换句话说，上坐标和下坐标是标识输入图像中y 方向上静止带区域和有效区域之间的边界位置的信息。 左坐标、右坐标、上坐标和下坐标被确定为用于标识静止带区域的静止带区域坐 标。 为此，xy坐标系统中的x坐标被确定使得图中输入图像的最左侧位置被确定为 "O"，而随着位置在图中向右行进x坐标值变大。以相同的方式，xy坐标系统中的y坐标被 确定使得图中输入图像的最上侧位置被确定为"O"，而随着位置在图中向下行进y坐标值 变大。 接下来，图2是图示根据本发明一个实施例的图像处理设备的配置示例的示图。
图像处理设备11包括帧存储器21、静止带区域检测部件22、运动向量检测部件23 和运动补偿部件24。 针对每一帧的输入图像的图像信号被从帧存储器21提供到图像处理设备11中的 运动补偿部件24。该图像信号例如是包括亮度分量(Y分量)和颜色差分量(Cr分量和Cb 分量)的基带视频信号。 帧存储器21将所提供的一帧的输入图像(更具体而言，输入图像的图像信号)延 迟一预先固定的预定时间段并提供给静止带区域检测部件22、运动向量检测部件23和运 动补偿部件24。例如，输入图像的延迟时间被确定为是一帧的时间段。在这种情况下，帧存 储器21输出在时间上是已输入到图像处理设备11中的帧之前的一帧的输入图像。
为此，在下文中，提供给图像处理设备11的要处理的帧也被称为当前帧，而从帧 存储器21输出的在时间上是当前帧之前的帧也被称为过去帧。另外，过去帧可以是在时间 上是当前帧之前的任何一帧，而不一定是紧邻当前帧之前的帧。 静止带区域检测部件22从所提供的当前帧的输入图像和从帧存储器21提供的过 去帧的输入图像来检测输入图像的静止带区域，并将静止带区域坐标作为检测结果提供到 运动向量检测部件23和运动补偿部件24。 静止带区域检测部件22包括静止带区域坐标检测部件31、延迟部件32和滤波处 理部件33。
静止带区域坐标检测部件31利用所提供的当前帧的输入图像和从帧存储器21提 供的过去帧的输入图像来检测当前帧的输入图像上静止带区域的静止带区域坐标，并将该 坐标提供到延迟部件32。也就是说，静止带区域坐标检测部件31检测静止带区域的左坐 标、右坐标、上坐标和下坐标作为静止带区域坐标。 延迟部件32将从静止带区域坐标检测部件31提供的静止带区域坐标保存一预定
时间段，并将所提供的当前帧的静止带区域坐标和所保存的过去四帧的静止带区域坐标提 供到滤波处理部件33。 滤波处理部件33利用5抽头中值滤波器来对从延迟部件32提供的五帧的静止带 区域坐标执行滤波处理。滤波处理部件33将作为结果获得的静止带区域坐标提供到运动 向量检测部件23和运动补偿部件24，作为当前帧的最终静止带区域坐标。
为此，从延迟部件32提供到滤波处理部件33的静止带区域坐标不一定是连续帧 的静止带区域坐标，而可以是一帧的间隔。另外，只要这些坐标是多个帧的，就可以满足静 止带区域坐标。保存在延迟部件32中的静止带区域坐标的数目是根据在滤波处理中滤波 处理部件33所使用的中值滤波器的抽头数确定的。另外，用于滤波处理的滤波器并不限于 中值滤波器，而是可以是获得平均值的滤波器等，只要该滤波器是用于限制静止带区域坐 标在时间上的波动的滤波器即可。 运动向量检测部件23利用从滤波处理部件33提供的静止带区域坐标，从所提供
的当前帧的输入图像和来自帧存储器21的过去帧的输入图像的有效区域中检测运动向
量。运动向量检测部件23将所检测的运动向量提供到运动补偿部件24。 运动补偿部件24利用来自滤波处理部件33的静止带区域坐标和来自运动向量检
测部件23的运动向量，来对所提供的当前帧的输入图像和来自帧存储器21的过去帧的输
入图像中的有效区域执行运动补偿。运动补偿部件24输出包括通过运动补偿获得的插值
帧的输入图像的图像信号并提供这些帧作为通过帧速率转换获得的输出图像的图像信号。 另外，图2中的静止带区域坐标检测部件31的更详细配置如图3所示。 也就是说，静止带区域坐标检测部件31包括左右坐标检测部件61、上下坐标检测
部件62和检查部件63。 左右坐标检测部件61对输入图像的每个像素进行操作，从所提供的当前帧的输 入图像和来自帧存储器21的过去帧的输入图像检测当前帧的左坐标和右坐标，并将坐标 提供到检查部件63。也就是说，左右坐标检测部件61按顺序确定作为处理目标像素的输入 图像的像素，以获得左坐标和右坐标，在每次要处理新的像素时更新左坐标和右坐标，并将 坐标提供到检查部件63。 另外，左右坐标检测部件61从所提供的当前帧的输入图像和过去帧的输入图像 检测当前帧的输入图像的各行的运动，并将每行的运动标志V-cur作为检测结果提供到上 下坐标检测部件62。 这里，输入图像的一行是指包括布置在图1中的x方向上的输入图像的像素的一 行。每行的运动是指输入图像中一行上像素的像素值的改变。 也就是说，如果构成感兴趣的一行(它是当前帧的输入图像上的感兴趣的一行) 的每个像素的像素值和构成过去帧的输入图像上与感兴趣行具有相同位置的一行的每个 像素的像素值不同，则确定在感兴趣的行中发生了运动。另外，如果构成感兴趣的一行的每
8个像素的像素值和构成过去帧的输入图像上与感兴趣行具有相同位置的一行的每个像素 的像素值相同，则确定在感兴趣的行中没有运动。另外，每行的运动标志V-cur的值在该行 有运动时为"1"，而在该行是没有运动的静止行时为"0"。 上下坐标检测部件62对包括输入图像的像素的每行进行操作，基于从左右坐标 检测部件61提供的运动标志V-cur来检测输入图像的上坐标和下坐标，并将坐标提供到检 查部件63。上坐标和下坐标针对每行被更新，并被从上下坐标检测部件62提供到检查部件 63。 检查部件63对每帧进行操作，保存从左右坐标检测部件61提供的左坐标和右坐 标，并且在每次提供来左坐标和右坐标时更新所保存的左坐标和右坐标。另外，检查部件63 保存从上下坐标检测部件62提供的上坐标和下坐标，并且在每次提供来上坐标和下坐标 时更新所保存的上坐标和下坐标。 检查部件63针对输入图像的每帧检查所保存的静止带区域坐标，S卩，左坐标、右
坐标、上坐标和下坐标。也就是说，检查部件63检测静止带区域坐标的错误检测，根据检测
结果适当地校正静止带区域坐标，并将坐标输出到图2中的延迟部件32。 另外，更具体而言，图3中的左右坐标检测部件61和上下坐标检测部件62的配置
如图4和图5所示。 图4是图示左右坐标检测部件61的更详细配置的示例的示图。 也就是说，左右坐标检测部件61包括差异计算部件91、阈值处理部件92、延迟部
件93、判定部件94、左右坐标更新部件95和标志生成部件96。 差异计算部件91利用颜色差参数、针对输入图像的每个像素、获得所提供的当前 帧的输入图像的像素的像素值和来自帧存储器21的过去帧的输入图像的像素的像素值之 间的绝对差值，并将绝对差值提供到阈值处理部件92。 例如，颜色差参数指示在计算绝对差值时是获得输入图像的像素的亮度分量和颜 色差分量的绝对差值，还是仅获得亮度分量的绝对差值，并且具有值"1"或"0"。如果颜色 差参数为"1"，则获得亮度分量和颜色差分量的绝对差值，而如果颜色差参数为"0"，则仅 获得亮度分量的绝对差值。 阈值处理部件92利用从差异计算部件91提供的每个像素的绝对差值和所提供的 阈值来执行阈值处理，并且针对每个像素生成运动标志H-cur。 运动标志H-cur是指示在当前帧的输入图像上是否有像素的运动的信息。这里， 是否有感兴趣的像素(它是当前帧的输入图像上的感兴趣像素)的运动就是在感兴趣像 素的像素值和与感兴趣像素具有相同位置的过去帧的输入图像的像素值之间是否有改变， 即，亮度分量或颜色差分量。 例如，如果感兴趣像素是具有运动的像素，也就是说，如果感兴趣像素的绝对差值 是阈值或更大，则运动标志H-cur的值为"1"。另外，如果感兴趣像素是没有运动的静止像 素，也就是说，如果感兴趣像素的绝对差值小于阈值，则运动标志H-cur的值为"0"。
阈值处理部件92将针对每个像素生成的运动标志H-cur提供到延迟部件93、判定 部件94和标志生成部件96。 延迟部件93将从阈值处理部件92提供的运动标志H-cur延迟一个像素的处理时 间段，并将标志提供到判定部件94。为此，在下文中，具有一个像素的处理时间的延迟的每个像素的运动标志被称为运动标志H-pre。也就是说，运动标志H-pre是在时间上紧邻当前待处理像素之前的处理像素的运动标志H-cur。 判定部件94将来自阈值处理部件92的运动标志H-cur和来自延迟部件93的运动标志H-pre相比较，获得当前帧的左坐标和右坐标，并将坐标提供到左右坐标更新部件95。左右坐标更新部件95保存来自判定部件94的左坐标和右坐标，基于所提供的左坐标和右坐标来更新所保存的左坐标和右坐标，并将坐标提供到检查部件63。 标志生成部件96基于从阈值处理部件92提供的运动标志H-cur针对每行生成运动标志V-cur，并将该标志提供到上下坐标检测部件62。 另夕卜，图5是图示图3中的上下坐标检测部件62的更详细配置的示例的示图。
上下坐标检测部件62包括延迟部件121、判定部件122和上下坐标更新部件123。来自图4中的标志生成部件96的运动标志V-cur被提供给延迟部件121和判定部件122。
延迟部件121将来自标志生成部件96的运动标志V-cur延迟一行的处理时间，并将该标志提供到判定部件122。为此，在下文中，具有一行的处理时间延迟的每行的运动标志被称为运动标志V-pre。也就是说，运动标志V-pre是在时间上紧邻当前待处理行之前的处理像素的运动标志V-cur。 判定部件122将来自标志生成部件96的运动标志V-cur和来自延迟部件121的运动标志V-pre相比较，获得当前帧的上坐标和下坐标，并将坐标提供到上下坐标更新部件123。上下坐标更新部件123保存来自判定部件122的上坐标和下坐标，基于所提供的上坐标和下坐标来更新所保存的上坐标和下坐标，并将坐标提供到检查部件63。
图像处理设备的操作 另外，当输入图像的图像信号被提供到图像处理设备11时，图像处理设备11从输入图像中检测静止带区域，并且开始帧速率转换处理，该处理利用检测结果来生成插值帧以转换图像信号的帧速率。 在下文中，参考图6中的流程图描述图像处理设备11的帧速率转换处理。
在步骤S11中，静止带区域检测部件22利用所提供的当前帧的输入图像和从帧存储器21提供的过去帧的输入图像来执行静止带区域检测处理，并且检测当前帧的输入图像的静止带区域坐标。并且，静止带区域检测部件22将所检测的静止带区域坐标提供到运动向量检测部件23和运动补偿部件24。为此，后面将对静止带区域检测处理进行详细描述。 在步骤S12中，运动向量检测部件23利用从静止带区域检测部件22的滤波处理部件33提供的静止带区域坐标，来从所提供的输入图像和来自帧存储器21的输入图像的有效区域中检测运动向量。 例如，运动向量检测部件23通过块匹配、梯度方法等来检测过去帧的输入图像的有效区域中各个像素的运动向量，并将检测结果提供到运动补偿部件24。也就是说，运动向量是仅利用当前帧和过去帧的输入图像的有效区域中的像素检测的。 在步骤S13中，运动补偿部件24利用滤波处理部件33的静止带区域坐标和来自运动向量检测部件23的运动向量，来对所提供的输入图像和帧存储器21的输入图像的有效区域执行运动补偿。 也就是说，运动补偿部件24仅利用当前帧和过去帧的输入图像的有效区域中的像素来执行运动补偿，以便生成当前帧和过去帧之间的时刻的插值帧的输出图像。例如，插
值帧的输出图像中的有效区域的图像是从运动补偿获得的图像，并且插值帧的输出图像中
的静止带区域的图像是当前帧的输入图像中的静止带区域部分的图像。 从而，例如，如图7所示，具有60Hz帧速率的输入图像被转换为具有120Hz帧速率
的输出图像。为此，在图7中，垂直轴示出输入图像或输出图像的位置。水平轴示出时间，
也就是说，每帧的显示时间。另外，在图中，水平轴上的数值表示时刻。 另外，无阴影的圆表示输入图像中的运动体，而加阴影的圆表示输出图像中的运动体。 在图7的示例中，输入图像的两个连续帧被用于生成帧之间的插值帧。例如，如果假定时刻2/120是当前帧的显示时刻，则当前帧的输入图像和时刻0/120的过去帧的输入图像被用于生成时刻1/120的插值帧。也就是说，生成了时刻1/120的运动体，作为在连接时刻0/120的运动体和时刻2/120的运动体的线上的位置处的插值帧的输出图像。
返回对图6中流程图的描述，运动补偿部件24生成插值帧，然后将所生成的插值帧的输出图像输出到后级。另外，运动补偿部件24输出插值帧后的当前帧的输入图像。以这种方式，输出的插值帧和当前帧的输出图像被显示在例如连接到运动补偿部件24的显示设备上。从而，输出图像被显示在显示设备上。 在步骤S14中，图像处理设备11判定是否终止输入图像的图像信号的帧速率转换。例如，如果输入图像的供应被停止，并且得到终止帧速率转换处理的指示，则确定终止。
在步骤S14中，如果确定不终止，则处理返回到步骤S11，并且重复上述处理。也就是说，下一输入图像变为当前帧的输入图像，并且生成当前帧和过去帧之间的插值帧。
另一方面，如果在步骤S14中确定终止，则图像处理设备11的各个部件终止执行中的处理，并且帧速率转换处理终止。 以这种方式，图像处理设备11检测输入图像的静止带区域，并且利用检测结果仅对输入图像的有效区域执行运动向量的检测和运动补偿。 以这种方式，利用静止带区域的检测结果仅对有效区域执行运动向量的检测和运
动补偿，从而可以限制通过帧速率转换获得的输出图像的图像输出的恶化。 也就是说，如果在输入图像的帧速率转换时不考虑静止带区域而处理整个输入图
像，则静止带区域中的像素被运动向量的错误检测用来计算有效区域的像素的像素值，因
而输出图像的图像质量可能恶化。 另一方面，在图像处理设备11中，检测静止带区域，并且仅对输入图像的有效区域(也就是说，仅利用有效区域的像素)执行运动向量的检测和运动补偿。从而，输出图像的图像质量不会恶化。 接下来，参考图8中的流程图描述与图6中的步骤Sll的处理相对应的静止带区域检测处理。 在步骤S41中，差异计算部件91利用所提供的当前帧的输入图像、来自帧存储器21的过去帧的输入图像、以及所提供的颜色差参数，来获得输入图像上具有相同位置的像素的像素值的绝对差值。 例如，差异计算部件91在向下的方向上按顺序处理图1的输入图像的图中从最上一行到最下一行的每行。另外，差异计算部件91通过呈现图中的向右方向上按顺序从最左侧像素到最右侧像素的构成待处理行的像素来获得各个像素的绝对差值。 也就是说，在当前帧的输入图像中包括不是待处理的像素的行中选择具有最低y
坐标的一行，并且在构成该行的不是待处理的像素中选择具有最低x坐标的像素作为此次
要处理的像素。 差异计算部件91获得要处理的当前帧的输入图像的像素和与该像素具有相同位置的过去帧的输入图像的像素之间的绝对差值。例如，如果所提供的颜色差参数为"l"，则差异计算部件91获得像素之间的亮度分量值(像素值)的绝对差值，以及像素之间的颜色差分量值(像素值)的绝对差值。 另外，如果所提供的颜色差参数为"0"，则差异计算部件91仅获得亮度分量值(像素值)的绝对差值，并且颜色差分量的绝对差值被设定为"O"。在这种情况下，阈值处理部件92实质上仅使用像素的亮度分量来判定每个像素是否有运动。为此，更具体而言，Cr分量的绝对差值和Cb分量的绝对差值被获得作为颜色差分量的绝对差值。
当差异计算部件91获得了亮度分量的绝对差值和颜色差分量的绝对差值时，差异计算部件91将绝对差值提供到阈值处理部件92。 在步骤S42中，阈值处理部件92利用从差异计算部件91提供的绝对差值和所提供的阈值来执行阈值处理，并且输出每个像素的运动标志H-cur。 具体而言，亮度和色差的阈值，即，Cr分量的阈值和Cb分量的阈值被提供到阈值处理部件92。阈值处理部件92比较亮度分量和颜色差分量的绝对差值，并且获得比较结果的逻辑和以判定在要处理的像素上是否有运动。 也就是说，如果亮度分量、Cr分量和Cb分量的绝对差值中的一个绝对差值是阈值
或更高，则确定要处理的像素有运动，也就是说，像素值已改变。在这种情况下，阈值处理部
件92生成具有值"l"的运动标志H-cur，这表明要处理的像素是具有运动的像素。 另外，如果所有分量的绝对差值都是阈值或更小，则确定要处理的像素没有运动，
也就是说，像素值没有改变。在这种情况下，阈值处理部件92生成具有值"O"的运动标志
H-cur，这表明要处理的像素是静止像素。 以这种方式，阈值处理部件92获得像素的亮度分量或者说亮度分量和颜色差分量是否有改变，也就是说，通过阈值判定获得像素的像素值是否改变，并且针对每个像素生成指示是否有改变的运动标志H-cur。 在阈值处理部件92生成了运动标志H-cur之后，阈值处理部件92将所生成的运动标志H-cur提供到延迟部件93、判定部件94和标志生成部件96。另外，延迟部件93保存新从阈值处理部件92提供的运动标志H-cur，并将到那时为止所保存的运动标志H-cur提供到判定部件94作为运动标志H-pre。 在步骤S43中，判定部件94将来自阈值处理部件92的运动标志H-cur与来自延迟部件93的运动标志H-pre相比较，并将当前帧的输入图像的左坐标和右坐标输出到左右坐标更新部件95。例如，如图9所示，判定部件94根据运动标志H-cur和运动标志H-pre的状态(即，要处理的像素的运动改变)来输出左坐标和右坐标。为此，在图9中，列"H-pre"和"H-cur"分别示出了运动标志H-cur和运动标志H-pre的值，并且在这些列右侧的一列示出了左坐标或右坐标，它们是由各个运动标志的状态确定的。
12
具体而言，判定部件94保存前一次保存的左坐标和右坐标。为此，如果左坐标和右坐标还未被输出，则例如输入图像上x坐标的最大值被设定为左坐标的初始值，且输入图像上x坐标的最小值被设定为右坐标的初始值。也就是说，左坐标和右坐标的初始值是图1中的最右侧和最左侧x坐标。 如果所提供的运动标志H-cur和运动标志H-pre的值为"0"，则判定部件94并不
更新所保存的左坐标和右坐标，而是直接输出所保存的坐标值作为左坐标和右坐标。
另外，如果运动标志H-pre的值为"O"且运动标志H_cur的值为"l"，则判定部件94保存并输出要处理的像素的x坐标作为左坐标，并且直接输出所保存的右坐标的值作为右坐标。在这种情况下，在判定部件94所保存的左坐标和右坐标中，仅有左坐标被更新。
另外，如果运动标志H-pre的值为"l"且运动标志H_cur的值为"O"，则判定部件94直接输出所保存的左坐标作为左坐标，并且保存并输出通过从要处理的像素的x坐标中减去1而获得的值作为右坐标。在这种情况下，在判定部件94所保存的左坐标和右坐标中，仅有右坐标被更新。 另外，如果运动标志H-cur和运动标志H-pre的值都为"1 "，则判定部件94并不更
新左坐标和右坐标，而是直接输出所保存的坐标值作为左坐标和右坐标。 因此，例如，如图lO所示，对于布置在输入图像的x方向上的每行，静止带区域和
有效区域之间的x方向上一行的边界的x坐标被输出作为左坐标和右坐标。为此，在图10
中，右方向指示x方向，并且一个四边框表示构成一行的一个像素。另外，每个像素中的数
值示出了像素的x坐标，并且像素下方的数值指示像素的运动标志H-cur的值，也就是说，
是否存在运动。 在图10中，假定具有"0"至"2"的x坐标和"13"至"15"的x坐标的区域是静止带区域，而具有"3"至"12"的x坐标的区域是有效区域。 在静止带区域中，同一图像被连续显示，也就是说，被连续帧显示，因而静止带区域中的像素是静止像素，并且像素的运动标志H-cur应当为"O"。另一方面，在有效区域中，内容自身的图像被显示，因而有效区域的像素基本上是具有运动的像素，并且像素的运动标志H-cur应当为"1"。 因此，运动标志H-cur为"0"的一个像素和图中在右侧与该像素相邻且运动标志H-cur为"1"的像素之间的位置变为图中左侧的静止带区域和左侧的有效区域之间的边界位置。在图10的示例中，x坐标为"2"的像素和x坐标为"3"的像素之间的位置变为静止带区域和有效区域之间的边界位置。 以相同的方式，运动标志H-cur为"1"的一个像素和图中在右侧与该像素相邻且运动标志H-cur为"O"的像素之间的位置变为图中右侧的静止带区域和左侧的有效区域之间的边界位置。在图10的示例中，x坐标为"12"的像素和x坐标为"13"的像素之间的位置变为静止带区域和有效区域之间的边界位置。 另外，在输入图像中，在一行中按顺序从具有低x坐标的像素起选择要处理的像素。因而，在图中，要处理的像素的运动标志H-cur和在左侧与该像素相邻的像素的运动标志H-pre被在向右方向上按顺序从左端到最右侧像素提供到判定部件94。
然后，如果运动标志H-pre的值为"O"且运动标志H-cur的值为"l"，则判定部件94确定要处理的像素的位置是边界位置，并且输出要处理的像素的x坐标作为左坐标。也
13就是说，当运动标志从"0"改变为"1"时，确定检测到图中的左侧静止带区域的边界。在图10的示例中，x = 3被输出作为左坐标。 另外，如果运动标志H-pre的值为"l"且运动标志H_cur的值为"O"，则判定部件94确定要处理的像素的位置是边界位置，并且输出从要处理的像素的x坐标中减去1得到
的值作为右坐标。也就是说，当运动标志从"i"改变为"o"时，确定检测到图中的右侧静止
带区域的边界。 在图10的示例中，当具有"13"的x坐标的像素要被处理时，检测到图中的静止带区域的右侧边界。因而，由在左侧与要处理的像素相邻的像素保存的、从要处理的像素的x坐标中减去1而得到的值(即，"12"的x坐标)被输出作为右坐标。 以这种方式，判定部件94比较在x方向上彼此相邻的两个像素的运动标志。如果指示是否存在运动的运动标志彼此不同，则两个像素之间的位置被确定为输入图像行上的x方向中静止带区域和有效区域之间的边界位置。另外，判定部件94将指示边界位置的左坐标和右坐标输出到左右坐标更新部件95，作为整个输入图像的左坐标和右坐标的候选。
在这点上，有时在有效区域中存在没有运动的像素。因而，这些像素的位置也被输出作为左坐标和右坐标的候选。也就是说，可以从一行中检测出左坐标和右坐标的多个候选。 另外，更具体而言，如果要处理的像素的x坐标为"0"，也就是说，新的一行的像素要待处理，则判定部件94并不比较运动标志，而是直接将所保存的左坐标和右坐标输出到左右坐标更新部件95。另外，针对每一帧，判定部件94所保存的左坐标和右坐标被复位为初始值。 返回对图8中的流程图的描述，在步骤S44中，左右坐标更新部件95基于从判定部件94提供的左坐标和右坐标来更新所保存的左坐标和右坐标，并将更新后的左坐标和右坐标提供到检查部件63。 例如，左右坐标更新部件95保存前一左坐标和右坐标，将所保存的左坐标和右坐标与此时新从判定部件94提供的左坐标和右坐标相比较，并且更新所保存的左坐标和右坐标。 具体而言，如图11所示，左右坐标更新部件95根据所保存的左坐标和所提供的左坐标之间的比较来更新左坐标。为此，在图11中，"left-cur"表示新提供的左坐标，"left-pre"表示左右坐标更新部件95所保存的左坐标。另外，图11示出了由"left-cur"和"lef t-pre"之间的比较输出的左坐标。 也就是说，如果新提供的左坐标"left-cur"大于所保存的左坐标"left-pre"，则左右坐标更新部件95将所保存的左坐标"left-pre"输出到检查部件63，并且继续保存左坐标"left-pre，，。 另外，如果新提供的左坐标"left-cur"不大于所保存的左坐标"left-pre"，则左右坐标更新部件95将新提供的左坐标"left-cur"输出到检查部件63，将左坐标更新为"left-cur"，并且保存左坐标"left-cur"。也就是说，左坐标"left-cur"被保存作为下一左坐标"left-pre，，。 因此，例如，如图12所示，如果提供了小于所保存的左坐标的新左坐标，则左右坐标更新部件95更新左坐标。为此，在图12中，右方向指示x方向，并且图中的矩形表示输入图像。 例如，假定左右坐标更新部件95保存由箭头Qll示出的位置的x坐标。在这种情况下，如果由箭头Q12示出的位置的x坐标被提供作为左坐标，则左右坐标更新部件95将左坐标更新为x坐标，因为该x坐标小于保存为左坐标的x坐标。 静止带区域中的像素是在任何帧中都没有运动的像素，因而静止带区域中彼此相邻的像素之一不会变为具有运动的像素。因此，在作为左坐标的候选提供给左右坐标更新部件95的x坐标中，图中最接近输入图像的最左侧边缘的x坐标具有最高的可能性是指示静止带区域的边界位置的左坐标。这样，可以通过输出指示最低x坐标的左坐标的候选作为左坐标来更正确地检测左坐标。也就是说，可以更可靠地检测静止带区域的左坐标。
另外，以与左坐标相同的方式，如图13所示，左右坐标更新部件95根据所保存的右坐标和所提供的右坐标之间的比较来更新右坐标。为此，在图13中，"right-cur"表示新提供的右坐标，且"right-pre"表示左右坐标更新部件95所保存的右坐标。另外，图13示出了由"right-cur"和"right-pre"之间的比较输出的右坐标。 也就是说，如果新提供的右坐标"right-cur"大于所保存的右坐标"right-pre"，则左右坐标更新部件95将所保存的右坐标"right-pre"输出到检查部件63。并且左右坐标更新部件95将右坐标更新为"right-cur"，并保存右坐标"right-cur"。也就是说，右坐标"right-cur，，被保存作为下一右坐标"right-pre，，。 另外，如果新提供的右坐标"right-cur"不大于所保存的右坐标"right-pre"，则左右坐标更新部件95将新提供的右坐标"right-cur"输出到检查部件63，并且继续保存右坐标"right-pre ，，o 以这种方式，以与左坐标的情况相同的方式，在作为右坐标的候选提供给左右坐标更新部件95的x坐标中，左右坐标更新部件95输出最接近输入图像的x方向上的末端的x坐标作为右坐标。从而，可以更正确地检测右坐标。也就是说，可以更可靠地检测静止带区域的右坐标。 为此，针对每一帧，左右坐标更新部件95所保存的左坐标"left-pre"和右坐标"right-pre"被复位。也就是说，当一帧的输入图像中的所有像素都要处理时，左右坐标更新部件95丢弃所保存的左坐标"left-pre"和右坐标"right-pre"。并且，左右坐标更新部件95输出新提供的下一帧的像素的左坐标"left-cur"和右坐标"right-cur"，并且保存左坐标"left-cur，，禾口右坐标"right-cur，，作为左坐标"left-pre，，禾口右坐标"right-pre，，。
因此，一帧的输入图像中的所有像素都待处理。最终(最后一次)从左右坐标更新部件95输出的左坐标和右坐标是该帧的输入图像中位于最接近x方向上的末端的位置处的静止带区域的边界候选的坐标。 另外，当左坐标和右坐标被从左右坐标更新部件95提供来时，检查部件63保存新提供的左坐标和右坐标，并且更新左坐标和右坐标。 返回图8中的流程图，在步骤S45中，左右坐标检测部件61判定对当前帧的输入图像的一行的处理是否已完成。例如，构成输入图像中要处理的一行的所有像素都是要处理的像素。当左坐标和右坐标被输出时，确定对一行的处理已完成。 在步骤S45中，如果确定对一行的处理还未完成，则处理返回到步骤S41，并且重复上述处理。步骤S45中确定对一行的处理已完成，则在步骤S46中，标志生成部件96基于从阈值处理部件92提供的运动标志H-cur来针对每行生成运动标志V-cur。
例如，如果构成要处理的一行的所有像素的运动标志H-cur都为"0"，则标志生成部件96生成具有值"O"的运动标志V-cur，这表明该行没有运动。另外，如果在构成要处理的行的像素中即使存在一个具有运动的像素，也就是说，如果即使存在具有值"l"的运动标志H-cur的一个像素，则标志生成部件96生成具有值"1 "的运动标志V-cur，这表明该行有运动。 以这种方式，标志生成部件96获得构成一行的所有像素的像素值是否改变，也就是说，通过各个像素的运动标志H-cur获得整个行的亮度分量和颜色差分量是否改变，并且针对每行生成运动标志V-cur，这指示是否有改变。 当标志生成部件96生成了运动标志V-cur时，标志生成部件96将所生成的运动标志V-cur提供到上下坐标检测部件62的延迟部件121和判定部件122。另外，当运动标志V-cur被从标志生成部件96提供来时，延迟部件121保存新提供的运动标志V-cur，并将迄今为止保存的运动标志V-cur提供到判定部件122作为运动标志V-pre。
在步骤S47中，判定部件122将来自标志生成部件96的运动标志V_cur与来自延迟部件121的运动标志V-pre相比较，并将当前帧的输入图像的上坐标和下坐标输出到上下坐标更新部件123。 例如，如图14所示，判定部件122根据运动标志V-cur和运动标志V-pre的状态(即，要处理的行的运动改变)来输出上坐标和下坐标。为此，在图14中，列"V-pre"和"V-cur"分别示出了运动标志V-pre和运动标志V-cur的值，并且在这些列右侧的列示出了由各个运动标志的状态确定的上坐标或下坐标。 具体而言，判定部件122保存前一次保存的上坐标和下坐标。为此，如果上坐标和下坐标还未被输出，则例如输入图像上y坐标的最大值被设定为上坐标的初始值，而输入图像上y坐标的最小值被设定为下坐标的初始值。也就是说，上坐标和下坐标的初始值是图1中的最上侧和最下侧x坐标。 如果所提供的运动标志V-cur和运动标志V-pre的值为"0"，则判定部件122并不更新上坐标和下坐标，而是直接输出所保存的坐标值作为上坐标和下坐标。
另外，如果运动标志V-pre的值为"O"且运动标志V_cur的值为"l"，则判定部件122保存并输出要处理的像素的y坐标作为上坐标，并且直接输出所保存的下坐标的值作为下坐标。在这种情况下，在判定部件122所保存的上坐标和下坐标中，仅上坐标被更新。
另外，如果运动标志V-pre的值为"l"且运动标志V_cur的值为"O"，则判定部件122直接输出所保存的上坐标作为上坐标，并且保存并输出通过从要处理的像素的y坐标中减去1而得到的值作为下坐标。在这种情况下，在判定部件122所保存的上坐标和下坐标中，仅下坐标被更新。 另外，如果运动标志V-cur和运动标志V-pre的值都为"1 "，则判定部件122并不
更新上坐标和下坐标，而是直接输出所保存的坐标值作为上坐标和下坐标。 因此，例如，如图15所示，针对输入图像的每帧，静止带区域和有效区域之间的边
界的y坐标被输出作为上坐标和下坐标。为此，在图15中，下方向指示y方向，并且一个矩
形表示一行。另外，每行中的数值示出了该行的y坐标，并且该行的右侧的数值指示该行的
16运动标志V-cur的值，也就是说，该行中是否存在运动。 在图15中，假定具有"0 "至"1"的y坐标和"8 "至"9 "的y坐标的行是仅包括静
止带区域的行，而具有"2"至"7"的y坐标的行是包括有效区域的行。 在静止带区域中，同一图像被连续显示，也就是说，被连续帧显示，因而仅包括静
止带区域的行是静止行，并且像素的运动标志V-cur应当为"0"。另一方面，在有效区域中，
内容自身的图像被显示，因而包括有效区域的行基本上是具有运动的行，并且该行的运动
标志V-cur应当为"l"。 因此，运动标志V-cur为"0"的行和图中在下侧与该行相邻且运动标志V-cur为"1"的行之间的位置变为图中在上侧的静止带区域和下侧的有效区域之间的边界位置。在图15的示例中，y坐标为"l"的行和y坐标为"2"的行之间的位置变为静止带区域和有效区域之间的边界位置。 以相同的方式，运动标志V-cur为"1"的行和图中在下侧与该行相邻且运动标志V-cur为"0"的行之间的位置变为y方向上图中在下侧的静止带区域和有效区域之间的边界位置。在图15的示例中，y坐标为"7"的行和y坐标为"8"的行之间的位置变为静止带区域和有效区域之间的边界位置。 另外，在输入图像中，按顺序从具有低y坐标的行起选择要处理的一行。因而，在图中，要处理的行的运动标志V-cur和在上侧与该行相邻的行的运动标志V-pre从上端到最下侧一行在向下方向上按顺序被提供到判定部件122。 这样，如果运动标志V-pre的值为"0"且运动标志V_cur的值为"1 "，则判定部件122确定要处理的行的位置是y方向上的边界位置，并且输出要处理的行的y坐标作为上坐标。也就是说，当运动标志从"O"改变为"l"时，确定检测到图中的上侧静止带区域的边界。在图15的示例中，y = 2被输出作为上坐标。 另外，如果运动标志V-pre的值为"1"且运动标志V_cur的值为"0"，则判定部件122确定要处理的行的位置是y方向上的边界位置，并且输出从要处理的行的y坐标中减去
1而得到的值作为下坐标。也就是说，当运动标志从"i"改变为"o"时，确定检测到图中的
下侧静止带区域的边界。 在图15的示例中，当具有"8"的y坐标的行要待处理时，检测到图中静止带区域的下侧边界。因而，由在上侧与要处理的行相邻的行保存的、从要处理的行的y坐标中减去l而得到的值(即，"7"的y坐标)被输出作为下坐标。 以这种方式，判定部件122比较在y方向上彼此相邻的两行的运动标志。如果指
示是否存在运动的运动标志彼此不同，则两行之间的位置被确定为输入图像上y方向中静
止带区域和有效区域之间的边界位置。另外，判定部件122将指示边界位置的上坐标和下
坐标输出到上下坐标更新部件123，作为整个输入图像的上坐标和下坐标的候选。 在这点上，有时在有效区域中存在没有运动的像素。因而，这些行的位置也被输出
作为上坐标和下坐标的候选。也就是说，可以从一帧的输入图像中检测出上坐标和下坐标
的多个候选。 另外，更具体而言，如果要处理的行的y坐标为"0"，也就是说，新的一帧的行要待处理，则判定部件122并不比较运动标志，而是直接将所保存的上坐标和下坐标输出到上下坐标更新部件123。另外，针对每一帧，判定部件122所保存的上坐标和下坐标被复位为
17初始值。 返回对图8中的流程图的描述，在步骤S48中，上下坐标更新部件123基于从判定部件122提供的上坐标和下坐标来更新所保存的上坐标和下坐标，并将更新后的上坐标和下坐标提供到检查部件63。 例如，上下坐标更新部件123保存前一上坐标和下坐标，将所保存的上坐标和下坐标与此时新从判定部件122提供的上坐标和下坐标相比较，并且更新所保存的上坐标和下坐标。 具体而言，如图16所示，上下坐标更新部件123根据所保存的上坐标和所提供的上坐标之间的比较来更新上坐标。为此，在图16中，"up-cur"表示新提供的上坐标，"up-pre"表示上下坐标更新部件123所保存的上坐标。另夕卜，图16示出了通过"up-cur"和"up-pre"之间的比较输出的上坐标。 也就是说，如果新提供的上坐标"up-cur"大于所保存的上坐标"up-pre"，则上下坐标更新部件123将所保存的上坐标"up-pre"输出到检查部件63，并且继续保存上坐标"up-pre 另外，如果新提供的上坐标"up-cur "不大于所保存的上坐标"up-pre "，则上下坐标更新部件123将新提供的上坐标"up-cur"输出到检查部件63，将上坐标更新为"up-cur，，，并且保存上坐标"up-cur，，。 因此，例如，如果提供了小于所保存的上坐标的新上坐标，则上下坐标更新部件123更新上坐标。 仅包括静止带区域的行是在任何帧中都没有运动的行，因而静止带区域中彼此相邻的行之一不会变为具有运动的行。因此，在作为上坐标的候选提供给上下坐标更新部件123的y坐标中，图中最接近输入图像的最上侧边缘的y坐标具有最高的可能性是指示静止带区域的边界位置的上坐标。这样，可以通过输出指示最低y坐标的上坐标的候选作为上坐标来更正确地检测上坐标。也就是说，可以更可靠地检测静止带区域的上坐标。
另外，以与上坐标相同的方式，如图17所示，上下坐标更新部件123根据所保存的下坐标和所提供的下坐标之间的比较来更新下坐标。为此，在图17中，"down-cur"表示新提供的下坐标，且"down-pre"表示上下坐标更新部件123所保存的下坐标。另夕卜，图17示出了由"down-cur "和"down-pre "之间的比较输出的下坐标。 也就是说，如果新提供的下坐标"down-cur"大于所保存的下坐标"down-pre"，则上下坐标更新部件123将新提供的下坐标"down-cur"输出到检查部件63。并且上下坐标更新部件123将下坐标更新为"down-cur"，并保存下坐标"down-cur"。也就是说，下坐标"down-cur ，，被保存作为下一下坐标"down-pre ，，。 另夕卜，如果新提供的下坐标"down-cur"不大于所保存的下坐标"down-pre",则上下坐标更新部件123将保存的下坐标"down-pre"输出到检查部件63。并且继续保存下坐标"down-pre ，，。 以这种方式，以与上坐标的情况相同的方式，在作为下坐标的候选提供给上下坐标更新部件123的y坐标中，上下坐标更新部件123输出最接近输入图像的y方向上的末端的y坐标作为下坐标。从而，可以更正确地检测下坐标。也就是说，可以更可靠地检测静止带区域的下坐标。
另外，在检测上坐标和下坐标时，对于输入图像的所有像素已经获得了像素是否运动。因而，上下坐标检测部件62针对输入图像的每行检测上坐标和下坐标。从而，相比于针对每个像素检测静止带区域和有效区域的边界位置的情况可以利用更少的处理量和更快的速度来检测边界位置。 为此，针对每一帧，上下坐标更新部件123所保存的上坐标"up-pre"和下坐标
"down-pre"被复位。也就是说，当一帧的输入图像中的所有行都要处理时，上下坐标更新
部件123丢弃所保存的上坐标"up-pre"和下坐标"down-pre"。并且，上下坐标更新部件
123输出新提供的下一帧的像素的上坐标"up-cur"和下坐标"down-cur"，并且保存上坐标
"up—cur，，禾口下坐f示"down—cur，，作为上坐f示"up—cur，，禾口下坐f示"down—cur"。
因此，一帧的输入图像中的所有行都待处理。最终(最后一次)从上下坐标更新
部件123输出的上坐标和下坐标是帧的输入图像中位于最接近y方向上的末端的位置处的
静止带区域的边界候选的坐标。 另外，当上坐标和下坐标被从上下坐标更新部件123提供来时，检查部件63保存新提供的上坐标和下坐标，并且更新上坐标和下坐标。 返回图8中的流程图，在步骤S49中，上下坐标检测部件62判定对一帧的输入图像的处理是否已完成。例如，构成要处理的输入图像的所有行都是要处理的行。当上坐标和下坐标被输出时，确定对一帧的处理已经完成。 在步骤S49中，如果确定对一行的处理还未完成，则处理返回到步骤S41，并且重复上述处理。 另一方面，如果在步骤S49中确定对一行的处理已经完成，则在步骤S50中，检查部件63检查从左右坐标更新部件95和上下坐标更新部件123提供的以及保存的静止带区域坐标。 也就是说，如果所保存的左坐标、右坐标、上坐标和下坐标仍具有与所保存的静止带区域坐标一样的初始值，则检查部件63确定未能正确检测到静止带区域坐标，并且使用预定的坐标作为静止带区域坐标。如上所述，左坐标、右坐标、上坐标和下坐标的初始值被分别设定为例如x坐标的最大值、x坐标的最小值、y坐标的最大值和y坐标的最小值。
如果检查部件63作为检查结果确定未能正确检测到静止带区域坐标，则例如输入图像的像素的x坐标的最小值和最大值被用作输入图像的左坐标和右坐标。具体而言，图1中的输入图像的左侧末端和右侧末端的x坐标被用作左坐标和右坐标。另外，例如，输入图像的像素的y坐标的最小值和最大值被用作输入图像的上坐标和下坐标。具体而言，图1中的输入图像的上侧末端和下侧末端的y坐标被用作上坐标和下坐标。并且以这种方式获得的静止带区域坐标被确定为是当前帧的静止带区域坐标，并被输出到延迟部件32。
另外，如果所保存的作为静止带区域坐标的左坐标、右坐标、上坐标和下坐标不同于初始值，则检查部件63确定已正确检测到静止带区域坐标，并且将所保存的静止带坐标输出到延迟部件32作为当前帧的静止带区域坐标。 延迟部件32将从检查部件63提供的静止带区域坐标保存一预定时间段，并将所提供的当前帧的静止带区域坐标和过去四帧的静止带区域坐标提供到滤波处理部件33。
在步骤S51中，滤波处理部件33基于从延迟部件32提供的五帧的静止带区域坐标来输出当前帧的最终静止带区域坐标。也就是说，滤波处理部件33利用中值滤波器对所提供的静止带区域坐标执行滤波处理，并且将五个左坐标、右坐标、上坐标和下坐标的中值确定为最终的左坐标、右坐标、上坐标和下坐标。从而，可以限制输出静止带区域坐标随时间的变化。也就是说，静止带区域不会对每帧发生大的波动。 在对静止带区域坐标执行了滤波处理之后，滤波处理部件33将作为结果获得的静止带区域坐标提供到运动向量检测部件23和运动补偿部件24作为当前帧的最终静止带区域坐标，并且静止带区域检测处理完成。并且处理随后进行到图6中的步骤S12。
以这种方式，静止带区域检测部件22基于每个像素的运动的改变来检测左坐标和右坐标，并基于每行的运动的改变来检测上坐标和下坐标，以从输入图像中检测静止带区域。 以这种方式，利用同一图像被连续显示在静止带区域中的特性，基于像素和行的运动的改变来检测静止带区域。从而，可以可靠地从输入图像中检测静止带区域，而不用依赖于什么种类的图像被显示在静止带区域中。 也就是说，即使具有任意设计的图像(例如，黑图像或者具有特定设计的图像等)
被显示在静止带区域中，在静止带区域的像素或行中也没有运动。因此，可以通过利用这种
特性比较彼此相邻的像素或行是否有运动来更可靠地识别静止带区域。 此外，静止带区域检测部件22延迟所提供的输入图像，并且利用当前帧和过去帧
之间的各个像素的绝对差值通过简单处理来更快地检测静止带区域。也就是说，可以通过
按顺序对输入图像的像素执行每一处理来更容易、更快地检测静止带区域，而不必使用具
有这种处理的状态机等。 为此，在上文中，已经描述了从输入图像中检测静止带区域并仅对有效区域执行帧速率转换的示例。然而，上述检测静止带区域的技术也可以应用于仅提取并显示输入图像的有效区域的情况。 另外，除此之外，检测静止带区域的技术也可以应用于仅縮放有效区域的情况、在记录设备中仅记录有效区域的情况、通过移动设备仅校正有效区域的图像质量的情况、在压縮系统中将静止带区域的边缘与压縮块匹配的情况，等等。尤其是，在移动设备中仅校正有效区域的图像质量的情况下，可以极大地限制移动设备的功耗。 上述处理序列可以通过硬件或软件执行。当该处理序列通过软件执行时，构成软
件的程序可以被安装在专用硬件中构建的计算机内。或者，该程序可以被从程序记录介质
安装在例如能够通过安装各种程序来执行各种功能的通用个人计算机等中。 图18是通过程序执行上述处理序列的计算机的硬件配置示例的框图。在该计算机中，CPU(中央处理单元)201、R0M(只读存储器)202、RAM(随机访问存
储器)203相互通过总线204连接。 输入/输出接口 205也连接到总线204。包括键盘、鼠标、麦克风等的输入部件206，包括显示器、扬声器等的输出部件207，包括硬盘、非易失性存储器等的存储部件208，包括网络接口等的通信部件209，以及用于驱动可移除介质211 (例如磁盘、光盘、磁光盘或半导体存储器等)的驱动器210连接到输入/输出接口 205。 在具有上述配置的计算机中，CPU 201通过输入/输出接口 205和总线204将存储在例如存储部件208中的程序加载到RAM 203以执行该程序，从而执行上述处理序列。
要由计算机(CPU 201)执行的程序被记录在可移除介质211中，可移除介质211是例如包括磁盘(包括柔性盘)、光盘(包括CD-ROM(致密盘-只读存储器)、DVD(数字多 功能盘)等)、磁光盘或半导体存储器等的封装介质。或者，该程序可以通过有线或无线传 输(例如局域网、因特网、数字卫星广播等)提供。 可以通过将可移除介质211附接到驱动器210来将程序通过输入/输出接口 205 安装在存储部件208中。另外，程序可以通过有线或无线传输介质被通信部件209接收，并 被安装在存储部件208中。另外，程序可以预先安装在ROM 202或存储部件208中。
为此，由计算机执行的程序可以是根据本说明书中描述的顺序按时序执行的程 序。或者，该程序可以是并行执行或者在必要定时(例如在被调用时等等)执行的程序。
本申请包含与2008年12月16日向日本专利局提交的日本在先专利中请JP 2008-319465中的内容有关的主题，该申请的全部内容通过引用结合于此。
为此，本发明的实施例并不限于上述实施例。可以在不脱离本发明的要旨的前提 下进行各种改变。 本领域技术人员应当理解，取决于设计需求和其他因素可以进行各种修改、组合、 子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。
权利要求
一种从输入图像中检测部署在所述输入图像的边缘处并连续显示同一图像的静止带区域的图像处理设备，所述设备包括差异计算装置，用于针对所述输入图像的每个像素，计算在彼此不同的帧中位于所述输入图像中的同一位置处的像素的像素值之间的差异；像素运动信息生成装置，用于基于所述差异生成指示所述输入图像的像素的像素值是否改变的像素运动信息；以及第一检测装置，用于比较布置在所述输入图像中的第一方向上的多个像素的像素运动信息，并检测所述静止带区域和有效区域在所述第一方向上的边界位置，其中所述有效区域是所述输入图像中排除了所述静止带区域的区域。
2. 如权利要求l所述的图像处理设备，还包括行运动信息生成装置，用于生成指示构成一行的像素的像素值是否改变的行运动信 息，所述一行包括布置在所述输入图像中的第一方向上的像素；以及第二检测装置，用于比较在所述输入图像中垂直于所述第一方向的第二方向上布置的 多行的行运动信息，并检测所述静止带区域和有效区域在所述第二方向上的边界位置，其 中所述有效区域是所述输入图像中排除了所述静止带区域的区域。
3. 如权利要求2所述的图像处理设备，其中如果由所述第一方向上两个相邻像素各自 的像素运动信息所指示的像素值是否改变彼此不同，则所述第一检测装置将这两个像素的 位置检测为所述第一方向上的边界位置。
4. 如权利要求3所述的图像处理设备，还包括第一输出装置，用于基于由所述第一检 测装置检测的多个位置，来输出所述多个位置中最接近所述输入图像在第一方向上的末端 的位置，作为所述第一方向上的边界位置。
5. 如权利要求4所述的图像处理设备，其中如果由所述第二方向上两个相邻行各自的 行运动信息所指示的像素值是否改变彼此不同，则所述第二检测装置将这两行的位置检测 为所述第二方向上的边界位置。
6. 如权利要求5所述的图像处理设备，还包括第二输出装置，用于基于由所述第二检 测装置检测的多个位置，来输出所述多个位置中最接近所述输入图像在第二方向上的末端 的位置，作为所述第二方向上的边界位置。
7. 如权利要求2所述的图像处理设备，还包括运动向量检测装置，用于基于所述第一方向上的边界位置和所述第二方向上的边界位 置来从所述输入图像的有效区域中检测运动向量；以及运动补偿装置，用于基于所述第一方向上的边界位置、所述第二方向上的边界位置和 所述运动向量，来对所述输入图像的有效区域执行运动补偿，并转换所述输入图像的帧速率。
8. 如权利要求2所述的图像处理设备，还包括滤波处理装置，用于对针对每帧的输入 图像获得的多个所述第一方向上的边界位置和多个所述第二方向上的边界位置执行滤波 处理，以抑制所述第一方向上的边界位置和所述第二方向上的边界位置随时间的变化。
9. 一种在图像处理设备中处理图像的方法，所述图像处理设备用于从输入图像中检测 部署在所述输入图像的边缘处的静止带区域并连续显示同一图像，所述设备包括差异计 算装置，用于针对所述输入图像的每个像素，计算在彼此不同的帧中位于所述输入图像中的同一位置处的像素的像素值之间的差异；像素运动信息生成装置，用于基于所述差异生 成指示所述输入图像的像素的像素值是否改变的像素运动信息；以及检测装置，用于比较 布置在预定方向上的多个像素的像素运动信息，并检测所述静止带区域和有效区域在所述 预定方向上的边界位置，其中所述有效区域是所述输入图像中排除了所述静止带区域的区 域，该方法包括以下步骤差异计算步骤，用于计算所述输入图像的像素的像素值之间的差异； 像素运动信息生成步骤，用于基于所述差异生成像素运动信息；以及 检测步骤，用于比较多个像素的像素运动信息，检测在所述预定方向上的边界位置。
10. —种从输入图像中检测部署在所述输入图像的边缘处并连续显示同一图像的静止 带区域的图像处理程序，所述程序用于使得计算机执行包括以下步骤的处理针对所述输入图像的每个像素，计算在彼此不同的帧中位于所述输入图像中的同一位置处的像素的像素值之间的差异；基于所述差异生成指示所述输入图像的像素的像素值是否改变的像素运动信息；以及 比较布置在所述输入图像中的预定方向上的多个像素的像素运动信息，并检测所述静止带区域和有效区域在所述预定方向上的边界位置，其中所述有效区域是所述输入图像中排除了所述静止带区域的区域。
11. 一种从输入图像中检测部署在所述输入图像的边缘处并连续显示同一图像的静止 带区域的图像处理设备，所述设备包括差异计算机构，用于针对所述输入图像的每个像素，计算在彼此不同的帧中位于所述 输入图像中的同一位置处的像素的像素值之间的差异；像素运动信息生成机构，用于基于所述差异生成指示所述输入图像的像素的像素值是 否改变的像素运动信息；以及第一检测机构，用于比较布置在所述输入图像中的第一方向上的多个像素的像素运动 信息，并检测所述静止带区域和有效区域在所述第一方向上的边界位置，其中所述有效区 域是所述输入图像中排除了所述静止带区域的区域。
全文摘要
本发明公开了图像处理设备、方法和程序。该图像处理设备从输入图像中检测部署在输入图像的边缘处的静止带区域并连续显示同一图像，该设备包括差异计算装置，用于针对输入图像的每个像素，计算在彼此不同的帧中位于输入图像中的同一位置处的像素的像素值之间的差异；像素运动信息生成装置，用于基于该差异生成指示输入图像的像素的像素值是否改变的像素运动信息；以及第一检测装置，用于比较布置在输入图像中的第一方向上的多个像素的像素运动信息，并检测静止带区域和有效区域在第一方向上的边界位置，其中有效区域是输入图像中排除了静止带区域的区域。
文档编号H04N7/01GK101753798SQ20091025806
公开日2010年6月23日 申请日期2009年12月16日 优先权日2008年12月16日
发明者冈田绅太郎, 西堀一彦 申请人:索尼株式会社