图像处理设备及其控制方法

专利名称：图像处理设备及其控制方法
技术领域：
本发明涉及一种用于将图像数据的帧频转换为更高帧频的图像转换技术。
技术背景
传统上，作为用于抑制在通过显示设备显示视频期间所产生的运动模糊 (motion blur)或闪烁(flicker)的技术，例如日本特开2009-042482号公报和日本特开 2009-038620号公报讨论了使用用于根据图像数据生成具有不同频率分量的子帧的频率分 离法和运动补偿的视频显示方法。
这种视频显示方法根据输入图像数据，生成强调高频分量的高频强调图像数据和 包括低频分量且通过进行运动补偿以抑制高频分量而获取的低频插值图像数据，并交替地 显示这些图像数据。该技术使得能够抑制闪烁并降低运动模糊。
然而，在日本特开2009-042482号公报所讨论的视频显示方法中，运动补偿可能 导致运动矢量的错误检测。在这种情况下，错误检测到的运动矢量生成了没有反映图像的 运动的低频插值图像数据，由此使得可以看到视频缺陷。发明内容
根据本发明的一方面，一种图像处理设备，用于根据针对各帧所输入的图像数据 生成强调高频分量的高频强调图像数据以及使用运动补偿的低频插值图像数据，并将所述 高频强调图像数据和所述低频插值图像数据作为子帧输出。所述图像处理设备包括计算 单元，用于计算在所述运动补偿期间检测到的运动矢量的评价值；以及控制单元，用于基于 计算出的评价值，控制所述低频插值图像数据的亮度以使其相对于所述高频强调图像数据 而降低。
根据本发明的另一方面，一种图像处理设备，包括输入单元，用于输入每单位时 间m帧的图像数据，其中m为自然数；滤波单元，用于根据输入的图像数据至少生成高频强 调图像数据；帧间插值单元，用于生成经过运动补偿且在时间上处于输入的图像数据和通 过之前的帧输入的图像数据之间的中间位置的低频插值图像数据；计算单元，用于计算在 所述运动补偿期间检测到的运动矢量的评价值；控制单元，用于基于计算出的评价值，控制 所述低频插值图像数据的亮度以使其相对于所述高频强调图像数据而降低；以及输出单 元，用于将亮度进行了控制的所述高频强调图像数据和所述低频插值图像数据作为每单位 时间an帧的图像数据交替输出。
根据本发明的另一方面，一种图像处理设备的控制方法，所述图像处理设备根据 针对各帧所输入的图像数据生成强调高频分量的高频强调图像数据以及使用运动补偿的 低频插值图像数据，并将所述高频强调图像数据和所述低频插值图像数据作为子帧输出， 所述控制方法包括以下步骤计算步骤，用于计算在所述运动补偿期间检测到的运动矢量 的评价值；以及控制步骤，用于基于计算出的评价值，控制所述低频插值图像数据的亮度以 使其相对于所述高频强调图像数据而降低。
根据本发明的又一方面，一种图像处理设备的控制方法，包括输入每单位时间m 帧的图像数据，其中m为自然数；根据输入的图像数据至少生成高频强调图像数据；生成经 过运动补偿且在时间上处于输入的图像数据和通过之前的帧输入的图像数据之间的中间 位置的低频插值图像数据；计算在所述运动补偿期间检测到的运动矢量的评价值；基于计 算出的评价值，控制所述低频插值图像数据的亮度以使其相对于所述高频强调图像数据而 降低；以及将亮度进行了控制的所述高频强调图像数据和所述低频插值图像数据作为每单 位时间an帧的图像数据交替输出。
根据本发明的又一方面，一种计算机可读存储介质，其存储用于使计算机进行上 述控制方法的指令的计算机可执行程序。
通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明Mo


包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和 方面，并与说明书一起用来解释本发明的原理。
图1是示出图像处理设备的主要部分的结构的框图。
图2是示出图像处理设备中的处理的流程图。
图3是详细示出运动补偿单元的处理的流程图。
图4示出评价值Tme和所设置的亮度rSub2之间的关系。
图5是示出图像处理设备的主要部分的结构的框图。
图6是示出图像处理设备中的处理的流程图。
图7示出亮度差值D和所设置的亮度值rSub2之间的关系。
图8是示出图像处理设备的主要部分的结构的框图。
图9是示出图像处理设备中的处理的流程图。
图10是示出可应用于本发明各典型实施例的图像处理设备的计算机的硬件结构 示例的框图。
图IlA示出当错误地检测到运动矢量时的输出及其可视图像(不存在亮度控制)。
图IlB示出当错误地检测到运动矢量时的输出及其可视图像(存在亮度控制)。
图12示出当在低对比度边缘错误地检测到运动矢量时的输出及其可视图像。
图13是示出亮度控制单元的不同结构的框图。
具体实施方式
下面将参考附图详细说明本发明的各种典型实施例、特征和方面。典型实施例中 所述的结构仅是示例，并且所示的结构绝对无意限制本发明。
图1是示出根据第一典型实施例的图像处理设备101的主要部分的结构的框图。
帧存储器102存储至少一帧的输入图像数据，以使得以下所述的运动补偿单元 103能够在多个帧中检测运动矢量。第一典型实施例示出了从2个连续帧中检测运动矢量 的示例。然而，运动补偿单元103还可以从多个帧中检测运动矢量。运动补偿单元103基 于输入图像数据和存储在帧存储器102中的过去的图像数据(第一典型实施例为输入图像数据的前一帧的图像数据)，检测运动矢量。运动补偿单元103对运动进行补偿，以生成在 时间上对帧间的图像运动进行了插值的插值图像数据。
评价单元104估计由运动补偿单元103检测到的运动矢量的可靠性，以将评价值 输出至亮度控制单元106。滤波单元105抑制输入图像数据和插值图像数据的高频分量。 在第一典型实施例中，滤波单元105通过使用低通滤波器(LPF)，输出输入图像数据的高频 分量已被抑制的低频图像数据和插值图像数据的高频分量已被抑制的低频插值图像数据。 亮度控制单元106基于从评价单元104输出的评价值，对已通过滤波单元105抑制了高频 分量的低频图像数据和低频插值图像数据的亮度进行控制。
减法器107计算输入图像数据和已通过亮度控制单元106调制了亮度的低频图像 数据之间的差。该处理使得能够计算输入图像数据的高频分量。加法器108将输入图像数 据和由减法器107计算出的高频分量相加在一起，以生成强调高频分量的图像数据。减法 器107计算插值图像数据和已通过亮度控制单元106调制了亮度的低频插值图像数据之间 的差。该处理使得能够计算插值图像数据的高频分量。加法器108将插值图像数据和由减 法器107计算出的高频分量相加在一起，以生成强调高频分量的图像数据。
利用上述结构，2个切换器109和110针对各子帧进行切换，从而以2倍速驱动来 输出并显示强调输入图像数据的高频分量的高频强调图像数据(第一子帧)和插值图像数 据的高频分量已被抑制的低频插值图像数据(第二子帧)。
图2是示出根据第一典型实施例的处理的流程图。在步骤S201，将一帧图像数据 输入至帧存储器102和运动补偿单元103。在步骤S202，帧存储器102存储一帧的输入图 像数据，以将该图像数据输出至运动补偿单元103。因此，运动补偿单元103接收输入图像 数据和前一帧的图像数据。在步骤S203，运动补偿单元103基于输入图像数据和前一帧的 图像数据来生成插值图像数据。
图3是详细示出在运动补偿单元103生成插值图像数据的流程图。在步骤S301， 将输入图像数据和前一帧的图像数据输入至运动补偿单元103。在步骤S302，运动补偿单 元103将输入图像数据分割为处理块。处理块可被任意设置。该步骤在以像素为单位计算 运动矢量时是不需要的。在步骤S303，运动补偿单元103设置用于检测运动矢量的搜索范 围。该搜索范围可被任意设置。对于该搜索范围，可以设置全体帧，或者可以设置比处理对 象块大的任意大小。
在步骤S304，运动补偿单元103计算处理对象块和步骤S303中设置的搜索范围内 的各参考块之间的差值绝对值和。在步骤S305，判断运动补偿单元103是否完成了处理对 象块和所设置的搜索范围内的各参考块之间的差值绝对值和的计算。当判断为未完成差值 绝对值和的计算(步骤S305中为“否”)时，重复步骤S303和S304，直到完成了处理对象 块和所设置的搜索范围内的各参考块之间的差值绝对值和的计算为止。当判断为完成了对 搜索范围内的所有参考块的差值绝对值和的计算(步骤S305中为“是”)时，处理进入步骤 S306,以对计算出的差值绝对值和进行排序。
在步骤S307，运动补偿单元103将与步骤S306中排序后的差值绝对值和的最小 值相对应的参考块设置为检测到的运动矢量VME。在步骤S308，运动补偿单元103根据步骤 S307中计算出的运动矢量Vme来计算插值矢量VK。生成时间上位于图像数据间的中央处的 图像作为插值图像数据，因此插值矢量Vsc是运动矢量Vme的一半。当将运动矢量Vme计算为\c时，或者当运动矢量Vme较大时，设置插值矢量Vk = 0。当再现环境是快进或倒回等 的特殊再现时，可以设置插值矢量Vmc = 0。
在步骤S309，运动补偿单元103根据步骤S308中计算出的插值矢量VMe来生成插 值图像数据。
因此，在图2所示的步骤S203的运动补偿中，运动补偿单元103基于输入图像 数据来生成插值图像数据。可以通过使用例如日本特开2009-042482号公报或日本特开 2009-038620号公报所讨论的传统技术来实现利用运动补偿单元103进行的插值图像数据 的生成。
在图2所示的步骤S204，评价单元104计算由运动补偿单元103检测到的运动矢 量Vme的可靠性。利用该计算，评价单元104估计是否已正确检测到运动矢量Vme，并输出该 估计的结果作为评价值TME。
存在三种计算评价值Tme的方法。第一种方法是通过将在运动矢量检测期间计算 出的差值绝对值和的最小值乘以权重来计算评价值Τ-。根据第一种方法，与检测到的运动 矢量相对应的差值绝对值和的最小值越大，则评价值越小。更具体地，当搜索范围内检测 到的运动矢量的起点和终点处的处理对象块不相似时，由于运动矢量的错误检测的可能性 高，因而将评价值设置得较小。
第二种方法是通过计算差值绝对值和的最小值和次小值之间的差值并将该差值 乘以权重来计算评价值TME。根据第二种方法，当存在与搜索范围内检测到的运动矢量对应 的块相似的块时，评价值Tme较小。更具体地，当图像包括相似图案时，由于运动矢量的错误 检测的可能性高，因而评价值Tme被设置得较小。
第三种方法是通过将运动矢量Vme和插值矢量Vk之间的差值乘以权重来计算评价 值TME。根据第三种方法，当检测到的运动矢量Vme和插值矢量Vk的值相互不同时，评价值 较小。在图像数据的端部的块的情况下，可能没有检测到运动矢量。在这种情况下，评价值 被设置得较小。
对于步骤S204的评价值Tme的计算已经说明了三种计算方法。通过使用这三种方 法中的任一个或组合这些方法来计算评价值T-结果，可以获取与运动补偿的特性相匹配 的评价值TME。可以从0 1或0 255中选择可对评价值Tme设置的值。
在步骤S205，当切换器109连接至来自帧存储器102的输出时，滤波单元105对从 帧存储器102输出的图像数据进行低通滤波。当切换器109连接至来自运动补偿单元103 的输出时，滤波单元105对由运动补偿单元103生成的插值图像数据进行低通滤波。通过 滤波，滤波单元105生成输入图像数据的高频分量被抑制的低频图像数据和插值图像数据 的高频分量被抑制的低频插值图像数据。
在步骤S206，亮度控制单元106基于从评价单元104输出的评价值Tme，计算从滤 波单元105输出的低频图像数据和低频插值图像数据的输出亮度rsub2，以调制亮度。亮度 控制单元106通过使用例如图4所示的单调递增的曲线来计算输出亮度rsub2。
当使用图4所示的曲线时，评价值Tme越大，则输出亮度rsub2越高。相反，评价值 Tme越小，则从曲线可知，输出亮度rsub2越低，从而增大与高频强调图像数据的亮度差。当评 价值Tme最大(已正确检测到运动矢量)时，低频插值图像数据的输出亮度rsub2与成为第一 子帧的高频强调图像数据的输出亮度相等，但绝不超过高频强调图像数据的亮度。更具体7地，基于评价值Tme，使低频插值图像数据的输出亮度rsub2相对于高频强调图像数据的亮度 而降低。因此，可以抑制由运动矢量的错误检测所引起的视频缺陷。
亮度控制单元106基于计算出的输出亮度rsub2，由以下表达式(1)来调制低频插 值图像数据的亮度
Lout = LraXrsub2· · · (1)
(Lin 输入亮度，Lout 输出亮度)
因此，亮度控制单元106输出亮度已被调制的低频插值图像数据。
在步骤S207，当切换器109连接至来自帧存储器102的输出时，减法器107计算从 帧存储器102输出的输入图像数据和从亮度控制单元106输出的低频图像数据之间的差。 因此，减法器107计算输入图像数据的高频分量。加法器108将计算出的高频分量和输入 图像数据相加在一起。因此，加法器108生成高频强调图像数据。在步骤S207，当切换器 109连接至来自运动补偿单元103的输出时，如上述情况那样，生成高频强调图像数据。然 而，切换器110没有输出该高频强调图像数据。
在步骤S208，切换器110通过与切换器109结合而对输出进行切换，以输入频率的 2倍频交替地输出高频强调图像数据(第一子帧)和低频插值图像数据(第二子帧)。
图IlA和IlB示出当由运动补偿单元103检测到的运动矢量Tme与要正确检测的 运动矢量偏离b个像素时输出的高频强调图像数据(1101、1103、1105和1107)以及低频插 值图像数据(1102和1106)。图IlA和IlB还示出实际可视图像(1104和1108)。图IlA示 出亮度控制单元106不进行亮度控制时的输出。在这种情况下，可视图像1104的部分1109 可视为运动模糊。图IlB示出根据第一典型实施例当亮度控制单元106进行亮度控制时的 输出。在图IlB中，当运动矢量偏离时，评价值Tme减小，并且低频插值图像数据1106的亮 度降低。结果，可视为缺陷或运动模糊的部分1110的输出值减小。
根据第一典型实施例，当运动补偿单元103对运动矢量的检测的可靠性低(错误 检测的可能性高)时，通过设置第一子帧和第二子帧之间的亮度差来显示图像。结果，可以 降低视频缺陷。
根据第二典型实施例，当对运动矢量的检测的可靠性低时，通过设置第一子帧和 第二子帧之间的亮度差来显示图像。当缺陷的可视性被估计为高时，在第一子帧和第二子 帧之间设置亮度差。
图5是示出根据第二典型实施例的图像处理设备501的主要部分的结构的框图。 将不对该图像处理设备与第一典型实施例相同的部分进行说明。将说明第二典型实施例的 特征结构。
差计算单元502计算输入图像数据和存储在帧存储器102中的过去的图像数据 (第二典型实施例为输入图像数据的前一帧的图像数据)之间的亮度差D，并将亮度差D输 出至亮度控制单元503。亮度控制单元503基于从评价单元104输出的评价值Tme和从差 计算单元502输出的亮度差D，对已通过滤波单元105抑制了高频分量的低频图像数据的亮 度进行控制。
图6是示出第二典型实施例中的处理的流程图。将不对与第一典型实施例的处理 相同的处理进行说明。在步骤S601，差计算单元502计算输入图像数据和存储在帧存储器 102中的过去的图像数据之间的亮度差D。亮度差D是输入图像数据的对象块和过去的图像数据中与该对象块相对应的块之间的差。
在步骤S602，亮度控制单元503基于从评价单元104输出的评价值Tme和从差计 算单元502输出的亮度差D，计算从滤波单元105输出的低频图像数据的输出亮度rsub2，并 对低频图像数据的亮度进行调制。
对于低频图像数据的输出亮度rsub2，如第一典型实施例那样，亮度控制单元503通 过使用图4所示的曲线计算输出亮度rsub2 (Tme)，以使得评价值Tme越大，则输出亮度rsub2越 高。亮度控制单元503通过使用图7所示的单调递减函数计算输出亮度rSub2(D)，以使得亮 度差D越小，则输出亮度rSub2越高。最后，亮度控制单元503基于输出亮度rSub2 (Tme)和输出 亮度rSub2(D)的乘积来计算输出亮度rSub2。使得亮度差D越小而输出亮度1~^2越高的原因 在于当帧间的亮度差较小时，难以看到由运动矢量的错误检测而引起的运动模糊。因此， 即使运动矢量的评价值较小，当帧间的亮度差较小时，也难以看到运动模糊。结果，即使当 帧间的亮度差较小时，也难以看到运动模糊。
图12示出在第二典型实施例中当运动矢量Vme与要正确检测的运动矢量偏离b个 像素时输出的高频强调图像数据(1201和120 和低频插值图像数据(120 以及实际可 视图像(1204)。图12所示的图像数据的边缘对比度低于图IlA和IlB所示的图像数据的 边缘对比度。即使当由运动补偿单元103检测到的运动矢量Vme与要正确检测的运动矢量 偏离b个像素时，由于边缘对比度低，因而亮度差D较小。结果，低频数据在没有降低其亮 度的情况下输出。在实际可视图像1204的情况下，由于边缘对比度低，因而难以看到由运 动矢量的错误检测所弓I起的任何缺陷。
因此，即使当运动补偿单元103对运动矢量的检测的可靠性低(错误检测的可能 性高)时，在帧间的亮度差较小的情况下，也可以抑制第一子帧和第二子帧的过度亮度控 制。
第二典型实施例涉及了如下结构亮度控制单元503通过使用从评价单元104输 出的评价值Tme和从差计算单元502输出的亮度差D来计算输出亮度rsub2。本变形例涉及 如下结构亮度控制单元503不仅通过使用评价值Tme还使用检测到的运动矢量Vme以及输 入帧的亮度Lin来计算输出亮度rSub2。
在这种情况下，如第一典型实施例的情况那样，亮度控制单元503通过使用图4所 示的曲线计算输出亮度rsub2 (Tme)，以使得评价值Tme越大，则输出亮度rsub2越高。亮度控制 单元503通过使用图7所示的单调递减函数计算输出亮度rsub2(Vme)，以使得所检测到的运 动矢量Vme越小，则输出亮度rSub2越高。如输出亮度rSub2 (Vme)的情况那样，亮度控制单元503 通过使用图7所示的单调递减函数计算输出亮度rsub2 (Lin)，以使得输入帧的亮度Lin越低， 则输出亮度rSub2越高。最后，亮度控制单元503基于输出亮度rSub2 (Tme)、输出亮度rSub2 (Vme)、 以及输出亮度rSub2 (Lin)的乘积来计算输出亮度rSub2。
因此，本变形例可以提供与第二典型实施例的效果相同的效果。
在第一典型实施例和第二典型实施例中，运动补偿单元103基于输入图像数据和 存储在帧存储器102中的过去的图像数据，生成插值帧。滤波单元105通过抑制所生成的 插值图像数据的高频分量来生成低频图像数据，并且将该低频图像数据输出至亮度控制单 元106。然而，根据第三典型实施例，滤波单元基于输入图像数据的高频分量已被抑制的低 频图像数据和过去的图像数据的低频图像数据来生成第二子帧，并且将第二子帧输出至亮度控制单元106。
图8是示出根据第三典型实施例的图像处理设备801的主要部分的结构的框图。 将不对该图像处理设备与第一典型实施例相同的部分进行说明。将说明第三典型实施例的 特征结构。
滤波单元802抑制输入图像数据的高频分量，以生成低频图像数据。帧存储器803 存储至少一帧的低频图像数据。运动补偿单元804基于由滤波单元802生成的低频图像数 据和存储在帧存储器803中的过去的图像数据的低频图像数据来检测运动矢量。运动补偿 单元804进行运动补偿，以生成在时间上对图像数据间的运动进行了插值的低频插值图像 数据。评价单元805估计由运动补偿单元804检测到的运动矢量的可靠性，以将评价值输 出至亮度控制单元106。评价值的计算方法与第一典型实施例的评价值的计算方法相同。
亮度控制单元106基于从评价单元805输出的评价值来对由运动补偿单元804所 生成的低频插值图像数据的亮度进行控制。减法器107和加法器108生成强调高频分量的 高频强调图像数据。帧存储器806存储并输出至少一帧的由减法器107和加法器108所生 成的高频强调图像数据。
利用该结构，通过针对各子帧切换切换器110，以2倍速驱动将高频强调图像数据 和低频插值图像数据输出以进行显示。
图9是示出根据第三典型实施例的处理的流程图。在步骤S901，滤波单元802接 收一帧图像数据。在步骤S902，滤波单元802对输入图像数据进行低通滤波，以生成低频图 像数据。在步骤S903，帧存储器803存储一帧由滤波单元802滤波后的低频图像数据，并将 该低频图像数据输出至运动补偿单元804。在步骤S904，运动补偿单元804基于输入低频 图像数据和存储在帧存储器803中的过去的低频图像数据来生成低频插值图像数据。运动 补偿单元804和第一典型实施例的运动补偿单元103在处理上是相同的，但输入图像数据 是不同的(未滤波的图像数据和滤波后的图像数据)。更具体地，运动补偿单元804检测低 频图像数据间的运动矢量，并进行运动补偿以生成低频插值图像数据。
在步骤S905，评价单元805计算由运动补偿单元804检测到的运动矢量的可靠性。 在步骤S906，亮度控制单元106基于从评价单元805输出的评价值Tme，计算由运动补偿单 元804所生成的低频插值图像数据的输出亮度rsub2，以调制低频插值图像数据的亮度。在 步骤S907，减法器107和加法器108生成高频强调图像数据。在步骤S908，切换器110以 输入频率的2倍频来交替地输出高频强调图像数据和低频插值图像数据。
利用该结构，第三典型实施例可以提供与第一典型实施例的效果相同的效果。
基于图1、5和8所示的设备的各单元全部是硬件单元的假定说明了典型实施例。 然而，图1、5和8所示的帧存储器以外的各单元可以由计算机程序构成。在这种情况下，可 以将包括用于存储计算机程序的存储器和用于执行存储在该存储器中的计算机程序的中 央处理单元(CPU)的计算机应用于各典型实施例的图像处理设备。
图10是示出可应用于各典型实施例的图像处理设备的计算机的硬件结构示例的 框图。
CPU 1001通过使用存储在随机存取存储器(RAM) 1002或只读存储器(ROM) 1003中 的计算机程序或数据来整体地控制计算机，并执行如上所述在各典型实施例的图像处理设 备中进行的各处理。更具体地，CPU 1001用作图1所示的单元103 110或图5所示的单元 502 和 503。
RAM 1002具有用于临时存储从外部存储装置1006加载的计算机程序或数据或者 经由接口(I/F) 1007从外部获取的数据的区域。RAM 1002具有当CPU 1001执行各种处理 时所使用的区域。更具体地，例如，RAM 1002可以适用于帧存储器，或者可以适当地提供各 种其它区域。
ROM 1003存储计算机的设置数据或引导程序。操作单元1004包括键盘或鼠标。 计算机的用户可以通过操作操作单元1004，将各种指令输入至CPU 1001。输出单元1005 显示CPU1001的处理结果。
外部存储装置1006是以硬盘驱动器为代表的大容量信息存储装置。外部存储装 置1006存储操作系统(OS)或用于使CPU1001实现图2、3和6所示的流程的计算机程序。 外部存储装置1006可以存储作为处理对象的图像数据。
在CPU 1001的控制下，将存储在外部存储装置1006中的计算机程序或数据适当 地加载至RAM 1002 JtSCPU 1001的处理对象。
局域网(LAN)或因特网等的网络和其它装置可以被连接至I/F 1007。计算机可以 经由I/F 1007获取或发送各种信息。总线1008使各单元相互连接。
在上述结构中，CPU 1001在进行流程图的操作时起到关键作用。
在第一典型实施例 第四典型实施例中直到生成子帧为止的结构中，针对从亮度 控制单元106输出的低频插值图像数据，通过使用减法器107和加法器108来生成高频强 调图像数据。然而，如图13所示，亮度控制单元可以被配置在切换器110之前，以设置高 频强调图像数据和低频插值图像数据的亮度。根据本发明，可以通过将低频插值图像数据 的亮度控制得相对低于高频强调图像数据的亮度由此生成子帧间的亮度差，来减小视频缺 陷。因此，在图13所示的结构中，亮度控制单元106可以基于评价值TME进行用以增加高 频强调图像数据的亮度的控制。该控制使得能够生成子帧间的亮度差。
当滤波单元105使用高通滤波器进行滤波以生成高频强调图像数据和低频插值 图像数据时可以提供相同的效果。
第一典型实施例 第四典型实施例均涉及如下结构以输入帧频的2倍速来输出 并显示子帧。然而，可以以N倍速(N>》来输出子帧。可以通过将由运动补偿单元103 和804生成的插值帧的数量从1改变为N来实现该配置。在这种情况下，可以更多地减小 运动模糊。
基于亮度控制单元106的亮度控制是一帧内的像素单位控制的假定说明了第一 典型实施例 第四典型实施例。然而，通过使用评价值Tme、运动矢量Vme、输入亮度Lin以及 亮度差D的平均值或中值作为代表值，可以以帧为单位设置亮度rsub2。在这种情况下，通过 将所设置的亮度的每单位时间的变化量设置成等于或小于预设阈值，可以在空间和时间上 对处理边界所特有的图像质量劣化进行抑制。
已经说明了本发明的典型实施例。本发明的设备的控制方法也落入本发明。本发 明可以应用于包括多个装置的系统或包括一个装置的设备。
可以通过直接或远程向系统或设备提供用于实现典型实施例的各功能的程序并 利用包括在系统或设备中的计算机读取并执行所提供的程序代码来实现本发明。
因此，安装在计算机中用以通过计算机实现本发明的功能/处理的程序代码本身实现了本发明。更具体地，用于实现功能/处理的计算机程序本身落入了本发明。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的 典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功 能。
权利要求
1.一种图像处理设备，用于根据针对各帧所输入的图像数据生成强调高频分量的高频 强调图像数据以及使用运动补偿的低频插值图像数据，并将所述高频强调图像数据和所述 低频插值图像数据作为子帧输出，所述图像处理设备包括计算单元，用于计算在所述运动补偿期间检测到的运动矢量的评价值；以及 控制单元，用于基于计算出的评价值，控制所述低频插值图像数据的亮度以使其相对 于所述高频强调图像数据而降低。
2.根据权利要求1所述的图像处理设备，其特征在于，所述计算单元基于运动矢量的 检测对象块和运动矢量的参考目标块之间的差值绝对值和的最小值，计算所述评价值。
3.根据权利要求1所述的图像处理设备，其特征在于，随着计算出的评价值越小，所述 控制单元使所述低频插值图像数据和所述高频强调图像数据之间的亮度差增大得越多。
4.根据权利要求1所述的图像处理设备，其特征在于，还包括差计算单元，所述差计算 单元用于计算针对各帧所输入的图像数据的帧间的亮度差，其中，所述控制单元基于计算出的评价值和计算出的亮度差，控制所述低频插值图像 数据的亮度以使其相对于所述高频强调图像数据而降低。
5.一种图像处理设备，包括输入单元，用于输入每单位时间m帧的图像数据，其中m为自然数； 滤波单元，用于根据输入的图像数据至少生成高频强调图像数据； 帧间插值单元，用于生成经过运动补偿且在时间上处于输入的图像数据和通过之前的 帧输入的图像数据之间的中间位置的低频插值图像数据；计算单元，用于计算在所述运动补偿期间检测到的运动矢量的评价值； 控制单元，用于基于计算出的评价值，控制所述低频插值图像数据的亮度以使其相对 于所述高频强调图像数据而降低；以及输出单元，用于将亮度进行了控制的所述高频强调图像数据和所述低频插值图像数据 作为每单位时间an帧的图像数据交替输出。
6.一种图像处理设备的控制方法，所述图像处理设备根据针对各帧所输入的图像数据 生成强调高频分量的高频强调图像数据以及使用运动补偿的低频插值图像数据，并将所述 高频强调图像数据和所述低频插值图像数据作为子帧输出，所述控制方法包括以下步骤计算步骤，用于计算在所述运动补偿期间检测到的运动矢量的评价值；以及 控制步骤，用于基于计算出的评价值，控制所述低频插值图像数据的亮度以使其相对 于所述高频强调图像数据而降低。
7.根据权利要求6所述的控制方法，其特征在于，所述计算步骤基于运动矢量的检测 对象块和运动矢量的参考目标块之间的差值绝对值和的最小值，计算所述评价值。
8.根据权利要求6所述的控制方法，其特征在于，还包括随着计算出的评价值越小， 使所述低频插值图像数据和所述高频强调图像数据之间的亮度差增大得越多。
9.根据权利要求6所述的控制方法，其特征在于，还包括 计算针对各帧所输入的图像数据的帧间的亮度差；以及基于计算出的评价值和计算出的亮度差，控制所述低频插值图像数据的亮度以使其相 对于所述高频强调图像数据而降低。
10.一种图像处理设备的控制方法，包括输入每单位时间m帧的图像数据，其中m为自然数； 根据输入的图像数据至少生成高频强调图像数据；生成经过运动补偿且在时间上处于输入的图像数据和通过之前的帧输入的图像数据 之间的中间位置的低频插值图像数据；计算在所述运动补偿期间检测到的运动矢量的评价值；基于计算出的评价值，控制所述低频插值图像数据的亮度以使其相对于所述高频强调 图像数据而降低；以及将亮度进行了控制的所述高频强调图像数据和所述低频插值图像数据作为每单位时 间an帧的图像数据交替输出。
全文摘要
一种图像处理设备及其控制方法。该图像处理设备用于根据针对各帧所输入的图像数据生成强调高频分量的高频强调图像数据以及使用运动补偿的低频插值图像数据，并将所述高频强调图像数据和所述低频插值图像数据作为子帧输出。所述图像处理设备包括计算单元，用于计算在所述运动补偿期间检测到的运动矢量的评价值；以及控制单元，用于基于计算出的评价值，控制所述低频插值图像数据的亮度以使其相对于所述高频强调图像数据而降低。
文档编号H04N5/14GK102035996SQ201010292788
公开日2011年4月27日 申请日期2010年9月25日 优先权日2009年9月24日
发明者河井爱 申请人:佳能株式会社