图像处理设备和方法以及程序的制作方法

专利名称：图像处理设备和方法以及程序的制作方法
技术领域：
本发明涉及一种图像处理设备和方法以及程序.更具体地，本发明涉
及一种使得能够更容易地检测淡入(fade-in)和淡出(fade-out)的图像处理 i殳备、方法以及程序。
背景技术：
通常，帧速率转换处理被提供用来产生插值图像。在帧速率转换处理 中，首先通过块匹配方法来险测运动向量，然后4吏用运动向量执行运动补 偿处理，并且由此根据时间上在前和在后的图像(帧)来创建新的插值图像 (插值帧)。
图l是示出帧速率转换处理的概念的图。
在图1中，水平轴代表时间(单位为秒)，垂直轴^^以一维表示图像 的运动时的位置。水平轴每1/120秒具有标记。另外，在图l中，带轮廓 的大圃示出输入图像信号，而黑实心小圆示出输出图像信号。也就是说， 图l示出这样的状态，在该状态中，其胶片模式是60Hz视频的输入图像 经过帧速率转换而成为120 Hz的输出图像。
在帧速率转换处理中，如图1所示，生成输出图像以便对输入图像的 位置(运动)进行插值。
在这种通过块匹配方法的运动向量检测中，在图像淡入或淡出时，尽 管图像实际为静止图像的事实，但是运动向量有时被#^*测为具有运 动的图像。在这种情况下，运动补偿处理使用4^检测的运动向量输出失 真的插值图像。
相应地，已经提出了建议来险测已经淡入或淡出的静止图像部分，并 且所述静止图像部分中的运动向量被确定为0 (例如，参见日本未审查专 利申请公布No. 2007-243627)。

发明内容
在曰本未审查专利申请^^布No. 2007-243627所描述的方法中，通过 对亮度值的阈值处理(在亮度值和预定阈值之间的比较)确定是否出现了 ^V或淡出。
然而，在上述阈值处理中使用的阈值是固定值，且由此需要通过用户 的操作来设置阈值。
本发明就是鉴于这样的情形而提出的。期望使得能够更容易地检测淡 入和淡出，而无需通过用户的操作来设置阈值。
根据本发明的实施例，提供了一种图像处理设备，其包括差值计算 装置，用于计算笫一累加值与第二累加值之间的差值，其中第一累加值通 过累加第一图像中的多个像素的亮度值而产生，第二累加值通过累加与第 一图#^在时间差的第二图像中的多个像素的亮度值而产生；阈值创建装 置，用于根据第一累加值创建与亮度变化级別相对应的、有关所述差值的 多个阈值，以便通过所述亮度变化级别来对第 一图像与第二图像之间的亮 度变化进行分级，其中所述亮度变化级别表示亮度变化的程度；以及亮度 变化级别确定装置，用于基于所述多个阈值而确定与所述差值相对应的亮 度变化级别。
根据实施例的图像处理设备还可以包括运动向量检测装置，用于通 过对第 一图像和第二图像进行块匹配如险测运动向量；运动补偿图像生成 装置，用于通过由运动向量对第 一图像进行运动补偿来生成运动补偿图 像；以及插值图像输出装置，用于根据由亮度变化级别确定装置确定的亮 度变化级别，按比率将第一图像中的每个像素与运动补偿图像中的对应像 素相组合。
在根据所述实施例的图像处理设备中，由亮度变化级别确定装置确定 的亮度变化级别越高，则可以由插值图^出装置输出的插值图像中的第 一图像的比率越高，且亮度变化级别越低，则可以由插值图^%出装置输 出的插值图像中的运动补偿图像的比率越高。
根据实施例的图像处理设备还可包括缩小图像(contracted image) 生成装置，用于生成通过缩小第一图像而产生的第一缩小图像，其中差值 计算装置可以计算第一亮度值与第二亮度值之间的差值，其中第一亮度值 通过累加第一缩小图像中的多个像素的亮度值而产生，第二亮度值通过累 加第二缩小图像中的多个像素的亮度值而产生。在根据实施例的图像处理设备中，运动向量检测装置可以相L据第一缩 小图像和第二缩小图像来检测运动向量。
根据本发明的另一实施例，提供了一种处理图像的方法，其包括以下
步骤计算第一累加值与第二累加值之间的差值，其中第一累加值通过累 加第一图像中的多个像素的亮度值而产生，第二累加值通过累加与第一图 M在时间差的第二图像中的多个像素的亮度值而产生；根据第一累加值 创建与亮度变化级別相对应的、有关所述差值的多个阈值，以便通过亮度 变化级别来对第 一 图像与第二图像之间的亮度变化进行分级，其中所述亮 度变化级别表示亮度变化的程度；以及基于所述多个阈值而确定与所述差 值相对应的亮度变化级别.
根据本发明的另一实施例，提供了一种用于使计算机执行处理的程 序，所述处理包括以下步骤计算第一累加值与第二累加值之间的差值， 其中笫一累加值通过累加第一图^f象中的多个像素的亮度值而产生，第二累 加值通过累加与第一图^t^在时间差的第二图^^中的多个像素的亮度值
而产生；根据第一累加值创建与亮度变化级别相对应的、有关所述差值的 多个阈值，以便通过亮度变化级别来对第一图像与第二图像之间的亮度变 化进行分级，其中所述亮度变化级别表示亮度变化的程度；以及基于所述 多个阈值而确定与所述差值相对应的亮度变化级别。
在本发明的实施例中，计算第一累加值与第二累加值之间的差值，其 中第一累加值通过累加第一图像中的多个像素的亮度值而产生，第二累加 值通过累加与笫一图^^在时间差的第二图像中的多个像素的亮度值而 产生，为了通it^示亮度变化程度的亮度变化级别iM"第 一 图像与第二图 像之间的亮度变化进行分级，根据笫 一 累加值创建与亮度变化级别相对应 的有关差值的多个阈值。基于所述多个阈值而确定与所述差值相对应的亮 度变化级别。
通过本发明的实施例，更容易,测淡入和淡出成为可能。


图1是帧速率转换的概念图2是图示根据本发明实施例的图像处理设备的构造示例的框图; 图3是图示亮度变化检测部件的功能构造示例的框图；图4是图示阈值创建部件的功能构造示例的框图； 图5是图示阈值和亮度变化级别之间的关系的图； 图6是图示运动补偿处理部件的功能构造示例的框图； 图7是图示帧速率转换处理的流程图； 图8是图示亮度变化检测处理的流程图9是图示亮度累加值、亮度差值和亮度变化级别之间的关系的图; 图10是图示运动补偿处理的流程图；以及 图11是图示个人计算机的构造示例的图。
具体实施例方式
在下面，将参考附图给出本发明实施例的描述。
图2图示了根据本发明实施例的图像处理设备的构造的示例。
图2中的图像处理设备11检测输入图像中的、^和淡出，根据检测 结果创建插值图像(插值帧)，并且输出经过帧速率转换的输出图像。在这 点上，淡入或淡出的检测在下面也被适当地称为渐变检测(fade detection),
图2中的图像处理设备ll包括预处理部件31、帧存储器32、运动向 量检测部件33和运动补偿处理部件34。
预处理部件31包括图像缩小部件51和亮度变化检测部件52，生成 输入图像的缩小图像，以及检测该缩小图像的亮度变化。更具体地，图像 缩小部件51通过使输入图像细化(thiiming)来生成例如1/4倍于输入图像 的缩小图像，且将所述缩小图像提供到帧存储器32、运动向量检测部件 33和亮度变化检测部件52。亮度变化检测部件52通过检测从图像缩小部 件51提供的缩小图像与通过将缩小图像延迟一帧而产生的缩小图像之间 (在时间上不同的帧之间)的亮度变化来执布斩变检测。亮度变化检测部件 52将表示所检测到的亮度变化的程度的亮度变化级别提供到运动补偿处 理部件34。在这点上，后面将参考图3描述亮度变化检测部件52的详情。
帧存储器32临时存储从图像缩小部件51提供的缩小图像，并且将紧 接着来自图像缩小部件51的缩小图像之前的一帧的图像(以下称为紧接在 前的缩小图像)提供到运动向量检测部件33。
运动向量检测部件33基于来自图像缩小部件51的缩小图像和来自帧存储器32的紧接在前的缩小图像而执行块匹配，并且针对缩小图像的每 个像素获得运动向量。更具体地，运动向量检测部件33读出与缩小图像 的所关心的像素(要处理的像素)相对应的所关心的块中的像素、以及与所 述紧接在前的缩小图像的各个像素(参考像素)相对应的参考块的像素，并 且获得各个对应像素位置的像素值(例如，亮度值)的绝对差之和。另外， 运动向量检测部件33比较针对各个参考像素获得的绝对差之和，并且获 得具有最小的绝对差之和的参考像素。然后，运动向量检测部件33根据 缩小图像中的所关心的像素和具有最小的绝对差之和的参考^象素来计算 运动向量，并且将所述运动向量提供到运动补偿处理部件34。
运动补偿处理部件34通过基于输入图像和运动向量执行运动补偿而 生成MC(运动补偿)图像(运动补偿图像)。另外，运动补偿处理部件34基 于来自亮度变化检测部件52的亮度变化级别而组合MC图像和输入图 像，并且输出该图像作为输出图像。之后将参考图6给出关于运动补偿处 理部件34的详细描述。
接下来，将参考图3的框图给出关于亮度变化检测部件52的功能构 造示例的描述。
亮度变化检测部件52包括亮度累加部件71、延迟部件72、差计算部 件73、去芯(coring)部件74、阈值处理部件75和阈值创建部件76。
亮度累加部件71针对来自图像缩小部件51的缩小图像的一帧累加各 个像素的亮度值，并且将累加结果(以下称为亮度累加值lum一acc一cur)提 供到延迟部件72、差计算部件73和阈值创建部件76。
延迟部件72将来自亮度累加部件71的亮度累加值lum一acc一cur延迟 缩小图像的一帧，并且将该值作为紧接在前的亮度累加值lum—acc_pre提 供到差计算部件73，。
差计算部件73计算来自亮度累加部件71的亮度累加值lum—acc—cur 与来自延迟部件72的紧接在前的亮度累加值lum—acc_pre之间"绝^f差 值，并且将所得到的亮度差值acc一diff作为亮度￡值acc_dif发送到去芯 部件74，。
去芯部件74对来自差计算部件73的亮度差值acc—dif执行去芯处理 (用于将在0和预定值之间的值变为全0的处理)，并且^乘以预定系数的 标准化亮度差值val提供到阈值处理部件75。
阈值处理部件75基于从阈值创建部件76提供的多个阈值，对来自去芯部件74的标准化亮度差值val进行阈值处理，并且确定与经过了阈值 处理的标准化亮度差值val相对应的亮度变化级别lum—change一level。
阈值创建部件76根据来自亮度累加部件71的亮度累加值 lum_acc_cur，创建要用于阈值处理部件75的阈值处理的多个阈值。
这里，将参考图4给出关于阈值创建部件76的构造示例的描述.
图4中的阈值创建部件76包括系数乘法部件91、以及乘法器92-1 到92-8。在这点上，在下面，如果不需要单独区分乘法器92-1到92-8， 则将它们称为乘法器92-N(N是1到8的整数)。
系数乘法部件91将来自亮度累加部件71的亮度累加值lum—acc_cur 乘以预定系数(例如，值充分小于l的系数)，并且将结果值step&供到乘 法器92-N。由系数乘法部件91进行相乘的系数例如是通过用户操作而任 意设置的固定值。
乘法器92-N通过将来自系数乘法部件91的值step乘以数值N而产 生的阈值thN(=step x N)提供到阈值处理部件75。例如，乘法器92-1通过 将来自系数乘法部件91的值step乘以1而产生的阈值thl(-st印x l)提供 到阈值处理部件75。同样，乘法器92-2通过将来自系数乘法部件91的值 step乘以2而产生的阈值th2(=step x 2)提供到阈值处理部件75。以相同 的方式，乘法器92-3到92-8将阈值th3到th8提供到阈值处理部件75。
通过这样的配置，阈值创建部件76可以根据构成缩小图像(输入图像) 的各个像素的亮度值的累加值，动态地设置用于对存在时间差的帧之间的 亮度变化进行分级的阈值。因此，用户不需要单独设置多个阈值。
另外，图3中的阈值处理部件75 ##从乘法器92-1到92-8提供的 八个阈值thl到th8，对连续(时间不同)帧之间的亮度变化进行分级(设置 亮度变化级别)。阈值处理部件75基于阈值仇1到th8，确定与标准化亮 度差值相对应的亮度变化级别lum一change一levd。
这里，将参考图5给出关于阈值thl到也8与亮度变化级别 lum一change一level的关系的描述。
在图5中，水平轴代表标准化亮度差值val，垂直轴代表亮度变化级 别lum_change—level。在水平轴上以值step的间隔示出阈值thl到th8， 且在垂i轴上示出亮度变化级别lum—change—level的九个等级，值0到8。
通过图5中所示的关系，如果来自去芯部件74的标准化亮度差值val的值不小于阈值thl但小于阈值th2,则阈值处理部件75输出1作为亮度 变化级别lum_change—level。如果标准化亮度差值val的值不小于阈值th2 但小于阈值th3，贝『阈值处理部件75输出2作为亮度变化级别 lum—change—level。如果标准化亮度差值val的值不小于阈值th3但小于 阈值th4，则阈值处理部件75输出3作为亮度变化级别lum一change—levd。 如果标准化亮度差值val的值不小于阈值也4但小于阈值也5，则&值处 理部件75输出4作为亮度变化级别lum—change—level,如果标准化亮度 差值val的值不小于阈值th5但小于阈值th6，则阈值处理部件75输出5 作为亮度变化级别lum一change一level。如果标准化亮度差值val的值不小 于阈值th6但小于阈值th7,则g值处理部件75输出6作为亮度变化级别 lum一changejevel。如果标准化亮度差值val的值不小于阈值th7但小于 阈值th8，则阈值处理部件75输出7作为亮度变化级别lum一change一level。 如果标准化亮度差值val的值不小于阈值th8，则阈值处理、件75^出8 作为亮度变化级别lum—changejevel。
另外，如果标准化亮度差值val的值小于阈值thl，则阈值处理部件 75输出0作为亮度变化级别lum一change一level。此时，对于来自差计算部 件73的亮度差值acc一dif,去芯部;74可以将所有0到thl的值确定为0.
接下来，将参考图6中的框图给出关于运动补偿处理部件34的功能 构造示例的描述。
图6中的运动补偿处理部件34包括MC图4象生成部件111和组合部 件112。
MC图像生成部件111搜索与缩小图像的各个像素相对应的输入图像 的像素，其对于通过分析从运动向量检测部件33提供的缩小图像的各个 像素中的运动向量来生成MC图像中的各个像素是必要的。另外，MC图 像生成部件111使用所搜索到的输入图像的像素，上采样像素数例如到四 倍，生成MC图像的各个像素，并且将这些像素提供到組^5件112。在 这点上，在本实施例中，MC图像生成部件lll仅搜索输入图像的像素， 并且仅使用输入图像的像素来生成MC图像的各个像素。然而，例如， MC图像生成部件lll也可以搜索紧接着之前的一帧的图像的像素，并且 可以使用输入图像的像素和所述紧接在前的图像的像素两者。
组合部件112基于来自亮度变化检测部件52的亮度变化级别 lum一changejevel来组合输入图像和MC图像，并且输出图像。更具体地， 组合部件112通过根据亮度变化级别lum_change_level以加权比率分别相加输入图像和MC图像中的对应像素位置的像素值来创建插值图像。组 合部件112将所创建的插值图像作为输出图像而输出到图中未示出的显 示部件等。
接下来，将参考图7中的流程图给出关于帧速率转换处理的描述。
在步骤S11中，预处理部件31确定是否提供了输入图像。如果确定 尚未提供输入图像，则重复该处理直至确定提供了输入图像。
在步骤S11中，如果确定提供了输入图像，则在步猓S12中，图像缩 小部件51对输入图像的像素进行细化，从而生成1/4倍于输入图像的缩 小图像，并且将所述图^l:供到帧存储器32、运动向量检测部件33和亮 度变化检测部件52。
在步骤S13中，帧存储器32临时地存储从图像缩小部件51提供的缩 小图像，并且将在紧接在前的定时存储的缩小图像作为紧接在前的缩小图 #^供到运动向量检测部件33。通过该处理，缩小图像和紧接在前的缩 小图傳被单独提供到运动向量检测部件33。
在步骤S14中，亮度变化检测部件52执行亮度变化检测处理，其检 测从图像缩小部件51提供的缩小图像与相对于该缩小图像具有一帧延迟 的缩小图像之间的亮度变化。亮度变化检测部件52将表示所检测到的亮 度变化的程度的亮度变化级别提供到运动补偿处理部件34。在这点上， 之后将参考图8给出关于步骤S14中的亮度变化检测处理的详细描述。
在步骤S15中，运动向量检测部件33基于来自图像缩小部件51的缩 小图像和来自帧存储器32的紧接在前的缩小图像，获得缩小图像的各个 1象素的运动向量，并且将所述运动向量提供到运动补偿处理部件34。
在步骤S16中，运动补偿处理部件34基于输入图像和运动向量而执 ^1动##处理，并且同时，生成MC图像，基于来自亮度变化检测部 件52的亮度变化级别而组合MC图像和输入图像，以及输出该图像作为 图,出。在这点上，将参考图10给出关于步骤S16中的运动补偿处理 的详细描述。
接下来，将参考图8中的流程图给出关于图7中的步骤S14的亮度变 化检测处理的描述。
在步骤S31中，亮度累加部件71针对来自图像缩小部件51的缩小图 像的一帧累加各个像素的亮度值，并且将累加结果即亮度累加值 lum_acc—cur提供到延迟部件72、差计算部件73和阈值创建部件76。在步骤S32中，延迟部件72将来自亮度累加部件71的亮度累加值 lum一acc一cur延迟所述缩小图像的一帧，并且将该值作为紧接在前的亮度 累加值lum—acc_pre提供到差计算部件73。通过该处理，亮度累加值 lum_acc—cur和紧接在前的亮度累加值lum—accjpre被单独提供到差计算 部#73。
在步骤S33中，差计算部件73计算亮度累加值lum—acc—cur和紧接 在前的亮度累加值lum_acc_pre之间的绝对差值，并且将7斤得到的亮度差 值acc—diff作为亮度差^ acc一dif提供到去芯部件74。
在步骤S34中，去芯部件74对来自差计算部件73的亮度差值acc—dif 进行去芯处理，并且将乘以预定系数之后的标准化亮度差值val提供到阈 值处理部件75。
在步骤S35中，阈值创建部件76根据来自亮度累加部件71的亮度累 加值lum acc cur 创建例如/\个阈值thl到th8，并且将所述阈值提供到 阈值处理、件75。
在步骤S36中，阈值处理部件75基于从阈值创建部件76提供的阈值 thl到th8，对来自去芯部件74的标准化亮度差值val进行阈值处理，并 且确定与经过阈值处理的标准化亮度差值val相对应的亮度变化级别 lum一change一level 。
这里，将参考图9给出关于亮度累加值、亮度差值和亮度变化级别之 间的关系的描述。
在图9中，水平轴代表时间，右侧的垂直轴代表亮度累加值 lum_acc_cur，左侧的垂直轴代表亮度差值acc_dif。另外，在图9中，针 对^个B 间而显示的指示符示出亮度变化级别(O到8)。
如由图9中的带正方形的曲线所示，亮度累加值lun^accjur随着时 间减小.这表示输入图像正在淡出。在这点上，在图9>，亮度累加值 lun^acc一cur随着时间加速减小。也就是说，如由图9中的带菱形的曲线 所示，^度差值acc—dif随着时间增大。由指示符示出的亮度变化级别按 照与亮度差值acc—dif相同的方式随着时间增大。也就是说，当输入图像 淡出时，亮度变化级别增大。
另外，在图9中，在时间16的亮度差值acc—dif与在时间17的亮度 差值acc^dif的比^J月在时间17的亮度差值acc一dif比在时间16的亮度 差值acc—dif低大约30000。如果阈值处理部件75的阈值处理中的阈值是恒定的，则当亮度差值acLdif具有基本上相同的值时，在时间17的亮度 变化级别应该与在时间15的亮度变化级别7相同。然而，在时间16和时 间17的亮度变化级别都是8，并且不存在差别。这是因为如果亮度累加 值lum_acc_cur减小，则由阈值创建部件76创建的阈值thl到th8也变 低.也就是;，当阈值thl到th8变低时，即使亮度差值acc一dif低，亮 度差值acc—dif也趋向于超过阈值处理中的阈值，且亮度变化k别趋向于 被确定为高级别。
如上所述，基于根据输入图像(缩小图像)的亮度值获得的阈值，确定 输入图#<缩小图像)的亮度变化级别。
结果，有可能更容易,测输入图像的亮度变化，即淡入和淡出，而 无需通过用户操作来设置阈值。
另外，在上述处理中，使用缩小图像执行渐变检测(亮度变化检测)， 由此，计算量小于直掩使用输入图像的情况下的计算量。
接下来，将参考图10的a^呈图给出关于图7中的步骤S16的运动补 偿处理的描述。
在步骤S51中，MC图像生成部件111基于从运动向量检测部件33 提供的运动向量生成MC图像。更具体地，MC图像生成部件lll搜索输 入图像上与缩小图像的各个像素相对应的像素，其对于通过分析缩小图像 的各个像素的运动向量来生成MC图像中的各个像素是必要的。另外， MC图像生成部件lll使用所搜索到的输入图像的像素，上采样像素数到 四倍，生成MC图像的各个像素，并且将所述像素提供到组合部件112。
在步骤S52中，组合部件112根据亮度变化级别lum—change—level, 按比率组合输入图像和MC图像。更具体地，组合部件112通过根1&亮度 变化级别lum_change_level，按加权比率分别相加输入图像和MC图像中 的相应的像素i置的i素值来创建插值图像。
例如，如果亮度变化级别lum一change一level是8，则组^P件112通
来创建插值图像。也就是说，如果亮度变化级别lum一change一level是8， 则组合部件112直接将输入图^m出作为插值图像。
同样，例如，如果亮度变化级别lum—change—level是5，则组合部件 112通过按5:3的加权比率分别相加输入i像和MC图像的相应像素的像 素值来创建插值图像。此外，例如，如果亮度变化级别lun^change一level是0，则组合部件 112通过按0:8的加权比率分别相加输入i像和MC图像的相应像素的像 素值来创建插值图像。也就是说，如果亮度变化级别lum一changejevel 是0，则组合部件112直接输出MC图像作为插值图像。
以这种方式，亮度变化级别lum一change一Ievel越高，则由组合部件 112输出的插值图像中的输入图i的比i越高。且亮度变化级别 lum—change—level越低，则由组^lp件112输出的插值图像中的MC图像 的比率越高。
在步骤S53中，组合部件112将所组合的插值图像作为输出图像，输 出到图中未示出的显示部件等。
通过上述处理，对于在运动向量上具有高可靠性且没有正在淡入或淡 出的图1象，输出由运动补偿处理生成的具有高比率的MC图像的图4象。 相反，对于由于正在淡入或淡出而导致在运动向量上具有低可靠性的图 像，输出包括高比率的输入图像的图像。
结果，在对包括淡入或淡出的输入图像的帧速率转换处理中(其中， 由于所述淡入或淡出而易于#^地检测到运动向量)，即使检测到渐变， 也可能使用错误检测到的运动向量输出在运动补偿中具有4艮小误差影响 的插值图像。
如上所述，在图像处理设备ll中，计算亮度累加值lun^acc—cur和 紧接在前的亮度累加值lum_acc_pre之间的亮度差值acc—dif，其中亮度 累加值lum_acc_cur通过累;缩小图像中的多个像素的亮i值而产生，紧 接在前的亮k累加值lum_acc_pre通过累加在与缩小图像存在时间差的 紧接在前的缩小图像中的;个像素的亮度值而产生。为了通过亮度变化级 别lum一change一level对缩小图傳禾紧接在前的缩小图像之间的亮度变化 进行分i，根据^度累加值lum—acc一cur创建与亮度变化级别相对应的有 关所述差值的多个阈值也l到也8。然后，基于多个阈值thl到th8确定 与所述差值相对应的亮度变化级别lum_change_level。因此，可以更容易 旨测^X和淡出而无需通过用户搮作设置阈^L
此外，在图像处理设备ll中，可以通过输入图像和缩小图像之间的 块匹配来险测运动向量，接下来，可以由运动向量来补偿输入图像，从而 创建运动补偿图像，然后，在输入图像的各个像素和相应的运动补偿图像 的各个像素之间进行组合，从而输出对输入图^Jt行插值的插值图像。因此，在对包括^/V或淡出而由此易于g地检测运动向量的输入图像的帧
速率转换处理中，即使检测到渐变，也可能使用4W检测到的运动向量输 出在运动补偿中具有很小误差影响的插值图像。
在这点上，在上面的处理中，按从0到8的九个级别对亮度变化级别 lum_change_level进行分级。当然，可以按更少级别数或者可以按更多级
别i对亮度i化级别进行分级。
另外，在上面的处理中，已经给出了关于使用与输入图斜目对应的缩 小图像和紧接在前的缩小图像的处理的描述。当然，也可以使用另 一图像， 只要该图像具有不同的定时即可。例如，可以使用缩小图像和紧接在后的 缩小图像，或者可以使用之前两帧的缩小图^^与输入图^M目对应的缩小 图像等等。另外，已经给出了关于使用两个图像即缩小图像和紧接在前的 缩小图像的示例的描述。然而，可以使用两个以上的图像。例如，可以使 用缩小图像和紧接在前的缩小图像来执行处理，并且可以使用紧接在后的 缩小图像。可替选地，可以执行使用比此更多的图像的处理。
上述系列处理可以通过硬件或通过软件来执行。当通过软件来执行所 所述系列处理时，构成该软件的程序可以被安装在内置于专用硬件中的计 算机中。可替选地，该程序可以从程序记录介质被安装在例如能够通过安 装各种程序来执行不同功能的通用个人计算机等中。
图11是图示通过程序执行上述系列处理的计算机的硬件构造的示例 的框图。
在该计算机中，CPU(中央处理单元)901、 ROM(只读存储器)卯2、 RAM(随MM储器)903通过总线904相互连接，
输V输出接口 905也被连接到总线904。包括^^:、鼠标、麦克风等 的输入部件卯6，包括显示器、扬声器等的输出部件卯7，包括硬盘、非 易失性存储器等的存储部件908，包括网络接口等的通信部件卯9，以及 用于驱动诸如磁盘、光盘、磁光盘或半导体存储器等的可拆卸介质911的 驱动器910被连接到输A/输出接口 905.
在具有如上所述构造的计算机中，CPU 901通过输A/输出接口 905 和总线904，将例如在存储部件卯8中所存储的程序装栽到RAM卯3以 执行程序，从而执行上述系列处理。
要由计算机(CPU 901)执行的程序被记录在可拆卸介质911中，可拆 卸介质911是包介质，例如包括磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)、DVD(数字多功能盘)等)、磁光盘或半导体存储器等。 可替选地，程序可以通过诸如局域网、因特网、数字卫星广播等有线或无 线传输来提供。
程序可以通过将可拆卸介质911附连到驱动器910，通过输>^/输出接 口 905而被安装在存储部件908中。另夕卜，程序可以由通信部件909通过 有线或无线传输介质来接收，并且可以被安装在存储部件908中。另夕卜， 程序可以被预先安M ROM 902或存储部件卯8中。
在这点上，由计算机执行的程序可以是根据本说明书中的描述顺序而 按时序处理的程序。可替选地，程序可以是并行执行的程序，或者可以是 在诸如被调用等时需要的定时执行的程序。
本申请包括与2008年6月25日向日本专利局提交的日本优先权专利 申请JP2008-166062中公开的主题内斜目关的主题内容，在此通过引用结 合其全部内容。
在这点上，本发明的实施例不局限于上述实施例。可以在不背离本发 明的主旨的情况下进行各种修改。
本领域的技术人员应当理解，可以在所附权利要求或其等同内容的范 围内根据设计需要或其它因素进行各种修改、组合、子组合和变更。
权利要求
1.一种图像处理设备，包括差值计算装置，用于计算第一累加值与第二累加值之间的差值，其中所述第一累加值通过累加第一图像中的多个像素的亮度值而产生，所述第二累加值通过累加与所述第一图像存在时间差的第二图像中的多个像素的亮度值而产生；阈值创建装置，用于根据所述第一累加值创建与亮度变化级别相对应的、有关所述差值的多个阈值，以便通过所述亮度变化级别来对所述第一图像与所述第二图像之间的亮度变化进行分级，其中所述亮度变化级别表示所述亮度变化的程度；以及亮度变化级别确定装置，用于基于所述多个阈值来确定与所述差值相对应的亮度变化级别。
2. 根据权利要求l所述的图像处理设备，还包括运动向量检测装置，用于通过对所述笫一图像和所述第二图像进行块 匹配来检测运动向量；运动##图像生成装置，用于通过由所述运动向量对所述第一图像上 的运动进行补偿来生成运动补偿图像；以及插值图像输出装置，用于才艮据由所述亮度变化级别确定装置确定的亮 度变化级别，按比率将所述第 一 图像中的每个像素与所i^动^M尝图像中 的相应l象素相组合。
3. 根据权利要求2所述的图像处理设备，其中，由所述亮度变化级 别确定装置确定的所述亮度变化级别越高，则由所述插值图,出装置输 出的插值图像中的所述第一图像的比率越高，且所述亮度变化级别越低， 则由所述插值图像输出装置输出的所述插值图像中的所^动补偿图像 的比率越高。
4. 根据权利要求2所述的图像处理设备，还包括缩小图像生成装置， 用于生成通过缩小所述笫 一 图像而产生的第 一缩小图像，其中所述差值计算装置计算第一亮度值与第二亮度值之间的差值，其 中所述第一亮度值通过累加所述第一缩小图像中的多个像素的亮度值而 产生，所述第二亮度值通过累加所述第二缩小图像中的多个像素的亮度值 而产生。
5. 根据权利要求4所述的图像处理设备，其中所述运动向量检测装 置根据所述第 一缩小图像和所述第二缩小图像来检测所述运动向量.
6. —种处理图^(象的方法，包括以下步骤计算第 一 累加值与第二累加值之间的差值，其中所述第 一 累加值通过 累加第一图像中的多个像素的亮度值而产生，所述第二累加值通过累加与 所述笫一图像存在时间差的笫二图像中的多个像素的亮度值而产生；根据所述笫 一 累加值创建与亮度变化级别相对应的、有关所述差值的 多个阈值，以便通过所述亮度变化级别来对所述第 一图像与所述第二图像 之间的亮度变化进行分级，其中所述亮度变化级别表示所述亮度变化的程 度；以及基于所述多个阈值确定与所述差值相对应的亮度变化级别。
7. —种使计算机执行包括以下步骤的处理的程序计算第 一累加值与第二累加值之间的差值，其中所述第一 累加值通过 累加笫一图像中的多个像素的亮度值而产生，所述第二累加值通过累加与 所述第一图像存在时间差的第二图像中的多个像素的亮度值而产生；根据所述笫 一 累加值创建与亮度变化级别相对应的、有关所述差值的 多个阈值，以便通过亮度变化级别来对所述笫一 图像与所述第二图像之间 的亮度变化进行分级，其中所述亮度变化级别表示所述亮度变化的程度； 以及基于所述多个阅值确定与所述差值相对应的亮度变化级别。
8. —种图像处理设备，包括差值计算机构，其计算第一累加值与第二累加值之间的差值，其中所 述笫一累加值通过累加第一图像中的多个像素的亮度值而产生，所述第二 累加值通过累加与所述笫一图t^在时间差的第二图像中的多个像素的 亮度值而产生；阈值创建机构，其根据所述第 一 累加值创建与亮度变化级别相对应 的、有关所述差值的多个阈值，以4更通过所述亮度变化级别来对所述第一 图像与所述第二图像之间的亮度变化进行分级，其中所述亮度变化级别表 示所述亮度变化的程度；以及亮度变化级别确定机构，其基于所述多个阈值来确定与所述差值相对 应的所述亮度变化级别。
全文摘要
一种图像处理设备和方法以及程序。所述图像处理设备包括差值计算机构，其计算第一累加值与第二累加值之间的差值，其中第一累加值通过累加第一图像中的多个像素的亮度值而产生，第二累加值通过累加与第一图像存在时间差的第二图像中的多个像素的亮度值而产生；阈值创建机构，用于根据第一累加值创建与亮度变化级别相对应地、有关差值的多个阈值，以便通过表示亮度变化程度的亮度变化级别来对第一图像与第二图像之间的亮度变化进行分级；以及亮度变化级别确定机构，用于基于所述多个阈值来确定与所述差值相对应的亮度变化级别。
文档编号H04N5/14GK101616250SQ20091014950
公开日2009年12月30日 申请日期2009年6月25日 优先权日2008年6月25日
发明者井原利升, 冈田绅太郎, 西堀一彦, 西智裕 申请人:索尼株式会社