图像处理设备和方法、手抖模糊区域估计设备和方法

专利名称：图像处理设备和方法、手抖模糊区域估计设备和方法
技术领域：
本发明涉及图像处理设备、图像处理方法、手抖模糊区域估计设 备、手抖模糊区域估计方法和程序，并特别涉及适于在例如估计和校 正捕获图像时发生的手抖模糊的情况下使用的图像处理设备、图像处 理方法、手抖模糊区域估计设备、手抖模糊区域估计方法和程序。
背景技术：
已经提出了各种手抖模糊校正方法，例如用于根据通过摄像机中 提供的角速度传感器、陀螺传感器等检测到的摄像机的运动来校正手 动模糊的方法，和用于根据从摄像机捕获的捕获图像检测到的运动向 量计算手动抖动要被校正的校正量，并根据所计算的校正量来校正手 抖模糊的方法。
即，例如在相关技术的手抖模糊校正方法中，在代表摄像机的运 动的特定运动量等于或大于预定阈值时，则确定摄影师有意地执行了 例如摇摄或者俯仰的画面构成改变操作。因此，画面构成改变操作所 导致的捕获图像中的图像模糊不被校正，或者图像模糊被校正的程度 被降低。
同时，在摄像机的运动量小于预定阈值的情况下，则确定摄像机 因为摄影师的手抖而震动。因此，摄影师手抖所导致的捕获图像中的
才莫糊^^交正。
在例如No. 11-183951号未审查日本专利申请中，描述了用于根 据角速度传感器获取的角速度检测代表摄像机的运动的特定运动量， 并在该运动量在预定时间段期间保持等于或大于阈值的情况下确定已经执行了摇摄或者俯仰的方法。
此外，在例如No. 8-331430号未审查日本专利申请中，描述了用 于当在对应于30个场的预定时间段期间运动向量数据未超过预定阈 值时，设置把校正量如在摇摄或俯仰的情况下那样尽可能减小的会聚 才莫式的方法。

发明内容
4旦是，在No. 11-183951和No. 8-331430号未审查日本专利申请 中描述的方法中，由于手抖的程度因摄影师而异，所以很难设置用于 确定摄像机的运动是和摄影师所执行的摇摄或俯仰操作相关还是和 摄影师的手抖相关的最佳阈值。
因此，有可能不正确地执行确定摄像机的运动是和摄影师所执行 的摇摄或俯仰操作相关还是和摄影师的手抖相关。在这种情况下，手 抖模糊未得到恰当校正。
即，例如在把较小的值设置为关于摄像机的运动量的阈值以便快 速检测摇摄或俯仰操作的情况下，只是手抖也可能被不正确地确定为 有意的摇摄或俯仰操作。在这种情况下，手抖模糊未得到恰当校正。
同时，在把较大的值设置为关于摄像机的运动量的阈值以便防止 把手抖不正确地确定为摇摄或俯仰操作的情况下，有意的摇摄或俯仰 操作则可能被不正确地确定为手抖。在这种情况下，摄影师有意地执 行的摇摄或俯仰操作可能被确定为手抖，因而可能校正手抖模糊。
人们期望估计手抖(其程度因摄影师而异)，并恰当地校正手抖模糊。
根据本发明的第一个实施例， 一种用于校正在捕获运动图像时发 生的手抖模糊的图像处理设备包括下列部件，或者用于使计算机起到 用于校正在捕获运动图像时发生的手抖模糊的图像处理设备作用的 程序使计算机起到下列部件的作用产生装置，用于通过把构成运动 图像的多个图像中的特定图像设置为用作手抖模糊校正处理的参考 的参考图像，并把剩余图像设置为要经受手抖模糊校正处理的校正目标图像，产生校正目标图像相对于参考图像的位置位移要被校正的校
正量；估计装置，用于根据产生装置产生的校正量，估计代表发生了 相对于参考图像的手抖模糊的区域的手抖模糊区域；检测装置，用于 根据产生装置产生的校正量，检测捕获校正目标图像时有意的画面构 成改变操作；和更新装置，用于根据估计装置估计的手抖模糊区域和 检测装置执行的检测的结果，把设置的校正区域更新为校正目标图像 中相对于参考图像的手抖模糊要被校正的区域。
在所述图像处理设备或者程序中，校正目标图像可以按图像被捕 获的顺序跟随参考图像。在用于第 一校正目标图像的校正量的水平分 量和垂直分量中的至少一个大于用于跟在第一校正目标图像之后的 第二校正目标图像的校正量的对应分量的情况下，估计装置可以根据 用于第一校正目标图像的校正量估计手抖模糊区域。检测装置可以根 据用于第 一校正目标图像的校正量检测在捕获第 一校正目标图像时 是否执行了摇摄或俯仰其中至少 一个。更新装置可以根据估计装置估 计的手抖模糊区域和检测装置执行的检测的结果，更新用于第二校正 目标图像的校正区域。
所述图像处理设备或者程序还可以包括限制装置，用于根据校 正区域，把用于校正目标图像的校正量限制到校正目标图像中相对于 参考图像的手抖模糊要被校正的实际校正量；和校正装置，用于根据 实际校正量，产生校正目标图像中相对于参考图像的手抖模糊已被校 正的校正图像。
在所述图像处理设备或者程序中，在预定时间段期间校正区域未 被更新的情况下，更新装置可以减小校正区域的尺寸。
在所述图像处理设备或者程序中，在预定时间段期间校正区域未 被更新的情况下，更新装置可以根据产生装置产生的校正量的分布减 小校正区域的尺寸。
在所述图像处理设备或者程序中，在预定时间段期间校正区域未 被更新的情况下，更新装置可以以特定的减小比减小校正区域的尺 寸。在所述图像处理设备或者程序中，在估计装置所估计的手抖模糊 区域未落入校正区域内，并且无论捕获校正目标图像时的摇摄还是俯 仰都未被检测装置检测到的情况下，更新装置可以根据手抖模糊区域 更新校正区域。
在所述图像处理设备或者程序中，校正装置可以通过根据实际校 正量提取校正目标图像内的特定区域并放大所提取的特定区域来产 生校正图像。
所述图像处理设备或者程序还可以包括用于捕获运动图像的捕 获装置。
根据本发明的第一实施例， 一种供在用于校正由捕获运动图像时 发生的手抖所引起的运动图像中的手抖模糊的图像处理设备中使用
的图像处理方法包括以下步骤把构成运动图像的多个图像中的特定 图像设置为用作手抖模糊校正处理的参考的参考图像；通过把剩余图 像设置为要经受手抖模糊校正处理的校正目标图像，产生校正目标图 像相对于参考图像的位置位移要被校正的校正量；根据产生的校正 量，估计代表发生了相对于参考图像的手抖模糊的区域的手抖模糊区 域；根据产生的校正量，检测捕获校正目标图像时有意的画面构成改 变操作；和根据估计的手抖模糊区域和检测结果，把设置的校正区域 更新为校正目标图像中相对于参考图像的手抖模糊要被校正的区域。
根据本发明的第 一实施例，通过把构成运动图像的多个图像中的 特定图像设置为用作手抖模糊校正处理的参考的参考图像，并把剩余 图像设置为要经受手抖模糊校正处理的校正目标图像，产生校正目标 图像相对于参考图像的位置位移要被校正的校正量。根据产生的校正 量，估计代表发生了相对于参考图像的手抖模糊的区域的手抖模糊区 域。根据产生的校正量，检测捕获校正目标图像时有意的画面构成改 变操作。根据估计的手抖模糊区域和检测的结果，把设置的校正区域 更新为校正目标图像中相对于参考图像的手抖模糊要被校正的区域。
根据本发明的第二实施例， 一种用于估计捕获运动图像时发生的 手抖所引起的运动图像中的手抖模糊的手抖模糊区域估计设备包括下列部件，或者用于使计算机起到用于估计捕获运动图像时发生的手 抖所引起的运动图像中的手抖模糊的手抖模糊区域估计设备作用的
程序使计算机起到下列部件的作用检测装置，用于通过把构成运动 图像的多个图像中的特定图像设置为用作手抖模糊区域估计处理的 参考的参考图像，检测代表每一个剩余图像相对于参考图像的运动的 运动向量；和估计装置，用于根据检测装置检测到的运动向量，估计 代表发生了相对于参考图像的手抖模糊的区域的手抖模糊区域。
根据本发明的第二实施例， 一种供在用于估计捕获运动图像时发 生的手抖模糊的手抖模糊区域估计设备中使用的手抖模糊区域估计 方法，包括下列步骤通过把构成运动图像的多个图像中的特定图像 设置为用作手抖模糊区域估计处理的参考的参考图像，检测代表每一 个剩余图像相对于参考图像的运动的运动向量；和根据检测到的运动 向量，估计代表发生了相对于参考图像的手抖模糊的区域的手抖模糊 区域。
根据本发明的第二实施例，通过把构成运动图像的多个图像中的 特定图像设置为用作手抖模糊区域估计处理的参考的参考图像，检测 代表每一个剩余图像相对于参考图像的运动的运动向量。根据检测到 的运动向量，估计代表发生了相对于参考图像的手抖模糊的区域的手 抖模糊区域。
根据本发明的实施例，可以估计手抖(其程度因摄影师而异)， 并且可以恰当地校正手抖模糊。


图1是示出了根据本发明实施例的图像处理设备的结构的例子 的框图2是用于说明检测运动向量的检测方法的说明图； 图3A和图3B是用于说明手抖模糊校正处理的概观的说明图； 图4A和图4B是用于i兌明才吏正显示可能区域(corrected disply possible area )的说明图；图5是示出了图1中所示手抖模糊校正单元的详细结构的例子的
框图6是用于说明产生校正量的产生方法的说明图7是用于说明估计手抖模糊区域的估计方法的说明图8是用于说明检测有意的画面构成改变操作的检测方法的说
明图9是用于说明确定校正区域的确定方法的第一个图IO是用于说明确定校正区域的确定方法的第二个图11是用于说明确定校正区域的确定方法的第三个图12是用于说明确定校正区域的确定方法的第四个图13是用于说明确定校正区域的确定方法的第五个图14是用于说明确定实际校正量的确定方法的第一个图15是用于说明确定实际校正量的确定方法的第二个图16是用于说明确定实际校正量的确定方法的第三个图17A、17B和图17C是用于说明产生校正图像的产生方法的说
明图18A、 18B和图18C是说明图，用于说明即使在校正量的端点 由于摄影师的手抖而被移动到校正区域以外的情况下，校正图像中的 对象的位置也仅位移了可忽略的量的特点；
图19A和图19B是用于说明执行了摇摄以后的手抖模糊校正的 第一个图20A和图20B是用于说明执行了摇摄以后的手抖模糊校正的 第二个图21是用于说明手抖模糊校正处理的流程图； 图22是用于说明校正量产生处理的流程图； 图23是用于说明手抖^莫糊区域估计处理的流程图； 图24是用于说明摇摄/俯仰检测处理的流程图； 图25是用于说明校正区域确定处理的流程图； 图26是用于说明校正量控制处理的流程图；图27是用于说明校正区域的第一减小方法的说明图 图28是用于说明校正区域的第二减小方法的说明图 图29是用于说明另一种校正区域确定处理的流程图；和 图30是示出了计算机结构的例子的框图。
具体实施例方式
现在将参考附图描述本发明的实施例。
图1示出了根据本发明实施例的图像处理设备的结构的例子。
图像处理设备1包括运动向量检测单元31、手抖模糊校正单元 32、控制单元33和操作单元34。
由多个帧(或场)构成的运动图像被从存储单元(未示出)提供 到运动向量检测单元31和手抖模糊校正单元32，所述多个帧(或场) 按所述帧(或场)被捕获的顺序是连续的。注意，由包括例如电荷耦 合器件(CCD)或互补金属氧化物半导体(CMOS)的图像拾取器件 的摄像机捕获的运动图像被预先存储在存储单元中。
运动向量检测单元31例如根据块匹配方法检测被提供的运动图 像的各个帧的运动向量，并把检测到的运动向量提供给手抖模糊校正 单元32。后面将参考图2描述块匹配方法的细节。
手抖模糊校正单元32根据从运动向量检测单元31提供的运动图 像的各个帧的运动向量校正在所提供的运动图像的各个帧中由捕获 图像时发生的手抖导致的手抖模糊，并把作为结果的校正图像输出到 后续单元(例如监视器，未示出)。
控制单元33根据来自操作单元34的操作信号控制运动向量检测 单元31和手抖模糊校正单元32。
操作单元34包括例如要被用于指定被指定位置41 (见图3A和 图3B)的按键、要被用于改变校正显示可能区域L(见图4A和图4B) 的按键，等等，在区域L内，被提取框e的被提取中心可以被移动。 响应于用户所执行的按键操作，操作单元34把对应于按键操作的操 作信号提供给控制单元33。图2是用于说明由运动向量检测单元31根据块匹配方法检测运 动向量的检测方法的说明图。
运动向量检测单元31顺序地把运动图像的各个帧设置为目标 帧，并把一个目标帧划分为mxn块，如图2中所示。然后，运动向 量检测单元31从跟在该目标帧之后的帧获取和该目标帧中的各个块 最类似的区域(类似区域)。因此，运动向量检测单元31检测代表 特定帧中的类似区域相对于目标帧中对应块的运动的运动向量。
图3A和图3B是用于说明由图像处理设备1校正在捕获图像时 发生的手抖所引起的手抖模糊的手抖模糊校正处理的概观的说明图。
在图3A的左手侧上示出的帧O代表构成运动图像的多个帧中的 特定帧。在图3A的右手侧上示出的帧代表对应于帧0的校正图像。
在图3B的左手侧上示出的帧n代表跟在帧0之后n个帧的 一 帧。 在图3B的右手侧上示出的帧代表对应于帧n的校正图像。
在手抖模糊校正处理中，如图3A的左手侧和图3B的左手侧所 示，在对应于摄像机所捕获的整个捕获图像的尺寸的捕获区域E内部 设置被提取框e，它限定了要被提取并被放大到特定尺寸的区域的尺 寸。通过根据手抖模糊要被校正的实际校正量42在捕获区域E内移 动被提取框e，手抖模糊得到校正。
即，例如在图3A的左手侧上所示，图像处理设备l(手抖模糊 校正单元32 )把构成运动图像的多个帧中的特定帧设置为参考帧(帧 0)，它用作用于校正捕获图像时发生的手抖模糊的手抖模糊校正处 理的参考。
此外，图像处理设备l从帧0提取区域41a (区域41a由以根据 用户执行的按键操作指定的被指定位置41为中心的被提取框e限 定)，并把区域41a放大到特定尺寸，例如和捕获区域E相同的尺寸。 然后，图像处理设备l输出作为结果的校正图像(见图3A的右手侧)。 注意，在图3A的左手侧，被指定位置41代表帧0的中心。
图像处理设备l产生帧n(见图3B的左手侧)中相对于帧O(见 图3A的左手侧)的手抖模糊要被校正的实际校正量42。
13此外，如图3B的左手侧上所示，图像处理设备l根据相对于帧 0的手抖模糊要被校正的实际校正量42,将代表被提取框e的中心的 被提取中心从被指定位置41移动到位置41，。
此外，图像处理设备l从帧n提取由以被移动的被提取中心41， 为中心的被提取框e限定的区域41，b，并把区域41，b放大到特定尺 寸，例如和捕获区域E相同的尺寸。然后，图像处理设备l作为结果 的校正图像(见图3B的右手侧)，其中，帧n中的手抖模糊已经被 校正。
将参考图4A和图4B描述代表被提取框e的被提取中心可在其 内移动的区域的校正显示可能区域L。
由于已经参考图3A和图3B描述了捕获区域E和被提取框e， 将不参考图4A和图4B描述捕获区域E和被提取框e。此后，同样适 用于其他附图。
此外，在图4A和图4B中，提供了把捕获区域E划分为具有相 同形状的十六个矩形部分(沿水平方向四个部分，并且沿垂直方向四 个部分)的虚线，以便阐明被提取框e的位置等。
此外，在图4A和图4B中，在十六个矩形部分中，四个矩形部 分，即存在于捕获区域E的中心的沿水平方向的两个部分和沿垂直方 向的两个部分被设置为校正显示可能区域L。此外，被提取框e的尺 寸和这四个矩形部分(即沿水平方向的两个部分和沿垂直方向的两个 部分)的尺寸相同。
如图4A的左手侧上所示，在被提取中心41，存在于校正显示可 能区域L内的情况下，由于以被提取中心41，为中心的被提取框e存 在于捕获区域E内，因此可以从捕获区域E提取整个被提取框e。
因此，如图4A的右手侧上所示，在通过把根据被提取框e提取 的矩形部分的水平长度和垂直长度加倍到具有和捕获区域E相同的 尺寸而获得的校正图像中不存在图像缺失。
同时，如图4B的左手侧上所示，在被提取中心41，不存在于校 正显示可能区域L内的情况下，以被提取中心41，为中心的被提取框e延伸超过了捕获区域E。因此，在被提取框e内可能存在不包括要 被提取的被捕获图像的部分。
因此，如图4B的右手侧上所示，在通过把根据被提取框e提取 的矩形部分的水平长度和垂直长度加倍到具有和捕获区域E相同的 尺寸而获得的校正图像的右侧部分(以黑色示出)中发生了图像缺失。
因此，在手抖模糊校正处理中，为了不在校正图像中产生图像缺 失，有必要把被提取中心设置在校正显示可能区域L内。
注意，随着被提取框e的尺寸增大，在捕获区域E中，被提取 框e可以在其内移动的范围，即被提取框e的被提取中心可以在其内 移动的校正显示可能区域L的尺寸被减小。
图5是框图，示出了图1中所示的手抖模糊校正单元32的详细 结构的例子。
手抖模糊校正单元32包括校正量产生部分61、手抖模糊区域估 计部分62、摇纟聂/俯仰检测部分63、 4交正区域确定部分64、校正量控 制部分65、以及才交正图〗象产生部分66。
构成运动图像的各个帧的运动向量被从图1中所示的运动向量 检测单元31提供到校正量产生部分61。
校正量产生部分61把多个帧中的特定帧设置为参考帧，它被用 作手抖模糊校正处理的参考。
校正量产生部分61根据从运动向量检测单元31提供的各个帧的 运动向量产生代表帧n相对于参考帧(帧0)的运动的运动向量作为 帧n相对于参考帧的位置位移(图像模糊、手抖模糊，等等)要被校 正的校正量(此后称作帧n的校正量)。
即，例如当帧n相对于帧n-l的运动向量(此后称作帧n的运动 向量)被从运动向量检测单元31提供时，校正量产生部分61把帧n 的运动向量加到存储在内部存储器中的帧n-l的校正量。然后，校正 量产生部分61把相加结果设置为帧n的校正量。
注意，校正量产生部分61包括内部存储器，例如快闪存储器， 用于暂时存储信息。先前已产生的帧n-l的校正量被存储在存储器中。校正量产生部分61把根据从运动向量检测单元31提供的各个帧 的运动向量产生的帧n的校正量提供到手抖模糊区域估计部分62、摇 摄/俯仰检测部分63和校正量控制部分65。
校正量产生部分61还把帧n的运动向量提供给校正量控制部分65。
此外，响应于来自校正量控制部分65的帧n中的手抖模糊要被 校正的实际校正量(帧n的实际校正量)的反馈，校正量产生部分61 指定开始于被指定位置41的帧n的实际校正量的端点作为新的被指 定位置，并把帧n设置为新的参考帧。
手抖模糊区域估计部分62根据存储在内部存储器中的帧n-l的 校正量和从校正量产生部分61提供的帧n的校正量估计手抖模糊区 域(所述区域代表发生了相对于参考帧的手抖模糊的区域)，并把关 于所估计的手抖模糊区域的信息提供给校正区域确定部分64。
即，例如手抖才莫糊区域估计部分62确定从才交正量产生部分61 提供的帧n的校正量的水平分量(绝对值)和垂直分量(绝对值)中 的每一个是否小于内部存储器中存储的帧n-l的校正量的对应分量 (绝对值)。只有在确定帧n的校正量的水平分量和垂直分量中的至 少一个小于帧n-l的校正量的对应分量的情况下，手抖模糊区域估计 部分62才根据帧n-l的校正量估计手抖模糊区域，并把关于所估计的 手抖模糊区域的信息提供给校正区域确定部分64。
注意，手抖模糊区域估计部分62包括内部存储器，例如快闪存 储器，用于暂时存储信息。先前从校正量产生部分61提供的帧n-l 的校正量被存储在存储器中。
此外，只有在确定帧n的校正量的水平分量和垂直分量中的至少 一个小于帧n-l的校正量的对应分量的情况下，手抖模糊区域估计部 分62才把指示大于帧n的校正量的对应分量的帧n-l的校正量的分 量的分量信息提供给校正区域确定部分64。
摇摄/俯仰检测部分63根据从校正量产生部分61提供的帧n的 校正量，检测在捕获帧n时发生有意的画面构成改变操作(即摇摄、俯仰，等等)。然后，摇摄/俯仰检测部分63把检测结果提供到校正 区域确定部分64。
校正区域确定部分64根据从手抖模糊区域估计部分62提供的分 量信息和手抖模糊区域以及从摇摄/俯仰检测部分63提供的检测结 果，把设置的校正区域更新为帧n中相对于参考帧的手抖模糊要被校 正的区域。然后，校正区域确定部分64把关于被更新的校正区域的 信息提供到校正量控制部分65。
注意，对于校正区域，例如，根据关于一般用户在捕获图像时发 生的手抖的假设所确定的手抖模糊区域的尺寸被预先设置为初始值。
校正量控制部分65根据从校正区域确定部分64提供的帧n的校 正区域，把从校正量产生部分61提供的帧n的校正量限制为帧n中
相对于参考帧的手抖模糊要被校正的实际校正量(此后称作帧n的实 际校正量)。然后，校正量控制部分65把经限制的校正量提供到校 正图像产生部分66。
即，例如，校正量控制部分65把先前已经获取并存储在内部存 储器中的帧n-l的实际校正量加到从校正量产生部分61提供的帧n 的运动向量，并获取相加的结果作为帧n的候选校正量。
注意，校正量控制部分65包括内部存储器，例如快闪存储器， 用于暂时存储信息。先前已经获取的帧n-l的实际校正量被存储在存 储器中。
然后，校正量控制部分65根据帧n的候选校正量、从校正量产 生部分61提供的帧n的校正量，以及从校正区域确定部分64提供的 帧n的校正区域，确定帧n的实际校正量。然后，校正量控制部分65 把确定的帧n的实际校正量提供到校正图像产生部分66。
校正图像产生部分66从被提供的帧n产生校正图像，其中帧n 中的手抖模糊已被根据从校正量控制部分65提供的帧n的实际校正 量校正。然后，校正图像产生部分66输出产生的校正图像。
图6是用于说明由图5中所示的校正量产生部分61产生帧n的 校正量的产生方法的说明图。参考图6，被指定位置41由用户指定。例如，被指定位置41被 预先设置在代表帧的中心的中央位置。
此外，参考图6，箭头92j'j 926代表帧1到帧6的运动向量。 箭头936代表帧6的校正量。
例如，当帧1的运动向量92i被从运动向量检测单元31提供时， 校正量产生部分61把帧1的运动向量92j殳置为帧1的校正量93p
此外，当帧2的运动向量922被从运动向量检测单元31提供时， 校正量产生部分61把帧2的运动向量922加到存储在内部存储器中的 帧1的校正量93i (即帧1的运动向量92!)，并把相加结果设置为帧 2的校正量932。
类似地，当帧6的运动向量926被从运动向量检测单元31提供 时，校正量产生部分61把帧6的运动向量926加到存储在内部存储器 中的帧5的校正量935 (即，把运动向量92t到925相加的结果)，并 把相加结果设置为帧6的校正量936。
注意，在下面的描述中，帧n的运动向量92n代表帧n的运动向 量，并且帧n的校正量93 代表帧n的校正量。
图7是用于说明由图5中所示的手抖模糊区域估计部分62估计 发生了相对于参考帧手抖模糊的手抖模糊区域的估计方法的说明图。
图7的X和Y坐标代表基于被指定位置41作为原点，由彼此相 互正交的X轴和Y轴定义的正交坐标。X轴代表校正量的水平分量， 并且Y轴代表校正量的垂直分量。此后，同样适用于其他附图。
手抖模糊区域估计部分62确定从校正量产生部分61提供的帧n 的校正量93 的水平分量(绝对值)是否小于先前从校正量产生部分 61提供的帧n-l的校正量93^的水平分量(绝对值)。
类似地，手抖模糊区域估计部分62还确定从校正量产生部分61 提供的帧n的校正量93 的垂直分量(绝对值)是否小于先前从校正 量产生部分61提供的帧n-l的校正量93^的垂直分量(绝对值)。
只有在确定帧n的校正量93n的水平分量和垂直分量中的至少一 个小于帧n-l的校正量93^的对应分量的情况下，手抖模糊区域估计部分62才估计一个矩形区域作为手抖模糊区域，所述矩形区域具有 从被指定位置41延伸到开始于被指定位置41的帧n-l的校正量93^ 的端点的线段作为其对角线。然后，手抖模糊区域估计部分62把关 于所估计的手抖模糊区域的信息提供给校正区域确定部分64。
此外，只有在确定帧n的校正量93n的水平分量和垂直分量中的 至少一个小于帧n-1的校正量93^的对应分量的情况下，手抖模糊区 域估计部分62才把指示大于帧n的校正量93n的对应分量的帧n-l的 校正量93^的分量的分量信息提供给校正区域确定部分64。
即，例如，如图7中所示，在帧7的校正量937的水平分量x7 小于帧6的校正量936的水平分量x6，并且帧7的校正量937的垂直 分量y7小于帧6的校正量936的垂直分量y6的情况下，手抖模糊区域 估计部分62把一个矩形区域作为手抖模糊区域956提供给校正区域确 定部分64,所述矩形区域具有从被指定位置41延伸到开始于被指定 位置41的帧6的校正量936的端点的线段作为其对角线。手抖模糊区 域估计部分62还把帧6的校正量936的水平分量X6和垂直分量y6作 为分量信息提供给校正区域确定部分64 。
图8是说明由图5中所示的摇摄/俯仰检测部分63检测在捕获帧 n时发生有意的画面构成改变操作(即摇摄、俯仰，等等)的摇摄/ 俯仰检测方法的i兌明图。
在图8的右侧部分沿垂直方向延伸的虛线代表校正显示可能区 域L的边界线。相对于边界线位于左侧并且包括该边界线的区域代表 校正显示可能区域L内的区域。相对于边界线位于右侧的区域代表校 正显示可能区域L以外的区域。
注意，在下面的描述中参考的附图中，对于帧n的运动向量92n, 为了简洁将以适当的方式省略符号。
响应于从校正量产生部分61提供帧n的校正量93n，摇摄/俯仰 检测部分63确定开始于被指定位置41的帧n的校正量93n的端点(此 后称作帧n的校正量93n的端点)是否存在于校正显示可能区域L内。 然后，根据确定的结果，摇摄/俯仰检测部分63确定在捕获帧n时是否执行了有意的画面构成改变操作。
具体来说，例如，如图8中所示，在帧n的校正量93n的端点存 在于校正显示可能区域L外部的情况下，摇摄/俯仰检测部分63确定 在捕获帧n时执行了有意的画面构成改变操作。然后，摇摄/俯仰检测 部分63把确定的结果提供给校正区域确定部分64。
同时，在确定帧n的校正量93 的端点存在于校正显示可能区域 L内的情况下，摇摄/俯仰检测部分63确定在捕获帧n时未执行有意 的画面构成改变操作。然后，摇摄/俯仰检测部分63把确定的结果提 供给校正区域确定部分64 。
将参考图9到图13描述由图5中所示的校正区域确定部分64 更新帧n的校正区域的更新方法。
例如，如图9中所示，在从手抖模糊区域估计部分62提供的手 抖模糊区域95^落入帧n的校正区域96n内并且整个手抖模糊区域 95^被包括在校正区域96n内的情况下，校正区域确定部分64不更新 帧n的校正区域96n。
同时，例如如图10和图11中所示，在从手抖才莫糊区域估计部分 62提供的手抖模糊区域95^没有落入帧n的校正区域96n内并且并非 整个手抖模糊区域95^都被包括在校正区域96n内的情况下，校正区 域确定部分64根据从手抖模糊区域估计部分62提供的分量信息，更 新帧n的4交正区域96n。
在图IO的情况中，由于帧n的校正量93n的垂直分量yn小于帧 n-l的校正量93^的垂直分量y^，帧n-l的校正量93n.,的垂直分量 被作为分量信息从手抖模糊区域估计部分62提供到校正区域确定 部分64。
根据从手抖模糊区域估计部分62提供的垂直分量y^，校正区 域确定部分64更新要在垂直方向(Y轴方向)被放大的校正区域96n。 即，例如，校正区域确定部分64以使校正区域96n的右上顶点(a，b) 处的Y坐标b与手抖模糊区域95^的右上顶点(Xn小y^)处的Y坐 标匹配的方式，把校正区域96n更新为新的校正区域97n (即帧n+l的校正区域96n+J 。
在图ll所示的情况中，由于帧n的校正量93n的水平分量Xn和 垂直分量yn小于帧n-l的校正量93^的水平分量和垂直分量， 所以帧n-l的校正量93^的水平分量x^和垂直分量y^被作为分量 信息从手抖模糊区域估计部分62提供到校正区域确定部分64。
根据从手抖模糊区域估计部分62提供的水平分量x^和垂直分 量y^，校正区域确定部分64把才交正区域96 更新为沿水平方向(x 轴方向)和垂直方向放大。即，例如，校正区域确定部分64以使得 校正区域96 的右上顶点(a，b)处的X坐标a和Y坐标b与手抖模 糊区域95^的右上顶点(Xn小y^)处的X坐标x^和Y坐标y^匹 配的方式，把校正区域96。更新为新的校正区域97n (即帧n+l的校 正区域96 +1)。
在图10和图11中，帧n的校正区域在更新前是校正区域96n， 并且更新的校正区域97n是下一帧n+l的校正区域96 +1。
此外，例如，如图12中所示，在校正显示可能区域L的尺寸被 根据用户的按键操作减小，并且帧n的校正区域96n从校正显示可能 区域L的边界延伸出区域96An的情况下，帧n的才交正区域96j皮更 新为区域97n,它落入了校正显示可能区域L内，所以消除了校正区 域96n从校正显示可能区域L的边界延伸超出的区域96An 。
根据用户的按键操作更新的校正区域97n被设置为帧n的新的校 正区域96n。
此外，在摇摄/俯仰检测部分63检测到在捕获帧n-l时发生了和 用于估计手抖模糊区域95w的校正量93^相对应的有意的画面构成 改变操作的情况下，即在例如图13中所示的情况下，帧n-l的校正量 93^的端点位于校正显示可能区域L的边界的外部，即使从手抖模糊 区域估计部分62提供的手抖模糊区域95^没有落入帧n的校正区域 96n，并且并非整个手抖模糊区域95^都被包括在校正区域96n内， 校正区域确定部分64也不更新帧n的校正区域96 。
如上面参考图9到图13所描述的那样，除了校正区域被根据用户的按键操作更新的情况以外，更新的校正区域被用作后续帧的校正 区域。
校正量控制部分65把帧n-l的实际校正量98^和从校正量产生 部分61提供的帧n的运动向量92n相加，并获取相加的结果作为帧n 的候选校正量。
然后，校正量控制部分65根据帧n的候选校正量、从校正量产 生部分61提供的帧n的校正量93n、以及从才交正区域确定部分64提 供的帧n的校正区域96 ，确定帧n的实际校正量。
将参考图14到图16描述由图5中所示的校正量控制部分65确 定帧n的实际校正量的确定方法。
图14是用于说明帧n的校正量93n被直接设置为帧n的实际校 正量98n的情况的例子的说明图。
如图14中所示，在从校正量产生部分61提供的帧n的校正量 93n的端点41，和开始于被指定位置41 (即帧n-l的实际校正量98^ 与帧n的运动向量92n相加的结果)的帧n的候选校正量的端点(此 后称作帧n的候选校正量的端点)相同，并且端点41，存在于从校正 区域确定部分64提供的帧n的校正区域96 内的情况下，校正量控制 部分65把帧n的校正量93 作为帧n的实际校正量98 提供到校正图 像产生部分66。
图15是用于说明帧n的校正量93 被根据帧n的校正量96n限 制，并且帧n的被限制的校正量被设置为帧n的实际校正量98n的情 况的例子的说明图。
如图15中所示，在帧n的候选校正量的端点(即帧n-l的实际 校正量98^和帧n的运动向量92n相加的结果)和帧n的校正量93n 的端点没有落入帧n的校正区域96 内的情况下，帧n的校正量93n 的端点被限制在帧n的校正区域96n内。然后，校正量控制部分65 把帧n的被限制的校正量作为帧n的实际校正量98 提供到校正图像 产生部分66。
即，例如，4交正量控制部分65把帧n的才交正量93J艮制为帧n的实际校正量98n，帧n的实际校正量98n开始于被指定位置41，并 终止于帧n的校正区域96n的四个顶点中最靠近帧n的校正量93n的 端点的一个顶点。
或者，例如，校正量控制部分65可以把帧n的^JE量93 限制 为帧n的实际校正量98n，帧n的实际校正量98 开始于被指定位置 41,并终止于从被指定位置41延伸到帧n的校正量93 的端点的线段 与帧n的校正区域96n的边界线相交的点。
注意，在校正量控制部分65把帧n的校正量93n限制为终止于 帧n的校正区域96 的四个顶点之一的帧n的实际校正量98n的情况 下，由于预先设置的四个顶点之一可以被简单地选择作为端点，所以 和针对每一帧计算帧n的实际校正量98 的端点的情况相比，帧n的 校正量93 可以被快速地限制为帧n的实际校正量98n。
图16是用于说明帧n的候选校正量被直接设置为帧n的实际校 正量98n的情况的例子的说明图。如图16中所示，在帧n+l的校正区 域96^的尺寸大于帧n的校正区域96 的尺寸的情况下(即，在帧n 的校正区域96n被更新，并且更新的校正区域97 被设置为帧n+l的 校正区域96n+1的情况下)，帧n的候选校正量被直接设置为帧n的 实际校正量98 。
如图16中所示，在帧n的^f夷选4交正量的端点41，(即帧n-l的实 际校正量98^与帧n的运动向量92n相加的结果)存在于帧n的校正 区域96n内，并且帧n的候选4交正量的端点41，与帧n的校正量93n 的端点不同的情况下，校正量控制部分65把帧n的候选校正量作为 帧n的实际校正量98n提供到校正量产生部分61和校正图像产生部分 66。
注意，响应于从校正量控制部分65提供帧n的实际校正量98n， 校正量产生部分61把帧n的实际校正量98n的端点41，设置为新的被 指定位置，把帧n设置为参考帧，并为新的参考帧产生校正量。
图17A、图17B和图17C是用于说明由图5中所示的校正图像 产生部分66产生其中手抖模糊已被校正的校正图像的产生方法的说明图。
例如，当帧n被提供时，校正图像产生部分66根据从校正量控 制部分65提供的帧n的实际校正量98 (即开始于被指定位置41并 且终止于位置41，的向量)，把被提取中心从被指定位置41移动到位 置41，，并根据以被移动的被提取中心41，为中心的被提取框e提取被 提取图像41，a，如图17A的左手侧上所示。
校正图像产生部分66把从捕获区域E提取的被提取图像41，a 放大到特定尺寸，以便产生如图17A的右手侧上所示的校正图像，并 输出所产生的校正图像。
当帧n+l被提供时，校正图像产生部分66根据从校正量控制部 分65提供的帧n+l的实际校正量98 +1,把被提取中心从被指定位置 41移动到位置41，，并根据以被移动的被提取中心41，为中心的被提 取框e提取被提取图像41，b，如图17B的左手侧上所示。
校正图像产生部分66把从捕获区域E提取的被提取图像41，b 放大到特定尺寸，以便产生如图17B的右手侧上所示的校正图像，并 输出所产生的校正图像。
当帧n+2被提供时，校正图像产生部分66根据从校正量控制部 分65提供的帧n+2的实际校正量98 +2，把被提取中心从被指定位置 41移动到位置41，，并根据以被移动的被提取中心41，为中心的被提 取框e提取4皮提取图^f象41，c，如图17C的左手侧上所示。
校正图像产生部分66把从捕获区域E提取的被提取图像41，c放 大到特定尺寸，以便产生如图17C的右手侧上所示的校正图像，并输 出所产生的校正图像。
图18A、图18B和图18C是用于说明即使在校正量的端点由于 摄影师的手抖而被移动到校正区域的外部的情况下，校正图像中的对 象的位置也只位移可忽略的量的特征的说明图。图18A到图18C示 出了在由于摄影师的手抖致使摄像机在从帧n到帧n+l期间被沿向左 的方向移动，并且由于摄影师的手抖致使摄像机在从帧n+l到帧n+2 期间被沿右下方向移动的情况下执行的手抖模糊校正处理。在图18A的左手侧上所示的帧n中，开始于被指定位置41的帧 n的校正量93 (和帧n的候选校正量)的端点41，存在于校正区域96n 内。因此，校正量控制部分65把帧n的校正量93n作为帧n的实际校 正量98 提供给校正图像产生部分66。
对于帧n，校正图像产生部分66根据从校正量控制部分65提供 的帧n的实际校正量98n，提取被提取图像41，a,并放大被提取的图 像41，a。相应地，校正图像产生部分66产生校正图像(其中显示了 对象121,如图18A的右手侧上所示)，并输出所产生的校正图像。
在图18B的左手侧上显示的帧n+l中，帧n+l的校正量93n+1(和 帧n+l的候选校正量)的端点不存在于帧n+l的校正区域96n+1内。 因此，校正量控制部分65根据帧n+l的校正区域96n+1限制帧n+l的 校正量93n+1，并把帧n+l的被限制的校正量作为帧n+l的实际校正 量98n+1提供到校正图像产生部分66。
对于帧n+l，校正图像产生部分66根据从校正量控制部分65提 供的帧n+l的实际校正量98^提取被提取图像41，b,并放大被提取 的图像41，b。相应地，校正图像产生部分66产生校正图像(其中显 示了对象121，如图18B的右手侧上所示)，并输出所产生的校正图 像。
如图18B的右手侧上所示，在为帧n+l产生的校正图像中，帧n 的校正图像中的对象121的位置已经被位移了和施加在帧n+l的校正 量93n+1上的限制相对应的量。
在图18C的左手侧上显示的帧n+2中，帧n+2的候选才交正量(即 帧n+l的实际校正量98 +1与帧n+2的运动向量92n+2相加的结果)的 端点41，存在于帧n+2的才交正区域96n+2内，并且帧n+2的候选校正量 的端点41，和帧n+2的校正量93n+2(即帧n+l的校正量93n+1与帧n+2 的运动向量92n+2相加的结果)的端点不同。因此，校正量控制部分 65把帧n+2的候选校正量作为帧n+2的实际校正量98^提供到校正 量产生部分61和校正图^f象产生部分66。
对于帧n+2，校正图像产生部分66根据从校正量控制部分65提供的帧n+2的实际校正量98n+2提取被提取图像41，c,并放大被提取 的图像41，c。相应地，校正图像产生部分66产生校正图像(其中显 示了对象121，如图18C的右手侧上所示)，并输出所产生的校正图 像。
如图18C的右手侧上所示，在为帧n+2产生的校正图像中，对 象121在帧n+l的校正图像中的位置被保持。
即，对于帧n+2,在帧n+2的实际校正量根据帧n+l的校正量 93 +1与帧n+2的运动向量92 +2相加的结果，即帧n+2相对于和帧n 相同的参考帧的位置位移要被校正的校正量93n+2而被确定的情况下， 帧n+2的实际校正量是帧n+2中相对于帧n的手抖模糊要被校正的
如上所述，在这种情况下，帧n+2的实际校正量不是帧n+2中 相对于帧n+l的手抖模糊要被校正的量。因此，校正图像产生部分66 为帧n+2产生了校正图像，其中，帧n+l的校正图像中的对象121的 位置已被位移。
因此，对于帧n+2，根据帧n+l的实际校正量98 +1与帧n+2的 运动向量92 +2相加的结果，即帧n+2相对于帧n+l的位置位移要被 校正的校正量，确定帧n+2的实际校正量98n+2作为帧n+2的校正量。
如上所述，对于帧n+2,根椐帧n+2的校正区域96n+2，帧n+l 的实际校正量98n+1与帧n+2的运动向量92n+2相加的结果被设置为帧 n+2的实际校正量98n+2。因此，校正图4象产生部分66产生帧n+2的 校正图像，其中，对象121在帧n+l的校正图像中的位置被保持，如 图18C的右手侧上所示。
注意，响应于从校正量控制部分65反馈(提供)帧n+2的实际 校正量98n+2，校正量产生部分61把帧n+2的实际校正量98n+2的端点 41，设置为新的被指定位置，把帧n+2设置为参考帧，并产生用于新 的参考帧的校正量。
图19A和图19B以及图20A和图20B是说明图，用于说明执行 摇摄后在帧中发生的手抖模糊可以被校正的特征。图19A和图19B以及图20A和图20B示出了捕获帧n中的对象121的图像的摄影师 在帧n+l到帧n+3中执行摇摄以便能够捕获当从摄影师观察时位于对 象121左边的对象122的图像的情况下，帧n到帧n+3的捕获区域E 和帧n到帧n+3的校正图像。
在图19A的左手侧上所示的帧n中，开始于被指定位置41的帧 n的校正量93n (和帧n的候选校正量)的端点41，存在于帧n的校正 区域96n内。
因此，校正量控制部分65把帧n的校正量93 作为帧n的实际 校正量98 提供到校正图像产生部分66。
对于帧n，校正图像产生部分66根据从校正量控制部分65提供 的帧n的实际校正量98n提取被提取图像41，a，并放大被提取的图像 41，a。相应地，校正图像产生部分66产生校正图像(其中显示了对象 121，如图19A的右手侧上所示)，并输出所产生的校正图像。
在图19B的左手侧上所示的帧n+l中，帧n+l的校正量93n+1(和 帧n+l的候选校正量)的端点不存在于帧n+l的校正区域96n+1内。
因此，校正量控制部分65根据帧n+l的校正区域96 +1限制帧 n+l的校正量93^,并把被限制的帧n+l的校正量作为帧n+l的实际 校正量98n+1提供到校正图像产生部分66 。
对于帧n+l，校正图像产生部分66根据从校正量控制部分65提 供的帧n+l的实际校正量98 +1提取被提取图像41，b,并放大被提取 的图像41，b。相应地，校正图像产生部分66产生校正图像)其中显 示了对象121和对象122，如图19B的右手侧上所示)，并输出所产 生的校正图像。
这里，在为帧n+l产生的校正图像中，由于用户执行的有意的 摇摄操作，帧n的校正图像中的对象121的位置已经被向右位移。
在图20A的左手侧上所示的帧n+2中，帧n+2的候选校正量(即 帧n+l的实际校正量98 +1与帧n+2的运动向量92 +2相加的结果)的 端点和帧n+2的校正量93n+2的端点不存在于帧n+2的校正区域96 +2 内。因此，校正量控制部分65根据帧n+2的校正区域96 +2限制帧 n+2的校正量93n+2，并把帧n+2的净皮限制的校正量作为帧n+2的实际 校正量98n+2提供到校正图像产生部分66 。
对于帧n+2，校正图像产生部分66根据从校正量控制部分65提 供的帧n+2的实际校正量98n+2提取被提取图像41，c，并放大被提取 的图像41，c。相应地，校正图像产生部分66产生校正图像(其中显 示了对象122，如图20A的右手侧上所示)，并输出所产生的校正图 像。
这里，在为帧n+2产生的校正图像中，由于用户执行的有意的 摇摄操作，帧n+l的校正图像中的对象122的位置已经被向右位移。
在图20B的左手侧上所示的帧n+3中，帧n+3的候选校正量(即 帧n+2的实际校正量98 +2与帧n+3的运动向量92 +3相加的结果)的 端点41，存在于帧n+3的才交正区域96n+3内，并且，帧n+3的4矣选4交正 量的端点41，和帧n+3的校正量93n+3 (即，帧n+2的校正量93n+2与 帧n+3的运动向量92n+3相加的结果)的端点不同。
因此，校正量控制部分65把帧n+3的候选校正量作为帧n+3的 实际校正量98n+3提供到校正量产生部分61和校正图像产生部分66。
对于帧n+3，校正图像产生部分66根据从校正量控制部分65提 供的帧n+3的实际校正量98 +3提取被提取图像41，d，并放大被提取 的图像41，d。相应地，校正图像产生部分66产生校正图像(其中显 示了对象122，如图20B的右手侧上所示)，并输出所产生的校正图 像。
这里，在为帧n+3产生的校正图像中，对象122在帧n+2的校 正图像中的位置被保持。
即，对于帧n+3，帧n+3的4菱选校正量作为帧n+3相对于帧n+2 的位置位移要被校正的校正量被产生。
然后，根据帧n+3的校正区域96 +3,从帧n+3的候选校正量确 定帧n+3的实际校正量98n+3。因此，帧n+3的实际校正量98 +3是帧 n+3中相对于帧n+2的手抖模糊要被校正的量。如上所述，校正图像产生部分66产生校正图像，其中，帧n+3 中相对于帧n+2的手抖模糊已经被校正。因此，在为帧n+3产生的校 正图像中的对象122的位置和帧n+2的校正图像中对象122的位置相 同。
注意，响应于从校正量控制部分65提供帧n+3的实际校正量 98n+3，校正量产生部分61把帧n+3的实际校正量98n+3的端点41，设 置为新的被指定位置，把帧n+3设置为参考帧，并执行用于校正相对 于新的参考帧的手抖模糊的手抖模糊校正处理。
将参考图21中所示的流程图描述由图1中所示的图像处理设备 1执行的手抖模糊校正处理。
在步骤S31中，运动向量检测单元31检测构成被提供的运动图 像的各个帧的运动向量，并把检测到的运动向量提供给手抖模糊校正 单元32。
在步骤S32到步骤S37中，手抖模糊校正单元32执行校正图像 产生处理，用于根据从运动向量检测单元31提供的各个帧的运动向 量，校正在被提供的运动图像中由捕获图像时发生的手抖导致的手抖 模糊，并产生作为结果的校正图像。
即，在步骤S32中，手抖模糊校正单元32的校正量产生部分61 执行校正量产生处理，用于根据从运动向量检测单元31提供的各个 帧的运动向量产生帧n的校正量93n，并把所获取的帧n的校正量93n 提供到手抖模糊区域估计部分62、摇摄/俯仰检测部分63、以及校正 量控制部分65。
在步骤S32中，校正量产生部分61还把从运动向量检测单元31 提供的帧n的运动向量92n提供到校正量控制部分65。
在步骤S33中，手抖模糊区域估计部分62执行手抖模糊区域估 计处理，用于根据从校正量产生部分61提供的帧n-l的校正量93^ 和帧n的校正量93n估计手抖模糊区域。
在步骤S33中，只有在根据手抖模糊区域估计处理获取了根据帧 n-l的校正量93^和帧n的校正量93J古计的手抖模糊区域95^的情况下，手抖模糊区域估计部分62还把手抖模糊区域95^和关于帧n-1 的校正量93^的分量信息提供到校正区域确定部分64。
在步骤S34中，摇摄/俯仰检测部分63执行摇纟聂/俯仰检测处理， 用于根据从校正量产生部分61提供的帧n的校正量93n检测在捕获帧 n时发生的有意的画面构成改变操作，并把检测的结果提供到校正区 域确定部分64。
在步骤S35中，校正区域确定部分64执行校正区域确定处理， 用于根据从手抖模糊区域估计部分62提供的手抖模糊区域和分量信 息以及从摇摄/俯仰检测部分63提供的检测的结果，确定帧n的校正 区域96n,并把所获得的帧n的校正区域96 提供到校正量控制部分 65。
在步骤S36中，校正量控制部分65根据从校正量产生部分61 提供的帧n的校正量93 和帧n的运动向量92n，以及从校正区域确 定部分64提供的帧n的校正区域96n，执行校正量控制处理，用于产 生帧n中的手抖模糊要被校正的实际校正量98n，并把所获得的帧n 的实际校正量98n提供到校正图像产生部分66。
在步骤S37中，校正图像产生部分66根据从校正量控制部分55 提供的帧n的实际校正量98n产生校正图像，其中，被提供的帧n中
的手抖模糊已经被校正。
即，例如在步骤S37中，通过#^据以帧n的实际校正量98n的端 点41，为中心的被提取框e从帧n提取图像，并放大被提取的图像， 校正图像产生部分66产生并输出帧n的校正图像，如图17A到图17C 中所示。
如上所述，在根据步骤S32到步骤S37中的;f交正图像产生处理 针对构成运动图像的各个帧中的每个帧产生并输出校正图像之后，手 抖模糊校正处理结束。
将参考图22中所示的流程图详细地描述在图21的步骤S32中由 图5中所示的校正量产生部分61执行的校正量产生处理。
在步骤S61中，校正量产生部分61确定用户是否已经为帧n指定了新的被指定位置41。在确定新的被指定位置41已经被指定的情 况下，处理前进到步骤S62。
在步骤S62中，校正量产生部分61把帧n-l的校正量93^初始 化到零，并设置帧n-l为新的参考帧。然后，处理前进到步骤S63。
同时，在步骤S61中确定还没有指定新的被指定位置41的情况 下，步骤S62的处理被跳过，并且处理前进到步骤S63。
在步骤S63中，校正量产生部分61确定帧n-l的实际校正量98^ 是否已经被从校正量控制部分65反馈。在确定帧n-l的实际校正量 98"已被反馈的情况下，处理前进到步骤S64。在步骤S64中，校正 量产生部分61把从校正量控制部分65提供的帧n-l的实际校正量 98^的端点设置为新的被指定位置，并把帧n-l设置为新的参考帧。 然后，在步骤S65中，校正量产生部分61产生帧1的校正量93i。
同时，在步骤S63中确定帧n-l的实际校正量98^未被反馈的 情况下，步骤S64的处理被跳过，并且处理前进到步骤S65。在步骤 S65中，如图6中所示，校正量产生部分61把存储在内部存储器中的 帧n-l的才交正量和从运动向量检测单元31提供的帧n的运动向量相 加，并把相加的结果设置为帧n的校正量93n。注意，对于帧l，帧l 的运动向量92d皮直接设置为帧1的校正量93i。
在如上所述执行了校正量产生处理之后，校正量产生部分61把 根据校正量产生处理获得的帧n的校正量93 提供到手抖模糊区域估 计部分62、摇4菱/俯仰检测部分63和校正量控制部分65。然后，才交正 量产生处理返回图21的步骤S32。
现在将参考图23中所示的流程图详细地描述在图21的步骤S33 中由图5中所示的手抖模糊区域估计部分62执行的手抖模糊区域估 计处理。
在步骤S91中，手抖模糊区域估计部分62确定从校正量产生部 分61提供的帧n的校正量93n的水平分量或者垂直分量是否小于先前 从校正量产生部分61提供的帧n-l的校正量93^的对应分量。
在步骤S91中确定帧n的校正量93n的水平分量和垂直分量中的至少一个小于先前从校正量产生部分61提供的帧n-l的校正量93^
的对应分量的情况下，则处理前进到步骤S92。在步骤S92中，手抖模糊区域估计部分62根据帧n-l的校正量93^估计手抖模糊区域，如图7中所示。
在步骤S92中，手抖模糊区域估计部分62还检测帧n-l的校正量93^的大于帧n的校正量93n的对应分量的分量作为分量信息。然后，手抖模糊区域估计处理结束。
注意，在步骤S91中确定从校正量产生部分61提供的帧n的校正量93n的水平分量和垂直分量都等于或者大于先前从校正量产生部分61提供的帧n-l的校正量93^的水平分量和垂直分量的情况下，步骤S92的处理被跳过，并且手抖模糊区域估计处理结束。
在如上所述执行了手抖模糊区域估计处理之后，只有在确定在手抖模糊区域估计处理中手抖模糊区域被估计并且分量信息被检测的情况下，手抖模糊区域估计部分62才把手抖模糊区域和分量信息提供到校正区域确定部分64。然后，手抖模糊区域估计处理返回图21的步骤S33。
现在将参考图24中所示的流程图详细地描述在图21的步骤S34中由图5中所示的摇摄/俯仰检测部分63执行的摇摄/俯仰检测处理。
在步骤S121中，摇摄/俯仰检测部分63确定从校正量产生部分61提供的帧n的校正量93n的端点是否位于校正显示可能区域L外部。
在步骤S121中确定帧n的校正量93n的端点如图8中所示位于校正显示可能区域L外部的情况下，处理前进到步骤S122。在步骤S122中，摇摄/俯仰检测部分63确定在捕获帧n时执行了有意的画面构成改变操作。然后，摇摄/俯仰检测处理结束。
同时，在步骤S121中确定帧n的校正量93 的端点位于校正显示可能区域L内的情况下，处理前进到步骤S123。在步骤S123中，摇摄/俯仰检测部分63确定在捕获帧n时未执行有意的画面构成改变操作。然后，摇摄/俯仰检测处理结束。
在如上所述执行了摇摄/俯仰检测处理结束之后，摇摄/俯仰检测部分63把确定的结果作为摇摄/俯仰检测处理的结果提供给校正区域确定部分64。然后，摇摄/俯仰检测处理返回图21的步骤S34。
现在将参考图25中所示的流程图详细地描述在图21的步骤S35中由图5中所示的校正区域确定部分64执行的校正区域确定处理。
在步骤S151中，校正区域确定部分64根据先前执行的用于确定帧n-l的校正区域96"的校正区域确定处理的结果，设置帧n的校正区域96 。
在步骤S152中，才交正区域确定部分64确定帧n的校正区域96n是否延伸超出了校正显示可能区域L。
在步骤S152中确定帧n的校正区域96 延伸超出校正显示可能区域L的 情况下，例如，因为校正显示可能区域的尺寸已经根据用户的按键操作而被减小，则处理前进到步骤S153。在步骤S153中，如图12中所示，校正区域确定部分64把帧n的校正区域96n的尺寸减小到校正区域97 ,以落入校正显示可能区域L内，并把校正区域97 设置为新的校正区域。然后，处理前进到步骤S154。
同时，在步骤S152中确定帧n的校正区域96 落入校正显示可能区域L内的情况下，步骤S153的处理被跳过，并且处理前进到步骤S154。
在步骤S154中，校正区域确定部分64确定根据帧n-l的校正量93^和帧n的校正量93J古计的手抖模糊区域95^以及分量信息是否已经从手抖模糊区域估计部分62被提供，即，根据在图21的步骤S33中执行的手抖模糊区域估计处理估计的手抖模糊区域95^和分量信息是否已经被提供。
在步骤S154中确定手抖;溪糊区域95^和分量信息已经被提供的情况下，处理前进到步骤S155。在步骤S155中，校正区域确定部分64确定从手抖模糊区域估计部分62提供的手抖模糊区域95"是否延伸超出了帧n的校正区域96 。
在步骤S155中确定手抖模糊区域95^延伸超出了帧n的校正区域96n的情况下，处理前进到步骤S156。在步骤S156中，校正区域确定部分64根据摇摄/俯仰检测部分63执行的检测的结果，确定是否已经检测到在捕获和用于估计手抖模糊区域95^的校正量93^对应的帧n-l时发生有意的画面构成改变操作。
在步骤S156中确定未检测到捕获帧n-l时的有意的画面构成改变操作的情况下，处理前进到步骤S157。在步骤S157中，校正区域确定部分64根据从手抖模糊区域估计部分62提供的手抖模糊区域95^和分量信息，把帧n的校正区域96n放大到4交正区域97n，如图10和图11中所示。然后，校正区域确定处理结束。在这种情况下，帧n的校正区域是更新前的校正区域96n。在确定下一帧n+l的校正区域96n+1的校正区域确定处理的步骤S151中，被更新的校正区域97n被i殳置为帧n+l的才交正区域96^。
注意，在步骤S154中确定手抖模糊区域95^和分量信息还未被提供的情况下，在步骤S155中确定手抖模糊区域95^落入帧ii的校正区域96n的情况下，或者在步骤S156中确定已经检测到捕获帧n-l时发生有意的画面构成改变操作的情况下，则校正区域确定处理在确定的时刻终止。在确定下一帧n+l的校正区域96n+1的校正区域确定处理的步骤S151中，帧n的校正区域96n被z没置为帧n+l的校正区域96巾。
在如上所述执行了校正区域确定处理之后，4史正区域确定部分64把根据校正区域确定处理确定的帧n的校正区域提供给校正量控制部分65。然后，校正区域确定处理返回图21的步骤S35。
现在将参考图26中所示的流程图详细地描述在图21的步骤S36中由图5中所示的校正量控制部分65执行的校正量控制处理。
在步骤S181中，校正量控制部分65把帧n-l的实际校正量98"和从校正量产生部分61提供的帧n的运动向量92n相加，并获取相加的结果作为帧n的候选校正量。
在步骤S182中，校正量控制部分65确定开始于被指定位置41的帧n的候选校正量的端点是否存在于从校正区域确定部分64提供的帧n的校正区域96n内。
34在步骤S182中确定帧n的候选校正量的端点存在于帧n的校正区域96n内的情况下，处理前进到步骤S183。在步骤S183，校正量控制部分65确定开始于被指定位置41的帧n的候选校正量是否和开始于被指定位置41的帧n的校正量93 相同。
在步骤S183中确定帧n的候选校正量和帧n的校正量93 相同的情况下，处理前进到步骤S184。在步骤S184中，校正量控制部分65把帧n的校正量93n直接设置为帧n的实际校正量98n，如图14中所示。然后，校正量控制处理结束。
同时，在步骤S183中确定帧n的候选校正量和帧n的校正量93n不相同的情况下，处理前进到步骤S185。在步骤S185中，校正量控制部分65把帧n的候选校正量直接设置为帧n的实际校正量98n，如图16中所示。然后，处理前进到步骤S186。
在步骤S186中，校正量控制部分65把帧n的实际校正量98n反馈到校正量产生部分61。因此，在图22中所示的校正量产生处理的步骤S64中，校正量产生部分61把从校正量控制部分65提供的帧n的实际校正量98n的端点设置为新的被指定位置，把帧n设置为新的参考帧，并产生校正量。然后，校正量控制处理结束。
同时，在步骤S182中确定帧n的候选校正量的端点不位于帧n的校正区域96n内的情况下，处理前进到步骤S187。在步骤S187中，校正量控制部分65确定帧n的校正量93n的端点是否位于帧n的校正区^戈96n内。
在步骤S187中确定帧n的校正量93n的端点位于帧n的校正区域96n内的情况下，处理前进到步骤S184。
同时，在步骤S187中确定帧n的校正量93n的端点不位于帧n的^l正区域96n内的情况下，处理前进到步骤S188。在步骤S188中，校正量控制部分65根据帧n的校正区域96n限制帧n的校正量93n，如图15中所示，并把被限制的校正量设置为帧n的实际校正量98n。然后，校正量控制处理结束。
在如上所述执行了校正量控制处理之后，校正量控制部分65把根据校正量控制处理获得的帧n的实际校正量98 提供到校正图像产生部分66。然后，校正量控制处理返回图21的步骤S36。
在图21中所示的手抖模糊校正处理(即，校正图像产生处理)的步骤S32到步骤S37中，根据帧n的校正量93 估计了捕获运动图像的摄影师的手抖导致的手抖模糊区域，根据所述手抖模糊区域确定了校正区域，因此，可以确定用于校正其程度因摄影师而异的手抖模糊的最佳校正区域。
此外，在图21中所示的手抖模糊校正处理中，通过根据帧n的实际校正量98 把从帧n提取的图像放大到特定尺寸，产生了校正图像。因此，校正图像内的对象的尺寸大于捕获图像(帧n)内的对象的尺寸。
如上所述，在图21中所示的手抖模糊校正处理中，捕获图像内的对象被放大。因此，和手抖模糊被简单地校正而不使用被放大的图像作为校正图像的情况相比，可以减小摄像机在捕获图像时的缩放量(放大的比例)。因此，可以减少当摄像机在捕获对象图像时对对象缩放时可能发生的大量手抖模糊。
在图25中所示的校正区域确定处理中，帧n的才吏正区域96n被根据手抖模糊区域95^放大。但是，在根据图23中所示的手抖模糊区域估计处理估计的手抖模糊区域95^落入校正区域的情况下，并且例如校正区域在预定时间段期间未被放大的情况下，即在小于手抖模糊要被校正的校正区域的区域内发生手抖模糊的情况下，期望减小校正区域的尺寸。
将参考图27描述用于在预定时间段期间校正区域未被放大的情况下以特定减小比例减小校正区域的尺寸的第 一种减小方法。
如图27中所示，在校正区域Gi在预定时间段期间未被放大的情况下，校正区域确定部分64以使得所有四条边的长度被以相同的比例减小的方式减小由所述四条边限定的校正区域Gi的尺寸，并且把校正区域Gi更新为减小的校正区域G2。
此外，将参考图28描述用于在预定时间段期间校正区域未被放大的情况下根据先前校正量的分布来减小校正区域的尺寸的第二种
减小方法o
如图28中所示，在校正区域Gt在预定时间段期间未被放大的情况下，例如，当开始于校正区域Gi中的被指定位置41的先前校正量的端点的分布在校正区域&中被指定位置41右边的区域中密集，而先前校正量的端点的分布在被指定位置41左边的区域中稀疏时，校正区域确定部分64以使得被指定位置41左边的区域收缩最大量的方式减小校正区域Gi的尺寸，并把校正区域Gi更新为被减小的校正区域G2。
将参考图29描述在预定时间段期间校正区域未被放大的情况下减小校正区域的尺寸的另 一种校正区域确定处理。
图29中所示的才交正区域确定处理是把步骤S218和步骤S219添加到图25中所示的校正区域确定处理的处理。
即，在步骤S154中确定手抖模糊区域95^和分量信息还未被提供的情况下，在步骤S155中确定手抖模糊区域95^落入帧n的校正区域96n的情况下，或者在步骤S156中确定已经检测到捕获帧n-l时发生有意的画面构成改变操作的情况下，处理前进到步骤S218。
在步骤S218中，校正区域确定部分64确定校正区域在预定时间段期间是否已经被放大。
在步骤S218中确定校正区域在预定时间段期间已经被放大的情况下，步骤S219的处理被跳过，并且校正区域确定处理结束。在确定下一帧n+l的校正区域96^的校正区域确定处理的步骤S151中，帧n的校正区域96n被设置为帧n+l的校正区域96 +1。
同时，在步骤S218中确定校正区域在预定时间段期间未被放大的情况下，处理前进到步骤S219。在步骤S219中，校正量控制部分65以使得校正区域Gi被减小到如图27或28所示的校正区域G2的方式更新帧n的校正区域Gp然后，校正区域确定处理结束。在这种情况下，帧n的校正区域96 是更新前的校正区域GlD在确定下一帧n+l的校正区域96^的校正区域确定处理的步骤S151中，被减小的
37校正区域G2被设置为帧n+l的校正区域96 +1。
在如上所述执行了图29中所示的校正区域确定处理之后，校正区域确定部分64把根据图29中所示的校正区域确定处理确定的帧n的校正区域提供到校正量控制部分65。然后，校正区域确定处理返回图21的步骤S35。
在图29中所示的校正区域确定处理中，在因为根据图23中所示
的手抖模糊区域估计处理估计的手抖模糊区域落入校正区域内，所述校正区域在预定时间段期间未被放大的情况下，即，在手抖模糊发生在小于所述校正区域的区域内的情况下，所述校正区域的尺寸被减小到接近其中发生了手抖模糊的区域。因此，可以确定更合适的校正区域。
尽管在上面描述的实施例中，块匹配方法被图1中所示的运动向量检测单元31用作用于检测运动向量的方法，但是也可以使用梯度方法。或者，通过使用加速度传感器、角速度传感器等，可以检测运动向量。
此外，尽管在上面描述的实施例中通过放大根据被提取框e提取的图像而获得的校正图像被用作校正图像，被提取的图像也可以直接用作校正图像。在这种情况下，和被提取图像被放大的情况相比，可以省略用于放大被提取图像的处理。因此，可以更快速地产生手抖模糊已经被校正的校正图像。
此外，在上面描述的实施例中，按帧被捕获的顺序跟在用作参考帧的帧0后面的帧n经受手抖模糊校正处理。但是，按帧被捕获的相反顺序跟在用作参考帧的帧0后面的第n帧可以经受手抖模糊校正处理。
作为根据本发明的实施例的图像处理设备，例如可以使用包括被配置成存储运动图像的存储单元并对存储在存储单元中的运动图像执行手抖模糊校正处理的个人计算机、捕获运动图像并对被捕获的运动图像执行手抖模糊校正处理的摄像机等。
此外，在这样的摄像机等被用作根据本发明的实施例的图像处理设备的情况下，通过在每次捕获构成运动图像的每一帧时对每一个被捕获的帧执行手抖模糊校正处理，在运动图像中发生的手抖模糊可以
净皮实时地校正。
由图1中所示的图像处理设备l执行的上述处理序列可以由专用硬件或者软件执行。在处理序列由软件执行的情况下，构成软件的程序被从程序存储介质安装到所谓的内置计算机中，或者，例如能够根据其上安装的各种程序执行各种功能的通用个人计算机。
图30是框图，示出了根据程序执行上述处理序列的计算机的结构的例子。
中央处理单元(CPU)根据存储在只读存储器(ROM) 202或者存储单元208中的程序执行各种处理。由CPU201执行的程序、数据等，被以适当方式存储在随机存取存储器(RAM)203中。CPU 201、ROM 202和RAM 203通过总线204彼此连接。
输入/输出接口 205通过总线204连接到CPU 201。包括键盘、鼠标、麦克风等的输入单元206,以及包括显示器、扬声器等的输出单元207被连接到输入/输出接口 205。 CPU 201响应于输入单元206所接收的指令执行各种处理。然后，CPU201把处理结果输出到输出
单元207。
连接到输入/输出接口 205的存储单元208包括例如硬盘。存储单元208存储由CPU 201执行的程序和各种数据。通信单元209通过网络和外部装置通信，所述网络例如互联网或者局域网。
此外，程序可以通过通信单元209获得，并存储在存储单元208中。
当例如磁盘、光盘、磁光盘或半导体存储器的可移动介质211被安装在连接到输入/输出接口 205的驱动器210中时，驱动器210驱动可移动介质211，并获得可移动介质211中记录的程序和数据。所获得的程序和数据在必要时被转移并存储在存储单元208中。
安装在计算机上并存储可由计算机执行的程序的程序存储介质由可移动介质211构成，它是包装介质，例如磁盘(包括软盘)、光盘(包括紧致盘只读存储器(CD-ROM )或数字多功能盘(DVD))、磁光盘(MD (迷你盘))，或者半导体存储器、其中暂时或永久存储程序的ROM202，或者形成存储单元208的硬盘，如图30中所示。在必要时，通过使用有线或无线通信介质，经通信单元209把程序存储在程序存储介质中，所述通信介质例如局域网、互联网，或者数字卫星广播；通信单元209是接口，例如路由器或调制解调器。
在说明书中，描述存储在程序存储介质中的程序的步骤不仅包括根据书写顺序按时间序列执行的处理，也包括并行地或独立地执行的处理，所述处理不一定被按时间序列执行。
此外，本发明的实施例不局限于上面描述的实施例，不偏离本发明的要旨，可以做出各种变化。
本申请包含涉及2008年4月3号在日本专利局递交的JP 2008-096991日本优先权专利申请中公开的内容的主题，该申请的全部内容通过引用被包含于此。
本领域技术人员应该理解，依赖于设计要求和其他因素，只要其在所附权利要求或者其等同物的范围内，就可以发生各种修改、组合、子组合和更改。
权利要求
1.一种用于校正在捕获运动图像时发生的手抖模糊的图像处理设备，包含产生装置，用于通过把构成运动图像的多个图像中的特定图像设置为用作手抖模糊校正处理的参考的参考图像，并把剩余图像设置为要经受手抖模糊校正处理的校正目标图像，产生校正目标图像相对于参考图像的位置位移要被校正的校正量；估计装置，用于根据产生装置产生的校正量，估计代表发生了相对于参考图像的手抖模糊的区域的手抖模糊区域；检测装置，用于根据产生装置产生的校正量，检测捕获校正目标图像时有意的画面构成改变操作；和更新装置，用于根据估计装置估计的手抖模糊区域和检测装置执行的检测的结果，把设置的校正区域更新为校正目标图像中相对于参考图像要的手抖模糊被校正的区域。
2. 如权利要求l所述的图像处理设备，其中校正目标图像按图像被捕获的顺序跟在参考图像之后，其中在用于第一校正目标图像的校正量的水平分量和垂直分量 中的至少一个大于用于跟在第 一校正目标图像之后的第二校正目标 图像的校正量的对应分量的情况下，估计装置根据用于第一校正目标 图像的校正量估计手抖模糊区域，其中检测装置根据用于第一校正目标图像的校正量检测在捕获 第 一校正目标图像时是否执行了摇摄和俯仰中的至少一个，并且其中更新装置根据估计装置估计的手抖模糊区域和检测装置执 行的检测的结果，更新用于第二校正目标图像的校正区域。
3. 如权利要求1所述的图像处理设备，还包含限制装置，用于根据校正区域，把用于校正目标图像的校正量限 制到校正目标图像中相对于参考图像的手抖模糊要被校正的实际校 正量；和校正装置，用于根据实际校正量，产生其中校正目标图像中相对 于参考图像的手抖模糊已被校正的校正图像。
4. 如权利要求1所述的图像处理设备，其中，在预定时间段期 间校正区域未被更新的情况下，更新装置减小校正区域的尺寸。
5. 如权利要求4所述的图像处理设备，其中，在预定时间段期 间校正区域未被更新的情况下，更新装置根据产生装置产生的校正量 的分布减小校正区域的尺寸。
6. 如权利要求4所述的图像处理设备，其中，在预定时间段期 间校正区域未被更新的情况下，更新装置以特定的减d、比减小校正区 域的尺寸。
7. 如权利要求1所述的图像处理设备，其中，在估计装置所估 计的手抖模糊区域未落入校正区域内，并且检测装置未检测到捕获校 正目标图像时的摇摄和俯仰中的任何一个的情况下，更新装置根据手 抖模糊区域更新校正区域。
8. 如权利要求3所述的图像处理设备，其中，校正装置通过根 据实际校正量提取校正目标图像内的特定区域并放大所提取的特定 区域来产生校正图像。
9. 如权利要求1所述的图像处理设备，还包含用于捕获运动图 像的捕获装置。
10. —种在用于校正捕获运动图像时发生的手抖模糊的图像处 理设备中使用的图像处理方法，包含步骤把构成运动图像的多个图像中的特定图像设置为用作手抖模糊 校正处理的参考的参考图像；通过把剩余图像设置为要经受手抖模糊校正处理的校正目标图 像，产生校正目标图像相对于参考图像的位置位移要被校正的校正量；根据产生的校正量，估计代表发生了相对于参考图像的手抖模糊 的区域的手抖模糊区域；根据产生的校正量，检测捕获校正目标图像时有意的画面构成改变操作；和根据估计的手抖模糊区域和检测结果，把设置的校正区域更新为 校正目标图像中相对于参考图像的手抖模糊要被校正的区域。
11. 一种用于使计算机起到用于校正在捕获运动图像时发生的 手抖模糊的图像处理设备的作用的程序，所述计算机用作产生装置，用于通过把构成运动图像的多个图像中的特定图像设 置为用作手抖模糊校正处理的参考的参考图像，并把剩余图像设置为 要经受手抖模糊校正处理的校正目标图像，产生校正目标图像相对于 参考图像的位置位移要被校正的校正量；估计装置，用于根据产生装置产生的校正量，估计代表发生了相对于参考图像的手抖模糊的区域的手抖模糊区域；检测装置，用于根据产生装置产生的校正量，检测捕获校正目标 图像时有意的画面构成改变操作；和更新装置，用于根据估计装置估计的手抖模糊区域和检测装置执 行的检测的结果，把设置的校正区域更新为校正目标图像中相对于参 考图像的手抖模糊要被校正的区域。
12. —种用于估计捕获运动图像时发生的手抖模糊的手抖模糊 区域估计设备，包含检测装置，用于通过把构成运动图像的多个图像中的特定图像设 置为用作手抖模糊区域估计处理的参考的参考图像，检测代表每一个 剩余图像相对于参考图像的运动的运动向量；和估计装置，用于根据检测装置检测到的运动向量，估计代表发生 了相对于参考图像的手抖模糊的区域的手抖模糊区域。
13. —种在用于估计捕获运动图像时发生的手抖模糊的手抖模 糊区域估计设备中使用的手抖模糊区域估计方法，包含步骤通过把构成运动图像的多个图像中的特定图像设置为用作手抖 模糊区域估计处理的参考的参考图像，检测代表每一个剩余图像相对 于参考图像的运动的运动向量；和根据检测到的运动向量，估计代表发生了相对于参考图像的手抖模糊的区域的手抖模糊区域。
14. 一种用于使计算机起到用于估计捕获运动图像时发生的孚 抖模糊的手抖模糊区域估计设备的作用的程序，所述计算机用作检测装置，用于通过把构成运动图像的多个图像中的特定图像设 置为用作手抖模糊区域估计处理的参考的参考图像，检测代表每一个 剩余图像相对于参考图像的运动的运动向量；和估计装置，用于根据检测装置检测到的运动向量，估计代表发生 了相对于参考图像的手抖模糊的区域的手抖模糊区域。
15. —种用于校正捕获运动图像时发生的手抖模糊的图像处理 设备，包含产生单元，被配置成通过把构成运动图像的多个图像中的特定图 像设置为用作手抖模糊校正处理的参考的参考图像，并把剩余图像设 置为要经受手抖模糊校正处理的校正目标图像，产生校正目标图像相 对于参考图像的位置位移要被校正的校正量；估计单元，被配置成根据产生单元产生的校正量，估计代表发生 了相对于参考图像的手抖模糊的区域的手抖模糊区域；检测单元，被配置成根据产生单元产生的校正量，检测捕获校正 目标图像时有意的画面构成改变操作；和更新单元，被配置成根据估计单元估计的手抖模糊区域和检测单 元执行的检测的结果，把设置的校正区域更新为校正目标图像中相对 于参考图像的手抖模糊要被校正的区域。
16. —种用于估计在捕获运动图像时发生的手抖模糊的手抖模糊区域估计设备，包含检测单元，被配置成通过把构成运动图像的多个图像中的特定图 像设置为用作手抖模糊区域估计处理的参考的参考图像，检测代表每一个剩余图像相对于参考图像的运动的运动向量；估计单元，被配置成根据检测单元检测到的运动向量，估计代表 发生了相对于参考图像的手抖模糊的区域的手抖模糊区域。
全文摘要
一种用于校正运动图像中的手抖模糊的图像处理设备，包括产生单元，它通过把构成运动图像的多个图像中的一个图像设置为参考图像，并把剩余图像设置为校正目标图像，产生校正目标图像相对于参考图像的位置位移被校正的校正量；估计单元，它根据校正量，估计发生了相对于参考图像的手抖模糊的手抖模糊区域；检测单元，它根据校正量，检测合成改变操作；和更新单元，它根据手抖模糊区域和检测结果，把校正区域更新为校正目标图像中相对于参考图像的手抖模糊被校正的区域。
文档编号H04N5/232GK101552872SQ200910133049
公开日2009年10月7日 申请日期2009年4月2日 优先权日2008年4月3日
发明者半田正树, 大月知之, 近藤哲二郎, 高桥健治 申请人:索尼株式会社