专利名称：图像稳定装置、图像稳定方法和程序的制作方法
技术领域：
本发明涉及一种图像稳定装置、图像稳定方法和程序。
背景技术：
近年来，小型电子机器(以下，称为便携式机器)(诸如，移动电话、便携式游戏机、 便携式信息终端、笔记本计算机(以下，称作笔记本PC))、便携式音乐播放器、数字视频照相机和数字静止照相机(以下，称作图像捕捉装置)等已被广泛使用。这些便携式机器用于各种地点。例如，可看见用户在移动中的车辆上、在街角、在办公楼的等候室、在家里的起居室等处使用便携式机器。如此，随着便携式机器变得更小并且它们的便携性增加，使用场所变得更加多种多样。然而，虽然增加便携性的效果增加了携带的方便，但它并未增加对各种使用场所的适用性。例如，虽然便携式机器很小并且因此容易携带到车辆上，但在颠簸的车辆上难以执行快速而准确的操作。因此，制造便携式机器的公司改进例如便携式机器的把持部分的结构或操作装置的形式。另外，还存在这样的问题，即在颠簸的车辆上或者在行走的同时难以正确地感知便携式机器的显示装置上显示的图像、文本等。也就是说，显示装置上显示的图像、文本等由于便携式机器的振动而变得模糊，由此使得难以看见显示的内容。对于用户的视神经而言，图像、文本等的这种模糊非常令人疲劳。因此，已开发沿消除便携式机器的振动的方向移动图像、文本等，由此减小图像、文本等的模糊的技术。关于以上技术，JP 2000-221954A公开了一种检测便携式机器的振动并沿消除振动的方向移动显示图像的技术。该专利文件还公开了一种当移动显示图像时截除未在屏幕上显示的区域的技术。另外，该专利文件公开了一种通过使用加速度计检测便携式机器的振动的技术。这里，该专利文件中公开的技术用于计算与便携式机器的振动的相位相反的相位的振动并把这种振动加入到显示图像以消除便携式机器的振动。
发明内容
然而，便携式机器的振动的发生时刻和显示图像的运动补偿的时刻之间由于计算处理等导致存在延迟。因此，在便携式机器的振动较弱的情况下，便携式机器的振动的相位和给予显示图像的振动的相位将会近似地相反，但是在便携式机器的振动很强烈的情况下，振动的相位将不会是相反的。在一些情况下，振动的相位使彼此增强。结果，显示图像相对于用户的注视点的振动增加并且对于用户的视神经而言甚至更加令人疲劳。例如，当在颠簸的车辆上使用便携式机器时，在便携式机器上可能发生细微的振动。因此，如果应用上述专利文件的技术，则在便携式机器的振动和为了消除上述振动给予显示图像的振动之间将会频繁发生相位之间的差异，因此显示图像相对于用户的注视点的振动甚至会增加更多。另外，人眼具有跟随观看目标的运动的功能。因此，即使显示图像未相对于用户的注视点完全静止，也能够正确地观看显示图像。
4
考虑到上述情况，希望提供一种新颖的、改进的图像稳定装置、图像稳定方法和程序，并且能够在发生便携式机器的振动的情况下减小显示图像相对于用户的注视点的振动，由此减小用户的疲劳。根据本发明的实施例，提供了一种图像稳定装置，包括图像捕捉单元，用于捕捉用户的脸的图像；运动检测单元，用于检测其图像已经被图像捕捉单元所捕捉的脸的运动； 运动预测单元，用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示单元，用于显示图像数据；运动校正单元，用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据。图像稳定装置还可以包括注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；保护区域设置单元，用于在图像数据中设置以由注视点检测单元检测的注视点的位置为中心的预定范围的图像区域作为保护区域。其中运动校正单元对图像数据显示单元执行控制，以在允许显示由保护区域设置单元设置的全部保护区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。图像稳定装置还可以包括注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；以及注视区域确定单元，用于在图像数据中确定包括存在于由注视点检测单元检测的注视点的位置的显示对象的预定尺寸的注视区域。其中运动校正单元对图像数据显示单元执行控制，以在允许显示由注视区域确定单元确定的注视区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。运动校正单元对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据，使得随着显示图像数据的显示屏幕的框和注视区域之间的距离变得更短，脸的运动的消除的程度逐渐变得更小。根据本发明的另一实施例，提供了一种图像稳定方法，包括下述步骤图像捕捉步骤，捕捉用户的脸的图像；运动检测步骤，检测其图像已经在图像捕捉步骤中被捕捉的脸的运动；运动预测步骤，基于在运动检测步骤中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示步骤，显示图像数据；以及运动校正步骤，在图像数据显示步骤中执行控制，以沿消除在运动预测步骤中预测的脸的运动的方向移动图像数据。根据本发明的另一实施例，提供了一种使计算机实现下述功能的程序图像捕捉功能，捕捉用户的脸的图像；运动检测功能，检测其图像已经在图像捕捉功能中被捕捉的脸的运动；运动预测功能，基于在运动检测功能中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示功能，显示图像数据；运动校正功能，相对于图像数据显示功能执行控制，以沿消除在运动预测功能中预测的脸的运动的方向移动图像数据。根据本发明的另一实施例，提供了一种记录程序的计算机可读记录介质。根据上述本发明的实施例，可以在发生便携式机器的振动的情况下减小显示图像相对于用户的注视点的振动，由此减小用户的疲劳。
图1是用于描述在应用振动消除时出现的问题的解释示图，其中在用户的振动和机器的振动之间不存在相关性；图2是用于描述在应用振动消除时出现的问题的解释示图，其中在用户的振动和机器的振动之间存在相关性；图3是用于描述根据本发明实施例的便携式机器的功能结构的解释示图；图4是用于描述根据实施例的图像稳定模块的操作的解释示图；图5是用于描述根据实施例的振动消除应用的控制方法的解释示图；图6是用于描述根据实施例的振动消除应用的控制方法的解释示图；图7是用于描述根据实施例的用于振动消除的校正量的计算方法的解释示图；图8是用于描述根据实施例的用于振动消除的校正量的计算方法的解释示图；图9是用于描述根据实施例的用于振动消除的校正量的计算方法的解释示图；图10是显示HR滤波器的示例性电路结构的解释示图，其中示出了具有低通特性的FIR滤波器的例子；图11是用于描述根据实施例的振动消除方法的解释示图；图12是用于描述根据实施例的振动消除方法的解释示图；图13是用于描述根据实施例的振动消除方法的解释示图；图14是用于描述根据实施例的振动消除方法的解释示图；图15是用于描述根据实施例的振动消除方法的解释示图；图16是用于描述根据实施例的振动消除方法的解释示图；图17是用于描述根据实施例的振动消除方法的解释示图；图18是用于描述根据实施例的振动消除方法的解释示图；图19是用于描述根据实施例的振动消除方法的解释示图；图20是用于描述根据实施例的层复用方法的解释示图；图21是用于描述根据实施例的滤波强度的确定方法的解释示图；图22是用于描述根据实施例能够实现便携式机器的结构元件的功能的硬件结构的解释示图。
具体实施例方式以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元件以相同的标号表示，并且省略这些结构元件的重复解释。[描述的流程]这里简要提及以下描述的本发明的实施例的描述的流程。首先，参照图1和图2考虑用户和机器的振动对图像数据的可见性的影响。接下来，参照图3描述根据本发明实施例的便携式机器10的功能结构。然后，参照图4描述根据实施例的用户状态检测单元115的操作。然后，参照图5和图6描述根据实施例的应用的消除强度的计算方法。接下来，参照图7描述根据实施例的滤波单元116的操作。然后，参照图8和图9 描述根据实施例在应用振动消除时使用的校正量的计算方法。此时，参照图10描述根据实施例在应用振动消除时使用的滤波器的例子。
接下来，参照图11和图12描述根据实施例设置在应用振动消除时考虑的保护区域和最大屏幕移动量的方法。然后，参照图13至18描述根据实施例设置在应用振动消除时考虑的注视区域、保护区域和最大屏幕移动量的方法。然后，参照图19描述根据实施例的运动补偿方法。另外，参照图20描述根据实施例的层复用方法。另外，参照图21描述根据实施例的变型的根据层的用途的应用的消除强度的控制方法。接下来，参照图22描述根据实施例实现便携式机器10的功能的硬件的结构。最后，总结实施例的技术思想并且简要描述通过该技术思想获得的操作效果。(描述项)1 介绍2 实施例2-1 便携式机器10的功能结构2-2 用户状态检测单元115的操作2-2-1 处理的流程2-2-2 振动系数的计算方法2-2-3 应用的消除强度的计算方法2-3 滤波单元116的操作2-3-1 处理的流程2-3-2 预测位置的计算2-3-3 校正量的计算2-3-4 考虑保护区域等的最大屏幕移动量的确定方法2-3-5 考虑注视区域的最大屏幕移动量的确定方法2-4 变型(根据层用途的应用的消除强度的控制方法)3:硬件结构4 总结<1 介绍 >首先，参照图1和图2考虑当便携式机器10和用户20都进行振动时对图像数据 (显示对象14)的可见性的影响。如上所述，可以在颠簸的车辆上或者在行走的同时使用便携式机器10 (诸如，移动电话、便携式游戏机等)。在这种情况下，便携式机器10相对于用户20的注视点振动，并且屏幕上显示的显示对象14的可见性降低。因此，为了防止这种可见性的降低，设计了检测便携式机器10的振动并移动显示对象14以消除这种振动的技术。然而，如图1中所示，如果在便携式机器10的振动和用户 20的振动之间不存在相关性，则即使显示对象14以消除便携式机器10的振动的方式进行移动也无法消除显示对象14相对于用户20的注视点的振动。另一方面，如图2中所示，如果在便携式机器10的振动和用户20的振动之间存在相关性，则如果显示对象14以消除便携式机器10的振动的方式进行移动则消除显示对象 14相对于用户20的注视点的振动。也就是说，便携式机器10和用户20之间的相对位置关系由于便携式机器10和用户20的振动而改变，并且如果显示对象14未以消除这种改变的方式进行移动，则不能消除显示对象14相对于用户的注视点的振动。因此，本申请的发明者设计一种沿消除从便携式机器10看见的用户20的运动(相对运动)的方向移动显示对象14的方法。以下详细描述这种方法。<2 实施例 >描述本发明的实施例。本实施例涉及一种在便携式机器10上引起振动的情况下减小相对于用户20的注视点发生的显示对象14的振动的方法。特别地，本实施例涉及一种即使在便携式机器10和用户20以不相关的方式振动的情况下也减小显示对象14相对于用户20的注视点的振动的方法。需要注意的是，这种方法并非用于使显示对象14相对于用户20的注视点“静止”，而是用于“减小”显示对象14的振动以减小用户的疲劳。[2-1 便携式机器10的功能结构]首先，参照图3描述根据本实施例的便携式机器10的功能结构。图3是用于描述根据本实施例的便携式机器10的功能结构的解释示图。如图3中所示，便携式机器10主要包括图像稳定模块11、复用单元12和显示单元13。图像稳定模块11是用于减小显示对象14相对于用户20的注视点的振动的装置。 复用单元12是用于复用多个层并创建显示对象14的装置。显示单元13是用于显示由复用单元12创建的显示对象14的装置。根据本实施例的便携式机器10的特征主要在于图像稳定模块11的结构。因此，在下面，将更详细地描述图像稳定模块11的结构。如图3中所示，图像稳定模块11主要包括图像数据获取单元111、捕捉图像数据获取单元112、用户输入单元113、FIF0缓冲器114和用户状态检测单元115。另外，图像稳定模块11包括滤波单元116、校正矢量产生单元117和运动补偿单元118。(图像数据获取单元111)图像数据获取单元111是用于获取图像数据的装置。例如，图像数据获取单元111 获取时间序列帧组。顺便地，形成这个帧组的帧可以按照恒定时间间隔(固定帧间隔)布置或者可以按照任意时间间隔(可变帧间隔)布置。此外，每个帧由多个层构成。另外，每个层关联有指示叠加次序中的位置的数字和用途信息。例如，数字0与顶层关联，数字1与下一层关联。此外，用途信息用于指定层上显示的图像的用途，诸如菜单屏幕、视频屏幕、操作对象等。由图像数据获取单元111获取的图像数据被输入到运动补偿单元118。在下面的解释中，每个帧或每个层有时可称为图像数据。(捕捉图像数据获取单元Il2)捕捉图像数据获取单元112是用于获取通过拍摄用户20的图像获得的捕捉图像数据的装置。例如，捕捉图像数据获取单元112获取指示用户20的脸的运动的运动数据。 此外，捕捉图像数据获取单元112获取指示用户20的眼睛的运动的运动数据。从这些条运动数据中能够检测脸的运动和注视点的位置。能够检测用户20的注视点。另外，捕捉图像数据获取单元112也可以包括用于捕捉用户20的图像的图像捕捉装置和用于从捕捉的图像数据检测用户20的运动数据的图像处理装置。另外，由捕捉图像数据获取单元112获取的用户20的运动数据被输入到FIFO缓冲器114。(用户输入单元113)用户输入单元113是用户20输入各种类型数据的装置。(FIFO 缓冲器 114)FIFO缓冲器114是用于积累由捕捉图像数据获取单元112输入的运动数据的装置。另外，当在预定积累量已满的状态下输入接下来的运动数据时，FIFO缓冲器114丢弃最旧的运动数据。这个积累量设置为例如一秒的数据量(例如，在帧速为30fps的情况下为三十帧)。FIFO缓冲器114中积累的运动数据由用户状态检测单元115和滤波单元116 读取。(用户状态检测单元115)用户状态检测单元115是用于计算应用的消除强度的装置。另外，在这里，应用的消除强度是指示图像数据相对于用户20的注视点的振动的消除的强度的值。首先，用户状态检测单元115从FIFO缓冲器114获取运动数据(Dt，. . .，Dt+n)。另外，Dt是在时间t检测的运动数据。获取了运动数据(Dt，...，Dt+n)的用户状态检测单元115把运动数据(Dt...， Dt+n)输入到预定函数f并计算振动系数s，如以下公式(1)中所示。[方程1]s = f (Dt, ...，Dt+n) …⑴这个函数f是量化由运动数据(Dt，Dt+n)表达的运动的强度的变换公式。此外，振动系数s是表示由运动数据(Dt，Dt+n)表达的运动的强度的数值。例如，上述函数f是对运动数据(Dt，Dt+n)进行正交变换并输出预定频域中的最大振幅值的变换公式。另外，作为正交变换的例子，可以采用Fourier变换等。已按照以上方式计算振动系数s的用户状态检测单元115基于振动系数s计算应用的消除强度。例如，在仅考虑两个状态(即，应用消除的情况和不应用消除的情况)的情况下，用户状态检测单元115基于振动系数s与两个阈值T1和T2之间的比较结果计算应用的消除强度，如图5中所示。另外，在应用消除状态的情况下，应用的消除强度是1.0。另一方面，在非应用消除状态的情况下，应用的消除强度是0.0。如上所述，振动系数s较大的情况是便携式机器10的振动强烈的状态。在便携式机器10的振动强烈的情况下，如果沿消除振动的方向移动图像数据，则图像数据相对于用户20的注视点的振动不减小，而是相反地，图像数据相对于用户20的注视点的振动可能增加。另外，如果图像数据移动很大，则图像区域的很大一部分将会移出屏幕并且图像数据的非显示区域将会太大。因此，假设优选地在便携式机器10的振动强烈的情况下不应用振动的消除。另一方面，振动系数s较小的情况是便携式机器10的振动缓慢的状态。在便携式机器10的振动缓慢的情况下，用户20能够跟随图像数据的运动而不会变得疲劳。因此，在振动系数s较小的情况下不需要消除。由于以上原因，优选地如下确定阈值T1和1~2。例如，优选地确定阈值T1以使得由振动系数s指示的振动的范围为屏幕尺寸的大约1%。也就是说，优选地确定阈值T1以使得图像数据相对于用户20的注视点的振动为可忽略的值。另一方面，关于阈值T2，由振动系数s指示的振动的范围优选地为屏幕尺寸的大约10%。也就是说，优选地把它确定为这样的值根据该值，在已应用消除的情况下，获得消除的效果并且非显示区域不太大。另外，阈值T1和T2的数值不限于上述例子。此外，阈值T1和T2可以是固定值或者它们可以是可变的。上述应用的消除强度的确定方法仅考虑两个状态，即应用消除的状态和不应用消除的状态。相比之下，还可以设想根据振动系数s连续确定应用的消除强度的方法。例如，应用的消除强度能够由0. 0和1. 0之间的实数定义，如图6中所示。在这种
9情况下，非应用消除状态定义为应用的消除强度为0.0的状态。另外，应用的消除强度的特性由如图6中所示的曲线或其它曲线或直线表示。当然，根据振动系数s确定应用的消除强度的特性曲线的形式不限于图6中的例子。另外，在下面，将在假设使用由连续的值定义的应用的消除强度的情况下进行解释。如上所述，用户状态检测单元115通过使用从FIFO缓冲器114读取的运动数据 (Dt, . . .，Dt+n)计算振动系数s，并基于振动系数s计算应用的消除强度。由用户状态检测单元115以这种方式计算的应用的消除强度输入到滤波单元116。另外，用户状态检测单元115基于从FIFO缓冲器114读取的用户20的眼睛的运动数据来检测用户20的注视点。例如，用户状态检测单元115通过使用JP H10-91325A中描述的视线检测系统的技术从指示眼睛的运动的运动数据检测用户20的注视点。指示由用户状态检测单元115以这种方式检测到的用户20的注视点(用户20正在观看的屏幕上的位置)的注视点数据输入到滤波单元116。(滤波单元116)滤波单元116是用于计算为了消除图像数据相对于用户20的注视点的振动而使图像数据移动的量(以下，称为校正量)的装置。首先，滤波单元116从FIFO缓冲器114读取脸的运动数据(Dt，...，Dt+n)，并计算在下一帧的显示时间点t+η+Ι的脸的运动数据Dt+n+1。 另外，脸的运动数据(Dt，...，Dt+n)指示在每个时间点从便携式机器10观看的用户20的脸的相对位置(坐标值)。另外，脸的运动数据Dt+n+1指示从由捕捉图像数据获取单元112获取的脸的运动数据预测的脸的预测位置。另外，运动数据Dt+n+1的计算方法可以是例如如图8中所示使用两个相邻样本(Dt+Iri，Dt+n)的线性预测方法或者使用运动数据(Dt，...，Dt+n)的样条曲线 (spline curve)的预测方法。然后，滤波单元116把包括预测位置的运动数据(Dt，Dt+n，Dt+n+1)应用于预定滤波器。作为这个滤波器，能够使用具有低通特性或带通特性的滤波器，诸如平均滤波器、 双边滤波器等。例如，能够使用图10中显示的HR滤波器。另外，滤波单元116根据由用户状态检测单元115输入的应用的消除强度或者根据由用户20经用户输入单元113输入的滤波强度改变滤波器的抽头长度。例如，在应用的消除强度较强的情况下，滤波单元116增加滤波器的抽头长度。另一方面，在应用的消除强度较弱的情况下，滤波单元116减小滤波器的抽头长度。此外，在由用户20输入的滤波强度较强的情况下，滤波单元116增加滤波器的抽头长度。另一方面， 在由用户20输入的滤波强度较弱的情况下，滤波单元116减小滤波器的抽头长度。例如， 滤波单元116把标准抽头长度决定为三十个样本等，并且根据应用的消除强度来相对于标准抽头长度而增加或减小抽头长度。现在，已应用包括脸的预测位置的运动数据(Dt，Dt+n，Dt+n+1)的滤波器的输出值将被作为图9中显示的在滤波应用之后的内插线。另外，在下面的解释中，在滤波应用之后的内插线上的值将会称为滤波应用数据。已获得滤波应用数据的滤波单元116把在下一帧的显示时间点t+η+Ι的滤波应用数据和预测位置Dt+n+1之差设置为校正量。此外，滤波单元116把校正量的单位从运动数据的单位(英寸等)转换成图像数据的单位(像素)。接下来，滤波单元116计算图像数据在屏幕上能够移动的距离的最大值(以下，称
10为最大屏幕移动量)。如图11中所示，例如，从为图像数据设置的保护区域和图像框的位置之间的关系计算最大屏幕移动量。保护区域是预先设置为图像数据中明确地将要被显示的区域的区域。在这种情况下，根据图像框和保护区域的边界之间的距离确定最大屏幕移动量。在按照上述方式计算最大屏幕移动量之后，滤波单元116关于每个轴的方向比较校正量和最大屏幕移动量。然后，在校正量大于最大屏幕移动量的情况下，滤波单元116重置校正量以使得校正量是最大屏幕移动量。利用以这种方式重置的校正量，即使图像数据基于校正量移动，保护区域也不会移出屏幕，如图11中所示。另外，如图12中所示，滤波单元116可以设置最大屏幕移动量以使得图像数据总是显示在整个屏幕上。图12中表示的图像数据大于屏幕尺寸。在这种情况下，即使图像数据移动图12中显示的最大屏幕移动量A，图像数据也显示在整个屏幕上。也就是说，为了使图像数据总是显示在整个屏幕上，最大屏幕移动量能够设置为图12中显示的最大屏幕移动量A。另一方面，为了总是显示保护区域，最大屏幕移动量可以设置为图12中显示的最大屏幕移动量B。另外，例如在游戏屏幕、数字图书的屏幕等的情况下，在如图12中所示的图像框外面存在图像数据。另一方面，例如在很多视频内容(诸如，电影、个人视频等)的情况下， 在图像框外面不存在图像数据。因此，是如图11中所示基于保护区域选择最大屏幕移动量还是如图12的A所示基于显示区域选择最大屏幕移动量取决于作为应用目标的图像数据的类型。另外，即使在图像框外面存在图像数据，也可以选择基于保护区域的最大屏幕移动量，并且可以基于最大屏幕移动量设置校正量。如上所述，由滤波单元116计算的校正量或基于最大屏幕移动量重置的校正量输入到校正矢量产生单元117。顺便地，在以上解释中，使用表达式、图像数据的校正量和图像数据的最大屏幕移动量，但对于每个层执行上述处理。也就是说，为每个层设置保护区域或者为每个层计算最大屏幕移动量，并且为每个层设置校正量。然后，为每个层设置的校正量从滤波单元116输入到校正矢量产生单元117。(校正矢量产生单元117、运动补偿单元118)校正矢量产生单元117是通过使用从滤波单元116输入的校正量产生用于校正层的位置的校正矢量的装置。这个校正矢量是用于通过运动补偿把应用消除之前的层变换成应用消除之后的层的变换手段。当采用形成应用消除之前的层的每个像素的坐标作为X并且采用应用消除之后的每个像素的坐标作为X’时，通过使用以下公式(2)至(7)表示坐标 X’。顺便地，参数(h，v，θ，p，h。，v。)是与由滤波单元116输入的每个轴的校正量相关的参数。[方程2]
权利要求
1.一种图像稳定装置，包括图像捕捉单元，用于捕捉用户的脸的图像；运动检测单元，用于检测其图像已经被图像捕捉单元所捕捉的脸的运动； 运动预测单元，用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示单元，用于显示图像数据；以及运动校正单元，用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据。
2.如权利要求1所述的图像稳定装置，还包括注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；以及保护区域设置单元，用于在图像数据中设置以由注视点检测单元检测的注视点的位置为中心的预定范围的图像区域作为保护区域，其中运动校正单元对图像数据显示单元执行控制，以在允许显示由保护区域设置单元设置的全部保护区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。
3.如权利要求1所述的图像稳定装置，还包括注视点检测单元，用于从由图像捕捉单元捕捉的脸的图像检测注视点的位置；以及注视区域确定单元，用于在图像数据中确定包括存在于由注视点检测单元检测的注视点的位置的显示对象的预定尺寸的注视区域，其中运动校正单元对图像数据显示单元执行控制，以在允许显示由注视区域确定单元确定的注视区域的范围内，沿消除由运动预测单元预测的脸的运动的方向移动图像数据。
4.如权利要求3所述的图像稳定装置，其中运动校正单元对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据，使得随着显示图像数据的显示屏幕的框和注视区域之间的距离变得更短，脸的运动的消除的程度逐渐变得更小。
5.一种图像稳定方法，包括下述步骤 图像捕捉步骤，捕捉用户的脸的图像；运动检测步骤，检测其图像已经在图像捕捉步骤中被捕捉的脸的运动； 运动预测步骤，基于在运动检测步骤中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示步骤，显示图像数据；以及运动校正步骤，在图像数据显示步骤中执行控制，以沿消除在运动预测步骤中预测的脸的运动的方向移动图像数据。
6.一种使计算机实现下述功能的程序 图像捕捉功能，捕捉用户的脸的图像；运动检测功能，检测其图像已经在图像捕捉功能中被捕捉的脸的运动； 运动预测功能，基于在运动检测功能中按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示功能，显示图像数据；运动校正功能，相对于图像数据显示功能执行控制，以沿消除在运动预测功能中预测的脸的运动的方向移动图像数据。
全文摘要
本发明涉及图像稳定装置、图像稳定方法和程序。一种图像稳定装置，包括图像捕捉单元，用于捕捉用户的脸的图像；运动检测单元，用于检测其图像已经被图像捕捉单元所捕捉的脸的运动；运动预测单元，用于基于由运动检测单元按时间序列检测的脸的运动来预测在下一个时间点检测的脸的运动；图像数据显示单元，用于显示图像数据；运动校正单元，用于对图像数据显示单元执行控制以沿消除由运动预测单元预测的脸的运动的方向移动图像数据。
文档编号H04N5/232GK102271221SQ201110141400
公开日2011年12月7日 申请日期2011年5月30日 优先权日2010年6月7日
发明者坂口龙己, 小川延浩, 渡边真司 申请人:索尼公司