专利名称：图像处理设备、方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、方法和程序，更具体地说，涉及能够迅速并且准确地识别手势的图像处理设备、方法和程序。
背景技术：
利用图像把人物的手势识别为手势的技术已得到广泛使用。在识别手势的技术中，首先，使用只包括经成像的双手的图像，或者通过指示图像中的双手的位置，提取只包括双手的图像。随后利用肉色信息、运动检测和模式匹配方法，从只包含所提取的双手的图像中识别手势(参见未经审查的日本专利申请公开No. 2007-333690，未经审查的日本专利申请公开No. 2007-538318和未经审查的日本专利申请公开No. 9-206471)。
发明内容
在未经审查的日本专利申请公开No. 2007-333690，未经审查的日本专利申请公开 No. 2007-538318和未经审查的日本专利申请公开No. 9-206471中，不能从包括整个人体的图像中识别出手势，因为预先假定使用只包括双手的图像。从包括整个人体的图像中检测只包括双手的区域需要一定时间。即使当根据关于双手的粗略位置的信息，提取只包括双手的区域时，提取的只包括双手的区域的图像也仅仅是粗略的。于是，需要在不一定能从只包括双手的区域的图像中识别出手势的状态下识别手势。因此，识别结果的鲁棒性(robustness)未必较高。理想的是提供一种能够利用包括整个人体的图像，迅速并且准确地识别手势的技术。按照本发明的一个实施例，提供一种图像处理设备，包括面部图像检测单元，其从输入图像中检测面部图像；姿势估计单元，其根据用面部图像检测单元检测的面部图像的位置，估计输入图像中的人物的姿势；手位置检测单元，其根据姿势估计单元估计的姿势， 检测人物的手的位置；手图像提取单元，其根据手位置检测单元检测的人物的手的位置信息，从输入图像中提取人物的手图像；手形指定单元，其根据手图像提取单元提取的手图像，指定人物的手的形状；手形时间序列存储单元，其通过与手的位置信息相对应，来把由手形指定单元指定的手的形状保存为时间序列；和手势识别单元，其根据通过与手的位置信息相对应而在手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势。图像处理设备还包括手势存储单元，其针对每种手势，通过与手的位置信息相对应而把与手的形状有关的信息保存为时间序列。手势识别单元把通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息，和针对每种手势通过与手的位置信息相对应而在所述手势存储单元中保存为时间序列的与手的形状有关的信息进行比较，然后根据比较结果来识别手势。
图像处理设备还包括相似度计算单元，其计算通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息，和针对每种手势通过与手的位置信息相对应而在所述手势存储单元中保存为时间序列的与手的形状有关的信息之间的相似度。手势识别单元可把具有最大相似度的手势设定为识别结果。当最大相似度小于预定阈值时，作为识别结果，手势识别单元可认为不存在手势。图像处理设备还可包括登记单元，当最大相似度小于预定阈值时，所述登记单元把通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息与预定手势相对应，从而将所述与手的形状有关的信息登记在所述手势存储单元中。按照本发明的另一个实施例，提供一种图像处理设备的图像处理方法，所述图像处理设备包括面部图像检测单元，其从输入图像中检测面部图像，姿势估计单元，其根据用面部图像检测单元检测的面部图像的位置，估计输入图像中的人物的姿势，手位置检测单元，其根据姿势估计单元估计的姿势，检测人物的手的位置，手图像提取单元，其根据手位置检测单元检测的人物的手的位置信息，从输入图像中提取人物的手图像，手形指定单元， 其根据手图像提取单元提取的手图像，指定人物的手的形状，手形时间序列存储单元，其通过与手的位置信息相对应，来把由所述手形指定单元指定的手的形状保存为时间序列，和手势识别单元，其根据通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势。所述信息处理方法包括用面部图像检测单元，从输入图像中检测面部图像；用姿势估计单元，根据在面部图像的检测中检测到的面部图像的位置，估计输入图像中的人物的姿势；用手位置检测单元，根据在人物姿势的估计中估计的姿势，检测人物的手的位置；用手图像提取单元，根据在手的位置的检测中检测到的人物的手的位置信息，从输入图像中提取人物的手图像；用手形指定单元，根据在手图像的提取中提取的手图像，指定人物的手的形状； 用手形时间序列存储单元，通过与手的位置信息相对应，来把在手形的指定中指定的手的形状保存为时间序列；和用手势识别单元，根据通过与手的位置信息相对应而在手形的保存中保存为时间序列的与手的形状有关的信息，来识别手势，所述手势是利用人物的手的手姿势。按照另一个实施例，提供一种程序，所述程序使控制图像处理设备的计算机执行一种图像处理方法，所述图像处理设备包括面部图像检测单元，其从输入图像中检测面部图像，姿势估计单元，其根据用面部图像检测单元检测的面部图像的位置，估计输入图像中的人物的姿势，手位置检测单元，其根据姿势估计单元估计的姿势，检测人物的手的位置， 手图像提取单元，其根据手位置检测单元检测的人物的手的位置信息，从输入图像中提取人物的手图像，手形指定单元，其根据手图像提取单元提取的手图像，指定人物的手的形状，手形时间序列存储单元，其通过与手的位置信息相对应，来把由所述手形指定单元指定的手的形状保存为时间序列，和手势识别单元，其根据通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势，所述信息处理方法包括用面部图像检测单元，从输入图像中检测面部图像；用姿势估计单元，根据在面部图像的检测中检测到的面部图像的位置，估计输入图像中的人物的姿势；用手位置检测单元，根据在人物姿势的估计中估计的姿势，检测人物的手的位置；用手图像提取单元，根据在手的位置的检测中检测到的人物的手的位置信息，从输入图像中提取人物的手图像；用手形指定单元，根据在手图像的提取中提取的手图像，指定人物的手的形状；用手形时间序列存储单元，通过与手的位置信息相对应，来把在手形的指定中指定的手的形状保存为时间序列；和用手势识别单元，根据通过与手的位置信息相对应而在手形的保存中保存为时间序列的与手的形状有关的信息，来识别手势， 所述手势是利用人物的手的手姿势按照本发明的实施例，从输入图像中检测面部图像；根据检测的面部图像的位置， 估计输入图像中的人物的姿势；根据估计的姿势，检测人物的手的位置；根据检测的人物的手的位置信息，从输入图像中提取人物的手图像；根据提取的手图像，指定人物的手的形状；通过与手的位置信息相对应，来把在手形的指定中指定的手的形状保存为时间序列； 和根据通过与手的位置信息相对应而在手形的保存中保存为时间序列的与手的形状有关的信息，来识别手势，所述手势是利用人物的手的手姿势。按照本公开的实施例的图像处理设备可以是独立设备，或者进行图像处理的部件。按照本发明的实施例，能够迅速并且准确地识别手势。
图1是按照本发明的一个实施例的识别手势的图像处理设备的结构例子的方框图；图2是图解说明图1中的手形指定单元的结构的示图；图3是图解说明手势识别处理的流程图；图4是图解说明手势识别处理的示图；图5是图解说明手势识别处理的示图；图6是图解说明手势识别处理的示图；图7是图解说明手形指定处理的流程图；图8是图解说明手形指定处理的示图；图9是图解说明通用个人计算机的结构例子的示图。
具体实施例方式图像处理设备的结构的例子图1是图解说明按照本发明的一个实施例的图像处理设备的硬件结构的例子的示图。图1中的图像处理设备11从运动图像中识别作为输入运动图像中的被摄物体的人的手势，并输出识别结果。图像处理设备11包括输入图像获取单元21，面部图像检测单元22，姿势估计单元 23，背景差分提取单元M，手位置检测单元25，手图像提取单元沈，手形指定单元27，和手形时间序列存储单元观。图像处理设备11还包括手势识别单元四，手势存储单元30，手势识别结果输出单元31和显示单元32。输入图像获取单元21顺序获得以运动图像的形式顺序输入的图像，作为以帧为单位的图像，并提供给面部图像检测单元22，背景差分提取单元M和手图像提取单元26。
面部图像检测单元22从以帧为单位供给的图像中检测面部图像，并把检测的面部图像和检测的面部图像的位置信息提供给姿势估计单元23。姿势估计单元23根据从面部图像检测单元22供给的面部图像和位置信息，依据面部图像中的人脸的方向、大小和位置，估计检测的面部图像的人物的身体的姿势。更具体地说，姿势估计单元23根据面部图像中的面部的方向或大小，指定人体的位置或大小，并指定根据人体和面部之间的位置关系估计的双手的根部和双脚的根部。此外，姿势估计单元23根据源于双手的根部和双脚的根部的位置的图像连续性，指定手臂和脚所存在的范围，并根据和面部、人体、手臂和脚所存在的范围有关的信息，估计面部图像的人物的姿势。背景差分提取单元24根据与姿势估计单元23估计的人体的姿势有关的信息，删除作为差分信息的人体的面部图像和除包括人体的前景图像之外的背景图像，从而仅提取作为前景图像的人体的身体部位的图像。随后，背景差分提取单元24把人体的身体部位的图像提供给手位置检测单元25。手位置检测单元25只对从背景差分提取单元24供给的人体的身体部位，检测图像中的双手的范围，并检测双手的范围的位置作为手位置。手位置检测单元25把检测的范围和手位置提供给手图像提取单元26和手形时间序列存储单元28。手图像提取单元26根据从手位置检测单元25供给的手位置的信息，从输入图像中提取双手的范围的图像作为手图像，并把手图像提供给手形指定单元27。手形指定单元27根据手图像，指定手形，并把指定的手形的信息保存在手形时间序列存储单元28中。此时，手形时间序列存储单元28通过对应于从手位置检测单元25供给的手位置，保存指定的手形。将参考图2详细说明手形指定单元27的结构。手势识别单元29读取按预定帧数在手形时间序列存储单元28中保存为时间序列的手形的信息。手势识别单元29控制相似度计算单元29a计算预先登记在手势存储单元 30中的每一个手势和保存为时间序列的手形之间的相似度。当手势的最高相似度大于预定值时，手势识别单元29判定保存在手形时间序列存储单元28中的与成时间序列的有关的信息和与具有最高相似度的手势对应的、与保存为时间序列的手形有关的信息相同，从而把对应的手势设定为识别结果。随后，手势识别单元29把识别结果提供给手势识别结果输出单元31，并把识别结果显示在用IXD (液晶显示器)构成的显示单元32上。另一方面，当最高相似度小于预定值时，手势识别单元29把关于保存在手形时间序列存储单元28中的成时间序列的手形的信息看作为未在手势存储单元30中登记的成时间序列的手形的信息。手势识别单元29允许与未登记的成时间序列的手形有关的信息与新的手势相对应，并通过在显示单元32上显示询问来询问是否把该信息登记在手势存储单元30中。当手势识别单元29收到该新的登记时，手势识别单元29控制登记单元29b把与未登记的成时间序列的手形有关的信息作为新的手势登记在手势存储单元30中。根据本发明的一个优选实施方式的图像处理设备包括面部图像检测单元22，其从输入图像中检测面部图像；姿势估计单元23，其根据由面部图像检测单元22检测的面部图像的位置，估计输入图像中的人物的姿势；手位置检测单元25，其根据姿势估计单元23 估计的姿势，检测人物的手的位置；手图像提取单元26，其根据手位置检测单元25检测的人物的手的位置信息，从输入图像中提取人物的手图像；手形指定单元27，其根据手图像提取单元26提取的手图像，指定人物的手的形状；手形时间序列存储单元28，其通过与手的位置信息相对应，来把由所述手形指定单元指定的手的形状保存为时间序列；以及手势识别单元四，其根据通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势。手形指定单元的结构的例子下面参考图2，说明手形指定单元27的结构的例子。手形指定单元27包括手形识别单元41-1 41_n和最大值输出单元42。手形识别单元41-1 41-n的每一个均能够识别不同种类的手形，并把识别结果作为得分提供给最大值输出单元42。即，例如，手形识别单元41-1 41-n能够识别所谓的石头-剪子-布游戏中的“石头”、“剪子”和“布”的形状，或者“和平手势”的形状，并把识别等级以得分的形式输出给最大值输出单元42。例如，当手形识别单元41识别“石头”的形状时，在手形更类似于“石头”的形状的情况下，得分变成较高的值。相反，在手形不太类似于“石头”的形状时，得分变成较低的值。下面，当不必相互区分手形识别单元41-1 41-n时，手形识别单元41-1 41-n被简称为手形识别单元41。在其它结构中同样如此。最大值输出单元42以得分的形式，从手形识别单元41-1 41-n获得识别结果， 并输出具有各个得分之中的最大值的手形作为识别结果。手势识别处理下面参考图3的流程图，说明手形识别处理。在步骤S11，输入图像获取单元21获得作为运动图像的一帧输入图像，并把该图像提供给面部图像检测单元22，背景差分提取单元M和手图像提取单元26。在步骤S12，面部图像检测单元22从供给的图像中检测面部图像。更具体地说，例如，当被供给图4中所示的图像P时，面部图像检测单元22把矩形面部图像F和依据与构成面部图像的眼睛、嘴巴、鼻子部位对应的图像的配置获得的面部图像F的位置，作为关于指示面部图像F的位置的坐标的信息，提供给姿势估计单元23。此外，关于面部图像的位置的信息包括关于图4中所示的面部图像F的位置的信息，和关于面部图像F的垂直方向的 fn息ο在步骤S13，姿势估计单元23根据面部图像，和关于面部图像的位置的信息，估计从输入图像中检测的面部图像中的人物的姿势。更具体地说，当获得图4中所示的面部图像F，和面部图像F的位置时，由于大体上指定了人体的位置和大小，因此姿势估计单元23 根据例如，臂部的图像的连续性，检测从指定人体的肩根部附近伸出的手臂的范围。随后， 姿势估计单元23通过逐渐跟踪手臂的范围，来指定整个手臂的范围。按照相同的方法，如果需要，则姿势估计单元23还检测双脚的范围。例如，姿势估计单元23通过合成各个范围的检测结果，根据图4中所示的面部图像F和图5中所示的关于面部图像F的位置的信息， 估计例如用在图5的右侧中所示的姿势模型Bl指示的姿势。随后，姿势估计单元23把估计的姿势提供给背景差分提取单元24。在步骤S14，通过把图像中除了其中存在人体的范围之外的范围作为背景图像从姿势估计单元23估计的关于人体姿势的信息中删除，背景差分提取单元M提取与包含有成为前景图像的估计姿势的人体的整个范围有关的信息作为背景差分图像。随后，背景差分提取单元M把提取的信息提供给手位置检测单元25。在步骤S15，手位置检测单元25从由背景差分提取单元对供给的提取范围的图像中，指定其中检测到双手的范围，检测在指定范围内的双手的位置，并把双手的位置提供给手图像提取单元26。S卩，例如，当估计在图5的右侧所示的姿势时，检测出表示成图6的左侧的范围H的范围，作为手所存在的位置。 在步骤S16，手图像提取单元26根据从手位置检测单元25供给的与手的位置有关的信息，从由输入图像获取单元21供给的图像中提取手图像，并把所述手图像提供给手形指定单元27。S卩，例如，当把关于在图6的左侧所示的范围H的信息作为检测出的手的位置，提供给手图像提取单元26时，如在图6的右侧所示，手图像提取单元26提取该范围中的手图像Hl，并把手图像Hl提供给手形指定单元27。在步骤S17，手形指定单元27根据从手图像提取单元26供给的手图像进行手形指定处理，从而指定手形。手形指定处理下面参考图7的流程图，说明手形指定处理。在步骤S41，最大值输出单元42把识别手形识别单元41_n的计数器η初始化为
Io在步骤S42，最大值输出单元42获得由手形识别单元41_11识别的手形的得分。即， 当手形识别单元41-η识别所谓的石头-布-剪子游戏中的“石头”的手形时，手形识别单元41-η计算指示识别的手形与“石头”相似到何种程度的得分，并把得分提供给最大值输出单元42。这样，最大值输出单元42获得并保存所述得分以及用于识别哪个手形识别单元 41-η计算该得分的信息，即，识别手形的得分对应于哪个手形的信息。在步骤S43，最大值输出单元42判定计数器η是否变成最大值，即，是否获得来自所有手形识别单元41-η的得分。当在步骤S43中计数器η不是最大值时，即存在未获得得分的手形识别单元41-η时，处理进入步骤S44。在步骤S44，最大值输出单元42把计数器η加1，处理返回步骤S42。S卩，重复步骤S42 步骤S44的处理，直到从所有手形识别单元41-η获得得分为止。当在步骤S43中判定计数器η为最大值，即从手形识别单元41-1 41-η获得了所有得分时，处理进入步骤 S45。在步骤S45，最大值输出单元42把由提供手形识别单元41_1 41_η获得的得分之中的最大得分的手形识别单元41-η所识别的手形，作为从手图像中指定的手形输出给手形时间序列存储单元28。这里返回图3的流程图，继续进行说明。在步骤S18，通过对应于从手位置检测单元25供给的关于手位置的信息，手形时间序列存储单元28保存从手形指定单元27供给的指定的手形。此时，当存储容量已满时， 手形时间序列存储单元28删除关于最早手形的信息，并保存关于新手形的信息。S卩，通过与关于手位置的信息相对应，手形时间序列存储单元28保存关于彼此紧邻的预定帧的手形的信息。在步骤Sl9，手势识别单元29判定是否已经保存了识别手势所必需的帧数的信息 (该信息是和通过与成时间序列的手位置有关的信息相对应而指定的手形相关的信息)。 当在步骤S19手势识别单元29判定未保存识别手势所必需的帧数的与所指定的手形相关的信息时，处理返回步骤S11。即，重复从步骤Sll 步骤S19的处理，直到保存了为识别手势所必需的帧数的与指定手形相关的信息为止。当在步骤S19中手势识别单元四判定保存了为识别手势所必需的帧数的与指定手形相关的信息时，处理进入步骤S20。在步骤S20，手势识别单元四控制相似度计算单元29a计算与手势存储单元30中预先保存的手势的成时间序列的手形相关的信息之中的、与未处理手势的成时间序列的手形相关的信息，和保存在手形时间序列存储单元观中的与成时间序列的手形相关的信息之间的相似度。更具体地说，例如，相似度计算单元29a把手形和动作识别成形成为一体的模块， 并计算被连续设定为手势的多个模块之中的连续相同的模块的数目与模块总数的比率，作为相似度。即，手势可由第一模块到第四模块构成，如和图8中所示的手势A所示。S卩，从图的左侧开始，图8中所示的手势A由其中竖起拇指，并左右摆动的第一模块，其中张开手，并在图中向左摆动的第二模块，其中张开手，并在图中左右摆动的第三模块，和其中张开手， 并在图中左右轻微摆动的第四模块构成。图8中所示的手势B由其中形成显示手背的手形，并且手形的位置不变化的第一模块(如在该图的左侧所示)，和其中形成显示手掌的手形，并且手形的位置不变化的第二模块(如在该图的右侧所示)构成。这种情况下，通过多次重复第一模块和第二模块，交替重复这两种手形，从而构成沿着垂直方向移动手掌的手势。图8中所示的手势C由模块中的其中一个模块构成，即，由从图的左侧开始，其中形成竖起拇指的手形，并且手形的位置不变化的模块，其中形成竖起食指的手形，并且手形的位置不变化的模块，其中形成和平手势的手形，并且手形的位置不变化的模块，其中形成石头-布-剪子游戏中的布的手形，并且手形的位置不变化的模块，或者其中形成石头-布-剪子游戏中的石头的手形，并且手形的位置不变化的模块等构成。至于图8中所示的手势D，左侧的手势是由从图的左侧开始，其中形成石头-布-剪子游戏中的石头的手形，并且手形的位置不变化的第一模块，和其中形成显示在图的右侧的布的手形，所述布被示出，并且左右少量挥动的第二模块构成的手势。右侧的手势是由其中形成石头-布-剪子游戏中的石头的手形，并且手形的位置不变化的第一模块， 和其中竖起食指的手形(如在图中的右侧所示)，并且手形的位置不变化的第二模块构成的手势。这样，根据用单个或多个手形和手形的位置变化设定的模块的顺序，设定手势。此时，根据手位置信息识别手指的动作。例如，当第一手势由模块A、B和C等3个成时间序列的模块构成，第二手势由成时间序列的模块B、C、D和E构成时，相似度计算单元29a搜索顺序连续相同的模块的数目。 艮口，在第一手势和第二手势中，模块B和C的附近是同样构成的。从而，例如，相似度计算单元29a把第一手势相对于第二手势的相似度计算为2/4(=顺序相同的模块的数目/第二手势的模块的总数)。此外，这里说明的相似度仅仅是一个例子。可以定义其它相似度， 并计算所述其它计算度。例如，当使用HMM(隐式马尔可夫模型)时，可利用序列估计来计算相似度(参见 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 21, No. 10 OCTOBER 1999，An HMM-Based Threshold Model Approach for Gesture Recognition, Hyeon-Kyu Lee 禾口 Jin H. Kim)。
在步骤S21，手势识别单元29判定在保存在手势存储单元30中的与针对每个手势的成时间序列的手形的有关信息中，是否存在未处理的信息。当手势识别单元29判定存在未处理的信息时，处理返回步骤S20。即，计算预先保存在手势存储单元30中的与针对每个手势的成时间序列的手形有关的信息，和保存在手形时间序列存储单元28中的与成时间序列的手形时间序列手形有关的信息之间的相似度。当在步骤S21中，手势识别单元29判定保存在手势存储单元30中的与针对每个手势的成时间序列的手形有关的信息中，不存在未处理的信息时，处理进入步骤S22。在步骤S22，手势识别单元29判定最大相似度是否大于预定阈值。S卩，当登记在手势存储单元30中的与成时间序列的手形有关的信息和保存在手形时间序列存储单元28中的与成时间序列的手形有关的信息之间的最大相似度小于预定阈值时，尽管存在该最大相似度，也不考虑对应的手势。另一方面，当在步骤S22中，最大相似度大于预定阈值时，具有最大相似度的手势被视为识别结果。然后，处理进入步骤S23。在步骤S23，手势识别单元29认为具有最大相似度的与手势的成时间序列的手形有关的信息与保存在手形时间序列存储单元28中的与成时间序列的手形有关的信息相同。手势识别单元29把具有最大相似度的手势作为识别结果提供给手势识别结果输出单元31。手势识别结果输出单元31输出供给的关于手势的信息，作为识别结果，此时，手势识别单元29控制显示单元32显示关于手势的信息，作为识别结果。另一方面，在步骤S22，当最高的相似度小于预定阈值，从而不存在与保存在手形时间序列存储单元28中的与成时间序列的手形有关的信息一致的手势时，处理进入步骤 S24。在步骤S24，手势识别单元29控制显示单元32显示不存对应手势的事实。在步骤S25，手势识别单元29控制显示单元32显示屏幕，在所述屏幕上，显示询问是否把保存在手形时间序列存储单元28中的、对其而言不存在对应手势的与手形有关的信息登记为新手势的消息。在步骤S26，手势识别单元29判定是否通过操作单元(未示出)的操作，发出了登记新手势的指令。例如，当发出了登记新手势的指令时，处理进入步骤S27。在步骤S27，手势识别单元29控制登记单元29b把保存在手形时间序列存储单元 28中的成时间序列的手形的信息，作为新手势登记在手势存储单元30中。随后结束处理。当在步骤S26中，未发出登记新手势的指令时，跳过步骤S27的处理，然后结束手势识别处理。这样，根据与成时间序列的手形有关的信息识别手势，从图像指定面部图像的位置，根据面部图像估计人体的姿势，根据估计的姿势信息检测手位置，根据检测的手位置， 提取手图像，根据手图像指定手形，手势被识别为与成时间序列的手形有关的信息。结果， 能够指定手形，能够根据图像计算手位置，能够提取手图像，能够根据手图像指定手形。于是，由于能够迅速并且高度精确地获得手图像，因此能够根据获得的手形，更准确地估计手势。此外，如果需要的话，可以将未被识别为手势的与成时间序列的手形有关的信息登记为新手势的与成时间序列的手形有关的信息。于是，能够准确地识别各种手势。按照本发明的实施例，通过利用包括整个人体的图像，能够迅速并且准确地识别手势。上述一系列处理可用硬件或软件执行。当用软件执行所述一系列处理时，软件的程序从记录介质安装到嵌有专用硬件的计算机中，或者安装到比如通过安装各种程序，能够实现各种功能的通用个人计算机之类的计算机中。图9是图解说明通用个人计算机的结构例子的示图。个人计算机中具有CPU (中央处理器)1001。输入/输出接口 1005经总线1004，连接到CPU1001。ROM(只读存储器)1002 和RAM(随机存取存储器)1003连接到总线1004。由用户用于输入操作命令的输入装置(例如键盘或鼠标构成的输入单元1006、 向显示装置输出处理操作屏幕或处理结果图像的输出单元1007)、由保存程序或各种数据的硬盘驱动器构成的存储单元1008、和由LAN(局域网)适配器构成并经诸如因特网之类的网络进行通信处理的通信单元1009连接到输入/输出接口 1005。能够读写数据的驱动器1010连接到可拆卸介质1011，该可拆卸介质为例如磁盘(包括软盘)，光盘(包括 ⑶-ROM (光盘-只读存储器)和DVD (数字通用光盘))，磁光盘(包括MD (小型光盘))，或者半导体存储器。CPU 1001按照保存在ROM 1002中的程序，或者读取自诸如磁盘、光盘或半导体存储器之类的可拆卸介质1011，安装在存储单元1008中，并从存储装置1008加载到RAM 1003的程序，执行各种处理。RAM 1003适当地保存为CPU 1001执行各种处理所必需的数据。在说明书中，描述保存在记录介质中程序的步骤包括按照所述顺序先后执行的处理，当然包括不按时间先后顺序执行，而是并行或者单独地执行的处理。本发明包含与在2010年11月4日向日本专利局提交的日本优先权专利申请JP 2010-247^4中公开的主题相关的主题，该专利申请的整个内容在此引为参考。本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、 子组合和变更，只要它们在所附的权利要求书或其等同物的范围之内。
权利要求
1.一种图像处理设备，包括面部图像检测单元，其从输入图像中检测面部图像；姿势估计单元，其根据由所述面部图像检测单元检测的面部图像的位置，估计输入图像中的人物的姿势；手位置检测单元，其根据所述姿势估计单元估计的姿势，检测人物的手的位置； 手图像提取单元，其根据所述手位置检测单元检测的人物的手的位置信息，从输入图像中提取人物的手图像；手形指定单元，其根据所述手图像提取单元提取的手图像，指定人物的手的形状； 手形时间序列存储单元，其通过与手的位置信息相对应，来把由所述手形指定单元指定的手的形状保存为时间序列；以及手势识别单元，其根据通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势。
2.根据权利要求1所述的图像处理设备，还包括手势存储单元，其针对每种手势，通过与手的位置信息相对应而把与手的形状有关的信息保存为时间序列，其中所述手势识别单元把通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息，和针对每种手势通过与手的位置信息相对应而在所述手势存储单元中保存为时间序列的与手的形状有关的信息进行比较，然后根据比较结果来识别手势。
3.根据权利要求2所述的图像处理设备，还包括相似度计算单元，其计算通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息，和针对每种手势通过与手的位置信息相对应而在所述手势存储单元中保存为时间序列的与手的形状有关的信息之间的相似度， 其中所述手势识别单元把具有最大相似度的手势设定为识别结果。
4.根据权利要求3所述的图像处理设备，其中当最大相似度小于预定阈值时，所述手势识别单元认为不存在作为识别结果的手势。
5.根据权利要求3所述的图像处理设备，还包括登记单元，当最大相似度小于预定阈值时，所述登记单元把通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息与预定手势相对应，从而将所述与手的形状有关的信息登记在所述手势存储单元中。
6.根据权利要求1所述的图像处理设备，还包括背景差分提取单元，其从人物的估计姿势的整个范围中提取信息，并将所提取的信息作为背景差分信息提供给所述手位置检测单元。
7.一种图像处理设备的图像处理方法，所述图像处理设备包括面部图像检测单元，其从输入图像中检测面部图像；姿势估计单元，其根据由所述面部图像检测单元检测的面部图像的位置，估计输入图像中的人物的姿势；手位置检测单元，其根据所述姿势估计单元估计的姿势，检测人物的手的位置；手图像提取单元，其根据所述手位置检测单元检测的人物的手的位置信息，从输入图像中提取人物的手图像；手形指定单元，其根据所述手图像提取单元提取的手图像，指定人物的手的形状；手形时间序列存储单元，其通过与手的位置信息相对应，来把由所述手形指定单元指定的手的形状保存为时间序列；以及手势识别单元，其根据通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势，所述信息处理方法包括利用所述面部图像检测单元从输入图像中检测面部图像；利用所述姿势估计单元，根据在面部图像的检测中检测到的面部图像的位置，估计输入图像中的人物的姿势；利用所述手位置检测单元，根据在人物姿势的估计中估计的姿势，检测人物的手的位置；利用所述手图像提取单元，根据在手的位置的检测中检测到的人物的手的位置信息， 从输入图像中提取人物的手图像；利用所述手形指定单元，根据在手图像的提取中提取的手图像，指定人物的手的形状；利用所述手形时间序列存储单元，通过与手的位置信息相对应，来把在手形的指定中指定的手的形状保存为时间序列；以及利用所述手势识别单元，根据通过与手的位置信息相对应而在手形的保存中保存为时间序列的与手的形状有关的信息，来识别手势，所述手势是利用人物的手的手姿势。
8. 一种程序，所述程序使控制图像处理设备的计算机执行下述步骤，所述图像处理设备包括面部图像检测单元，其从输入图像中检测面部图像；姿势估计单元，其根据由所述面部图像检测单元检测的面部图像的位置，估计输入图像中的人物的姿势；手位置检测单元， 其根据所述姿势估计单元估计的姿势，检测人物的手的位置；手图像提取单元，其根据所述手位置检测单元检测的人物的手的位置信息，从输入图像中提取人物的手图像；手形指定单元，其根据所述手图像提取单元提取的手图像，指定人物的手的形状；手形时间序列存储单元，其通过与手的位置信息相对应。来把由所述手形指定单元指定的手的形状保存为时间序列；以及手势识别单元，其根据通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势利用所述面部图像检测单元，从输入图像中检测面部图像，利用所述姿势估计单元，根据在面部图像的检测中检测到的面部图像的位置，估计输入图像中的人物的姿势，利用所述手位置检测单元，根据在人物姿势的估计中估计的姿势，检测人物的手的位置，利用所述手图像提取单元，根据在手的位置的检测中检测到的人物的手的位置信息， 从输入图像中提取人物的手图像，禾IJ用所述手形指定单元，根据在手图像的提取中提取的手图像，指定人物的手的形状， 利用所述手形时间序列存储单元，通过与手的位置信息相对应，来把在手形的指定中指定的手的形状保存为时间序列，以及利用所述手势识别单元，根据通过与手的位置信息相对应而在手形的保存中保存为时间序列的与手的形状有关的信息，来识别手势，所述手势是利用人物的手的手姿势。
全文摘要
一种图像处理设备，包括从输入图像中检测面部图像的面部图像检测单元；根据面部图像的位置，估计输入图像中的人物的姿势的姿势估计单元；根据所述姿势，检测人物的手的位置的手位置检测单元；根据人物的手的位置信息，从输入图像中提取人物的手图像的手图像提取单元；根据所述手图像，指定人物的手的形状的手形指定单元；将手的形状保存为时间序列的手形时间序列存储单元；和根据与手的形状有关的信息来识别手势的手势识别单元。
文档编号G06K9/46GK102456135SQ20111033878
公开日2012年5月16日 申请日期2011年10月28日 优先权日2010年11月4日
发明者木村淳 申请人:索尼公司