手势识认装置、手势识认装置的控制方法、以及控制程序的制作方法

专利名称：手势识认装置、手势识认装置的控制方法、以及控制程序的制作方法
技术领域：
本发明涉及根据识认对象物的动作而识认手势的手势识认装置、手势识认装置的控制方法、以及控制程序。
背景技术：
近年来，手势识认技术作为人类和计算机之间的交流手段而应用并发展于智能机器人、游戏、模拟、生产技术等各种领域。具体地说，手势识认装置对通过摄像机等拍摄人类的手火手指的活动而得到的运动图像进行图像处理，从而识认特定的部分的、一连串的特定的活动(以下，称为手势)。计算机能够执行基于由手势识认装置识认到的手势的各种处理。如上所述，在应用于用户界面的手势识认技术(例如，作为电视遥控器的替代，识认用户的手指姿势(手势)等，从而远程控制电视的动作的技术等)中，手势识认装置需要准确地判断在用户的活动中从何处至何处相当于应识认的手势。即，在手势识认装置中，能够准确地判断运动图像中的识认处理的开始/结束的时刻，对于实现不易误识认的正确的手势识认来说是重要的。例如，在专利文献1中公开了使用户携带发出规定颜色的光的笔式灯，根据该笔式灯的点亮/熄灭，使装置识认手势的开始/结束的手势识认方法以及装置。另一方面，还有即使不通过特殊的手段指示识认处理的开始和结束，也将手势准确地识认为手势的方法。例如，在专利文献2中公开了以下的手势识认装置捕捉人类的手的活动的方向作为观测信号，并将观测信号的规定个数的集合，与预先准备的对应于手势的种类的 HMM(隐马尔科夫模型)进行比较，从而识认手势。此外，在专利文献3中公开了以下的手势识认装置从连续输入的帧图像中取得 /积累移动物体的动作方向作为矢量，从而生成用于表示手势的矢量特征量，并与前后的状态进行比较，判定状态的转移(状态的行进、停留、后退)，从而判定该矢量特征量作为手势是否成立。
现有技术文献专利文献专利文献1 (日本)特开平09-311759号公报(1997年12月2日公开)专利文献2 (日本)特开2007-087089号公报(2007年4月5日公开)专利文献3 (日本)特开2007-27^39号公报(2007年10月18日公开)非专禾丨J 文献 1 :Lars Bretzner 他 2 名，"Hand Gesture Recognition using Multi-Scale Colour Features, Hierarchical Models and Particle Filtering，，， Automatic Face and Gesture Recognition,2002. Proceedings. Fifth IEEE International Conference on Volume, Issue,20-2IMay 2002Page(s) :423-428但是，在专利文献1中记载的方法和装置中，存在进行手势的用户为了使用手势识认装置，需要特地携带笔式灯等特殊的发光部件的问题。此外，在专利文献2和专利文献3中记载的手势识认装置中，虽然不依赖于特殊的手段，但另一方面，存在需要对全部的帧图像始终进行与原来的手势识认同等的高负荷的图像识认处理的问题。尤其是为了识认特定的手指姿势等细微的手势，复杂的手势识认算法是必需的，因此对装置的负荷进一步增大。此外，存在当错误地判断手势的开始和结束的时刻的情况下，误识认手势的可能性高的问题。

发明内容
本发明鉴于上述的问题点而完成，其目的在于实现一种不依赖于特殊的手段，通过对用户来说简单、且在装置中低负荷处理，准确地识认有关手势识认处理的指示的手势识认装置、手势识认装置的控制方法、以及控制程序。本发明的手势识认装置为了解决上述课题，在执行用于根据摄在运动图像中的识认对象物的动作来识认手势的手势识认处理的手势识认装置中，其特征在于，所述手势识认装置包括特定被摄体检测部件，从上述运动图像中检测摄在该运动图像中的具有特定的特征的特定被摄体；移动速度计算部件，计算上述特定被摄体的每单位时间的移动速度； 移动图案提取部件，提取上述特定被摄体的移动图案；以及输入指示识别部件，当上述移动速度和上述移动图案满足预先决定的条件的情况下，将上述特定被摄体的活动作为对本装置输入的指示来识别。根据上述结构，首先，特定被摄体检测部件检测具有特定的特征的特定被摄体。然后，从运动图像中分析上述特定被摄体的活动。即，移动速度计算部件计算特定被摄体的活动的速度，移动图案提取部件提取特定被摄体的活动的图案。最后，输入指示识别部件在特定被摄体的移动速度以及移动图案满足规定的条件的情况下，判断为该特定被摄体的活动表示对本装置输入的指示(例如，手势识认的开始或者结束的指示等)。上述特定被摄体具有摄在运动图像中的视觉性的特征，且特定被摄体检测部件可进行图像处理而检测。这样，作为手势识认装置的用户界面来使用的特定被摄体只要是具有摄在运动图像中的特征即可，无需特殊的手段。然后，该特定被摄体仅被分析移动速度和移动图案。从而，由于无需以往的手势识认处理那样的、对颜色或形状等的精细的分析，因此不进行负荷大的图像处理就能够监视特定被摄体的活动。此外，另一方面，通过挪动特定被摄体这样的对用户来说非常自然的操作，能够对手势识认装置发送指示。作为结果，能够起到以下效果不依赖于特殊的手段，通过对于用户来说简单且在装置中低负荷处理，使手势识认装置准确地识认手势识认处理的指示。本发明的手势识认装置是一种在执行用于根据摄在运动图像中的识认对象物的动作来识认手势的手势识认处理的手势识认装置中，其特征在于，所述手势识认装置包括 特定被摄体检测部件，从上述运动图像中检测摄在该运动图像中的具有特定的特征的特定被摄体；移动速度计算部件，计算上述特定被摄体的每单位时间的移动速度；移动图案提取部件，提取上述特定被摄体的移动图案；以及开始结束判断部件，当上述移动速度和上述移动图案满足预先决定的条件的情况下，判断为上述特定被摄体的活动是上述手势识认处理的开始或者结束的指示。根据上述结构，首先，特定被摄体检测部件检测具有特定的特征的特定被摄体。然后，从运动图像中分析上述特定被摄体的活动。即，移动速度计算部件计算特定被摄体的活动的速度，移动图案提取部件提取特定被摄体的活动的图案。最后，开始结束判断部件在特定被摄体的移动速度以及移动图案满足规定的条件的情况下，判断为该特定被摄体的活动指示手势识认的开始或者结束。上述特定被摄体具有摄在运动图像中的视觉性的特征，且特定被摄体检测部件可进行图像处理而检测。这样，用于手势识认处理的开始结束的指示的特定被摄体只要是具有摄在运动图像中的特征即可，无需特殊的手段。然后，该特定被摄体仅被分析移动速度和移动图案。从而，即使本次的手势识认处理是需要对颜色或形状等的精细的分析的高负荷的图像处理，在除此之外的时间带，能够通过负荷低的处理来监视特定被摄体的活动。此外，作为表示手势识认处理的开始/结束的特定被摄体的活动(移动速度以及移动图案)，能够预先决定不与在本次的手势识认处理中所使用的手势重复的图案(条件)。从而，将满足与手势不同的条件的特定被摄体的活动识认为手势识认处理的开始/结束的信号，因此不会混淆特定被摄体的活动和手势识认处理中所识认的手势，能够准确地识认开始/结束的信号。另一方面，通过挪动特定被摄体这样的对用户来说非常自然的操作，能够对手势识认装置发送开始/结束信号。作为结果，能够起到以下效果不依赖于特殊的手段，通过对于用户来说简单且在装置中低负荷处理，使手势识认装置准确地识认手势的开始和结束。优选，上述特定被摄体检测部件检测用户的器官或者器官的一部分作为特定被摄体。根据上述结构，用户即使不另外携带物品，通过活动自己的身体的一部分，也能够简单地对手势识认装置准确地指示手势识认处理的开始/结束。而且，上述特定被摄体检测部件也可以检测用户的手掌作为特定被摄体。由此，用户仅通过进行活动手这样的简单且自然的动作，能够对手势识认装置准确地指示手势识认处理的开始/结束。手势识认装置还可以包括手势识认部件，所述手势识认部件通过识别摄在上述运动图像中的作为识认对象物的用户的手指姿势，从而执行手势识认处理，上述手势识认部件从通过上述开始结束判断部件判断的开始时刻至结束时刻的上述运动图像的帧中，识认上述手指姿势。手势识认部件根据特定被摄体的信号，只要在从开始至结束的期间执行手势识认处理即可。上述结构在本次的手势识认处理是识认手指姿势等高负荷处理的情况下，能够大幅减小负荷，因此效果特别大。另外，由于开始/结束的信号是分析特定被摄体的活动而进行，因此与作为手势被识别的手指姿势相比，分析对象大不同。从而，即使特定被摄体是手掌，且手势识认对象物是手指，监视部位相似，手势识认装置也能够回避由此产生的误识认，能够准确地判断手势识认处理的开始/结束。上述特定被摄体检测部件也可以在上述运动图像的帧上，确定包含上述特定被摄体的至少一部分的特定被摄体区域，并确定该特定被摄体区域的重心位置坐标。
6
由此，通过低负荷的处理，能够分析特定被摄体的移动速度以及移动图案。上述移动速度计算部件优选通过上述特定被摄体区域的尺寸，将该特定被摄体区域的重心的、每上述单位时间的移动距离标准化，并基于通过标准化而得到的重心移动量来计算移动速度。由此，吸收由于用于拍摄动作的拍摄单元与用户之间的距离等的差异而产生的特定被摄体的拍摄方法的差异等，并能够更高精度地判断手势识认处理的开始/结束。上述移动图案提取部件也可以对于在对上述运动图像中的多个帧确定的、上述特定被摄体区域的重心，提取各重心的重心位置坐标的方差作为移动图案。由此，用户通过调节特定被摄体的移动区域，从而区别开始结束的信号和手势，从而能够准确地对手势识认装置发送指示。上述输入指示识别部件也可以在由上述移动速度计算部件计算的移动速度比规定的阈值大，且由上述移动图案提取部件提取的重心位置坐标的方差处于从规定的下限阈值至规定的上限阈值的范围内的情况下，判断上述特定被摄体的活动作为上述手势识认处理的开始或者结束的指示。由此，手势识认装置根据特定被摄体“有意地麻利地微微动，，的图案，能够准确地判断开始结束的信号。上述图案通常不作为手势识认处理中的手势的图案来使用。此外， 用户能通过自然的操作将特定被摄体按照上述图案活动。作为结果，能够起到以下效果不依赖于特殊的手段，通过对于用户来说简单且在装置中低负荷处理，使手势识认装置准确地识认手势的开始和结束。上述特定被摄体检测部件还可以检测颜色或者形状具有特定的特征的用户的携带品作为特定被摄体。上述输入指示识别部件还可以是基于上述特定被摄体的上述移动速度和上述移动图案，识认上述特定被摄体的活动作为手势的手势识认部件。由此，不进行对于颜色或形状等的需要精细的分析的负荷高的图像处理就能够执行本次的手势识认处理。从而，能够大幅减轻手势识认装置中的处理负荷。另外，只要对本次的手势识认处理中所使用的手势、开始/结束的信号预先分配分别互不相似的移动速度或移动图案的条件，就能够防止误识认。为了解决上述课题，本发明的手势识认装置的控制方法是一种手势识认装置的控制方法，所述手势识认装置执行用于根据摄在运动图像中的识认对象物的动作来识认手势的手势识认处理，其特征在于，所述手势识认装置的控制方法包括特定被摄体检测步骤， 从上述运动图像中检测摄在该运动图像中的具有特定的特征的特定被摄体；移动速度计算步骤，计算上述特定被摄体的每单位时间的移动速度；移动图案提取步骤，提取上述特定被摄体的移动图案；以及输入指示识别步骤，当上述移动速度和上述移动图案满足预先决定的条件的情况下，将上述特定被摄体的活动识别为对本装置输入的指示。另外，上述手势识认装置可通过计算机来实现，此时，通过使计算机作为上述各部件来动作从而通过计算机来实现上述手势识认装置的手势识认装置的控制程序、以及记录其的计算机可读取的记录介质也进入本发明的范畴。本发明的手势识认装置的特征在于，包括特定被摄体检测部件，从上述运动图像中检测摄在该运动图像中的具有特定的特征的特定被摄体；移动速度计算部件，计算上述特定被摄体的每单位时间的移动速度；移动图案提取部件，提取上述特定被摄体的移动图案；以及输入指示识别部件，当上述移动速度和上述移动图案满足预先决定的条件的情况下，将上述特定被摄体的活动作为对本装置输入的指示来识别。本发明的手势识认装置的控制方法的特征在于，包括特定被摄体检测步骤，从上述运动图像中检测摄在该运动图像中的具有特定的特征的特定被摄体；移动速度计算步骤，计算上述特定被摄体的每单位时间的移动速度；移动图案提取步骤，提取上述特定被摄体的移动图案；以及输入指示识别步骤，当上述移动速度和上述移动图案满足预先决定的条件的情况下，将上述特定被摄体的活动识别为对本装置输入的指示。从而，起到能够实现以下的手势识认装置的效果不依赖于特殊的手段，通过对于用户来说简单且在装置中低负荷处理，从而准确地识认有关的手势识认处理的来自用户的指示。


图1是表示本发明的实施方式的手势识认装置的主要部分结构的方块图。图2是表示本发明的实施方式的手势识认装置的开始结束指示处理的概要的流程图。图3是表示本发明的手势识认装置(重心追踪单元)所检测的手掌区域、手掌区域尺寸以及手掌区域的重心的具体例子的图。图4是表示摄有特定被摄体(手掌)的运动图像的各帧的具体例子的图，是用于说明本发明的手势识认装置(移动速度判定单元)基于重心的移动而计算其移动速度的动作的图。图5是表示移动了的手掌的重心位置坐标的分布的图，是用于说明本发明的手势识认装置(移动图案提取单元)基于该分布而计算分布范围尺寸的动作的图。图6是表示手势识认装置的重心追踪单元以及移动速度判定单元中的移动速度判定处理的流程的流程图。图7是表示移动图案提取单元以及开始结束判断单元中的移动图案匹配处理的流程的流程图。标号说明1控制单元2拍摄单元3存储单元10识认指示单元11重心追踪单元(特定被摄体检测部件)12移动速度判定单元(移动速度计算部件)13移动图案提取单元(移动图案提取部件)14开始结束判断单元(输入指示识别部件/开始结束判断部件)20手势识认单元(输入指示识别部件/手势识认部件)100手势识认装置
具体实施例方式《实施方式1》基于

本发明的实施方式如下。本发明的手势识认装置基于拍摄单元所拍摄的特定被摄体的移动速度以及移动图案，识认手势的开始、结束。特定被摄体是指颜色、形状等特征被统一成某种程度的物体。 特定被摄体并非特殊的手段，优选是用户的身体的一部分或者日常携带的携带品。人类的手的颜色和形状都大致统一。由于是用户的身体的一部分，因此适合作为特定被摄体。在本实施方式中，作为一例，将用户的手掌识认为特定被摄体，说明判断手势的开始、结束的手势识认装置。此外，在本实施方式中要说明的手势识认装置作为一例，设在从上述被判断的开始至结束的期间的原来的手势识认处理中，捕捉手指的姿势作为手势识认对象的被摄体(识认对象物)，并判别手势的种类。[手势识认装置的结构]图1是表示本发明的实施方式中的手势识认装置100的主要部分结构的方块图。 如图ι所示，手势识认装置100成为包括控制单元1、拍摄单元2以及存储单元3的结构。 而且，手势识认装置100根据利用环境，也可以包括操作单元，用于用户操作手势识认装置100 ；通信单元，用于手势识认装置100与外部的装置进行通信；以及显示单元，用于向用户提示手势识认装置100保持的各种信息等。拍摄单元2是拍摄用于判断手势的开始、结束的特定被摄体、以及成为手势识认的对象的被摄体(识认对象物)，并生成运动图像数据的单元。详细地说，拍摄单元2主要包含帧存储器、机械机构、马达等。马达包括变焦镜头马达、聚焦马达、快门马达等。作为拍摄元件，使用CCD(电荷耦合装置)、CMOS(互补金属氧化半导体)等光电变换元件。另外，手势识认装置100也可以不包含拍摄单元2，此时，单独设置的拍摄单元与手势识认装置100的通信单元(未图示)经由通信网络进行通信，手势识认装置100也可以设为经由上述通信单元取得运动图像。存储单元3是用于存储手势识认装置100处理的各种数据的单元，包含用于易失性地存储数据的临时存储单元、以及用于非易失性地存储数据的存储装置。临时存储单元是临时存储在手势识认装置100执行的各种处理过程中用于运算的数据以及运算结果等的所谓的工作存储器，由RAM等构成。存储装置是存储控制单元1执行的控制程序以及OS 程序、以及控制单元1在执行手势识认装置100具有的各种功能时读取的各种数据的装置， 由ROM等实现。控制单元1是统一控制手势识认装置100具有的各单元的单元，作为功能方块至少包含识认指示单元10和手势识认单元20。识认指示单元10是从通过拍摄单元2得到的运动图像中，分析特定被摄体的移动速度以及移动图案，并根据其分析结果，指示手势识认处理的开始或结束的单元。即，识认指示单元10从上述运动图像中，将手势识认处理的开始或结束时刻指示给手势识认装置 20。例如，识认指示单元10也可以切换手势识认的开关的开/关。在本实施方式中，手势识认装置10将手掌作为特定被摄体，捕捉手指的姿势作为在本次的手势识认处理中的识认对象物。都以用户的手作为被摄体。此时，在用于指示手势识认的开始或结束的开始结束指示处理期间、以及用于判别手势的种类的手势识认处理期间，优选用户的手的活动不相似。这里，在手势识认处理中，一般地，快速的手势等麻利地微微动的动作不判别为手势的一种。因此，在本实施方式中，通过从特定被摄体的活动中检测该不使用于手势识认界面的麻利地微微动的动作图案，从而判断手势识认的开始/结束。更详细地说，识认指示单元10为了分析特定被摄体的移动速度和移动图案，功能性上成为包含重心追踪单元11、移动速度判定单元12、移动图案提取单元13、开始结束判断单元14。对于该各单元的细节，将在后面叙述。手势识认单元20根据来自识认指示单元10的指示，在由拍摄单元2得到的运动图像中，从被指示的开始时刻至结束时刻的运动图像中检测手势，从而确定种类，并理解该手势的意思。在本实施方式中，作为一例，检测用户的手指的姿势，并根据该手指姿势而判别手势的种类。手势识认单元20的识认结果被提供至用于执行基于识认的手势的处理的手势识认装置100的未图示的各种执行单元、或者外部的执行装置。通过CPU(中央处理单元)将由ROM(只读存储器)等实现的存储装置中存储的程序读取至未图示的RAM(随机接入存储器)等的临时存储单元中而执行，从而实现上述的控制单元1的各功能模块。[手势识认装置的处理的流程]上述的手势识认装置100指示手势识认的开始或结束的处理的流程大致如下。图 2是表示手势识认装置100的开始结束指示处理的概略的流程图。在取得运动图像时，手势识认装置100的重心追踪单元11以及移动速度判定单元 12执行移动速度判定处理(Si)。在本实施方式中，重心追踪单元11跟踪用户的手掌的重心，移动速度判定单元12判定上述重心在一定时间内的移动速度。若该移动速度是规定的阈值以上(Si 是)，判断为充分麻利的活动。然后，移动图案提取单元13提取手掌的重心的移动图案，从而执行移动图案匹配处理(S》。具体地说，移动图案提取单元13判定手掌的活动是否收敛在特定的范围内。若该移动范围是规定的范围以内(若移动图案匹配)， 移动图案提取单元13判断手掌的活动为充分麻利的活动(S2 是)。最后，开始结束判断单元14判断该手掌的活动表示手势识认的开始或结束，对手势识认单元20指示手势识认的开始或结束(S3)。另一方面，若手掌的活动未保证充分的移动速度(Si 否)或未收敛在一定的范围内(S2 否)，认为该手掌的活动与手势识认的开始/结束无关，再次返回手掌的活动的监视。根据上述结构和方法，仅在从运动图像分析了特定被摄体的活动的结果，移动速度判定单元12判断为特定被摄体的移动速度是一定速度以上，且移动图案提取单元13判断为特定被摄体的移动图案收敛在一定范围内的情况下，开始结束判断单元14判断为该特定被摄体的活动指示手势识认的开始或结束。由此，用户仅通过使特定被摄体麻利地微微动这样的简单的动作，就能够对手势识认装置100准确地指示手势的开始和结束。该麻利地微微动的简单的动作一般在应用的手势识认的界面中是不怎么使用的特别的动作图案。该特别的动作图案分配给开始和结束的信号(sign)，因此在本次的手势识认处理中，上述动作图案不会被误识认为手势。从而，能够大幅提高手势的判别的精度。
此外，通过检测特定的物体的特定的活动，能够准确地判断手势的开始和结束，因此可以不依赖于特殊的手段，不必强迫用户准备、携带特殊的手段。具体地说，识认指示单元10为了判断开始结束而监视的特定被摄体可以是用户自身的特定的器官(手、手腕、脸等)或具有特定的颜色和特定的形状等的日常携带品(圆珠笔、移动电话、员工证等)。即， 由于能够将用户的身体的一部分、日常所带的物体设为特定被摄体，因此无需为了手势认证而携带各种特殊的手段。用户无论何时都能够通过自然且简单的操作而指示手势识认的开始和结束。而且，手势识认单元20仅对识认指示单元10指示的期间的帧执行手势识认处理， 因此可以不对运动图像的全部帧始终执行高负荷的手势识认处理。尤其无需始终进行识认手指姿势等的高负荷处理，因此能够大幅减轻手势识认装置100的负荷。以下，详细说明执行开始结束指示处理的识认指示单元10的结构和处理的流程。[手势识认装置的细节]识认指示单元10的重心追踪单元11从运动图像的各帧中确定特定被摄体的区域，并计算所确定的区域的重心的坐标。在本实施方式中，重心追踪单元11检测作为特定被摄体的用户的手掌，并确定其手掌区域。手掌区域的检测、特定的方法能够适当地采用现有的技术。作为一例，能够采用在非专利文献1中记载的手的检测方法。根据该方法，将所检测到的斑点特征(blob feature)定义为手掌。具体地说，如图3所示，重心追踪单元1可以定义斑点(圆形区域)使其包含肤色的区域的大部分，并将其直接确定为手掌区域。重心追踪单元11通过圆来定义手掌区域，能够通过简单的计算求出手掌区域的重心x_c。根据该方法，与检测复杂的形状的肤色区域作为手掌区域的情况相比，能够大幅减少计算量。 或者，如图3所示，手掌区域也可以被定义为上述的圆的外接矩形，手掌区域的尺ih_Size 以上述外接矩形的面积而定义。即，在图3所示的例子中，手掌区域的尺寸h_size以
来定义。或者，重心追踪单元11可以基于以下式(数1)，计算手掌区域的重心x_c。艮P数1
m
Tx1_ 匀 1其中，X^ = (Xj, Yj)表示检测到的手掌区域内的点，m表示其点的数。重心追踪单元11可以对运动图像的全部帧进行手掌区域的检测和其重心位置坐标的检测，但考虑处理效率，优选对每一定间隔的帧(每一定秒)执行手掌检测。在本实施方式中，重心追踪单元11对该运动图像的每t_int秒(例如，50毫秒等)，设置检测时刻，从而对该检测时刻的各帧，进行手掌区域的检测和其重心位置坐标的检测。重心追踪单元11将最初的帧(帧0)的初始检测设为第0次，将通过第i次检测而求出的手掌区域的重心位置坐标设为X_c[i]而存储在存储单元3。在本实施方式中，重心追踪单元11计算通过最初(i = 0)的检测时刻的最初帧 (帧0)检测到的手掌区域的尺寸h_size (例如，如图3所示，h_size = w*h)，并存储在存储单元3。移动速度判定单元12为了将重心的移动量标准化而参照该最初手掌区域的尺寸 h_size。移动速度判定单元12基于被标准化的重心的移动量，能够计算标度统一的移动速
根据手掌的3维位置或方向，被摄在帧上的手掌的大小各异，但在短期内求出手掌的移动速度的情况下，假设在该短期内上述手掌的大小不会极端变化，认为手掌区域尺寸的大小的差异小到能够忽略其影响的程度。因此，通过初始的手掌区域的尺寸，将从检测时刻的重心至下一个检测时刻的重心的移动距离以初始手掌区域的尺寸h_size进行标准化，从而能够将各帧中的重心的移动距离作为统一了标度的移动量而进行处理，作为其结果，能够将重心的移动速度的标度统一。例如，假设由于根据用户而在照相机前的站立位置不同，或者手掌的伸出方向不同，从而摄在照相机里的手掌的大小出现大的偏差。但是，根据上述的方法，由于能够提取相对于被摄的手掌的大小的移动量，因此能够忽略用户的拍摄方法的差异引起的偏差。另外，当重心追踪单元11检测的手掌区域是圆、矩形等几何学图案的情况下，重心追踪单元11也可以通过计算而求出手掌区域的面积并将其作*h_siZe。或者，重心追踪单元11也可以取得所检测到的手掌区域的外接矩形的面积作为手掌区域的h_size。在本实施方式中，如图3所示，取得手掌区域(阴影的圆)的外接矩形的宽度w和高度h，从而定义 h_size。移动速度判定单元12计算重心追踪单元11追踪的手掌区域的重心的移动速度， 并判定其是否达到一定的速度。在本实施方式中，移动速度判定单元12求出全部的检测时刻中的帧之间的重心的移动速度，并将其平均值即平均移动速度与规定的阈值进行比较。移动速度判定单元12将帧0中的手掌区域的重心位置坐标x_c
和t_int秒后的帧1中的手掌区域的重心位置坐标x_c[l]的距离以上述的初始手掌区域尺寸h_size进行标准化的重心移动量除以t_int秒，从而求出移动速度v
。然后，如图4所示，在以后的帧之间也相同，重复以下的处理将在第i_l次的检测中求出的帧i_l中的重心位置坐标x_c[i-l]和帧i中的重心位置坐标x_c[i]的距离d以 h_size进行标准化，并将其除以t_int秒，从而计算移动速度ν [i_l]。上述处理重复至计算在作为最后的检测时刻的帧η中，到第η次检测到的重心位置坐标X_c[n]的位置的移动速度 v[n-l]。移动速度判定单元12在从各帧之间求出的各移动速度V[i_l]的平均移动速度乂_ a是规定的阈值T_v以上的情况下，判断为该手掌的活动充分麻利，且存在是开始/结束的指示的可能性。这里，通过重心追踪单元11和移动速度判定单元12得到的数据被存储在存储单元3，且被提交给用于执行移动图案匹配处理的移动图案提取单元13。另外，通过实验或经验，选择最佳的检测时刻的时间间隔的值(t_int)以及速度的阈值(T_v)。移动图案提取单元13提取在特定对象物(手掌)移动时的移动图案。开始结束判断单元14判定该移动范围是否收敛于一定的范围内，并根据判定结果，将运动图像中的开始或结束的时刻指示给手势识认单元20。在本实施方式中，移动图案提取单元13求出重心追踪单元11追踪到的手掌区域的重心位置坐标X_c[i]的方差X_v。通过开始结束判断单元14，将方差与规定的阈值进行比较。若方差处于规定的阈值T_h*T_l(T_l <T_h)的范围内，则开始结束判断单元14 对手势识认单元20指示手势识认的开始或结束。
在本实施方式中，移动图案提取单元13为了统一重心的移动距离的标度，将重心追踪单元11求出的手掌的重心位置坐标标准化。更详细的说，移动图案提取单元13通过根据所检测到的重心位置坐标的分布来求出的外接矩形的尺寸hr_size，进行手掌的重心位置坐标的标准化。上述外接矩形的尺寸hr_size表示手掌的重心的分布范围尺寸。例如， 如图5所示，通过将在重心的集合中各重心的χ坐标值的最大值x_max和最小值x_min之差设为外接矩形宽度wr，将y坐标值的最大值y_maX和最小值y_min之差设为外接矩形的高度hr,从而求出hr_size。然后，移动图案提取单元13计算标准化后的重心位置坐标X_cn[i]的方差X_v。 具体地说，移动图案提取单元13基于以下式(数幻，能够计算方差X_v。艮口，[数2]
权利要求
1.一种手势识认装置，执行用于根据摄在运动图像中的识认对象物的动作来识认手势的手势识认处理，其特征在于，所述手势识认装置包括特定被摄体检测部件，从上述运动图像中检测摄在该运动图像中的具有特定的特征的特定被摄体；移动速度计算部件，计算上述特定被摄体的每单位时间的移动速度；移动图案提取部件，提取上述特定被摄体的移动图案；以及输入指示识别部件，当上述移动速度和上述移动图案满足预先决定的条件的情况下， 将上述特定被摄体的活动作为对本装置输入的指示来识别。
2.如权利要求1所述的手势识认装置，其特征在于，上述输入指示识别部件是基于上述特定被摄体的上述移动速度和上述移动图案，将上述特定被摄体的活动判断为是上述手势识认处理的开始或者结束的指示的开始结束判断部件。
3.如权利要求2所述的手势识认装置，其特征在于，上述特定被摄体检测部件检测用户的器官或者器官的一部分作为特定被摄体。
4.如权利要求3所述的手势识认装置，其特征在于，上述特定被摄体检测部件检测用户的手掌作为特定被摄体。
5.如权利要求4所述的手势识认装置，其特征在于，包括手势识认部件，所述手势识认部件通过识别摄在上述运动图像中的作为识认对象物的用户的手指姿势，从而执行手势识认处理，上述手势识认部件从通过上述开始结束判断部件判断的开始时刻至结束时刻的上述运动图像的帧中，识别上述手指姿势。
6.如权利要求1至5的任一项所述的手势识认装置，其特征在于，上述特定被摄体检测部件在上述运动图像的帧上确定包含上述特定被摄体的至少一部分的特定被摄体区域，并确定该特定被摄体区域的重心位置坐标。
7.如权利要求6所述的手势识认装置，其特征在于，上述移动速度计算部件通过上述特定被摄体区域的尺寸，将该特定被摄体区域的重心的每个单位时间的移动距离标准化，并基于通过标准化而得到的重心移动量，计算移动速度。
8.如权利要求6所述的手势识认装置，其特征在于，上述移动图案提取部件对于对上述运动图像中的多个帧确定的、上述特定被摄体区域的重心，提取各重心的重心位置坐标的方差作为移动图案。
9.如权利要求8所述的手势识认装置，其特征在于，上述输入指示识别部件当由上述移动速度计算部件计算的移动速度比规定的阈值大， 且由上述移动图案提取部件提取的重心位置坐标的方差处于从规定的下限阈值至规定的上限阈值的范围内的情况下，识别上述特定被摄体的活动作为上述手势识认处理的开始或者结束的指示。
10.如权利要求1所述的手势识认装置，其特征在于，上述特定被摄体检测部件检测颜色或者形状具有特定的特征的用户携带品作为特定被摄体。
11.如权利要求1所述的手势识认装置，其特征在于，上述输入指示识别部件是基于上述特定被摄体的上述移动速度和上述移动图案，识认上述特定被摄体的活动作为手势的手势识认部件。
12.—种手势识认装置的控制方法，所述手势识认装置执行用于根据摄在运动图像中的识认对象物的动作来识认手势的手势识认处理，其特征在于，所述手势识认装置的控制方法包括特定被摄体检测步骤，从上述运动图像中检测摄在该运动图像中的具有特定的特征的特定被摄体；移动速度计算步骤，计算上述特定被摄体的每单位时间的移动速度； 移动图案提取步骤，提取上述特定被摄体的移动图案；以及输入指示识别步骤，当上述移动速度和上述移动图案满足预先决定的条件的情况下， 将上述特定被摄体的活动识别为对本装置输入的指示。
13.一种使计算机执行权利要求12所述的手势识认装置的控制方法的各步骤的控制程序。
全文摘要
本发明提供一种手势识认装置、手势识别装置的控制方法以及控制程序。不使用特殊的手段，通过对用户来说自然的操作且对装置来说低负荷处理，使手势识认装置准确地识认手势的开始和结束。根据摄在运动图像中的识认对象物的动作来识认手势的本发明的手势识认装置的特征在于，包括重心追踪单元，检测摄在运动图像中的具有特定的特征的特定被摄体(手掌等)；移动速度判定单元，计算特定被摄体的每个单位时间的移动速度；移动图案提取单元，提取特定被摄体的移动图案；以及开始结束判断单元，当移动速度和移动图案满足预先决定的条件的情况下，将特定被摄体的活动识认为对本装置输入的指示(手势识认处理的开始或者结束的指示等)。
文档编号G06F3/01GK102193626SQ20111004680
公开日2011年9月21日 申请日期2011年2月25日 优先权日2010年3月15日
发明者阮翔 申请人:欧姆龙株式会社