姿势识别装置、姿势识别方法、控制程序以及记录介质的制作方法

专利名称：姿势识别装置、姿势识别方法、控制程序以及记录介质的制作方法
技术领域：
本发明涉及识别姿势(gesture)的姿势识别装置、姿势识别方法、控制程序以及记录介质。
背景技术：
以往，以各种形式实现了对于便携式电话、PDA(个人数字助理)、电视机、录像再现装置、个人计算机、数字照相机等电子设备的输入功能。作为输入功能的实现方法，第1， 存在让对象物(手指、触摸笔等)接触输入装置(按钮、触摸面板)而进行输入的方法(例如，专利文献1、2等)。第2，存在使输入装置(照相机等)识别对象物，从而以非接触方式对输入装置或者电子设备进行输入的方法(例如，专利文献3等)。在第I的接触型的输入实现方法中，能够可靠且即时对电子设备进行各种输入， 但存在如下的不合适的地方。若画面(触摸面板)过大，则难以使对象物(手指等)从画面的一端接触到另一端，操作性下降成为问题。在远离电子设备的地方对画面进行浏览而使用时，若需要对电子设备进行操作，则必须靠近至能够操作电子设备的地点，因此不方便。由于画面上会附着指纹或手的污垢，因此对于在意画面的污染的用户而言属于不适合的输入方法。当手湿了或者脏了时，由于不接触画面则不能操作，因此不方便。进而，设想在具有投影仪功能的电子设备中，静置电子设备而对屏幕投射显示内容(幻灯片放映等)的使用场面，若在想要进行翻幻灯片(页)等操作时触碰到画面，则放置在适合的方位(position)的电子设备的位置会偏移从而屏幕的影像晃动而不方便。此外，在屏幕旁边进行报告的用户为了操作电子设备而移动是麻烦的。在产生上述那样的不适宜的、接触型的输入方法不合适的使用情况下，电子设备的输入功能采用了如专利文献3那样的第2非接触型的输入实现方法。在专利文献3的技术中，公开了对由照相机拍摄的手的图像数据进行图像处理而识别手，并检测所识别的手的活动(手势)的姿势识别系统。通过使电子设备识别多种手势，不用接触到电子设备就能够进行对于电子设备的操作输入。[专利文献I](日本)特开2009-071708号公报(2009年4月2日公开)[专利文献2](日本)特开2009-168647号公报(2009年7月30日公开)[专利文献3](日本)特开平08-315154号公报(1996年11月29日公开)但是，若通过上述的专利文献3的技术来实现非接触型的输入方法，则产生以下问题。例如，在暗处(夜里的室外、在启动投影仪等时关闭了照明的室内等)难以通过照相机拍摄被摄体(手)，无法得到能够识别为手的图像数据。因此，专利文献3的系统具有无法应用到在暗处使用的电子设备的输入装置中的问题。此外，在专利文献3的系统中，为了处理由照相机拍摄的图像，需要进行处理负荷高的图像处理。因此，存在需要高功能的信息处理装置或处理时间变长的问题。进而，为了识别手的形状而进行用于区分背景图像和手的图像的处理，但在背景图像中也包含与手相似的纹理(texture)时，无法准确地提取出手的形状(区域)，错误识别姿势的可能性较高。

发明内容
本发明鉴于上述问题点而完成，其目的在于提供一种与使用场所的亮度无关地实现高速处理且高精度的非接触型的输入功能的姿势识别装置、姿势识别方法、姿势识别装置的控制程序、以及记录了该控制程序的记录介质。本发明的姿势识别装置为了解决上述课题，其特征在于，包括温度传感器，配置多个红外线传感器而构成；变化区域确定部件，基于上述温度传感器的红外线传感器分别检测的温度，将发生了温度变化的变化区域确定为表示手的区域；以及姿势识别部件，确定上述变化区域确定部件确定的变化区域的移动轨迹，从而识别手的姿势。根据上述结构，在姿势识别装置中，从配置的多个红外线传感器作为温度信息而取得用于检测对象物(手)的活动的信息。并且，变化区域确定部件将发生了温度变化的变化区域确定为表示手的区域，姿势识别部件确定所确定的变化区域的移动轨迹，从而识别手的姿势。这样，姿势识别装置不用处理数据量庞大的图像数据，能够仅根据温度信息来分析对象物的活动，能够识别姿势。结果，在姿势识别装置中能够实现处理效率的提高和处理负荷的减少。即，能够实现反应速度快的输入装置。此外，本发明的姿势识别装置通过利用红外线传感器来取得对象物的表面温度， 从而根据对象物的温度与周围的环境温度的差异，检测对象物的活动。从而，在以光学系统照相机拍摄对象物而识别姿势的结构中，在暗处的使用受到限制，但本发明的姿势识别装置即使在暗处也能够不受限制地作为输入装置发挥作用。此外，在利用了光学系统照相机的姿势识别中，当对象物与背景的纹理没有较大差异时，无法准确地识别对象物的位置、形状等，存在姿势的错误识别增加的问题。另一方面，本发明的姿势识别装置是基于温度信息来检测具有与周围环境温度不同的表面温度的对象物(手等)，因此不会产生因纹理相似而导致的错误识别的问题。结果，本发明的姿势识别装置起到能够与使用场所的亮度无关地实现高速处理且高精度的非接触型的输入功能的效果。优选的是，上述姿势识别装置还包括重心决定部件，决定通过上述变化区域确定部件所确定的变化区域的重心，上述姿势识别部件通过追踪上述重心的位置从而确定上述移动轨迹。由此，能够以简化的处理步骤来确定变化区域的移动轨迹。上述姿势识别装置也可以还包括变化量计算部件，通过比较红外线传感器分别检测的各自的温度和规定的基准温度，从而按每个红外线传感器计算温度变化量，上述重心决定部件基于按每个红外线传感器所得到的上述温度变化量，决定上述变化区域的重心。根据上述结构，不是求仅基于上述变化区域的几何学形状而决定的重心，而是考虑温度变化量而求变化区域的重心。通过追踪这样求得的重心的轨迹，能够更加准确地检测出实际的手的活动，能够提闻姿势识别的精度。上述姿势识别装置也可以还包括掩膜存储单元，与本装置连接的电子设备的应用的种类相关联地，存储表示上述多个红外线传感器中的有效无效的配置模式的掩膜；以及掩膜选择部件，从上述掩膜存储单元选择与上述电子设备正在启动的应用相关联的掩膜，上述变化区域确定部件，仅基于通过上述掩膜选择部件所选择的掩膜为有效的红外线传感器检测出的温度，确定变化区域。若设为选择性地使用红外线传感器的结构，能够减少应处理的信息量而提高处理速度，并且在识别特定的姿势时，能够提高其识别的精度。上述姿势识别装置也可以还包括偏差计算部件，计算由上述变化区域确定部件所确定的变化区域的偏差，上述姿势识别部件基于上述偏差随着时间的经过的增减而识别姿势。上述姿势识别部件可以在上述变化区域的偏差增加时，识别为双手或者手指朝着展开的方向活动，在上述变化区域的偏差减少时，识别为双手或者手指朝着闭合的方向活动。本发明的姿势识别方法为了解决上述课题，其特征在于，包括温度取得步骤，从配置多个红外线传感器而构成的温度传感器取得每个红外线传感器的温度；变化区域确定步骤，基于通过上述温度取得步骤取得的、上述红外线传感器分别检测的温度，将发生了温度变化的变化区域确定为表示手的区域；以及姿势识别步骤，确定通过上述变化区域确定步骤确定的变化区域的移动轨迹，从而识别手的姿势。另外，上述姿势识别装置也可以通过计算机来实现，这时，通过使计算机作为上述各个部件来动作从而由计算机实现上述姿势识别装置的姿势识别装置的控制程序、以及记录了它的计算机可读取的记录介质也在本发明的范畴内。本发明的姿势识别装置的特征在于，包括温度传感器，配置多个红外线传感器而构成；变化区域确定部件，基于上述温度传感器的红外线传感器分别检测的温度，将发生了温度变化的变化区域确定为表示手的区域；以及姿势识别部件，确定上述变化区域确定部件确定的变化区域的移动轨迹，从而识别手的姿势。本发明的姿势识别方法的特征在于，包括温度取得步骤，从配置多个红外线传感器而构成的温度传感器取得每个红外线传感器的温度；变化区域确定步骤，基于通过上述温度取得步骤取得的、上述红外线传感器分别检测的温度，将发生了温度变化的变化区域确定为表示手的区域；以及姿势识别步骤，确定通过上述变化区域确定步骤确定的变化区域的移动轨迹，从而识别手的姿势。从而，起到能够与使用场所的亮度无关地实现高速处理且高精度的非接触型的输入功能的效果。


图I是表示本发明的实施方式中的姿势识别装置具备的数据处理单元的主要部分结构的细节的方框图。图2是表示安装了本发明的实施方式中的姿势识别装置的电子设备(智能机 (Smart phone))的外观的图。
例的图。
图3是上述电子设备中内置的传感器单元的分解立体图。
图4是表示上述传感器单元的温度传感器芯片中的红外线检测元件的配置的一
图5是表示本发明的实施方式中的姿势识别装置的主要部分结构的方框图。
图6是示意性地表示姿势识别装置的坐标配置单元将来自各个传感器的温度描绘到XY坐标系之后的温度信息的数据结构的图。图7是表示在XY坐标系上描绘的温度信息的具体例的图。图8是表示在各个检测定时中(I)智能机和手的位置关系、与(2)在该定时检测并取得的温度信息之间的关系的图。图9是表示在图8所示的定时T1 T3的期间，通过姿势识别装置的变化量计算单元生成的信息和通过重心决定单元生成的信息的具体例的图。图10是表示姿势识别装置的姿势识别单元确定了重心的移动轨迹的结果的具体例的图。图11是表示在各个检测定时中(I)智能机和手的位置关系、与(2)在该定时检测并取得的温度信息之间的关系的图。图12是表示在姿势识别装置的姿势模式存储单元中存储的姿势模式的一例的图。图13是表示姿势识别装置具备的数据处理单元的各个单元执行的姿势识别处理的流程的流程图。图14是详细地表示通过姿势识别装置的姿势识别单元执行的姿势识别处理的流程的流程图。图15是表示在姿势识别装置的掩膜存储单元中存储的掩膜(mask)的具体例的图。图16是表示在姿势识别装置的掩膜存储单元中存储的掩膜的数据结构的一例的图。图17是示意性地表示本发明的另一实施方式中的、姿势识别装置的坐标配置单元将来自各个传感器的温度描绘到XY坐标系之后的温度信息的数据结构的图。图18是表示在各个定时中⑴双手的位置关系、与⑵在该定时中取得的温度信息和变化区域之间的关系的图。图19是表示在图18所示的定时I\、T2的定时，通过姿势识别装置的变化量计算单元生成的信息、通过重心决定单元生成的信息、以及通过偏差计算单元生成的信息的具体例的图。图20是表示在另一实施方式的姿势识别装置的姿势模式存储单元中存储的姿势模式的一例的图。图21是详细地表示通过另一实施方式中的姿势识别装置的姿势识别单元执行的姿势识别处理的流程的流程图。标号说明I姿势识别装置2传感器单元
3输入控制单元
4存储单元
5连接器单元
6温度传感器芯片(温度传感器)
7信号处理单元
8临时存储单元
10数据处理单元
11通信控制单元
12AD变换单元
13信号选择单元
14信号放大单元
21基板
22中间壳体
23镜头
24外壳
30温度信息取得单元
31坐标配置单元
32变化量计算单元(变化区域确定部件/变化量计算部件)
33重心决定单元(重心决定部件)
34姿势识别单元(姿势识别部件)
35掩膜选择单元(掩膜选择部件)
36偏差计算单元(偏差计算部件)
40姿势模式存储单元
41掩膜存储单元
42基准值存储单元
100智能机具体实施方式
《实施方式I》
基于

本发明的实施方式如下。在以下说明的实施方式中，作为一例，将本
发明的姿势识别装置安装到智能机，并由姿势识别装置实现智能机的输入功能。另外，除了智能机之外，本发明的姿势识别装置也可以安装到便携式电话、PDA、便携式游戏机、电子字典、电子手册、数字照相机、数字摄像机、个人计算机、笔记本型个人电脑、电视机、录像生成装置、家庭用游戏机等各种电子设备中，并且能够负责这些电子设备的输入功能。[姿势识别装置的结构]图2是表示本发明的实施方式中的姿势识别装置的外观的图。在本实施方式中， 如图2所示，本发明的姿势识别装置包括传感器单元2，且内置于智能机100中。传感器单元2检测位于可检测范围(例如，图2的虚线框内)内的对象物的温度。图3是智能机100中内置的传感器单元2的分解立体图。如图3所示，传感器单元2如下构成。具体地说，基板21上安装信号处理单元7和温度传感器芯片6，并且在其上方，设置了用于保护这些精密部件且固定镜头23的中间壳体22。在中间壳体22的上方安装了镜头23，并且为了覆盖这些整体而设置了外壳24。温度传感器芯片6由在面上配置多个红外线检测元件(红外线传感器)而构成。 各个红外线传感器基于通过接受红外线而产生的温度上升来检测检测对象物的温度信息。图4是表示温度传感器芯片6中的红外线检测元件的配置的一例的图。例如图4 所示，温度传感器芯片6由纵横4X4个配置的红外线传感器组成。各个传感器中例如被分配O到15的地址，并且通过该地址来掌握各个传感器在面上的位置关系。这样，通过将由地址所管理的多个传感器配置到面上，从而能够以二维方式取得位于上述可检测范围内的检测对象物的表面温度。例如，如图2所示，若用户的手在可检测范围内移动，则根据检测手的表面温度的传感器的位置差异，能够检测到其移动。接着，说明利用如上所述那样从温度传感器芯片6取得的温度信息而进行姿势识别处理的姿势识别装置的功能性结构。图5是表示本发明的实施方式中的姿势识别装置I的主要部分结构的方框图。如图5所示，姿势识别装置I的结构为包括包含温度传感器芯片6和信号处理单元7的传感器单元2 ;对包含传感器单元2的各个部分进行统一控制的输入控制单元3 ;存储单元4以及临时存储单元8 ;以及连接器单元5。信号处理单元7取得由温度传感器芯片6的各个传感器从接受的红外线得到的红外线信号，并进行信号放大的处理等。信号处理单元7例如由特定用途集成电路(ASIC; Application Specific Integrated Circuit)等实现。在本实施方式中，信号处理单兀7包括信号选择单兀13和信号放大单兀14。信号选择单元13选择性地取得来自温度传感器芯片6的红外线信号。具体地说，信号选择单元 13根据输入控制单元3的控制，能够选择性地取得来自特定地址的红外线传感器的红外线信号。信号放大单元14放大通过信号选择单元13取得的红外线信号，使其能够在输入控制单元3中进行数字处理，并提供给输入控制单元3。这样由信号处理单元7取得并处理后的红外线信号在输入控制单元3中进行数字化，从而作为温度信息来利用。输入控制单元3统一控制姿势识别装置I的各个部分的动作，由微型计算机等实现。或者，输入控制单元3的功能也可以是智能机100主体的主控制单元所具备的功能。这时，智能机100本身作为本发明的姿势识别装置I发挥作用。输入控制单元3包括将从信号处理单元7提供的红外线信号由模拟信号变换为数字信号的AD变换单元12、经由连接器单元5与智能机100主体的主控制单元进行通信的通信控制单元11、利用数字化后的温度信息执行姿势识别处理的数据处理单元10。关于作为功能块的数据处理单元10的结构和动作，参照另一图在后面详细叙述。连接器单元5将姿势识别装置I和智能机100的主控制单元可通信地电连接。数据处理单元10识别了姿势的结果经由通信控制单元11以及连接器单元5提供给智能机 100主体的主控制单元。相反,智能机100当前正在启动着什么应用等有关智能机100的状态的信息，从智能机100的主控制单元提供。
临时存储单元8是在姿势识别装置I执行的各种处理的过程中临时存储用于运算的数据以及运算结果等的所谓的工作存储器。存储单元4存储输入控制单元3执行的(I)控制程序、(2) OS程序、(3)输入控制单元3用于执行姿势识别装置I具有的各种功能的应用程序、以及(4)在执行该应用程序时读出的各种数据。尤其，存储单元4存储姿势识别装置I执行姿势识别处理时读出的各种程序、数据。这样，在姿势识别装置I中，输入控制单元3的数据处理单元10基于从温度传感器芯片6取得的温度信息，将对象物(用户的手等)的活动作为姿势来识别，并由通信控制单元11将该识别结果作为对于智能机100的输入而提供给智能机100。根据此，智能机100 能够执行对识别的姿势所分配的动作。S卩，姿势识别装置I能够作为智能机100的非接触型的输入装置来发挥作用。[数据处理单元的结构]图I是表示姿势识别装置I的数据处理单元10的主要部分结构的细节的方框图。数据处理单元10的结构为作为功能块至少包括温度信息取得单元30、坐标配置单元31、变化量计算单元32以及姿势识别单元34。数据处理单元10优选还包括重心决定单元33。此外，数据处理单元10还可以进一步包括掩膜选择单元35以及偏差计算单元36。并且，存储单元4至少包含用于存储数据处理单元10应识别的姿势的模式的姿势模式存储单元40。存储单元4还可以进一步包含掩膜存储单元41以及基准值存储单元42。上述的数据处理单元10的各个功能块能够通过MPU (微处理单元)或者CPU (中央处理单元)等中央运算处理装置将由ROM(只读存储器)、NVRAM(非易失性随机存取存储器)等实现的存储装置(存储单元4)中存储的程序读出到RAM(随机存取存储器)(临时存储单元8)等后执行而实现。温度信息取得单元30从AD变换单元12取得数字变换后的温度信息dl。在本实施方式中，温度信息dl的数据结构为对各个传感器检测到的温度值关联了 O 15号地址的各个传感器的地址。在本实施方式中，温度信息取得单元30以一定时间间隔(例如，每 O. 5秒)取得由温度传感器芯片6的各个传感器实时检测到的温度信息dl从而随机存储到临时存储单元8。这时，温度信息取得单元30将用于识别检测到的定时的定时信息Ti (i =0、1、2、· · ·、η)与取得的温度信息dl相关联。坐标配置单元31将从各个传感器取得的温度信息描绘到二维坐标上，以使其与各个传感器的配置相对应。在本实施方式中，为了与从O号地址到15号地址为止的、4X4 =16个传感器的配置相对应，将从各个传感器取得的温度信息描绘到XY坐标系上。图6是示意性地表示坐标配置单元31将来自各个传感器的温度描绘到XY坐标系之后的温度信息的数据结构。例如，如图4所示，在温度传感器芯片6中O 15号地址的16个红外线传感器配置为纵横4X4个时，坐标配置单元31将温度传感器芯片6的左下端作为原点，同样地，将 XY坐标系的左下端作为原点，描绘各个传感器的温度。具体地说，将12号地址的传感器检测到的温度描绘在(X，Y) = (I, I)的位置上， 将其右侧相邻的13号地址的传感器的温度描绘在(X，Y) = (2,1)的位置上。坐标配置单元31关于以后的传感器也同样地，将温度描绘在XY坐标系上以便与传感器的实际配置相对应。最终，最右上方的3号地址的传感器的温度被描绘在(X，Y) = (4,4)的位置上。这样描绘到XY坐标系上的温度信息与定时信息Ti相关联地存储到临时存储单元 8。图7是表示在XY坐标系上描绘的温度信息的具体例的图。图7中表示了由在从定时Ttl 到Tn的期间取得的各个温度信息生成的XY坐标系的例子。XY坐标系的16个单元(cell) 中存储的两位数表示各个传感器检测到的温度(这里，单位是。C )。变化量计算单元32比较规定的阈值和上述那样从各个传感器取得的实际温度， 从而判定有无温度变化或者检测对象物(手，手指等)。进而，比较规定的基准值与实际温度，从而计算各个传感器的检测温度的变化量。变化量计算单元32与规定的阈值进行比较，从而判断各个传感器的温度是否在检测对象物的温度。例如，想要检测人的手作为检测对象物时，将可预想为人的体温的下限值(根据情况也可以是上限值)设定为阈值。这里，假设设定为33°C。变化量计算单元32将各个传感器的温度与阈值33°C进行比较，从而将检测出 33°C以上的温度的传感器识别为检测到手的传感器。即，若确认检测到手的传感器的位置， 则能够将该位置直接作为手存在的位置来处理。上述阈值考虑到目标的检测对象物的性质，适当设定用于确定该对象物的有效的温度即可。所设定的阈值预先存储到基准值存储单元42中，并由变化量计算单元32根据需要而读出。图8是表示各个检测定时中的智能机100和手的位置关系、与在该定时中检测并取得的温度信息之间的关系的图。如图8所示，假设在定时Tl，手位于传感器单元2的检测范围的左端。这时，坐标配置单元31生成图8所示的关联了定时TJ^XY坐标系。变化量计算单元32比较XY坐标系的各个坐标位置中存储的温度和阈值33°C，从而确定阈值以上的温度的坐标位置，并将其确定为手的区域。在图8所示的例子中，变化量计算单元32 与上述手的实际位置同样地，在XY坐标系中也将左端的区域(网点的区域)确定为手的区域。接着，假设在定时T2中，手移动至智能机100 (传感器单元2)的正面。这时，坐标配置单元31生成关联了定时T2的XY坐标系(图8)。并且，变化量计算单元32将XY坐标系的全面(网点的区域)确定为手的区域。并且，假设在定时T3中，手进一步移动而移动至上述检测范围的右端。这时，坐标配置单元31生成图8所示的关联了定时T3的XY坐标系。 变化量计算单元32将阈值33°C以上的右端的区域(网点的区域)确定为手的区域。进而，变化量计算单元32将实际检测的温度与基准值的差分作为变化量△ T来计算。变化量计算单元32关于各个地址(坐标位置)的温度，分别计算变化量ΛΤ(Χ，Υ)。这里，基准值可以与上述的用于检测对象物的阈值相同，也可以考虑没有任何对象物时的环境温度而决定为适当的值。在本实施方式中，假设由于智能机100的周围的环境温度为25°c，因此基准值预先决定为25°C。该规定的基准值存储在基准值存储单元42 中，并且通过变化量计算单元32根据需要而读出。另外，该基准值也可以是动态更新的结构。例如，假设通过温度传感器芯片6随时测定温度，并且在变化量没有大幅变动的情况下经过了一定时间。这时，数据处理单元10 的未图示的平均值计算单元可以计算在该期间内所测定的温度的平均值，并将其作为基准值而存储到基准值存储单元42中。此外，变化量计算单元32合计对各个单元的地址的每一个求得的所有变化量Δ T (X，Y)，从而求定时Ti中的XY坐标系的变化量Λ T (X，Y)的合计(以下，SUM)。具体地说，在本实施方式中，变化量计算单元32计算下式。SUM = Δ T (I, I) + Δ T (1, 2) + Δ T (I, 3) + Δ T (I, 4) + Δ T (2, I) + Δ T (2, 2) + Δ T (2, 3) + ΔΤ(2,4) + ΔΤ(3, 1) + ΔΤ(3,2) + ΔΤ(3,3) + ΔΤ(3,4) + ΔΤ(4, 1) + ΔΤ(4,2) + ΔΤ(4,
3)+ ΔΤ(4,4)由此可知定时Ti中的、在检测范围(图2的斜线框内)中产生的整体的变化量 (SUM)。变化量计算单元32将上述那样对各个单元的地址的每一个求得的变化量ΛΤ(Χ， Y)以及其合计SUM与定时Ti相关联地描绘到XY坐标系上，从而存储到临时存储单元8。通过参照由变化量计算单元32求得的变化量AT，能够掌握在哪个定时在哪个位置发现了温度的变化。此外，为了判断姿势识别对象物的有无、对象物的区域(变化量大的区域)的重心的坐标位置(Gx，Gy)，由后述的各个功能块读出并使用变化量AT以及SUM。进而，优选变化量计算单元32基于从各个传感器取得的温度信息来判断可以将从哪个定时到哪个定时的期间识别为用户的操作期间(用户想要对智能机100进行输入而有意活动手的期间)。有关用于判断用户正在进行操作的期间的几个方法，具体说明如下。第I方法是利用在基准值存储单元42中存储的阈值的方法。变化量计算单元32 比较某一定时中的XY坐标系上描绘的各个温度与阈值(例如，33°c )，从而在检测出33°C 以上的传感器有两个以上时，判断为有变化(操作开始)。并且，可以将检测出33°C以上的传感器有两个以上的期间判断为操作期间。第2方法是利用在每个检测定时求得的XY坐标系整体的变化量SUM以及基准值存储单元42中存储的基准值的方法。变化量计算单元32在将基准值设为Ta°C时，将 (350C -Ta0C ) X2决定为变化量的阈值，在SUM为(35°C -Ta°C ) X2以上时，判断为有变化 (操作开始)。并且，能够将SUM为(35°C -Ta0C ) X 2以上的期间判断为操作期间。根据上述结构，能够仅限于由变化量计算单元32判断为操作期间的期间内的温度信息来推进以后的姿势识别处理，并且通过减少处理中的信息量，能够实现姿势识别装置I的处理效率的提高和处理负荷的减少。重心决定单元33基于各个传感器的变化量Λ T以及SUM，决定在XY坐标系中认出变化的区域、具体地说检测出手等从而有温度上升的变化区域(图8的网点的区域)的重心。重心决定单元33 —边参照变化量AT以及SUM，一边按照以下的顺序来决定变化区域的重心G的坐标(Gx，Gy)。重心决定单元33求重心G的X坐标(Gx)。对各个坐标位置的变化量Λ T乘以与各个坐标位置的X坐标相应的系数后进行合计，并将其除以上述SUM而算出Gy。具体地说， 重心决定单元33计算下式。Gx= {(ΔΤ(1, 1) + ΔΤ(1,2) + ΔΤ(1,3) + ΔΤ(1,4)) X 1+(ΔΤ(2, 1) + ΔΤ(2,
2)+ Δ T (2, 3) + Δ T (2, 4)) X 2+( Δ T (3, I) + Δ T (3, 2) + Δ T (3, 3) + Δ T (3, 4)) X 3+( Δ T (4,
I)+ Δ T (4, 2) + Δ T (4, 3) + Δ T (4,4)) X 4} +SUM此外，重心决定单元33求重心G的Y坐标(Gy)。对各个坐标位置的变化量Δ T乘以与各个坐标位置的Y坐标相应的系数后进行合计，并将其除以上述SUM而算出Gx。具体地说，重心决定单元33计算下式。Gy= {(ΔΤ(1, 1) + ΔΤ(2, 1) + ΔΤ(3, 1) + ΔΤ(4, I)) X 1+(ΔΤ(1,2) + ΔΤ(2, 2) + Δ T (3, 2) + Δ T (4, 2)) X 2+( Δ T (I, 3) + Δ T (2, 3) + Δ T (3, 3) + Δ T (4, 3)) X 3+( Δ T (I, 4) + Δ T (2,4) + Δ T (3,4) + Δ T (4,4)) X 4} +SUM重心决定单元33将上述那样求得的定时1\中的变化区域的重心G的坐标(Gx，Gy) 与定时Ti相关联地存储到临时存储单元8。重心决定单元33也可以在坐标配置单元31生成的XY坐标系上描绘重心G (Gx，Gy)。图9是表示在图8所示的定时T1 T3的期间，通过变化量计算单元32生成的信息和通过重心决定单元33生成的信息的具体例的图。变化量计算单元32取得定时T1的温度信息(图8的XY坐标系T1)，并计算各个传感器的温度与基准值25°C的差分，从而描绘各个传感器的变化量Λ T的值。图9的XY坐标系T1中表示该描绘的结果。同样地，图9的XY坐标系Τ2、Τ3分别表示根据图8所示的定时T2、T3的温度信息求得的变化量Λ T的值。并且，变化量计算单元32还基于图9的XY坐标系T1，算出定时T1中的整体的变化量SUM为“105”。同样地，算出定时T2中的整体的变化量SUM为“168”，算出定时T3中的整体的变化量SUM为“84”。接着，重心决定单元33利用上述那样求得的各个传感器的变化量AT以及SUM，决定变化区域(图8的网点的区域)的重心G。在图9所示的例子中，重心决定单元33将定时T1中的重心G的坐标(Gx，Gy)决定为(I. 8,2. 5)，将定时T2中的重心G的坐标(Gx，Gy) 决定为(2. 5,2. 5)，将定时T3中的重心G的坐标(Gx，Gy)决定为(3. 5,2. 5)。若跟踪该重心G的位置，则能够在后续的过程中识别出对象物(手)在哪个定时如何活动。如上所述，通过在每个检测定时确定变化区域的重心G的坐标，从而能够以较少的计算量来求得变化区域(手)的移动轨迹，因此从处理效率的提高以及处理负荷的减少的观点来看，采用重心决定单元33的结构以及决定重心的方法是理想的。另外，为了识别对象物(手)的姿势，需要追踪手的移动轨迹，但作为追踪移动轨迹的方法，上述的决定重心并追踪重心的方法只不过是一例，本发明的结构不限于此。姿势识别单元34追踪对象物的位置，从而根据对象物的移动轨迹将该对象物的活动识别为姿势。在本实施方式中，具体地说，追踪由重心决定单元33决定的对象物的重心的位置，从而确定重心的轨迹，并根据确定的重心的轨迹来识别对象物的姿势。图10是表示姿势识别单元34确定了重心的轨迹的结果的具体例的图。另外，图 10所示的重心的轨迹是为了说明姿势识别单元34确定的轨迹的一例而具体记载的，实际上这样的轨迹不会出示给用户以便能够让用户目视。如图10所示，若将图9所示的定时T1 T3的各个重心描绘到一个坐标系上，则可知重心的移动轨迹。姿势识别单元34追踪从操作期间的开始定时Ts到、...I\、T2、T3.....以及操作期
间的结束定时Te为止的重心，并且识别其动向。在图10所示的例子中，从Tl的位置到T3 的位置，重心从左向右移动。从而，姿势识别单元34能够识别为进行了“从左向右移动”这一姿势。姿势识别单元34能够根据重心的轨迹来识别“从右向左移动”、“从上到下移动”、“从下到上移动”、“顺时针旋转移动”、“逆时针旋转移动”等各种姿势。进而，根据本发明的姿势识别装置1，姿势识别单元34不仅能够检测上述的X轴方向或者Y轴方向的活动，还能够检测Z轴方向的活动，并将其作为姿势来识别。图11是表示在各个检测定时中智能机100和手的位置关系、与在该定时检测并取得的温度信息之间的关系的图。如图11所示，假设在定时T1，手位于传感器单元2的检测范围的最远处。这时，如图11所示，坐标配置单元31生成关联了定时TJ^XY坐标系。由于手位于Z轴上从智能机100的传感器单元2远离的位置，因此在传感器单元2的温度传感器芯片6的面上捕捉到一小部分。因此，不是在温度传感器芯片6的所有面上而是在局部确定变化区域(阴影的区域)。另一方面，假设在定时T2，与定时T1时相比，手更接近智能机100。这时，如图11 所示，坐标配置单元31生成关联了定时T2的XY坐标系。由于手位于Z轴上从智能机100 的传感器单元2靠近的位置，因此在温度传感器芯片6的面上大范围地捕捉到。在图11所示的例子中，在温度传感器芯片6的所有面上大范围地捕捉到。因此，在温度传感器芯片6 的所有面上确定变化区域。S卩，能够判断如下变化区域的面积越大(阈值33°C以上的传感器的数目越多)， 对象物越是接近智能机100，变化区域的面积越小(阈值33°C以上的传感器的数目越少)， 对象物越是远离智能机100。因此，姿势识别单元34根据在每个检测定时变迁的、变化区域的面积的增减，追踪对象物在Z轴方向的活动，并识别姿势。具体地说，姿势识别单元34能够根据变化区域的面积的增减来识别“将手靠近”、或者“将手远离”等各种姿势。在本实施方式中，存储单元4包括姿势模式存储单元40，这里，存储预先决定的姿势的几个模式。姿势识别单元34判断重心的轨迹或者变化区域的增减与姿势模式存储单元40中存储的哪个姿势模式一致，从而识别姿势。图12是表示在姿势模式存储单元40中存储的姿势模式的一例的图。如图12所示，在姿势模式存储单元40中存储了姿势识别单元34能够识别的几个姿势模式。在本实施方式中，用于识别这些姿势的姿势ID与各个姿势模式相关联地存储。例如，姿势识别单元34按照图10所示的重心的轨迹，将对象物的姿势识别为“从左向右移动”时，将表示“从左向右移动”的姿势的姿势ID “00”作为识别结果d2输出到通信控制单元11 (参照图I)。识别结果d2经由连接器单元5输入到智能机100主体(的主控制单元)。智能机 100的主控制单元根据输入了姿势ID “00”的情况，执行对姿势ID “00”所分配的动作。另外，图12所示的姿势的模式为一例，并非用于限定本发明。本发明的姿势识别单元34也可以将各种对象物的活动的模式(例如，斜向方向的活动等)识别为图12所示的姿势以外的姿势。[姿势识别处理流程]图13是表示本发明的姿势识别装置I具备的数据处理单元10的各个部分执行的姿势识别处理的流程的流程图。图14是详细地表示通过姿势识别单元34执行的姿势识别处理的流程的流程图。在本实施方式中，设想如下的结构，即在规定期间中的规定的检测定时O；、T1,T2.....Tn)，传感器单元2检测对象物的温度信息，并随时提供给数据处理单元10。首先，在到达了规定的检测定时时，温度信息取得单元30取得检测定时Ti(SlOl)15 并且，从温度传感器芯片6取得与取得的定时Ti相关联的温度信息dl (S102)。坐标配置单元31将取得的温度信息dl中包含的每个传感器的温度描绘到与各个传感器的配置对应的 XY坐标系上(S103)。并且，坐标配置单元31将S103那样生成的数据与取得的定时Ti相关联地存储到临时存储单元8 (S104)。变化量计算单元32比较阈值(例如，33°C )和XY坐标系的各个坐标位置上描绘的温度，从而判定检测到33°C以上的传感器是否有两个以上(S105)。有两个以上时(S105 中为“是”)，变化量计算单元32判断为在该定时Ti,对象物(手)存在于检测范围内，并且定时Ti的时刻包含于用户进行操作的期间中。并且，变化量计算单元32分别计算各个坐标位置的温度的变化量AT，并对所有坐标位置的变化量Λ T进行合计而计算SUM(S106)。接着，重心决定单元33基于变化量AT以及SUM，决定检测到手的温度的传感器的区域、即变化区域中的重心G的坐标(Gx, Gy) (S107)。重心决定单元33将决定的重心描绘到在S104中保存的XY坐标系上，变化量计算单元32在XY坐标系上描绘变化量Λ T以及变化区域，并且与SUM相关联地保存到临时存储单元8(S108)。另一方面，在检测到33°C以上的传感器不是两个以上时(S105中为“否”)，变化量计算单元32判断为在该定时Ti,对象物(手)不存在于检测范围内，并且在定时Ti的时刻用户没有进行输入操作。并且，省略S106 S108的处理。若进行姿势识别的规定期间尚未结束、即从传感器单元2提供没有处理的温度信息dl (S109中为“否”)，则数据处理单元10将定时Ti的i加I (SllO)，并且关于下一个检测定时中的温度信息dl，重复S102 S108的处理。然后，若定时Ti到达Tn，且对提供的所有的温度信息dl都完成处理(S109中为 “是”)，则接着，姿势识别单元34基于临时存储单元8所存储的数据，识别与检测到的手的活动对应的姿势(S111)。具体地说，追踪上述规定期间(Ttl-Tn)中的重心位置，或者根据变化区域的面积的增减，从姿势模式存储单元40存储的姿势模式中确定一致的姿势。姿势识别单元34将表示确定的姿势的姿势ID作为识别结果d2输出到通信控制单元 11(S112)。参照图14详细说明姿势识别单元34在Slll中执行的姿势识别处理的流程如下。首先，姿势识别单元34基于对每个检测定时Ti决定的重心坐标(Gx，Gy)，取得手的重心的移动轨迹(S201)。这里，若重心的移动距离的长度充分(S202中为“是”)，则姿势识别单元34判断为手向X轴方向或者Y轴方向活动了，并且确定重心的移动轨迹以及移动方向(S203)。若重心的移动方向为左右方向(X轴方向)(S204中为“I”)，则姿势识别单元34 基于移动轨迹判断手是否从左移动到了右(S205)。在判断为手从左移动到了右时(S205中为“是”)，姿势识别单元34将该期间输入的姿势识别为“00 :从左向右移动”(S206)。另一方面，在判断为手从右移动到了左时(S205中为“否”)，姿势识别单元34将该期间输入的姿势识别为“01 :从右向左移动”(S207)。或者，若重心的移动方向为上下方向(Y轴方向)(S204中为“2”)，则姿势识别单元34判断手是否从上移动到了下(S208)。在判断为手从上移动到了下时(S208中为“是”)， 姿势识别单元34将该期间输入的姿势识别为“10 :从上向下移动”(S209)。另一方面，在判断为手从下移动到了上时(S208中为“否”)，姿势识别单元34将该期间输入的姿势识别为 “11 :从下向上移动”(S210)。或者，当重心的移动轨迹旋转如画圆时(S204中为“3”)，姿势识别单元34判断手是否顺时针旋转移动(S211)。在判断为手顺时针旋转移动时(S211中为“是”)，姿势识别单元34将该期间输入的姿势识别为“30 :顺时针旋转移动”(S212)。另一方面，在判断为手逆时针旋转移动时(S211中为“否”)，姿势识别单元34将该期间输入的姿势识别为“31 :逆时针旋转移动”(S213)。另一方面，在S202中，若重心的移动距离的长度不够充分(S202中为“否”)，姿势识别单元34判断为手没有向X轴方向和Y轴方向的任一方向活动。并且，转移到用于判断手是否向Z轴方向活动的处理。即，姿势识别单元34在每个检测定时Ti,取得通过变化量计算单元32确定的变化区域的面积(传感器的数目)(S214)。姿势识别单元34判断变化区域的面积是否随着时间的经过而有增加的倾向 (S215)。当面积有增加的倾向时(S215中为“是”)，姿势识别单元34将该期间输入的姿势识别为“20:将手靠近”(S216)。另一方面，当面积有减少的倾向时(S215中为“否”)，姿势识别单元34将该期间输入的姿势识别为“21 :将手远离”(S217)。另外，在图14所示的例子中没有说明重心的移动和面积的增加都没有的情况，但这样的情况在姿势识别装置I错误识别了对象物时，或者，对象物的活动不够充分并且姿势识别装置I识别为对象物静止时可能会产生。因此，在这样的情况下，优选姿势识别装置 I经由智能机100，显示用于催促用户变更基准值或阈值的消息，或者进行表示姿势识别失败的错误显示，或者显示用于催促姿势的再次输入的消息。以上，如以上叙述的那样，本发明的姿势识别装置I通过具有用于检测对象物的温度的传感器单元2、以及执行上述的一连串的姿势识别处理的数据处理单元10，从而能够实现智能机100的非接触型的输入装置。根据上述结构以及方法，在姿势识别装置I中，从配置有多个的红外线传感器作为温度信息而取得用于检测对象物的活动的信息。并且，数据处理单元10不用处理数据量庞大的图像数据，能够仅根据温度信息来分析对象物的活动，能够识别姿势。结果，在作为输入装置的姿势识别装置I中，能够实现处理效率的提高和处理负荷的减少。即，能够实现反应速度快的输入装置。此外，本发明的姿势识别装置I通过利用红外线传感器来取得对象物的表面温度，从而根据对象物的温度与周围的环境温度的差异，检测对象物的活动。从而，在以光学系统照相机拍摄对象物而识别姿势的结构中，在暗处的使用受到限制，但本发明的姿势识别装置I即使在暗处也能够不受限制地作为输入装置发挥作用。此外，在利用了光学系统照相机的姿势识别中，当对象物与背景的纹理没有较大差异时，无法准确地识别对象物的位置、形状等，存在姿势的错误识别增加的问题。另一方面，本发明的姿势识别装置I是基于温度信息来检测具有与周围环境温度不同的表面温度的对象物(手等)，因此不会产生因纹理相似而导致的错误识别的问题。若将本发明的姿势识别装置I作为具有投影仪(projector)功能的电子设备的输入装置来使用，则能够最大限度地享受本发明的姿势识别装置I的优点。例如，设想使用电子设备的投影仪功能，将电子设备中存储的照片等幻灯片投影到远处的屏幕上从而进行报告(presentation)的使用情况。投影仪功能一般是将室内变暗后利用，因此难以使以往的利用了光学系统照相机的姿势识别的输入装置在报告中发挥作用。但是，根据本发明的姿势识别装置1，即使在暗处也能够作为非接触型的输入装置来发挥作用，因此在远离电子设备的位置上进行报告的用户也能够容易进行幻灯片的操作而不用接触电子设备。[变形例]在上述的实施方式中，姿势识别装置I处理从温度传感器芯片6的所有面(所有的红外线传感器)取得的温度信息，从而识别了姿势。本发明的姿势识别装置I不限于该结构，也可以利用来自温度传感器芯片6上配置的红外线传感器的温度信息的一部分来进行姿势识别。若设定选择性地使用红外线传感器的结构，能够减少应处理的信息量而提高处理速度，并且在识别特定的姿势时，能够提高其识别的精度。智能机100为多功能且执行各种应用，对于其应用的指示输入形式根据应用而各不相同。例如，若是图书阅览应用或幻灯片放映显示应用，则为了翻页而进行伴随左右方向的活动的指示输入，若是Web阅览应用，则为了使画面滚动(scroll)而进行伴随上下方向的活动的指示输入。此外，在音乐再现应用中，为了调节音量而进行多级转动刻度盘的活动的输入。因此，本发明的姿势识别装置I基于智能机100正在启动哪个应用，限定应识别的姿势，并且能够有效地执行适合该限定的姿势的识别的姿势识别处理。为此，姿势识别装置 I的结构为包括以下部件。S卩，如图I所示，本变形例中的姿势识别装置I的数据处理单元10除了上述结构之外还包括掩膜选择单元35。掩膜选择单元35根据智能机100主体正在启动的应用的种类，限定应识别的姿势的种类，并选择适合该限定的姿势的识别的掩膜。本发明中的掩膜(mask)是表示在温度传感器芯片6上配置的红外线传感器中，将来自哪个红外线传感器的温度用于或者不用于姿势识别处理的模式信息。掩膜为预先设计并且准备有多个种类，以便根据想要识别怎样的姿势，能够有效且高精度地识别其姿势。在本变形例中，如图I所示，姿势识别装置I的存储单元4包括掩膜存储单元41。掩膜存储单元41存储多个种类的掩膜，对每个应用关联了应参照的掩膜。图15是表示掩膜的具体例的图。如图15所示的场面(scene) 50那样，若特殊化为左右方向活动手的姿势，则如果在温度传感器芯片6中的红外线传感器配置面上能够通过左端和右端的传感器及时检测到手，则能够有效且准确地识别姿势。因此，用于识别左右的活动的“左右检测用掩膜”被设计为，将配置面的左端的列以及右端的列设为有效，将中央的列设为无效。在图15所示的掩膜中，斜线的区域表示有效，白底的区域表示无效。若例举图4 所示的4X4的配置来具体说明，则“左右检测用掩膜”被设计为，仅利用来自0、4、8、12号地址、以及3、7、11、15号地址的红外线传感器的温度信息。
如场面51那样，若特殊化为上下方向活动手的姿势，则如果在上述配置面上能够以上端和下端的传感器及时检测到手，则能够有效且准确地识别姿势。因此，用于识别上下的活动的“上下检测用掩膜”被设计为，将配置面的上端的行以及下端的行设为有效，将中央的行设为无效。如图15所示，“上下检测用掩膜”例如被设计为，仅利用来自O 3号地址、以及 12 15号地址的红外线传感器的温度信息。如场面52那样，若特殊化为旋转手的活动的姿势，则如果在上述配置面上以外侧的传感器来检测手，则能够有效且准确地识别旋转的姿势。因此，用于识别旋转的“旋转检测用掩膜”例如被设计为，仅利用来自O 4、7、8、11 15号地址的红外线传感器的温度信
肩、O这样，在掩膜存储单元41中存储了与场面(想要检测的手的活动)相应的多个种类的掩膜。图16是表示在掩膜存储单元41中存储的掩膜的数据结构的一例的图。如图16所示，掩膜存储单元41中存储了多个种类的掩膜，并且对每个应用存储了应参照的掩膜的关联。由此，掩膜选择单元35能够根据智能机100正在启动的应用而始终选择最佳的掩膜。更详细地说，掩膜选择单元35经由连接器单元5以及通信控制单元11，从智能机100 的主控制单元取得表示智能机100主体当前正在启动哪个应用的状态信息d3(参照图I)。 掩膜选择单元35基于状态信息d3来确定启动中的应用。并且，掩膜选择单元35参照掩膜存储单元41，选择与确定的应用对应的掩膜。若确定应用，则限定在该应用中会输入怎样的活动作为姿势。例如，在Web阅览应用中输入上下方向的活动，在图书阅览应用中输入左右方向的活动，在音乐再现应用中输入旋转的活动。例如，在图16所示的例子中，TV应用(TV_Channel)中关联了左右检测用掩膜。 即，掩膜选择单元35在判断为智能机100正在启动TV应用时，选择图15所示的左右检测
用掩膜。若掩膜选择单元35选择左右检测用掩膜，则数据处理单元10的各个部分能够有效且准确地识别左右方向的活动。具体地说，温度信息取得单元30仅从有效区域的红外线传感器取得温度，以后的各个部分也仅对在有效的区域中存储的温度执行各自的处理。在利用TV应用时，用户为了变更频道而专门输入左右方向的姿势，因此只要能够有效且准确地识别左右方向的活动，就能够提高智能机100的操作性。另外，关于应用和掩膜的关联，图16所示的例子是用于说明发明的一例，并非要限定发明的结构。对于应用，考虑该应用所需的姿势，从而预先与最佳的掩膜进行关联。如上所述，掩膜选择单元35选择的掩膜是为了在特殊化为上述的各活动后有效且高精度地对该活动进行姿势识别而设计的掩膜。由此，通过选择对每个应用选择适合的掩膜，从而能够有效且高精度地识别对该应用所输入的操作姿势。另外，掩膜选择单元35也可以是如下的结构基于选择的掩膜来确定有效的传感器的地址，指示信号处理单元7的信号选择单元13仅从有效的地址的传感器取得红外线信号。或者，掩膜选择单元35也可以是如下的结构指示数据处理单元10的各个部分仅对来自有效的地址的传感器的温度进行处理。
《实施方式2》在上述的实施方式中，说明了将温度传感器芯片6设为配置了 4X4的红外线传感器的结构时，对从这些红外线传感器所得到的4X4的温度信息进行处理而识别姿势的姿势识别装置I的结构。但是，本发明的姿势识别装置I的结构不限于上述。温度传感器芯片6的红外线传感器的配置可以以任意样式构成。例如，不限于正方形，也可以以长方形或圆形形状配置红外线传感器。此外，也可以增加配置的红外线传感器的数目从而将温度传感器芯片6设为高分辨率。根据该结构，仅凭利用温度信息就能够检测多个对象物(例如，双手的动作)， 或者除了对象物的位置以外形状也能够精确地检测出。因此，不会像图像处理技术那样让运算量变得庞大，能够识别更多样的姿势，能够对电子设备进行复杂的操作输入。以下，说明假设配置8X8 = 64个红外线传感器而构成温度传感器芯片6，并且姿势识别装置I处理64个传感器的温度从而识别双手的姿势的情况下的姿势识别装置I的结构、以及姿势识别方法。另外，为了便于说明，对于与在上述的实施方式I中说明的附图具有相同的功能的构件，附加相同的标记并省略其说明。[姿势识别装置的结构]在本实施方式中的姿势识别装置I中，如图I所示，数据处理单元10的结构为还包括偏差计算单兀36。偏差计算单元36基于坐标配置单元31、变化量计算单元32、重心决定单元33生成的各种信息，算出变化区域的偏差。偏差计算单元36计算变化区域在X轴方向的偏差 (σ X2)和在Y轴方向的偏差(σ y2)。首先，以与在实施方式I中说明的相同的方法，坐标配置单元31在8X8的XY坐标系上描绘温度信息。图17是示意性地表示坐标配置单元31将来自各个传感器的温度描绘到XY坐标系后的温度信息的数据结构的图。下面，变化量计算单元32基于在每个检测定时所得到的XY坐标系的温度信息，确定每个检测定时的变化区域。图18是表示在各个检测定时中、双手的位置关系与在该定时中取得的温度信息和变化区域之间的关系的图。在双手相互靠近的定时T1，如XY坐标系T1所示，变化区域(网点的区域)集中在中央。另一方面，在双手沿水平方向分离的定时τ2，如XY坐标系T2所示，变化区域分散在左右方向。接着,变化量计算单元32对每个坐标位置求变化量Λ Τ,进而求SUM。重心决定单元33基于变化量AT以及SUM，对每个检测定时决定重心G的坐标位置(Gx，Gy)。图19是表示在图18所示的定时1\、T2的定时，通过变化量计算单元32生成的信息、通过重心决定单元33生成的信息、以及通过偏差计算单元36生成的信息的具体例的图。如图19所示，若求出各个坐标位置的变化量ΛΤ(Χ，Υ)、变化量的合计SUM、变化区域的重心G的坐标位置(Gx，Gy)，则偏差计算单元36基于这些值来计算变化区域的偏差。 具体地说，偏差计算单元36分别基于下式计算变化区域在X轴方向的偏差(σ X2)和在Y轴方向的偏差(oy2)。下式即为，σ X2 = {(ΔΤ(1,1) + ΔΤ(1,2) + ΔΤ(1,3) + ΔΤ(1,4) + ΔΤ(1,5) + ΔΤ(1,6) + ΔΤ(1, 7) + ΔΤ(1,8)) X (1-Gx) + (AT(2, I) + Δ T (2, 2) + Δ T (2, 3) + Δ T (2, 4) + Δ T (2, 5) + Δ T (2,6)+ ΔΤ(2,7) + ΔΤ(2,8)) X (2-Gx) + ( Δ T (3, I) + Δ T (3, 2) + Δ T (3, 3) + Δ T (3, 4) + Δ T (3, 5) + Λ T (3，6) + Λ T (3，7) + Λ T (3，8)) X (3_Gx) + ( Λ T (4，I) + Λ T (4，2) + Λ T (4，3) + Λ T (4，
4)+ Δ T (4, 5) + Δ T (4, 6) + Δ T (4, 7) + Δ T (4, 8)) X (4_Gx) + ( Λ T (5，I) + Λ T (5，2) + Λ T (5， 3) + Λ T (5，4) + Λ T (5，5) + Λ T (5，6) + Λ T (5，7) + Λ T (5，8)) X (5_Gx) + ( Λ T (6，I) + Λ T (6， 2) + Δ T (6, 3) + Δ T (6, 4) + Δ T (6, 5) + Δ T (6, 6) + Δ T (6, 7) + Δ T (6, 8)) X (6_Gx) + ( Λ T (7， 1) + ΔΤ(7,2) + ΔΤ(7,3) + ΔΤ(7,4) + ΔΤ(7,5) + ΔΤ(7,6) + ΔΤ(7,7) + ΔΤ(7, 8)) X (7-6χ) + (ΔΤ(8, 1) + ΔΤ(8,2) + ΔΤ(8,3) + ΔΤ(8,4) + ΔΤ(8,5) + ΔΤ(8,6) + ΔΤ(8,
7)+ ΔΤ(8,8)) X (8-Gx)} +SUM 以及σ y2 = {( Λ T (I，I) + Λ T (2，I) + Λ T (3，I) + Λ T (4，I) + Λ T (5，I) + Λ T (6，I) + Λ T (7，
1)+ ΔΤ(8, I)) X (I-Gy) + ( Δ T (1, 2) + Δ T (2, 2) + Δ T (3, 2) + Δ T (4, 2) + Δ T (5, 2) + Δ T (6,
2)+ ΔΤ(7,2) + ΔΤ(8,2)) X (2-Gy) + ( Δ T (1, 3) + Δ T (2, 3) + Δ T (3, 3) + Δ T (4, 3) + Δ T (5,
3)+ Λ T (6，3) + Λ T (7，3) + Λ T (8，3)) X (3-Gy) + ( Δ T (1, 4) + Δ T (2, 4) + Δ T (3, 4) + Δ T (4,
4)+ Δ T (5, 4) + Δ T (6, 4) + Δ T (7, 4) + Δ T (8, 4)) X (4_Gy) + ( Δ T (1, 5) + Δ T (2, 5) + Δ T (3,
5)+ Δ T (4, 5) + Δ T (5, 5) + Δ T (6, 5) + Δ T (7, 5) + Δ T (8, 5)) X (5-Gy) + ( Δ T (1, 6) + Δ T (2,
6)+ Δ T (3, 6) + Δ T (4, 6) + Δ T (5, 6) + Δ T (6, 6) + Δ T (7, 6) + Δ T (8, 6)) X (6-Gy) + ( Λ T (1，
7)+ ΔΤ(2,7) + ΔΤ(3,7) + ΔΤ(4,7) + ΔΤ(5,7) + ΔΤ(6,7) + ΔΤ(7,7) + ΔΤ(8,
7))X (7-Gy) + ( Δ T (1, 8) + Δ T (2, 8) + Δ T (3, 8) + Δ T (4, 8) + Δ T (5, 8) + Δ T (6, 8) + Δ T (7,
8)+ ΔΤ(8,8)) X (8-Gy)} +SUM。在图19所示的例子中，按照上述的算式，偏差计算单元36算出定时T1中的X轴方向的偏差σ X2为2. 394, Y轴方向的偏差σ y2为I. 222。此外,算出定时T2中的偏差σ χ2 为 6. 125，偏差 σ y2 为 I. 018。最后，姿势识别单元34基于偏差计算单元36算出的每个定时的偏差的变迁和变化区域的面积的变迁，识别双手的姿势。与实施方式I同样地，双手的姿势模式也存储在姿势模式存储单元40。图20是表示在本实施方式的姿势模式存储单元40中存储的姿势模式的一例的图。如图20所示，姿势模式存储单元40中除了图12所示的姿势模式之外，还存储了姿势识别单元34能够识别的几个双手的姿势模式。若使用双手，则用户可以通过改变双手的距离(将双手闭合或者展开)，将各种种类的姿势输入到装置中。在本实施方式中，姿势识别单元34参照偏差计算单元36算出的偏差，能够识别双手向哪个方向闭合或者展开。具体地说，姿势识别单元34在图19的例子中那样X轴方向的偏差值随着时间的经过而增加了的情况下，判断为双手向水平方向展开。相反，在偏差的值减少了的情况下， 判断为从双手展开的状态变为向水平方向闭合。同样地，在Y轴方向的偏差值随着时间的经过而增加了的情况下，判断为双手向垂直方向展开。相反，在偏差的值减少了的情况下， 判断为从双手纵向展开的状态变为向垂直方向闭合。此外，姿势识别单元34在X轴方向的偏差和Y轴方向的偏差都增加了的情况下， 判断为可能是双手斜向展开，或者双手之间的距离不变但双手沿Z轴方向靠近了装置。这时，姿势识别单元34还根据变化区域的面积是否增加来判断是斜向展开还是靠近。
此外，姿势识别单元34在X轴方向的偏差和Y轴方向的偏差都减少了的情况下， 判断为可能是双手斜向闭合，或者双手之间的距离不变但双手沿Z轴方向远离了装置。这时，姿势识别单元34还根据变化区域的面积是否减少来判断是斜向闭合还是远离。此外，姿势识别单元34在X轴方向的偏差和Y轴方向的偏差都没怎么变化的情况下，判断为双手的距离没有变更并且也没有沿Z轴方向活动。因此，这时能够应用实施方式 I的单手的姿势识别步骤，因此按照图14所示的步骤来判断双手在X轴方向或Y轴方向上如何活动。[姿势识别处理流程]图21是详细地表示由本实施方式的姿势识别单元34执行的姿势识别处理的流程的流程图。首先，若参照图13说明本实施方式中的数据处理单元10的各个部分执行的姿势识别处理的流程，则与实施方式I的不同点在于在S107中进一步由偏差计算单元36对每个检测定时求偏差。χ2、σ y2 ;在S108中进一步与定时Ti相关联而保存偏差。χ2、σ y2。关于本实施方式中的Slll的姿势识别处理，参照图21进行说明。姿势识别单元34首先在规定期间(定时Ttl Tn)的每个定时Ti,取得偏差σ χ2、 σ y2(S301)。并且，判断偏差的值随着时间的经过而如何变化(增加、减少或者没有变化)。姿势识别单元34在偏差σ χ2有变化时(S302中为“否”)，判断偏差σ χ2为增加倾向还是减少倾向(S303)。姿势识别单元34在偏差σχ2为减少倾向时(S303中为“否”)，接着判断偏差of 是否为减少倾向(S304)。在偏差σ y2不是减少倾向时、即偏差σ y2为增加倾向或者没有变化时(S304中为 “否”)，以X方向的活动为基准，将在上述规定期间内检测到的活动识别为“03:将双手向左右方向闭合”姿势(S305)。另一方面,在偏差σ y2为减少倾向时、即偏差σ χ2、Oy2都是减少倾向时(S304中为“是”)，姿势识别单元34在每个定时Ti取得变化区域的面积(S306)。 并且，判断变化区域的面积是否随着时间的经过而处于减少倾向(S307)。当面积不是减少倾向时、即面积没有变化时(S307中为“否”)，将在上述规定期间内检测到的活动识别为 “43:将双手斜向闭合”姿势(S308)。另一方面，当面积为减少倾向时(S307中为“是”)，将在上述规定期间内检测到的活动识别为“21 :将手远离”姿势(S309)。另一方面，姿势识别单元34在偏差ox2为增加倾向时(S303中为“是”)，接着判断偏差0 y2是否为增加倾向(S310)。在偏差σ y2不是增加倾向时、即偏差σ y2为减少倾向或者没有变化时(S310中为 “否”)，以X方向的活动为基准，将在上述规定期间内检测到的活动识别为“02:将双手向左右方向展开”姿势(S311)。另一方面，在偏差为增加倾向时、即偏差ox2、。/都是增加倾向时(S310中为“是”)，姿势识别单元34在每个定时Ti取得变化区域的面积(S312)。 并且，判断变化区域的面积是否随着时间的经过而处于增加倾向(S313)。当面积不是增加倾向时、即面积没有变化时(S313中为“否”)，将在上述规定期间内检测到的活动识别为 “42:将双手斜向展开”姿势(S314)。另一方面，当面积为增加倾向时(S313中为“是”)，将在上述规定期间内检测到的活动识别为“20 :将手靠近”姿势(S315)。另一方面，姿势识别单元34在S302中没有发现偏差σ x2有增减时(S302中为“是”)，接着判断偏差Oy2有无增减(S316)。姿势识别单元34在偏差σ y2没有变化时、即偏差σ χ2、O y2都没有增减时(S316 中为“是”)，执行图14所示的基于重心的轨迹的姿势识别处理而识别姿势。另一方面，姿势识别单元34在偏差σ y2有变化时(S316中为“否”)，判断偏差σ y2为增加倾向还是减少倾向(S317)。姿势识别单元34在偏差^y2为减少倾向时(S317为“否”)，将在上述规定期间内检测到的活动识别为“13:将双手向上下方向闭合”姿势(S318)。另一方面，在偏差of 为增加倾向时(S317为“是”)，姿势识别单元34将在上述规定期间内检测到的活动识别为 “12:将双手向上下方向展开”姿势(S319)。根据上述结构以及方法，与实施方式I相比，通过取得更高精度的温度信息dl，从而能够识别多个对象物，或者连对象物的形状都能够识别。从而，能够实现即使不像图像处理技术那样处理庞大的信息量也能够进行更多种多样的操作输入的输入装置。另外在上述的各实施方式中，说明了姿势识别装置I识别双手的展开闭合姿势的结构，但本发明的姿势识别装置I的结构不限于此。本发明的姿势识别装置I能够基于上述步骤来识别单手的手指的展开闭合姿势。[变形例2]在上述的实施方式中，说明了将传感器单元2和姿势识别装置I (智能机100) — 体地构成的情况，但本发明的姿势识别装置I的结构不限于此。例如，有别于姿势识别装置I而远距离设置传感器单元2，并利用适合的通信部件使姿势识别装置I取得传感器单元2的检测信号的结构也包含在本发明中。即，姿势识别装置I也可以不包括传感器单元2，这时，只要具备从传感器单元2取得检测信号的适合的通信部件即可。本发明不限于上述的各个实施方式，在权利要求所示的范围内能够进行各种变更，对在不同的实施方式中分别公开的技术手段进行适当组合而得到的实施方式也包含在本发明的技术范围内。最后，姿势识别装置I的各个块、尤其是数据处理单元10的各个部分可以通过硬件逻辑来构成，也可以如下那样利用CPU通过软件来实现。S卩，姿势识别装置I具有执行用于实现各个功能的控制程序的命令的CPU (中央处理单元)、存储了上述程序的R0M(只读存储器)、展开上述程序的RAM(随机存取存储器)、 存储上述程序以及各种数据的存储器等存储装置(记录介质)等。并且，本发明的目的也可以通过将以计算机可读取的方式记录了实现上述的功能的软件即姿势识别装置I的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质提供给上述姿势识别装置1，并由该计算机(或者CPU、MPU)读出并执行记录介质中所记录的程序代码而达成。作为上述记录介质,例如可以使用磁带和盒带等带系列、包含软(注册商标)盘/ 硬盘等磁盘或⑶-R0M/M0/MD/DVD/⑶-R等光盘的盘系列、IC卡(包含存储卡)/光卡等卡系列、或者掩膜R0M/EPR0M/EEPR0M/闪速ROM等半导体存储器系列等。此外，也可以将姿势识别装置I构成为能够与通信网络连接，并且经由通信网络而提供上述程序代码。作为该通信网络，不特别限定，例如可利用互联网、内部网(intranet)、外部网、LAN、ISDN、VAN、CATV 通信网、虚拟专用网(virtual private
21network)、电话线路网、移动体通信网、卫星通信网等。此外，作为构成通信网络的传输介质，不特别限定，例如，无论是IEEE1394、USB、电力线传播、线缆TV线路、电话线、ADSL线路等有线，还是IrDA或遥控器那样的红外线、蓝牙(注册商标)、802. 11无线、HDR、便携式电话网、卫星线路、地波数字网等无线都可以利用。另外，本发明也可以通过上述程序代码以电子传输方式而具体化的、嵌入到载波的计算机数据信号的形式来实现。本发明的姿势识别装置能够安装于智能机、便携式电话、PDA、便携式游戏机、电子字典、电子手册、数字照相机、数字摄像机、个人计算机、笔记本型个人电脑、电视机、录像生成装置、家庭用游戏机等各种电子设备中，并且能够负责这些电子设备的输入功能。尤其， 能够作为具备了投影仪功能的电子设备的输入装置而非常有效地使用。
权利要求
1.一种姿势识别装置，其特征在于，包括温度传感器，配置多个红外线传感器而构成；变化区域确定部件，基于上述温度传感器的红外线传感器分别检测的温度，将发生了温度变化的变化区域确定为表示手的区域；以及姿势识别部件，确定上述变化区域确定部件确定的变化区域的移动轨迹，从而识别手的姿势。
2.如权利要求I所述的姿势识别装置，其特征在于，包括重心决定部件，决定通过上述变化区域确定部件所确定的变化区域的重心，上述姿势识别部件通过追踪上述重心的位置从而确定上述移动轨迹。
3.如权利要求2所述的姿势识别装置，其特征在于，包括变化量计算部件，通过比较红外线传感器分别检测的各自的温度和规定的基准温度， 从而按每个红外线传感器计算温度变化量，上述重心决定部件基于按每个红外线传感器所得到的上述温度变化量，决定上述变化区域的重心。
4.如权利要求I至3的任一项所述的姿势识别装置，其特征在于，包括掩膜存储单元，与本姿势识别装置连接的电子设备的应用的种类相关联地，存储表示上述多个红外线传感器中的有效无效的配置模式的掩膜；以及掩膜选择部件，从上述掩膜存储单元选择与上述电子设备正在启动的应用相关联的掩膜，上述变化区域确定部件，仅基于通过上述掩膜选择部件所选择的掩膜为有效的红外线传感器检测出的温度，确定变化区域。
5.如权利要求I至4的任一项所述的姿势识别装置，其特征在于，包括偏差计算部件，计算由上述变化区域确定部件所确定的变化区域的偏差，上述姿势识别部件基于上述偏差随着时间的经过的增减而识别姿势。
6.如权利要求5所述的姿势识别装置，其特征在于，上述姿势识别部件，在上述变化区域的偏差增加时，识别为双手或者手指朝着展开的方向活动，在上述变化区域的偏差减少时，识别为双手或者手指朝着闭合的方向活动。
7.一种姿势识别方法，其特征在于，包括温度取得步骤，从配置多个红外线传感器而构成的温度传感器取得每个红外线传感器的温度；变化区域确定步骤，基于通过上述温度取得步骤取得的、上述红外线传感器分别检测的温度，将发生了温度变化的变化区域确定为表示手的区域；以及姿势识别步骤，确定通过上述变化区域确定步骤确定的变化区域的移动轨迹，从而识别手的姿势。
8.—种控制程序，用于使计算机作为权利要求I至权利要求6的任一项所述的姿势识别装置的各个部件发挥作用。
9.一种计算机可读取的记录介质，记录了权利要求8所述的控制程序。
全文摘要
本发明提供一种姿势识别装置、姿势识别方法、控制程序以及记录介质。与使用场所的亮度无关地实现高速处理且高精度的非接触型的输入功能。本发明的姿势识别装置(1)的其特征在于，包括温度传感器芯片(6)，配置多个红外线传感器而构成；变化量计算单元(32)，基于上述温度传感器的红外线传感器分别检测的温度，将发生了温度变化的变化区域确定为表示手的区域；以及姿势识别单元(34)，确定上述变化区域确定部件确定的变化区域的移动轨迹，从而识别手的姿势。
文档编号G06F3/01GK102591452SQ201110386488
公开日2012年7月18日 申请日期2011年11月29日 优先权日2010年12月8日
发明者有原武, 木下政宏, 阿部雅弘 申请人:欧姆龙株式会社