手势识别装置、手势识别方法和程序的制作方法

专利名称：手势识别装置、手势识别方法和程序的制作方法
技术领域：
本发明涉及一种用于识别诸如人手的移动之类的运动(手势)的手势(gesture) 识别装置，及其方法和由所述手势识别装置执行的程序。
背景技术：
作为用于识别人执行的运动(手势)的手势识别技术/方法，以下内容是已知的。作为所述技术之一，以下的执行手势识别的技术是已知的，在该技术中对于图像 信号执行用于运动分析的图像信号处理，其中通过成像装置对做出手势的主体成像获得所 述图像信号。另一技术也是已知的，在该技术中，提供了在其上安装了加速度传感器的遥控装 置并且基于根据例如由握持所述遥控装置用户执行的运动获得的、来自加速度传感器的检 测信号来执行手势识别。另外，通过使用例如用于检测从人体发射的红外辐射的红外检测元件来检测人的 移动的另一技术也是已知的。例如，可以将以上的手势识别的结果应用于对电子装置的操作命令。也就是说，通 过作为特定手势的用户移动可以远程操作电子装置。例如，在以上手势识别方法中的使用红外检测元件的方法中，与其中对所拍摄的 图像信号执行用于运动分析的图像信号处理的方法相比，成像装置是不必要的并且具有大 处理负荷的图像信号处理的执行也是不必要的。另外，当做出手势时，可以使用诸如用户的 手之类的身体部位，因此，提供安装了加速度传感器的遥控装置是不必要的。例如，在JP-A-5_81503(专利文献1)中，公开了一种配置，其中，当在从信号输入 起的给定的时间时段内，检测到具有与确定可移动方向的信号相同极性的信号时，所检测 的信号被确定为是与移动方向相同的方向，因而可以由双元件型热释电(pyroelectric) 传感器来连续地输入在相同方向上的移动，所述双元件型热释电传感器是红外检测元件类 型。在JP-A-2008-16015(专利文献2)中，公开了一种入侵(intrusion)检测系统的 配置，所述入侵检测系统通过使用热释电传感器来辨别人体和小动物。在JP-A-738971 (专利文献3)中，公开了一种配置，其中，在电视接收机中以上和 下、左和右的十字形状布置四个红外检测元件，并且基于由这些红外检测元件获得的检测 信号之间的时间差，依据用户的手沿左右方向移动的手势来改变频道以及依据用户的手沿 上下方向移动的手势来调节音量。在JP-A-ll-259206(专利文献4)中，公开了一种配置，其中，通过使用滤波器单元 可以仅仅识别人体的特定部位在特定方向上的快速移动，所述滤波器单元允许传送红外检 测元件的检测信号中的频率高于给定频率的信号。在JP-A-2006-27726(专利文献5)中，公开了一种配置，其中，使用每一个具有两 个体检测区域的两个热释电红外传感器来在单轴方向确定人体上的移动方向。

发明内容
期望使用例如双元热释电(dual-type pyroelectric)传感器所代表的、可以检测 单轴方向(一维)移动的一维传感器来获得比过去具有更高可靠性的手势识别结果。根据本发明的实施例，提供了如下所述的手势识别装置。也就是说，手势识别装置包括第一一维传感器部件和第二一维传感器部件， 用于检测与沿着一个检测轴的一维方向上的物体(object)的运动对应的移动，并且输 出与检测的移动对应的信号，其中沿着关于第一方向和第二方向的不同方向布置检测 轴，所述第一方向和第二方向是被定义为识别目标的物体的线性运动的方向；正规化 (normalization)处理部件，用于通过将从第一一维传感器部件和第二一维传感器部件输 出的相应的第一信号和第二信号各自的幅度值转换为由关于峰值的比率表示的值，来执行 正规化处理；相平面映射处理部件，用于通过在各个相同的定时处，使用基于正规化的第一 信号值的x坐标值和基于正规化的第二信号值的1坐标值、在相平面上绘制坐标，以时间序 列形成对应于第一信号和第二信号的信号轨迹；相关系数计算部件，用于通过使用形成信 号轨迹的坐标值来计算关于第一信号和第二信号的相关系数；以及运动确定部件，用于至 少基于相关系数的值是正还是负，来确定所检测的移动是第一方向上的运动还是第二方向 上的运动。在以上的配置中，配置第一一维传感器部件和第二一维传感器部件，使得沿着关 于作为之前已经被定义的物体的线性运动的方向的第一方向和第二方向的不同方向布置 检测轴。据此，即使执行在第一方向和第二方向上移动运动中的任何一个运动，第一一维传 感器部件和第二一维传感器部件两者也可以以良好的条件检测该运动并且输出信号。在这个条件下，来自第一一维传感器部件和第二一维传感器部件的信号被正规化 并且被映射在在相平面上以形成信号轨迹，并且进一步，计算信号轨迹的相关系数。在信号轨迹的形状上反映了第一一维传感器部件和第二一维传感器部件输出的 信号的相位和极性。因而，从信号轨迹计算的相关系数的正/负对应于检测的运动是第一 方向运动还是第二方向运动。因此，可以做出确定以便基于相关系数来辨别第一方向运动 和第二方向运动。如上所述的，根据本发明的实施例，与过去相比，可以以更高的精度，做出关于至 少在作为彼此不同的第一方向和第二方向的沿着两个轴的方向上的运动的确定。


图1是示出根据实施例的相框(photo frame)显示设备的外观示例以及被定义为 相对于相框显示设备的手势操作的手势运动的示例的视图；图2是示出相框显示设备的配置示例的框图；图3是示出一维传感器的配置示例的框图；图4A和图4B是示出作为一维传感器的双元热释电传感器的配置示例的视图；图5A和图5B是用于解释双元热释电传感器的运动检测原理的波形图；图6A和图6B是示出用于检测沿着水平/垂直方向的两个轴方向的手势运动的一 维传感器的可想到的(conceivable)布置示例的视图7A至图7C是示出在图6A和图6B所示的布置示例下获得的传感器信号的波形 图；图8A和图8B是示出根据实施例的一维传感器的布置示例的视图；图9是示出在根据实施例的一维传感器的布置示例下获得的传感器信号的波形 图；图IOA至图IOD是示出在根据实施例的一维传感器的布置示例下获得 的对应于向 左运动、向右运动、向上运动和向下运动的传感器信号的波形图；图IlA和图IlB是用于解释传感器信号的正规化处理和相平面(phas印lane)映 射处理的曲线图；图12A至图12C是示出对应于向右运动和向左运动获得的传感器信号和相平面上 的信号轨迹的示例的曲线图；图13A至图13C是示出对应于向下运动和向上运动获得的传感器信号和相平面上 的信号轨迹的示例的曲线图；图14A至图14B是示出对应于右旋获得的传感器信号和相平面上的信号轨迹的示 例的曲线图；图15A至图15B是示出对应于左旋获得的传感器信号和相平面上的信号轨迹的示 例的曲线图；图16A和图16B是用于解释矢量的叉积(cross product)的视图；图17是示出手势运动确定单元的配置示例的框图；图18是示出由手势运动确定单元执行的处理例程示例的流程图；图19是示出用于检测手势运动时段和依据该检测记录样本的处理例程示例的流 程图；图20是示出正规化处理的流程图；图21A和图21B是示出根据实施例的一维传感器(红外检测元件)的布置示例的 修改示例的视图；以及图22k和图22B是示出根据实施例的一维传感器(红外检测元件)的布置示例的 修改示例的视图。
具体实施例方式下文中，将按照以下顺序来解释执行本发明的最佳模式(在以下描述中被称作实 施例)。1.实施例中手势操作的示例2.相框显示设备的配置示例3. 一维传感器对移动方向的检测原理4. 一维传感器的可想到的布置示例5.作为实施例的一维传感器的布置示例6.用于确定手势运动的信号处理配置6-1正规化处理，相平面映射处理6-2水平/垂直方向上的手势运动的确定
6-3向左运动/向右运动中的方向以及向上运动/向下运动中的方向的确定6-4左旋运动/右旋运动的确定7.确定手势运动的算法8.相平面映射处理的修改示例
9.有关一维传感器的布置示例的修改示例1.实施例中手势操作的示例在该实施例中，将根据本发明实施例的手势识别装置应用于相框显示设备。当根 据实施例的相框显示设备识别作为用户执行的手势操作的、给定的手的移动/运动(手势 运动)时，该设备接收该运动作为操作命令并且执行适当的响应运动。图1作为透视图示出了根据该实施例的相框显示设备的外观示例，并且还示出了 用户相对于相框显示设备执行的手势操作的示例。在图中所示的、具有规定的宽度、高度和深度的相框显示设备1在正面具有矩形 的轮廓形状。在该情形中的相框显示设备1具有例如近似20cm至25cm的宽度和近似15cm的 高度的轮廓尺寸，这适合于放置在桌子等上。在本体部分2的前部，提供了在其上显示图像的显示屏幕部分3。显示屏幕部分3是应用于相框显示设备1的显示设备中的图像面板部分。支座4是被附加在本体部分2的后侧的部分，用于使相框显示设备1的本体部分 2保持如实际的相框一样的直立状态。在该情形中，在本体部分2的前部上的框的较低的中间部分处提供传感器单元5 的窗口部分。传感器单元5由两对以下描述的一维传感器构成。配置在这些一维传感器中 包括的检测元件(红外检测元件)，使得在相框显示设备1的前方形成空间检测区域以及以 下述的给定位置关系来布置空间检测区域。在该实施例中，通过移动手来执行用户要执行的手势操作。用户移动他/她的手 作为手势操作，使得自身的手进入相框显示设备1的前侧上的传感器单元5的空间检测区 域。首先，将在该实施例中被确定为手势操作的手的移动(手势运动)基本定义为以 下四种运动。1 从右向左直线地移动手的向左运动2 从左向右直线地移动手的向右运动3 向上直线地移动手的向上运动4:向下直线地移动手的向下运动另外，在该实施例中应用其中识别以上四种基本的手势运动的配置，并且可以进 一步将以下两种运动定义为手势运动。5 通过以圆形方式做出的左手旋转(逆时针)来移动手的左旋运动6 通过以圆形方式做出的右手旋转(顺时针)来移动手的右旋运动根据该实施例的相框显示设备1基于传感器单元5的传感器信号来识别已经执行 了以上六种手势操作的哪一种运动。然后，相框显示设备1执行与分配给所识别的手势运 动的操作命令对应的运动。
在此，列举了对于相应的六种手势运动分配操作命令的示例。以下的分配方式仅仅是示例并且可以以不同的方式考虑其他应用示例。首先，分配相应的向左/向右运动作为快进/预览相框显示设备1中显示的图像 的操作命令。该实施例中的相框显示设备1能够在幻灯片中放映(slide show)显示在存储器 中存储的图像，该幻灯片放映以固定的时间间隔依序显示图像。分配相应的向上/向下运 动作为开始/停止幻灯片放映的显示的操作命令。除了相片图像，相框显示设备1还可以显示时钟、日历等，并且可以依据操作来切 换显示。分配左旋/右旋运动作为用于依据给定的快退顺序(order)和预览顺序来切换显 示的操作命令。2.相框显示设备的配置示例图2示出了可以作为实施例应用的相框显示设备1的内部配置示例。如图中所示，根据该实施例的相框显示设备1包括控制单元(CPU:中央处理单 元)11、显示设备12、闪存13、SDRAM 14、时钟单元15、操作单元16、存储卡接口 17和传感 器单元5。控制单元11包括例如CPU之类的硬件。作为控制单元11的CPU读取存储在闪存 13中的程序并且将所述程序加载到例如SDRAM 14，然后，执行所读取的程序。因而，可以适 当地获得作为相框显示设备1的必要的操作。SDRAM 14是控制单元11的主要存储设备，而闪存13是辅助存储设备。在该情形中，以固定(static)方式将闪存13包括在相框显示设备1中。除了程 序之外，闪存13存储从存储卡20读取以及传递的图像数据。显示设备12包括显示面板和驱动显示面板的驱动电路单元，其中驱动电路依据 控制单元11的图像显示控制执行对显示设备的操作以由此在显示面板上显示图像。作为 显示面板显示图像的部分对应于在本体部分2的前部中暴露的显示屏幕部分3。在该实施例中，应用液晶显示器作为显示设备12，然而，同样优选地，可以应用诸 如有机EL显示设备之类的其他显示设备。时钟单元15是用于对当前时间进行计时(clock)的部分。在该情形中，时钟单元 15可以对年、月、日以及小时、分钟和秒进行计时作为当前时间。控制单元11可以读取并获 得由时钟单元15计时的当前时间。在该情形中的操作单元16指示在相框显示设备1中以集成的方式包括的操作元 件。当对操作单元16中包括的操作元件执行操作时，将对应于该操作的操作命令信号输出 给控制单元11。控制单元11响应于输入的操作信号适当地执行必要的控制/处理。在允许通过使用遥控器来执行对相框显示设备1的操作的情形中，操作单元16还 包括与相框显示设备1分开提供的遥控器以及在相框显示设备1的侧面提供的接收单元， 该接收单元接收并解调从遥控器传送的命令信号并且将该信号作为操作信号传送给控制 单元11。该实施例的相框显示设备1被配置为响应于手势操作执行适当的操作，然而，该 设备包括作为适当的操作元件的操作单元16的配置。例如，当存在对相框显示设备1的各 种操作时，可能存在手势操作难以表达的操作，然而，可以通过提供操作单元16来执行这些操作。另外，当诸如传感器单元5之类的处理(deal with)手势操作的功能出故障或者 处于其他情形中时，可以通过对操作单元16操作来执行相同的操作。
存储卡接口 17包括在其上安装作为外部存储设备的存储卡20的部分，存储卡接 口 17被配置为在控制单元11的控制下能够作为对安装的存储卡20进行的数据存取而至 少读取数据。从存储卡20读取的数据被转移到控制单元11。将解释具有以上配置的相框显示设备1的基本使用的示例和相框显示设备1的对 应的显示操作。用户在相框显示设备1上安装其中存储了由例如数字相机等拍摄的图像数据的 存储卡20并且执行用于显示图像的操作。响应于该操作，控制单元11通过存储卡接口 17读取在存储卡20中存储的图像数 据并且执行控制，以便在显示设备12中将数据显示为图像。因而，在相框显示设备1的显示屏幕部分3上显示存储在用户安装的存储卡20中 的图像数据的图像。也可以将从存储卡20读取的所拍摄的图像数据存储到闪存13，并且显示存储在 闪存13中的图像数据。在该情形中，首先，用户在相框显示设备1上安装存储卡20并执行将存储在存储 卡20中的图像数据转移到闪存13的操作并且在闪存13中存储数据。此时，相框显示设备 1被配置为执行从例如存储卡20中存储的图像数据中选择在闪存13中要存储的图像数据 的操作。依据该操作，控制单元11依序从存储卡20中读取所选择的图像数据并执行写入 指令以及通过存储卡接口 17向闪存13转移数据。闪存13响应于指令写入所转移的图像 数据并存储图像数据以便根据文件来进行管理。在该情形中，闪存13中根据文件管理的图 像数据是静止图像数据并且是作为JPEG(联合图像专家组)格式的图像文件而管理的。闪 存13应用FAT作为文件系统，尽管这仅仅是示例。此后，当用户执行用于显示存储在闪存13中的图像的操作时，控制单元11从存储 在闪存13中的图像数据文件中读取必要的图像数据文件。控制单元11执行控制，以便回 放图像数据文件并在显示设备12中显示图像。该实施例的相框显示设备1可以回放和显示图像数据，如以下示例那样。首先，相框显示设备1可以执行一幅图像的显示，其中连续地显示从存储在闪存 13或者存储卡20中的图像数据中选择的仅仅一个图像的数据。相框显示设备1还可以执行所谓的幻灯片放映的显示，其中从存储在闪存13或者 存储卡20中的图像数据中选择的多个图像被依序显示，以便以固定的时间间隔来改变。在 幻灯片放映显示中，可以以固定的时间间隔来逐一显示图像以及可以以固定的时间间隔通 过多幅图像来显示图像。此外，该实施例的相框显示设备1还可以显示用于指示当前时间的时钟、日历等。 可以与时钟、日历等同时回放和显示存储在闪存1或者存储卡20中的图像数据。另外，可以以列表来显示存储在闪存13或者存储卡20中的图像数据的缩略图。此外，优选地，例如在图2示出的配置中提供诸如USB之类的数据接口并且通过这 样的数据接口来读取图像数据。可以适当地执行对该配置的改变和增加，并且相框显示设备1的内部配置不限于图2所示的配置。3. 一维传感器对移动方向的检测原理在该实施例中，应用作为检测在一维中，S卩，单轴方向上的移动的传感器的一维传 感器作为传感器单元5。某些类型的一维传感器是已知的，并且在该实施例中应用具有两个红外检测元件 的所谓双元热释电传感器。热释电传感器是这样的传感器，该传感器通过执行以已知的方 式应用热释电效应的对红外辐射的检测来输出对应于背景和物体(辐射红外辐射的物体) 之间的温度差的信号。在图3中示出使用热释电传感器作为一维传感器的设备的配置示例。图3中示出的一维传感器40包括聚光器(condenser) 41、热释电传感器单元42和 放大器滤波器43。由例如菲涅尔透镜形成聚光器41使得通过对热释电传感器单元42中的两个红外 检测元件分离光而会聚(condense)入射光。双元热释电传感器单元42包括被布置以便对应于与一维对应的单轴检测轴的两 个红外检测元件。两个红外检测元件中的每一个红外检测元件检测对应于每一个布置位置的空间 检测区域中的物体与背景之间的温度差，输出对应于检测到的温度差的信号。热释电传感 器单元42合成来自两个红外检测元件的信号并且输出作为检测信号的信号。该检测信号 示出在单轴方向上的移动方向。放大器滤波器43执行仅仅滤除(filter)高于规定频率的频率分量以移除噪声分 量等的滤波处理，并且执行对于检测信号的放大，然后，输出作为传感器信号的信号。将参照图4A和图4B来解释热释电传感器42对移动方向的检测原理。如附图所示，双元热释电传感器42包括两个红外检测元件51A、51B。红外检测元 件51A、51B被插入到晶体管Tr的栅极端与热释电传感器42的外栅极端G之间以便串联连 接。在此，红外检测元件51A、51B在其负电极处被串联连接。也就是说，红外检测元件51A、 51B以彼此相反的极性被串联连接。红外检测元件51A的正电极被连接到晶体管的栅极端， 红外检测元件51B的正电极端被连接到外栅极端G。电阻Rl并联到红外检测元件51A、51B的串联连接。另外，栅极/源极电阻R2被 插入到外栅极端G与漏极D之间。将参照图4A和图4B来解释热释电传感器42对移动方向的检测原理。如附图4A所示，双元热释电传感器42包括两个红外检测元件51A、5IB。依据随后 由图4B描述的位置关系来物理地布置红外检测元件51A、51B，其中通过聚光器41会聚的红 外辐射入射到红外检测元件51A、51B上。红外检测元件51A、51B被插入到晶体管Tr的栅极端与热释电传感器42的外栅极 端G之间以便以附图中所示的方式串联连接。在此，红外检测元件51A、51B在其负电极处 串联连接。也就是说，红外检测元件51A、51B以相反的极性被串联连接。红外检测元件51A 的正电极被连接到晶体管Tr的栅极端，红外检测元件51B的正电极端被连接到外栅极端G。电阻Rl并联到红外检测元件51A、51B的串联连接。另外，栅极/源极电阻R2被 插入到外栅极端G与漏极D之间。
作为在源极端S和栅极端G之间的栅极/源极电压Vd而获得热释电传感器42的 检测信号。在作为一维传感器40的设备中，布置红外检测元件51A、51B以便通过聚光器41接收外部的光。图4B示意性地示出在一维传感器40中红外检测元件51A、51B的物理布置 的示例。在该图中，以某个固定的间隔在上侧放置红外检测元件51A而在下侧放置红外检 测元件51B。对应于沿着纵向(垂直)方向通过红外检测元件51A、51B的虚线的方向将是对 应于该布置的热释电传感器单元42的检测轴L。也就是说，在对应于图4B的空间(space) 的红外检测元件51A、51B的布置方向上，将检测沿着纵向(垂直)方向的移动方向是向上 移动还是向下移动。当使图4B能够对应于图4A的直线运动方向1、2时，运动方向1将是 向上移动，而运动方向2将是向下移动。运动方向1、2是彼此相反方向的运动，S卩，当正方向是运动方向1时，操作方向2是相反方向。假设在图4A的运动方向1上发生物体的直线移动。响应于该移动，首先，由更靠 近移动开始位置的红外检测元件51A先检测由该移动造成的背景与该物体之间的温度差 的改变，然后，以一时间差中红外检测元件51B来检测该改变。严格来讲，红外检测元件响应于物体沿着检测轴L的移动，检测由该移动造成的 背景与该物体之间的温度差的改变。在以下描述中，为使得描述更容易，将“检测由移动造 成的背景与物体之间的温度差的改变”写作由红外检测元件“检测移动”。图5A示出依据运动方向1上的移动输出的红外检测元件51A、51B各自的信号Sa、 Sb以及热释电传感器单元42的检测信号Vd。在该情形中的红外检测元件51A的信号Sa指示依据检测移动的开始，处于正电平 的正弦波在点“t0”处上升，并且依据检测移动的结束，正弦波在点“t2”处变为0幅度。另一方面，红外检测元件51B在比红外检测元件51A晚的点处开始检测移动。在 图4A中，信号Sb指示在点“tl”处开始检测。因而，该信号指示在点“tl”处生成处于负电 平的正弦波。然后，依据检测移动的结束，正弦波在点“t3”处变为0电平。如参照图4A所解释的，以相反的极性连接红外检测元件51A和红外检测元件51B。 因此，由检测移动获得的信号Sa、Sb的波形彼此相反。如从图4A的电路可见，通过合成信号Sa、Sb来获得检测信号Vd。也就是说，在点“t0”到点“tl”期间图5A中示出的检测信号Vd变为与信号Sa相 同的、在半个周期内处于正电平的正弦波。由于将信号Sa和信号Sb合成，所以在点“tl”到 点“t2”的期间该信号变为在半个周期内处于负电平的正弦波，其近似是从点“t0”到“tl” 的时段的绝对值的两倍。然后，在点“t2”到点“t3”期间内出现与信号Sb相同的在半个周 期内处于正电平的正弦波。另一方面，当发生在图4A中运动方向2上的物体的直线移动时，首先，由红外检测 元件51B开始移动的检测，然后，由红外检测元件51A开始检测。图5B示出红外检测元件51A、51B各自的信号Sa、Sb以及检测信号Vd。在图5B中，信号Sa指示处于正电平的正弦波从点“tl”处上升。信号Sb指示在 点“to”处开始处于负电平的正弦波。因此，在点“t0”到点“tl”期间检测信号Vd变为与的信号Sb相同的、半个周期处于负电平的正弦波。由于将信号Sa和信号Sb合成，所以在点“tl”到点“t2”的期间该信 号变为在半个周期内处于正电平的正弦波，其近似是从点“tO”到“tl”的时段的绝对值的 两倍。然后，在点“ t2，，到点“ t3 ”期间内出现与信号Sa相同的在半个周期内处于负电平的 正弦波。当将图5A的检测信号Vd与图5B的检测信号Vd比较时，它们的波形图案 (pattern)是不同的以致彼此相反。也就是说，通过检测信号Vd的波形图案示出了沿检测 轴L的移动方向。4. 一维传感器的可想到的布置示例在此，在该实施例中，作为参照图1解释的手势运动，来识别向左运动、向右运动、 向上运动、向下运动,右旋运动以及左旋运动。为了使得解释更容易且可理解，假设在以上的六种手势运动中仅仅要检测四种运动，即，向左运动、向右运动、向上运动、以及向下运动。考虑其中应用参照图3至图5B解释的双元热释电传感器作为一维传感器的情形。 能够检测通过向左/向右运动进行的水平方向上的手势操作和通过向上/向下运动进行的 垂直方向上的手势操作。也就是说，有必要检测彼此不同的两个轴的运动方向。因而，作为一维传感器的检测轴，需要作为对应于水平(横向)方向的检测轴和对 应于垂直(纵向)方向的检测轴的两个检测轴，因此，两个一维传感器也是必需的。在图6A和图6B中示出了仅仅可想到的、以上两个一维传感器的布置的示例。在图6A中，示出了两个一维传感器40-1、40_2。一维传感器40_1的检测轴是Li， 一维传感器40-2的检测轴是L2。布置一维传感器40-1使得检测轴Ll对应于垂直(纵向)方向。另一方面，布置 一维传感器40-2使得检测轴L2对应于水平(横向)方向。也就是说，以一维传感器40-1 和40-2的检测轴彼此正交的位置关系来布置一维传感器40-1、40-2。在此，在一维传感器40-1的下面布置一维传感器40-2。图6B示出了依据图6A示出的一维传感器40-1、40_2的布置所形成的空间检测区 域的示例。一个空间检测区域指示可以由对应的一个红外检测元件51来检测用于指示其 中物体移动的空间区域。该空间检测区域将是受限的空间，其中在对应的一个红外检测元 件51的外框被放大并在空间中投射到可用的检测方向上时，由所述框的轨迹示意性地形 成所述受限的空间。首先，在一维传感器40-1侧，对应于位于上侧的红外检测元件51A-1，形成空间检 测区域60A-1，而对应于位于较低侧的红外检测元件51B-1，形成空间检测区域60B-1。依据对应的红外检测元件51A-1、51B_1的形状和布置角度，空间检测区域60A-1、 60B-1形成横截面具有矩形形状的空间，所述矩形形状在水平方向上延伸。关于位置关 系，依据对应的红外检测元件51A-1、51B-1的布置的位置关系，在上侧布置空间检测区域 60A-1，并且在下侧布置空间检测区域60B-1。在一维传感器40-2侧，对应于位于左侧的红外检测元件51A-2，形成空间检测区 域60A-2，并且对应于位于右侧的红外检测元件51B-2，形成空间检测区域60B-2。依据对应的红外检测元件51A-2、51B-2的形状和布置角度，空间检测区域60A-2、 60B-2形成横截面具有矩形形状的空间，在矩形形状中，水平方向为短边。相对于位置关系，依据对应的红外检测元件51A-2、51B-2的布置的位置关系，在左侧布置空间检测区域60A-2，在右侧布置空间检测区域60B-2。当应用一维传感器40-1、40_2的上述布置时，只要基于已经解释的一维传感器的 检测原理就可以检测上下、左右的各自的手势运动。作为示例，在执行向右运动的情形下，在一维传感器40-2首先执行向右运动的用 户的手(物体)通过空间检测区域60A-2，然后，侧通过空间检测区域60B-2。响应于此，红 外检测元件51A-2、51B-2以时间差检测到该运动，如图5A和图5B所示，输出信号Sa、Sb并 且输出有效的(significant)检测信号Vd。检测信号Vd指示物体已经向右方向移动。另一方面，该物体在方向轴是沿着垂直方向的一维传感器40-1侧同时通过空间 检测区域60A-1、60B-1。如从例如图5A和图5B中可见，从红外检测元件51A-1、51 B-1输出 的信号Sa、Sb处于相反相位。因此，检测信号Vd处于0电平。也就是说，该信号指示沿着 上下方向不存在移动。同样，在执行向上或向下手势运动的情形中，如根据以上的解释很显然的是，原则 上，一维传感器40-1的检测信号Vd指示物体已经在向上或向下方向上移动。一维传感器 40-2的检测信号Vd指示在左右方向上不存在移动。然而，本发明人已经证实了根据图6A和图6B所示的一维传感器的布置来实际识 别上/下和左/右手势运动非常困难。图7A、图7B和图7C分别示出了作为本发明人的实验结果，当在图6A和图6B所示 的一维传感器40-1和40-2的布置下执行作为手势运动的向右运动时，获得的传感器信号 Sl和传感器信号S2。传感器信号Sl是从其中检测轴沿着垂直方向的一维传感器40-1输 出的信号，传感器信号S2是从其中检测轴沿着水平方向的一维传感器40-2输出的信号，并 且传感器信号Sl和传感器信号S2的波形对应于从内部热释电传感器单元42输出的检测 信号Vd。如图7A、图7B和图7C中所示，在作为对应于水平方向上的检测轴的检测输出的传 感器信号S2中，获得了对应于向右运动的检测的近似相同的波形。也就是说，仅仅稳定地 检测到关于一维传感器40-2侧的向右运动。另一方面，在对应于垂直方向上的检测轴的传感器信号Sl中，正常地应当保持近 似0电平。然而，实际获得的传感器信号Sl有时候如图7A所示具有非常小的幅度，而有时 候如图7B和图7C所示具有大的幅度。此外，在图7B的情形下，传感器信号Sl关于传感器 信号S2的相位近似相同，而在图7C的情形下，传感器信号Sl关于传感器信号S2的相位相 反。因而，传感器信号Sl在幅度和相位两者中的表现不是恒定的。如上所述，其中检测轴沿着作为手势运动的移动方向的一维传感器的传感器信号 是稳定的，然而，其中检测轴沿着与运动方向正交的方向的一维传感器的传感器信号是不 稳定的。以下可以列举导致上述的传感器信号的不稳定的主要原因之一。也就是说，物体的实际移动方向不是严格对应于红外检测元件的检测轴。因此，即 使在打算将该物体沿着一个检测轴移动时，如果移动方向相对于一个检测轴倾斜，则在对 应于另一个检测轴的红外检测元件处出现由该倾斜造成的信号幅度。例如，当物体在执行向右运动的同时以稍稍向上移动时，在一维传感器40-1的传感器信号中出现指示向上移动的幅度，而当该物体还稍稍向下移动时，在一维传感器40-1的传感器信号中出现指示向下移动的幅度。如上所述，在传感器信号不稳定的情形中，即使在可以获得对应于手势运动的传 感器信号时，辨别传感器信号是处于右/左(水平)方向中的手势运动还是处于上/下(垂 直)方向中的手势运动也是相当困难的。例如，作为最突出的情形，假设对应于与手势运动的方向正交的检测轴的传感器 信号的幅度增加到与对应于手势运动的方向的检测轴对应的传感器信号的幅度相同的程度。为了获得正确的手势识别结果，有必要从传感器信号Si、S2中选择对应于手势运 动的真正方向的传感器信号。在此，当例如仅仅基于幅度电平(level)的大小选择对应于 手势运动的真正方向的传感器信号时，在以上状态中存在做出错误选择的很高的可能性。 当依据如下的算法，即，选择具有与依据手势运动可能出现的波形图案较接近的波形的传 感器信号作为对应于手势运动的真正方向的传感器信号的算法，来做出选择时，与手势运 动的真正方向不对应的传感器信号的波形变为较接近于波形图案的可能性可能很高，这是 因为相位和幅度两者均不稳定。因而，在图6A所示的一维传感器40-1、40_2的布置示例中，难以获得具有高可靠 性的手势识别结果。5.作为实施例的一维传感器的布置示例在该实施例中，期望在使用一维传感器的手势识别中获得与相关技术相比更高的 识别准确度。首先，四个对应于上下、左右的手势运动是如在图1所示的实施例中的基本运动。 也就是说，首先要作为手势运动识别的操作方向是水平(横向)方向(第一方向)和垂直 (纵向)方向(第二方向)。在以上的假设中，在该实施例中给出如图8A所示的一维传感器40-1、40_2的物理 布置的示例。也就是说，布置一维传感器40-1使得检测轴Ll相对于水平/垂直方向以45度的 角度倾斜。在该情形下，当从操作者(前向)侧看时，传感器向右倾斜。相对于一维传感器 40-1的上下方向，其被布置为使得红外检测元件51A-1处于上侧，红外检测元件51B-1处于 下侧。还布置一维传感器40-2使得检测轴L2相对于水平/垂直方向以45度的角度倾 斜。然而，使该传感器向与一维传感器40-1相对的左侧倾斜，这引起了检测轴L2的45度 倾斜以便与一维传感器40-1的检测轴Ll正交。在该情形下，布置使得该传感器使得在以上倾斜状态中，红外检测元件51B-2处 于上侧，红外检测元件51A-2处于下侧。图8B示出了依据图8A的一维传感器40_1、40_2的布置形成的、对应于红外检测 元件 51Α-1、51Β-1、51Α-2 和 51B-2 的空间检测区域 60A-1、60B-1、60A_2 和 60B-2。根据图8B所示的布置，首先，在一维传感器40-1中，在红外检测元件51A-1、51B_1 中可以获得沿着水平方向的位置的位移。类似地，还可以获得沿垂直方向的位置的位移。因而，红外检测元件51A-1、51B_1可以依据沿着垂直方向的向上/向下运动的手势运动、以时间差来检测移动。类似地，它们还可以依据沿着水平方向的向左/向右运动的手势运动、以时间差来检测移动。因而，红外检测元件51A-1、51B-1可以输出如参照图5A 和图5B解释的信号Sa、Sb以便对应于在水平/垂直方向上的任何手势运动。也就是说，一 维传感器40-1可以检测与水平/垂直方向上的任何手势运动对应的移动并且输出稳定的 传感器信号Si。类似地，一维传感器40-2也可以检测与水平/垂直方向上任何手势运动对应的移 动并且输出稳定的传感器信号S2。图9示出了作为本发明人的实验结果的、当在图8A和图8B所示的一维传感器 40-1和40-2的布置示例下执行向右运动作为手势运动时，获得的传感器信号Sl和传感器 信号S2。在图8A和图8B所示的一维传感器40-1、40-2 (红外检测元件5IA-I、5IB-I、51A-2 和51B-2)的布置示例的情形下，在检测到向右运动时，两个传感器信号Si、S2可以获得对 应于图5B的检测信号Vd的波形。图9中所示的两个传感器信号Si、S2具有对应于图5B 的检测信号Vd的波形。通过实验证实了在传感器信号Si、S2中可以稳定地获得可被认为 与图9等同的波形。在此，在图IOA到图IOD中示意性地示出了在图8A和图8B所示的一维传感器 40-1 (红外检测元件51A-1、51B-1)和一维传感器40_2(红外检测元件51A_2、51B_2)的布 置下执行上下、左右各自的手势运动时，获得的传感器信号S1、S2的波形。通过排除(exclude)依据在对应于一维传感器40_1 (红外检测元件51A-1、51B_1) 的一对空间检测区域60A-1、60B-1和对应于一维传感器40-2 (红外检测元件51A-2、51B-2) 的一对空间检测区域60A-2、60B-2之间的物理距离差生成的检测时间差，已经获得了在此 示出的波形。如果在空间中空间检测区域彼此交叉，对于红外检测元件侧的检测而言也不是障 碍。因此，在实际检测中，调节对应于一维传感器40-1(红外检测元件51A-1、51B-1)的空 间检测区域60A-1、60B-1和对应于一维传感器40-2 (红外检测元件51A_2、51B_2)的空间 检测区域60A-2、60B-2使之彼此重叠来由此排除检测时间差引起的问题。图IOA示出了通过检测作为向左运动的移动获得的传感器信号S1、S2。如图中所 示，响应于向左运动，传感器信号Si、S2具有对应于图5A的检测信号Vd的彼此同相的波 形。图IOB示出了在向右运动的情形下获得的传感器信号S1、S2。在向右运动的情形 下，传感器信号S1、S2具有关于图IOA的波形反转的波形。也就是说，传感器信号S1、S2具 有对应于图5B的检测信号Vd的彼此同相的波形。图9的波形对应于图IOB的波形。图IOC示出了通过检测作为向上运动的移动获得的传感器信号S1、S2。在该情形下，传感器信号Sl具有对应于图5A的检测信号Vd的波形，传感器信号 S2具有对应于图5B的检测信号Vd的波形，传感器信号Sl和传感器信号S2彼此异相。图IOD示出了通过检测作为向下运动的移动获得的传感器信号S1、S2。在该情形下，传感器信号Si、S2具有关于图IOC的波形分别反转的波形。也就是 说，传感器信号Sl具有对应于图5B的检测信号Vd的波形，传感器信号S2具有对应于图5A 的检测信号Vd的波形，传感器信号Sl和传感器信号S2彼此异相。
根据以上图IOA到图10D，首先，可以基于传感器信号S1、S2是彼此同相还是彼此异相来确定手势运动是沿着水平方向还是沿着垂直方向的识别。此外，可以基于传感器信 号Si、S2的极性来确定沿着水平方向的手势运动是向左运动还是向右运动，以及确定沿着 垂直方向的手势运动是向上运动还是向下运动。6.用于确定手势运动的信号处理配置6-1.正规化处理、相平面映射处理在本实施例中，通过在图8A和图8B的一维传感器40_1、40_2的布置示例下、以下 面解释的方式执行对传感器信号S1、S2的信号处理来执行手势识别的配置。在此，假设获得图IlA中所示的传感器信号Si、S2。通过检测向上操作实际获得 了传感器信号Si、S2。在该实施例中，对如上述获得的传感器信号Si、S2执行正规化处理。作为正规化处理，首先，找到有效时段(手势运动时段)中的最大值Vpl，其中在 传感器信号Sl中依据与手势运动对应的移动的检测来改变幅度。作为绝对值获得最大值 Vpl0然后，将在相同手势运动时段中获得的传感器信号Sl的幅度值除以最大值Vpl。因 而，将传感器信号Sl的幅度值正规化为在从-1到1的范围内的关于最大值Vpl的比率所 示的值。关于传感器信号S2，也以相同的方式找到手势运动时段中的作为绝对值的最大值 Vp2作为绝对值，并且将在相同手势运动时段中获得的传感器信号S2的幅度值除以最大值 Vp2。因而，将幅度值正规化为在从-1到1的范围内的关于最大值Vp2的比率所示的值。热释电传感器检测背景与物体之间的温度差并且依据该差输出幅度值。然而，实 际上将作为物体的操作者的手的温度变化。例如，由于体质引起的身体温度的基本差异，或 者因为手是湿的或者冷的，所以手的温度可能显著地变化。另外，随着从操作者的手到红 外检测元件的距离变长，检测信号的幅度减小。因而，即使在由操作者执行相同的操作时， 每次从一维传感器40-1、40-2输出的传感器信号Si、S2的幅度的大小也可能变化，这是因 为人手的温度、与手的距离等的影响引起的。因而，尽管响应于相同的手势来获得信号，但 在传感器信号Si、S2中的幅度的变化仍然存在时，适当地评估以下的信号处理变得非常困 难。因而，在该实施例中，通过执行以上的正规化处理，依据关于峰值(绝对值)的比 率将幅度值转换为从-1到+1的范围内的值。据此，传感器Si、S2将具有其中排除了实际 幅度的变化因素的正规化值。在以下的描述中分别将具有正规化的幅度值的传感器信号Si、S2称作正规化的 传感器信号N0M_S1、正规化的传感器信号N0M_S2。在正规化处理之后，执行将正规化的传感器信号N0M_S1和正规化的传感器信号 N0M_S2关于相平面映射的处理(相平面映射处理)。图IlB示出了使用对应于图IlA中所示的传感器信号S1、S2的正规化的传感器信 号N0M_S1和正规化的传感器信号N0M_S2，来执行相平面映射处理获得的结果。在图IlB所示的相平面中，χ坐标对应于正规化的传感器信号N0M_Sl，y坐标对应 于正规化的传感器信号N0M_S2。χ坐标和y坐标均具有从_1到+1的坐标范围。在该情形中的相平面映射处理将是这样的处理，其中使得正规化的传感器信号N0M_S1的值为χ坐标值并且使得正规化的传感器信号N0M_S2的值为y坐标值，其中在相同 定时处获得所述χ坐标值和y坐标值，以及依据在传感器信号中的时间流逝在相平面上绘 制坐标。
更具体地，在依据手势运动时段获得的N个正规化的传感器信号N0M_S1、N0M_S2 的样本数据中，当第i个样本数据的值是“xi”、“yi”时，它将是计算对应于N个样本数据的 所有坐标(xi，yi)的处理。因而，图IlB的相平面上画出的曲线指示依据时间流逝绘制坐标的结果，即，绘制 的点的轨迹。作为轨迹的该曲线在以下描述中也被称作信号轨迹，这是因为它是基于传感 器信号Si、S2的。 6-2.确定水平/垂直方向上的手势运动图12A至图12C示出对应于作为在水平方向上的手势运动的、向右运动/向左运 动的相平面映射处理的结果的示例。图12A示出在作为手势操作执行向右运动并且随后执行向左运动时获得的传感 器信号S1、S2。图中传感器信号S1、S2中的向右运动检测时段是其中可以获得对应于向右 运动的检测的有效幅度的波形部分，以及向左运动检测时段是其中可以获得对应于向左运 动的检测有效幅度的波形部分。作为使用对应于向右运动检测时段的、正规化的传感器信号N0M_S1、正规化的传 感器信号N0M_S2，执行相平面映射处理的结果，可以获得在图12B中所示的相平面上的信 号轨迹。同样，作为使用对应于向左运动检测时段，正规化的传感器信号N0M_S1、正规化的 传感器信号N0M_S2，执行相平面映射处理的结果，可以获得在图12C中所示的相平面上的 信号轨迹。图13A至图13C示出对应于作为在垂直方向上的手势运动的、向上运动/向下运 动的相平面映射处理的结果的示例。图13A示出在作为垂直手势运动的执行向下运动并且随后执行向上运动时获得 的传感器信号S1、S2。图中传感器信号S1、S2中的向下运动检测时段是其中可以获得对应 于向下运动的检测的有效幅度的波形部分，以及向上运动检测时段是其中可以获得对应于 向上运动的检测的有效幅度的波形部分。作为使用对应于向下运动检测时段、正规化的传感器信号N0M_S1、正规化的传感 器信号N0M_S2，执行相平面映射处理的结果，可以获得在图13B中所示的相平面上的信号 轨迹。同样，作为使用对应于向上运动检测时段、正规化的传感器信号N0M_S1、正规化的 传感器信号N0M_S2，执行相平面映射处理的结果，可以获得在图13C中所示的相平面上的 信号轨迹。接着，在该实施例中，首先计算信号轨迹的相关系数，基于作为相平面映射处理的 执行结果获得的信号轨迹来计算信号轨迹的相关系数“r”作为评估项，该评估项用于确定 运动是否是对应于水平方向的手势运动(向左/向右运动)或者运动是否是对应于垂直方 向的手势运动(向上运动/向下运动)。可以按照以下来计算相关系数“r”。
<formula>formula see original document page 19</formula>Xi :N0M_S1的第i个样本值Yi :N0M_S2的第i个样本值i :N0M_S1的样本值的算术平均值7 :N0M_S2的样本值的算术平均值对应于水平方向上的手势运动的图12B和图12C中的相平面上示出的向右运动和 向左运动的信号轨迹具有共同的特征。例如，当对应于信号轨迹的大体轮廓施加椭圆E时， 对应于椭圆E的长轴的直线L在向右运动中和在向左运动两者中均向右上倾斜。当直线L 被视作由线性函数y = ax+b表示的直线时，其将是a > 0的直线。对应于垂直方向上的手势运动的图13B和图13C中的相平面上示出的向上运动和 向下运动的信号轨迹也具有共同的特征，然而，该特征不同于图12B和图12C。也就是说，与对图13B和图13C中的信号轨迹所施加的椭圆E的长轴对应的直线 L在向下运动中和在向上运动两者中均向右下倾斜，并且当直线L被视作由线性函数y = ax+b表示的直线时，其将是a < 0的直线。依据已经参照图10A至图10D解释的传感器信号SI、S2的极性和相互相位的关 系，出现该特征。根据以上，当对应于信号轨迹获得的直线L的梯度向右上倾斜时，识别到手势运 动对应于水平方向，当其向右下倾斜时，识别到手势运动对应于垂直方向。相关系数“r”的正/负对应于直线L的向上倾斜/向下倾斜。当传感器信号S1、 S2的相位和幅度接近时，相关系数“r”近似于“+1 ”，并且信号轨迹的整个形状也近似向上 倾斜的直线。另一方面，当传感器信号SI、S2近似于其中每个信号的相同波形被反转的相 反相位的状态时，相关系数“r”近似于“_1”，并且信号轨迹的形状也近似向下倾斜的直线。具体地，当实际计算图12B和图12C中所示的信号轨迹的相关系数“r”时，可以获 得近似-0.8的值。另一方面，当实际计算图13B和图13C中所示的信号轨迹的相关系数“r”时，可以 获得近似-0. 75至-0.8的值。 如上所述，为了识别在水平方向和垂直方向中的哪一个方向上执行手势运动，在 该实施例中计算关于正规化的传感器信号N0M_S1、N0M_S2的相关系数“r”。作为计算的结 果，可以配置该算法使得当相关系数“r”大于“0”时，将手势运动识别为在水平方向上的运 动，当相关系数“r”小于“0”时，将手势运动识别为在垂直方向上的运动。在该实施例中，当相关系数“r”的绝对值小于固定值时，如将在随后描述的，检测 的手势运动对应于旋转运动的可能性较高。因此，当实际执行该实施例时，优选地是在计算 相关系数“r”之后，确定检测的运动属于水平/垂直方向的手势运动和旋转运动中的哪一 个。这将在随后描述。6-3.确定向左/向右运动中的方向和向上/向下运动中的方向如上所述，可以基于指示相平面上正规化的传感器信号N0M_S1、N0M_S2之间的相关程度的相关系数“r”来确定在水平方向和垂直方向中的哪一个方向执行手势运动。然后，当确定是沿着水平方向执行手势运动时，必须识别手势运动是向左运动还是向右运动。同样，当确定是沿着垂直方向执行手势运动时，必须识别手势运动是向上运动 还是向下运动。在此，再次使用对应于水平方向上的手势运动的图12A至图12C作为参照。在图12B中所示的与由向右运动形成的信号轨迹对应的椭圆E中，直线L具有向 右上倾斜的梯度以及关于原点被偏置(bias)到第一象限。另一方面，在图12C中的在与由向左运动形成的信号轨迹对应的椭圆E中，直线L 也具有向右上倾斜的梯度，然而，与图12B相反的方式，它关于原点被偏置到第三象限。依据以下事实，出现根据向右运动和向左运动的偏置的差异当在如图IOA和图 IOB所示的向右运动和向左运动之间进行比较时，对应于每个运动的一对传感器信号Si、 S2中的信号处于同相，以及在各自运动中的传感器信号Sl和在各自运动中的传感器信号 S2处于异相。关于垂直方向上的手势运动，当在如图IOC和图IOD所示的向上运动和向下运动 之间比较时，对应于向上运动和向下运动中的每个运动的一对传感器信号Si、S2中的信号 处于异相，以及在各自运动中的传感器信号S 1和在各自运动中的传感器信号S2处于异 相。根据上述的相位关系，首先，如图13B所示，在与由向下运动形成的信号轨迹对应 的椭圆E中，直线L具有向右下倾斜的梯度以及关于原点被偏置到第二象限。另一方面，如 在图13C所示，在与由向上运动形成的信号轨迹对应的椭圆E中，直线L具有向右下倾斜的 梯度以与图13B相反的方式、关于原点被偏置到第四象限。根据以上，首先，在水平方向上的手势运动中，当作为信号轨迹的总体的形状(椭 圆E)在相平面上被偏置到第一象限时，它指示向右运动，当椭圆E被偏置到第三象限时，它 指示向左运动。类似地，在垂直方向上的手势运动中，当作为信号轨迹的总体的形状(椭圆E)在 相平面上被偏置到第二象限时，它指示向下运动，当椭圆E被偏置到第四象限时，它指示向 上运动。因而，在该实施例中，为了评估信号轨迹的总体的形状(椭圆E)被偏置到哪一个 象限，计算相平面上信号轨迹的重心(baryCenter)G。将重心G计算为坐标G (gx，gy)。在图12B、图12C、图13B和图13C中，将坐标G示为作为直线L的椭圆E的长轴的 中点。然而，坐标G是被示意性地示出的，并且要计算的实际坐标G不总是对应于直线L。在此，可以考虑一些计算重心G的χ坐标gx和y坐标gy的方法。作为方法之一， 计算关于正规化的传感器信号N0M_S1、N0M_S2的算术平均值。例如，在该情形下，算术表达 式将如下所示，<formula>formula see original document page 20</formula> 重心G(gx，gy)指示在作为信号轨迹的总体的形状中重心的位置。因此，由相平面 上重心G(gx，gy)距原点的方向来示出在信号轨迹的总体的形状中关于原点的偏置的方向。据此，可以将重心G(gx，gy)用作识别在相应的水平和垂直方向上的运动方向的评估值。也就是说，作为一种算法，在手势运动处于水平方向上的情形下，在重心G(gx，gy) 位于第一象限时，可以识别出运动是向右运动，在重心G(gx，gy)位于第三象限时，运动是向 左运动。同样，在手势运动处于垂直方向上的情形下，在重心G(gx，gy)位于第二象限时，将 运动识别为向下运动，在重心G(gx，gy)位于第四象限时，将运动识别为向上运动。在此，在该实施例中要计算的相关系数“r”是用于确定手势运动属于水平方向上 的运动和垂直方向上的运动中的哪一个的评估值。也就是说，它是用于评估由运动检测获 得的传感器信号SI、S2是同相还是异相的评估值。重心位置G(gx，gy)是用于确定水平方向上的手势运动是向左运动还是向右运动 以及用于确定垂直方向上的手势运动是向上运动还是向下运动的评估值。也就是说，可以 将重心G视作用于评估传感器信号S1、S2本身的极性(波形图案)的值。作为评估和确定传感器信号S1、S2之间的相位差以及传感器信号S1、S2本身的极 性的方法，通常以下方法是可设想的。也就是说，首先计算传感器信号S1、S2的幅度的最大值和最小值。然后，确定两个 计算的最大值和最小值之间的时间差是否处于阈值内。通常并且一般地基于例如依据手势 运动获得的传感器信号S1、S2的幅度值来设置该阈值。由传感器信号S1、S2之间的峰值的 时间差来确定传感器信号S1、S2是处于同相还是异相。同样，确定传感器信号S1、S2的最 大值和最小值出现的顺序，由此确定信号的极性。在如图8A和图8B所示的一维传感器40-1、40-2的布置中，与图6A和图6B的情 形相比，可以获得极其稳定的传感器信号S1、S2。然而，手势运动是实际由作为人的用户的 手的移动来执行的，因此，移动速度不是恒定的并且发生手关于检测轴的抖动(tremor)。传 感器信号S1、S2生成由于不确定性效应引起的某种程度的幅度和相位中的变化。当不顾这 种变化因素将作为评估的传感器信号SI、S2的峰值之间的时间差与固定的阈值相比较时， 难以获得具有高可靠性的确定结果。 在该实施例中，首先在执行了关于传感器信号SI、S2的正规化处理之后执行相平 面映射，然后，计算相关系数“r”和重心位置G的坐标。与例如上述的峰值之间的时间差相 比较，作为用于传感器信号SI、S2之间的相位差和极性的评估值相关系数“r”和重心位置 G具有较高的可信度(faithfulness)。也就是说，根据该实施例，可以获得比以前更高准确 度的对上下、左右的手势运动的识别结果。6-4.确定左旋/右旋运动在该实施例中，可以基于由相平面映射处理形成的信号轨迹来识别其中物体移动 从而画出圆形移动轨迹的旋转运动。因而，如参照图1解释的，除了上下运动、左右运动之 外，该实施例还包括作为手势运动的右旋运动和左旋运动。其后，将解释该实施例中识别旋转运动的方法。图14A示出依据连续三次执行的作为右旋运动的手势运动输出的传感器信号S1、 S2的波形示例。在图中所示的传感器信号SI、S2中，由一次旋转运动获得的两个波形具有M形状 的峰值的绝对值处于正极性侧的极性，以及传感器信号S2的相位超前于传感器信号S1的 相位。
在图14B中示出了通过对图14A中的传感器信号S1、S2正规化并且执行相平面映 射处理所获得的结果。在上下、左右的手势运动的情形下，传感器信号S1、S2具有可以被视作同相(0度) 或者异相(180度)的相位差的关系，然而，在旋转操作的情形下，如图14A所示，在传感器 信号S1、S2中发生小于180度的相位差。因而，相关系数“r”的绝对值将小于在上下、左右 的手势操作的情形下中的值。也就是说，当作为信号轨迹的形状来观察信号时，与上下、左 右的手势操作的情形相比较，如图14B所示，该轨迹近似于圆形形状。也就是说，椭圆的长 轴和短轴之间的比率近似于1。
因此，作为确定手势运动是否是旋转操作的一种方法，最简单的方法是确定相关 系数“r”的绝对值是否是小到依据旋转运动获得的值小的程度的值，S卩，小于固定值。根据以上，当通过相平面映射处理、依据传感器信号Si、S2的时间流逝来绘制样 本值时，在此将注意力集中在相平面上的信号轨迹的旋转方向上。然后，作为图14B示出的 整个信号轨迹形成轨迹，以便如箭头Ar中所示的那样，在右方向(顺时针方向)上旋转。通过传感器信号Si、S2之间的相位差来确定信号轨迹的旋转方向。也就是说，在 图14A中传感器信号S2的相位超前于传感器信号Sl的相位，因此，信号轨迹的旋转方向将 是右方向。另一方面，图15A示出依据连续三次执行的作为左旋运动的手势运动输出的传感 器信号Si、S2的波形示例。在图中所示的传感器信号Si、S2中，由一次旋转运动获得的两个波形具有M形状 的峰值的绝对值处于负极性侧的极性，以及传感器信号S2的相位落后于传感器信号Sl的 相位。也就是说，传感器信号Si、S2之间的相位差的关系与图14A中的情形相反。依据以上，当通过对图15A的传感器信号S1、S2正规化而执行相平面映射处理时， 所获得的信号轨迹是如图15B的箭头Ar所示的在左方向上(逆时针方向)旋转的轨迹。结果，例如，在因为相关系数“r”小于固定值，而将手势运动识别为沿着旋转方向 的手势运动的情形下，为了进一步确定旋转方向(绘制旋转方向)是右旋运动的方向还是 左旋运动的方向，应用以下算法是合适的。也就是说，计算所形成的信号轨迹的旋转方向作为整个趋势是右旋还是左旋。当 获得的信号轨迹的旋转方向是右旋时，将手势运动确定为右旋运动，当信号轨迹的旋转方 向是左旋时，将手势运动确定为左旋运动。作为信号处理，必须确定信号轨迹的方向是右旋方向还是左旋方向。因而，在该实施例中，计算形成信号轨迹的各个坐标的叉积。在此，在二维平面上 由X轴和1轴形成的叉积仅仅具有与这两个轴正交的ζ轴方向的分量(ζ分量)，并且X方 向的分量和y方向的分量将是“0”。可以根据叉积的ζ分量之和的符号是正还是负，来计算 信号轨迹的旋转方向的整个趋势。在此，在图16A和图16B中示出了信号轨迹的旋转方向和叉积之间的关系。首先，图16A示出，通过第i个正规化的传感器信号N0M_S1、N0M_S2的样本在相平面上绘制的坐标 “0”(Xi，yi，0)，通过第i+Ι个正规化的传感器信号N0M_S1、N0M_S2的样本在相平面上绘制的坐标A(xi+1, yi+1,0),通过第i-1个正规化的传感器信号N0M_S1、N0M_S2的样本在相平面上绘制的坐标 B(xi_1, Yi^rO)。此外，作为在二维平面上这些坐标的位置关系，示出了其中坐标A(xi+1，yi+1，0)位 于坐标“0”(Xi，yi，0)的左侧，以及坐标B(Xi_i，7^,0)位于坐标“0”(Xi，yi,0)的右侧的状 态。在此，假设由矢量“a”表示从作为开始点的坐标“0”(Xi，yi，0)到坐标A(xi+1，yi+1， 0)的方向和距离，并且由矢量“b”表示从作为开始点的坐标“0”(Xi，yi,0)到坐标B(Xi_i， 7^,0)的方向和距离。然后，当计算矢量“a”与矢量“b”之间的叉积时，在此时获得正值作 为z分量的值。作为矢量“a”与矢量“b”的叉积的绝对值表示由作为相邻边的、对应于图 16A中所示的矢量“a”、“b”的线段形成的平行四边形的面积S。图16B示出了其中在图16A中的坐标“0”(Xi，yi，0)、坐标A(xi+1，yi+1，0)和坐标 B(xi_1,yi_1,0)中替换了坐标A(xi+1，yi+1，0)的位置和坐标B ，y"，0)的位置的情形。矢 量“a”和“b”的叉积的绝对值等于图16A中的值。也就是说，绝对值表示平行四边形的面 积S。然而，z分量的符号将是负的。在该实施例中，依据图16A和图16B来计算传感器信号SI、S2的各个样本定时的 叉积，并且进一步计算所计算的叉积之和。可以通过以下方式来计算叉积之和的值“P”。
NP =" (兄-1 -兄)—(兄+1 ‘ yt)'(xi-i _ A)}
/-I然后，根据所计算的叉积的z分量之和的值“p”的符号是正还是负，来确定信号轨 迹的旋转方向的整个趋势。也就是说，识别手势运动是左旋运动还是右旋运动。当通过以下图16A和图16B计算时，在叉积的z分量之和的值“p”的符号是正的情 形下，确定信号轨迹的旋转方向的整个趋势是左旋。也就是说，确定手势运动为左旋运动。 同样，在叉积的z分量之和的值“P”的符号是负的情形下，确定信号轨迹的旋转方向的整个 趋势是右旋。也就是说，确定手势运动为右旋运动。7.确定手势运动的算法将解释用于实现上面已经描述的根据实施例的手势运动的确定的算法示例。首先，图17以框图的配置示出实施例的相框显示设备1的手势运动确定单元18 的配置示例。由如图2所示执行程序的控制单元11来实现手势运动确定单元18。除了手 势运动确定单元18之外，还在图中示出了包括一维传感器40-1、40-2的传感器单元5。由手势运动确定单元18中的第一传感器信号记录单元31和手势检测单元33输 入从一维传感器40-1输出的传感器信号S1。由手势运动确定单元18中的第二传感器信号 记录单元32和手势检测单元33输入从一维传感器40-2输出的传感器信号S2。尽管未示出，但处于正被输入到手势运动确定单元18的阶段中的传感器信号S1、 S2已被转换为通过给定的样本频率和量化比特数目采样的数字信号。手势检测单元33是用于基于输入的传感器信号SI、S2来检测手势运动的时段的 单元。随后将通过图19的流程图来描述手势检测单元33的处理。手势检测单元33向第 一传感器信号记录单元31和第二传感器信号记录单元32通知所检测的手势运动的开始/ 结束。
23
第一传感器信号记录单元31和第二传感器信号记录单元32通过在由手势检测单 元33通知的手势运动时段中分别采用(take)传感器信号SI、S2，记录各个样本定时处的 数据。由第一传感器信号记录单元31记录的传感器信号S1的样本数据被输出给第一正 规化处理单元34。第一正规化处理单元34对传感器信号S1执行正规化处理以获得如图11A和图 11B所述的被正规化到从-1到+1的范围内的、正规化的传感器信号N0M_S1的样本数据组。类似地，第二正规化处理单元35也通过采用由第二传感器信号记录单元32记录 的传感器信号S2的样本数据来执行正规化处理以获得被正规化到从-1到+1的范围内的、 正规化的传感器信号N0M_S2的样本数据组。正规化的传感器信号N0M_S1、N0M_S2的样本数据组被传送给相平面映射处理单 兀36。相平面映射处理单元36计算通过如图11A和图11B所述在相平面上绘制所输入 的正规化的传感器信号N0M_S1、N0M_S2的样本数据组而获得的信号轨迹的数据，并且将该 数据传送给评估项计算单元37。信号轨迹数据将是在相平面上绘制以便对应于每个样本号 码“i”的、的坐标(Xi，id的值(一对正规化的传感器信号N0M_S1和N0M_S2)。评估项计算单元37包括相关系数计算单元37a、重心计算单元37b和旋转方向计 算单元37c。通过之前由“表达式1”解释的计算，相关系数计算单元37a通过使用所接收的信 号轨迹数据(各个样本定时处的正规化的传感器信号N0M_S1和N0M_S2的数据)来执行计 算信号轨迹的数据相关系数“r”的处理。例如通过之前由“表达式2”解释的计算，重心计算单元37b使用信号轨迹数据来 计算重心的坐标G(gx，gy)。如之前由图16A和图16B以及“表达式3”解释的，旋转方向计算单元37c对信号 轨迹的各个样本所计算的叉积的z坐标之和的值“P”进行计算。运动确定单元38通过适当地使用可以由评估项计算单元37获得的相关系数“r”、 重心坐标G(gx，gy)以及叉积的z分量之和的值“p”，来执行确定手势运动对应于向左运动、 向右运动、向上运动、向下运动、左旋运动以及右旋运动中的哪一个的处理，并且输出确定结果。控制单元11将由手势运动确定单元18输出的手势运动的确定结果处理为操作命 令，由此执行控制以便获得作为示例引用的相框显示设备1的适当的操作。图18作为流程图示出、图17中所示的手势运动确定部件18执行的处理例程的示 例。在图中，首先在步骤S101中通过检测手势运动时段进行记录传感器信号的处理。 由手势检测单元33、第一传感器信号记录单元31和第二传感器信号记录单元32来执行图 中所示的处理。通过图19的流程图来示出步骤S101的处理例程的示例。在图19的步骤S201中，首先，手势检测单元33输入传感器信号SI、S2以将它们 与阈值比较。当一维传感器40-1检测到可能是手势运动的运动时，可以基于获得的传感器信号的幅度来确定在该情形下的阈值。在该情形下，将通过一维传感器40-1、40-2输入的传感器信号S1、S2按照原样与阈值比较，然而，优选地，也将正规化的传感器信号S1、S2 (其 可以与N0M_S1、N0M_S2相同)以及正规化的传感器信号Si、S2的值与阈值比较。在步骤S201中，必须等待传感器信号S1、S2的电平值(样本值)中至少一个等于 或大于阈值。然后，当在步骤S201获得肯定的确定结果时，该处理前进到之后的例程步骤 S202。例如，对应于图17，响应于步骤S201中获得的肯定的确定结果，手势检测单元33向 第一传感器信号记录单元31和第二传感器信号记录单元32通知手势运动的开始。在步骤S202中开始，通过第一传感器信号记录单元31和第二传感器信号记录单 元32记录传感器信号Si、S2的样本数据。也就是说，响应于手势检测单元33通知手势运 动的开始，而开始传感器信号Si、S2的记录。可以将该情形下的手势检测单元33视作通过获得步骤S201中的肯定的确定结果 来检测手势运动的开始定时的单元。手势检测单元33应当在这之后检测手势运动的结束 定时。在该情形中，在两个传感器信号S1、S2从传感器信号S1、S2中的至少一个等于或者 大于阈值的状态变得均小于阈值之后，在一时间点检测手势运动的结束定时，其中所述时 间点为在信号变为小于阈值的状态之后经过了给定的时间段时的点。在步骤S203之后的 处理将是用于检测手势运动的结束定时的处理。由手势检测单元33执行步骤S203。当在步骤S201中获得了肯定的确定结果时， 传感器信号S1、S2中的至少一个等于或大于阈值。在这之后执行的步骤S203中，手势检测 单元33确定现在两个传感器信号Si、S2是否小于阈值。当在步骤S203中获得了否定的确定结果时，在步骤S204中确定是否激活了定时 器。在接着解释的步骤S207中重置/启动该定时器，所述定时器对从传感器信号S1、S2变 得小于阈值时的点直到被视作手势运动的结束点的时间点计时。当在步骤S204中由于定 时器没有被激活而获得否定的确定结果时，处理返回到步骤S203。当定时器被激活时，则在 步骤S205停止该定时器并且处理返回到步骤S203。当在步骤S203中获得了肯定的确定结果时，首先，在步骤S206中确定是否激活了 定时器。当定时器没有被激活时，在步骤S207重置该定时器的计数值以启动计数，然后，处 理返回到步骤S203。另一方面，当在步骤S206中由于定时器被激活而获得肯定的确定结果时，处理前 进到步骤S208。在步骤S208中，基于定时器的当前计数值来确定是否已经过了定时器时段。当由 于没有经过定时器时段而获得否定的确定结果时，处理返回到步骤S203。另一方面，当由于 已经经过了定时器时段而获得肯定的确定结果时，处理前进到步骤S209并且停止定时器 的计数。在步骤S208中由于已经经过了定时器时段而获得确定结果的事实对应于由手势 检测单元33通知手势运动时段已经结束的处理。在步骤S210中，依据手势运动时段的结束，第一传感器信号记录单元和第二传感 器信号记录单元32到完成了到那时为止的对传感器信号Si、S2的样本数据的记录。在图18中，在已经执行了步骤SlOl的处理之后，将执行步骤S102的处理。在步骤 S102中，第一正规化处理单元34和第二正规化处理单元35对由第一传感器信号记录单元 31和第二传感器信号记录单元32记录的传感器信号Si、S2的样本数据执行正规化处理。
之前已经参照图IlA和图IlB解释了正规化处理，并且将处理例程的示例示为图 20的流程图。作为该流程图的步骤的流程，首先，对传感器信号Sl执行正规化处理，然后， 对传感器信号S2执行正规化处理。首先，在步骤S301，在作为与将传感器信号S1、S2 —般化获得的传感器信号Sm对 应的变量的“m”中代入“1”。接着，在步骤S302中，获取传感器信号Sm的样本数据中的最大值Smmax。该最大 值Smmax对应于参照图IlA解释的传感器信号Sl或传感器信号S2的最大值Vpl，Vp2 (绝对 值)中的任一个。在步骤S303中，在表示传感器信号Sm的样本数据的号码的“i”中代入作为初始 值的“1”。在随后的步骤S304中，对传感器信号Sm中的第i个样本数据正规化。作为用于正规化的处理，例如，假设在传感器信号中的第i个样本数据的正规化 的值是N0M_Sm_i并且在传感器信号Sm中的第i个样本数据是Sm_i，执行由以下表达式表 示的计算。N0M_Sm_i = Sm_i/SmMAX (表达式 1)也就是说，如上所述，将传感器信号的样本数据的值除以相同传感器信号Sm的最 大值(绝对值)。在步骤S305，确定变量“i”是否是最大值。该最大值对应于与手势运动时段对应 记录的传感器信号Si、S2的每个样本号码N。当在此获得否定的确定结果时，这意味着仍然存在还没有被获取的正规化的样本 值。因而，在步骤S306中递增变量“i”并且处理返回到步骤S304。因而，可以对样本数据 依序获得正规化的值。然后，当结束传感器信号Sm的最后的样本数据的正规化处理时，在步骤S305获得 肯定的确定结果，并且处理前进到步骤S307。在步骤S307中，确定变量“m”是否是最大值。 对应于以上的解释，存在两个传感器信号Si、S2，因此，变量“m”的最大值是2。当在步骤S307获得否定的确定结果时，这意味着仍然存在还没有被执行的正规 化处理的传感器信号。因而，在该情形下在步骤S308中递增变量“m”，并且处理返回到步骤 S302。据此，对另一传感器信号开始正规化处理。然后，例如，对传感器信号S1、S2已经完成了正规化处理，在步骤S307中获得肯定 的结果，并且完成了步骤S102中对传感器信号的正规化处理。对传感器信号Si、S2按照时间序列中的样本的顺序排列的样本数据的正规化值 N0M_Sm_i可以被视作上述的正规化的传感器信号N0M_S1和正规化的传感器信号N0M_S2。在图20中的处理中，作为对传感器信号S1、S2执行正规化处理的例程，首先，如上 述的，应用了其中首先处理传感器信号Sl并且依序处理传感器信号S2的算法。然而，实际 上优选地应用作为并行处理而近似同时执行对传感器信号Si、S2的正规化处理的算法以 便对应于图17所示的框图配置。解释返回到图18。在执行了如步骤S102的正规化处理之后，相平面映射处理单元36通过使用在步 骤S102中获得的传感器信号Si、S2的正规化值的数据(正规化的传感器信号N0M_S1、正规化的传感器信号N0M_S2)来在步骤S103执行相平面映射处理。据此，相平面映 射处理单 元36获取信号轨迹的数据。在步骤S104中，评估项计算单元37中的相关系数计算单元37a通过使用信号轨 迹的数据来计算相关系数“r”。在随后的步骤S105中，由运动确定单元38进行估计此时检测的手势运动属于水 平方向上的手势运动、垂直方向上的手势运动以及旋转运动中的哪一种的处理。在步骤S105中，运动确定单元38取得在步骤S104中计算的相关系数“r”。然后， 确定相关系数“r”属于r > 0. 5、r < -0. 5和-0. 5彡r彡0. 5的范围中的哪一个。如上所述，在水平方向和垂直方向之间确定时，原则上当相关系数r是正值时，确 定手势运动是水平方向上的手势运动，当相关系数r是负值时，确定手势运动是垂直方向 上的手势运动。然而，在增加了旋转运动作为要确定的手势运动的情形下，给定固定值，并且当相 关系数“r”的绝对值小于固定值时，确定手势运动是旋转运动并且当相关系数“r”的绝对 值大于固定值时，确定手势运动是处于水平/垂直方向上的手势运动。作为在步骤S 105中要与相关系数“r”比较的阈值“+0. 5”、“_0. 5”对应于用于确 定手势运动属于水平/垂直方向上的手势运动和旋转运动中的哪一种的固定值。作为阈值 的具体值“+0. 5”、“-0. 5”仅仅是示例，并且鉴于实际的情况应当适当地更改它们。同样，优 选地将不同值设置为正阈值和负阈值。在该情形下，当相关系数“r”大于0. 5时，将手势运动确定为处于水平方向上的手 势运动。因而，当在步骤S105中确定相关系数“r”大于0. 5，运动确定单元38首先在步骤 S106输出手势运动是处于水平方向上的手势运动的识别结果。接着，作为对应于该识别结 果的处理，执行随后步骤S107之后的例程，以由此进一步执行确定手势运动是向右运动还 是向左运动的处理。在步骤S107中，运动确定单元38通过重心计算单元37b计算关于信号轨迹的重 心G(gx，gy)。接着，在步骤S108，运动确定单元38取得在步骤S107中计算的重心G并且确 定重心G(gx，gy)的坐标存在的象限。在步骤S108中，在确定坐标存在于第一象限时，运动确定单元38输出手势运动是 向右运动的确定结果。在确定坐标存在于第三象限时，输出手势运动是向左运动的确定结在步骤S108中，当确定坐标存在于除了第一象限和第三象限以外的象限(第二象 限、第四象限)时，在此处理前进到步骤S122，并且输出还没有执行有效手势运动的确定结例如，优选地，依据之前固定的规则和计算，应用进行校正的算法，使得位于第二 象限或者第四象限的重心G位于第一象限和第三象限的象限中更适合的象限，并且依据该 结果输出向右运动或者向左运动的确定结果。当在步骤S 105中确定相关系数“r”小于-0. 5时，如在步骤S111中所示，运动确 定单元38首先输出手势运动是处于垂直方向上的手势运动的识别结果。然后，作为对应于 该识别结果的处理，执行步骤S112之后的例程，以由此进一步执行确定手势运动对应于向 上运动和向下运动中的哪一个运动的处理。
在步骤S112中，运动确定单元38通过重心计算单元37b计算关于信号轨迹的重 心G(gx，gy)并且在随后的步骤S113中确定重心G(gx，gy)的坐标存在的象限。在步骤Sl 13中，在确定坐标存在于第二象限时，运动确定单元38输出手势运动是 向下运动的确定结果。在确定坐标存在于第四象限时，输出手势运动是向上运动的确定结^ ο当确定坐标存在于除了第二象限和第四象限以外的象限(第一象限、第三象限)时，在步骤S122确定还没有执行有效手势操作的确定结果。同样，在该情形中，优选地，进 行校正使得重心G位于第二象限或第四象限，并且以与确定水平方向上的手势运动相同的 方式，输出向上运动或者向下运动的确定结果。当在步骤S 105中确定相关系数“r”等于或者大于-0. 5并且等于或者小于0. 5 时，首先执行步骤S116的确定处理。在步骤S116中，确定传感器信号的记录样本的数目是 否大于之前设置的阈值。如上已经描述的，当相关系数“r”等于或者大于-0. 5并且等于或者小于0. 5时， 可以将手势运动确定为属于旋转运动。然而，在检测除了旋转运动以外的运动时，也存在相关系数“r”的绝对值等于或 者小于固定值的可能性。例如，在以相对于水平方向或者垂直方向显著倾斜的角度移动物 体的运动的情形下，尽管它是线性移动，但在彼此正交的检测轴之间发生串扰(crosstalk) 并且减小了相关系数“r”的绝对值。结果，存在相关系数“r”的绝对值变得等于或者小于 固定值的可能性。步骤S116的处理用于考虑到以上内容而在相关系数“r”被确定为等于或者大 于-0. 5并且等于或者小于0. 5时辨别检测的运动是属于旋转运动还是其他运动。传感器信号的记录样本的数目N指示由第一传感器信号记录单元31和第二传感 器信号记录单元32记录的样本数据的数目，以便对应于由手势检测单元33检测的手势运 动时段。也就是说，记录样本的数目N是由手势检测单元33检测的手势运动时段，其指示 了在其间已经连续检测运动的时间长度。水平/垂直方向上的手势运动是线性移动，因此，作为手势运动时段检测的时间 段是较短的。另一方面，旋转运动具有描绘弧形的移动轨迹，因此，时间段将因而较长。也 就是说，作为旋转运动，适当长的时间段对于手势运动时段是必要的。因此，与步骤S116对应，基于所获得的样本的数目来确定阈值，所述获得的样本 的数目对应于当执行旋转操作时作为手势运动时段获得的共同的(common)、平均时间长 度。作为步骤S116的处理，当记录样本的数目N大于阈值时，在步骤S117中获得手势运动 是旋转运动的确定结果。另一方面，当记录样本的数目N小于阈值的否定的确定结果时，处 理前进到步骤S122，并且输出还没有执行有效运动的确定结果。在步骤Sl 18中，运动确定单元38计算信号轨迹的旋转方向。也就是说，运动确定 单元38通过执行之前的“表达式3”的计算，来计算信号轨迹的叉积的ζ分量之和的值“P”。 叉积的ζ分量之和的值“P”的正/负指示旋转方向。在步骤S119中，运动确定单元38基于在步骤S118中计算的叉积的ζ分量之和的 值“P”，来确定信号轨迹的旋转方向的整个趋势。也就是说，当叉积的ζ分量之和的值“P” 是正值时，确定信号轨迹的旋转方向的整个趋势是左旋，当叉积的ζ分量之和的值“P”是负值时，确定信号轨迹的旋转方向的整个趋势是右旋。当运动确定单元38在步骤S119中确定旋转方向是右旋时，该单元在步骤S120输 出右旋运动的确定结果。当运动确定单元38确定旋转方向是左旋时，该单元在步骤S121 输出左旋运动的确定结果。8.相平面映射处理的修改的示例在以上参照图11A和图11B解释的相平面映射处理中，通过使用在相同的样本定 时处的正规化的传感器信号N0M_S1、正规化的传感器信号N0M_S2的值，在相平面上绘制坐 标。也就是说，当关于正规化的传感器信号N0M_S1、正规化的传感器信号N0M_S2的N个记 录样本的第i个样本值是Xi、yi时，依序在相平面上绘制坐标(Xi，yi) (1 ≤i ≤ N)。在该情 形下，将正规化的传感器信号N0M_S1、正规化的传感器信号N0M_S2的按其原样用作要绘制 的坐标的坐标值。另一方面，在相平面映射处理的修改示例中，使用通过对原始的正规化的传感器 信号N0M_S1、N0M_S2的样本值取幂(exponentiation)获得的值作为在相平面上要绘制的 x轴坐标和y轴坐标的值。在该情形下，使用3或更大的奇数作为取幂的指数“n”。也就是说，作为正规化处理，当关于正规化的传感器信号N0M_S1、正规化的传感器 信号N0M_S2的N个记录样本的第i个样本值是Xi、yi时，绘制坐标(Xi"n,yi"n) : (1≤i≤N， n是3或者更大的奇数)。首先，在对正规化的传感器信号N0M_S1、正规化的传感器信号N0M_S2取幂时，将 具有较小的绝对值的值转换为更小的值。这意味着绝对值越大给定越大的权重。因此，与绘 制的坐标(Xi，yi)的情形相比，强调了在相平面上形成的信号轨迹的综合(comprehensive) 形状的趋势。例如，如上所述在水平/垂直方向中的手势运动的情况下，信号轨迹的综合形 状可被看作椭圆E。在该情况下椭圆E的形状变长，其中长轴和短轴的比率增加。然而，在使用偶数作为取幂的指数“n”时，在原始样本值(xi，yi)是负数的情形 下，取幂后的值被反转为正值。因而，使用奇数作为的幂的指数“n”允许将(Xi，Yi)的正/ 负符号保持原样而不反转。强调并且可以拉长(elongate)通过坐标(Xi~n，yi~n)执行相平面映射所形成的信 号轨迹的整个形状。作为通过使用以此方式形成的信号轨迹所计算的相关系数“r”，对应于 例如在水平/垂直方向上的手势运动，可以获得大于固定值的绝对极值(extreme)绝对值。 同样，对应于旋转运动，可以获得小于固定值的极值。也就是说，在确定手势运动属于水平 方向、垂直方向和旋转方向上的手势运动中的哪一种时，可以增加准确度。同样当基于由坐标(x厂n，yi"n)形成的信号轨迹来计算重心G的坐标时，尽管所 计算的坐标依据所检测的手势运动位于适当的象限，但是它们可以是远离原点并且是明确 的(definite)。也就是说，关于水平方向上的手势运动，提高了对向右运动和向左运动的确 定准确度。同样，关于垂直方向上的手势运动，可以增强对向上运动和向下运动的确定准确 度。例如，通过以下计算，基于由坐标(x厂n，yi~n)形成的信号轨迹可以计算重心G的 坐标(gX，gy) °<formula>formula see original document page 29</formula>
9.关于一维传感器的布置示例的修改示例在传感器单元5中包括的一维传感器40-1、40_2中、检测一维移动的两对红外检 测元件51A-1、51B-1以及红外检测元件51A-2、51B-2的布置示例不限于图8A和图8B中所 示的布置示例。也就是说，优选地应用其他配置，只要通过对关于要识别的/确定的沿着 两个轴的线性手势运动的各个移动方向、检测轴给出例如45度的角度，一对红外检测元件 51A-1、51B-1和一对红外检测元件51A-2、51B-2可以对2个线性手势运动、以时间差输出对 应于移动的信号Sa、Sb。因而，作为一维传感器的布置的修改示例，参照图21A、图21B和图22A、图22B将 示出红外检测元件51A-1、51B-1以及红外检测元件51A-2、51B-2的其他布置示例。在图21A和图21B中所示的修改示例中，示出了其中在作为传感器单元5的一个 组件/设备上安装红外检测元件51A-1、51B-1以及红外检测元件51A-2、51B-2的示例。例 如，通常提供包括一对红外检测元件51A、5IB的设备，诸如图8A和图8B所示的一维传感器 40-1、40-2，作为通用的热释电传感器组件。然而，在诸如在该实施例中，基本上检测沿着彼 此正交的两个轴的线性手势运动的情形下，优选地，还将该设备配置为一个包括两对红外 检测元件51A-1、51B-1以及红外检测元件51A-2、51B-2的热释电传感器组件。作为在图21A中的布置，首先，对应于红外检测元件51A-1、51B_1的检测轴Ll和 对应于红外检测元件51A-2、51B-2的检测轴L2关于水平/垂直方向处于与图8A相同的 角度关系。在该条件下，通过所示的示例，在通过检测轴Ll的位置处布置红外检测元件 51A-U51B-1并且在通过检测轴L2的位置处布置红外检测元件51A_2、51B_2。在图21B中示出了根据图21的配置、依据红外检测元件51A_1、51B_1以及红外检 测元件51A-2、51B-2的布置形成的空间检测区域60A_1、60B_1以及空间检测区域60A-2、 60B-2。接着，将解释在图22A和图22B中所示的修改示例。在该情形下，如图22A所示，将检测轴Ll设置为被分为彼此之间处于固定距离的 2个平行的检测轴Lla、Llb。检测轴Lla、Llb设置了关于水平/垂直方向的、与图8A的检 测轴Ll相同的角度。在该情形下，应用了其中检测轴Lla处于较下侧而检测轴Llb处于上 侧的位置关系。类似的，也将检测轴L2设置为被分为彼此之间处于固定距离的2个平行的 检测轴L2a、L2b，只要关于水平/垂直方向设置了与图8A的检测轴L2相同的角度。在该 情形下，应用了其中检测轴L2b处于较下侧而检测轴L2a处于上侧的位置关系。在以上的条件下，在检测轴Lla上布置红外检测元件51A_1，并且在检测轴Llb上 布置红外检测元件51B-1。同样，在检测轴L2a上布置红外检测元件51A-2，并且在检测轴 L2b上布置红外检测元件51B-2。在图22B中示出了依据红外检测元件51A-1、51B_1以及红外检测元件51A-2、 51B-2的布置形成的空间检测区域60A-1、60B-1以及空间检测区域60A_2、60B_2。同样，根据图21A、图21B以及图22A、图22B所示的配置示例的任一种，一对红外 检测元件5IA-I、5IB-I也可以以图8A和图8B所示的方式，对于水平/垂直方向的任一个 方向的移动，以时间差检测移动。同样，另一对红外检测元件51A-2、51B_2也可以对水平/垂直方向的任一个方向 中的移动，以时间差检测移动。
红外检测元件51A-1、51B_1和红外检测元件51A_2、51B_2检测水平/垂直方向上 的线性移动的顺序与图8A和图8B相同。在之前的解释中，图17的手势运动确定单元18执行软件处理，所述软件处理是由 作为控制单元11的CPU执行程序实现的。然而，可以通过DSP (数字信号处理器)来配置 作为手势运动确定单元18的信号处理。也就是说，允许在DSP中存储用于执行作为手势运 动确定单元18的信号处理的程序和指令。还可以设想由硬件来配置作为手势运动确定单元18的信号处理。可进一步设想通过写入例如闪存和ROM来存储由作为控制单元11的CPU执行的 程序，以及在可移动存储介质中存储程序并且从可移动存储介质安装(包括更新)所述程 序以便将其存储在闪存等中。还可设想可以通过允许程序通过给定的数据接口在另一主机 设备的控制下安装程序。进一步，可设想在网络上的服务器等中的存储设备上存储程序以 具有例如执行手势识别的设备网络功能，可以通过从服务器下载获取该功能来安装所述程 序。在之前的解释中，对一维传感器40-1、40_2的检测轴Li、L2给出了相对于水平/ 垂直方向的45度的角度。这是因为在实施例中定义的其中两个轴正交的线性手势运动是 沿着对应于向左和向右运动的水平方向(第一方向)以及沿着对应于向上和向下运动的垂 直方向(第二方向)。例如，当将其中两个轴正交的线性手势运动定义为分别沿着相对于水平/垂直方 向处于45度角度的方向的运动时，应当布置一维传感器40-1、40-2使得检测轴L1、L2对应 于水平/垂直方向。在该实施例中，作为最有可能的示例，将沿着两个轴的线性手势运动定义为沿着 彼此正交方向的运动时，然而，方向处于正交不是必须的。也就是说，线性手势运动的各个 的轴彼此交叉的角度可以是不同于90度的角度。在该实施例中，即使当线性手势运动的各个的轴彼此交叉的角度是不同于90度 的角度时，如果在一对检测元件处获得了必要的检测时间差，也可以适当地识别各个轴的 方向上的手势运动。在以上的描述中，已经列举了其中应用双元热释电传感器作为一维传感器40的 情形。然而，可以列举除了使用热释电效应的系统以外的其他系统作为要被应用为一维传 感器的传感器系统。可以应用基于这些系统配置的一维传感器。在上面的解释中，将实施例中的识别/确定手势的配置应用到相框显示设备，然 而，这仅仅是示例。可以以不同的方式将实施例的手势识别的配置应用到其他各种类型的 设备。本申请包含分别于2009年2月12日和2009年5月18日向日本专利局提交的日 本优先权专利申请JP2009-030136和JP2009-120193中所公开的内容相关的主题，通过引 用在此并入其全部内容。本领域的技术人员应当理解取决于设计要求和其他因素，可以出现各种修改、组 合、子组合和变更，只要它们在所附的权利要求或其等效物的范围内。
权利要求
一种手势识别装置，包括第一一维传感器部件和第二一维传感器部件，用于检测与沿着一个检测轴的一维方向上的物体的运动对应的移动，并且输出与检测的移动对应的信号，其中沿着关于第一方向和第二方向的不同方向布置检测轴，所述第一方向和第二方向是被定义为识别目标的物体的线性运动的方向；正规化处理部件，用于通过将从第一一维传感器部件和第二一维传感器部件输出相应的第一信号和第二信号的幅度值转换为由相对于峰值的比率表示的值，来执行正规化处理；相平面映射处理部件，用于通过使用在各个相同的定时处的，基于正规化的第一信号值的x坐标值和基于正规化的第二信号值的y坐标值、在相平面上绘制坐标，以时间序列形成对应于第一信号和第二信号的信号轨迹；相关系数计算部件，用于通过使用形成所述信号轨迹的坐标值来计算相对于第一信号和第二信号的相关系数；以及运动确定部件，用于至少基于所述相关系数的值是正还是负，来确定所检测的移动是第一方向上的运动还是第二方向上的运动。
2.根据权利要求1所述的手势识别装置，进一步包括重心计算部件，用于计算相平面上信号轨迹的重心的坐标，其中，当所述相关系数对应于运动是沿着第一方向的确定结果时，所述运动确定部件 基于所计算的重心的坐标来确定所述运动是在第一方向上的正向运动还是反向运动，以及当所述相关系数对应于运动是沿着第二方向的确定结果时，基于所计算的重心的坐标 来确定所述运动是在第二方向上的正向运动还是反向运动。
3.根据权利要求1或2所述的手势识别装置，进一步包括绘制旋转方向识别部件，用于识别绘制旋转方向，所述绘制旋转方向是在以近似圆形 的方式移动物体的旋转运动被固定为要识别的物体的运动的条件下，以时间序列来绘制所 述信号轨迹的坐标时的旋转方向，其中，当所述相关系数的绝对值等于或者小于对应于所检测的物体的移动是旋转运动 的确定结果的固定值时，所述运动确定部件基于所识别的绘制旋转方向来确定所述运动是 右旋运动还是左旋运动。
4.根据权利要求3所述的手势识别装置，其中，所述绘制旋转方向识别部件基于在绘制的各个坐标处的叉积的ζ分量的值求和 之后的和值的正/负来识别所述绘制旋转方向。
5.根据权利要求3或4所述的手势识别装置，其中，当所述相关系数的绝对值等于或者小于固定值以及其中已经检测物体的移动的 时段的时间长度等于或者大于固定值时，所述运动确定部件获得检测的物体的移动是旋转 运动的确定结果。
6.根据权利要求1至5中的任何一个所述的手势识别装置，其中，所述相平面映射处理部件使用由奇数指数对正规化的第一信号的值取幂获得的 值作为基于正规化的第一信号的值的χ坐标值，并且使用由奇数指数对正规化的第二信号的值取幂获得的值作为基于正规化的第二信号的值的y坐标值。
7.一种手势识别方法，包括步骤通过将从第一一维传感器部件和第二一维传感器部件输出的相应的第一信号和第二 信号幅度值转换为由相对于峰值的比率表示的值，来执行正规化处理，其中，所述第一一维 传感器部件和第二一维传感器部件中的每一个检测与沿着一个检测轴的一维方向上的物 体的运动对应的移动，并且输出与检测的移动对应的信号，其中沿着相应于第一方向和第 二方向的不同方向布置检测轴，所述第一方向和第二方向是被定义为识别目标的物体的线 性运动的方向；通过使用在各个相同的定时处的，基于正规化的第一信号值的x坐标值和基于正规化 的第二信号值的y坐标值、在相平面上绘制坐标，以时间序列形成对应于第一信号和第二 信号的信号轨迹；通过使用形成所述信号轨迹的坐标值来计算相对于第一信号和第二信号的相关系数;以及至少基于所述相关系数的值是正还是负，来确定所检测的移动是第一方向上的运动还 是第二方向上的运动。
8.一种允许手势识别装置执行以下例程的程序，正规化处理例程，通过将从第一一维传感器部件和第二一维传感器部件输出相应的第 一信号和第二信号的幅度值转换为由相对于峰值的比率表示的值，来执行正规化处理，其 中，所述第一一维传感器部件和第二一维传感器部件中的每一个检测与沿着一个检测轴的 一维方向上的物体的运动对应的移动，并且输出与检测的移动对应的信号，其中沿着相对 于第一方向和第二方向的不同方向布置检测轴，所述第一方向和第二方向是被定义为识别 目标的物体的线性运动的方向；相平面映射处理例程，通过使用在各个相同的定时处的，基于正规化的第一信号值的 x坐标值和基于正规化的第二信号值的y坐标值、在相平面上绘制坐标，以时间序列形成对 应于第一信号和第二信号的信号轨迹；相关系数计算例程，通过使用形成所述信号轨迹的坐标值来计算相对于第一信号和第 二信号的相关系数；以及运动确定例程，至少基于所述相关系数的值是正还是负，来确定所检测的移动是第一 方向上的运动还是第二方向上的运动。
9.一种手势识别装置，包括第一一维传感器单元和第二一维传感器单元，被配置为检测与沿着一个检测轴的一维 方向上的物体的运动对应的移动，并且输出与检测的移动对应的信号，其中沿着相对于第 一方向和第二方向的不同方向布置检测轴，所述第一方向和第二方向是被定义为识别目标 的物体的线性运动的方向；正规化处理单元，被配置为通过将从第一一维传感器单元和第二一维传感器单元输出 的相应的第一信号和第二信号的幅度值转换为由相对于峰值的比率表示的值，来执行正规 化处理；相平面映射处理单元，被配置为通过使用在各个相同的定时处的，使用基于正规化的 第一信号值的x坐标值和基于正规化的第二信号值的y坐标值、在相平面上绘制坐标，以时间序列形成对应于第一信号和第二信号的信号轨迹；相关系数计算单元，被配置为通过使用形成所述信号轨迹的坐标值来计算相对于第一 信号和第二信号的相关系数；以及运动确定单元，被配置为至少基于所述相关系数的值是正还是负，来确定所检测的移 动是第一方向上的运动还是第二方向上的运动。
全文摘要
一种手势识别装置包括第一一维传感器部件和第二一维传感器部件，用于检测与沿着一个检测轴的一维方向上的物体的运动对应的移动，并且输出与检测的移动对应的信号；正规化处理部件，用于对从第一一维传感器部件和第二一维传感器部件输出的第一信号和第二信号执行正规化处理；相平面映射处理部件，用于通过使用基于正规化的第一信号和第二信号的x坐标值和y坐标值在相平面上绘制坐标，以时间序列形成对应于第一信号和第二信号的信号轨迹；相关系数计算部件，用于使用形成信号轨迹的坐标值来计算相应于第一信号和第二信号的相关系数；以及运动确定部件，用于基于相关系数的值来确定所检测的移动是第一方向上的运动还是第二方向上的运动。
文档编号G06F3/01GK101807113SQ201010118390
公开日2010年8月18日 申请日期2010年2月12日 优先权日2009年2月12日
发明者大西佑介, 宗像一郎 申请人:索尼公司