能够辨识用户操作的信息处理装置及其控制方法

能够辨识用户操作的信息处理装置及其控制方法
【专利摘要】本发明提供一种能够辨识用户操作的信息处理装置及其控制方法。根据本发明的信息处理装置能够提高当用户进行与目标物体相关的手势操作时的可操作性。
【专利说明】能够辨识用户操作的信息处理装置及其控制方法

【技术领域】
[0001]本发明涉及一种能够辨识(recognize)用户操作的信息处理装置。

【背景技术】
[0002]传统装置能够从由可见光照相机或红外线照相机拍摄的图像中，检测包括用户手部的手部区域，并且能够辨识基于检测到的手部的运动及位置的手势操作。基于能够通过追踪手部区域来辨识的用户手部运动，与预先跟各个指令内容相关联地登记的各种手势模式的比较，上述传统装置能够辨识对装置进行的手势操作，并且识别指令内容。为了识别要与手势模式比较的部分，在可见光照相机或红外线照相机的视角中发生的手部运动中，通常在手部进入特定区域时，开始追踪手部区域(开始辨识手势操作)。
[0003]如在日本特开2003-216955号公报中所讨论的，当用户进行手势操作时，传统上已知的是基于从运动图像中提取的人脸部分的横向宽度、纵向长度及面积中的至少一者，在手部可能存在的区域的附近，来设置要用来辨识手势操作的特定区域。要被设置用来辨识手势的特定区域被称为手势辨识区域。
[0004]手势辨识区域需要足够大，以容纳在手势操作期间依次发生的全部手部运动。另一方面，如果手势辨识区域过大，则用户需要进行过大的动作，以在开始下一手势操作之前，将手部从手势辨识区域中移走。
[0005]特别是，当用户进行与目标物体(例如，虚拟物体或实体物体)相关的手势操作时，用户移动手部的范围的大小往往受到该目标物体的大小的影响。因此，可能把用户为了返回初始状态而进行的过大动作，辨识为不自然的运动。可操作性显著降低。
[0006]根据日本特开2003-216955号公报中所讨论的技术，在用户的当前位置，设置能够与各用户手部可能存在的区域相当的手势提取区域。然而，未考虑到适合于要进行的各手势操作的区域的大小。


【发明内容】

[0007]本发明的目的是提高当用户进行与目标物体相关的手势操作时的可操作性。
[0008]根据本发明的一个方面，提供一种信息处理装置，其能够基于由拍摄预定区域的图像的摄像单元获得的图像，来辨识由手势物体进行的手势操作。该信息处理装置包括:获取单元，其被配置为获取关于存在于所述预定区域中的目标物体的位置信息；以及设置单元，其被配置为设置所述预定区域的、与由所述获取单元获取到的关于所述目标物体的位置信息相对应的部分区域，作为与所述目标物体相对应的至少一个手势操作的手势辨识区域。该信息处理装置还包括:辨识单元，其被配置为基于由所述摄像单元获得的所述图像的、与由所述设置单元设置的所述手势辨识区域相对应的部分，来辨识由所述手势物体进行的手势操作。
[0009]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

【专利附图】

【附图说明】
[0010]图1A、图1B及图1C例示了信息处理装置的硬件及软件结构以及该信息处理装置的外观的示例。
[0011]图2A及图2B是例示能够由信息处理装置辨识的手势操作以及相关信息的示例的表。
[0012]图3是例示信息处理装置辨识手势操作的主处理的示例流程的流程图。
[0013]图4是例示能够由信息处理装置进行以参照目标物体及用户位置来设置辨识区域的处理的示例流程的流程图。
[0014]图5是例示能够由信息处理装置进行来检测手部的状态的处理的示例流程的流程图。
[0015]图6A至图6D是各自例示能够被进行来设置适合于各估计的操作的辨识区域的处理的示例流程的流程图。
[0016]图7A至图7D例示了 “翻转”(reversing)操作的示例。
[0017]图8A至图8D例示了在估计了 “翻页”(page turning)操作的情况下的辨识区域的示例。
[0018]图9A至图9D例示了在估计了 “翻页”操作的情况下的辨识区域的示例。
[0019]图10A、图1OB及图1OC例示了 “翻页”操作的操作状态的示例。

【具体实施方式】
[0020]下面，将参照附图来详细描述本发明的各个示例性实施例、特征及方面。
[0021]在以下的示例性实施例中记载的构成要素仅仅是示例。本发明的范围不应当局限于这些示例。
[0022]在第一示例性实施例中，提取手势操作的区域不是固定的，并且被设置为具有能够与可能偶尔发生的各手势操作相当的大小。
[0023]另外，在第一示例性实施例中要进行的处理中，包括在辨识与目标物体相关的手势操作时预先估计用户希望进行的操作。然后，在第一示例性实施例中要进行的处理包括设置如下的手势辨识区域，该手势辨识区域在大小和位置两方面，均适合于接下来将可能相对于目标物体进行的手势操作(即估计的手势操作)。在下文中，将详细描述上述的处理。
[0024]在下面的描述中，手势辨识区域是如下的区域，该区域要用来确定从在手势辨识区域中开始检测到能够在手势操作中使用的物体(例如，用户手部)的时间起开始了该手势操作。在下面的描述中，能够用于手势操作的物体被称为手势物体。另外，在第一示例性实施例中要进行的处理包括确定在手势物体从手势辨识区域中离开时手势操作完成。另夕卜，在第一示例性实施例中要进行的处理包括:如果从手势操作的开始时间到手势操作的结束时间的、手势物体的连续运动，是已预先存储的预定运动，则识别出手势操作。
[0025]具体而言，根据本示例性实施例的信息处理装置追踪手势辨识区域中的手势物体的运动，并且如果追踪的运动与预定运动相同，识别出输入了与该预定运动相关联的手势操作。在下面的描述中，手势辨识区域可以简称为辨识区域。在本示例性实施例中，用户手部是能够用作手势物体的示例。手写笔或任何其他工具同样是可用的。
[0026]图1A例示了根据本示例性实施例的信息处理装置100的外观的示例。在本示例性实施例中，信息处理装置100能够利用置于操作面102上面的投影机103显示投影图像，该投影图像包括专用于使得用户能够触摸来进行输入操作的用户界面的显示对象101 (例如，按钮或图标)。
[0027]另外,信息处理装置100包括置于操作面102上面的照相机104。因此,信息处理装置100能够基于由照相机104拍摄的视频的俯视图，来辨识用户操作。另外，信息处理装置100能够拍摄置于操作面102上的目标物体106 (例如，背景对象)的图像，以获得图像数据。
[0028]图1A中所示的目标物体的示例包括被放置在操作面102上的书本106。在以下的描述中，要由照相机104进行来获得如下图像数据的图像拍摄操作被称为“读取”，所述图像数据代表作为，例如，实体物体(例如，纸张或书本)的目标物体的内容。另外，信息处理装置100包括距离传感器105，该距离传感器105能够检测手势物体与操作面102之间的距离。
[0029]如果在离操作面102的表面的预定距离内，能够检测到手势物体，则信息处理装置100确定操作面102当前被触摸。在本示例性实施例中，可以使用图1A中所示的坐标系，相对于操作面102来定义目标物体或用户手部的位置。如图1A所示，坐标系具有原点，以及相互垂直的并且分别从所述原点延伸的X轴和I轴。
[0030]在本示例性实施例中，信息处理装置100能够基于由照相机104拍摄的图像，来辨识用户的手势操作。特别是，如果对放置在操作面102上的目标物体进行了用户操作，则信息处理装置100能够将该用户操作辨识为手势操作。
[0031]例如，如果用户翻动书本106的页面，则信息处理装置100把用户的手部运动，辨识为指示读取各展开页(spread page)的手势操作。如果信息处理装置100将用户的翻动运动的终止识别为操作终止，则信息处理装置100进行读取处理，以获得翻动后的展开页的图像数据。
[0032]在本示例性实施例中，投影机103能够在操作面102上基于上述读取的图像数据投影或者显示图像。投影机103也可以在操作面102上投影该图像连同其缩略图。如果在操作面102上投影的图像是目标物体，则信息处理装置100把显示的图像上的、在向左方向或向右方向上发生的手部运动(即轻扫(swiping)手势)，辨识为指示转发图像的手势操作。
[0033]信息处理装置100在各手势操作被识别之后，依次改变待显示的图像。在下面的描述中，如上所述对实体物体(例如，书本)或虚拟物体(例如，显示的图像数据)进行的手势操作，被称为与目标物体相关的手势操作。在本示例性实施例中，“书本”包括构成多个页面的多个纸张。当“书本”的闭合的页面被翻动时，能够查看或阅读翻动的页面的内容。
[0034]图1B例示了根据本示例性实施例的信息处理装置100的硬件结构。在图1B中，中央处理单元(CPU) 111能够执行信息处理装置100的控制程序，以进行实现各种类型的处理的计算处理及逻辑确定。CPUlll能够控制信息处理装置100中的连接到系统总线115的各构成要素。
[0035]只读存储器(ROM) 112是程序存储器，该程序存储器存储与要由CPUlll进行的各种控制相关的程序。存储在R0M112中的程序包括后述流程图中所示的处理过程。随机存取存储器(RAM) 113能够用作CPUlll的工作区域、在出错处理的情况下的数据保存区域，以及能够加载上述控制程序的加载区域。
[0036]存储设备114包括能够存储与本示例性实施例相关的数据及程序的硬盘驱动器，或者是连接到信息处理装置100的外部存储设备。显示装置103包括，例如，能够显示表示显示对象和图像的电子数据的显示设备或投影机。在本示例性实施例中，显示装置103包括液晶投影机。
[0037]在本示例性实施例中，照相机104被置于操作区域上面，以便拍摄平面图图像。照相机104是摄像单元，该摄像单元被配置为拍摄图像作为输入图像。距离传感器105，包括，例如红外线传感器。如果在操作面102上进行了用户的触摸操作，则距离传感器105能够基于用户在该触摸操作中使用的手势物体(即用户手部)与操作面102之间的距离，而检测到该触摸操作。
[0038]根据本示例性实施例的信息处理装置100包括显示装置103及照相机104作为内置装置。作为另一选择，显示装置103及照相机104可以是能够由CPUlll控制的外部连接设备。
[0039]图1C是例示根据第一示例性实施例的信息处理装置100的功能结构的框图。例如，当要由CPUlll进行的上述软件处理被硬件结构取代时，提供与上述功能(即处理单元)相对应的计算单元及电路是有用的。
[0040]摄像单元120包括照相机104及CPUlll。摄像单元120位于操作面102上面，并且能够获取操作面102的预定区域(即摄像区域)的图像。此外，摄像单元120能够读取作为放置在操作面102上的实体物体(例如，纸张或书本)的目标物体。在下面的描述中，能够由摄像单元120进行摄像的空间(即从照相机104的镜头延伸到操作面102的空间)被称为工作空间。当照相机104拍摄工作空间的图像时能够在照相机104上的二维范围，被称为摄像区域。
[0041]摄像单元120能够被连续地操作以周期性地拍摄工作空间的图像。通过比较顺序拍摄的多个图像，使得检测摄像目标的运动成为可行。在本示例性实施例中，摄像单元120与周期性地进行的图像拍摄操作相独立地，进行专用于读取处理的图像拍摄操作。
[0042]然而，也可以使用通过周期性的图像拍摄操作获得的多个图像中的一者，作为专用于读取处理的图像。此外，如下的做法是有用的，即基于通过多次图像拍摄操作获得的多个图像，来获取专用于读取处理的图像。能够由照相机104进行摄像的范围被称为读取区域。然而，在本示例性实施例中，假定操作面102的大小基本上等于读取区域的大小。
[0043]检测单元121包括CPUl 11，该CPUl 11能够执行被从ROMl 12加载到RAMl 13中的程序及处理数据。检测单元121能够基于由摄像单元120拍摄的图像，来检测存在于工作空间中的检测目标。本示例性实施例中的检测目标包括用户手部、作为对象读取处理中的待处理目标的实体物体，或者显示的虚拟物体。然而，当被投影为目标物体的图像数据是虚拟物体时，并非必须检测拍摄的图像。
[0044]例如，可以用基于拍摄的图像的检测，来取代用于从显示控制单元128获取投影图像数据的处理，或者取代用于获取表示投影图像是否包括能够作为手势操作目标的虚拟物体的标志信息。在本示例性实施例中，检测单元121根据背景差分法进行检测目标检测处理，所述背景差分法使用由摄像单元120拍摄的图像，以及预先在初始状态(即不存在检测目标的工作空间)下拍摄的初始图像。检测单元121能够基于充当背景的初始图像与由摄像单元120拍摄的输入图像之间的差别，来检测输入图像的、包括已出现在工作空间中的运动物体的部分区域。
[0045]此外，检测单元121基于顺序拍摄的输入图像间的差别，能够检测出包括在被检测区域中的运动物体的至少一部分是否是静止。在本示例性实施例中，检测单元121参照预先存储的人手形状模型，对在初始图像中不包括运动物体的图像、但是在后续拍摄的图像中包括已出现在工作空间中的运动物体的图像的区域,进行匹配处理。如果匹配的似然性高于预定值，则检测单元121确定被处理区域是包括了用户手部的区域。
[0046]另一方面，检测单元121确定在初始图像中不包括运动物体的图像、但是在后续拍摄的图像中包括出现在工作空间中后当前静止的运动物体的图像的区域，作为经历对象读取处理的目标实体物体，或是检测到显示的虚拟物体的区域。
[0047]通过上述处理，检测单元121能够获取关于存在于工作空间中的目标物体的位置信息。当检测单元121从显示控制单元128获得投影图像数据时，检测单元121还能够获取关于虚拟物体的位置信息。在下面的描述中，当检测单元121进行上述处理时，可以将这样的处理称为“检测用户手部”或者“检测目标物体”。检测单元121连续地进行用于检测用户手部的处理，而不考虑存在于预定摄像区域中的手势辨识区域的位置。
[0048]识别单元122包括CPU111，该CPUlll能够执行被从ROMl 12加载到RAMl 13中的程序及处理数据。识别单元122能够识别由检测单元121检测到的目标物体的类型。具体而言，基于关于拍摄的图像的包括目标物体的部分区域的图像信息、关于由距离传感器105检测到的目标物体的厚度信息与预先存储的样本模型之间的匹配，识别单元122能够识别目标物体是纸张、书本还是投影图像。
[0049]在本示例性实施例中，纸张是未折叠的纸张。例如，纸张可以包括具有A4或B5的正常尺寸的普通纸，或者是诸如收据纸或便笺纸等非规定的打印物。如果目标物体的厚度是可忽略不计的，或者当图像特征分析的结果表示不存在书脊时，或者当未使用订书钉或任何其他固定件来装订目标物体时，识别单元122能够确定目标物体是纸张。
[0050]此外，如果目标物体的厚度等于或大于预定值，或者当图像特征分析的结果表示书本的书脊的存在时，识别单元122能够确定目标物体是书本。识别单元122能够基于从显示控制单元128获得的信号，将目标物体识别为投影图像的一部分。检测单元121将关于识别的目标物体的位置信息存储在RAMl 13中。
[0051 ] 指定单元123包括CPUl 11，该CPUl 11能够执行被从ROMl 12加载到RAMl 13中的程序及处理数据。指定单元123能够识别相对于由检测单元121检测到的目标物体的、由检测单元121检测到的用户手部的位置及状态。然而，响应于由检测单元121对目标物体的检测，而开始要由指定单元123进行的处理。具体而言，当被插入工作空间中的运动物体的一部分被检测为静止时，指定单元123开始自身的处理。
[0052]基于由检测单元121在由摄像单元120拍摄的图像上检测到的用户手部的插入方向，指定单元123指定用户的方向。然后，指定单元123基于指定的用户的方向来定义方向。指定单元123参照定义的方向，或者诸如用户手部的指尖等的特定部分存在的位置(例如，在目标物体的轮廓上)，来识别相对于由检测单元121检测到的目标物体的用户手部的位置，并且识别用户手部的状态。
[0053]例如，指定单元123能够使用与诸如“握持(grip)目标物体”状态或者“按压(press)目标物体”状态等的特征状态相对应的手部模型，来识别用户手部的状态。指定单元123能够使用与如下处理类似的匹配处理，来指定用户手部的当前状态，所述处理是已被检测单元121进行用来检测运动物体是否为人手的处理。
[0054]估计单元124包括CPUl 11，该CPUl 11能够执行被从ROMl 12加载到RAMl 13中的程序及处理数据。估计单元124能够估计可能将被用户进行的操作。在这种情况下，基于存储在存储单元127中的操作字典，估计单元124指定由识别单元122识别的目标物体的类型，以及与由指定单元123指定的信息相关联的操作。估计单元124基于指定的结果来生成估计结果。然后，通过参照操作字典，估计单元124能够估计与估计的操作相关联的区域信息，作为适合于接下来可能将进行的手势操作的手势区域。然后，估计单元124识别表示区域的信息。
[0055]设置单元125包括CPUl 11，该CPUl 11能够执行被从ROMl 12加载到RAMl 13中的程序及处理数据。设置单元125能够设置能够用来辨识手势操作的手势辨识区域。在本示例性实施例中，在紧接在信息处理装置的电源接通之后的初始状态下，设置单元125设置能够包含操作面102的整个区域的区域，作为手势辨识区域。
[0056]然后，如果识别单元122识别除用户手部以外的目标物体，则设置单元125在识别的目标物体的周边区域中设置新的手势辨识区域。在这种情况下要设置的预定辨识区域是具有能够与目标物体相当的大小及位置的区域。具体而言，设置单元125以包含目标物体的外接矩形的方式，来进行手势辨识区域设置操作。
[0057]另外，基于在用户将目标物体插入到工作空间中时的手部(或手臂)的方向，来定义要被采用来定义用户的手势的方向的坐标系。然而，如果对象是虚拟物体(例如，投影图像)，则增加能够基于投影方向定义的适当变形是可行的。此外，基于表示适合于已由估计单元124估计的手势操作的手势区域的信息，设置单元125能够设置摄像单元120的预定摄像区域的至少一部分，作为手势辨识区域。
[0058]辨识单元126包括CPUl 11，该CPUl 11能够执行被从ROMl 12加载到RAMl 13中的程序及处理数据。辨识单元126能够追踪在已由设置单元125设置的手势辨识区域中的用户手部的运动，并且基于用户手部的运动来辨识操作。具体而言，辨识单元126识别与追踪的手部运动相对应的操作命令。具体而言，从检测单元121在手势辨识区域中最先检测到用户手部的手势开始时间起，直到用户手部从手势辨识区域中离开的手势结束时间，辨识单元126追踪用户手部的连续运动。
[0059]然后，辨识单元126参照预先存储在存储单元127中的各手势模型，对追踪的用户手部的运动进行匹配处理。辨识单元126识别与匹配结果满足给定条件的模型相关联的操作命令。操作命令例如是使摄像单元120进行读取处理的指令,或者是使显示控制单元128改变显示内容的指令。
[0060]然而，在本示例性实施例中，如果当设置辨识区域时，用户手部已经存在于辨识区域中，则辨识单元126确定“在手势辨识区域中已开始用户手部的检测”。
[0061]此外，当在本示例性实施例中追踪用户手部运动时，辨识单元126在由摄像单元120拍摄的图像中，获得包括用户的手掌的区域的重心位置。然后，基于与包括用户的手掌的区域的变形相比，重心位置的移动是相对稳定的事实，辨识单元126辨识重心位置的改变，作为用户手部的位置移动。然而，要追踪的目标不局限于上述的重心，并且也可以是包含用户的手掌的整个区域，或者可以是中心点或任何其他特征点。
[0062]此外，根据本示例性实施例的辨识单元126能够辨识用户的触摸操作，该触摸操作能够通过触摸操作面来进行。基于由检测单元121检测到的用户手部中包括的指尖的位置信息，以及距离传感器105的输出信号，辨识单元126能够辨识被用户触摸的位置。
[0063]当辨识单元126辨识出对操作面进行的触摸操作时，辨识单元126在操作面上的从触摸到释放的时间段中，在由摄像单元120拍摄的图像中包括的、包括用户的手掌的区域中，追踪伸展的用户手指的指尖位置。辨识单元126辨识上述的追踪操作的轨迹，作为在触摸操作期间的用户手指的运动。
[0064]存储单元127对应于存储设备114。存储单元127存储在根据本示例性实施例的处理中要使用的操作字典，以及各个操作命令与手势模型相关联的信息。手势模型是关于基准模型的信息，其中在从手势辨识区域中的用户手部的检测的开始到结束的时间段中，能够针对位置的改变以及形状的改变，来参照所述基准模型。
[0065]显示控制单元128包括CPU111，该CPUlll能够执行被从ROMl 12加载到RAMl 13中的程序及处理数据。显示控制单元128能够根据由辨识单元126辨识出的操作命令指令，生成要输出到显单元129的显示图像。
[0066]显示单元129包括显示装置103及CPUlll。显示单元129能够在操作面上,显示由显示控制单元128生成的显示图像。在本示例性实施例中，显示装置103是投影机。因此，显示单元129能够通过将图像投影在操作面上，来进行显示处理。
[0067]图2A例示了列出了在本示例性实施例中能够被辨识的操作内容的示例的表。图2A中所示的表中包括的操作不局限于手势操作，并且可以是触摸操作，或者是手势操作之前的准备操作。在本示例性实施例中，在项目204中，后缀为白色圆圈“〇”的各操作是“手势操作”，能够基于从检测开始到检测终止的、在手势辨识区域中进行的用户手部的连续运动，来指定该“手势操作”的操作命令。对于各个手势操作而言，在存储单元127中，存储将表示手部运动201的模型与表示指令内容202的命令相关联的关联信息。辨识单元126能够通过参照上述的关联信息，来辨识这些手势操作。
[0068]例如，在本示例性实施例中，如上所述，当充当目标物体的书本被放置在操作面上时，信息处理装置100将翻动书本的页面的手部运动辨识为手势操作，并且在每次页面被新翻动时读取双跨页(double-page spread)。在下面的描述中，上述的手势操作被称为“翻页”操作。
[0069]此外，在本示例性实施例中，信息处理装置100辨识使目标物体(例如，纸张、书本或者投影的图像数据)移动或旋转的用户手部运动，作为由用户进行的操作。信息处理装置100参照已被移动或旋转的目标物体的位置及方向，来重新设置辨识区域，这是因为，响应于目标物体的位置改变，进行与目标物体相关的手势操作的位置将显著偏离。在本示例性实施例中，上述的用户手部操作分别称为“纸张移动”、“书本移动”及“(图像数据)拖动”操作。换言之，这些操作是在接下来要进行的手势之前的准备操作。
[0070]此外，在本示例性实施例中，信息处理装置100将翻转纸张的用户手部运动辨识为手势操作。当用户的纸张翻转操作完成时，具体而言，当翻转的纸张的状态为静止时，信息处理装置100进行读取处理。在本示例性实施例中，上述的手势操作被称为“翻转”操作。
[0071]此外，在本示例性实施例中，如果在投影的图像数据上面，用户手部在向左方向上(即从右向右)或者在向右方向上(即从左向右)运动，则信息处理装置100将用户手部的运动辨识为手势操作。响应于该手势操作，信息处理装置100改变显示的图像数据。
[0072]在本示例性实施例中，如果用户手部在向左方向上移动，则信息处理装置100显示根据预定显示顺序定位的多个被存储的图像数据的后面的部分。如果用户手部在向右方向上移动，则信息处理装置100显示根据预定显示顺序定位的多个被存储的图像数据的前面的部分。在本示例性实施例中，上述的手势操作分别称为“向左轻扫”操作和“向右轻扫”操作。
[0073]此外，在本示例性实施例中，信息处理装置100将多点触摸(mult1-touch)操作(即对投影的图像数据的、利用两个或更多触摸点的触摸操作)辨识为对图像数据进行变形的指令。图像数据的变形包括图像的放大、缩小及旋转。然后，信息处理装置100参照变形后的图像数据的大小、位置及方向，来重新设置辨识区域，这是因为，响应于图像数据的变形，进行与该图像数据相关的手势操作的位置将显著偏离。在本示例性实施例中，上述的多点触摸操作中的各个被称为“图像变形”操作。换言之，上述操作是接下来要进行的手势之前的准备操作。
[0074]图2A中所列的操作仅仅是示例。根据本示例性实施例的信息处理装置100能够将包括上述示例的操作字典存储在存储单元中，使得信息处理装置100能够将用户手部的各种运动辨识为单个的手势操作。
[0075]图2B例示了列出估计的操作与要根据估计结果设置的手势辨识区域之间的对应关系的示例的表。根据本示例性实施例的估计单元124基于识别的目标物体210以及分别对应于目标物体的手部位置211及手部状态212，来识别相互对应的估计操作名称213和辨识区域214。
[0076]例如，如果识别的目标物体210是书本，手部位置211邻近于目标物体(即书本)的轮廓，并且手部状态212是“握持目标物体”状态，则估计单元124估计已进行的操作是“翻页”操作。在本示例性实施例中，如果手部的一部分被目标物体隐藏，并且未被包含在拍摄的图像中，则估计单元124确定手部状态212是“握持目标物体”状态。
[0077]估计单元124之所以基于上述状况而估计“翻页”操作的执行，原因在于，打算翻动页面的用户通常将手部向目标物体(即书本)的轮廓移动，以握持页面的边缘，并且手指(即手部的一部分)很可能将位于页面下方。
[0078]然后，在由估计单元124估计了 “翻页”操作的执行之后，设置单元125设置辨识区域，该辨识区域的大小能够容纳书本的双跨页以及处于“握持目标物体”状态的手部，从而在该辨识区域中能够充分检测到手部运动。以这种方式，如图2B所示，存储了多条关联信息，这些关联信息各自代表用户可能移动手部来进行手势操作的位置与在该时刻的可能手部状态之间的对应关系。
[0079]图3是例示根据本示例性实施例的、能够由信息处理装置100进行来辨识手势操作的主处理的示例流程的流程图。在本示例性实施例中，信息处理装置100响应于信息处理装置100的电源的接通操作，来起动图3中所示的主处理。此外，信息处理装置100能够在特定应用被执行时，或者响应于操作模式的选择，来起动图3中所示的主处理。
[0080]在步骤S301中，设置单元125设置摄像单元120的预定摄像区域的、包括操作面102的整个区域的部分区域，作为手势辨识区域。在这种情况下，定义辨识区域的坐标系最初被设置为包括图1A中所示的X轴和y轴。
[0081]在本示例性实施例中，进行坐标系的初始设置，使得当从用户处观察时，满足以下的关系。y轴的正向侧是向前方向。y轴的负向侧是向后方向。X轴的正向侧是向右方向。并且，X轴的负向侧是向左方向。
[0082]在步骤S302中，摄像单元120开始工作空间中的图像拍摄操作。检测单元121基于由摄像单元120拍摄的图像，开始检测用户手部以及目标物体。在本示例性实施例中，检测单元121基于由摄像单元120拍摄的图像，来检测存在于工作空间中的运动物体。如果运动物体的形状与预先存储的人手模型相似，则检测单元121将该运动物体检测为用户手部。因此，信息处理装置100能够辨识在该时刻进行的、并且不与目标物体相关的手势操作。
[0083]在步骤S303中，检测单元121确定目标物体是否被插入到工作空间中。在本示例性实施例中，如果存在于工作空间中的运动物体的形状不与预先存储的人手模型相似，则检测单元121确定用户将实体物体作为目标物体插入到工作空间中。
[0084]此外，如果已输入的用户操作是将图像数据投影在操作面上的指令，则检测单元121在开始图像数据投影时，确定虚拟物体被作为目标物体插入到工作空间中。如果确定目标物体被插入到工作空间中(步骤S303:是)，则处理进入到步骤S304。当确定目标物体尚未被插入到工作空间中时(步骤S303:否)，检测单元121进行等待，直到目标物体被插入为止。
[0085]在步骤S304中，检测单元121存储在目标物体被插入到工作空间中的时刻的拍摄图像。在本示例性实施例中，检测单元121将由摄像单元120拍摄的如下图像存储在RAM113中，该图像被用于当确定目标物体被插入到工作空间中时的处理。上述的拍摄图像例如是当用户手部将目标物体放置在操作面上时拍摄的图像，或者是当输入了对图像数据进行投影的指令时拍摄的图像。
[0086]在步骤S305中，识别单元122识别插入的目标物体。在本示例性实施例中，如果关于目标物体的插入的确定是基于图像数据的投影指令，则识别单元122识别出目标物体是投影图像。
[0087]另一方面，如果插入的对象是目标物体，则识别单元122使用适当的图像特征分析方法，基于由摄像单元120拍摄的图像进行识别处理。例如，基于关于包括放置在操作面上的目标物体的区域的图像信息与预先存储的样本模型之间的匹配，识别单元122确定目标物体是书本、纸张还是投影图像。在这种情况下，如果目标物体是书本，则识别单元122确定书本是打开的还是闭合的。
[0088]在步骤S306中，设置单元125设置适合于识别的目标物体以及用户位置的辨识区域。
[0089]图4是例示在步骤S306中能够由信息处理装置100进行以基于目标物体及用户位置来设置适当的辨识区域的处理的示例流程的流程图。
[0090]在步骤S401中，检测单元121基于由摄像单元120拍摄的图像，获取关于已被插入工作空间的目标物体的大小及位置的信息。在本示例性实施例中，检测单元121在由摄像单元120拍摄的最新图像中，检测包括拍摄的目标物体的区域，并且从特征点中提取表示外接矩形的位置信息。换言之，检测单元121获取关于目标物体的大小及位置的信息。在本示例性实施例中，检测单元121获取协同构成外接矩形的4个顶点的坐标值。然而，如下的做法也是有用的，即检测单元121获取关于至少一个顶点的坐标信息以及关于外接矩形的大小信息(例如，宽度)。
[0091]在步骤S402中，设置单元125设置能够包含外接矩形的矩形区域，作为辨识区域。在本示例性实施例中，在追踪用户手部运动时，信息处理装置100追踪包括拍摄的手掌部分的区域的重心。在用户手部握持目标物体的情况下，包括拍摄的手掌部分的区域的重心存在于从目标物体向外偏移的位置。
[0092]因此，当目标物体被用户手部握持时，设置单元125设置比外接矩形大预定边际量的矩形区域，作为新的辨识区域，使得手掌的重心位置能够被包括在辨识区域中。
[0093]在步骤S403中，检测单元121从RAM113中，读取在步骤S304中存储的拍摄图像(即在目标物体被插入到工作空间中的时刻拍摄的图像)。
[0094]在步骤S404中，检测单元121基于读取的图像，相对于工作空间来识别用户手臂的插入方向。例如，检测单元121从图像中提取用户的手臂以及手掌部分，并且识别手臂与操作面的轮廓交叉的交叉部分。检测单元121把从指定的交叉部分延伸到用户的手掌的重心(或中心)的矢量的方向，规定为用户的手臂的插入方向。在本示例性实施例中，当检测单元121终止了上述处理(即要在步骤S404中进行的处理)时，信息处理装置100丢弃在步骤S304中存储在RAM113中的拍摄图像。
[0095]在步骤S405中，设置单元125基于指定的插入方向来估计用户的方向，并且设置要应用于辨识区域的坐标系。在本示例性实施例中，认为穿过操作面的中心点并且在步骤S404中指定的方向上延伸的矢量与用户的视线方向一致。另外，该矢量的起始点被视为用户存在的位置。
[0096]因此，设置单元125把从用户存在的位置向操作面的中心点延伸的方向，规定为当从用户处观察时的向前方向。然后，参照规定的方向，设置单元125相对于在步骤S403中所设置的辨识区域，来设置定义用户的前后方向和左右方向的坐标系。如果执行了手势，则设置单元125使用如上所述已设置的手势坐标系，来指定手势操作的方向。
[0097]在这种情况下，信息处理装置100能够调整辨识区域，使得该辨识区域变为平行于新设置的坐标系。在图4中所示的流程图中，信息处理装置100在完成辨识区域(位置及大小)设置处理之后，进行坐标系设置处理。然而，如果需要也可以使上述依次进行的操作的顺序反转。
[0098]如上所述，在本示例性实施例中，在目标物体被插入工作空间时，信息处理装置100设置具有适合于目标物体的外接矩形的大小的辨识区域，连同与用户位置匹配的坐标系O
[0099]当设置了具有适合于目标物体的大小的辨识区域时，用户进行与目标物体相关的手势操作变得容易，因为用户不需要进行任何过大的操作。另外，当设置了与用户匹配的坐标系时，信息处理装置100能够准确地区别和辨识各用户手部运动(例如，“从右向左”的运动或者“从左向右”的运动)。
[0100]特别是，当要对图像数据进行的处理是要在不改变目标物体的形状的情况下进行的处理(例如，向左或向右轻扫)，则信息处理装置100能够有效地使用要在步骤S306中设置的辨识区域。通过在已设置的手势区域中，检测从右向左或从左向右移动的用户手部，能够辨识向左或向右轻扫。
[0101]当辨识区域及坐标系的设置完成时，操作返回到图3中所示的主处理。
[0102]接下来，在步骤S307中，识别单元122进行如下的确定，即被插入工作空间的目标物体，即在步骤S305中识别的目标物体，是否是纸张或打开的(或展开的(spread))书本。如果确定目标物体(即在步骤S305中识别的对象)是纸张或展开的书本(步骤S307:是)，则处理进入到步骤S308。如果确定目标物体(即在步骤S305中识别的对象)不是纸张或展开的书本(步骤S307:否)，则处理进入到步骤S309。
[0103]在步骤S308中，摄像单元120进行对目标物体的读取处理，并且获取代表纸张或书本的内容的图像数据。
[0104]识别单元122及摄像单元120基于以下的设置进行步骤S307及S308中的处理。在本示例性实施例中，将纸张或展开的书本放置在操作面上是进行对目标物体的读取处理的指令。因此，当用户通过翻转各纸张或者翻转书本的各页、来依次进行多次读取操作时，用户不需要输入明确的操作，因而能够实现快速的处理。然而，如果信息处理装置100仅在用户进行指示读取的操作时进行读取处理，则信息处理装置100可以省略步骤S307及S308的处理。
[0105]在步骤S309中，指定单元123相对于目标物体来识别用户手部的状态。指定单元123进行如下的确定，即用户手部的状态是否符合在图2B中所示的表的项目212中列出的用户手部的示例状态中的任何一个。
[0106]图5是例示在步骤S309中能够由信息处理装置100进行来检测用户手部的状态的处理的示例流程的流程图。
[0107]在步骤S501中，检测单元121基于由摄像单元120拍摄的图像，来检测用户手部的当前位置。在本示例性实施例中，检测单元121获得拍摄的图像的、用户手掌存在的部分区域的重心位置，并且将获得的重心位置规定为用户手部的位置。在这种情况下，可以配设如下的处理步骤，即进行等待，直到用户手部变为静止的并持续预定时间或更久为止。检测单元121能够通过检测用户手部持续静止的位置，来准确地识别用户手部的状态。
[0108]在步骤S502中，指定单元123基于由摄像单元120拍摄的图像，来确定检测的用户手部是否位于目标物体上。如果确定检测的用户手部位于目标物体上(步骤S502:是)，则处理进入到步骤S503。如果确定检测的用户手部没有位于目标物体上(步骤S502:否)，则处理进入到步骤S509。
[0109]在步骤S503中，指定单元123基于由摄像单元120拍摄的图像，来确定用户手部的状态是否为手掌展开状态。在本示例性实施例中，指定单元123参照预先存储的、代表手掌展开状态的模型，对包括手掌的区域的特征形状进行匹配处理，以确定用户手部的状态。在另一步骤中，信息处理装置100类似地进行用于确定用户手部的状态的处理。如果确定用户手部的状态是手掌展开状态(步骤S503:是)，则处理进入到步骤S504。如果确定用户手部的状态不是手掌展开状态(步骤S503:否)，则处理进入到步骤S505。
[0110]在步骤S504中，指定单元123将用户手部的状态指定为处于“从上面按压”状态。然后，操作返回到图3中所示的主处理。在本示例性实施例中，要在步骤S503及S504中进行的处理是基于普通的用户操作，该用户操作是用户在手部处于展开状态的情况下、在从上面按压纸张的同时移动纸张。由此，指定单元123能够准确地区别上述操作与其他操作。然而，用户手部的状态不局限于手掌展开状态。可以用其他状态来取代手掌展开状态。
[0111]另一方面，在步骤S505中，指定单元123基于由摄像单元120拍摄的图像，来确定用户手部的状态是否为部分手指伸展状态。如果确定用户手部的状态是部分手指伸展状态(步骤S505:是)，则处理进入到步骤S506。如果确定用户手部的状态不是部分手指伸展状态(步骤S505:否)，则操作返回到图3中所示的主处理，而不指定用户手部的状态。
[0112]在步骤S506中，指定单元123基于由摄像单元120拍摄的图像，来确定是否仅一个手指被伸展。例如，当用户伸展一个手部的多个手指(例如，拇指和食指)时，或者当用户伸展各手部的一个或更多手指时，指定单元123确定伸展的手指的数量是不只一个手指。如果确定仅一个手指被伸展(步骤S506:是)，则处理进入到步骤S507。如果确定伸展的手指的数量不只一个，即当两个或更多手指被伸展时(步骤S506:否)，处理进入到步骤 S508。
[0113]在步骤S507中，指定单元123将用户手部的状态指定为处于“触摸操作面”状态。然后，操作返回到图3中所示的主处理。
[0114]在步骤S508中，指定单元123将用户手部的状态指定为处于“触摸操作面上的两处或更多处”状态。然后，操作返回到图3中所示的主处理。
[0115]在步骤S509中，指定单元123基于由摄像单元120拍摄的图像，来确定检测的用户手部的位置是否邻近于目标物体的轮廓。如果确定检测的用户手部的位置邻近于目标物体的轮廓(步骤S509:是)，则处理进入到步骤S510。如果确定检测的用户手部的位置不邻近于目标物体的轮廓(步骤S509:否)，则操作返回到图3中所示的主处理，而不指定用户手部的状态。
[0116]在步骤S510中，指定单元123基于由摄像单元120拍摄的图像，来确定用户手部的一部分是否被目标物体隐藏。在本示例性实施例中，为了进行步骤S510中的确定处理，指定单元123参照预先存储的如下的人手模型，对包括手掌的区域的形状的特征进行匹配处理，根据所述人手模型，手掌被目标物体的下表面或侧表面部分地隐藏从而握持目标物体。作为另一选择，在确定用户手部当前是否正在握持目标物体时，指定单元123可以确定特定手指间的位置关系是否满足预定条件。
[0117]如果确定用户手部被目标物体部分地隐藏(步骤S510:是)，则处理进入到步骤S511。如果确定用户手部的状态不是部分手指伸展状态(步骤S510:否)，则操作返回到图3中所示的主处理，而不指定用户手部的状态。
[0118]在步骤S511中，指定单元123进行如下的确定，即已被确定为被目标物体部分地隐藏的用户手部的位置，是否存在于将目标物体夹在中间的两处之间。如果确定用户手部的位置存在于将目标物体夹在中间的两处之间(步骤S511:是)，则处理进入到步骤S512。如果确定用户手部的位置(即用户手部的状态)未存在于将目标物体夹在中间的两处之间(步骤S511:否)，则处理进入到步骤S513。
[0119]在步骤S512中，指定单元123将用户手部的状态指定为处于“抬起目标物体”状态。然后，操作返回到图3中所示的主处理。在本示例性实施例中，要在步骤S512中进行的处理是基于用双手举起书本的普通用户操作，该操作能够与翻页操作区别开来。
[0120]然而，例如，在实际操作中可能会处置与纸张类似的薄书本。在这种情况下，在按压目标物体的同时移动目标物体是可行的。如果用户选择的方法是在从上面按压目标物体的同时移动目标物体，则通过步骤S502、S503及S504中的处理，能够将用户手部指定为处于“从上面按压”状态。
[0121]在步骤S513中，指定单元123将用户手部的状态指定为处于“握持目标物体”状态。然后，操作返回到图3中所示的主处理。
[0122]返回到图3中所示的主处理流程图，在步骤S310中，估计单元124估计接下来要进行的操作。估计单元124参照存储在存储单元127中的操作字典，并且识别与在步骤S309的处理中指定的用户手部的状态以及在步骤S305中识别的目标物体相关联的操作。
[0123]操作字典存储例如图2B中所示的关联信息。如果在操作字典中，未存储与在步骤S309的处理中指定的用户手部的状态和在步骤S305中识别的目标物体的组合相对应的操作，则估计单元124生成通知不能估计任何特定操作的估计结果。同样，当在步骤S309中不能指定用户手部的状态时，估计单元124生成通知不能估计任何特定操作的估计结果。
[0124]在步骤S311中，估计单元124确定是否估计了特定操作。如果作为步骤S310中获得的处理结果，能够指定存储在操作字典中的手势操作，则确定估计出了特定手势操作(步骤S311:是)。然后，处理进入到步骤S312。如果作为步骤S310中获得的处理结果，不能估计特定手势操作，则确定未估计出特定手势操作(步骤S311:否)。然后，处理进入到步骤S313。
[0125]在步骤S312中，设置单元125通过进行适合于估计的各操作的处理，来重新设置辨识区域。稍后，将详细描述要针对估计的各操作进行的处理。
[0126]在步骤S313中，辨识单元126在步骤S312中所设置的手势辨识区域中，辨识用户的手势操作。信息处理装置100通过向各功能单元通知辨识的结果，来响应进行的手势操作。例如，摄像单元120进行读取处理。显示控制单元128改变要投影到操作面上的图像的内容，并且将改变后的图像数据输出到显示单元129。如果在预定时间段内未进行手势操作，则处理直接进入到步骤S314。
[0127]在步骤S314中，辨识单元126确定是否输入了终止指令。终止指令例如是切断信息处理装置100的电源的操作，或者是终止基于GUI操作的应用的指令。如果确定输入了终止指令(步骤S314:是)，则信息处理装置100终止图3中所示的主处理。如果确定未输入终止指令(步骤S314:否)，则处理进入到步骤S315。
[0128]在步骤S315中，检测单元121基于由摄像单元120拍摄的图像，确定在步骤S303中被确定为插入工作空间的目标物体，是否被从工作空间中移走。如果确定目标物体被从工作空间中移走(步骤S315:是)，则操作返回到步骤S301。如果确定目标物体未被从工作空间中移走(步骤S315:否)，则操作返回到步骤S309，在该步骤S309中，指定单元123重复进行估计接下来要进行的操作并重新设置辨识区域的处理。
[0129]图6A至图6D是各自例示要在步骤S312中进行来设置适合于各估计的操作的辨识区域的处理的示例的流程图。下面，详细地描述各处理。
[0130]〈在“纸张移动”、“书本移动”及“拖动”操作的情况下>
[0131]图6A是例示当估计的操作是“纸张移动”、“书本移动”及“拖动”操作中的任何一者时、能够优先采用的辨识区域重新设置处理的示例的流程图。
[0132]在步骤S601中，设置单元125抑制辨识单元126在当前的辨识区域中进行手势辨识处理。如图2B的辨识区域214中所示，当估计的手势是“纸张移动”、“书本移动”及“拖动”操作中的任何一者时，信息处理装置100不进行手势操作辨识处理,直到移动终止为止，这是为了在移动目标物体的用户手部被包括在辨识区域中的情况下，防止用户手部运动被错误地辨识为手势操作的运动。
[0133]在步骤S602中，检测单元121基于由摄像单元120拍摄的图像，确定工作空间中的目标物体的移动是否完成。在本示例性实施例中，如果拍摄的图像的目标物体区域保持静止预定时间或更久，则检测单元121确定移动完成。
[0134]当手势操作是“拖动”操作时，信息处理装置100另外进行如下的处理，即根据触摸位置的移动来改变图像数据的显示位置。如果确定移动完成(步骤S602:是)，则处理进入到步骤S603。如果确定移动尚未完成(步骤S602:否)，则检测单元121重复步骤S602中的处理，直到移动完成为止。
[0135]在步骤S603中，检测单元121基于由摄像单元120拍摄的图像，来获取表示静止目标物体的外接矩形的位置信息。
[0136]在步骤S604中，设置单元125基于在步骤S603中获取到的位置信息，来设置能够包含外接矩形的矩形区域，作为新的辨识区域。要在步骤S603及S604中进行的处理类似于已在步骤S401及S402中进行的处理。
[0137]如上所述，如果接下来要进行的估计的操作是“纸张移动”、“书本移动”及“拖动”操作中的任何一者，则信息处理装置100参照移动后的目标物体来重新设置手势操作辨识区域，同时抑制在移动终止之前可能发生的任何对手势的出错辨识。
[0138]〈在“翻转”操作的情况下>
[0139]图6B是例示当估计的操作是“翻转”手势操作时、能够优先采用的辨识区域重新设置处理的示例的流程图。
[0140]在步骤S611中，检测单元121识别纸张的被握持的部分。例如，如果待处理的纸张是矩形纸张，则检测单元121参照在操作面上设置的坐标系进行如下的确定，即被握持的部分是当从用户处观察的、矩形纸张的前侧、后侧、左侧及右侧中的任何一者，还是边的中央周围部分，还是邻近于纸张的边缘的部分。
[0141]在步骤S612中，设置单元125基于指定的部分，来估计将进行翻转操作的范围。一般而言，当用户在翻转纸张后、打算将纸张再次放置在操作面上的原始位置时，依据纸张的被握持的部分，在翻转操作中用户手部移动的范围的大小或方向是可变的。
[0142]在本示例性实施例中，将进行翻转操作的范围是由摄像单元120拍摄的图像中的如下范围，即包括进行翻转操作的用户的手掌的区域的重心移动的范围。例如，在用户翻转纸张的情况下，如下的做法是可行的，即如果被握持的部分是纸张的边的中央，则反转纸张，而不在沿x-y平面伸展的方向上大幅地移动手部。另一方面，在用户握住纸张的边缘的同时翻转纸张的情况下，可以认为在沿χ-y平面延伸的方向上，手部的运动更有可能将不是可忽略不计的。
[0143]作为示例，如果用户握持的部分是纸张的前侧，并且相对邻近于纸张的左端，则当用户进行翻转操作时，手部更有可能在向右方向上移动。此外，如果用户握持的部分是纸张的后侧，并且相对邻近于纸张的右端，则当用户进行翻转操作时，手部更有可能在向前方向上移动。
[0144]如上所述，当用户握持的位置偏移到纸张的边缘时，可以估计，与握持位置是纸张的边缘的中央的情况相比，进行翻转操作的范围是宽的。
[0145]理想的情况是，考虑到在翻转操作中可能发生不规则运动，或者在纸张的形状不是矩形的情况下，估计的范围具有足够大的大小。
[0146]在本示例性实施例中，当信息处理装置追踪用户手部的移动时，信息处理装置追踪包括被拍摄图像的手掌部分的区域的重心。当用户握持目标物体时，包括被拍摄图像的手掌部分的区域的重心位于目标物体的外侧。因此，当用户手部握持目标物体时，信息处理装置把通过向外接矩形添加预定边际部分而得到的矩形区域，设置为新的辨识区域，以便将手掌的重心位置包括在辨识区域中。
[0147]信息处理装置针对标准操作进行上述处理。然而，当特定用户的运动不是通常的运动时，如下的做法是有用的，即用户可以预先登记翻转操作中的纸张握持位置与操作区域之间的关系。
[0148]在步骤S613中，设置单元125重新设置辨识区域，以便包含在步骤S612中估计的范围。在本示例性实施例中，设置单元125通过将在步骤S612中估计的范围添加到在步骤306中设置的辨识区域，来扩展辨识区域，从而进行重新设置处理。
[0149]如上所述，当估计接下来进行“翻转”操作时，信息处理装置100重新设置手势操作辨识区域来扩展辨识区域，以便包括在进行翻转操作的过程中用户手部可能移动的范围。
[0150]〈在“翻页”操作的情况下>
[0151]图6C是例示当估计的操作是“翻页”手势操作时、能够优先采用的辨识区域重新设置处理的示例的流程图。
[0152]在步骤S621中，检测单元121识别书本的被握持的部分。在本示例性实施例中，检测单元121参照在操作面上设置的坐标系进行如下的确定，即用户握持的部分是当从用户处观察时的、书本的封面或页面的前侧、后侧、左侧及右侧中的任何一者，还是位于书本的边缘附近。
[0153]在步骤S622中，设置单元125识别书本的打开方向。在本示例性实施例中，基于对由摄像单元120拍摄的图像进行的图像分析的结果，设置单元125获取表示书本的书脊在手势坐标系中的位置的信息，或者表示文字的书写方向(例如，横向或纵向)的信息。
[0154]此外，在本示例性实施例中，当识别单元在步骤S305中识别目标物体时，识别单元能够另外识别书本处于闭合状态还是处于打开状态。因此，当书本处于打开状态时，设置单元125能够基于图像分析来检测打开的页面的边界线，并且能够将垂直于该边界线的方向指定为书本的打开方向。
[0155]此外，如果在书本的闭合状态下，信息处理装置不能基于图像特征来清楚地区别书脊(例如，当处理目标书本是小册子或任何其他薄书本时)，设置单元125可以基于在步骤S621中指定的关于用户手部的位置信息，来估计当书本被用户打开时的书本的打开方向。
[0156]在步骤S623中，设置单元125估计将进行翻页操作的范围。在本示例性实施例中，将进行翻页操作的范围是由摄像单元120拍摄的图像中的如下范围，即包括进行翻页操作的用户的手掌部分的区域的重心能够移动的范围。
[0157]在这种情况下，设置单元125的估计范围是用户手部可能移动的范围，该范围可以被设置为包含在步骤S622中估计的书本打开方向上的一页宽度的至少两倍。例如，当dx[dot]代表在书本打开方向在用户坐标系中是左右方向的情况下的、一页的横向宽度(即y轴方向上的宽度)时，设置单元125估计当用户进行翻动操作时，用户手部的可移动范围能够与至少2dx[dot]相当。
[0158]在步骤S624中，设置单元125重新设置辨识区域，以便添加在步骤S623中估计的范围。在本示例性实施例中，设置单元125将在步骤S623中估计的范围添加至在步骤306中设置的辨识区域，从而扩展辨识区域。
[0159]如上所述，当估计接下来进行“翻页”操作时，信息处理装置100重新设置手势操作辨识区域来扩展辨识区域，以使得包括在进行翻页操作的过程中用户手部可能移动的范围。
[0160]〈在“图像变形”操作的情况下>
[0161]图6D是例示当估计的操作是“图像变形”操作时、能够优先采用的辨识区域重新设置处理的示例的流程图。
[0162]在步骤S631中，设置单元125抑制辨识单元126，以防止在当前辨识区域中的手势辨识处理。要在步骤S631中进行的处理的目的在于，在用于给出对图像数据进行变形的指令的用户手部运动被包括在辨识区域中的情况下，防止用户的触摸操作被错误地辨识为手势操作的运动。
[0163]在步骤S632中，辨识单元126辨识触摸操作。显示控制单元128根据辨识出的操作对图像数据进行变形，并且将变形的图像数据输出到显示单元129。
[0164]在步骤S633中，辨识单元126确定触摸操作是否完成。在本示例性实施例中，如果距离传感器105的输出表示，在距操作面的表面的预定距离内不能检测到用户手部，则辨识单元126确定触摸操作完成。如果确定触摸操作完成(步骤S633:是)，则处理进入到步骤S634。如果确定触摸操作尚未完成(步骤S633:否)，则辨识单元126重复步骤S633中的处理，直到触摸操作完成为止。
[0165]在步骤S634中，检测单元121基于由摄像单元120拍摄的图像，来获取表示目标物体(在这种情况下，即变形的图像数据)的外接矩形的位置信息。
[0166]在步骤S635中，设置单元125基于在步骤S634中获取到的位置信息，来设置能够包含外接矩形的矩形区域，作为新的辨识区域。
[0167]如上所述，如果接下来要进行的估计的操作是“图像变形”操作，则信息处理装置100参照移动后的目标物体来重新设置手势操作辨识区域，同时抑制在触摸操作完成之前可能发生的任何对手势的错误辨识。
[0168]如上所述，根据本示例性实施例的信息处理装置100估计将被用户进行的操作，并且设置适合于接下来要进行的手势操作的适当的手势辨识区域。
[0169]接下来，在下文中详细描述用户的手势操作的示例，以及适合于该用户手势操作的手势辨识区域的示例。
[0170]〈“翻转”操作的示例〉
[0171]图7A至图7D例示了操作面上从上方观察的“翻转”操作的示例。因此，假定在纸面上，y轴被设置为在上下方向上延伸，并且X轴被设置为在左右方向上延伸。
[0172]图7A例示了纸张700被插入工作空间的状态。区域701a是在步骤S306中由设置单元125设置的手势辨识区域。在这种情况下，用户手部702的位置邻近于目标物体的轮廓(步骤S509:是)，并且用户手部702的一部分被目标物体隐藏(步骤S510:是)。另夕卜，用户手部702的位置被限制为仅一处(步骤S511:否)。因此，指定单元123将用户手部的状态指定为处于“握持目标物体”状态(参见步骤S513)。另外，考虑到目标物体是纸张的事实，估计单元124估计用户将进行“翻转”操作(参见步骤S310)。
[0173]图7B例示了因为估计的操作是“翻转”操作、而重新设置了手势辨识区域的状态。从图7B的例示中，能够指定被用户手部702握持的纸张(即目标物体)的位置邻近于纸张的右侧，并靠近纸张的下侧(参见步骤S611)。在翻转操作中，用户手部更有可能向y轴方向的正向侧大幅地移动。因此，信息处理装置重新设置辨识区域，以使得在上下方向(即y轴方向)上大幅地扩展，并且在左右方向(即X轴方向)上具有足够大的大小，如区域701b所表示的(参见步骤S613)。
[0174]图7C例示了用户已实际开始翻转操作的状态。用户手部的位置在辨识区域701b中。与图7A及图7B相比，用户手部向上(即y轴的正向侧)移动。另外，因为纸张700在工作空间中保持不变，而纸张700的内容不同，所以能够知道纸张700被翻转。
[0175]图7D例示了在翻转操作完成时的手部702的静止状态。当用户将手部702从辨识区域701d中移走时(即当手部702从区域701d中离开时)，信息处理装置确定手势操作完成。通过检测与纸张700 —起被翻转的用户手部702的动作，或者通过将手部位置的移动量与手势模型进行比较，辨识单元126能够辨识出“翻转”操作。例如，在本示例性实施例中，如果确定“翻转”操作完成，则信息处理装置读取翻转的纸张(参见步骤S313)。
[0176]〈“翻页”操作的示例〉
[0177]图8和图9各自例示了在估计了 “翻页”操作的情况下的辨识区域的示例。与图7A至图7D类似地，假定在操作面上，当从上方观察时，y轴被设置为在上下方向上延伸，并且X轴被设置为在左右方向上延伸。
[0178]图8A例示了被插入工作空间的书本800的状态。区域801a是在步骤S306中由设置单元125设置的手势辨识区域。在这种情况下，用户手部802的位置邻近于目标物体的轮廓(步骤S509:是)，并且目标物体被部分地隐藏(步骤S510:是)。另外，用户手部802的位置被限制为仅一处(步骤S511:否)。因此，指定单元123将用户手部的状态指定为处于“握持目标物体”状态(参见步骤S513)。另外，考虑到目标物体是书本的事实，估计单元124估计用户将进行“翻页”操作(参见步骤S310)。
[0179]图SB例示了因为估计的操作是“翻页”操作、而重新设置了手势辨识区域的状态。从图8B的例示中，能够指定被用户手部802握持的书本(即目标物体)的位置邻近于书本的右侧，并靠近书本的下侧(参见步骤S621)。书本800的书脊存在于目标物体的左侧。此夕卜，书本上书写的字符串是横向的。
[0180]基于上述信息，设置单元125确定书本800的打开方向是向左方向(参见步骤S622)。因此，在翻页操作中，用户手部更有可能向X轴方向的负向侧大幅地移动。因此，信息处理装置重新设置辨识区域，以使得在向左方向(即X轴方向的负向侧)上大幅地扩展以至少包含展开页的宽度，并且在上下方向(即y轴方向)上具有足够大的大小，如区域801b所表示的(参见步骤S623)。
[0181]另一方面，图8C例示了被插入工作空间的书本803的状态。区域801c是在步骤S306中由设置单元125设置的手势辨识区域。图8C与图8A的不同之处在于，在图8C中，书本803的打开方向是向右方向。因此，信息处理装置重新设置辨识区域，以使得在向右方向(即X轴方向的正向侧)上大幅地扩展以至少包含展开页的宽度，并且在上下方向(即y轴方向)上具有足够大的大小，如图8D中的区域80Id所表示的。
[0182]同样，图9A例示了被插入工作空间的书本900的状态。区域901a是在步骤S306中由设置单元125设置的手势辨识区域。在图9A的例示中，基于书脊的位置以及用户手部902的位置，能够指定书本900在向上方向上被打开。
[0183]因此，信息处理装置重新设置辨识区域，以使得在向上方向(即y轴方向的正向侧)上大幅地扩展以至少包含展开页的宽度，并且在左右方向(即X轴方向)上具有足够大的大小，如图9B中的区域901b所表示的。
[0184]同样，图9C例示了被插入工作空间的书本903的状态。区域901c是在步骤S306中由设置单元125设置的手势辨识区域。在图9C的例示中，基于书脊的位置以及用户手部903的位置，能够指定书本900在向下方向上被打开。因此，信息处理装置重新设置辨识区域，以使得在向下方向(即y轴方向的负向侧)上大幅地扩展以至少包含展开页的宽度，并且在左右方向(即X轴方向)上具有足够大的大小，如图9D中的区域901d所表示的。
[0185]图10A、图1OB及图1OC例示了从位于操作面上方的视点观察到的、“翻页”操作的操作状态的示例。相应地，假定相对于纸面设置的坐标系包括在垂直方向上延伸的y轴，以及在水平方向上延伸的X轴。
[0186]图1OA与图SB相同。区域801b是手势辨识区域，该手势辨识区域被设置用来在对向左方向上打开的书本800进行翻页操作的情况下，辨识该翻页操作。信息处理装置在完成辨识区域801b的设置之后，开始检测用户手部802，并且追踪用户手势操作的运动。
[0187]图1OB例示了用户正在实际进行翻页操作的状态。手部802位于辨识区域801b中。与图1OA中所示的状态相比，手部802位于左侧(即在X轴的负向侧)。此外，因为书本800在左右方向上伸展，并且尽管书本800仍然在工作空间中，但是书本800的内容不相同，所以能够知道书本800处于打开状态。
[0188]图1OC例示了当用户完成翻页操作时的手部802的静止状态。通过检测书本800的展开页上的内容的改变，或者通过将手部位置的移动量与手势模型进行比较，辨识单元126能够辨识出“翻页”操作已开始。
[0189]例如，在本示例性实施例中，如果在“翻页”操作期间，用户手部和目标物体(即书本)保持静止预定时间，则信息处理装置重复地进行新的可读取展开页的读取。然后，当用户将手部802从辨识区域801b中移走时(即当手部802从区域801b中离开时)，信息处理装置确定“翻页”操作完成(参见步骤S313)。
[0190]如上所述，根据本示例性实施例的信息处理装置能够辨识与各种目标物体相关的多种类型的手势操作。在这种情况下，信息处理装置能够基于目标物体及周边状况，来估计接下来要进行的手势操作，并且能够设置适合于各操作的手势辨识区域。换言之，因为用户不需要进行任何过大的操作，所以提高与目标物体相关的手势操作的可操作性变得可行。
[0191]在本示例性实施例中，诸如“纸张移动”、“书本移动”、“拖动”及“图像变形”操作等的用户手部操作，是接下来要进行的手势之前的准备操作。因此，在响应于准备操作进行了辨识区域的重新设置之后，信息处理装置可能重复图3中所示的流程图的从步骤S309起的处理，以进行下一手势操作。
[0192]例如，在用户进行“拖动”操作来移动图像数据之后，用户可能进行轻扫操作来对要显示的图像数据进行变形。在这种情况下，有效地使用重新设置的辨识区域是可行的。此夕卜，在用户进行“纸张移动”操作来移动纸张之后，用户可能进行“翻转”操作。在这种情况下，信息处理装置响应于再次握持纸张的用户动作，进行辨识区域重新设置处理，以设置适合于“翻转”操作的新辨识区域。
[0193]如上所述，在各种情形下，信息处理装置均能够设置能够适当地应用于接下来要进行的手势操作的适当辨识区域。因此，各用户能够容易地进行与目标物体相关的手势操作，因为用户不需要不自然地进行过大的操作。
[0194]在上述的第一示例性实施例中，目标物体是纸张、书本和投影的图像数据中的任何一者。然而，目标物体不局限于上述示例。例如，可以用三维物体(例如，盒子或瓶子)来取代上述的示例。例如，读取糖果盒上的包装设计是可行的。
[0195]此外，在第一示例性实施例中，估计单元124从预先登记在字典中的预定数量的手势中，选择接下来将可能进行的用户手势操作，以估计实际的手势操作。然而，也可以用较简单的估计处理，来取代要由估计单元124进行的处理。
[0196]例如，在被用户手部握持的部分是目标物体的左边缘的情况下，估计单元124估计进行了使用左手的操作。在这种情况下，设置单元125能够设置部分摄像区域作为新的手势辨识区域，该部分摄像区域包括从用户握持目标物体的位置向左延伸的足够宽的区域。
[0197]另一方面，在被用户手部握持的部分是目标物体的右边缘的情况下，估计单元124估计进行了使用右手的操作。在这种情况下，设置单元125能够设置部分摄像区域作为新的手势辨识区域，该部分摄像区域包括从用户握持目标物体的位置向右延伸的足够宽的区域。
[0198]此外，在第一示例性实施例中，信息处理装置设置与在用户插入目标物体时的用户手臂的状态匹配的坐标系(参见步骤S306)。此外，当用户增加的运动包括目标物体的旋转时，信息处理装置可以在旋转完成时，通过进行与步骤S306中的处理类似的处理，来重新设置基于用户手臂的方向的坐标系。
[0199]通过上述的处理，例如，即使当用户根据改变的站立位置来移动或旋转目标物体时，信息处理装置也能够准确地区别和辨识用户手部的运动。
[0200]此外，在第一示例性实施例中，仅一个用户进行与一个目标物体相关的操作。然而，也可以有多个用户对多个目标物体进行单独的操作。在这种情况下，当信息处理装置确定是否插入了目标物体(参见步骤S303)时，信息处理装置确认目标物体的数量。在后续的处理中，信息处理装置针对确认的目标物体的数量设置多个辨识区域。
[0201]另外，在用于设置与目标物体及用户位置匹配的辨识区域的处理(参见步骤S306)中，信息处理装置通过区别各用户的手臂的方向来确认用户的数量，并且针对各用户来设置坐标系。由此，即使在多个用户能够同时从各种方向使用装置的情况下，信息处理装置也能够针对各用户来设置最佳的手势辨识区域。因此，提高与目标物体相关的各手势操作的可操作性变得可行。
[0202]其他实施方式
[0203]另外，可以通过读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令、以执行本发明的上述实施例中的一个或更多实施例的功能的系统或装置的计算机，来实现本发明的各实施例，并且，可以利用由通过例如读出并执行来自存储介质的计算机可执行指令、以执行上述实施例中的一个或更多实施例的功能的系统或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一者或更多，并且可以包括分开的计算机或分开的计算机处理器的网络。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD) ?)、闪存设备、存储卡等中的一者或更多。
[0204]虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变形以及等同结构和功能。
【权利要求】
1.一种信息处理装置，其能够基于由摄像单元拍摄的预定区域的图像来辨识由手势物体进行的手势操作，该信息处理装置包括: 获取单元，其被配置为获取关于存在于所述预定区域中的目标物体的位置信息； 设置单元，其被配置为设置所述预定区域的部分区域作为与所述目标物体相对应的至少一个手势操作的手势辨识区域；以及 辨识单元，其被配置为基于由所述摄像单元获得的所述图像的部分，来辨识由所述手势物体进行的手势操作，所述部分与所述设置单元设置的所述手势辨识区域相对应。
2.根据权利要求1所述的信息处理装置，该信息处理装置还包括: 指定单元，其被配置为基于所述图像来指定所述手势物体的状态， 其中，所述设置单元基于由所述获取单元获取到的关于所述目标物体的位置信息，以及已由所述指定单元指定的所述手势物体的状态，来设置所述手势辨识区域。
3.根据权利要求2所述的信息处理装置，该信息处理装置还包括: 识别单元，其被配置为识别已由所述获取单元获取到位置信息的所述目标物体；以及 估计单元，其被配置为基于由所述识别单元识别的所述目标物体，以及由所述指定单元指定的所述手势物体的状态，来估计要由所述手势物体进行的手势操作， 其中，所述设置单元根据由所述估计单元获得的估计结果，来设置所述手势辨识区域。
4.根据权利要求1所述的信息处理装置，其中，所述设置单元基于当已由所述获取单元获取到位置信息的所述目标物体被所述手势物体插入到所述预定区域中时所述摄像单元拍摄的图像，来设置定义所述手势辨识区域中的手势操作的方向的坐标系。
5.根据权利要求3所述的信息处理装置，其中，所述手势物体包括用户手部，并且所述估计单元基于由所述指定单元指定的所述用户手部的状态，来估计要由所述用户手部对所述识别单元识别的目标物体进行的手势操作。
6.根据权利要求3所述的信息处理装置，其中，所述识别单元识别出所述目标物体包括纸张或书本。
7.根据权利要求6所述的信息处理装置，其中，当所述识别单元识别出所述目标物体是纸张、并且所述指定单元指定所述用户手部正在握持由检测单元检测到的目标物体时，所述估计单元估计所述用户手部将要进行翻转所述纸张的手势操作，并且， 所述设置单元以使得包括当所述用户手部翻转所述纸张时所述用户手部可能移动的范围的方式重新设置所述手势辨识区域。
8.根据权利要求6所述的信息处理装置，其中，当所述识别单元识别出所述目标物体是书本、并且所述指定单元指定所述用户手部正在握持由检测单元检测到的目标物体时，所述估计单元估计所述用户手部将要进行翻动所述书本的页面的手势操作，并且， 所述设置单元以使得包括当所述用户手部翻动所述书本的页面时所述用户手部可能移动的范围的方式重新设置所述手势辨识区域。
9.根据权利要求1所述的信息处理装置，其中，所述目标物体包括能够由显示单元显示的、被显示在所述预定空间中的虚拟物体，以及被插入所述预定空间的实体物体。
10.根据权利要求9所述的信息处理装置，其中，当所述识别单元将由检测单元检测到的目标物体识别为由所述显示单元显示在所述预定空间中的虚拟目标物体时，所述辨识单元根据横跨由所述设置单元在所述目标物体周围设置的区域的横切运动，识别出对所述显示单元的轻扫操作，在所述轻扫操作中所述手势物体改变显示在所述预定空间中的虚拟目标物体。
11.一种信息处理装置的控制方法，该信息处理装置能够基于由摄像单元拍摄的预定区域的图像来辨识由手势物体进行的手势操作，该控制方法包括以下步骤: 获取关于存在于所述预定区域中的目标物体的位置信息； 设置所述预定区域的部分区域作为与所述目标物体相对应的至少一个手势操作的手势辨识区域，所述部分区域与所获取到的关于所述目标物体的位置信息相对应；以及 基于由所述摄像单元拍摄的所述图像的部分来辨识由所述手势物体进行的手势操作，所述部分与所设置的手势辨识区域相对应。
12.根据权利要求11所述的信息处理装置的控制方法，该控制方法还包括: 基于所述图像来指定所述手势物体的状态， 其中，所述设置步骤包括:基于所获取到的关于所述目标物体的位置信息以及所指定的所述手势物体的状态，来设置所述手势辨识区域的操作。
13.根据权利要求12所述的信息处理装置的控制方法，该控制方法还包括: 识别所获取的目标物体；以及 基于所识别的目标物体以及所指定的所述手势物体的状态，来估计要由所述手势物体进行的手势操作， 其中，所述设置步骤包括:根据估计的结果来设置所述手势辨识区域的操作。
【文档编号】G06F3/01GK104238737SQ201410240446
【公开日】2014年12月24日 申请日期:2014年5月30日 优先权日:2013年6月5日
【发明者】新井常一 申请人:佳能株式会社