识别多点触摸操作的信息处理装置及其控制方法
【技术领域】
[0001]本发明涉及一种能够识别多点触摸(mult1-touch)操作的技术。
【背景技术】
[0002]在允许用户经由触摸面板输入指令的用户界面(UI)中，通常使用多点触摸操作，该操作是多个触摸位置相互协作而执行输入的操作。在系统被配置为使多个用户能同时执行操作的情况下，需要区分检测到的多个触摸位置是被有意执行多点触摸操作的单个用户输入的还是被多个用户无意地输入的。
[0003]如日本JP特开第2014-16795号公报中所讨论的，基于参照接触触摸面板的各个手指的面积尺寸和形状而能够估计的各个手指的方向，来区分单个用户的输入或是多个用户的输入是可行的。
[0004]作为最近可使用的技术，传统上已知从利用可见光照相机、红外线照相机或范围图像传感器所拍摄的图像中提取出包括特定物体(例如用户的手)的区域，并基于特定物体的运动和位置来识别已作为用户界面(UI)操作而被输入的手势。这种系统被配置为通过测量手指的三维位置而获取从手指到触摸目标表面(例如墙或桌子)的距离，并基于所获取的距离值而确定存在触摸。
[0005]即使是在上述触摸系统中，仍期望用户能够输入多点触摸操作。然而，如日本JP特开第2014-16795号公报中所讨论的，从任意墙或桌子中获取关于手指接触表面的信息是不可行的。此外，在系统的尺寸足够大并使多个用户能同时执行操作的情况下，各个用户能够从多个角度灵活地操作系统。因此，即使在触摸面板之外的部分能检测到手指的方向，但如果用户的位置邻近，则由于多个用户的手指之间在方向角度上没有太大差别，因此仍然很难获得准确的识别结果。
【发明内容】
[0006]根据本发明的一方面，信息处理装置包括:图像获取单元，用于获取关于操作表面上的空间的图像的信息；确定单元，用于基于所述图像获取单元获取的关于所述图像的所述信息，确定要用于操作输入的多个物体中的各个进入到所述空间中的位置；以及关联单元，用于基于针对所述多个物体的各个所确定的位置、从所述多个物体中确定协同输入一个指令的多个物体的组合，并用于将所组合的多个物体彼此关联。
[0007]根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
【附图说明】
[0008]图1A例示了配设有信息处理装置的桌面界面的外观，所述信息处理装置安装在所述桌面界面上，图1B例示了操作环境的示例。
[0009]图2A、图2B及图2C是分别例示信息处理装置的硬件结构和功能结构的框图。
[0010]图3是例示能够由信息处理装置执行的触摸操作识别处理的示例性流程的流程图。
[0011]图4A和图4B是各自例示能够由信息处理装置执行的单个用户手关联处理的示例性流程的流程图。
[0012]图5是例示能够由信息处理装置执行的图像比较处理的示例性流程的流程图。
[0013]图6是例示能够由信息处理装置执行的颜色信息比较处理的示例性流程的流程图。
[0014]图7A、图7B及图7C例示了桌面界面的操作环境的示例。
[0015]图8是例示能够由信息处理装置执行的关联指令检测处理的示例性流程的流程图。
[0016]图9例示了关联指令的输入示例。
【具体实施方式】
[0017]以下将参照附图详细描述根据本发明的示例性实施例的信息处理。示例性实施例中描述的结构仅是示例。本发明的范围并不限于所例示的结构。
[0018]在根据第一示例性实施例的信息处理中，手进入到用户所执行的手势操作或触摸操作能被识别的空间中的在入口处的用户的手的位置被检测为入口位置，并存储该入口位置。如果在该空间中存在多个被检测的手，则基于入口位置间的位置关系区分所检测的手是单个用户的手还是多个用户的不相关的手。然后，如果多个手能被估计为是单个用户的两只手，则信息处理使它们相互关联，并识别由相关联的手执行的一个协同操作。由相关联的手执行的协同操作包括例如用于基于多个触摸位置而输入命令的多点触摸操作和用于基于多个手的组合运动而输入命令的手势操作。
[0019]图1A例示了配设有根据本示例性实施例的信息处理装置100的桌面界面系统的外观的示例。此外，图1A例示了能被用来定义位置信息的坐标轴。操作表面101是桌面界面的桌部。各个用户能够通过触摸操作表面101执行触摸操作。在本示例性实施例中，范围图像传感器102被安装在操作表面101的上方以便俯视操作表面。范围图像传感器102拍摄的范围图像的像素值反映从范围图像传感器102到操作表面101的距离。所拍摄的范围图像能被作为输入图像而输入到信息处理装置100中。信息处理装置100能够通过分析输入图像而获取用户的手的三维位置，并能识别用户执行的操作。本示例性实施例中使用的传感器能够参照红外线的反射图案(pattern)(或反射时间)来获取距离信息。此外，在本示例性实施例中，还以从上方俯视操作表面101的方式来安装可见光照相机103。信息处理装置100能够控制可见光照相机103，以起到能够拍摄放置在操作表面101上的物体的图像的文档照相机的作用。信息处理装置100能够基于可见光照相机103获得的可见光图像和范围图像传感器102获得的范围图像检测操作表面101上的空间中的摄像目标物体，并能够识别所检测到的物体。例如，摄像目标物体包括用户的各只手、文档(例如纸张介质或书)及其他三维物体。然而，根据图1A中例示的系统，存在于桌子外面的用户的头部没有被包括在范围图像传感器102和可见光照相机103的每个的视角中。此外，如果可采用任何其他结构来从上方拍摄操作表面101的图像，则不需要将范围图像传感器102和可见光照相机103安置在较高的位置处。例如，采用能够基于镜子反射的光来拍摄图像的结构是有用的。
[0020]投影仪104能够将图像投射在操作表面101的上表面上。在本系统中，用户对所投射图像中包括的项目105执行触摸操作或手势操作。在本示例性实施例中，对用户的手的检测和对操作的识别中要使用的图像是范围图像。此外，从可见光图像中检测肉色区域对于从图像中检测人手是有用的。在本示例性实施例中，使用范围图像的优势在于:即使是在用户的手的颜色由于投影仪104投射的光的影响而改变时，系统受到的影响也较小。此夕卜，不使用投影仪104，而是由能够充当本系统的显示装置的液晶显示设备来构成操作表面101是可行的。
[0021]在本示例性实施例中，为了获得位置信息，如图1A中所示，在位于操作表面101上的三维空间中定义X、y和z轴。更具体地，原点设置在点107上。x-y平面与桌子的上表面平行。z轴的正向从桌子的上表面向上延伸。本示例性实施例中的z轴方向与世界坐标系中的高度方向相对应。然而，本示例性实施例可应用于其他操作系统，在该其他操作系统中，操作表面101由白板、墙表面或其他任何非水平的表面构成。
[0022]图1B是例示从上方看时的操作表面101的状态的视图。图1B中例示的界线109内的范围对应于范围图像传感器102或可见光照相机103的视角。在下文中，围绕该范围的界线109被称为“图像边界”。在所例示的例子中，手106a和手106b是第一用户的两只手，而手106c是另一个用户B的一只手。如上文所述，在本示例性实施例中，多个用户能够同时输入操作指令。在本示例性实施例中，系统能够基于对每只手的检测而确定指定的位置。指定的位置可以由用户想要通过手指示的估计位置的坐标值来表示。在本示例性实施例中，系统确定的指定的位置是能被估计为指尖的位置。更具体地，系统从范围图像中提取出存在被摄像的手的区域(下文中简称为“手区域”)，并获得包含在手区域中且位置离图像边界109最远的像素(即指定的位置)的坐标值。例如，系统将离图像边界109最远的点108确定为手106a的指定的位置。此外，本示例性实施例中定义的手入口位置是在最初检测到手区域的帧中、手区域与图像边界109相交的交叉部位的中心。更具体地，入口位置是在用户开始操作后手第一次进入到视角中的位置。如果可能获得关于在用户开始操作之后手第一次出现的位置的信息，则系统不需要从第一帧(在该第一帧中手区域的提取变为可行)中确定入口位置，并能够从跟随第一帧后的图像中确定入口位置。点110是手106a的入口位置。在本示例性实施例中，当检测到多个手时，系统基于各入口位置间的位置关系而确定所检测到的手是一个用户的一双手还是多个用户的不相关的手。
[0023]图2A例示了包括根据本示例性实施例的信息处理装置100的桌面界面的硬件结构。中央处理单元(CPU) 200能够执行信息处理装置100的控制程序以对各种类型的处理执行计算和逻辑确定，并能够控制与系统总线204连接的各个构成元件。只读存储器(ROM) 201是程序存储器，能够存储要由CPU 200执行的、与控制相关且包括各种类型的处理过程的程序。随机存取存储器(RAM) 202可用作CPU 200的工作区域、错误处理过程中的数据保存区域或者控制程序加载区域。存储设备203是用于根据本示例性实施例存储数据和程序的硬盘驱动器或附装的外部存储设备。存储设备203存储能被信息处理装置100使用的各种数据。
[0024]在本示例性实施例中，可见光照相机103、范围图像传感器102以及投影仪104中的每个是经由输入/输出接口与信息处理装置100连接的外部设备。各个外部设备能够与信息处理装置100协作来构成信息处理系统。然而，可见光照相机103、范围图像传感器102以及投影仪104能够与信息处理装置100 —体化。
[0025]图2B是例示根据本示例性实施例的信息处理装置100的功能结构的示例的框图。信息处理装置100包括图像获取单元210、入口位置确定单元211、关联单元212、指定的位置检测单元213、触摸确定单元214、识别单元215以及输出控制单元216。为了实现上述功能单元，CPU 200能够将程序从ROM 201加载到RAM 202中，并根据以下描述的各个流程图执行处理。此外，例如，不使得CPU 200执行软件处理，而采用硬件结构可能是有用的。在此情况下，硬件结构能够包括与各功能单元的处理对应的计算单元和电路。
[0026]图像获取单元21