专利名称：信息处理设备、信息处理方法及程序的制作方法
技术领域：
本发明涉及信息处理设备、信息处理方法及程序。
背景技术：
已知一种信息处理设备，该信息处理设备通过各种传感器来检测操作工具，例如手指、手和指示笔的动作，以及该信息处理设备执行与用户的交互。例如，信息处理设备采用传感器检测操作工具的接触/接近的状态、或通过传感器捕获的操作工具的远程移动等，以及信息处理设备识别由用户输入的操作。特别地，使用触摸面板接口的信息处理设备基于操作工具与显示面板的接触状态，来识别由用户输入的操作。这里，用户识别显示面板上的图形用户界面(GUI)的显示方向，以及根据该方向执行操作。例如，当在⑶I显示的垂直方向上显示滑动对象时，用户选择滑动管(tub)，并且当识别GUI显示的取向时，根据GUI显示的垂直方向执行拖拽操作。
发明内容
技术问题这里，当显示面板相对于用户的取向与⑶I显示的取向不匹配时(例如当显示面板以其顶部朝向相对于用户的左侧的方式来布置时)，用户有时不能直观地根据⑶I显示的方向来输入操作。在该情况下，用户根据⑶I显示的垂直方向，在水平方向上执行显示面板上的拖拽操作。可替选地，用户在改变显示面板的取向后，根据GUI显示的垂直方向，在垂直方向上执行显示面板上的拖拽操作。但是，用户被强制执行依赖于⑶I显示的方向的操作，即依赖于显示面板相对于用户的取向的操作，因此无法始终享受良好的操作环境。近年来，特别地，取代经由对象间接地操作内容，内容自身被直接操作(在没有放置在显示面板上的情况下被操作)。因此，如果使操作与显示面板相对于用户的取向无关变成可能，则直观操作变成可能，并且可改进操作环境。考虑到前述内容，本发明旨在提供一种使操作与显示面板相对于用户的取向无关成为可能的信息处理设备、信息处理方法及程序。对问题的解决方案根据本发明的第一方面，提供了一种信息处理设备，其包括操作工具检测单元和操作识别单元，其中，该操作工具检测单元检测与显示面板相接触的操作工具的指示方向， 该操作识别单元基于检测到的操作工具的指示方向，来识别由操作工具输入的操作的方向。这里，操作工具检测单元可基于操作工具的尖端部分的取向，来确定操作工具的指示方向。由此，基于操作工具的指示方向来识别操作的方向，使得操作与显示面板相对于操作者的取向无关成为可能。
操作工具检测单元可检测在触摸显示面板的同时移动的操作工具的指示方向和移动方向，而操作识别单元可基于检测到的操作工具的指示方向和移动方向，来识别由操作工具输入的操作的方向。这里，操作识别单元可基于由检测到的操作工具的指示方向和移动方向所限定的角，来识别由操作工具输入的操作的方向。由此，基于从操作工具的指示方向和移动方向识别的操作的方向，拖拽操作与显示面板相对于操作者的取向无关变成可能。信息处理设备还包括控制显示面板的显示的显示控制单元，以及操作识别单元可基于检测到的操作工具的指示方向，来识别旋转显示面板的显示的操作的方向，而显示控制单元可根据所识别的操作的方向，来旋转显示面板的显示。由此，基于显示面板的显示， 操作与显示面板相对于操作者的取向无关变成可能，其中，基于从操作工具的指示方向识别的操作的方向，来旋转该显示面板的显示。操作工具检测单元可连续检测操作工具的指示方向，以及可以当连续检测到的操作工具的指示方向在预定阈值以内时，基于连续检测到的操作工具的指示方向，来确定操作工具的指示方向。由此，可提高操作工具的指示方向的检测准确度。另外，根据本发明的第二方面，提供了一种信息处理方法，其包括步骤检测与显示面板相接触的操作工具的指示方向，以及基于检测到的操作工具的指示方向，来识别由操作工具输入的操作的方向。另外，根据本发明的第三方面，提供了一种用于使计算机实现根据第二方面的信息处理方法的程序。发明的有益效果根据本发明，可以提供一种使操作与显示面板相对于用户的取向无关变成可能的信息处理设备、信息处理方法及程序。
图1是示出根据本发明实施例的信息处理设备的概要的图2是示出根据本发明实施例的信息处理设备的功能配置的示例的框图3A是示出操作工具在显示面板上的状态的图:3B是示出在图3A所示的状态下传感器图像上指定的区域的图4A是示出操作工具在显示面板上的状态的图4B是示出在图4A所示的状态下传感器图像上指定的区域的图5A是示出在图3A的A-A线上的亮度值的分布的图5B是示出在图3A的B-B线上的亮度值的分布的图6是示出操作方向的识别处理的流程图7A是示出操作方向的识别处理的示意图7B是示出操作方向的识别处理的示意图7C是示出操作方向的识别处理的示意图8A是示出操作方向的识别处理的示意图8B是示出操作方向的识别处理的示意图9是示出显示方向的旋转处理的流程图IOA是示出显示方向的旋转处理的示意图；图IOB是示出显示方向的旋转处理的示意图；图11是示出基于接近姿势的操作的识别处理的流程图；图12A是示出基于接近姿势(静止姿势)的操作的识别处理的示意图；图12B是示出基于接近姿势(重复移动姿势)的操作的识别处理的示意图；图12C是示出基于接近姿势(移动姿势)的操作的识别处理的示意图；图13是示出基于接触姿势的操作的识别处理的流程图；图14A是示出基于接触姿势(指点姿势)的操作的识别处理的示意图；图14B是示出基于接触姿势(推姿势)的操作的识别处理的示意图；图14C是示出基于接触姿势(覆盖姿势)的操作的识别处理的示意图；图15是示出基于接触/接近状态的操作的识别处理的流程图；图16是示出接近检测模式的控制处理的流程图；图17A是示出接近检测模式的控制处理的示意图；图17B是示出接近检测模式的控制处理的示意图；图18是示出接近和远程检测模式的控制处理的流程图；图19A是示出接近和远程检测模式的控制处理的示意图；图19B是示出接近和远程检测模式的控制处理的示意图；图20是示出接触检测模式的控制处理的流程图；图21A是示出接触检测模式的控制处理的示意图；图21B是示出接触检测模式的控制处理的示意图；图22是示出应用激活的控制处理的流程图；图23A是示出应用激活的控制处理的示意图；图2 是示出应用激活的控制处理的示意图；图23C是示出应用激活的控制处理的示意图；图M是示出信息处理设备的硬件配置的示例的框图。
具体实施例方式在下文中，将参考附图详细描述本发明的优选实施例。注意，在该说明书和附图中，实质上具有相同功能和结构的部件用相同的附图标记来表示，并且省略重复的说明。[1.信息处理设备100的概要]图1是示出根据本发明实施例的信息处理设备100的概要的图。根据本发明实施例的信息处理设备100至少检测操作工具M，例如手指、手和指示笔与显示面板101的接触状态。下面，将描述信息处理设备100具有内置的显示面板101的情况，但是信息处理设备 100可经由通信装置连接到显示面板101。信息处理设备100检测与显示面板101接触的操作工作M的指示方向，并且基于检测到的操作工具M的指示方向，来识别由操作工具M输入的操作的方向。这里，信息处理设备100例如基于诸如指尖的操作工具M的尖端部分的取向，来检测操作工具M的指示方向。由此，基于操作工具M的指示方向来识别操作的方向，使得操作与显示面板101相对于用户的取向无关成为可能。
5
特别地，信息处理设备100检测在触摸显示面板101的同时移动的操作工具M的指示方向和移动方向，以及基于检测到的操作工具M的指示方向和移动方向，来识别操作工具M的操作输入的方向。因此，不管显示面板101的取向是水平取向还是垂直取向，基于从操作工具M的指示方向和移动方向识别的操作的方向，拖拽操作与显示面板101相对于用户的取向无关变成可能。[2.信息处理设备100的功能配置]图2是示出根据本发明实施例的信息处理设备100的功能配置的示例的框图。信息处理设备100被配置成包括显示面板101、远程传感器107、操作工具检测单元109、状态检测单元111、存储单元113、显示控制单元115、和控制单元117。显示面板101用作接触/接近传感器103和显示单元105。接触/接近传感器103 捕获操作工具M的接触/接近状态。接触/接近传感器103例如是光传感器或电容性传感器，但是下面将假设基于显示面板101的光接收状态来捕获操作工具M的接触/接近状态的情况。显示单元105在显示控制单元115的控制下，显示应用的对象、内容、或处理结果等。另外，对象是包括诸如图标、按钮和缩略图的⑶I的任意对象。远程传感器107由立体相机等组成，立体相机等对操作工具M的远程移动，例如预定姿势进行成像和捕获。操作工具检测单元109通过使用接触/接近传感器103和远程传感器107，来检测操作工具M的状态。操作工具检测单元109检测操作工具M的接触/接近/移动状态和远程移动。操作工具检测单元109尤其检测操作工具M的指示方向、或预定姿势等。操作工具检测单元109检测操作工具M相对于显示面板101的指示方向，以及尤其检测在触摸显示面板101的同时移动的操作工具M的指示方向和移动方向。另外，可检测还与显示面板 101接近或接触的操作工具M的指示方向。基于光接收状态，操作工具检测单元109检测操作工具M的接触/接近的存在或不存在、操作工具M的接触/接近面积、操作工具M相对于显示面板101的指示方向和接触/接近姿势。另外，下面将详细描述经由接触/接近传感器103的对操作工具M的检测方法。操作工具检测单元109基于远程传感器107的成像结果，来检测远程姿势。操作工具检测单元109通过将操作工具M的接触/接近/远程移动与预先登记的姿势信息进行比较，来检测预定的姿势。状态检测单元111包括加速传感器、和陀螺仪等，以及检测设备自身的静止状态和取向。显示控制单元115通过显示单元105，来控制应用的对象、内容、或处理结果等的显
7J\ ο存储单元113中存储信息处理程序、应用程序、对象数据、和姿势信息等。控制单元117通过执行信息处理程序来控制每个单元，以及控制信息处理设备100的整体操作。控制单元117用作操作识别单元，该操作识别单元基于操作工具M的指示方向，来识别由操作工具M输入的操作方向。这里，控制单元117尤其基于检测到的操作工具M的指示方向和移动方向，来识别由操作工具M输入的操作的方向。另外，控制单元117用作模式控制单元，该模式控制单元根据设备自身的静止状态或取向，来控制对操作工具M在设备自身上的操作进行检测的模式。[3.操作工具M的检测方法]
在显示面板101上，以矩阵来布置RGB像素和光接收传感器。通过接收从显示面板101发射的光和被操作工具M反射的光，以及基于光接收状态来捕获操作工具M的接触/ 接近状态，而将光接收传感器用作接触/接近传感器103。然后，操作工具检测单元109通过对接触/接近传感器103的输出结果进行数字化处理，来创建传感器图像S。操作工具检测单元109基于传感器图像S来计算亮度值，该亮度值指示对应于像素中的每个像素的光接收状态，以及操作工具检测单元109通过使用两个预定的阈值Thl 和Th2对亮度值执行三态(ternary)处理。在三态处理中，每个像素的亮度值被分类成第一类别、第二类别和第三类别，以及传感器图像S的区域被划分成对应于类别中的每个类别的第一区域、第二区域、第三区域Al、A2和A3。第一区域、第二区域、第三区域Al、A2和 A3分别对应于高亮度、中亮度和低亮度的区域，并且分别被指定为操作工具M的接触区域、 接近区域、和非接触/非接近区域。操作工具检测单元109基于第一区域Al的存在，来检测操作工具M与显示面板 101的接触，以及基于第二区域A2的存在，来检测操作工具M与显示面板101的接近。而且，操作工具检测单元109通过计算第一区域Al和第二区域A2的面积，来检测操作工具M 的接触面积和接近面积中的每个。特别地，操作工具检测单元109计算第一和第二区域Al和A2的重心Gl和G2的位置，计算连接所计算的重心Gl和G2的位置的直线(重心线)的方向，以及基于第一区域 Al的重心Gl的位置和重心线，来检测操作工具M的指示方向。操作工具M的指示方向被定义为指示第一区域Al的重心Gl沿着重心线的方向。下面，将参考图3至图5来描述操作工具M的指示方向的检测方法。图3和图4 是示出操作工具M在显示面板101上的状态(图3A和图4A)、以及传感器图像Sl和S2上指定的第一区域和第二区域(图3B和图4B)的图。图5是示出图;3B的传感器图像Sl上的亮度值的分布的图，以及图5A和图5B分别示出A-A线和B-B线上的亮度值的分布。图3和图4示出改变操作工具M在显示面板101上的指示方向的情况。在该情况下，操作工具M的尖端部分(指尖)触摸显示面板101，而操作工具M除尖端部分以外的部分(手指球(ball))接近于显示面板101。在图3所示的状态中，操作工具M指示⑶I显示的向上方向(参见图3A)。在该情况下，操作工具检测单元109基于传感器图像Sl上的亮度值的分布，将操作工具M的指示方向检测为GUI显示的向上方向(参见图:3B)。例如，在图5所示的示例中，根据A-A线上检测到的第一和第二区域Al和A2，来检测操作工具M的接触和接近(参见图5A)，以及根据B-B线上检测到的第二区域A2，来检测操作工具M的接近。在图4所示的状态中，操作工具M指示⑶I显示的左上方向(参见图4A)。在该情况下，操作工具检测单元109基于传感器图像S2上的亮度值的分布，将操作工具M的指示方向检测为⑶I显示的左上方向(参见图4B)。[4-1.操作方向的识别处理]下面，将给出对以下处理的说明该处理基于在触摸显示面板101的同时移动的操作工具M的指示方向和移动方向，来识别由操作工具M输入的操作的方向。图8是示出操作方向的识别处理的流程图，以及图7和图8是示出操作方向的识别处理的示意图。
当操作工具检测单元109检测到操作工具M的接触时(步骤S101)，操作工具检测单元109基于以上描述的操作工具M的检测方法，来检测操作工具M的指示方向(S103)。 这里，可以在操作工具M移动的状态下，或者在操作工具M不移动的状态下，检测操作工具 M的指示方向。例如，如图7A所示，基于虚拟设置在显示面板101上的坐标系，将操作工具M的指示方向定义为角θ 1。可将坐标系设定成与显示面板101的取向无关，但是下面将假设根据显示面板101的垂直方向和水平方向设定通常的直角坐标系的情况。在该情况下，从直角坐标系的第一象限到第四象限逆时针地定义角Θ1。操作工具检测单元109确定针对预定数目的帧是否连续检测到角θ 1 (S105)。检测到的值中的每个值存储在例如图中未示出的缓存器等中。然后，如果检测结果的变化小于预定的阈值9t(S107)，则操作工具检测单元109将角θ 1确定为检测结果的中间值等 (S109)。在确定角θ 1之后，操作工具检测单元109检测操作工具M的移动起始点和移动终止点(Slll)，以及确定操作工具M的移动方向(S113)。如图7Β所示，基于连接操作工具 M的移动起始点和移动终止点的移动向量V，将操作工具M的移动方向定义为基于与角θ 1 相同的坐标系的角θ 2。下面，为了描述的方便，将假设操作工具M以直线移动的情况。在该情况下，移动起始点被定义为在未检测到操作工具M的接触的状态下首次检测到操作工具M的接触的点。以相同的方式，移动终止点被定义为在已经检测到接触中的操作工具M的移动的状态下首次检测到操作工具M的非接触的点。另外，在操作工具M弯曲地移动的情况下，可基于移动方向的改变点，定义每个弯曲移动的移动起始点和移动终止点。控制单元117确定指示操作工具M的指示方向和移动方向的角Θ1与角Θ2之间的差Δ θ (= ei-02)(S115)。控制单元117基于差Δ θ来识别由操作工具M输入的操作的方向(S117、S119和S121)。基于图7C所示的角θ 1与角θ 2之间的差Δ θ来识别操作方向。例如在-45 °彡Δ θ < 45 °的情况下，操作方向被识别为向上(S123)，而在45° <135°的情况下，操作方向被识别为向左(S125)。以相同的方式，在 135°彡Δ θ < 180°或者-180°彡Δ θ <-135°的情况下，操作方向被识别为向下 (S127)，而在-135°彡Δ θ <-45°的情况下，操作方向被识别为向右(S129)。另外，为了提高操作方向的识别准确度，可在角范围-30° < Δ θ <30°内将操作方向识别为向上。而且，可根据用户的优势手(dominant hand)来调整角范围。在图8中，作为操作方向的识别处理的示例，示出了选择垂直显示在⑶I显示上的滑动条0的标签T(tab)以及向上操作该标签的情况。如图8A所示，在显示面板101相对于用户的取向与⑶I显示的取向匹配的情况下(即，以显示面板101的顶部取相对于用户向上的方向的方式来布置显示面板101的情况)，用户根据⑶I显示的向上方向相对于显示面板101向上拖拽标签T。这里，可对作为对象的标签T执行拖拽操作，或者可在例如没有对象被显示的区域中，在标签T被选择的状态下执行拖拽操作。例如，当操作工具M的指示方向和移动方向被检测为角θ 1 = 135°和角θ 2 =120°时，差为Δ θ =15°，从而如图7C所示，向上操作被识别。这使得用户能够向上操作
滑动器0。另一方面，如图8B所示，显示面板101相对于用户的取向与⑶I显示的取向不匹配(例如，以显示面板101的顶部相对于用户朝向左侧的方式来布置显示面板101的情况)，用户根据⑶I显示的右方向相对于显示面板101向上拖拽标签T。例如，当操作工具M的指示方向和移动方向被检测为角θ 1 = 45°和角θ 2 = 20°时，差为Δ θ = 25°，从而如图7C所示，向上操作被识别。这使得用户即使在显示面板101相对于用户的取向与GUI显示的取向不匹配的情况下(图8B)，也能够通过以与两个取向匹配的情况(图8A)相同的方式相对于显示面板101向上执行拖拽操作，来向上操作滑动器0。因此，当识别⑶I显示的取向时，用户不必根据⑶I显示的取向执行拖拽操作，或者不必在改变显示面板101的取向之后执行拖拽操作。因此，操作与GUI显示的取向无关， 即与显示面板101的取向无关成为可能，并且可改进操作环境。例如，在通过向上/向下方向上的操作调高/调低音量的情况下，在通过左/右的操作向前/向后调整回放位置的情况下，以及在对应于向上/向下/左/右方向上的操作滚动显示面板101的显示的情况下，与显示面板101的取向无关的直观操作成为可能。特别地，在直接操作内容本身而不必识别对象的情况下(在执行拖拽操作而不必识别显示面板101上的位置的情况下)，可改进操作。[4-2.显示方向的旋转处理]下面，将描述基于操作工具M的指示方向来识别旋转显示面板101的⑶I显示的操作的方向的处理。图9和图10是示出显示方向的旋转处理的流程图和示意图。在图10中示出了向下旋转显示方向的情况(图10A)和向左旋转显示方向的情况(图10B)。当操作工具检测单元109检测到操作工具M的接触时(步骤S201)，操作工具检测单元109基于以上描述的操作工具M的检测方法，来检测操作工具M的指示方向(S203)。 这里，可以在操作工具M移动的状态下，或者在操作工具不移动的状态下，检测操作工具M 的指示方向。例如，如图IOA和IOB所示，基于虚拟设置在显示面板101上的坐标系，将操作工具M的指示方向定义为角θ 1。下面，将假设基于显示面板101的垂直方向和水平方向设定通常的直角坐标系的情况。在该情况下，从直角坐标系的第一象限到第四象限逆时针地定义角θ 1。操作工具检测单元109确定针对预定数目的帧是否连续检测到角θ 1 (S205)。然后，如果检测结果的变化小于预定的阈值θ t(S207)，则操作工具检测单元109将角θ 1确定为检测结果的中间值等(S209)。控制单元117基于指示操作工具M的指示方向的角θ 1，来识别对显示面板101的 ⑶I显示进行旋转的操作的方向(S211、S213和S215)。例如，在45°彡θ 1 < 135°的情况下，显示方向被识别为向下(S217)，而在135° ^ θ 1< 225°的情况下，显示方向被识别为向右(S219)。以相同的方式，在225° ( Θ1<315°的情况下，显示方向被识别为向上 (S221)，而在0°彡θ 1 < 45°或者315°彡θ 1 < 360°的情况下，显示方向被识别为向左(S223)。另外，为了提高操作方向的识别准确度，可以在角范围30°彡Δ θ <120°内将操作方向识别为向下。而且，可根据用户的优势手来调整角范围。这里，旋转之后的GUI显示的方向被定义为相对于正常使用时(在正常位置)的显示面板101来显示⑶I显示的顶部的取向。即，向下显示方向表示在正常位置的显示面板101的底部显示GUI显示的顶部，而向左方向表示在正常位置的显示面板101的左侧显示⑶I显示的顶部。当显示方向被识别时，显示控制单元115在显示方向要被改变的情况下(S225)， 根据所识别的操作方向控制显示单元105来旋转显示面板101的⑶I显示(S227)。另外， 当指示方向再次改变时，显示方向根据改变的指示方向而改变。因此，通过基于操作工具M的指示方向来旋转显示面板101的⑶I显示的方向，与 GUI显示的方向无关的操作，即与显示面板101的取向无关的操作变成可能，以及可改进操作环境。[4-3.基于接近姿势的操作的识别处理]下面，将描述基于操作工具M在显示面板101上的接近姿势来识别由操作工具M 输入的操作的处理。图11和图12是示出基于接近姿势的操作的识别处理的流程图和示意图。作为接近姿势的示例，图12给出了操作工具M的静止姿势(图12A)、操作工具M的重复移动姿势 (图12B)、和操作工具M的移动姿势(图12C)。例如，操作工具M的静止姿势被检测为将手静止保持在显示面板101上方的动作。 操作工具M的重复移动姿势被检测为在显示面板101上方水平(和/或垂直)地重复移动手的动作。操作工具M的移动姿势被检测为在显示面板101上方水平(和/或垂直)地移动手的动作。下面，将描述识别对应于操作工具M的静止姿势、重复移动姿势和移动姿势的三个操作的情况，但是可存在基于其它接近姿势而被识别的四个或更多个操作。另外，假设每个接近姿势预先与姿势信息和特定操作相关联。当操作工具检测单元109检测到操作工具M的接近时(S301)，操作工具检测单元 109确定针对预定的时间段(例如500ms)是否连续检测到操作工具M的接近的存在或不存在(S30;3)。如果连续检测到操作工具的接近，则操作工具检测单元109开始检测移动状态(S305)，而如果没有连续检测到操作工具的接近，则操作工具检测单元109继续检测操作工具M的接近。操作工具M的移动状态被检测为在接触/接近传感器103的检测范围内操作工具 M相对于显示面板101的水平移动和/或垂直移动。操作工具M的移动状态例如被检测为操作工具M的移动距离/移动速度/移动加速度等，但是在下面将假设检测操作工具M的移动速度ν的情况。操作工具检测单元109确定针对预定数目的帧是否连续检测到操作工具M的移动速度 v(S307)。控制单元117确定操作工具M的移动速度ν的绝对值是否小于预定的阈值 vt(S313)。然后，在肯定的确定结果的情况下，控制单元117识别对应于静止姿势的操作(S315)。另一方面，如果移动速度ν等于或大于预定的阈值vt并且在移动速度ν的改变中观察到恒定的重复特性(在步骤S317的“是”的情况下)，则控制单元117识别对应于重复移动姿势的操作(S319)。另外，如果移动速度ν等于或大于预定的阈值vt并且在移动速度 ν的改变中未观察到恒定的重复特性(在步骤S317的“否”的情况下)，则控制单元117识别对应于移动姿势的操作(S321)。这里，操作工具检测单元109可与检测操作工具M的移动速度ν —起检测操作工具M的接近面积Aa(S309)。以及仅当接近面积Aa满足预定的阈值Aat时(例如显示面板 101的面积的70% )，控制单元117才可通过基于移动速度ν识别该操作，来基于接近姿势准确地识别该操作(S311)。另外，可在移动速度ν和阈值vt的比较的确定(S313，S317)之后确定接近面积Aa。由此，基于操作工具M在显示面板101上的接近姿势，各种操作的输入变成可能。 因此，用户可快速地采用操作工具M输入所期望的操作而不必使操作工具M与显示面板101 上的对象(或者用于信息处理设备100的操作部件)接触。而且，用户可通过将任意的含义赋给每个接近姿势来执行直观的操作，例如将静止姿势与静音操作相关，将重复移动姿势与播放列表的混洗操作相关，或者将移动姿势与播放顺序中的跳过操作相关。[4. 4基于接触姿势的操作的识别处理]下面，将描述基于操作工具M在显示面板101上的接触姿势来识别由操作工具M 输入的操作的处理。图13和图14是示出基于接触姿势的操作的识别处理的流程图和示意图。在图 14中，作为接触姿势的示例，示出了指定对象的指点姿势(图14A)，指定对象的推姿势(图 14B)，以及不指定对象的覆盖姿势(图14C)。例如，指点姿势是使指尖与对象接触的动作，而推姿势是使手指球与对象接触的动作。另外，覆盖姿势是例如用多个手指覆盖显示面板101的动作。这里，基于操作工具M 相对于显示面板101的接触面积(和/或接触形式)，来检测接触姿势中的每个。下面，将描述识别对应于指点姿势、推姿势和覆盖姿势的三个操作的情况，但是可存在基于其它接触姿势而被识别的四个或更多个操作。另外，假设每个接触姿势预先与姿势信息和特定操作相关联。当操作工具检测单元109检测到操作工具M的接触时(S401)，操作工具检测单元 109检测操作工具M的接触位置P和接触面积At (S403)。控制单元117确定操作工具M的接触位置P是否在特定对象的区域之内(S405)。 基于存储单元113中存储的对象的位置来确定接触位置P与对象区域之间的关系。另外， 在接触位置P在多个对象的区域之内的情况下，检测到不指定对象的姿势。然后，在肯定的确定结果的情况下，控制单元117将接触面积At与预定的阈值 Attl进行比较(S407)。然后，如果接触面积At小于阈值Attl，则控制单元117识别对应于指点姿势的操作(S409)，而如果接触面积At等于或大于阈值Attl，则控制单元117识别对应于推姿势的操作(S441)。另一方面，在步骤S405的否定的确定结果的情况下，控制单元117将接触面积At 与预定的阈值Att2 (Attl <Att2)进行比较(S413)。然后，如果接触面积A等于或大于阈值Att2，则控制单元117识别对应于覆盖姿势的操作(S415)。
这里，可在接触位置P和对象区域的比较的确定640 之后确定接触面积At。另外，操作工具检测单元109可与检测接触面积At —起检测接触区域的形式、或操作工具M 的接近状态等。然后，仅当基于接触区域的形式或操作工具M的接近状态检测到指尖、或手指球等的接触时，控制单元117才可通过基于接触面积At识别该操作，来基于接触姿势准确地识别该操作。由此，基于操作工具M在显示面板101上的接触姿势，各种操作的输入变成可能。 特别地，用户可通过将任意含义赋予每个接触姿势来执行直观的操作，例如将局部操作与采用指尖的姿势相关、或将全局操作与采用手掌的姿势相关。[4-5.基于接触/接近状态的操作的识别处理]下面，将描述基于操作工具M在显示面板101上的接触/接近状态来识别由操作工具M输入的操作的处理。图15是示出基于接触/接近状态的操作的识别处理的流程图。在识别处理的开始时，操作工具检测单元109检测操作工具M相对于显示面板101 的接触的存在或不存在，以及当检测到接触时(S501)，操作工具检测单元109检测操作工具M的接触位置P和接触面积At (S503)。控制单元117确定接触面积At是否小于阈值Att (S505)。在否定的确定结果的情况下，控制单元117识别接触中遮蔽操作(对应于覆盖姿势的操作)(S513)。另一方面，在肯定的确定结果的情况下，控制单元117确定输入起始点与接触位置P之间的差是否等于或大于阈值Mt(S507)，以及在肯定的确定结果的情况下，控制单元117识别拖拽操作(S509)。 如果这里拖拽操作被识别，则执行以上描述的操作方向的识别处理(S511)。另一方面，在否定的确定结果的情况下，重新开始处理。在处理的开始时，操作工具检测单元109检测操作工具M相对于显示面板101的接近的存在或不存在(S5K)。当检测到接近并且针对预定的时间连续检测到操作工具M的接近时(步骤S517的“是”)，操作工具检测单元109开始检测操作工具M的移动速度ν和接近面积Aa (S519)，而如果没有连续检测到(步骤S517的“否”)，则重新开始处理。随后， 控制单元117确定接近面积Aa是否等于或大于阈值Aat (S521)，并且在否定的确定结果的情况下，重新开始处理。另一方面，在步骤S521的肯定的确定结果的情况下，控制单元117确定针对预定数目的帧而连续检测到的移动速度ν的绝对值是否小于阈值vt (S52!3)。然后，在肯定的确定结果的情况下，控制单元117识别接近中遮蔽操作(对应于静止姿势的操作)(S525)，以及在否定的确定结果的情况下，控制单元117识别接近中摇晃操作(对应于重复移动姿势的操作)(S527)。在处理的开始时，控制单元117确定是否连续检测到操作工具M的接触(S529)。 控制单元117确定接触面积At是否小于预定的阈值Att (S531)。然后，在肯定的确定结果的情况下，控制单元117确定输入起始点与接触位置P之间的差是否小于阈值Mt (S533)，以及如果确定结果是肯定的，则控制单元117识别轻叩操作(S535)。另一方面，在步骤 S531和S533的否定的确定结果的情况下，重新开始处理。在检测操作工具M的接近状态的情况下，显示面板101和操作工具M彼此分离，使得与接触状态的检测相比，存在高的误检测的可能性。但是，通过仅在检测到接近面积Aa等于或大于预定阈值Aat时才捕获接近姿势，可抑制误检测。另外，在同时检测操作工具M的接触/接近状态的情况下，存在这样的误检测的高可能性该误检测将意图为用户的接触姿势的姿势捕获为接近姿势。但是，通过仅在针对预定持续时间检测到接近状态时才捕获接近姿势，可抑制误检测。[5.检测模式的控制方法]下面，将描述根据信息处理设备100(在下文中，也被称为设备自身)的静止状态或取向来控制对操作工具M在设备自身上的操作进行检测的模式的方法。[5-1.接近检测模式的控制方法]首先，将描述根据设备自身的静止状态来控制对操作工具M在显示面板101上的接近操作进行检测的模式的实施例。接触/接近传感器103由接触操作的检测单元和接近操作的检测单元组成。当信息处理设备100运行时，接触/接近传感器103连续地用作接触传感器，以及当支持接近姿势的应用运行时，接触/接近传感器103还用作接近传感器。下面，将假设为接触操作的检测单元和接近操作的检测单元分离地设置供电系统的情况。状态检测单元111包括加速传感器，并且检测设备自身的静止状态。控制单元117用作模式控制单元，该模式控制单元根据设备自身的静止状态来控制对操作工具M在设备自身上的操作进行检测的模式。特别地，控制单元117控制接近检测模式，其中，在该接近检测模式下检测操作工具M在显示面板101上的接近操作。图16和图17是示出接近检测模式的控制处理的流程图和示意图。控制单元117确定支持接近操作的应用是否在运行(S601)，并且在肯定的确定结果的情况下，控制单元117根据状态检测单元111的检测结果来确定设备自身是否在静止状态中(S60;3)。另一方面，在否定的确定结果的情况下，控制单元117继续确定应用是否被激活。在设备自身在静止状态中的情况下，控制单元117确定静止状态是否持续预定的时间(S605)，并且在肯定的确定结果的情况下，控制单元117使接近检测模式有效(S607)。 另一方面，在步骤S603和S605的否定的确定结果的情况下，控制单元117使接近检测模式无效(S609)。在该情况下，省略各自与接近操作相关的检测处理和供电。在图17A中示出了当支持接近操作的应用运行时设备自身被用户握持并且处于静止状态中的情况。在该情况下，接近检测模式是活动的，并且用户可通过改变操作工具M 相对于显示面板101的接近状态来执行接近操作(在该状态中也可执行接触操作)。在图17B中示出了偶然地移动设备自身的情况。在该情况下，如果操作工具M接近显示面板101，除非接近检测模式变成不活动的，否则检测到不是用户所意图的接近操作。 但是，由于当设备自身在移动状态中时，接近检测模式自动变成不活动的，并且没有接近操作被检测到，所以不是用户所意图的接近操作免于被检测到。然后，当设备自身再次进入静止状态时，接近检测模式变成活动的，使得用户可以重新开始接近操作。这使得能够根据设备自身的静止状态来控制接近检测模式，从而在不必检测接近操作的情况下，可省略各自与接近操作相关的检测处理和供电。另外，不是用户所意图的接近操作免于被检测到。而且，用户可无缝地执行接触操作和接近操作而不必人工地控制检测模式。
[5-2.接近和远程检测模式的控制方法]接下来，将描述根据设备自身的静止状态来控制用于检测操作工具M在显示面板 101上的接近和远程操作的模式的实施例。接触/接近传感器103和状态检测单元111与上述变型中的那些相同。远程传感器107对操作工具M的远程移动，例如预定姿势进行成像和捕获。远程传感器107由立体相机等组成，并且在支持远程姿势的应用运行时，远程传感器107起作用。下面，将假设为接触/接近传感器103和远程传感器107分离地设置供电系统的情况。控制单元117尤其控制接近检测模式和远程检测模式，其中，在接近检测模式中检测操作工具M在显示面板101上的接近操作，而在远程操作模式中检测操作工具M在远程传感器107上的远程操作。图18和图19是示出接近和远程检测模式的控制处理的流程图和示意图。控制单元117确定支持接近和远程操作的应用是否在运行(S701)，以及在肯定的确定结果的情况下，控制单元117根据状态检测单元111的检测结果来确定设备自身是否在静止状态中(S70;3)。另一方面，在否定的确定结果的情况下，控制单元117继续确定应用是否被激活。在设备自身在静止状态中的情况下，控制单元117确定静止状态是否持续预定的时间(S70O，以及在肯定的确定结果的情况下，控制单元117使接近检测模式无效以及使远程检测模式有效(S707)。在该情况下，不执行与接近操作相关的检测处理和供电。另一方面，在步骤S703和S705的否定的确定结果的情况下，控制单元117使接近检测模式有效以及使远程检测模式无效(S709)。在该情况下，省略各自与远程操作相关的检测处理和供 H1^ ο在图19A中示出当支持接近和远程操作的应用运行时设备自身被布置在桌子上并处于静止状态中的情况。在该情况下，远程检测模式是活动的，而接近检测模式是不活动的，使得用户能够通过改变操作工具M相对于设备自身的远程移动来执行远程操作(在该状态中也可执行接触操作)。在图19B中示出设备自身被用户握持并处于汽车等的移动(摇摆)状态中的情况。在该情况下，由于设备自身在移动状态中，除非远程检测模式变成不活动的，否则会检测到不是用户所意图的远程操作。但是，由于当设备自身进入移动状态时，远程检测模式自动变成不活动的，并且没有远程操作被检测到，所以不是用户所意图的远程操作免于被检测到。然后，当设备自身再次进入静止状态时，远程检测模式变成活动的，使得用户可重新开始远程操作。这使得能够根据设备自身的静止状态来控制接近检测模式和远程检测模式，使得在不必检测接近操作或远程检测模式的情况下，可省略各自与接近操作或远程检测模式相关的检测处理和供电。另外，不是用户所意图的远程操作免于被检测到。另外，用户可无缝地执行接近操作和远程操作而不必人工地控制检测模式。[5-3.接触检测模式的控制方法]另外，将描述控制用于根据设备自身的取向来检测操作设备M在设备自身上的接触操作的模式的方法。在本实施例中，主传感器103设置在设备自身的显示面板101上，以及次级传感器
14104R和104L设置在沿设备自身的长轴的每侧上，并且次级传感器104U和104D设置在沿设备自身的短轴的每侧上。主传感器103检测操作工具M在显示面板101上的接触操作，而次级传感器104R、104L、104U和104D检测例如为了滚动显示面板101的⑶I显示的、操作工具M的接触操作。下面，将描述为次级传感器104R、104L、104U和104D分离地设置供电系统的情况。状态检测单元111包括陀螺仪，并且检测设备自身的取向。下面，设备自身的长轴和短轴的方向垂直于用户的情况分别被称为垂直取向和水平取向。状态检测单元111检测设备自身是否是垂直取向的和水平取向的。控制单元117尤其控制用于检测次级传感器104R、104L、104U和104D上的接触操作的检测模式。例如，在设备自身是垂直取向的情况下，控制单元117使次级传感器104R和 104L的检测有效，并且使次级传感器104U和104D的检测无效，而在设备自身是水平取向的情况下，控制单元117使次级传感器104R和104L的检测无效，并且使次级传感器104U和 104D的检测有效。特别地，控制单元117根据设备自身的取向，来使与用户的优势手相关的次级传感器104R、104L、104U和104D有效。下面，将假设用户是右手有利(right-handed) 的情况。图20和图21是示出接触检测模式的控制处理的流程图和示意图。控制单元117根据来自状态检测单元111的传感器输出，来确定设备自身是否是垂直取向的(S801)，以及在肯定的确定结果的情况下(图21A)，控制单元117确定设备自身是否将垂直取向保持预定时间(S8(X3)。然后，在肯定的确定结果的情况下，控制单元117 使相对于用户的右侧上的次级传感器104R有效，并且使其它次级传感器104L、104U和104D 无效(S805)。另一方面，在设备自身是水平取向的情况下(例如，显示面板101的顶部朝向相对于用户的左侧)，控制单元117确定设备自身是否将水平取向保持预定时间(S807)。在肯定的确定结果的情况下(图21B)，控制单元117使相对于用户的右侧上的次级传感器104D 有效，并且使其它次级传感器104R、104L和104U无效(S809)。另外，图22和图23是示出应用激活的控制处理的流程图和示意图。控制单元117根据状态检测单元111的检测结果，来确定设备自身是否是垂直取向的(S901)，以及在肯定的确定结果的情况下(图23A)，控制单元117确定操作工具M是否与次级传感器104R接触(S903)。接下来，在肯定的确定结果的情况下，控制单元117确定操作工具M是否将与次级传感器104的接触保持预定时间690 。然后，在肯定的确定结果的情况下，控制单元117激活书阅读器(S907)。另一方面，在设备自身是水平取向的情况下(例如，显示面板101的顶部朝向相对于用户的左侧)，控制单元117确定操作工具M是否与次级传感器104U和104D接触 (S909)。接下来，在肯定的确定结果的情况下，控制单元117确定操作工具M是否将与次级传感器104U和104D的接触保持预定时间(S911)。然后，在肯定的确定结果的情况下(图 23B)，控制单元激活游戏(S913)。另外，例如在设备自身是水平取向的并且操作工具M通过用户努力举起设备自身而与次级传感器104L、104U和104D(S8(^)之一接触的情况下，控制单元117不必激活书阅读器。
这使得能够根据设备自身的取向来控制接触检测模式，使得在不进行接触操作的次级传感器104中，可省略各自与接触操作相关的检测处理和供电。[6.信息处理设备100的硬件配置]图M是示出信息处理设备100的硬件配置的示例的框图。信息处理设备100被配置成主要包括CPU 901、ROM 903、主机总线907、桥接器 909、外部总线911、接口 913、输入装置915、输出装置917、存储装置919、驱动921、连接端口 923、和通信装置925。CPU 901用作算术处理装置和控制装置，以及至少部分根据存储在ROM 903、RAM 905、存储装置917、或可拆卸记录介质927中的各种程序，来控制信息处理设备100的操作。 ROM 903中存储CPU 901所使用的程序和参数等。RAM 905中临时存储CPU 901所执行的程序和程序执行时的参数等。CPU 90UROM 903和RAM 905通过主机总线907互连。主机总线907经由桥接器909连接到外部总线911。输入装置915是可由用户操作的操作装置，例如鼠标、键盘、显示面板101、按钮和开关。另外，输入装置915可为，例如使用诸如红外线的电波的远程操作装置，或信息处理设备100上所支持的、诸如移动电话和PDA的外部装置929。输入装置915被配置成包括例如输入控制电路等，该输入控制电路等用于通过使用上述操作装置、基于用户输入的操作信息来生成输入信号，以及将该信号输出到CPU 901。信息处理设备100的用户将各种数据输入到信息处理设备100中，以及向信息处理设备100给出用于处理操作的指令。输出装置917被配置成包括能够可视地和听觉上将所获得的信息通知用户的装置，例如显示装置(例如CRT显示器、液晶显示器、显示面板101和灯)、音频输出装置(例如扬声器或耳机)、打印机、移动电话和传真机。输出装置917输出信息处理设备100的处理结果。例如，显示装置将信息处理设备100的处理结果显示为文本信息或图像信息，以及音频输出装置将重放的音频数据和声音数据等的音频信号转换成模拟信号并且输出这些模拟信号。存储装置919是用于数据存储的装置，其包括例如磁存储装置，例如HDD、半导体存储装置、光存储装置、或磁光存储装置。存储装置919中存储由CPU 901执行的程序、各种数据、和从外部获得的各种数据等。驱动921是用于记录介质的读取器/写入器，并且内置到信息处理设备100中或附连到信息处理设备100外部。驱动921从附连的可拆卸记录介质927，例如磁盘、光盘、磁光盘和半导体存储器中读出所记录的数据，以及将数据输出到RAM 905并且写入要记录的数据。连接端口 923是用于直接将外部装置9 连接到信息处理设备100的端口，例如 USB端口、SCSI端口和RS232C端口。信息处理设备100经由连接端口 923从连接到连接端口 923的外部装置9 中获得数据，或者将数据提供给连接到连接端口 923的外部装置929 中。通信装置925是由例如用于连接到通信网络N的通信装置组成的通信接口。通信装置925例如是有线或无线LAN、WUSB通信卡、ADSL路由器、或通信调制解调器。通信装置 925例如根据预定协议采用因特网或其它通信装置，来执行信号的发送和接收等。连接到通信装置925的通信网络N由有线或无线连接的网络等组成。例如，通信网络N可为因特网、家庭LAN、红外数据通信、无线电波通信、卫星通信等。以上，已经描述了用于实现根据本发明实施例的信息处理设备100的功能的硬件配置的示例。另外，上述硬件的部件中的每个部件可通过使用用于通用目的的装置来组成， 或者可通过使用专用于每个部件的功能的装置来组成。[7.总结]如上所述，根据本发明实施例的信息处理设备100检测与显示面板101接触的操作工具M的指示方向，以及基于所检测的操作工具M的指示方向，来识别由操作工具M输入的操作的方向。由此，基于操作工具M的指示方向来识别操作的方向，使得操作与显示面板 101相对于用户的取向无关变成可能。以上已经参考附图描述了本发明的优选实施例，可是本发明当然不限于以上示例。本领域的技术人员在所附权利要求书的范围内可发现各种替换和变型，并且应该理解这些自然会在本发明的技术范围之内。附图标记列表
100信息处理设备
101显示面板
103接触/接近传感器
105显示单元
107远程传感器
109操作工具检测单元
111状态检测单元
113存储单元
115显示控制单元
117控制单元(操作识别单元，模式控制单元)
权利要求
1.一种信息处理设备，包括操作工具检测单元，其检测与显示面板接触的操作工具的指示方向；以及操作识别单元，其基于所检测到的所述操作工具的指示方向来识别由所述操作工具输入的操作的方向。
2.根据权利要求1所述的信息处理设备，其中，所述操作工具检测单元检测在触摸所述显示面板的同时移动的所述操作工具的指示方向和移动方向，以及其中，所述操作识别单元基于所检测到的所述操作工具的指示方向和移动方向，来识别由所述操作工具输入的操作的方向。
3.根据权利要求2所述的信息处理设备，其中，所述操作识别单元基于由所检测到的所述操作工具的指示方向和移动方向限定的角，来识别由所述操作工具输入的操作的方向。
4.根据权利要求1所述的信息处理设备，还包括 显示控制单元，其控制所述显示面板的显示，其中，所述操作识别单元基于所检测到的所述操作工具的指示方向，来识别对所述显示面板的显示进行旋转的操作的方向，以及其中，所述显示控制单元根据所识别的所述操作的方向，来旋转所述显示面板的所述显不。
5.根据权利要求1所述的信息处理设备，其中，所述操作识别单元与所述显示面板相对于操作者的取向无关地识别由所述操作工具输入的操作的方向。
6.根据权利要求1所述的信息处理设备，其中，所述操作工具检测单元基于所述操作工具的尖端部分的取向，来确定所述操作工具的指示方向。
7.根据权利要求1所述的信息处理设备，其中，所述操作工具检测单元连续地检测所述操作工具的指示方向，以及当连续地检测到的所述操作工具的指示方向在预定的阈值以内时，基于连续地检测到的所述操作工具的指示方向来确定所述操作工具的指示方向。
8.一种信息处理方法，包括步骤检测与显示面板接触的操作工具的指示方向；以及基于所检测到的所述操作工具的指示方向，来识别由所述操作工具输入的操作的方向。
9.一种程序，用于使计算机实现包括以下步骤的信息处理方法 检测与显示面板接触的操作工具的指示方向；以及基于所检测到的所述操作工具的指示方向，来识别由所述操作工具输入的操作的方向。
全文摘要
公开了一种信息处理设备、信息处理方法及程序。信息处理设备包括操作工具检测单元和操作识别单元，其中，操作工具检测单元检测与显示面板接触的操作工具的指示方向，而操作识别单元基于所检测到的操作工具的指示方向来识别由操作工具输入的操作的方向。由此，基于操作工具的指示方向来检测操作的方向，使得操作与显示面板相对于操作者的取向无关变成可能。
文档编号G06F3/048GK102428437SQ20108002193
公开日2012年4月25日 申请日期2010年3月30日 优先权日2009年5月26日
发明者宫崎丽子 申请人:索尼公司