信息处理设备、信息处理方法和程序的制作方法

专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及一种信息处理设备、信息处理方法和程序。
背景技术：
已知有检测诸如手指、手或笔的操作工具的运动并执行与用户的交互的信息处理 设备。例如，该信息处理设备检测操作工具对传感器的接触/接近、被传感器捕捉的操作工 具M的远程运动等，并识别由用户输入的操作。特别地，在执行支持操作工具的接近操作或接近和远程操作以及接触操作的应用 的情况下，可能期望根据用户的操作状态适当地控制用于检测每个操作的模式。这是因为， 在信息处理设备不处于静止状态的情况下，由于例如检测准确性等问题，接触操作被执行 而接近操作和远程操作(特别是远程操作)难以执行。

发明内容
如果试图在没有控制检测模式的同时检测每种操作，则对应于接近操作或接近和 远程操作的检测处理与接触操作一起执行，因此检测处理的效率降低。此外，在接触操作的 检测单元、接近操作的检测单元和远程传感器具有不同的供电系统的情况下，电力被提供 给不必要的检测单元或传感器，从而功耗增加。此外，很可能出现以下情况用户所要进行 的接触操作被错误地检测为接近操作，或者用户所要进行的远程操作被错误地检测为接近 操作。虽然也已知有能够手动控制检测模式的信息处理设备，但是在这种情况下，用户 临时停止操作以进行手动控制，使得不一定能享受到良好的操作环境。鉴于上述情况，期望提供一种信息处理设备、信息处理方法和程序，其能根据用户 的操作状态适当地控制检测操作工具对信息处理设备的操作的模式。根据本发明的第一实施例，提供一种信息处理设备，其包括操作工具检测单元， 用于至少检测操作工具对信息处理设备的接触操作；状态检测单元，用于检测信息处理设 备的静止/非静止状态或取向；以及模式控制单元，用于根据信息处理设备的被检测到的 静止/非静止状态或取向来控制检测操作工具对信息处理设备的操作的模式。这使得能够 根据信息处理设备的静止/非静止状态或取向来控制检测操作工具对信息处理设备的操 作的模式，以根据用户的操作状态适当控制检测模式。操作工具检测单元可以检测操作工具对信息处理设备的显示板的接触操作和接 近操作，状态检测单元可以检测信息处理设备的静止/非静止状态，并且模式控制单元可 以在检测到信息处理设备的静止状态的情况下使能检测接近操作的接近检测模式，并且可 以在没有检测到信息处理设备的静止状态的情况下禁用接近检测模式。这使得能够根据用 户的操作状态将检测接近操作的模式控制为有效或无效。操作工具检测单元可以检测操作工具对信息处理设备的远程操作以及操作工具 对信息处理设备的显示板的接触操作和接近操作，状态检测单元可以检测信息处理设备的静止/非静止状态，并且模式控制单元在检测到信息处理设备的静止状态的情况下可以使 能检测远程操作的远程检测模式，并且可以禁用检测接近操作的接近检测模式，并且在没 有检测到信息处理设备的静止状态的情况下可以禁用检测远程操作的远程检测模式并使 能检测接近操作的接近检测模式。这使得能够根据用户的操作状态将检测接近操作或远程 操作的模式控制为有效或无效。操作工具检测单元可以检测操作工具对提供给信息处理设备的两个或更多个接 触检测单元的接触操作，状态检测单元可以检测信息处理设备的取向，并且模式控制单元 可以根据信息处理设备的取向使能用于检测对两个或更多个接触检测单元之一的接触操 作的第一接触检测模式或用于检测对两个或更多个接触检测单元中的另一个的接触操作 的第二接触检测模式。这使得能够根据用户的操作状态控制通过两个或更多个检测单元检 测接触操作的模式。根据本发明的第二实施例，提供一种信息处理方法，包括检测信息处理设备的静 止/非静止状态或取向的步骤，以及根据信息处理设备的所检测到的静止/非静止状态或 取向来控制检测操作工具对信息处理设备的操作的模式。根据本发明的第三实施例，提供使计算机执行根据本发明的第二实施例的信息处 理方法的程序。根据上述本发明的实施例，可提供信息处理设备、信息处理方法和程序，其能够根 据用户的操作状态适当地控制检测操作工具对信息处理设备的操作的模式。




4
图1是示出根据本发明的一个实施例的信息处理设备的概要的图2是示出根据本发明的实施例的信息处理设备的功能配置的示例的框图3A是示出显示板上的操作工具的状态的图3B是示出在图3A所示的状态下的传感器图像的指定区域的图4A是示出显示板上的操作工具的状态的图4B是示出图4A所示的状态下的传感器图像上的指定区域的图5A是示出图3A中的A-A线上的亮度值分布的图5B是示出图3A中的B-B线上的亮度值分布的图6是示出操作方向的识别处理的流程图7A是示出操作方向的识别处理的示意图7B是示出操作方向的识别处理的示意图7C是示出操作方向的识别处理的示意图8A是示出操作方向的识别处理的示意图； 图8B是示出操作方向的识别处理的示意图9是示出显示方向的旋转处理的流程图IOA示出显示方向的旋转处理的示意图IOB示出显示方向的旋转处理的示意图11是示出基于接近手势的操作的识别处理的流程图12A是示出基于接近手势(静止手势)的操作的识别处理的示意图12B是示出基于接近手势(摇摆手势)的操作的识别处理的示意图；图12C是示出基于接近手势(移动手势)的操作的识别处理的示意图；图13是示出基于接触手势的操作的识别处理的流程图；图14A是示出基于接触手势(点手势)的操作的识别处理的示意图；图14B是示出基于接触手势(按手势)的操作的识别处理的示意图；图14C是示出基于接触手势(覆盖手势)的操作的识别处理的示意图；图15是示出基于接触/接近状态的操作的识别处理的流程图；图16是示出接近检测模式的控制处理的流程图；图17A是示出接近检测模式的控制处理的示意图；图17B是示出接近检测模式的控制处理的示意图；图18是示出接近和远程检测模式的控制处理的流程图；图19A是示出接近和远程检测模式的控制处理的示意图；图19B是示出接近和远程检测模式的控制处理的示意图；图20是示出接触检测模式的控制处理的流程图；图21A是示出接触检测模式的控制处理的示意图；图21B是示出接触检测模式的控制处理的示意图；图22是示出应用激活的控制处理的流程图；图23A是示出应用激活的控制处理的示意图；图23B是示出应用激活的控制处理的示意图；图23C是示出应用程序激活的控制处理的示意图；以及图24是示出信息处理设备的硬件配置的一个示例的框图。
具体实施例方式下面，将参照附图详细描述本发明的优选实施例。应注意，在本说明书和附图中， 具有大致相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件 的重复说明。[1.信息处理设备100的概要]图1是示出根据本发明的一个实施例的信息处理设备100的概要的图。根据本发 明的一个实施例的信息处理设备100至少检测诸如手指、手或笔的操作工具M与显示板101 的接触。此外，根据本发明一些实施例的信息处理设备100检测操作工具M对显示板101 的接近和/或操作工具M相对于信息处理设备100的远程运动。另外，虽然接下来将描述 信息处理设备100包括显示板101的情况，但是信息处理设备100可以经由通信装置连接 到显示板101。信息处理设备100检测信息处理设备100的静止/非静止状态或取向，并且根据 信息处理设备100的被检测到的静止/非静止状态或取向来控制检测操作工具M对信息处 理设备100的操作的模式。这里，信息处理设备100通过加速度传感器、陀螺仪等来检测信 息处理设备100的静止/非静止状态或取向。由于通过这样来根据设备的静止/非静止的 状态或取向控制用于检测操作工具M对信息处理设备100的操作的模式，能够根据用户的 操作状态适当地控制检测模式。
特别地，根据本发明的实施例的信息处理设备100检测操作工具M对信息处理设 备100的显示板101的接触操作和接近操作，并且同时检测信息处理设备100的静止/非 静止状态。于是，在检测到信息处理设备100的静止状态的情况下，信息处理设备100使能 用于检测接近操作的接近操作模式，并且在没有检测到信息处理设备100的静止状态的情 况下禁用该接近操作模式。由此，能够根据用户的操作状态将检测接近操作的模式控制为 有效或无效。[2.信息处理设备100的功能构造]图2是示出根据本发明实施例的信息处理设备100的功能构造的示例的框图。信 息处理设备100包括显示板101、远程传感器107、操作工具检测单元109、状态检测单元 111、存储单元113、显示控制单元115、以及控制单元117。显示板101充当接触/接近传感器103和显示单元105。该接触/接近传感器103 捕捉操作工具M的接触/接近状态。接触/接近传感器103是例如光学传感器或电容式传 感器，但在下面将假设是基于显示板101的光接收状态来捕捉操作工具M的接触/接近状 态的情况。显示单元105在显示控制单元115的控制下显示对象、内容、应用的处理结果等。 此外，例如，对象是组成GUI的任意对象，诸如图标、按钮、缩略图等。远程传感器107包括立体摄像机等，其成像和捕捉操作工具M的远程运动，诸如预 定手势。操作工具检测单元109通过使用接触/接近传感器103和远程传感器107检测操 作工具M的状态。操作工具检测单元109检测操作工具M的接触/接近/运动和远程运 动。操作工具检测单元109尤其检测操作工具M的指示方向、预定状态等。操作工具检测 单元109检测操作工具M相对于显示板101的指示方向，尤其是检测操作工具M接触显示 面板101时移动的指示方向和移动方向。此外，操作工具M的指示方向可以在接近时以及 接触时检测。基于光接收状态，操作工具检测单元109检测操作工具M的接触/接近的存在或 不存在、操作工具M的接触/接近区域、操作工具M相对显示板101的指示方向和接触/接 近的手势。此外，将在下面详细说明通过接触/接近传感器103检测操作工具M的方法。 操作工具检测单元109基于远程传感器107的成像结果检测远程手势。操作工具检测单元 109通过将操作工具M的接触/接近/远程运动与预先登记的手势信息进行比较来检测预 定手势。状态检测单元111包括加速度传感器、陀螺仪等，并检测信息处理设备100的静止 /非静止状态和取向。显示控制单元115控制显示单元105对对象、内容、应用的处理结果 等的显示。存储单元113存储信息处理程序、应用程序、对象数据、手势信息等。控制单元117 通过信息处理程序的执行来控制每个单元并控制信息处理设备100的整体操作。控制单元117充当操作识别单元，用于基于操作工具M的指示方向识别操作工具M 输入的操作方向。这里，控制单元117尤其基于检测到的操作工具M的指示方向和移动方 向识别由操作工具M输入的操作的方向。此外，控制单元117作为模式控制单元，用于根据信息处理设备100的静止/非静 止状态或取向来控制检测操作工具M对信息处理设备100的操作的模式。
[3.操作工具M的检测方法]在显示板101上，RGB像素和光接收传感器被布置成矩阵。光接收传感器充当接 触/接近传感器103，通过接收从显示板101发出并被操作工具M反射的光，并基于光接收 状态捕捉操作工具M的接触/接近状态。然后，操作工具检测单元109通过数字地处理接 触/接近传感器103的输出结果来创建传感器图像S。 操作工具检测单元109基于传感器图像S计算对应于每个像素并指示光接收状态 的亮度值，并通过使用两个预定阈值Thl和Th2对该亮度值执行三元处理。在三元处理中， 每个像素的亮度值被分为第一、第二和第三类，传感器图像S的区域被分为对应于每个类 的第一、第二和第三区域A1、A2和A3。第一、第二、第三区域A1、A2和A3对应于高亮度、中 等亮度和低亮度的区域，并分别被指定为操作工具M的接触区域、接近区域和非接触/非接 近区域。操作工具检测单元109基于第一区域Al的存在来检测操作工具M与显示板101 的接触，并且基于第二区域A2的存在来检测操作工具M对显示板101的接近。此外，操作 工具检测单元109通过计算第一和第二区域Al和A2的面积来检测操作工具M的接触区域 和接近区域中的每个。具体地，操作工具检测单元109计算第一和第二区域Al和A2的重心Gl和G2的 位置，计算连接所计算的重心Gl和G2的位置的直线(重心线)的方向，并基于第一区域Al 的重心Gl的位置和重心线检测操作工具M的指示方向。操作工具M的指示方向定义为沿 重心线指示第一区域Al的重心Gl的方向。下面，将参照图3和图5描述操作工具M的指示方向的检测方法。图3和图4是 示出操作工具M在显示板101的状态(图3A和图4A)及在传感器图像Sl和S2上指定的 第一和第二区域(图3B和图4B)的图。图5是示出图3B中的传感器图像Sl上的亮度值 分布的图，图5A和图5B分别示出A-A线和B-B线上的亮度值分布。图3和图4示出改变操作工具M在显示板101上的指示方向的情况。在这种情 况下，操作工具M的端部(指尖)触摸显示板101，并且操作工具M的除顶端之外的一部分 (手指肚)接近显示板101。在图3中显示的状态下，操作工具M指示⑶I显示的向上方向(见图3A)。在这种 情况下，操作工具检测单元109基于传感器图像Sl上的亮度值分布将操作工具M的指示方 向检测为GUI显示的向上方向(见图3B)。例如，在图5所示的示例中，操作工具M的接触 和接近是从A-A线上检测到的第一和第二区域Al和A2检测的(见图5A)，并且操作工具M 的接近是从B-B线上检测到的第二区域A2检测的(见图5B)。在图4所示的状态下，操作工具M指示⑶I显示的左上方向(见图4A)。在这种情 况下，操作工具检测单元109基于传感器图像S2的亮度值分布将操作工具M的指示方向检 测为⑶I显示的左上方向(见图4B)。[4-1.操作方向的识别处理]下面，将给出对操作工具M所输入的操作的方向进行识别的处理的描述，该识别 基于在触摸显示板101时移动的操作工具M的指示方向和移动方向。图6是示出操作方向的识别处理的流程图，并且图7和图8是显示操作方向的识 别处理的示意图。
当操作工具检测单元109检测到操作工具M的接触时(步骤S103)，操作工具检测 单元109基于以上描述的操作工具M的检测方法检测操作工具M的指示方向(S103)。这 里，操作工具M的指示方向可以在操作工具M移动的状态下或者在操作工具不移动的状态 下被检测。例如，基于如图7所示的虚拟地设置在显示板101上的坐标系，操作工具M的指示 方向被定义为角度θ 1。坐标系的设置可以独立于显示板101的取向，但是下面将假设基于 显示板101的垂直方向和水平方向设置通常的直角坐标系的情况。在这种情况下，从直角 坐标系的第一象限到第四象限沿逆时针方向测量角度θ 1。操作工具检测单元109确定是否针对预定数量的帧连续地检测到角度 ei(si05)。例如，每个检测值被存储在图中未示出的缓存中。然后，如果检测结果的改变 小于预定阈值9t(S107)，操作工具检测单元109将角度Θ 1确定为检测结果的中间值等 (S109)。确定角度θ 1后，操作工具检测单元109检测操作工具M的移动起点和移动终点 (S111)，并确定操作工具M的移动方向(S113)。基于与角度θ 1相同的坐标系，操作工具M 的移动方向被定义为基于连接操作工具M的移动起点和终点的移动向量V的角度θ 2，如图 7Β所示。下面，为描述方便将假设操作工具M沿直线移动的情况。在这种情况下，移动起点 被定义为在没有检测到操作工具M的接触的状态下第一次检测到操作工具M的接触的点。 以同样的方式，移动终点被定义为在检测到操作工具M接触的状态下第一次检测到操作工 具M的非接触的点。此外，在操作工具M以曲线移动的情况下，可以基于移动方向改变点来 为每个曲线移动确定移动起点和移动终点。控制单元117确定指示操作工具M的指示方向和移动方向的角度Θ1和Θ2之间 的差值Δθ( = θ 1-θ 2) (Si 15)。控制单元117基于该差Δ θ来识别由操作工具M输入 的操作的方向(S117、S119、S121)。如图7C所示，操作方向是基于角度Θ1和θ 2之间的 差Δ θ确定的。操作方向，例如，在-45° ≤ Δ θ <45°的情况下被识别为向上(S123)并且在 45°≤Δ θ <135°的情况下被识别为向左(S125)。以同样的方式，在135≤Δ θ <180° 或-180° ≤ Δ θ <-135°的情况下操作方向被识别为向下(S127)，并且在-135°≤ Δ θ <-45°的情况下被识别为向右(S129)。另外，为了提高操作方向识别的准确度，可在-30°彡Δ θ <30°的角度范围内 将操作方向识别为向上。此外，可以根据用户的惯用手调整角度范围。作为操作方向识别处理的示例，在图8中示出选择在GUI显示上竖直显示的滑动 条0的标签T和向上操作标签的情况。如图8A所示，在显示板101相对于用户的取向与⑶I显示的取向相同的情况下 (即，显示板101按照其顶部相对于用户是向上的方式设置的情况)，用户相对于显示板101 向上拖动标签T，从而对应于⑶I显示的向上的方向。此处，可以对作为对象的标签T执行 拖动操作，或者可以在标签T被选择的状态下执行拖动操作，例如，在没有对象被显示的区 域。例如，当操作工具M的指示方向和移动方向被检测为角度θ ι = 135°和角度θ 2=120°时，差为Δ θ = 15°，因此如图7C所示，识别向上操作。这使用户能够向上操作 标签T。另一方面，如图8B所示，显示板101相对于用户的取向不同于⑶I显示的取向(例 如，显示板101按照将其顶部相对于用户朝向左侧的方式设置的情况)，用户相对于显示板 101向上拖动标签T，从而对应于⑶I显示的右侧方向。例如，当操作工具M的指示方向和移动方向被检测为角度θ 1 = 45°并且角度 Θ2 = 20°时，差为Δ θ = 25°，因此如图7C所示，识别向上操作。这使用户甚至在显示 板101相对于用户的取向不同于GUI显示的取向的情况下(图8B)，能够以与两者取向相同 的情况一样的方式(图8A)，通过相对于显示板101向上拖动标签T来向上操作标签T。因此，在识别⑶I显示的取向后，用户不必执行拖动操作以对应于⑶I显示的取向 或在改变显示板101的取向之后执行拖动操作。因此，不依赖于GUI显示的取向(即显示 板101的取向)的操作是可能的，并且操作环境能够得到改善。例如，在通过向上/向下方向的操作来调整音量大/小的情况下、在通过向左/向 右的操作来调整向前/向后的播放位置的情况下、以及在对应于向上/向下/向左/向右 方向的操作滚动显示板101的显示的情况下，不依赖于显示板101的取向的直观操作是可 能的。特别地，在未识别对象而直接操作内容本身的情况下(在未识别显示板101上位置 而执行拖动操作的情况)能够改进操作。[4-2.显示方向的旋转处理]下面，将描述基于操作工具M的指示方向识别显示板101的⑶I显示的旋转操作 的方向的处理。图9和图10是示出显示方向的旋转处理的流程图和示意图。图10示出显示方向 向下旋转的情况(图10A)和显示方向向左旋转的情况(图10B)。当操作工具检测单元109检测到操作工具M的接触时(步骤S201)，操作工具检测 单元109基于上文所述的操作工具M的检测方法检测操作工具M的指示方向(S203)。这 里，无论是在操作工具M移动的状态下还是在操作工具不移动的状态下，操作工具M的指示 方向均可以被检测。例如，如图IOA和图IOB所示，基于在显示板101上虚拟设置的坐标系，操作工具 M的指示方向被定义为角度Θ1。下面，将假设基于显示板101的竖直方向和水平方向设置 通常的直角坐标系的情况。在这种情况下，以逆时针方向从直角坐标系的第一象限到第四 象限测量角度θ 1。该操作工具检测单元109确定是否针对预定数量的帧连续地检测到角度 θ 1(S205)。然后，如果检测结果的改变小于预定阈值et(S207)，操作工具检测单元109将 角度θ 1确定为检测结果的中间值等。控制单元117基于指示操作工具M的指示方向的角度θ 1识别显示板101的⑶I 显示的旋转操作的方向(S211、S213、S215)。该显示方向是，例如，在45° < θ 1 < 135°的 情况下被识别为向下(S217)，在135° ( θ 1< 225°的情况下被识别为向右(S219)。以同 样的方式，显示方向在225° ( θ 1 <315°的情况下被识别为向上(S221)和在0° ( θ 1 <45°或315°彡θ 1 < 360°的情况下被识别为向左(S223)。此外，为了改善操作方向识别准确度，操作方向可在角度范围30°<120°内被识别为向下。此外，可以根据用户的惯用手调整角度范围。这里，旋转后的GUI显示的方向被定义为正常使用时(在正常位置)相对于显示 板101显示GUI显示的顶部的取向。也就是说，向下的显示方向意味着在正常位置的显示 板101的底部显示⑶I显示的顶部，并且向左的方向意味着在正常位置的显示板101的左 边显示⑶I显示的顶部。当显示方向被识别时，显示控制单元115在显示方向需要被改变的情况下(S225) 控制显示单元105根据所识别的操作方向旋转显示板101的⑶I显示(S227)。此外，当指 示方向再次改变时，显示方向根据改变的指示方向而改变。因此，通过基于操作工具M的指示方向来旋转显示板101的⑶I显示方向，不依赖 于GUI显示的方向(即显示板101的取向)的操作是可能的，并且操作环境可以得到改善。[4-3.基于接近手势的操作的识别处理]下面，将描述基于操作工具M针对显示板101的接近手势识别由操作工具M输入 的操作的处理。图11和图12是示出基于接近手势的操作的识别处理的流程图和示意图。作为 接近手势的示例，图12给出操作工具M的静止手势(图12A)、操作工具M的摇摆手势(图 12B)、以及操作工具M的移动手势(图12C)。例如，操作工具M的静止手势被检测为在显示板101上方保持手静止的动作。操 作工具M的摇摆手势被检测为在显示板101上方水平(和/或竖直)摇摆手的动作。操作 工具M的移动手势被检测为在显示板101上方水平(和/或竖直)移动手的动作。下面，将描述识别三种操作的情况，其对应于操作工具M的静止手势、摇摆手势、 和移动手势，但可以基于其它接近手势识别四种或更多的手势。此外，假设每个接近手势事 先与手势信息和特定操作相关联。当操作工具检测检测单元109检测到操作工具M的接近时(S301)，操作工具检测 单元109确定是否在预定时间段(如500毫秒)内连续地检测到操作工具M的接近(S303)。 如果连续地检测到操作工具的接近，则操作工具检测单元109开始检测移动状态(S305)， 并且如果没有连续地检测到操作工具的接近，则操作工具检测单元109继续检测操作工具 M的接近。操作工具M的移动状态被检测为操作工具M相对于显示板101在接触/接近传感 器103的检测范围内的横向移动和/或竖直移动。操作工具M的移动状态，例如，被检测为 操作工具M的移动距离/速度/加速度等，但下面将假设为检测操作工具M的移动速度ν 的情况。操作工具检测单元109确定是否针对预定数量的帧连续检测到操作工具M的移动 速度 v(S307)。控制单元117确定操作工具M的移动速度ν的绝对值是否小于预定阈值 vt(S313)。然后，在肯定的确定结果的情况下，控制单元117识别对应于静止手势的操作 (S315)。另一方面，如果移动速度ν等于或大于预定阈值vt且在移动速度ν的变化方面观 测到恒定的重复性(在步骤S317中“是”的情况)，则控制单元117识别对应于摆动手势的 操作(S319)。此外，如果移动速度ν等于或大于预定阈值vt且在移动速度ν的变化方面未 观察到恒定的重复性(在步骤S317中“否”的情况下)，控制单元117识别对应于移动手势的操作(S321)。这里，操作工具检测单元109可以除操作工具M的移动速度ν之外还检测接近面 积Aa(S309)。控制单元117能够仅当接近面积满足预定阈值Aat (例如，显示板101的70% 的面积)时通过基于移动速度ν识别操作来准确地识别基于接近手势的操作(S311)。此 外，可以在通过比较(S313、S317)移动速度ν和阈值vt而进行的确定之后确定接近面积
A 3. ο由此，能够基于操作工具M针对显示板101的接近手势输入各种操作。因此，用户 能够在不使得操作工具M接触显示板101上的对象(或信息处理设备100的按钮)的情况 下用操作工具M快速输入期望的操作。此外，用户能够通过将任意含义赋予每个接近手势 来执行直观操作，诸如将静止手势关联到静音操作、将摇摆手势关联到播放列表的打乱操 作、或将移动手势关联到播放顺序中的跳过操作。[4-4.基于接触手势的操作的识别处理]下面，将描述基于操作工具M针对显示板101的接触手势识别由操作工具M输入 的操作的处理。图13和图14是示出基于接触手势的操作的识别处理的流程图和示意图。作为接 触手势的示例，在图14中示出通过点手势指定对象(图14A)、通过按手势指定对象(图第 14B)、通过覆盖手势使得没有对象被指定(图14C)。例如，点手势是使得指尖接触对象的移动，而按手势是使得手指肚接触对象的移 动。此外，例如，覆盖手势是用多个手指覆盖显示板101的移动。这里，基于检测操作工具 M相对于显示板101的接触面积(和/或接触形式)来检测每个接触手势。下面，将描述识别对应于点手势、按手势和覆盖手势的三种操作的情况，但可以基 于其它接触手势识别四种或更多的手势。此外，假设每个接触手势预先与手势信息和具体 操作关联。当操作工具检测单元109检测到操作工具M的接触时(S401)，操作工具检测单元 109检测操作工具M的接触位置P和接触面积At (S403)。控制单元117确定操作工具M的接触位置P是否在特定对象的区域内(S405)。基 于存储在存储单元113中的对象的位置确定接触位置P和对象区域之间关系。此外，在接 触位置P位于多个对象区域内的情况下，不指定对象的手势被检测到。然后，在肯定的确定结果的情况下，控制单元117比较接触面积At与预定阈值 Attl (S407)。然后，如果接触面积At小于阈值Attl，则控制单元117识别对应于点手势的 操作(S409)，并且如果接触面积At等于或大于阈值Attl，则控制单元117识别对应于按手 势的操作(S411)。另一方面，在步骤S405的确定结果为否定的情况下，控制单元117比较接触面积 At与预定阈值Att2 (Attl < Att2) (S413)。然后，如果接触面积At等于或大于阈值Att2， 则控制单元117识别对应于覆盖手势的操作(S415)。这里，可以在通过接触位置P和对象区域的比较(S405)而进行的确定之后确定接 触面积At。此外，操作工具检测单元109可以除接触面积Aa之外还检测接触区域的形状、 操作工具M的接近状态等。然后，控制单元117能够仅在基于接触区域的形状或操作工具M 的接近状态检测到指尖、手指肚等的接触时，通过基于接触面积At识别操作来准确地识别基于接触手势的操作。由此，能够基于操作工具M针对显示板101的接触手势来输入各种操作。特别是， 用户能够通过赋予每个接触手势任意含义来执行直观的操作，诸如将本地操作关联于使用 指尖的手势、或将全局操作关联于使用手掌的手势。[4-5.基于接触/接近状态的操作的识别处理]下面，将描述基于操作工具M针对显示板101的接触/接近状态识别由操作工具 M输入的操作的处理。图15是示出基于接触/接近状态的操作的识别处理的流程图。当识别处理开始，操作工具检测检测单元109检测操作工具M相对于显示板101 存在或不存在接触，当检测到接触时(S501)，操作工具检测单元109检测操作工具M的接触 位置P和接触面积At(S503)。控制单元117确定接触面积At是否小于阈值Att (S505)。在确定结果为否定的情 况下，控制单元117识别接触遮蔽操作(对应于覆盖手势的操作)(S513)。另一方面，在确定 结果为肯定的情况下，控制单元117确定输入的起点和接触位置ρ之间的距离是否等于或 大于阈值Mt (S507)，并且在确定结果为肯定的情况下，控制单元117识别拖动操作(S509)。 如果在此识别拖动操作，则执行上述操作方向的识别处理(S511)。另一方面，在确定结果为 否定的情况下，处理重新开始。当处理开始时，操作工具检测单元109检测操作工具M相对于显示板101存在或 不存在接近(S515)。当检测到接近时，且如果操作工具M的接近是在预定时间内连续检测 到的(步骤S517中的“是”)，操作工具检测单元109开始检测操作工具M的运动速度ν和 接近面积Aa (S519)，并且如果不是连续检测到的(步骤S517中的“否”)，则处理重新开始。 随后，控制单元117确定接近面积Aa是否等于或大于阈值Aat (S521)，并且在确定结果为否 定的情况下，处理重新开始。另一方面，在步骤S521中的确定结果为肯定的情况下，控制单元117确定针对预 定数量的帧连续检测到的移动速度ν的绝对值是否小于阈值vt(S523)。然后，在确定结果 为肯定的情况下，控制单元117识别接近遮蔽操作(操作对应于静止手势)(S525)，并且 在确定结果为否定的情况下，控制单元117识别接近摇动操作(对应于摆动手势的操作) (S527)。当处理开始时，控制单元117确定操作工具M的接触是否被连续地检测到(S529)。 控制单元117确定接触面积At是否低于预定阈值Att(S531)。然后，在确定结果为肯定的 情况下，控制单元117确定输入起点和接触位置P之间的距离是否小于阈值Mt (S533)，并且 如果确定结果是肯定的，则控制单元117识别轻击(tap)操作(S535)。另一方面，在步骤 S529、S531和S533的确定结果为否定的情况下，处理重新启动。在检测操作工具M的接近状态的情况下，显示板101和操作工具M是相互分离的， 因此与接触状态的检测相比有较高的误检测可能性。然而，通过只在检测到的接近面积Aa 等于或大于预定阈值Aat时捕捉接近手势，误检测能够被抑制。此外，在同时检测操作工具M的接触/接近状态的情况下，捕捉手势有较高的误检 测可能性，其将用户本意是接触手势的手势捕捉为接近手势。然而，通过仅当在预定持续时 间内检测到接近状态时捕捉接近手势，误检测能够被抑制。
[5.检测模式的控制方法]下面，将描述根据信息处理设备100 (以下也称为信息处理设备100)的静止/非 静止状态或取向来控制检测操作工具M对信息处理设备100操作的模式的方法。[5-1.接近检测模式的控制方法]首先，将描述本实施例的变化，其中根据信息处理设备100的静止/非静止状态控 制用于检测操作工具M对显示板101的接近操作的模式。接触/接近传感器103包括接触操作检测单元和接近操作的检测单元。接触/接 近传感器103在信息处理设备100运行时连续地充当接触传感器，并且当支持接近手势的 应用运行时还充当接近传感器。下面，将假设分别为接触操作的检测单元和接近操作的检 测单元提供电源系统的情况。状态检测单元111包括加速度传感器并且检测操作工具本身 的静止/非静止状态。控制单元117充当模式控制单元，用于根据信息处理设备100的静止/非静止状 态控制检测操作工具M对信息处理设备100的操作的模式。特别地，控制单元117控制接 近检测模式，该模式用于检测操作工具M对显示板101的接近操作。图16和图17是示出接近检测模式的控制处理的流程图和示意图。控制单元117确定支持接近操作的应用是否在运行(S601)，并在确定结果为肯定 的情况下，控制单元117根据状态检测单元111的检测结果确定信息处理设备100是否处 在静止状态(S603)。另一方面，在确定结果为否定的情况下，控制单元117继续确定该应用 是否被激活。在信息处理设备100处于静止状态的情况下，控制单元117确定是否持续预定时 间(S605)，并在确定结果为肯定的情况下，控制单元117使能接近检测模式(S607)。另一 方面，在步骤S603和S605处的确定结果为否定的情况下，控制单元117禁用接近检测模式 (S609)。在这种情况下，对应于接近操作的检测处理和供电被省略。图17A显示出一种情况，其中信息处理设备100由用户持有并处于静止状态，当支 持接近操作的应用运行时。在这种情况下，接近检测模式有效，且用户能够通过改变操作工 具M相对于显示板101的接近状态来执行接近操作(接触操作也可在该状态下执行)。图17B示出信息处理设备100被偶然移动的情况。在这种情况下，如果操作工具 M接近显示板101，用户非故意的接近操作被检测到，除非接近检测模式变为无效。然而，由 于信息处理设备100处在移动状态，接近检测模式将自动变为无效并且没有接近操作被检 测到，用户非故意的接近操作为被检测到。然后，当信息处理设备100再变为静止状态时， 接近检测模式变为有效，从而使用户能够重新开始接近操作。这使得能够根据信息处理设备100的静止/非静止状态来控制接近检测模式，因 此在不需要检测接近操作的情况下，对应于接近操作的检测处理和供电可以被省略。另外， 用户非故意的接近操作不被检测。此外，用户可以无缝地执行接触操作和接近操作，而不必 手动控制检测模式。[5-2.接近和远程检测模式的控制方法]随后，将描述当前实施例的变化，其中根据信息处理设备100的静止/非静止状态 来控制用于检测操作工具M对显示板101的接近和远程操作的模式。接触/接近传感器103和状态检测单元111与上述变型中的相同。远程传感器107成像并捕捉操作工具M的诸如预定手势的远程移动。远程传感器107包括立体摄像机 等，并且当支持远程手势的应用运行时工作。下面将假设为接触/接近传感器103和远程 传感器107分别提供电源系统的情况。控制单元117具体控制用于检测操作工具M对显示板101的接近操作的接近检测 模式，以及用于检测操作工具M对遥控传感器107的远程操作的远程检测模式。图18和图19是示出接近和远程检测模式的控制处理的流程图和示意图。控制单元117确定支持接近操作和远程操作的应用是否在运行(S701)，并在肯定 的确定结果的情况下，控制单元117根据状态检测单元111的检测结果确定信息处理设备 100是否处在静止状态(S703)。另一方面，在否定的检测结果的情况下，控制单元117继续 确定应用是否被激活。在信息处理设备100处在静止状态的情况下，控制单元117确定该静止状态是否 持续预定时间(S705)，并在肯定的确定结果的情况下，控制单元117禁用接近检测模式而 使能远程检测模式(S707)。在这种情况下，不执行对应于接近操作的检测处理和供电。另 一方面，在步骤S703和S705的否定的确定结果的情况下，控制单元117使能接近检测模式 而禁用远程检测模式(S709)。在这种情况下，与远程操作对应的检测处理和供电被忽略。图19A示出在支持接近操作和远程操作的应用正在运行时信息处理设备100被布 置于桌子上并且处于静止状态的情形。在这种情形下，远程检测模式有效而接近检测模式 无效，从而用户能够通过改变操作工具M相对于信息处理设备100的远程移动来执行远程 操作(在这种状态下也能够执行接触操作)。图19B示出信息处理设备100是由用户持有并且在汽车等中处于移动(振动)状 态的情形。在这种情形下，因为信息处理设备100处于移动状态，用户非故意的远程操作可 能会被检测到，除非远程检测模式变为无效。然而，由于信息处理设备100处于移动状态， 远程检测模式自动变为无效并且没有远程操作被检测，用户非故意的远程操作不被检测。 然后，当信息处理设备100再次变为静止状态时，远程检测模式变得有效，从而用户能够重 新开始远程操作。这使得能够根据信息处理设备100的静止/非静止状态控制接近检测模式和远程 检测模式，因此在接近操作或远程检测模式不需要被检测的情况下，与接近操作或远程检 测模式相对应的检测处理和供电可以被省略。此外，用户非故意的远程操作不被检测。此 外，用户能够无缝地执行接近操作和远程操作，而不需要手动控制检测模式。[5-3.接触检测模式的控制方法]此外，将描述根据信息处理设备100的取向控制操作工具M对信息处理设备100 的接触操作的检测模式的方法。在本变型中，在信息处理设备100的显示板101上提供主传感器103，在信息处理 设备100的沿长轴的每一侧提供辅传感器104R和104L并且在沿短轴的每一侧提供辅传感 器104U和104D。主传感器103检测操作工具M对显示板101的接触操作，并且辅传感器 104R、104L、104U和104D检测操作工具M的接触操作，例如，为了滚动显示板101的⑶I显 示。下面，将描述分别为辅传感器104R、104L、104U和104D提供电源系统的情形。状态检测单元111包括陀螺仪并且检测信息处理设备100的取向。下面，信息处理 设备100的长轴和短轴的方向对于用户为竖直的情形将分别被称为竖直取向和水平方向。状态检测单元111检测信息处理设备100是竖直朝向还是水平朝向。控制单元117具体地控制用于检测对辅传感器104R、104L、104U和104D的接触操 作的检测模式。例如，在信息处理设备100是竖直朝向的情况下，控制单元117使能辅传感 器104R和104L的检测而禁用辅传感器104U和104D的检测，并且在信息处理设备100为 水平朝向的情况下，控制单元117禁用辅传感器104R和104L的检测而使能辅传感器104U 和104D的检测。具体地，控制单元117根据信息处理设备100的取向来使能对应于用户的 惯用手的辅传感器104R、104L、104U和104D。下面，将假设用户惯用右手的情况。图20和图21是示出接触检测模式的控制处理的流程图和示意图。控制单元117根据来自状态检测单元111的传感器输出确定信息处理设备100是 否为竖直朝向(S801)，并在肯定的确定结果的情况下(图21A)，控制单元117确定信息处 理设备100是否在预定时间内保持竖直朝向(S803)。然后，在肯定的确定结果的情况下，控 制单元117使能用户右侧的辅传感器104R并禁用其它辅传感器104L、104U和104D(S805)。另一方面，在信息处理设备100是水平朝向的情况下(例如，显示板101的顶部 朝向用户的左侧)，控制单元117确定信息处理设备100是否在预定时间内保持为水平朝 向(S807)。在肯定的确定结果的情况下(图21B)，控制单元117使能用户右侧的辅传感器 104D并禁用其它辅传感器104R、104L和104U(S809)。此外，图22和图23是示出应用激活的控制处理的流程图和示意图。控制单元117根据状态检测单元111的检测结果确定信息处理设备100是否是竖 直朝向(S901)，并在肯定的确定结果的情况下(图23A)，控制单元117确定操作工具M是 否与辅传感器104R接触(S903)。接下来，在肯定的确定结果的情况下，控制单元117确定 操作工具M是否在预定时间内保持与辅传感器104R接触(S905)。然后，在肯定的确定结果 的情况下，控制单元117激活数字图书阅读器(S907)。另一方面，在信息处理设备100是水平朝向的情况下(例如，显示板101的顶部朝 向用户的左侧)，控制单元117确定操作工具M是否与辅传感器104U和104D接触(S909)。 接着，在肯定的确定结果的情况下，控制单元117确定操作工具M是否在预定时间内保持与 辅传感器104U和104D接触(S911)。然后，在肯定的确定结果的情况下(图23B)，控制单 元激活游戏(S913)。此外，控制单元117在以下情况下不需要激活数字图书阅读器，例如信息处理设 备100是水平朝向的并且由试图保持信息处理设备100的用户使操作工具M与辅传感器 104R、104L、104U 和 104D 之一接触。这使得能够根据信息处理设备100的取向控制接触检测模式，从而在不受到接触 操作的辅传感器104中，可以省略与接触操作对应的检测处理和电源。[6.信息处理设备100的硬件配置]图24是示出信息处理设备100的硬件配置的示例的框图。信息处理设备100主要包括CPU 90UROM 903,RAM 905、主机总线907、桥909、外 部总线911、接口 913、输入设备915、输出设备917、存储设备919、驱动921、连接端口 923， 以及通信设备925。CPU 901作为运算处理设备和控制设备，并且至少部分地根据R0M903、RAM 905、 存储设备917或可移动存储介质927中储存的各种程序控制信息处理设备100的操作。在ROM 903中存储被CPU 901使用的程序、参数等。RAM 905中临时存储由CPU 101执行的程 序和在该程序执行时的参数等。CPU 10UR0M 903和RAM 905经由主机总线907互连。主 机总线907经由桥909连接到外部总线911。输入设备915是用户可操作的输入装置，诸如鼠标、键盘、显示板101、按钮或开 关。此外，对应于信息处理设备100的操作，输入设备915可以是，例如，使用诸如红外线的 电波的远程操作设备或诸如手提电话、PDA等的外部设备929。输入设备915包括，例如，输 入控制电路，其用于基于用户使用上述操作装置输入的操作信息生成输入信号，并将该信 号输出到CPU 901。在信息处理设备100的用户向信息处理设备100输入各种数据并提供 处理操作指令。输出设备917包括能够视觉地和听觉地通知用户所获得信息的设备，诸如包括 CRT显示器、液晶显示器、显示板101或灯的显示设备，包括扬声器或耳机的音频输出设备， 打印机，便携式电话或传真机。输出设备917输出信息处理设备100的处理结果。例如，显 示设备将信息处理设备100的处理结果显示为文字信息或图像信息，并且音频输出设备将 重放的音频数据、声学数据等的音频信号转换成模拟信号并将其输出。存储设备919是用于数据存储的设备，包括例如磁存储设备，诸如HDD、半导体存 储设备、光学存储设备或磁光存储设备。在存储设备919内存储由CPU 901执行的程序、各 种数据、从外部获得的各种数据等。驱动器921是用于记录介质的读取器/写入器，并且被内嵌入或者外附于信息处 理设备100。驱动921从附连的如磁盘、光磁盘、磁光盘或半导体存储器的可移动记录介质 927读取所记录的数据，并输出数据到RAM 905和写入将要记录的数据。连接端口 923是用于将外部设备929直接连接到信息处理设备100的端口，如USB 端口、SCSI端口、RS232C端口等。信息处理设备100经由连接端口 923从连接到连接端口 923的外部设备929获得数据并向其提供数据。通信设备925是通讯接口，包括，例如，用于连接到通信网络N的通信设备。通信 设备925例如是有线或无线LAN、WUSB通信卡、ADSL路由器、或通信调制解调器。通信设备 925例如按照预定协议执行与因特网或其它通信设备的信号等的传输和接收。连接到通信 设备925的通信网络N被有线或无线地连接的网络等配置。例如，通信网络N可以是因特 网、家庭LAN、红外数据通信、无线电波通信、卫星通信等。如上所述，已经描述了根据本发明的实施例的用于实现信息处理设备100的功能 的硬件配置的一个示例。此外，上述硬件的每个部件可使用一般用途的设备来配置或者可 使用专于每个部件的功能的设备来配置。[7.总结]如上所述，根据本发明实施例的信息处理设备100检测信息处理设备100的静止/ 非静止状态或取向，并控制用于检测操作工具M在信息处理设备100的操作的模式。由此， 根据信息处理设备100的静止/非静止状态或取向来控制用于检测操作工具M在信息处理 设备100上的操作的模式，从而能够根据用户的操作状态适当地控制检测模式。虽然本发明的优选实施例已在上文参照附图进行了描述，但本发明不限于此。本 领域技术人员应理解，可根据设计要求和其它因素在所附权利要求或其等价的范围内进行 各种修改、组合、子组合和替代。
本申请包含与2009年5月26日向日本专利局提交的日本优先专利申请 JP2009-126950所公开的主题相关的主题，在此通过引用将其全部内容结合于此。
权利要求
一种信息处理设备，包括操作工具检测单元，用于至少检测操作工具对所述信息处理设备的接触操作；状态检测单元，用于检测所述信息处理设备的静止/非静止状态或取向；以及模式控制单元，用于根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制检测所述操作工具对所述信息处理设备的操作的模式。
2.根据权利要求1所述的信息处理设备，其中，所述操作工具检测单元检测所述操作工具对所述信息处理设备的显示板的接触 操作和接近操作，其中，所述状态检测单元检测所述信息处理设备的所述静止/非静止状态，并且 其中，所述模式控制单元在检测到所述信息处理设备的静止状态的情况下使能用于检 测所述接近操作的接近检测模式，并且在未检测到所述信息处理设备的静止状态的情况下 禁用所述接近检测模式。
3.根据权利要求1所述的信息处理设备，其中，所述操作工具检测单元检测所述操作工具对所述信息处理设备的远程操作以及 所述操作工具对所述信息处理设备的显示板的所述接触操作和接近操作，其中，所述状态检测单元检测所述信息处理设备的静止/非静止状态，并且 其中，所述模式控制单元在检测到所述信息处理设备的静止状态的情况下使能用于检 测所述远程操作的远程检测模式并禁用用于检测所述接近操作的接近检测模式，并且在未 检测到所述信息处理设备的静止状态的情况下禁用用于检测所述远程操作的远程检测模 式并使能用于检测所述接近操作的接近检测模式。
4.根据权利要求1所述的信息处理设备，其中，所述操作工具检测单元检测所述操作工具对为所述信息处理设备提供的两个或 更多个接触检测单元的接触操作；其中，所述状态检测单元检测所述信息处理设备的取向，并且 其中，所述模式控制单元根据所述信息处理设备的取向使能用于检测对所述两个或更 多个接触检测单元之一的接触操作的第一接触检测模式或用于检测对所述两个或更多个 接触检测单元中的另一个的接触操作的第二接触检测模式。
5.一种信息处理方法，包括步骤检测信息处理设备的静止/非静止状态或取向；以及根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制用于检测操作 工具对所述信息处理设备的操作的模式。
6.一种用于使计算机执行信息处理方法的程序，所述信息处理方法包括步骤 检测信息处理设备的静止/非静止状态或取向；以及根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制用于检测操作 工具对所述信息处理设备的操作的模式。
全文摘要
提供一种信息处理设备，其包括操作工具检测单元，用于至少检测操作工具对信息处理设备的接触操作；状态检测单元，用于检测信息处理设备的静止/非静止状态或取向；以及模式控制单元，用于根据所述信息处理设备的被检测到的静止/非静止状态或取向来控制检测操作工具对信息处理设备的操作的模式。这使得能够根据信息处理设备的静止/非静止状态或取向来控制用于检测操作工具对信息处理设备的操作的模式，从而能够根据用户的操作状态适当地控制检测模式。
文档编号G06F3/041GK101901072SQ20101018266
公开日2010年12月1日 申请日期2010年5月19日 优先权日2009年5月26日
发明者宫崎丽子 申请人:索尼公司