输入装置的制作方法

专利名称：输入装置的制作方法
技术领域：
本发明涉及输入装置，特别涉及提高对电子设备给予指示的用户界面的易用性的输入装置。
背景技术：
现有技术中，对于TV和录像机这样的影像装置，或者PC等信息处理设备，用户一般通过遥控器进行频道操作、显示操作，通过键盘和鼠标或者触摸面板等输入设备进行命令输入和数据输入。此外，近年来，因为传感器技术的提高，特别是在游戏机和便携设备领域，使用了由传感器识别用户的动作，根据其结果判断用户的意图，使机器动作的方法。专利文献I公开了识别手指的形状、动作，判定操作的图像识别装置。
专利文献2公开了进行用于视觉表示作为用户操作的手势的识别对象的手势图像显示的界面装置。用户能够一边确认手势图像一边进行装置的操作。专利文献3公开了显示表示作为用户操作的手势的图标和进行的操作的车载设备。用户能够容易地知道要做的手势。专利文献4公开了显示表示方向盘(Steering)上的手的状态和操作对象设备的选择引导信息的车辆用操作输入装置。用户能够参照该引导，动手选择目标操作机器。专利文献I :日本专利第4318056号公报专利文献2 日本特开2008-52590号公报专利文献3 :日本特开2001-216069号公报专利文献4 :日本特开2005-250785号公报专利文献I的图像识别装置中，根据用户身体的位置生成操作面，用户通过相对于该操作面的手或手指的位置或者运动进行对装置的指示。上述操作面是虚拟的操作面，“操作者102根据标志101设想虚拟的操作面701伸出手601，与显示器111联动地以将画面上的一部分与操作面701当作触摸面板触摸的方式移动手601，由此能够容易地进行输入操作”(段落编号0033)。该专利文献I中，因为根据身体的位置确定操作面，所以存在以下问题点。(I)因为对虚拟的操作面进行操作，用户难以把握操作面的大小、操作面与操作的对应关系、或操作面与画面上的显示的对应关系。(2)因为在伸出手之前决定操作面位置，所以难以把握校准的时机。特别是存在多人的情况下，不能决定对于画面前的哪个人设定操作区域。此外，专利文献2至专利文献4中，各专利文献都公开了显示用于操作的动作和姿势，用户按照它们进行与规定的装置相关的动作。但是，用户为了操作而进行规定的动作或者摆出规定的姿势时，在做出规定的动作、规定的姿势之前，无意识地做出的其他动作或其他姿势可能会被识别为用于操作的动作，而执行用户不想要的装置的动作。S卩，各专利文献都没有考虑在用户进行用于操作的手势时，使用户直观地理解用户的动作与物理上的物体和画面显示如何对应、如何被识别为操作。此外，各专利文献的输入装置，都公开了为了检测输入而识别手等规定的形状。但是，识别手等的形状时，需要与参照的规定形状的模型比较、或规定形状的学习等处理，会导致输入装置进行的处理的负荷提高，并且识别处理会花费更多时间。

发明内容
因此，本发明考虑以上情况，解决上述课题，其目的在于提供一种非接触地进行输入操作的输入装置，其检测进行操作的物体距离传感器位置最 近的点(以下记作物体检测点)，根据与该物体检测点的位置的变化，实时地在画面上显示输入操作的操作状态，由此用户能够顺利地输入想要的操作。为了达成上述目的，本发明的输入装置具备检测操作输入装置的用户的手等进行操作的物体的各点的位置的位置检测单元；根据所述位置检测单元的检测结果，从所述位置检测单元检测物体检测点的位置的变化的位置变化检测单元；和影像显示单元，所述位置变化检测单元检测规定范围内的距离位置检测单元最近的点的位置的变化，所述影像显示单元根据上述位置变化检测单元的检测结果进行显示的变更。此处，上述影像显示单元根据上述位置转换检测单元的检测结果，改变与显示内表示的物体的大小、长度、深度、比例尺等量相关的显示和形状、显示的物体的位置。根据本发明，在非接触地进行输入操作的输入装置中，用户能够直观地把握操作而顺利地输入想要的操作，具有能够提高输入装置的易用性的效果。


图I是表示实施例I的输入装置的概要图。图2是表示实施例I的输入装置的结构的框图。图3是表示实施例I的输入装置的操作区域和用户的操作方法的概要图。图4是说明基于实施例I的输入装置的操作状态的显示的概要图。图5是说明实施例I的输入装置的动作的流程图。图6是表示实施例2的输入装置的操作区域和用户的操作方法的概要图。图7是说明基于实施例2的输入装置的操作状态的显示的概要图。图8是说明实施例2的输入装置的动作的流程图。图9是说明基于实施例2的输入装置的操作状态的显示的概要图。图10是表示实施例3的输入装置的概要图。图11是表示实施例3的输入装置的结构的框图。图12是表示实施例3的输入装置的操作区域和用户的操作方法的概要图。图13是说明实施例3的输入装置的动作的流程图。图14是表示实施例4的输入装置的操作区域和用户的操作方法的概要图。图15是说明实施例4的输入装置的动作的流程图。图16是表示实施例5的输入装置的概要图。图17是表示实施例5的输入装置的结构的框图。图18是说明实施例5的输入装置的动作的流程图。
图19是表示实施例5的输入装置的输入操作空间的概要图。图20是实施例5的输入装置的距离表。图21A是说明实施例6的输入装置的检测操作指针的方法的第一概要图。图21B是说明实施例6的输入装置的检测操作指针的方法的第二概要图。图22A是说明实施例7的输入装置的检测操作指针的方法的第一概要图。图22B是说明实施例7的输入装置的检测操作指针的方法的第二概要图。图22C是说明实施例7的输入装置的检测操作指针的方法的第三概要图。符号说明 100…输入装置,101…显不画面,102…传感部,103…用户，200…系统控制部,201…信号输出部，202…距离检测部，203…上下操作检测部，600…操作基准，1000…拍摄部，1100…形状检测部，1200…手的形状，1201…检测基准，1600…输入操作，1601…显示画面，1602···传感部，1603···用户，1700···系统控制部，1701···信号输出部，1702···操作指针抽出部，1703…输入操作检测部，1900…输入操作空间。
具体实施例方式以下说明本发明的各实施例。实施例I以下参照图I至图5说明本发明的第一实施例。本实施例的输入装置100是，通过传感器检测用户的手与输入装置100之间的距离，根据该距离给出对影像显示装置101的操作的指示的装置。首先，参照图I和图2说明第一实施例的输入装置的结构。图I是表示实施例I的输入装置100的概要图，通过影像显示装置101、传感部102、用户103表示用户103使用输入装置100时的动作环境的概要。影像显示装置101是基于来自影像显示装置101的外部的操作输入信号，对用户提示影像信息的装置，例如是具有LCD (Liquid Crystal Display :液晶显示器)、F1DP(Plasma Display Panel :等离子体显示面板)、液晶投影仪、激光投影仪、背投投影机等显示装置、影像内容和⑶I (Graphical User Interface :图形用户界面)等显示处理所需的运算处理装置和存储器的装置。传感部102是检测用户103的手与传感器之间的距离的构成部件，例如由红外线距离传感器、激光距离传感器、超声波距离传感器、距离图像传感器、电场传感器等传感器、进行数据处理的微型计算机(以下简称微机)、和在微机上运行的软件构成。传感部102所使用的传感器并不特别限定，只要具有将为了检测到用户的手为止距离而得到的信号转换为距离数据的功能即可。用户103是对输入装置100进行操作的用户。图2是表示实施例I的输入装置100的结构的框图。如图2所示，输入装置100具备传感部102、系统控制部200和信号输出部201。系统控制部200具有距离检测部202和上下操作检测部203。距离检测部202是，根据从传感部102得到的距离数据，进行检测的距离的抽出或分类的操作的构成部件。上下操作检测部203是，根据操作距离检测部202检测到的距离，检测用户103上下移动手的操作的构成部件。系统控制部200是，进行用于检测用户103的手与传感部102的距离，检测上下移动手的操作的数据处理的构成部件。系统控制部200可以通过CPU (Central ProcessingUnit :中央处理单元)执行存储器上存储的软件模块而实现，也可以由专用的硬件电路实现。信号输出部201是，从系统控制部200接收指示和数据，输出由影像显示装置101进行显示的影像信号的构成部件。接着，参照图3和图4说明第一实施例的输入装置100的操作方法。图3是表示实施例I的输入装置100的操作区域和用户的操作方法的概要图。如 图3所示，输入装置100基于从传感部102得到的用户的手与传感部102的距离，检测手位于上方向操作区域、起始位置、下方向操作区域这3个操作区域中的哪一个。上述操作区域是用于说明用户103的操作的检测方法的概念性的区域，与用户103放置手的位置相对应，存在于手的附近的空间中。图4是说明基于实施例I的输入装置的操作状态的显示的概要图。在图4中表示了，在影像显示装置101上进行图像的一览显示，根据用户103的操作，变更一览的图像的尺寸和显示数量的状况。第一实施例的输入装置100的操作情况如图4所示，用户103看着影像显示装置101同时用手操作，输入装置100检测该手到传感部102为止的距离，基于该检测结果变更影像显示装置101的显示。例如，如图4的“开始状态”所示，设定用户103的手位于图3的“起始位置”的位置。接着，如图4的“操作状态A”所示，用户103使手从图3的“起始位置”的位置移动到图3的“上方向操作区域”时，影像显示装置101上显示的图像的一览中，各个图像的尺寸变小，同时显示的图像的数量变多。另一方面，如图4的“操作状态B”所示，用户103的手从图3的“起始位置”的位置移动到图3的“下方向操作区域”时，影像显示装置101上显示的图像的一览中，各个图像的尺寸变大，同时显示的图像的数量变少。即，检测到用户103的手的位置，从图3的“起始位置”移动到图3的“上方向操作区域”或图3的“下方向操作区域”时，输入装置100对影像输出装置101给出与用户103的手的移动方向相应的指示，变更影像输出装置101的显不O图5是说明实施例I的输入装置100的动作的流程图。基于图5说明输入装置100的输入操作的检测处理的流程。输入操作的检测处理是图2所示的系统控制部200进行的处理。首先，系统控制部200根据规定的用户操作，开始手的位置的检测(步骤S500)，由距离检测部202根据从传感部102得到的距离数据，进行对检测的距离的抽出或分类的处理，检测手到传感部102为止的距离。检测到手的距离时(步骤S501 :是)，求出与检测到的距离对应的操作区域(步骤S502)。手所在的操作区域是起始位置的情况下(步骤S503 :是)，转移到如后所述的步骤S507。另一方面，手所在的操作区域不是起始位置的情况下(步骤S503 :否)，首先确认上次检测中手所在的操作区域是起始位置(步骤S504 :是)，由上下操作检测部203检测上方向或下方向的操作(步骤S505)。此时，在步骤S504中，上述检测到的操作区域不是起始位置的情况下(步骤S504 :否)，转移到如后所述的步骤S507。即，仅在手所在的操作区域从起始位置移动到其他操作区域的情况下，在步骤S505中检测操作，检测到上方向或下方向的操作时，通过信号输出部201，输出与检测到的操作对应的、用于对影像显示装置101指示操作的操作输入信号(步骤S506)。用户103以规定的操作表示操作结束的意图时(步骤S507:是)，结束处理(步骤S508),不是如此时(步骤S507 :否)，返回步骤S501，继续上述手的距离的检测。这样，输入装置100根据用户103对于输入装置100伸出手的距离的变化检测操作，对影像显示装置101给出操作指示。由此，用户103能 够根据物理装置与手的距离的关系直观地把握手的距离与操作的对应，用户103能够顺利地输入想要的操作。实施例2以下，参照图6至图9说明本发明的第二实施例。第一实施方式的输入装置100的显示控制方法，提供根据手所在的操作区域的变化执行操作的界面。在本实施例中，在第一实施例的操作方法之外，进一步提供根据手与输入装置100的相对距离的变化执行操作的界面。如图2所示，本实施方式的输入装置100由传感部102、系统控制部200、信号输出部201构成，这与第一实施例相同，仅系统控制部200由上下操作检测部检测操作不同。首先，参照图6和图7说明第二实施例的输入装置100的操作方法。图6是表示实施例2的输入装置100的操作区域和用户的操作方法的概要图。如图6所示，输入装置100基于从传感部102得到的用户的手的距离，对于用于测量反映操作的大小、量、长度等的操作基准600，检测手位于何处。上述操作基准600是用于说明用户103的操作的检测方法的概念性的基准，根据用户103手所放的位置，存在于手的附近的空间中。图7是说明基于实施例2的输入装置100的操作状态的显示的概要图，表示用户操作与操作结果的对应。图7中，表示在影像显示装置101上显示有地图，根据用户103的操作，变更地图的比例尺的状况。第二实施例的输入装置100的操作情况如图7所示，用户103看着影像显示装置101同时用手操作，输入装置100检测到从传感部102到该手为止的距离，基于该检测结果变更影像显示装置101的显示。例如，如图7的“操作状态I”所示，用户103的手位于操作基准600的上方附近的位置。接着，如图7的“操作状态2”所示，用户103使手移动到操作基准600的中间附近时，放大影像显示装置101上显示的地图的比例尺。进而，如图7的“操作状态3”所示，用户103使手移动到操作基准600的下方附近时，进一步放大影像显示装置101上显示的地图的比例尺。接着，参照图8说明第二实施例的输入装置100的输入操作的检测处理的流程。图8是说明实施例2的输入装置100的动作的流程图。输入操作的检测处理是图2所示的系统控制部200进行的处理。首先，系统控制部200根据规定的用户操作，开始手的位置的检测(步骤S800)，由距离检测部202根据从传感部102得到的距离数据，进行对检测的距离的抽出或分类的处理，检测手与传感部102的距离。检测到手的距离时(步骤S801 :是)，求出手相对于操作基准600的位置(步骤S802)。
接着，在信号输出部201中，根据相对于操作基准600检测到的手的相对位置，算出地图的比例尺，为了对影像显示装置101指示变更地图的比例尺的操作而输出操作输入信号(步骤S803)。用户103以规定的操作表示了操作结束的意图时(步骤S804 :是)，结束处理(步骤S805),不是如此时(步骤S804 :否)，返回步骤S801，继续上述手的距离的检测。这样，第二实施例的输入装置100根据用户103对输入装置100伸出手的距离的变化，检测手相对于操作基准600的位置，将以手相对于操作基准600的位置所示的大小和量、长度等，作为对影像显示装置101的操作进行指示。由此，用户103能够根据物理装置与手的距离的关系，直观地把握手的距离与大小、长度、深度、比例尺等量的对应，用户103能够顺利地输入想要的操作。此外，上述输入操作对于操作多层构成的菜单是有效的。图9是说明基于实施例2的输入装置的操作状态的显示的概要图。如图9所示，·在影像显示装置101上显示多层构成的菜单的情况下，通过对操作基准600划分层，如图中斜线所示，能够通过手的位置变更操作对象的层。由此，用户103根据物理装置与手的距离的关系，能够直观地把握手的距离与操作对象的层的对应，用户103能够顺利地输入想要的操作。实施例3以下，参照图10至图13说明本发明的第三实施例。第一实施例的输入装置100的显示控制方法，提供根据手与输入装置100的距离执行操作的界面。在本实施例中，在第一实施例的操作方法之外，进一步在检测手与输入装置100的距离时，根据手的形状决定检测距离的检测基准。图10是表示实施例3的输入装置100的概要图。图11是表示实施例3的输入装置100的结构的框图。如图10和图11所示，本实施方式的输入装置100具有系统控制部200和信号输出部201，与第一实施例相同，但将传感部102置换为拍摄部1000，且系统控制部200具有形状检测部1100不冋。因此，如图10所不，拍摄部1000为了明确地拍摄手指的形状，可以设置在与图I的传感部102不同的位置上。此外，也可以具备图I的传感部102和图10的拍摄部1000两者。拍摄部1000是用于拍摄用户的手的装置，例如可以使用具有TOF (Time offlight :时间飞跃)传感器功能的红外线摄像机、立体摄像机或RGB摄像机。拍摄部1000所使用的摄像机并不特别限定，为了对用户进行图像识别，只要具有用于将得到的图像转换为数字数据的拍摄图像的功能即可。形状检测部1100是根据从拍摄部1000得到的拍摄图像检测规定的手的形状的部分，例如使用模式匹配等图像分析方法。形状检测部1100所使用的图像分析方法并不特别限定，只要具有检测得到的拍摄图像中是否存在规定的手的形状、以及手的距离和位置的功能即可。首先，参照图12说明第三实施例的输入装置100的操作的检测方法。图12是表示实施例3的输入装置100的操作区域和用户的操作方法的概要图。如图12所示，输入装置100从由拍摄部1000得到的拍摄图像中，检测手的形状1200，以检测到手的形状1200时的输入装置100与用户103的手的距离作为检测基准1201。进而，输入装置100根据上述检测基准1201变更第一实施例中所示的操作区域的位置。变更操作区域之后的操作与第一实施例相同。接着，参照图13说明第三实施例的输入装置100的输入操作的检测处理的流程。图13是说明实施例3的输入装置100的动作的流程图，对于第一实施例中说明的图5的流程图，在步骤S501中检测到手的位置之后，到在步骤S502中求出操作区域为止之间，添加步骤S1300和步骤S1301。 输入操作的检测处理是图11所示的系统控制部200进行的处理。首先，系统控制部200根据规定的用户操作开始手的位置的检测(步骤S500)，由距离检测部202根据从拍摄部1000得到的拍摄图像检测手，经过对检测为操作的距离进行抽出或分类的处理，检测手的距离。检测到手的距离时(步骤S501 :是)，由形状检测部1100进行检测规定的手的形状1200的处理(步骤S1300)。规定的手的形状例如如图12的“起始位置”所示，预先规定为拇指和食指接触时的形状等即可。检测到规定的手的形状1200时(步骤1300 :是)，设定检测手的距离时的检测基准1201 (步骤S1301)，进行步骤S502之后的处理。另一方面，在没有检测到规定的手的形状1200的情况下(步骤S1300 :否)，不设定检测基准1201而进行步骤S502之后的处理。步骤S502之后的处理与第一实施例中说明的图5的流程图相同。S卩，图13与图6不同，具有能够检测用户103的手的形状并设定起始位置的特征。这样，第三实施例的输入装置100根据用户103对输入装置100伸出的手的形状设定检测基准1201。由此，用户103能够在想要的时刻变更手与操作区域的相对位置，用户103能够在任意的位置更可靠地输入操作。实施例4以下，参照图14至图15说明本发明的第四实施例。第三实施例的输入装置100的显示控制方法，能够通过根据手的形状设定检测基准1201，在想要的时刻变更第一实施例中说明的操作中的手与操作区域的相对位置。在本实施例中，在第三实施例的操作方法之外，进一步能够在想要的时刻变更第二实施例中说明的操作中的手与操作基准600的相对位置。如图10和图11所示，在本实施方式的输入装置100具有拍摄部1000、系统控制部200和信号输出部201，与第三实施例相同，但系统控制部200中进行的检测处理的流程不同。首先，参照图14说明第四实施例的输入装置100的操作的检测方法。图14是表示实施例4的输入装置100的操作区域和用户的操作方法的概要图。如图14所示，输入装置100从由拍摄部1000得到的拍摄图像中检测手的形状1200，以检测到手的形状1200时的输入装置100与用户103的手的距离作为检测基准1201。进而，输入装置100根据上述检测基准1201变更第二实施例所示的操作基准600的位置。此外，变更操作基准600之后的操作，仅在持续检测手的形状1200的情况下有效，操作有效的情况下的操作方法与第二实施例相同。接着，参照图15说明第四实施例的输入装置100的输入操作的检测处理的流程。
图15是说明实施例4的输入装置100的动作的流程图，是在第二实施例中说明的图8的流程图添加了步骤S1500至步骤S1502的流程图。输入操作的检测处理由图11所示的系统控制部200进行。首先，系统控制部200根据规定的用户操作开始手的位置的检测(步骤S800)，由距离检测部202根据从拍摄部1000得到的拍摄图像检测手，经过对检测为操作的距离进行抽出或分类的处理，检测手的距离。检测到手的距离时(步骤S801)，由形状检测部1100进行检测规定的手的形状1200的处理(步骤1500)。此时，没有检测到规定的手的形状的情况下(步骤1500 :否)，不前进到之后的处理，而是转移到步骤S804。即，仅在检测到规定的手的形状1200的情况下操作有效。另一方面，检测到规定的手的形状1200时(步骤1500 :是)，确认上次检测到手时 是否是规定的手的形状(步骤S1501)，上次检测到手时不是规定的手的形状的情况下(步骤S1501 :否)，设定检测到手的距离时的检测基准1201 (步骤S1502)，进行步骤S802之后的处理。此外，上次检测到手时是规定的手的形状的情况下(步骤1501 :是)，不重新设定检测基准1201，而是进行步骤S802之后的处理。步骤802之后的处理与第二实施例中说明的图8的流程图相同。这样，第四实施例的输入装置100根据用户103对输入装置100伸出手的形状设定检测基准1201。此外，仅在用户103以规定的手的形状伸出手的情况下操作有效。由此，用户103能够在想要的时刻变更手与操作基准的相对位置，并且能够通过手的形状仅在想要的时刻进行操作，所以用户103能够在任意位置上更加可靠地输入操作。以上，如第一实施例至第四实施例中说明，根据本发明的输入装置的输入方法，与专利文献I至专利文献4的现有技术不同，用户能够经由伸出手时被显示、进而根据手与输入装置之间的距离变化的画面上的显示，直观地把握对于输入装置能够进行的输入操作和操作状态，能够提高操作性。实施例5以下，参照图16至图20说明本发明的第五实施例。第一至第四实施例的输入装置100是识别用户的手，由传感器检测手与输入装置100之间的距离，根据该距离变更影像显示装置101的显示的装置。本实施例的输入装置1600是利用传感部1602的距离检测结果检测物体检测点，根据该物体检测点的位置变化(以下记作运动)变更影像显示装置1601的显示的装置。此处，物体检测点并不一定是物体，也可以是人的手或手指。此外，物体检测点可以将规定大小的物体整体、和人的手或手指的整体视为点。首先，参照图16和图17说明第五实施例的输入装置1600的结构。图16是表示实施例5的输入装置1600的概要图，由影像显示装置1601、传感部1602、用户1603表示用户1603使用输入装置1600时的动作环境。影像显示装置1601是与上述第一实施例的影像显示装置101相同的构成部件。传感部1602是测定传感部1602的前方的空间中存在的物体的距离的部分，例如由红外线距离传感器、激光距离传感器、超声波距离传感器、距离图像传感器、电场传感器等传感器、进行数据处理的微机、和在微机上运行的软件构成。传感部1602所使用的传感器并不特别限定，只要具有将为了检测到用户的手的距离而得到的信号转换为距离数据的功能即可。用户1603是对输入装置1600进行操作的用户。方向轴1604是与传感部1602的前方的空间对应的相互正交的X轴、Y轴和Z轴构成的表不方向的轴。此处，X轴表不传感部1602的横方向的轴，X轴位置的值以传感部1602的X轴为O (零)，表示左右方向的距离。Y轴表示传感部1602的纵方向的轴，Y轴位置的值以传感部1602的位置为O (零),表不上下方向的距离。Z轴表不传感部1602的进深方向的轴，Z轴位置的值以传感部1602的位置为O (零)，表示传感部1602的前方方向的距离。传感部1602进行距离测定的结果，例如由以下说明的、相对于X轴和Y轴的各位置的组合(以下记作XY坐标值)表示Z轴位置的值的表2000表示。由此，相对于传感部1602，位于前方空间的物体的各点的位置能够以X轴、Y轴和Z轴位置的值的组合(XYZ坐标值)表示。 图17是表示实施例5的输入装置1600的结构的框图。如图17所示，输入装置1600具有传感部1602、系统控制部1700和信号输出部1701。系统控制部1700具有实现操作指针抽出部1702和输入操作检测部1703的功能的部分。系统控制部1700是检测物体检测点，将该物体检测点作为操作指针，进行用于检测对输入装置1600的操作的数据处理的部分。系统控制部1701与上述第一实施例的系统控制部200同样，可以通过CPU执行存储器上存储的软件模块而实现，也可以由专用的硬件电路实现。信号输出部1701与上述第一实施例的信号输出部201同样,是从系统控制部1700接收指示和数据，输出在影像显示装置1601上进行显示的影像信号的部分。操作指针抽出部1702是根据上述传感部1602的输出结果，将物体检测点作为操作指针的部分。输入操作部检测部1703是根据上述操作指针的运动，进行对于输入装置1600的输入操作的检测的部分。此处，输入操作相当于第一实施例至第四实施例中记载的相对于输入装置1600的手的动作，指的是例如手接近或者远离输入装置1600的动作。图18是说明实施例5的输入装置1600的动作的流程图，说明用户输入操作的检测处理的流程。图19是表示实施例5的输入装置1600的输入操作空间的概要图，说明输入操作空间1900和用户1603操作时的状况。输入操作空间1900是检测位于传感部1602的前方的用户的输入操作的动作的三维空间。输入操作空间1900的大小，例如由X轴上的Xl到X2、Y轴上的Yl到Y2、Z轴上的Zl到Z2的各方向上的规定区间定义。位于用户的手的前端的物体检测点1901是用户的手距离传感部1602位置最近的点。图20是实施例5的输入装置1600的距离表，表示输入操作空间中传感部1602的输出结果。表2000表不相对于XY坐标值的各点的Z轴位置。接着，参照图18至图20说明第五实施例的输入装置1600的操作方法。例如，输入装置1600的电源接通时，输入装置1600开始检测输入操作(步骤51800)。开始检测输入操作时，输入装置1600生成图19所示的输入操作空间1900 (步骤
51801)。以下说明的步骤S1802至步骤S1806中进行的一系列处理，只要没有结束命令，就
重复循环进行。首先，检查是否存在用户进行的输入操作的检测的结束命令(步骤S1802)。如果没有结束命令，则前进到下一个步骤(步骤S1802 :否)。如果有结束命令，则结束输入操作的 检测处理(步骤S1802 :是)。作为给出检测结束的命令的方法，例如可以通过用户以规定的开关等断开电源、或通过超时处理等进行(步骤S1807)。接着，由传感部1602进行上述输入操作空间1900内的物体的距离测定(步骤S1803)。传感部1602将距离测定的结果输出为图20所示的距离表2000。接着，参照上述表2000，检查输入操作空间1900内是否存在物体(步骤S1804)。具体而言，参照表2000，检查是否存在Z轴位置为Zl以上Z2以下的点。如果不存在相应的点，则使处理步骤返回到步骤S1802 (步骤S1804:否)。如果存在相应的点，则前进到下一个步骤(步骤S1804 :是)。接着，输入装置1600的操作指针抽出部1702将上述物体检测点1901设定为操作指针(步骤S1805)。接着，利用步骤S1805中设定的操作指针的位置变化，检测对输入装置1600的输入操作(步骤S1806)。此处，图19中用户移动手时，作为操作指针的物体检测点1901的位置根据手的动作变化，所以输入操作检测部1703观察该物体检测点的运动，检测输入操作。此处，根据上述步骤S1806中检测到的用户的操作，与上述第一实施例至第四实施例同样，使影像显示装置1601上的显示变化。这样，本实施例的输入装置1600根据物体检测点的位置变化进行操作的输入。由此，即使不进行处理负荷高且耗费处理时间的识别手的形状的处理等，也能够实现低处理负荷的非接触的输入装置。其中，判定为距离上述物体检测点1901最近的距离测定的基准点也可以在传感部1602以外。例如，也能够根据影像显示装置1601的显示画面的中心点等输入装置1600和/或传感部1602的设置场所决定距离测定的基准点。即，即使距离测定的基准点在传感部1602以外，也能够得到本实施例的效果，进而能够进行基于输入装置1600和/或传感部1602的设置场所的适当的距离测定。距离测定的基准点的设定在其他实施例中也是同样的。实施例6以下，参照图21A和图21B说明本发明的第六实施例。上述第五实施例的输入装置1600是将物体检测点作为操作指针的位置，根据该操作指针的运动变更影像显示装置1601的显示的输入装置。本实施例的输入装置1600涉及具有与第五实施例的输入装置1600同样的结构，但抽出操作指针的方法不同的输入装置 1600。图21A和图21B是说明实施例6的输入装置的检测操作指针的方法的概要图，为了抽出本实施例的操作指针，表示物体检测点的Y轴位置上的、相对于X轴位置的Z轴位置。图21A的线2100参照图18的流程图所示的步骤S1802中生成的表2000，是表示物体检测点1901的Y轴的位置上的、相对于X轴的各位置的Z轴的距离的线。图21B的线2103是，表示物体检测点2104例如检测为用户1603的头或身体等大的物体的距离传感部1602位置最近的点的情况下，该物体检测点2104的Y轴位置上的、相对于X轴位置的Z轴位置的线。接着，说明本实施例中操作指针的抽出方法(图18的 步骤S1805)。首先，操作指针抽出部1702将图21A中的物体检测点1901作为操作指针的候选。接着，生成线2100上存在的物体检测点1901的周边点作为轮廓的二维形状2101。此处，在本实施例的输入装置1600中，如果满足上述形状2101的X轴的宽度2102在某个规定的条件宽度A以内、并且Z轴宽度2012在某个规定的条件宽度B以上这样的条件，则将物体检测点1901作为输入装置1600的操作指针，如果不满足该条件，则不将物体检测点1901视为操作指针。视为操作指针的物体的形状和大小因条件宽度A和条件宽度B的大小的决定方法而不同。例如，如图21A和21B所示，要将用户的手作为进行操作的物体的情况下，使条件宽度A和条件宽度B的大小与人手的大小相符。因此，对于图21A，设形状2101满足上述条件，点1901视为操作指针。此外，关于图21B，以点2104的周边生成的形状2105的X轴宽度2106比条件宽度A长，不满足上述条件，所以不将点2104视为操作指针。其中，以X轴的条件宽度和Z轴的条件宽度进行操作指针的判定，但也可以用于Y轴的条件宽度。这样，本实施例的输入装置1600在输入操作空间1900中，将距离传感部1602最近的点作为操作指针的候选，根据以该操作指针的周边的点生成的形状的大小、形状判定是否实际视为操作指针。由此，如果检测到距离传感部1602最近的点是存在例如用户的头、身体等比手的大小大的物体的点，则不将该点视为操作指针。即，与第五输入装置1600相比，本实施例的输入装置1600不会将用户不希望的物体误作为操作指针，能够更加正确地进行输入的检测。此外，本实施例中说明了直接将物体检测点1901作为操作指针使用的实施例，但也可以基于物体检测点1901而将其他点作为操作指针使用。例如，作为操作指针候选的物体检测点1901的周围的物体的大小或形状满足规定的大小或形状的条件时，计算该物体检测点1901的周围的物体的中心点的位置，将其作为操作指针，或者在物体检测点1901的周围的物体的形状被判别为人手的形状时，将手指的前端部分作为操作指针等，可以以其它方法计算操作指针。由此，能够以物体检测点1901为提示，考虑手指的伸出方向等而检测出更加自然的操作指针。该操作指针的设定在其他实施例中也是同样的。实施例7以下，参照图22A至图22C说明本发明的第七实施例。第五实施例和第六实施例的输入装置1600是将一个输入操作空间中的物体检测点作为操作指针，根据该操作指针的运动变更影像显示装置1601的显示的输入装置。本实施例的输入装置1600涉及生成多个输入操作空间，根据各个该输入操作空间改变操作指针的决定方法，检测用户的输入操作的输入装置1600。
图22A至图22C是，说明本实施例的检测多个输入操作空间中的用户的输入操作时的输入装置1600和用户的状况，以及在各状况下，为了抽出操作指针，Y轴的位置为距离传感部1602最近的点的Y轴位置上的、相对于X轴的各位置的Z轴距离的概要图。在上述步骤S1801中，本实施例的输入装置1600生成3个输入操作空间。第一输入操作空间2210是以Xl至X2的X轴区间、Yl至Y2的Y轴区间、Zl至Z2的Z轴区间设定的距离传感部1602最近的输入操作空间。第二数据操作空间2211是以Xl至X2的X轴区间、Yl至Y2的Y轴区间、Z2至Z3的Z轴区间设定的输入操作空间。第三输入操作空间2212是以Xl至X2的X轴区间、Yl至Y2的Y轴区间、Z3至Z4的Z轴区间设定的输入操作空间。即，在Z轴方向上，从距离传感部1602最近的顺序，生成第一输入操作空间2210、第二输入操作空间2011和第三输入操作空间2012。本实施例的输入装置1600与第五实施例同样，在抽出操作指针时，首先观察以物 体检测点的周边的点生成的形状的大小和形状，判定是否视为操作指针，根据物体检测点存在与哪个输入操作空间，使上述条件宽度A和条件宽度B为不同的值。例如，在第一操作空间2010中，用于视为操作指针的条件宽度是条件宽度Al和条件宽度BI。由此，如图22A所示，用户的手伸出到第一输入操作空间2110时，在手的前端的点生成的形状2201的X轴宽度2202在条件宽度Al的长度以内，并且形状2201的Z轴宽度2203在条件宽度BI的长度以上，所以用户的手的前端被视为操作指针。此时，输入装置1600将手的动作检测为操作。在第二操作空间2011中，用于视为操作指针的条件宽度是条件宽度A2和条件宽度B2。由此，如图22B所示，在用户站在第二输入操作空间2111的情况下，根据从物体检测点的周边生成的形状2204的X轴宽度2205在条件宽度A2的长度以内，并且形状2204的Z轴宽度2206在条件宽度B2的长度以上，所以该物体检测点被视为操作指针。在此情况下，输入装置1600能够识别用户在Z2和Z3之间。在第三操作空间2012中，用于视为操作指针的条件宽度是条件宽度A3和条件宽度B3。由此，如图22C所示，例如多个用户集合在第三输入操作空间2111的情况下，根据从物体检测点的周边生成的形状2207的X轴宽度2208在条件宽度A3的长度以内，并且形状2207的Z轴宽度2209在条件宽度B3的长度以上，所以该物体检测点被视为操作指针。在此情况下，输入装置1600能够识别一人以上的用户在Z3和Z4之间。本实施例的输入装置1600根据操作指针在第一输入操作空间2010、第二输入操作空间2011和第三输入操作空间2012中的哪一个中被检测，检测不同的输入操作。例如，操作指针在第三输入操作空间2012中被检测到的情况下，在影像显示装置1601上显示广告。操作指针在第二输入操作空间2011中被检测出的情况下，在影像显示装置1601上显示用于让用户进一步靠近的引导图像。操作指针在第一输入操作空间2010中被检测出的情况下，与上述第一实施例至第四实施例同样地，检测手的移动并使显示的画面变化。这样，本实施例的输入装置1600生成多个输入操作空间，在各个该输入操作空间中，以不同的方法检测用户的输入操作。由此，能够根据操作指针在哪一个输入操作空间中被检测到，对输入装置1600分配不同的操作。以上，如第五实施例至第七实施例的说明，根据本发明的输入方法，在用户伸出手等操作物体时，将该物体的最前端的点视为操作指针。用户移动该操作物体时，能够根据传感器观察到的手的前端的点的位置的变化，检测对于输入装置的操作。由此，即使不使用手的形状和人体模型，也能够实现低处理负荷的输 入检测 方法。
权利要求
1.一种输入装置，其特征在于，包括 检测物体的传感部； 系统控制部，其基于所述传感部的检测结果检测用户的操作；和 信号输出部，其基于所述系统控制部的处理输出影像信号， 所述系统控制部基于所述传感部检测出的物体中距离规定的基准点最近的物体的运动检测用户的操作。
2.如权利要求I所述的输入装置，其特征在于 所述系统控制部基于所述传感部检测出的物体中在规定的大小的范围内、并且距离规定的基准点最近的物体的运动检测用户的操作。
3.如权利要求I所述的输入装置，其特征在于 所述系统控制部基于所述传感部检测出的物体中在规定的形状的范围内、并且距离规定的基准点最近的物体的运动检测用户的操作。
4.如权利要求2所述的输入装置，其特征在于 所述系统控制部将所述传感部的检测空间分割为多个空间，并基于检测出物体的空间变更所述规定的大小的范围。
5.如权利要求3所述的输入装置，其特征在于 所述系统控制部将所述传感部的检测空间分割为多个空间，并基于检测出物体的空间变更所述规定的形状的范围。
6.一种具有用户界面的输入装置，该用户界面用于电子设备等装置的用户对该装置给出指示，该输入装置的特征在于，包括 位置检测部，其检测处于规定的检测空间中的用户身体的规定部位的位置； 系统控制部，其控制所述输入装置的动作，决定是否将所述规定部位的位置视为操作的基准点； 位置变化检测部，其在该系统控制部决定了将所述规定部位的位置视为操作的基准点的情况下，检测所述规定部位的位置的变化；和 显示部，其根据来自所述系统控制部的指示显示规定的图像， 所述系统控制部基于所述位置变化检测部中所述位置的变化的检测结果，变更所述显示部上显示的图像。
7.如权利要求6所述的输入装置，其特征在于 所述系统控制部根据所述位置检测部检测出的所述用户身体的规定部位与所述输入装置的距离，放大或缩小所述显示部上显示的图像。
8.如权利要求6所述的输入装置，其特征在于 所述系统控制部在决定是否将所述规定部位的位置视为操作的基准点时，根据所述用户身体的规定部位的形状进行决定。
9.一种具有用户界面的输入装置，该用户界面用于电子设备等装置的用户从该装置周边的规定的检测空间对该装置给出指示，该输入装置的特征在于，包括 检测物体大小的物体大小检测部； 系统控制部，其控制所述输入装置的动作，决定所述用户的操作的基准点； 位置变化检测部，其检测所述用户的位置相对于该系统控制部决定的所述基准点的变化；和 显示部，其根据来自所述系统控制部的指示显示规定的图像， 所述物体大小检测部检测所述检测空间中已决定的规定位置中距离所述输入装置最近的规定位置周边的物体的大小，在该物体的大小大于规定值的情况下， 所述系统控制部将所述最近的规定位置决定为操作的基准点，基于所述位置变化检测部中所述位置的变化的检测结果，变更所述显示部上显示的图像。
10.如权利要求9所述的输入装置，其特征在于 所述系统控制部将所述检测空间分割为多个空间，并按照分割后的每个检测空间，对所述物体大小检测部检测出的物体的大小设定不同值的所述规定值。
全文摘要
本发明提供一种非接触地执行输入操作的输入装置，使用户能够顺利地输入想要的操作。该输入装置具备检测操作输入装置的用户的手等操作物体的位置的位置检测部；根据所述位置检测部的检测结果，检测操作物体中距离位置检测部最近的点的位置的变化的位置变化检测部；和影像显示部，所述位置变化检测部检测规定范围内的距离位置检测部最近的点的位置的变化，所述影像显示部根据上述位置变化检测部的检测结果进行显示的变更。
文档编号G06F3/01GK102955568SQ201210280039
公开日2013年3月6日 申请日期2012年8月8日 优先权日2011年8月23日
发明者B·赛蒂亚万, 松原孝志, 松本和己, 德永龙也 申请人:日立民用电子株式会社