专利名称：输入装置的制作方法
技术领域：
本发明涉及输入装置。
技术背景
通过图形用户界面(以下称为⑶I)，在接受用户(操作者)的操作的同时对用户 给予操作结果的反馈的个人电脑和电视机得到普及。
在专利文献1中，公开了显示有用于辅助用户进行操作的操作向导信息的便携式 终端。用户根据该向导，能够通过上下左右移动手指来执行目标功能。
在专利文献2中，公开了进行手势图像显示的界面装置，该手势图像显示用于将 作为用户的操作的手势(gesture)的识别对象视觉地加以表示。用户能够边确认手势图像 边进行装置的操作。
在专利文献3中，公开了对表示作为用户的操作的手势的图标和能够进行的操作 加以显示的车载设备。用户能够易于知道要做的手势。
在专利文献4中，公开了对选择向导信息加以显示的车辆用操作输入装置，该选 择向导信息表示方向盘上的手的状态和操作对象设备。用户能够参照该向导来移动手，从 而选择目标的操作设备。
专利文献1 日本特开2007-213245号公报
专利文献2 日本特开2008-52590号公报
专利文献3 日本特开2001-216069号公报
专利文献4 日本特开2005-250785号公报
各专利文献均公开了 显示有用于进行操作的动作、姿势，用户依此执行与规定的 装置相关的动作。
但是，当用户为了进行操作而要做规定的动作或摆规定的姿势时，在做出规定的 动作、规定的姿势之前，偶然无意识地做出的其他动作、其他姿势可能会被识别为用于进行 操作的动作、姿势，从而会执行不想做的与装置相关的动作。
例如，当用户为了使所显示的内容向右方移动而想要将手向右方移动时，位于右 方的手返回左方的动作可能会被识别为用于使内容向左方移动的操作并被加以执行。
S卩，各专利文献均没有考虑到在用户进行用于操作的手势时，使用户直观地理解 用户的各个动作是否为被识别的状态。发明内容
对此，本发明在考虑上述状况的基础上，目的在于提供一种易用性良好的输入装 置，告知用户在操作时进行的动作被如何识别，使得不想做的操作不会发生。
为了达成上述目的，本发明的输入装置包括输入部，操作者的动作被作为图像信 号输入；动作检测部，根据输入到上述输入部的图像信号检测手的动作；显示部，显示图形 用户界面；和控制部，根据上述动作检测部检测到的手的动作，使上述显示部显示的上述图形用户界面加以变更，上述控制部，以与上述动作检测部检测到的手的动作同步的方式移 动指针，以显示与指针移动的量对应的动作量的方式变更上述图形用户界面。
根据本发明，例如，当用户要通过手势进行电视等装置的操作时，用户能够得知当 前自己进行的手势被如何识别，以只进行想要做出的操作的方式进行手势动作。
图1是表示实施例1的输入装置的概观图。
图2是表示实施例1的输入装置的结构的框图。
图3是表示实施例1的输入装置的GUI显示的一部分的概观图。
图4是表示实施例1的输入装置的动作的流程图。
图5是说明实施例2的用户操作与输入装置的动作间的对应的概观图
图6是表示实施例2的输入装置的GUI显示的一部分的概观图。
图7是表示实施例2的输入装置的GUI显示的一部分的概观图。
图8是表示实施例2的输入装置的GUI显示的一部分的概观图。
图9是说明实施例3的用户操作与输入装置的动作间的对应的概观图
图10是说明实施例3的输入装置的动作的流程图。
附图标记说明
100.…··输入装置
101.…··显示部
102.…··拍摄部
103.…··用户
104.…··指针
200.…··动作检测(移动检测)部
201.…··控制部
202.…··影像信号处理部
203.…··手位置检测部
204. …圆动作检测部
300.…··图标
500.…··选择项目
600.…··图标
800.…..线
900.…··指针
901.…··操作区域
902.…··圆操作指针具体实施方式
以下，说明应用本发明的各实施例。
[实施例1]
本实施例的输入装置100是能够根据拍摄用户而得的动态图像检测出用户的手的动作，并依据该动作变更GUI的显示的装置。
图1通过显示部101、拍摄部102、用户103、操作向导104表示用户使用输入装置 100时的动作环境的概观。
显示部101是输入装置100的显示装置，例如，由液晶显示器或等离子体显示器等 显示装置构成。显示部101由显示面板、面板控制电路和面板控制驱动器构成，将从后述的 影像信号处理部202供给的影像数据显示在该显示面板上。拍摄部102是用于对输入装置 100输入动态图像的装置，例如为照相机。用户103是对输入装置100进行操作的用户。指 针104是在显示部101上显示的⑶I，是用于对上述用户103表示上述输入装置100的操作 位置和操作状态的图形。
输入装置100，例如图2所示，包括显示部101、拍摄部102、动作检测(移动检测) 部200、控制部201、影像信号处理部202、手位置检测部203、圆动作检测部204。
动作检测(移动检测)部200从拍摄部102接收动态图像信号，根据接收到的动 态图像信号，在手位置检测部203检测人物的手的位置，在圆动作检测部204检测人物转动 手的动作。进而，按照检测到的动作输出与该动作对应的规定的指令。控制部201例如由 微处理器构成，根据从动作检测(移动检测)部200接收到的上述指令，控制影像信号处理 部202的动作。影像信号处理部202例如由ASIC、FPGA、MPU等处理装置构成。影像信号处 理部202根据控制部201的控制，将⑶I的影像数据变换为显示部101能够处理的形式加 以输出。
图3表示用户103操作本发明的输入装置100时的指针104的显示的变化。图 标300是表示用户103操作输入装置100时，在确定特定的操作之前的操作过程的状态的 图形。图3的“操作开始状态”的图表示用户103开始输入装置100的操作时的状态。本 实施例的输入装置100构成为，识别用户103转动手的动作，与转动手的动作对应地使指针 104的显示旋转。此外，与指针104的显示的旋转相应地，图标300的大小发生变化，通过图 标300的大小的变化来对用户显示在确定特定的操作之前的操作过程的状态。于是，当用 户103开始操作时，显示图3的“操作开始状态”的图，当用户103面向输入装置100进行 顺时针转动手的操作时，如图3的“操作开始状态”到“操作确定状态A”的变化所示，在指 针104旋转的同时图标300增大。另一方面，当用户103面向输入装置100进行逆时针转 动手的操作时，如图3的“操作开始状态”到“操作确定状态B”的变化所示，在指针104旋 转的同时图标300变小。像这样，在指针104和图标300成为图3的“操作确定状态A”和 “操作确定状态B”所示的状态之前，通过用户103继续转动手的操作，与“操作确定状态A” 和“操作确定状态B”对应的操作得以执行。
而后，使用图1至图3以及图4的流程图来说明输入装置100的动作。
输入装置100是能够根据拍摄用户103而得的动态图像信号检测用户103的手的 动作，并依据该动作变更GUI的显示的装置。
首先，对输入装置100检测用户103的手的动作并根据该动作显示⑶I之前的处 理的流程，参照图2进行说明。对于输入装置100，用户103通过未图示的电源按钮的按下 等，开始输入装置100的动作。控制部201对上述动作的开始做出响应，向影像信号处理部 202发出显示规定的影像的指示。影像信号处理部202对上述指示做出响应，输出与显示部 101的输入适合的影像信号。由此，在显示部101显示影像。
此外，控制部201对上述动作的开始做出响应，对拍摄部102指示开始动态图像的 拍摄。拍摄部102对上述指示做出响应，开始动态图像的拍摄，将拍摄到的动态图像的数据 输出到动作检测(移动检测)部200。动作检测(移动检测)部200使用从接收到的上述 动态图像的数据中提取特征点等方法，利用手位置检测部203检测出用户的手的位置，利 用圆动作检测部204检测出用户转动手的动作。进而，将与该手的位置和转动手的动作的 检测结果相应的指令输出到控制部201。控制部201根据该指令对影像信号处理部202指 示⑶I的显示和显示的变更。影像信号处理部202对上述指示做出响应，变更输出的影像 信号，由此变更显示部101上的⑶I的显示。
接着，使用图4和图5说明用户103操作输入装置100时的指针104和图标300的显示方法。
首先，用户103按照规定的顺序开始输入装置100的动作，输入装置100的动作检 测(移动检测)部200按照之前所述的顺序开始人物的手的动作(手势)的识别(步骤 400)。
接着，设用户103面向输入装置100伸出手(步骤401 是)。输入装置100识别 用户103的手的位置，与该手的位置相应地在显示部101显示指针104(步骤40 。此时， 若用户103放下手，则输入装置100消除指针104的显示(步骤401 否)。
接着，设用户103面向输入装置100进行转动手的动作(步骤403:是)。输入装 置100识别该转动手的动作，如图3所示，使指针104旋转，与指针104的旋转相应地使图 标300的大小变化(步骤404)。进而，当用户103通过继续进行转动手的动作来使指针104 旋转规定的角度(步骤405 是)，成为图3的“操作确定状态A”或“操作确定状态B”所 示的状态时，输入装置100执行与指针104的位置和旋转方向相应的操作(步骤406)。此 外，当指针104没有从操作开始状态旋转规定的角度时，重复上述步骤403至步骤405(步 骤405 否)。此时，指针104以与用户103转动手的动作同步的方式旋转，并且图标300的 大小也与指针104的旋转相应地变化。由此，能够对用户103直观地说明该瞬间处于怎样 的操作状态，继续操作至何种程度才能够使操作得以执行，应该以怎样的程度移动手才好。
另一方面，在上述步骤403，设用户103没有进行转动手的动作(步骤403 否)。 输入装置100识别未转动手的状态下的用户103的手的动作，例如，在用户的手向上下左右 的方向等与旋转的方向无关的方向移动的情况下(步骤407 是)，使指针104和图标300 的显示返回图3的“操作开始状态”。并且，根据用户103的手的位置移动显示部101的显 示区域内的指针104和图标300的位置。由此，当用户103接着进行转动手的动作，成为图 3的“操作确定状态A”和“操作确定状态B”所示的状态，执行操作时，与GUI内的指针104 和图标300的位置相应的操作得以执行。
其中，在上述步骤407中，在用户103的手未移动的情况下，返回上述步骤401，继 续之后的处理(步骤407 否)。此外，当步骤409之后，用户通过规定的操作指示停止手的 动作的识别时(步骤410)，输入装置100结束手的动作的识别。
像这样，输入装置100识别用户103移动手的动作，根据该动作使指针104和图标 300的显示发生变化，对用户103提示操作的状态。例如，当用户103对显示在显示部101上 的地图进行操作时，能够通过移动手来移动指针104和图标300，变更显示的地图的位置， 能够通过转动手来进行在顺时针转动时放大地图，在逆时针转动时缩小地图等操作。由此，用户能够与用户的每个动作对应地确认该瞬间处于怎样的操作状态、应该以怎样的程度移 动手才好、操作至何种程度才能够进行所希望的操作，所以用户能够对动作加以修正，以使 自己不想做出的操作不会进行，能够流畅地进行GUI的操作。
[实施例2]
接着说明实施例2。本实施例中，与实施例1的输入装置100不同，对于从多个选 择项目中选择任意项目的结构的GUI能够在输入装置100中进行操作的情况下的操作方法 和⑶I的显示方法进行说明。输入装置100的结构和操作方法与实施例1相同，⑶I的结 构和⑶I内的上述指针104的显示方法与实施例1不同。
以下，基于
本实施例。此外，以下说明中对于与之前的实施例相同的部分 标记相同的符号，省略其说明。
图5表示本实施例中用户103操作输入装置100时，用户103的手的动作与显示 在显示部101上的⑶I的动作的对应。选择项目500是显示在显示部101上的⑶I，采用从 配置在该GUI内的多个选择项目中选择任意的项目的结构。图5的“状态A”表示的是，该 ⑶I内的指针104的位置按照用户103的手的移动而发生变化，用户103能够通过指针104 来自由地指示⑶I内的任意的位置的状态。另一方面，图5的“状态B”表示在用户103预 先移动好的指针104的位置，用户103做出转动手的动作时，指针104与该转动手的动作一 致地旋转的状态。
接着，使用图6至图8说明本实施例的输入装置100中的指针104的显示方法。本 实施例的输入装置100能够使用与实施例1相同的方法识别用户103的手的动作。
图6表示使用与实施例1相同的方法显示指针104时的指针104和图标600的外 观的动作的一例。为了使用户103在上述GUI内指示任意的场所，图标600为箭头型的形 状。当用户103对输入装置100伸出手时，如图6的“操作开始状态”的图所示，显示指针 104和图标600。此外，当用户103如图5的“状态A”所示地移动指针104时，指针104和 图标600也成为图6的“操作开始状态”。
接着，如图5的“状态B”所示，在用户103做出转动手的动作的情况下，与实施例 1相同，指针104旋转，指针600的大小与该旋转相应地发生变化。图6的“操作开始状态” 到“操作确定状态A”的变化，表示用户顺时针转动手时，图标600的大小与指针104的旋转 相应地变小的状态。例如，当用户103顺时针地转动手，成为图6的“操作确定状态A”时， 执行在上述选择项目500中选择与指针104和图标600位于相同位置的项目的操作。另一 方面，图6的“操作开始状态”到“操作确定状态B”的变化，表示用户逆时针转动手时，图标 600的大小与指针104的旋转相应地变大的状态。例如，当用户103逆时针地转动手，成为 图6的“操作确定状态B”时，对上述GUI执行返回未图示的上一次显示状态等所谓的“返 回”或“取消”的操作。
图7表示使用与实施例1相同的方法显示指针104时，与图6不同的指针104的 外观的动作的一例。当用户103对输入装置100伸出手时，如图7的“操作开始状态”的图 所示，显示指针104。此外，当用户103如图5的“状态A”所示地移动指针104时，指针104 也成为图6的“操作开始状态”。
接着，如图5的“状态B”所示，在用户103做出转动手的动作的情况下，与实施例 1相同，指针104旋转。与此同时，指针104的大小与该旋转相应地发生变化。图7的“操7作开始状态”到“操作确定状态A”的变化，表示用户顺时针转动手时，指针104边旋转边变 小的状态。例如，当用户103顺时针转动手，成为图7的“操作确定状态A”时，执行在上述 选择项目500中选择与指针104位于相同位置的项目的操作。另一方面，图7的“操作开始 状态”到“操作确定状态B”的变化，表示用户逆时针转动手时，指针104边旋转边变大的状 态。例如，当用户103逆时针转动手，成为图7的“操作状态B”时，对上述GUI执行返回未 图示的上一次显示状态等所谓的“返回”和“取消”的操作。
图8表示使用与实施例1相同的方法显示指针104时的与图6不同的指针104和 线800的外观的动作的一例。线800是为了让用户103在上述⑶I内指示任意的场所，与 指针104的动作同步地在⑶I上描绘的图形。当用户103对输入装置100伸出手时，如图 8的“操作开始状态”的图所示，显示指针104。此外，当用户103如图5的“状态A”所示地 移动指针104时，指针104也成为图8的“操作开始状态”。
接着，如图5的“状态B”所示，在用户103做出转动手的动作的情况下，与实施例 1相同，指针104旋转，与该旋转相应地在指针104的周围描绘线800。图8的“操作开始状 态”到“操作确定状态”的变化，表示用户顺时针转动手时，与指针104的旋转相应地描绘线 800的状态。例如，当用户103顺时针地转动手，成为图8的“操作确定状态”时，执行在上 述选择项目500中选择与指针104和线800所描绘的圆位于相同位置的项目的操作。
像这样，输入装置100识别用户103移动手的动作，根据该动作使指针104和图标 以及线的显示发生变化，对用户103提示操作的状态。由此，用户能够与用户的每个动作对 应地确认该瞬间处于怎样的操作状态、应该以怎样的程度移动手才好、操作至何种程度才 能够进行所希望的操作，所以用户能够对动作加以修正，以使自己不想做出的操作不会进 行，能够流畅地进行GUI的操作。
[实施例3]
接着，说明实施例3。本实施例中，与实施例1和实施例2的输入装置100不同， 在显示部101显示的GUI中，能够进行特定操作的范围已被预先决定，在能够进行该特定操 作的范围的内侧和外侧切换操作方法和指针的显示方法，对于该GUI，说明能够在输入装置 100中进行操作的情况下的操作方法和⑶I的显示方法。输入装置100的结构与实施例1 相同，⑶I的结构和⑶I内上述指针104的显示方法与实施例1不同。
以下，基于
本实施例。此外，以下的说明中对与之前的实施例相同的部分 标记相同的符号，省略其说明。
图9表示本实施例中用户103操作输入装置100时的用户103的手的动作和显示 部101所显示的GUI的动作的对应。指针900是能够使用与实施例1相同的方法，根据用 户103的手的动作指示该GUI内的位置的指针。操作区域901是表示当指针900移动并位 于操作区域901的内侧时特定的操作变得有效的该GUI上的区域。例如，图9中，在显示部 101上显示地图，在该地图上的特定区域中显示能够进行放大地图的操作的⑶I。于是，当 指针900位于操作区域901的内侧时，能够进行放大地图的操作，当指针900位于操作区域 901的外侧时，不能进行放大地图的操作。圆操作指针902是当指针900因用户103的操作 而进入操作区域901的内侧时，代替指针900在该⑶I内显示的指针。
图9的“状态A”表示的是，该⑶I内的指针900的位置与用户103的手的移动相 应地发生变化，用户103能够用指针900自由地指示⑶I内的任意的位置的状态。此外，图9的“状态B”表示用户103使指针900向操作区域900所在的方向移动的状态。另外，图9 的“状态C”表示的是，因用户103将指针900移动到操作区域900的内侧而显示圆操作指 针902来代替指针900，通过用户103转动手的操作来操作圆操作指针902的状态。
接着，使用图9和图10说明用户103操作输入装置100时的指针900和圆操作指 针902的显示方法。
首先，用户103按照规定的顺序开始输入装置100的动作，输入装置100的动作检 测部200按照之前所述的顺序开始人物的手的动作(手势)的识别(步骤1000)。
接着设用户103面向输入装置100伸出手(步骤1001 是)。输入装置100识别 用户103的手的位置，与该手的位置相应地在显示部101显示指针900 (步骤100 。此时， 若用户103放下手，则输入装置100消除指针900的显示(步骤1001 否)。
接着设显示部101所显示的指针900的位置位于操作区域900的内侧(步骤1003 是)。输入装置100显示圆操作指针902来代替指针900。此外，与实施例1和实施例2相 同，与用户103的手的动作相应地使圆操作指针902旋转(步骤1004)。其中，与实施例1 和实施例2相同，在显示与圆操作指针的动作相关的图标时，输入装置100使该图标的大小 伴随圆操作指针的旋转而发生变化。
进而，当用户103通过继续进行转动手的动作来使圆操作指针902旋转规定的角 度的情况下(步骤1005 是)，输入装置100执行与圆操作指针902所在的操作区域900、 圆操作指针902的旋转方向相应的操作(步骤1006)。另外，在圆操作指针902没有从操作 开始状态旋转规定的角度的情况下，重复上述步骤1003至步骤1005(步骤1005 否)。此 时，圆操作指针902以与用户103转动手的动作同步的方式旋转。
另一方面，在上述步骤1003，设指针900位于操作区域901的外侧(步骤1003 否)。在某个操作区域901中显示有圆操作指针902时，输入装置100代替圆操作指针902 显示指针900 (步骤1007)，当用户103移动手时(步骤1008 是)，与用户103的手的位置 相应地移动指针900的位置(步骤1009)。其中，在上述步骤1008中，在用户103的手没有 移动的情况下，返回上述步骤1001，继续之后的处理(步骤1008 否)。此外，在步骤1009 之后，当用户通过规定的操作指示停止手的动作的识别时(步骤1010)，输入装置100结束 手的动作的识别。
像这样，输入装置100识别用户103移动手的动作，与该动作相应地使指针900移 动，进而按照显示部101的指针900的位置显示圆操作指针902来代替指针900，由此对用 户103在指示的位置提示有效的操作。例如，当用户103操作显示在显示部101的地图时， 通过移动手来移动指针900，根据指针900变化为圆操作指针902来在地图上确认能够放大 的场所，进而通过在显示圆操作指针902的场所做出转动手的动作，能够在顺时针转动时 进行放大地图等操作。由此，通过指针900和圆操作指针902的显示，用户能够与用户的每 个动作对应地确认该瞬间处于怎样的操作状态、进行怎样的操作才能使操作得以执行、应 该以怎样的程度移动手才好，所以用户能够对动作加以修正，以使自己不想做出的操作不 会进行，能够流畅地进行GUI的操作。9
权利要求
1.一种输入装置，其特征在于，包括输入部，操作者的动作被作为图像信号输入；动作检测部，根据输入到所述输入部的图像信号检测手的动作；显示部，显示图形用户界面；和控制部，根据所述动作检测部检测到的手的动作，对所述显示部显示的所述图形用户 界面进行变更，所述控制部，移动指针，使之与所述动作检测部检测到的手的动作同步，变更所述图形 用户界面，使之显示与指针移动的量对应的动作量。
2.如权利要求1所述的输入装置，其特征在于 所述动作检测部检测到的手的动作是转动手的动作； 与手的动作同步的指针的动作是使指针旋转的动作。
3.如权利要求1所述的输入装置，其特征在于 所述动作量是图标的放大量或者缩小量。
4.如权利要求1所述的输入装置，其特征在于 所述动作量是指针移动的轨迹。
5.如权利要求1所述的输入装置，其特征在于所述控制部，在所述动作量达到规定的量时，对所述图形用户界面进行变更，以执行规 定的操作。
6.如权利要求5所述的输入装置，其特征在于所述规定的操作的执行是对显示有指针的位置进行放大显示或缩小显示。
7.如权利要求5所述的输入装置，其特征在于所述规定的操作的执行是从多个选择项目中对显示有指针的任意的选择项目加以选择。
8.如权利要求1所述的输入装置，其特征在于所述控制部，移动指针，使之与所述动作检测部检测到的手的动作同步，在指针位于规 定的显示区域内时，变更所述图形用户界面，使之显示与指针移动的量对应的动作量。
全文摘要
本发明提供对于用户来说易用性良好的输入装置。本发明的输入装置的特征在于，包括输入部，被输入规定的动态图像信号；动作检测部，根据输入到该输入部的动态图像信号来进行动作检测；影像处理部，输出规定的影像信号；和控制部，该控制部控制上述影像信号处理部进行下述动作在通过该动作检测部检测到操作者旋转手的动作的情况下，与该旋转手的动作同步地利用上述影像信号处理部输出第一影像信号，该第一影像信号用于对操作者说明旋转动作的检测状况，与该第一影像信号同步地利用上述影像信号处理部输出第二影像信号，该第二影像信号用于对操作者说明确定规定的操作之前的该操作的进行状况。
文档编号G06F3/048GK102033703SQ20101050228
公开日2011年4月27日 申请日期2010年9月29日 优先权日2009年10月5日
发明者松原孝志, 黑泽雄一 申请人:日立民用电子株式会社