用户界面装置的制作方法

专利名称：用户界面装置的制作方法
技术领域：
本发明涉及一种能够用指尖执行用来操作机器的各个功能的用户界面 装置，具体涉及一种相应于手的动作将各个功能分配给指尖，以使操作者 能够直观地把握对于指尖的各个功能的分配的用户界面装置。
背景技术：
以往，作为用来使用多功能化的机器的界面，已有能够相应于手指的 操作位置(按下位置)而对指尖附加表示不同功能的图形用户界面按钮， 并执行所期的功能这样的技术(例如，参照专利文献l)。
然而，现有技术虽然是用手来执行用来操作机器的功能，却未相应于 手的动作来对指尖分配各个功能，因而操作者不能直观地把握对于指尖的 各个功能的分配。
专利文献1国际公开第2 0 0 6 / 1 0 4 1 3 2号小册

发明内容
故而，本发明是针对上述问题而进行的发明。S卩，本发明的目的在于 ，提供一种相应于手的动作来对指尖分配用来操作机器的各个功能，以使 操作者能直观地把握对于指尖的各个功能的分配的用户界面装置。
本发明针对用来操作机器的用户界面装置。本发明包括接触位置获 取单元，检测操作者接触操作面板的接触位置；手形状获取单元，获取操 作者的手形状；手形状方向获取单元，根据手形状获取单元所获取的手形 状来获取该手形状的方向；图形用户界面(GUI: Graphical User Interface) 按钮数据存储单元，存储图形用户界面按钮数据，该图形用户界面按钮数 据表示对用来操作机器的功能所唯一分配的图形用户界面按钮；图形用户 界面按钮分配单元，对手形状获取单元所获取的手形状的各个指尖暂时分 配了从图形用户界面按钮数据存储单元读出的图形用户界面按钮之后，根 据手形状的方向的变化，来对该手形状的各个指尖再次分配该图形用户界面按钮；重叠显示视频图像制作单元，制作图形用户界面按钮分配单元所 分配的图形用户界面按钮的图像与手形状的图像的合成图像；以及显示单 元，显示重叠显示视频图像制作单元所制作的合成图像。
此外，较佳的是，每当手形状方向获取单元所获取的手形状的方向所 示的角度相对于基准轴增大规定角度，图形用户界面按钮分配单元便按照 该手形状的各个指尖的排列来依次将尚未被分配的图形用户界面按钮重新 进行分配，其中，基准轴是操作面板中的垂直方向的基准轴。
此外，较佳的是，每当手形状方向获取单元所获取的手形状的方向所 示的角度相对于基准轴增大规定角度，图形用户界面按钮分配单元便按照 该手形状的各个指尖的排列来依次将尚未被分配的图形用户界面按钮重新 进行分配，其中，基准轴表示接触位置获取单元检测到操作者对操作面板 的接触时的手形状的方向。
此外，图形用户界面按钮分配单元，将表示5 O音的各行的任一文字 的图形用户界面按钮分配给各个指尖。
在此情况下，较佳的是，当5 0音的各行的任一个被选择，图形用户 界面按钮分配单元便将表示属于被选择了的行的文字的图形用户界面按钮 分配给各个指尖。
发明效果如上所述那样，根据本发明，能够提供相应于手的动作将 用来操作机器的各个功能分配给指尖，以使操作者能直观地把握对于指尖 的各个功能的分配的用户界面装置。


图1是表示本发明的实施方式所涉及的用户界面装置的概要构成的示 意图。
图2是表示将图1所示的用户界面装置1装载到车上的情况下的一例 的图。
图3是用于实现本发明的实施方式所涉及的用户界面装置的功能方框图。
图4是表示图3的显示装置6所显示的视频图像的一例的图。
图5是表示图3的用户界面装置的处理流程的流程图。
图6是表示图3的重叠显示视频图像制作单元3 6将有关导航装置操作的菜单的功能附加于各个手指，并在显示装置6上显示的一例的图。 图7是图3的手形状参数获取单元3 3的功能方框图。 图8是表示图5的步骤S 5 0 2的手形状参数获取处理的流程的流程图。
图9是用来说明图8的步骤S 8 0 4的手掌区域的获取方法的示意图。
图1 0是用来说明图8的步骤S 8 0 5的指尖位置的获取方法的示意图。
图1 1是用来说明图8的步骤S 8 0 6的手方向的获取方法的示意图。
图1 2是表示图5的步骤S 5 0 3的指尖功能选定处理的流程的流程图。
图1 3是表示在图1 2的指尖功能选定处理中，对指尖所分配的功能 根据手方向e而改变的状态的一例的示意图；(a)是表示e的符号为负时， 将有关导航装置操作的菜单的功能分配给指尖后的状态的示意图；(b )是 表示6的符号为正时，将有关AV操作的功能分配给指尖后的状态的示意 图。
图l 4是表示在图1 2的指尖功能选定处理中，输入5 0音时对指尖 所分配的文字根据手方向0而改变的状态的示意图；(a )是表示e的符号 为负时，将文字分配给指尖后的状态的示意图；(b )是表示9的符号为正 时，将文字分配给指尖后的状态的示意图。
图l 5是用来说明使用本发明的实施方式所涉及的用户界面装置，通 过5 0音输入将"L "的文字输入时的输入方法的示意图；(a )是用来说 明"$"行的输入方法的示意图；(b )是用来说明"L "的输入方法的示 意图。
图1 6是用来说明将平假名的排列分配给各个指尖的情况的图。 图1 7是用来说明将数字的排列分配给各个指尖的情况的示意图。 图1 8是用来说明将拉丁字母的排列分配给各个指尖的情况的示意图。
图1 9是用来说明将属相的排列分配给各个指尖的情况的示意图。 图2 0是用来说明将月份的排列分配给各个指尖的情况的示意图。
5图2 1是用来说明最初在操作面板上放置的操作者的手形状的初期位 置所表示的基准轴的示意图。
图2 2是表示用户界面装置的处理流程的流程图。
附图标记说明
1 用户界面装置
2 触感控制板
3 运算处理器
4 存储装置
5 摄像装置
6 显示装置
31 手形状获取单元 3 2 接触位置获取单元 3 3 手形状参数获取单元 3 4 指尖功能选定单元
3 5 图形用户界面图像制作单元(以下称为GU I图像制作单元)
3 6 重叠显示视频图像制作单元 1 0 1 投光灯
401、 903、 1101、 1301、 1311 手形状视频图像 1401、 1411、 1501、 1511、 1802 手形状视频 图像
1803、 1804、 1805、 1806、 1901 手形状视频 图像
2001、 2002、 2101、 2102 手形状视频图像
4 0 2 、 4 0 3图形用户界面按钮(以下称为GU I按钮) 1302 1306、 1312 1316 GUI按钮 1402 1406、 1412 1416 GUI按钮 1502 1506、 1512 1516 GUI按钮
7 0 1 手形状提取单元
7 0 2 手掌区域获取单元 7 0 3 指尖位置获取单元7 0 4 手方向获取单元
9 0 1 重心位置
9 0 2 、 9 0 4 以重心位置9 0 l为中心的同心圆
1 0 0 1 1 0 0 5 手指的区域图像
10 0 8 指尖位置
110 4 手方向e
1106、 1308、 1407、 1810 基准轴
2 0 10、 2110 基准轴
具体实施例方式
以下，参照图面对本发明的实施方式所涉及的用户界面装置进行说明。 在此，为了便于识别，将各附图中对于本发明的实施并非特别重要的构件 省略。
图1是表示本实施方式所涉及的用户界面装置的概要构成的示意图。 在图1中，用户界面装置1主要由触感控制板2、运算处理器3、存储装 置4、摄像装置5及显示装置6构成。图2是表示例如将图1的用户界面 装置1装载到车上的情况下的示意图。摄像装置5从下面对作为操作面板 的触感控制板2进行拍摄。从运算处理器3输出的视频图像被显示装置6 显示。
在本实施方式中，触感控制板2是一种操作者例如能够通过用5个手 指分别触摸来给运算处理器3提供指示，以使其执行规定的功能的输入装 置。可使用电阻式、静电容式、光学式等的触感控制板，操作者所接触到 的部分的位置坐标被送到运算处理器3 。
较为典型的是，运算处理器3至少包括处理器和各种存储器，并按照 诸如ROM之类的存储器中存储的计算机程序来动作。在此，图3是这种 运算处理器3的功能块的构成图。图3中，运算处理器3通过执行上述计 算机程序，来实现手形状获取单元3 1、接触位置获取单元3 2、手形状 参数获取单元3 3 、指尖功能选定单元3 4、 GUI图像制作单元3 5及 重叠显示视频图像制作单元3 6的功能。
存储装置4储存为了生成应在显示装置6上显示的GUI图像而需要
7的GUI按钮数据等。GUI按钮数据是诸如图标或者按钮那样的GUI 图像数据。
在本实施方式中，摄像装置5由红外线摄像机构成。摄像装置5被设 置为，具有能够覆盖设置有触感控制板2的操作面板的视角，并且在自身 的视角的范围内按预先决定的时间间隔进行拍摄，且将拍摄的视频图像输 出到运算处理器3。另外，在图1中，为了通过摄像装置5更容易地拍摄 手形状而设置了投光灯l 0 1。在摄像装置5为红外线摄像机的情况下， 投光灯101的光波长最好是适合于用红外线摄像机进行拍摄的波长。
显示装置6可由液晶、EL (Electro Luminescence:电致发光)、C RT (Cathode Ray Tube:阴极射线管)等显示器构成。图4表示显示装置 6所显示的视频图像的一例。显示着手形状视频图像4 0 1 、及GU I按 钮4 0 2 、 4 0 3 。当操作者用手指接触了感控制板2上的相当于GU I 按钮4 0 2 、 4 0 3的显示位置的位置时，对G U I按钮4 0 2 、 403 所分配的功能便被执行。相对于手的动作GU I按钮4 0 2的显示位置被 固定，但表示对手的各个指尖所分配的功能的GU I按钮4 0 3的显示位 置却是跟随指尖的动作而变化。此外，有关手形状视频图像的制作方法将 在后述。
回到图3 ，对运算处理器3的各个功能块进行说明。运算处理器3包 括:手形状获取单元3 1 ，获取摄像装置5所拍摄到的操作者的手的视频 图像；接触位置获取单元3 2，从触感控制板2来获取操作者接触到操作 面板上的位置坐标；手形状参数获取单元3 3，用于从在先获取到的在操 作面板上的手形状的视频图像来获取手形状的各种参数；指尖功能选定单 元3 4，用于选定对指尖附加的功能；GU I图像制作单元3 5，制作由 表示对指尖所附加的功能的GU I按钮、及背景图像所组成的GU I图像; 以及重叠显示视频图像制作单元3 6，将从手形状参数获取单元3 3获取 的手形状视频图像与在G UI图像制作单元3 5制作的G U I图像重合起
来作为一个图像来输出。
下面，用图5的流程图对本实施方式的用户界面装置的处理流程进行说明。
首先，操作者通过将手放置于操作面板来开始操作。在步骤S 5 0 1
8中，手形状获取单元3 l获取摄像装置5所拍摄到的操作面板上的操作者
的手形状的视频图像。
在步骤S 5 0 2中，手形状参数获取单元3 3提取由手形状获取单元
3 l获取的手形状的特征量(参数)。在此，作为参数来提取的是手掌的重 心位置、手掌的区域(手掌区域)、指尖的位置及手的方向(手方向)等。 在此提取到的参数被存储装置4储存，以在其后的处理中使用。其中，关 于步骤S 5 0 2的手形状参数获取处理将在后述中详细进行说明。
其次，在步骤S 5 0 3中，指尖功能选定单元3 4进行决定对各个手 指附加何种功能的处理。在此，关于对各个手指所分配的功能的具体选定 方法将在后述中详细进行说明。另外，指尖功能选定单元3 4与GU I按 钮分配单元相对应。
然后，在步骤S 5 0 4的重叠显示视频图像制作处理中，GU I图像 制作单元3 5从存储装置4中读出与在步骤S 5 0 3中对各个手指分配了 的功能所唯一对应的G U I按钮数据，以生成G U I按钮图像。
其次，重叠显示视频图像制作单元3 6制作将制成后的GU I按钮图 像附加于手形状视频图像之后的合成视频图像与在背景显示的GUI图像 相重叠后的视频图像，并将该视频图像显示于显示装置6。有关该步骤5 0 4的重叠显示视频图像制作处理，可以使用公知技术(例如，参照国际 公开第2 0 0 6 / 1 0 4 1 3 2号公报)，因而省略其详细说明。
图6表示对于手形状视频图像的各个手指附加了 G U I按钮后的视频 图像的一例。图6表示的是操作者将左手放置在操作面板上，有关导航装 置操作的菜单的功能被附加于各个手指，并被显示于显示装置6的例子。
回到图5，在步骤S 5 0 4中，当有关GUI图像的显示的处理一结 束，则在其后的步骤S 5 0 5中，根据来自接触位置获取单元3 2的信号， 判断操作者是否接触了操作面板。
在此，如果未判断为操作者接触了操作面板("不是")，则回到步骤S 5 0 1。而在步骤S 5 0 5中若判断为操作面板被压下("是")，则从接触 位置获取单元3 2获取被压下的位置(步骤S 5 0 6 )。然后，在步骤S 5 0 7中判断其位置是否是与显示装置6所显示的G U I按钮相对应的区 域。在步骤S 5 0 7中，如果判断为被压下的位置不是GU I按钮的位置 ("不是")，则回到步骤S 5 0 1，而如果判断为是GU I按钮的位置 ("是")，则进入步骤S 5 0 8，与被压下的位置的GU I按钮所唯一对应
的功能被执行，并结束一系列的处理。
下面，对图5的步骤S 5 0 2的手形状参数获取处理进行详细说明。 该手形状参数获取处理是在手形状参数获取单元3 3进行。图7表示手形 状参数获取单元3 3的功能方框图。手形状参数获取单元3 3包括手形 状提取单元7 0 1，从手形状获取单元3 1所获取的视频图像中只提取手 形状；手掌区域决定单元7 0 2，用于获取手掌的位置；指尖位置获取单 元7 0 3 ，获取指尖位置；以及手方向获取单元7 G 4，获取手的方向(手 方向)。
图8表示手形状参数获取处理的流程图。首先，在步骤S 8 0 l中， 手形状提取单元7 0 1对在步骤S 5 0 1中获取到的视频图像进行二值化 处理。
其次，在步骤S 8 0 2中，手形状提取单元7 0 1从在步骤S 8 0 1 中进行了二值化处理后的视频图像中除去噪音，以提取只有手形状的视频 图像。在此，噪音是指表示手形状的区域以外的范围。有关提取只有手形 状的视频图像的具体方法，可列举从二值化之后的视频图像中，将连接着 的一个区域中的最大的区域作为手形状来识别之类的方法。
其次，在步骤S 8 0 3中，手形状提取单元7 0 1将在步骤S 8 0 2 中提取到的只有手形状的视频图像保存于存储装置4。在步骤S 5 0 4的 重叠显示视频图像制作处理中进行重叠视频图像的制作时，将使用在此保 存了的手形状视频图像。
其次，在步骤S 8 0 4 S 8 0 6中，进行手掌的重心位置、手掌区 域、指尖位置及手的方向(手方向)等手的参数的获取。首先，在步骤S
8 0 4中，手掌区域决定单元7 0 2获取在步骤S 8 0 2中提取到的手形
状视频图像的重心位置、和从手形状视频图像中除去指尖的手掌区域。
图9是用来说明手掌区域的获取方法的示意图，手掌区域决定单元7 0 2根据在步骤S 8 0 2中提取到的手形状的视频图像来计算出重心位置
9 0 1。其后，以重心位置9 0 l为中心的圆9 0 2被描绘出，该圆的半
10径被渐渐扩大。
然后，当手形状视频图像9 0 3与上述圆相重叠的面积达到一定的阈 值以上时，停止扩大圆的半径。在此，是在圆9 0 4处停止扩大圆的半径。 此时的圆的区域与手形状视频图像9 0 3相重叠的部分的区域被当作手掌 区域。
进一步，将手掌区域从上述手形状视频图像9 0 3中切取出，以制作 图l O所示那样的只表示指尖的区域的视频图像。然后，手掌区域决定单 元7 0 2将所求出的重心位置9 0 l和手掌区域保存于存储装置4。另外， 将在其后的步骤S 8 0 5中使用的、只表示指尖的区域的图像也被保存于 存储装置4 。
下面，用图1 0对步骤S 8 0 5的指尖位置的获取处理进行说明。指 尖位置获取单元7 0 3对于各个手指的区域图像1 0 0 1 1 0 0 5 ,通 过椭圆拟合处理来求出椭圆l 0 0 6。然后，指尖位置获取单元7 0 3求 出所求出的椭圆的长径1 0 0 7，并将长径1 0 0 7与椭圆1 0 0 6的轮 廓相交之处、且位于与手掌区域相反侧的位置作为指尖位置1 0 0 8来获 取。，对于所有的手指区域获取了指尖位置1 0 0 8之后，指尖位置获取单 元7 0 3将获取到的指尖位置1 0 0 8保存于存储装置4。在此，根据手
指的长度、粗细度、排列等来判断是右手还是左手，并求出各个手指的种 类(拇指、食指、中指、无名指、小指)，然后将上述信息与指尖位置1 0
0 8的信息相对应地一同存入存储装置4 。
下面，用图1 1来说明步骤S 8 0 6的手方向的获取处理。手方向获 取单元7 0 4对于通过步骤S 8 0 2而获取到的手形状视频图像1 1 0 1，计算出外接的长方形110 2。在此，将长方形1102的长边方向
1 1 0 3作为手方向来获取，将与操作面板l 1 0 5的垂直方向(Y轴) 之间的角度l 1 0 4作为手方向e来获取。在此，将从Y轴按顺时针方向 旋转的方向作为e的正方向。然后，手方向获取单元7 0 4将获取到的手 方向e保存于存储装置4。另外，垂直方向是指，在操作者所操作的操作
面板上所设定的二维正交坐标系中，操作者视为纵方向(一般设定为Y轴) 方向。
通过上述步骤S 8 0 4 S 8 0 6获取了有关手形状的各种参数之后，便结束图8的手形状参数获取处理。
下面，用图1 2的流程图来说明图5的步骤S 5 0 3的指尖功能选定 处理。该指尖功能选定处理是在指尖功能选定单元3 4进行。
首先，在步骤S 1 2 0 l中，指尖功能选定单元3 4对在图8的步骤 S 8 0 5中求出的指尖位置分配初始功能。在此，初始功能是指用来操作 机器的各种指令、进行5 0音输入/拉丁字母输入等时的文字等中的一部 分，对于哪个手指起初分配哪种功能作为信息被预先设定并储存于存储装 置4。在该初始功能的分配中使用在步骤S 8 0 5中求出的、哪个指尖位
置是哪种手指这一被确定了的信息。
接着，在步骤S 1 2 0 2中，指尖功能选定单元3 4判断是否在由步 骤S 8 0 4获取到的手掌区域压下了操作面板。此时，作为判断是否在手 掌区域压下的判断方法，首先，将在图8的步骤S 8 0 4的手掌区域获取 处理中获取到的手掌区域的范围设定为符合判段区域。
接着，由接触位置获取单元3 2获取到的接触位置存在于符合判断区 域的范围内时，判断为操作面板是在手掌区域被压下。在步骤S 12 0 2 中判断为操作面板是在手掌区域被压下时("是")，进入步骤S 1 2 0 3的 处理，而判断为没有在手掌区域压下时("不是")，则结束处理。
接着，在步骤S 1 2 0 3中，读出在图8的步骤S 8 0 6中保存于存 储装置4的手方向e。然后，在步骤S 1 2 0 4中，指尖功能选定单元3 4改变对指尖已分配了的功能。正因为有该步骤S 1 2 0 2的判断处理， 所以只有在操作者将手掌放置于操作面板上时，才能改变对各个指尖已分 配了的功能。也就是说，只要操作者不将手掌放置在操作面板上，即使手 的朝向改变，也不会出现无意中使已被分配的功能改变的情况。
在此，用图1 3来说明指尖的功能被改变的状态。图1 3 ( a )、 ( b ) 是将GUI按钮重叠到手形状视频图像上，使显示装置6显示的图。在图 13 ( a )中，表示有关导航装置操作的菜单的功能的G U I按钮1 3 0 2 1 3 0 6作为各个手指的初始功能，被附加于手形状视频图像l 3 0
l的各个指尖。在此，手方向e的符号为负。对小指分配的是用来设定目 的地的GU I按钮l 3 0 2;对无名指分配的是用来将现在位置显示在地 图上的GU I按钮l 3 0 3;对中指分配的是用来设定经由地的GU I按钮1 3 Q 4 ，对食指分配的是用来设定路径的G U I按钮1 3 0 5 ;对拇 指分配的是用来返回前面的状态的GU I按钮l 3 0 6 。
其后，当操作者改变手的方向，使手方向e的符号变为正，则如图l
3(b)所示那样，对于手形状视频图像1311的各个指尖所设定的G U I按钮变成表示有关A V (Audio Visual:视听)操作的功能的GU I 按钮1 3 1 2 1 3 1 6 。
对小指分配的是用来返回一曲的GU I按钮l 3 12;对无名指分配 的是用来倒带的GU I按钮l 3 1 3;对中指分配的是用来播放曲子的G U I按钮1 3 0 4 ;对食指分配的是用来快进的GU I按钮1 3 1 5 ;对 拇指分配的是用来快进一曲的GU I按钮l 3 0 6 。此外，在此进行变更 的菜单项目，也可以由操作者来设定。
回到图1 2，在步骤S 1 2 0 5中，指尖功能选定单元3 4与步骤1 2 0 2的判断一样，判断是否处于手掌压下操作面板的状态。如果判断为 处于压下状态("是")则进入步骤S 12 0 6，如果判断为手掌离开了操 作面板而不处于压下状态("不是")，则结束指尖功能选定处理。
在歩骤S 1 2 0 6中，与图8的步骤S 8 0 6 —样，检测手方向0 , 然后回到步骤S 1 2 0 4，改变对各个指尖已分配了的功能。该步骤S 1 2 0 5的判断处理是为了实现以下功能，g口，操作者只要在将手掌放置于 操作面板上的状态下改变手的方向，便能改变对各个指尖已分配了的功能。
此外，对于指尖附加的功能不限于导航装置的功能和AV的功能，例 如也可以如图l 4所示那样，附加表示5 O音的输入功能的GUI按钮。
在图l 4中，当手方向6为负时，如图1 4(a)所示那样，表示"6"、 "力'"、"、 "f、"《"的gu i按钮l 4 0 2 1 4 0 6按小指到拇
指顺序分别被附加于各个指尖，而当手方向6为正时，如图l 4 (b)所 示那样，表示"i"、"主，，、"々"、"6"、"朽"的gui按钮1 4 1 2 1416按小指到拇指的顺序分别被附加于各个指尖。
作为5 0音的输入方法，在用手掌压下了操作面板的状态下，压下对 于各个手指所附加的按钮，则其"行"的文字可被输入。如此，包括手方 向e的符号在内，将"6" "朽"的所有的行分配给各个手指，便可实 现5 0音输入。例如，若想要输入"L "的文字，则首先如图15(a)所示那样，在用手掌压下的状态下，用分配了表示"$行"的输入的GU I按钮l 5 0 4的中指压下操作面板。其后，手掌离开操作面板，则如图 15(b)所示那样，表示"$行"的各个文字"$ "、 " L "、"十"、"廿"、 "子"的G U I按钮1 5 1 2 1 5 1 6按小指到拇指的顺序被附加于指 尖。在此，由于5 0音的各行为5个文字，所以可以自动附加于5个手指。 其后，通过用被附加了表示所期的的GU I按钮l 5 1 3的无名指 来压下操作面板，即可输入"^"。
如此，通过以最初的动作来选择行，并将其后被选择的行的5个文字 附加于各个手指，用任一手指压下操作面板来输入文字，即便是在振动的 环境下也能够进行稳定的文字输入。另外，在图l 5 (b)中，手掌离开 了操作面板，指尖功能选定处理结束了，所以即使在输入各个文字时使手 的角度变化，对指尖附加的文字也不会改变。而再次输入其他文字时，需 要用手掌压下操作面板来改变对各个指尖所分配的功能。
如上所述那样，本实施方式的用户界面装置，只需改变手的方向，便 可以不增大操作面板尺寸，而容易地改变对于指尖所分配的功能，因而即 使在振动环境下也能够进行稳定的输入操作。
此外，在应用于5 O音输入的情况下，对一只手所分配的文字为5个， 因而能够容易地改变对指尖分配的文字，从而具有能够轻松地迸行输入作 业的效果。
此外，在上述实施方式中，手形状获取单元3 l是获取来自摄像装置 5的手形状的拍摄视频图像，但只要是能够获取操作者的手的轮廓，除了 红外线摄像机以外，也可以用一般的方法来获取操作者的手形状。例如， 可以通过使用静电容式等的触感控制板来获取近接过来的手的轮廓。在此 情况下，可以利用公知技术(例如，参照国际公开第2 0 0 6 / 0 2 7 9 2 4号公报)。此外，手形状获取单元3 l也可以被构成为，根据手掌的重 心位置、手掌区域、指尖位置及手的方向(手方向)等手的参数来推算手 的模型，并从模型存储单元获取所推算的模型。
在此，如果手形状获取单元3 1通过触感控制板2来获取手形状的话, 则不需要摄像装置5，也能够同时检测手接触到操作面板的接触位置。并 且，在此情况下，由于能够获取已进行了二值化处理之后的表示手形状的信号，所以不需要图8的步骤S 8 0 l的二值化处理。
此外，在以上的实施方式中，所获取的视频图像最好是，用红外线摄 像机能够不受来自车外的入射光的影响而获取手形状的视频图像的近红外 线区域中的视频图像，但在此之外的波长区域也可以。
作为上述那样将输入平假名的功能附加于指尖的效果，如图l 6的平 假名1 6 0 1所示那样，出于用户的经验，会想到"6 * $ ^ 4 "的排列 之后接踵而来的将是"±法々6朽"，因而通过改变手的倾斜来将用于输入 其后的"i t々^朽"的功能附加于指尖，对于操作者来说是直观易懂的。
此外，除了平假名的排列之外，在图l 7所示那样的数字排列的情况 下，操作者也可以通过改变手的倾斜，来容易地想起下面将要对指尖分配 的数字。
此外，在本实施方式中，由于是将手的倾斜作为改变对于指尖所附加 的功能的触发手段，所以相应于手的倾斜角度，不仅可以进行二个阶段的 功能的变更，还能够附加更多的功能。
作为较多的功能变更的一例，可以考虑改变图l 8所示的拉丁字母1 8 0 l的分配的情况。通常，用户根据经验，容易如图l 8的拉丁字母1 8 0 l所示那样想到拉丁字母的排列。
当手的角度为相对操作面板的垂直方向的基准轴成角度e l时，如手 形状视频图像1 8 0 2所示那样，输入"a"至"e"的拉丁字母的功能
按顺序被配置给各个手指。另外，从角度e i变为角度e 2的过程中，手
形状视频图像l 8 0 2的配置直接被显示出，而当角度大于e 2，则如下 一个手形状视频图像l 9 0 3所示那样，变化为"f"至"j"的排列。在
此之后，以e 3、 0 4、 e 5为阈值，各个功能的排列进行变化。其中，
在此作为阈值的角度也可以由操作者来进行变更。
如此，也可以构成为每当手形状的方向所示的角度从显示单元的画
面的左右中央相对铅直方向的基准轴增大规定角度，则根据该手形状的各
个指尖的排列，来依次将尚未被分配的GUI按钮重新进行分配。
此外，如图l 8中出现过那样，如果要附加所有的拉丁字母的话，可以预见到"Z"这一文字无法附加到手指的情况。此时，也可以如手形状
视频图像1 8 0 6所示那样，只将"z "作为手掌部分的按钮来显示，通 过将手掌压下的动作来输入"z"的文字。
此外，作为所有菜单的数目为l 2的情况下的例子，可以考虑显示如 图l 9所示那样的属相或星座的例子。如图l 9所示那样，属相的场合， 如手形状视频图像l 9 0 l所示那样，在排列的第1阶段时就给手掌上附 加功能，加上向左倾斜时和向右倾斜时，共能实现l 2个功能的附加。
此外，在本实施方式中，是在角度在某个阈值之上或之下时改变所有 的指尖的功能，但是，也可以考虑不同时改变所有的手指的功能，而是相 应于手的角度来按序所改变指尖的功能的方案。作为一个例子，用图2 0 来进行说明。
图2 0表示，将输入"月份"的名称的功能附加于各个手指，只要将 操作面板压下去便可以进行输入的操作。其中，在图2 O中实际上在显示 单元上显示的只是用实线表示的GU I元件，而用虚线表示的GU I元件 是用来表示用户有可能预想到的GUI元件的排列的图。
首先，如手形状视频图像2 0 0 l所示那样，角度为Y l时，附加l 月至4月为止的月份。其后，如手形状视频图像2 0 0 2所示那样，当角 度变为Y 2时，附加于各个手指的所有功能相继各移动一个之后被显示出。 手形状视频图像2 0 0 2的显示表示提高了一个阶段的显示。在手形状视 频图像2 0 0 2中，当表示1月的GU I元件从显示单元上消失，取代之， 表示5月的GU I元件被附加于食指。另外，其他的GUI元件如图所示 那样，相继各移动一个后被显示出。
另外，作为获取手的倾斜的方法，除了前述的将基准轴固定于操作面 板中的垂直方向的方法之外，还可以考虑计算相对于操作者最初在操作面 板上放置的手的方向的相^t角度的方法。即，也可以构成为将接触位置 获取单元3 2最初检测到操作者对操作面板的接触时的手形状的方向作为 新的基准轴，每当手形状的方向所示的角度相对该基准轴增大规定角度， 则根据该手形状的各个指尖的排列，依次将尚未被分配的GU I按钮重新分配。如此，由于操作者自然地将手放置在操作面板上时的手形状的方向 被当成基准轴，所以操作者没有必要在意操作面板中的垂直方向是基准轴 的情况，从而能够提高操作性能。
在此情况下，如图2 l所示那样，手形状视频图像2 1 0 l的虚线所 示的手形状作为最初放置的操作者的手形状的初始位置被注册，而手形状 视频图像2 1 0 2的实线所示的手形状表示现状的手的位置。在此情况下， 可以釆用图中所示的角度e来作为手的倾斜参数。用图2 2来说明具体的 处理流程。
首先，在S 2 2 0 l中，判断操作者的手是否在操作面板上。当判断 出操作者的手放在了操作面板上时，计算手的角度(S 2 2 0 2 )。其次， 在S 2 2 0 3中，将在S 2 2 0 2中计算出的角度(初始角度)保存于运 算处理单元3中的存储器区域。
其次，在S 2 2 0 4判断是否放置着手。在此，如果判断出手已离开，
则不进行以下处理而结束处理。
在其后的S 2 2 0 5中，进行现状的手的角度计算。在S 2 2 0 6中， 判断相对于在S 2 2 0 2中计算出的初始角度，现状的手的角度是否在预 先决定的阈值以上，如果判断出是在阈值以上(在S 2 2 0 6中为"是")， 则改变对于各个手指所进行的GU I元件的分配。在S 2 2 0 6中，如果 是在阈值以下则回到S 2 2 0 4 。
如以上说明过那样，根据本发明能够提供一种相应于手的动作来将各 个功能分配给指尖，从而使操作者能够直观地把握对于指尖的各个功能的 分配的用户界面装置。
另外，在上述实施方式中，是将GUI按钮数据、手形状视频图像、 手形状的特征量(参数)等储存于存储装置4 ,但也可以储存于运算处理器 3的内部所配备的存储器。
另外，将操作面板中的垂直方向作为用于检测手形状的方向的基准轴， 但是也可以将显示单元的画面中的垂直方向作为基准轴。
在上述的实施方式中说明的构成只不过用于说明具体例子，而不是用
17来限制本申请的发明的技术范围。在能够发挥本申请的效果的范围内，可 以采用任意的构成。
工业实用性
本发明所涉及的用户界面装置，能够容易地改变附加于指尖的、用来 操作机器的功能，除了车载设备之外，还适合于追求良好的使用方便性的 计算机关联产品等。
权利要求
1.一种用来操作机器的用户界面装置，包括接触位置获取单元，检测操作者接触操作面板的接触位置；手形状获取单元，获取操作者的手形状；手形状方向获取单元，根据所述手形状获取单元所获取的手形状来获取该手形状的方向；图形用户界面按钮数据存储单元，存储图形用户界面按钮数据，该图形用户界面按钮数据表示对用来操作所述机器的功能所唯一分配的图形用户界面按钮；图形用户界面按钮分配单元，对所述手形状获取单元所获取的手形状的各个指尖暂时分配了从图形用户界面按钮数据存储单元读出的图形用户界面按钮之后，根据所述手形状的方向的变化，来对该手形状的各个指尖再次分配该图形用户界面按钮；重叠显示视频图像制作单元，制作所述图形用户界面按钮分配单元所分配的图形用户界面按钮的图像与手形状的图像的合成图像；以及显示单元，显示所述重叠显示视频图像制作单元所制作的合成图像。
2. 如权利要求l所述的用户界面装置，其特征在于每当所述手形状 方向获取单元所获取的手形状的方向所示的角度相对于基准轴增大规定角 度，所述图形用户界面按钮分配单元便按照该手形状的各个指尖的排列来 依次将尚未被分配的图形用户界面按钮重新进行分配，其中，基准轴是所 述操作面板中的垂直方向的基准轴。
3. 如权利要求l所述的用户界面装置，其特征在于每当所述手形状 方向获取单元所获取的手形状的方向所示的角度相对于基准轴增大规定角 度，所述图形用户界面按钮分配单元便按照该手形状的各个指尖的排列来 依次将尚未被分配的图形用户界面按钮重新进行分配，其中，所述基准轴 表示所述接触位置获取单元检测到操作者对操作面板的接触时的所述手形 状的方向。
全文摘要
本发明提供一种相应于手的动作来将用来操作机器的各个功能分配给指尖，以使操作者能直观地把握对于指尖的各个功能的分配的用户界面装置。该装置包括图形用户界面按钮分配单元，当接触位置获取单元检测到操作者对操作面板的接触时，对手形状获取单元所获取的手形状的各个指尖暂时分配了从图形用户界面按钮数据存储单元读出的图形用户界面按钮之后，根据手形状的方向的变化，对该手形状的各个指尖再次分配该图形用户界面按钮；重叠显示视频图像制作单元，制作图形用户界面按钮分配单元所分配的图形用户界面按钮的图像与手形状的图像的合成图像；以及显示单元，显示重叠显示视频图像制作单元所制作的、图形用户界面按钮的图像与手形状的图像的合成图像。
文档编号G06F3/0488GK101563666SQ20078004725
公开日2009年10月21日 申请日期2007年12月18日 优先权日2006年12月22日
发明者中野信之, 寺田智裕, 山下敦士, 平井卓哉 申请人:松下电器产业株式会社