专利名称：接口装置的制作方法
技术领域：
本发明涉及计算机、文字处理器等信息装置或电视机等具有显示器的装置的、实行输入输出的接口装置。
作为以往的此种接口装置，具有如下的实施方法为了在显示装置内的信息上添加某些别的信息，或对显示信息进行变更或者进行选择，在显示画面中，在由鼠标器检测出的坐标位置上显示光标。
图30为此种以往的接口装置的概要示意图。在图3中，501为主计算机；502为显示器。由主计算机501控制，在显示器502上显示有虚拟的按钮503、504、505。506为鼠标光标，根据由鼠标507检测的鼠标507的移动量，主计算机501进行显示控制，以使鼠标光标506与鼠标507的移动相同步地在画面中移动。操作者通过移动鼠标507，使鼠标光标506移动到任意虚拟的操作按钮的位置上，通过按下鼠标507上的按键508，选择操作按钮，给主计算机501发出动作的指令。
然而，上述以往的构成中，除装置的本身之外，还必须要有鼠标这种输入装置，此外，还需要有进行鼠标操作的桌子等台面，这对便携式信息装置是不适用的。此外，由于是通过鼠标来进行操作，必然还不是直接的、简单易懂的接口。
本发明的目的之一是提供一种接口装置，该装置不需要键盘或鼠标等输入装置，能够简单地对装置进行操作。此外，本发明的另一目的是提供一种操作性能进一步提高了的接口装置，该装置能够逐次自动地进行按照操作者意图的相互作用的判定，由此，进行对显示物指示，或将其抓住的操作。
在构成上本发明是具有如下部分的接口装置识别手段，用于识别操作者手的形状特征；显示手段，用于将由上述识别手段识别到的手的形状特征作为特殊形状在画面上显示出来；
控制手段，根据由上述显示手段在画面上显示的特殊形状，对画面内的显示信息进行控制。
本发明是只需改变手的形状，就能够控制画面上的显示信息的装置。
此外，由于也对于手的移动进行识别，因此本发明是提供接口手段的、其操作性能进一步提高的装置。在其移动识别装置设置有帧存储器，用于存储手的形状以及对动作摄象的图象；基准图象存储器，用于存储作为基准图象的图象。该图象是在帧存储器中存储的图象之前的时间所摄的图象，利用检测出帧存储器中存储的图象与基准存储器中存储的基准图象之间的差异来实现移动识别。
此外，作为另一识别方法，是检测出作为使用者轮廓的、摄象图象中使用者手的形状以及/或者移动，跟踪其轮廓，对轮廓线的角度和轮廓线的长度之间的关系、即轮廓波形进行运算并滤波，生成显示规定形状的波形，由此来实现移动识别。
更进一步说，本发明中设置有光标显示手段，用于将手的形状特征作为特殊形状在画面上显示、作为光标而进行操作；存储手段，用于存储与该光标显示之外的显示物之间的关联、代表了光标显示之外的显示物位置的代表点坐标以及形状；运算判定手段，用于运算判定光标显示与上述显示物之间的相互作用，在将光标显示进行虚拟机械手化显示等情况下，当抓住显示的虚拟物体时，根据按操作者意图的相互作用，能够实现顺利的操作。
如上构成的接口装置，使用者面向着识别手段，例如，一经用手遮上，便在画面内显示出与手的形状相应的特殊形状即所谓画面操作用的图标，使遵从该图标显示的控制得以进行。
另外，用手势给出指令后，所给的手势在显示画面上显示为与手的形状对应设定的特殊形状，同时，其移动也被显示，能够进行例如，用手势选择显示画面上显示的虚拟开关等、或根据目的要求抓住或搬动画面上显示的物体。无需鼠标等输入装置，能够使装置的操作成为非常简便。
另外，与手的形状相对应设定的特殊形状除单纯光标之外还作为虚拟机械手，对于与想用虚拟机械手对其进行操作的显示物体之间的相互作用的判定，是逐次自动地进行的，该判定是指符合了操作者的意图的判定。
图1为根据本发明的第1实施例的接口装置的外观图；图2为根据本发明的同一实施例的接口装置的详细方框图；图3为利用根据本发明的同一实施例的接口装置进行判断的手的形状例子示意图；图4为根据本发明的同一实施例的接口装置的形状识别手段的详细实施例示意图；图5为由本发明的同一实施例的图象差运算部运算的一例的示意图；图6为由本发明的同一实施例的图标生成部生成的图标例示意图；图7为根据本发明的同一实施例的接口装置的表示动作例的外观图；图8为根据本发明的第2实施例的接口装置的外观图；图9为根据本发明的第2实施例的接口装置的详细方框图；图10为利用同一实施例的接口装置进行判断的手的形状例子示意图；图11为同一实施例的接口装置的动作识别部详细实施例示意图；图12为由同一实施例的图象差运算部运算的一例的示意图；图13为同一实施例的动作例的示意图；图14为根据本发明的第3实施例的接口装置的详细方框图；图15为根据本发明的第3实施例的接口装置的动作识别部的详细实施例示意图；图16(A)～(D)为由根据同一实施例的接口装置在显示画面上显示的图标例示意图；图17为根据本发明的同一实施例的接口装置动作识别部的动作示意图；图18为根据本发明的同一实施例的接口装置动作识别部的动作示意图；图19为根据本发明的同一实施例的接口装置动作识别部的动作示意图；图20为根据本发明的同一实施例的接口装置动作识别部的动作示意图；图21为用来说明本发明的第4实施例的接口装置的示意图；图22(a)为实施例的接口装置使用的光标的一例的打开状态示意图；图22(b)为实施例的闭合状态示意图；图22(c)为实施例的接口装置使用的光标的一例的打开状态示意图；图22(d)为实施例的闭合状态示意图；图22(e)为实施例的接口装置使用的光标的一例的打开状态示意图；图22(f)为实施例的闭合状态示意图；图23(a)为实施例的接口装置使用的虚拟物体的形状的一例示意图；图23(b)为实施例的接口装置使用的虚拟物体的形状的一例示意图；图24(a)为表示虚拟空间的光标和虚拟物体的配置的主视图；图24(b)为表示虚拟空间的光标和虚拟物体的配置的侧视图；图25为用于说明同一实施例的虚拟空间的表示例示意图；图26为同一实施例的接口装置的一例的方框图；图27(a)为同一实施例的接口装置所使用输入手段的输入装置的一例示意图；图27(b)为同一实施例的接口装置所使用输入手段的输入装置的一例示意图；图27(c)为同一实施例的接口装置所使用输入手段的输入装置的一例示意图；图28(a)为同一实施例的用摄象机摄下的手的图象一例的示意图；图28(b)为同一实施例的用摄象机摄下的手的图象经二进制化后的一例示意图；图29(a)为根据本发明同一实施例接口装置使用的表示手段所表示画面的一例示意图29(b)为同一表示画面的第二例示意图；图29(c)为同一表示画面的第三例示意图；图29(d)为同一表示画面的第四例示意图；图30为用于说明以往的接口装置的说明图。
(第1实施例)本发明第1实施例是具有如下手段的接口装置识别手段，是为了识别操作者的手的形状而设置的摄象装置等；显示手段，用于将由上述识别手段识别的手的形状特征作为特殊形状用图标等在画面上显示出来；控制手段，将上述显示手段在画面上显示的图标等特殊形状作为光标使其动作，利用手的形状变化对画面内的显示信息进行控制。
图1为根据本发明接口装置的第1实施例的外观图，1为主计算机；2为显示用的显示器；3为图象摄象用的CCD摄象机。CCD摄象机3的摄象面在设置上与显示器的显示方向相一致，使用者面向着显示面，即能够对使用者手的形状摄象。在显示器的上面能够显示菜单201、202以及其显示反映了上述手的形状的图标200。
图2为根据本发明的详细方框图，由CCD摄象机所输入的图象存储在帧存储器21中。在基准图象存储器25中，存储有作为基准图象的、预先摄下的、不含有人的背景图象。基准图象根据需要能够随时更换。
形状识别手段22根据检测出的帧存储器存储的图象与基准图象存储器存储的图象之间的差别，从图象中除去背景图象，同时，提取出例如对应于使用者手的部分，并对其形状进行判断，判断其形状是否是如图3(A)所示的一根手指的形状，还是如图3(B)所示的两根手指的形状，或者是此外如图3(C)的形状。
图4为形状识别手段22的详细实施例示意图，该手段由如下部分构成图象差运算部221、轮廓提取部222、形状识别部223。
图象差运算部221如前所述，对帧存储器存储的图象与基准图象存储器存储的图象之间的差进行运算。由此，可将欲提取的物体、例如使用者与背景部分得以分离。例如，在用简单的减法电路构成图象差运算部221的情况下，如图5所示，就能够只将帧存储器中的图象中使用者手的部分提取出来。轮廓提取部222将图象差运算部221计算的结果的图象中的物体的轮廓形状提取出来。作为具体方法的例子，利用提取图象边缘的方法，可简单地提取出轮廓形状。
形状识别部223对上述由轮廓提取部222提取的手的轮廓形状进行详细识别，判断其形状是否是如图3(A)所示的一根手指的形状，还是如图3(B)所示的两根手指的形状。作为形状识别方法的例子，能够使用模板匹配法、形状模型匹配法、神经元网络法等。
图标生成部24根据上述形状识别部223的手的形状识别结果，生成应在显示器显示的作为特殊形状的图标。例如，手的形状的识别结果如果是一根手指，生成例如图6(A)示出的数字为“1”的图标；而如果是两根手指，则生成例如图6(B)示出的数字为“2”的图标。作为图标的形状也可以是如下情况手的形状的识别结果如果是一根手指，生成例如图6(C)示出的一根手指型的图标；而如果是两根手指，则生成例如图6(D)示出的两根手指型的图标。显示控制部23根据形状识别部223的手的形状识别结果对显示进行控制。例如，在根据识别结果显示上述图标的同时，还根据识别结果对与识别结果预先有着对应的菜单进行强调显示。
以下所示为根据具有上述构成的本发明实施例的操作例。
如图7(A)所示，使用者面向着设置有根据本发明的接口装置的装置，当手为一根手指的形状时，在显示器上显示数字“1”的图标，与此同时，作为第1菜单的电视的显示被强调显示。此时，与此强调显示相配合，借助于从显示器输出声响或语音，能够更加唤起操作者的注意。如图7(B)所示，当手为两根手指的形状时，在显示器上显示数字“2”的图标，与此同时，作为第2菜单的网络的显示被强调显示。在此状态下，例如维持手的同一形状一定时间，则第2菜单被选中，能够向主计算机发出进行网络终端显示的指令。在菜单的选择时也可同时使用语音。如图7(C)所示，除事先决定了手的形状的情况之外，显示器上不显示图标和菜单，不能向主计算机发送指令。
如上所述，根据本发明，能对摄象图象中的手的形状进行识别，并根据识别结果对计算机等装置进行控制，而且能够在不使用键盘和鼠标器等的情况下，进行离开的、非接触的操作。此外，由于让手的形状的识别结果反映在画面上，使用者能够一边确认识别结果，一边进行操作，使简便、可靠的操作得以实现。
另外，本实施例中，虽只示出了适用于菜单选择的例子，然而，不用说，遵从手具有的形状的图标显示，可通过事先的设定，与图形及文字替换，也使得对图形及文字的存入控制容易进行。
(第2实施例)本发明第2实施例是至少具有如下部分的接口装置摄象部；动作识别部，用于对摄象图象中物体的形状以及/或者移动进行识别；显示部，用于将由动作识别手段识别的物体的形状以及/或者移动显示出来，并设置有帧存储器，用于存储由摄象部所摄的图象；基准图象存储器，用于存储作为基准图象的图象。该图象是在帧存储器中存储的图象之前的时间所摄的图象。
在动作识别部，设置有图象变化提取部，用于提取帧存储器中的图象与基准图象存储器中存储的基准图象之间的差异。
图8为根据本发明的第2实施例的接口装置的外观图。在图8中，在与第1实施例具有同样功能的部分上、以相同的数字对构成部分作了表示。即1为主计算机；2为显示用的显示器；3为图象摄象用的CCD摄象机CCD摄象机3的摄象面在设置上与显示器2的显示方向相一致，使用者面向着显示面，即能够对使用者的手势摄象。在显示器2的显示面上能够显示模拟开关204、205、206以及选择上述模拟开关的箭头光标的图标203。
图9为本实施例的详细构成方框图。由CCD摄象机3所输入的图象存储在帧存储器21中。在基准图象存储器25中，存储有作为基准图象的预先摄下的图象。基本图象更新部26由定时器261和图象更新部262构成，以定时器261指示的一定的间隔将帧存储器21中存储的最新图象向基准图象存储器25传送，对基准图象进行更新。
形状识别部22根据检测出的帧存储器存储的图象与基准图象存储器存储的图象之间的差别，从图象中除去背景图象，同时，提取出例如对应于使用者手的部分，并对其形状进行判断，判断其形状是否是如图10(A)所示的一根手指的形状，还是如图10(B)所示的握拳的形状。
图11所示为形状识别部22的详细实施例示意图，该形状识别部22的构成例由如下部分构成图象差运算部221、轮廓提取部222、形状变化识别部225、位置检测部224。
图象差运算部221如前所述，对帧存储器21存储的图象与基准图象存储器25存储的图象之间的差进行运算。由此，可将作为移动的、欲提取的物体、例如使用者手的部分与背景部分得以分离，同时，能够仅将移动着的物体图象提取出来。例如，在用简单的减法电路构成图象差运算部221的情况下，如图12所示，就能够只将基准图象中手的部分、及帧存储器中的最新图象中手的部分提取出来，而且，能够简单地仅将移动着的手的部分固定。轮廓提取部222将图象差运算部221计算的结果的图象中的物体的、即移动之前和移动之后手的部分的轮廓形状提取出来。作为具体方法的例子，利用提取图象边缘的方法，可简单地提取出轮廓形状。
形状变化识别部225对上述由轮廓提取部222提取的移动之后手的部分的轮廓形状进行详细识别，判断其形状是否是如图10(A)所示的一根手指的形状，还是如图10(B)所示的握拳的形状。同时，位置检测部224对上述移动之后的使用者手的部分的轮廓形状的重心坐标进行计算。
图标生成部24根据形状变化识别部225的手的形状识别结果，生成应在显示器显示的图标。作为图标的例子，也可以是这样，如果手的形状的识别结果是一根手指，生成例如图13(A)示出的箭头的图标；而如果是握拳，则生成例如图13(B)示出的X形的图标。另外，手的形状的识别结果如果是两根手指，生成例如图13(C)示出的模仿两根手指形状的图标；而如果是握拳的形状，则生成例如图13(D)示出的模仿握拳形状的图标。
显示控制部23用于对由图标生成部24生成的图标在显示器2上的显示位置进行控制，它由坐标变换部231和坐标反转部232构成。坐标变换部231将摄象图象的坐标变换为显示器2的显示坐标，另外，坐标反转部232将变换后的坐标的左右位置进行反转。即，将由位置检测部224检测出的、对应于使用者的手的部分的图象的重心坐标、转换为显示器2的显示坐标，并将左右的坐标反转，就可在显示器2上显示图标。由于此操作，使得如果使用者将手向右移动，此动作同照镜子一样，在显示画面上图标向右移动。
以下所示为根据具有上述构成的本实施例的操作例。如图8所示，使用者面向着设置有根据本实施例的接口装置的装置，当手为一根手指的形状并移动时，在显示器上显示的箭头图标对应于手的移动向任意的位置移动。接着，利用手的移动让箭头图标移动到在显示器2上显示的任意虚拟开关204、205、206上，将手握拳，呈握拳形状后，虚拟开关204、205、206能够被选定，向主计算机1发出指令。
另外，在本实施例中，采取的是对摄象图象中物体的形状及移动进行识别的构成，然而，不用说，也可以采取对摄象图象中物体的形状或者移动这两者中的任何一个来进行识别的构成。
如上所述，由于本发明中设置有动作识别部，用于对摄象图象中物体的形状以及/或者移动进行识别；显示部，用于将由动作识别手段识别的物体的形状以及/或者移动显示出来，帧存储器，用于存储由摄象部所摄的图象；基准图象存储器，用于存储作为基准图象的图象，该图象是在帧存储器中存储的图象之前的时间所摄的图象，根据在动作识别部提取出的帧存储器中的图象与基准图象存储器中存储的基准图象之间的差异，使用者面向着摄象部，例如利用手势一旦发出指令，该手势便显示在显示画面上，因此，能够利用手势对显示画面上显示的虚拟开关等进行选择，无需鼠标器等输入装置，使得装置的操作非常简便。
(第3实施例)本发明第3实施例是至少包括如下部分的接口装置摄象部；动作识别部，用于对摄象图象中使用者手的形状以及/或者移动进行识别；
显示部，用于将由上述动作识别手段识别的使用者手的形状以及/或者移动显示出来；在构成上动作识别部设置有轮廓提取手段，用于将所摄的使用者的轮廓提取出来；轮廓波形运算部，用于对提取的轮廓进行跟踪，并对轮廓线的角度与轮廓线的长度之间的关系、即轮廓波形进行计算；形状滤波器，用于对轮廓波形运算部计算后的轮廓波形进行滤波，生成表示规定形状的形状波形。
使用者面向着如上构成的接口装置的摄象部，例如，用手势发出指令时，摄象部对使用者进行摄象。轮廓提取手段将使用者的图象的轮廓提取出来，此轮廓由轮廓波形运算部进行变换，将以轮廓上的基准点作为原点的轮廓线的长度作为横轴，轮廓线与水平线的角度即作为轮廓波形。此轮廓波形经过由规定带宽的带通滤波器、如与手指的凹凸相对应的带通滤波器构成的滤波器、被变换为表示手指凹凸形状的形状波形，在对于手的位置进行计算的同时，只需对此形状波形中存在的脉冲进行计数，就能够对伸出的手指数、即手的形状进行正确的判断。根据手的位置及形状，发出的手势被显示在显示器的显示画面上，例如，显示画面上显示的模拟开关等可以利用手势被选择，无需鼠标器等输入装置，能够使装置操作非常简便。
另外，在构成上也可以利用不同带宽的多个带通滤波器构成多形状滤波器，根据上述多形状滤波器生成的形状波形，对使用者的动作进行判定。这样一来，就可以对多个形状进行识别。
另外，在构成上也可以至少由与手的凹凸相对应的轮廓波形带通滤波器、和与手指的凹凸相对应的轮廓波形带通滤波器来构成多形状滤波器。这样一来，既能够变换只反映手的部分的凹凸的平滑的波形，又能够变换只反映手指的凹凸的波形。
另外，在动作识别部的构成上，也可以设置坐标表，用于存储所摄的使用者的轮廓形状的坐标与经轮廓波形运算部计算后的轮廓波形之间的对应关系，设置坐标运算部，利用形状波形的波峰所在位置和上述坐标表来对摄象图象中的规定形状所在的坐标进行计算。由此，计算轮廓坐标，并将此坐标输出。
另外，在动作识别部的构成上，也可以设置形状判定部，用于对由形状滤波器所生成的形状波形中的脉冲数进行计数，根据上述形状判定部的输出值对物体的形状进行判定。这样一来，根据脉冲数可容易地判定是两根手指的形状还是握拳的形状。
另外，在动作识别部的构成上，也可以设置微分器，用于对由形状滤波器所生成的形状波形进行微分运算。经过微分，使波形呈较好的脉冲状，使得脉冲的计数容易进行。
根据本发明的接口装置的实施例的外观与第2实施例所示出的图8的形态相同，与第2实施例相同的部分用图8、图6进行说明，图14以后只示出了其他不同的部分。
图14为本发明的第3实施例的详细方框图。由CCD摄象机所输入的图象存储在帧存储器31中。动作识别部32从帧存储器31中存储的图象中提取出对应于使用者手的部分，判断其形状是如图10(A)所示的一根手指的形状、还是如图10(B)所示的握拳的形状。
图15所示为动作识别部32的详细实施例，用图16～图18对其详细动作进行说明。
轮廓提取部321对图象中存在的物体的轮廓形状进行提取。作为具体方法的例子，对图象进行双值化处理，用提取其边缘的方法，能够简单地提取出轮廓形状。图17(A1)为提取出的轮廓线之一例，手的部分示出了一根手指的形状。
接着，轮廓波形运算部332进行如下处理在图17(A1)所示的轮廓提取部321提取的物体的轮廓形状上，以图中的开始点S作为起点，沿箭头的方向(反时针方向)巡行画出轮廓线，如图19所示，将轮廓线上各点X处的轮廓线与水平线之间的角度θ值、作为相对于离开开始点S的距离1的函数提取出来，图17(B1)所示，在进行向以距离1为时间轴的波形形状变换的同时，与距离1相对应的轮廓线上的各点的坐标被列表存储在变换表324中。3231以及3232所示的形状滤波器1以及形状滤波器2、分别是具有与图17(B1)所示的轮廓波形中手的部分的凹凸、以及手指部分的凹凸相对应的通频带的滤波器。
经形状滤波器1如图17(B1)、图17(B11)所示，变换得到只反映手的部分凹凸的平滑的形状波形，另外，经形状滤波器2如图17(B12)所示，变换得到只反映手指的凹凸的形状波形，然后分别由微分器3251以及3252进行微分，最后，可得到图17(B112)、图17(B122)所示形状的微分波形。形状判定部3262判定手的部分的轮廓形状是如图10(A)所示的两根手指的形状，还是图10(B)所示的握拳的形状。同时，坐标运算部3261对上述使用者的手的部分的轮廓形状的重心坐标进行计算。坐标运算部3261将图17(B112)所示的形状微分波形中的大脉冲所在的位置1c1、1c2求出，根据坐标变换表324，向图20所示的点c1、点c2变换，根据从点c1到点c2的手的部分的轮廓线，计算手的部分的重心，作为手坐标输出。
另外，形状判定部3262对图17(B122)的形状微分波形中的手指部分对应的脉冲波形进行计数并输出。即，在图17(B122)的情况下，由于在对应于手指的部分存在两个大的脉冲波形，判定并输出如图10(A)所示的两根手指的形状。另外，如图18(A2)所示，手为握拳的形状时，手指的部分基本上不存在的凹凸，形状滤波器2的输出如图18(B22)所示，呈无凹凸的形状，因而，微分器3262的输出如图18(B222)所示，成为仿佛无脉冲波形的形状微分波形，脉冲波形的计数成为0，能够判定是如图10(B)所示的握拳形状。
作为此形状判定部3262的具体构成例，能够使用简单的阈值处理法或神经元网络法等。
图14的图标生成部34根据图15的形状判定部3262的手的形状识别结果，生成应在显示器上显示的图标。例如，当手的形状的识别结果是一根手指形状时，生成如图16(A)所示的箭头图标；另外，当手的形状的识别结果是握拳形状时，生成如图16(B)所示的X图标。显示控制部33对由图标生成部34生成的图标在显示器上的显示位置进行控制，该显示控制部33由坐标变换部331和坐标反转部332构成。坐标变换部331将摄象图象的坐标变换成显示器的显示坐标，另外，坐标反转部332将变换后的显示坐标的左右位置进行反转。即，从由图15中的坐标运算部3216输出的与使用者手对应的部分的图象中的重心坐标，变换为显示器的显示坐标，并将左右的坐标进行反转，在显示器上显示图标。由于此操作，使得如果使用者将手向右移动，此动作同照镜子一样，在显示画面上图标向右移动。
以下所示为根据具有上述构成的本发明实施例的操作例。如图8所示，使用者面向着设置有根据本实施例的接口装置的装置，当手为一根手指的形状并移动时，在显示器2上显示的、图标203的箭头图标对应于手的移动向任意的位置移动。接着，利用手的移动让箭头图标移动到在显示器2上显示的任意虚拟开关204、205、206上，将手握拳，呈握拳形状后，虚拟开关能够被选定，向主计算机1发出指令。
另外，作为显示的图标的例子，如图16(C)、(D)所示，如将手的形状原样地图标化，可与实际的手的动作取得对应，简单易懂。具体来说，既可以事先将如图16(C)、(D)所示的图象进行登录，或者也可以将轮廓提取部提取的手的轮廓形状进行缩小或放大为任意的大小，作为图标使用。
在本实施例，使用者面向着接口装置的摄象部，例如，用手势发出指令时，摄象部对使用者进行摄象。提取出使用者的图象的轮廓，将以轮廓上的基准点作为原点的轮廓线的长度作为横轴，轮廓线与水平线的角度即作为轮廓波形进行变换。此轮廓波形经过由规定带宽的带通滤波器、如与手指的凹凸相对应的带通滤波器构成的滤波器、被变换为表示手指凹凸形状的形状波形，在对手的位置进行计算的同时，只需对此形状波形中存在的脉冲进行计数，就能够对伸出的手指数、即手的形状进行正确的判断。根据手的位置及形状，发出的手势被显示在显示画面上，例如，显示画面上显示的模拟开关等可以利用手势被选择，无需鼠标器等输入装置，能够使装置操作非常简便。
(第4实施例)以上所述的实施例是在显示画面上就显示的2维画面进行操作的，本实施例涉及将虚拟的3维进行了2维显示画面显示时的操作。
一般，在显示的虚拟3维空间上，如假想使用光标抓虚拟空间中的虚拟物体的动作，则为如下的构成。
图21中的A1为输入装置；A2为光标坐标存储部；A3为物体坐标存储部；A4为显示装置；A5为接触判断部。图22(a)、图22(b)表示与已述实施例同样，根据操作者手的形状的、能够显示的两根手指的机械手的光标。图22(a)表示手指分开的状态，图22(b)表示手指闭合的状态。图23所示为虚拟空间内的虚拟物体的例子。这里，假想操作者使用两指的光标抓虚拟3维空间中的虚拟物体的动作。图24(a)、图24(b)所示为使用光标抓虚拟物体时，在虚拟空间内的光标及虚拟物体的配置。图25所示为显示装置A4的显示。
操作者的操作提供给输入部A1时，光标坐标存储部A2存储的光标坐标以及光标的两指之间的间隔根据上述操作被更新。显示装置A4利用光标坐标存储部A2存储的信息以及物体坐标存储部A3存储的虚拟物体位置信息、在包含光标和虚拟物体的虚拟空间进行描绘。这里，接触判断部A5利用光标坐标存储部A2存储的信息以及物体坐标存储部A3存储的虚拟物体位置信息、对在虚拟空间内的光标与虚拟物体的接触与否进行计算。具体来说，在构成光标以及虚拟物体的多个面之间的虚拟空间内的距离上，就各个面之间进行计算，虚拟物体如接触光标的两指之间时，则判断光标抓住了虚拟物体，之后，配合光标的移动，将物体的坐标进行变更。
然而，在这样的方法中，在如图24(a)、(b)所示那样的配置时，显示装置的显示成为图25所示的情况，会有在虚拟空间内，即使光标与虚拟物体的位置不完全一致，而操作者错误判定为一致的情况。另外，即使使用3维显示装置、或将图24(a)、(b)同时显示，由于真实空间与虚拟空间内的距离感觉的不同，难于进行平滑的操作。
如上所述，由于作为显示空间的虚拟空间的距离感觉与在真实空间的距离感觉之间的差异，和操作者的所认为的光标移动与实际的光标移动之间的差异，在使光标与虚拟空间内的虚拟物体之间的相互作用(例如，用虚拟的机械手抓虚拟物体的情况等)上、不能平滑地实现按照操作者意图的相互作用(上述例中的抓虚拟物体)。
在本实施例中，操作者能够了利用手势等在虚拟空间上进行非接触的、操作性良好的光标控制，同时，并不只根据虚拟空间内的光标与虚拟物体的构成要素(在3维虚拟空间时为表面)之间的距离来决定，相互作用判定手段对于虚拟空间内的、距离不一定接近的对象物也发生相互作用，因此，光标与虚拟物体的相互作用是否发生的判定、能够接近于操作者的意图，从而进一步提高接口的操作性。再有，使得对于虚拟空间内的、距离不一定接近的对象物也发生相互作用成为可能。
本实施例的第1构成是以具有如下构成为特征的接口装置，包括显示手段；输入手段，用于对上述的显示手段上显示的光标的位置以及形状进行变更；光标存储手段，用于对代表上述光标位置的代表点坐标以及上述光标的形状进行存储；物体存储手段，用于对代表上述光标以外的显示物体的位置的代表点坐标以及上述物体的形状进行存储；相互作用判定手段，用于利用上述光标存储手段中存储的光标的位置及形状和上述物体存储手段中存储的物体的位置及形状，对上述光标与上述显示物体之间的相互作用进行判定，上述相互作用判定手段由如下部分构成距离计算手段，用于对上述光标的代表点中的至少一点与上述显示物体的代表点中的至少一点之间的距离进行计算；动作识别手段，用于对上述光标的移动或形状的变化进行识别；综合判定手段，该手段利用上述距离计算手段计算的距离和上述动作识别手段的识别结果来决定上述光标与上述显示物体的相互作用。
根据此构成，操作者在虚拟空间操作的光标与虚拟空间内的虚拟物体之间的相互作用是否发生，不是仅由虚拟空间内的上述光标与上述虚拟物体的构成要素(3维虚拟空间时为表面)之间的距离来决定，而是根据距离计算手段计算出的代表点之间的距离以及动作识别手段识别的光标动作、由综合判定手段对相互作用是否发生进行判定。由此，使得对于虚拟空间内的、距离不一定接近的对象物也发生相互作用成为可能。
另外，在第1构成上，也可以采用第2构成，即在动作识别手段识别了预先登录过的动作时，对于距离计算手段计算的距离在预先确定的基准以下的显示物体，相互作用判定手段让其发生相互作用。
另外，在第1、第2构成上，也可以采用第3构成，即设置移动矢量计算手段来构成相互作用判定手段，上述移动矢量计算手段用于对虚拟空间内的光标的移动方向和移动量进行计算，根据上述移动矢量计算手段对虚拟空间内的光标的移动方向和移动量的计算结果，由相互作用判定手段对上述光标与显示物体的相互作用进行决定。
另外，在第3构成上，也可以采用第4构成，即对于移动矢量计算手段计算出的光标的移动方向的延长线附近存在的显示物体，相互作用判定手段让其发生相互作用。
另外，在第1～第5构成上，也可以采用第6构成，即在光标的形状与显示物体的形状成为预先登录过的组合时，相互作用判定手段让其发生相互作用。
另外，在第1～第6构成上，也可以采用第7构成，即在相互作用判定手段的构成中具备形状判定手段，上述形状判定手段对光标的形状与显示物体的形状进行识别，在上述形状判定手段识别的光标的形状与显示物体的形状相一致时，相互作用判定手段让其发生相互作用。
另外，在第1～第7构成上，也可以采用第8构成，即设置检测视线方向的视线输入手段，对于上述视线输入手段检测出的视线的延长线附近的显示物体，在动作识别手段识别了预先登录过的动作的情况下，相互作用判定手段让其发生相互作用。
另外，在第8构成上，也可以采用第9构成，即对于视线输入手段检测出的视线的延长线附近的显示物体，上述视线的延长线附近存在光标，且在动作识别手段识别了预先登录过的动作的情况下，相互作用判定手段让其发生相互作用。
另外，在第1～第9构成上，也可以采用第10构成，即设置学习手段，对使其发生了相互作用时的、光标与作为对象的显示物体之间的位置关系、以及上述光标的形状和上述物体的形状进行学习，相互作用判定手段根据学习手段的学习结果来决定相互作用。
另外，在第10构成上，也可以采用第11构成，即光标与作为对象的显示物体之间的位置关系、以及上述光标的形状和上述物体的形状、与学习手段过去学习过的位置关系或形状相类似时，相互作用判定手段让其发生相互作用。
另外，在第1～第11构成上，也可以采用第12构成，即在相互作用判定手段的构成中具备坐标变换手段，上述坐标变换手段对由光标存储部以及物体存储部向距离计算手段的输入进行坐标变换。
另外，在第12构成上，也可以采用第13构成，即在使其发生了相互作用时、进行坐标变换，以使光标与作为对象的显示物体之间的位置关系接近。
就本发明的第4实施例，参照附图进行说明。图26所示为接口装置的一实施例的方框图。
在图26中，41为输入手段；42为光标存储手段；43为物体存储手段；44为显示手段；45为相互作用判定手段；45a为距离计算手段；45b为动作识别手段；45c为综合判断手段；45d为移动矢量计算手段；45e为形状判定手段；45f为学习手段；45g为坐标变换手段；46为视线输入手段。
在图26中，操作者对于输入手段41进行操作，根据前述操作结果，光标存储手段42对代表着光标在虚拟空间内位置的代表点坐标以及形状进行变更、存储，显示手段44根据光标存储手段42存储的代表着光标在虚拟空间内位置的代表点坐标以及形状、和物体存储手段43存储的虚拟物体在虚拟空间内位置的代表点坐标以及形状，对上述光标以及上述虚拟物体进行2维显示或者3维显示。
视线输入手段46把上述显示上的操作者的视线位置检测出来。距离计算手段45a根据光标存储手段42和物体存储手段43中存储的代表点的坐标、对光标与虚拟物体的虚拟空间内的距离进行计算。动作识别手段45b根据光标存储手段42和物体存储手段43中存储的内容进行操作动作的识别。移动矢量计算手段45d对虚拟空间内的光标的移动方向以及移动距离进行计算。形状判定手段45e判定光标的形状和虚拟物体的形状对于发生相互作用是否适当。学习手段45f在综合判断手段45c使相互作用发生了的情况下，对前述光标与前述虚拟物体的位置以及形状的关系进行存储，将现在的状态与过去发生过的相互作用的状态是否类似进行输出。
综合判断手段45c根据距离计算手段45a输出的光标与虚拟物体的距离、动作识别手段45b进行识别的识别结果、移动矢量计算手段45d计算出的的光标的移动方向和、移动距离、视线输入手段46检测出的视线的位置、形状判定手段45e的判定结果、学习手段45f输出的与过去的相互作用的类似程度，对前述光标与前述虚拟物体是否进行相互作用作出判定，并按照相互作用的结果对前述光标与前述虚拟物体的代表点坐标和形状进行变更。坐标变换手段45g在相互作用判定手段45使相互作用发生了的情况下，对距离计算手段45a的距离计算所使用的、光标与作为对象的虚拟物体的、在虚拟空间内的坐标进行坐标变换，以使两者的位置靠近。
图22(a)、(b)为本发明接口装置使用的光标的第一实施例、即两指机械手形状的光标。图中的(a)为手指分开的状态；(b)为手指闭合的状态。图22(c)、(d)为本发明接口装置使用的光标的第二实施例、即两指双关节机械手形状的光标。图中的(c)为手指分开的状态；(d)为手指闭合的状态。图22(e)、(f)为本发明接口装置使用的光标的第三实施例、即五指的手形状的光标。图中的(e)为手指分开的状态；(f)为手指闭合的状态。
图23(a)、(b)为本发明接口装置使用的虚拟空间内物体的例子((a)为立方体、(b)为平面体)。
以下，就上述构成的接口装置的动作进行说明。在本实施例作如下动作假想，即操作者移动3维虚拟空间上的、如图22所示的光标，抓住上述虚拟空间内存在的如图23所示的虚拟物体并移动。
操作者的操作对于输入手段41进行。这里，在输入上，作为为了对使光标的位置或形状变化的信息进行输入的输入装置，可以使用图27(a)、(c)中所示的手段或者由摄象机、键盘、语音识别等产生的命令输入等。图27(a)为鼠标器，利用鼠标器本体的移动和按钮的点击来操作光标。图27(b)为数据手套，带在人的手上，使手指的关节角度和数据手套在真实空间的位置反映为光标的位置和形状，对光标进行操作。图27(c)为游戏棒，利用控制杆的操作和按钮的操作的并用，来操作光标。在使用摄象机的情况下，用摄象机对身体或身体的一部分(手等)进行摄象，读取手的形状及位置。
图28所示为用摄象机只对于手进行摄象情况的形状提取的一实施例。图28(a)为用摄象机对于手进行摄象的例子。对图28(a)图象的各象素的辉度进行了双值化处理后的情况如图28(b)所示。在图28(b)中，根据与黑色区域外接的长方形的长与宽边长之比等，能够判定手的开闭的程度，由黑象素整体的重心坐标和面积，能够得到位置和距离的输入。输入手段41将上述内容(光标的移动量和光标形状的变更量等)向光标存储手段42输出。
光标存储手段42根据输入手段41输出的操作内容，对光标存储手段存储的光标的代表点在虚拟空间内的坐标和光标形状进行存储。作为代表点，将光标的重心坐标(X0，Y0，Z0)作为代表点使用。再有，作为代表点，也可以使用构成光标的各面的中心坐标和顶点的坐标。作为形状，将图22(a)情况下的两指之间的间隔d、图22(b)、(c)情况下的各指的关节内角θn(n为关节的编号；θn变小时，关节呈弯曲状态)作为存储信息。再有，作为形状，也可以利用各指的指尖儿及各关节在虚拟空间内的坐标。
物体存储手段43对作为操作对象的、图23所示的虚拟空间内的虚拟物体的代表点的坐标及形状进行存储。作为代表点，将虚拟物体的重心坐标(立方体(X1，Y1，Z1)，平面体(X2，Y2，Z2))作为代表点使用。再有，作为代表点，也可以使用构成虚拟物体的各面的中心坐标和顶点的坐标。作为形状，将表示预先确定了的形状的参数α作为形状进行存储(这里，定义立方体α＝1、平面体α＝2)。再有，作为形状，也可以利用顶点的坐标等。
显示手段44根据光标存储手段42和物体存储手段43中存储的光标及虚拟物体的位置和形状，在虚拟空间对由事先指定的视点观看到的像进行2维显示。图9(a)所示为显示手段的显示例。操作者进行操作时，光标的显示位置或形状进行变化，操作者根据该显示继续进行操作。
相互作用判定手段45在每次光标的位置发生变化时判定光标是否抓住物体(是否有相互作用)，在判断了光标已抓住了物体时，配合着光标的移动，也使虚拟物体的坐标移动。
距离计算手段45a对光标存储手段42存储的光标的重心坐标(X0，Y0，Z0)与物体存储手段43存储的虚拟物体的重心坐标(X1，Y1，Z1)，(X2，Y2，Z2)之间的距离进行计算。
动作识别手段45b利用光标形状的变化对作为事先登录过的“抓住”这一动作进行识别。在图22(a)所示光标的情况下，将两指之间的间隔d连续减少的状态识别为“抓住”动作，在图22(b)、(c)所示光标的情况下，全指的角度θn连续减少的状态识别为“抓住”动作。再有，作为动作的识别方法，也可以利用时间序列模式识别方法(表匹配法、DP匹配法、希顿·马尔科夫(ヒドウンマルコフ)模型(HMM)法、循环神经元网络法等)，对预先特别指定的动作进行学习之后，将表示形状的参数(上述d和θn等)的时间序列的变化作为识别方法。
移动矢量计算手段45d利用光标的重心坐标(X0，Y0，Z0)的变化，对虚拟空间内光标的移动方向及移动量进行计算。例如，将当前时刻t的重心坐标(X0，Y0，Z0)t与前一时刻的重心坐标(X0，Y0，Z0)t-1的差分矢量的方向及大小作为光标的移动方向及移动量。
形状判断手段45e对光标存储手段中存储的光标的形状进行判定，判定是否适合于抓住物体存储手段中所存储的形状的虚拟物体(光标的形状对于与虚拟物体发生相互作用是否适合)。这里，表示物体的形状的参数α的值为1时，取光标的手指为分开的状态作为适合的状态。作为光标的手指为分开的状态的判断，例如，图22(a)所示光标的情况下，d的值作为比d的最大值dmax与0的中间值还要大的情况，图22(b)、(c)的情况下，各关节角θn都作为比各自的最大值θnmax与0的中间值还要大的情况。
表示物体的形状的参数α的值为0时，取光标的手指尖儿的间隔狭小的状态作为适合的状态。作为光标的手指尖儿的间隔狭小状态的判断，例如，图22(a)所示光标的情况下，d的值作为比d的最大值dmax与0的中间值还要小的情况，图22(b)、(c)的情况下，各关节角θn都作为比各自的最大值θnmax与0的中间值还要小的情况。再有，作为形状的判定方法，也可以是如下方法等将在虚拟空间、光标以接触的状态抓住虚拟物体时光标形状的表示参数(d或θn)事先进行存储，各个参数的值在30％的范围内一致时，则判断为适合于抓住动作。
视线输入手段46把操作者的视线检测出来。显示手段44将操作者在显示画面上的注视坐标(注视点的坐标)计算出来，利用使用作为视线检测手段的CCD摄象机及光传感器等来检测出操作者的瞳孔朝向的方法，对操作者的头部的位置用摄象机等进行测量，由此，计算出上述画面上的注视点。
学习手段45f将综合判断手段45c判断了光标抓住了虚拟物体时的光标形状的表示参数(d或θn)、和抓住的虚拟物体其形状的表示参数α、以及上述光标的位置与上述虚拟物体的位置的相对位置关系(连接光标重心与虚拟物体重心的矢量)进行存储，当现在的虚拟物体形状的表示参数与周围的虚拟物体形状的表示参数、以及现在的光标的重心与周围的虚拟物体的重心之间的位置关系、是与过去抓住物体的情况相近时(例如表示各个参数以及位置关系的矢量其各维元素的值与过去的值在30％的范围内一致等)，判断为与过去的状况相类似，输出1，其他的情况时则输出0。再有，作为其他的学习手段，也可以利用神经元网络法等，对过去抓住了虚拟物体时的光标形状的表示参数、和抓住的虚拟物体其形状的表示参数α、以及上述光标的位置与上述虚拟物体的位置的相对位置关系进行学习。另外，作为学习项目，能够包含视线检测手段46检测出的画面上的注视点坐标与光标在显示画面上的坐标之间的位置关系等进行学习。
坐标变换手段45g在抓住了物体时(发生了相互作用时)，对距离计算手段的距离计算所使用的、光标与作为对象的虚拟物体的、在虚拟空间内的坐标进行坐标变换，以使两者的位置靠近。例如，在光标抓住了物体时，各自的坐标为(100，150，20)及(105，145，50)的情况下，坐标变换手段在各坐标内，就差为最大的Z坐标进行如(1)式表示的变换。
Z’＝0.8×z……(1)这里，z表示坐标变换手段作为输入的光标以及虚拟物体的重心的Z坐标，Z’表示坐标变换手段的输出的Z坐标。此时，X坐标的值以及Y坐标的值不变更。另外，由于光标存储手段和物体存储手段中存储的值不变更，因此，显示手段显示的画面不变化。由于实行了上述变换，即使虚拟空间内的距离为离开的情况，如果操作者做抓住的动作，其后进行计算时的光标与虚拟物体之间的距离变小，距离计算手段能够进行与操作者的距离感觉相近的计算。
综合判断手段45c当距离计算手段45a输出的光标与虚拟物体之间的距离、为预先确定的基准以下时，动作识别手段45b识别了预先登录了的“抓住”这一动作的情况下，判定发生了“抓住”这一相互作用，之后，在“抓住”相互作用结束之前，使物体存储手段43存储的抓住的虚拟物体的重心坐标值与光标的重心坐标相一致。这里，上述预先确定的基准值也可以是大于实际上光标与物体在虚拟空间内能够接触的距离的值。这使得如下情况成为可能例如，在图25(图24的配置)情况下，虚拟物体与光标的距离如果为上述距离的基准值以下时，操作者向输入手段1发出抓住动作指令，动作识别手段45b对抓住动作进行识别，抓住虚拟物体并移动。
另外，综合判定手段45c在上述距离的基准以下存在多个虚拟物体的情况下，只把图29(b)所示的光标与虚拟物体之间的连接线(虚线)、与移动矢量计算手段45d计算出的光标的移动方向(箭头)之间所形成的角度小于基准(例如90度)的物体作为对象，在操作者的操作上，使考虑了光标移动方向的相互作用的判定成为可能(图中，3个物体中的处于最上部的物体被选择)。另外，就光标的移动距离来说，在移动距离大于预先规定的移动距离基准的情况下，不发生相互作用。由此，能够使只是光标移动着的情况下，非操作者意图的相互作用不会发生。
另外，在图29(c)所示的多个虚拟物体满足了上述基准时，综合判定手段45c将上述视线输入手段46检测出的注释点的位置附近的虚拟物体、作为“抓住”对象(图中，在代表注视点的“+”记号附近左侧的物体被选择)。这样一来，使得操作者利用视线能够容易地进行对象的选择。
另外，在图29(d)所示的画面上，存在邻近的物体时，综合判定手段45c将与上述形状判定手段45e判定出的光标形状相一致的虚拟物体作为“抓住”对象(图中，由于光标的指间隔狭窄，判断平面体为适合作为“抓住”动作的对象，平面体被选择)。这样一来，使得根据光标的形状能够对操作者意图中的虚拟物体进行选择，在操作者抓虚拟物体时，由于对应有易于联想的光标形状，使操作变得容易进行。
另外，综合判定手段45c对被学习手段45f判定为是与过去抓住的情况相类似的虚拟物体进行优先选择。这样一来，使得操作者能够再现与过去进行过的操作相近的判断，使操作性得到提高。
如上所述的本发明，操作者在虚拟空间上操作的光标与虚拟空间内的虚拟物体之间是否发生相互作用、不是只由光标与虚拟物体之间的距离来决定，还根据操作者在操作上的动作及视线、或过去的事例来决定。由此，在使用在虚拟空间的光标与虚拟物体之间进行相互作用的接口上，能够使操作性得到提高。
此外，在本实施例中，作为相互作用，虽是以使用光标抓虚拟物体的动作来进行说明的，然而，其他对虚拟物体的指令(指示)及冲撞、摩擦、打击、远隔操作等动作也同样能够处理。另外，虚拟空间为2维空间时，以及显示手段使用的是3维立体显示器的情况下，也能够得到同样的效果。另外，作为实现的手段，既可以使用硬件，也可以使用计算机上的软件来实现。
如上所述的本发明，操作者在虚拟空间上操作的光标与虚拟空间内的虚拟物体之间是否发生相互作用、不是只由构成虚拟空间内的光标与虚拟物体的构成要素之间的距离来决定，还根据距离计算手段计算出的代表点之间的距离以及动作识别手段识别的光标的动作，由综合判定手段对是否发生相互作用进行判定，由此，对于在虚拟空间内的、距离不一定邻近的的对象物也能够发生相互作用，能够提供操作性良好的输入输出接口。另外，由于不必象以往的接触判定方法那样，对构成虚拟空间内的光标与虚拟物体的构成要素之间的距离全都进行计算，减轻了计算量，使处理的高速化成为可能。
如上所述的本发明能够对操作者手的形状或/以及其移动进行识别，利用把识别到的手的形状的特征作为特殊形状在画面上进行的光标显示，对画面内显示的信息，利用手的形状及移动，能够容易地进行操作性良好的控制。
再有，在把手的形状的特征作为特殊形状在画面上进行光标显示的同时，对与光标显示以外的显示物之间的关联、逐次自动地进行遵照操作者的意图的相互作用的判定，由此，能够实现在指示显示物、抓住显示物等操作上，操作性进一步提高了的接口。
权利要求
1.一种接口装置，包括识别装置，用于识别操作者手的形状；显示装置，用于将由上述识别装置识别到的手的形状特征作为特殊形状在画面上显示出来；控制装置，根据由上述显示装置在画面上显示的特殊形状，对上述画面内的显示信息进行控制。
2.如权利要求1所记载的接口装置，其中所述识别装置对手的形状和上述手的移动一同进行识别，其显示装置将上述识别装置识别到的手的形状和移动特征作为特殊形状在画面上显示出来。
3.如权利要求1所记载的接口装置，其中所述控制装置进行控制以便对显示的信息进行选择。
4.一种接口装置，至少包括摄象部；动作识别部，用于对摄象图象中物体的形状以及/或者移动进行识别；显示部，用于将由上述动作识别装置识别的物体的形状以及/或者移动显示出来，帧存储器，用于存储由上述摄象部所摄的图象；基准图象存储器，用于存储作为基准图象的图象。该图象是在上述帧存储器中存储的图象之前的时间所摄的图象，上述动作识别部还包括图象差运算部，用于提取上述帧存储器中的图象与上述基准图象存储器中存储的基准图象之间的差异。
5.如权利要求4所记载的接口装置，设置有基准图象更新部，用于将其基准图象存储器中存储的基准图象更新为新的图象。
6.如权利要求4所记载的接口装置，设置有定时器，用于对基准图象更新部的基准图象更新的间隔进行运算。
7.一种接口装置，至少包括摄象部；动作识别部，用于对摄象图象中使用者手的形状以及/或者移动进行识别；显示部，用于将由上述动作识别装置识别的使用者手的形状以及/或者移动显示出来；在构成上动作识别部设置有轮廓提取装置，用于将所摄的使用者的轮廓提取出来；轮廓波形运算部，用于对提取的轮廓进行跟踪，并对轮廓线的角度与轮廓线的长度之间的关系、即轮廓波形进行计算；形状滤波器，用于对轮廓波形运算部计算后的轮廓波形进行滤波，生成表示规定形状的形状波形。
8.如权利要求7所记载的接口装置，该装置利用不同带宽的多个带通滤波器构成多形状滤波器，根据上述多形状滤波器生成的形状波形，对使用者的动作进行判定。
9.如权利要求7所记载的接口装置，其中，该装置在构成上至少由与手的凹凸相对应的轮廓波形带通滤波器、和与手指的凹凸相对应的轮廓波形带通滤波器来构成多形状滤波器。
10.如权利要求7所记载的接口装置，其中，在动作识别部的构成上，设置坐标表，用于存储所摄的使用者的轮廓形状的坐标与经轮廓波形运算部计算后的轮廓波形之间的对应关系，设置坐标运算部，利用形状波形的波峰所在位置和上述坐标表来对摄象图象中的规定形状所在的坐标进行计算。
11.如权利要求7所记载的接口装置，其中，在动作识别部的构成上，设置形状判定部，用于对由形状滤波器所生成的形状波形中的脉冲数进行计数，根据上述形状判定部的输出值对物体的形状进行判定。
12.如权利要求7所记载的接口装置，其中，在动作识别部的构成上，设置微分器，用于对由形状滤波器所生成的形状波形进行微分运算。
13.一种接口装置，其特征在于显示装置；输入装置，用于对上述的显示装置上显示的光标的位置以及形状进行变更；光标存储装置，用于对代表上述光标位置的代表点坐标以及上述光标的形状进行存储；物体存储装置，用于对代表上述光标以外的显示物体的位置的代表点坐标以及上述物体的形状进行存储；相互作用判定装置，用于利用上述光标存储装置中存储的光标的位置及形状和上述物体存储装置中存储的物体的位置及形状，对上述光标与上述显示物体之间的相互作用进行判定，上述相互作用判定装置由如下部分构成距离计算装置，用于对上述光标的代表点中的至少一点与上述显示物体的代表点中的至少一点之间的距离进行计算；动作识别装置，用于对上述光标的移动或形状的变化进行识别；综合判定装置，该装置利用上述距离计算装置计算的距离和上述动作识别装置的识别结果来决定上述光标与上述显示物体的相互作用。
14.如权利要求13所记载的接口装置，其特征在于在动作识别装置识别了预先登录过的动作时，对于距离计算装置计算的距离小于预先确定基准的显示物体，相互作用判定装置让其发生相互作用。
15.如权利要求13所记载的接口装置，其特征在于设置移动矢量计算装置来构成相互作用判定装置，上述移动矢量计算装置用于对虚拟空间内的光标的移动方向和移动量进行计算，根据上述移动矢量计算装置对虚拟空间内的光标的移动方向和移动量的计算结果，由相互作用判定装置对上述光标与显示物体的相互作用进行决定。
16.如权利要求15所记载的接口装置，其特征在于移动矢量计算装置计算出的光标的移动量小于预先确定基准时，相互作用判定装置让其发生相互作用。
17.如权利要求15所记载的接口装置，其特征在于对于移动矢量计算装置计算出的光标的移动方向的延长线附近存在的显示物体，相互作用判定装置让其发生相互作用。
18.如权利要求13所记载的接口装置，其特征在于在光标的形状与显示物体的形状成为预先登录过的组合时，相互作用判定装置让其发生相互作用。
19.如权利要求13所记载的接口装置，其特征在于在相互作用判定装置的构成中具备形状判定装置，上述形状判定装置对光标的形状与显示物体的形状进行识别，在上述形状判定装置识别的光标的形状与显示物体的形状相一致时，相互作用判定装置让其发生相互作用。
20.如权利要求13所记载的接口装置，其特征在于设置检测视线方向的视线输入装置，对于上述视线输入装置检测出的视线的延长线附近的显示物体，在动作识别装置识别了预先登录过的动作的情况下，相互作用判定装置让其发生相互作用。
21.如权利要求20所记载的接口装置，其特征在于对于视线输入装置检测出的视线的延长线附近的显示物体，上述视线的延长线附近存在光标，且在动作识别装置识别了预先登录过的动作的情况下，相互作用判定装置让其发生相互作用。
22.如权利要求13所记载的接口装置，其特征在于设置学习装置，对使其发生了相互作用时的、光标与作为对象的显示物体之间的位置关系、以及上述光标的形状和上述物体的形状进行学习，相互作用判定装置根据学习装置的学习结果来决定相互作用。
23.如权利要求22所记载的接口装置，其特征在于光标与作为对象的显示物体之间的位置关系、以及上述光标的形状和上述物体的形状、与学习装置过去学习过的位置关系或形状相类似时，相互作用判定装置让其发生相互作用。
24.如权利要求13所记载的接口装置，其特征在于在相互作用判定装置的构成中具备坐标变换装置，上述坐标变换装置对由光标存储部以及物体存储部向距离计算装置的输入进行坐标变换。
25.如权利要求24所记载的接口装置，其特征在于在使其发生了相互作用时、进行坐标变换，以使光标与作为对象的显示物体之间的位置关系接近。
全文摘要
本发明涉及计算机、文字处理器等信息装置或电视机等具有显示器的装置的、实行输入输出的接口装置。在构成上,本发明具有:识别装置,用于识别操作者手的形状以及/或者其移动;显示装置,用于将由该识别装置识别到的手的形状以及/或者其移动特征作为特殊形状在画面上显示出来;控制装置,根据由该显示装置在画面上显示的特殊形状,对画面内的显示信息进行控制。本发明是只需将手的形状改变或移动,就能够对画面上显示的2维或3维的信息进行选择、指示、移动等控制的、操作性良好且通用性高的接口装置。
文档编号G06F3/00GK1183151SQ96193561
公开日1998年5月27日 申请日期1996年4月25日 优先权日1995年4月28日
发明者丸野进, 今川太郎, 森家道代, 近藤坚司 申请人:松下电器产业株式会社