指示输入装置、指示输入方法、程序、记录介质以及集成电路的制作方法

专利名称：指示输入装置、指示输入方法、程序、记录介质以及集成电路的制作方法
技术领域：
本发明涉及根据基于用户手的动作的定点操作，算出在画面上显示的指针的显示位置的指示输入装置以及指示输入方法等。
背景技术：
随着显示器和屏幕的大屏幕化，显示器不单单用于视听节目和信息阅览，而且如多个信息的同时使用和大量信息的一览，在显示器上显示广告的电子广告系统等向新的使用方法的可能性正在扩大。
此外，周知的有如下的指示输入装置针对大屏幕显示器，使用用户把持的坐标输入装置和手指指示动作等，能够在与显示画面分离的位置输入信息。在这种装置中，为了指示显示画面上的任意的位置，细致地移动把持的坐标输入装置或者指尖，对用户来说并不是容易的操作。此外，在多人同时使用的情况下，很多时候因为其他的用户限制了向任意的位置移动，尤其是对在画面上相互分离的位置进行指示输入，对用户来说是非常困难的操作。因此，希望采用如下操作方式，不在显示画面的前面移动，且根据简单的操作就能够指示显示器上的任意位置的操作方式。在这样的情况下，针对前段的课题，提出了在从分离的位置也能简单地指示输入任意的位置的操作方式。已知有注视画面的时间为规定时间以上的时候，使指针移动到画面上的注视点，从该位置根据输入装置使指针相对地移动的方式(参考专利文献I)。此外，还有利用能够切换绝对输入和相对输入的坐标输入装置来操作画面整体，且通过估计用户在空间上移动坐标输入装置时的操作面，从而提高操作性的方式(参考专利文献2)。进一步，还有周知的是具备如下单元的装置，该单元是根据显示画面上的指针的移动状态，切换到使相对于坐标输入装置的动作的指针的移动量变小的模式的单元(参考专利文献3)。现有技术文献专利文献专利文献I :日本特开平9 — 128138号公报专利文献2 日本专利第3952896号公报专利文献3 日本特开2008 - 171337号公报然而，上述以往的技术都没有考虑，与用户看着的方向相同的方向伸出的手和与其对应的画面上的指针之间的位置关系不发生变化。换言之，在以往的技术中，用户的手在沿着用户看着的方向(视线方向)上的线上的状态下，用户向该线上的不同的位置伸手，指针有可能被显示在不同的位置上。例如，从所述线上的第一位置，用户将手移动到从该线偏离的第二位置之后，将手移动到该线上的第三位置。这个情况下，尽管手在第一位置上的时候用户看着的方向与手在第三位置的时候用户看着的方向一样，但是在所述线上第一位置与第三位置不同，则指针的显示位置就会不同。例如，从第一位置到第二位置的距离与从第二位置到第三位置的距离不同，则指针的显示位置就会不同。用户估计如果手在沿着视线方向的线上，即使手在线上互不相同的位置上，也会在画面上的相同位置上显示指针。因此，在上述以往技术中存在这样的课题，指针显示在与用户估计的地方不同的位置上，即难以如愿地操作指针的位置。进一步在对画面上的相互分离的位置进行操作的情况下，用户将身体或者脸斜对着画面进行定点操作，所以身体的朝向，视线的朝向以及画面的朝向存在不同。上述的以往技术都没有顾及到所述的朝向的不同，用户移动手的量与画面上的指针的移动量存在大的偏离，不明白手要移动多少，才能够将指针移动到目标地，存在难以如愿地操作这样的课题。

发明内容
本发明为了解决所述以往的课题，其目的在于，提供一种指示输入装置以及指示输入方法等，以向用户看着的方向伸出的手和与其对应的画面上的指针的位置关系不发生变化，且用户的手的移动量和画面上的指针的移动量的对应关系不发生变化的方式，来算 出指针的显示位置，从而用户能够直观理解以及容易操作。为了达成上述的目的，本发明的一个方案涉及的指示输入装置，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述指示输入装置具备用户位置检测部，检测用户的位置；输入坐标检测部，将表示所述用户的手的位置的坐标作为输入坐标来检测；第一方向检测部，根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向；第二方向检测部，根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向；注视位置算出部，根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置；基准线算出部，根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线；偏移量算出部，将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及指针显示位置算出部，将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。根据该构成，能够根据用户看着的方向和用户进行定点操作的方向，算出指针的显示位置。换言之，将基准线(基准坐标群)与输入坐标之间的在第二方向上的距离，作为相对于注视位置的偏移量来算出，将该画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为该偏移量的位置，作为在指针的显示位置来算出。从而，能够使用户向看着的方向伸出的手和与其对应的画面上的指针的位置关系不发生变化。加之，也能够以使用户的手的移动量与画面上的指针的移动量的对应关系不发生变化的方式，算出指针的显示位置。其结果，能够实现用户能够直观理解以及容易操作的指示输入装置。此外，优选的是，所述用户的位置是用户的脸部位置或者头部位置。根据该构成，用户的位置成为脸部或者头部位置，所以能够使用户的注视位置的算出精度提高。此外，优选的是，所述指示输入装置还具备三维坐标输入装置，该三维坐标输入装置在被用户把持的状态下输出装置本身的位置，所述输入坐标检测部，将由所述三维坐标输入装置输出的位置的坐标，作为所述输入坐标来检测。根据这个构成，能够使表示用户的手的位置的输入坐标的检测精度提高。此外，优选的是，所述指示输入装置还具备摄像部，该摄像部拍摄用户，所述输入坐标检测部根据由所述摄像部进行拍摄而获得的图像，检测所述输入坐标，所述输入坐标表示所述用户的手的位置。根据这个构成，即使是用户的手没有把持三维坐标输入装置的情况下，也能检测输入坐标，所以能够使用户的便利性提高。此外，优选的是，所述输入坐标检测部还根据由所述摄像部进行拍摄而获得的图像，识别所述用户的右手以及左手，按照被识别的左手和右手分别检测输入坐标。
根据这个构成，能够按照左手与右手检测输入坐标，能够使用户的操作性提高。

此外，优选的是，所述第一方向检测部，根据包含脸部朝向以及视线中的至少一方的所述用户的身体的姿势，检测所述第一方向。根据这个构成，能够根据脸部朝向以及视线的至少一方来检测第一方向。此外，优选的是，所述第二方向检测部，根据至少包含身体的朝向的所述用户的身体的姿势，检测所述第二方向。根据这个构成，能够根据用户的身体的朝向来检测第二方向。此外，优选的是，所述第二方向检测部，除了根据用户的身体的姿势，还根据相对于所述用户的位置的所述画面的方向，检测所述第二方向。根据这个构成，将与用户的位置和画面的位置之间的位置关系适应的方向，作为第二方向来检测。此外，优选的是，所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向，还根据所述第二方向，算出所述基准线。根据这个构成，在第一方向与第二方向之间的角度比预先规定的角度小的情况下，用户向以头部位置为基准的视线方向的矢量上伸出一只手，存在困难。在这样的情况下，对于该一只手，能够根据第二方向恰当地算出基准线。此外，优选的是，所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与胸部位置的对应关系的信息，所述基准线算出部，根据所述用户的位置以及所述第一方向，还根据从所述用户信息数据库获得的表示所述对应关系的信息，算出所述基准线。根据这个构成，能够以用户的胸部位置为基准算出基准线，所以能够算出与用户的自然的姿势的定点操作对应的基准线。此外，优选的是，所述指示输入装置还具备用户信息数据库，存储至少表示每个用户的胸部位置的信息；以及用户识别部，识别用户，所述基准线算出部，根据所述用户的位置以及所述第一方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的胸部位置的信息，来算出所述基准线，所述用户识别信息是表示由所述用户识别部识别的用户的信息。根据这个构成，能够算出与每个用户的身体特征适应的基准线。此外，优选的是，所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向、和从所述用户信息数据库获得的表示所述对应关系的信息，还根据所述第二方向，算出所述基准线。根据这个构成，第一方向和第二方向之间的角度比预先规定的角度小的情况下，用户向以胸部位置为基准的视线方向的矢量上伸出一只手，存在困难。在这样的情况下，对于该一只手，能够根据第二方向恰当地算出基准线。此外，优选的是，所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与手臂的长度的对应关系的信息，所述偏移量算出部，根据所述第二方向、和从所述用户信息数据库获得的表示所述对应关系的信息，算出所述偏移量。根据这个构成，能够考虑用户的手臂的长度来算出偏移量，所以能够使相对于用户的手的移动量的画面上的指针的移动量，不会因用户的手臂的长度不同而变化。
此外，优选的是，所述指示输入装置还具备用户信息数据库，存储至少表示每个用户的手臂的长度的信息；以及用户识别部，识别用户，所述偏移量算出部，根据所述第二方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的手臂的长度的信息，来算出所述偏移量，所述用户识别信息是表示由所述用户识别部识别的用户的信肩、O根据这个构成，能够算出与每个用户的身体特征适应的偏移量。此外，优选的是，所述指示输入装置还具备显示部，该显示部，在由所述指针显示位置算出部算出的显示位置上显示指针。根据这个构成，指示输入装置也能够显示指针。此外，优选的是，所述偏移量算出部，将所述基准线与所述输入坐标之间的在第三方向上的距离，作为在沿着所述画面上的第二画面规定方向的相对于所述注视位置的其他的偏移量来算出，所述指针显示位置算出部，将所述画面上的在所述第二画面规定方向上与所述注视位置之间的距离成为所述其他的偏移量的位置，作为在所述画面上显示的指针的显示位置来算出，所述第三方向是与第一方向以及第二方向不同的方向，所述第二画面规定方向是与所述第一画面规定方向不同的方向。这样，将基准线与输入坐标之间的在第二方向上的距离和在第三方向上的距离分别作为偏移量来算出，从注视位置朝着第一画面规定方向以及第二画面规定方向分别隔开所述偏移量的位置，作为指针的显示位置来算出。因此，能够实现用户在二维上直观理解以及容易操作的指示输入装置。另外，本发明不仅能作为这样的指示输入装置来实现，还能作为将这样的指示输入装置具备的特征性构成部的动作为步骤的指示输入方法来实现。此外，本发明也能够作为使计算机执行指示输入方法中包含的各步骤的程序来实现。而且，这样的程序当然能够经由⑶-ROM (Compact Disc Read Only Memory)等的记录介质或者互联网等传输介质来分发。根据本发明，能够根据用户看着的方向和用户进行定点操作的方向，来算出指针的显示位置。从而，能够使向用户看着的方向伸出的手和与其对应的画面上的指针之间的位置关系不发生变化。加之，能够以使用户的手的移动量和画面上的指针的移动量的对应关系不变化的方式，来算出指针的显示位置。其结果，能够实现用户直观理解以及容易操作的指示输入装置以及指示输入方法。


图I是说明本发明的实施例I或者实施例2中的指示输入装置的外观和相关设备之间的接口的一个例子的图。图2是本发明的实施例I的指示输入装置的主要功能方框图。图3A是说明在本发明的实施例I中的用户位置与其三维位置的检测方法的图。图3B是说明在本发明的实施例I中的用户位置与其三维位置的检测方法的另一图。图4A是说明在本发明的实施例I中的基于图像的脸部朝向或者视线的检测方法 的图。图4B是说明在本发明的实施例I中的基于图像的脸部朝向或者视线的检测方法的流程图。图5A是说明在本发明的实施例I中的基于图像的脸部朝向的检测方法的图。图5B是说明在本发明的实施例I中的基于图像的黑眼球朝向的检测方法的图。图5C是说明在本发明的实施例I中的基于图像的黑眼球朝向的检测方法的另一图。图6A是说明在本发明的实施例I中的基于图像的身体朝向的检测方法的流程图。图6B是说明在本发明的实施例I中的基于图像的身体朝向的检测方法的图。图7A是说明在本发明的实施例I中的基于图像的手的检测方法的图。图7B是说明在本发明的实施例I中的基于图像的手的检测方法的流程图。图8A是说明在本发明的实施例I中的基于坐标输入遥控器的手的位置的检测方法的图。图8B是在本发明的实施例I的坐标输入遥控器的外观图。图9是说明在本发明的实施例I中的画面上的注视位置的算出方法的图。图10是说明在本发明的实施例I中的基准坐标群的算出方法的图。图IlA是说明在本发明的实施例I中的偏移量的算出方法的图。图IlB是说明在本发明的实施例I中的偏移量的算出方法的另一图。图IlC是用于说明本发明的实施例I中的指示输入装置的效果的图。图IlD是用于说明本发明的实施例I中的指示输入装置的效果的另一图。图12是本发明的实施例2中的指示输入装置的主要功能方框图。图13是说明本发明的实施例2中的用户信息数据库的图。图14A是说明在本发明的实施例2中的根据用户信息数据库算出基准坐标群的算出方法的图。图14B是说明在本发明的实施例2中的根据用户信息数据库算出基准坐标群的算出方法的另一图。图15A是说明在本发明的实施例2中的根据用户信息数据库算出偏移量的算出方法的图。图15B是说明在本发明的实施例2中的根据用户信息数据库算出偏移量的算出方法的另一图。图16是本发明的实施例2的变形例中的指示输入装置的主要功能方框图。
具体实施例方式下面，参考附图来说明本发明的实施方式。(实施例I)< 概要 >本发明涉及的指示输入装置适合适用于由I人以上的用户进行操作的大屏幕显示器，根据用户的定点操作进行画面上显示的指针位置的控制。在这里，定点操作是根据用户的手的手势操作，是用于移动指针的操作。此外，指 不需要限定为特定的形态，只要是用户能够识别的形态，不管怎样的形态都可以。指针的典型图像是例如白色或者黑色的箭头记号的图像。〈构成〉图I是说明本发明的实施例中的指示输入装置的外形与相关设备之间的接口的一例的图。影像显示装置112根据由天线所接收的广播信号等在画面111显示图像或者影像，所述天线用于接收广播节目等。用户检测照相机100设置在影像显示装置112具备的画面111的附近，拍摄位于画面前方的用户。指示输入装置10，根据对利用用户检测照相机100拍摄的图像信息进行分析而检测出的用户的位置、动作、或者身体的姿态，来控制影像显示装置112。另外，指示输入装置10也可以根据保持坐标输入遥控器105的用户的手的位置和动作、和按下设置在该遥控器上的按钮等用户的遥控器操作，来控制影像显示装置112。此外，指示输入装置10也可以根据保持其他的设备例如移动电话的用户的手的位置和动作、和按下设置在该移动电话上的按钮等操作，来控制影像显示装置112。此外，影像显示装置112经由路由器/集线器等与互联网连接，能够显示从互联网上获得的数字信息。此外、在图I中未表示，不过，影像显示装置112具有的多个扬声器，可以设置在影像显示装置112的上端和下端或者左端和右端这样的相互分离的位置上。图2是表示本发明的实施例I的指示输入装置的构成例的图。用户检测照相机100拍摄位于画面111的前方的用户，并将通过拍摄得到的图像发送到指示输入装置10。指示输入装置10根据用户的定点操作，算出在画面上显示的指针的显示位置。指示输入装置10具备用户位置检测部101、第一方向检测部102、第二方向检测部103、以及坐标输入检测部104。还具备指示输入装置10、注视位置算出部106、基准坐标群算出部107、偏移量算出部108、以及指针显示位置算出部109。坐标输入遥控器105是三维坐标输入装置的一例。坐标输入遥控器105在被用户把持的状态下输出该坐标输入遥控器105的位置。坐标输入遥控器105具备按钮输入部1051和位置检测部1052。影像显示装置112具备显示部110和画面111。显示部110将指针显示在由指针显示位置算出部109算出的画面111上的显示位置上。< 工作 >下面说明图2中的各块的功能。<用户检测照相机>用户检测照相机100设置在影像显示装置112上，具备(XD (Charge CoupledDevice)等图像传感器。用户检测照相机100拍摄位于画面111的前方的用户。<用户位置检测部> 用户位置检测部101从由用户检测照相机100拍摄的多个图像进行用户区域的提取之后，根据多个图像中的用户区域的对应关系，根据立体视的原理，算出相对于画面111的用户的脸或者头的相对位置。图3A以及图3B是表示本发明的实施例I的用户位置检测部101根据立体视的原理算出用户的位置的方法的图。如图3A所示，将两台一组的用户检测照相机100设置成相隔间距B，相对于画面111平行地设置。用户位置检测部101基于由各个用户检测照相机100几乎同时拍摄到的两个图像内的对应的用户区域的位置的偏差，算出用户与画面111之间的距离D。由各用户检测照相机100拍摄到的图像内的用户映现的区域(用户区域)的提取，例如，通过预先保存用户不在的状态下由各用户检测照相机100拍摄到的图像，并求出与用户出现时的图像之间的差分来实现。此外，用户位置检测部101也可以通过脸部图像检测求出用户的脸部区域，将所述脸部区域作为用户区域来提取。图3B是表示了立体视的原理的图，立体视的原理是指基于两个图像上的对应的用户区域，求出用户和照相机设置面(画面111)之间的距离D。若将分别对应由两台用户检测照相机100所拍摄到的图像的用户区域作为位置测定对象时，该用户区域的像如图3B一样地投影在两个摄影面(图像)上。若将对应的像在图像上的偏差作为Z时，根据用户检测照相机100的焦距f和用户检测照相机100的光轴间的距离B，用户和画面111之间的距离D由D=fXB/Z来求出。此外，关于在与画面111平行的方向上的用户位置，能够基于图像中的用户区域的位置和所述的距离D来求出。这样，用户位置检测部101输出如上述求出的针对画面111的用户的相对位置。另外，作为用户检测照相机100使用根据光波测距(Time of Flight)的原理输出距离信息的距离图像感应器等时，用户位置检测部101，通过使用该距离信息能够容易地算出对于画面111的用户的相对位置。这个情况下，用户检测照相机100也可以是I台。<第一方向检测部>第一方向检测部102从由用户检测照相机100拍摄的图像中检测视线的方向(以下，简称为“视线方向”)为第一方向，该第一方向表不用户看着的方向。图4A 图5C是表示本发明的实施例I的第一方向检测部102的视线检测方法的图。视线方向根据脸部的朝向(以下，简称为“脸部朝向”)和眼睛中的黑眼球部分的方向(以下简称为“黑眼球的朝向”或者“黑眼球方向”)的组合来计算视线方向。于是，第一方向检测部102，首先估计人物的三维脸部朝向，接着进行黑眼球的朝向的估计，结合二者来计算视线方向。如图4A所示，第一方向检测部102从由用户检测照相机100拍摄的图像中，首先进行脸部朝向的估计。脸部朝向通过利用例如图4B及图5A使用以下说明的方法来进行估计。图4B是表示视线方向的估计方法的整体流程的流程图。本实施例中，针对几个脸部朝向的每一个朝向分别预先准备在被检测出的脸部区域的眼睛、鼻子以及嘴等的脸部部分特征点的区域。图5A的例子中准备了脸部朝向正面以及左右±20度的脸部部分特征点的区域。此外，预先准备了切出各脸部部分特征点周围区域的模板图像。首先，用户检测照相机100拍摄位于画面111的前方的用户(S201)。而且，第一方向检测部102，从拍摄的图像进行脸部区域的检测(S202)。接着，第一方向检测部102，针对检测出的脸部区域，适用与各脸部朝向对应的脸部部分特征点的区域(脸部部分区域)(S203)，切出各脸部部分特征点的区域图像(脸部部分区域图像)。第一方向检测部102，计 算被切出的区域图像与预先准备的模板图像的相关(S204)，针对各脸部朝向的角度以相关的比进行加权，求出被加权的各脸部朝向的角度的和(加权和)，将该和作为检测脸部的脸部朝向(S205)。在图5A的例子中，针对脸部朝向“+20度”的相关是0.85，针对“O度(正面朝向)”的相关为“O. 14”，针对“一 20度”的相关为“O. 01”，因此，将脸部朝向算出为20X0. 85+0X0. 14 - 20X0. 01=16. 8 度。在此，将各脸部部分区域作为相关计算的对象，但是不限于此，例如，也可以将脸部区域全体作为相关计算的对象。并且，作为其他的方法公知的有如下的方法从脸部图像中检测眼睛、鼻子以及嘴等的脸部部分特征点，根据脸部部分特征点的位置关系来计算脸部朝向。作为根据脸部部分特征点的位置关系来计算脸部朝向的方法，存在如下方法对预先准备的脸部部分特征点的三维模型进行旋转、放大或者缩小，进行匹配以使其与从一个照相机得到的脸部部分特征点最一致，根据得到的三维模型的旋转量来计算脸部朝向。此夕卜，还存在如下方法利用使用2台照相机的立体视的原理，根据左右照相机中的脸部部分特征点位置在图像上的偏差来计算各脸部部分特征点的三维位置，根据得到的脸部部分特征点的位置关系来计算脸部朝向。例如存在这样的方法将以双眼和嘴的三维坐标点展开的平面的法线方向检测为脸部朝向的方法等。第一方向检测部102，在脸部朝向决定之后估计黑眼球的朝向。黑眼球方向能够通过例如以下的方法来估计。利用图4B、图5B以及图5C说明黑眼球方向的估计方法的概要。首先，说明关于视线方向基准面的算出。在本方法中的视线方向基准面是算出视线方向时成为基准的面，与脸部的左右对称面相同。在本方法中，内眼角比外眼角和嘴角、眉毛等其他的脸部部分相比，由表情引起的变动少，并且误测少，利用此第一方向检测部102使用内眼角的三维位置来算出脸部的左右对称面。第一方向检测部102，针对由立体照相机拍摄的2张图像，使用脸部检测模块和脸部部分检测模块来检测内眼角，并将这些进行立体测量，从而测量内眼角的三维位置(S206)。如图5B所示，视线方向基准面作为将检测到的左右内眼角作为端点的线段的垂直等分面来获得。
接着，对黑眼球中心的检测进行说明。人所看到的是，从瞳孔进入的光到达网膜，成为电信号传递到大脑的。因此，在检测视线方向的情况下，看瞳孔的动作就可以。但是，日本人的虹彩为黑色或茶色，所以，在图像上难以判别瞳孔和虹彩。于是在这里，由于瞳孔的中心和黑眼球(虹彩)的中心大致一致，因此第一方向检测部102检测黑眼球中心，以代替检测瞳孔的中心。首先，第一方向检测部102检测外眼角和内眼角，如图5C的(c 一 I)所示，包含外眼角和内眼角的眼睛区域中，将亮度最小的区域检测为黑眼球区域。接着，第一方向检测部102，如图5C的(c 一 2)所示，由第一区域和第二区域构成的黑眼球中心检测滤片设定为黑眼球区域，搜索第一区域内的像素亮度和第二区域内的像素亮度的区域间分散最大的圆中心，将此作为黑眼球中心。最后与上述同样，第一方向检测部102通过立体测量来获得黑眼球中心的三维位置(S207)。加之，对视线方向的检测进行说明。第一方向检测部102使用计算出的视线方向基准面和黑眼球中心的三维位置来检测针对脸部正面的视线方向(黑眼球的朝向)。众所周知，成人的眼球直径几乎没有个人差异，例如日本人的眼球直径大约是24_。因此，如果知道朝着作为基准的方向(例如正面)时的黑眼球中心的位置，则能够求出从该位置到当前的黑眼球中心位置为止的位移，从而能够计算出针对脸部正面的视线方向(黑眼球的朝向)。以往的方法中，因为朝向作为基准的方向时的黑眼球中心的位置不是已知的，所以需 要校准(calibration)。与此相对，本方法中，利用朝向正面时左右黑眼球中心的中点存在于脸部中心，即，在视线方向基准面上的性质，通过测量左右黑眼球中心的中点与视线方向基准面的距离，来计算针对脸部正面的视线方向(黑眼球的朝向)(S208)。在这个方法中，针对脸部正面的视线方向(黑眼球的朝向)，作为针对脸部正面的左右方向的旋转角Θ来获得。旋转角Θ利用以下的(算式I)来求出。(算式I)
权利要求
1.一种指示输入装置，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述指示输入装置具备 用户位置检测部，检测用户的位置； 输入坐标检测部，将表示所述用户的手的位置的坐标作为输入坐标来检测； 第一方向检测部，根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向； 第二方向检测部，根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向； 注视位置算出部，根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置； 基准线算出部，根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线； 偏移量算出部，将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及 指针显示位置算出部，将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。
2.如权利要求I所述的指示输入装置， 所述用户的位置是用户的脸部位置或者头部位置。
3.如权利要求I所述的指示输入装置， 所述指示输入装置还具备三维坐标输入装置，该三维坐标输入装置在被用户把持的状态下输出装置本身的位置， 所述输入坐标检测部，将由所述三维坐标输入装置输出的位置的坐标，作为所述输入坐标来检测。
4.如权利要求I所述的指示输入装置， 所述指示输入装置还具备摄像部，该摄像部拍摄用户， 所述输入坐标检测部根据由所述摄像部进行拍摄而获得的图像，检测所述输入坐标，所述输入坐标表示所述用户的手的位置。
5.如权利要求4所述的指示输入装置， 所述输入坐标检测部还根据由所述摄像部进行拍摄而获得的图像，识别所述用户的右手以及左手，按照被识别的左手和右手分别检测输入坐标。
6.如权利要求I所述的指示输入装置， 所述第一方向检测部，根据包含脸部朝向以及视线中的至少一方的所述用户的身体的姿势，检测所述第一方向。
7.如权利要求I所述的指示输入装置， 所述第二方向检测部，根据至少包含身体的朝向的所述用户的身体的姿势，检测所述第二方向。
8.如权利要求7所述的指示输入装置， 所述第二方向检测部，除了根据用户的身体的姿势，还根据相对于所述用户的位置的所述画面的方向，检测所述第二方向。
9.如权利要求I所述的指示输入装置， 所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向，还根据所述第二方向，算出所述基准线。
10.如权利要求I所述的指示输入装置， 所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与胸部位置的对应关系的信息， 所述基准线算出部，根据所述用户的位置以及所述第一方向，还根据从所述用户信息数据库获得的表示所述对应关系的信息，算出所述基准线。
11.如权利要求I所述的指示输入装置， 所述指示输入装置还具备 用户信息数据库，存储至少表示每个用户的胸部位置的信息；以及 用户识别部，识别用户， 所述基准线算出部，根据所述用户的位置以及所述第一方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的胸部位置的信息，来算出所述基准线，所述用户识别信息是表示由所述用户识别部识别的用户的信息。
12.如权利要求10所述的指示输入装置， 所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向、和从所述用户信息数据库获得的表示所述对应关系的信息，还根据所述第二方向，算出所述基准线。
13.如权利要求I所述的指示输入装置， 所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与手臂的长度的对应关系的信息， 所述偏移量算出部，根据所述第二方向、和从所述用户信息数据库获得的表示所述对应关系的信息，算出所述偏移量。
14.如权利要求I所述的指示输入装置， 所述指示输入装置还具备 用户信息数据库，存储至少表示每个用户的手臂的长度的信息；以及 用户识别部，识别用户， 所述偏移量算出部，根据所述第二方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的手臂的长度的信息，来算出所述偏移量，所述用户识别信息是表示由所述用户识别部识别的用户的信息。
15.如权利要求I所述的指示输入装置， 所述指示输入装置还具备显示部，该显示部，在由所述指针显示位置算出部算出的显示位置上显示指针。
16.如权利要求I所述的指示输入装置， 所述偏移量算出部，将所述基准线与所述输入坐标之间的在第三方向上的距离，作为在沿着所述画面上的第二画面规定方向的相对于所述注视位置的其他的偏移量来算出，所述指针显示位置算出部，将所述画面上的在所述第二画面规定方向上与所述注视位置之间的距离成为所述其他的偏移量的位置，作为在所述画面上显示的指针的显示位置来算出， 所述第三方向是与第一方向以及第二方向不同的方向，所述第二画面规定方向是与所述第一画面规定方向不同的方向。
17.一种指示输入方法，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述指示输入方法包括 检测用户的位置； 将表示所述用户的手的位置的坐标作为输入坐标来检测； 根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向； 根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向； 根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置； 根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线； 将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。
18.—种程序，用于根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述程序使计算机执行如下 检测用户的位置； 将表示所述用户的手的位置的坐标作为输入坐标来检测； 根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向； 根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向； 根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置； 根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线； 将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。
19.一种记录介质,存储权利要求18所述的程序。
20.一种集成电路，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述集成电路具备 用户位置检测部，检测用户的位置； 输入坐标检测部，将表示所述用户的手的位置的坐标作为输入坐标来检测； 第一方向检测部，根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向； 第二方向检测部，根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向； 注视位置算出部，根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置； 基准线算出部，根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线； 偏移量算出部，将所述基准线和所述输入坐 标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及 指针显示位置算出部，将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。
全文摘要
用户直观理解以及容易操作的指示输入装置(10)具备第一方向检测部(102)，检测作为用户看着的方向的第一方向；第二方向检测部(103)，检测作为用户进行定点操作的方向的第二方向；注视位置算出部(106)，根据用户的位置以及第一方向，算出画面上的用户的注视位置；基准坐标群算出部(107)，根据用户的位置以及第一方向，算出基准线，该基准线是与注视位置对应的线，且是连接用户和画面的空间上的线；偏移量算出部(108)，将表示用户的手的位置的输入坐标与基准线之间的在第二方向上的距离，作为相对于注视位置的偏移量来算出；以及指针显示位置算出部(109)，将画面上的在第一画面规定方向上与注视位置之间的距离成为该偏移量的位置，作为指针的显示位置来算出。
文档编号G06F3/033GK102812416SQ20118001359
公开日2012年12月5日 申请日期2011年6月16日 优先权日2010年6月17日
发明者井本浩靖, 前田茂则 申请人:松下电器产业株式会社