用户界面设备和用户界面方法
【技术领域】
[0001]本发明涉及用户界面技术。
【背景技术】
[0002]作为启用关于计算机的用户输入的用户界面(人机界面)设备，已经提供了诸如鼠标、操纵杆、跟踪球、以及触控板的多种装置。近年来，还开发了通过检测身体活动(手势)响应于身体运动启用用户输入的用户界面设备，诸如数据手套、数据衣等。用户可以通过这样的用户界面设备利用直觉感觉操作计算机。
[0003]例如，在以下描述的PTL I中，提出通过用户的手势促进操作输入的技术。通过所提出的技术，基于距离传感器的分辨率、显示器的三维显示性能、以及在深度方向上诸如用户的手的手指的指示点的测量距离，调节用于确定检测深度方向上的指示点的运动的敏感度的参数。然后，通过基于调节后的参数计算深度方向上的指示点的距离，识别通过用户的手势的操作输入。
[0004][引用列表]
[0005][专利文献]
[0006][PTL I]日本未审查专利申请公开N0.2012-137989
【发明内容】
[0007][技术问题]
[0008]然而，上述提出的方法仅假设对应于诸如手的手指的身体的特定部分(指示点，instruct1n point)的运动的用户输入，并且不假设对应于在定点操作中使用的用户的特定部位的形状(状态)的变化的用户输入，诸如，用手抓住物体的运动和通过手指握持物体的运动。
[0009]本发明考虑这些情况被做出，并且提供通过包括用户的特定部位的形状的变化的手势在直觉上和简单地操作计算机的用户界面技术。
[0010][技术方案]
[0011]为了解决上述问题，本发明的多个方面采用以下结构。
[0012]第一方面涉及用户界面设备。根据第一方面的用户界面设备包括:位置获取单元，其按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；变化检测单元，其检测用户的特定部位的预定形状的变化开始和变化结束；位置存储单元，其存储由位置获取单元顺序获取的定点位置中的对应于由变化检测单元检测到的变化开始的时间的定点位置；计算单元，其指定由位置获取单元获取的定点位置中的对应于由变化检测单元检测到的变化结束的时间的定点位置，并且计算指定定点位置和存储在位置存储单元中的定点位置之间的差异；以及位置调节单元，其使用由计算单元计算的差异，调节由位置获取单元获取的定点位置。
[0013]第二方面涉及用户界面方法。在根据第二方面的用户界面方法中，至少一个计算机按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；检测用户的特定部位的预定形状的变化开始和变化结束；存储顺序获取的定点位置中的对应于所检测到的变化开始的时间的定点位置；指定顺序获取的定点位置中的对应于所检测到的变化结束的时间的定点位置；计算指定定点位置和所存储定点位置之间的差异；以及使用所计算的差异，调节顺序获取的定点位置。
[0014]注意，其它方面可以是使得至少一个计算机实现以上第一方面中的各自结构的程序或者记录这样的程序的计算机可读记录介质。记录介质包括非暂时性有形介质。
[0015][有益效果]
[0016]根据上述各个方面，可以提供通过包括用户的特定部位的形状的变化的手势，在直觉上并且简单地操作计算机的用户界面技术。
【附图说明】
[0017]上述目标和其它目标、特征以及优点将从以下描述的优选示例性实施例和以下附图更加明显。
[0018][图1]图1是概念性地示出定点位置的获得的视图。
[0019][图2]图2是概念性地示出定点位置的获取的问题的视图。
[0020][图3]图3是概念性地示出示例性实施例中的定点位置的调节的视图。
[0021][图4]图4是概念性地示出第一示例性实施例中的三维用户界面设备(3D-UI设备)的硬件结构实例的视图。
[0022][图5]图5是示出第一示例性实施例中的三维用户界面设备(3D-UI设备)的利用形式的实例的视图。
[0023][图6]图6是示出HMD的外部结构的实例的视图。
[0024][图7]图7是概念性地示出第一示例性实施例中的传感器侧设备的功能结构实例的视图。
[0025][图8]图8是概念性地示出第一示例性实施例中的显示器侧设备的功能结构实例的视图。
[0026][图9]图9是示出显示在HMD上的合成图像的实例的视图。
[0027][图10]图10是示出第一示例性实施例中的三维用户界面设备(3D-UI设备)的操作实例的序列图。
[0028][图11]图11是示出图10中所示的步骤(S106)的详情的流程图。
[0029][图12]图12是概念性地示出第二示例性实施例中的三维用户界面设备(3D-UI设备)的功能结构实例的视图。
【具体实施方式】
[0030]此后，将描述本发明的示例性实施例。注意，以下各个示例性实施例是实例，并且本发明不限于以下各个示例性实施例的结构。
[0031]根据本示例性实施例的用户界面设备包括:位置获取单元，其按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；变化检测单元，其检测用户的特定部位的预定形状的变化开始和变化结束；位置存储单元，其存储由位置获取单元顺序获取的定点位置中的对应于由变化检测单元检测到的变化开始的时间的定点位置；计算单元，其指定由位置获取单元获取的定点位置中的对应于由变化检测单元检测到的变化结束的时间的定点位置，并且计算所指定定点位置和存储在位置存储单元中的定点位置之间的差异；以及位置调节单元，其使用由计算单元计算的差异，调节由位置获取单元获取的定点位置。
[0032]根据本示例性实施例的用于至少一个计算机的用户界面方法包括:按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；检测用户的特定部位的预定形状的变化开始和变化结束；存储顺序获取的定点位置中的对应于所检测到的变化开始的时间的定点位置；指定顺序获取的定点位置中的对应于所检测到的变化结束的时间的定点位置；计算所指定定点位置和所存储定点位置之间的差异；以及使用所计算的差异，调节顺序获取的定点位置。
[0033]此后，将使用图1至图3描述上述示例性实施例中的功能和效果。图1是概念性地示出定点位置的获取的视图。图2是概念性地示出定点位置的获取的问题的视图。图3是概念性地示出上述示例性实施例中的定点位置的调节的视图。
[0034]在本示例性实施例中，按顺序地获取对应于用户的特定部位的定点位置。例如，用户的特定部位的至少一个代表性位置被指定为来自表示用户的特定部位的二维图像或三维信息(例如，二维图像和深度信息)的定点位置。更特别地，可以从通过被称为Kinect (注册商标)游戏控制器系统的骨骼跟踪获得的骨骼信息，获取定点位置。另外，识别用户的特定部位的外部形状，并且定点位置可以被设置在从被识别的外部形状获得的重心位置处。本示例性实施例不限制定点位置的特定方法。
[0035]在图1至图3的实例中，手被用作用户的特定部位，并且在离身体最远的位置处的手中的代表性一个位置被设置为定点位置。另外，在图1的实例中，包括用户的手的整个手臂移动，使得按顺序地获取定点位置Pl和P2。
[0036]将考虑检测抓住物体的运动并且使用该运动作为用于计算机的用户输入。在图2中，立方体是用户想要抓住的物体，并且当关于立方体的定点位置是合适的，并且识别预定运动(握持)时，计算机假设立方体由用户抓取的状态。在该情况下，如图2中所示，在用户张开手的状态下获取的定点位置Pl被设置在手的指尖处。在该状态下，当用户握手以用手抓住物体时，在握持状态下的手中离身体最远的位置被获取为定点位置P2。以此方式，当包括在定点操作中使用的用户的特定部位的形状的变化的运动(手势)被识别时，在形状的变化之前和之后，对应于特定部位的定点位置可能未对准。这不依赖于用户的特定部位中的定点位置的确定方法。例如，还在作为特定部位的手中的重心被设置为定点位置的情况下，当张开手时的重心和当握手时的重心的位置不同，并且从而定点位置在两种状态之间可能未对准。
[0037]在特定手势之前和之后的定点位置的以上未对准导致在将为特定手势中的操作物体的显示物体的位置和特定手势之后的定点位置之间的距离，并且特定手势可能被错误地识别为不同于期望用户输入的用户输入。更特别地，通过特定手势关于显示物体的操作是不可能的。以此方式，在预定处理由用户的特定部位的形状变化来执行并且定点位置可以通过形状变化来被改变的用户界面中，由于对应于形状变化的定点位置的改变，用户的期望运动可能不被执行。
[0038]在本示例性实施例中，首先，检测到上述特定部位的预定形状的变化开始和变化结束。用户的特定部位的形状的变化通过例如从安装在数据手套或数据衣上的诸如应变传感器的传感器获得的信息被检测到。另外，变化可以被作出，以从表示用户的特定部位的二维图像或三维信息(例如，二维图像和深度信息)被检测到。本示例性实施例不限制特定部位的形状的变化的检测方法本身。
[0039]例如，在特定部位是手的情况下，预定形状是抓住物体的状态下的手的形状。例如当形状被变化为超过预先存储的预定变化宽度的预定形状方向时，检测到变化开始。另外，例如，当用户的特定部位变为预定形状时，检测到变化结束。例如，当在特定部位的形状变为预定形状的状态下，形状进一步被变化超过从传感器获得的预定变化信息(应变信息)时，变化结束可以被作出以被检测到。当形状变化在预先存储的预定时间期间停止时，变化结束可以被作出以被检测到。
[0040]在本示例性实施例中，如图3中所示，在顺序获取的定点位置中，存储对应于由变化检测单元检测到的变化开始时间的定点位置P1，并且此外，指定对应于由变化检测单元检测到的变化结束时间的定点位置P2。在此，对应于变化开始时间的定点位置是指当变化开始由变化检测单元检测到时或者在该时间之前和之后获