三维用户界面装置以及三维操作方法
【技术领域】
[0001]本发明涉及三维用户界面技术。
【背景技术】
[0002]近几年，像3DCG (3D computer graphics)(三维计算机图形)或扩充实境(AR!Augmented Reality)等那样的在计算机上实现三维环境的技术被积极地实用化。AR技术是使虚拟对象或数据重叠地显示在经由智能电话等便携设备的照相机或头戴式显示器(HMD:Head Mount Display)得到的现实世界的对象物上。通过这样的显示技术，用户能够视觉辨认三维影像。在下述专利文献I中，提出了如下技术:使用深度检测相机来进行场景内的用户的识别以及跟踪，根据其结果，使模拟该用户的移动的虚拟形象动画(avataranimat1n)显示在该场景内。
[0003]然而，现状是用于操作用上述那样的技术表现的三维环境的用户界面(UI)是使用二维输入装置实现的。例如，将二维的鼠标操作转换为三维空间的操作。因此，现有的操作三维环境的Π多不能直观地容易理解。
[0004]因此，在下述专利文献2中，提出了如下技术:使用具有深度相机的远程遥控器，检测远程遥控器的位置的变化，并基于该变化，触发(trigger)引起基于应用(applicat1n)的行为(act1n)的输入指令。另外，在下述专利文献3中，提出了不需要袖套(arm cover)或手套等附加的装备就能向用户提供自然的三维环境中的人机交互(computer interact1n)经验的技术。在该提出的技术中，在与用户相对的位置设置深度相机，将被该深度相机拍摄到的用户和插入了虚拟对象(virtual object)的图像同时显示在显示器上，同时检测该用户与虚拟对象之间的交互。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:日本特表2011-515736号公报
[0008]专利文献2:日本特表2011-514232号公报
[0009]专利文献3:日本专利第4271236号公报
【发明内容】
[0010]发明要解决的课题
[0011]根据上述专利文献3中提出的方法，能够使配置在被影像化的现实空间内的虚拟对象通过存在于该影像内的用户的手进行移动。然而，在专利文献3中，丝毫未提到相对于该虚拟对象的具体的操作方法以及除了移动以外的操作方法。
[0012]本发明是鉴于上述的情况而完成的，提供一种直观地且易于理解地对被立体地显示的虚拟三维对象进行操作的用户界面技术。
[0013]用于解决课题的手段
[0014]在本发明的各方式中，为了解决上述课题而分别采用以下的构成。
[0015]第一方式的三维用户界面装置具有:三维信息获取部，其从三维传感器获取三维信息；位置计算部，其使用通过该三维信息获取部获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；虚拟数据生成部，其生成表示配置在三维坐标空间中的虚拟三维对象的虚拟三维对象数据；状态获取部，其获取上述对象者的该特定部位的状态信息；操作确定部，其基于通过该状态获取部获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理；对象处理部，其对虚拟三维对象数据实施通过操作确定部确定的规定处理；以及显示处理部，其使与被实施了该规定处理后的虚拟三维对象数据对应的虚拟三维对象显示于显示部中。
[0016]本发明的第二方式的三维操作方法，其通过至少一个计算机执行。第二方式的三维操作方法包含:从三维传感器获取三维信息，使用获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，生成表示配置于三维坐标空间中的虚拟三维对象的虚拟三维对象数据，获取上述对象者的该特定部位的状态信息，基于获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理，对虚拟三维对象数据实施所确定的上述规定处理，使与被实施了上述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
[0017]此外，作为本发明的其他方式，可以是使计算机实现上述第I方式所包含的各构成的程序，也可以是记录有这样的程序的计算机能够读取的记录介质。该记录介质包含非暂时的有形的介质。
[0018]发明效果
[0019]根据上述各方式，能够提供一种直观地且易于理解地操作被立体地显示的虚拟三维对象的用户界面技术。
【附图说明】
[0020]上述目的、以及其它的目的、特征以及优点通过以下所述的优选的实施方式以及附加的以下附图进而得以明确。
[0021]图1是概念地表示第I实施方式中的三维用户界面装置(3D-UI装置)的硬件构成例的图。
[0022]图2是表示第I实施方式中的三维用户界面装置(3D-UI装置)的利用方式的例子的图。
[0023]图3是表示HMD的外观构成的例子的图。
[0024]图4是概念地表示第I实施方式中的传感器侧装置的处理构成例的图。
[0025]图5是概念地表示第I实施方式中的显示侧装置的处理构成例的图。
[0026]图6是表示显示于HMD中的合成图像的例子的图。
[0027]图7是表示第I实施方式中的三维用户界面装置(3D-UI装置)的动作例的流程图。
[0028]图8是表示实施例1中的虚拟3D对象的移动操作的例子的图。
[0029]图9是表示实施例1中的虚拟3D对象的缩小操作的例子的图。
[0030]图10是表示实施例1中的虚拟3D对象的旋转操作的例子的图。
[0031]图11是概念地表示变形例中的三维用户界面装置(3D-UI装置)的硬件构成例的图。
[0032]图12是概念地表示变形例中的三维用户界面装置(3D-UI装置)的处理构成例的图。
【具体实施方式】
[0033]以下，关于本发明的实施方式进行说明。此外，以下列举的各实施方式分别是例示，本发明不限定于以下各实施方式的构成。
[0034]本实施方式中的三维用户界面装置具有:三维信息获取部，其从三维传感器获取三维信息；位置计算部，其使用通过该三维信息获取部获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；虚拟数据生成部，其生成表示配置于三维坐标空间中的虚拟三维对象的虚拟三维对象数据；状态获取部，其获取上述对象者的该特定部位的状态信息；操作确定部，其基于通过该状态获取部获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当被执行的规定处理；对象处理部，其对虚拟三维对象数据实施通过操作确定部确定的规定处理；以及显示处理部，其将与被实施了该规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
[0035]本实施方式中的三维操作方法包含:至少一个计算机从三维传感器获取三维信息，使用获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，生成表示配置在三维坐标空间中的虚拟三维对象的虚拟三维对象数据，获取上述对象者的该特定部位的状态信息，基于获取的状态信息与上述三维位置信息的变化的组合而从多个规定处理之中确定应该执行的规定处理，对虚拟三维对象数据实施所确定的上述规定处理，将与被实施了上述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
[0036]在本实施方式中，从三维传感器获取三维信息。三维信息包含通过可见光得到的对象者的二维图像、和距三维传感器的距离(深度)的信息。三维传感器可以由可见光照相机和深度传感器等多个设备构成。
[0037]在本实施方式中，通过使用该三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，并生成配置在该三维坐标空间中的虚拟三维对象数据。在此，特定部位是指对象者为了操作显示于显示部中的虚拟三维对象而使用的身体的一部分。本实施方式不限制该特定部位。
[0038]上述三维位置信息的计算不仅包含从通过三维传感器检测到的三维信息直接地得到三维位置信息的方式，也包含从通过三维传感器检测到的三维信息间接地得到三维位置信息的方式。间接是指从通过对由三维传感器检测到的三维信息实施规定的处理而得到的信息得到该三维位置信息。因此，该三维坐标空间例如可以通过三维传感器的照相机坐标系来确定，也可以通过根据从三维信息检测出的具有已知形状的图像标记(marker)等计算的标记坐标系来确定。
[0039]进而，在本实施方式中，获取对象者的特定部位的状态信息。该特定部位与被设为三维位置信息的计算对象的特定部位是相同的。该状态信息表示至少两个状态之中的一个。具体来说，在特定部位为手的情况下，状态信息表示握着的状态及打开的状态等至少两个之中的一个。本实施方式在能够检测的范围内，不限制该状态信息所能够表示的状态的数量。
[0040]在本实施方式中，像这样，使用从三维传感器依次获取的三维信息来依次计算与对象者的特定部位有关的三维位置信息，并且获取该特定部位的状态信息，由此检测与对象者的特定部位有关的状态以及三维位置信息的变化、即对象者的特定部位的三维的动作(三维姿势)。该检测的三维姿势通过特定部位的移动以及状态形成。
[0041]在本实施方式中，基于表示这样的三维姿势的、状态信息与三维位置信息的变化的组合来确定规定处理，对虚拟三维对象数据适用该规定处理。然后，与实施该规定处理而得到的结果对应的虚拟三维对象显示于显示部中。在此，规定处理是指例如使虚拟三维对象移动、旋转、放大、缩小的处理。
[0042]因此，根据本实施方式，对象者(用户)通过使用自身的特定部位来进行规定的三维姿势，从而能够按照喜欢的方式操作显示于显示部中的虚拟三维对象。而且，在本实施方式中，由于能够通过用户自身的特定部位的三维姿势来进行虚拟三维对象的操作，所以用户能够得到直观地且容易理解地操作虚拟三维对象的感觉。而且，在本实施方式中，由于不仅考虑特定部位的位置的变化，也考虑特定部位的状态来确定对虚拟三维对象的操作，所以根据本实施方式，对用户来说能够以与对现实世界的物体进行的操作相同的操作感来操作虚拟三维对象。
[0043]以下，关于上述的实施方式进一步详细地进行说明。
[0044]第I实施方式
[0045]〔装置构成〕
[0046]图1是概念地表示第I实施方式中的三维用户界面装置(以下，记为3D4I装置)I的硬件构成例的图。第I实施方式中的3D-UI装置I大致具有传感器侧构成与显示侧构成。传感器侧构成由三维传感器(以下，记为3D传感器)8以及传感器侧装置10形成。显示侧构成由头戴式显示器(以下，记为HMD)9以及显示侧装置20形成。以下，将三维适当省略地记为3D。
[0047]图2是表示第I实施方式中的3D-UI装置I的利用方式的例子的图。如图2所示那样，3D传感器8配置在能够检测对象者(用户)的特定部位的位置。HMD9被安装于对象者(用户)的头部，使对象者同时视觉辨认与对象者的视线对应的视线影像和合成在该视线影像中的上述虚拟3D对象。
[0048]3D传感器8检测为了检测对象者的特定部位等而被利用的3D信息。3D传感器8例如如Kinect (注册商标)那样，通过可见光照相机以及距离图像传感器实现。距离图像传感器也称为深度传感器，从激光器向对象者照射近红外光的图案，根据用检测近红外光的照相机拍摄该图案而得到的信息来计算从距离图像传感器到对象者的距离(深度)。另夕卜，3D传感器8本身的实现方法没有限制，也可以通过使用多个可见光照相机的三维扫描仪方式实现3D传感器8。另外，在图1中，3D传感器8以一个构件图示，但3D传感器8也可以由拍摄对象者的二维图像的可见光照相机以及检测到对象者为止的距离的传感器等多个设备实现。
[0049]图3是表示HMD9的外观构成的例子的图。在图3中，示出了称为视频透视(VideoSee Through)型的HMD9的构成。在图3的例子中，HMD9具有两个视线照相机9a及％、两个显示器9c及9d。各视线照相机9a及9b分别拍摄与用户的各视线对应的各视线图像。因此，HMD