9的显示单元上显示的图像并且执行对在所显示的图像中包含的虚拟对象的选择操作以对锁定进行解锁。
[0046]3D传感器8检测3D信息用于例如检测操作者的特定区域。通过例如可见光相机和如同Kinect (注册商标)的范围图像传感器来实现3D传感器8。范围图像传感器也被称为深度传感器，其中，具有近红外光的模式从激光器发射到操作者；通过可以检测近红外光的相机来捕捉模式；以及基于通过捕捉获得的信息来计算从范围图像传感器到操作者的距离(深度)。注意:实现3D传感器8自己的方法并不限制，且3D传感器8可以通过三维扫描仪系统使用多个可见光相机来实现。而且，在图2中，3D传感器8被图示为一个元件。但是，3D传感器8可以通过包括例如捕捉操作者的二维图像的可见光相机和检测到操作者距离的传感器的多个设备来实现。
[0047]在这个示例实施例中，如图3中所示，三维坐标空间，其对于显示器侧配置和传感器侧配置是共同的，通过具有已知形状的标记7来设置。但是，公共实际对象，其提供用于设置公共三维坐标空间，不限于专用标记7。公共实际对象的特定形式也无限制，假设特定参考点和三个轴方向(每个从该特定参考点延伸并且互相直角相交)可以恒定从公共实际对象获得，不管视线的方向。例如，标记7可以用实际世界中安置的图像或对象来替换。
[0048]图4是图示说明HMD 9的外部结构的示例的图。图4图示说明了称为视频看通类型(video see-through type)的HMD 9的配置。在图4中图示的示例中，HMD 9包括两个可穿戴相机9a和9b以及两个显示器9c和9d。每个可穿戴相机9a和9b捕捉对应于用户的每条视线的视线图像。HMD 9可以被称为图像捕捉单元。每个显示器9c和9d被安置为环绕大部分用户视野，并且显示合成3D图像，其中，虚拟3D操作区域与每个视线图像合成。出于这个原因，每个显示器9c和9d可以被称为显示单元。
[0049]传感器侧设备10和显示器侧设备20每个都包括例如中央处理单元(CPU) 2、存储器3、通信设备4和输入-输出接口(I/F)5，其中每个都彼此相连接，例如通过总线。存储器3包括例如随机存取存储器(RAM)、只读存储器(R0M)、硬盘和便携存储介质。
[0050]传感器侧设备10的输入-输出I/F 5与3D传感器8相连，由此，显示器侧设备20的输入-输出I/F 5与HMD 9相连。输入-输出I/F 5和3D传感器8之间的连接以及输入-输出I/F 5和HMD 9之间的连接以它们可以无线地互相通信的方式而建立。每个通信设备4与其他设备(例如，传感器侧设备10和显示器侧设备20)以有线或无线方式通信。在这个示例实施例中，上述通信的形式并不限制。而且，传感器侧设备10和显示器侧设备20每个的具体硬件配置并不限制。
[0051][处理配置]
[0052][传感器侧设备]
[0053]图5是示意性图示说明根据第一示例实施例的传感器侧设备10的处理配置的示例的图。根据第一示例实施例的传感器侧设备10包括例如3D信息获取单元11、第一对象检测单元12、基准设置单元13、位置计算单元14、状态获取单元15和发射单元16。这些单元中每个都例如通过执行存储在存储器3中的程序的CPU 2来实现。而且，该程序可以例如从诸如简易盘(CD)和存储卡的便携存储介质中或者从网络中存在的另外的计算机中通过输入-输出I/F 5来安装，并且可以存储在存储器3中。
[0054]3D信息获取单元11顺序地获取由3D传感器8所检测到的3D信息。3D信息包括关于操作者且通过可见光获得的2D图像以及关于到3D传感器8的距离(深度)的信息。3D传感器8可以被配置有多个单元，包括例如可见光相机和深度传感器。
[0055]第一对象检测单元12基于由3D信息获取单元11所获取的3D信息来检测已知公共实际对象。在这个示例实施例中，图3中所示的标记7被用作公共实际对象。第一对象检测单元12预先保持例如关于标记7所具有的形状、大小和色彩的信息，并且如上所述使用已知信息基于3D信息来检测标记7。
[0056]基准设置单元13基于由第一对象检测单元12检测的标记7来设置3D坐标空间，并且计算3D传感器8在该3D坐标空间中的位置和方向。例如，基准设置单元13设置3D坐标空间，其中，从标记7提取的参考点被设置为原始点，而从该参考点延伸并且彼此以直角相交的三个方向被设置为各个轴。基准设置单元13比较标记7的已知形状和大小与从3D信息提取的标记7的形状和大小，由此计算3D传感器8的位置和方向。
[0057]位置计算单元14使用由3D信息获取单元11顺序获取的3D信息来顺序计算关于操作者的特定区域在3D坐标空间中的3D位置信息。更具体地，在这个示例实施例中，位置计算单元14以下面的方式计算3D位置信息。位置计算单元14首先基于由3D信息获取单元11获取的3D信息来提取关于操作者的特定区域的3D位置信息。这里，提取的3D位置信息对应于3D传感器8的相机坐标系统。然后，位置计算单元14基于3D坐标空间和由基准设置单元13计算的3D传感器8的位置和方向，将对应于3D传感器8的相机坐标系统的3D位置信息转换为由基准设置单元13设置的3D坐标空间中的3D位置信息。这个转换意味着从3D传感器8的相机坐标系统到基于标记7设置的3D坐标系统的转换。
[0058]这里，要被检测的操作者的特定区域的数量可以是两个或更多。例如，可能有可能使用操作者的双手都用作多个特定区域的形式。在此情况下，位置计算单元14从由3D信息获取单元11获取的3D信息中提取关于多个特定区域中每个的3D位置信息，并且将提取的3D位置信息转换成3D坐标空间中的3D位置信息。而且，特定区域表示操作者身体的一部分用于执行操作，并且因此具有特定面积或体积。因此，位置计算单元14所计算的3D位置信息可以是关于特定区域中一个点的位置信息，或者可以是关于多个点的位置信息。
[0059]状态获取单元15获取关于操作者的特定区域的状态信息。关于特定区域的状态信息表示可以标识关于特定区域的形状的状态的信息，并且例如，指示手指闭合、手指打开以及拇指抬起的状态。这个特定区域与要由位置计算单元14检测的特定区域相同。在这个示例实施例中，该状态信息可以指示的状态的数量没有限制，假设检测是可能的。而且，在多个特定区域被使用的情况下，状态获取单元15对于多个特定区域中的每个都获取状态?目息O
[0060]状态获取单元15预先保持对应于要被识别的每个特定区域的状态的图像特征信息，并且比较预先保持的图像特征信息与从在由3D信息获取单元11获取的3D信息中包含的2D图像中提取的特征信息，由此获取关于每个特定区域的状态信息。而且，状态获取单元15基于从附于特定区域的张力传感器(未图示)获得的信息可以获取关于特定区域的状态信息。此外，状态获取单元15基于来自由操作者用其手操作的输入鼠标(未图示)的信息可以获取状态信息。而且，状态获取单元15可以通过识别通过麦克风(未图示)获取的声音来获取状态信息。
[0061]发射单元16向显示器侧设备20发射3D关于操作者在3D坐标空间中的特定区域的位置信息以及关于由状态获取单元15所获取的操作者的特定位置的状态信息，位置信息由位置计算单元14来计算。
[0062][显示器侧设备]
[0063]图6是示意性图示说明根据第一示例实施例的显示器侧设备20的处理配置的示例的图。根据第一示例实施例的显示器侧设备20包括例如视线图像获取单元、第二对象检测单元22、坐标设置单元23、虚拟数据生成单元24、操作信息获取单元25、操作检测单元
26、图像合成单元27、显示处理单元28、选择信息获取单元29和锁定控制单元30。这些单元中每个例如通过执行存储在存储器3中的程序的CPU 2来实现。而且，这个程序可以例如从诸如建议盘(CD)和存储卡的便携存储介质中或者从网络上存在的另一计算机中通过输入-输出I/F 5来安装，并且可以存储在存储器3中。
[0064]视线图像获取单元21从操作者获取视线图像。这个视线图像表示从基本等于操作者眼睛引导的方向的方向捕捉的图像。但是，可以有可能视线图像不完全与操作者观看(看见)的图像相匹配。在操作者执行对虚拟对象的选择操作的情况下，视线图像包含与由传感器侧设备10检测到的操作者的特定区域相同的特定区域。在这个示例实施例中，由于提供可穿戴相机9a和％，视线图像获取单元21获取对应于左眼和右眼的视线图像。注意:每个单元类似地执行对对应于左右和右眼的视线图像的处理，并因此，下面的解释将目的在于仅一个视线图像。
[0065]第二对象检测单元22从由视线图像获取单元21获取的视线图像中检测与由传感器侧设备10检测到的相同的已知公共实际对象。换句话说，在这个示例实施例总，第二对象检测单元22检测图3中所图示的标记7。第二对象检测单元22以与上述的传感器侧设备10的第一对象检测单元12相似的方式执行其处理，并且因此，这里将不重复其具体描述。注意:图像捕捉方向对于在视线图像中包含的标记7和在由3D传感器8获取的3D信息中包含的标记7来说不同。
[0066]坐标设置单元23基于由第二对象检测单元22检测到的标记7，设置3D坐标空间，与由传感器侧设备10的基准设置单元13所设置的相同，并且计算HMD 9的位置和方向。坐标设置单元23还以与传感器侧设备10的基准设置单元13相类似的方式来执行其处理，并且因此，这里将不重复对其的具体描述。坐标设置单元23还基于作为与传感器侧设备10的基准设置单元13用来设置3D坐标空间的公共实际对象相同的公共实际对象(标记7)来设置3D坐标空间。因此，传感器侧设备10和显示器侧设备20共享该3D坐标空间。
[0067]虚拟数据生成单元24生成表示由坐标设置单元23设置的在3D坐标空间中任意布置的多个虚拟对象的3D锁定数据。换句话说，虚拟数据生成单元24对应于上述的虚拟数据生成单元101。
[0068]图7是图示说明在第一示例实施例中所生成3D锁定数据所表示的虚拟对象的示例的图。注意:虚线在图7中补充示出，以便使得虚拟对象的布置易于可见，并且没有在HMD9上显示。而且，在图7中，示出了球形虚拟对象。但是，在第一示例实施例中，虚拟对象的数量、形状、