色彩和虚拟对象的大小并无限制。可以设置虚拟对象以透明。
[0069]如图7中所示，在第一示例实施例中，虚拟数据生成单元24生成3D锁定数据，其中，多个虚拟对象布置在预定位置具有在3D坐标空间中的网格图案。在图7中的示例中，27个虚拟对象被布置在3D坐标空间中，使得三个虚拟对象以立方体方式布置在每个三维中。
[0070]通过上面所述的配置，除了指示在3D坐标空间中的位置的信息以外，每个虚拟对象具有关于在具有网格图案的布置中的相对位置的信息。此后，在虚拟对象的位置信息中，关于每个虚拟对象的位置信息的关于在3D坐标空间中的位置的信息被称为3D位置信息，且关于在具有网格图案的布置中的每个虚拟对象的相对位置的信息被称为相对位置信息。在图7的示例中，每个虚拟对象具有下面的相对位置信息。根据在“X”方向的位置、在“y”方向的位置和在“z”方向的位置，相对位置信息被指示为(X，y, z)。
[0071]虚拟对象OBl:相对位置信息(1，3，I)
[0072]虚拟对象0B2:相对位置信息(1，3，3)
[0073]虚拟对象0B3:相对位置信息(3，3，I)
[0074]虚拟对象0B4:相对位置信息(1，I, 3)
[0075]虚拟对象0B5:相对位置信息(3，I, I)
[0076]图像合成单元27基于HMD 9的位置、HMD 9的方向、3D坐标空间和3D锁定数据来合成虚拟对象和由视线图像获取单元21获取的视线图像。此时，使用对应于视线图像上所示的空间的在3D坐标空间中的可见空间作为显示参考来确定3D坐标空间中每个虚拟对象的位置。而且，在这个示例实施例中，图像合成单元27基于由可穿戴相机9a和9b捕捉的每个视线图像来生成每个合成图像。注意:仅有必要的是，例如在增强显示(AR)中所使用的任何已知方法被用于由图像合成单元27所执行的合成处理，并且因此，在此将不进行对其的详细描述。
[0077]显示处理单元28使得HMD 9显示多个虚拟对象，如同上述的显示处理单元102。在这个示例实施例中，显示处理单元28使得HMD 9显示由虚拟对象和视线图像所形成的合成图像。通过这个配置，对应于操作者的每条视线的每个合成图像被显示在每个显示器9c和9d上，并且因此，由于双眼视差，操作者可以以三维的方式可视地识别视线图像和虚拟对象
[0078]图8是图示说明在HMD 9上显示的合成图像的示例的图。注意:虚线在图8中补充地被图示以使得虚拟对象得布置容易可见，且未在HMD 9上示出。操作者观看由视线图像和多个虚拟对象形成的合成图像，如图8中通过显示器9c和9d所示。在图8中图示为示例的合成图像包含存在于实际世界中且在视线图像中看到的表格RT以及以网格图案布置的九个虚拟对象。如图8中所示，显示处理单元28可以改变所选虚拟对象的色彩，由此使得对于虚拟对象的对应于所选顺序的选择的轨迹被显示。
[0079]操作信息获取单元25从传感器侧设备10接收关于在3D坐标空间中操作者的特定区域的3D位置信息，以及关于操作者的特定区域的状态信息。换句话说，操作信息获取单元25对应于上述的位置获取单元103。
[0080]操作检测单元26使用关于操作者的特定区域的3D位置信息、关于多个虚拟对象的3D位置信息以及关于操作者的特定区域的状态信息，以检测由操作者通过特定区域对虚拟对象所执行的每个选择操作。例如，操作检测单元26识别用于每个虚拟对象的操作检测区域，并且在操作者的特定区域进入操作检测区域且关于其的状态信息指示预定状态(例如，手指闭合的状态)的情况下，检测对虚拟对象执行选择操作。操作检测区域被设置到例如预定区域，其方式为使得区域的中心是在3D坐标空间中设置用于每个虚拟对象的3D位置。操作检测区域可以被设置为具有的大小等于在3D坐标空间中的虚拟对象的大小。
[0081]而且，操作检测单元26可以检测用于取消选择的操作。例如，操作检测单元26可以基于状态信息检测从对应于选择操作的预定状态(例如，手指闭合的状态)改变为另一预定状态(例如，打开手指的状态)，作为用于取消选择的操作。而且，操作检测单元26可以检测特定区域从其中布置有多个虚拟对象的区域到分隔开预定距离的位置的移动，作为用于取消选择的操作。
[0082]选择信息获取单元29获取选择信息，如同上述的选择信息获取单元105。在这个示例实施例中，选择信息获取单元29基于操作检测单元26所检测到的选择操作来获取指示关于所选虚拟对象和所选顺序的相对位置信息的选择信息。但是，关于由选择信息所指示的虚拟对象的位置信息可以是上述的3D位置信息。直到检测到选择的取消，选择信息获取单元29根据通过操作检测单元26在选择操作中所检测到的顺序来获取关于虚拟对象和所选顺序的相对位置信息作为选择信息。可以根据由操作检测单元26对用于取消选择的操作的检测而检测到选择的取消，或者，可以检测到从通过操作检测单元26的选择操作的首次检测过去的时间是否达到预定时间段。而且，如果所选的虚拟对象的数量达到上限值的话，选择信息获取单元29可以检测到选择的取消。
[0083]锁定控制单元30通过比较选择信息与已经登记的选择信息而对锁定进行解锁，如同上述的锁定控制单元106。例如，锁定控制单元30在该选择信息所指示的每个虚拟对象的所选顺序与已经登记的选择信息所指示的每个虚拟对象的所选顺序相匹配的情况下对锁定进行解锁。已经登记的选择信息可由显示器侧设备20来保持，或者可以由另一计算机来保持。
[0084][操作的示例]
[0085]接下来，将结合图9来描述根据第一示例实施例的三维解锁方法。图9是示出根据第一示例实施例的系统I所执行的操作的示例的顺序图。下面，将基于传感器侧设备10和显示器侧设备20执行每个方法的假设来进行描述。但是，执行每个方法的主体可以是构成系统I的至少一个计算机。
[0086]传感器侧设备10从3D传感器8顺序地获取3D信息(SlOl)。3D信息包含关于用作为公共实际对象的标记7以及操作者的特定区域的信息。传感器侧设备10以下面的方式通过预定帧速率对3D信息操作。
[0087]传感器侧设备10从3D信息中检测公共实际对象(标记7) (S102)。接下来，传感器侧设备10基于所检测到的公共实际对象来设置3D坐标空间，并且计算3D传感器8在这个3D坐标空间中的位置和方向(S103)。
[0088]然后，传感器侧设备10使用该3D信息来计算关于操作者的特定区域的3D位置信息(S104)。而且，传感器侧设备10基于在步骤S103中计算的3D传感器8的位置和方向以及3D坐标空间而将在步骤S104中计算的3D位置信息转换为在步骤S103中设置的3D坐标空间中的3D位置信息(S105)。
[0089]传感器侧设备10进一步获取关于操作者的特定区域的状态信息(S106)。
[0090]传感器侧设备10向显示器侧设备20发射3D位置信息和状态信息，其中每个都关于操作者的特定区域(S107)。
[0091]出于解释的目的，图9示出以3D信息的预定帧速率来执行步骤S102和步骤S103的示例。但是，步骤S102和步骤S103可以仅以校准的时间执行。而且，执行步骤S106的定时不限于图9中所示。
[0092]另一方面，显示器侧设备20从HMD 9顺序地获取视线图像(Slll)而不与3D信息的获取(SlOl)同步。显示器侧设备20以下面的方式通过预定帧速率而对视线图像操作。
[0093]显示器侧设备20检测公共实际对象(标记7)，这是与由传感器侧设备10从视线图像中检测到的相同的公共实际对象(S112)。然后，显示器侧设备20基于所检测到的公共实际对象来设置3D坐标空间，并且计算HMD 9在该3D坐标空间中的位置和方向(S113)。由于使用相同标记7 (公共实际对象)，传感器侧设备10和显示器侧设备20共享3D坐标空间。
[0094]显示器侧设备20如上所述生成3D锁定数据(SI 14)。该3D锁定数据包含诸如大小、形状、显示形式以及在S113中设置的3D坐标空间中的多个虚拟对象中每个的位置的信息。上述的关于每个虚拟对象的设置信息可以通过任意方法来获取。
[0095]显示器侧设备20基于在S113中设置的3D坐标空间来合成在Slll中获取的视线图像和由在S114中生成的3D锁定数据表示的多个虚拟对象(S115)。显示器侧设备20使得通过合成获得的图像在HMD 9上显示(S116)。
[0096]在从传感器侧设备10接收都关于操作者的特定区域的3D位置信息和状态信息(S117)之后，显示器侧设备20基于在3D坐标空间中的操作者的特定区域的3D位置和每个虚拟对象的3D位置，检测由操作者通过特定区域对虚拟对象执行的选择操作(S118)。通过选择操作的检测，显示器侧设备20获取关于每个所选虚拟对象的相对位置信息。
[0097]在S118中的选择操作的检测之后，显示器侧设备20更新选择信息(S119)。更具体地，显示器侧设备20把关于经历在S118中所检测到的选择操作的每个虚拟对象的相对位置信息根据所选顺序反映为选择信息。显示器侧设备20重复S118和S119直到检测到选择的取消(S120)。通过这些操作，在选择信息中累积关于每个所选虚拟对象的相对位置信息和选择所选虚拟对象的顺序。
[0098]在检测到选择的取消之后(S120中为是)，显示器侧设备20检查在S119中更新的选择信息与已经登记的选择信息(S121)。如果对于虚拟对象的所需顺序彼此匹配(在S122中为是)，显示器侧设备20对锁定进行解锁(S123)。另一方面，如果对于虚拟对象的所选顺序并不彼此匹配(S122中为否)。显示器侧设备20不对锁定进行解锁，且初始化选择信息(S124)。在这之后，显示器侧设备20重复步骤S 118及其之后的步骤，直到对于虚拟对象的所选顺序彼此匹配(S122)。
[0099]出于解释的目的，图9示出对于视线图像以预定帧速率执行S112到S115的示例。但是，可以有可能使用仅以校准执行S112和S113以及在需要解锁的定时执行S114和S115的配置。
[0100][第一示例实施例的操作和效果]
[0101]如上所述，在第