62]第二基准设定部23基于由第二对象检测部22检测的通用实际对象，设定由传感器侧装置10的第一基准设定部13设定的3D坐标空间，且分别计算HMD9的位置及朝向。关于第二基准设定部23的处理，与传感器侧装置10的第一基准设定部13同样，因此这里省略详细说明。通过第二基准设定部23设定的3D坐标空间也基于与通过传感器侧装置10的第一基准设定部13设定的3D坐标空间相同的通用实际对象来设定，因此结果是，3D坐标空间在传感器侧装置10与显示侧装置20之间共有。第二基准设定部23相当于本发明的第二坐标设定部。
[0063]虚拟数据生成部24通过第二基准设定部23生成配置在与传感器侧装置10共有的3D坐标空间内的虚拟3D对象数据。虚拟数据生成部24可以与该虚拟3D对象数据一起生成配置虚拟3D对象的虚拟3D空间的数据。
[0064]操作确定部25从传感器侧装置10接收与对象者的特定部位相关的该3D坐标空间上的3D位置信息及状态信息，并基于该状态信息与3D位置信息的变化的组合，从多个预定处理之中确定由对象处理部26执行的I个预定处理。操作确定部25相当于本发明的接收部。3D位置信息的变化根据在上次的处理时得到的与3D位置信息的关系来计算。而且，在利用多个特定部位(例如，双手)的情况下，操作确定部25根据从传感器侧装置10取得的多个3D位置信息，计算多个特定部位间的位置关系，并基于计算出的多个特定部位间的位置关系的变化及多个状态信息，从多个预定处理之中确定I个预定处理。多个预定处理包括移动处理、旋转处理、放大处理、缩小处理及功能菜单的显示数据的附加处理等。
[0065]更具体而言，操作确定部25确定如下的预定处理。例如，在对象者的特定部位为单手的情况下，操作确定部25确定使对象者的单手移动在该单手维持特定状态(例如握持状态)期间的该单手的直线移动量所对应的距离量的处理。而且，操作确定部25在单手维持特定状态期间的该单手的移动前后，在距虚拟3D对象的特定点的距离未改变的情况下，作为预定处理，以将对象者的单手与虚拟3D对象的特定点连结的线段的立体角变化量来确定以虚拟3D对象的该特定点为基准点的旋转处理。在此的虚拟3D对象的特定点例如是中心点。而且，操作确定部25计测状态信息和三维位置信息不变化的期间，在该计测到的期间超过预定期间的情况下，确定向配置虚拟3D对象的虚拟3D空间的数据附加功能菜单的显示数据的处理。
[0066]在对象者的多个特定部位为双手的情况下，操作确定部25确定如下的预定处理。操作确定部25以对象者的双手维持特定状态(例如，握持状态)的状态下的该双手间的距离的变化量所对应的放大率来确定以对象者的单手的位置为基准点的放大处理。而且，操作确定部25以对象者的双手维持特定状态(例如，握持状态)的状态下的该双手间的距离的变化量所对应的缩小率来确定以对象者的单手的位置为基准点的缩小处理。而且，操作确定部25以对象者的双手维持特定状态(例如，握持状态)的状态下的将该双手间连结的线段的立体角变化量来确定以对象者的单手的位置为基准点的旋转处理。
[0067]而且，操作确定部25根据对象者的特定部位的三维位置信息，判定以虚拟3D对象为基准的预定3D范围内是否存在该特定部位，根据其判定结果，决定对象处理部26是否可以执行预定处理。具体而言，操作确定部25在特定部位存在于预定3D范围内的情况下，使对象处理部26执行该预定处理，在特定部位存在于预定3D范围外的情况下，使对象处理部26不执行该预定处理。该预定3D范围内是否存在特定部位的判定模拟了对象者的特定部位是否接近虚拟3D对象的判定。在本实施方式中，使用该预定3D范围来决定是否执行预定处理，由此能提高对象者的直观的操作感。
[0068]操作确定部25可以检测对象者的特定部位从上述预定3D范围内向上述预定3D范围外的移动，确定移动前后的上述预定3D范围内的位置与上述预定3D范围外的位置之间的移动距离及移动方向所对应的移动处理或旋转处理来作为该预定处理。由此，通过对于虚拟3D对象的操作即将成为不可能之前的操作，对象者能够使虚拟3D对象惰性地移动或旋转。这样的惰性的操作可以通过设定来切换有效和无效。
[0069]操作确定部25分别保持用于识别上述那样的各预定处理的ID，通过选择预定处理所对应的ID，实现预定处理的确定。操作确定部25向对象处理部26交付所选择的ID，由此使对象处理部26执行该预定处理。
[0070]对象处理部26对于由虚拟数据生成部24生成的虚拟3D对象数据，应用通过操作确定部25确定的预定处理。对象处理部26实现能够执行支持的多个预定处理。
[0071]图像合成部27基于由第二基准设定部23计算的HMD9的位置、朝向及3D坐标空间，向由视线图像取得部21取得的视线图像合成由对象处理部26实施了预定处理后的虚拟3D对象数据所对应的虚拟3D对象。此外，由图像合成部27进行的合成处理只要利用扩展现实(AR)等所使用的公知的方法即可，因此这里省略说明。
[0072]显示处理部28将由图像合成部27得到的合成图像显示于HMD9。在本实施方式中，对象者的各视线所对应的2个视线图像分别如上述那样被处理，因此显示处理部28将各视线图像和合成的各合成图像分别显示于HMD9的显示器9c及9d。
[0073]图6是表示HMD9上显示的合成图像的例子的图。图6的例子所示的合成图像包括虚拟3D空间所包含的平面VA上配置的球形的虚拟3D对象VO。用户一边通过HMD9观察该图像，一边移动自身的双手，由此能够操作该图像所包含的虚拟3D对象VO。在图6中，虽然例示了球形的虚拟3D对象VO，但是虚拟3D对象的形状等不受限制。
[0074]〔动作例〕
[0075]以下，使用图7来说明第一实施方式的三维环境共有方法。图7是表示第一实施方式的三维环境共有系统I的动作例的序列图。
[0076]传感器侧装置10从3D传感器8逐次取得3D信息(S71)。传感器侧装置10对于预定的帧率的该3D信息如下进行动作。
[0077]传感器侧装置10从该3D信息中检测通用实际对象(S72)。
[0078]接着，传感器侧装置10基于检测到的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的3D传感器8的位置及朝向(S73)。
[0079]而且，传感器侧装置10使用该3D信息，计算对象者的特定部位的3D位置信息(S74)。而且，传感器侧装置10基于在工序(S73)中计算的3D传感器8的位置、朝向及3D坐标空间，将在工序(S74)中计算的3D位置信息转换成在工序(S73)中设定的3D坐标空间上的3D位置信息(S75)。
[0080]而且，传感器侧装置10取得与对象者的特定部位相关的状态信息(S76)。
[0081]传感器侧装置10关于对象者的特定部位，将在工序(S75)中得到的3D位置信息及在工序(S76)中得到的状态信息向显示侧装置20发送(S77)。
[0082]在图7中，为了便于说明，示出了 3D信息的取得(S71)和状态信息的取得(S76)顺序地执行的例子，但是在特定部位的状态信息从3D信息以外得到的情况下，工序(S71)及(S76)并行执行。在图7中，示出了工序(S72)及(S73)以3D信息的预定的帧率执行的例子，但是工序(S72)及(S73)可以仅在校准时执行。
[0083]另一方面，显示侧装置20与3D信息的取得(S71)非同步地从HMD9逐次取得视线图像(S81)。显示侧装置20对于预定的帧率的该视线图像如下进行动作。
[0084]显示侧装置20从该视线图像检测通用实际对象(S82)。
[0085]接着，显示侧装置20基于检测到的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的HMD9的位置及朝向(S83)。
[0086]显示侧装置20生成在设定的3D坐标空间内配置的虚拟3D对象数据(S84)。
[0087]显示侧装置20当从传感器侧装置10接收到与对象者的特定部位相关的3D位置信息及状态信息时(S85)，根据该特定部位的3D位置信息的变化及状态信息的组合，确定与对象者的手势对应的预定处理(S86)。在特定部位存在多个的情况下，显示侧装置20根据多个特定部位间的位置关系的变化与多个状态信息的组合，确定预定处理。
[0088]显示侧装置20对于在工序(S84)中生成的虚拟3D对象数据，应用在工序(S86)中确定的预定处理(S87)。接着，显示侧装置20将实施了预定处理后的虚拟3D对象数据所对应的虚拟3D对象与视线图像进行合成(S88)，生成显示数据。
[0089]显示侧装置20将通过该合成而得到的图像显示于HMD9 (S89)。
[0090]在图7中，为了便于说明，示出了顺序地执行对于从传感器侧装置10发送的与对象者的特定部位相关的信息的处理(工序(S85)至工序(S87))、虚拟3D对象数据的生成处理(工序(S82)至工序(S84))的例子。然而，工序(S85)至工序(S87)、工序(S82)至工序(S84)并行执行。而且，在图7中，示出了工序(S82)至(S84)以视线图像的预定的帧率执行的例子，但是工序(S82)至(S84)也可以仅在校准时执行。
[0091]〔第一实施方式的作用及效果〕
[0092]在第一实施方式中，分别设置用于得到对象者的视线图像的HMD9和用于得到对象者的特定部位的位置的3D传感器8。由此，根据第一实施方式，能够在可准确地测定对象者的特定部位的3D位置的位置上配置3D传感器8。这是因为，当距测定对象的距离未分离到一定程度时，可能存在无法准确地测定测定对象的位置的3D传感器8。
[0093]在第一实施方式中，根据使用通用实际对象通过分别设置