专利名称：对象控制装置、对象控制方法、对象控制程序以及集成电路的制作方法
技术领域：
本发明对在虚拟现实空间中虚拟显示的虚拟对象的显示进行控制，尤其是，本发明在将虚拟对象与现实空间的现实对象重叠起来进行显示时，提高状态发生了变化的现实对象的辨认性。
背景技术：
以往，在通过利用头戴式显示器等而实现的虚拟现实空间中，使虚拟显示的对象(以下，记述为虚拟对象)与存在于现实空间的对象(以下，记述为现实对象)重叠进行显 示。在这种状况下，当用户要对现实对象进行某些行动时，有时在用户看来，现实对象的视野被显示在现实对象的前侧的虚拟对象所遮挡，用户无法辨认现实对象。图18、图19是表示在虚拟现实空间现实对象和虚拟对象被重叠加以显示的例子的图。在图18中，从用户A201来看，具有多个虚拟对象的虚拟对象组A202在现实对象即移动电话A203的前侧以重叠的状态被显示。此外，虚拟对象组A202是透明或不透明的虚拟对象聚集而成。在图19中，从用户B211来看，与图18同样，虚拟对象组B212在移动电话B213的前侧重叠而被显示。图18示出移动电话A203收到了语音电话的情况，图19示出移动电话收到了电子短信的情況。图18与图19的不同点在于，在用户判断了移动电话收到了什么之后用户采取的行动不同。在图18中，移动电话A203收到了语音电话，因此用户A201采取向移动电话A203伸手这一行动。S卩，在移动电话A203收到了语音通话时，需要立刻拿起移动电话A203，因此用户A201采取伸手这一行动。在这种情况下，若虚拟对象组A202显示于移动电话A203的前侧，则移动电话A203被虚拟对象组A202遮住，存在用户A201无法容易拿起移动电话A203这ー问题。因此，在这种情况下，若使虚拟对象组A202不显示，则用户能够容易拿起移动电话A203。另ー方面，在图19中，移动电话B213收到了短信，因此用户B211采取把头转向移动电话B213这一行动。S卩，在移动电话B213收到了短信时，无需立刻拿起移动电话B213，因此用户B211采取仅把头转向移动电话A203的行动，并不进行像收到了语音电话时那样拿起移动电话B213的行动。在这种情况下，用户B211无需拿起移动电话B213，因此即使在移动电话B213的前侧显示有虚拟对象组B212，对于用户B211而言也没有问题。并且，若保持显示虚拟对象组B212的状态，则能够给用户B211带来扩展现实空间特有的临场感。这样，根据现实对象的状态和用户对该状态采取的行动，存在使虚拟对象组A202、B212不显示为好的情况和显示虚拟对象组A202、B212为好的情況。利用虚拟现实空间的技术利用于医疗等。例如，在专利文献I中，公开了如下图像处理装置在将手术的对象部位显示于虚拟现实空间的图像处理装置中，使包含在用户的视点与对象部位之间存在的视野确保区域中的部位作为障碍物而不显示，并通知用户使障碍物不显示的情况。根据该技术，用户在明确对象区域与障碍物的位置关系的同时，能够容易观察对象部位。但是，在专利文献I中，作为观察对象而想要始终显示的对象部位被预先决定，无论用户是否进行触摸对象部位等的行动，全部障碍物一律不显示。因此，在专利文献I中，存在若现实对象的状态发生变化，无法根据按用户的意思产生的行动进行显示或不显示障碍物的切换这ー问题。因此，即使将专利文献I的技术应用于显示虚拟对象的扩展现实空间，也无法给用户带来扩展现实空间的临场感，并且无法提高现实对象的辨认性。专利文献I :日本专利公开公报特开2008-029694号
发明内容
本发明的目的在于提供ー种对象控制装置等，所述对象控制装置能够给用户带来扩展现实空间的临场感并且使用户针对状态发生了变化的现实对象容易采取行动。本发明的对象控制装置，是在虚拟现实空间进行虚拟对象的显示控制的对象控制 装置，包括用户动作检测部，检测用户的动作；用户动作通知部，通知表示由所述用户动作检测部检测到的用户动作的用户动作信息；现实对象状态检测部，检测存在于所述虚拟现实空间的现实对象的状态变化；现实对象状态通知部，通知表示由所述现实对象状态检测部检测到的所述现实对象的状态变化的状态变化信息；状态通信部，通知从所述用户动作通知部通知的用户动作信息和从所述现实对象状态通知部通知的状态变化信息；虚拟对象显示判断部，基于从所述状态通信部通知的用户动作信息和状态变化信息，判断是否变更所述虚拟对象的显示方式以使状态发生了变化的现实对象露出生成部，基于所述虚拟对象显示判断部的判断結果，生成对用户提示的UI (用户界面)；以及UI显示部，显示由所述n生成部生成的n。-另外，本发明的对象控制方法，对象控制程序以及集成电路具有与上述对象控制装置同样的结构。
图I是本发明实施方式的对象控制装置的功能框图。图2的(A)、⑶是本发明实施方式的对象控制装置根据用户的动作使虚拟对象不显示时的处理的说明图。图3的(A)、⑶是本发明实施方式的对象控制装置根据用户的动作维持虚拟对象的显示时的说明图。图4的(A)、(B)是从上侧观看图2(A)、⑶时的图。图5的⑷、⑶是从上侧观看图3⑷、⑶时的图。图6是表示现实对象显示判断信息的一例的图。 图7是表示现实对象属性信息的一例的图。图8是表示本发明实施方式的对象控制装置的动作的流程图。图9是表示近似动作信息的一例的图。图10是表示保持扩展视野区域的属性时的现实对象属性信息的一例的图。图11的(A)、(B)是本发明实施方式的对象控制装置在设定了扩展视野区域时根据用户的动作使虚拟对象不显示时的处理的说明图。
图12的(A)、⑶是从上侧观看图11 (A)、⑶时的图。图13是从上侧观看到的用户的手的活动的图。图14是从上侧观看到的根据用户的手的朝向设定了扩展视野区域时的扩展视野区域的图。图15是表示本发明实施方式的对象控制装置的硬件结构的框图。图16是从侧面侧观看到的视野区域的图。图17是从侧面侧观看到的扩展视野区域的图。图18是表示在虚拟现实空间重叠显示有现实对象和虚拟对象的例子的图。
图19是表示在虚拟现实空间重叠显示有现实对象和虚拟对象的例子的图。
具体实施例方式以下，參照
本发明实施方式的对象控制装置。(概略)首先，说明本发明实施方式的对象控制装置的概略。在本实施方式中，假设对象控制装置应用于用户所佩戴的头戴式显示器。因此，在现实空间的影像上重叠有虚拟对象的虚拟现实空间的影像被显示在显示器上，用户ー边观看该虚拟现实空间的影像ー边识别现实空间的物体。以下，用图2至图5说明本实施方式的对象控制装置的概要。图2的(A)、(B)是本发明实施方式的对象控制装置根据用户的动作使虚拟对象不显示时的处理的说明图。图2(A)示出用户进行伸手的动作时用户观看到的虚拟现实空间，图2(B)示出用户进行伸手的动作后用户观看到的虚拟现实空间。在图2(A)的例子中，用户201出干“移动电话203收到了语音通话，所以必须赶紧拿起”这ー意思而进行伸手的动作(行动)。在这种情况下，由于虚拟对象组202显示在移动电话203的前侧，因此成为用户201进行拿起移动电话203的动作时的妨碍。图3的(A)、(B)是本发明实施方式的对象控制装置根据用户的动作维持虚拟对象的显示时的说明图。图3(A)示出用户201进行转头的动作时用户观看到的虚拟现实空间，图3(B)示出用户201进行转头的动作后用户观看到的虚拟现实空间。在图3(A)的例子中，用户201出于想要确认移动电话203收到短信这ー情况的意思而将头转向移动电话203。在移动电话203接收到短信时，用户201无需立刻确认短信的内容。因此，显示在移动电话203前侧的虚拟对象组202对于用户201而言未成为妨碍的存在。S卩，在图2(A)的例子中，使重叠于移动电话203的虚拟对象组204不显示对于用户201而言是适合的。另外，在图3(A)的例子中，維持与移动电话203重叠的虚拟对象组204的显示，能够给用户201带来存在于虚拟现实空间的临场感，因此是较为理想的。为此，在本实施方式中，在如图2(A)那样用户201需要对移动电话203进行某些动作时，如图2(B)所示那样使重叠于移动电话203的虚拟对象组204不显示。另ー方面，在如图3(A)那样用户201无需对移动电话203进行某些动作时，如图3(B)所示那样维持重叠于移动电话203的虚拟对象组204的显示。图4的⑷、⑶是从上侧观看图2 (A)、(B)时的图。在图4的⑷、⑶中以虚线包围的梯形状的区域是虚拟对象遮挡移动电话203的用户201的视野区域205。可知，从俯视来看视野区域205呈从用户201向移动电话203扩展的梯形形状。在图4(A)中，由于虚拟对象组202中的虚拟对象202_1、202_2的一部分存在于视野区域205内，因此遮挡用户201观看移动电话203时的视野。为此，在本实施方式中，如图4(B)所示，使虚拟对象202_1、202_2不显示。此外，在图4的(A)、(B)中，视野区域205被平面地显示，但从侧面观看时也以从用户201向移动电话203扩展的方式存在，实际上是立体的区域。图16是从侧面侧(X方向侧)观看到的视野区域205的图。如图16所示可知，在侧视时，视野区域205具有从用户201向移动电话203以三角形状扩展的形状。即，视野区域205具有从用户201向移动电话203截面积逐渐増大的形状。因此，视野区域205成为模拟用户201观看移动电话203时用户201的视野的区域。图5的(A)、⑶是从上侧观看图3 (A)、(B)时图。在图5 (A)中，虽然遮挡移动电话203的虚拟对象202_1、202_2的一部分包含在视野区域205，但如图5(B)所示并未设为不显示。本实施方式的对象控制装置实现如上的处理。 为了实现以上的处理，本实施方式的对象控制装置在现实对象的状态发生了变化时，根据用户进行的动作和现实对象的状态变化判断是否使遮挡状态发生了变化的现实对象的视野的虚拟对象不显示。具体而言，本对象控制装置根据优先度与用户的各种动作预先被对应起来的对象显示判断信息，确定与用户进行的动作相对应的优先度。另外，根据优先度与现实对象的各种状态预先被对应起来的对象属性信息，确定与状态发生了变化的现实对象的状态相对应的优先度。并且，通过比较确定的两个优先度，判断是否使与状态发生了变化的虚拟对象重叠而被显示的虚拟对象不显示。(功能结构)接着，说明本发明实施方式的对象控制装置的功能结构。图I是本发明实施方式的对象控制装置100的功能框图。对象控制装置100包括用户动作检测部101、用户动作通知部102、现实对象状态检测部103、现实对象状态通知部104、状态通信部105、虚拟对象显示判断部106、现实对象信息管理部109、虚拟对象信息管理部110、用户信息管理部111、UI (用户界面)生成部112、UI显示部113以及用户位置检测部114。用户动作检测部101例如由如Kinect(注册商标)这样的非接触动作传感器(non-contact motion sensor)构成,检测用户的动作。在此，动作传感器例如具备拍摄部和处理部，被配置在用户的周围。拍摄部例如包括红外线照射元件、红外照相机以及RGB照相机，对用户照射红外光，以指定的帧频拍摄用户的距离图像。在此，距离图像是除了包含R、G、B的彩色图像成分以外还包含深度(进深)成分的图像。处理部利用预先存储的学习数据从距离图像提取构成人体的特征部位，连接提取到的部位而生成人体的骨骼(骨架)，并检测骨架的动作。并且，处理部在骨架的动作与预先确定的动作模式一致时，判断检测到用户的动作。在此，作为预先确定的动作模式，有“歪头”，“转身”，“伸手”等。在本实施方式中，用户动作检测部101在从虚拟对象显示判断部106发出动作检测请求时，通过判断骨架的动作符合预先确定的动作模式中的哪个动作模式来检测用户的动作。用户动作通知部102向状态通信部105通知表示由用户动作检测部101检测到的用户动作的用户动作信息。具体而言，用户动作通知部102在由虚拟对象显示判断部106发出动作检测请求吋，向用户动作检测部101通知该动作检测请求，让用户动作检测部101检测用户动作。并且，用户动作通知部102将从用户动作检测部101通知的用户动作信息交付至状态通信部105。在此，用户动作信息中记述由用户动作检测部101检测到的用户动作(上述的“歪头”等)。此外，在用户动作检测部101无法检测到用户动作时，用户动作信息中记述为“什么都不做”。现实对象状态检测部103例如包括能够检测存在于用户周围的物体(现实对象)的状态变化的状态检测传感器，检测现实对象的状态变化。在此，状态检测传感器例如被安装于头戴式显示器上，包括深度传感器、麦克风以及处理部。深度传感器包括红外线发光元件、红外线照相机以及RGB照相机，例如以指定的帧频拍摄包含位于用户视野前方的现实对象的距离图像。麦克风检测用户周围的声音。处理部例如提取包含在距离图像中的各现实对象的形状模式，判断提取到的形状模式符合预先确定的现实对象的每ー种类的形状模式中的哪个形状模式，从而识别各现实对象。在此，作为现实对象的种类，例如有移动电话、个人电脑、智能手机、平板終端、电视机以及DVD刻录机等数字家电设备，或炉子、电灯、电冰箱、洗 衣机以及微波炉等家电设备。并且，处理部利用各帧的距离图像以及从麦克风输出的声音信号，监视识别出的现实对象的状态是否发生了变化。例如，在处理部识别出移动电话作为现实对象，并且通过麦克风检测到表示移动电话的来电音的声音时，判断移动电话的状态发生了变化，对现实对象状态通知部104通知状态变化信息。在此，若为移动电话，则状态变化信息例如记述“声音响起”、“声音停止”等信息。另外，在识别出炉子作为现实对象，并且通过麦克风检测到表示锅煮开溢出的声音吋，判断炉子的状态发生了变化。在这种情况下，状态变化信息中例如记述“发生煮开溢出”。在上述的说明中，现实对象状态检测部103监视距离图像和声音信号以检测现实对象的状态变化，但本发明不限定于此。例如，若是炉子的情况下，在距离图像成为从锅中溢出液体的状态时，现实对象状态检测部103可以判断炉子的状态发生了变化。另外，当在距离图像中移动电话的显示器的亮度从暗状态变为亮状态时，现实对象状态检测部103可以判断移动电话的状态发生了变化。在这种情况下，状态变化信息中例如记述“显示器变亮”。另外，在数字家电设备中，有时管理数字家电设备的因特网上的服务器对数字家电设备发送软件，进行软件的版本升级。在这种情况下，可以让服务器通知软件的版本升级通知，并使现实对象状态检测部103检测数字家电设备的状态变化。这样，现实对象状态检测部103利用适合识别出的现实对象的种类的监视方法检测现实对象的状态变化。此外，现实对象状态检测部103对识别出的各现实对象赋予识别ID，记述与状态变化信息相应的识别ID和相应的种类。通过这样，其他的模块能够容易地识别状态变化信息与哪个现实对象有夫。并且，现实对象状态检测部103在状态变化信息中记述现实对象的位置数据以及尺寸数据。通过这样，其他的模块能够容易地识别状态发生了变化的现实对象的位置以及尺寸。在此，作为位置数据，例如能够采用虚拟现实空间中的现实对象的重心的位置。在本实施方式中，构成现实对象状态检测部103的深度传感器安装于用户佩戴的头戴式显示器。因此，虚拟现实空间由设深度传感器的位置为原点、以深度传感器的水平方向为X轴、以深度传感器的垂直方向为y轴、以与深度传感器的受光面正交的进深方向为z轴的正交的三轴規定。因此，现实对象的位置数据采用包含在距离图像中的现实对象的重心位置的X轴、y轴以及z轴的值。另外，原点表示用户的当前位置。以下，将以用户的当前位置为原点时的虚拟现实空间表示为局部坐标系(local coordinate system),将以虚拟现实空间的某个地点为基准时的虚拟现实空间表示为全局坐标系(global coordinate system)。此夕卜，全局坐标系也由正交的三轴規定。在此，全局坐标系的正交的三轴分别规定例如纬度、经度、高度。另外，作为现实对象的尺寸，例如，在距离图像中，应用与现实对象外接的立方体，采用该立方体的六个顶点的位置数据。现实对象状态通知部104向状态通信部105通知从现实对象状态检测部103通知的状态变化信息。 状态通信部105向虚拟对象显示判断部106通知从用户动作通知部102通知的用户动作信息和从现实对象状态通知部104通知的状态变化信息。虚拟对象显示判断部106基于从状态通信部105通知的用户动作信息和状态变化信息，判断是否变更虚拟对象的显示方式以便使状态发生了变化的现实对象露出。在此，作为显示方式的变更，例如采用使虚拟对象不显示的方式。此外，这是一例，作为显示方式的变更，例如也可以采用错开虚拟对象的显示位置以使状态发生了变化的现实对象露出的方式。具体而言，虚拟对象显示判断部106根据现实对象显示判断信息107确定与从状态通信部105通知的用户动作信息表示的用户动作相对应的优先度，并且根据现实对象属性信息108确定与从状态通信部105通知的状态变化信息表示的状态变化相对应的优先度，通过比较确定的两个优先度，判断是否变更虚拟对象的显示方式。现实对象显示判断信息107以及现实对象属性信息108存储在存储装置中，由现实对象信息管理部109管理。现实对象显示判断信息107是用户动作和优先度对应起来的信息。图6是表示现实对象显示判断信息107的一例的图。现实对象显示判断信息107包括用户动作栏和优先度栏。在用户动作栏，存储有预先确定的用户动作。在图6的例中，作为用户动作，采用“什么都不做”、“转头”、“转身”、“伸手”以及“靠近”。但这是一例，也可以采用其他动作。图6所示的用户动作全部是与用户的活动有关的动作，但本发明不限定于此，也可以采用用户发出的声音、用户移动物体的动作作为用户动作。在优先度栏，存储有对各用户动作预先设定的优先度。在图6的例中，对各用户动作设定优先度，对“什么都不做”设定“ I ”的优先度，对“转头”设定“ 2 ”的优先度。此外，优先度的优先顺序随着优先度的值的增大而变高。即，规定优先度，以便用户进行优选度越高的动作则用户对状态发生了变化的现实对象进行某些动作的可能性越高。现实对象属性信息108是状态变化和优先度对应起来的信息。图7是表示现实对象属性信息108的一例的图。在图7的例子中，示出了移动电话的现实对象属性信息108。现实对象属性信息108包括示出表示现实对象的种类的信息的栏、示出现实对象的状态变化的“状态”栏、示出现实对象的当前位置的“位置”栏、以及示出现实对象的大小的“大小”栏。在图7的例子中，状态栏记述为“声音响起”，作为优先度记述“4”，对“声音响起”的状态变化赋予“4”的优先度。优先度被赋给按照现实对象的状态变化的种类而预先赋予的数值，值越大表示优先顺序越高。此外，在图7的例中，仅对与“声音响起”这ー种状态的变化规定了优先度，但本发明不限定于此，也可以对多种状态的变化分别预先设定优先度。作为状态变化的其他例子，例如，在为移动电话时，包含“声音停止”、“显示器的亮度变亮”、“软件版本升级”等。另外，在图7中，示出了移动电话的现实对象属性信息108，但现实对象信息管理部109也可以管理其他种类的现实对象的现实对象属性信息108。
图7所示的位置栏记载有局部坐标系的现实对象的位置数据，大小栏记载有现实对象的尺寸数据。该位置数据以及尺寸数据基于从现实对象状态检测部103定期发送的状态监视信息而更新。在此，状态监视信息中，例如包括现实对象状态检测部103识别出的各现实对象的识别ID、各现实对象的种类、各现实对象的位置数据及各现实对象的尺寸数据。现实对象信息管理部109若开始接收状态监视信息，则根据现实对象的种类确定同一种类的现实对象属性信息108，使确定的现实对象属性信息108附帯识别ID，生成每个识别ID的现实对象属性信息108。并且，现实对象信息管理部109每当接收状态监视信息，就以识别ID为关键字将包含在状态监视信息中的位置数据以及尺寸数据写入对应的现实对象属性信息108的位置栏以及大小栏。由此，在现实对象属性信息108的位置栏以及大小栏中写入最新的现实对象的位置数据以及尺寸数据。此外，在与包含在状态监视信息中的现实对象的种类为同一种类的现实对象属性信息108不存在吋，现实对象信息管理部109可以生成仅包括识别ID、位置数据以及尺寸数据的现实对象属性信息108。在此，从现实对象状态检测部103通过现实对象状态通知部104以及状态通信部105向虚拟对象显示判断部106通知状态监视信息。在本实施方式中，当根据现实对象显示判断信息107确定的优先度为根据现实对象属性信息108确定的优先度以上时，虚拟对象显示判断部106判断变更虚拟对象的显示方式。在图6、图7的例子中，例如若移动电话的声音响起从而用户进行伸手动作，则根据图6所示的现实对象显示判断信息107确定“4”的优先度，根据图7所示的现实对象属性信息108确定“4”的优先度。在这种情况下，根据现实对象显示判断信息107确定的优先度为根据现实对象属性信息108确定的优先度以上。因此，虚拟对象显示判断部106判断使虚拟对象不显示。另ー方面，若移动电话的声音响起从而用户进行了转头的动作，则根据图6所示的现实对象显示判断信息107确定“2”的优先度，根据图7所示的现实对象属性信息108确定“4”的优先度。在这种情况下，根据现实对象显示判断信息107确定的优先度小于根据现实对象属性信息108确定的优先度。因此，虚拟对象显示判断部106判断不便虚拟对象不显示。这样，在现实对象的状态发生了变化吋，并非一律地使虚拟对象不显示，而是比较现实对象的状态和用户动作，仅在用户对状态发生了变化的现实对象进行某些动作(例如拿起动作)的可能性高时，使虚拟对象不显示。由此，尽可能維持虚拟对象的显示，其结果是，能够给用户带来趋近存在于虚拟现实空间的临场感。另ー方面，在用户对状态发生了变化的现实对象进行某些动作的可能性低时，若虚拟对象在该现实对象的前侧显示，则用户的视野受到显示于前侧的虚拟对象妨碍，用户对状态发生了变化的现实对象进行动作变得困难。为此，在用户对状态发生了变化的现实对象进行某些动作的可能性高时，使虚拟对象不显示。由此，用户能够容易地对状态发生了变化的现实对象进行某些动作。在此，较为理想的是，虚拟对象显示判断部106提取存在于遮挡用户对于状态发生了变化的现实对象的视野的位置的虚拟对象，使提取到的虚拟对象不显示。具体而言，如图4(A)所示，虚拟对象显示判断部106将由状态发生了变化的现实对象(移动电话203)和用户201的当前位置206包围的区域设定为视野区域205，使至少 一部分包含在视野区域205的虚拟对象202_1、202_2不显示。通过这样，仅使遮挡用户视野的虚拟对象202_1、202_2不显示，而让剩余的虚拟对象显示，因此能够通过剩余的虚拟对象的存在给用户带来虚拟现实空间的临场感。在此，虚拟对象显示判断部106首先根据状态变化信息确定状态发生了变化的现实对象即移动电话203的位置数据以及尺寸数据。然后，虚拟对象显示判断部106根据由用户信息管理部111管理的用户位置信息确定用户201在全局坐标系中的当前位置以及当前方位，并利用确定的用户201的当前位置以及当前方位将移动电话203的位置数据变换到全局坐标系。接着，虚拟对象显示判断部106根据移动电话203的尺寸数据设定外接移动电话203的立方体203a。接着，虚拟对象显示判断部106设定以用户201的当前位置206为中心向X方向的两侧延伸一定距离的边205_1。接着，虚拟对象显示判断部106将由立方体203a的用户侧的面203s和边205_1围住的区域设定为视野区域205。由此，视野区域205成为I方向看为梯形状，X方向看为三角形状的区域。接着，虚拟对象显示判断部106从由虚拟对象信息管理部110管理的虚拟对象中提取显示对象的虚拟对象，从虚拟对象信息管理部110读出提取到的虚拟对象的位置数据以及尺寸数据，设定外接虚拟对象的立方体。在此，虚拟对象信息管理部110管理的虚拟对象的位置数据例如是全局坐标系的位置数据。并且，虚拟对象显示判断部106提取位于从用户201的当前位置起至用户201前方的一定区域内的虚拟对象作为显示对象的虚拟对象。在图4(A)的例子中，提取虚拟对象202_1至202_4这四个虚拟对象作为显示对象的虚拟对象。然后，虚拟对象显示判断部106设定分别外接虚拟对象202_1至202_4的立方体，判断使立方体的一部分区域包含在视野区域205的虚拟对象不显示，并判断显示剩余的虚拟对象。在图4⑷的例子中，由于虚拟对象202_1、202_2存在于视野区域205内，因此虚拟对象202_1、202_2被判断为不显示，虚拟对象202_3、202_4被判断为显示。并且，虚拟对象显示判断部106将使虚拟对象202_1、202_2不显示并使虚拟对象202_3、202_4显示这一判断结果通知给n生成部112。
返回图1，现实对象信息管理部109管理现实对象显示判断信息107和现实对象属性信息108。虚拟对象信息管理部110管理包含虚拟对象的位置数据以及尺寸数据等的虚拟对象管理信息。在此，虚拟对象的位置数据例如采用全局坐标系的位置数据并被预先确定。另外，作为虚拟对象的尺寸数据，采用外接虚拟对象的立方体的六个顶点的坐标。用户信息管理部111管理包含全局坐标系中的用户的当前位置、当前方位以及尺寸的用户位置信息。在此，用户信息管理部111按照由用户位置检测部114定期通知的用户位置信息，管理用户位置信息。另外，用户信息管理部111通过预先让用户输入身高、体重等尺寸信息，来管理用户的尺寸。用户位置检测部114例如包括安装于头戴式显示器的GPS传感器、加速度传感器以及电子罗盘等，检测用户的当前位置以及当前方位，并定期向状态通信部105通知表示用户的当前位置以及当前方位的用户位置信息。
在此，用户位置检测部114例如在头戴式显示器被佩戴时通过GPS传感器取得用户在全局坐标系中的位置数据和通过电子罗盘取得用户在全局坐标系中的当前方位。之后，用户位置检测部114通过累计从加速度传感器定期输出的表示用户的加速度的加速度数据，检测用户在全局坐标系中的当前位置以及当前方位。此外，由于加速度数据以三维向量表示，因此通过累计用户的移动量以及方位的变化量，能够确定用户的当前位置以及当前方位。另外，通知给状态通信部105的用户位置信息通过虚拟对象显示判断部106通知至用户信息管理部111。此外，在上述说明中，通过GPS传感器以及电子罗盘取得用户在全局坐标系中的当前的位置数据以及方位，但也可以让用户操作输入装置，输入用户在全局坐标系中的当前的位置数据和方位。UI生成部112基于虚拟对象显示判断部106的判断結果，生成对用户提示的UI (用户界面)。具体而言，UI生成部112从虚拟对象信息管理部110读出由虚拟对象显示判断部106判断为显示的虚拟对象的虚拟对象管理信息，生成该虚拟对象的ニ维图形数据。并且，n生成部112将生成的图形数据作为n写入n显示部113的帧缓存器。在该帧缓存器中，写入有由现实对象状态检测部103的RGB照相机拍摄到的彩色图像成分、即现实空间的彩色图像。由此，在现实空间的图像上重叠有虚拟对象的虚拟现实空间的图像被生成。UI显示部113例如包括显示面板以及帧缓存器，使现实空间的图像和虚拟对象重叠，从而显示虚拟现实空间的图像。在此，在n显示部113的帧缓存器中，以指定的帧频写入由现实对象状态检测部103的RGB照相机拍摄到的彩色图像成分以及由UI生成部112生成的UI，显示面板显示写入帧缓存器的图像。图15是表示本发明实施方式的对象控制装置100的硬件结构的框图。对象控制装置100包括显示装置11、输入装置12、CPU13、通信部14、RAMl5, R0M16、硬盘驱动器(HDD) 17、用户位置检测传感器18、动作传感器19以及状态检测传感器20。显示装置11例如包括液晶显示装置，显示虚拟现实空间的图像。输入装置12例如包括键盘，受理来自用户的输入操作。CPU13负责对象控制装置100的整体控制。通信部14包括有线或无线的通信电路，接收由动作传感器19检测到的数据，或接收由因特网发送的数据。
RAM15、R0M16以及硬盘驱动器17构成存储装置，存储对象控制程序。用户位置检测传感器18包含GPS传感器、加速度传感器以及电子罗盘，构成图I所示的用户位置检测部114。动作传感器19包含处理部以及拍摄部，构成图I所示的用户动作检测部101。状态检测传感器20包含处理部、深度传感器以及麦克风，构成图I所示的现实对象状态检测部 103。图I所示的用户动作通知部102、现实对象状态通知部104、虚拟对象显示判断部106以及n生成部112是存储在存储装置中的对象控制程序所包含的程序，从存储装置读出由CPU13执行。另外，图I所示状态通信部105由通信部14以及对象控制程序所包含的用于控制通信部14的程序构成，从存储装置读出由CPU13执行。另外，图I所示现实对象信息管理部109、虚拟对象信息管理部110以及用户信息管理部111是对象控制程序所包含的数据以及管理该数据的程序，从存储装置读出而被执行。 此外，在图15中，用户位置检测传感器18、状态检测传感器20以及显示装置11安装于头戴式显示器。另外，输入装置12至硬盘驱动器17由用户所携带的计算机构成。另夕卜，动作传感器19通过通信部14与计算机可通信地连接，设置在用户周围。(动作)接着，说明对象控制装置100的动作。图8是表示本发明实施方式的对象控制装置100的动作的流程图。此外，在以下的说明中，以图2以及图3所示的状况为例进行说明。首先，现实对象状态检测部103检测现实对象的状态变化(S801)，生成状态变化信息，井向用户动作通知部102通知。在图2的例子中，在移动电话203收到语音通话时产生的声音响起，因此现实对象状态检测部103检测到移动电话203的状态发生了变化。接着，现实对象状态通知部104对状态通信部105通知由现实对象状态检测部103通知的状态变化信息(S802)。在图2的例子中，移动电话203的状态从声音未响的状态变化为声音响起的状态，因此表示该状态的变化(=“声音响起”)的状态变化信息被通知给状态通信部105。接着，状态通信部105对虚拟对象显示判断部106通知从现实对象状态通知部104通知的状态变化信息(S803)。接着，虚拟对象显示判断部106发出动作检测请求，并通知给状态通信部105(S804)。接着，状态通信部105对用户动作通知部102通知动作检测请求(S805)。接着，用户动作检测部101被用户动作通知部102通知动作检测请求，检测用户动作(S806)。在此，当用户动作检测部101无法在一定时间内检测到用户动作时(在S806中为否)，结束处理。作为一定时间，例如可以采用预先确定的时间，也可以采用现实对象状态检测部103检测其他的状态变化并将状态变化信息通知给状态通信部105为止的时间。另ー方面，当用户动作检测部101能够在一定时间内检测到用户动作时(在S806中为是)，生成表示检测到的用户动作的用户动作信息，并通过用户动作通知部102通知给状态通信部105(S807)。接着，状态通信部105将用户动作信息通知给虚拟对象显示判断部106(S808)。接着，虚拟对象显示判断部106从现实对象信息管理部109取得现实对象显示判断信息107和现实对象属性信息108(S809)。接着，虚拟对象显示判断部106判断用户动作检测部101检测到的用户动作是否由现实对象显示判断信息107规定(S810)。并且，当虚拟对象显示判断部106判断用户动作由现实对象显示判断信息107规定时(在S810中为是)，使处理进入S811。另ー方面，若用户动作未由现实对象显示判断信息107规定(在S810中为否)，则结束处理。接着，虚拟对象显示判断部106根据现实对象显示判断信息107确定与用户动作相对应的优先度，并且根据现实对象属性信息108确定与状态变化相对应的优先度，对确定的两个优先度进行比较(S811)。当比较的结果是用户动作的优先度为状态变化的优先度以上时(在S811中为是)，处理进入S812。另ー方面，若用户动作的优先度小于状态变化的优先度(在S811中为否)，则结束处理。关于从S807到S811的动作，以图2及图3为例进行说明。在图2中，移动电话203收到语音通话从而声音响起，伴随于此，用户进行“伸手”这ー动作。此时，根据图6所 示的现实对象显示判断信息107，该动作的优先度为“4”。另外，在图7所示的移动电话的现实对象属性信息108中，“声音响起”状态变化的优先度被设定为“4”。在这种情况下，两个优先度相等，因此在S811中判断为是，处理进入S812。另ー方面，在图3的情况下，移动电话203收到短信从而声音响起，伴随于此，用户进行“转头”这ー动作。此时，根据图6所示的现实对象显示判断信息107，该动作的优先度为“2”。另外，在图7所示的移动电话的现实对象属性信息108中，移动电话的状态变化的优先度被设定为“4”。在这种情况下，用户动作的优先度比移动电话203的优先度低，因此
结束处理。接着，虚拟对象显示判断部106从虚拟对象信息管理部110取得成为显示对象的虚拟对象的虚拟对象管理信息(S812)。接着，虚拟对象显示判断部106从用户信息管理部111取得用户位置信息(S813)。接着，虚拟对象显示判断部106根据由用户位置信息所表示的用户的当前位置及方位、以及状态发生了变化的现实对象的现实对象属性信息108所规定的位置数据以及尺寸数据，将图4(A)所示的视野区域205设定为虚拟现实空间(S814)。接着，虚拟对象显示判断部106将成为显示对象的虚拟对象配置在虚拟现实空间，从成为显示对象的虚拟对象中提取包含在视野区域205的虚拟对象(S815)。接着，虚拟对象显示判断部106将用于通知显示的虚拟对象和不显示的虚拟对象的判断结果通知至n生成部112(S816)。接着，n生成部112生成显示的虚拟对象的图形数据，n显示部113在现实空间的图像上重叠虚拟对象的图形数据从而生成虚拟现实空间的图像并进行显示(S817)。此外，对象控制装置100可以在使虚拟对象不显示后，当用户完成了指定的动作时，再次显示被设为不显示的虚拟对象从而解除不显示的状态。具体而言，虚拟对象显示判断部106可以在用户动作检测部101检测不到成为使虚拟对象不显示的契机的用户动作时，解除不显示的状态。更具体而言，虚拟对象显示判断部106可以在从用户动作检测部101通知记述为“什么都不做”的用户动作信息时，解除不显示状态。另外，虚拟对象显示判断部106可以预先定义例如挥手指定次数等用于解除不显示状态的指定的动作。并且，虚拟对象显示判断部106可以在通过用户动作检测部101检测到该指定的动作、并被通知表示该指定的动作的用户动作信息时，解除不显示的状态。若不显示的状态被解除，则因存在于视野区域205而被设为不显示的虚拟对象的图形数据被重叠在现实空间的图像上，并显示于n显示部113。S卩，如图3(B)所示的图像显示于UI显示部113。(其他)此外，在本实施方式中，使包含在视野区域205的虚拟对象不显示，但本发明不限定于此，也可以使全部虚拟对象不显示。由此，在用户对现实对象进行某些动作时，不会被虚拟对象遮挡，能够找到成为操作对象的现实对象。另外，在图8的S810中，即使用户动作未由现实对象显示判断信息107规定，也可以使该用户动作与现实对象显示判断信息107中所规定的用户动作近似，从而确定优先·度。在这种情况下，虚拟对象显示判断部106可以使现实对象信息管理部109管理图9所示的近似动作信息，并參照该近似动作信息来近似用户动作。图9是表示近似动作信息的一例的图。近似动作信息包括用户动作栏和近似动作栏。用户动作栏中，存储有现实对象显示判断信息107所规定的任一用户动作。近似动作栏中，存储有现实对象显示判断信息107未规定的用户动作、并且是用户动作检测部101检测的用户动作。在图8的S810中，虚拟对象显示判断部106在由用户动作检测部101检测到的用户动作未由现实对象显示判断信息107规定时(在S810中为否)，參照图9所示的近似动作信息。并且，若检测到的用户动作在近似动作栏被規定，则虚拟对象显示判断部106可以确定与该近似动作相对应的用户动作，井根据现实对象显示判断信息107确定与所确定的用户动作相对应的优先度。由此，即使由用户动作检测部101检测到的用户动作未由现实对象显示判断信息107規定，也能够使该用户动作与现实对象显示判断信息107所规定的用户动作近似来确定优先度，并能够更灵活地对各种用户动作确定优先度。另外，在图8的S815中，取代使包含在视野区域205的虚拟对象不显示的方式，虚拟对象显示判断部106也可以指示UI生成部112，使包含在视野区域205的虚拟对象移动到不包含在视野区域205的位置。在这种情况下，虚拟对象显示判断部106例如可以使虚拟对象的z坐标的位置保持原样，使成为移动对象的虚拟对象移动到外接该移动对象的虚拟对象的立方体与视野区域205不重叠，且该虚拟对象的移动距离为最短距离的位置。通过这样，使虚拟对象的显示位置的变动量达到最小，可以不给用户带来大的不适感地显示虚拟对象。并且，虚拟对象显示判断部106通知虚拟对象信息管理部110变更包含在视野区域205的虚拟对象的位置，更新虚拟对象信息管理部110管理的相应的虚拟对象的位置。并且，虚拟对象显示判断部106指示n生成部112在更新后的虚拟对象的位置显示相应的虚拟对象。由此，在用户对现实对象进行某些动作时，不会被虚拟对象遮挡，用户能够找到作为操作对象的现实对象。此外，在图8的S815中，虚拟对象显示判断部106也可以在现实对象属性信息108保存扩展视野区域205的属性时，不仅使包含在视野区域205的虚拟对象不显示，还使包含在扩展视野区域的虚拟对象不显示。扩展视野区域是在状态变化被检测出的现实对象的附近设定的区域。由此，在用户对现实对象进行某些动作时，在更宽的区域不会被虚拟对象遮挡，能够找到作为操作对象的现实对象。以下，用图10、图11、图12、图17说明扩展视野区域。图10是表示保存扩展视野区域205的属性时的现实对象属性信息108的一例的图。如图10所示，可知，现实对象属性信息108保存有“扩展区域距离L”这ー扩展视野区域205的属性。图11是本发明实施方式的对象控制装置100在设定了扩展视野区域时，根据用户动作使虚拟对象不显示时的处理的说明图。图Il(A)示出用户进行伸手动作时用户观看到的虚拟现实空间，图Il(B)示出用户进行了伸手动作后用户观看到的虚拟现实空间。与图2的(A)、⑶的区别在于，在移动电话203的背后存在虚拟对象202_X。图12的(A)、(B)是从上侧观看图11 (A)、⑶时的图。图17是从侧面侧(X方向侧)观看到的扩展视野区域 207的图。如图12(A)所示，位于移动电话203背后的虚拟对象202_X未包含在视野区域205。因此，若仅使包含在视野区域205的虚拟对象不显示，则虚拟对象202_X显示于移动电话203的背后，可能成为用户201拿起移动电话203的动作的妨碍。因此，为了使虚拟对象202_X不显示，虚拟对象显示判断部106如图12(B)所示那样设定扩展视野区域207。在俯视时，扩展视野区域207是在用户201伸出的手一侧设定弧207_2且从移动电话203的中心203_0起具有一定的半径L的扇形的区域。在此，采用扩展区域距离作为一定的半径し另外，作为中心203_0，例如可以采用外接移动电话203的立方体203a的中心，也可以采用立方体203a的用户侧的面203s的中心。另外,其中之一的边207_1被设定成与连接用户201的当前位置206和中心203_0的直线平行、即与z轴平行。另外，如图17所示，在侧视时，扩展视野区域207具有以中心203_0为中心的半径L的圆形状。即，扩展视野区域207是俯视为扇形、侧视为圆形、并将扇形和圆形插值为球状而得到的立体。这样，通过设定扩展视野区域207，不仅使包含在视野区域205的虚拟对象不显示，而且也使包含在扩展视野区域207的虚拟对象202_X不显示(參照图11(B))。因此，位于移动电话203背后的虚拟对象202_X成为不显示，从而用户201能够容易地进行对移动电话203的动作。另外，在计算扩展视野区域207时，也可以在S808取得用户的手201_1的朝向，利用所取得的手的朝向设定扩展视野区域207。图13是从上侧观看到的用户的手201_1的活动的图。在图13的例子中，在俯视时，用户201向前方伸出右侧的手201_1。因此，用户动作检测部101检测俯视时连接移动电话203的中心203_0和用户201的当前位置206的直线L13与用户201伸出侧的手201_1所成的角度0。在这种情况下，用户动作检测部101可以通过将表示用户201的姿势的骨架投影到x-z平面来求得角度9。并且，在图8的S815中，由于在所取得的现实对象属性信息108中记载有“扩展区域距离L”，因此，虚拟对象显示判断部106判断不仅使存在于视野区域205的虚拟对象不显示，还使存在于扩展视野区域207的虚拟对象不显示。在此，虚拟对象显示判断部106设定外接虚拟对象202_X的立方体，若立方体的一部分存在于扩展视野区域207，则可以判断虚拟对象202_X包含在扩展视野区域207中。另外，如图14所示，在俯视时，扩展视野区域207的其中之ー的边207_1被设定在连接状态发生了变化的现实对象即移动电话203的中心203_0和用户201的当前位置206的直线L13上，并设定成随着直线L13和手201_1所成的角度0増大，中心角a减小。具体而言，扩展视野区域207被设定成俯视时中心角a以边207_1为基准且中心角a为a=(270- 0 )°的扇形。在这种情况下也可以如图17所示，在侧视时，扩展视野区域207为半径L的球状。此外，即使在采用设定扩展视野区域207的方式时，也可以取代使包含在视野区域205以及扩展视野区域207的虚拟对象不显示的方式，而采用使虚拟对象的位置移动的方式。在这种情况下，虚拟对象的z坐标的位置保持原样，使成为移动对象的虚拟对象移动到外接该虚拟对象的立方体与视野区域205以及扩展视野区域207不重叠，且该虚拟对象 的移动距离为最短距离的位置。此外，本实施方式的对象控制装置100典型地作为半导体集成电路即LSI实现。具体而言，可以通过集成电路构成对象控制装置100中的用户动作通知部102、现实对象状态通知部104、状态通信部105、虚拟对象显示判断部106、现实对象信息管理部109、虚拟对象信息管理部110、用户信息管理部111以及UI (用户界面)生成部112。这些既可以分别实行单芯片化，也可以包含其中一部分或者是全部而实行单芯片化。在此，虽然作为LSI，但根据集成度的差异，也可以称作1C、系统LSI、超大LSI、特大LSI。另外，集成电路化的方法不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后可编程的FPGA (Field Programmable Gate Array,现场可编程门阵列)，或可重构LSI内部的电路单元的连接或设定的可重构处理器。进而，若由于半导体技术的进步或派生的其他技术而出现了置換LSI的集成电路化的技术，则当然也可以利用该技术进行功能块的集成化。还存在适用生物技术等的可能性。进而，通过组合将本实施方式的对象控制装置100集成化后的半导体芯片和用于描绘图像的显示器，能够构成适合各种用途的描绘设备。能够利用本发明作为移动电话、电视机、数字录像器、数字摄像机、汽车导航等中的信息描绘单元。作为显示器，除了阴极射线管(CRT)以外，还能够组合液晶或rop(等离子体显示面板)、有机EL等平板显示器、以投影仪为代表的投射式显示器等。本发明的对象控制装置的技术的特征可归纳如下。(I)本发明的对象控制装置，是在虚拟现实空间进行虚拟对象的显示控制的对象控制装置，包括用户动作检测部，检测用户的动作；用户动作通知部，通知表示由所述用户动作检测部检测到的用户动作的用户动作信息；现实对象状态检测部，检测存在于所述虚拟现实空间的现实对象的状态变化；现实对象状态通知部，通知表示由所述现实对象状态检测部检测到的所述现实对象的状态变化的状态变化信息；状态通信部，通知从所述用户动作通知部通知的用户动作信息和从所述现实对象状态通知部通知的状态变化信息；虚拟对象显示判断部，基于从所述状态通信部通知的用户动作信息和状态变化信息，判断是否变更所述虚拟对象的显示方式以使状态发生了变化的现实对象露出生成部，基于所述虚拟对象显示判断部的判断結果，生成对用户提示的UI (用户界面)；以及n显示部，显示由所述n生成部生成的n。根据该结构，若现实对象的状态变化，则比较该现实对象的状态变化和用户动作，判断是否变更虚拟对象的显示方式以使该现实对象露出，即、使该现实对象显示在前侧。并且，基于判断結果，生成并显示对用户提示的UI。这样，在现实对象的状态发生了变化时，并不是一律地使虚拟对象不显示，而是比较现实对象的状态和用户动作，仅在用户对状态发生了变化的现实对象进行某些动作的可能性高时，使虚拟对象不显示。由此，尽可能維持虚拟对象的显示，其结果是，能够给用户带来存在于虚拟现实空间的临场感。另ー方面，在用户对状态发生了变化的现实对象进行某些动作时，若在该现实对象的前侧显示有虚拟对象，则显示在前侧的虚拟对象妨碍用户对该现实对象的视野，用户进行动作变得困难。为此，在用户对状态发生了变化的现实对象进行某些动作的可能性高时，变更虚拟对象的显示方式以使现实对象显示在前侧。由此，用户的视野不会被虚拟对 象遮挡，用户能够容易地对状态发生了变化的现实对象进行某些动作。(2)较为理想的是，上述结构还包括现实对象信息管理部，管理用户动作和优先度被对应起来的现实对象显示判断信息和所述现实对象的状态变化和优先度被对应起来的现实对象属性信息，其中，所述虚拟对象显示判断部根据所述现实对象显示判断信息确定与从所述状态通信部通知的用户动作信息表示的用户动作相对应的优先度，并且，根据所述现实对象属性信息确定与从所述状态通信部通知的状态变化信息表示的状态变化相对应的优先度，通过比较确定的两个优先度，判断是否变更所述虚拟对象的显示方式。根据该结构，利用用户动作以及优先度预先被对应起来的现实对象显示判断信息，确定与用户动作信息表示的用户动作相对应的优先度。另外，利用现实对象的状态变化以及优先度预先被对应起来的现实对象属性信息，确定与状态发生了变化的现实对象的状态变化相对应的优先度。并且，比较确定的两个优先度来判断虚拟对象的显示方式的变更的有无。由此，现实对象显示判断部能够用预先确定的数据判断现实对象的显示方式的变更的有无，从而能够正确并且高速地进行该判断。(3)较为理想的是，所述现实对象显示判断信息以及所述现实对象属性信息所包含的优先度的优先顺序随着优先度的值的增大而变高，所述虚拟对象显示判断部在根据所述现实对象显示判断信息确定的优先度为根据所述现实对象属性信息确定的优先度以上时，判断变更所述虚拟对象的显示方式。现实对象显示判断信息规定用户动作的优先度，现实对象属性信息规定现实对象的状态变化的优先度。因此，通过根据现实对象显示判断信息确定的优先度是否为根据现实对象属性信息确定的优先度以上，能够判断用户对状态发生了变化的现实对象进行某些动作的可能性是否较高。(4)较为理想的是，所述虚拟对象显示判断部在从所述状态通信部通知的用户动作信息未包含在所述现实对象显示判断信息中时，使该用户动作信息表示的用户动作与包含在所述现实对象显示判断信息中的用户动作信息近似，判断是否变更所述虚拟对象的显
,J、O根据该结构，即使由用户动作检测部检测到的用户动作未由现实对象显示判断信息规定，也能够使该用户动作与现实对象显示判断信息中所规定的用户动作近似来确定优先度，从而能够更灵活地对用户动作确定优先度。(5)较为理想的是，所述虚拟对象显示判断部针对状态发生了变化的现实对象提取存在于遮挡用户视野的位置的虚拟对象，变更提取到的虚拟对象的显示方式。根据该结构，仅遮挡用户视野的虚拟对象的显示方式被变更，剰余的虚拟对象的显示方式不变更，因此通过显示方式未变更的虚拟对象的存在，能够给用户带来虚拟现实空间的临场感。(6)较为理想的是，所述虚拟对象显示判断部将由状态发生了变化的现实对象和用户的当前位置包围的区域设定为视野区域，使至少一部分包含在所述视野区域的所述虚拟对象的显示方式变更。根据该结构，由状态发生了变化的现实对象和用户的当前位置包围的区域被设定为视野区域，虚拟对象即便是一部分包含在该视野区域，也判断该虚拟对象遮挡用户的视 野。因此，能够正确地判断虚拟对象是否遮挡用户的视野。(7)较为理想的是，所述虚拟对象显示判断部将俯视时在用户伸出的手一侧设定有弧且从状态发生了变化的现实对象起具有一定半径的扇形的区域设定为扩展视野区域，使包含在所述扩展视野区域以及所述视野区域的至少其中之一区域的虚拟对象的显示方式变更。根据该结构，即使是未包含在视野区域的虚拟对象，如果位于状态发生了变化的现实对象的周围则也变更显示方式，因此能够使用户对状态发生了变化的现实对象的视野更为良好。(8)较为理想的是，所述扩展视野区域被设定成，俯视时，从状态发生了变化的现实对象的中心朝向用户设定所述扇形的ー边，且随着连接所述用户和所述现实对象的中心的直线与用户伸出的手的朝向所成的角度増大，所述扇形的中心角减小。一般而言，用户的视线的方向朝向用户伸出手的方向。在本结构中，能够以俯视时以用户伸出手的方向为基准向两侧扩展的方式设定扩展视野区域，因此能够更为正确地确定妨碍用户的视野的虚拟对象。(9)较为理想的是，上述结构还包括管理包含所述虚拟对象的位置的虚拟对象管理信息的虚拟对象信息管理部，其中，所述虚拟对象显示判断部利用所述虚拟对象管理信息确定所述虚拟对象的位置。根据该结构，由于由虚拟对象信息管理部管理虚拟对象的位置，因此虚拟对象显示判断部能够容易地确定虚拟对象的位置。(10)较为理想的是，上述结构还包括管理包含用户的当前位置的用户位置信息的用户信息管理部，其中，所述虚拟对象显示判断部利用所述用户位置信息确定用户的当前位置。根据该结构，由于由用户信息管理部管理用户的当前位置，因此虚拟对象显示判断部能够容易地确定用户的当前位置。(11)较为理想的是，所述虚拟对象显示判断部在所述虚拟对象的显示方式变更之后，当由用户进行了使所述显示方式返回原样的指定的手势时，使所述显示方式返回原样。根据该结构，在虚拟对象的显示方式变更之后，当用户想使虚拟对象的显示方式返回原样时，能够通过指定的手势，使虚拟对象的显示方式返回原样。(12)较为理想的是，所述显示方式的变更是使所述虚拟对象不显示。根据该结构，通过使虚拟对象不显示，状态发生了变化的现实对象被显示于前侧，因此用户能够容易地进行对该现实对象的动作。(13)较为理想的是，所述显示方式的变更是使所述虚拟对象的显示位置错开。根据该结构，通过使虚拟对象的显示位置错开，状态发生了变化的现实对象被显示于前侧，因此用户能够容易地进行对该现实对象的动作。产业上的可利用性本发明涉及的对象控制装置作为在利用了头戴式显示器等的虚拟现实空间，针对 对象识别后的物体动态并且选择性地设定、利用与物体的种类相符的功能的手段是有用的。
权利要求
1.一种对象控制装置，在虚拟现实空间进行虚拟对象的显示控制，其特征在于包括 用户动作检测部，检测用户的动作； 用户动作通知部，通知表示由所述用户动作检测部检测到的用户动作的用户动作信息； 现实对象状态检测部，检测存在于所述虚拟现实空间的现实对象的状态变化； 现实对象状态通知部，通知表示由所述现实对象状态检测部检测到的所述现实对象的状态变化的状态变化信息； 状态通信部，通知从所述用户动作通知部通知的用户动作信息和从所述现实对象状态 通知部通知的状态变化信息； 虚拟对象显示判断部，基于从所述状态通信部通知的用户动作信息和状态变化信息，判断是否变更所述虚拟对象的显示方式以使状态发生了变化的现实对象露出； UI生成部，基于所述虚拟对象显示判断部的判断结果，生成对用户提示的用户界面UI ;以及 UI显示部，显示由所述Π生成部生成的UI。
2.根据权利要求I所述的对象控制装置，其特征在于还包括 现实对象信息管理部，管理用户动作和优先度被对应起来的现实对象显示判断信息和所述现实对象的状态变化和优先度被对应起来的现实对象属性信息，其中， 所述虚拟对象显示判断部，根据所述现实对象显示判断信息确定与从所述状态通信部通知的用户动作信息表示的用户动作相对应的优先度，并且，根据所述现实对象属性信息确定与从所述状态通信部通知的状态变化信息表示的状态变化相对应的优先度，通过比较所确定的两个优先度，判断是否变更所述虚拟对象的显示方式。
3.根据权利要求2所述的对象控制装置，其特征在于 所述现实对象显示判断信息以及所述现实对象属性信息所包含的优先度的优先顺序随着优先度的值的增大而变高， 所述虚拟对象显示判断部，在根据所述现实对象显示判断信息确定的优先度为根据所述现实对象属性信息确定的优先度以上时，判断变更所述虚拟对象的显示方式。
4.根据权利要求2或3所述的对象控制装置，其特征在于 所述虚拟对象显示判断部，在从所述状态通信部通知的用户动作信息未包含于所述现实对象显示判断信息中时，使该用户动作信息表示的用户动作与包含于所述现实对象显示判断信息中的用户动作信息近似，判断是否变更所述虚拟对象的显示方式。
5.根据权利要求I至4中任一项所述的对象控制装置，其特征在于 所述虚拟对象显示判断部，针对状态发生了变化的现实对象提取存在于遮挡用户视野的位置的虚拟对象，变更提取到的虚拟对象的显示方式。
6.根据权利要求5所述的对象控制装置，其特征在于 所述虚拟对象显示判断部，将由状态发生了变化的现实对象和用户的当前位置包围的区域设定为视野区域，使至少一部分包含于所述视野区域的所述虚拟对象的显示方式变更。
7.根据权利要求5或6所述的对象控制装置，其特征在于 所述虚拟对象显示判断部，将俯视时在用户伸出的手一侧设定弧且从状态发生了变化的现实对象起具有一定半径的扇形的区域设定为扩展视野区域，使包含于所述扩展视野区域以及所述视野区域的至少其中之一区域的虚拟对象的显示方式变更。
8.根据权利要求8所述的对象控制装置，其特征在于 所述扩展视野区域被设定为，俯视时，从状态发生了变化的现实对象的中心朝向用户设定所述扇形的一边，且随着连接所述用户和所述现实对象的中心的直线与用户伸出的手的朝向所成的角度增大，所述扇形的中心角减小。
9.根据权利要求I至8中任一项所述的对象控制装置，其特征在于还包括管理包含所述虚拟对象的位置的虚拟对象管理信息的虚拟对象信息管理部，其中， 所述虚拟对象显示判断部，利用所述虚拟对象管理信息确定所述虚拟对象的位置。
10.根据权利要求I至9中任一项所述的对象控制装置，其特征在于还包括管理包含用户的当前位置的用户位置信息的用户信息管理部，其中， 所述虚拟对象显示判断部，利用所述用户位置信息确定用户的当前位置。
11.根据权利要求I至10中任一项所述的对象控制装置，其特征在于所述虚拟对象显示判断部，在所述虚拟对象的显示方式变更之后，当由用户进行了使所述显示方式返回原样的指定的手势时，使所述显示方式返回原样。
12.根据权利要求I至11中任一项所述的对象控制装置，其特征在于所述显示方式的变更是使所述虚拟对象不显示。
13.根据权利要求I至11中任一项所述的对象控制装置，其特征在于所述显示方式的变更是使所述虚拟对象的显示位置错开。
14.一种对象控制方法，用于在虚拟现实空间进行虚拟对象的显示控制的对象控制装置，其特征在于包括 用户动作检测步骤，用户动作检测部检测用户动作； 用户动作通知步骤，用户动作通知部通知表示由所述用户动作检测部检测到的用户动作的用户动作信息； 现实对象状态检测步骤，现实对象状态检测部检测存在于所述虚拟现实空间的现实对象的状态变化； 现实对象状态通知步骤，现实对象状态通知部通知表示由所述现实对象状态检测部检测到的所述现实对象的状态变化的状态变化信息； 状态通信步骤，状态通信部通知从所述用户动作通知部通知的用户动作信息和从所述现实对象状态通知部通知的状态变化信息； 虚拟对象显示判断步骤，虚拟对象显示判断部基于从所述状态通信部通知的用户动作信息和状态变化信息，判断是否变更所述虚拟对象的显示方式以使状态发生了变化的现实对象露出； UI生成步骤，UI生成部基于所述虚拟对象显示判断部的判断结果，生成对用户提示的用户界面Π ;以及 UI显示步骤，UI显示部显示由所述UI生成部生成的UI。
15.一种对象控制程序，用于使计算机作为在虚拟现实空间进行虚拟对象的显示控制的对象控制装置而动作，其特征在于使计算机作为以下各部发挥功能 用户动作通知部，通知表示由用户动作检测部检测到的用户动作的用户动作信息；现实对象状态通知部，通知表示由现实对象状态检测部检测到的存在于所述虚拟现实空间的现实对象的状态变化的状态变化信息； 状态通信部，通知从所述用户动作通知部通知的用户动作信息和从所述现实对象状态通知部通知的状态变化信息； 虚拟对象显示判断部，基于从所述状态通信部通知的用户动作信息和状态变化信息，判断是否变更所述虚拟对象的显示方式以使状态发生了变化的现实对象露出；以及 UI生成部，基于所述虚拟对象显示判断部的判断结果，生成对用户提示的用户界面UI,并显示于UI显示部。
16.一种集成电路，用于在虚拟现实空间中进行虚拟对象的显示控制的对象控制装置，其特征在于包括 用户动作通知部，通知表示由用户动作检测部检测到的用户动作的用户动作信息； 现实对象状态通知部，通知表示由现实对象状态检测部检测到的存在于所述虚拟现实空间的现实对象的状态变化的状态变化信息； 状态通信部，通知从所述用户动作通知部通知的用户动作信息和状态变化信息；虚拟对象显示判断部，基于从所述状态通信部通知的用户动作信息和状态变化信息，判断是否变更所述虚拟对象的显示方式以使状态发生了变化的现实对象露出；以及 UI生成部，基于所述虚拟对象显示判断部的判断结果，生成对用户提示的用户界面UI,并显示于UI显示部。
全文摘要
虚拟对象显示判断部(106)根据现实对象显示判断信息(107)确定与从状态通信部(105)通知的用户动作信息表示的用户动作相对应的优先度，并且根据现实对象属性信息(108)确定与从状态通信部(105)通知的状态变化信息表示的状态变化相对应的优先度，通过比较确定的两个优先度，判断是否变更虚拟对象的显示方式。UI生成部(112)基于虚拟对象显示判断部(106)的判断结果，生成对用户提示的UI，并显示于UI显示部(113)。
文档编号G06F3/048GK102859470SQ201280001090
公开日2013年1月2日 申请日期2012年2月9日 优先权日2011年3月15日
发明者安达孝夫 申请人:松下电器产业株式会社