虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序与流程

本发明涉及进行用于显示虚拟物体图像的控制的虚拟物体显示控制装置、虚拟物体显示控制方法、虚拟物体显示控制程序以及包含所述虚拟物体显示控制装置的虚拟物体显示系统。

背景技术：

已提出在显示装置的画面显示实际物体的图像和与该实际物体的图像重叠的虚拟物体的图像的装置(例如，参照专利文献1、2)。虚拟物体的图像例如是增强现实(ar)图像。

现有技术文献

专利文献

专利文献1：日本特开2015-49039号公报(第0010、0068、0079段)

专利文献2：国际公开第2016/203792号(第0081段)

技术实现要素：

发明要解决的课题

在上述现有的装置中，考虑到实际空间中的遮蔽(即，使得虚拟物体的图像不被实际物体的图像遮蔽)，将虚拟物体的图像显示在从本来应该显示的位置移动后的位置。但是，在这种情况下，观察者无法知晓虚拟物体的图像本来应该显示的位置。因此，在虚拟物体的图像是包含实际物体的注释的图像的情况下，很难知晓注释是关于哪个实际物体的。

本发明的目的在于提供一种虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序，即使在虚拟物体的图像显示于观察者看不到的位置的情况下，也能够使观察者识别虚拟物体的图像的位置。

本发明的一个方面的虚拟物体显示控制装置的特征在于，该虚拟物体显示控制装置具有：识别部，其接收表示实际空间的实际空间信息；视点位置判定部，其根据所述实际空间信息判定观察者的视点位置；实际物体判定部，其根据所述实际空间信息判定实际物体的位置和形状；虚拟物体显示设定部，其根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；引导显示控制部，其根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；以及描绘部，其输出所述虚拟物体的图像信息和所述引导显示的图像信息。

本发明的另一个方面的虚拟物体显示系统的特征在于，该虚拟物体显示系统具有：空间信息取得部，其取得表示实际空间的实际空间信息；识别部，其接收所述实际空间信息；视点位置判定部，其根据所述实际空间信息判定观察者的视点位置；实际物体判定部，其根据所述实际空间信息判定实际物体的位置和形状；虚拟物体显示设定部，其根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；引导显示控制部，其根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；描绘部，其输出所述虚拟物体的图像信息和所述引导显示的图像信息；以及显示装置，其根据所述虚拟物体的图像信息和所述引导显示的图像信息来显示图像。

发明效果

根据本发明，即使在虚拟物体的图像显示于观察者看不到的位置的情况下，也能够通过引导显示使观察者识别虚拟物体的图像的位置。

附图说明

图1是表示本发明的实施方式1的虚拟物体显示系统的硬件结构的图。

图2是概略地表示视点位置与实际物体(遮蔽物)的位置关系的图。

图3是表示实施方式1的虚拟物体显示控制装置的功能框图。

图4是表示实施方式1的虚拟物体显示系统的说明图。

图5是表示实施方式1的虚拟物体显示控制装置的动作的流程图

图6是表示实施方式1的变形例的虚拟物体显示系统的硬件结构的图。

图7是表示实施方式1的变形例的虚拟物体显示系统的说明图。

图8是表示本发明的实施方式2的虚拟物体显示系统的硬件结构的图。

图9是表示实施方式2的虚拟物体显示系统的说明图。

具体实施方式

以下，参照附图说明本发明的实施方式的虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序。以下的实施方式只是例子，能够在本发明的范围内进行各种变更。

另外，图中示出xyz直角坐标系。在xyz直角坐标系中，x轴表示实际空间中的横向(即水平横向)，y轴表示实际空间中的进深方向(即水平进深方向)，z轴表示实际空间中的高度方向(即纵向)。

实施方式1

首先，说明虚拟物体显示系统1和虚拟物体显示控制装置10的结构。图1是表示实施方式1的虚拟物体显示系统1的硬件结构的图。如图1所示，虚拟物体显示系统1具有：空间信息取得部20，其是取得表示实际空间(即，实际世界)的实际空间信息的空间检测部；显示装置30，其显示图像；以及虚拟物体显示控制装置10，其使显示装置30显示图像。显示装置30例如显示实际物体的图像、虚拟物体的图像以及引导显示。虚拟物体的图像例如是ar图像。图像虚拟物体显示控制装置10是能够实施实施方式1的虚拟物体显示控制方法的装置。

空间信息取得部20例如具有取得实际空间的图像信息a1的1台以上的摄像部21和取得实际空间内存在的实际物体(即，对象物)的进深信息a2的1台以上的进深检测部22。空间信息取得部20也可以具有摄像部21和进深检测部22中的一方。摄像部21例如是取得彩色图像的彩色摄像机和从多个不同方向同时拍摄实际物体的立体摄像机等。进深检测部22例如是具有检测实际物体的进深(深度)的功能的进深摄像机等。在实施方式1中，实际空间信息包含实际空间的图像信息a1和实际物体的进深信息a2。

虚拟物体显示控制装置10具有作为信息处理部的cpu(centralprocessingunit：中央处理单元)11、作为图像处理部的gpu(graphicsprocessingunit：图形处理单元)12以及作为存储信息的存储部的存储器13。gpu12的功能也可以由cpu11来执行。虚拟物体显示控制装置10例如是个人计算机(pc)、智能手机或平板终端等。存储器13也可以存储实施方式1的虚拟物体显示控制程序。cpu11能够通过执行虚拟物体显示控制程序来控制显示装置30的显示动作。

显示装置30例如是pc的监视器、智能手机或平板终端等具有显示画面(即显示器)的装置。

图2是概略地表示观察者90的视点位置91与实际物体311的位置关系的图。实际物体311可以是遮蔽虚拟物体的遮蔽物。在实际空间内存在实际物体311的情况下，观察者90不能从视点位置91目视被实际物体311遮蔽的区域(斜线区域)314中显示的虚拟物体的图像。另外，在使虚拟物体的图像移动到不同位置的情况下，不知晓虚拟物体的图像与哪个实际物体相关联。因此，虚拟物体显示控制装置10根据实际空间信息判断观察者90的视点位置91以及实际物体311的位置和形状，根据视点位置91、实际物体311的位置和形状以及虚拟物体的图像信息b1，判断是否需要引导显示。虚拟物体显示控制装置10在需要引导显示的情况下设定引导显示的图像信息b2，输出虚拟物体的图像信息b1和引导显示的图像信息b2。虚拟物体显示控制装置10在不需要引导显示的情况下，输出虚拟物体的图像信息b1。

图3是表示实施方式1的虚拟物体显示控制装置10的功能框图。如图3所示，虚拟物体显示控制装置10具有识别部110和显示控制部120，识别部110接收作为实际空间信息的实际空间的图像信息a1和实际物体的进深信息a2。

例如，识别部110具有空间识别部111和实际物体识别部112，空间识别部111接收实际空间的图像信息a1，实施必要的处理并提供给显示控制部120，实际物体识别部112接收实际物体的进深信息a2，实施必要的处理并提供给显示控制部120。实际物体识别部112也可以输出将实际物体置换成实际物体的模型(即，预先保持的图像信息)而得到的数据。实际物体的模型是预先保持的图像信息，也可以是桌子或椅子等的图像信息，圆柱、长方体、三棱锥、球体等有代表性的三维形状。然而，识别部110的结构和功能不限于以上的例子。

显示控制部120具有：视点位置判定部121，其根据实际空间的图像信息a1和实际物体的进深信息a2判定观察者90的视点位置91；实际物体判定部122，其根据实际空间信息判定实际物体311的位置和形状；以及虚拟物体显示设定部123，其根据视点位置91以及实际物体311的位置和形状来设定虚拟物体312的图像信息b1。

另外，显示控制部120具有：引导显示判定部124，其根据视点位置91、实际物体311的位置和形状以及虚拟物体312的图像信息b1来判定是否需要引导显示323；以及引导显示设定部125，其在需要引导显示323的情况下设定引导显示的图像信息b2。引导显示判定部124和引导显示设定部125构成引导显示控制部126。引导显示判定部124例如在从视点位置观察时，虚拟物体的整体或一部分被实际物体遮蔽的情况下，判定为需要引导显示。另外，引导显示判定部124也可以在从视点位置观察时，虚拟物体的预先决定的一定比例以上(例如50％以上)被实际物体遮蔽的情况下，判定为需要引导显示。

此外，显示控制部120具有输出虚拟物体的图像信息b1和引导显示的图像信息b2的描绘部127。描绘部127也可以输出通过将虚拟物体的图像信息b1和引导显示的图像信息b2与实际空间的图像信息a1合成而得到的合成图像信息。

接着，说明虚拟物体显示控制装置10的动作。图4是表示虚拟物体显示系统1的说明图。在图4中，作为图1的摄像部21示出2台摄像部21a、21b。在图4的例子中，空间信息取得部20的摄像部21a、21b将实际空间的图像信息a1和实际物体的进深信息a2提供给虚拟物体显示控制装置10。另外，图5是表示虚拟物体显示控制装置10的动作的流程图。

虚拟物体显示控制装置10在步骤s1中接收实际空间信息，在步骤s2中根据实际空间信息(例如，实际空间的图像信息a1)判定观察者90的视点位置91，在步骤s3中根据实际空间信息(例如，实际物体的进深信息a2)判定实际物体311的位置和形状，在步骤s4中根据视点位置91以及实际物体311的位置和形状来设定虚拟物体312的图像信息b1。

接着，虚拟物体显示控制装置10在步骤s5中根据视点位置91、实际物体311位置和形状以及虚拟物体的图像信息b1来判定是否需要引导显示。即，虚拟物体显示控制装置10判定从视点位置91观察，虚拟物体312的图像322是否被实际物体311的图像321遮蔽。

在虚拟物体312的图像322没有被遮蔽的情况下，虚拟物体显示控制装置10在步骤s6中描绘基于实际空间的图像信息的实际物体的图像321和虚拟物体的图像322。然后，虚拟物体显示控制装置10在步骤s7中使显示装置30显示实际物体的图像321和虚拟物体的图像322。

在虚拟物体312的图像322被遮蔽的情况下，虚拟物体显示控制装置10在步骤s8中判定引导显示323的位置，在步骤s9中设定引导显示的图像信息，在步骤s10中描绘基于实际空间的图像信息的实际物体的图像321、虚拟物体的图像322以及引导显示的图像323。然后，虚拟物体显示控制装置10使显示装置30显示实际物体的图像321、虚拟物体的图像322以及引导显示的图像323。引导显示323例如是表示虚拟物体的方向的箭头。引导显示323例如也可以包含“这里有虚拟物体。”或者“这里有实际物体的解说文。”等的消息。

如上所述，根据实施方式1的虚拟物体显示系统1和虚拟物体显示控制装置10，即使在虚拟物体的图像322显示于观察者90看不到的位置的情况下，也能够通过引导显示323使观察者90识别虚拟物体的图像322的位置。

另外，根据实施方式1的虚拟物体显示系统1和虚拟物体显示控制装置10，由于没有使虚拟物体的图像322的位置移动，因此，观察者90能够正确地识别虚拟物体的图像322是关于哪个实际物体的信息。

图6是表示实施方式1的变形例的虚拟物体显示系统1a的硬件结构的图。在图6中，对与图1所示的构成要素相同或对应的构成要素标注与图1所示的符号相同的符号。图7是表示图6的虚拟物体显示系统1a的说明图。在图7中，对与图4所示的构成要素相同或对应的构成要素标注与图4所示的符号相同的符号。

图6和图7所示的虚拟物体显示系统1a与图1所示的虚拟物体显示系统1的不同点在于，显示装置40具有：摄像部42，其取得从视点位置91观察到的摄像信息c1；显示画面41；以及合成部43，其使显示画面41显示将虚拟物体的图像信息b1和引导显示的图像信息b2重叠于摄像信息c1而成的图像。

在虚拟物体显示系统1a中，虚拟物体显示控制装置10也可以从显示装置40接收观察者90的视点位置91。

另外，在虚拟物体显示系统1a中，也可以将显示装置40的摄像部42用作空间信息取得部20的摄像部。

除了以上方面之外，图6和图7所示的虚拟物体显示系统1a与图1和图4所示的虚拟物体显示系统1相同。

实施方式2

图8是表示实施方式2的虚拟物体显示系统2的硬件结构的图。在图8中，对与图1所示的构成要素相同或对应的构成要素标注与图1所示的符号相同的符号。图9是表示图8的虚拟物体显示系统2的说明图。在图9中，对与图4所示的构成要素相同或对应的构成要素标注与图4所示的符号相同的符号。

图8和图9所示的虚拟物体显示系统2与图1和图4所示的虚拟物体显示系统1的不同点在于，显示装置50是向实际空间(即，实际世界)投射图像的投影仪，并且，引导显示333是实际空间的地板、墙壁、天花板、实际物体等上显示的投射图像。在图9的例子中，引导显示333是表示观察者90的移动路径的圆弧状的箭头。

如上所述，根据实施方式2的虚拟物体显示系统2和虚拟物体显示控制装置10a，即使在虚拟物体的图像332显示于观察者90看不到的位置的情况下，也能够通过引导显示333使观察者90识别虚拟物体的图像332的位置。

另外，根据实施方式2的虚拟物体显示系统2和虚拟物体显示控制装置10a，由于没有使虚拟物体的图像332的位置移动，因此，观察者90能够正确地识别虚拟物体的图像332是关于哪个实际物体的信息。

此外，引导显示333被直接投射到实际世界，能够直接使用实际世界的空间信息，因此，更容易知晓引导的意图。

除了以上方面之外，图8和图9所示的虚拟物体显示系统2与图1和图4所示的虚拟物体显示系统1或者图6和图7所示的虚拟物体显示系统1a相同。

标号说明

1、1a、2：虚拟物体显示系统；10、10a：虚拟物体显示控制装置；20：空间信息取得部；21、21a、21b：摄像部；22：进深检测部；30、40：显示装置；31、41：显示画面；42：摄像部；43：合成部；50：显示装置(投影仪)；90：观察者；91：视点位置；110：识别部；120：显示控制部；121：视点位置判定部；122：实际物体判定部；123：虚拟物体显示设定部；124：引导显示判定部；125：引导显示设定部；126：引导显示控制部；127：描绘部；311：实际物体；312：虚拟物体；321：实际物体的图像；322、332：虚拟物体的图像；323、333：引导显示；a1：实际空间的图像信息；a2：实际物体的进深信息；b1：虚拟物体的图像信息；b2引导显示的图像信息。