虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序与流程

本发明涉及执行用于对虚拟物体的图像进行显示的控制的虚拟物体显示控制装置、虚拟物体显示控制方法、及虚拟物体显示控制程序，以及包含所述虚拟物体显示控制装置的虚拟物体显示系统。

背景技术：

提出了在显示装置的画面显示真实物体的图像和与之叠加的虚拟物体的图像的装置(例如，参照专利文献1)。虚拟物体的图像例如是增强现实(augmentedreality：ar)图像。

专利文献1：日本特开2015-49039号公报

技术实现要素：

就上述以往的装置而言，考虑到真实空间中的遮挡(occlusion)(即，使得虚拟物体的图像不被真实物体的图像遮挡)，将虚拟物体的图像显示于从原本应显示的位置移动后的位置。但是，在这种情况下，观察者无法知道虚拟物体的图像原本应被显示的位置。因此，在虚拟物体的图像是包含真实物体的注释的图像的情况下，难以知晓注释与哪个真实物体相关。

本发明的目的在于提供即使在虚拟物体的图像被显示于观察者看不到的位置的情况下，也能够通过动画显示而使观察者识别出虚拟物体的图像的位置的虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序。

本发明的一个方式涉及的虚拟物体显示控制装置的特征在于，具有：识别部，其接收表示真实空间的真实空间信息；视点位置判定部，其根据所述真实空间信息而判定观察者的视点位置；真实物体判定部，其根据所述真实空间信息而判定真实物体的位置及形状；图像控制部，其接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；显示设定部，其基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息，进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；以及绘图部，其输出所述显示图像信息。

本发明的另一方式涉及的虚拟物体显示系统的特征在于，具有：空间信息取得部，其取得表示真实空间的真实空间信息；识别部，其接收所述真实空间信息；视点位置判定部，其根据所述真实空间信息而判定观察者的视点位置；真实物体判定部，其根据所述真实空间信息而判定真实物体的位置及形状；图像控制部，其接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；显示设定部，其基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息，进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；绘图部，其输出所述显示图像信息，以及显示装置，其基于所述显示图像信息而显示图像。

发明的效果

根据本发明，即使在虚拟物体的图像被显示于观察者观察不到的位置的情况下，也能够通过动画显示而使观察者识别出虚拟物体的图像的位置。

附图说明

图1是表示本发明的实施方式1涉及的虚拟物体显示系统的硬件结构的图。

图2是概略地表示视点位置与真实物体(遮蔽物)之间的位置关系的图。

图3是表示实施方式1涉及的虚拟物体显示控制装置的功能框图。

图4是表示实施方式1涉及的虚拟物体显示系统的说明图。

图5是表示实施方式1涉及的虚拟物体显示系统的显示装置处的被进行动画显示(通常尺寸时)的虚拟物体的显示图像的例子的图。

图6是表示实施方式1涉及的虚拟物体显示系统的显示装置处的被进行动画显示(放大尺寸时)的虚拟物体的显示图像的例子的图。

图7是表示实施方式1涉及的虚拟物体显示系统的显示装置处的被进行动画显示(即，移动显示)的虚拟物体的显示图像的例子的图。

图8是表示实施方式1涉及的虚拟物体显示控制装置的动作的流程图。

图9是表示本发明的实施方式2涉及的虚拟物体显示系统的硬件结构的图。

图10是表示实施方式2涉及的虚拟物体显示系统的说明图。

图11是表示本发明的实施方式3涉及的虚拟物体显示系统的硬件结构的图。

图12是表示实施方式3涉及的虚拟物体显示系统的说明图。

具体实施方式

以下，一边参照附图，一边对本发明的实施方式涉及的虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序进行说明。以下的实施方式只是例子，能够在本发明的范围内进行各种变更。

此外，在图中示出xyz正交坐标系。在xyz正交坐标系中，x轴示出实际空间的横向(即，水平横向)，y轴示出实际空间的进深方向(即，水平进深方向)，z轴示出实际空间的高度方向(即，纵向)。

实施方式1.

首先，对虚拟物体显示系统1及虚拟物体显示控制装置10的结构进行说明。图1是表示实施方式1涉及的虚拟物体显示系统1的硬件结构的图。如图1所示，虚拟物体显示系统1具有：空间检测部即空间信息取得部20，其取得表示真实空间(即，真实世界)的真实空间信息；显示装置30，其显示图像；以及虚拟物体显示控制装置10，其使图像显示于显示装置30。显示装置30例如显示真实物体的图像及虚拟物体的图像。虚拟物体的图像例如是ar图像。图像虚拟物体显示控制装置10是能够实施实施方式1涉及的虚拟物体显示控制方法的装置。

空间信息取得部20例如具有：大于或等于1台摄像部21，其取得真实空间的图像信息a1；以及大于或等于1台进深检测部22，其取得在真实空间内存在的真实物体(即，对象物)的进深信息a2。空间信息取得部20也可以具有摄像部21及进深检测部22中的一者。摄像部21例如是取得彩色图像的彩色照相机(也称为“rgb照相机”)以及从多个不同方向同时对真实物体进行摄像的立体照相机等。进深检测部22例如是具有对真实物体的进深(深度)进行检测的功能的深度照相机(也称为“附带深度传感器的照相机”)等。在实施方式1中，真实空间信息包含真实空间的图像信息a1和真实物体的进深信息a2。

虚拟物体显示控制装置10具有：作为信息处理部的cpu(centralprocessingunit)11；作为图像处理部的gpu(graphicsprocessingunit)12；以及作为存储信息的存储部的存储器13。gpu12是图形绘图部，基于从cpu11接收到的绘图命令而向存储器13写入作为绘图结果的图像数据(即，进行绘图)。写入至存储器13的图像数据被传输至显示装置30。gpu12的功能也可以由cpu11执行。虚拟物体显示控制装置10例如是个人计算机(pc)、智能手机、或者平板终端等。存储器13也可以存储实施方式1涉及的虚拟物体显示控制程序。cpu11能够通过执行虚拟物体显示控制程序而控制显示装置30的显示动作。

显示装置30例如是pc的监视器、智能手机、或者平板终端等具有显示画面(即，显示器)的装置。

图2是概略地表示观察者90的视点位置91与真实物体311之间的位置关系的图。真实物体311能够成为遮挡虚拟物体的遮蔽物。在真实物体311存在于真实空间内的情况下，观察者90无法从视点位置91目视在被真实物体311遮挡的区域(斜线区域)314显示的虚拟物体的图像。另外，在使虚拟物体的图像移动到不同位置的情况下，无法知晓虚拟物体的图像与哪个真实物体关联。因此，虚拟物体显示控制装置10根据真实空间信息而判定观察者90的视点位置91、真实物体311的位置及形状，基于视点位置91、真实物体311的位置及形状、虚拟物体的图像信息而判定是否需要动态显示即动画显示。动画显示例如是虚拟物体的图像的放大缩小显示、或者虚拟物体的图像的往复移动等。虚拟物体显示控制装置10在需要动画显示的情况下，设定动画显示的图像信息，输出对虚拟物体进行动画显示的图像信息(即，动画图像信息)。虚拟物体显示控制装置10在不需要动画显示的情况下，输出对虚拟物体以通常尺寸作为静止图像而显示的图像信息(即，通常图像信息)。

图3是表示实施方式1涉及的虚拟物体显示控制装置10的功能框图。如图3所示，虚拟物体显示控制装置10具有：识别部110，其接收真实空间信息即真实空间的图像信息a1和真实物体的进深信息a2；以及显示控制部120。

识别部110具有：空间识别部111，其接收真实空间(即，对象空间)的图像信息a1，进行用于识别真实物体存在于真实空间的哪个位置的识别处理，将处理的结果提供至显示控制部120；以及真实物体识别部112，其接收真实物体的进深信息a2，进行用于识别真实物体为什么物体的识别处理，将处理的结果提供至显示控制部120。真实物体识别部112也可以输出将真实物体置换为真实物体的模型(即，预先保存的图像信息)后的数据。真实物体的模型是预先保存的图像信息，也可以是诸如桌子或椅子等的图像信息，诸如圆柱、长方体、三棱锥、球体等这样的典型的三维形状。但是，识别部110的结构以及功能不限定于以上的例子。

显示控制部120具有：视点位置判定部121，其根据从识别部110提供的真实空间信息而判定观察者90的视点位置91；以及真实物体判定部122，其根据从识别部110提供的真实空间信息而判定真实物体311的位置及形状。视点位置判定部121基于从空间识别部111接收到的位置信息而计算对在真实空间内显示的虚拟物体进行观察的观察者90的视点位置91，生成表示视点位置的视点位置信息。真实物体判定部122是遮蔽物判定部，该遮蔽物判定部基于从真实物体识别部112接收到的真实物体信息而计算将在真实空间内显示的虚拟物体遮挡的遮蔽物的位置，生成表示遮蔽物的遮蔽物判定信息。

另外，显示控制部120具有图像控制部123，该图像控制部123接收虚拟物体的图像信息，通过对虚拟物体的图像信息进行加工而生成对虚拟物体进行动画显示的图像信息。虚拟物体的图像信息例如是真实物体311的解说信息。图像控制部123可以预先存储虚拟物体的图像信息，也可以从外部存储装置(未图示)或存储器13(图1)取得虚拟物体的图像信息。图像控制部123将虚拟物体的图像信息以及对虚拟物体进行动画显示的图像信息提供至显示设定部124。动画显示例如是将虚拟物体的图像在放大尺寸及通常尺寸之间反复进行切换的显示方法(即，缩放显示)。另外，动画显示例如也可以是使虚拟物体的图像在原本的虚拟物体的图像位置和未被真实物体遮挡的位置之间反复移动(往复移动)的显示方法(即，移动显示)。将从图像控制部123提供至显示设定部124的图像信息设为图像信息b1。

图像控制部123也可以根据条件而选择缩放显示或移动显示中的任一者而作为对虚拟物体进行动画显示的方法。例如，图像控制部123在虚拟物体存在于比预先确定的基准距离更远离观察者90的位置的情况下，采用缩放显示作为动画显示，在虚拟物体与观察者90的距离落入基准距离以内的情况下，采用移动显示作为动画显示。此外，图像控制部123也可以在虚拟物体是包括文字的解说文时，选择移动显示作为动画显示，在虚拟物体不是解说文时，选择缩放显示作为动画显示。另外，图像控制部123也可以在遮蔽虚拟物体的真实物体比预先确定的基准尺寸大时，选择移动显示作为动画显示，在真实物体小于或等于基准尺寸时，选择缩放显示作为动画显示。动画显示的选择方法不限定于这些例子。

显示控制部120具有：显示设定部124，其基于视点位置91、真实物体311的位置及形状、图像信息b1而进行是否对虚拟物体的图像进行动画显示的判定，基于该判定的结果而将包含虚拟物体的图像信息或对虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息b2；以及绘图部125，其通过将显示图像信息b2写入至存储器13而将显示图像信息b2输出至显示装置30。

显示设定部124能够在从视点位置91观察时，虚拟物体的整体或一部分被真实物体遮挡的情况下，将对虚拟物体进行动画显示的图像信息设定为显示图像信息b2。显示设定部124也可以在从视点位置91观察时，虚拟物体的大于或等于预先确定的一定比例(例如，大于或等于50％)被真实物体遮挡的情况下，判定为需要对虚拟物体进行动画显示。

显示设定部124也可以将通过向真实空间的图像信息a1合成虚拟物体的图像信息或对虚拟物体进行动画显示的图像信息而得到的合成图像信息设定为显示图像信息b2。

接下来，对虚拟物体显示控制装置10的动作进行说明。图4是表示虚拟物体显示系统1的说明图。在图4中，作为图1的摄像部21而示出有2台摄像部21a、21b。在图4的例子中，空间信息取得部20的摄像部21a、21b将真实空间的图像信息a1提供至虚拟物体显示控制装置10，进深检测部22将真实物体的进深信息a2提供至虚拟物体显示控制装置10。

图5及图6是表示实施方式1涉及的虚拟物体显示系统1的显示装置30处的虚拟物体的动画显示图像322的例子的图。图5及图6示出动画显示是缩放显示的情况。图5示出动画显示图像322为通常尺寸时，图6示出动画显示图像322为放大尺寸时。放大时的放大倍率是虚拟物体的图像具有不被真实物体的图像遮蔽的部分的值。另外，在放大时，也可以伴随有提高亮度或改变颜色等的强调显示。

图7是表示实施方式1涉及的虚拟物体显示系统1的显示装置30处的动画显示图像的例子的图。图7示出虚拟物体的动画显示是移动显示的情况。在图7中，在位于原本位置的虚拟物体的图像322之上，显示有移动时的虚拟物体的图像322a。但是，移动时的虚拟物体的图像322a的位置也可以是向原本位置的侧旁移动后的位置、在倾斜方向上移动后的位置。另外，移动时的虚拟物体的图像322a的位置也可以是虚拟物体的图像不被真实物体的图像遮蔽且移动距离最短的位置。另外，在移动时，也可以伴随有提高亮度或改变颜色等的强调显示。

图8是表示虚拟物体显示控制装置10的动作的流程图。虚拟物体显示控制装置10在步骤s1中接收真实空间信息，在步骤s2中根据真实空间信息(例如，真实空间的图像信息a1)而判定观察者90的视点位置91，在步骤s3中根据真实空间信息(例如，真实物体的进深信息a2)而判定真实物体311的位置及形状，在步骤s4中基于视点位置91和真实物体311的位置及形状(或者模型化的真实物体的位置及形状)而设定虚拟物体312的图像信息。

接下来，虚拟物体显示控制装置10在步骤s5中基于视点位置91、真实物体311的位置及形状、虚拟物体的图像信息而判定是否对虚拟物体进行动画显示。即，虚拟物体显示控制装置10判定从视点位置91观察时虚拟物体312的图像322是否被真实物体311的图像321遮挡。

在虚拟物体312的图像322未被遮挡的情况下(在步骤s5中为no的情况下)，虚拟物体显示控制装置10在步骤s6中对基于真实空间的图像信息的真实物体的图像321和虚拟物体的图像322进行绘图。然后，虚拟物体显示控制装置10在步骤s7中，在显示装置30显示真实物体的图像321和虚拟物体的图像322。

在虚拟物体312的图像322被遮挡的情况下(在步骤s5中为yes的情况下)，虚拟物体显示控制装置10在步骤s8中决定动画显示的方法，在步骤s9中，对基于真实空间的图像信息的真实物体的图像321、虚拟物体的图像321和虚拟物体的动画显示图像322进行绘图。然后，如图5及图6所示，虚拟物体显示控制装置10在显示装置30显示真实物体的图像321和虚拟物体的动画显示图像322。

如以上所说明的那样，根据实施方式1涉及的虚拟物体显示系统1及虚拟物体显示控制装置10，即使在虚拟物体的图像被显示于观察者90观察不到的真实物体的后方等的情况下，也通过虚拟物体的动画显示图像322以观察者90能观察到的方式进行显示，因而能够识别虚拟物体的图像322的位置。

另外，根据实施方式1涉及的虚拟物体显示系统1及虚拟物体显示控制装置10，在虚拟物体的原本位置显示有动画显示图像322，因而观察者90能够正确地识别出虚拟物体的动画显示图像322是与哪个真实物体相关的信息。

实施方式2.

图9是表示实施方式2涉及的虚拟物体显示系统2的硬件结构的图。在图9中，对与图1所示的结构要素相同或相应的结构要素标注与图1所示的标号相同的标号。图10是表示图9的虚拟物体显示系统2的说明图。在图10中，对与图4所示的结构要素相同或相应的结构要素标注与图4所示的标号相同的标号。

图9及图10所示的虚拟物体显示系统2与图1所示的虚拟物体显示系统1的不同点在于，显示装置40具有：摄像部42，其取得从视点位置91观察到的摄像信息c1；显示画面41；以及合成部43，其使向摄像信息c1叠加了虚拟物体的图像信息b1和引导显示的图像信息b2的图像显示于显示画面41。

在虚拟物体显示系统2中，虚拟物体显示控制装置10也可以从显示装置40接收观察者90的视点位置91。

另外，在虚拟物体显示系统2中，也可以将显示装置40的摄像部42用作空间信息取得部20的摄像部。

如以上所说明的那样，根据实施方式2涉及的虚拟物体显示系统2及虚拟物体显示控制装置10，即使在虚拟物体的显示图像被显示于观察者90观察不到的位置的情况下，也能够通过虚拟物体的动画显示图像而由观察者90进行识别。

除了以上的点之外，图9及图10所示的虚拟物体显示系统2与图1及图4所示的虚拟物体显示系统1相同。

实施方式3.

图11是表示实施方式3涉及的虚拟物体显示系统3的硬件结构的图。在图11中，对与图1所示的结构要素相同或相应的结构要素标注与图1所示的标号相同的标号。图12是表示图11的虚拟物体显示系统3的说明图。在图12中，对与图4所示的结构要素相同或相应的结构要素标注与图4所示的标号相同的标号。

图11及图12所示的虚拟物体显示系统3与图1及图4所示的虚拟物体显示系统1的不同点在于：显示装置50是将图像投影到真实空间(即，真实世界)的投影仪；以及虚拟物体的动画显示图像332、332a是在真实空间的地板、墙壁、天花板、真实物体等显示的投影图像。在图12的例子中，虚拟物体的动画显示图像332、332a是在虚拟物体原本应被显示的位置及其正上方的位置之间反复进行切换的动画图像。

如以上所说明的那样，根据实施方式3涉及的虚拟物体显示系统3及虚拟物体显示控制装置10a，即使在虚拟物体的显示图像332被显示于观察者90观察不到的位置的情况下，也能够通过虚拟物体的动画显示图像332、332a而由观察者90进行识别。

另外，根据实施方式3涉及的虚拟物体显示系统3及虚拟物体显示控制装置10a，使虚拟物体的动画显示图像332、332a的位置反复移动，因而观察者90能够正确地识别出虚拟物体的动画显示图像332、332a是与哪个真实物体相关的信息。

并且，引导显示333直接投影到真实世界，能够直接使用真实世界的空间信息，因此，引导的意图变得更加容易理解。

除了以上的点之外，图11及图12所示的虚拟物体显示系统3与图1及图4所示的虚拟物体显示系统1或图9及图10所示的虚拟物体显示系统2相同。

标号的说明

1、2、3虚拟物体显示系统，10、10a虚拟物体显示控制装置，20空间信息取得部，21、21a、21b摄像部，22进深检测部，30、40显示装置，31、41显示画面，42摄像部，43合成部，50显示装置(投影仪)，90观察者，91视点位置，110识别部，120显示控制部，121视点位置判定部，122真实物体判定部，123图像控制部，124显示设定部，125绘图部，311真实物体，312虚拟物体，321真实物体的图像，322动画显示图像(通常尺寸时)，322a动画显示图像(放大尺寸时)，322b动画显示图像(移动时)、332动画显示图像、332a动画显示图像(移动时)，a1真实空间的图像信息，a2真实物体的进深信息，b2显示图像信息。