显示控制装置、显示控制方法以及程序的制作方法
【技术领域】
[0001 ] 本公开内容涉及显示控制装置、显示控制方法以及程序。
【背景技术】
[0002]近年来，人们注意到了一种称为增强现实(AR)的技术，通过该技术将叠加在真实世界上的附加信息呈现给用户。在AR技术中呈现给用户的信息也称为注释(annotat1n)，可以使用各种形式的虚拟对象如文本、图标、动画等将该信息可视化。例如，专利文献I公开了一种用于实现对这样的AR的虚拟对象进行操纵而不破坏用户在AR空间中的浸入的技术。
[0003]引用列表
[0004]专利文献
[0005]专利文献1:JP 2012-212345A
【发明内容】
[0006]技术问题
[0007]专利文献I等中提出的AR技术是最近开发的，并且很难说已经充分提出了在各个方面中利用AR的技术。例如，已经提出的用于帮助使用AR技术的用户之间交互的技术的数量仍然只有一个，因此该技术并不充分。
[0008]理想的是提供能够进一步帮助使用AR技术的用户之间交互的新颖的和改进的显示控制装置、新颖的和改进的显示控制方法以及新颖的和改进的程序。
[0009]问题的解决方案
[0010]根据本公开内容，提供有一种显示控制装置，包括显示控制单元，该显示控制单元被配置成对终端装置的显示单元进行控制。该显示控制单元执行控制以:基于真实空间中与虚拟对象相关联的位置信息来决定经由显示单元显示在真实空间中的虚拟对象的显示位置，并且基于该显示位置将虚拟对象显示在真实空间中，以及在虚拟对象的一部分或全部位于真实空间的可见范围之外时，在该真实空间中显示用于指示存在虚拟对象的通知。
[0011]根据本公开内容，提供有一种显示控制方法，包括:由被配置成对终端装置的显示单元进行控制的处理器:基于真实空间中与虚拟对象相关联的位置信息来决定经由显示单元显示在真实空间中的虚拟对象的显示位置，并且基于该显示位置将虚拟对象显示在真实空间中；以及在虚拟对象的一部分或全部位于真实空间的可见范围之外时，在该真实空间中显示用于指示存在虚拟对象的通知。
[0012]根据本公开内容，提供有一种程序，该程序使被配置成对终端装置的显示单元进行控制的计算机实现以下功能:基于真实空间中与虚拟对象相关联的位置信息来决定经由显示单元显示在真实空间中的虚拟对象的显示位置，并且基于该显示位置将虚拟对象显示在真实空间中；以及在虚拟对象的一部分或全部位于真实空间的可见范围之外时，在该真实空间中显示用于指示存在虚拟对象的通知。
[0013]本发明的有益效果
[0014]根据上述本公开内容的实施方式，可以进一步帮助使用AR技术的用户之间的交互。
【附图说明】
[0015][图1]图1是示出了根据本公开内容的实施方式的系统的示意性配置的图。
[0016][图2]图2是示出了根据本公开内容的实施方式的装置的示意性配置的图。
[0017][图3A]图3A是示出了根据本公开内容的实施方式将捕获图像共享的示例的图。
[0018][图3B]图3B是示出了根据本公开内容的实施方式的注释输入的示例的图。
[0019][图4]图4是示出了根据本公开内容的实施方式将捕获图像共享的另一示例的图。
[0020][图5A]图5A是示出了根据本公开内容的实施方式的可使用的技术的处理的示例的流程图。
[0021][图5B]图5B是示出了根据本公开内容的实施方式的能够使用的技术的处理的示例的流程图。
[0022][图6]图6是示出了根据本公开内容的实施方式的第一人称图像的显示示例的图。
[0023][图7]图7是示出了根据本公开内容的实施方式的第三人称图像的显示示例的图。
[0024][图8]图8是示出了根据本公开内容的实施方式的第三人称图像的显示示例的图。
[0025][图9]图9是示出了根据本公开内容的实施方式的第三人称图像的显示示例的图。
[0026][图10A]图1OA是示出了根据本公开内容的实施方式的第一第三人称图像的显示示例的图。
[0027][图10B]图1OB是用于描述根据本公开内容的实施方式的第一第三人称图像的图。
[0028][图10C]图1OC是用于描述根据本公开内容的实施方式的第一第三人称图像的图。
[0029][图11]图11是示出了根据本公开内容的实施方式将不同视点的图像同时显示的示例的图。
[0030][图12]图12是示出了根据本公开内容的实施方式将不同视点的图像同时显示的示例的图。
[0031][图13]图13是示出了根据本公开内容的实施方式的注释指示的第一示例的图。
[0032][图14]图14是示出了根据本公开内容的实施方式的注释指示的第二示例的图。
[0033][图15]图15是示出了根据本公开内容的实施方式的注释指示的第三示例的图。
[0034][图16]图16是示出了根据本公开内容的实施方式的注释指示的第四示例的图。
[0035][图17]图17是示出了根据本公开内容的实施方式的注释指示的第五示例的图。
[0036][图18]图18是示出了根据本公开内容的实施方式的注释指示的第六示例的图。
[0037][图19]图19是用于描述根据本公开内容的实施方式的注释布置的图。
[0038][图20]图20是示出了根据本公开内容的实施方式的注释布置的选择的示例的图。
[0039][图21]图21是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第一示例的图。
[0040][图22]图22是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第一示例的图。
[0041][图23]图23是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第一示例的图。
[0042][图24]图24是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第二示例的图。
[0043][图25]图25是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第二示例的图。
[0044][图26]图26是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第三示例的图。
[0045][图27]图27是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第三示例的图。
[0046][图28]图28是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第四示例的图。
[0047][图29]图29是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第五示例的图。
[0048][图30]图30是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第六示例的图。
[0049][图31]图31是示出了根据本公开内容的实施方式的可见范围之外的注释指示的应用示例的图。
[0050][图32]图32是示出了根据本公开内容的实施方式的可见范围之外的注释指示的应用示例的图。
[0051][图33]图33是示出了根据本公开内容的实施方式使用边缘检测的注释目标对象的显示示例的图。
[0052][图34]图34是示出了根据本公开内容的实施方式的流式帧(streamingframe)的回滚显示(rollback display)的示例的图。
[0053][图35]图35是是示出了根据本公开内容的实施方式的流式帧的回滚显示的示例的图。
[0054][图36]图36是示出了用于使用与本公开内容的实施方式相关的技术共享旅客的视点的应用示例的图。
[0055][图37]图37是示出了用于使用与本公开内容的实施方式相关的技术共享登山者的视点的应用示例的图。
[0056][图38]图38是示出了用于使用与本公开内容的实施方式相关的技术共享烹饪的人的视点的应用示例的图。
[0057][图39]图39是示出了用于使用与本公开内容的实施方式相关的技术共享购物的人的视点的应用示例的图。
[0058][图40]图40是示出了用于使用与本公开内容的实施方式相关的技术共享做手工的人的视点的应用示例的图。
[0059][图41]图41是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。
[0060][图42]图42是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。
[0061][图43]图43是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。
[0062][图44]图44是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。
[0063][图45]图45是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第一示例的图。
[0064][图46]图46是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第二示例的图。
[0065][图47]图47是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第二示例的图。
[0066][图48]图48是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第三示例的图。
[0067][图49]图49是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第四示例的图。
[0068][图50]图50是示出了根据本公开内容的实施方式使用身体形态(bodyform)的注释相关显示的第一示例的图。
[0069][图51]图51是示出了根据本公开内容的实施方式使用身体形态的注释相关显示的第二示例的图。
[0070][图52]图52是示出了根据本公开内容的实施方式使用身体形态的注释相关显示的第三示例的图。
【具体实施方式】
[0071]在下文中，将参照附图来详细说明本公开内容的优选实施方式。请注意，在本说明书和附图中，具有基本上相同功能和结构的元件用相同的附图标记来表示，并且省略重复的说明。
[0072]将按照以下顺序进行描述。
[0073]1.系统和装置的配置
[0074]1-1.系统的配置
[0075]1-2.装置的配置
[0076]2.真实空间图像的共享和交互
[0077]2-1.交互的概念
[0078]2-2.可使用的技术
[0079]3.可变视点图像的显示的示例
[0080]4.在真实空间中显示注释
[0081]4-1.显示示例
[0082]4-2.注释布置
[0083]5.可见范围之外的注释指示
[0084]6.其他显示示例
[0085]7.应用的示例
[0086]8.输入目标位置与可见范围之间的关系的显示
[0087]9.使用身体形态的注释相关显示
[0088]10.补充
[0089](1.系统和装置的配置)
[0090](1-1.系统的配置)
[0091]图1是示出了根据本公开内容的实施方式的系统的示意性配置的图。参照图1，系统10包括服务器100和客户端200至700。
[0092]服务器100是单个服务器装置或者由通过各种有线或无线网络连接的用于协作的多个服务器装置实现的功能的集合。服务器100为客户端200至700提供服务。
[0093]客户端200至700是由各种有线或无线网络连接到服务器100的终端装置。客户端200至700实现系统10中的以下(I)至(3)中的至少一个功能。
[0094](I)包括成像单元(如相机)并且将真实空间的图像提供给服务器100的装置。
[0095](2)包括显示单元(如显示器)以及操纵单元(如触摸板)的装置，并且该装置从服务器100获取来自装置(I)提供的图像，将该图像提供给用户以供用户观看该图像，并且接收由用户提供的对图像的注释输入。
[0096](3)包括显示单元(如显示器)的装置，并且该装置间接或直接地将注释显示在真实空间中，该注释的输入由装置(2)接收。
[0097]客户端200(在下文中也简单地称为可穿戴式终端200)是可穿戴式终端。可穿戴式终端200包括例如成像单元和显示单元中的一个或两个单元，并且被用作装置(I)至
(3)中的一个或两个装置。在图示的示例中，可穿戴式终端200是眼镜型的，但是本公开内容的实施方式并不局限于这个示例，只要可穿戴式终端具有能够被穿戴在用户的身体上的形式即可。当可穿戴式终端200被用作装置(I)时，可穿戴式终端200包括例如安装在眼镜框中的摄像头作为成像单元。可穿戴式终端200可以由摄像头从接近用户的视点的位置获取真实空间的图像。所获取的图像被发送至服务器100。当可穿戴式终端200被用作装置(3)时，可穿戴式终端200包括例如安装在眼镜的镜片部分的一部分或全部中的显示器作为显示单元。可穿戴式终端200将由摄像头捕获的图像显示在显示器上，并且显示由装置(2)输入的注释，以将注释叠加在图像上。可替代地，当显示器是透明类型时，可穿戴式终端200可以显示注释，以将注释透明地叠加在用户直接观看的真实世界的图像上。
[0098]客户端300 (在下文中也简单地称为平板终端300)是平板终端。平板终端300包括至少显示单元和操纵单元并且可以被用作例如装置(2)。平板终端300还可以包括成像单元并且被用作装置(I)至(3)中的一个或两个装置。即，平板端300可以被用作装置(I)至(3)中的任何装置。当平板终端300被用作装置(2)时，平板终端300包括例如显示器作为显示单元，包括例如显示器上的触摸传感器作为操纵单元，平板终端300显示经由服务器100从装置(I)提供的图像，并且接收由用户针对该图像的注释输入。所接收的注释输入经由服务器100提供给装置(3)。当平板终端300被用作装置(I)时，平板终端300包括例如像可穿戴式终端200中的成像单元那样的摄像头，并且当用户在真实空间中手持平板终端300时可以获取沿着从用户的视线延长的线上的真实空间的图像。所获取的图像被发送至服务器100。当平板终端300被用作装置(3)时，平板终端300将由摄像头捕获的图像显示在显示器上，并且显示由装置(2)(例如，另一平板终端)输入的注释，以将注释叠加在图像上。可替代地，当显示器是透明类型时，平板终端300可以通过将注释透明地叠加在用户直接观看的真实世界的图像上来显示注释。
[0099]客户?而400 (在下文中也间单地称为移动电话400)是移动电话(智能电话)。由于移动电话400在系统10中的功能与平板终端300在系统10中的功能相同，因此将省略对移动电话400的详细描述。尽管未示出，但是例如当装置(如便携式游戏装置或数码相机)也包括通信单元、显示单元以及操纵单元或成像单元时，该装置可以被用作类似于系统10中的平板终端300或移动电话400。
[0100]客户端500 (在下文中也简单地称为膝上型PC 500)是膝上型个人计算机(PC)。膝上型PC 500包括显示单元和操纵单元，并且被用作装置(2)。在图示的示例中，由于膝上型PC 500基本上以固定的方式来使用，因此将膝上型PC 500视为不被用作装置(I)的装置的示例。尽管未示出，但是例如台式PC或电视机也可以被用作膝上型PC 500。膝上型PC 500包括显示器作为显示单元，包括鼠标或键盘作为操纵单元，膝上型PC 500显示经由服务器100从装置(I)提供的图像，并且接收由用户对该图像的注释输入。所接收的注释输入经由服务器100提供给装置(3)。膝上型PC 500也可以被用作装置(3)。在这种情况下，膝上型电脑500不是通过将注释叠加在自己捕获的真实空间的图像上来显示注释，而是如下面要描述的示例那样，显示成为真实空间的一部分的注释。注释还可以由平板终端300、移动电话400等来显示。
[0101]客户端600 (在下文中也简单地称为固定相机600)是固定相机。固定相机600包括成像单元并且被用作装置(I)。在图示的示例中，由于固定相机600被固定地使用并且不包括显示单元，因此将固定相机600视为不被用作装置(2)和(3)的装置的示例。尽管未示出，但是例如当安装了对台式PC的屏幕前方进行投影的相机或者在三脚架等上临时固定了电视或可移动装置(如数码相机)时，该相机或该可移动装置也可以被用作固定相机600。固定相机600包括相机作为成像单元，并且可以获取来自固定视点的真实空间的图像(也包括下述情况:相机自动地摆动或者响应于浏览捕获图像的用户的操纵而摆动)。所获取的图像被发送至服务器100。
[0102]客户端700 (在下文中也简单地称为投影仪700)是投影仪。投影仪700包括投影装置作为显示单元并且被用作装置(3)。在图示的示例中，由于投影仪700不包括成像单元或者用于接收对显示的(投影的)图像的输入的操纵单元，因此将投影仪700视为不被用作装置(I)和(2)的装置的示例。投影仪700通过使用投影装置将图像投影在屏幕上或对象的表面上来将注释显示在真实空间中。投影仪700被图示为固定型投影仪，但是投影仪700也可以是手持式投影仪。
[0103]以上描述了根据本公开内容的实施方式的系统。如图1所示，根据实施方式的系统10可以包括能够获取真实空间的图像装置(可穿戴式终端200、平板终端300、移动电话400或者固定相机600)、能够将真实空间的图像提供给用户以供用户观看该图像并且接收由用户对图像的注释输入的装置(平板终端300、移动电话400或者膝上型PC 500)、以及间接或直接地将注释显示在真实空间中的装置(可穿戴式终端200、平板终端300、移动电话400、膝上型PC 500或者投影仪700)。
[0104]服务器100实现下述功能:通过与前述装置中的每个装置协作而获取真实空间的图像，并且将图像提供给用户，以供用户(例如，不是位于该真实空间中的用户)观看图像；接收由用户对图像的注释输入；以及将输入的注释间接或直接显示在真实空间中。例如，该功能使用AR技术使用户之间能够进行交互，使得第二用户能够观看第一用户所在的真实空间的图像，并且将第二用户添加到图像的注释直接或间接地显示在该真实空间中以供第一用户观看。
[0105]将描述前述系统10中显示的AR图像(例如，其中在真实空间的图像中显示了注释的图像)的具体示例。在图示的示例中的系统10中，主要由服务器100进行用于形成AR图像的图像处理。然而，在另一示例中，图像处理的一部分或者全部可以由例如用于将注释显示在真实空间中的装置(3)以及用于显示真实空间的图像并且接收注释输入的装置(2)来执行。
[0106](1-2.装置的配置)
[0107]图2是示出了根据本公开内容的实施方式的装置的示意性配置的图。参照图2，装置900包括处理器910和存储器920。装置900还可以包括显示单元930、操纵单元940、通信单元950、成像单元960或者传感器970。这些组成元件通过总线980彼此连接。例如，装置900可以实现用于配置上述服务器100的服务器装置以及客户端200至70