显示控制装置、显示控制方法以及程序的制作方法
【技术领域】
[0001]本公开涉及一种显示控制装置、显示控制方法以及程序。
【背景技术】
[0002]近年，被称为增强现实(AR)的技术引起注意，通过被称为增强现实的技术可以为用户呈现被叠加在真实世界上的额外的信息。在AR技术中，被呈现给用户的、也被称为注释的信息可以使用各种形式的虚拟对象(诸如文本、图标、动画等)被可视化。例如，专利文献1公开了一种用于实现这样的AR的虚拟对象的操作而不损害用户在AR空间中的沉浸感的技术。
[0003]引用列表
[0004]专利文献
[0005]专利文献1:JP 2012-212345A
【发明内容】
[0006]技术问题
[0007]最近开发了在专利文献1等中所提出的AR技术，而且难以说提出了对于在各种阶段中利用AR的充分技术。例如，未充分地提出在透明地显示真实空间的同时表示AR空间的技术，并且仅开发了一个这样的技术。
[0008]期望提供新的并且改进的显示控制装置、新的并且改进的显示控制方法以及新的并且改进的程序，上述新的并且改进的显示控制装置、显示控制方法以及程序能够在透明地显示真实空间的同时表示AR空间的情况下、改进用户的体验。
[0009]问题的解决方案
[0010]根据本公开，提供了一种显示控制装置，该显示控制装置包括:显示控制单元，该显示控制单元被配置成控制终端装置的显示单元，以显示终端装置存在于其中的真实空间的图像。显示控制单元从第一图像和第二图像中选择要由显示单元显示的图像，该第一图像与在显示单元之外的区域中所观看到的真实空间的图像具有连续性，该第二图像是基于真实空间的拍摄图像所生成的并且独立于在显示单元之外的区域中所观看到的真实空间的图像。
[0011]根据本公开，提供了一种显示控制方法，该显示控制方法包括:通过被配置成控制终端装置的显示单元以显示在其中存在有终端装置的真实空间的图像的处理器，从第一图像和第二图像中选择要由显示单元显示的图像，该第一图像与在显示单元之外的区域中所观看到的真实空间的图像具有连续性，该第二图像是基于真实空间的拍摄图像所生成的并且独立于在显示单元之外的区域中所观看到的真实空间的图像。
[0012]根据本公开，提供了一种使得被配置成控制终端装置的显示单元以显示在其中存在有该终端装置的真实空间的图像的计算机实现下述功能的程序:从第一图像和第二图像中选择要由显示单元显示的图像，该第一图像与在显示单元之外的区域中所观看到的真实空间的图像具有连续性，该第二图像是基于真实空间的拍摄图像所生成的并且独立于在显示单元之外的区域中所观看到的真实空间的图像。
[0013]本发明的有利效果
[0014]根据以上所描述的本公开的实施例，能够在透明地显示真实空间的同时表示AR空间的情况下、改进用户的体验。
【附图说明】
[0015]图1是示出了根据本公开的实施例的系统的示意配置的图。
[0016]图2是示出了根据本公开的实施例的装置的示意配置的图。
[0017]图3A是示出了根据本公开的实施例共享拍摄图像的示例的图。
[0018]图3B是示出了根据本公开的实施例的注释输入的示例的图。
[0019]图4是示出了根据本公开的实施例共享拍摄图像的另一示例的图。
[0020]图5A是示出了根据本公开的实施例可使用的技术的处理的示例的流程图。
[0021]图5B是示出了根据本公开的实施例可以使用的技术的处理的另一示例的流程图。
[0022]图6是示出了根据本公开的实施例的可穿戴终端的配置的示例的图。
[0023]图7是示出了根据本公开的实施例的可穿戴终端中的合并视图的示例的图。
[0024]图8是示出了根据本公开的实施例的可穿戴终端中的合并视图的示例的图。
[0025]图9是示出了根据本公开的实施例的可穿戴终端中的摄像装置视图的示例的图。
[0026]图10是示出了根据本公开的实施例的可穿戴终端中的校准过程的示例的图。
[0027]图11是示出了根据本公开的实施例的平板式终端中的合并视图的示例的图。
[0028]图12是示出了根据本公开的实施例的转换显示的示例的图。
[0029]图13是示出了根据本公开的实施例的转换显示的示例的图。
[0030]图14是示出了根据本公开的实施例的转换显示的示例的图。
[0031]图15是示出了根据本公开的实施例的转换显示的另一示例的图。
[0032]图16是示出了根据本公开的实施例的可显示范围之外的注释指示的第一示例的图。
[0033]图17是示出了根据本公开的实施例的可显示范围之外的注释指示的第一示例的图。
[0034]图18是示出了根据本公开的实施例的可显示范围之外的注释指示的第一示例的图。
[0035]图19是示出了根据本公开的实施例的可显示范围之外的注释指示的第二示例的图。
[0036]图20是示出了根据本公开的实施例的可显示范围之外的注释指示的第二示例的图。
[0037]图21是示出了根据本公开的实施例的可显示范围之外的注释指示的第三示例的图。
[0038]图22是示出了根据本公开的实施例的可显示范围之外的注释指示的第三示例的图。
[0039]图23是示出了根据本公开的实施例的可显示范围之外的注释指示的第四示例的图。
[0040]图24是示出了根据本公开的实施例的可显示范围之外的注释指示的第五示例的图。
[0041]图25是示出了根据本公开的实施例的可显示范围之外的注释指示的第六示例的图。
【具体实施方式】
[0042]在下文中，将参照附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，采用相同的附图标记标示具有基本上相同的功能和结构的元素，并且省略重复的说明。
[0043]将按照下面的顺序进行描述。
[0044]1.系统和装置的配置
[0045]1-1.系统的配置
[0046]1-2.装置的配置
[0047]2.真实空间图像的共享和交互
[0048]2-2.交互的概念
[0049]2-2.可使用的技术
[0050]3.可穿戴终端中的显示示例
[0051]3-1.合并视图
[0052]3-2.摄像装置视图
[0053]3-3.校准
[0054]4.平板式终端中的显示示例
[0055]5.合并视图与摄像装置视图之间的转换
[0056]6.可显示范围之外的注释指示
[0057]7.补充
[0058](1.系统和装置的配置)
[0059](1-1.系统的配置)
[0060]图1是示出了根据本公开的实施例的系统的示意配置的图。参照图1，系统10包括服务器100和客户端200至500。
[0061]服务器100是单个服务器装置或由通过各种有线或无线网络连接以用于协作的多个服务器装置所实现的功能的聚合。服务器100将服务提供给客户端200至700。
[0062]客户端200至500是通过各种有线或无线网络连接至服务器100的终端装置。根据由服务器100所提供的服务的种类，客户端装置200至500被分类为下面的(1)至(3)。
[0063](1) 一种装置，该装置包括诸如摄像装置的成像单元并且将真实空间的图像提供给服务器100。
[0064](2) 一种装置，该装置包括诸如显示器的显示单元以及诸如触摸板的操作单元；以及该装置从服务器100获取从装置(1)所提供的图像，将图像提供给用户以用于用户观看该图像，以及接收由用户输入到图像的注释。
[0065](3) 一种装置，该装置包括诸如显示器的显示单元，并且将其输入由装置(2)所接收的注释显示在真实空间中。
[0066]客户端200(在下文中，也简单地被称为可穿戴终端200)是可穿戴终端。可穿戴终端200包括例如成像单元和显示单元中的一者或两者，并且用作装置(1)至(3)中的一者或两者。在所示的示例中，可穿戴终端200为眼镜类型，但是本公开的实施例不限于该示例，只要可穿戴终端具有其可以被穿戴在用户的身体上的形式即可。当可穿戴终端200用作装置(1)时，可穿戴终端200包括例如在眼镜的框架中所安装的摄像装置作为成像单元。可穿戴终端200可以通过摄像装置从与用户的视角接近的位置获取真实空间的图像。所获取的图像被传送到服务器100。当可穿戴终端200用作装置(3)时，可穿戴终端200包括例如在眼镜的镜片部中的一部分或整体中所安装的显示器作为显示单元。可穿戴终端200将由摄像装置所拍摄的图像显示在显示器上并且显示由装置(2)所输入的注释，使得注释被叠加在图像上。替选地，当显示器为透明类型时，可穿戴终端200可以显示注释，使得注释透明地被叠加在由用户直接地观看的真实世界的图像上。
[0067]客户端300(在下文中，也简单地被称为平板式终端300)是平板式终端。平板式终端300至少包括显示单元和操作单元，并且可以用作例如装置(2)。平板式终端300还可以包括成像单元并且用作装置(1)至(3)中的一者或两者。即，平板式终端300可以用作装置(1)至(3)中的任一个。当平板式装置300用作装置(2)时，平板式终端300包括例如显示器作为显示单元，包括例如显示器上的触摸传感器作为操作单元，显示经由服务器100从装置(1)所提供的图像，以及接收由用户关于图像输入的注释。所接收的注释输入经由服务器(100)被提供给装置(3)。当平板式终端300用作装置(1)时，如在可穿戴终端200中一样，平板式终端300包括摄像装置作为成像单元，并且当用户在真实空间中握持平板式终端300时可以沿从用户的视线所延伸的线获取真实空间的图像。所获取的图像被传送到服务器100。当平板式终端300用作装置(3)时，平板式终端300将由摄像装置所拍摄的图像显示在显示器上，并且显示由装置(2)(例如，另一平板式终端)所输入的注释，使得注释被叠加在图像上。替选地，当显示器为透明类型时，平板式终端300可以通过将注释透明地叠加在由用户直接地观看的真实世界的图像上来显示注释。
[0068]客户端400(在下文中还简单地被称为移动电话400)是移动电话(智能电话)。因为系统10中的移动电话400的功能与平板式终端300的功能相同，因此将省略其详细的描述。尽管未示出，例如，当诸如便携式游戏装置或数字摄像装置的装置还包括通信单元、显示单元以及操作单元或成像单元时，该装置可以与系统10中的平板式终端300或移动电话400类似地起作用。
[0069]客户端500(在下文中还简单地被称为膝上型PC 500)是膝上型个人计算机(PC)。膝上型PC 500包括显示单元和操作单元，并且用作装置(2)。在所示的示例中，因为膝上型PC 500基本上以固定的方式使用，所以膝上型PC 500被当做不用作装置(1)的装置的示例。尽管未示出，例如，桌上型PC或电视机还可以用作膝上型PC 500。膝上型PC 500包括显示器作为显示单元