空间信息来指定两个视点的位置。例如，在第三人称图像1020中，可以通过选择视点对象1022或视点对象1023来转换成与每个视点对应的图像，即，第一人称图像1010或以下要描述的第一第三人称图像。在第三人称图像1020中，视点可以被设置为自动改变，以使用对象作为基准来直接面对和/或展开在真实空间中识别的对象。
[0154]为了实现这样的显示，第三人图像1020的显示范围不可被由于例如可穿戴式终端200的摄像头260的运动而造成的流式帧1021的显示范围的改变所影响。例如，当摄像头260被移动时，流式帧1021的显示区域和显示内容被改变，并且第一人称图像的视点对象1022会被移动。然而，可以保持第三人称图像1020的显示范围。第一第三人称图像的视点对象1023也可以随着摄像头260的移动而移动。例如，当用平板电脑终端300从观看第三人称图像1020的用户获取到改变视点的指示时，可以改变第三人称图像1020的显示范围。
[0155]第三人称图像1020可能不一定基于由单个发送侧装置例如可穿戴式终端200的摄像头260获取的真实空间的图像而生成。例如，第三人图像1020可以是通过进一步组合与例如可穿戴式终端200在同一真实空间(例如，同一空间)中的另一装置(例如，固定相机600)所获取的真实空间的图像而生成的。在这种情况下，固定相机600也将空间信息添加到真实空间的图像数据中，以将该空间信息提供给服务器100。服务器100可以基于从每个装置提供的空间信息来生成组合了真实空间的多条图像数据的第三人称图像1020。在这种情况下，在第三人称图像1020中可以显示多个流式帧1021。
[0156](第一第三人称图像)
[0157]图1OA是示出了根据本公开内容的实施方式的第一第三人称图像的显示示例的图。在图1OA中，示出了第一第三人称图像1030。第一第三人称图像1030是基于可穿戴式终端200的摄像头260捕获的图像，从摄像头260的背面侧的视点对真实空间虚拟成像而获得的图像。第一第三人称图像1030可以被设置为与第一人称图像1010的视点分离，但是不像第三人称视点图像1020那样被自由地设置。因此，在本说明书中，“第一第三人称图像”被用作意味着具有第一人称图像和第三人称图像之间的中间性质的图像的术语。第一第三人称图像1030的视点与第一人称图像1010的视点之间的关系可以参照例如在图7和图8中示出的第三人称图像1020中显示的视点对象1022与视点对象1023之间的关系来容易地理解。
[0158]在第一第三人称图像1030中，例如，由摄像头260捕获的图像被显示为流式帧1031。流式帧1031可以是例如与前述第一人称图像1010相同的图像。此处，由于第一第三人称图像1030的视点被设置在摄像头260的背面侧，因此流式帧1031的位置通常在第一第三人称图像1030的中心附近，并且流式帧1031的形状通常是矩形的。
[0159]在此，当摄像头260被移动时，也可以改变第一第三人称图像1030的显示范围以跟踪流式帧1031。此时，例如，服务器100的处理器可以使用噪声滤波器、低通滤波器等来处理基于空间信息而计算的摄像头260的位移，然后可以将该位移反映在第一第三人称图像1030的视点的位移中。因此，例如，即使当由于摄像头260的微小运动而使流式帧1031中发生模糊时，也能够抑制第一第三人称图像1030变模糊。例如，即使当可穿戴式终端200的用户向后看而突然改变了摄像头260的位置或姿势时，第一第三人称图像1030的显示范围也被平稳地跟踪，使得观看第一第三人称图像1030的用户可以容易地识别视点如何被改变。因此，当相对于流式帧1031的显示范围的变化来调整第一第三人称图像1030的显示范围的变化时，流式帧1031可以暂时显示在第一第三人称图像1030的中央以外的其他位置处，或者可以不显示在第一第三人称图像1030中。
[0160]在第一第三人称图像1030中，可以在流式帧1031的周围显示周围区域图像1032。可以通过使用拼接分析的结果等将先前提供的流式帧张贴到流式帧1031的周围来生成周围区域图像1032，如在第三人称图像1020中参照图9所描述的示例中那样。可替代地，使用由SLAM方法等检测到的特征点或密集映射(dense mapping)的三维数据等所生成的流式帧1031的周围的空间模型可以被作为周围区域图像1032来显示。此时，可以将从先前的流式帧提取的图像作为纹理附到空间模型中所包括的表面。例如，由于作为先前的流式帧1031而积累的图像的数量在距离流式帧1031较远的第一第三人称图像1030的边缘部分等中较小，并且偏离流式帧1031的显示范围之后已经经过了一些时间，因此存在着真实空间已经改变的情况的可能性，或者存在着空间模型的精度降低了的可能性。在这种情况下，如图所示，可以不显示或者可以晕影(vignette)并显示周围区域图像1032的一部分。
[0161]图1OB和图1OC是用于描述根据本公开内容的实施方式的第一第三人称图像的图。参照附图，将进一步从不同的角度来描述上述第一第三人称图像。如图1OB所示，第一第三人称图像的视点CP2被设置在例如由SLAM方法等获取的真实空间的坐标系中将第一人称图像的视点CPl虚拟地向后移动的位置处。
[0162]在此，例如，当视点CP2跟踪视点CPl时，服务器100的处理器可以对移动速度(在下文中也称为视点CP2的跟踪速度)设置预定上限或者将视点CPl的移动速度乘以小于I的增益来设置视点CP2的跟踪速度。因此，即使当视点CPl突然移动时，视点CP2也可以顺利地跟踪。因此，观看第一第三人称图像的用户能够容易地识别视点是如何改变的。
[0163]然而，当从视点CPl获取的帧FRM，即第一人称图像的最新的帧，偏离第一第三人称图像的范围时，则难以维持第一第三人称图像中显示的空间的背景。因此，例如，即使当如上所述地通过设置上限或增益来抑制视点CP2的跟踪速度时，视点CPl的移动速度也很高。因此，当以下区域偏离第一第三人称图像的范围时:该区域具有等于或大于帧FRM的预定比例的比例，可以添加控制以维持第一第三人称图像的范围内的帧FRM，例如，通过扩大上限的值或者增益来提高视点CP2的跟踪速度。
[0164]图1OC示出了在执行上述控制时显示的图像的示例。在A中，显示了第一人称图像1010。在B中，通过将第一人称图像1010的视点虚拟地向后移动来开始显示第一第三人称图像1030。在图示的示例中，由于此时先前的帧图像尚未积累，因此在第一第三人称图像1030的帧FRM之外的部分中什么也不显示。
[0165]在C中，视点CPl在第一第三人称图像1030被显示的状态下移动，并且第一第三人称图像的视点CP2跟踪被移动的视点CP1。然而，由于在前述示例中抑制了视点CP2的跟踪速度，因此第一第三人称图像1030的显示范围的移动稍微晚于帧FRM的移动。相应地，帧FRM位于稍微偏离第一第三人称图像1030的中心位置处，另一方面，此时即使在最新的帧FRM之外的部分中也显示对象，例如，使用在B中显示的先前帧FRM的图像等。
[0166]在D中，由于视点CPl的移动速度较高，因此视点CP2在被抑制的跟踪速度下没有完全跟踪视点CP1，并且帧FRM的一部分偏离第一第三人称图像1030的显示范围。此时，例如，服务器100的处理器进一步增加上限或增益的值以增加CP2的跟踪速度。其结果是，在E中，整个帧FRM再次进入第一第三人称图像1030的显示范围。
[0167]如上所述，除了根据视点CPl的移动速度和帧FRM的显示状态来控制视点CP2的跟踪速度以外，例如，当经由用于获取第一第三人称图像1030上的操纵(例如，注释输入)的、装置(如平板终端300)中的触摸板等来获取第一第三人称图像1030上的操纵时，服务器100的处理器可以通过抑制视点CP2的移动来固定第一第三人称图像1030的显示范围。因此，例如，用户能够容易地在第一第三人称图像1030中显示的特定位置处执行操纵。
[0168]例如，可以在转换第一人称图像1010和第一第三人称图像1030的显示的过程中实现下述配置。例如，当没有识别到摄像头的视点的位置时(搜索期间)，服务器100的处理器首先显示第一人称图像1010。在此，例如，当通过SLAM方法等识别到视点的位置并且开始跟踪时，处理器可以将显示的图像切换成第一第三人称图像1030。此后，例如，在通过SLAM方法等进行的跟踪失败并且重新开始搜索视点的位置的情况下，处理器可以将显示的图像返回到第一人称图像1010。在这个示例中，从第一人称图像1010转换到第一第三人称图像1030和从第一第三人称的形象1030转换到第一人称图像1010 二者都可以用动画来显不O
[0169]在实施方式中，如上所述，在可以在接收侧装置(在前述示例中是平板终端300)中提供以下图像:在该图像中真实空间的显示超出了由发送侧装置(在前述示例中是可穿戴式终端200)的成像单元成像的范围。因此，无论发送侧装置的用户的视点如何，接收侧装置的用户可以共享自由视点处的真实空间的图像。
[0170](应用示例)
[0171]在实施方式中，如上所述，可以使用以真实空间的位置为基准来发送和接收注释的技术。当使用该技术时，平板终端300 (接收侧装置)的用户甚至可以将注释输入到第三人称图像1020中显示的流式帧1021或第一第三人称图像1030中显示的流式帧以外的区域。因此，例如，甚至可以将注释添加到先前用可穿戴式终端200(发送侧装置)看到但是当前看不到的对象或真实空间中的位置。例如，可以在流式帧1021或1031随后被移动时显示注释。如在以下将描述的示例中，可以在可穿戴式终端200中显示指示注释在图像1200之外的通知。
[0172]图11和图12是示出了根据本公开内容的实施方式同时显示不同视点的图像的示例的图。在图11中示出的图像1040中，第三人称图像1020和第一人称图像1010被同时显示。此时，在第三人称图像1020中，例如，第一人称图像的视点对象1022可以被强调显示。在图示的示例中，第一人称图像1010被显示为第三人称图像1020的画面的子画面。然而，第三人图像1020反过来可以被显示为第一人称图像1010的画面的子画面。
[0173]在图12中例示的图像1050中。第三人称图像1020和第一第三人称图像1030被同时显示。此时，在第三人称图像1020中，例如，第一第三人称图像的视点对象1023可以被强调显示。在图示的示例中，第一第三人称图像1030被显示为第三人称图像1020的画面的子画面。然而，第三人图像1020反过来可以被显示为第一第三人称图像1030的画面的子画面。
[0174]因此，例如，通过同时显示不同视点的图像，并且将不同视点的图像提供给接收侧装置(在前述示例中为平板终端300)的用户，易于识别以下图像的视点:该图像提供用户期望的共享经验。
[0175](4.在真实空间中显示注释)
[0176]接着，将参照图13至图20来描述根据本公开内容的实施方式在真实空间中显示注释。在实施方式中，如上所述，空间信息被添加到从发送侧装置发送的真实空间的图像数据中。空间信息是例如指示发送侧装置的成像单元在真实空间中的位置和姿势的信息。当使用该信息时，可以将用接收侧装置输入的注释以各种形式直接或间接地显示在发送侧装置所在的真实空间中。
[0177]在以下描述中，将使用特定装置的示例来描述发送侧装置、接收侧装置以及服务器的操作。然而，可以通过将上述系统10的任何装置进行结合来实现相同的配置而与这样的示例无关。
[0178](4-1.显示示例)
[0179]图13是示出了根据本公开内容的实施方式的注释指示的第一示例的图。在图13中，示出了平板终端300c和300d。在图示的示例中，平板终端300c使摄像头(成像单元)(未示出)捕获真实空间的图像，并且将该图像在显示器330c(显示单元)上显示为图像1300c。平板终端300c的用户使用设置在显示器330c上的触摸传感器340(操纵单元)输入对图像1300c的注释1310c。在此，在平板终端300c中，指定了图像1300c中看到的真实空间中的位置，而不是图像1300c中的位置，并且输入了注释1310c。例如，可以基于连同由平板终端300c捕获的图像一起获取的空间信息来指定真实空间中的位置，并且可以将该位置表示为使用平板终端300c的成像单元作为基准的相对位置，或者表示为使用空间中的特征点等作为基准的位置。
[0180]另一方面，真实空间的图像由平板终端300d或摄像头(成像单元)(未示出)捕获，并且将真实空间的图像在显示器330d(显示单元)上显示为图像1300d。如图所示，由于平板终端300c和300d位于同一空间中，并且平板终端300c被包括在平板终端300d的摄像头的视场角(angle of field)中，因此平板终端300c’被描绘在图像1300d中。另外，输入到平板终端300c的与对图像1300c的注释1310c有关的信息经由服务器100或装置间通信被发送至平板终端300d，并且从而在图像1300d中被显示为注释1310d。
[0181]在此，注释1310d被显示在平板终端300c中指定的真实空间中的位置处。这通过以下方式来表示:注释1310d在图像1300d中被显示在远离平板终端300c’的空中。平板终端300d也可以连同捕获图像一起获取空间信息，并且可以根据所获取的空间信息来指定平板终端300c在空间中的位置或者特征点等在空间中的位置。因此，平板终端300d可以基于例如指示从平板终端300c获取的真实空间中的位置的信息和由平板终端300d获取的空间信息来指定注释1310d在空间中的位置。
[0182]当前述示例与参照图1描述的系统10对应时，平板终端300c被用作装置(I)和(2)，并且平板终端300d被用作装置(3)。如上所述，与输入到平板终端300c的注释1310c有关的信息可以通过装置间通信发送至平板终端300d。在这种情况下，前述示例可以说是系统10的修改示例，其中每个装置在没有服务器介入的情况下进行通信，并且使用一个装置中的空间信息来执行图像处理。
[0183]图14是示出了根据本公开内容的实施方式的注释指示的第二示例。在图14中，示出了平板终端300和其上由投影仪700(未示出)投影了图像的画面(画面)。在图示的示例中，平板终端300使摄像头(成像单元)(未示出)捕获真实空间的图像，并且将该真实空间的图像在显示器330(显示单元)上显示为图像1300。如图所示，由于画面被包括在平板终端300的摄像头的视场角中，因此画面(画面’)被描绘在图像1300中。
[0184]平板终端的用户300使用设置在显示器330上的触摸传感器340 (操纵单元)输入对图像1300的注释1310。在图示的示例中，注释1310是在画面(画面’)上绘画的涂鸦。例如，基于连同由平板终端300捕获的图像一起获取的空间信息，注释1310与真实空间中的画面(画面)上的位置相关联。与输入到平板终端300的注释1310有关的信息被连同真实空间的位置信息(指示该画面的位置)一起经由服务器100或通过装置间通信发送至投影仪700。
[0185]投影仪700不获取捕获图像，而是获取像平板终端300的空间信息，并且从而识别画面(画面)在真实空间中的位置。因此，投影仪700可以将注释1710(涂鸦)投影在画面(画面)上，该注释1710是与平板终端300中的注释1310相同的注释输入。在这种情况下，投影仪700可以说是通过用平板终端300将对显示在显示器330上的图像1300 (虚拟空间)的注释输入投影在画面上，而直接将注释显示在真实空间中。
[0186]图15是示出了根据本公开内容的实施方式的注释指示的第三示例的图。在图15中，示出了平板终端300和膝上型PC 500。在图示的示例中，平板终端300使摄像头(成像单元)(未示出)捕获真实空间的图像，并且将该真实空间的图像在显示器330(显示单元)上显示为图像1300。如图所示，由于膝上型PC 500的显示器530 (显示单元)被包括在平板终端300的摄像头的视场角中，因此显示器530’被描绘在图像1300中。
[0187]平板终端的用户300使用设置在显示器330上的触摸传感器340 (操纵单元)输入对图像1300的注释1310。在图示的示例中，注释1310是围绕显示器在530’上显示的内容的多个缩略图中的一个缩略图的圆圈。例如，基于连同由平板终端300捕获的图像一起获取的空间信息，注释1310与显示器530在真实空间中的位置相关联。与输入到平板终端300的注释1310有关的信息连同真实空间的位置信息(指示显示器530的位置)一起经由服务器100或通过装置间通信发送至膝上型PC 500。
[0188]膝上型PC 500不获取捕获图像，而是获取像平板终端300的空间信息，并且从而可以识别显示器530在真实空间中的位置。因此，膝上型PC 500可以将注释1510(围绕多个缩略图中的一个缩略图的圆圈)显示在显示器530上，该注释1510与输入到平板终端300的注释1310对应，并且是与注释1310相同的注释输入。在这种情况下，膝上型PC 500可以说是通过用平板终端300将对显示在显示器330上的图像1300 (虚拟空间)的注释输入显示在构成真实空间的一部分的显示器530上，而直接将注释显示在真实空间中。
[0189]图16是示出了根据本公开内容的实施方式的注释指示的第四示例的图。在图16中，示出了可穿戴式终端200、平板终端300以及投影仪700。在图示的示例中，可穿戴式终端200使摄像头260 (成像单元)捕获真实空间的图像并且获取空间信息，然后经由服务器100将所捕获的图像的数据连同空间信息一起发送至平板终端300。在此，例如，平板终端300可以在与可穿戴式终端200和投影仪700不同的地方。
[0190]平板终端300使显示器330 (显示单元)将接收的图像显示为图像1300。如图所示，图像1300中包括位于与可穿戴式终端200相同的空间中的桌子、桌子上的杯子、盘子以及钥匙(钥匙’)。平板终端300的用户使用设置在显示器330上的触摸传感器340 (操纵单元)输入对图像1300的注释1310。在图示的示例中，注释1310包括围绕钥匙(钥匙’)的圆圈和消息“请把这个带上”。基于连同图像一起从可穿戴式终端200接收的空间信息，注释1310与钥匙(钥匙)在该真实空间中的位置相关联。与输入到平板终端300的注释1310有关的信息连同真实空间的位置信息(指示例如钥匙(钥匙)的位置)一起经由服务器100被发送至投影仪700。
[0191]投影仪700不获取捕获图像，而是获取像可穿戴式终端200的空间信息，并且从而识别其上投影了图像的表面(例如，图示的示例中的桌子的表面)在真实空间中的位置。因此，投影仪700可以将注释1710(圆圈和消息)投影在桌子上的钥匙(钥匙)的周围，该注释1710是与平板终端300中的注释1310相同的注释输入。因此，可穿戴式终端200的用户可以直接观看投影在桌子表面上的注释1710。因此，在这种情况下，可穿戴式终端200可以不包括显示单元如显示器。
[0192]在前述示例中，使用基于空间信息(由可穿戴式终端200捕获的真实空间的图像被添加到该空间信息作为基准)而指定的真实空间的位置信息，将输入到平板终端300的注释由投影仪700 (其是与捕获图像的装置不同的装置)显示在真实空间中。在这样的配置中，例如