于接收的信息，与透过显示器230 (显示部)被视认的实际空间的像重叠地显示注解1210。此外，注解1210被图示在与实际空间的像重叠虚拟地显示的、结果被可穿戴终端200的用户识别的位置。换句话说，图示的注解1210在可穿戴终端200的用户以外不可见。
[0233]注解1210以指向桌子上的钥匙(KEY)的方式显示，在图中示出其2个例子。这里所说的2个例子是空间配置的注解1210a、以及物体配置的注解1210b。
[0234]在图示的例子中，注解1210a显示在钥匙(KEY)上方的空中。为了容易引起视认图像的用户的注意，例如这样的注解的空间配置适用于想通过注解指示方向的情况等。另夕卜，例如在欲表现照片的拍摄角度等的情况下，拍摄照片时，配置照相机的位置在空中的情况较多(因为照相机通常被用户把持或设置在三脚架等上)，所以注解的空间配置可以有用。此外，上述的注解的空间配置例如除了能够将注解作为图像显示于显示器外，例如也能够如上述的图16以及图17的例子那样，通过投影仪投影显示注解，例如投影仪是3D投影仪。
[0235]另一方面，注解1210b显示在放置钥匙(KEY)的桌子上且在钥匙(KEY)的附近。为了容易识别与成为注解对象的物体的关系，例如这样的注解的物体配置适于欲通过注解指示物体的情况等。此外，在物体配置注解的情况下，为了确定出成为对象的物体，可以使用通过SLAM法等检测出的特征点、密集映射的三维数据等。或者，在利用已知的物体识别技术识别有各个物体的情况下，也可以从这些物体中确定出成为对象的物体。在识别有物体的情况下，例如即便在物体(通过用户的手移动等)与空间独立地移动的情况下，也能够追随物体配置注解。
[0236]在受理注解输入的装置(以下作为例子设为平板终端300，但也可以是其它的装置)中，通过任意的方法选择上述那样的注解的空间配置和物体配置。例如，平板终端300或者服务器100的处理器可以根据用户将要输入的注解的种类，自动地初始设定空间配置或者物体配置。如上述那样，可以在方向的指示、拍摄角度的显示的情况下自动地选择空间配置，在物体的指示的情况下自动地选择对象配置。另外，注解的配置也可以通过用户对装置操作部的操作来选择。
[0237]例如，如图20所示的例子那样，也可以提供在使用触摸传感器340对显示于平板终端300的显示器330的图像1300输入注解1310的情况下，显示空间配置的注解1310a和物体配置的注解1310b这两方，用户通过触摸操作选择其中一方的⑶I (Graphical UserInterface)。
[0238]例如，在通过这样的⑶I切换注解1310的配置的情况下，存在难以识别是将注解1310通过空间配置显示于空中，还是通过对象物配置显示于其内侧物体的表面的情况。为了这种情况，例如对于空间配置的注解1310a，也可以将图像1300所映出的实际空间的上方作为光源，使其显示阴影，从而容易识别是配置于空中。作为相同的显示，也可以显示从空间配置的注解1310到其下方的物体表面的垂线。另外，为了容易识别注解1310的纵深方向的位置，也可以在图像1300的纵深方向显示格子。对于注解1310的纵深方向的位置的调整，也可以使用利用了触摸传感器340的缩小/放大、另行设置的向正前方/内侧的移动按钮。另外，平板终端300的传感器也可以检测使平板终端300本身向从用户观察的正前方/内侧移动的动作，处理器使其动作反映于注解1310的纵深方向的位置。
[0239]5.处于可视认范围外的注解的显示
[0240]接着，参照图21?图32，对本实用新型的一个实施方式中的处于可视认范围外的注解的显示进行说明。在本实施方式中，如上述那样，对在发送侧的装置发送的实际空间的图像数据附加空间信息。若利用该空间信息，则在接收侧的装置中，则能够与在发送侧的装置显示的图像的显示范围无关，在实际空间的任意位置输入注解。
[0241 ] 例如，在上述的图3A以及图3B的例子中，与在可穿戴终端200 (发送侧的装置)中显示于显示器230 (显示部)的图像1200的显示范围相比，通过照相机260(拍摄部)拍摄并在平板终端300(接收侧的装置)中显示的图像1300的显示范围宽。在这样的情况下，在平板终端300中，也能够针对在当前时刻不包含在由可穿戴终端200显示的图像1200的显示范围内的实际空间的位置输入注解1310、1320。将输入的注解与基于由可穿戴终端200获取的空间信息定义的实际空间的位置信息建立关联，并由平板终端300、服务器100或者可穿戴终端200保持，在之后相机260随着可穿戴终端200移动，使该位置在图像1200的显示范围内的情况下，能够作为注解1210、1220显示于图像1200。
[0242]另外，例如在上述的图7?图1OC的例子中，作为3人称图像1020或者1.3人称图像1030，显示超过了在发送侧的装置视认的I人称图像1010的范围的图像，在接收侧的装置阅览这些图像的用户也能够针对处于I人称图像1010的显示范围外的实际空间输入注解。该情况下，将输入的注解与基于由发送侧的装置获取的空间信息定义的实际空间的位置信息建立关联，并进行保持，在之后I人称图像1010的显示范围移动而包含该位置的情况下，能够显示。
[0243]在上述的情况下，例如若发送侧的装置(以下作为例子设为可穿戴终端200)的用户不知道注解的存在，则存在注解不包含在图像1200的显示范围内而时间逝去的可能性。在利用了 AR技术的用户间的交互中，考虑到多数的注解是接收侧的装置(以下作为例子设为平板终端300)的用户为了向可穿戴终端200的用户传达一些事情而输入的，所以优选可穿戴终端200的用户知道注解的存在。
[0244]因此，在本实施方式中，如以下的例子所示那样，能够显示与处于可视认范围外的注解相关的信息。这些信息的显示也是注解的一种，但在以下的说明中，存在将由接收侧的装置的用户输入的信息特别地称作注解而加以区分的情况。用于它们显示的显示控制例如也可以由显示注解的装置(例如可穿戴终端200、平板终端300等)的处理器执行，还可以由用于识别这些装置中的可视认范围外的服务器100的处理器执行。此外，以下的例子例如与上述的各种例子独立，在存在向实际空间的图像的可视认范围外输入注解的可能性的情况下，能够普遍适用。
[0245]第I 例
[0246]图21?图23是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第I例的图。
[0247]图21表示注解处于图像1200 (可视认范围)中的情况的显示例。该情况下，以放置在桌子上的杯子(CUP)为对象显示注解，注解包括指示光标1210和注释1220。
[0248]图22表示作为注解对象的杯子(CUP)处于图像1200外的情况的显示例。该情况下，能够代替图21所示的注解，显示表示注解的对象所存在的方向的方向显示1230。例如通过基于可穿戴终端200获取的空间信息，确定出图像1200的显示范围和注解的对象的位置关系，能够显示方向显示1230。另外，此时也可以与方向显示1230 —同显示注解中的注释1220。注释1220是表示注解的内容或者种类等的信息，所以即使不与指示光标1210 —起显示，而与方向显示1230 —起显示也有用。
[0249]图23表示可穿戴终端200的用户根据方向显示1230改变照相机260的方向等，从而使图像1200的显示范围移动，作为注解对象的杯子(CUP)的一部分包含在图像1200内的情况的显示例。该情况下，即使不是对象的全部都包含在图像1200内，也可以显示指示光标1210的一部分和注释1220作为注解。
[0250]第2 例
[0251]图24以及图25是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第2例的图。在该第2例中，除了显示在可视认范围外存在注解的对象外，还显示值注解的对象的距离。
[0252]图24是表示从可视认范围至注解的对象的距离不同的2个图像的显示的例子的图。在该例中，能够通过圆1240显示在可视认范围外存在注解。也如图25所示那样，能够以与从注解的对象至可视认范围的距离对应的半径显示圆1240。如图25A所示，在从注解的对象至可视认范围(图像1200a)的距离大的情况下，显示更大的半径Γι的圆1240a。另夕卜，如图25B所示，在从注解的对象至可视认范围(图像1200b)的距离小的情况下，显示更小的半径1"2的圆1240b。也可以根据至注解的对象的距离连续地设定圆1240的半径r，还可以分阶段设定。另外，如图24所示，也可以与圆1240 —起显示注解中的注释1220。
[0253]通过像这样显示圆1240，例如观看图像1200的用户不仅能够把握在可视认范围外存在注解，还能够直观地把握使图像1200的显示范围向哪个方向移动多少的话能够视认注解。
[0254]第3 例
[0255]图26以及图27是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第3例的图。
[0256]图26表示作为注解的对象的苹果(APPLE)处于图像1200外的情况的显示例。该情况下，能够与和图22的例子相同的方向显示1250 —起显示对象的图标1251。图标1251例如是在现在或者过去，在照相机260拍摄的图像中包含苹果(APPLE)的情况下，服务器100或者可穿戴终端200的处理器从通过照相机260拍摄的图像剪出苹果APPLE的部分而生成的。该情况下，图标1251无需根据照相机260获取的帧图像的变化而变化，例如也可以是静态图像。或者若是苹果APPLE被物体识别的情况，则也可以与照相机260拍摄的图像无关，将表示苹果的插图、照片作为图标1251显示。另外，此时，也可以与方向显示1250以及图标1251 —同显示注解中的注释1220。
[0257]图27表示可穿戴终端200的用户根据方向显示1230改变照相机260的方向等，从而使图像1200的显示范围移动，作为注解的对象的苹果(APPLE)的一部分包含在图像1200内的情况的显示例。该情况下，也可以使方向显示1250以及图标1251的显示结束，与图23的例子相同，显不指不光标1210的一部分和注释1220作为注解。
[0258]通过像这样显示图标1251，例如观看图像1200的用户不仅能够把握在可视认范围外存在注解，也能够把握注解的对象是什么，能够容易决定是马上看还是以后看这样的行动。
[0259]第4 例
[0260]图28是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第4例的图。在图示的例子中，在作为注解的对象的苹果(APPLE)处于图像1200外的情况下，更靠近苹果的图像1200的端部分1260发光。例如，在图像1200a中，由于苹果在画面的右下的方向，所以右下的端部分1260a发光。另外，在图像1200b中，由于苹果处于画面的左上的方向，所以左上的端部分1260b发光。在图像1200c中，由于苹果处于画面的左下的方向，所以左下的端部分1260c发光。
[0261]在上述的例子中，能够基于从图像1200观察，注解的对象所存在的方向来设定端部分1260的区域。在图中示出倾斜方向的例子，但在其它的例子中，也可以在苹果处于图像1200的左方向的情况下，左侧的端部分1260发光。该情况下，端部分1260也可以是图像1200的左侧边的整体。另外，在注解的对象存在于倾斜方向，包括图像1200的角的端部分1260发光的情况下，也可以根据注解的对象所存在的方向的角度来设定夹住角的端部分1260的纵部分和横部分的比率。该情况下，例如若在更靠上的左上存在对象，则与端部分1260的纵部分(沿图像1200的左边)相比，横部分(沿图像1200的上边)变长。相反，若在更靠左的左上存在对象，则与端部分1260的横部分(沿图像1200的上边)相比，纵部分(沿图像1200的左边)变长。另外，在其它的例子中，也可以代替端部分1260发光，而以规定的颜色(也可以是透过色)着色。
[0262]这样，在通过端部分1260的显示的变化通知在可视认范围外存在注解的情况下，例如也可以不进行基于箭头等的其它的方向显示，所以能够不妨碍图像1200的显示地通知注解的存在。
[0263]第5 例
[0264]图29是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第5例的图。在图示的例子中，作为注解显示有注释1220。但是，由于注释1220横向较长，所以不能完全显示于图像1200。在图中也示出由此产生的非显示部分1221。可以说该情况下的注释1220的非显示部分1221也是处于可视认范围外的注解。为了表示该非显示部分1221的存在，在注释1220与图像1200的端部抵接的部分显示发光区域1280。
[0265]这里，也可以根据非显示部分1221的长度(例如可以以长度方向的像素数等表现，还可以与注释1220的显示部分的比率、与其它的非显示部分1221的比率来表现)设定发光区域1280的长度。在图示的例子中，针对注释1220a的非显示部分1221a显示发光区域1280a，针对注释1220b的非显示部分1221b显示发光区域1280b，但也可以反映非显示部分1221b比非显示部分1221a长，显示为发光区域1280b比发光区域1280a长。
[0266]这样，在通过发光区域1280的显示通知在可视认范围外存在注解的情况下，能够在作为注解的注释1220的内部完成显示，所以不妨碍图像1200的显示就能够通知注解的存在。另外，在根据非显示部分1221的长度设定发光区域1280的长度的情况下，用户直观地把握注释1220作为整体有多长，所以容易决定是马上看还是以后看这样的行动。此外，在想要将注释1220的非显示部分1221包含于图像1200的显示的情况下，例如也可以使图像1200的显示范围移动，或者向图像1200的内侧(若是图示的例子的注释1220a则向左侦牝若是注释1220b则向右侧)拖拽注释1220。
[0267]第6 例
[0268]图30是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第6例的图。在图示的例子中，显示在道路引导中表示方向的箭头的注解1210。例如在用户看图像1200b的情况下能够视认该注解1210，但在看图像1200a的情况下不能够视认。因此，用户在看图像1200a的情况下，能够显示注解1210的阴影1290。通过显示阴影1290，看图像1200a的用户能够识别在画面上方的外部存在注解。
[0269]在之后，用户看图像1200b的情况下，可以结束阴影1290的显示，也可以继续显示。在与注解1210—同继续显示阴影1290的情况下，通过显示阴影1290，用户能够容易识别配置在空中的注解1210的纵深方向的位置。
[0270]通过像这样显示阴影1290，虽然受虚拟光源的方向的制约，但能够通过协调的显示通知用户注解的存在。
[0271]应用例
[0272]图31以及图32是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的应用例的图。在图示的例子中，在可穿戴终端200的用户观看的图像1200从图像1200a变化到图像1200b，再变化到图像1200c的期间，注解的显示变化。在图像1200作为注解显示有指示光标1210、方向显示1230、以及注释1220。
[0273]此外，指示光标1210与上述的几个例子不同，例如作为表示用户的注视区域的图标，继续显示于图像1200的中央附近。通过方向显示1230引导可穿戴终端200的用户，例如使用户将由平板终端300的用户输入的注解的对象(在图示的例子中为锅(PAN))放入指示光标1210。
[0274]在图像1200a以及图像1200b中，由于锅(PAN)处于用户的可视认范围外，显示有表示有锅的方向的方向显示1230a以及方向显示1230b。用户根据方向显示1230使图像1200的显示范围移动，在图像1200c中将锅捕捉到显示范围，进一步将锅放入指示光标1210中，于是，开始显示注释1220。在图32中另行表示此时的图像1200c。
[0275]为了通过将作为注解的对象的锅(PAN)放入指示光标1210中，来判断为变成了可穿戴终端200的用户能够确认针对锅的注解的状态，而产生这样的显示的变化。这样，对于需要确认的注解，在注解的对象进入用户的注视区域(或者焦点区域)的情况下，认定为变成了能够确认的状态，显示注解的整体，也可以在之前通过方向显示1230等继续引导用户，使用户将对象放入注视区域(或者焦点区域)。
[0276]此外，不仅通过注解的对象进入注视区域(或者焦点区域)来认定变成了用户能够确认注解的状态，还通过在该状态下经过规定的时间来认定变成了用户能够确认注解的状态。
[0277]6.其它的显示例
[0278]接着，参照图33?图35，对本实用新型的一个实施方式中的其它的显示例进行说明。
[0279]图33是表示本实用新型的一个实施方式中的利用了边缘检测的注解对象物体的显示例的图。在图示的例子中，以车(VEHICLE)为对象输入注解1210。在图像1200中，显示注解1210，并且在车的边缘显示发光的效果1285。例如在通过利用可穿戴终端200的空间信息的生成处理，通过特征点的解析等检测车(VEHICLE)的边缘的情况，能够进行这样的显示。
[0280]通过以边缘为基准显示效果1285，例如在对象的物体不被识别，通过“这周围”这样的位置的指定输入了注解的情况下，也能够表现注解的对象。在对象的物体被识别的情况下，也可以在该物体的边缘显示效果1285。
[0281]图34以及图35是表示本实用新型的一个实施方式中的流帧的回滚显示的例子的图。在该例中，如图34所示，可穿戴终端200(发送侧的装置的例子)的用户看到的图像1200从图像1200p变化成图像1200q、图像1200r、图像1200s。这些图像均作为流帧依次经由服务器100发送给平板终端300 (接收侧的装置的例子)。
[0282]平板终端3