00的用户能够对上述的各图像输入注解。在图示的例子中，对图像1200p输入注解1210p (注解A)，对图像1200q输入注解1210q (注解B)。这些注解也可以实时地显示于图像1200，或例如也可以基于图像1200的显示范围移动了等的理由，不实时地显示于图像1200。
[0283]这里，在图示的例子中，也可以利用图35所示的一览显示画面1205最后阅览如上述那样输入了注解的流帧。一览显示画面1205是输入了注解的流帧，换句话说是一览显示图像1200p、1200q。可以在图像1200p、1200q中显示例如不实时地显示(也可以实时地显示)的注解1210p、1210q。例如在服务器100检测到了有针对图像1200p的注解1210p的输入的情况下，在流帧中将图像1200p作为快照保存，并且关联注解1210p的信息，从而能够进行这样的显示。
[0284]另外，作为其它的例子，也可以代替一览显示画面1205，在图像1200显示引导可穿戴终端200的用户的导航，将用户引导至获取了图像1200p或者图像1200q的位置(换句话说，图像1200的显示范围再次与图像1200p或者图像1200q相同的位置)。该情况下，在用户根据导航视认到了与图像1200p、1200q相同的图像1200的情况下，也可以在图像1200上显示注解1210p或者注解1210q。
[0285]7.应用的例子
[0286]接着，参照图36?图44，对应用了本实用新型的一个实施方式的应用的例子进行说明。
[0287]图36是表示利用本实用新型的一个实施方式的技术共享旅行者的视点的应用的例子的图。例如，佩戴可穿戴终端200等发送侧的装置并提供旅行目的地的实际空间的图像的可以是普通的旅行者(也可以是专业的记者)。例如，使用平板终端300等接收侧的装置阅览提供的图像1300的用户例如能够对图像整体、或者图像中的特定对象、位置输入注释1320(注解的一个例子)。输入的注释1320可以显示于可穿戴终端200的显示器，用于向旅行者传达请求、建议等。或者，注释1320也可以如图示那样，显示于平板终端300的图像1300。该情况下，例如也可以通过将多个用户分别输入的注释1320均显示在图像1300上，来产生共享旅行者的视点的用户间的交流。
[0288]图37是表示利用本实用新型的一个实施方式的技术共享登山者的视点的应用的例子的图。与图36的例子相同，例如佩戴可穿戴终端200等并提供实际空间的图像的可以是普通的登山者(也可以是专业的记者)。例如，使用平板终端300等阅览提供的图像1300的用户例如能够对图像整体、或者图像中的特定对象、位置输入注释1320(注解的一个例子)。另外，除了注解的输入之外，阅览图像1300的用户也可以捕捉图像1300，像照片一样保存。与上述的例子相同，输入的注释1320也可以向登山者传达建议等，用于共享登山者的视点的用户间的交流。
[0289]图38是表示利用本实用新型的一个实施方式的技术共享烹饪的人的视点的应用的例子的图。例如佩戴可穿戴终端200等并提供旅行目的地地的实际空间的图像的例如是擅长烹饪的普通的用户(也可以是烹饪老师)。例如，使用平板终端300等阅览提供的图像1300的用户例如能够对图像整体、或者图像中的特定位置输入注释1320。注释1320例如显示于可穿戴终端200的显示器，可以用于向老师角色的用户传达问题等。通过不将注释1320与图像1300内的位置建立关联，而与可穿戴终端200的周围的实际空间的位置建立关联，例如在对特定的材料、器具(在图示的例子中，提出锅中的勺子可以是更小的吗的问题)输入了注释1320的情况下，即便图像的显示范围因可穿戴终端200的移动而变化，能够使注解显示于输入了注释1320的用户意图的位置(在上述的例子中是勺子的位置)。
[0290]图39是表示利用本实用新型的一个实施方式的技术共享购物的人的视点的应用的例子的图。在该例中，针对佩戴可穿戴终端200等并提供店面的图像的用户，使用平板终端300等共享该图像的用户可以是个别的允许图像共享的用户，例如是提供图像的用户的家人等。换句话说，在图39的例子中，在私人的范围共享实际空间的图像。例如可以根据提供的实际空间的图像的种类、提供图像的用户作为注解期望得到什么样的信息来适当地设定是私人共享实际空间的图像，还是大众共享实际空间的图像。
[0291]在图示的例子中，作为注释1320，输入有购物清单1320p和指定苹果中的一个的注释1320q。其中，由于期望即便图像的显示范围因可穿戴终端200的移动而变化，指定苹果的注释1320q也显示于相同的苹果，所以可以与可穿戴终端200周围的实际空间的位置建立关联。另一方面，由于期望即便图像的显示范围因可穿戴终端200的移动而变化，购物清单1320p也继续显示于图像的相同的位置，所以也可以与图像1300内的位置建立关联。这样，输入注解的装置(例如平板终端300)的处理器也可以根据注解的种类、用户操作等，对将注解与实际空间的位置建立关联，或与图像内的位置建立关联进行切换。
[0292]图40是表示利用本实用新型的一个实施方式的技术共享工作的人的视点的应用的例子的图。在该例中，对于佩戴可穿戴终端200等并提供工作过程的图像的用户，使用平板终端300等共享该图像的用户可以是提供图像的用户作为老师预先指定的用户。老师角色的用户阅览图像1300，例如能够输入注释1320s (提醒部件容易坏，要注意的建议)等注解。另一方面，提供图像的用户例如也能够利用声音识别等(也可以利用键盘等输入)，例如输入对老师角色的用户的提问等注释1320t。
[0293]换句话说，在图示的例子中，能够借助注释1320，在提供图像的用户和老师角色的用户之间例如进行与工作有关的人机交互的会话。该情况下，通过将注释1320与实际空间的位置建立关联，能够将注解准确地显示在成为对象的部件等的位置。此外，该图像还可以在与其它的用户之间也进行共享。该情况下，也可以限制提供图像的用户以及老师角色的用户以外的其它用户的注释1320的输入。或者，只要在其它用户彼此之间，也可以将由其它用户输入的注释1320显示于图像1300。
[0294]图41?图44是表示利用本实用新型的一个实施方式的技术切换多个用户的视点来共享的应用的例子的图。
[0295]图41是用于概念性说明视点的切换的图。图41示出存在于相同的实际空间的2个可穿戴终端200a、200b分别具有拍摄部获取图像1200a、1200b的状态。此时，若可穿戴终端200a、200b分别获取空间信息，则能够借助实际空间的位置信息识别彼此的位置(视点位置)。因此，例如通过选择映入图像1200a的可穿戴终端200b、或者映入图像1200b的可穿戴终端200a，能够切换图像1200a的显示和图像1200b的显示。
[0296]图42是表示使用了 3人称图像的视点切换的例子的图。在图示的例子中，在平板终端300的显示器330显示有3人称图像1020，在其显示有2个流帧1021a、1021b。这些流帧例如能够通过图41所示的可穿戴终端200a、200b分别获取。用户例如能够通过对显示器330上的触摸传感器340的触摸操作来选择出任意一个流帧1021，从而切换来自可穿戴终端200a的视点的图像和来自可穿戴终端200b的视点的图像进行共享。
[0297]图43以及图44是表示使用了 I人称图像的视点切换的例子的图。在图43所示的例子中，在I人称图像1010显不有表不可切换的视点的指不光标1011、和与该视点相关的信息1012。指示光标1011例如可以是用于指示以其它的视点提供图像的装置的显示，如图示那样，也可以表示由该装置提供的图像的视场角。另外，信息1012例如表示由其它的装置提供的图像是什么种类的图像(在图示的例子中是“照相机视图”)、或是由谁提供的图像等。在用户借助接收侧的装置的操作部选择了指示光标1011或者信息1012的情况下，能够如图44所示那样，将显示切换为来自其它视点的I人称图像1010’。此外，图43所示的图像是来自观看表演时装展览的模特的观众的视点的图像。另一方面，图44所示出的图像是来自上述模特的视点的图像，映入有在通道旁边的观众。
[0298]此外，在上述的可切换的多个视点图像例如分别设置有公共或私人、收费或免费等这类的属性。该情况下，例如在图42所示的3人称图像1020、图43所示的I人称图像1010中，只要是公共的、或者即便是私人的也已经得到许可而可以阅览的图像，也可以显示指示光标1011、信息1012。或者，在3人称图像1020、I人称图像1010中，通过阅览图像的用户的设定，只要是免费、或即便收费也已经付款而能够阅览的图像，也可以显示指示光标1011、信息 1012。
[0299]8.补充
[0300]本实用新型的实施方式例如包括在上述中说明的图像处理装置(服务器或者客户端)、系统、由图像处理装置或者系统执行的图像处理方法、用于使图像处理装置发挥功能的程序、以及记录了程序的永久性的有形的介质。
[0301]以上，参照附图对本实用新型的优选实施方式进行了详细说明，但本实用新型的技术范围并不局限于所述的例子。理解为，若是具有本实用新型的技术领域的常识的人员，当然在权利要求所记载的技术思想范围内，能够想到各种变更例或者修正例，这些也当然也属于本实用新型的技术范围。
[0302]此外，以下的构成也属于本实用新型的技术范围。
[0303](I) 一种图像处理装置，该图像处理装置具备图像处理部，该图像处理部将从第I视点拍摄实际空间得到的第I图像作为输入图像来生成输出图像，上述图像处理部基于上述第I视点在上述实际空间中的位置以及姿势，来生成从在上述实际空间中具有与上述第I视点不同的位置以及姿势的第2视点虚拟地拍摄上述实际空间得到的第2图像作为上述输出图像。
[0304](2)根据上述(I)所述的图像处理装置，以上述第I视点的位置以及姿势为基准来设定上述第2视点的位置以及姿势。
[0305](3)根据上述(2)所述的图像处理装置，还具备显示控制部，上述显示控制部控制终端装置的显示部显示上述输出图像，上述图像处理部基于上述第I视点在上述实际空间中的位置以及姿势，来生成从在上述实际空间中任意的设定位置以及姿势的第3视点虚拟地拍摄上述实际空间得到的第3图像作为上述输出图像，上述显示控制部使上述显示部显示上述第2图像或者上述第3图像的中任一方或者两方。
[0306](4)根据上述(3)所述的图像处理装置，上述显示控制部使上述显示部显示至少上述第3图像，上述图像处理部在上述第2视点包含在上述第3图像的范围内的情况下，使上述第3图像显示表示上述第2视点的图标。
[0307](5)根据上述(4)所述的图像处理装置，还具备操作获取部，上述操作获取部获取基于针对显示于上述显示部的图像的用户操作的信息，上述图像处理部在获取了基于选择表示上述第2视点的图标的用户操作的信息的情况下，使上述第2图像与上述第3图像一起或者代替上述第3图像作为上述输出图像加以提供。
[0308](6)根据上述(2)?(5)中任意一项所述的图像处理装置，上述第2视点是使上述第I视点后退形成的视点。
[0309](7)根据上述(2)?(6)中任意一项所述的图像处理装置，上述图像处理部基于连续地拍摄的上述第I图像连续地生成上述第2图像，上述第2视点的位置以及姿势追随上述第I视点的位置以及姿势变化。
[0310](8)根据上述(7)所述的图像处理装置，上述图像处理部使上述第I视点的位置以及姿势的变化平滑地反映于上述第2视点的位置以及姿势。
[0311](9)根据上述⑶所述的图像处理装置，上述图像处理部对上述第2视点的位置以及姿势的变化量设定限制，并且基于上述第I视点的位置以及姿势和上述第2视点的位置以及姿势之间的关系，在显示在上述第2图像内的上述第I图像从上述第2图像的范围偏移规定比例以上的情况下解除上述限制。
[0312](10)根据上述⑴所述的图像处理装置，以配置于上述实际空间的物体的位置以及姿势为基准来设定上述第2视点的位置以及姿势。
[0313](11)根据上述(I)?(10)中任意一项所述的图像处理装置，上述图像处理部在上述第I视点包含在上述第2图像的范围内的情况下，使表示上述第I视点的图标显示于上述第2图像。
[0314](12)根据上述(11)所述的图像处理装置，还具备:显示控制部，其控制终端装置的显示部，使其显示上述输出图像；和操作获取部，其获取基于针对显示于上述显示部的图像的用户操作的信息，上述图像处理部在基于选择表示上述第I视点的图标的用户操作的信息已被获取的情况下，将第I图像与上述第2图像一起或者代替上述第2图像作为上述输出图像加以提供。
[0315](13)根据上述(I)?(12)中任意一项所述的图像处理装置，上述图像处理部将上述实际空间中的位置以及姿势彼此不同的多个视点中的任意一个视点作为上述第2视点生成上述第2图像，并且在上述多个视点中的其它视点包含在上述第2图像的范围内的情况下，使表示上述其它视点的图标显示于上述第2图像。
[0316](14)根据上述(13)所述的图像处理装置，还具备:显示控制部，其控制终端装置的显示部，使其显示上述输出图像；和操作获取部，其获取基于针对显示于上述显示部的图像的用户操作的信息，上述图像处理部在基于选择表示上述其它视点的图标的用户操作的信息已被获取的情况下，将与上述选择出的图标对应的上述其它视点作为上述第2视点生成上述第2图像，将新生成的上述第2图像和原来的上述第2图像一起或者代替原来的上述第2图像作为上述输出图像加以提供。
[0317](15)根据上述(I)?(14)中任意一项所述的图像处理装置，上述图像处理部基于上述第I视点的位置以及姿势和上述第2视点的位置以及姿势之间的关系，使变形的上述第I图像显示在上述第2图像内。
[0318](16)根据上述(15)所述的图像处理装置，上述图像处理部基于连续地拍摄的上述第I图像连续地生成上述第2图像，使最新的上述第I图像显示在上述第2图像内，并且基于过去的上述第I图像生成上述第2图像中的上述最新的第I图像以外的部分。
[0319](17)根据上述(16)所述的图像处理装置，上述图像处理部通过上述最新的第I图像和上述过去的第I图像之间或者上述过去的第I图像彼此之间的拼接，来生成上述第2图像中的上述最新的第I图像以外的部分。
[0320](18)根据上述(15)?(17)中任意一项所述的图像处理装置，上述图像处理部将从上述实际空间中的位置以及姿势彼此不同的多个上述第I视点拍摄上述实际空间得到的多个上述第I图像作为输入图像生成上述输出图像，并且基于上述多个第I视点各自的位置以及姿势和上述第I视点的位置以及姿势之间的关系，使变形的上述多个第I图像显示在上述第2图像内。
[0321](19) 一种图像处理方法，包括:将从第I视点拍摄实际空间得到的第I图像作为输入图像生成输出图像的处理器基于上述第I视点在上述实际空间中的位置以及姿势，来生成从在上述实际空间中具有与上述第I视点不同的位置以及姿势的第2视点虚拟地拍摄上述实际空间得到的第2图像作为上述输出图像。
[0322](20) 一种程序，该程序使将从第I视点拍摄实际空间得到的第I图像作为输入图像生成输出图像的计算机实现如下功能，即，基于上述第I视点在上述实际空间中的位置以及姿势，来生成从在上述实际空间中具有与上述第I视点不同的位置以及姿势的第2视点虚拟地拍摄上述实际空间得到的第2图像作为上述输出图像。
【主权项】
1.一种终端装置，包括: 拍摄部，从第I视点拍摄实际空间以生成拍摄图像； 通信部，将所述拍摄图像发送给服务器，并且从所述服务器接收输出图像，其中，所述输出图像为所述服务器基于所述第I视点在所述实际空间中的位置以及姿势，生成的从在所述实际空间中具有与所述第I视点不同的位置以及姿势的第2视点虚拟地拍摄所述实际空间得到的第2图像；以及 显示部，显示从所述服务器接收的所述输出图像。
2.根据权利要求1所述的终端装置，其特征在于， 还具备显示控制部，其控制所述显示部来显示所述输出图像， 其中，所述通信部还从所述服务器接收第3图像，所述第3图像由所述服务器基于所述第I视点在上述实际空间中的位置以及姿势，从在所述实际空间中任意地设定位置以及姿势的第3视点虚拟地拍摄所述实际空间而得到， 所述显示控制部使所述显示部显示所述第2图像和所述第3图像中的任一方或者两方。
3.根据权利要求2所述的终端装置，其特征在于， 所述显示控制部使所述显示部显示至少所述第3图像， 在所述第2视点被包含在所述第3图像的范围内的情况下，所述显示部将表示所述第2视点的图标显示在所述第3图像上。
4.根据权利要求1所述的终端装置，其特征在于， 还具备操作获取部，其获取基于针对所述显示部所显示的图像的用户操作的信息。
5.根据权利要求1所述的终端装置，其特征在于， 在所述第I视点被包含在所述第2图像的范围内的情况下，所述显示部使表示所述第I视点的图标显示于所述第2图像。
【专利摘要】本实用新型涉及一种终端装置。该终端装置包括：拍摄部，从第1视点拍摄实际空间以生成拍摄图像；通信部，将拍摄图像发送给服务器，并且从服务器接收输出图像，其中，该输出图像为服务器基于第1视点在实际空间中的位置以及姿势，生成的从在实际空间中具有与第1视点不同的位置以及姿势的第2视点虚拟地拍摄实际空间得到的第2图像；以及显示部，显示从服务器接收的输出图像。
【IPC分类】H04N5-232, G06F3-01
【公开号】CN204465706
【申请号】CN201420149871
【发明人】笠原俊一, 暦本纯一
【申请人】索尼公司
【公开日】2015年7月8日
【申请日】2014年3月28日
【公告号】CN104104862A, WO2014162852A1