终端装置的制造方法
【技术领域】
[0001]本实用新型涉及图像处理装置。
【背景技术】
[0002]近些年，将附加的信息叠加于实际世界并提示给用户的被称为增强现实(AR:Augmented Reality)的技术备受瞩目。在AR技术中提示给用户的信息也被称作(annotat1n)，可以使用文本、图标或者动画等各种方式的虚拟的物体进行可视化。例如，在专利文献I中记载有不损害用户对AR空间的浸没感地实现这样的AR的虚拟物体的操作的技术。
[0003]专利文献1:日本特开2012 — 212345号公报
[0004]在上述专利文献I等中提出的AR技术被开发的时间还不长，不能说在各个方面充分提出了活用AR的技术。例如，用于使利用了 AR技术的用户间的交互顺利的技术也是还没有被充分提出的技术之一。
【实用新型内容】
[0005]因此，在本实用新型中，提出一种能够使利用了 AR技术的用户间的交互更为顺利的、新改进的图像处理装置。
[0006]根据本实用新型，提供一种图像处理装置，该图像处理装置具备图像处理部，该图像处理部将从第I视点拍摄实际空间得到的第I图像作为输入图像来生成输出图像，上述图像处理部基于上述第I视点在上述实际空间中的位置以及姿势，来生成从在上述实际空间中具有与上述第I视点不同的位置以及姿势的第2视点虚拟地拍摄上述实际空间得到的第2图像作为上述输出图像。
[0007]在上述图像处理装置中，以上述第I视点的位置以及姿势为基准来设定上述第2视点的位置以及姿势。
[0008]在上述图像处理装置中，还具备显示控制部，上述显示控制部控制终端装置的显示部来显示上述输出图像，上述图像处理部基于上述第I视点在上述实际空间中的位置以及姿势，来生成从在上述实际空间中任意地设定位置以及姿势的第3视点虚拟地拍摄上述实际空间得到的第3图像作为上述输出图像，上述显示控制部使上述显示部显示上述第2图像和上述第3图像中的任一方或者两方。
[0009]在上述图像处理装置中，上述显示控制部使上述显示部显示至少上述第3图像，在上述第2视点被包含在上述第3图像的范围内的情况下，上述图像处理部使表示上述第2视点的图标显示在上述第3图像上。
[0010]在上述图像处理装置中，还具备操作获取部，上述操作获取部获取基于针对上述显示部所显示的图像的用户操作的信息，在基于选择表示上述第2视点的图标的用户操作的信息已被获取的情况下，上述图像处理部使上述第2图像与上述第3图像一起或者代替上述第3图像作为上述输出图像来加以提供。
[0011]在上述图像处理装置中，上述第2视点是使上述第I视点后退形成的视点。
[0012]在上述图像处理装置中，上述图像处理部基于连续地拍摄的上述第I图像连续地生成上述第2图像，上述第2视点的位置以及姿势追随上述第I视点的位置以及姿势而变化。
[0013]在上述图像处理装置中，上述图像处理部使上述第I视点的位置以及姿势的变化平滑地反映于上述第2视点的位置以及姿势。
[0014]在上述图像处理装置中，上述图像处理部对上述第2视点的位置以及姿势的变化量设定限制，并且基于上述第I视点的位置以及姿势和上述第2视点的位置以及姿势之间的关系，在显示在上述第2图像内的上述第I图像从上述第2图像的范围偏移规定比例以上的情况下解除上述限制。
[0015]在上述图像处理装置中，以配置于上述实际空间的物体的位置以及姿势为基准来设定上述第2视点的位置以及姿势。
[0016]在上述图像处理装置中，在上述第I视点被包含在上述第2图像的范围内的情况下，上述图像处理部使表示上述第I视点的图标显示于上述第2图像。
[0017]在上述图像处理装置中，还具备:显示控制部，其控制终端装置的显示部来显示上述输出图像；和操作获取部，其获取基于针对上述显示部所显示的图像的用户操作的信息，在基于选择表示上述第I视点的图标的用户操作的信息已被获取的情况下，上述图像处理部使第I图像与上述第2图像一起或者代替上述第2图像作为上述输出图像来加以提供。
[0018]在上述图像处理装置中，上述图像处理部将上述实际空间中的位置以及姿势彼此不同的多个视点中的任意一个视点作为上述第2视点来生成上述第2图像，并且在上述多个视点中的其它视点被包含在上述第2图像的范围内的情况下，使表示上述其它视点的图标显示于上述第2图像。
[0019]在上述图像处理装置中，还具备:显示控制部，其控制终端装置的显示部来显示上述输出图像；和操作获取部，其获取基于针对上述显示部所显示的图像的用户操作的信息，在基于选择表示上述其它视点的图标的用户操作的信息已被获取的情况下，上述图像处理部将与上述选择出的图标对应的上述其它视点作为上述第2视点来生成上述第2图像，将新生成的上述第2图像和原来的上述第2图像一起或者代替原来的上述第2图像作为上述输出图像来加以提供。
[0020]在上述图像处理装置中，上述图像处理部基于上述第I视点的位置以及姿势和上述第2视点的位置以及姿势之间的关系，使变形了的上述第I图像显示在上述第2图像内。
[0021]在上述图像处理装置中，上述图像处理部基于连续地拍摄的上述第I图像连续地生成上述第2图像，使最新的上述第I图像显示在上述第2图像内，并且基于过去的上述第I图像来生成上述第2图像中的上述最新的第I图像以外的部分。
[0022]在上述图像处理装置中，上述图像处理部通过上述最新的第I图像和上述过去的第I图像之间或者上述过去的第I图像彼此之间的拼接，来生成上述第2图像中的上述最新的第I图像以外的部分。
[0023]在上述图像处理装置中，上述图像处理部将从上述实际空间中的位置以及姿势彼此不同的多个上述第I视点拍摄上述实际空间得到的多个上述第I图像作为输入图像来生成上述输出图像，并且基于上述多个第I视点各自的位置以及姿势和上述第I视点的位置以及姿势之间的关系来使变形的上述多个第I图像显示在上述第2图像内。
[0024]根据本申请的一个方面，提供了一种终端装置，包括:拍摄部，从第I视点拍摄实际空间以生成拍摄图像；通信部，将所述拍摄图像发送给服务器，并且从所述服务器接收输出图像，其中，所述输出图像为所述服务器基于所述第I视点在所述实际空间中的位置以及姿势，生成的从在所述实际空间中具有与所述第I视点不同的位置以及姿势的第2视点虚拟地拍摄所述实际空间得到的第2图像；以及显示部，显示从所述服务器接收的所述输出图像。
[0025]如以上说明那样，根据本实用新型，能够使利用了 AR技术的用户间的交互更为顺利。
【附图说明】
[0026]图1是表示本实用新型的一个实施方式的系统的概要构成的图。
[0027]图2是表示本实用新型的一个实施方式的装置的概要构成的图。
[0028]图3A是表示本实用新型的一个实施方式中的拍摄图像的共享的例子的图。
[0029]图3B是表示本实用新型的一个实施方式中的注解输入的例子的图。
[0030]图4是表示本实用新型的一个实施方式中的拍摄图像的共享的其它例子的图。
[0031]图5A是表示在本实用新型的一个实施方式中能够利用的技术的处理的例子的流程图。
[0032]图5B是表示在本实用新型的一个实施方式中能够利用的技术的处理的其它的例子的流程图。
[0033]图6是表示本实用新型的一个实施方式中的I人称图像的显示例的图。
[0034]图7是表示本实用新型的一个实施方式中的3人称图像的显示例的图。
[0035]图8是表示本实用新型的一个实施方式中的3人称图像的显示例的图。
[0036]图9是表示本实用新型的一个实施方式中的3人称图像的显示例的图。
[0037]图1OA是表示本实用新型的一个实施方式中的1.3人称图像的显示例的图。
[0038]图1OB是用于说明本实用新型的一个实施方式中的1.3人称图像的图。
[0039]图1OC是用于说明本实用新型的一个实施方式中的1.3人称图像的图。
[0040]图1OD是用于说明本实用新型的一个实施方式中的1.3人称图像以及3人称图像的例子的图。
[0041]图1OE是用于说明本实用新型的一个实施方式中的1.3人称图像以及3人称图像的例子的图。
[0042]图1OF是用于说明本实用新型的一个实施方式中的1.3人称图像以及3人称图像的例子的图。
[0043]图11是表示在本实用新型的一个实施方式中同时显示不同视点的图像的例子的图。
[0044]图12是表示在本实用新型的一个实施方式中同时显示不同视点的图像的例子的图。
[0045]图13是表示本实用新型的一个实施方式中的注解显示的第I例的图。
[0046]图14表示本实用新型的一个实施方式中的注解显示的第2例的图。
[0047]图15是表示本实用新型的一个实施方式中的注解显示的第3例的图。
[0048]图16是表示本实用新型的一个实施方式中的注解显示的第4例的图。
[0049]图17是表示本实用新型的一个实施方式中的注解显示的第5例的图。
[0050]图18是表示本实用新型的一个实施方式中的注解显示的第6例的图。
[0051]图19是用于说明本实用新型的一个实施方式中的注解的配置的图。
[0052]图20是表示本实用新型的一个实施方式中的注解的配置的选择的例子的图。
[0053]图21是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第I例的图。
[0054]图22是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第I例的图。
[0055]图23是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第I例的图。
[0056]图24是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第2例的图。
[0057]图25是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第2例的图。
[0058]图26是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第3例的图。
[0059]图27是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第3例的图。
[0060]图28是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第4例的图。
[0061]图29是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第5例的图。
[0062]图30是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的第6的例的图。
[0063]图31是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的应用例的图。
[0064]图32是表示本实用新型的一个实施方式中的处于可视认范围外的注解的显示的应用例的图。
[0065]图33是表示本实用新型的一个实施方式中的利用了边缘检测的注解对象物体的显示例的图。
[0066]图34是表示本实用新型的一个实施方式中的流帧的回滚(rollback)显示的例子的图。
[0067]图35是表示本实用新型的一个实施方式中的流帧的回滚显示的例子的图。
[0068]图36是表示利用本实用新型的一个实施方式的技术来共享旅行者的视点的应用的例子的图。
[0069]图37是表示利用本实用新型的一个实施方式的技术来共享登山者的视点的应用的例子的图。
[0070]图38是表示利用本实用新型的一个实施方式的技术来共享烹饪的人的视点的应用的例子的图。
[0071]图39是表示利用本实用新型的一个实施方式的技术来共享购物的人的视点的应用的例子的图。
[0072]图40是表示利用本实用新型的一个实施方式的技术来共享工作的人的视点的应用的例子的图。
[0073]图41是表示利用本实用新型的一个实施方式的技术来切换多个用户的视点进行共享的应用的例子的图。
[0074]图42是表示利用本实用新型的一个实施方式的技术来切换多个用户的视点进行共享的应用的例子的图。
[0075]图43是表示利用本实用新型的一个实施方式的技术来切换多个用户的视点进行共享的应用的例子的图。
[0076]图44是表示利用本实用新型的一个实施方式的技术来切换多个用户的视点进行共享的应用的例子的图。
[0077]附图标记说明
[0078]10…系统；100…服务器；200、300、400、500、600、700…客户端;900…装置;910…处理器；920…存储器;930…显示部;940…操作部；950…通信部;960…拍摄部;970…传感器。
【具体实施方式】
[0079]以下，参照附图对本实用新型的优选实施方式进行详细说明。此外，在本说明书以及附图中，对具有实质相同功能构成的构成要素标注相同的附图标记，从而省略重复说明。
[0080]此外，按照以下的顺序进行说明。
[0081]1.系统以及装置的构成
[0082]I — 1.系统构成
[0083]I — 2.装置构成
[0084]2.实际空间图像的共享以及交互
[0085]2-1.交互的概念
[0086]2 — 2.能够利用的技术
[0087]3.可变视点图像的显示的例子
[0088]4.注解在实际空间的显示
[0089]4—1.显示例
[0090]4-2.注解的配置
[0091]5.处于可视认范围外的注解的显示
[0092]6.其它的显示例
[0093]7.应用的例子
[0094]8.补充
[0095]1.系统以及装置的构成
[0096]1 — 1.系统构成
[0097]图1是表示本实用新型的一个实施方式的系统的概要构成的图。参照图1，系统10具有服务器100和客户端200?700。
[0098]服务器100是单一的服务器装置或者是由通过有线或者无线的各种网络连接而协作的多个服务器装置实现的功能的集合体，向客户端200?700提供服务。
[0099]客户端200?700是通过有线或者无线的各种网络与服务器100连接的终端装置。客户端200?700在系统10中实现以下(I)?⑶的至少其中任一个功能。
[0100](I)具有照相机等拍摄单元，并将实际空间的图像提供给服务器100的装置。
[0101](2)具有显示器等显示单元和触摸面板等操作单元，从服务器100获取由(I)的装置提供的图像，供用户阅览，并且受理用户对图像的注解输入的装置。
[0102](3)具有显示器等显示单元，并使通过(2)的装置受理了输入的注解直接或者间接地显示于实际空间的装置。
[0103]客户端200是可穿戴终端(以下，也仅称可穿戴终端200)。可穿戴终端200例如具有拍摄单元或者显示单元的其中任一方或者两方，作为上述(I)或者(3)的其中任一方或者两方的装置发挥功能。在图示的例子中，可穿戴终端200是眼镜型终端，但是能够佩戴于用户身体的形状即可，并不局限于该例。在作为上述(I)的装置发挥功能的情况下，可穿戴终端200例如具有设置在眼镜框架部分的照相机作为拍摄单元。通过该照相机，可穿戴终端200能够从靠近用户视点的位置获取实际空间的图像。将获取的图像发送给服务器100。另外，在作为上述(3)的装置发挥功能的情况下，可穿戴终端200例如具有设置在眼镜镜片部分的一部分或者全部的显示器作为显示单元。可穿戴终端200使该显示器显示通过上述照相机拍摄得到的图像，并且使通过上述(2)的装置输入的注解重叠显示于该图像。或者，在显示器为透射式的情况下，可穿戴终端200也可以将注解以透过的方式重叠显示于用户直接视认的实际世界的像。
[0104]客户端300是平板终端(以下也仅称平板终端300)。平板终端300至少具有显示单元以及操作单元，例如可以作为上述(2)的装置发挥功能。平板终端300还可以具有拍摄单元，作为上述的(I)或者(3)的其中一方或者两方的装置发挥功能。换句话说，平板终端300作为上述的(I)?(3)的装置中的任意装置发挥功能。在作为上述(2)的装置发挥功能的情况下，平板终端300例如具有显示器作为显示单元，具有显示器上的触摸传感器作为操作单元，显示从上述(I)的装置经由服务器100提供的图像，并且受理用户对该图像的注解输入。将受理的注解输入经由服务器100提供给上述(3)的装置。在作为上述(I)的装置发挥功能的情况下，平板终端300例如与上述的可穿戴终端200相同，具有照相机作为拍摄单元，通过用户将平板终端300举在实际空间，能够获取处于用户视线延长线上的实际空间的图像。将获取的图像发送给服务器100。在作为上述(3)的装置发挥功能的情况下，平板终端300使通过上述照相机拍摄得到的图像显示于显示器，并且使通过上述
(2)的装置(例如其它平板终端等)输入的注解重叠显示于该图像。或者在显示器为透射式的情况下，平板终端300也可以使注解以透过的方式重叠显示于用户直接视认的实际世界的像。
[0105]客户端400是移动电话(智能电话)(以下也仅称移动电话400)。此外，由于系统10中的移动电话400的功能与平板终端300相同，所以省略详细的说明。此外，虽未图示，例如若便携式游戏机、数码照相机这样的装置也具有通信单元、和显示单元、操作单元或者拍摄单元，则在系统10中也与平板终端300、移动电话400同样地发挥功能。
[0106]客户端500是膝上型PC (Personal Computer:个人计算机)(以下也仅称膝上型PC500) ο膝上型PC500具有显示单元以及操作单元，作为上述(2)的装置发挥功能。在图示的例子中，由于基本以固定的方式使用膝上型PC500，所以