信息处理设备、信息处理方法和程序的制作方法

信息处理设备、信息处理方法和程序的制作方法
【专利摘要】本发明实现用于在由显示单元显示的拍摄的相机图像上叠加地显示随时间调整显示位置和角度的虚拟图像的配置。本发明具有成像单元、用于显示由成像单元拍摄的图像的显示单元、以及用于在由显示单元显示的拍摄的图像上叠加地显示虚拟图像的数据处理单元。数据处理单元在拍摄的图像上叠加地显示按时间顺序调整显示位置和显示角度的虚拟图像视频。数据处理单元获得下列参数作为与虚拟图像内容的帧对应的元数据：当确定虚拟图像的显示位置时应用的相对位置参数(Rpos)；以及当确定虚拟图像的显示角度时应用的相对角度参数(Rrot)。数据处理单元还应用所获得的参数，并且生成和叠加地显示按时间顺序调整显示位置或显示角度的虚拟图像。
【专利说明】信息处理设备、信息处理方法和程序

【技术领域】
[0001]本公开涉及一种信息处理设备、信息处理方法和程序。具体地，本公开涉及一种执行增强现实(AR)显示的信息处理设备、信息处理方法和程序。

【背景技术】
[0002]例如，其中除了拍摄的图像之外的虚拟图像被叠加在相机的拍摄图像上的图像被称为增强现实(AR)图像，并且最近在各种领域中使用该图像。
[0003]具体地，近年来，例如具有相机功能和显示及通信功能的智能电话的便携式终端已普及，并且将AR图像应用于这种智能电话的应用已广泛使用。
[0004]作为AR图像的使用的一个示例,存在下列示例。
[0005]例如，使用例如智能电话的便携式终端的相机功能拍摄人的海报(poster)，并且将其显示在智能电话的显示部件上。
[0006]智能电话的数据处理部件识别拍摄的海报或设置到海报的标记并且从存储部件或外部服务器获取与移动到海报的人对应的图像数据。
[0007]此外，所获取的图像被叠加地显示在拍摄图像上。这种处理使得可以显示和观察图像以使得人从海报弹出。
[0008]顺便一提，作为公开AR图像的生成和显示处理的相关领域的示例，存在专利文献KJP 2012-58838A)。
[0009]此外，通过随时间推移放大从海报弹出的人的图像，可以显示AR图像，使得人接近持有智能电话的用户侧。
[0010]例如，当相机在斜向方向上拍摄海报时，在海报上印出的人作为在斜向方向上观看的图像被显示在拍摄图像上。为了生成自然的AR图像以使得在斜向方向上观看的人从海报弹出，要叠加的图像还需要是就像海报一样的在斜向方向上观看的人的图像。
[0011]然而，如果在斜向方向上观看的人的图像被生成为随着时间推移接近用户侧的图像，则其变为不自然的图像，因为在斜向方向上观看的人接近用户侧，同时保持取向不变。
[0012]引用列表
[0013]专利文献
[0014]专利文献I JP 2012-58838A


【发明内容】

[0015]技术问题
[0016]本公开是鉴于例如上述问题做出的，并且提供信息处理设备、信息处理方法和程序。根据本公开，在由用户持有的便携式终端的相机拍摄且在显示部件上显示的拍摄图像上叠加地显示虚拟图像的配置中，例如，通过执行根据时间改变例如人的虚拟图像的位置或角度的控制，可以显示更自然的AR图像。
[0017]问题的解决方案
[0018]根据本公开的第一方面，提供一种信息处理设备，包括:
[0019]获取部件，其被配置为获取由成像部件拍摄的拍摄图像；以及
[0020]数据处理部件，其被配置为在显示部件中的拍摄图像上叠加地显示通过改变输入图像而生成的虚拟图像，
[0021]其中数据处理部件在显示部件上显示通过按时间顺序改变虚拟地设置的成像部件和输入图像的相对位置和相对角度中的一个而生成的虚拟图像。
[0022]根据本公开的实施例，数据处理部件通过执行应用与虚拟图像的移动图像内容的每一个帧相关联地设置的元数据的图像转换处理，生成显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像。
[0023]根据本公开的实施例，数据处理部件获取包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数，作为与虚拟图像的移动图像内容的每一个帧相关联地设置的元数据，应用所获取的参数，生成显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像，以及在拍摄图像上叠加地显示虚拟图像。
[0024]根据本公开的实施例，数据处理部件计算将与虚拟图像的初始图像对应的模型视图矩阵Mmarker变换为与虚拟图像的最后图像对应的模型视图矩阵Mdisplay的变换参数，将作为与每一个虚拟图像帧对应地设置的元数据的相对位置参数Rpos或相对角度参数Rrot与所计算的变换参数相乘，计算要应用于每一个虚拟图像帧的转换处理的偏移信息，执行应用所计算的偏移信息的虚拟图像帧的转换处理，以及生成显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像的移动图像。
[0025]根据本公开的实施例，相对位置参数Rpos和相对角度参数Rrot中的每一个是从虚拟图像的初始图像到最后图像的每一个移动图像帧中在O到I的范围中依序改变的值。
[0026]根据本公开的实施例，数据处理部件在拍摄图像上叠加地显示虚拟图像的处理时，对虚拟图像和拍摄图像之间的边界部分的虚拟图像执行模糊处理。
[0027]根据本公开的实施例，数据处理部件执行生成虚拟图像的移动图像内容的处理，关于在生成虚拟图像的移动图像内容的处理时构成虚拟图像的移动图像内容的帧，计算包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
[0028]根据本公开的实施例，数据处理部件根据移动图像内容的每一个移动图像帧中的虚拟图像的被摄体(subject)距离，将相对位置参数Rpos和相对角度参数Rrot的值设置在O到I的范围中。
[0029]根据本公开的实施例，数据处理部件将关于从虚拟图像的初始图像到最后图像的每一个移动图像帧在O到I的范围中依序改变的值设置为相对位置参数Rpos和相对角度参数Rrot的值。
[0030]根据本公开的实施例，数据处理部件以根据模式设置的不同方式，关于构成虚拟图像的每一个移动图像帧而设置相对位置参数Rpos和相对角度参数Rrot的值。
[0031]根据本公开的实施例，数据处理部件在生成虚拟图像的移动图像内容的处理时，向显示部件输出指示预先设置的可允许范围的角度和距离的限制信息，并且生成在可允许范围的角度和距离内包括虚拟对象(object)的虚拟图像的移动图像内容。
[0032]根据本公开的第二方面，提供一种信息处理设备，包括:
[0033]成像部件，其被配置为执行图像拍摄；以及
[0034]数据处理部件，其被配置为基于成像部件的拍摄图像生成虚拟图像的移动图像内容，
[0035]其中数据处理部件关于在生成虚拟图像的移动图像内容的处理时构成虚拟图像的移动图像内容的帧，计算包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
[0036]根据本公开的实施例，数据处理部件根据移动图像内容的每一个移动图像帧中的虚拟图像的被摄体距离，将相对位置参数Rpos和相对角度参数Rrot的值设置在O到I的范围中。
[0037]根据本公开的第三方面，提供一种信息处理设备，包括:
[0038]成像部件，其被配置为执行图像拍摄；
[0039]显示部件，其被配置为显示成像部件的拍摄图像；以及
[0040]数据处理部件，其被配置为在显示部件上显示的拍摄图像上叠加地显示虚拟图像，
[0041]其中数据处理部件从服务器获取显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像的移动图像，并且在拍摄图像上叠加地显示所获取的虚拟图像。
[0042]根据本公开的第四方面，提供一种由信息处理设备执行的信息处理方法，
[0043]其中信息处理设备包括被配置为获取由成像部件拍摄的拍摄图像的获取部件，以及被配置为在显示部件上叠加地显示通过改变输入图像而生成的虚拟图像的数据处理部件，以及
[0044]其中数据处理部件在显示部件上显示通过按时间顺序改变虚拟地设置的成像部件和输入图像的相对位置和相对角度中的一个而生成的虚拟图像。
[0045]根据本公开的第五方面，提供一种由信息处理设备执行的信息处理方法，
[0046]其中信息处理设备包括被配置为执行图像拍摄的成像部件，以及被配置为基于成像部件的拍摄图像生成虚拟图像的移动图像内容的数据处理部件，以及
[0047]其中数据处理部件关于在生成虚拟图像的移动图像内容的处理时构成虚拟图像的移动图像内容的帧，计算包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
[0048]根据本公开的第六方面，提供一种用于使得信息处理设备执行信息处理的程序，
[0049]其中信息处理设备包括:
[0050]获取部件，其被配置为获取由成像部件拍摄的拍摄图像；以及
[0051]数据处理部件，其被配置为在显示部件的拍摄图像上叠加地显示通过改变输入图像而生成的虚拟图像，以及
[0052]其中所述程序使得数据处理部件在显示部件上显示通过按时间顺序改变虚拟地设置的成像部件和输入图像的相对位置和相对角度中的一个而生成的虚拟图像。
[0053]根据本公开的第七方面，提供一种用于使得信息处理设备执行信息处理的程序，
[0054]其中信息处理设备包括被配置为执行图像拍摄的成像部件，以及被配置为基于成像部件的拍摄图像生成虚拟图像的移动图像内容的数据处理部件，
[0055]其中所述程序使得数据处理部件关于在生成虚拟图像的移动图像内容的处理时构成虚拟图像的移动图像内容的帧，计算包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
[0056]注意，根据本公开的程序是例如可以在对于能够执行各种程序代码的信息处理设备或计算机系统以计算机可读形式提供的存储介质或通信介质中提供的程序。以计算机可读形式提供该类型的程序使得可以根据信息处理设备或计算机系统中的程序实现处理。
[0057]稍后将通过基于本公开的实施例和附图的更详细的解释使本公开的目的、特征和优点变得清楚。此外，本说明书中的系统不限于逻辑上聚合(aggregate)全部被包含在相同外壳内的多个设备的配置。
[0058]本发明的有益效果
[0059]根据本公开的一个实施例的配置，显示位置或显示角度改变的虚拟图像可以随时间推移被叠加地显示在显示部件上显示的拍摄的相机图像上。
[0060]具体地，所述配置包括成像部件、被配置为显示成像部件的拍摄图像的显示部件、以及被配置为在显示部件上显示的拍摄图像上叠加地显示虚拟图像的数据处理部件。数据处理部件在拍摄图像上叠加地显示显示位置和显示角度按时间顺序改变的虚拟图像的移动图像。数据处理部件获取参数，即，要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot，作为与虚拟图像内容的帧对应的元数据，应用所获取的参数，以及生成和叠加地显示显示位置和显示角度按时间顺序改变的虚拟图像。
[0061]根据这种配置，显示位置或显示角度已经随时间推移而改变的虚拟图像可以叠加地显示在所拍摄的相机图像上。

【专利附图】

【附图说明】
[0062]图1是描述本公开的处理的概述的图。
[0063]图2是示出描述本公开的内容生成处理的序列的流程图的图。
[0064]图3是示出描述本公开的内容显示处理的序列的流程图的图。
[0065]图4是描述要叠加地显示的虚拟图像的显示角度控制的图。
[0066]图5是描述要叠加地显示的虚拟图像的显示角度控制的图。
[0067]图6是描述要叠加地显示的虚拟图像的显示角度控制的图。
[0068]图7是描述信息处理设备的配置示例的图。
[0069]图8是描述在虚拟图像内容的生成时的限制的配置的图。
[0070]图9是描述用于实现在虚拟图像内容的生成时的限制的配置的描述信息和图标的显示示例的图。
[0071]图10是描述自适应掩蔽(masking)处理的具体示例的图。
[0072]图11是示出描述自适应掩蔽处理的序列的流程图的图。
[0073]图12是描述执行自适应掩蔽处理的信息处理设备的配置示例的图。
[0074]图13是描述执行对象裁剪处理的信息处理设备的配置示例的图。

【具体实施方式】
[0075]在下文中，将参考附图详细描述根据本公开的信息处理设备、信息处理方法和程序。注意，将按下列顺序提供描述。
[0076]1.本公开的处理的概述
[0077]2.本公开的第一实施例
[0078]2-1.生成虚拟图像的移动图像内容的处理
[0079]2-2.在拍摄图像上叠加地显示虚拟图像的移动图像内容的处理
[0080]3.信息处理设备的配置示例
[0081]4.修改
[0082]4-1.在虚拟图像内容的生成时设置对被摄体的位置的限制的实施例
[0083]4-2.在虚拟图像显示处理时执行图像边缘处理的实施例
[0084]4-3.对多个虚拟图像执行处理的实施例
[0085]4-4.在网络连接的服务器中执行部分处理的处理示例
[0086]5.本公开的配置的总结
[0087][1.本公开的处理的概述]
[0088]首先，将参考图1描述本公开的处理的概述。
[0089]图1示出下列两个AR图像的显示处理示例。
[0090]⑷不具有角度控制的虚拟图像显示处理
[0091](B)具有角度控制的虚拟图像显示处理
[0092]两者都是其中用户通过使用例如具有相机功能的智能手机的便携式终端拍摄在其上印有人的海报11的图，并且拍摄的相机图像15随着时间推移(to到t4)被显示在便携式终端的显示部件上。
[0093]在(A)和⑶两者中，虚拟图像、不是拍摄图像，被叠加地显示在拍摄图像上。
[0094]虚拟图像是例如与印在海报11上的人相同的真人的二维图像数据，并且是例如存储在例如智能电话的便携式终端的存储部件中的图像数据、或通过网络从服务器提供的图像数据。
[0095]用户在斜向方向上拍摄海报11。在图1(A)中示出的不具有角度控制的虚拟图像显示处理中，为了显示图像以使得人从斜向拍摄的海报中弹出，要叠加显示的虚拟图像21也是就像海报一样的在斜向方向上观看的人的图像。
[0096]其后，执行应用了在斜向方向上观看的图像的移动图像显示处理，以显示图像，使得人随着时间推移(t0到t4)接近用户侧。
[0097]然而，尽管接近相机，但是图1(A)中示出的时间(t3)或(t4)的虚拟图像21仍然是其中从斜向方向观看人的图像。因此，虚拟图像21在接近用户时被辨识为不自然的图像。因此，显然，虚拟图像21将被辨识为与拍摄图像分开粘贴的图像。这是通过直接应用在与时间(to)的初始图像相同的拍摄方向上拍摄的图像而引起的。
[0098]相反，图1(B)的具有角度控制的虚拟图像显示处理是应用了下文将描述的本公开的处理的虚拟图像的显示处理示例。
[0099]在图1 (B)中示出的示例中，相对于图1(A)，虚拟图像31的显示角度随着时间推移(tl — t4)从斜向方向改变为正向方向。
[0100]这种虚拟图像的角度控制使得可以提供其中从海报弹出的人更自然地接近用户的图像。
[0101]在图1(B)中示出的示例中，通过根据例如虚拟图像的距离执行角度控制，对在与时间(to)的初始图像相同的拍摄方向上拍摄的图像执行改变虚拟图像的方向等的处理。由于该处理，可以显示更自然的虚拟图像。
[0102]在下文中，将详细描述实现这种图像显示的本公开的处理。
[0103]为了执行如图1(B)中示出的图像显示，例如，相机的相对位置和角度(的比例)被设置为对于构成虚拟图像的移动图像内容的各个帧的元数据。
[0104]该元数据被设置为与要被显示为虚拟图像的对象(诸如，例如人的对象)的距离信息对应的数据。
[0105]顺便一提，例如，距离信息可以使用以像素为单位设置距相机的被摄体距离的深度图。通过使用由复眼相机拍摄的数据的处理、或通过与相机分开地使用获取距离信息(深度)的设备，可以预先生成深度图。
[0106]此外，即使当不存在深度图时，如果经受距离测量的对象是人，则也可以通过使用面部检测根据面部的大小确定距离。
[0107]此外，用户或操作者可以手动设置距离信息。
[0108]顺便一提，虽然在下列实施例中进行了详细描述，但是可以执行各种设置作为例如如图1(B)中示出的从海报弹出的人的角度控制处理的模式。
[0109]例如，在被显示为虚拟图像的人随着时间推移接近相机或远离相机之后，可以执行控制以使得虚拟图像和相机之间的角度被设置为恒定的，例如一直是正向方向。
[0110]顺便一提，执行图像拍摄和显示的设备不限于智能电话，并且可以通过例如PC或眼镜型AR眼镜的各种信息处理设备实现。
[0111]通过应用本公开的处理，在例如智能电话或AR眼镜的信息处理设备上显示的例如拍摄的相机图像的基础图像上叠加地显示例如人的虚拟图像的配置中，可以显示更自然的虚拟图像。
[0112]具体地，通过随时间推移改变显示位置或显示角度，可以显示更自然的虚拟图像，即，可以显示图像以使得虚拟图像存在在作为叠加目标的例如拍摄图像的基础图像上。
[0113]顺便一提，当虚拟图像是例如真人图像时，最大化除了人之外的像素部分的渗透率(permeability),并且具有被称为例如将人区域的渗透率设置为O的渗透率信息或掩蔽信息的像素单位的α通道信息的图像数据可以用作要叠加的虚拟图像。通过在拍摄图像上叠加具有这种α通道信息的内容，仅被包括在虚拟图像中的人区域被叠加在客户端的拍摄图像上，并且拍摄图像被直接显示在除了人之外的图像区域上。
[0114][2.本公开的第一实施例]
[0115]将描述本公开的第一实施例。
[0116]需要下列两个处理用于实现如上面参考图1(B)描述的在拍摄的相机图像上叠加地显示虚拟图像的处理。
[0117](a)生成虚拟图像的移动图像内容的处理
[0118](b)在拍摄图像上叠加地显示在处理(a)中生成的虚拟图像的移动图像内容
[0119]在下文中，将依序描述这种处理。
[0120][2-1.生成虚拟图像的移动图像内容的处理]
[0121]首先，将参考图2中示出的流程描述生成用于显示图1(B)中示出的虚拟图像31的虚拟图像的移动图像内容的处理的序列。
[0122]顺便一提，例如，生成移动图像内容的处理可以在例如智能电话的信息处理设备中执行、或可以在例如PC的其他信息处理设备中执行。
[0123]顺便一提，根据存储在信息处理设备的存储部件中的程序，在数据处理部件(即，具有带有程序执行功能的CPU等的数据处理部件)的控制之下执行流程中示出的处理。
[0124]在下文中，将依序描述各个步骤的处理的细节。
[0125](步骤S101)
[0126]首先，信息处理设备的数据处理部件允许用户通过输入部件输入模式设置信息，并且确定如何指示(direct) “弹出效果”。作为设值模式的示例，存在下列两种类型。
[0127](I)简单模式
[0128]简单模式是简单地根据虚拟图像和相机(信息处理设备)之间的距离确定与经受相机叠加显示的虚拟图像形成的角度和位置的模式。
[0129](2)恒定模式
[0130]恒定模式是在从作为是拍摄图像的基础图像的拍摄对象的海报等弹出虚拟图像之后，执行将与相机形成的角度设置为恒定(例如正向方向)的处理的模式。
[0131]顺便一提，这种模式可以被设置为二选一(either-or)模式，但是还可以被配置为被设置为简单模式和恒定模式之间的模式。
[0132]此外，可以进行配置以使得由用户通过输入部件输入与相机形成的角度改变的速度作为参数，并且数据处理部件根据输入参数执行控制。
[0133](步骤SlO2)
[0134]然后，在步骤S102中，执行通过应用信息处理设备的成像部件(部件)获取相机图像的处理。这是获取由例如要被显示为虚拟图像的人组成的拍摄图像的处理。例如，在具有绿色背景(greenback)设备的工作室中拍摄的人。
[0135](步骤SlO3)
[0136]然后，在步骤S103中，计算与作为要被显示为虚拟图像的被摄体的人的对象的距离。
[0137]顺便一提，作为获取被摄体距离信息的方法，可以应用各种方法。
[0138]具体地，例如，可以应用下列方法。
[0139](a)如在使用复眼相机或Kinect的立体版本中，通过利用近红外相机的组合获取距离而生成深度图。已经使用生成的深度图进行了图像处理的裁剪对象的区域中的平均深度被设置为距离。
[0140](b)当要被显示为虚拟图像的被摄体对象是人时，通过使用面部检测或人体检测，根据大小估计距离。
[0141](C)根据已经进行了图像处理的裁剪对象的区域面积的大小估计距离。
[0142](步骤S104)
[0143]随后，在步骤S104中，信息处理设备设置要被显示为虚拟图像的例如人的对象的相对位置和角度，作为与构成虚拟图像的移动图像内容的各个帧对应的元数据(属性信息)。
[0144]在下文中，将描述元数据设置处理的详细算法。
[0145]顺便一提，元数据设置处理根据上面描述的模式而不同。
[0146]即，在“简单模式”和“恒定模式”中，处理是不同的。
[0147]在下文中，将描述与各个模式对应的元数据设置处理算法。
[0148](关于简单模式中的元数据设置算法)
[0149]如上所述，简单模式是简单地根据虚拟图像和相机(信息处理设备)之间的距离确定经受相机叠加显示的虚拟图像的角度和位置的模式。
[0150]首先，定义下列变量。
[0151]在操作开始点的距离=Dstart
[0152]在处理时间的距离:Dproc
[0153]在移动图像序列的最小距离:Dmin
[0154]例如，在操作开始点的距离Dstart与在图1 (B)的示例中从相机到海报的距离对应。
[0155]在处理时间的距离Dproc与在图1⑶的示例中在时间(tO到t4)从相机到虚拟图像的距离对应。
[0156]在移动图像序列的最小距离Dmin与在图1(B)的示例中在时间(t4)从相机到虚拟图像的距离对应。
[0157]当Dstart〉= Dproc> = Dmin> = O 时，
[0158]如下定义相对位置参数Rpos和相对角度参数Rrot。
[0159]Rpos= (Dstart-Dproc) / (Dstart-Dmin)
[0160]Rrot = (Dstart-Dproc)/(Dstart-Dmin)
[0161]如从上面的公式可以看出，
[0162]相对位置参数:Rpos = O到I
[0163]相对角度参数:Rrot = O到I
[0164]可以获取这些值。
[0165]当在处理时间的距离Dproc等于在操作开始点(即，例如在图1⑶的设置的时间(tO))的距离Dstart时，
[0166]Rpos = O
[0167]Rrot = O
[0168]此外，当在处理时间的距离Dproc等于在移动图像序列(即，例如在图1⑶的设置的时间(t4))的最小距离Dmin时，
[0169]Rpos = I
[0170]Rrot = I
[0171]S卩，相对位置参数Rpos和相对角度参数Rrot两者均是从操作开始点到最小距离连续改变值O到I的参数。
[0172]在后面的部分中将描述应用这些参数的虚拟图像显示处理。
[0173]例如，
[0174]相对位置参数:Rpos = O
[0175]相对角度参数:Rrot = O
[0176]在这种参数设置中，如在图1(B)的时间(tO)中，执行叠加地显示与海报相同的虚拟图像的处理。
[0177]S卩，虚拟对象的位置和角度被设置为等于拍摄图像的海报。
[0178]此外，
[0179]相对位置参数:Rpos = I
[0180]相对角度参数:Rrot = I
[0181]在这种参数设置中，如在图1(B)的时间(t4)中，执行将虚拟图像定位于最靠近相机的预定位置并且在正向方向上显示虚拟图像的处理。
[0182]在后面的部分中将描述应用这些参数的虚拟图像显示处理。
[0183]顺便一提，参数定义公式，即，
[0184]相对位置参数:Rpos= (Dstart-Dproc) / (Dstart-Dmin)
[0185]相对角度参数:Rrot= (Dstart-Dproc) / (Dstart-Dmin)
[0186]这些参数定义公式是示例，并且可以进行各种修改。
[0187]例如，通过引入与相机形成的角度等于O的距离阈值Dlim，可以根据下列算法设置参数。
[0188]相对位置参数:Rpos= (Dstart-Dproc) / (Dstart-Dmin)
[0189]If Dproc<Dlim Then
[0190]Rrot =1.0
[0191]Else
[0192]Rrot = (Dstart-Dproc)/(Dstart-Dlim)
[0193]Endif
[0194]上面的参数设置算法是在虚拟图像对象在到达最小位置(Dmin)之前已到达预定距离(Dlim)的条件下，执行将在虚拟图像对象和相机之间形成的角度设置为0( S卩，将人设置为在正向方向上的虚拟图像)的处理的算法。
[0195]顺便一提，这种算法设置处理可以通过例如模式设置或经由信息处理设备的输入部件输入的参数来执行。
[0196]在简单模式中，相对位置参数Rpos和相对角度参数Rrot被依序设置为对于按时间顺序构成虚拟图像的移动图像内容的帧的元数据。
[0197]例如，当移动图像内容为由帧O到1000组成的1000帧时，
[0198]相对位置参数:Rpos = O到I,
[0199]相对角度参数:Rrot = O到I,
[0200]这些参数被依序设置到按时间顺序构成虚拟图像的移动图像内容的帧。
[0201](关于在恒定模式中的元数据设置算法)
[0202]如上所述，恒定模式是在从作为是拍摄图像的基础图像的拍摄对象的海报等弹出虚拟图像之后，执行将与相机形成的角度设置为恒定的(例如正向方向)的处理的模式。
[0203]在恒定模式中，
[0204]在简单模式中定义的变量，SP，
[0205]在操作开始点的距离=Dstart
[0206]在处理时间的距离:Dproc
[0207]在移动图像序列的最小距离:Dmin
[0208]除了这些变量之外，
[0209]与相机形成的角度第一次为O的在距离阈值Dlim之下的时间Tlim，
[0210]处理时间Tproc,
[0211]这些变量被定义。
[0212]在恒定模式中，根据下列算法计算相对角度参数Rrot。
[0213]If Tproc> = Tlim Then
[0214]Rrot =1.0
[0215]Else
[0216]Rrot = (Dstart-Dproc) / (Dstart-Dlim)
[0217]Endif
[0218]顺便一提，相对位置参数Rpos可以如在简单模式中那样设置。
[0219]在上面的算法中，可以显示虚拟图像以使得“一旦弹出之后与相机形成的角度就总为O”。
[0220]在恒定模式中，相对位置参数Rpos和相对角度参数Rrot被依序设置为对于按时间顺序构成虚拟图像的移动图像内容的帧的元数据。
[0221]例如，当移动图像内容为由帧O到1000组成的1000帧时，
[0222]相对位置参数:Rpos = O到I,
[0223]相对角度参数:Rrot = O到I,
[0224]这些参数被依序设置到按时间顺序构成虚拟图像的移动图像内容的帧。
[0225](步骤S105)
[0226]随后，在步骤S105中，信息处理设备执行生成虚拟图像的移动图像内容的处理。
[0227]具体地，执行生成其中裁剪要叠加地显示的对象(例如仅仅人)的图像的处理。
[0228]例如，当虚拟图像是真人图像时，最大化除了人之外的像素部分的渗透率，并且生成具有被称为例如将人区域的渗透率设置为O的渗透率信息或掩蔽信息的像素单位的α通道信息的图像数据。通过在拍摄图像上叠加具有这种α通道信息的内容，仅被包括在虚拟图像中的人区域被叠加在客户端的拍摄图像上，并且拍摄图像被直接显示在除了人之外的图像区域上。
[0229](步骤SlO6)
[0230]随后，信息处理设备彼此关联地记录在步骤S104中生成的元数据和在步骤S105中生成的图像数据。例如，执行例如硬盘或闪存的介质中的记录的处理。
[0231](步骤SlO7)
[0232]最后，在步骤S107中，执打完成确定。
[0233]当在正在处理的移动图像序列中存在下一帧时，处理返回到步骤S102并且处理下一帧。当已经完成全部处理时，处理结束。
[0234][2-2.在拍摄图像上叠加地显示虚拟图像的移动图像内容的处理]
[0235]然后，将参考图3中示出的流程图描述显示由根据图2中示出的流程生成的由用于叠加显示的虚拟图像组成的移动图像内容的处理的序列。
[0236]顺便一提，在拍摄图像上叠加地显示虚拟图像的移动图像内容的处理通过例如智能电话的包括成像部件(相机)和显示部件的信息处理设备执行。顺便一提，此外，在包括成像部件(相机)和显示部件的任何配置中，例如，可以在例如PC或AR眼镜的各种设备中执行处理。
[0237]顺便一提，根据存储在信息处理设备的存储部件中的程序，在数据处理部件(即，具有带有程序执行功能的CPU等的数据处理部件)的控制之下执行流程中示出的处理。
[0238]在下文中，将依序描述各个步骤的处理的细节。
[0239](步骤S201)
[0240]首先，信息处理设备的数据处理部件通过信息处理设备的成像部件(相机)对图像执行图像拍摄，并且获取拍摄图像。
[0241]例如，拍摄图像是如图1(B)中示出的时间(tO)的图像。
[0242](步骤S2O2)
[0243]随后，在步骤S202中，信息处理设备确定在后续阶段中必要的用于计算相机的位置和角度息的息获取是否成功。
[0244]用于计算相机的位置和角度信息的信息示例是包括在拍摄图像中的标记。标记是二维条码，例如，诸如预先在图1中示出的海报11中印出的网络代码。当辨识出这种标记时，可以根据在相机图像上反映的标记的角度计算相机的位置或角度。
[0245]顺便一提，用于计算相机的位置和角度信息的信息不限于例如网络代码的标记，并且可以是例如海报或CD套的对象本身。
[0246]根据由信息处理设备执行的相机位置和角度计算处理算法，被用作用于计算相机的位置和角度信息的信息的信息是不同的，并且可以不同地设置应用信息。
[0247]例如，就像通过从由信息处理设备的相机拍摄的图像提取和跟踪特征点而辨识相机的三维位置一样，可以执行应用同时定位和映射(SLAM)技术的位置标识处理。顺便一提，将在例如由与本申请的 申请人:相同的 申请人:提交的JP 2011-43419A中描述应用SLAM的处理。
[0248]此外，作为用于计算相机的位置和角度信息的信息，可以应用被包括在信息处理设备中的传感器的信息。
[0249]这样，在步骤S202中，确定由信息处理设备执行的相机位置和角度信息的获取是否成功。
[0250]当并未获取信息时，确定随后的AR图像生成处理是不可能的，并且结束处理。
[0251]当获取信息时，处理前进到步骤S203。
[0252](步骤S2O3)
[0253]随后，在步骤S203中，信息处理设备通过应用在步骤S202中获取的信息，计算信息处理设备(相机)的当前位置和取向。
[0254](步骤S204)
[0255]随后，在步骤S204中，信息处理设备执行解码要叠加地显示的虚拟图像内容的处理。
[0256](步骤S2O5)
[0257]随后，在步骤S205中，信息处理设备通过使用在步骤S203中获取的相机位置和角度信息以及被设置为与虚拟图像内容的每一个图像帧对应的元数据的参数，执行生成要在信息处理设备的显示部件上显示的虚拟图像的处理。
[0258]顺便一提，被设置为虚拟图像内容的各个帧的元数据的参数是上面参考图2的流程而描述的下列参数。
[0259]相对位置参数:Rpos，
[0260]相对角度参数:Rrot
[0261]具体地，例如，当设置到虚拟图像帧的参数是如下设置的图像时:
[0262]Rpos = O
[0263]Rrot = O
[0264]虚拟图像被叠加在拍摄图像的标记中粘贴的位置和角度处。
[0265]例如，虚拟图像在相同位置和角度处被叠加地显示在图1B的时间(tO)的海报11的人上。
[0266]另一方面，例如，当设置到虚拟图像帧的参数是如下设置的图像时:
[0267]Rpos = I
[0268]Rrot = 2
[0269]虚拟图像被叠加在最靠近信息处理设备侧的位置处并且在正向方向上。
[0270]例如，叠加地显示与图1B的时间(t3)中示出的虚拟图像31对应的虚拟图像。
[0271]顺便一提，如上面参考图2的流程所述，虚拟图像内容是移动图像内容，并且下列参数被分开地设置到构成移动图像内容的各个帧。
[0272]相对位置参数:Rpos = O到I,
[0273]相对角度参数:Rrot = O到1，
[0274]信息处理设备对于虚拟图像内容的每一个图像帧获取与帧对应的两个或更多参数，并且计算每一个图像帧的虚拟图像的显示位置和显示角度。此外，对每一个图像帧的虚拟图像执行应用这些参数的图像转换处理，以生成具有与每一个图像帧对应的显示位置和显示角度的转换后的虚拟图像。通过转换处理生成的转换后的虚拟图像被叠加地显示。
[0275]在图像转换处理中，例如，关于虚拟图像内容的每一个图像帧包括下列处理。
[0276](a)旋转处理
[0277](b)缩放(scale)改变处理(放大、缩小)
[0278](c)并行转移(translat1n)处理
[0279]为了对虚拟图像内容的每一个图像帧执行上面的处理(a)到(C)，信息处理设备关于与各个图像帧对应的各个处理(a)到(C)计算处理参数。
[0280]按下列顺序计算处理参数。
[0281]首先，获取下列两个模型视图矩阵。
[0282](A)初始状态模型视图矩阵(Mmarker)
[0283]与作为虚拟图像内容的初始状态的虚拟图像(例如，图1(B)中示出的时间(tO)的海报11的人)相同的位置和角度的虚拟图像的模型视图矩阵=Mmarker
[0284](B)最终状态模型视图矩阵(Mdisplay)
[0285]作为是虚拟图像内容的最终状态的虚拟图像(例如，与图1(B)中示出的时间(t3)的信息处理设备(相机)最靠近并且在正向方向上指示的虚拟图像)、以及在显示器中标准化的虚拟图像的虚拟图像的模型视图矩阵:Mdi sp lay
[0286]从存储部件获取或基于每一个图像生成这些。
[0287]顺便一提，模型视图矩阵是指示模型(与在图1中示出的示例中的人对应的虚拟图像)的位置和取向的矩阵，并且是将参考坐标系的三维坐标变换为相机坐标系的变换矩阵。
[0288]顺便一提，这些模型视图矩阵可以在参考图2的内容生成时计算并且存储在信息处理设备的存储部件中，并且可以在图3中示出的流程的步骤S205的处理时根据每一个图像计算。
[0289]随后，通过使用两个模型视图矩阵Mmarker和Mdisplay计算用于将矩阵Mmarker变换为矩阵Mdisplay的下列参数。
[0290]旋转轴:Vrot
[0291]旋转角度:Θ rot
[0292]缩放:Vscale
[0293]转移成分:Vtranslate
[0294]计算这些参数。
[0295]此外，通过使用与每一个图像帧对应地设置的元数据，即，参数
[0296]相对位置参数:Rpos = O到I
[0297]相对角度参数:Rrot = O到I
[0298]下列偏移信息被计算为对每一个图像帧的虚拟图像进行转换的参数。
[0299](I)旋转角度偏移:RrotX Θ rot
[0300](2)缩放偏移:Rpos XVscale
[0301](3)转移成分偏移:Rpos XVtranslate
[0302]例如，(I)根据被设置到虚拟图像内容的每一个图像帧的相对角度参数Rrot = O到I，将旋转角度偏移RrotX Θ rot设置为图4的图表中示出的值。
[0303]图4在水平轴上示出被设置到虚拟图像内容的每一个图像帧的相对角度参数Rrot = O到1，并且在垂直轴上示出与每一个图像对应地计算的旋转角度偏移RrotX Θ rot。
[0304]水平轴的相对角度参数Rrot = O到I是被设置到构成移动图像的各个图像帧(即，第O帧f (to)到最后帧f(tn)的各个帧)的参数。
[0305]在第O帧f (tO)，相对角度参数Rrot = O,并且
[0306]旋转角度偏移RrotX Θ rot = O。
[0307]S卩，在该情况下，不对虚拟图像内容的第O帧f (tO)的虚拟图像执行旋转处理，并且生成用于叠加显示的图像。
[0308]此外，在第η帧f(tn)，相对角度参数Rrot = 1，并且
[0309]旋转角度偏移RrotX Θ rot = Θ rot。
[0310]S卩，在该情况下，通过根据用于将初始状态模型视图矩阵(Mmarker)变换为最终状态模型视图矩阵(Mdisplay)的旋转角度Θ rot,对虚拟图像内容的第η巾贞f (tn)的虚拟图像执行旋转处理，而生成用于叠加显示的图像。
[0311]如在图4中示出的图表中，对于从第O帧f(t0)到第η帧f(tn)的各个帧，
[0312]根据被设置为与各个图像对应的元数据的相对角度参数Rrot = O到1，旋转角度偏移RrotX Θ rot从O到Θ rot依序改变。
[0313]S卩，在依序和逐渐旋转的同时显示各个虚拟图像帧的模型(例如，图1(B)中示出的虚拟图像31的人)。
[0314]图4中示出旋转角度偏移RrotX Θ rot的示例。
[0315]然而，对其他缩放偏移RposXVscale和其他转移成分偏移RposXVtranslate执行相同处理。根据作为缩放改变处理和转移处理被设置到每一个图像的元数据的下列参数，即，
[0316]相对位置参数:Rpos，
[0317]相对角度参数:Rrot
[0318]确定例如缩放偏移RposXVscale和转移成分偏移RposXVtranslate的偏移信肩、O
[0319]信息处理设备计算这种偏移信息，即，
[0320](I)旋转角度偏移RrotX Θ rot
[0321](2)缩放偏移:Rpos XVscale
[0322](3)转移成分偏移:Rpos XVtranslate
[0323]通过应用被设置为与每一个图像对应的元数据的相对位置参数Rpos = O到I和相对角度参数Rrot = O到I。信息处理设备通过应用所计算的偏移信息执行每一个图像的图像转换，并且生成要叠加地显示的转换后的虚拟图像。
[0324]顺便一提，例如，在图1(B)的示例中，要转换的虚拟图像的移动图像内容可以使用像时间(to)的初始图像一样的其中在斜向方向上拍摄海报的人的移动图像内容。通过随时间推移对在斜向方向上拍摄的图像执行不同的图像转换，可以随着图1(B)中示出的时间推移生成正向方向的虚拟图像的移动图像序列。
[0325]顺便一提，图4中示出的旋转角度偏移RrotX Θ rot的设置示例是当要被设置到每一个虚拟图像帧的相对角度参数Rrot根据图像帧的显示时间线性改变时的示例。
[0326]例如，如图5和6中所示，通过改变要被设置到每一个虚拟图像帧的相对角度参数Rrot的设置模式，旋转角度偏移RrotX Θ rot可以被设置为根据图像的进展逐渐减小或增大。这种处理可以根据图像帧的进展逐渐减小或增大图像的旋转角度。
[0327]可以对其他缩放偏移RposXVscale和其他转移成分偏移RposXVtranslate执行相同处理。
[0328](步骤S2O6)
[0329]随后，在步骤S206中，信息处理设备在信息处理设备的显示部件上显示的拍摄的相机图像上叠加在步骤S205中生成的虚拟图像内容。
[0330](步骤S2O7)
[0331]随后，在步骤S207中，信息处理设备输出其中在拍摄图像上叠加虚拟图像的AR图像，作为在信息处理设备的显示部件(显示器)上的最终结果。
[0332](步骤S208)
[0333]在步骤S208中，确定例如图像拍摄处理的完成或应用的完成的预定完成条件是否发生，并且当完成条件发生时结束非处理。当完成条件未发生时，处理返回步骤S201并且重复相同处理。
[0334]以该方式，例如，如参考图1(B)描述的，其中显示位置或显示角度依序改变的虚拟图像被叠加地显示在信息处理设备的显示部件上显示的拍摄图像上。
[0335][3.信息处理设备的配置示例]
[0336]图7示出执行上述处理的信息处理设备的配置示例。
[0337]信息处理设备包括执行参考图2的流程图描述的内容生成处理的内容生成部件120、存储例如在参考图2描述的内容生成处理中生成的内容和元数据的存储部件140、以及执行参考图3的流程图描述的内容显示处理的内容显示控制部件160。
[0338]内容生成部件120执行参考图2描述的内容生成处理。
[0339]将与图2的流程的各个步骤的处理关联地描述由内容生成部件120中示出的各个部件执行的处理。
[0340]内容生成部件120的成像部件(相机)121执行图2中示出的流程的步骤S102的相机图像拍摄处理。
[0341]距离估计部件122执行图2的流程的步骤S103的被摄体距离计算处理。
[0342]相对位置和角度计算部件124执行图2的流程的步骤S104的处理，即，将元数据设置到与构成要被显示为虚拟图像的移动图像的帧关联的各个图像。即，
[0343]相对位置参数:Rpos = O到I
[0344]相对角度参数:Rrot = O到I
[0345]各个参数被设置为与图像对应的元数据。
[0346]顺便一提，如以上在图2的流程的步骤S104的处理中所述，这些参数是与模式对应的参数。SP，
[0347]简单模式，
[0348]恒定模式，
[0349]根据模式设置参数。
[0350]根据通过输入部件123的用户输入设置这些模式。
[0351]通过相对位置和角度计算部件124计算的这些参数，即，
[0352]相对位置参数Rpos = O到I和相对角度参数Rrot = O到I被与各个图像关联地存储在存储部件140的元数据存储部件142中，作为与各个图像对应的元数据。
[0353]图像处理部件125在移动图像内容数据库141中存储由成像部件(相机)121获取的内容，即，虚拟图像的移动图像内容。
[0354]顺便一提，在图7中，移动图像内容数据库141和元数据存储部件142在存储部件140中被分开地示出，但是图像和元数据可以被存储在单个数据库中。在任何情况下，与每一个图像帧关联地记录元数据。
[0355]然后，将描述内容显示控制部件160的配置。
[0356]将与图3的流程的各个步骤的处理关联地描述由内容显示控制部件160中示出的各个部件执行的处理。
[0357]内容显示控制部件160的成像部件(相机)161执行图3中示出的流程的步骤S201的相机图像拍摄处理。
[0358]拍摄图像被输出和显示在显示部件167上。
[0359]图像辨识部件162和辨识确定部件163执行图3中示出的流程的步骤S202的处理，即，获取相机位置/取向计算信息的处理和获取是否可能的处理。具体地，例如，执行辨识被设置到例如图1中示出的海报的被摄体的标记的处理。
[0360]叠加虚拟图像生成部件165执行图3中示出的流程的步骤S205的处理，S卩，生成要在显示部件167上显示的虚拟图像的处理。
[0361]数据获取部件164获取存储在移动图像内容数据库141中的移动图像内容，获取存储在元数据存储部件142中的元数据，并且向叠加虚拟图像生成部件165输出移动图像内容和元数据。
[0362]顺便一提，当对内容进行编码和记录时，数据获取部件164解码内容并且向叠加虚拟图像生成部件165输出解码后的内容。
[0363]叠加虚拟图像生成部件165通过数据获取部件164输入虚拟图像的移动图像内容和与各个帧对应的元数据。
[0364]此外，叠加虚拟图像生成部件165从辨识确定部件163获取相机位置/取向信息。
[0365]叠加虚拟图像生成部件165执行上述图3的流程的步骤S205的处理。
[0366]S卩，通过使用被设置到每一个图像帧的元数据，S卩，参数
[0367]相对位置参数:Rpos = O到I,
[0368]相对角度参数:Rrot = O到1，
[0369]下列偏移信息被计算为转换每一个图像帧的虚拟图像的参数。
[0370](I)旋转角度偏移:RrotX Θ rot
[0371](2)缩放偏移:Rpos XVscale
[0372](3)转移成分偏移:Rpos XVtranslate
[0373]通过使用这种偏移信息，执行图像帧转换处理以生成要显示的转换后的虚拟图像。
[0374]移动图像叠加部件166执行图3中示出的流程的步骤S206和S207的处理，即，通过在显示部件167上显示的拍摄的相机图像上叠加虚拟图像而输出AR图像。
[0375]顺便一提，图7中示出的配置是示出信息处理设备的主要配置的图表。除了附图中示出的配置之外，信息处理设备包括例如具有CPU等的控制参考图2和3描述的处理的控制部件、或存储要由控制部件执行的程序的存储部件。
[0376]以该方式，虚拟图像被叠加地显示在客户端的显示部件上显示的拍摄图像上。
[0377][4.修改]
[0378]在下文中，将描述其中部分修改上述实施例的信息处理设备的配置和处理的修改。
[0379]将依序描述下列三种修改。
[0380](I)在生成虚拟图像内容时设置对被摄体的位置的限制的实施例
[0381](2)在虚拟图像显示处理时执行图像边缘处理的实施例
[0382](3)对多个虚拟图像执行处理的实施例
[0383](4)在网络连接服务器中执行部分处理的处理示例
[0384]在下文中，将依序描述这种处理。
[0385][4-1.在生成虚拟图像内容时设置对被摄体的位置的限制的实施例]
[0386]首先，将描述在生成虚拟图像内容时设置对被摄体的位置的限制的实施例。
[0387]本实施例是在根据上面描述的图2的流程图生成虚拟图像的移动图像内容时通过对要被叠加地显示为虚拟图像的被摄体(对象)的位置(即，相机的相对位置)设置限制而生成虚拟图像内容的实施例。
[0388]具体地，本实施例是如下实施例:在拍摄要被叠加地显示为虚拟图像的被摄体(对象)的情况下，可以事先限制相对于相机的被摄体位置，并且生成其中要被叠加地显示的被摄体(对象)在可允许的位置内被拍摄虚拟图像内容。
[0389]具体地，
[0390]关于被摄体相对于相机的拍摄角度，提供下列限制并且生成用于叠加显示的虚拟图像内容:
[0391]预先设置的预定垂直角度范围，
[0392]预先设置的预定水平角度，和
[0393]对于离相机的被摄体距离预先设置的预定距离范围。
[0394]图8 (a)是示出相机相对于被摄体的水平角度限制的设置示例的图。
[0395]图8(b)是示出相机相对于被摄体的垂直角度限制和被摄体与相机之间的距离限制的设置示例的图。
[0396]在以这种方式拍摄虚拟图像对象时，由于对拍摄角度和距离的限制而实现更自然的AR的表达。
[0397]顺便一提，关于垂直和水平角度限制和距离限制的信息的数据被链接到每一个图像。可替换地，信息的数据可以被链接到移动图像的每一个帧。
[0398]例如，当考虑例如人从海报的弹出的内容时，如果在水平方向上晃动相机，则这看上去是自然的，但是如果在垂直方向上晃动，则这看上去不自然，就像人在不可能的方向上弹出一样。通常，当考虑被称为粘贴在垂直墙上的海报的辨识对象时，难以假设大的垂直晃动。然而，在故障-安全(fail-safe)的意义上，在每一个移动图像内容中由例如“视角”的定义指定垂直限制角度。当在超过限制角度的状态中辨识出海报时，执行感应(induct1n)以正确地适配角度,并且AR移动图像内容的叠加从其开始。
[0399]此外，可允许角度和距离范围的设置取决于内容。例如，如果人在垂直方向上弹出，则这是不自然的，但是，在鸟的情况下，这是自然的。当鸟被拍摄为要叠加地显示的虚拟对象时,放松垂直限制。
[0400]在信息处理设备的存储部件中存储根据内容的类型的可允许角度或可允许距离的表。期望的是，如果必要，则内容制造者选择要拍摄的内容的类型，检查可允许角度和距离，并且拍摄图像。
[0401]顺便一提，取决于从根据内容的表中读取的可允许角度信息或可允许距离信息，信息处理设备显示关于当前拍摄的图像是否在显示拍摄图像的显示部件上的可允许范围内的信息，并且显示用于提示在可允许范围内的图像拍摄的指令图标或描述。
[0402]图9中示出指令图标和描述的显示示例。
[0403]图9 (al)到(a3)示出当相机和被摄体之间的最大可允许距离(Xmax)被设置为5m时，拍摄图像和图标的显示示例。
[0404](aI)到(a3)示出下列状态。
[0405](al)拍摄图像的被摄体距离(Xactual)为10m，并且显示用于把相机靠近被摄体的指令图标和指令信息。
[0406](a2)拍摄图像的被摄体距离(Xactual)为7m，并且显示用于把相机靠近被摄体的指令图标和指令信息。
[0407](a3)拍摄图像的被摄体距离(Xactual)为5m，并且与最大可允许距离(Xmax)匹配。因此，处于指令图标和指令信息的显示已经消失的状态。
[0408]图9(bl)到(b3)示出当相机和被摄体之间的最大可允许垂直角度(ctmax)被设置为15度时,拍摄图像和图标的显示示例。
[0409](bl)到(b3)示出下列状态。
[0410](bl)相机相对于拍摄图像的被摄体的垂直角度((^actual)为15度，并且用于指示相机的垂直角度在更垂直方向上的指令图标和指令信息。
[0411](b2)相机相对于拍摄图像的被摄体的垂直角度((^actual)为25度，并且用于指示相机的垂直角度在更垂直方向上的指令图标和指令信息。
[0412](b3)相机相对于拍摄图像的被摄体的垂直角度((^actual)为15度，并且与最大可允许角度(Φπι&Χ)匹配。因此，处于指令图标和指令信息的显示已经消失的状态。
[0413]因此，当拍摄虚拟图像内容时，显示指令信息，使得用户可以在可允许范围中拍摄内容。
[0414][4-2.在虚拟图像显示处理时执行图像边缘处理的实施例]
[0415]然后，将描述在虚拟图像显示处理时执行图像边缘处理的实施例。
[0416]本实施例是这样的实施例:在根据上面描述的图3的流程图显示虚拟图像的处理时，执行例如作为拍摄对象的边界区域的虚拟图像的边缘部分的边缘模糊的边缘处理(掩蔽处理)，以便执行相对于拍摄图像不具有违和感(discomfort)的虚拟图像的叠加显示。
[0417]本配置实现即使当在拍摄AR移动图像内容时要叠加的对象的一部分从视角偏离时，也以最小化的违和感示出图像的方式。
[0418]在虚拟图像的叠加显示时，例如，当要叠加的对象的一部分从视角偏离以及要叠加的对象完全适配于客户端的显示器的视角时，通过例如虚拟图像对象的边缘模糊的处理减少违和感。
[0419]例如，图10(A)是当不应用本实施例的掩蔽处理时虚拟对象的显示示例。
[0420]在拍摄图像上显示的虚拟图像(人)311的下端的边缘区域312中，以直线剪切被摄体图像，因此看上去不自然。
[0421]另一方面，图10(B)是当应用本实施例的掩蔽处理时虚拟对象的显示示例。
[0422]对拍摄图像上显示的虚拟图像(人)321的下端的边缘区域322执行例如模糊的掩蔽应用处理，并且消除不自然性。
[0423]图11示出描述本实施例的自适应掩蔽处理的处理序列的流程图。顺便一提，在参考图3描述的流程中的步骤S206的“叠加虚拟图像的处理”中执行在该流程中示出的处理。
[0424]将描述图11的流程的各个步骤的处理。
[0425](步骤S301)
[0426]首先，在步骤S301中，信息处理设备执行虚拟图像内容帧结束确定。
[0427]在要画出的虚拟图像内容的处理帧中，确定虚拟图像对象是否适配于内容的视角。具体地，检查I的阿尔法(alpha)值是否在要叠加的虚拟图像内容的垂直和水平外线(outer line)的每一个中的相继η个或更多像素中连续。η是任意阈值。确定是否切除与垂直和水平线对应的对象端部。顺便一提，该处理可以在生成侧预先执行并且通过接收元数据而实现。
[0428](步骤S302)
[0429]随后，在步骤S302中，执彳丁拍摄的相机图像端部未冲突确定处理。
[0430]在步骤S301中，当切除虚拟图像的处理帧的对象端部时，确定是否使得切除部分在内容实际上被叠加在相机图像上的位置处可见。
[0431]如果即使当被叠加时原始移动图像源中的切除部分也被完全切除，则不存在问题，但是，如果当被叠加时端部部分出现，则违和感较大。即，如图10(A)中所示，出现不自然的直线边缘。
[0432]在这种情况下，处理前进到步骤S303。
[0433](步骤S303)
[0434]在步骤S303中，对虚拟图像内容的边缘执行图像处理。
[0435]在步骤S302中，当确定在拍摄的相机图像中拍摄到切除部分时，仅对该方向的端部自适应地执行模糊处理。
[0436]S卩，如图10(B)中所示，对边缘区域执行模糊处理。
[0437](步骤S304)
[0438]最后，如图10(B)所示出，输出最终结果，即，对在虚拟图像的边界区域中存在的虚拟图像的边缘和拍摄图像执行模糊的虚拟图像。
[0439]顺便一提，在应用处理的情况下，在虚拟图像端部进入和离开相机帧的状态中，以拍打(flapping)方式交替地生成不由被执行边缘图像处理的帧组成的帧。因此，在实际操作中，适当的是插入低通滤波器并且按时间顺序在一定程度上执行平滑。
[0440]图12示出根据图11中示出的流程执行自适应掩蔽处理的信息处理设备的配置示例。
[0441]图12中示出的信息处理设备与参考图7描述的信息处理设备的不同在于自适应掩蔽处理部件171被添加到内容显示控制部件160。
[0442]自适应掩蔽处理部件171执行参考图11描述的处理。
[0443]其余配置与参考图7描述的配置相同。
[0444][4-3.对多个虚拟图像执行处理的实施例]
[0445]然后，将描述对多个虚拟图像执行处理的实施例。
[0446]本实施例是在当根据上面描述的图2的流程图生成虚拟图像的移动图像内容时存在要被叠加地显示为虚拟图像的多个对象的情况下的实施例。
[0447]在当拍摄虚拟图像内容时存在多个对象的情况下，可以假设距离对于每一个对象而不同。在这种情况下，在本实施例中，当生成内容时执行对象的裁剪处理，并且每一个被视为分开的内容并且在叠加时合成(synthesize)，使得在没有失败的情况下处理多个内容。
[0448]顺便一提，当从拍摄相机观看时重叠多个对象(即，要叠加地显示的多个虚拟对象)，为了方便将其视为相同虚拟对象。然而，当假设叠加距离显著不同的多个对象时，期望的是在没有重叠的情况下拍摄图像。
[0449]然而，在当叠加多个对象时距离在一定程度上匹配的情况下，例如，在设置两个人以使得两个人从不同方向出现、彼此拥抱并且返回海报的情况下，如下处理总共三个对象:第一出现的人为对象A、第二出现的人为对象B、以及第一人和第二人的重叠为对象C。
[0450]图13示出执行本实施例的处理的信息处理设备的配置示例。
[0451]图13中示出的信息处理设备与参考图7描述的信息处理设备的不同在于对象裁剪部件181被添加到内容生成部件120。
[0452]如上所述，当在生成虚拟图像内容时要拍摄的图像中存在多个虚拟对象时，对象裁剪部件181对每一个虚拟对象执行裁剪处理。
[0453]顺便一提，关于裁剪的虚拟对象，其后，分开的元数据(即，上述相对位置参数Rpos和相对角度参数Rrot)被分别计算，并且作为分开的元数据被存储在存储部件中。
[0454]此外，当在内容显示控制部件160上叠加地显示虚拟图像时，叠加图像生成部件165执行生成将各个参数应用于各个对象的分开的叠加的虚拟图像的处理，并且叠加地显示所生成的虚拟图像。
[0455]其余配置与参考图7描述的配置相同。
[0456][4-4.在网络连接服务器中执行部分处理的处理示例]
[0457]上述实施例已经被描述为在信息处理设备中执行整个处理的实施例。
[0458]然而，可以进行配置以使得在网络连接到信息处理设备的服务器中执行这种处理的一部分。
[0459]例如，可以进行配置以使得例如智能电话的信息处理设备仅通过相机执行拍摄的处理，并且服务器提供要叠加地显示的虚拟图像。
[0460]服务器执行上面参考图2描述的处理，并且根据移动图像序列向信息处理设备(客户端)提供显示位置和显示角度已被控制的虚拟移动内容。
[0461]信息处理设备(客户端)在拍摄图像上叠加地显示从服务器接收的虚拟图像内容。
[0462]顺便一提，在该情况下，信息处理设备(客户端)向服务器提供用于指定要提供的虚拟图像内容的信息，例如，诸如设置到图1(B)中示出的海报11的标记的信息。
[0463]由于这种处理示例，实现信息处理设备(客户端)的处理负载的减少。
[0464][5.本公开的配置的总结]
[0465]已经参考具体实施例详细描述了本公开的实施例。然而，显然本领域技术人员可以进行本实施例的修改或替代，而不背离本公开的范围。即，本发明以示例的形式公开并且不应被解释为限于此。应参考所附权利要求确定本公开的范围。
[0466]此外，本技术还可以被如下配置。
[0467](I)
[0468]一种信息处理设备,包括:
[0469]获取部件，其被配置为获取由成像部件拍摄的拍摄图像；以及
[0470]数据处理部件，其被配置为在显示部件中的所述拍摄图像上叠加地显示通过改变输入图像而生成的虚拟图像，
[0471]其中数据处理部件在显示部件上显示通过按时间顺序改变虚拟地设置的成像部件和输入图像的相对位置和相对角度中的一个而生成的虚拟图像。
[0472](2)
[0473]根据⑴的信息处理设备，
[0474]其中数据处理部件通过执行应用与虚拟图像的移动图像内容的每一个帧相关联地设置的元数据的图像转换处理，而生成显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像。
[0475](3)
[0476]根据⑵的信息处理设备，
[0477]其中数据处理部件获取包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数，作为与虚拟图像的移动图像内容的每一个帧相关联地设置的元数据，应用所获取的参数，生成显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像，以及在所述拍摄图像上叠加地显示虚拟图像。
[0478](4)
[0479]根据(3)的信息处理设备，
[0480]其中数据处理部件计算将与虚拟图像的初始图像对应的模型视图矩阵Mmarker变换为与虚拟图像的最后图像对应的模型视图矩阵Mdisplay的变换参数，将作为与每一个虚拟图像帧对应地设置的元数据的相对位置参数Rpos或相对角度参数Rrot与所计算的变换参数相乘，计算要应用于每一个虚拟图像帧的转换处理的偏移信息，执行应用所计算的偏移信息的虚拟图像帧的转换处理，以及生成显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像的移动图像。
[0481](5)
[0482]根据(4)的信息处理设备，
[0483]其中相对位置参数Rpos和相对角度参数Rrot中的每一个是在从虚拟图像的初始图像到最后图像的每一个移动图像帧中在O到I的范围中依序改变的值。
[0484](6)
[0485]根据⑴到(5)中的任何一项的信息处理设备，
[0486]其中数据处理部件在所述拍摄图像上叠加地显示虚拟图像的处理时，对虚拟图像和拍摄图像之间的边界部分的虚拟图像执行模糊处理。
[0487](7)
[0488]根据⑴到(6)中的任何一项的信息处理设备，
[0489]其中数据处理部件执行生成虚拟图像的移动图像内容的处理，关于在生成虚拟图像的移动图像内容的处理时构成虚拟图像的移动图像内容的帧，计算包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数,并且在存储部件中存储所计算的参数作为与图像巾贞对应的元数据。
[0490](8)
[0491]根据(7)的信息处理设备，
[0492]其中数据处理部件根据移动图像内容的每一个移动图像帧中的虚拟图像的被摄体距离，将相对位置参数Rpos和相对角度参数Rrot的值设置在O到I的范围中。
[0493](9)
[0494]根据(J)或⑶的信息处理设备，
[0495]其中数据处理部件将关于从虚拟图像的初始图像到最后图像的每一个移动图像帧在O到I的范围中依序改变的值设置为相对位置参数Rpos和相对角度参数Rrot的值。
[0496](10)
[0497]根据(9)的信息处理设备，
[0498]其中数据处理部件以根据模式设置的不同方式关于构成虚拟图像的每一个移动图像帧而设置相对位置参数Rpos和相对角度参数Rrot的值。
[0499](11)
[0500]根据(J)到(9)中的任何一项的信息处理设备，
[0501]其中数据处理部件在生成虚拟图像的移动图像内容的处理时，向显示部件输出指示预先设置的可允许范围的角度和距离的限制信息，并且生成在可允许范围的角度和距离内包括虚拟对象的虚拟图像的移动图像内容。
[0502](12)
[0503]—种信息处理设备,包括:
[0504]成像部件，其被配置为执行图像拍摄；以及
[0505]数据处理部件，其被配置为基于成像部件的拍摄图像，生成虚拟图像的移动图像内各，
[0506]其中数据处理部件关于在生成虚拟图像的移动图像内容的处理时构成虚拟图像的移动图像内容的帧，计算包括要应用于确定虚拟图像的显示位置的相对位置参数Rpos和应用于确定虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
[0507](13)
[0508]根据(12)的信息处理设备，
[0509]其中数据处理部件根据移动图像内容的每一个移动图像帧中的虚拟图像的被摄体距离，将相对位置参数Rpos和相对角度参数Rrot的值设置在O到I的范围中。
[0510](14)
[0511]—种信息处理设备,包括:
[0512]成像部件，其被配置为执行图像拍摄；
[0513]显示部件，其被配置为显示成像部件的拍摄图像；以及
[0514]数据处理部件，其被配置为在显示部件上显示的拍摄图像上叠加地显示虚拟图像，
[0515]其中数据处理部件从服务器获取显示位置和显示角度中的至少一个按时间顺序改变的虚拟图像的移动图像，并且在拍摄图像上叠加地显示所获取的虚拟图像。
[0516]此外，一种在上述装置和系统中执行的处理的方法、以及执行所述处理的程序被包括在本公开的配置中。
[0517]此外，在说明书中解释的处理序列可以由硬件、由软件以及由结合硬件和软件的配置实现。在由软件实现处理的情况下，可以在合并到专用硬件的计算机内的存储器中安装对处理序列进行解码的程序，并且执行所述程序。还可以在能够执行各种类型的处理的通用计算机中安装程序，并且执行所述程序。例如，可以在存储介质中预先安装所述程序。除了从存储介质被安装在计算机中之外，所述程序还可以通过例如局域网(LAN)或因特网的网络接收，并且可以被安装在例如内置在计算机中的硬盘等的存储介质中。
[0518]注意，在本说明书中描述的各种类型的处理可以不仅如已经描述的按时间序列执行，而且还可以根据执行处理的设备的处理能力或按需并行或单独执行。此外，在本说明书中的系统不限于在逻辑上聚合全部被包含在相同外壳内的多个设备的配置。
[0519]工业应用
[0520]如上所述，根据本公开的一个实施例的配置，显示位置或显示角度随时间推移而改变的虚拟图像可以被叠加地显示在显示部件上显示的拍摄的相机图像上。
[0521]具体地，所述配置包括成像部件、被配置为显示成像部件的拍摄图像的显示部件、以及被配置为在显示部件上显示的拍摄图像上叠加地显示虚拟图像的数据处理部件。数据处理部件在拍摄图像上叠加地显示显示位置和显示角度按时间顺序改变的虚拟图像的移动图像。数据处理部件获取参数，即，要应用于确定虚拟图像的显示位置的相对位置参数Rpos和要应用于确定虚拟图像的显示角度的相对角度参数Rrot，作为与虚拟图像内容的帧对应的元数据，应用所获取的参数，以及生成和叠加地显示显示位置或显示角度按时间顺序改变的虚拟图像。
[0522]根据这种配置显示位置或显示角度随时间推移而改变的虚拟图像可以在拍摄的相机图像上叠加地显示。
[0523]参考标记列表
[0524]11 海报
[0525]15拍摄的相机图像
[0526]21虚拟图像
[0527]31虚拟图像
[0528]120内容生成部件
[0529]I2I成像部件(相机)
[0530]122距离估计部件
[0531]123输入部件
[0532]124相对位置和角度计算部件
[0533]125图像处理部件
[0534]140存储部件
[0535]141元数据
[0536]142移动图像内容数据库
[0537]160内容显示控制部件
[0538]I61成像部件(相机)
[0539]162图像辨识部件
[0540]163辨识确定部件
[0541]164数据获取部件
[0542]165叠加虚拟图像生成部件
[0543]166移动图像叠加部件
[0544]167显示部件
[0545]171自适应掩蔽处理部件
[0546]181对象裁剪部件
【权利要求】
1.一种信息处理设备,包括: 获取部件，其被配置为获取由成像部件拍摄的拍摄图像；以及 数据处理部件，其被配置为在显示部件中的所述拍摄图像上叠加地显示通过改变输入图像而生成的虚拟图像， 其中所述数据处理部件在所述显示部件上显示通过按时间顺序改变虚拟地设置的所述成像部件和所述输入图像的相对位置和相对角度中的一个而生成的虚拟图像。
2.根据权利要求1所述的信息处理设备， 其中所述数据处理部件通过执行应用与所述虚拟图像的移动图像内容的每一个帧相关联地设置的元数据的图像转换处理，生成显示位置和显示角度中的至少一个按时间顺序改变的所述虚拟图像。
3.根据权利要求2所述的信息处理设备， 其中所述数据处理部件获取包括要应用于确定所述虚拟图像的显示位置的相对位置参数Rpos和要应用于确定所述虚拟图像的显示角度的相对角度参数Rrot的参数，作为与所述虚拟图像的移动图像内容的每一个帧相关联地设置的元数据，应用所获取的参数，生成显示位置和显示角度中的至少一个按时间顺序改变的所述虚拟图像，以及在所述拍摄图像上叠加地显示所述虚拟图像。
4.根据权利要求3所述的信息处理设备， 其中所述数据处理部件计算将与所述虚拟图像的初始图像对应的模型视图矩阵Mmarker变换为与所述虚拟图像的最后图像对应的模型视图矩阵Mdisplay的变换参数，将作为与每一个虚拟图像帧对应地设置的元数据的所述相对位置参数Rpos或所述相对角度参数Rrot与所计算的变换参数相乘，计算要应用于每一个虚拟图像帧的转换处理的偏移信息，执行应用所计算的偏移信息的虚拟图像帧的转换处理，以及生成显示位置和显示角度中的至少一个按时间顺序改变的所述虚拟图像的移动图像。
5.根据权利要求4所述的信息处理设备， 其中所述相对位置参数Rpos和所述相对角度参数Rrot中的每一个是从所述虚拟图像的初始图像到最后图像的每一个移动图像帧中在O到I的范围中依序改变的值。
6.根据权利要求1所述的信息处理设备， 其中所述数据处理部件在所述拍摄图像上叠加地显示所述虚拟图像的处理时，对所述虚拟图像和所述拍摄图像之间的边界部分的虚拟图像执行模糊处理。
7.根据权利要求1所述的信息处理设备， 其中所述数据处理部件执行生成所述虚拟图像的移动图像内容的处理，关于在生成所述虚拟图像的移动图像内容的处理时构成所述虚拟图像的移动图像内容的帧，计算包括要应用于确定所述虚拟图像的显示位置的相对位置参数Rpos和要应用于确定所述虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像中贞对应的元数据。
8.根据权利要求7所述的信息处理设备， 其中所述数据处理部件根据所述移动图像内容的每一个移动图像帧中的所述虚拟图像的被摄体距离，将所述相对位置参数Rpos和所述相对角度参数Rrot的值设置在O到I的范围中。
9.根据权利要求7所述的信息处理设备， 其中所述数据处理部件将关于从所述虚拟图像的初始图像到最后图像的每一个移动图像帧在O到I的范围中依序改变的值设置为所述相对位置参数Rpos和所述相对角度参数Rrot的值。
10.根据权利要求9所述的信息处理设备， 其中所述数据处理部件以根据模式设置的不同方式关于构成所述虚拟图像的每一个移动图像帧而设置所述相对位置参数Rpos和所述相对角度参数Rrot的值。
11.根据权利要求7所述的信息处理设备， 其中所述数据处理部件在生成所述虚拟图像的移动图像内容的处理时，向显示部件输出指示预先设置的可允许范围的角度和距离的限制信息，并且生成在所述可允许范围的角度和距离内包括虚拟对象的所述虚拟图像的移动图像内容。
12.—种信息处理设备,包括: 成像部件，其被配置为执行图像拍摄；以及 数据处理部件，其被配置为基于所述成像部件的拍摄图像生成虚拟图像的移动图像内容， 其中所述数据处理部件关于在生成所述虚拟图像的移动图像内容的处理时构成所述虚拟图像的移动图像内容的帧，计算包括要应用于确定所述虚拟图像的显示位置的相对位置参数Rpos和要应用于确定所述虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
13.根据权利要求12所述的信息处理设备， 其中所述数据处理部件根据所述移动图像内容的每一个移动图像帧中的所述虚拟图像的被摄体距离，将所述相对位置参数Rpos和所述相对角度参数Rrot的值设置在O到I的范围中。
14.一种信息处理设备,包括: 成像部件，其被配置为执行图像拍摄； 显示部件，其被配置为显示所述成像部件的拍摄图像；以及 数据处理部件，其被配置为在所述显示部件上显示的所述拍摄图像上叠加地显示虚拟图像， 其中所述数据处理部件从服务器获取显示位置和显示角度中的至少一个按时间顺序改变的所述虚拟图像的移动图像，并且在所述拍摄图像上叠加地显示所获取的虚拟图像。
15.—种由信息处理设备执行的信息处理方法， 其中所述信息处理设备包括被配置为获取由成像部件拍摄的拍摄图像的获取部件、以及被配置为在显示部件上叠加地显示通过改变输入图像而生成的虚拟图像的数据处理部件，以及 其中所述数据处理部件在所述显示部件上显示通过按时间顺序改变虚拟地设置的所述成像部件和所述输入图像的相对位置和相对角度中的一个而生成的所述虚拟图像。
16.—种由信息处理设备执行的信息处理方法， 其中所述信息处理设备包括被配置为执行图像拍摄的成像部件、以及被配置为基于所述成像部件的拍摄图像生成虚拟图像的移动图像内容的数据处理部件，以及 其中所述数据处理部件关于在生成所述虚拟图像的移动图像内容的处理时构成所述虚拟图像的移动图像内容的帧，计算包括要应用于确定所述虚拟图像的显示位置的相对位置参数Rpos和要应用于确定所述虚拟图像的显示角度的相对角度参数Rrot的参数的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
17.一种用于使得信息处理设备执行信息处理的程序， 其中所述信息处理设备包括: 获取部件，其被配置为获取由成像部件拍摄的拍摄图像；以及数据处理部件，其被配置为在显示部件中的所述拍摄图像上叠加地显示通过改变输入图像而生成的虚拟图像，以及 其中所述程序使得所述数据处理部件在所述显示部件上显示通过按时间顺序改变虚拟地设置的所述成像部件和所述输入图像的相对位置和相对角度中的一个而生成的所述虚拟图像。
18.一种用于使得信息处理设备执行信息处理的程序， 其中所述信息处理设备包括被配置为执行图像拍摄的成像部件、以及被配置为基于所述成像部件的拍摄图像生成虚拟图像的移动图像内容的数据处理部件， 其中所述程序使得所述数据处理部件关于在生成所述虚拟图像的移动图像内容的处理时构成所述虚拟图像的移动图像内容的帧，计算包括要应用于确定所述虚拟图像的显示位置的相对位置参数Rpos和要应用于确定所述虚拟图像的显示角度的相对角度参数Rrot的参数，并且在存储部件中存储所计算的参数作为与图像帧对应的元数据。
【文档编号】G06T19/00GK104335251SQ201380029793
【公开日】2015年2月4日 申请日期:2013年4月24日 优先权日:2012年6月12日
【发明者】花井裕也 申请人:索尼公司