增强现实的设备和方法
【技术领域】
[0001]本发明涉及一种用于增强现实体验的设备和方法，尤其涉及一种用于在具有摄像机的手持装置中提供增强现实体验的设备和方法。
【背景技术】
[0002]增强现实正在各种平台上使用，包括电视机，平视显示器，以及在一定的程度上的手持装置，比如手机。在增强现实中，使用计算机产生的输入来增强对现实世界环境的观察。
[0003]手持设备比如手机，摄像机的使用已经通过小的专业的下载程序的应用而提高，这些小的专业下载程序非正式地称为应用程序(apps)。许多这些应用程序包括计算机产生的视觉效果，该视觉效果可以通过摄像机，与“实时视图”结合，为用户提供用于改进图像或娱乐的增强现实的程度。然而，由于大多数手持装置的处理能力有限，并缺乏具有内置框架的功能代码库，因此将录像片段合并到摄像机的实时视图内被认为较为困难。
【发明内容】
[0004]本发明的实施例目的在于，提供一种用于将明显地移动着的图像合并入手持装置的实时摄像机视图内的设备和方法。
[0005]本发明由所附的独立权利要求来限定，在所述独立权利要求中将会涉及。进一步地，优选的特征可在从属权利要求中找到。
[0006]根据本发明的一个方面，提供了一种用于在具有摄像机的手持装置的显示器上显示增强现实的设备，所述设备包括背景识别单元、虚拟图像检索单元以及虚拟图像定位单元，所述背景识别单元用于识别由所述装置捕获的至少一幅真实图像的背景，所述虚拟图像检索单元用于在显示器中选择和显示虚拟图像，所述虚拟图像定位单元用于在显示器中定位所述虚拟图像，其中，所述设备被设置为显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0007]优选地，所述虚拟图像为已经预先存储的虚拟图像。
[0008]在优选的设置中，所述虚拟图像包括一系列静止图像，所述静止图像取自移动视频。
[0009]替代性地或附加地，所述虚拟图像可包括连续的移动视频图像。
[0010]所述虚拟图像可包括人或动物的图像，或可以为任何其他“现实世界”对象或项目。
[0011]在优选的实施例中，所述背景识别单元用于以通过比较视场中至少一个对象和来自多个对象中的储存数据来识别背景。优选地，所述图像检索单元用于根据由所述背景识别单元确定的背景信息，来从多个存储图像中选择一幅图像。优选地，所述定位单元用于根据由所述背景识别单元确定的背景信息，来定位所述虚拟图像。
[0012]通过所述定位单元的图像的定位可包括在显示器中调整所述图像大小，还可包括相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。
[0013]所述背景识别单元和/或所述虚拟图像检索单元，和/或所述虚拟图像定位单元可包括进程，所述进程在使用中被设置为由一个或多个电子处理装置来执行。
[0014]本发明也包括一种在具有摄像机的手持装置的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，以及在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0015]优选地，所述虚拟图像为已经预先存储的虚拟图像。
[0016]在优选的设置中，所述虚拟图像包括一系列静止图像，所述静止图像取自移动视频。
[0017]在优选的实施例中，所述方法包括通过比较视场中的至少一个对象和多个对象中的储存数据，来识别背景。优选地，所述方法包括根据所述背景识别单元确定的背景信息，从多个存储图像中选择一幅图像。优选地，所述方法也包括根据所述背景识别单元确定的背景信息，定位所述虚拟图像。
[0018]通过所述定位单元的图像的定位可包括在显示器中调整所述图像大小，还可包括相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。
[0019]本发明也包括一种程序，该程序用于致使一个装置执行在具有摄像机的手持设备的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，以及在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0020]所述程序可包含在app中。所述app也可包含数据，比如虚拟图像数据。
[0021]所述虚拟图像可包括一系列静止图像，所述静止图像取自移动视频。
[0022]本发明也包括一种计算机程序产品，该产品中存储、携带或传输程序、或通过一程序而用于致使一个装置执行在具有摄像机的手持设备的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，并在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0023]所述虚拟图像可包括一系列静止图像，所述静止图像取自移动视频。
[0024]本发明还包括这里提及的特征或限制的任何结合，除了互相排斥的特征的结合。
【附图说明】
[0025]通过例举的方式，现在仅参考附图描述本发明的优选实施例:
图1展示了根据本发明的一个优选实施例中，虚拟图像叠加在真实图像的摄像机视图上;
图2简要地展示了根据本发明的一个实施例，背景识别过程中第一步骤；
图3和3a表示了背景识别过程中替换的第一步骤的示意图，在所述替换的第一步骤中，摄像机实时视图中有多个可见对象；
图4简要地展示了用在本发明一个实施例中的动画技术；
图5简要地展示了根据本发明的一个实施例的定位过程； 图6展示了根据本发明实施例的用于虚拟图像的可选的用户控制的示意图；
图7表示了图6图像中的锚定过程中的第一步骤；
图8表示了图7的锚定过程中的另一步骤；
图9展示了根据本发明的一个实施例的替换锚定过程；
图10展示了根据本发明的一个实施例，对虚拟图像自动调整大小过程的示意图；
图11简要地展示了替换方案中对虚拟图像自动调整大小的过程的示意图；
图12-15展示了根据本发明的一个实施例，拍摄合并的真实图像和虚拟图像的照片的过程的不同步骤；
图16简要地展示了用于获取合并的真实图像和虚拟图像的视频片段的过程；
图17为根据本发明的一个实施例，在摄像机的实时视图中显示虚拟图像的过程的一些关键步骤的流程示意图。
[0026]
【具体实施方式】
[0027]以下描述的实施例的目的在于提供增强现实体验给手持装置的用户，比如手机，其结合了电子处理器、摄像机和显示器。尤其地，取自视频片段的图像和实时摄像机视图一起显示在手持装置的显示器中，以创建视频中的物体即虚拟活动图像实时存在于摄像机的视场中的幻象。
[0028]关于这点，术语“现实世界”图像表示取自现实的图像，比如使用电子照片捕获技术获得的例如视频记录的物理现实世界情景。
[0029]为此，装置必须进行各种处理，包括从摄像机视图中