增强现实(ar)俘获和播放的制作方法
【专利说明】
【背景技术】
[0001]本发明的方面涉及增强现实(AR)对象，具体地说涉及从物理草图或物理对象产生AR对象以在AR交互中使用。
[0002]当前一代的移动AR应用程序当与用户进行交互时可为受限的。举例来说，许多应用程序仅允许最终用户操纵(例如，选择、移动、游戏动作)或导航(例如，转向、靠近)上覆于印刷目标上的预定义3-D内容。预定义内容可传统地由艺术家、设计者或开发者离线创作，且集成为应用程序的部分且无法实时修改。这些方法限制了 AR体验的灵活性和创造性潜力。
【发明内容】
[0003]呈现用于实时产生且俘获增强现实(AR)对象的方法、系统、计算机可读媒体和设备。另外，用户可使用多点触摸交互实时修改AR对象。
[0004]描述允许用户组合物理草绘与多点触摸交互以用于移动AR应用程序的某些实施例。在一些实施例中，用于实时产生AR对象的物理草绘可为基于纸的。
[0005]在一些实施例中，一种用于由移动装置产生一或多个增强现实(AR)对象的方法包含:俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上。所述方法还包含将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域。所述方法另外包含将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像。所述方法进一步包含至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
[0006]在一些实施例中，将所述图像分段进一步包括从所述图像减去所述预定义背景。
[0007]在一些实施例中，响应于用户输入而编辑所述一或多个AR对象。
[0008]在一些实施例中，所述编辑还包含:将所述一或多个AR对象中的至少一者划分为多个AR部分；接收与来自所述多个AR部分的指定AR部分相关联的用户输入；以及基于所述所接收用户输入而操纵所述指定AR部分。
[0009]在一些实施例中，基于所接收的用户输入而操纵指定AR部分包含以下各项中的至少一者:基于移动装置的显示器上的所确定手指压力而对指定AR部分增加深度，基于在移动装置的显示器上执行的用户姿势而旋转指定AR部分，将指定AR部分组装到一或多个层中，将指定AR部分移动到可在移动装置的显示器上显示的一或多个位置中，或挤压指定AR部分。
[0010]在一些实施例中，所述一或多个目标对象中的一者包括二维(2-D)草图。
[0011]在一些实施例中，所述一或多个目标对象中的一者包括三维(3-D)对象。
[0012]在一些实施例中，所述一或多个目标对象中的一者与所述预定义背景共面。
[0013]在一些实施例中，所述预定义背景是特征跟踪目标。
[0014]在一些实施例中，所述方法还包含精炼对应于所述一或多个目标对象的所述一或多个区域中的一者。
[0015]在一些实施例中，所述一或多个AR对象是基于所述所俘获图像内的二维(2-D)斑点的检测而产生，所述2-D斑点的所述检测基于与定位在所述预定义背景上的所述一或多个目标对象相关联的表面反射率。
[0016]在一些实施例中，所述预定义背景包含水平跟踪区域和垂直跟踪区域。
[0017]在一些实施例中，所述方法还包含在所述移动装置的显示器上实时显示所述一或多个AR对象。
[0018]在一些实施例中，一种用于产生一或多个AR对象的设备包含:存储器；图像俘获模块，其经配置以俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上；图像处理模块，其经配置以将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域；以及处理器，其耦合到所述存储器、所述图像俘获模块和所述图像处理模块。所述处理器可经配置以:将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像；以及至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
[0019]在一些实施例中，一或多种非暂时性计算机可读媒体，其存储用于产生一或多个增强现实(AR)对象的计算机可执行指令，所述计算机可执行指令当执行时致使包含在移动装置中的一或多个计算装置:俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上；将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域；将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像；以及至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
[0020]在一些实施例中，一种用于产生一或多个增强现实(AR)对象的设备包含:用于俘获一或多个目标对象的图像的装置，其中所述一或多个目标对象定位在预定义背景上；用于将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域的装置；用于将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像的装置；以及用于至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象的装置。
【附图说明】
[0021]通过实例来说明本发明的各方面。在附图中，相同参考数字指示类似元件，且:
[0022]图1是说明根据一些实施例的示范性移动装置的框图；
[0023]图2说明从最终用户对开发者的角度来看与不同类型的AR应用程序相比的本发明的实施例；
[0024]图3说明使用跟踪区域的本发明的实施例；
[0025]图4是说明根据一个实施例的用于组合物理草绘与多点触摸交互以用于移动AR应用程序的方法的流程图；
[0026]图5到7说明用于组合物理草绘与多点触摸交互以用于移动AR应用程序的方法的实例；
[0027]图8到10说明根据一些实施例可使用的差异类型的草图；
[0028]图11说明根据一个实施例在跟踪区域中放置和俘获草绘的对象或物理对象的示范性方法；
[0029]图12说明根据一个实施例的使用移动接口的AR编辑方法；
[0030]图13说明根据另一个实施例的使用移动接口的AR编辑方法；
[0031]图14是说明根据一些实施例的不同编辑模式的表；
[0032]图15说明根据一个实施例的使用2.5-D舞台在2_D层中应用简化物理学；
[0033]图16是说明根据一个实施例的用于俘获目标AR对象的方法的流程图；以及
[0034]图17说明可在其中实施一或多个实施例的计算系统的实例。
[0035]图18说明具有用于执行与本发明的实施例相关联的任务的不同软件模块的图像处理模块的实例。
【具体实施方式】
[0036]现将相对于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述其中可实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
[0037]增强现实(AR)可为物理现实世界环境的现场直接或间接视图，所述现实世界环境的元素由计算机产生的感觉输入增强，所述计算机产生的感觉输入例如(但不限于)声音、文字、图形、视频和位置(例如，全球导航卫星系统(GNSS))数据。
[0038]通过使用例如对象辨识等AR技术，关于用户的周围现实世界的信息变成交互式的且能够以数字方式操纵。关于用户的环境及其对象的人工信息可上覆于现实世界上。
[0039]本发明的实施例是针对增强现实(AR)对象，具体地说是针对组合物理草绘与多点触摸交互以用于移动AR应用程序。另外，用户可使用多点触摸交互实时修改AR对象。
[0040]描述允许用户组合物理草绘与多点触摸交互以用于移动AR应用程序的某些实施例。在一些实施例中，用于实时产生AR对象的物理草绘可为基于纸的。
[0041]根据一些实施例，用户可能够直接在标记(例如，目标区域)上与真实内容(例如，基于纸的)交互。在一些情况下，AR对象可基于由最终用户在线产生的真实内容。这可与其中由开发者经由数字工具离线产生虚拟内容的当前实施方案形成对比。
[0042]因此，本发明的实施例允许更直观的方式用于用户产生AR对象和内容而不需要传统的数字工具。另外，使用弹出式书和拼贴作品的概念，AR内容创建可变为对最终用户更容易达到。此外，本发明的实施例可提供用于AR交互的新方法，其可包含从现实世界实时俘获ig息。
[0043]图1是说明根据一些实施例的示范性移动装置100的框图。移动装置100包含耦合到图像处理模块121的图像俘获模块111。图像处理模块121可为一或多个通用处理器。另外，图像处理模块121可通过总线接口 103连接到总线101，且图像俘获模块111可通过总线接口 103连接到总线101，且存储器161通过总线接口 103连接到总线101。
[0044]图像处理模块121也可以经由总线接口 103和总线101耦合到显示模块181。另夕卜，图像俘获模块111和图像处理模块121可经由总线接口 103和总线101连接到用户输入模块191。图像处理模块121可经配置以从接收自图像俘获模块111的传入图像数据或视频数据检测且俘获目标对象的图像。目标对象的图像可包含针对预定义背景定位的对象。图像处理模块121可将预定义背景与目标对象的图像进行比较且基于所述比较确定草图。随后，图像处理模块121可基于所述草图产生AR对象以用于在显示模块上显示。
[0045]总线接口103可与图像处理模块121、图像俘获模块111以及它们相关联的存储器161集成。在各种实施例中，功能可存储为存储器161中的一或多个指令或代码，例如存储在例如RAM、R0M、快闪存储器或光盘驱动器等计算机可读存储媒体上，且由图像处理模块121执行。存储器161可为存储经配置以致使图像处理模块121执行描述的功能的软件代码(编程代码、指令等)的处理器可读存储器和/或计算机可读存储器。在其它实施例中，描述的功能可在硬件中执行。
[0046]此外，在一些实施例中，移动装置100可包含全球导航卫星系统(GNSS)接收器171，其能够经由耦合到GNSS接收器171的GNSS天线172接收GNSS信号174。GNSS接收器171还可整体或部分地处理GNSS无线电信号174且使用GNSS信号174来确定移动装置100的位置。GNSS接收器171可以基于位置的信息辅助移动AR应用程序。
[0047]此外，在一些实施例中，移动装置100还可包含通过总线接口 103连接到总线101的无线收发器131。无线收发器131可操作以经由天线152接收无线信号154。无线信号154可经由无线网络发射。在一些实施例中，无线网络可为任何无线网络，例如(但不限于)因特网、个人接入网络(PAN)或蜂窝式网络(例如GSM、WCDMA、LTE、CDMA2000网络)。在一些实施例中，天线152和