针对视频透视扩增现实将3d空间信息转变为屏幕对准信息的制作方法
【专利摘要】本发明提供用以将移动装置的扩增现实AR视图中检测到的3D空间信息转变为所述移动装置上的屏幕对准信息的方法、设备和系统。在至少一个实施方案中，一种方法包含：确定与所关注对象相关联的扩增信息，包含模型视图(M1)矩阵和投影(P1)矩阵；使用所述M1和P1矩阵在所述所关注对象的视频图像的顶部上显示所述扩增信息；产生第二模型视图(M2)矩阵和第二投影(P2)矩阵，使得所述矩阵M2和P2表示所述扩增信息的屏幕对准最终位置；以及使用所述M2和P2矩阵显示所述扩增信息。
【专利说明】针对视频透视扩增现实将3D空间信息转变为屏幕对准信息
【技术领域】
[0001]本文揭示的标的物涉及电子装置，且更特定来说涉及在移动电子装置的扩增现实(AR)环境中使用和/或与所述扩增现实(AR)环境一起使用的方法、设备和系统。
【背景技术】
[0002]移动计算装置(移动装置)向用户提供经由无线通信系统对多种信息的存取。作为一实例，能够与无线蜂窝式网络和/或无线局域网(例如，W1-Fi或WiMAX) —起使用的移动装置向用户提供对因特网的大量信息资源的存取。移动装置还可使用户能够探索提供与计算机产生的图形内容合并或由其扩增的目标对象的实时视图的扩增现实环境。举例来说，驻留在移动装置上的机载相机可结合图形显示器使用以为用户呈现关于在移动装置的相机视图中俘获的所关注目标的补充信息。此补充信息可形成上覆于在移动装置的相机视图中俘获的真实世界对象上的信息层。此功能性通常称为扩增现实(AR)视图模式。在AR视图中，在相机视图中俘获的对象可经转变以与显示屏对准以允许用户更容易存取信息层。
[0003]在传统应用中，装置可具有AR模式视图，且AR信息可呈现为触发经扩增内容的目标项目上的扩增。然而，在此类应用中，AR信息通常过于详细以致当移动装置在AR模式中时用户不能与之交互。在其它应用中，当检测到目标对象时，经扩增内容在非AR模式(例如，屏幕空间)中立即呈现。在此应用中，通常难以确定哪一目标对象与经扩增内容相关联。
【发明内容】
[0004]本文揭示关于将扩增现实(AR)视图中检测到的3D空间信息转变为移动装置上的屏幕对准信息的实施方案。在至少一个实施方案中，提供一种方法，其包含基于移动装置俘获的目标对象的图像确定扩增现实对象，检索与目标对象相关联的彳目息，在视频图像的顶部上显示扩增信息，且扩增信息从AR视图转变到屏幕对准位置。
[0005]根据本发明的一种显示扩增信息的方法的实例包含:确定与所关注对象相关联的扩增信息，包含模型视图(Ml)矩阵和投影(Pl)矩阵；使用Ml和Pl矩阵在所关注对象的视频图像的顶部上显示扩增信息；产生第二模型视图(M2)矩阵和第二投影(P2)矩阵，使得矩阵M2和P2表示扩增信息的屏幕对准最终位置；以及使用M2和P2矩阵显示扩增信息。
[0006]此方法的实施方案可包含以下特征中的一或多者。确定至少一个转变矩阵Mx和至少一个转变矩阵Px，使得Mx为内插(Ml、M2)且Px为内插(P1、P2)，以及使用Mx和Px矩阵显示扩增信息。内插(Ml、M2)和内插(P1、P2)可为线性内插。内插(Ml、M2)和内插(P1、P2)可由例如加速度、减速度和曲线等函数确定。扩增信息可对应于所关注对象的视频补丁。扩增信息可对应于所关注对象的扩增。扩增信息可对应于所关注对象的视频补丁与扩增的α混合融合。与所关注对象相关联的应用可在非扩增视图模式中显示。
[0007]根据本发明的一种用于显示扩增信息的方法的实例包含:在移动装置上显示所关注对象；确定与所关注对象相关联的扩增信息，包含模型视图(Ml)矩阵和投影(Pl)矩阵；使用Ml和Pl矩阵在所关注对象的图像的顶部上显示扩增信息；计算第二模型视图(M2)矩阵和第二投影(P2)矩阵，使得M2和P2矩阵表示扩增信息的所要最终位置；估计用于转变的帧的数目；针对转变的每一帧确定转变矩阵Mx和转变矩阵Px ;使用Mx和Px矩阵显示每一帧中的扩增信息；使用M2和P2矩阵显示最终帧；以及执行与所关注对象相关联的应用。
[0008]此方法的实施方案可包含以下特征中的一或多者。确定转变矩阵Mx和Px可分别基于Ml与M2以及Pl与P2之间的内插。所述内插可为线性的、加速度、减速度和/或曲线。
[0009]根据本发明的一种用于显示扩增信息的设备的实例包含移动装置，所述移动装置具有:图形显示器，其经配置以显示所关注对象；处理器，其以指令编程以:确定与所关注对象相关联的扩增信息，使得所述扩增信息包含模型视图(Ml)矩阵和投影(Pl)矩阵；使用Ml和Pl矩阵在所关注对象的视频图像的顶部上显示扩增信息；产生第二模型视图(M2)矩阵和第二投影(P2)矩阵，使得矩阵M2和P2表示扩增信息的屏幕对准最终位置；确定至少一个转变矩阵Mx和至少一个转变矩阵Px，使得Mx为内插(Ml、M2)且Px为内插(P1、P2)；且使用矩阵Mx和Px显示扩增信息。
[0010]此设备的实施方案可包含以下特征中的一或多者。与所关注对象相关联的应用可在使用矩阵M2和P2显示扩增信息之后执行。可使用例如线性内插、加速度、减速度和曲线等内插方法确定转变矩阵Mx和/或Px。可显示对应于所关注对象的视频补丁的扩增信息。可显示对应于所关注对象的扩增的扩增信息。可显示对应于所关注对象的视频补丁与扩增的α混合融合的扩增信息。
【专利附图】
【附图说明】
[0011]参看以下图式描述非限制性和非详尽方面，图式中除非另外指定否则贯穿各图相同参考数字指代相同零件。
[0012]图1是根据一个实施方案的实例网络环境的示意框图。
[0013]图2是根据一个实施方案的实例移动装置的示意框图。
[0014]图3是扩增对象从AR视图模式到屏幕对准视图的转变的示范性说明。
[0015]图4是扩增的从AR视图模式到屏幕对准视图的转变的自上而下说明。
[0016]图5是视频补丁从AR视图模式到屏幕对准视图的转变的示范性说明。
[0017]图6是视频补丁的从AR视图模式到屏幕对准视图的转变的自上而下说明。
[0018]图7是利用不同媒体表示的对象从AR视图模式到屏幕对准模式的双转变的示范性说明。
[0019]图8是扩增从3D空间到屏幕对准空间的转变的过程图。
【具体实施方式】
[0020]在移动计算上下文中揭示关于扩增现实环境的实施方案。可经由移动装置存取的扩增现实创作工具使移动装置用户能够界定扩增现实环境，且在扩增现实环境内部署例如包含照片或其它图形元素等图像、视频、动画、文本和音频等媒体内容。由特定移动装置用户部署的媒体内容可由经由其相应移动装置探索扩增现实环境的其他移动装置用户存取。
[0021]例如杂志广告、公告牌、文档和其它真实世界2D和3D对象等目标对象在移动装置的AR视图模式中俘获。可例如通过应用对象辨识技术确定扩增现实信息以获得目标对象的电子表示。此电子表示可包括从目标对象的AR视图获得的多个(关键)点及其相关联描述符。支持扩增现实环境的信息层可由移动装置用户通过应用可附接到所提取目标对象的此类电子表示的一或多个呈现区和/或激活区而界定。
[0022]媒体内容项目的呈现区可由用户出于界定媒体内容项目呈现在扩增现实环境内的位置(例如，定位和/或定向)的目的而部署到所述扩增现实环境。媒体内容项目的激活区可由用户出于界定响应于用户输入和/或所估计移动装置定位和/或定向可如何和/或何时启用和/或起始媒体内容项目在相关联呈现区处的呈现的目的而部署在扩增现实环境内。激活区可从用户接收输入示意动作以从扩增现实环境转变到非扩增现实视图(即，应用)。扩增现实环境到非扩增视图的转变可包含所关注对象和/或对应的AR对象和/或与所关注对象或AR对象相关联的视频补丁的大小、形状和定向的变换。
[0023]图1是根据一个实施方案的实例网络环境100的示意框图。网络环境100可包含任何数目的移动装置，例如移动装置120和130。移动装置120和130可以无线方式经由网络140与服务器系统110通信。移动装置120和130可包括任何适宜的移动计算平台，包含蜂窝式电话、智能电话、个人数字助理、低工作循环通信装置、膝上型计算机、便携式媒体播放器装置、个人导航装置，以及包括数码相机的便携式电子装置(仅举几例)。网络环境100可进一步包含非移动计算平台，例如可经由网络140与服务器系统110通信的计算平台122。在至少一些实施方案中，移动装置可适于通过例如借助有线或无线通信(在不利用网络140的情况下)与计算平台122对接而通信。
[0024]网络140可包括广域网(例如，因特网)、局域网(例如，内联网)和/或个域网的一或多者。举例来说，移动装置120和130可以无线方式经由任何适宜的通信协议与服务器系统110通信，所述通信协议包含蜂窝式通信协议(例如，CDMA、GSM或WCDMA)和/或无线局域网(WLAN)协议(例如，Wifi或WiMAX)。因此，在此类实施方案中，网络140可包含一或多个无线收发器。网络140的无线收发器也可由移动装置120和130利用以获得用于估计移动装置位置的定位信息。
[0025]在一些实施方案中，移动装置可利用基于三边测量的方法来估计地理位置。举例来说，可使用包含CDMA中的先进前向链路三边测量(AFLT)或GSM中的先进观测时间差(EOTD)或WCDMA中的观测到达时间差(OTDOA)的技术，所述OTDOA在移动装置处测量从若干装备有发射器的基站的每一者发射的无线信号的相对到达之间。作为另一实例，移动装置可通过获得媒体存取控制(MAC)地址或与无线收发器相关联的其它适宜的识别符且使MAC地址或识别符与所述无线收发器的已知地理位置相关而估计其位置。
[0026]移动装置120和130可进一步从定位系统150获得无线定位信号以估计移动装置位置。举例来说，定位系统150可包括卫星定位系统(SPS)和/或基于陆地的定位系统。卫星定位系统可包含例如全球定位系统(GPS)、GaliIeo、GLONASS、NAVSTAR、GNSS、使用来自这些系统的组合的卫星的系统，或将来开发的任何SPS。如本文使用，SPS也将理解为包含伪卫星系统。然而，应理解，此处提供的特定定位技术仅为实例定位技术，且所主张的标的物在此方面不受限制。
[0027]服务器系统110可包括一或多个服务器和/或其它适宜的计算平台。因此，服务器系统110可包含存储媒体112，其上存储有数据库114和指令116。服务器系统110可包含用于执行指令116和/或用于促进在数据库114处存储和检索数据的例如实例处理器118等一或多个处理器。服务器系统110可进一步包含通信接口 160，其用于促进与网络140的客户端(包含移动装置120和130，以及计算平台122)的通信。
[0028]为促进对所揭示的实施方案的理解，指令116可有时依据用于执行特定操作的一或多个模块来描述。作为一个实例，指令116可包含特征提取模块162以提取移动装置的AR视图模式中俘获的目标对象的特征。作为另一实例，指令116可包含内容管理模块164以管理扩增现实环境内媒体内容的部署。内容管理模块164可包含若干工具以使用户(例如，人类用户)能够例如经由移动装置(例如，移动装置120)或其它适宜的计算平台(例如，计算平台122)与内容管理模块交互。在至少一些实施方案中，内容管理模块164可包含内容部署工具166以使用户能够在扩增现实环境内部署媒体内容，以及权利管理工具170以使用户能够管理其他用户对已由所述用户部署的媒体内容的存取权。此类工具可由用户经由移动装置的输入或输出装置或其它适宜的计算平台存取。举例来说，移动装置的图形显示器处呈现的图形用户接口(⑶I)可使用户能够通过使用工具166和工具170的一或多者界定包括一或多个媒体内容项目的扩增现实环境。
[0029]数据库114可包含多种数据，包含例如实例相关联项目176等一或多个相关联项目。相关联项目176可包含例如至少一个媒体内容项目178和其它相关联数据元素，包含(例如):呈现区定义180、激活区定义182、元数据186，以及所提取特征定义174。数据库114可进一步包含特征库192，其具有例如实例预先存在的电子表示194等真实世界二维和三维特征的一或多个预先存在的电子表示。
[0030]呈现区定义180可界定相对于目标对象的所提取特征的位置(例如，如所提取特征定义174所表示)，其中媒体内容(例如，媒体内容项目178)可在扩增现实环境内呈现。呈现区定义180可由用户经由内容部署工具166界定。
[0031]激活区定义182可界定响应于用户输入和/或移动装置的所估计定位和/或定向可如何和/或何时启用和/或起始媒体内容在呈现区(例如，如呈现区定义180所界定)处的呈现。激活区定义182可由用户经由内容部署工具166界定。举例来说，用户可利用内容部署工具166来产生界定相关联媒体内容项目(例如，媒体内容项目178)的激活区的激活区定义182。
[0032]元数据186可包含权利定义188，其界定用户存取例如相关联媒体内容项目178等经部署媒体内容项目的权利。在一些实施方案中，用户可使用权利管理工具170产生针对相关联媒体内容项目178的权利定义188。作为非限制性实例，用户可拒绝选定用户存取特定媒体内容项目，或用户可准予选定用户存取扩增现实环境内的特定媒体内容项目的权利。
[0033]元数据186可进一步包含与媒体内容项目178相关联的装置状态数据190。装置状态数据190可指示例如当移动装置正俘获相关联媒体内容项目时移动装置的定位和/或定向。在一些实施方案中，移动装置的位置可表示为相对于参考基面测得的一或多个纬度、经度和/或高度值。类似地，移动装置的定向可由相对于参考基面测得的一或多个横摇、俯仰和/或偏航值表示。相对于此类定向值的参考基面可界定为例如移动装置的相机的视线的轴。此类装置状态数据可基于在移动装置处获得的一或多个定位信号和/或惯性传感器测量值，如将参看图2更详细描述。
[0034]图2是根据一个实施方案的实例移动装置200的示意框图。针对至少一些实施方案，移动装置200可充当图1的移动装置120和130的非限制性实例。因此，移动装置200可包含通信接口 228以促进(例如)与例如图1的服务器系统110、移动装置120、130和/或计算平台122等其它计算平台的通信。因此，通信接口 228可实现与包含实例网络140的通信网络的无线通信。移动装置200可进一步包含接收器230以(例如)从例如实例定位系统150等定位系统接收定位信号。
[0035]移动装置200可包含输入装置218以接收用户输入。输入装置218可(例如)包含例如一或多个实体按钮、键盘、控制器、麦克风、指向装置和/或触敏表面。移动装置200可包含输出装置221以向用户呈现信息。作为一个实例，输出装置221可包含图形显示器222以呈现图形用户接口 224。一般来说，图形显示器222可包括能够接收用户输入的触敏图形显示器(例如，触摸屏)。触敏图形显示器可(例如)利用任何适宜的感测技术来检测显示表面处或附近的用户输入，包含电容感测、电阻感测和/或光学感测技术。在此类触敏实施方案中，图形显示器222可充当用于接收用户输入的输入装置和用于呈现图形内容的输出装置两者。在一些实施方案中，输出装置221可进一步包含用于呈现音频内容的音频扬声器226。
[0036]在至少一些实施方案中，图形用户接口(⑶I) 224可在图形显示器222处呈现。⑶I224可包括经由相机220获得的相机视图234和信息层236的一或多者。信息层236可包括例如经再现媒体内容项目238等一或多个经再现媒体内容项目，以及例如图形控制元素240等一或多个图形控制元素。作为非限制性实例，经再现媒体内容项目238可对应于例如图像、视频、动画，以及其它适宜的图形内容或其部分等媒体内容项目178的再现状态。图形内容元素240可包含用于使用户能够提供用于控制移动装置的功能性的用户输入的一或多个图形元素。
[0037]移动装置200可包含一或多个惯性传感器232以获得移动装置的机载惯性传感器测量值。在至少一些实施方案中，惯性传感器232可包括一或多个加速度计、陀螺仪或其它适宜的装置用于测量移动装置的惯性状态。在一些实施方案中，移动装置的惯性状态可由惯性传感器232沿着笛卡尔和/或极坐标系中的多个轴测量以提供移动装置的定位和/或定向的指示。
[0038]将了解，从惯性传感器232获得的惯性传感器测量值可经处理(例如，随时间积分)以获得移动装置定位和/或定向的此类估计值。如先前描述，移动装置的定位可表示为一或多个纬度、经度和/或高度值，且移动装置的定向可由相对于参考基面测得的一或多个横摇、俯仰和/或偏航值表示。移动装置200可包含相机220以获得相机视图234，所述相机视图234可在图形显示器222处呈现。在一些实施方案中，相机220可包括数码相机，其具有若干光学元件，包含用于聚焦光的一或多个透镜和/或用于将光转换为表示图像和/或视频数据的数字信号的一或多个光感测元件。作为非限制性实例，光感测元件可包括光学拾取、电荷耦合装置和/或光电装置，用于将光转换为数字信号。从相机的一或多个光感测元件获得的数字信号可经处理和/或在图形显示器222处作为相机视图234再现。此夕卜，在一些实施方案中，经由相机220获得的相机视图可作为图像和/或视频内容存储在存储媒体处。举例来说，从相机220获得的数字信号可作为.jpeg、.mpeg或其它适宜的格式编码和存储在存储媒体210处。表示相机视图的此类数字信号可发射到其它计算平台以供存储和/或处理。举例来说，在移动装置处获得的相机视图可经由通信网络或通过与另一计算平台对接而发射到服务器系统或其它适宜的计算平台。
[0039]移动装置200可进一步包含上面存储有数据库212和指令214的存储媒体210。移动装置200可包含用于执行指令214和/或促进数据库212处的数据的存储和检索的例如实例处理器216等一或多个处理器。数据库212可包含多种数据，包含先前参考图1的数据库114描述的一些或所有数据元素。举例来说，数据库212可在移动装置200本地保持相关联内容项目176和特征库192以及其它数据的一或多者。将了解，此数据还可远程保持在例如服务器系统(例如，图1的服务器系统110)处，在服务器系统处其可由移动装置经由无线网络存取。
[0040]指令214可类似地包含图1的指令116的先前描述的模块和/或工具的一或多者。举例来说，指令214可包含移动装置200本地处保持的先前描述的特征提取模块162和内容管理模块164。指令214可进一步包含再现模块254以促进图形显示器222处⑶I 224的再现和/或呈现。指令可进一步包含装置状态模块256，用于处理经由接收器230获得的定位信号和/或经由惯性传感器232获得的惯性传感器测量值。举例来说，装置状态模块256可适于至少部分基于此类定位信号和/或惯性传感器测量值估计移动装置200的定位和/或定向。移动装置200的所估计定位和/或定向可存储在数据库212处，例如如先前参考装置状态数据190所描述。在至少一些实施方案中，装置状态模块256可适于响应于移动装置处的媒体内容项目的俘获而获得移动装置的装置状态数据。举例来说，移动装置200处经由相机220俘获的图像可致使装置状态模块256估计图像被俘获的时间或该时间附近移动装置的定位和/或定向。装置状态模块256可进一步适于将装置状态数据与例如数据库212或数据库114处的所述媒体内容数项目(例如，作为元数据)相关联。
[0041]此外，在至少一些实施方案中，表示经由相机220获得的AR视图的数字信号可被俘获作为静态图像或动态视频。此类数字信号可由特征提取模块162处理以获得AR视图内俘获的真实世界特征的电子表示(例如，模型)。真实世界特征的此类电子表示可存储在数据库212和/或数据库114处作为所提取特征定义174，其中其可(例如)与例如媒体内容项目178等一或多个媒体内容项目相关联。
[0042]将了解，图2的实例移动装置200的至少一些元件可在其它移动或非移动计算平台(例如，图1的计算平台122)中存在以使此类计算平台能够执行本文描述的操作、过程和方法的一或多者。举例来说，图1的计算平台122可包括例如包含指令214和/或数据库212的存储媒体210等存储媒体、例如处理器216等一或多个处理器、一或多个输入和输出装置，以及例如通信接口 228等通信接口。
[0043]参看图3，展示扩增对象从AR视图模式到屏幕对准视图的转变的示范性说明300。图像302、304、306、308、310、312的序列说明经由示范性移动装置200的显示屏222向用户301呈现的显示和功能性。在第一图像302中，用户301左手中正固持移动装置200。移动装置200的相机导向所关注对象320 (例如，目标)，且所关注对象的图像322在屏幕222上显示。在一实施例中，移动装置200经配置以经由所存储指令214(即，特征提取模块162)辨识图像322。所关注对象图像322由AR系统辨识，且与图像322相关联的扩增信息可(例如，从移动装置200或从服务器系统110)检索。举例来说，扩增信息可为3D模型以扩增所关注对象320的大小和形状。在一实施例中，此信息可包含用于扩增的模型视图(Ml)和投影(PD矩阵。
[0044]在下一图像304中，所关注对象的图像322基于扩增信息变换到扩增对象324a。在此实例中，扩增324a是“欢迎光临我们的网站”公告牌。扩增324a的尺寸和定向可与所关注对象的图像322对准。举例来说，扩增324a与所关注对象320相关联且使用矩阵Ml和Pl在视频图像322的顶部上显示。
[0045]移动装置200可接收例如屏幕点击、屏幕滑动、语音命令或摇晃等用户输入，且可产生矩阵M2和P2的新的集合。可使用其它事件(例如，系统或用户激活的)来产生所述矩阵M2和P2的新的集合。这些新矩阵可描述扩增324b的最终屏幕对准所要位置。举例来说，参看接下来的图像306、308，扩增324c在3D空间中旋转以呈现为垂直于检视屏幕222。所述事件触发M1-M2与P1-P2矩阵之间的转变。如后续图像308、310、312中所描绘，扩增324c继续从3D位置到一或多个中间转变324d直到最终屏幕对准位置324e的转变。最终屏幕对准位置324e的全屏外观仅是示范性的，且不是限制。最终屏幕对准位置可小于全屏(例如，如例如324d中描绘)。最终图像312展示移动装置200在非AR模式中操作，其中最终屏幕对准位置324e的图像可为例如网络浏览器等交互式应用(即，显示与“欢迎光临我们的网站”网站相关联的页)。其它非AR模式应用也可在转变结束时使用(例如，电话、绘图、游戏、文字处理等……)。
[0046]作为一实例且非限制，所述转变可利用内插方法执行。举例来说，在每个帧上，可计算M1-M2与P1-P2之间的内插。一般来说，针对帧X的转变矩阵界定为Mx =内插(Ml、M2)以及Px =内插(P1、P2)。完成内插所需的帧数目依据实施方案而定。内插方法(即，内插(1、i))也可根据实施方案变化。举例来说，所述内插可为线性的、加速度、减速度或曲线。扩增的初始位置由Ml和Pl矩阵界定。还可使用其它内插函数。每个帧上的后续位置由Mx、Px转变矩阵给出。扩增的最终位置由M2和P2矩阵界定。
[0047]在一实施例中，可使用其它坐标系以及动态开始和结束点。所述转变可利用使用所关注对象320作为参考的坐标系。矩阵Ml和M2可相对于所关注对象320的初始位置界定。Ml和Pl矩阵可随时间(例如，由于跟踪改变)而改变。M2和P2矩阵也可随时间改变。矩阵Mx和Px可分别通过内插M1-M2和P1-P2的当前值来计算。
[0048]参看图4，进一步参看图3，展示扩增的从AR视图模式到屏幕对准视图的转变的自上而下说明400。说明400通常称为检视平截头体且包含前部401、视频背景402、扩增的初始位置(例如，3D对象)404、运动的转变路径406，以及扩增的所要最终位置408。一般来说，说明400中的梯形体积是描述可显示的最近和最远事物(例如，分别为前部401和视频背景402)的概念工具。在一实施例中，扩增的初始位置404可表示所关注对象322的初始大小、相对位置和定向，以及接着对应的扩增324a。作为一实例，在触发事件(例如，点击、滑动，或其它系统激活的触发)之后，扩增324a沿着转变运动路径406变换到扩增的所要最终位置408。转变运动路径406也可为弯曲的。举例来说，变换路径可基于移动装置200和所关注对象320的相对位置调整或重新计算。变换路径还可基于移动装置200中的惯性传感器232调整。因此，转变运动路径306可随着所关注对象320和对应扩增324a跨越显示器222移动(例如，当用户平移移动装置时)补偿。在一实施例中，当扩增到达扩增的所要最终位置408时，移动装置在非AR模式中显示与所关注对象320相关联的信息。
[0049]参看图5，进一步参看图3，展示视频补丁从AR视图模式到屏幕对准视图的转变的示范性说明500。在第一图像502中，用户301将移动装置200的相机指向所关注对象320。所关注对象的视频图像322在屏幕222上显示。在一实施例中，移动装置200包含AR视图模式且经配置以经由所存储指令214(即，特征提取模块162)辨识图像322。所关注对象图像322由AR系统辨识，且与图像322相关联的扩增信息可(例如，从移动装置200或从服务器系统110)检索。扩增信息可界定例如所关注对象320的大小和形状，且可包含表示所关注对象320的虚拟对象的模型视图(Ml)和投影(Pl)矩阵。在下一图像504中，显示所关注对象320的视频补丁 322b (例如，与图像304中说明的扩增324a相比)。
[0050]参看下一图像506，在触发事件(B卩，用户输入、系统触发)之后，可产生矩阵M2和P2的新的集合。这些新矩阵可描述所关注对象的最终屏幕对准所要位置。补丁 322a可表示所关注对象320的视频图像。在一实施例中，补丁 322a可为从视频图像322导出的一种类型的扩增。可触发M1-M2与P1-P2之间的转变。参看后续图像508、510、512，可确定从原始视频补丁的位置322b ( S卩，所关注对象320的)到视频补丁的屏幕对准位置322e的转变。举例来说，在每个帧上，可计算M1-M2与P1-P2之间的内插。针对帧X的矩阵可界定为Mx=内插(Ml、M2)以及Px=内插(P1、P2)。完成内插所花费的帧的数目可依据实施方案而定。内插方法(即，内插(1、i))可变化。作为实例而非限制，所述内插可为线性的、力口速度、减速度或曲线。视频补丁的初始位置322a可由Ml和Pl矩阵界定。每个帧上的后续位置可由Mx、Px转变矩阵给出。视频补丁的最终位置322e可由M2和P2矩阵界定。M2和P2矩阵不限于全屏模式(S卩，其可表示屏幕区域的较小部分)。在一实施例中，变换可分解为多个步骤。举例来说，变换可以Ml和M2的旋转信息开始，随后是缩放和平移。在一实例中，M1-M2和P1-P2的内插可以循序次序而非同时执行。在另一实例中，模型视图和投影矩阵可分别组合为单一矩阵SI = M1*P1和S2 = M2*P2，从所述单一矩阵发生内插Sx =内插(S1、S2)。
[0051]参看图6，进一步参看图5，展示视频补丁的从AR视图模式到屏幕对准视图的转变的自上而下说明600。说明600包含检视平截头体，其具有前部601、视频背景602、扩增的初始位置604、视频背景上的扩增的投影604a ( S卩，视频补丁)、转变运动路径606、视频补丁的所要最终位置608、用于计算扩增的视频补丁的投影线610，以及观测者612。在此实例中，扩增604不在屏幕222上再现，而是用于确定视频补丁 604a。即，视频补丁 604a是初始扩增604到视频背景上的投影。接着基于视频补丁 604a确定转变。视频补丁 604a沿着转变运动路径606变换到视频补丁的所要最终位置608。如先前描述，转变运动路径可为弯曲的(例如，基于所关注对象320与相机220或移动装置200内的其它传感器232之间的相对位置)。
[0052]参看图7，进一步参看图3和5，展示对象从AR视图模式到屏幕对准模式的双转变的示范性说明700。在第一图像702中，用户301将移动装置200的相机220指向所关注对象320。所关注对象的视频图像322在屏幕222上显示。在一实施例中，移动装置200包含AR视图模式且经配置以经由所存储指令214(即，特征提取模块162)辨识图像322。所关注对象图像322由AR系统辨识，且与图像322相关联的扩增信息可(例如，从移动装置200或从服务器系统110)检索。在下一图像704中，显示所关注对象320的视频补丁 322a。在下一图像706中，位置信息与媒体表示之间的转变开始。可使用事件(即，用户点击、滑动、摇晃或其它系统事件)来起始转变。在一实例中，第一媒体表示可为视频补丁 322a，且第二媒体呈现可为所关注对象的扩增(例如，“欢迎光临我们的网站”公告牌扩增324a)。媒体表示的位置和定向可同延。举例来说，转变对象722a可包含在屏幕222上具有变化的不透明因数的媒体表示(例如，一个媒体表示的不透明性可递增，而另一媒体表示的不透明性递减)。
[0053]在后续图像708、710中，转变对象772a的大小和定向可根据转变路径变化(例如，线性内插、加速度、减速度或曲线)，且媒体表示的不透明性可基于与媒体相关联的图像参数(例如，颜色方案、对比度、亮度)。从原始视频补丁 322a的3D位置到屏幕对准位置724的转变可以多种方式计算。举例来说，在每个帧上，可计算两个位置之间的内插。还可计算第一媒体表示与第二表示之间的转变。完成转变所需的帧数目可依据实施方案而定。空间和媒体转变方法也可根据实施方案变化。在一实例中，转变可为α混合。即，表示的初始形式为视频补丁，且表示的最终形式为“欢迎光临我们的网站”公告牌。开始与结束转变之间的帧提供两个媒体的α混合融合。
[0054]在转变结束时，如图像712中所见，向用户呈现应用的屏幕对准位置724中的非AR视图。
[0055]在一实施例中，扩增和视频补丁信息可当用户已完成其交互(例如，通过按压关闭(X)按钮)时通过在扩增仍为全屏的同时接通相机从而重获所关注对象320且执行相反转变而从非AR视图模式转变回到相机坐标空间中。如果所关注对象320不再处于视图中，那么扩增可执行预先存储的转变(例如，收缩，同时向后平移到水平位置，继续收缩直到其消失为止)，或执行到新AR视图的折衷转变(例如，收缩，同时平移到AR模式中新辨识平面的角，接着继续收缩直到其消失为止)。可执行其它相反转变。
[0056]在操作中，参看图8，进一步参看图3-7，用于使用移动装置200将扩增从3D空间平移到屏幕对准空间的过程800包含所展示的阶段。然而，过程800仅为示范性的且不具有限制性。过程800可例如通过添加、移除或重新布置阶段而更改。
[0057]在阶段802处，所关注对象可在移动装置200上显示。举例来说，用户301可将移动装置200的相机220导向所关注对象320。移动装置可经配置以在AR视图模式中操作。一般来说，所关注对象320为真实世界对象，例如公告牌、指示牌、杂志广告或可检视的其它对象。在一实施例中，所关注对象未视觉上检测到而是经由移动装置200上的其它传感器接收。举例来说，与实体位置相关联的扩增信息可经由无线网络提供到移动装置。因此，在此实例中，实体位置是所关注对象，且扩增信息可在不感测视觉目标的情况下显示。
[0058]在阶段804处，移动装置200可确定包含与所关注对象相关联的模型视图(Ml)和投影(PD矩阵的扩增信息。在一实施例中，用于确定扩增信息的算法包含对所关注对象执行特征辨识，以及接收待使用的扩增信息。扩增信息可存储在本地(例如，在数据库212内)，或可从远程服务器110接收。扩增信息可为扩增对象(例如，“欢迎光临我们的网站”公告牌)，或所关注对象的视频补丁，或两者的组合。扩增信息可界定例如所关注对象的大小和形状，且可包含表示所关注对象的虚拟对象的Ml和Pl矩阵。在阶段806处，扩增信息可在所关注对象的图像上方使用Ml和Pl矩阵显示。举例来说，参看图3的前两个图像302、304，如果扩增信息是扩增对象，那么扩增对象可以类似于所关注对象的图像的大小和定向的大小和定向在显示屏上出现。
[0059]在阶段808处，移动装置200可计算矩阵M2和P2的新的集合，其描述扩增信息的最终屏幕对准所要位置。举例来说，矩阵M2和P2可基于扩增信息的视觉维度和图形显示器222的可用显示区域或分辨率。可使用例如移动装置的定向等其它因素来确定所要屏幕对准。在阶段810处，可估计用于从M1-M2和P1-P2的转变的帧的数目。最简单估计值可为两个帧，但可使用较高数目的帧。举例来说，帧的数目可基于移动装置200的处理能力、扩增信息的复杂性，以及图形显示器222的分辨率。在一实施例中，待使用的帧的数目与扩增信息一起提供，或为固定值。待使用的帧的数目还可在转变期间基于所关注对象320与移动装置的相对位置来调整。举例来说，如果用户在起始转变之后平移相机，那么所述过程可包含随着转变跟踪所关注对象的相对运动而增加帧数目的步骤。
[0060]在阶段812处，移动装置200确定针对转变的每一帧的矩阵Mx和Px。转变中的帧数目不需要为固定数字，因为每一后续转变矩阵Mx和Px可为从先前矩阵的内插。可在确定后续矩阵Mx和Px之前显示转变的帧。转变运动路径M1-M2、P1-P2可基于处理器能力、扩增信息的复杂性、移动装置运动和可影响解决方案的效率的其它变量而优化。在阶段814处，基于帧的所计算Mx和Px矩阵针对所述帧显示扩增信息。因此，从用户的视角来看，扩增信息的大小、形状和/或定向将随着每一新的帧转变到所要位置直到在阶段816处显示最终帧为止。
[0061 ] 在阶段818处，可执行非AR应用。一般来说，非AR应用与所关注对象320相关联。作为一实例而非限制，所关注对象320可为杂志广告，且非AR应用可为显示广告商的主页的网络浏览器。可使用其它所关注对象与应用组合。
[0062]本文描述的通信和数据存取技术可结合例如无线广域网(WffAN)、无线局域网(WLAN)、无线个域网(WPAN)等各种无线通信网络实施。术语“网络”和“系统”通常可互换使用。WffAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络等。CDMA网络可实施例如cdma2000、宽带CDMA(W-CDMA)等一或多种无线电接入(RAT)技术。Cdma2000包含IS-95、IS-2000和IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。GSM和W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中。Cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP和3GPP2文献是公开可获得的。WLAN可为IEEE 802.1lx网络，且WPAN可为蓝牙网络、IEEE802.15x，或某一其它类型的网络。所述技术还可结合WWAN、WLAN和/或WPAN的任何组合实施。
[0063]本文描述的方法可依据特定应用以不同方式且利用不同配置实施。举例来说，此类方法可实施在硬件、固件和/或其组合(连同软件)中。举例来说，在硬件实施方案中，可在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSro)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它装置单元和/或其组合内实施处理单元。
[0064]本文描述的存储媒体可包括初级、次级和/或三级存储媒体。初级存储媒体可例如包含例如随机存取存储器和/或只读存储器等存储器。次级存储媒体可包含例如磁性或固态硬盘驱动器等大容量存储装置。三级存储媒体可包含可装卸式存储媒体，例如磁盘或光盘、磁带、固态存储装置等。在某些实施方案中，存储媒体或其部分可操作地接收或已其它方式可配置以耦合到计算平台的其它组件(例如，处理器)。
[0065]在至少一些实施方案中，本文描述的存储媒体的一或多个部分可存储表示如存储媒体的特定状态表达的数据和/或信息的信号。举例来说，表示数据和/或信息的电子信号可通过影响或改变存储媒体(例如，存储器)的一部分的状态以将数据和/或信息表示为二进制信息(例如，I和O)而“存储”在存储媒体的此类部分中。如此，在特定实施方案中，用以存储表示数据和/或信息的信号的存储媒体的所述部分的此状态改变组成存储媒体到不同状态或事物的变换。
[0066]在先前详细描述中，已陈述许多特定细节以提供对所主张的标的物的彻底理解。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所主张的标的物。在其它例子中，未描述一般技术人员将已知的方法和设备以免混淆所主张的标的物。
[0067]先前详细描述的一些部分已依据对存储在特定设备或专用计算装置或平台的存储器内的二进制数字电子信号的运算的算法或符号表示而呈现。在此特定说明书的上下文中，术语特定设备等包含通用计算机，其一旦编程就依据来自程序软件的指令执行特定功能。算法描述或符号表示是信号处理或相关【技术领域】的一般技术人员用来向所属领域的其他技术人员传达其工作实质的技术的实例。算法在此处且通常视为产生所要结果的运算或类似信号处理的自相容序列。在此上下文中，操作或处理涉及对物理量的物理操纵。通常(尽管并非必须)，此些量可采取能够作为表示信息的电子信号存储、传递、组合、比较或以其它方式操纵的电或磁信号的形式。主要出于常见用途的原因，将此类信号称为位、数据、值、元素、符号、字符、项目、数字、标号、信息等有时已证明是方便的。然而，应理解，所有这些或类似术语将与适当物理量相关联且仅是方便的标签。
[0068]除非另外特别陈述，否则如从以下论述显而易见，应了解，贯穿本说明书中利用例如“处理”、“计算”、“估算”、“识别”、“确定”、“建立”、“获得”等术语的论述指代例如专用计算机或类似专用电子计算装置等特定设备的动作或过程。因此，在本说明书的上下文中，专用计算机或类似专用电子计算装置能够操纵或变换信号(通常所表示的计算机可读存储媒体)，例如专用计算机或类似专用电子计算装置的存储器、寄存器或其它信息存储装置、发射装置或显示装置内的物理电子或磁性量。在此特定专利申请案的上下文中，术语“特定设备”可包含通用计算机，其一旦经由计算机可读指令编程就依据来自程序软件的指令执行特定功能。
[0069]贯穿本说明书中对“一个实例”、“一实例”、“特定实例”或“示范性实施方案”的参考意味着，结合特征和/或实例描述的特定特征、结构或特性可包含在所主张的标的物的至少一个特征和/或实例中。因此，贯穿本说明书中各处短语“在一个实例中”、“一实例”、“在特定实例中”或“在示范性实施方案中”或其它类似短语的出现不一定全部指代相同特征、实例和/或限制。此外，可在一或多个实例和/或特征中组合特定特征、结构或特性。
[0070]虽然已说明和描述了目前被视为实例特征的内容，但所属领域的技术人员将理解，在不脱离所主张的标的物的情况下，可作出各种其它修改且可用等效内容取代。另外，在不脱离本文中所描述的中心概念的情况下，可作出许多修改以使一特定情形适合所主张的标的物的教示。因此，希望所主张的标的物不限于所揭示的特定实例，而是希望此所主张的标的物还可包含落在所附权利要求书范围内的所有方面及其等效物。
【权利要求】
1.一种方法，其包括: 确定与所关注对象相关联的扩增信息，包含模型视图(Ml)矩阵和投影(Pl)矩阵； 使用所述Ml和Pl矩阵在所述所关注对象的视频图像的顶部上显示所述扩增信息；产生第二模型视图(M2)矩阵和第二投影(P2)矩阵，其中所述矩阵M2和P2表示所述扩增信息的屏幕对准最终位置；以及 使用所述M2和P2矩阵显示所述扩增信息。
2.根据权利要求1所述的方法，其包括: 确定至少一个转变矩阵Mx和至少一个转变矩阵Px，其中Mx为内插(Ml、M2)且Px为内插(P1、P2);以及 使用所述矩阵Mx和Px显示所述扩增信息。
3.根据权利要求2所述的方法，其中所述内插(M1、M2)和所述内插(P1、P2)为线性内插。
4.根据权利要求2所述的方法，其中基于由加速度、减速度和曲线组成的函数的群组确定所述内插(Ml、M2)和所述内插(P1、P2)。
5.根据权利要求1所述的方法，其中所述扩增信息对应于所述所关注对象的视频补丁。
6.根据权利要求1所述的方法，其中所述扩增信息对应于所述所关注对象的扩增。
7.根据权利要求1所述的方法，其中所述扩增信息对应于所述所关注对象的视频补丁与扩增的α混合融合。
8.根据权利要求1所述的方法，其包括在非扩增视图模式中显示与所述所关注对象相关联的应用。
9.一种方法，其包括: 在移动装置上显示所关注对象； 确定与所述所关注对象相关联的扩增信息，包含模型视图(Ml)矩阵和投影(Pl)矩阵； 使用所述Ml和Pl矩阵在所述所关注对象的图像的顶部上显示所述扩增信息； 计算第二模型视图(M2)矩阵和第二投影(Ρ2)矩阵，其中所述M2和Ρ2矩阵表示所述扩增信息的所要最终位置； 估计用于转变的帧的数目； 针对所述转变的每一帧确定转变矩阵Mx和转变矩阵Px ； 使用所述Mx和Px矩阵显示每一帧中的所述扩增信息； 使用所述M2和Ρ2矩阵显示最终帧；以及 执行与所述所关注对象相关联的应用。
10.根据权利要求9所述的方法，其中确定所述转变矩阵Mx和Px分别基于Ml与M2以及Pl与Ρ2之间的内插。
11.根据权利要求10所述的方法，其中所述内插选自由线性、加速度、减速度和曲线组成的方法的群组。
12.—种设备,其包括: 移动装置，其包括: 图形显示器，其经配置以显示所关注对象；以及 处理器，其以指令编程以: 确定与所述所关注对象相关联的扩增信息，其中所述扩增信息包含模型视图(Ml)矩阵和投影(PD矩阵； 使用所述Ml和Pl矩阵在所述所关注对象的视频图像的顶部上显示所述扩增信息；产生第二模型视图(M2)矩阵和第二投影(P2)矩阵，其中所述矩阵M2和P2表示所述扩增信息的屏幕对准最终位置； 确定至少一个转变矩阵Mx和至少一个转变矩阵Px，其中Mx为内插(Ml、M2)且Px为内插(P1、P2);且 使用所述矩阵Mx和Px显示所述扩增信息。
13.根据权利要求12所述的设备，其中所述处理器进一步以指令编程以在使用所述矩阵M2和P2显示所述扩增信息之后执行与所述所关注对象相关联的应用。
14.根据权利要求12所述的设备，其中所述处理器进一步以指令编程以使用选自由线性内插、加速度、减速度和曲线组成的群组的内插方法确定所述至少一个转变矩阵Mx。
15.根据权利要求12所述的设备，其中所述处理器进一步以指令编程以使用选自由线性内插、加速度、减速度和曲线组成的群组的内插方法确定所述至少一个转变矩阵Px。
16.根据权利要求12所述的设备，其中所述处理器进一步以指令编程以显示对应于所述所关注对象的视频补丁的扩增信息。
17.根据权利要求12所述的设备，其中所述处理器进一步以指令编程以显示对应于所述所关注对象的扩增的扩增信息。
18.根据权利要求12所述的设备，其中所述处理器进一步以指令编程以显示对应于所述所关注对象的视频补丁与扩增的α混合融合的扩增信息。
19.一种计算机可读存储媒体，其上存储有用于将空间对准信息转变为屏幕对准信息的计算机可读指令，包括经配置以致使至少一个处理器进行以下操作的指令: 在移动装置上显示所关注对象； 确定与所述所关注对象相关联的扩增信息，包含模型视图(Ml)矩阵和投影(Pl)矩阵； 使用所述Ml和Pl矩阵在所述所关注对象的图像的顶部上显示所述扩增信息； 计算第二模型视图(M2)矩阵和第二投影(Ρ2)矩阵，其中所述M2和Ρ2矩阵表示所述扩增信息的所要最终位置； 估计用于转变的帧的数目； 针对所述转变的每一帧确定转变矩阵Mx和转变矩阵Px ； 使用所述Mx和Px矩阵显示每一帧中的所述扩增信息； 使用所述M2和Ρ2矩阵显示最终帧；以及 执行与所述所关注对象相关联的应用。
20.根据权利要求19所述的计算机可读存储媒体，其包括经配置以致使至少一个处理器分别基于Ml与M2以及Pl与Ρ2之间的内插确定所述转变矩阵Mx和Px的指令。
21.根据权利要求20所述的计算机可读存储媒体，其包括经配置以致使至少一个处理器利用线性内插方法来确定所述转变矩阵Mx和Px的指令。
22.根据权利要求19所述的计算机可读存储媒体，其包括经配置以致使至少一个处理器显示对应于所述所关注对象的视频补丁的扩增信息的指令。
23.根据权利要求19所述的计算机可读存储媒体，其包括经配置以致使至少一个处理器显示对应于所述所关注对象的视频补丁与扩增的α混合融合的扩增信息的指令。
【文档编号】G06T19/00GK104380346SQ201380031874
【公开日】2015年2月25日 申请日期:2013年5月24日 优先权日:2012年6月26日
【发明者】S·A·莉泽恩比, E·金, P·O·尼尔森, G·V·赖特, E·门德斯·门德斯, M·盖尔沃茨 申请人:高通股份有限公司