用于无线通信装置的免提增强现实的制作方法
【专利摘要】本发明涉及用于在无线通信装置WCD上提供免提增强现实的技术。根据所述技术，所述WCD内的应用程序处理器执行增强现实AR应用程序以接收多个图像帧，且将所述多个图像帧转换为包括缝合在一起以表示场景的所述多个图像帧的单个图片。执行所述AR应用程序的所述WCD随后从AR数据库服务器请求在所述单个图片中表示的所述场景的AR内容，从所述AR数据库服务器接收所述场景的AR内容，且处理所述AR内容以覆盖所述单个图片以在所述WCD上向用户显示。以此方式，用户可在所述WCD的显示器上舒适地看着具有覆盖的AR内容的所述单个图片，以关于所述单个图片中表示的所述场景了解更多。
【专利说明】用于无线通信装置的免提增强现实
[0001]本申请案主张2011年11月8日申请的第61/557，265号美国临时申请案的权益，所述美国临时申请案的整个内容以应用的方式并入本文。
【技术领域】
[0002]本发明涉及无线通信装置，且更特定来说涉及无线通信装置上的增强现实应用程序。
【背景技术】
[0003]无线通信装置(WCD)包含移动电话、具有无线通信卡的便携式计算机、个人数字助理(PDA)、便携式媒体播放器、便携式游戏装置或具有无线通信能力的其它装置，包含所谓的“智能”电话和“智能”垫或平板。WCD通常由有限的电池资源供电。改进的电池寿命和电池寿命节省因此是在设计WCD以及在WCD上运行的应用程序时的重要问题。然而，电池寿命的问题受到在WCD上运行的应用程序中的增加特征的需求抵消。
[0004]作为一个实例，增强现实(AR)应用程序在WCD上正在变得越来越流行。AR应用程序在WCD中通过搜集在正由WCD内的相机俘获的实时视频中表示的场景的信息而操作。AR应用程序将实时视频发送到AR服务器。AR应用程序随后从AR服务器接收在实时视频中表示的场景的AR内容，且将AR内容覆盖在实时视频上以用于向用户显示。AR内容可包含关于实时视频的场景中包含的商业、地标、运输、人口、对象和类似物等的信息。
[0005]当AR应用程序正在WCD中执行时，以上步骤可发生以将实时视频的每一场景的AR内容呈现给WCD的用户。举例来说，WCD的用户可沿着城市街道在单个方向上拍摄视频，且接收所述场景的信息。当用户移位、倾斜或平移WCD时，WCD内的相机将例如沿着同一街道在不同方向上俘获表示不同场景的实时视频，且将重复以上步骤以接收新场景的信息。
【发明内容】
[0006]大体上，本发明涉及用于在无线通信装置(WCD)上提供免提增强现实的技术。根据所述技术，所述WCD内的应用程序处理器执行增强现实(AR)应用程序以接收多个图像帧，且将所述多个图像帧转换为包含经缝合在一起以表示场景的所述多个图像帧的单个图像。在将图像帧转换为单个图片之后，执行AR应用程序的WCD从AR数据库服务器请求在单个图片中表示的场景的AR内容，从AR数据库服务器接收场景的AR内容，且处理AR内容以覆盖单个图片以在WCD上向用户显示。以此方式，用户可在WCD的显示器上舒适地看着具有覆盖的AR内容的单个图片，以关于单个图片中表示的场景了解更多，例如在俘获场景之后不一定连续地使WCD指向场景。举例来说，AR内容可包含关于单个图片的场景中包含的商业、地标、运输、人口、对象和类似物等的信息。
[0007]在一个实例中，本发明是针对一种以WCD执行增强现实应用程序的方法，其包括:以所述WCD的处理器接收各自表示场景的一部分的多个图像帧；以及将所述多个图像帧转换为单个图片，其中所述单个图片包括经缝合在一起以表示所述场景的所述多个图像帧。所述方法进一步包括:从AR数据库服务器请求所述单个图片中表示的所述场景的AR内容；从AR数据库服务器接收所述单个图片中表示的所述场景的AR内容；以及处理所述AR内容以覆盖所述单个图片用于在所述WCD上显示。
[0008]在另一实例中，本发明是针对一种用于执行增强现实应用程序的WCD，所述WCD包括:存储器，其用以存储图像数据；处理器，其经配置以:接收各自表示场景的一部分的多个图像帧；将所述多个图像帧转换为单个图片，其中所述单个图片包括经缝合在一起以表示所述场景的所述多个图像帧；从AR数据库服务器请求所述单个图片中表示的所述场景的AR内容；从所述AR数据库服务器接收所述单个图片中表示的所述场景的AR内容；以及处理所述AR内容以覆盖所述单个图片；以及显示器，其用以向所述WCD的用户呈现具有所述覆盖的AR内容的所述单个图片。
[0009]在又一实例中，本发明是针对一种用于执行增强现实应用程序的WCD，其包括:用于接收各自表示场景的一部分的多个图像帧的装置；以及用于将所述多个图像帧转换为单个图片的装置，其中所述单个图片包括经缝合在一起以表示所述场景的所述多个图像帧。所述WCD还包括:用于从AR数据库服务器请求所述单个图片中表示的所述场景的AR内容的装置；用于从所述AR数据库服务器接收所述单个图片中表示的所述场景的AR内容的装置；以及用于处理所述AR内容以覆盖所述单个图片用于在所述WCD上显示的装置。
[0010]在另一实例中，本发明是针对一种包括用于执行增强现实应用程序的指令的计算机可读媒体，所述指令当在WCD中执行时致使一或多个可编程处理器:接收各自表示场景的一部分的多个图像帧；将所述多个图像帧转换为单个图片，其中所述单个图片包括经缝合在一起以表示所述场景的所述多个图像帧；从AR数据库服务器请求所述单个图片中表示的所述场景的AR内容；从所述AR数据库服务器接收所述单个图片中表示的所述场景的AR内容；以及处理所述AR内容以覆盖所述单个图片用于在所述WCD上显示。
[0011]在附图和以下描述中陈述本发明的一个或一个以上实例的细节。从描述和图式以及从权利要求书将明了其它特征、目的和优点。
【专利附图】
【附图说明】
[0012]图1是图解说明根据所揭示技术的实例能够提供免提增强现实的无线通信装置(WCD)的框图。
[0013]图2是图解说明根据常规技术执行增强现实应用程序的示范性WCD的概念图。
[0014]图3是图解说明根据所揭示技术的实例由执行免提增强现实应用程序的WCD产生的表示具有覆盖AR内容的单个图片的概念图。
[0015]图4是图解说明以WCD执行免提增强现实应用程序以在表示场景的单个图片上覆盖AR内容的示范性技术的流程图。
[0016]图5是图解说明基于对WCD的用户输入根据AR内容设定执行免提增强现实应用程序的示范性技术的流程图。
【具体实施方式】
[0017]图1是图解说明根据所揭示技术能够提供免提增强现实的无线通信装置(WCD) 10的框图。所述技术可视为“免提的”，因为用户不需要在相机20指向场景以接收和审阅场景的增强现实(AR)内容的情况下连续地固持WCD10。而是，所述技术使得用户能够将WCDlO舒适地固持在用户的膝盖上或将WCDlO放置于桌子上以在俘获场景之后审阅场景的AR内容，而无需连续地将WCDlO指向场景。
[0018]WCDlO可为移动装置，包含移动电话、具有无线通信卡的便携式计算机、个人数字助理(PDA)、便携式媒体播放器、便携式游戏装置或具有无线通信能力的另一装置，包含所谓的“智能”电话和“智能”垫或平板计算机。如图1中图解说明，WCDlO包含应用程序处理器12、增强现实(AR)应用程序14、显示器处理器16、显示器18、相机20、一或多个传感器
22、存储器24、发射器/接收器(TX/RX)26以及电池28，即基于电池的电力供应器。
[0019]大体上，应用程序处理器12提供其中包含AR应用程序14的多种应用程序可在WCDlO上运行的环境。额外实例应用程序包含文本处理应用程序、电子邮件应用程序、视频游戏应用程序、视频或图片幻灯片应用程序、呈现应用程序、视频会议应用程序和类似物。应用程序处理器12可从存储器24、相机20和/或传感器22接收供这些应用程序使用的数据。相机20可包含能够俘获静止图片和/或视频的图像传感器。传感器22可包含罗盘传感器、全球定位信号(GPS)传感器、或建立到WCDlO中的另一类型的位置确定传感器。为了在WCDlO上呈现应用程序数据，显示器处理器16处理来自应用程序处理器12的图像数据以用于在显示器18上呈现。在一些情况下，WCDlO还可包含视频编码器、视频解码器和/或视频编码器与解码器的组合，称为“编解码器”。
[0020]根据本发明的技术，WCDlO内的应用程序处理器12执行增强现实(AR)应用程序14以接收表示场景的不同部分的多个图像帧，且将所述多个图像帧转换为包含所述多个图像帧的单个图片。可将所述多个图像帧的全部或部分缝合在一起以形成表示场景的单个图片。在将图像帧转换为单个图片之后，应用程序处理器12从AR数据库服务器请求在单个图片中表示的场景的AR内容，从AR数据库服务器接收场景的AR内容，且处理AR内容以覆盖单个图片以在WCDlO上向用户显示。以此方式，用户可在WCDlO的显示器18上舒适地看着具有覆盖的AR内容的单个图片，以关于单个图片中表示的场景了解更多，例如虽然未朝向单个图片中俘获的场景定向。
[0021]在由应用程序处理器12执行时，AR应用程序14为WCDlO的用户提供关于在单个图片中表示的场景的信息。在单个图片中表示的场景可包含室外区域，包含街道、建筑物、车辆、公园、水体和类似物。场景还可包含室内区域,包含办公楼的内部和购物中心。另外，场景可包含人。场景类型的以上列表是示范性的，且不提供通过AR应用程序14可提供AR内容的场景类型的详尽列表。
[0022]为场景提供的AR内容可包含关于场景内的商业的信息，例如餐厅和酒吧的营业时间、菜单和特别之处、杂货店和零售店的销售、即将到来的事件和/或商业的顾客分级。AR内容还可包含关于场景中包含的城市或邻域的信息，例如公共运输时间表、公共公园信息、历史位点和事件、游客信息，和/或警察局和应急服务的位置。另外，AR内容可包含场景中包含的外语标志的翻译。AR内容可进一步包含场景中包含的人的识别，例如一个人是否以及如何经由社交联网公司连接到用户。AR内容还可包含环境信息，例如温度、天气预报和/或污染和过敏原水平。AR内容类型的以上列表是示范性的，且不提供通过AR应用程序14关于场景可提供的信息类型的详尽列表。
[0023]常规上执行的AR应用程序需要用户连续固持WCD，且用WCD中包含的相机在单个方向上拍摄场景的实时视频。在用户固持WCD且拍摄实时视频时，用户能够在“预览”窗口中查看覆盖在显示于WCD上的实时视频上的AR内容。一旦用户放下他的胳膊且停止拍摄实时视频，则场景和AR内容不再可用于用户查看。图2中图解说明常规执行的AR应用程序的实例。
[0024]常规技术可使用户为紧张的，且可因必须连续固持WCD以拍摄实时视频且在AR视频上查看AR内容而导致胳膊疲劳或所谓的“大猩猩臂”。提供免提增强现实的一个解决方案是佩戴虚拟现实(VR)护目镜，其将场景的AR内容覆盖到由用户佩戴的护目镜或眼镜上。这些护目镜可视为“令人讨厌的”，且使得用户甚至比固持WCD更紧张。另外，VR护目镜通常是昂贵的。这些两种常规技术都是不合意的，因为它们可使得用户紧张且较不可能使用AR应用程序。
[0025]本发明的技术通过将先前拍摄或记录的图像帧转换为表示场景的单个图片且将场景的AR内容覆盖在单个图片上而避免了这些问题。这允许用户在任何时间且在任何位置查看AR内容而不必朝向场景定向。以此方式，所述技术提供免提增强现实，而对WCDlO不需要护目镜或其它外部装置。
[0026]更具体来说，根据本发明的技术，应用程序处理器12执行AR应用程序14以接收各自表示场景的一部分的多个图像帧。图像帧可为多个静止图片或场景的视频数据的多个视频帧。在一些情况下，图像帧可从WCDlO外部的存储装置接收。在其它情况下，图像帧可由包含在WCDlO中的相机20俘获。
[0027]不同于需要用户连续运行WCD中包含的摄像机且在WCD的预览窗口中查看覆盖于实时视频上的AR内容的常规技术，所述技术允许用户拍摄场景的多个静止图片或几秒的视频数据。在一些实例中，图像帧可通过以全景方式在场景上扫掠WCDlO中包含的相机20以俘获多个静止图片或包含多个视频帧的几秒的视频来俘获。俘获的图像帧可随后直接发送到应用程序处理器12供AR应用程序14使用，或图像帧可存储在存储器24中且稍后由应用程序处理器12检索供AR应用程序14使用。
[0028]应用程序处理器12随后将来自多个静止图片或几秒的视频数据的所述多个图像帧转换为单个图片，其包括缝合在一起以表示场景的所述多个图像帧。在一些实例中，WCDlO内的应用程序处理器12可通过将所述多个图像帧缝合在一起而形成单个图片。应用程序处理器12可以多种常规方式中的任一者执行缝合，例如常规上用以缝合全景场景的那些方式。在其它实例中，WCDlO内的应用程序处理器12可经由TX/RX26将图像帧发送到远程服务器。在此实例中，应用程序处理器12指示远程服务器将所述多个图像帧缝合在一起以形成单个图片，且从远程服务器接收回单个图片。单个图片可在多个方向上表示城市街道、历史地点、邻域或类似物。以此方式，单个图片可包括场景的全景表示。
[0029]作为一实例，用户可通过将WCDlO中包含的相机20从给定位置旋转180或360度来以全景方式拍摄场景。在视频数据的情况中，用户可简单地在场景上扫掠WCDlO的相机20以每秒拍摄大约30帧。在静止图片的情况下，用户可用WCDlO的相机20拍摄静止图片，将相机20移动几度且拍摄下一静止图片，且随后再次移动相机20以拍摄另一静止图片，在整个场景上以此类推。在任一情况下，应用程序处理器12或远程服务器可将俘获的图像帧缝合在一起以产生单个全景图片。为了从多个静止图片产生单个图片，应用程序处理器12或远程服务器可经配置以将多个静止图片配合在一起且消除图片之间的冗余信息以形成无缝的单个图片。为了从多个视频帧(即，几秒的视频数据)产生单个图片，应用程序处理器12或远程服务器可在时间上对视频帧进行下取样且消除视频帧之间的冗余信息以形成无缝的单个图片。
[0030]产生的单个图片可为具有例如6000x1280像素大小的非常大的图像。在一些情况下，WCDlO的用户或WCDlO的应用程序处理器12可先验地决定是否通过在WCDlO处将图像帧缝合在一起或通过发送图像帧以在远程服务器处缝合在一起而产生单个图片。是否在WCDlO处或远程服务器处产生单个图片可取决于WCDlO处的存储器量、电池寿命和处理强度、WCDlO可用的当前数据速率，以及每兆字节(MB)数据的成本。应用程序处理器12例如可比较WCDlO的处理能力与远程服务器的处理能力。应用程序处理器12还可查看信号强度以确定需要多少电力来将单个图片对多个图像帧发送到远程服务器，以及以每MB的成本来将单个图片对多个图像帧发送到远程服务器。另外，应用程序处理器12可查看WCDlO内的电池28以确定WCD100的剩余电池寿命。
[0031]这些因素将针对每一 WCD和每一用户而变化。举例来说，如果WCDlO是具有不受限数据和良好信号强度的高速电话，那么应用程序处理器12应在本机将图像帧缝合在一起以形成单个图片。另一方面，如果WCDlO是低特征电话，那么应用程序处理器12应将图像帧发送到远程服务器用于缝合以产生单个图片，除非与WCDlO相关联的数据计划非常昂贵。在所述情况下，应用程序处理器12将所述多个图像帧发送到远程服务器且随后从服务器接收缝合的单个图片可为成本过高的。另外，如果WCDlO的电池28具有满电力，那么应用程序处理器12可将图像帧发送到远程服务器用于缝合以产生单个图片，且从远程服务器接收回单个图片。然而如果WCDlO中的电池28的电力电平为低的，那么应用程序处理器12可改为在本机缝合图像帧以产生单个图片。
[0032]在将图像帧转换为单个图片之后，执行AR应用程序14的应用程序处理器12从AR数据库服务器请求在单个图片中表示的场景的AR内容。应用程序处理器12可通过将单个图片发送到AR数据库服务器来请求场景的AR内容。在其它情况下，应用程序处理器12可通过将多个图像帧中的一或多者发送到AR数据库服务器来请求场景的AR内容。通常，AR数据库服务器包括WCDlO远程的服务器，使得应用程序处理器12经由TX/RX26将单个图片发送到AR数据库服务器。在第一远程服务器产生单个图片的情况下，AR数据库可存储在相同的第一远程服务器处或存储在不同的第二远程服务器处。在其它实例中，AR数据库可存储在WCDlO中。
[0033]在本发明中，所述技术主要是根据单个图片从WCDlO发送到AR数据库服务器以请求与单个图片中表示的场景相关联的AR内容的情况来描述。然而应了解，所述技术也可应用于多个图像帧(例如，多个静止图片或多个视频帧)直接发送到AR数据库服务器以请求图像帧中的每一者的AR内容的情况中。在接收到AR内容之后，应用程序处理器12可将图像帧中的每一者的AR内容应用于单个图片。
[0034]无论针对场景如何请求AR内容，WCDlO均可接收单个图片中表示的整个场景的AR内容。应用程序处理器12处理AR内容以覆盖单个图片。在一些实例中，显示器处理器16可与应用程序处理器12 —起操作以执行AR内容的处理或再现。显示器处理器16随后准备具有覆盖的AR内容的单个图片以用于在WCDlO的显示器18上向用户呈现。以此方式，WCDlO的用户可在显示器18上舒适地看着具有覆盖的AR内容的单个图片，以关于周围区域了解更多，例如虽然是坐着或未朝向图像中俘获的场景定向。
[0035]AR内容可包含表示单个图片中表示的场景的AR内容的文本和/或图形。AR内容还可包含对应于单个图片的文本和/或图形的位置信息。举例来说，AR内容可包含描述单个图片中俘获的地点处的事件的文本。AR内容还将包含单个图片中将放置文本的地点的位置信息，例如(X，y)像素位置。
[0036]通常，AR数据库服务器将仅将AR内容与对应于单个图片的位置信息一起发送回到应用程序处理器12。举例来说，AR内容的每一项目包含相关联坐标，以便将表示AR内容的文本和/或图形放置于单个图片上的正确位置处。与AR数据库服务器在单个图片上定位AR内容且将具有覆盖AR内容的大体积单个图片发送回到WCDlO相比这是较不耗时且较不耗电力的。然而在一些实例中，AR数据库服务器可将整个单个图片与覆盖的AR内容一起发送回到WCD10。在所述情况下，应用程序处理器12和/或显示器处理器16处理或再现所接收单个图片与覆盖的AR内容供在显示器18上呈现。
[0037]连同单个图片一起，应用程序处理器12还可将与图像帧和/或单个图片的产生相关联的位置和/或视角信息发送到AR数据库服务器。以此方式，应用程序处理器12可至少部分地基于在俘获对象时对象相对于用户的位置而接收在单个图片中表示的场景包含的对象的AR内容。应用程序处理器12可从例如罗盘传感器、GPS传感器或类似物等一或多个传感器22接收位置和/或视角信息。应用程序处理器12可接收所述多个图像帧的位置和/或视角信息，所述多个图像帧各自表示场景的一部分且经缝合在一起以形成单个图片。以此方式，在单个图片中表示的场景的不同部分可具有不同的位置和/或视角信息。在一些情况下，应用程序处理器12还可将与图像帧和/或单个图片的产生相关联的时间和日期信息发送到AR数据库服务器，以便接收指示单个图片中表示的场景与场景的先前图片之间的差异的场景的AR内容。
[0038]本发明中描述的免提AR技术与常规AR技术相比允许对单个图片中俘获的场景的稳健得多的查看。在常规AR技术中，用户在固持WCD且拍摄实时视频时预期瞬时AR内容。这允许仅有限量的容易确定的AR内容覆盖在实时视频上。另外，在常规技术中，用户可移动或扫掠WCD中的相机，使得场景的视图恒定地改变。花费较长时间来检索的AR内容在WCD接收到AR内容时可为陈旧的。举例来说，当WCD接收到特定地标的AR内容时，用户可能已改变实时视频的方向，使得特定地标不再包含于由实时视频俘获的场景中且不需要AR内容。
[0039]根据本发明的技术，用户能够关于场景的静态单个图片坐或站历时与用户的希望一样长的时间。因此用户可能更愿意等待较长时间来检索和处理与单个图片中表示的场景相关联的所有AR内容供显示。对较长等待时间的折中可为包含例如到网站和视频的链接的AR内容的较大量且较高水平的细节。用户还能够在场景的单个图片上和内导览。举例来说，所述技术使得用户能够在显示器18上查看具有覆盖的AR内容的单个图片时执行图像操作，例如平移、倾斜、滚动和缩放操作。以此方式，在用户平移和缩放到单个图片中俘获的特定区或建筑物中时，可显露所述区内的额外AR内容。
[0040]作为较特定实例，响应于用户输入，应用程序处理器12和/或显示器处理器16可对单个图片执行一或多个图像操作，例如平移、倾斜、滚动和缩放操作，以产生单个图片中表示的场景的新视图。在执行图像操作之后，应用程序处理器12和/或显示器处理器16可更新AR内容以通过从单个图片添加或移除AR内容中的一种操作来覆盖单个图片中的新视图。在一些情况下，更新AR内容可包含从AR数据库服务器请求单个图片中表示的场景的额外AR内容。
[0041]在一些情况下，应用程序处理器12可接收用以产生单个图片的多个图像帧中的每一者的位置信息(例如GPS读数)和视角信息(例如罗盘读数)。以此方式，当WCDlO的用户聚焦于单个图片中表示的场景的特定部分时，应用程序处理器12可基于针对表示场景的所述特定部分的图像帧接收的位置和/或视角信息而从AR数据库服务器请求额外AR内容。更具体来说，场景的部分的AR内容将包含基于场景的部分中的由AR数据库服务器辨识出的可见对象的信息以及基于当俘获图像帧时视觉对象相对于用户站立处的位置的信息。举例来说，如果用户在给定建筑物上放大，那么建筑物的AR内容可包含与在建筑物的外部上辨识的餐厅名称相关联的菜单、以及建筑物自身的名称和基于建筑物的相对位置在建筑物中包含的其它商业。
[0042]应用程序处理器12可基于用户输入确定AR内容设定。AR内容设定可包含将从AR数据库服务器接收的AR内容的一或多个类型、将从AR数据库服务器接收的AR内容的量，以及将从AR数据库服务器接收AR内容的时间。应用程序处理器12随后可根据AR内容设定从AR数据库服务器接收单个图片中表示的场景的AR内容。作为实例，用户可选择仅接收具有用户分级但不具有网站链接的餐厅信息，以便快速选择区域中的餐厅。当AR内容设定改变时，应用程序处理器12和/或显示器处理器16可更新AR内容以通过从单个图片添加或移除AR内容中的一种操作来覆盖单个图片。
[0043]在一些情况下，可渐进地接收AR内容。较容易检索的一些类型的AR内容可由应用程序处理器12处理以在单个图片上立即显示。在检索额外AR内容且发送回到应用程序处理器12时，处理额外AR内容且在单个图片上显示。以此方式，用户可立即开始接收一些AR内容以当正在渐进地检索、处理和显示剩余AR内容时开始了解单个图片中表示的场景。用户可在用户具有关于场景的足够信息时在任何时间停止渐进AR内容。另外，所述技术可允许将用以产生单个图片的图像帧中的至少一些实时地流式传输到AR数据库服务器，以便接收至少一些AR内容。在此情况下，WCDlO可接收一些AR内容以覆盖用以产生单个图片的几秒的实时视频数据。
[0044]在一些情况下，用以产生单个图片的图像帧可能不完整或具有不良质量。在一些实例中，应用程序处理器12可从AR数据库服务器接收针对来自WCDlO的额外较高分辨率图像帧的请求。这可在AR数据库服务器例如使用贾伯滤波器(Gabor filter)通过对单个图片进行滤波以找到文本且随后使用光学字符辨识(OCR)以读出文本来识别出单个图片中包含的文本时发生。如果所识别文本不可读，那么AR数据库服务器可将针对场景的部分的包含所述文本的高分辨率图片的请求发送到应用程序处理器12。
[0045]在其它实例中，应用程序处理器12可指示AR数据库服务器或另一远程服务器使用从外部存储装置(包含图像存储的网站)检索的额外图像帧来改善单个图片的质量。举例来说，AR数据库服务器或另一远程服务器可将单个图片中表示的场景的额外公共可用的图像发送到应用程序处理器12。额外图像帧可用以增加单个图片的大小和/或单个图片的质量。作为实例，当用户滚动或平移经过单个图片的边缘时，所述技术可基于场景的边缘处的位置和/或视角信息(例如，GPS和/或罗盘读数)检索额外图像帧。
[0046]所述技术还可使用额外图像帧来产生比较信息，其指示单个图片中表示的场景与场景的先前图片之间的差异。举例来说，AR数据库服务器或另一远程服务器可将当前单个图片中表示的场景的建筑物和地标与从公共可用网站检索的同一场景的先前图片进行比较。在此情况下，应用程序处理器12可接收比较信息以指示建筑物内的哪些建筑物和地标或商业是新的。作为实例，比较信息可用以指示近6个月内或某个其它选定时间范围内所述区域中的新餐厅。
[0047]本发明的免提A R技术可提供若干优点。举例来说，WCDlO的用户在他使用AR应用程序来了解关于特定场景(例如，邻域或历史地标)更多时将不会紧张或不会让人将他视为游客。另外，所述技术提供较少的臂疲劳，因为用户仅需要固持WCD一次以俘获若干静止图片或几秒的视频。用户可随后坐下以舒适地查看和欣赏具有覆盖的AR内容的单个图片而不必朝向单个图片中表示的场景连续地定向。
[0048]在应用程序处理器12从WCDlO中包含的相机20接收到多个图像帧的情况下，所述技术可使用较少电力来俘获图像帧，因为相机20仅需要俘获几秒的视频数据而不是连续俘获实时视频数据且与AR数据库服务器来回流式传输数据以接收关于区域的所有AR内容。另外，所述技术使用较少电力来与AR数据库服务器通信，因为单个图片中表示的场景中包含的对象仅需要识别和分析一次而不是每当用户俘获所述对象的实时视频时连续辨识同一图像。
[0049]图1中图解说明的WCDlO的组件仅是示范性的。在其它实例中，WCDlO可包含较多、较少和/或不同组件。WCDlO的组件可实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。WCDlO中的显示器18可包括多种显示装置中的一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
[0050]WCDlO中的存储器24可包括广泛多种易失性或非易失性存储器中的任一者，包含但不限于例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器，和类似物。存储器24可包括用于存储媒体数据以及其它种类数据的计算机可读存储媒体。存储器24另外存储由应用程序处理器12执行的指令和程序代码，作为执行本发明中描述的技术的部分。
[0051]WCDlO可在经设计以支持一或多种无线通信技术的通信系统内操作，所述技术例如码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)或正交频分多路复用(OFDM)。以上无线通信技术可根据多种无线电接入技术中的任一者来传达。举例来说，CDMA可根据cdma2000或宽带CDMA (WCDMA)标准来传达。TDMA可根据全球移动通信系统(GSM)标准来传达。通用移动电信系统(UMTS)标准准许使用用于OFDM的长期演进(LTE)的GSM或WCMA操作。另外，可使用高数据速率(HDR)技术，例如cdma20001xEV-D0。
[0052]WCDlO的通信系统可包含支持多个移动无线或WiFi (例如，IEEE802.1lx)网络的一或多个基站(未图示)。通信服务提供者可使用基站作为网络集线器在中央操作且管理这些网络中的一或多者。
[0053]图2是图解说明根据常规技术执行增强现实应用程序的示范性WCD30的概念图。常规上执行的AR应用程序需要用户连续固持WCD30，如图2中图解说明，且用WCD30中包含的相机拍摄场景的实时视频。随后连续地将实时视频流式传输到AR数据库服务器且WCD30从AR数据库服务器接收与实时视频中表示的场景相关联的AR内容。WCD30的用户在固持WCD且拍摄实时视频时预期瞬时AR内容。这允许仅有限量的容易确定的AR内容覆盖在实时视频上。
[0054]在图2中图解说明的实例中，用户固持WCD30且拍摄包含建筑物、公共运输和人的城市街道场景的实时视频。WCD30将实时视频发送到AR数据库服务器以请求实时视频中的场景的AR内容。WCD30随后接收且经由现场视频向用户显示AR内容信息32、34和36。在图2的实例中，AR内容32包含例如温度和花粉水平等环境信息，以及用于用户的消息接发信息。AR内容34包含与街道场景中包含的公交车相关联的公共运输调度信息。另外，AR内容36包含位于街道场景中包含的建筑物中的一者中的商业(例如餐厅、零售店或旅行社)的销售广告。
[0055]常规技术使用大量电力来连续拍摄实时视频且连续发送相同对象的图像以由AR数据库服务器再识别。举例来说，WCD30可将街道场景中包含的建筑物的实时视频流式传输到AR数据库服务器，且可连续接收为位于建筑物中的一者中的商业处的销售做广告的相同AR内容36。
[0056]另外，WCD30的用户可能正在移动或扫掠WCD30中的相机，或场景中原始包含的对象可能移出场景以使得街道场景的视图恒定地改变。花费较长时间检索的AR内容在WCD30接收到所述AR内容时可能是陈旧的。举例来说，在WCD30接收到包含与实时视频中原始包含的公交车相关联的公共运输调度信息的AR内容34时，公交车自身可能已驶出实时视频中表示的场景。在所述情况下，WCD30可不使用所接收AR内容34，因为其不与实时视频中俘获的当前街道场景中包含的对象相关联。在其它情况下，WCD30可根据位置信息处理和显示实时视频上的AR内容34，但AR内容34将脱离上下文，因为公交车不再位于实时视频的同一位置中。
[0057]此外，用于以常规方式执行WCDlO中的AR应用程序的技术可能使用户在固持WCD30以从实时视频数据拍摄和接收AR内容时紧张。连续固持WCD30也可导致胳膊疲劳或“大猩猩臂”。一种现有的免提增强现实解决方案经由虚拟现实(VR)护目镜对用户提供免提AR，其将AR内容覆盖到用户佩戴的护目镜或眼镜上。VR护目镜可为超尺寸的且体积大的，以便容纳显示屏幕以提供可接受的用户体验。因此VR护目镜可视为“令人讨厌的”，且使得用户甚至比固持WCD更紧张。另外，VR护目镜是昂贵的。
[0058]大体上，常规技术可使得用户感觉紧张且较不可能使用AR应用程序。本发明中描述的免提技术消除了使用AR应用程序的疲劳和笨拙部分，且可帮助AR应用程序变得在WCD上更普遍存在，同时节省电池寿命。
[0059]图3是图解说明根据所揭示技术由执行免提增强现实应用程序的WCD产生的具有覆盖AR内容42、44和46的单个图片40的概念图。通过将各自表示场景的一部分的多个图像帧缝合在一起以便表示单个图片40中的整个场景来形成单个图片40。在将图像帧转换为单个图片40之后，WCD从AR数据库服务器接收单个图片40中表示的场景的AR内容
42、44和46，且处理AR内容42、44和46以覆盖单个图片40供向用户显示。以此方式，用户可在WCD上舒适地看着具有覆盖的AR内容42、44和46的单个图片40，以关于单个图片40中表示的场景了解更多，例如虽然未朝向单个图片中俘获的场景定向。
[0060]在图3的实例中，单个图片40表示包含公园和建筑物的整个邻域的全景图片。单个图片40可由多个静止图片或场景的视频数据的多个视频帧形成。作为实例，WCD的用户可通过从给定位置旋转180或360度而拍摄多个静止图片或记录场景的几秒的视频数据。在此情况下，单个图片40可为通过将俘获的静止图片或视频帧缝合在一起而产生的单个全景图像。
[0061]单个图片40可为具有例如6000x1280像素的大小的非常大的图像。单个图片40因此可具有与WCD的相机普通获得的个别静止图片或视频帧的格式相比较大且在一些情况下实质上更大的格式。在一些实例中，单个图片40可相对于个别静止图片或视频帧在例如宽度方向等单个尺寸上较大，但在例如高度尺寸等另一尺寸上维持相同大小，或反之亦然。举例来说，大的全景图像可具有与个别图片或视频帧相比大得多的宽度但相同的高度。在其它实例中，单个图片40可在宽度和高度两者上较大。在一些实例中，单个图片40可在至少一个尺寸上实质上大于个别图片或视频帧，例如1.5倍大、2倍大、3倍大、4倍大或甚至更大。
[0062]与单个图片40中表示的场景相关联的AR内容42、44和46是从AR数据库服务器检索。如图3中图解说明，AR内容42、44和46包含用以描述单个图片40中表示的场景的文本和/或图形以及对应于单个图片40的文本和/或图形的位置信息。举例来说，AR内容42可包含指示单个图片40中包含的建筑物中的一者中的商业处的销售的文本。在此情况下，从AR数据库服务器接收的AR内容42还包含单个图片40中将放置文本的商业的位置信息，例如(X，y)像素位置。
[0063]作为另一实例，AR内容44还包含关于位于单个图片40中包含的公园中的销售或降价和商业的信息。又，AR内容44包含对应于单个图片40的位置信息以便将AR内容44的文本放置于单个图片40中表示的商业附近。另外，AR内容46包含地标信息，例如单个图片40中包含的公园中的博物馆是开放还是关闭。AR内容46还包含单个图片40中表示的博物馆的位置信息。在一些情况下，AR内容46可提供博物馆的较具体营业时间或提供到博物馆的网站的链接。AR内容42、44和46提供可覆盖在单个图片40上的AR内容的仅几个实例。在其它情况下，可接收且处理许多其它类型和量的AR内容用于在单个图片40上显不O
[0064]本发明中描述的免提AR技术与使用常规AR技术在实时视频中俘获的场景将可能的情况相比允许对单个图片40中表示的场景的稳健得多的查看。根据本发明的技术，用户能够关于场景的静态单个图片40坐下历时与用户的希望一样长的时间。因此用户可能更愿意等待较长时间来检索和处理与单个图片40相关联的所有AR内容供显示。对较长等待时间的折中可为包含例如到网站和视频的链接的AR内容的较大量且较高水平的细节。
[0065]用户可能够在场景的单个图片40上和内导览。举例来说，所述技术使得用户能够在查看单个图片40时执行图像操作，例如平移、倾斜、滚动和缩放操作，以产生单个图片40中表示的场景的新视图。在执行图像操作之后，WCD可更新AR内容以通过从单个图片40添加或移除AR内容中的一种操作来覆盖单个图片中的新视图。这可包含添加AR内容以覆盖单个图片40的在缩放、平移或滚动操作之前不可见的一部分，和/或移除单个图片40的在缩放、平移或滚动操作之后不再可见的一部分的AR内容。在一些情况下，更新AR内容可包含从AR数据库服务器请求单个图片40中表示的场景的额外AR内容。在其它情况下，更新AR内容可包含呈现针对单个图片40中表示的场景从AR数据库服务器先前接收但在单个图片40的所显示部分中不可见的额外AR内容。
[0066]在一些情况下，WCD可接收用以产生单个图片40的多个图像帧中的每一者的位置信息(例如GPS读数)和视角信息(例如罗盘读数)。以此方式，当WCD的用户移动到单个图片40中表示的场景的特定部分时，可基于针对表示场景的所述特定部分的图像帧接收的位置和/或视角信息而从AR数据库服务器请求额外AR内容。更具体来说，场景的部分的AR内容将包含基于场景的部分中的由AR数据库服务器辨识出的可见对象的信息以及基于当俘获表示场景的所述部分的图像帧时视觉对象相对于用户站立处的位置的信息。
[0067]所述技术还可允许用户指示AR内容设定，其包含将从AR数据库服务器接收的AR内容的一或多个类型、将从AR数据库服务器接收的AR内容的量，以及将从AR数据库服务器接收AR内容的时间。WCD随后可根据AR内容设定从AR数据库服务器接收单个图片40中表示的场景的AR内容。当AR内容设定改变时，WCD可更新AR内容以通过从单个图片40添加或移除AR内容中的一种操作来覆盖单个图片40。
[0068]举例来说，针对场景选择的AR内容的类型可包含以下各项中的一或多者:餐厅信息，例如名称、营业时间和菜单；参观者信息，包含住宿和兴趣点识别；零售信息；事件信息，包含音乐会和体育比赛；人辨识；紧急服务信息，例如警察局、消防站和医院的位置；公共运输信息，例如公交车和火车时间表、方向等等。
[0069]用户将偏向于覆盖单个图片40看见的AR内容的量可基于数据的存储大小(例如，千字节(kB)或兆字节(MB))、可用数据的百分比、显示器的屏幕大小的百分比或某个其它测量值来指定。此外，用户将偏向于从AR数据库服务器接收场景的AR内容的时间量可基于用户愿意等待接收AR内容以覆盖单个图片40的秒或分钟数来指定。在一些情况下，在指示的时间量下，用户可接收过程更新且选择继续等待所指示AR内容或停止接收和处理AR内容。
[0070]在一些情况下，单个图片40中表示的场景的AR内容可渐进地接收。较容易检索的一些类型的AR内容可经处理以在单个图片40上立即显示。在检索额外AR内容且发送回到WCD时，处理额外AR内容且在单个图片40上显示。以此方式，用户可立即开始接收一些AR内容以当正在渐进地检索、处理和显示剩余AR内容时开始了解单个图片40中表示的场景。用户可在用户具有关于场景的足够信息时在任何时间停止渐进AR内容。
[0071]以上描述的技术使得能够控制针对从大量AR内容类型、量和处理时间选择的场景接收的AR内容。在使用实时视频向用户呈现有限量的AR内容的常规AR应用程序中AR内容的这种控制和多样性是不可能的。然而，所述技术还允许将用以产生单个图片40的图像帧中的至少一些实时地流式传输到AR数据库服务器，以便接收至少一些AR内容。在此情况下，WCD可立即接收一些AR内容以覆盖用以产生单个图片40的一部分的几秒的实时视频数据，且还接收在静态单个图片40中表示的整个场景的随着时间更稳健的AR内容。
[0072]图4是图解说明以WCD执行免提增强现实应用程序以在表示场景的单个图片上覆盖AR内容的示范性技术的流程图。此处将相对于图1的WCDlO描述免提AR技术。
[0073]当执行AR应用程序14时，WCDlO接收各自表示场景的一部分的多个图像帧(50)。图像帧可为多个静止图片或场景的视频数据的多个视频帧。图像帧可由WCDlO中包含的相机20俘获或从WCDlO外部的存储装置接收。应用程序处理器12随后将所述多个图像帧转换为表示场景的单个图片(52)。单个图片包含经缝合在一起以表示场景的多个图像帧。在一些实例中，应用程序处理器12可通过将图像帧缝合在一起形成单个图片来将所述多个图像帧转换为单个图片。在其它实例中，应用程序处理器12可通过经由TX/RX26将图像帧发送到远程服务器来将所述多个图像帧转换为单个图片。应用程序处理器12可随后请求远程服务器将所述图像帧缝合在一起以形成单个图片，且从远程服务器接收回单个图片。在任一情况下，可以多种常规方式中的任一者将图像帧缝合在一起，例如常规上用以缝合全景场景的那些方式。
[0074]在将图像帧转换为单个图片之后，应用程序处理器12从AR数据库服务器请求在单个图片中表示的场景的AR内容(54)。应用程序处理器12可通过将单个图片发送到AR数据库服务器或通过将多个图像帧中的一或多者发送到AR数据库服务器来请求场景的AR内容。在任一情况下，WCDlO从AR数据库服务器接收单个图片中表示的场景的AR内容(56)。AR内容可包含表示关于场景的信息的文本和/或图形以及对应于单个图片的文本和/或图形的位置信息。举例来说，AR内容可包含描述单个图片中俘获的地点处的事件的文本，以及单个图片中将放置文本的地点的位置信息，例如(x，y)像素位置。
[0075]通常，AR数据库服务器是WCDlO远程的服务器，使得应用程序处理器12经由TX/RX26将单个图片发送到AR数据库服务器。在其它实例中，AR数据库可存储在WCDlO中。在一些情况下，应用程序处理器12将与单个图片的产生相关联的位置和/或视角信息连同对场景的AR内容的请求一起发送到AR数据库服务器。WCDlO随后至少部分地基于在俘获对象时对象相对于用户的位置而接收在单个图片中表示的场景中的对象的AR内容。应用程序处理器12可从例如罗盘传感器、GPS传感器或类似物等一或多个传感器22接收场景的位置和/或视角信息。在其它情况下，应用程序处理器12可将与单个图片的产生相关联的时间和日期信息连同对场景的AR内容的请求一起发送到AR数据库服务器。WCDlO随后从AR数据库服务器接收单个图片中表示的场景的AR内容，其指示单个图片中表示的场景与场景的先前图片之间的差异。
[0076]应用程序处理器12随后处理AR内容以覆盖单个图片(58)。在一些实例中，显示器处理器16可执行AR内容的处理或再现中的至少一些。显示器处理器16随后在显示器18上向用户显示具有覆盖的AR内容的单个图片(60)。以此方式，用户可在WCD的显示器上舒适地看着具有覆盖的AR内容的单个图片，以在任何时间且在任何位置关于单个图片中表示的场景了解更多。
[0077]图5是图解说明基于对WCD的用户输入根据AR内容设定执行免提增强现实应用程序的示范性技术的流程图。此处将相对于图1的WCDlO描述免提AR技术。
[0078]当执行AR应用程序14时，WCDlO接收各自表示场景的一部分的多个图像帧(66)。如上所述，图像帧可为多个静止图片或场景的视频数据的多个视频帧。应用程序处理器12随后将所述多个图像帧转换为表示场景的单个图片(68)。单个图片包含经缝合在一起以表示场景的多个图像帧。
[0079]应用程序处理器12随后基于用户输入确定AR内容设定。更具体来说，应用程序处理器12确定针对场景将从AR数据库服务器接收的AR内容的一或多个类型(70)。举例来说，应用程序处理器12可接收指示以下各项中的一或多者的用户输入:餐厅信息，例如名称、营业时间和菜单；参观者信息，包含住宿和兴趣点识别；零售信息；事件信息，包含音乐会和体育比赛；人辨识；紧急服务信息，例如警察局、消防站和医院的位置；公共运输信息，例如公交车和火车时间表、方向等等。
[0080]应用程序处理器12还确定针对场景将从AR数据库服务器接收的AR内容的量
(72)。举例来说，应用程序处理器12可接收指示用户在显示器18上将偏向于覆盖单个图片看见的信息量的用户输入。AR内容的量可基于数据的存储大小(例如，千字节(kB)或兆字节(MB))、可用数据的百分比、显示器18的屏幕大小的百分比或某个其它测量值来指定。
[0081]另外，应用程序处理器12确定将从AR数据库服务器接收来自场景的AR内容的时间(74)。举例来说，应用程序处理器可接收指示用户愿意等待接收AR内容以覆盖单个图片的秒或分钟数的用户输入。在此情况下，应用程序处理器12可为用户提供指定接收针对场景请求的所有AR内容所剩余的秒或分钟数的更新。应用程序处理器12还可为用户提供何时在指定时间量中无法接收所请求数据的类型或量的通知。在此情况下，用户可选择继续等待，即延长时间设定，或选择在指定时间停止接收AR内容，无论是否已接收到所有所请求AR数据。
[0082]应用程序处理器12随后通过将单个图片和AR内容设定发送到AR数据库服务器来请求场景的AR内容(76)。WCDlO根据AR内容设定从AR数据库服务器接收单个图片中表示的场景的AR内容(78)。应用程序处理器12处理AR内容以覆盖单个图片(80)。如上所述，显示器处理器16可执行AR内容的处理或再现中的至少一些。显示器处理器16随后在显示器18上向用户显示具有覆盖的AR内容的单个图片(82)。
[0083]在显示具有覆盖的AR内容的单个图片之后，用户可修改AR内容设定(84)。举例来说，用户可决定从单个图片添加或移除一类AR内容，或者增加或减少在单个图片上将包含的AR内容量。当AR内容设定尚未改变(84的否分支)时，显示器处理器16继续在显示器18上向用户显示具有原始覆盖的AR内容的单个图片(82)。当应用程序处理器12确定AR内容设定已改变(84的是分支)时，应用程序处理器12和/或显示器处理器16根据经修改AR内容设定来更新AR内容以覆盖单个图片(86)。更新AR内容可包含从单个图片添加和/或移除某些类型的AR内容。在一些情况下，应用程序处理器12可从AR数据库服务器请求场景的额外AR内容。在更新AR内容之后，显示器处理器16在显示器18上向用户显示具有经修改覆盖的AR内容的单个图片(82)。
[0084]除了在显示具有覆盖的AR内容的单个图片之后修改AR内容设定之外，用户可请求应用程序处理器12对单个图片执行平移、倾斜、滚动和缩放过程中的一或多者以产生单个图片中表示的场景的新视图。在执行图像效果之后，应用程序处理器12可更新AR内容以通过从单个图片添加或移除AR内容中的一种操作来覆盖单个图片中的新视图。举例来说，在图像效果是放大效果的情况下，应用程序处理器12可从AR数据库服务器请求单个图片中表示的场景的新视图的额外AR内容。以此方式，用户可查看关于整个场景的一般信息，例如整个邻域，但随后通过放大单个图片中特定区域(例如，单个街区或单个商业)的表示来查看关于场景的所述区域的更详细信息。
[0085]在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体可包含计算机数据存储媒体或包含促进计算机程序从一处传送到另一处的任何媒体的通信媒体。在一些实例中，计算机可读媒体可包括非暂时性计算机可读媒体。数据存储媒体可为可由一个或一个以上计算机或者一个或一个以上处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。
[0086]举例来说且并非限制，此类计算机可读媒体可包括非暂时性媒体,例如RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式载运或存储所要程序代码且可由计算机存取的任何其它媒体。而且，恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。
[0087]可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行代码。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或多个电路或逻辑元件中。
[0088]本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但不一定需要通过不同硬件单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或多个处理器)的集合结合合适软件和/或固件来提供。
[0089]已描述了本发明的各种实施例。这些和其它实施例属于所附权利要求书的范围内。
【权利要求】
1.一种以无线通信装置WCD执行增强现实应用程序的方法，其包括: 以所述WCD的处理器接收各自表示场景的一部分的多个图像帧； 将所述多个图像帧转换为单个图片，其中所述单个图片包括经缝合在一起以表示所述场景的所述多个图像帧的至少若干部分； 从AR数据库服务器请求所述单个图片中表示的所述场景的增强现实AR内容； 从AR数据库服务器接收所述单个图片中表示的所述场景的所述AR内容；以及 处理所述AR内容以覆盖所述单个图片供在所述WCD上显示。
2.根据权利要求1所述的方法，其中所述多个图像帧包括所述场景的多个静止图片和视频数据的多个视频帧中的一者。
3.根据权利要求1所述的方法，其中接收所述多个图像帧包括以下各项中的一或多者:接收以所述WCD中包含的相机俘获的图像帧，以及从所述WCD外部的存储装置接收图像帧。
4.根据权利要求1所述的方法，其中请求所述AR内容包括将所述单个图片和所述图像帧的所述部分中的一者发送到所述AR数据库服务器。
5.根据权利要求1所述的方法，其中将所述多个图像帧转换为单个图片包括以所述WCD的所述处理器将所 述图像帧的所述部分缝合在一起以形成所述单个图片。
6.根据权利要求1所述的方法，其中将所述图像数据转换为单个图片包括: 将所述多个图像帧发送到远程服务器； 指示所述远程服务器将所述图像帧的所述部分缝合在一起以形成所述单个图片；以及 从所述远程服务器接收所述单个图片。
7.根据权利要求1所述的方法，其中所述AR数据库服务器包括远程服务器。
8.根据权利要求1所述的方法，其进一步包括: 基于用户输入确定所述单个图片中表示的所述场景的AR内容设定；以及将所述场景的所述AR内容设定发送到所述AR数据库服务器，其中接收AR内容包括根据所述AR内容设定从所述AR数据库服务器接收所述单个图片中表示的所述场景的所述AR内容。
9.根据权利要求8所述的方法，其中确定所述AR内容设定包括接收指示针对所述场景将从所述AR数据库服务器接收的AR内容的一或多个类型的用户输入。
10.根据权利要求8所述的方法，其中确定所述AR内容设定包括接收指示针对所述场景将从所述AR数据库服务器接收的AR内容的量的用户输入。
11.根据权利要求8所述的方法，其中确定所述AR内容设定包括接收指示针对所述场景将从所述AR数据库服务器接收所述AR内容的时间的用户输入。
12.根据权利要求8所述的方法，其进一步包括: 接收指示对所述场景的所述AR内容设定的修改的用户输入；以及根据所述经修改AR内容设定更新所述AR内容以覆盖所述单个图片，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
13.根据权利要求1所述的方法，其进一步包括: 对所述单个图片执行平移、倾斜、滚动和缩放过程中的一或多者以产生所述单个图片中表示的所述场景的新视图；以及更新所述AR内容以覆盖所述单个图片中的所述新视图，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
14.根据权利要求1所述的方法，其进一步包括从所述AR数据库服务器请求所述单个图片中表示的所述场景的额外AR内容，且除了所述现有AR内容之外还处理所述额外AR内容以覆盖所述单个图片供在所述WCD上显示。
15.根据权利要求1所述的方法，其中接收AR内容包括从所述AR数据库服务器渐进地接收所述单个图片中表示的所述场景的所述AR内容，且其中处理所述AR内容以覆盖所述单个图片包括在从所述AR数据库服务器接收所述AR内容时将所述AR内容渐进地添加到所述单个图片。
16.根据权利要求1所述的方法，其进一步包括: 从一或多个传感器接收所述多个图像帧中表示所述场景的一部分的每一者的位置信息和视角信息中的一或多者；以及 将所述场景的至少一个部分的所述位置信息和视角信息发送到所述AR数据库服务器， 其中接收AR内容包括至少部分地基于所述场景的所述部分的所述位置信息和视角信息从所述AR数据库服 务器接收所述单个图片中表示的所述场景的所述部分的所述AR内容。
17.根据权利要求1所述的方法,其中接收AR内容包括从所述AR数据库服务器接收表示所述单个图片中表示的所述场景的所述AR内容的文本和图形中的一或多者，以及从所述AR数据库服务器接收对应于所述单个图片的所述文本和图形的位置信息。
18.根据权利要求1所述的方法，其中接收AR内容包括从所述AR数据库服务器接收所述单个图片中表示的所述场景的所述AR内容，所述AR内容指示所述单个图片中表示的所述场景与所述场景的先前图片之间的差异。
19.一种用于执行增强现实应用程序的无线通信装置WCD，所述WCD包括: 存储器，其用以存储图像数据； 处理器，其经配置以:接收各自表示场景的一部分的多个图像帧；将所述多个图像帧转换为单个图片，其中所述单个图片包括经缝合在一起以表示所述场景的所述多个图像帧的至少若干部分；从AR数据库服务器请求所述单个图片中表示的所述场景的增强现实AR内容；从所述AR数据库服务器接收所述单个图片中表示的所述场景的AR内容；以及处理所述AR内容以覆盖所述单个图片；以及 显示器，其用以向所述WCD的用户呈现具有所述覆盖的AR内容的所述单个图片。
20.根据权利要求19所述的WCD，其中所述多个图像帧包括所述场景的多个静止图片和视频数据的多个视频帧中的一者。
21.根据权利要求19所述的WCD，其进一步包括所述WCD中包含的用以俘获图像帧的相机，其中所述处理器从所述WCD中包含的所述相机和所述WCD外部的存储装置中的一或多者接收所述多个图像帧。
22.根据权利要求19所述的WCD，其进一步包括发射器，其中所述处理器经由所述发射器将所述单个图片和所述图像帧的所述部分中的一者发送到所述AR数据库服务器以请求所述场景的所述AR内容。
23.根据权利要求19所述的WCD，其中所述处理器将所述图像帧的所述部分缝合在一起以形成所述单个图片。
24.根据权利要求19所述的WCD，其进一步包括发射器和接收器，其中所述处理器经由所述发射器将所述多个图像帧发送到远程服务器，指示所述远程服务器将所述图像帧的所述部分缝合在一起以形成所述单个图片，以及经由所述接收器从所述远程服务器接收所述单个图片。
25.根据权利要求19所述的WCD，其中所述AR数据库服务器包括远程服务器。
26.根据权利要求19所述的WCD，其中所述处理器基于用户输入确定所述单个图片中表示的所述场景的AR内容设定，将所述场景的所述AR内容设定发送到所述AR数据库服务器，以及根据所述AR内容设定从所述AR数据库服务器接收所述单个图片中表示的所述场景的所述AR内容。
27.根据权利要求26所述的WCD，其中所述处理器接收指示针对所述场景将从所述AR数据库服务器接收的AR内容的一或多个类型的用户输入。
28.根据权利要求26所述的WCD，其中所述处理器接收指示针对所述场景将从所述AR数据库服务器接收的AR内容的量的用户输入。
29.根据权利要求26所述的WCD，其中所述处理器接收指示针对所述场景将从所述AR数据库服务器接收所述AR内容的时间的用户输入。
30.根据权利要求26所述的WCD，其中所述处理器接收指示对所述场景的所述AR内容设定的修改的用户输入，且根据所述经修改AR内容设定更新所述AR内容以覆盖所述单个图片，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
31.根据权利要求19所述的WCD，其中所述处理器对所述单个图片执行平移、倾斜、滚动和缩放过程中的一或多者以产生所述单个图片中表示的所述场景的新视图，且更新所述AR内容以覆盖所述单个图片中的所述新视图，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
32.根据权利要求19所述的WCD，其中所述处理器从所述AR数据库服务器请求所述单个图片中表示的所述场景的额外AR内容，且除了所述现有AR内容之外还处理所述额外AR内容以覆盖所述单个图片供在所述WCD上显示。
33.根据权利要求19所述的WCD，其中所述处理器从所述AR数据库服务器渐进地接收所述单个图片中表示的所述场景的所述AR内容，且在从所述AR数据库服务器接收所述AR内容时将所述AR内容渐进地添加到所述单个图片。
34.根据权利要求19所述的WCD，其中所述处理器从一或多个传感器接收所述多个图像帧中表示所述场景的一部分的每一者的位置信息和视角信息中的至少一者，将所述场景的至少一个部分的所述位置信息和视角信息发送到所述AR数据库服务器，且至少部分地基于所述场景的所述部分的所述位置信息和视角信息从所述AR数据库服务器接收所述单个图片中表示的所述场景的所述部分的所述AR内容。
35.根据权利要求19所述的WCD，其中所述处理器从所述AR数据库服务器接收表示所述单个图片中表示的所述场景的所述AR内容的文本和图形中的一或多者，且从所述AR数据库服务器接收对应于所述单个图片的所述文本和图形的位置信息。
36.根据权利要求19所述的WCD，其中所述处理器从所述AR数据库服务器接收所述单个图片中表示的所述场景的所述AR内容，所述AR内容指示所述单个图片中表示的所述场景与所述场景的先前图片之间的差异。
37.一种用于执行增强现实应用程序的无线通信装置WCD，其包括: 用于接收各自表示场景的一部分的多个图像帧的装置； 用于将所述多个图像帧转换为单个图片的装置，其中所述单个图片包括经缝合在一起以表示所述场景的所述多个图像帧的至少若干部分； 用于从AR数据库服务器请求所述单个图片中表示的所述场景的增强现实AR内容的装置； 用于从所述AR数据库服务器接收所述单个图片中表示的所述场景的AR内容的装置；以及 用于处理所述AR内容以覆盖所述单个图片供在所述WCD上显示的装置。
38.根据权利要求37所述的WCD，其中所述用于将所述多个图像帧转换为单个图片的装置包括用于将所述图像帧的所述部分缝合在一起以形成所述单个图片的装置。
39.根据权利要求37所述的WCD，其中所述用于将所述图像数据转换为单个图片的装置包括: 用于将所述多个图像帧发送到远程服务器的装置； 用于指示所述远程服务器将所述图像帧的所述部分缝合在一起以形成所述单个图片的装置；以及 用于从所述远程服务器接收所述单个图片的装置。
40.根据权利要求37所述的WCD，其进一步包括: 用于基于用户输入确定所述单个图片中表示的所述场景的AR内容设定的装置； 用于将所述场景的所述AR内容设定发送到所述AR数据库服务器的装置；以及用于根据所述AR内容设定从所述AR数据库服务器接收所述单个图片中表示的所述场景的所述AR内容的装置。
41.根据权利要求40所述的WCD，其进一步包括: 用于接收指示对所述场景的所述AR内容设定的修改的用户输入的装置；以及用于根据所述经修改AR内容设定更新所述AR内容以覆盖所述单个图片的装置，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
42.根据权利要求37所述的WCD，其进一步包括: 用于对所述单个图片执行平移、倾斜、滚动和缩放过程中的一或多者以产生所述单个图片中表示的所述场景的新视图的装置；以及 用于更新所述AR内容以覆盖所述单个图片中的所述新视图的装置，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
43.根据权利要求37所述的WCD，其进一步包括: 用于从所述AR数据库服务器渐进地接收所述单个图片中表示的所述场景的所述AR内容的装置；以及 用于在从所述AR数据库服务器接收所述AR内容时将所述AR内容渐进地添加到所述单个图片的装置。
44.一种包括用于执行增强现实应用程序的指令的计算机可读媒体，所述指令当在无线通信装置WCD中执行时致使一或多个可编程处理器: 接收各自表示场景的一部分的多个图像帧； 将所述多个图像帧转换为单个图片，其中所述单个图片包括缝合在一起以表示所述场景的所述多个图像帧的至少若干部分； 从AR数据库服务器请求所述单个图片中表示的所述场景的增强现实AR内容； 从所述AR数据库服务器接收所述单个图片中表示的所述场景的AR内容；以及 处理所述AR内容以覆盖所述单个图片供在所述WCD上显示。
45.根据权利要求44所述的计算机可读媒体，其中所述致使所述处理器将所述多个图像帧转换为单个图片的指令进一步包括致使所述处理器将所述图像帧的所述部分缝合在一起以形成所述单个图片的指令。
46.根据权利要求44所述的计算机可读媒体，其中所述致使所述处理器将所述多个图像帧转换为单个图片的指令进一步包括致使所述处理器进行以下操作的指令: 将所述多个图像帧发送到远程服务器； 指示所述远程服务器将所述图像帧的所述部分缝合在一起以形成所述单个图片；以及 从所述远程服务器接收所述单个图片。
47.根据权 利要求44所述的计算机可读媒体，其进一步包括致使所述处理器进行以下操作的指令: 基于用户输入确定所述单个图片中表示的所述场景的AR内容设定； 将所述场景的所述AR内容设定发送到所述AR数据库服务器；以及根据所述AR内容设定从所述AR数据库服务器接收所述单个图片中表示的所述场景的所述AR内容。
48.根据权利要求47所述的计算机可读媒体，其进一步包括致使所述处理器进行以下操作的指令: 接收指示对所述场景的所述AR内容设定的修改的用户输入；以及根据所述经修改AR内容设定更新所述AR内容以覆盖所述单个图片，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
49.根据权利要求44所述的计算机可读媒体，其进一步包括致使处理器进行以下操作的指令: 对所述单个图片执行平移、倾斜、滚动和缩放过程中的一或多者以产生所述单个图片中表示的所述场景的新视图；以及 更新所述AR内容以覆盖所述单个图片中的所述新视图，其中更新所述AR内容包括从所述单个图片添加或移除AR内容中的一种操作。
50.根据权利要求44所述的计算机可读媒体，其中所述指令致使所述处理器: 从所述AR数据库服务器渐进地接收所述单个图片中表示的所述场景的所述AR内容；以及 在从所述AR数据库服务器接收所述AR内容时将所述AR内容渐进地添加到所述单个图片。
【文档编号】G06T11/00GK104054111SQ201280066326
【公开日】2014年9月17日 申请日期:2012年10月10日 优先权日:2011年11月8日
【发明者】巴巴科·福鲁坦保尔, 鲁宾·M·贝拉尔德, 戴维·L·贝德纳尔, 布莱恩·李·莫迈尔 申请人:高通股份有限公司