用于实现虚拟标记的方法及设备的制作方法
【专利摘要】本发明描述一种用于实现虚拟标记的方法及设备。所述方法可包含接收第一数字图像数据及待与所述第一数字图像数据中的现实世界对象相关联的虚拟标记数据，其中所述第一数字图像数据由第一移动装置捕获，且所述虚拟标记数据包含从所述第一移动装置的用户接收的元数据。所述方法还可包含从所述第一数字图像数据产生描述所述现实世界对象的第一数字签名，及响应于所述产生，实质上实时地将所述第一数字签名插入到数字图像的可搜索索引中。所述方法还可包含在标记数据库中存储所述虚拟标记数据及所述虚拟标记数据与插入到所述数字图像的索引中的所述第一数字签名之间的关联。
【专利说明】用于实现虚拟标记的方法及设备
【技术领域】
[0001]本发明的实施例涉及增强数字图像及视频的领域，且更特定来说，涉及实现对现实世界对象的虚拟标记。
【背景技术】
[0002]因特网提供关于人物、地方及事物的大量知识。当用户想要关于特定人物、地方或事物的详细信息时，所述用户利用搜索引擎对大量可用知识进行挑选。移动装置可用于从任何地方接入因特网并进行搜索。举例来说，当用户站立在历史地标旁边时，他或她可搜索所述地标的历史数据、与所述地标相关的照片等等。搜索引擎基于询问通过定位由搜索引擎经由网页抓取发现的相关内容来将结果返回给用户。
[0003]随着社交网络的到来，因特网上可用的信息已变得更个人化且在社交上更具有互动性。使用社交网络，用户能够彼此共享聊天会话、彼此评论、共享图片等等。然而，社交网络环境中用户之间的互动一般限于社交网络系统的特定创建的网页界面。
【发明内容】
[0004]描述一种用于实现虚拟标记的方法及设备。根据示范性方法，接收第一数字图像数据及待与所述第一数字图像数据中的现实世界对象相关联的虚拟标记数据。在一个实施例中，所述第一数字图像数据由第一移动装置捕获且所述虚拟标记数据包含从所述第一移动装置的用户接收的元数据。在一个实施例中，从第一数字图像数据产生描述现实世界对象的第一数字签名，且响应于提取而实质上实时地将所述第一数字签名插入到数字图像的可搜索索引中。在一个实施例中，虚拟标记数据及所述虚拟标记数据与插入到所述数字图像索引中的所述第一数字签名之间的关联存储在标记数据库中。
[0005]在一个实施例中，所述示范性方法还包含接收从由第二移动装置捕获的第二数字图像数据产生的第二签名，所述第二数字图像数据包含一个或一个以上现实世界对象。在一个实施例中，当基于第二数字签名的对数字图像索引的搜索导致与所述第一数字签名的匹配时，将从第一移动装置的用户接收且与第一数字图像数据中的现实世界对象相关联的虚拟标记数据发射到第二移动装置。
【专利附图】
【附图说明】
[0006]将从下文给出的详细描述及从本发明的各种实施例的附图更完整地理解本发明，然而，所述详细描述及附图不应理解为将本发明限于特定实施例，而应理解为仅用于解释
及理解。
[0007]图1为用于实现虚拟标记的示范性系统架构的框图。
[0008]图2为虚拟标记系统及虚拟标记客户端的一个实施例的框图。
[0009]图3A为用于创建数字图像中的现实世界对象的虚拟标记的方法的一个实施例的流程图。[0010]图3B为用于观看与数字图像中捕获的现实世界对象相关联的虚拟标记的方法的一个实施例的流程图。
[0011]图4为用于编辑待与现实世界对象相关联的虚拟标记的方法的一个实施例的流程图。
[0012]图5为用于实时地将现实世界对象的图像插入到数字图像索引中的方法的一个实施例的流程图。
[0013]图6为用于过滤针对现实世界对象定位的虚拟标记的方法的一个实施例的流程图。
[0014]图7为用于连续地跟踪数字图像中的现实世界对象的方法的一个实施例的流程图。
[0015]图8说明呈计算机系统的示范性形式的机器的图解表示。
[0016]图9说明用于接收、发射及显示虚拟标记的实例系统。
[0017]图10说明用于接收、发射及显示虚拟标记的实例系统的替代视图。
[0018]图11说明计算机网络基础结构的实例示意图示。
[0019]图12说明数字图像与虚拟标记一起的实例显示。
[0020]图13说明将虚拟标记添加到数字图像。
【具体实施方式】
[0021]在以下详细描述中，阐述许多细节。然而，受益于本发明的所属领域的一般技术人员中的一者将明白，本发明可在没有这些特定细节的情况下实践。在一些例子中，以框图形式展示而非详细展示众所周知的结构及装置以避免模糊本发明。
[0022]根据对计算机存储器内的数据位的操作的算法及符号表示来呈现以下详细描述的一些部分。这些算法描述及表示为数据处理领域的技术人员用来最有效地向所属领域的其它技术人员传达其工作实质的方式。算法在此处且一般地被认为是导致所要结果的一系列首尾一致的步骤。所述步骤为需要对物理量的物理操纵的步骤。通常但不是必然地，这些量呈能够被存储、转移、组合、比较及以其它方式操纵的电或磁信号的形式。已被证明方便的是，有时主要出于共同使用的原因，将这些信号称为位、值、元件、符号、字符、术语、数字或类似物。
[0023]然而，应谨记，所有这些术语及类似术语待与适当物理量相关联且仅为应用于这些量的便签。除非如从以下论述明白而以其它方式明确陈述，否则应了解，在整个描述中，利用例如“接收”、“产生”、“插入”、“存储”、“选择”、“发射”、“询问”、“获得”、“过滤”或类似术语的术语的描述、论述是指操纵及将表示为计算机系统的寄存器及存储器内的物理(例如，电子)量的数据转换成类似地表示为计算机系统存储器或寄存器或其它此信息存储、发射或显示装置内的物理量的其它数据的计算机系统或类似电子计算装置的动作及过程。
[0024]本发明还涉及用于执行本文中的操作的设备。此设备可出于要求目的而特定构造或其可包括通过存储在计算机中的计算机程序选择性地激活或再配置的通用计算机。此计算机程序可存储在计算机可读存储媒体中，例如但不限于任何类型的磁盘(包括软磁盘、光盘、CD-ROM及磁光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPR0M、磁卡或光卡或适于存储电子指令的任何类型的媒体。[0025]本文中呈现的算法及显示器不固有地涉及任何特定计算机或其它设备。根据本文中的教示，各种通用系统可以程序使用，或可证明构造更专门的设备来执行所要方法步骤是方便的。将从以下描述明白各种这些系统的所要结构。此外，不参考任何特定编程语言描述本发明。将明白，各种编程语言可用于实施如本文中描述的本发明的教示。
[0026]图1为用于实现虚拟标记的示范性系统架构100的框图。在一个实施例中，系统100包含多个移动装置(例如移动装置110-1到移动装置110-N)及虚拟标记服务器130。在一个实施例中，移动装置110可为移动计算装置，例如移动电话、个人数字助理、平板计算机、可佩戴式计算装置等等。虚拟标记服务器130也可为计算装置，例如服务器计算机、桌上型计算机等等。
[0027]移动装置110及虚拟标记服务器130可耦合到传递用于信息交换的标准协议中的任一者的网络102。在一个实施例中，移动装置110经由无线连接(例如，蜂窝式电话连接、无线保真连接等等)与网络102耦合。移动装置110及虚拟标记服务器130可在一个局域网(LAN)上运行且可并入到相同物理或逻辑系统或不同物理或逻辑系统中。或者，移动装置110及虚拟标记服务器130可驻留在可经由因特网耦合在一起但可通过防火墙、路由器及/或其它网络装置分离的不同LAN、广域网、蜂窝式电话网络等等上。在又另一配置中，虚拟标记服务器130可驻留在经由共用网络(例如，因特网)或专用网络(例如，LAN)耦合到其它装置的相同服务器或不同服务器上。应注意，可使用各种其它网络配置，包括(举例来说)主机式配置、分布式配置、集中式配置等等。
[0028]移动装置110负责以所述移动装置的数码相机(未展示)捕获现实世界对象的数字图像。现实世界对象可为人物、地方或事物。在一个实施例中，现实世界对象的数字图像可包含静止照片、数字视频、一系列数字照片、直播视频馈送等等。在一个实施例中，当移动装置(例如移动装置110-1)捕获数字图像时，所述移动装置的虚拟标记客户端112可额外地标记所述数字图像内的对象。
[0029]在一个实施例中，标记为包含待与所述数字图像相关联的图标、图像、元数据(例如，关于对象的用户供应评论)、网页链接、地理位置等等中的一者或一者以上的用户创建内容。在一个实施例中，虚拟标记客户端112向移动装置110的用户提供用户界面以用于编辑标记数据。举例来说，虚拟标记客户端112可提供字母数字输入(其用于使得用户能够输入关于数字图像内的现实世界对象的评论)、一组图标(用户可选择将所述图标显示在数字图像上)、界面(其用于输入到与现实世界对象相关的网站的网页链接)、嵌入式音频或视频片段、文本消息等等。下文更详细地论述标记及标记的示范性类型。
[0030]在一个实施例中，移动装置110-1将所捕获的图像及相关联标记数据发射到虚拟标记服务器130。在一个实施例中，移动装置110 (例如蜂窝式电话或蜂窝式通信启用可佩戴式装置)将数字图像及对应标记数据发射到虚拟标记服务器130。
[0031]虚拟标记服务器130负责接收所述数字图像及相关联标记数据。在一个实施例中，接着，当虚拟标记服务器130的虚拟标记系统132接收数字图像时，虚拟标记系统132实时地将现实世界对象的图像编入索引。如下文将更详细论述，虚拟标记系统132对所述数字图像执行一个或一个以上图像辨识过程，以产生用于所述数字图像内的现实世界对象的数字签名。接着，实时地将此数字签名添加到由虚拟标记服务器130维持的可搜索图像的数据库136中的其它图像签名的索引。此外，当虚拟标记系统132将现实世界对象的图像编入索引时，虚拟标记系统132将对应标记数据存储在标记数据库134中且使标记数据与被编入索引的图像中的现实世界对象相关联。虚拟标记系统132可进一步向移动装置110-1发送对所述图像已被成功编入索引的确认，以便通知移动装置110-1的用户所述图像已被成功编入索引且标记数据被存储。虽然虚拟标记系统132已被描述为产生用于图像中的现实世界对象的数字签名，但在一个实施例中，虚拟标记客户端112可创建数字签名且将所述签名及标记数据发射到服务器130。在又另一实施例中，虚拟标记客户端112及虚拟标记系统132两者创建用于现实世界对象的图像的数字签名。
[0032]在一个实施例中，当未在可搜索数字图像索引234内发现现实世界对象时，虚拟标记服务器130的虚拟标记系统132将所述现实世界对象的数字图像编入索引。即，当现实世界对象的图像已被虚拟标记系统132编入索引时，虚拟标记系统132不为所述现实世界对象创建新索引。而是，虚拟标记系统132将标记数据添加到标记数据库134且使新标记数据与数字图像索引234中预先存在的索引条目相关联。此外，此标记数据可添加到或补充已存储在标记数据库134中且与所述现实世界对象相关联的标记数据。
[0033]然而，在一个实施例中，虚拟标记系统132可在可搜索数字图像索引234中将同一现实世界对象的不同数字图像编入索引。当同一现实世界对象的不同数字图像被编入索引时，匹配现实世界对象的新图像可得到改善，这是因为在可搜索数字图像索引234中存在更多用于发现成功匹配的潜在资源。在一个实施例中，虚拟标记系统132使标记数据库134中的现实世界对象的标记数据与所述现实世界对象的被编入索引的图像中的每一者相关联。因此，针对所述现实世界对象的被编入索引的图像中的任一者的匹配被链接到所述现实世界对象的标记数据。
[0034]虚拟标记服务器130还负责从其它移动装置(例如，移动装置110-N)接收数字图像。在一个实施例中，移动装置IIO-N可能正捕获待上载到虚拟标记服务器130的图像、捕获现实世界对象的视频(例如，在蜂窝式电话上记录视频、以可佩戴式计算装置捕获直播视频等等)。在一个实施例中，虚拟标记系统132计算数字图像或视频内的对象的数字签名，且搜索数字图像索引136以找到匹配。当虚拟标记系统132定位一匹配时(从而指示一现实世界对象先前已被虚拟标记系统132编入索引)，虚拟标记系统132从标记数据库134获得与所述现实世界对象相关联的标记数据。在一个实施例中，虚拟标记系统132将所述标记数据提供到移动装置110-N的虚拟标记客户端112。
[0035]在一个实施例中，当移动装置110-N的虚拟标记客户端112接收到标记数据时，虚拟标记客户端112将所述标记数据呈现在于移动装置110-N上显示的数字图像上。举例来说，如图12中说明，虚拟标记客户端112可呈现电影院海报1206的图像，其中呈现在电影院海报图像1206上的拇指朝上图像1204及拇指朝下图像1202指示已标记所述图像的先前用户喜爱所述电影或讨厌所述电影。如本文中论述，标记可包含各种形式的用户创建内容，例如由其它用户贴出的评论、由其它用户选择的标记图标、由其它用户捕获以与现实世界对象一起显示的数字照片或视频等等。如下文将更详细论述，存在各种类型的标记以及虚拟标记系统132限制哪些标记显示在由移动装置110捕获的图像上的方式。
[0036]下文提供说明虚拟标记客户端112与虚拟标记系统132之间的交互的另一实例。在所述实例中且参考图13，街头艺术1302的数字图像由移动装置110-1的用户捕获。在此实例中，所述用户为艺术家且所述数字图像为所述艺术家刚刚创作的现实世界的涂鸦。在一个实施例中，虚拟标记客户端112使得艺术家能够创建待与街头艺术1302相关联的一个或一个艺术标记1358。所述标记可能包含艺术家的评论1358 “你觉得我的艺术品怎么样？?？”及/或到艺术家网页的链接。虚拟标记系统132将接收所述数字图像及标记数据，且产生这件街头艺术的数字签名。因为所述街头艺术是艺术家片刻之前新创作的，所以虚拟标记系统132将不会在数字图像索引136中找到对应条目。接着，虚拟标记系统132实时地将所述数字签名添加到数字图像索引136，且将对应标记数据添加到标记数据库134。因为所述街头艺术的图像已被实时地编入索引，所以其它用户(例如，捕获街头艺术的视频的移动装置110-N的用户)可立即在虚拟标记客户端112处接收到标记数据。或者，用户可接收到标记可用于图像/视频帧内的现实世界对象的通知(例如，电话振动、音频鸣响等等)。接着，虚拟标记客户端112可将与街头艺术1302相关联的此标记数据1356及1358呈现在正由移动装置110-N捕获的视频上，以便提醒移动装置110-N的用户现实世界对象的标记数据可用。
[0037]图2为虚拟标记系统及虚拟标记客户端的一个实施例200的框图。虚拟标记客户端212及虚拟标记系统232提供上文在图1中论述的虚拟标记客户端112及虚拟标记系统132的额外细节。
[0038]在一个实施例中，虚拟标记客户端212可包含图像捕获模块214、标记创建器216、标记模板数据库的数据库218、标记请求器222、标记绘画器224、连续对象跟踪器228、显示器226及全球定位系统(GPS)模块220。在一个实施例中，虚拟标记系统232可包含图像辨识引擎240、标记管理器238、标记数据库234、数字图像索引236、实时图像索引器244。在一个实施例中，虚拟标记客户端212及虚拟标记系统232通过如上文在图1中论述的各种网络及网络配置彼此通信。
[0039]在虚拟标记客户端212中，图像捕获模块214负责捕获现实世界对象的数字图像。所述数字图像可包含静止数字照片、一系列静止数字照片、被记录的视频、直播视频馈送等等。在一个实施例中，图像捕获模块214为移动装置的数码相机。
[0040]在一个实施例中，响应于数字图像由图像捕获模块214捕获，标记创建器216使得用户能够编辑用于所述数字图像内的对象的标记。在一个实施例中，标记创建器216在显示器226上产生图形用户界面，其可包含用于输入评论、选择待作为标记而提供的其它数字图像、输入对现实世界对象的评述、输入网页链接、包括由GPS模块220捕获的GPS数据等等的用户界面元素。在一个实施例中，标记创建器214进一步使得用户能够为受限观众编辑标记。在一个实施例中，标记创建器214使得用户能够指定将能够观看虚拟标记的一个或一个以上额外用户。举例来说，用户可指定仅社交网络组中的朋友、仅具有特定组成员资格的成员等等可观看经编辑的虚拟标记。
[0041]在一个实施例中，标记创建器216可进一步向用户提供到标记模板数据库218的存取。在一个实施例中，标记模板为预创建标记，例如图标图像、预格式化的评论字段、社交网络贴、网页链接、虚拟贴纸等等。举例来说，一组标记模板可用于预先创建以用于放置在现实世界对象上方的虚拟贴纸。在上文论述且在图12中说明的电影院海报的实例中，标记模板218可提供拇指朝上图标1204及拇指朝下图标1202以使得用户能够以喜欢图像标记及不喜欢图像标记迅速标记现实世界对象。在一个实施例中，标记创建器存取虚拟标记系统处的标记模板218。然而， 如由虚线指示，标记模板218可定位在虚拟标记系统232处(未展示)或任何其它远程系统处，且标记创建器216经由网络202存取标记模板。
[0042]在一个实施例中且还响应于由图像捕获模块214捕获数字图像，标记请求器222询问虚拟标记系统232与所述数字图像中的现实世界对象相关联的任何先前创建标记的存在。在一个实施例中，为辅助检测虚拟标记以及通知用户在何处引导图像捕获模块214，GPS模块220可指示何时标记位于一地理区域内。在一个实施例中，GPS模块220可致使运行虚拟标记客户端212的移动装置振动、播放音频等等。此外，GPS模块220可显示具有附近的虚拟标记的位置的视觉指示符的虚拟地图。
[0043]在一个实施例中，标记请求器222将由图像捕获模块214捕获的数字图像(其可包含数字视频)发射到图像辨识引擎240。图像辨识引擎240分析所述数字图像以产生用于所述数字图像内的现实世界对象的一个或一个以上数字签名。如下文所论述，在一个实施例中，图像辨识引擎240根据数字图像的像素计算特征向量，其中特征向量中的值对应于图像内的相关像素。此特征向量接着变成所述数字图像内的现实对象的数字签名。
[0044]图像辨识引擎240利用所述数字签名搜索数字图像索引236。虽然数字图像索引236说明为虚拟标记系统232的组件，但数字图像索引236可维持在远程系统(未展示)处。当图像辨识引擎240发现针对所述数字图像产生的数字签名与数字图像索引236内的数字签名之间的匹配时，图像辨识引擎240通知标记管理器238。
[0045]在一个实施例中，标记管理器238利用所述数字图像的匹配索引来询问标记数据库234。在一个实施例中，标记数据库234可存储先前由用户创建的待与现实世界对象相关联的标记。在一个实施例中，标记数据库234可存储致使标记管理器238进一步从外部系统获得标记数据的数据。举例来说，标记数据库234可包含标记管理器238用来从远程源获得标记数据的数据，例如社交网络识别符、密码、虚拟标记客户端212的当前GPS位置等等。在所述实例中，标记管理器238接着可利用社交网络识别符、虚拟组成员资格、当前位置等等来增加或限制哪些标记被返回。举例来说，标记管理器238可获得社交网络数据以促进与和社交网络“朋友”相关联的标记数据的图像匹配结果。作为另一实例，可将在地理上与用户接近的图像匹配的优先级排在其它结果之前。因此，可将基于虚拟标记客户端212的当前位置的用于特定商店图像的标记数据结果展示在与同一链的距离遥远的商店相关联的标记数据之前。在一个实施例中，标记管理器238将标记数据返回到虚拟标记客户端212。在一个实施例中，在用户同意揭示关于虚拟标记服务的用户权利及条款之后，标记管理器238获得用于已选择加入虚拟标记系统的用户的标记数据。
[0046]标记请求器222接收待与由移动装置捕获的数字图像相关联的标记数据。标记请求器222向标记绘画器224提供标记数据。在一个实施例中，标记绘画器224将标记数据呈现到当前显示在显示器226中的数字图像上。因为现实世界对象在数字图像内的位置可变化且数字图像数据可为数字视频或直播视频馈送，所以连续对象跟踪器228在数字图像内定位现实世界对象。连续对象跟踪器228确定现实世界对象在数字图像内的一组坐标、边界框或某其它位置。接着，连续对象跟踪器228将此位置数据提供到标记绘画器224，使得标记绘画器可在显示器226内的适当位置处将标记数据呈现在数字图像上。
[0047]返回到虚拟标记系统232接收数字图像，当在数字图像索引236内不存在用于现实世界对象的数字签名的记录时，图像辨识引擎240将所述数字签名提供到实时图像索引器244。实时图像索引器244分析所述数字签名且接着在现有数字图像索引236内插入所述数字签名。因为所述数字签名被直接插入到数字图像索引236中，所以所述索引变得立即可由其它虚拟标记客户端(未展示)搜索以找到含有所述现实世界对象的图像。
[0048]所述数字签名(其在先前未被虚拟标记系统232编入索引)的接收还可伴随通过虚拟标记客户端212的标记创建器216编辑的一个或一个以上虚拟标记。在一个实施例中，标记管理器238将标记数据存储在标记数据库234中。标记管理器238进一步实时地使所存储的标记数据与被添加到数字图像索引236的用于现实世界对象的数字签名相关联。因此，其它虚拟标记客户端不需要在现实世界对象的图像变得可搜索之前等待对数字图像索引236的批量更新，且与现实世界对象相关联的标记变得可用。
[0049]图3A为用于创建数字图像中的现实世界对象的虚拟标记的方法300的一个实施例的流程图。方法300由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合。在一个实施例中，方法300由虚拟标记客户端及虚拟标记系统(例如，虚拟标记客户端112或212及虚拟标记系统132或232)执行。
[0050]参考图3A，处理逻辑通过捕获现实世界对象的数字图像而开始(处理框302)。在一个实施例中，移动装置(例如，蜂窝式电话、平板计算机、可佩戴式处理系统等等)以所述移动装置的相机捕获数字图像。所述数字图像可为静止数字图像、视频、直播视频馈送等等。在一个实施例中，所述现实世界对象可为任何对象，例如地标(例如，埃菲尔铁塔)、艺术品、建筑物、公司标志、电影海报、物理位置等等。
[0051]处理逻辑编辑待与所捕获数字图像中的现实世界对象相关联的虚拟标记(处理框304)。在一个实施例中，处理逻辑接收用于虚拟标记的用户创建内容。在一个实施例中，所述用户创建内容可包含关于现实世界对象的一个或一个以上评论、用户拍摄的现实世界对象的图片、视频、与现实世界对象相关的指令(例如，以关于如何使用咖啡壶的指令标记的咖啡壶的图片)、对现实世界对象的评述、网页链接、预创建标记或虚拟贴纸的用户选择、GPS数据等等。下文在图4中提供对虚拟标记的编辑及对可如本文中论述而利用的各种类型的虚拟标记的更详细论述。
[0052]处理逻辑将数字图像及由移动装置的用户编辑的虚拟标记发射到虚拟标记系统(处理框306)。在一个实施例中，处理逻辑接着将用于现实世界对象的数字签名添加到数字图像索引(处理框308)。在一个实施例中，虚拟标记客户端的处理逻辑在移动装置上计算图像签名。在此实施例中，虚拟标记客户端将图像签名而不是对应图像发射到虚拟标记系统。数字签名(而不是图像自身)的发射在被发射时消耗更少的带宽，且因此可更快地由虚拟标记系统上载。在一个实施例中，图像的中间形式(例如低分辨率预览)也可与数字签名一起发射。在又另一实施例中，虚拟标记客户端及虚拟标记系统两者产生用于现实世界对象的数字签名。
[0053]在上文论述的任一实施例中，数字签名为从现实世界对象的数字图像提取的特征向量且提供对现实世界对象的唯一识别。在一个实施例中，处理逻辑实时地将数字签名插入到数字图像索引中而不等待对数字图像索引的批量更新。因为数字签名被实时地添加到图像索引，所以由移动装置捕获的现实世界对象变得立即可由其它用户经由数字图像索引搜索。
[0054]处理逻辑将所述标记存储在标记数据库中(处理框310)。在一个实施例中，当所述标记存储在标记数据库中时，处理逻辑进一步使标记数据库中的标记与现实世界对象的签名相关联(处理框312)。在一个实施例中，此关联使得捕获现实世界对象的数字图像的其它用户既能够使现实世界对象定位在数字图像索引中又能够找到与数字签名相关联的虚拟标记数据。如下文在图3B中论述，其它用户可在由其移动装置捕获的数字图像中观看虚拟标记。
[0055]处理逻辑将现实世界对象被成功编入索引且对应虚拟标记被存储的确认发射到移动装置(处理框314)。在一个实施例中，所述确认将对现实世界对象立即可由其它用户搜索且其经编辑虚拟标记可由其它用户观看的证实提供给用户。处理逻辑向所述用户显示确认(处理框316)。在一个实施例中，所述确认可为标记编辑用户界面中的弹出消息、电子邮件确认消息、文本确认等等。在另一实施例中，所述确认还可包含非视觉确认，例如音频确认(例如，蜂鸣声、铃声等等)或物理确认(例如，移动装置振动)。
[0056]图3B为用于观看与数字图像中捕获的现实世界对象相关联的虚拟标记的方法350的一个实施例的流程图。方法350由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合。在一个实施例中，方法400由虚拟标记客户端及虚拟标记系统(例如，虚拟标记客户端112或212及虚拟标记系统132或232)执行。
[0057]参考图3B，处理逻辑通过捕获现实世界对象的数字图像而开始(处理框352)。如上文论述，移动装置(例如蜂窝式电话、平板计算机、可佩戴式处理系统等等)以所述移动装置的相机捕获数字图像。处理逻辑将所述数字图像及针对虚拟标记的相关联询问发射到虚拟标记系统(处理框354)。在一个实施例中，所述询问可为用于确定是否存在用于图像、视频或视频馈送中的现实世界对象的虚拟标记的用户起始询问。在另一实施例中，所述询问由处理逻辑自动产生以在未接收到用户请求的情况下向用户提供虚拟标记。在此实施例中，将自动向捕获数字图像、视频或正在观看直播视频馈送的用户呈现标记数据或标记数据可用的通知，如下文论述。如上文论述，在一个实施例中，虚拟标记客户端的处理逻辑可计算用于所捕获的现实世界对象的数字图像的图像签名。在此实施例中，虚拟标记客户端将所述图像签名而不是对应图像发射到虚拟标记系统。
[0058]处理逻辑产生用于数字图像内的现实世界对象的数字签名(处理框356)。然而，在上文论述的实施例中，处理逻辑从虚拟标记客户端接收数字签名且不需要产生数字签名。处理逻辑利用所述数字签名来搜索数字图像的索引(处理框358)。当在所述索引内不存在用于所述现实世界对象的匹配时，处理逻辑将所述数字图像显示在移动装置上而不在所述数字图像上呈现标记数据(处理框360)。然而，当在数字图像索引中发现匹配时，处理逻辑搜索与被编入索引的现实世界对象的图像相关联的虚拟标记数据(处理框362)。接着，将用于与现实世界对象相关联的一个或一个以上标记的标记数据发射到虚拟标记客户端(处理框364)。
[0059]处理逻辑将所述标记数据呈现在对数字图像的显示上(处理框366)。在一个实施例中，处理逻辑将文本、虚拟贴纸、网页链接、照片、视频等等呈现在对数字图像的显示上。在一个实施例中，在数字图像为视频或直播视频馈送的情况下，在所述视频内跟踪被标记的现实世界对象。基于跟踪数据，处理逻辑更新标记数据在视频内的呈现位置，使得标记数据相对于现实世界对象在视频内的位置而显示在视频的适当位置中。[0060]图12说明其中虚拟标记呈现在数字图像上的对数字图像的示范性显示。在所述示范性显示中，移动装置1200已捕获电影海报1206的数字图像。如上文在图3B中论述，将在数字图像索引中搜索所述电影海报的图像。如果发现匹配，那么将虚拟标记(例如，虚拟贴纸标记1202及1204)呈现在所述电影海报的数字图像上。因此，捕获所述海报的图像的用户可观看关于所述电影的先前用户评论、如通过虚拟贴纸标记1202及1204指示的所述电影的用户印象等等。
[0061]图4为用于编辑待与现实世界对象相关联的虚拟标记的方法400的一个实施例的流程图。方法400由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合。在一个实施例中，方法400由虚拟标记客户端(例如，虚拟标记客户端112或212)执行。
[0062]参考图4，处理逻辑通过起始对待与现实世界对象相关联的标记的编辑而开始(处理框402)。在一个实施例中，每当数字图像被捕获时处理逻辑便起始对虚拟标记的编辑。在另一实施例中，响应于编辑虚拟标记的用户请求而起始对虚拟标记的编辑。接着，处理逻辑产生标记编辑用户界面(处理框404)。图13说明用于街头艺术1302的数字图像的示范性标记编辑界面1304。
[0063]处理逻辑接收对预创建标记模板的选择(处理框406)。在一个实施例中，向正在编辑标记的用户提供标记模板，使得所述用户可简单地选择模板且将虚拟标记的相关数据填入到所述模板中。处理逻辑接收待与所选择标记相关联的字母数字输入(如果存在)(处理框408)。在一个实施例中，所述字母数字输入可包含关于现实世界对象或地方的评论、指令、信息等等。在一个实施例中，额外形式的用户输入可由处理逻辑接收以与所选择标记相关联。举例来说，可接收口头输入，所述口头输入可或可不转录成用于标记的文本。此外，所述口头输入可作为用于标记的音频文件而接收。
[0064]处理逻辑还接收待与所选择标记相关联的额外数据(如果存在)(处理框410)。所述额外数据可为网页链接、用户照片、视频等等。所述额外数据还可包含限制标记对特定用户的可视性的数据。举例来说，所述额外数据可指定仅用户的社交网络朋友圈的成员可观看虚拟标记。
[0065]处理逻辑将所述字母数字输入及额外数据整合到标记模板中(处理框412)且将经编辑标记发射到虚拟标记系统(处理框414)。因此，使得用户能够以有效且直观的过程选择标记模板、输入相关数据及提交标记。如上文论述，图13说明在移动装置中显示1300的街头艺术1302。用户可选择待与街头艺术1302相关联1306的各种标记类型1304。当另一用户以移动装置观看街头艺术1350时，向其呈现与现实世界艺术对象1302相关联的标记(例如，标记1356) ο
[0066]上文论述的标记模板使得虚拟标记编辑能够以用于对应标记类型的不同模板覆盖许多不同场景。可由用户编辑的一种类型的标记为信息标记。任何有趣的对象、艺术品等等可具有“信息标记”。举例来说，咖啡机可具有带有“关于如何制作咖啡的信息”的标记，绘画/艺术品可具有由艺术家提供的信息，其中拥有者获得绘画、他们关于绘画的个人感受等等。此外，用户可创建关于现实世界对象的维基百科(Wikipedia?)风格的页面，所述页面可由其它人经由对现实世界对象的未来虚拟标记来添加。
[0067]用户还可编辑用于现实世界对象或位置的社交互动标记。在一个实施例中，用户可在虚拟标记中留下“喜欢”、“登记”、“评论”及其它社交网络信息。这与谷歌地图(GoogleMaps?)中的“地方页面(place page) ”或关于商业的四方(Foursquare?)页面有某种类似之处。然而，虚拟标记可针对任何位置或对象起作用。实际上，可针对具有虚拟标记的所有商业展示来自谷歌地图(Google Maps?)的所有地方页面。
[0068]虚拟标记还可用作虚拟公告栏。举例来说，公告栏标记可表示用于位置、商业、地方等等的留言板。所述公告栏标记还可类似于用于位置、商业、地方等等的脸书(Facebook?)墙。所述公告栏标记不限于文本输入，这是因为可使得各种类型的对象(例如照片、视频、网页链接等等)在被画在/呈现在现实世界对象上时可见。
[0069]还可使用照片虚拟标记。举例来说，现实世界地方或对象的照片可表示所述地方或对象的历史记录。贴到现实世界地方的照片还可包含附近发生的令人激动的事件(包含不寻常事件(例如，集市、游行、火灾等等))及通常在这些地方发现的一些值得纪念的人物(例如，隔壁的嬉皮士、旧金山绿化工)的照片。
[0070]与照片虚拟标记类似，视频虚拟标记也可与现实世界对象相关联。举例来说，用户可在一特定地方自己拍电影且可使视频与所述地方相关联。在一个实施例中，所述视频的最初若干帧展示被标记的对象/地方，且接着所述视频的剩余帧可过渡到另一视频(例如，家庭视频、附近拍摄的视频、关于所述地方的视频评论等等)。
[0071]在一个实施例中，虚拟标记还可提供互动性体验。一个此标记为挑战虚拟标记。在挑战虚拟标记施加于现实世界对象的情况下，可向其它用户发出在给定地方做愚蠢或给人以深刻印象的事情的挑战。接着，其它用户可将他们在所述给定地方完成挑战的照片或视频关联起来。或者，可将他们的成就添加到虚拟挑战标记的排行榜。
[0072]另一互动性虚拟标记为寻宝标记。寻宝标记可提供一系列线索以使得用户能够找到其它寻宝标记且最终赢得奖励。寻宝的参与者还可在非寻宝位置留下关于寻宝的标记。
[0073]又另一形式的虚拟标记为优惠券或产品标记。在一个实施例中，优惠券可用于标记现实世界对象。因此，具有支持虚拟标记客户端的移动装置的用户将能够接收呈虚拟标记形式的折扣。优惠券标记可放置在对象、店面、服务等等之上，且关于所述对象、服务、商店等等的促销视频可经由优惠券标记显示。在一个实施例中，接着当用户购买对象、在商店购物、承包服务等等时，所述优惠券标记可对换成现款。此外，在添加GPS数据的情况下，可使得优惠券标记具有位置专用性。
[0074]标记还可辅助社交网络。举例来说，可经由面部辨识将社交网络标记施加到人。对于给定用户，可对照社交网络账户检查数字图像或视频中的经辨识面部且可在所述经辨识面部旁边呈现社交网络虚拟标记。在一个实施例中，所述标记可展示他们的最近状态、提供到他们近来的照片的链接或关于谁是他们的朋友的信息(例如，以实现例如“我发现你认识ABC，而我也从大学开始认识他们...”等等的对话)。
[0075]此外，虚拟标记还可表示可添加到现实世界场景的虚拟对象。在一个实施例中，可将二维(例如，平面的)虚拟涂鸦添加到现实世界对象或地方。举例来说，可将虚拟艺术品放置在建筑物的侧上、放置在墙上或放置在对象上。虚拟对象还可用于在现实世界对象或地方上为其它用户留下虚拟消息。举例来说，与某个人的房子相关联的虚拟对象可为画在所述房子的前门上的内容为“欢迎回家！”的符号。
[0076]在另一实施例中，虚拟对象可为三维对象。举例来说，可将一束虚拟花放置在心爱的人的桌子上。作为另一实例，可将神话/神秘生物、雕像等等用于标记无聊的地方以便使其更有趣。在此实施例中，当三维虚拟对象与现实世界中的对象或场景相关联时，以与其现实世界背景一致的位置及定向将其呈现在移动装置屏幕上。可使用移动装置的传感器或通过对照描述所述场景的参考数据(图像、场景几何形状和其它传感器信息)进行匹配来在移动装置上估计此位置及定向。
[0077]在又另一实施例中，虚拟对象可为三维动画对象。举例来说，三维动画蛇可保卫咖啡机、猴子在冰箱附近溜达、外星人跑过公共广场、虚拟聚会装饰物(例如，一个房间中的喷火龙、另一个房间中的巨大雨滴)。
[0078]在上文论述的虚拟对象的实施例中，标记到现实世界对象或地方的虚拟对象帮助以非期望且非熟悉元素扩展熟悉背景。在某一地方附近平移电话或可佩戴计算装置的相机使得由虚拟对象提供的虚拟现实能够与现实世界环境合并。
[0079]在一个实施例中，还可经由虚拟标记实现位置感知照片/视频共享。在一个实施例中，可使照片或视频的虚拟标记与特定位置和特定对象相关联。在一个实施例中，可与用户的社交圈或与捕获所述特定地方或对象的数字图像的每一人共享所述照片或视频。在一个实施例中，虚拟标记系统可提供在附近(例如，在同一城市、城市街区、同一建筑物、同一房间等等)捕获的社交网络朋友的所有照片。如同许多社交网络线索，所述照片将使得用户能够看到他们的朋友做酷或尴尬的事情、处于酷或尴尬的地方中等等。
[0080]在一个实施例中，虚拟标记系统实现对在附近发生的令人激动的事件的位置感知照片/视频共享。举例来说，可向在城市广场、旅游景点、地标等等捕获视频的用户提供来自具有活跃夜生活的附近的酒吧的照片及/或视频。在一个实施例中，虚拟标记系统可沿着时间线(例如，从较旧到较新)提供位置感知照片及视频。
[0081]图5为用于实时地将现实世界对象的图像插入到数字图像索引中的方法500的一个实施例的流程图。方法500由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合。在一个实施例中，方法500由虚拟标记系统(例如,虚拟标记系统132或232)执行。
[0082]参考图5，处理逻辑通过产生用于数字图像内的一个或一个以上现实世界对象的数字签名来开始(处理框502)。如上文论述，数字图像、视频或视频馈送由移动装置捕获。处理逻辑从所述移动装置接收图像/视频数据以便将现实世界对象添加到数字图像索引。
[0083]处理逻辑从数字图像提取现实世界对象的一个或一个以上特征向量(处理框504)。在一个实施例中，数字签名由从现实世界对象的数字图像提取的一个或一个以上特征向量制成。特征向量基于所述图像内的兴趣点来描述图像。在一个实施例中，针对特征向量而选择的兴趣点描述现实世界对象，使得可以可靠地在现实世界对象的其它数字图像或视频中再次发现所述兴趣点。举例来说，与现实世界对象的图像的连续色调区相对，所述兴趣点可为角、块、对比度变化或其它高梯度点。在一个实施例中，这些点用于产生特征向量以描述图像点附近的像素。现实世界对象的图像及因此所述现实世界对象通过一个或一个以上特征向量来表征。
[0084]处理逻辑将一个或一个以上特征向量插入到布置为树结构的可搜索索引中(处理框506)。在一个实施例中，基于树结构的索引允许在索引中对特征向量进行最接近相邻者搜索。在一个实施例中，所述树为k维(KD)树。在一个实施例中，响应于从数字图像提取特征向量，实时地将特征向量插入到基于树结构的索引中。与批量索引更新过程相对，处理逻辑实时地将现实世界对象的数字图像编入索引。因此，可立即经由索引搜索含有现实世界对象的图像，使得搜索将返回现实世界对象的匹配结果。
[0085]图6为用于过滤针对现实世界对象而定位的虚拟标记的方法600的一个实施例的流程图。方法600由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合。在一个实施例中，方法600由虚拟标记系统(例如,虚拟标记系统132或232)执行。
[0086]参考图6，处理逻辑通过获得与现实世界对象相关联的一个或一个以上标记来开始(处理框602)。根据本文中的论述，现实世界对象的图像用于利用图像辨识及对数字图像索引的搜索来匹配先前捕获的图像。当发现匹配时，处理逻辑利用所述匹配来从标记数据库获得一个或一个以上标记。
[0087]处理逻辑基于一个或一个以上准则将所获得的标记过滤到数目减少的标记(处理框604)。如上文论述，存在许多虚拟标记场景及相关联的标记类型。举例来说，大量的照片标记可与受欢迎的相邻酒吧相关联。照片的量可超过正在观看标记的用户的承受范围或标记的数量之多可致使信息无效。因此，在一个实施例中，处理逻辑应用过滤器以减少返回到用户的数据。举例来说，仅来自前一天、前一周、前一个月等等的与相邻酒吧相关联的照片标记可初始地呈现给用户。作为另一实例，仅由用户在社交网络系统中的“朋友”创建的照片标记可初始地呈现给用户。在一个实施例中，一个或一个以上过滤标准可由当前正在获得虚拟标记的用户设定、可基于标记的类型设定、可由现实世界对象的原始标记者设定等等。在一个实施例中，过滤标准也可从标记数据提取。举例来说，一组标记可基于一组标记中的明确分级或通过从所述组标记中的文本提取的观点、分级等等而归类到簇或束中。接着，将数目减少的标记发射到捕获现实世界对象的图像的移动装置(处理框606)。
[0088]处理逻辑接收对与现实世界对象相关联的一个或一个以上额外标记的请求(处理框608)。响应于所述请求，处理逻辑将一个或一个以上标记的数据发射到所述移动装置(处理框610)。在一个实施例中，当用户想要现实世界对象的更多信息、照片、视频等等时，处理逻辑将额外标记提供给用户。这允许用户决定他或她想要多少关于现实世界对象的虚拟标记信息。
[0089]图7为用于连续地跟踪数字图像中的现实世界对象的方法700的一个实施例的流程图。方法700由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合。在一个实施例中，方法700由虚拟标记客户端(例如，虚拟标记客户端112或212)执行。
[0090]参考图7，处理逻辑通过接收与现实世界对象相关联的标记数据以用于在数字图像上显示来开始(处理框702)。在一个实施例中，移动装置的相机已捕获现实世界对象的静止图像、已捕获含有现实世界对象的视频或正捕获含有现实世界对象的直播视频馈送。当所述现实世界对象在数字图像索引中匹配时，将相关联标记数据提供到移动装置。
[0091]处理逻辑确定现实世界对象在由移动装置显示的数字图像中的位置(处理框704)。在一个实施例中，处理逻辑定位数字图像内的像素、数字图像中的现实世界对象周围的边界框等等。接着，如下文描述，处理逻辑可利用此定位数据在相对于图像/视频内的现实世界对象的适当位置处将虚拟标记呈现在静止数字图像或视频上。[0092]基于所选择的像素、边界框等等，处理逻辑跟踪现实世界对象在图片或视频中的位置(处理框706)。处理逻辑将现实世界对象在移动装置的显示器中的连续定位提供到呈现系统(处理框708)。接着，基于现实世界对象在图像/视频内的被连续跟踪的位置将标记数据呈现在由移动装置显示的数字图像上(处理框710)。在一个实施例中，对视频内的现实世界对象的连续跟踪使得标记数据在视频中的显示位置能够相对于现实世界对象在视频内的位置变化而刷新。因此，所述标记在数字视频内相对于对应现实世界对象连续出现在正确位置中。
[0093]图8为可与本发明一起使用的计算机系统的一个实施例。然而，所属领域的一般技术人员将明白，也可使用各种系统架构的其它替代系统。
[0094]图8中说明的数据处理系统包含用于传递信息的总线或其它内部通信构件815，且包含耦合到总线815以用于处理信息的处理器810。所述系统进一步包括耦合到总线815以存储信息及待由处理器810执行的指令的随机存取存储器(RAM)或其它易失性存储装置850 (称为存储器)。主存储器850还可用于在处理器810执行指令期间存储临时变量或其它中间信息。所述系统还包括耦合到总线815以存储用于处理器810的静态信息及指令的只读存储器(ROM)及/或静态存储装置820，且包括数据存储装置825 (例如，磁盘或光盘及其对应磁盘驱动器)。数据存储装置825耦合到总线815以存储信息及指令。
[0095]所述系统可进一步耦合到显示装置870 (例如，阴极射线管(CRT)或液晶显示器(IXD))，其通过总线865耦合到总线815以向计算机用户显示信息。字母数字输入装置875 (包含字母数字键和其它键)也可通过总线865耦合到总线815以向处理器810传递信息及命令选择。额外用户输入装置为光标控制装置880 (例如，鼠标、轨迹球、尖笔或光标方向键)，其通过总线865耦合到总线815以向处理器810传递方向信息及命令选择及用于控制显示装置870上的光标移动。
[0096]另一装置(其可任选地耦合到计算机系统800)为用于经由网络存取分布式系统的其它节点的通信装置890。通信装置890可包含若干可商用网络外围装置(例如，用于耦合到以太网、令牌环、因特网或广域网的装置)中的任一者。通信装置890可进一步为零调制解调器连接或提供计算机系统800与外部世界之间的连接性的任何其它机制。注意，图8中说明的此系统的任何组件或所有组件及相关联硬件可用于本发明的各种实施例中。
[0097]所属领域的一般技术人员将了解，所述系统的任何配置可根据特定实施方案而用于各种用途。实施本发明的控制逻辑或软件可存储在主存储器850、大容量存储装置825或处理器810可本地或远程地存取的其它存储媒体中。
[0098]所属领域的一般技术人员将明白，本文中描述的系统、方法及过程可实施为存储在主存储器850或只读存储器820中且可由处理器810执行的软件。此控制逻辑或软件也可驻留在包括计算机可读媒体的一件制品上，所述计算机可读媒体具有体现在其中的计算机可读程序代码且可由大容量存储装置825读取且用于致使处理器810根据本文中的方法及教示操作。
[0099]本发明还可以含有上文描述的计算机硬件组件的子集的手持式或便携式装置来体现。举例来说，所述手持式装置可经配置以仅含有总线815、处理器810及存储器850及/或825。所述手持式装置还可经配置以包含用户可用以从一组可用选项进行选择的一组按钮或输入信令组件。所述手持式装置还可经配置以包含用于向所述手持式装置的用户显示信息的输出设备，例如液晶显示器(LCD)或显示元件矩阵。常规方法可用于实施此手持式装置。鉴于如本文中提供的对本发明的揭示，所属领域的一般技术人员将明白本发明用于此装置的实施方案。
[0100]本发明还可以包含上文描述的计算机硬件组件的子集的专用设备体现。举例来说，所述设备可包含处理器810、数据存储装置825、总线815及存储器850，及允许用户以基本方式与装置通信的仅最基本通信机制(例如小触摸屏)。一般来说，装置越是专用，装置运行所需的元件就越少。
[0101]图9说明用于接收、发射及显示虚拟标记数据的实例系统900。系统900展示为呈可佩戴式计算装置的形式。虽然图9将眼镜902说明为可佩戴式计算装置的实例，但可额外地或替代地使用其它类型的可佩戴式计算装置。如图9中所说明，眼镜902包括框架元件(包含镜框904及906及中心框架支撑件908)、透镜元件910及912及延伸侧臂914及916。中心框架支撑件908及延伸侧臂914及916经配置以分别经由用户的鼻子及耳朵将眼镜902紧固到用户的面部。框架元件904、906及908及延伸侧臂914及916中的每一者可由塑料或金属的固体结构形成或可由类似材料的中空结构形成，以允许布线及组件互连内部地路由通过眼镜902。透镜元件910及912中的每一者可由可合适地显示经投影图像或图形的任何材料形成。透镜元件910及912中的每一者还可足够透明以允许用户透视所述透镜元件。组合透镜元件的这两个特征可促进增强现实或抬头显示，其中投影图像或图形叠加在现实世界视图上，如用户通过透镜元件所感知。
[0102]延伸侧臂914及916各自为分别从框架元件904及906延伸的凸出物，且定位在用户的耳后以将眼镜902紧固到所述用户。延伸侧臂914及916可进一步通过围绕用户的头部的后部延伸而将眼镜902紧固到所述用户。举例来说，额外地或替代地，系统100可连接到或固定在头部安装头盔结构内。其它可能性也存在。
[0103]系统900还可包含板上计算系统918、摄像机920、传感器922及手指可操作触摸垫924、926。板上计算系统918展示为定位在眼镜902的延伸侧臂914上；然而，板上计算系统918可提供在眼镜902的其它部分上。举例来说，板上计算系统918可包含处理器及存储器。板上计算系统918可经配置以从摄像机920及手指可操作触摸垫924、926(且可能地从其它传感装置、用户接口或两者)接收及分析数据且产生用于从透镜元件910及912输出的图像。摄像机920展示为定位在眼镜902的延伸侧臂914上；然而，摄像机920可提供在眼镜902的其它部分上。摄像机920可经配置而以各种分辨率或以不同帧速率捕获图像。举例来说，具有小形状因数的许多摄像机(例如在手机或网络摄像头中使用的摄像机)可并入到系统900的实例中。虽然图9说明一个摄像机920，但可使用更多的摄像机，且每一摄像机可经配置以捕获相同景物或捕获不同景物。举例来说，摄像机920可为前向的以捕获由用户感知的现实世界景物的至少一部分。接着，由摄像机920捕获的此前向图像可用于产生增强现实，其中计算机产生的图像出现以与由用户感知的现实世界景物相互作用。
[0104]传感器922展示为安装在眼镜902的延伸侧臂916上；然而，传感器922可提供在眼镜902的其它部分上。举例来说，传感器922可包含陀螺仪或加速度计中的一者或一者以上。其它感测装置可包含在传感器922内或其它感测功能可由传感器922执行。手指可操作触摸垫924、926展示为安装在眼镜902的延伸侧臂914、916上。用户可使用手指可操作触摸垫924、926中的每一者输入命令。手指可操作触摸垫924、926可经由电容性感测、电阻感测或表面声波过程以及其它能力感测手指的位置及移动中的至少一者。手指可操作触摸垫924、926可能够感测在平行于所述垫表面或与所述垫表面在同一个平面上的方向上、在与所述垫表面垂直的方向上或在此两个方向上的手指移动，且也可能够感测所施加压力的水平。手指可操作触摸垫924、926可由一个或一个以上半透明或透明绝缘层及一个或一个以上半透明或透明导电层形成。手指可操作触摸垫924、926的边缘可经形成以具有凸起的、锯齿状的或粗糙的表面，以在用户的手指到达手指可操作触摸垫924、926的边缘时向用户提供触觉反馈。手指可操作触摸垫924、926中的每一者可独立操作且可提供不同功倉泛。
[0105]图10说明图9的系统900的替代视图1000。如图10中所展示，透镜元件1010及1012可充当显示元件。眼镜1002可包含第一投影器1028，其耦合到延伸侧臂1016的内表面且经配置以将显示1030投影到透镜元件1012的内表面上。
[0106]额外地或替代地，第二投影器1032可耦合到延伸侧臂1014的内表面且经配置以将显示1034投影到透镜元件1010的内表面上。透镜元件1010及1012可充当光投影系统中的组合器且可包含反射从投影器1028及1032投影到它们上的光的涂层。
[0107]在一些实施例中，可不使用特殊涂层(例如，当投影器1028及1032为扫描激光装置时)。在替代实施例中，还可使用其它类型的显示元件。举例来说，透镜元件1010、1012自身可包含:透明或半透明矩阵显示器(例如，电致发光显示器或液晶显示器)、用于将图像递送到用户的眼睛的一个或一个以上波导，或能够将焦点对准的近眼式图像递送到用户的其它光学元件。可将对应的显示器驱动器安置在框架元件1004及1006内以用于驱动此矩阵显示器。替代地或额外地，激光器或LED源及扫描系统可用于将光栅显示直接拖动到用户的眼睛中的一者或一者以上的视网膜上。其它可能性也存在。
[0108]图11说明计算机网络基础结构的实例示意图。在一个系统1136中，装置1138使用通信链路1140(例如，有线或无线连接)与远程装置1142通信。装置1138可为能接收数据且显示与所述数据对应或相关联的信息的任何类型的装置。举例来说，装置1138可为抬头显示系统，例如参考图9及10描述的眼镜1102。因此，装置1138可包含显示系统1144，显示系统1144包括处理器1146及显示器1148。举例来说，显示器1148可为光学透视显示器、光学环视显示器或视频透视显示器。处理器1146可从远程装置1142接收数据且配置所述数据以用于在显示器1148上显示。举例来说，处理器1146可为任何类型的处理器，例如微处理器或数字信号处理器。装置1138可进一步包含板上数据存储装置，例如耦合到处理器1146的存储器1150。举例来说，存储器1150可存储可由处理器1146存取及执行的软件。
[0109]远程装置1142可为经配置以将数据发射到装置1138的任何类型的计算装置或发射器，包括膝上型计算机、移动电话等等。远程装置1142及装置1138可含有用于启用通信链路1140的硬件，例如处理器、发射器、接收器、天线等等。
[0110]在图11中，通信链路1140说明为无线连接；然而，也可使用有线连接。举例来说，通信链路1140可为经由串行总线(例如，通用串行总线)或并行总线的有线链路。有线连接还可为专用连接。通信链路1140还可为使用例如蓝牙(BluetooOr?)无线电技术、IEEE802.11(包含任何IEEE802.11修订)中描述的通信协议、蜂窝式技术(例如GSM、CDMA、UMTS、EVDO、WiMAX或LTE)或紫蜂(ZigbcC)技术以及其它能力的无线连接。远程装置1142可经由因特网存取且可包括与特定网页服务(例如，社交网络、照片共享、地址簿等等)相关联的计算集群。
[0111]应理解，以上描述既定为说明性的且不是限制性的。所属领域的技术人员将在阅读及理解以上描述之后将明白许多其它实施例。因此，应参考所附权利要求书以及此权利要求书授权的等效物的整个范围来确定本发明的范围。
[0112]已出于解释目的参考特定实施例描述以上描述。然而，以上说明性论述不既定为穷举性的或将本发明限于所揭示的精确形式。鉴于以上教示，许多修改及变型是可能的。选择且描述所述实施例以最佳地解释本发明的原理及其实际应用，以借此使得所属领域的技术人员能够最佳地利用本发明及可适于所预期的特定用途的具有各种修改的各种实施例。
【权利要求】
1.一种计算机实施的方法，其包括: 在服务器计算机系统处接收第一数字图像数据及待与所述第一数字图像数据中的现实世界对象相关联的虚拟标记数据，其中所述第一数字图像数据由第一移动装置捕获，且所述虚拟标记数据包含从所述第一移动装置的用户接收的元数据； 从所述第一数字图像数据产生描述所述现实世界对象的第一数字签名； 响应于所述产生,实质上实时地将所述第一数字签名插入到数字图像的可搜索索引中； 在标记数据库中存储所述虚拟标记数据及所述虚拟标记数据与插入到所述数字图像的索引中的所述第一数字签名之间的关联； 接收从由第二移动装置捕获的第二数字图像数据产生的第二签名，所述第二数字图像数据包含一个或一个以上现实世界对象；及 当基于所述第二数字签名的对所述数字图像的索引的搜索导致与所述第一数字签名的匹配时，将从所述第一移动装置的所述用户接收且与所述第一数字图像数据中的所述现实世界对象相关联的所述虚拟标记数据发射到所述第二移动装置。
2.根据权利要求1所述的计算机实施的方法，其中从所述第一移动装置的所述用户接收到的所述虚拟标记数据包含由所述用户从多个不同虚拟贴纸之中选择的虚拟贴纸，每一虚拟贴纸传达不同信息， 且所述所选择的虚拟贴纸待呈现在所述现实世界对象的数字图像数据上。
3.根据权利要求1所述的计算机实施的方法，其中产生所述第一数字签名及实质上实时地插入所述第一数字签名进一步包括: 从所述第一数字图像数据产生一组特征向量，每一特征向量描述围绕所述第一数字图像数据中的所述现实世界对象的兴趣点的像素的邻域；及 当所述第一数字图像数据的所述组特征向量被提取时，实时地将所述组特征向量插入到多个现实世界对象的特征向量的可搜索k维树结构中。
4.根据权利要求1所述的方法，其进一步包括: 响应于在所述标记数据库中存储所述虚拟标记数据，将所述现实世界对象的图像可搜索的确认发射到所述第一移动装置，所述确认进一步指示所述虚拟标记数据的存储是成功的。
5.根据权利要求1所述的方法，其进一步包括: 响应于所述第二数字签名与所述第一数字签名匹配的确定，询问标记数据库以定位与所述现实世界对象相关联的额外虚拟标记数据； 获得与所述现实世界对象相关联的一个或一个以上额外标记，所述一个或一个以上额外标记中的每一者包含用户创建内容；及 将所述额外虚拟标记数据发射到所述第二移动装置。
6.根据权利要求5所述的方法，其进一步包括: 在发射所述额外虚拟标记数据之前过滤所述所获得的一个或一个以上额外标记以限制返回到所述移动装置的虚拟标记的数目。
7.根据权利要求5所述的方法，其中执行所述过滤以将返回到所述移动装置的所述虚拟标记限制为由所述移动装置的所述用户的社交网络朋友创建的虚拟标记。
8.根据权利要求1所述的方法，其中所述虚拟标记数据包含与所述现实世界对象相关且由所述第一移动装置的所述用户供应的一个或一个以上照片的集合。
9.根据权利要求1所述的方法，其中所述现实世界对象为消费者产品且所述虚拟标记数据包含可在购买所述消费者产品时换成现款的优惠券。
10.根据权利要求1所述的方法，其中所述第一移动装置为蜂窝式电话且所述第二移动装置为呈眼镜形式的用户可佩戴式计算装置。
11.根据权利要求1所述的方法，其中所述第二数字图像数据为由所述第二移动装置捕获的数字视频数据且所述现实世界对象包含在所述数字视频数据中。
12.根据权利要求11所述的方法，其中所述数字视频数据为由所述第二移动装置捕获的直播视频馈送，且其中将所述虚拟标记数据发射到所述第二移动装置以使得所述第二移动装置能够将所述虚拟标记数据呈现在所述直播视频馈送上。
13.根据权利要求1所述的方法，其进一步包括: 从所述第一移动装置接收全球定位系统GPS数据； 将所述GPS数据与所述虚拟标记数据之间的关联存储在所述标记数据库中，所述关联指示所述虚拟标记位于的现实世界位置；及 当所述第二移动装置位于与所述虚拟标记数据相关联的所述GPS数据的预定距离之内时，将一个或一个以上虚拟标记在附近的通知发送到所述第二移动装置。
14.一种包含指令的非暂时性计算机可读存储媒体，所述指令在由处理器执行时致使所述处理器执行方法，所述方法包括: 在服务器计算机系统处接收第一数字图像数据及待与所述第一数字图像数据中的现实世界对象相关联的虚拟标记数据，其中所述第一数字图像数据由第一移动装置捕获，且所述虚拟标记数据包含从所述第一移动装置的用户接收的元数据； 从所述第一数字图像数据产生描述所述现实世界对象的第一数字签名； 响应于所述产生,实质上实时地将所述第一数字签名插入到数字图像的可搜索索引中； 在标记数据库中存储所述虚拟标记数据及所述虚拟标记数据与插入到所述数字图像的索引中的所述第一数字签名之间的关联； 接收从由第二移动装置捕获的第二数字图像数据产生的第二签名，所述第二数字图像数据包含一个或一个以上现实世界对象；及 当基于所述第二数字签名的对所述数字图像的索引的搜索导致与所述第一数字签名的匹配时，将从所述第一移动装置的所述用户接收且与所述第一数字图像数据中的所述现实世界对象相关联的所述虚拟标记数据发射到所述第二移动装置。
15.根据权利要求14所述的计算机可读存储媒体，其中从所述第一移动装置的所述用户接收到的所述虚拟标记数据包含由所述用户从多个不同虚拟贴纸之中选择的虚拟贴纸，每一虚拟贴纸传达不同信息，且所述所选择的虚拟贴纸待呈现在所述现实世界对象的数字图像数据上。
16.根据权利要求14所述的计算机可读存储媒体，其中产生所述第一数字签名及实质上实时地插入所述第一数字签名进一步包括: 从所述第一数字图像数据产生一组特征向量，每一特征向量描述围绕所述第一数字图像数据中的所述现实世界对象的兴趣点的像素的邻域；且 当所述第一数字图像数据的所述组特征向量被提取时，实时地将所述组特征向量插入到多个现实世界对象的特征向量的可搜索k维树结构中。
17.根据权利要求14所述的计算机可读存储媒体，响应于所述第二数字签名与所述第一数字签名匹配的确定，询问标记数据库以定位与所述现实世界对象相关联的额外虚拟标记数据； 获得与所述现实世界对象相关联的一个或一个以上额外标记，所述一个或一个以上额外标记中的每一者包含用户创建内容；及 将所述额外虚拟标记数据发射到所述第二移动装置。
18.根据权利要求14所述的计算机可读存储媒体，其中所述第一移动装置为蜂窝式电话且所述第二移动装置为呈眼镜形式的用户可佩戴式计算装置。
19.一种系统,其包括: 存储器 '及 处理器，其与所述存储器耦合以 接收第一数字图像数据及待与所述第一数字图像数据中的现实世界对象相关联的虚拟标记数据，其中所述第一数字图像数据由第一移动装置捕获，且所述虚拟标记数据包含从所述第一移动装置的用户接收的元数据； 从所述第一数字图像数据产生描述所述现实世界对象的第一数字签名； 响应于所述产生,实质上实时地将所述第一数字签名插入到数字图像的可搜索索引中； 在标记数据库中存储所述虚拟标记数据及所述虚拟标记数据与插入到所述数字图像的索引中的所述第一数字签名之间的关联； 接收从由第二移动装置捕获的第二数字图像数据产生的第二签名，所述第二数字图像数据包含一个或一个以上现实世界对象；及 当基于所述第二数字签名的对所述数字图像的索引的搜索导致与所述第一数字签名的匹配时，将从所述第一移动装置的所述用户接收且与所述第一数字图像数据中的所述现实世界对象相关联的所述虚拟标记数据发射到所述第二移动装置。
20.根据权利要求19所述的系统，其中从所述第一移动装置的所述用户接收到的所述虚拟标记数据包含由所述用户从多个不同虚拟贴纸之中选择的虚拟贴纸，每一虚拟贴纸传达不同信息，且所述所选择的虚拟贴纸待呈现在所述现实世界对象的数字图像数据上。
【文档编号】G06F17/30GK103620600SQ201280030836
【公开日】2014年3月5日 申请日期:2012年4月26日 优先权日:2011年5月13日
【发明者】约翰·弗林, 德拉戈米尔·安格洛夫, 哈特穆特·内文, 马克·卡明斯, 詹姆斯·菲尔宾, 拉斐尔·斯普林, 哈特维希·亚当, 阿南德·皮莱 申请人:谷歌公司