用于实现现实世界用户经历的可搜索历史的方法及设备的制作方法

用于实现现实世界用户经历的可搜索历史的方法及设备的制作方法
【专利摘要】本发明描述一种用于实现现实世界用户经历的可搜索历史的方法及设备。所述方法可包含由移动计算装置捕获媒体数据。所述方法还可包含将所述所捕获媒体数据发射到服务器计算机系统，所述服务器计算机系统用以对所述所捕获媒体数据执行一个或一个以上辨识过程且当所述一个或一个以上辨识过程发现匹配时将所述所捕获媒体数据添加到所述移动计算装置的用户的现实世界经历的历史。所述方法还可包含将所述用户的查询发射到所述服务器计算机系统以起始对所述历史或现实世界经历的搜索，并接收与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据。
【专利说明】用于实现现实世界用户经历的可搜索历史的方法及设备
[0001]相关案例
[0002]本申请案主张2011年8月3日申请的第61 / 514，788号美国临时申请案的优先权且将所述申请案的全文并入。
【技术领域】
[0003]本发明的实施例涉及基于因特网的搜索的领域，且更特定来说涉及实现现实世界用户经历的可搜索历史。
【背景技术】
[0004]因特网提供关于人、地点及事物的大量知识。用户在其需要关于特定人、地点或事物的详细信息时利用搜索引擎在大量的可用知识中进行挑选。可利用移动装置来接入因特网并从任何处进行搜索。举例来说，当用户站在历史古迹旁时，他或她可搜索所述古迹的历史数、与古迹相关的照片等。搜索引擎基于查询而通过定位由搜索引擎经由网络搜索程序(web crawl)找到的所创建相关内容将结果返回到用户。然而，搜索结果中的所检索内容通常是由其它用户产生且与用户的现实世界经历无关。

【发明内容】

[0005]本发明描述一种用于实现现实世界用户经历的可搜索历史的方法及设备。根据示范性方法，由移动计算装置捕获媒体数据并将其发射到服务器计算机系统。在一个实施例中，所述服务器计算机系统用以对所述所捕获媒体数据执行一个或一个以上辨识过程且当所述一个或一个以上辨识过程发现匹配时将所述所捕获媒体数据添加到所述移动计算装置的用户的现实世界经历的历史。在一个实施例中，将所述用户的查询发射到所述服务器计算机系统以起始对所述历史或现实世界经历的搜索，并接收与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据。
【专利附图】

【附图说明】
[0006]依据下文给出的详细描述且依据本发明的各种实施例的附图，将更全面地理解本发明，然而，所述实施例不应理解为将本发明限制于特定实施例而是仅用于解释及理解。
[0007]图1是用于实现基于音像的搜索历史的示范性系统架构的框图。
[0008]图2是基于音像的搜索系统及基于音像的搜索客户端的一个实施例的框图。
[0009]图3是用于产生用户经历的可搜索历史的方法的一个实施例的流程图。
[0010]图4是用于搜索用户经历的历史的方法的一个实施例的流程图。
[0011]图5是用于设定针对用户经历的可搜索历史的创建的偏好的方法的一个实施例的流程图。
[0012]图6是用于基于用户偏好而捕获用于创建用户经历的历史的媒体数据的方法的一个实施例的流程图。[0013]图7是可与本发明一起使用的计算机系统的一个实施例。
[0014]图8图解说明用于接收、发射及显示数据的实例性系统。
[0015]图9图解说明用于接收、发射及显示数据的实例性系统的替代视图。
[0016]图10图解说明计算机网络基础结构的实例性不意图。
【具体实施方式】
[0017]在以下描述中，陈述了众多细节。然而，受益于本发明的所属领域的一股技术人员应明了，可在不具有这些特定细节的情况下实践本发明。在一些实例中，以框图形式而非详细地展示众所周知的结构及装置，以避免使本发明模糊。
[0018]以下详细描述的一些部分是就算法及对计算机存储器内的数据位的操作的符号表示的方面而呈现。这些算法描述及表示是数据处理领域的技术人员用来最有效地向所属领域的其他技术人员传达其工作的实质的手段。此处且一股来说将算法设想为能达到所要结果的自相容步骤序列。所述步骤是需要对物理数量进行物理操纵的步骤。通常(但未必)，这些数量采取能够存储、转移、组合、比较及以其它方式操纵的电信号或磁信号的形式。已证明，主要出于常用的原因，将这些信号称作位、值、元素、符号、字符、项、数字或类似物有时较为方便。
[0019]然而，应记住，所有这些术语及类似术语将与适当的物理数量相关联，且仅为应用于这些数量的方便标记。除非从以下论述显而易见另有具体陈述，否则应了解，在本说明通篇中，利用例如“捕获”、“发射”、“接收”、“剖析”、“形成”、“监视”、“起始”、“执行”、“添加”或类似词语的术语进行的论述指代计算机系统或类似电子计算装置的如下动作及过程:将在计算机系统的寄存器及存储器内的表示为物理(例如，电子)数量的数据操纵且变换成在计算机系统存储器或寄存器或其它此类信息存储、发射或显示装置内的类似地表示为物理数量的其它数据。
[0020]本发明还涉及一种用于执行本文中的操作的设备。此设备可专门针对所需目的而构造，或其可包括通用计算机，所述通用计算机由存储于所述计算机中的计算机程序来选择性地激活或重新配置。此计算机程序可存储于计算机可读存储媒体中，例如，但不限于:包含软盘、光盘、CD-ROM及磁光盘的任何类型的磁盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPR0M、磁性或光学卡或者适合于存储电子指令的任何类型的媒体。
[0021]本文中所呈现的算法及显示并非与任何特定计算机或其它设备固有地相关。各种通用系统可与根据本文中的教示的程序一起使用，或者可证明便于构造用以执行所需方法步骤的更专门化设备。依据下文的描述，多种这些系统的所需结构将显而易见。另外，并非参考任何特定程序设计语言而描述本发明。应了解，可使用多种程序设计语言来实施如本文中所描述的本发明的教示。
[0022]图1是用于实现基于音像的搜索历史的示范性系统架构100的框图。在一个实施例中，系统100包含移动装置110及搜索服务器130。在一个实施例中，移动装置110可为移动计算装置，例如移动电话、个人数字助理、平板计算机、可佩戴计算装置等。搜索服务器130也可为计算装置，例如一个或一个以上服务器计算机、桌上型计算机等。
[0023]移动装置110及搜索服务器130可耦合到网络102，网络102传递用于信息交换的标准协议中的任一者。在一个实施例中，移动装置Iio经由无线连接与网络102耦合，例如蜂窝式电话连接、无线保真连接等。移动装置110及搜索服务器130可在一个局域网(LAN)上运行且可并入到相同物理或逻辑系统或者不同物理或逻辑系统中。或者，移动装置110及搜索服务器130可驻存于可经由因特网耦合在一起但通过防火墙、路由器及/或其它网络装置分离的不同LAN、广域网、蜂窝式电话网络等上。应注意，可使用各种其它网络配置，举例来说，包含托管式配置、分布式配置、集中式配置等。
[0024]移动装置110负责用所述移动装置的数字相机(未展示)捕获数字图像数据并用所述移动装置的麦克风(未展示)捕获音频数据。所捕获数字图像数据可包含静态数字照片、一系列数字照片、所记录数字视频、实况视频馈送等。所捕获音频数据可包含音频样本、音频签名、实况音频馈送等。在一个实施例中，移动装置110可为如图9及10中所图解说明的双目式可佩戴计算装置、单目式可佩戴计算装置(即，类似于图9及10中所描述的显示器的单眼头戴式显示器)以及蜂窝式电话、平板计算机等。
[0025]在一个实施例中，数字图像数据可捕获人以及现实世界物体(例如地点或事物)，而数字音频数据可捕获音乐、传达例如名称、地点等数据的会话及新闻事件等。在一个实施例中，当移动装置110捕获媒体数据(例如数字图像数据及/或数字音频数据)时，基于音像的搜索客户端112将所捕获媒体数据发射到搜索服务器130。在一个实施例中，基于音像的搜索客户端112还连同所捕获媒体数据一起发射传感器数据，例如对应于在捕获媒体数据时的位置及时间的位置数据及时间数据。在一个实施例中，搜索服务器130的基于音像的搜索系统132接收媒体及传感器数据并对所述媒体数据执行一个或一个以上辨识过程，如下文所论述。
[0026]在一个实施例中，当搜索服务器130的基于音像的搜索系统132从基于音像的搜索客户端112接收到媒体数据时,基于音像的搜索系统132对数字图像数据执行一个或一个以上图像辨识过程及/或对数字音频数据执行一个或一个以上音频辨识过程。在一个实施例中，基于音像的搜索系统132对数字图像数据内的人执行面部辨识过程。在一个实施例中，基于音像的搜索系统132还对数字图像数据内的物体执行图像匹配。此外，基于音像的搜索系统132对音频数据执行音频辨识过程以确定所记录歌曲或实况歌曲是否正在播放、确定正在讲什么话语等。
[0027]在一个实施例中，当基于音像的搜索系统132识别出特定人、特定物体(例如，艺术品、建筑、纪念碑、零售区位置等)、特定歌曲、指示位置的话语、指示同时捕获的数字图像中的人的话语等时，基于音像的搜索系统132将指示匹配的数据存储于基于音像的搜索历史134中。所存储匹配为现实世界中的用户经历的记录。在一个实施例中，基于音像的搜索系统132连同所述匹配以及指示移动装置的用户的数据一起进一步存储传感器数据。举例来说，当在数字图像数据内匹配到一人时，基于音像的搜索系统132可将所述人的身份、捕获数字图像的位置及捕获数字图像的时间存储于基于音像的搜索历史134内的数据库记录或可搜索索引中。此外，基于音像的搜索历史134中的条目是连同用户识别数据(例如用户帐户、唯一 ID等)一起存储的。
[0028]在一个实施例中，移动装置110继续捕获媒体数据并将所捕获媒体数据发射到搜索服务器130。对额外媒体数据执行辨识过程，且将匹配存储于基于音像的搜索历史134中。由于音频及/或视频数据匹配是与识别移动装置110的用户的数据相关联地存储的，因此由移动装置110捕获的在现实世界中的用户经历的历史存储于基于音像的搜索历史134处。在一个实施例中，现实世界用户经历的历史是可搜索的，如下文所论述。
[0029]在一个实施例中，移动装置110还负责接收用以搜索基于音像的搜索历史134的用户查询。在一个实施例中，其它计算装置(例如个人计算机、膝上型计算机、平板计算机、智能电话等)可接收及发射依托用户经历的历史的查询，如下文所论述。在一个实施例中，所述查询可为键入到基于音像的搜索客户端112的用户接口中且由移动装置110发射到搜索服务器130的基于文本的查询。在一个实施例中，所述查询还可为由基于音像的搜索客户端112经由移动装置110的麦克风(未展示)接收且发射到搜索服务器130的口头或音频查询。当所述查询为口头或音频查询时，基于音像的搜索客户端112可将音频发射到搜索服务器130，或移动装置110可剖析所述查询以定位接着作为基于文本的查询发射到搜索服务器130的关键字。
[0030]在一个实施例中，基于音像的搜索系统132从基于音像的搜索客户端112接收用户查询。如上文所论述，当查询为尚未经剖析的口头或音频查询(即，所述查询为音频数据)时，基于音像的搜索系统132剖析所述查询以定位关键字，如上文所论述。基于音像的搜索系统132依托基于音像的搜索历史134针对与所述查询相关且与和移动装置110的用户相关联的用户识别数据有关的项目执行搜索。基于音像的搜索系统132将搜索的结果发射到基于音像的搜索客户端112的移动装置以向用户显示。
[0031]在一个实施例中，存储于基于音像的搜索历史134处的用户经历的历史使得能够对用户的现实世界经历历史执行查询，例如“在昨晚聚会上的是什么歌曲播放列表？”、“我在巴黎度假时看到的是什么画作？ ”、“出席今天下午商务午餐的是什么人？ ”、“我在五月份读了多少本书？ ”等。所述查询使得用户能够搜索并定位他或她已经历的人、地点及事物。
[0032]在一个实施例中，可发布对跨越多个用户的历史的查询。举例来说，社交连网网站上的朋友可指定其在基于音像的搜索历史134上的用户经历历史可用于由朋友、公众、用户群组的成员等搜索。因此，用户可能够键入例如“我的朋友昨晚在哪里？ ”、“约翰在度假时看到了什么？ ”等查询。
[0033]在又一实施例中，可发布针对已由多个用户产生的历史的查询。用户群组可产生针对共同目的的历史。举例来说，保安人员、机场安检员等群组可在其正工作时产生历史。接着，在稍后时间点，群组的任何成员、主管所述群组的监管员等可键入例如“请为我展示在下午I点与下午3点之间见到的所有人的面部”等查询。
[0034]图2是基于音像的搜索系统及基于音像的搜索客户端的一个实施例200的框图。基于音像的搜索客户端212及基于音像的搜索系统232提供上文在图1中所论述的基于音像的搜索客户端112及基于音像的搜索系统132的额外细节。
[0035]在一个实施例中，基于音像的搜索客户端212可包含音频捕获模块220、图像捕获模块222、传感器数据产生器224、音像搜索产生器216、基于音像的搜索系统接口 214、偏好管理器230及基于音像的搜索用户接口 228。在一个实施例中，基于音像的搜索系统232可包含客户端接口 236、历史与分析搜索引擎240、基于音像的搜索引擎238及基于音像的搜索历史234。在一个实施例中，基于音像的搜索客户端212及基于音像的搜索系统232经由如上文在图1中所论述的各种网络202及网络配置而彼此通信。
[0036]在基于音像的搜索客户端212中，偏好管理器230使得用户能够指定音频捕获模块220及图像捕获模块220何时捕获媒体数据以用于产生用户经历的历史，如本文中所论述。在一个实施例中，偏好管理器230使得用户能够指定当通过用户起始的事件(例如用户拍摄图片、对着麦克风讲话、按压基于音像的搜索用户接口 228上的按钮从而指示用户希望将媒体数据添加到基于音像的搜索历史234等)捕获时将图像数据及/或音频数据传送到基于音像的搜索系统232。在另一实施例中，偏好管理器230使得用户能够设定其中基于音像的搜索客户端212将捕获媒体数据的基于位置的偏好。举例来说，当移动装置处于加利福尼亚州山景城(Mountain View, California)时,基于音像的搜索客户端212可经设定以在用户未起始媒体捕获的情况下连续地或以规则的周期性间隔捕获媒体数据。作为另一实例，偏好管理器230可监视用户的当前位置以确定其是否处于受欢迎位置(例如，其中特定数目个其它用户已捕获经历历史的媒体数据的位置)中。当确定用户处于受欢迎位置内时，偏好管理器可在无用户介入的情况下自动开启媒体捕获。在另一实施例中，偏好管理器230可经设定以在特定时间间隔内连续地或周期性地捕获媒体数据。举例来说，可在特定事件之后(例如，在到达特定位置之后，响应于用户命令等)的两个小时内连续地捕获媒体。在又一实施例中，偏好管理器230使得用户能够将媒体捕获设定为始终开启，使得音频捕获模块220及图像捕获模块222在用户未起始媒体捕获的情况下连续地捕获媒体数据。在一个实施例中，偏好管理器230可基于移动装置的电池的当前条件而在上文所论述的模式之间改变针对媒体数据捕获的设定。在一个实施例中，可经由由基于音像的搜索用户接口 228提供的用户接口而对偏好设定进行接收、改变、更新等。
[0037]在一个实施例中，响应于媒体的捕获且基于在偏好管理器230内设定的偏好，音像搜索产生器216准备所捕获媒体数据以用于发射到基于音像的搜索系统232。在一个实施例中，音像搜索产生器216产生由图像捕获模块222捕获的图像数据内的物体的数字签名、从由音频捕获模块220捕获的音频数据选择音频样本或产生数字签名及从传感器数据产生器224获得数据(例如位置数据、时间数据、加速度数据等)。在另一实施例中，音像搜索产生器216不产生图像签名或定位音频样本。音像搜索产生器216将媒体数据与传感器数据组合，所述数据接着由基于音像的搜索系统接口发射到基于音像的搜索系统232的客户端接口 236。
[0038]在一个实施例中，客户端接口 236将媒体数据转发到基于音像的搜索引擎238。在一个实施例中，当基于音像的搜索引擎238接收到数字图像数据及/或音频数据时，基于音像的搜索引擎238产生所接收图像数据内的物体的数字签名及从所接收音频数据选择音频样本。然而，如上文所论述，基于音像的搜索引擎238还可接收图像签名及音频样本且因此不需要产生签名及样本。在一个实施例中，基于音像的搜索引擎238利用数字图像签名及/或音频样本来对媒体数据执行一个或一个以上辨识过程以尝试确定数字图像数据内的特定物体、人、事物等或确定音频数据内的话语、歌曲标题、人的姓名等。在一个实施例中，基于音像的搜索引擎238利用图像签名及/或音频样本来搜索视听搜索服务器、数据库、索引等(未展示)。当基于音像的搜索引擎238发现匹配从而指示已辨识出图像数据内的物体或音频数据内的声音时，基于音像的搜索引擎238将结果存储于基于音像的搜索历史234中。在一个实施例中，基于音像的搜索引擎238还连同匹配结果一起存储用户识别数据及所接收传感器数据(例如位置、时间等)。如上文所论述，随着针对由用户捕获的媒体数据发现更多匹配，由基于音像的搜索系统232创建用户经历的历史。
[0039]在一个实施例中，通过产生搜索查询而使得用户能够搜索用户经历的相关联历史。在一个实施例中，基于音像的搜索用户接口 228负责接收用户搜索查询。在一个实施例中，基于音像的搜索用户接口 228以输入到基于音像的搜索用户接口 228的用户接口中的文本的形式接收查询。在另一实施例中，基于音像的搜索用户接口 228以由音频捕获模块接收的音频输入的形式收接查询。在此实施例中，由基于音像的搜索用户接口 228以口头话语的形式接收基于话音命令的搜索。在一个实施例中，基于音像的搜索用户接口 228剖析基于话音命令的搜索以定位关键字。基于所述关键字，基于音像的搜索用户接口 228产生基于关键字的搜索查询。不管产生查询的方式如何，基于音像的搜索系统接口 214均将查询发射到客户端接口 236。
[0040]在一个实施例中，历史与分析搜索引擎240从客户端接口 236接收搜索查询。历史与分析搜索引擎240接着对与产生了搜索的用户相关联的基于音像的搜索历史234执行所述搜索。由于基于音像的搜索历史存储用户经历的历史，因此历史与分析搜索引擎240执行例如“上个月我读了多少本书？ ”、“这周末在俱乐部的是谁？ ”、“我在澳大利亚悉尼看到了什么建筑物？ ”等搜索。历史与分析搜索引擎240接收搜索的结果，且客户端接口 236将所述结果发射到基于音像的搜索客户端212，经由基于音像的搜索用户接口 228向用户显示所述结果。
[0041]图3是用于产生用户经历的可搜索历史的方法300的一个实施例的流程图。通过可包括硬件(电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合的处理逻辑来执行方法300。在一个实施例中，通过基于音像的搜索客户端及基于音像的搜索系统(例如，基于音像的搜索客户端112或212及基于音像的搜索系统132或232)来执行方法300。
[0042]参考图3，处理逻辑通过捕获媒体数据而开始(处理框302)。在一个实施例中，移动装置(例如蜂窝式电话、平板计算机、单目式可佩戴处理系统、双目式可佩戴处理系统等)用所述移动装置的相机及/或麦克风捕获媒体数据。如本文中所论述，媒体数据包含数字图像数据及/或数字音频数据。此外，所述数据可包含流式媒体数据、图片、音频样本等。在一个实施例中，所述媒体数据捕获与移动装置的用户相关联的现实世界事件。处理逻辑将所捕获媒体数据发射到基于音像的搜索系统(处理框304)。在一个实施例中，可将媒体数据或媒体数据的样本传送到基于音像的搜索系统。在另一实施例中，处理逻辑产生数字图像数据内的物体的数字签名及从数字音频数据选择音频样本，所述数字签名及音频样本被发射到基于音像的搜索系统。
[0043]处理逻辑从基于音像的搜索客户端接收所捕获媒体数据(处理框306)。在其中处理逻辑接收媒体数据而不接收图像签名及/或音频样本的一个实施例中，处理逻辑产生所接收数字图像数据内的物体的数字签名及从所接收数字音频数据选择音频样本。处理逻辑对媒体数据执行图像及/或音频辨识(处理框308)。在一个实施例中，处理逻辑利用数字图像签名来搜索现实世界物体、人或具有匹配图像签名的其它物体。此外，处理逻辑利用音频的样本来搜索匹配音频样本的音频，例如歌曲、话音等。
[0044]处理逻辑接着确定是否已辨识出人、物体或声音(处理框310)。当媒体数据内不存在针对面部、物体或音频的匹配时，过程结束。然而，当发现匹配及因此已识别出媒体数据内的人、物体或声音时，处理逻辑将结果存储于用户的基于音像的搜索历史中(处理框312)。[0045]在一个实施例中，媒体数据、数字签名或音频样本从基于音像的搜索客户端的每一传送都随附有用户识别数据，例如用户姓名及口令、与用户相关联的唯一识别数据等。在一个实施例中，每一所匹配结果因此与特定用户相关联。在额外媒体数据经匹配且与用户相关联时，创建用户的现实世界经历的历史。也就是说，创建用户已看到及听到什么的记录以使得能够搜索用户的历史。
[0046]在一个实施例中，用户群组可与相同历史相关联。举例来说，保安人员、机场安检员、家庭成员、公司雇员等群组可与用户经历的历史相关联。接着将群组中的个别成员的经历中的每一者添加到单个历史以便从数个有利点提供在一段时间内的较详尽的历史。此夕卜，当搜索历史时，如下文所论述，到搜索历史的多个输入确保对与群组相关的现实世界事件的较详尽涵盖。
[0047]图4是用于搜索用户经历的历史的方法400的一个实施例的流程图。通过可包括硬件(电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合的处理逻辑来执行方法400。在一个实施例中，通过基于音像的搜索客户端及基于音像的搜索系统(例如，基于音像的搜索客户端112或212及基于音像的搜索系统132或232)来执行方法400。
[0048]参考图4，处理逻辑通过接收用户搜索而开始(处理框402)。在一个实施例中，所述搜索为将对已经捕获并记录于基于音像的搜索历史中的用户的现实世界经历的历史执行的搜索。举例来说，所述搜索可包含例如“请为我展示昨晚出席聚会的人？ ”、“上周末在俱乐部播放了什么歌曲？ ”、“请为我展示我在维也纳看到的所有艺术品？ ”等搜索。
[0049]在一个实施例中，所述搜索可为键入到移动装置的用户接口中的基于文本的搜索。在一个实施例中，所述搜索可为由移动装置的麦克风接收的话音激活的搜索。当搜索为话音激活的搜索时，在一个实施例中，处理逻辑剖析话音激活的搜索的音频数据以定位关键字。基于所定位的关键字，处理逻辑能够产生基于文本的关键字搜索。在一个实施例中，所述关键字可包含针对现实世界经历的历史的时间及位置限制。处理逻辑接着将搜索发射到基于音像的搜索系统(处理框404)。
[0050]从基于音像的搜索系统接收搜索(处理框406)且处理逻辑基于所接收搜索而查询基于音像的搜索历史(处理框408)。举例来说，搜索可请求“请为我展示我在维也纳看到的所有艺术品？ ”。处理逻辑将查询基于音像的搜索历史以在用户的历史内针对包含指示奥地利维也纳的艺术品位置的位置元数据的艺术品找出图像匹配。作为另一实例，搜索可请求“昨晚在俱乐部是什么播放列表？ ”。处理逻辑将查询基于音像的搜索历史以找出包含在指定日期的一段时间内的歌曲标题的音频匹配。处理逻辑将查询的结果发射到基于音像的搜索客户端(处理框410)。
[0051]处理逻辑从基于音像的搜索系统接收查询的结果(处理框412)且向用户显示查询的结果(处理框414)。在一个实施例中，查询的结果显示指示现实世界经历的用户历史中的媒体数据的数据。举例来说，包含数字图像的查询结果可包含指示用户经历的历史中的媒体数据的缩略图像的显示。作为另一实例，包含音频数据的查询结果可包含对应于用户经历的历史中的所匹配歌曲的专辑封面的显示。在一个实施例中，处理逻辑在图形用户接口中向用户显示结果。举例来说，可在指示其中已发生与查询相关的匹配的位置的地图上沿着图解说明何时已发生与查询相关的匹配之间的关系的时间线(以使得用户能够浏览与查询相关的多个不同匹配的滑块等显示)显示结果显示。
[0052]图5是用于设定针对用户经历的可搜索历史的创建的偏好的方法500的一个实施例的流程图。通过可包括硬件(电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合的处理逻辑来执行方法500。在一个实施例中，通过基于音像的搜索客户端(例如，基于音像的搜索客户端112或212)来执行方法500。
[0053]参考图5，处理逻辑通过起始针对用户的基于音像的搜索偏好设置而开始(处理框502)。在一个实施例中，不同搜索偏好对正执行处理逻辑的移动装置的电池消耗具有影响。举例来说，视频流及音频流的连续捕获将比类似图像及音频数据的周期性捕获更快速地汲取移动装置的电池。因此，在一个实施例中，处理逻辑使得能够选择不同媒体数据捕获选项以为用户提供一系列的电力消耗选项。
[0054]处理逻辑接收对一个或一个以上媒体捕获偏好的用户选择(处理框504)。存在针对移动装置何时及多久捕获媒体数据的数个偏好变化。在若干实施例中，所述变化中的一些变化是自动的且对于用户是透明的，例如对数字视频数据及数字音频数据中的一者或两者的连续捕获、以预设间隔对媒体数据的周期性捕获、基于与特定位置的接近性而对媒体数据的捕获及基于与受欢迎位置的接近性而对媒体数据的捕获。在一个实施例中，对媒体数据的捕获还可基于用户起始的事件，例如用户拍摄图片、记录消息等。处理逻辑将媒体捕获偏好存储于与用户相关联的基于音像的搜索客户端上(处理框506)。
[0055]处理逻辑从用户接收针对额外用户的可接入所述用户的基于音像的搜索历史的授权(处理框508)。在一个实施例中，可与其它用户共享用户的现实世界经历的历史，且因此使所述历史可由其它用户搜索。在一个实施例中，用户可与社交连网系统上的朋友、组织的其它成员、公司的其它雇员等共享其经历历史。
[0056]处理逻辑将授权及额外用户的身份发射到基于音像的搜索系统(处理框510)。在一个实施例中，处理逻辑发射授权使得基于音像的搜索系统232准许经授权用户搜索并非所述经授权用户的历史。
[0057]图6是用于基于用户偏好而捕获用于创建用户经历的历史的媒体数据的方法600的一个实施例的流程图。通过可包括硬件(电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行)、固件或组合的处理逻辑来执行方法600。在一个实施例中，通过基于音像的搜索客户端(例如，基于音像的搜索客户端112或212)来执行方法600。
[0058]参考图6，处理逻辑通过启动基于音像的搜索客户端而开始(处理框602)。处理逻辑分析一个或一个以上媒体捕获偏好(处理框604)。如本文中所论述，所述偏好可向处理逻辑指示应在移动装置接近特定位置时、在指定时间间隔内等起始媒体数据捕获。当处理逻辑确定已满足偏好时(处理框606)，处理逻辑基于所满足的偏好而捕获媒体数据(处理框608)。在一个实施例中，所述偏好指定将捕获数字图像数据、数字音频数据还是两者、是否将捕获连续媒体数据或是否将以周期性间隔捕获媒体数据、将多久捕获媒体数据等。
[0059]然而，当处理逻辑确定尚未满足一个或一个以上偏好时(处理框606)，处理逻辑返回到处理框604以继续分析媒体捕获偏好(处理框604)。在一个实施例中，处理逻辑可确定不再满足先前被满足的与媒体数据的捕获相关的条件。在此情况中，处理逻辑将停止基于所述偏好而捕获媒体数据。
[0060]图7是可与本发明一起使用的计算机系统的一个实施例。然而，所属领域的一股技术人员应明了，还可使用各种系统架构的其它替代系统。
[0061]图7中所图解说明的数据处理系统包含用于传递信息的总线或其它内部通信构件715及耦合到总线715的用于处理信息的处理器710。所述系统进一步包括耦合到总线715的用于存储将由处理器710执行的信息及指令的随机存取存储器(RAM)或其它易失性存储装置750 (称为存储器)。主存储器750还可用于在处理器710执行指令期间存储暂时变量或其它中间信息。所述系统还包括耦合到总线715的用于存储用于处理器710的静态信息及指令的只读存储器(ROM)及/或静态存储装置720以及例如磁盘或光盘及其对应盘驱动器等数据存储装置725。数据存储装置725耦合到总线715用于存储信息及指令。
[0062]所述系统可进一步耦合到通过总线765耦合到总线715用于向计算机用户显示信息的显示装置770，例如阴极射线管(CRT)或液晶显示器(LCD)。包含字母数字及其它键的字母数字输入装置775也可通过总线765耦合到总线715用于将信息及命令选择传递到处理器710。额外用户输入装置为通过总线765耦合到总线715用于将方向信息及命令选择传递到处理器710且用于控制显示装置770上的光标移动的光标控制装置780，例如鼠标、轨迹球、手写笔或光标方向键。
[0063]可任选地耦合到计算机系统700的另一装置为用于经由网络接入分布式系统的其它节点的通信装置790。通信装置790可包含若干个市售连网外围装置(例如用于耦合到以太网、令牌环、因特网或广域网的市售连网外围装置)中的任一者。通信装置790可进一步为空调制解调器连接或提供计算机系统700与外部世界之间的连接性的任何其它机构。注意，可在本发明的各种实施例中使用图7中所图解说明的此系统的任何或所有组件。
[0064]所属领域的一股技术人员应了解，根据特定实施方案，可针对各种目的使用所述系统的任何配置。实施本发明的控制逻辑或软件可存储于主存储器750、大容量存储装置725或可由处理器710本地或远程接入的其它存储媒体中。
[0065]所属领域的一股技术人员应明了，本文中所描述的系统、方法及过程可实施为存储于主存储器750或只读存储器720中且由处理器710执行的软件。此控制逻辑或软件还可驻存于包括计算机可读媒体的制品上，所述计算机可读媒体具有体现于其中且可由大容量存储装置725读取且用于致使处理器710根据本文中的方法及教示操作的计算机可读程序代码。
[0066]本发明还可在含有上文所描述的计算机硬件组件的子组的手持式或便携式装置中体现。举例来说，所述手持式装置可经配置以仅含有总线715、处理器710及存储器750及/或725。所述手持式装置还可经配置以包含用户可借以从一组可用选项进行选择的一组按钮或输入发信组件。所述手持式装置还可经配置以包含用于向手持式装置的用户显示信息的输出设备，例如液晶显示器(LCD)或显示元件矩阵。可使用常规方法来实施此手持式装置。鉴于如本文中所提供的本发明的揭示内容，所属领域的一股技术人员将明了本发明针对此装置的实施方案。
[0067]本发明还可在包含上文所描述的计算机硬件组件的子组的专用器具中体现。举例来说，所述器具可包含处理器710、数据存储装置725、总线715及存储器750以及仅最基础的通信机构，例如准许用户以基本方式与装置通信的小触摸屏。一股来说，装置越专用，使所述装置发挥作用就需要存在越少的元件。
[0068]图8图解说明用于接收、发射及显示数据的实例性系统800。以可佩戴计算装置的形式展示系统800。尽管图8将眼镜802图解说明为可佩戴计算装置的实例，但可另外或替代地使用其它类型的可佩戴计算装置，例如具有单眼头戴式显示器的单目式可佩戴计算装置。如图8中所图解说明，眼镜802包括若干框架元件，包含镜片框架804及806以及中心框架支撑件808、镜片元件810及812以及延伸的镜腿814及816。中心框架支撑件808以及延伸的镜腿814及816经配置以分别经由用户的鼻子及耳朵将眼镜802固定到用户的面部。框架元件804、806及808以及延伸的镜腿814及816中的每一者可由塑料或金属的实心结构形成，或可由类似材料的空心结构形成以便允许布线及组件互连件在内部经路由通过眼镜802。镜片元件810及812中的每一者可由可适宜地显示经投影图像或图形的任何材料形成。镜片元件810及812中的每一者还可为充分透明的以允许用户看透镜片元件。组合所述镜片元件的这两个特征可促进其中经投影图像或图形叠加于如用户通过镜片元件感知的现实世界视图上的扩增现实或抬头显示器。
[0069]延伸的镜腿814及816各自为分别远离框架元件804及806延伸并定位于用户的耳朵后面以将眼镜802固定到用户的突伸部。延伸的镜腿814及816可通过围绕用户头部的后部分延伸而进一步将眼镜802固定到用户。另外或替代地，举例来说，系统800可连接到头戴式头盔结构或附贴于其内。也存在其它可能性。
[0070]系统800还可包含板上计算系统818、摄像机820、传感器822及手指可操作触摸垫824、826。将板上计算系统818展示为定位于眼镜802的延伸的镜腿814上；然而，板上计算系统818可提供于眼镜802的其它部分上。举例来说，板上计算系统818可包含处理器及存储器。板上计算系统818可经配置以接收并分析来自摄像机820及手指可操作触摸垫824、826 (以及可能地来自其它感测装置、用户接口或两者)的数据且产生用于从镜片元件810及812输出的图像。
[0071]将摄像机820展示为定位于眼镜802的延伸的镜腿814上；然而，摄像机820可提供于眼镜802的其它部分上。摄像机820可经配置而以各种分辨率或以不同帧速率捕获图像。举例来说，可将具有小形状因子的许多摄像机(例如在手机中使用的摄像机或网络相机)并入到系统800的实例中。虽然图8图解说明一个摄像机820，但可使用更多摄像机，且每一摄像机可经配置以捕获相同视图或捕获不同视图。举例来说，摄像机820可面向前以捕获由用户感知的现实世界视图的至少一部分。可接着使用由摄像机820捕获的此面向前的图像来产生其中计算机产生的图像显现为与由用户感知的现实世界视图交互的扩增现实。
[0072]展示传感器822安装于眼镜802的延伸的镜腿816上；然而，传感器822可提供于眼镜802的其它部分上。举例来说，传感器822可包含陀螺仪或加速计中的一者或一者以上。其它感测装置可包含于传感器822内或其它感测功能可由传感器822执行。
[0073]展示手指可操作触摸垫824、826安装于眼镜802的延伸的镜腿814、816上。手指可操作触摸垫824、826中的每一者可由用户用来输入命令。手指可操作触摸垫824、826可经由电容性感测、电阻感测或表面声波过程以及其它可能性来感测手指的位置及移动中的至少一者。手指可操作触摸垫824、826可能够感测沿平行于垫表面或在垫表面平面内的方向、沿法向于垫表面的方向或此两个方向的手指移动，且还可能够感测所施加的压力的水平。手指可操作触摸垫824、826可由一个或一个以上半透明或透明绝缘层及一个或一个以上半透明或透明导电层形成。手指可操作触摸垫824、826的边缘可形成为具有凸起、凹进或经粗糙化表面，以便在用户的手指触及手指可操作触摸垫824、826的边缘时向用户提供触觉反馈。手指可操作触摸垫824、826中的每一者可独立地操作且可提供不同功能。
[0074]图9图解说明图8的系统800的替代视图900。如图9中所展示，镜片元件910及912可充当显示元件。眼镜902可包含耦合到延伸的镜腿916的内侧表面且经配置以将显示930投影到镜片元件912的内侧表面上的第一投影仪928。另外或替代地，第二投影仪932可耦合到延伸的镜腿914的内侧表面且经配置以将显示934投影到镜片元件910的内侧表面上。
[0075]镜片元件910及912可充当光投影系统中的组合器且可包含反射从投影仪928及932投影到其上的光的涂层。在一些实施例中，可不使用特殊涂层(例如，当投影仪928及932为扫描激光装置时)。
[0076]在替代实施例中，还可使用其它类型的显示元件。举例来说，镜片元件910、912自身可包含:透明或半透明矩阵显示器(例如电致发光显示器或液晶显示器)、用于将图像递送到用户的眼睛的一个或一个以上波导或能够将对焦近眼图像递送到用户的其它光学元件。对应显示驱动器可安置于框架元件904及906内以用于驱动此矩阵显示器。替代地或另外，可使用激光或LED源及扫描系统来将光栅显示直接描绘到用户的眼睛中的一者或一者以上的视网膜上。也存在其它可能性。
[0077]图10图解说明计算机网络基础结构的实例性示意图。在一个系统1036中，装置1038使用到远程装置1042的通信链路1040(例如，有线或无线连接)进行通信。装置1038可为可接收数据及对应于所述数据或与所述数据相关联的显示信息的任何类型的装置。举例来说，装置1038可为抬头式显示系统，例如参考图8及9所描述的眼镜802及902。
[0078]因此，装置1038可包含包括处理器1046及显示器1048的显示系统1044。举例来说，显示系统1048可为光学透视显示器、光学环视显示器或视频透视显示器。处理器1046可从远程装置1042接收数据且配置所述数据以用于在显示器1048上显示。举例来说，处理器1046可为任何类型的处理器，例如微处理器或数字信号处理器。
[0079]装置1038可进一步包含板上数据存储装置，例如耦合到处理器1046的存储器1050。举例来说，存储器1050可存储可由处理器1046存取及执行的软件。
[0080]远程装置1042可为经配置以将数据发射到装置1038的任何类型的计算装置或发射器，包含膝上型计算机、移动电话等。远程装置1042及装置1038可含有用以实现通信链路1040的硬件，例如处理器、发射器、接收器、天线等。
[0081]在图10中，将通信链路1040图解说明为无线连接；然而，也可使用有线连接。举例来说，通信链路1040可为经由串行总线(例如通用串行总线或并行总线)的有线链路。有线连接也可为专有连接。通信链路1040还可为使用(例如)Bluctoolh?无线电技术、IEEE802.11 (包含任何IEEE802.11修订版)中所描述的通信协议、蜂窝式技术(例如GSM、CDMA, UMTS, EV-DO, WiMAX或LTE)或Zighee?技术以及其它可能性的无线连接。远程装置142可经由因特网接入且可包括与特定web服务(例如，社交连网、照片共享、地址簿等)相关联的计算群集。
[0082]应理解，以上描述打算为说明性而非限制性。在阅读并理解以上描述后，所属领域的技术人员应明了，许多其它实施例。因此，本发明的范围应参考所附权利要求书连同此权利要求书所授权的等效物的全部范围来确定。[0083]出于解释的目的，已参考特定实施例描述了前文说明。然而，以上说明性论述并非打算为穷尽性的或将本发明限制于所揭示的精确形式。鉴于以上教示，可能有许多修改及变化。选择并描述所述实施例以便最佳地解释本发明的原理及其实际应用，以借此使得所属领域的其它技术人员能够以可适合于所预期的特定用途的各种修改最佳地利用本发明及各种实施例。
【权利要求】
1.一种计算机实施的方法，其包括: 由移动计算装置捕获媒体数据； 将所述所捕获媒体数据发射到服务器计算机系统，所述服务器计算机系统用以对所述所捕获媒体数据执行一个或一个以上辨识过程且当所述一个或一个以上辨识过程发现匹配时将所述所捕获媒体数据添加到所述移动计算装置的用户的现实世界经历的历史； 将所述用户的查询发射到所述服务器计算机系统以起始对所述历史或现实世界经历的搜索；及 接收与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据。
2.根据权利要求1所述的计算机实施的方法，其中所述移动计算装置为具有头戴式显示器的用户可佩戴计算装置。
3.根据权利要求1所述的计算机实施的方法，其中所述查询为经由所述移动计算装置的麦克风接收的话音激活的查询。
4.根据权利要求3所述的计算机实施的方法，其进一步包括: 剖析所述话音激活的查询的音频数据以定位所述音频数据中的一个或一个以上关键字；及 形成用于发射到所述服务器计算机系统的基于文本的关键字查询。
5.根据权利要求1所述的计算机实施的方法，其进一步包括: 接收指示何时将由所述移动计算装置捕获媒体数据的一个或一个以上设定； 在所述移动计算装置处监视现实世界条件；及 基于所述一个或一个以上设定及所述所监视的现实世界条件而起始对所述媒体数据的捕获。
6.根据权利要求5所述的计算机实施的方法，其中所述一个或一个以上设定包含当所述移动计算装置接近特定位置时起始由所述移动计算装置进行的媒体数据捕获。
7.根据权利要求5所述的计算机实施的方法，其中所述一个或一个以上设定包含当所述移动计算装置的当前位置接近受欢迎位置时起始由所述移动计算装置进行的媒体数据捕获，其中当已在所述位置处捕获媒体数据的其它用户的数目超过阈值时，所述位置为受欢迎位置。
8.根据权利要求5所述的计算机实施的方法，其中所述一个或一个以上设定包含将多么频繁地捕获所述媒体数据。
9.根据权利要求1所述的计算机实施的方法，其中所述媒体数据包含数字图像数据及数字音频数据中的一者或一者以上。
10.一种包含指令的非暂时计算机可读存储媒体，所述指令当由处理器执行时致使所述处理器执行包括以下各项的方法: 由移动计算装置捕获媒体数据； 将所述所捕获媒体数据发射到服务器计算机系统，所述服务器计算机系统用以对所述所捕获媒体数据执行一个或一个以上辨识过程且当所述一个或一个以上辨识过程发现匹配时将所述所捕获媒体数据添加到所述移动计算装置的用户的现实世界经历的历史； 将所述用户的查询发射到所述服务器计算机系统以起始对所述历史或现实世界经历的搜索?’及 接收与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据。
11.根据权利要求10所述的非暂时计算机可读存储媒体，其中所述移动计算装置为具有头戴式显示器的用户可佩戴计算装置。
12.根据权利要求10所述的非暂时计算机可读存储媒体，其中所述查询为经由所述移动计算装置的麦克风接收的话音激活的查询。
13.根据权利要求12所述的非暂时计算机可读存储媒体，其进一步包括: 剖析所述话音激活的查询的音频数据以定位所述音频数据中的一个或一个以上关键字；及 形成用于发射到所述服务器计算机系统的基于文本的关键字查询。
14.根据权利要求10所述的非暂时计算机可读存储媒体，其进一步包括: 接收指示何时将由所述移动计算装置捕获媒体数据的一个或一个以上设定； 在所述移动计算装置处监视现实世界条件；及 基于所述一个或一个以上设定及所述所监视的现实世界条件而起始对所述媒体数据的捕获。
15.根据权利要求14所述的非暂时计算机可读存储媒体，其中所述一个或一个以上设定包含当所述移动计算装置接近特定位置时起始由所述移动计算装置进行的媒体数据捕-M-犾。
16.根据权利要求14所述的非暂时计算机可读存储媒体，其中所述一个或一个以上设定包含当所述移动计算装置的当前位置接近受欢迎位置时起始由所述移动计算装置进行的媒体数据捕获，其中当已在所述位置处捕获媒体数据的其它用户的数目超过阈值时，所述位置为受欢迎位置。
17.根据权利要求14所述的非暂时计算机可读存储媒体，其中所述一个或一个以上设定包含将多么频繁地捕获所述媒体数据。
18.根据权利要求10所述的非暂时计算机可读存储媒体，其中所述媒体数据包含数字图像数据及数字音频数据中的一者或一者以上。
19.一种移动计算装置，其包括: 存储器；及 处理器，其与所述存储器耦合，用以 捕获媒体数据， 将所述所捕获媒体数据发射到服务器计算机系统，所述服务器计算机系统用以对所述所捕获媒体数据执行一个或一个以上辨识过程且当所述一个或一个以上辨识过程发现匹配时将所述所捕获媒体数据添加到所述移动计算装置的用户的现实世界经历的历史， 将所述用户的查询发射到所述服务器计算机系统以起始对所述历史或现实世界经历的搜索，及 接收与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据。
20.根据权利要求19所述的系统，其中所述移动计算装置为具有头戴式显示器的用户可佩戴计算装置。
21.根据权利要求19所述的系统，其中所述查询为经由所述移动计算装置的麦克风接收的话音激活的查询，且其中所述处理器用以剖析所述话音激活的查询的音频数据以定位所述音频数据中的一个或一个以上关键字并形成用于发射到所述服务器计算机系统的基于文本的关键字查询。
22.根据权利要求19所述的系统，其中所述处理器用以接收指示何时将由所述移动计算装置捕获媒体数据的一个或一个以上设定、在所述移动计算装置处监视现实世界条件并基于所述一个或一个以上设定及所述所监视的现实世界条件而起始对所述媒体数据的捕犾。
23.根据权利要求22所述的系统，其中所述一个或一个以上设定包含当所述移动计算装置接近特定位置时起始由所述移动计算装置进行的媒体数据捕获。
24.根据权利要求22所述的系统，其中所述一个或一个以上设定包含当所述移动计算装置的当前位置接近受欢迎位置时起始由所述移动计算装置进行的媒体数据捕获，其中当已在所述位置处捕获媒体数据的其它用户的数目超过阈值时，所述位置为受欢迎位置。
25.根据权利要求22所述的系 统，其中所述一个或一个以上设定包含将多么频繁地捕获所述媒体数据。
26.根据权利要求19所述的系统，其中所述媒体数据包含数字图像数据及数字音频数据中的一者或一者以上。
27.—种计算机实施的方法，其包括: 在服务器计算机系统处接收由移动计算装置捕获的媒体数据； 对所述所捕获媒体数据执行一个或一个以上辨识过程； 当所述一个或一个以上辨识过程发现匹配时，将所述所捕获媒体数据添加到所述移动计算装置的用户的现实世界经历的历史； 从所述移动计算装置接收查询以起始对所述历史或现实世界经历的搜索；及发射与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据。
28.一种包含指令的非暂时计算机可读存储媒体，所述指令当由处理器执行时致使所述处理器执行包括以下各项的方法: 在服务器计算机系统处接收由移动计算装置捕获的媒体数据； 对所述所捕获媒体数据执行一个或一个以上辨识过程； 当所述一个或一个以上辨识过程发现匹配时，将所述所捕获媒体数据添加到所述移动计算装置的用户的现实世界经历的历史； 从所述移动计算装置接收查询以起始对所述历史或现实世界经历的搜索；及发射与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据。
29.—种系统,其包括: 移动计算装置，其用以 捕获媒体数据， 将所述所捕获媒体数据发射到服务器计算机系统，将用户的查询发射到所述服务器计算机系统以起始对历史或现实世界经历的搜索，及接收与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的数据 '及 服务器计算机系统，其用以 接收由所述移动计算装置捕获的所述媒体数据 对所述所捕获媒体数据执行一个或一个以上辨识过程， 当所述一个或一个以上辨识过程发现匹配时，将所述所捕获媒体数据添加到所述移动计算装置的所述用户 的现实世界经历的所述历史， 从所述移动计算装置接收所述查询以起始对所述历史或现实世界经历的搜索，及发射与所述查询相关的结果，所述结果包含指示现实世界经历的所述历史中的所述媒体数据的所述数据。
【文档编号】G10L15/26GK103733196SQ201280038621
【公开日】2014年4月16日 申请日期:2012年7月20日 优先权日:2011年8月3日
【发明者】哈特穆特·內文, 大卫·彼得鲁, 雅各布·斯穆里安, 哈特维希·亚当 申请人:谷歌公司