对于移动网络中的视觉搜索和增强现实的缓存支持的制作方法
【专利摘要】本发明涉及用于在通信系统（10）中执行视觉搜索和增强现实的方法，该通信系统（10）包括附连到移动网络（11）的因特网网络（12）。与对象有关的数据存储在移动网络中的至少一个或多个中间节点（2，3，4）中，所述对象在地理上与该至少一个或多个中间节点有关。该方法包括以下另外的步骤：－对于元数据的请求从移动网络（11）中的用户设备（1）经由至少一个或多个中间节点（2，3，4）朝因特网网络（12）传送（22）。该请求包括与对象有关的对象识别数据，该对象在地理上与至少一个或多个中间节点有关；－请求在所述至少一个或多个中间节点（2，3，4）中的中间节点（3）中被去遂穿（103b）和拦截（104）。
【专利说明】对于移动网络中的视觉搜索和增强现实的缓存支持
【技术领域】
[0001]本发明大体上涉及系统和方法，并且更特定地涉及用于在通信系统中实现视觉搜索和增强现实的机制和技术。
【背景技术】
[0002]视觉搜索是通过使用摄像机(例如，移动电话中的)来捕获物理对象的图像并且通过计算机算法来识别它并且将有用信息呈现回给关于该物理对象的用户的概念。
[0003]视觉搜索的目的主要是识别物理对象并且由此对用户呈现一些信息。该信息叫作元数据，并且它可以具有各种格式，例如视频文件、音频文件、Web页面、图像动画文件等。
[0004]当到算法的输入数据太大而不能处理并且怀疑它非常冗余(很多数据，但不是很多的信息)时，则输入数据将变换成特征的简化表示集(也称作特征向量)。将输入数据变换成特征集叫作特征提取。如果仔细地选择提取的特征，预期特征集将从输入数据提取有关信息以便使用该简化表示代替全尺寸输入来执行期望的任务。
[0005]大部分的当前视觉搜索系统采用基于特征的图像匹配方法[参见，例如2008年10月加拿大温哥华关于多媒体信息检索的ACM国际会议G.Takacs等人的“outdoors augmented reality on mobile phone using loxel-based visual featureorganization”]。通过使 用局部特征集来表示图像或对象,识别可以通过匹配查询图像与候选数据库图像之间的特征而实现。快速大型图像匹配使用词汇树(VT)来实现。从图像的数据库提取特征并且分级的k-均值聚类算法应用于这些特征中的全部来产生VT。查询图像的描述符还通过VT而分类并且生成树节点上的节点访问的柱状图。
[0006]候选图像然后根据候选数据库图像柱状图的相似度来存储并且在特征匹配后应用查询图像柱状图几何验证(GV)[参见2008年10月加拿大温哥华关于多媒体的ACM国际会议S.S.Tsa1、D.Chen、J Singh和B.Girod的“Rate-efficient, real-timer CD coverrecognition on a camera-phone”]来消除错误的特征匹配。在该过程中，查询对象的特征使用最接近的描述符或比率测试而与数据库对象的特征匹配。然后，使用随机采样一致性(RANSAC)算法[参见 1981 年 ACM 通信，卷 24、I 期、381-395 页的 M.Fisclei^PR.Bolles的“Random sample consensus: a paragigm for model fitting with applications toimage analysis and automated cryptography”]来估计查询对象中的特征的位置和数据库对象中的特征的位置的几何变换。
[0007]提出在移动终端中执行图像捕获和特征操纵，同时在因特网中的服务器上执行VT和GV。
[0008]增强现实(AR)是将物理对象的元数据实时呈现为物理对象的图像或视频上的叠加的即将到来的范例。叫作增强现实浏览器(AR浏览器)的特殊应用在例如移动电话的终端中使用并且这些日益普及。AR浏览器执行两个主要功能；最终用户终端显示器上元数据的视觉搜索发起和叠加显示。AR服务器包含视觉搜索和叠加对象服务器的元件。视觉搜索组件对数据集执行图像的匹配并且文件服务器执行将对应的叠加数据发送到AR浏览器用于向最终用户显示的功能。应该注意叠加数据的范围可以从简单文本到包含文本、音频和视频分量的复杂网页。而且，最终用户进一步与显示的叠加数据交互(例如开始/终止视频、滚动文本、放大图像，等)，这可以是可能的。叠加数据也叫作物理对象的元数据并且这是将在该文献中使用的术语。商业可以以许多方式来利用AR，例如
一个性化购物:在商店周围散步变得与加入个性化和目标锁定的能力有关。在这里潜在客户的信息可以通过对于打折或个人有关的产品扫描商店、街道或货架而传递。
[0009]一位置层面:到新地点、旅游、增强旅行或主题空间的混合引导。
[0010]一混合品牌:虚拟招贴广告的等同物。
[0011]在所有情况下存在一实体，其使用增强现实AR来向最终用户传递服务或增强体验。最终用户与该实体的物理对象交互。该实体在该文献中将叫作服务提供商(SP)。
[0012]图1属于现有技术并且公开了一系统，其包括附连到移动网络11的因特网网络12。无线电基站RBS 2的小区区域内的移动电话I能够经由中间节点2、3和4而与因特网网络中的服务器5通信。现有技术示例中的中间节点是RBS 2、无线电网络控制器RNC 3和网关GPRS支持节点GGSN 4。服务器5包括特征图像的第一缓存(S卩，存储装置)5a、元数据的第二缓存5b和处理器单元5c。无线电基站2附连到服务提供商SP。服务提供商在该示例中是图书馆；服务提供商包括不同的对象，其的图片可以被摄像机捕获，例如书的图片。在该现有技术示例中，物理项目的图像由移动电话的摄像机捕获。图像然后利用对与图像有关的元数据的请求而转发到服务器5。在服务器中由处理器执行图像与缓存的特征之间的成功匹配后，找到元数据并且将它从服务器5发送到移动电话I并且在电话上呈现例如作为增强信息。
[0013]对于增强现实的视觉搜索将在运营商网络中的内容流方向上引起偏移。现今，内容通常经由接入网络从因特网流到终端(如在下载情景中)。利用视觉搜索，内容流将反向；经由运营商的网络从终端到因特网。
[0014]新的业务流由此在存在的那个的顶部上引入；图像的上载和匹配数据的返回(重要的是要注意这些流可以是延迟敏感的)。因此新的业务流对网络增加了额外负担。鉴于此，运营商将希望
Ca)以减少网络利用为目的地控制业务流 (b)使该新的业务流货币化
利用当前移动网络架构，对于增强现实应用，运营商没有执行(a)或(b)的手段并且本发明旨在提出对于该问题的解决方案。
[0015]存在的视觉搜索解决方案的另一个主要问题是它们通常在因特网中执行视觉搜索算法。如果在因特网中存在传送问题，视觉搜索算法需要将特征的图像发送到因特网，答复将延迟并且这将不利地影响使用视觉搜索系统的服务质量QoE并且用户将被迫很长时间地等待结果并且最终可能放弃服务。
【发明内容】
[0016]本发明的目的是克服上文识别的现有技术的限制。本发明聚焦于在运营商的网络内部执行视觉搜索程序上。
[0017]本发明的基本概念是允许运营商通过在运营商网络中使用缓存来控制视觉搜索和增强现实业务的流的系统。业务汇聚点(也叫作中间节点)中的缓存由此填充有在地理上与业务汇聚点有关的物理对象的元数据。该解决方案进一步利用在无线电接入网络RAN的无线电小区布局内部的物理对象与RAN的业务汇聚点(其具有缓存)之间的接近关系。缓存包含用于做出与来自用户的请求的匹配的对象识别数据，和如果匹配成功则返回给请求用户的元数据。
[0018]该解决方案在一个例示实施例中是用于在包括附连到移动网络的因特网网络的通信网络中执行视觉搜索和增强现实的方法。移动网络中的至少一个或多个中间节点(也叫作移动网络运营商节点)填充(即，存储)有数据，其对应于在地理上与该至少一个或多个中间节点有关的对象。对于元数据的请求经由至少一个或多个中间节点从移动网络中的用户设备朝因特网网络传送。请求包括与物理对象(其与至少一个或多个中间节点有关)有关的对象识别数据。请求被至少一个或多个中间节点的中间节点拦截。
[0019]该解决方案在另一个例示实施例中是通信系统中的移动网络运营商节点。该节点配置成执行视觉搜索和增强现实。该节点包括接收数据用于用对应于在地理上与节点有关的对象的数据来填充(即，存储)节点的部件以及用于去遂穿并且拦截对于与物理对象(其在地理上与节点有关)有关的元数据的接收请求的部件。
[0020]该解决方案在再另一个例示实施例中是能加载到通信系统的处理器的计算机程序，其中该计算机程序包括代码，其适于执行用于执行视觉搜索和增强现实的方法。
[0021]本发明的目标是以减少网络利用并且改进使用AR应用的QoE为目的来控制业务流。
[0022]本发明的一些优势如下:
一业务减少:运营商能够使中间节点与核心之间的链路上以及直联(peering)上的业务减少。这是因为所有数据现在将在终端与中间节点之间发送。
[0023]一托管:运营商能够从希望向他们的客户提供视觉搜索和增强现实服务的提供商产生新的收益。响应性和因此对于系统提供的最终用户的体验质量是胜过基于因特网的解决方案的主要优势。
[0024]现在将借助于优选实施例连同附图更详细地描述本发明。
【专利附图】
【附图说明】
[0025]图1是现有技术的部分并且公开因特网网络中的服务器托管元数据和在请求元数据的移动网络中的用户设备的框示意图示。
[0026]图2公开附连到移动网络的因特网网络和请求元数据的用户设备的框示意图示。请求经由包括缓存的中间节点发送。
[0027]图3公开图示本发明的步骤的流程图。
[0028]图4公开定位在用户设备与网关GPRS支持节点之间的路径上的无线电网络控制器的框示意图示。
[0029]图5公开控制着小区区域的无线电网络控制器的框示意图示。数据在无线电网络控制器中被缓存。
[0030]图6公开用于拦截对于元数据的请求并且传递请求的元数据的方法的信号序列图。[0031 ] 图7a公开3G移动网络的图示。
[0032]图7b公开4G移动网络的图示。
【具体实施方式】
[0033]在下列描述中，为了解释而非限制的目的，阐述例如特定电路、电路组件、技术等具体细节以便提供对本发明的全面理解。然而，本发明可在脱离这些具体细节的其他实施例中实践，这对于本领域内技术人员将是明显的。在其他情形中，省略众所周知的方法、装置和电路的详细描述以便不用不必要的细节使本发明的描述晦涩。
[0034]图2公开包括附连到移动网络11的因特网网络12的系统。网关GPRS支持节点GGSN 4向希望与移动网络中的移动订户通信的因特网网络中的外部主机提供网络访问。除GGSN夕卜，在图中示出其他节点，像无线电网络控制器RNC和无线电基站。节点(所谓的中间节点，即在该示例中是GGSN、RNS和RBS)充当对于来自下铺设节点的业务的汇聚器，例如RNC使来自一组RBS节点的业务汇聚，GGSN使来自一组RNC节点的业务汇聚，等。图2中的GGSN 4附连到移动网络中的无线电网络控制器RNC 3、7、8。无线电网络控制器3附连到无线电基站RBS 2、6。用户设备I定位在无线电基站RBS 2的小区区域内。中间节点配备有缓存(即，存储单元)和处理器单元。RBS 2包括:第一缓存2a，其根据本发明填充有例如定位在RBS 2所覆盖的小区区域内的物理对象的特征的图像的数据(也叫作对象识别数据)；第二缓存2b，其根据本发明填充有例如与定位在RBS 2所覆盖的小区区域内的物理对象有关的元数据的数据，该RBS 2的特征的图像被缓存在2a中；和处理器单元2c。为了使本发明的一般原理更清楚的目的，RBS 2在该示例中称为中间节点，其包括缓存。然而，要注意在例如3G (高速分组接入HSPA)系统中，缓存要定位在RNC和GGSN中，而在4G (长期演进LTE)系统中，缓存要定位在eNodeB (B卩，基站)和GGSN中。无线电网络控制器3在该示例中采用相同的方式包括定位在由RNC 3经由RBS而处理的所有小区区域内的物理对象的特征的图像的第一缓存3a、与定位在属于RBS (其由RNC 3处理并且缓存在3a中)的小区区域内的物理对象有关的元数据的第二缓存3b和处理器单元3c。而且，GGSN 4采用相同的方式包括定位在由GGSN 4经由RBS而处理的所有小区区域内的物理对象的特征的图像的第一缓存4a、与定位在属于RBS (其由GGSN 4处理并且缓存在4a中)的小区区域内的物理对象有关的元数据的第二缓存4b和处理器单元4c。
[0035]作为已经被缓存在第一缓存中的对象识别数据的示例可以是斯德哥尔摩的Ericsson Globe比赛场的图像，而已经缓存在对应的第二缓存中的附属元数据可以是可能在接下来的两周期间在该比赛场看到的事件。应该注意缓存的数据不必定存储在两个不同的存储节点2a_2b ；3a-3b ;4a_4b中，相反可以使用单个实体。缓存的填充可以例如通过将选择的数据传送到下铺设中间节点(例如来自在图1中看到的服务器5的3、7、8、2、6)中的缓存的每一个而执行。备选地，填充可以通过用根据运营商政策的内容经由接口来“手动”充填每个缓存而执行。填充根据数据的相关性来进行，即在GGSN级处，跨所有小区(例如，“国家”)的现实世界对象的对象识别数据和元数据被缓存，在RNC级处，跨若干小区(例如，“城市”)的现实世界对象的对象识别数据和元数据被缓存并且在RBS级处，RBS小区(例如，“几个街道”)中的现实世界对象的对象识别数据和元数据被缓存。填充稍后将在该申请的描述部分中连同图5进一步论述。[0036]现在将首先采用广泛的方式借助于在图3中公开的流程图并且接着稍后在该申请的描述部分中借助于在图6中公开的信号序列图更详细地论述本发明的方法。
[0037]图3公开流程图，其给出根据本发明的方法的概观。该流程图要连同之前示出的图2—起阅读。该流程图包括以下步骤:
一移动网络11中的缓存2a-b、3a-b、4a_b分别填充有与每个中间节点处理的小区区域内的物理对象有关的对象识别数据，并且进一步填充有对应于与这些物理对象有关的缓存的对象识别数据的元数据。框101在图3中公开该步骤。
[0038]一物理对象的图像例如通过使用移动电话I (用户设备)的摄像机而被用户捕获。框102在图3中公开该步骤。
[0039]一对于与捕获的图像有关的元数据的请求从用户设备I朝因特网12发送。图像的特征或图像本身可能由此构成在请求中发送的对象识别数据。在该示例中，请求包括图像的特征。框103在图3中公开该步骤。
[0040]一包括请求的业务被去遂穿到要经过的第一节点，即RBS 2。框103b在图3中公开该步骤。
[0041]一要经过的第一节点(即RBS 2的缓存设备2a_2c)在该示例中通过执行业务突破(break-out)而拦截请求。第一节点中的业务突破和分类器功能配置成进行突破。在该通用示例中，RBS包括缓存，要注意的是(如已经提出的)在系统是3G系统的情况下缓存将仅在RNC和GGSN中存在。在4G系统的情况下，缓存将仅在eNodeB (基站)和GGSN (对于进一步的细节参见图7)中存在。框104在图3中公开该步骤。
[0042]一拦截的请求与业务过滤器相匹配。过滤器配置成识别属于节点的业务。这可以基于与目的地IP地址(例如因特网中的服务器5的目的地IP地址)、端口、协议或URL或这些的组合有关的规则。框105在图3中公开该步骤。
[0043]一如果发现拦截的请求未对应于规则，由执行的业务突破而突破的业务重新插入上游隧道，即，被重新遂穿用于进一步朝因特网传输。框106在图3中公开该步骤。
[0044]—如果相反发现拦截的请求对应于规则，包括捕获的图像的特征的对象识别数据从业务的有效载荷部分提取。框107在图3中公开该步骤。
[0045]一提取的对象识别数据与存储在RBS 2中的第一缓存2a中的对象识别数据匹配。框108在图3中公开该步骤。
[0046]一如果匹配不成功，业务重新插入上游隧道内用于进一步朝因特网传输。框106在图3中公开该步骤。
[0047]一如果相反匹配成功，即如果请求中的对象识别数据对应于缓存2a中的对象识别数据，执行进一步的匹配来看看对应于捕获的图像的特征的元数据是否在RBS中的第二缓存2b中存在。框109在图3中公开该步骤。
[0048]一如果进一步的检查不成功意指在对应于匹配的对象识别数据的缓存中不存在元数据，元数据将在层级中的更高层级在另一个缓存中查找。消息然后重新插入上游方向到更高级缓存。框106在图3中公开该步骤。
[0049]一如果相反检查成功，对应于捕获的图像的元数据从RBS 2中的第二缓存2b获取。框111在图3中公开该步骤。
[0050]一创建答复消息。如果匹配成功，获取的元数据插入答复消息中。元数据可由此被个性化。示例是从对于埃菲尔铁塔的10个不同的广告仅选择一个广告作为与应用交互的人(即用户设备I)最相关。相关性可以基于例如用户设备I的注册所有者的年龄组、性别和职业等。该选择程序例如通过考虑用户简档而由处理器3c处理。用户简档是来自例如归属位置寄存器的汇聚信息(预订类型、服务类型、服务购买历史、性别、年龄、地址等)以及还来自最终用户因特网浏览历史的汇聚信息。移动订户用户简档对于本领域内技术人员是众所周知的概念。框112在图3中公开该步骤。
[0051]一答复消息通过RBS中的业务突破和分类器功能而被重新遂穿(即，强行进入)朝用户设备I引导的业务内。框113在图3中公开该步骤。
[0052]图4公开之前论述的定位在用户设备I与GGSN 4 (也参见图2)之间的路径上的无线电网络控制器RNC 3的框示意图示。要注意的是RNC 3中对应于在图4中示出的那些的实体也可以在其他中间节点中发现，即其他中间节点在RNC 3来填充缓存时也可具有与它相同种类的量，从而拦截请求并且传递元数据。无线电网络控制器RNC 3包括:用对象识别数据填充的第一缓存3a，在该示例中是用特征的图像(可以看作缓存内的方形符号)；用元数据填充的第二缓存3b ;和处理器单元3c。处理器单元3c包括图像匹配引擎3cl和增强现实AR服务器3c2。AR服务器3c2主要负责接收拦截的业务消息、解析消息并且提取图像的特征(如果尚未进行的话)以及将特征递送到3cl，并且进一步在3b中找到对应的元数据。图像匹配引擎3cl主要负责在3a中执行算法(参见【背景技术】)查找。上游和下游隧道可以在图4中在I与4之间看到。RNC进一步包括之前提到的业务突破和分类器功能3d，其能够突破业务，即拦截在上游路径中在用户设备I与GGSN 4之间经过RNC的业务，并且检查业务过滤规则。3d进一步能够使消息强行进入在下游或上游朝I或4引导的业务内。图4中的RNC进一步包括接口 3e，其配置成接收数据用于填充缓存3a和3b。要注意的是填充其他中间节点(参见图2)中的缓存通过经由对应于RNC中的接口 3e的接口接收数据而执行。填充的方式对于LTE eNodeB是相似的，差异是在LTE缓存的情况下，附近的eNodeB可能需要具有内容叠加，因为由于信号功率波动，终端可在短时段内与任一个节点关联。作为选项，计费系统可连接到接口 3e和/或到增强现实AR服务器3c2。计费由此可以执行并且计费数据记录⑶R可以产生并且例如根据服务的每个视觉搜索请求而发送给运营商。
[0053]图5公开之前在图2中示出的移动网络11。无线电网络控制器RNC 3在图5中连同被无线电网络控制器RNC处理的无线电基站RBS 2、6、9 一起公开。RNC 3包括之前提到的处理器单元3c。图公开了依附到RBS 2、6、9(无线电网络控制器RNC 3对其充当汇聚器)的无线电覆盖区域中的若干服务提供商(SP)。在该示例中，无线电基站2、6、9中的每一个分别依附到一个服务提供商SP1、SP2和SP3。SP3在该示例中对应于图书馆；SP2对应于博物馆并且SPl对应于购物中心。每个服务提供商包括不同的现实世界对象，其的图片可以被摄像机的用户捕获，例如不同种类的书、博物馆样本和杂货店的图片。
[0054]图像的第一缓存3a基于现实世界对象与运营商基础设施(在该示例中是RNC 3)的接近性而填充。除上文提到的那些(书、博物馆样本和杂货店)以外的现实世界对象例如在游客数据的背景下是建筑物。被给定RNC覆盖的街道中的建筑物的图像(或特征)是包括到第一缓存3a内的候选。下面是用于填充缓存的算法的示例:
—识别RNC。
[0055]—对于游客AR/视觉搜索应用；识别RNC的基站的无线电覆盖内的街道。[0056]-识别街道上的建筑物。选择合适的建筑物:例如建筑物列表可以缩小到从道路等可见的那些。对每个建筑物指派ID。
[0057]—对于选择的建筑物中的每个得到图像数据集用于视觉搜索，这将用于通过图像识别软件来执行匹配。根据图像识别软件，相反可使用图像的特征并且因此数据集将是特征数据集。
[0058]一对于选择的建筑物中的每个得到元数据，这是如果图像识别成功则将返回给最终用户的额外数据。
[0059]一用图像/特征数据集和元数据两者来填充RNC缓存。图像/特征数据集将被缓存在3a中并且元数据将缓存在3b中。当GGSN 4 (参见图2)充当对于RNC 3的汇聚器时，图像特征数据集和附属的元数据将从GGSN输送到RNC以及可能从那里进一步向下到选择的RBS。缓存中的数据要视为对象集，其的普及将随时间改变。因此最初所有图像和元数据将在GGSN中(或作为因特网中的服务器5的选项)。然后用户开始用他们的终端来搜索并且因此普及模式开始出现。非常普及的图像-元数据将存储在RBS缓存中，这在RNC缓存中不太普及。GGSN将总是存储系统中可用的所有图像和元数据并且这基本上是“长尾”内容。然而如上文提到的，可选地，因特网服务器可以假设是长尾服务器。
[0060]一如果新的建筑物被建造或如果存在的建筑物被更改(例如，由于重建/维护)则执行图像/特征数据集刷新。
[0061]一执行元数据的刷新。进行此来确保关于现实世界对象的最新数据集。而且如果广告与元数据联系起来，这些可能需要随时间改变来反映当前广告活动。
[0062]图6公开当对于RNC接收的请求对应于过滤规则、接收的图像与缓存的图像匹配并且找到对应的元数据时根据本发明的一个实施例的信号序列图。图要连同之前示出的图一起阅读。信令点2 (RBS)、3 (RNC),3a (第一缓存)、3b (第二缓存)、3c (处理器单元)、3cl(图像匹配)、3c2 (AR服务器)和3d (突破)已经之前全部在该申请中论述。信令点I (用户设备)包括摄像机lx、显示器Iy和增强现实应用lz。图6将公开请求的拦截、执行成功匹配和将请求的元数据传递到请求用户。对于方法的先决条件是无线电网络控制器3中的缓存3a和3b已经用数据填充。方法包括以下步骤:
一图像在博物馆样本的该示例中被用户使用移动终端I中的摄像机Ix捕获20。该图像在无线电基站RS 6的小区区域内在服务提供商SP2中捕获(参见图5)。
[0063]一图像进入21增强现实应用lz，其中依赖应用版本的特征可选地从图像提取(参见现有技术)。在该示例中，未在Iz中执行提取。
[0064]-1的用户离开RBS 6的小区区域并且相反进入RBS 2的小区区域。因为未执行提取，对于数据的请求(包括原始图像)在业务中从RBS 2朝因特网中的服务器5 (参见图1)发送22。这可以通过使用HTTP协议来进行，但其他协议是可能的，例如ftp。
[0065]一业务中的图像首先由RBS 2接收、拦截并且过滤。因为图像在RBS 6的小区区域内捕获，未在RBS 2中的缓存2a中发现匹配并且业务被重新插入上游隧道用于朝因特网进一步传输(也参见图3)。
[0066]一业务中的图像由RNC 3中的业务突破和分类器功能3d接收22。
[0067]一突破功能通过封装业务而不是如在正常情况下的那样将它放置在上游隧道中来拦截业务，业务被发送到过滤功能，其检查这是否是增强现实AR请求。检查在该示例中基于表明请求的目的地IP地址是否是服务器5的IP地址、请求是否是AR请求(即，请求在该示例中是否被正匹配)。
[0068]一请求被转发23到AR服务器3c2。因为请求包括原始图像，从图像提取特征。特征提取是取决于缓存在2a中的数据是否由图像或特征组成(即稍后是否将执行特征匹配或图像匹配)的选项。在该示例中，3c2由特征组成并且因此提取特征。
[0069]一图像的提取特征被转发24到图像匹配引擎3cl。作为选项，如果之前未进行，可以在该阶段在3cl中执行特征提取。
[0070]一特征与缓存在第一缓存3a (其用特征来填充)中的特征匹配25。该匹配继续直到找到匹配或确定不存在匹配。
[0071]一在该示例中，找到匹配特征并且匹配的结果返回26到AR服务器3c2。
[0072]—因为匹配结果是正的，得到对应元数据的请求从3c2发送27到第二缓存3b。
[0073]—在该示例中，找到对应于请求的元数据，并且找到的元数据返回28到AR服务器3c2。
[0074]一找到的元数据被转发29到业务突破和分类器功能3d。突破功能3d将元数据插入答复消息中。
[0075]—答复消息通过业务突破和分类器功能3d而强行进入朝用户设备I引导并且发送到用户设备I中的增强现实应用Iz的业务内。
[0076]一增强现实应用Iz构成要向用户设备中的最终用户显示的消息，例如作为捕获图像的叠加，并且该叠加被发送到用户设备I中的显示器ly。
[0077]图7公开其中可以应用本发明的移动系统的示例。图7a公开3G (高速分组接入HSPA)系统，其中缓存定位在RNC和GGSN中。为了简单起见，对于与之前示出的图中的中间节点RNC和GGSN相同的参考符号已经在图7a中使用。图7b公开4G (长期演进LTE)系统，其中缓存定位在eNodeB (在图7b中具有与在先前图中的RBS相同的参考符号)和分组数据网络I3DN网关(在图7b中具有与在先前图中的GGSN相同的参考符号)中。
[0078]可以用于将本发明付诸实践的系统和节点示意地在图中示出。列举的项目作为单独元件在图中示出。然而，在本发明的实际实现中，它们是其他电子装置(例如数字计算机)的不可分开的组件。从而，上文描述的动作可在软件中实现，该软件可在包括程序存储介质的制品中实施。程序存储介质包括在载波、计算机盘(磁或光(例如，CD或DVD，或两者))、非易失性存储器、带、系统存储器和计算机硬驱动器中的一个或多个中实施。
[0079]本发明的系统和方法可例如在第三代合作伙伴项目(3GPP)、欧洲电信标准协会(ETSI )、美国国家标准协会(ANSI )、长期演进(LTE)或其他标准电信网络架构中的任一个上实现。其他示例是电气和电子工程师协会(IEEE)或因特网工程任务组(IETF)。
[0080]该描述(为了解释而非限制的目的)阐述例如特定组件、电子电路、技术等具体细节以便提供对本发明的全面理解。然而，本发明可在脱离这些具体细节的其他实施例中实践，这对于本领域内技术人员将是明显的。在其他情形中，省略众所周知的方法、装置和技术等的详细描述以便不用不必要的细节使该描述晦涩。在一个或多个图中示出单独功能框。本领域内技术人员将意识到功能可使用分立组件或多功能硬件来实现。处理功能可使用编程的微处理器或通用计算机来实现。本发明不限于上文描述的和在图中示出的实施例，而可以在附上的权利要求的范围内修改。
【权利要求】
1.一种用于在通信系统(10)中执行视觉搜索和增强现实的方法，所述通信系统(10)包括附连到移动网络(11)的因特网网络(12)，其特征在于，将与对象有关的数据存储在所述移动网络中的至少一个或多个中间节点(2，3，4)中，所述对象在地理上与所述至少一个或多个中间节点有关，该方法包括以下另外的步骤: 一将对于元数据的请求从所述移动网络(11)中的用户设备(I)经由所述至少一个或多个中间节点(2，3，4)朝所述因特网网络(12)传送(22)，该请求包括与对象有关的对象识别数据，所述对象在地理上与所述至少一个或多个中间节点有关； 一去遂穿(103b)并且拦截(104)在所述至少一个或多个中间节点(2, 3,4)中的中间节点(3)中的请求。
2.如权利要求1所述的用于执行视觉搜索和增强现实的方法，该存储的数据包括对象识别数据和元数据。
3.如权利要求2所述的用于执行视觉搜索和增强现实的方法，该方法包括以下另外的步骤: 一将所述请求与所述中间节点(3)中的过滤功能成功地匹配(105)。
4.如权利要求3所述的用于执行视觉搜索和增强现实的方法，该方法包括以下另外的步骤: 一由于成功的匹配(105)，进一步使拦截的请求中的对象识别数据与存储在所述中间节点(3)中的对象识别数据 成功地匹配(108)。
5.如权利要求4所述的用于执行视觉搜索和增强现实的方法，该方法包括以下另外的步骤: 一由于成功的进一步匹配(108)，确定(109)对应于所述对象的元数据的存在； 一重新遂穿(113)并且将存在的元数据从所述中间节点(3)转发(30)到所述用户设备(I)。
6.如权利要求1或2所述的用于执行视觉搜索和增强现实的方法，该方法包括以下另外的步骤: 一未成功地使所述请求与所述中间节点(3)中的过滤功能匹配(105)； 一由于未成功的匹配(105)，重新遂穿(106)并且将对于元数据的请求从所述中间节点(3)朝所述因特网网络(12)转发。
7.如权利要求3所述的用于执行视觉搜索和增强现实的方法，该方法包括以下另外的步骤: 一由于成功的匹配(105)，进一步未成功地使拦截的请求中的对象识别数据与存储在所述中间节点(3)中的对象识别数据匹配(108)； 一由于未成功的进一步匹配(108)，重新遂穿(106)并且将对于元数据的请求从所述中间节点(3)朝所述因特网网络(12)转发。
8.如权利要求4所述的用于执行视觉搜索和增强现实的方法，该方法包括以下另外的步骤: 一由于成功的进一步匹配(108)，确定对应于所述对象的元数据的不存在； 一由于确定的元数据的不存在，重新遂穿(106)并且将对于元数据的请求从所述中间节点(3)朝所述因特网网络(12)转发。
9.如权利要求5所述的用于执行视觉搜索和增强现实的方法，该元数据基于所述用户设备(I)的特性在所述中间节点(3)中被个性化。
10.如前述权利要求中任一项所述的用于执行视觉搜索和增强现实的方法，由此数据在所述至少一个或多个中间节点(2，3，4)中的存储根据与所述至少一个或多个中间节点有关的元数据的相关性并且通过将所述数据从较高层输送到较低层而执行。
11.如前述权利要求中任一项所述的用于执行视觉搜索和增强现实的方法，由此计费数据记录根据产生的搜索请求而产生并且被转发给运营商。
12.一种能加载到通信系统的处理器中的计算机程序，其中所述计算机程序包括代码，其适于执行先前的权利要求中的一个或多个的方法。
13.—种通信系统(10)中的移动网络运营商节点(2，3，4)，所述节点配置成执行视觉搜索和增强现实，所述节点包括: 一用于接收的部件(3e)和用于将数据存储在所述节点中的部件(3a，3b); 一用于去遂穿并且拦截接收的对于元数据的请求的部件(3d)。
14.如权利要求13所述的移动网络运营商节点(2，3,4),该节点进一步包括: 一用于使拦截的请求与存储的数据匹配的部件(3cl)； 一用于从所述节点中的存储装置(3b)提取存储的元数据的部件(3c2)，该提取的元数据对应于请求的数据； 一用于重新遂穿并且将所述提取的元数据朝用户设备(I)转发的部件(3d)。
15.如权利要求14所述的移动网络运营商节点(2，3，4)，该节点进一步包括: 一用于重新遂穿并且将所述请求朝所述因特网转发的部件(3d)。
【文档编号】G06F17/30GK103620594SQ201180071813
【公开日】2014年3月5日 申请日期:2011年6月21日 优先权日:2011年6月21日
【发明者】A.达莫拉 申请人:瑞典爱立信有限公司