基于客户端-服务器的动态搜索的制作方法
【专利说明】基于客户端-服务器的动态搜索
[0001]相关串请的交叉引用
[0002]本申请要求2013年3月15日提交的题为“基于客户端-服务器的动态搜索”的第N0.13/843，607号美国申请的权益和优先权，所述申请被转让给本申请受让人，并且明确地通过引用被并入本文中。
技术领域
[0003]本发明涉及无线通信领域。特别地，本发明涉及在客户端-服务器环境下执行搜索。
【背景技术】
[0004]随着移动装置(例如智能手机)的增加，它们可以用于检测对象和执行扩增的现实应用。然而，由于在这种移动装置上的存储空间有限，本地数据库(如果存在的话)可以仅仅存储用于支持这种视觉搜索的有限数量的对象，这可能非常不利地影响到对象识别的准确性。为了获得更好的搜索品质，移动装置可以将捕获的图像发送到服务器以执行对象识别。
[0005]图1示出了执行视觉搜索的常规方法。如图1中所示，移动装置102将查询图像104作为查询数据发送到服务器106 (也称为云)。然后服务器106可以从查询图像104中提取二维(2D)特征和相关描述符，并且将这些描述符与带有服务器106中的对象数据库(未示出)的三维(3D)位置的描述符相匹配，发现2D到3D的对应关系。所述方法可以用于识别对象，并且在采集查询图像104时产生相对于移动装置102的位姿。
[0006]以上常规方法的问题之一是，在将查询数据发送到服务器106、处理查询以及将响应数据返回移动装置102方面存在长的延迟。在此期间，移动装置102可从捕获查询图像104的位置移动。结果，通过服务器106计算的移动装置102的位姿可能已经过时。
[0007]图1中所示的常规方法的另一问题是，查询图像104包含需要从移动装置102发送到服务器106的大量数据。当移动装置102的图像分辨率继续增加(例如从2兆像素到4兆像素等)时，所述问题可能变得更糟。这种增加的查询数据可能进一步使查询图像104可以被发送的时间与查询响应可以从服务器106接收的时间之间的持续时间延迟。
[0008]因此，需要能够解决常规方法的以上问题的方法、设备和计算机程序产品。
【发明内容】
[0009]本发明涉及用于执行搜索的方法、设备和计算机程序产品。在一个实施例中，执行搜索的方法包括:接收从移动装置所观看到的环境的一或多个图像，使用一或多个图像来生成环境的同时定位与测绘，其中环境的同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点，将一组多个地图点作为搜索查询而发送到服务器，从服务器接收查询响应，以及至少部分地基于查询响应来识别环境中的对象。根据本发明的方面，多个地图点包括由移动装置从不同角度采集的多个表面的视图。
[0010]根据本发明的方面，多个地图点包括由移动装置从不同角度捕获的多个表面的视图。在多个地图点中的每个地图点可包括三维位置、三维位置的一或多个描述符，以及三维位置的对应表面法线。在其它方法中，在多个地图点中的每个地图点可包括来自与所述地图点的法线方向正交的方向的表示。
[0011]所述方法进一步包括在第一时刻将一组多个地图点作为搜索查询而发送到服务器，以及在第二时刻从服务器接收查询响应，且其中移动装置在第一时刻具有相对于对象的第一位姿，并且移动装置在第二时刻具有相对于对象的第二位姿。所述方法可以进一步包括至少部分地基于在第二时刻接收的查询响应来确定移动装置相对于环境中的对象的第二位姿。
[0012]确定移动装置相对于在环境中的对象的第二位姿的方法包括:从查询响应来获得对象相对于环境的原点的位姿；跟踪移动装置相对于环境的原点的位姿；以及使用对象相对于环境的原点的位姿和移动装置相对于环境的原点的位姿来确定移动装置相对于对象的第二位姿。
[0013]所述方法进一步包括响应于移动装置相对于环境中的对象的第二位姿来致使呈现扩增。所述方法可以进一步包括跟踪移动装置相对于环境的原点的移动，以及确定移动装置已经相对于环境的原点移动。确定移动装置已经移动的方法包括以下至少一者:确定移动装置已经旋转超过预定角度，以及确定移动装置已经平移超过预定距离。
[0014]所述方法进一步包括:响应于移动装置的移动来识别由移动装置捕获的增量地图点；使用由移动装置捕获的增量地图点来生成环境的更新的同时定位与测绘；以及将由移动装置捕获的增量地图点在更新的搜索查询中发送到服务器。环境的更新的同时定位与测绘包含比从移动装置的所观看到的环境的视场更大的环境的视图；且其中环境的原点在移动装置的视场之外。
[0015]在另一个实施例中，移动装置包括:控制单元，其包含处理逻辑，所述处理逻辑包括:经配置以接收从移动装置所观看到的环境的一或多个图像的逻辑；经配置以使用一或多个图像来生成环境的同时定位与测绘的逻辑，其中环境的同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点；经配置以将一组多个地图点作为搜索查询而发送到服务器的逻辑；经配置以从服务器接收查询响应的逻辑；以及至少部分地基于查询响应来识别环境中的对象的逻辑。
[0016]在另一个实施例中，计算机程序产品包括存储用于由一或多个计算机系统执行的指令的非暂时性媒体；所述指令包括:用于接收从移动装置所观看到的环境的一或多个图像的指令；用于使用一或多个图像来生成环境的同时定位与测绘的指令，其中环境的所述同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点；用于将一组多个地图点作为搜索查询而发送到服务器的指令；用于从服务器接收查询响应的指令；以及用于至少部分地基于查询响应来识别在环境中的对象的指令。
[0017]在另一个实施例中，设备包括:用于接收从移动装置所观看到的环境的一或多个图像的装置；用于使用一或多个图像来生成环境的同时定位与测绘的装置，其中环境的同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点；用于将一组多个地图点作为搜索查询而发送到服务器的装置；用于从服务器接收查询响应的装置；以及用于至少部分地基于查询响应来识别在环境中的对象的装置。
【附图说明】
[0018]在结合以下附图阅读本发明实施例的详细说明之后，将更清楚地理解本发明的前述特征和优点以及它们的另外特征和优点。
[0019]图1示出执行基于客户端-服务器搜索的常规方法。
[0020]图2示出根据本发明一些方面执行基于客户端-服务器搜索的方法。
[0021]图3示出根据本发明一些方面确定移动装置相对于对象的位姿的方法。
[0022]图4示出根据本发明一些方面经配置以执行基于客户端-服务器搜索的移动装置的示例性框图。
[0023]图5示出根据本发明的一些方面用于执行基于客户端-服务器的搜索的服务器的框图。
[0024]图6A和图6B示出根据本发明的一些方面执行基于客户端-服务器的搜索的示例性方法。
[0025]贯穿附图使用类似的标号。
【具体实施方式】
[0026]公开了用于基于客户端-服务器的搜索的方法和设备的实施例。给出以下描述使得本领域任何技术人员能够作出和使用本发明。对特定实施例和应用的描述仅作为实例来提供。对于本领域技术人员而言，本文所述的示例的各种修改和组合将是显而易见的，并且在不脱离本发明的精神和范围的情况下，可以将本文限定的一般原理应用于其它示例和应用。因此，本发明不旨在局限于描述和示出的示例，而是应给予与本文所公开的原理和特征一致的最宽范围。本文使用的词“示例性”或“示例”意指“作为示例、实例或说明”。本文作为“示例性”或“示例”描述的任何方面或实施例不必被解释为优于或胜过其它方面或实施例。
[0027]图2示出根据本发明的一些方面执行基于客户端-服务器的搜索的方法。根据本发明的方面，同时定位与跟踪(SLAM)框架可以通过移动装置结合基于服务器的检测系统来使用。在图2所示的示例性方法中，移动装置202(也称为客户端装置或简称为客户端，由黑色圆点表示)可以经配置以建立SLAM环境203，同时使移动装置相对于SLAM环境203的位姿能够由服务器206计算。SLAM环境203可以是致密网格或致密/稀疏点云，例如，具有相对于SLAM环境203坐标框架原点的3D位置(在图3中示出)。每一地图点可以包含一或多个描述符，其描述地图点的视觉外观，和/或如果地图是网格，则描述关于点的3D结构信息。例如，表面204a和它的对应表面法线204b、表面206a和它的对应表面法线206b、表面208a和它的对应表面法线208b、表面210a和它的对应表面法线210b，以及表面212a和它的对应表面法线212b描述SLAM环境203中的各种示例性地图点。
[0028]应注意，地图点可由移动装置202捕获在一系列图像帧上。例如，地图点204a和206a可被捕获在第一图像帧中；地图点208a和210a可被捕获在第二图像帧中；且地图点212a可被捕获在第三图像帧中。随着移动装置202到处移动，另外的地图点可以被捕获并被添加到SLAM环境，且更新的SLAM环境可以随后被发送到服务器。
[0029]根据本发明的方面，构成SLAM环境的地图点可以作为搜索查询被发送。每一地图点可以包含表示所述地图点的3D位置、表面法线和一或多个描述符。然后，服务器上的对象和位姿检测可涉及将来自SLAM地图的描述符与来自对象数据库的