基于立体视觉的车辆姿态估计的方法和系统与流程

相关申请的交叉引用

本申请要求于2017年12月29日提交的美国临时申请62/612,195的优先权，该申请全文并入此处作为参考。

本示教一般涉及计算机辅助的感知。具体而言，本示教涉及估计物体的信息。

背景技术：

随着近来在人工智能(ai)方面的技术发展，出现了在不同应用领域中应用ai的浪潮。这包括自动驾驶领域，在该领域中，识别车辆周围的物体和/或障碍物对避开障碍物并确保安全来说至关重要。传统而言，在车辆周围安装传感器，以便持续地收集周边数据。接着，对这样收集的数据实时地进行分析，从而检测周围的物体/障碍物。尤其重要的是，要意识到同样正在移动的任何障碍物。例如，需要即时(on-the-fly)测量本车(egovehicle)附近的任何其他正在移动的车辆，尤其是在碰撞过程中正在朝着本车移动的车辆。

为了有效地控制避障，本车与周围物体/障碍物之间的距离是将要估计的重要特征。另外，代表运动物体的障碍物的姿态也很重要。例如，要制定一种有效的避障策略，必须知道附近的移动物体正在向着何方移动。这涉及对物体姿态的估计。例如，如果估计为正在本车前方移动的车辆正在朝着与本车相同的方向行进，则它对本车构成的危险要小于正在前方移动的与本车行进方向相反的另一车辆。尽管也可对其他参数进行估计以提高知觉(awareness)(例如附近物体的速度)，附近物体的姿态、尤其是运动物体的姿态是必不可少的。

为了促进迅速避开障碍物，还需要即时地执行姿态估计。传统而言，此类任务中的姿势估计依赖于来自传感器的信息，在某些情况下还取决于来自多个传感器的信息。例如，可以将多个照相机部署在本车上，以便从不同的角度获取多个图像，从而捕获周围的场景，例如，立体图像或视频。基于同一场景的此类立体图像，可以构建场景的深度图并将其用于确定场景中的物体与本车之间的距离。如本领域中已知的，从立体图像构造深度图可能是计算密集型的，这使得即时估计障碍物的姿态更加困难。因此，这使得在不断变化的驾驶环境中确保本车能够迅速避开障碍物变得更加困难。

因此，存在这样的需求：提供一种用于在自动驾驶中估计障碍物姿态的改进的解决方案。

技术实现要素：

这里公开的示教涉及用于在线服务的方法、系统和程序设计。具体而言，本示教涉及用于开发能与用户对话的虚拟代理的方法、系统和程序设计。

在一实例中，公开了用于估计自动驾驶中物体姿态的方法。立体图像是通过部署在本车上的至少两个照相机从场景中获取的。然后，从立体图像中检测场景中存在的物体。对于检测到的每个物体，识别多个特征点并且获取与这些特征点相关联的深度信息。然后，基于物体的特征点和深度信息来估计每个物体的方位，然后基于物体的方位和附加特征来估计物体的姿态。

在另一实例中，公开了一种用于估计自动驾驶中物体姿态的系统。该系统包括：立体图像预处理器，被配置用于从至少两个照相机获取场景的立体图像；物体检测单元，被配置用于基于立体图像来检测场景中存在的物体；关键特征点提取器，被配置用于识别物体的多个特征点；物体深度估计器，被配置用于至少确定与多个特征点相关联的深度信息；物体方位估计器，被配置用于基于多个特征点和深度信息来估计物体的方位；以及姿态歧义消解单元，被配置用于基于物体的方位和附加特征来确定物体的姿态。

其他概念涉及用于实现这里给出的关于开发虚拟代理的示教的软件。根据此概念的软件产品包括至少一个机器可读的非暂时性介质以及由该介质承载的信息。该介质承载的信息可以是可执行程序代码数据，与可执行程序代码相关联的参数，和/或与具体用户、请求、内容有关的信息或与社会群体等有关的信息。

在一实例中，公开了机器可读的非暂时性介质，其中，该介质具有记录在其上的用于估计自动驾驶中的物体姿态的信息，使得该信息在被机器读取时导致机器执行多种步骤。通过部署在本车上的至少两个照相机从场景中获取立体图像。然后，从立体图像中检测场景中存在的物体。对于检测到的每个物体，识别多个特征点，并且获得与特征点相关联的深度信息。然后，基于物体的特征点和深度信息来估计每个物体的方位，然后，基于物体的方位和附加特征来估计物体的姿态。

另外的新特征一部分在下面的说明中给出，一部分将为本领域技术人员在检视下面的说明书以及附图后明了，或者可以通过制造或运行实例来习得。本示教的新特征可以通过对下面讨论的详细实例中给出的方法、设备及组合的多种实施形态的实践或使用来实现或获得。

附图说明

这里介绍的方法、系统和/或程序设计以示例性实施例的方式进一步介绍。这些示例性实施例将参照附图详细介绍。这些实施例是非限制性的示例性实施例，其中，贯穿多幅附图，类似的参考标号代表类似的结构，且其中：

图1示出了自动驾驶中的计算机辅助避障的一般框架；

图2a示出了在附近移动的车辆所可能具有的方位的示例性类型；

图2b-2c示出了关于在附近移动的车辆的每个所示方位的姿态的示例性歧义；

图3示出了根据本示教一实施例的物体姿态估计器的示例性高层次系统图；

图4为根据本示教一实施例的物体姿态估计器的示例性过程的流程图；

图5示出了根据本示教一实施例，根据关键特征点估计器的关键特征点估计器的示例性高层次系统图；

图6为根据本示教一实施例的关键特征点估计器的示例性过程的流程图；

图7示出了根据本示教一实施例的物体方位估计器的示例性高层次系统图；

图8为根据本示教一实施例的物体方位估计器的示例性过程的流程图；

图9示出了根据本示教一实施例的姿态歧义消解单元的示例性高层次系统图；

图10为根据本示教一实施例的姿态歧义消解单元的示例性过程的流程图；

图11示出了根据本示教一实施例的姿态歧义消解单元的另一示例性高层次系统图；

图12为根据本示教一实施例的姿态歧义消解单元的另一示例性过程的流程图；

图13示出了能用于实现包含本示教的特定系统的移动装置的架构；以及

图14示出了能用于实现包含本示教的特定系统的计算机的架构。

具体实施方式

在下面的详细介绍中，通过示例的方式给出了多种特定细节，以便提供对相关示教的全面理解。然而，本领域技术人员应当明了，本示教可以在没有这些细节的情况下实现。在其他的实例中，公知的方法、过程、部件和/或电路已经以相对较高的层次介绍而没有给出细节，以避免不必要地模糊本示教的实施形态。

本公开一般涉及系统、方法、介质和其他实施形态，其用于在自动驾驶的情况下为了避障的目的而估计物体的姿态。在不同的实施例中，本示教公开了一种高效的系统，方法和介质，用于即时估计物体姿态，以实现自动即时避障。为了克服与传统姿态估计方法有关的所提到的问题，本示教公开了一种估计自动本车附近的运动车辆的姿态的快速方法。

图1示出了自动驾驶中计算机辅助避障的通用框架结构100。如图所示，框架结构100包括：物体姿态估计器110，其基于传感信息提供物体姿态的估计120；以及，避障控制器130，其取得对本车可见的场景中存在的周围物体的姿态估计，控制本车以免与周围任何物体碰撞。本示教集中于与物体姿态估计器110有关的不同方面。

图2a示出了在附近移动的目标车辆可能具有的方位的示例性类型。如图所示，本车可以具有一个或多于一个本车照相机200，它们被部署在车辆上并连续监视本车周围的视觉场景。本车照相机200可具有一定的视野，其覆盖了本车周围的一定的相关区域。在该示出的示例中，示出的本车照相机覆盖了本车的前部区域。可能存在覆盖这样的监控区域的其他本车照相机：尽管存在很大的重叠，但可能与照相机200略有不同。不同的照相机以不同的视角拍摄场景的图像。以不同视角拍摄的图像可以用作立体图像(假设适当的校准)，以用于不同的任务，例如深度估计。

如图所示，本车照相机200可以观察围绕本车的不同物体，例如分别标记为210、220和230的示例物体。每个观察到的物体可能都有其自己的方位和姿态。图2a提供了三种方位的概略，它们是所有可能的方位的代表，包括对称方位(180度旋转)。三种方位中的每一种可以对应于两种可能的姿态，这在图1和图2b-2c中示出。

图2b示出了相同的物体210、220和230，每个物体具有特定的方位。例如，图2a中的物体210虽然方位清晰，但是在没有任何其他信息的情况下不会表露其姿态。在图2b中，物体210被示为具有前端和后端，其前端远离本车，并且其后端更靠近本车。但是，图2c中的同一物体的前端更靠近本车，后端远离本车。类似地，图2a中的物体220和230在被检测时呈现出关于姿态的同样的歧义，而没有更多信息。但是，在图2b和2c中，由于附加信息可用(例如，是否观察到来自其正面、后面或侧面视图的特征)，因此，可以基于这样的附加特征来估计它们的姿态。显然，消解此类与姿态相关的歧义对于避障来说至关重要。

图3描绘了根据本示教的实施例的物体姿态估计器110的示例性高层次系统图。在该示出的实施例中，物体姿态估计器110包括立体图像预处理器310、物体检测单元320、物体深度估计器340、关键特征点提取器360、物体方位估计器380和姿态歧义消解单元390。在所示的实施例中，作为输入，接收即时获取的立体图像，作为输出，动态地生成估计的物体姿态。根据本车周围环境中物体的数量，估计的物体姿态的数量会随之变化。基于估计的物体方位来估计各个物体姿态。根据基于例如物体检测模型330所检测到的物体而识别出的物体的各种关键特征点以及基于深度估计模型350所确定的物体的深度信息，估计物体的方位。

图4是根据本示教的实施例的物体姿态估计器110的示例性过程的流程图。在操作中，立体图像预处理器310在410处接收由部署在本车上的多个照相机从本车周围的场景获取的立体图像。在一些实施例中，可以在420处由立体图像预处理单元310对立体图像执行某些预处理，例如，降噪或图像增强。基于预处理的立体图像，物体检测单元320在430处基于物体检测模型330检测场景中存在的物体。基于检测的物体，物体深度估计器340在440处估计深度信息。在一些实施例中，例如，基于深度估计模型350，可以关于每个检测到的物体估计深度信息。在一些实施例中，可以估计整个场景的深度图，并且物体检测单元320可以用该场景的深度图促进物体检测。在一些实施例中，部署在本车上的某些传感器可以直接提供深度信息(未示出3d传感器和3d图像)

利用检测到的物体和深度信息，关键特征点提取器360在450处识别或提取每个检测到的物体的各种关键特征点。可以基于关键点配置来检测这样的关键特征点。例如，如图2a-2c所示，关键特征点可以被配置为每个物体的最左点a、每个物体的最右点b以及代表物体最接近本车的点的最近点p。最左和最右是从本车照相机的角度定义的。基于与物体相关联的深度信息来确定物体的最近点p。例如，在图2a中，存在三个示出的物体210、220和230。物体210具有关键特征点a1、b1和p1；物体2具有关键特征点a2、b2和p2；物体3具有关键特征点a3，b3和p3。

在检测到每个物体的关键特征点的情况下，物体方位估计器380在460处基于关键特征点和与其相关联的深度信息来确定每个检测到的物体的方位。如本文中所讨论的，如图2a所示，任何物体具有三个代表性方位，其中，物体210具有第一方位，物体230具有第二方位，物体220具有第三方位。根据本示教，对于检测到的物体，如果由物体的深度信息确定关键特征点a、b和p形成直线，则物体的方位是第一或第二方位。在一些实施例中，为了确定当三个关键特征点形成一条直线时物体是处于第一方位还是第二方位，关键点a和b之间的距离被用于某个判据。例如，当物体是本车前方的目标车辆时(可以根据例如色斑形状等视觉线索来确定)，如果a和b之间的距离小于某个阈值(判据)，移动车辆的方位垂直于由点a和b形成的线对准，例如图2a中的物体210。如果a和b之间的距离大于阈值，则移动车辆的方位平行于由点a和b形成的线，例如图2a中的物体230。

可以基于动态信息(例如与每个物体关联的深度信息，以及关于移动车辆的尺寸的常识)来确定用于在第一方位(210)和第二方位(230)之间进行选择的判据。例如，如果物体或目标车辆靠近本车，例如2.5米(估计深度为2.5米)，则可以基于根据已知距离2.5米校准的移动车辆的平均宽度来确定动态阈值。用这种方式，对于检测到的每个目标车辆，可以根据与物体相关联的深度信息，即时地自适应确定将被应用于确定其方位的阈值。其他视觉线索也可以用于自适应地确定宽度阈值。例如，根据移动车辆的形状，可以确定其是否对应于厢式货车或轿车。前者的平均宽度较大，而后者的平均宽度较小。接着，这种关于每个特定物体确定的平均宽度可以基于物体的深度信息进行调整，以得出宽度阈值。物体越远，调整后的宽度就越小。

当物体的关键特征点不形成直线时，也存在两种可能的方位。一种是图2a中物体220的方位。在这种情况下，移动的车辆与关键特征点a和p形成的线对齐。另一种方位(现在，在图2a-2c中示出)对应于这样的情况：物体与关键特征点p和b形成的线对齐。根据本示教，要确定三个关键特征点不形成直线时物体的方位，将a和p之间的距离与p和b之间的距离进行比较。如果前者较大，则物体与关键特征点a和p形成的线对齐。否则，物体与关键特征点p和b形成的线对齐。

如本文所讨论的，一旦确定了检测到的物体的方位，该物体可能有不同的姿态。例如，图2a中的目标车辆210可能有两个可能的姿态，一个姿态如图2b所示(从本车的照相机可以看到移动车辆的尾端)，另一个姿态如图2c所示(从本车的照相机可以看到行驶车辆的首端)。图2a中的目标车辆220具有相似的歧义性(是运动车辆的尾端还是首端更靠近本车)。目标车辆230在给定方位的情况下也可以具有两种不同的姿态，一种是移动车辆230的头部朝向本车的右侧(图2b)，另一种是朝向本车的左侧(图2c)。与物体每个方位相关的歧义可以在470处(图4)用姿态歧义消解单元390进一步消解。估计检测到的物体的方位和姿态的过程会继续进行，直到如在480处确定的所有物体都已被处理为止。

图5描绘了根据本示教一实施例的关键特征点估计器的关键特征点估计器360的示例性高层次系统图。在所示的实施例中，关键特征点估计器360将检测到的物体及其关联的深度信息作为输入信息，并生成所有检测到的物体的关键特征点作为输出信息。为了实现这一点，关键特征点估计器360包括特征提取控制器510、最左关键点识别器520、最右关键点识别器530和最小距离关键点识别器540。如本文所讨论的，可以基于例如存储在关键点配置370中的一些预先配置的信息来执行特征点提取。基于该配置，特征提取控制器510通过调用不同的组件以提取不同的关键特征点来控制特征提取。

图6是根据本示教一实施例的关键特征点估计器360的示例性过程的流程图。在操作中，特征提取控制器510在610处接收检测到的物体，并在620处接收与这种检测到的物体相关联的深度信息。然后，基于370中的配置，特征提取控制器510调用最左关键点识别器520，以便在630处基于物体和相关联的深度信息为所有检测到的物体识别最左边的关键点。类似地，特征提取控制器510调用最右关键点识别器530，以便在640处基于物体和相关联的深度信息为所有检测到的物体识别最右边的关键点。特征提取控制器510还调用最小距离关键点识别器540，以便在650处基于物体和相关联的深度信息为所有检测到的物体识别最小距离关键点。在660处，所提取的检测到的物体的关键特征点被输出到物体方位估计器380，以用于方位估计。

图7描绘了根据本示教一实施例的物体方位估计器380的示例性高层级系统图。为了估计每个物体的方位，物体方位估计器380包括物体方位1估计器710、物体方位2估计器730、物体方位3/4估计器720和物体方位估计生成器740。每个物体方位估计器被提供以估计特定方位。例如，估计器710用于估计诸如图2a中的物体210之类的方位1；估计器720用于估计方位2(图2a中的230)；并且，估计器720用于估计诸如图2a中的物体220之类的方位3以及当物体220与由点p2和b2形成的线对准时的方位4(未示出)。

图8是根据本示教一实施例的物体方位估计器380的示例性过程的流程图。在操作中，可以在810处以三元组(a，b，p)的形式接收每个物体的关键特征点。每个估计器都评估其指定的方位。例如，物体方位1估计器710在820处相对于方位1评估(a，b，p)，并将其评估结果发送给物体方位估计生成器740。类似地，物体方位2估计器720在830处相对于方位2评估(a，b，p)。物体方位3估计器730在840处相对于方位3和4，对(a，b，p)进行评估，并将其评估结果发送给物体方位估计生成器740。然后，根据针对不同方位的不同估计器的结果，物体方位估计生成器740可以在850处生成物体方位估计，并且在860处针对检测到的每个物体输出这样生成的方位估计。

如本文所讨论的，对于每个估计的方位，目标车辆有两个可能的姿态，其对应相对于彼此呈180度，如图2b和2c所示。可以通过识别与每个目标车辆的前侧或后侧相关的附加特征来消解歧义。当可以在第一(210)和第三(220)方位上基本上完全看到目标车辆的正或后视图的视觉特征时，就可以观察到这样的附加特征。当目标车辆处于第二方位(230)时，目标车辆的正或后视图的特征可能仅从不同的视角可见，或者仅车辆前部和后部的侧视图的特征可见。例如，如果目标车辆处于第一方位、其头部朝向本车(如图2c所示的210)，则本车上的照相机将观察到目标车辆的前部特征。如果目标车辆处于第一方位、但其头部背向本车(如图2b所示的210)，则本车上的照相机将观察到目标车辆的后部特征。类似地，如果目标车辆处于第三方位且其头部朝向本车(图2b中的220)，则本车上的相机将观察到目标车辆的前部特征。如果目标车辆处于第三方位，但其头部背向本车(图2c中的220)，则本车上的照相机将观察到目标车辆的后部特征。如果目标车辆处于第二方位、其头部朝向本车的右侧(图2b中的230)，则本车应从目标车辆的右侧观察目标车辆前端的特征，并在目标车辆的左侧观察目标车辆后端的特征。如果目标车辆处于第三方位、但其头部朝向本车的左侧(图2c中的230)，则本车应从目标车辆的左侧观察目标车辆前端的特征，从目标车辆的右侧观察目标车辆后端的特征。

如本文所讨论的，姿势歧义消解单元390用于消解从本车观察到的每个目标车辆的方位估计的两个可能姿态的歧义。图9描绘了根据本示教一实施例的姿态歧义消解单元390的示例性高层级系统图。在该示出的实施例中，姿态歧义消解单元390包括物体姿态估计控制器910、歧义消解确定器920、前部/后部特征检测器930、前侧/后侧特征检测器950和物体姿态估计生成器960。接收到估计的物体方位后，物体姿态估计控制器910基于估计的方位来确定是调用前部/后部特征检测器930还是前侧/后侧特征检测器950。如本文所讨论的，当估计的方位是方位1(210)或方位2(220)时，从目标车辆可观察到的前部或后部特征将用于消除歧义。在这种情况下，基于例如存储在940中的前部/后部特征模型，调用前部/后部特征检测器930，以从包含目标图像的图像中检测前部或后部特征。检测结果可以指示从目标车辆观察到的内容(前部或后部特征)，且其可被发送到歧义消解确定器920，以基于检测到的目标车辆的特征通过消除歧义来估计姿态。

另一方面，当估计的方位是方位3(230)时，可从处于方位3的目标车辆观察到的前部或后部特征的侧视图将用于消除歧义。在这种情况下，前侧/后侧特征检测器950被调用，以基于例如存储在960中的前侧/后侧特征模型从包含目标图像的图像中检测目标车辆230的哪一侧对应于前部或后部特征的侧视图。检测结果可以指示是在目标车辆的左侧还是右侧观察到前部或后部特征的，并且，这样的指示可被发送至歧义消解确定器920，通过根据目标车辆的前部位于哪一侧来消除歧义，从而估计目标车辆的姿态。

图10是根据本示教一实施例的姿态歧义消解单元390的示例性过程的流程图。在1010处，物体姿态估计控制器910接收与从场景检测到的目标车辆相对应的方位估计。下一目标车辆的方位由从1020处的输入确定，并在1030处用于确定其是否对应于方位3(图2a中的物体230)。如果估计的方位不是方位3(即它是方位1或方位2)，则物体姿态估计控制器910调用前部/后部特征检测器930，以便在1040处基于存储在940中的前部/后部特征模型来检测目标车辆的前部或后部特征。如果估计的方位是方位3，则物体姿态估计控制器910调用前侧/后侧特征检测器930，以便在1050处基于存储在960中的前侧/后侧特征模型来检测目标车辆的前部或后部的侧视图。

然后，与目标车辆相关联的检测到的附加特征将被发送到歧义消解确定器920，以便在1060处确定目标物体的姿态。当在1070处确定为存在更多的剩余物体时，该过程返回至步骤1020。在一些实施例中，当确定了所有目标车辆的姿态时，它们由物体姿态估计生成器970生成，并在1080处输出。在一些实施例中，替代性的过程可以在每一个目标车辆被估计时输出估计姿态(未示出)。

在一些实施例中，目标车辆的前部特征可以包括目标车辆的前灯，或者例如用于不同类型车辆的特殊符号，诸如车辆的徽标。可以在存储器940中配置和指定期望能从目标车辆的前端或后端观察到的内容，并且将它们用于对检测进行指导。在一些实施例中，还可在存储器940中配置和指定目标车辆的后部特征，并将之用于对后部特征的检测进行指导，后部特征可包括牌照、目标车辆品牌的文字标记等。不同车辆的不同可能性也可以被配置。另外，还可以配置具有不同预期特征的位置的不同配置(例如，牌照，前灯位置或后灯位置)。

目标车辆的侧视图可以包括目标车辆的前部或后部的轮廓(profile)，或者从车辆的侧面可见的车辆的视觉特征，例如整个车辆的轮廓或车辆侧窗的构造。预期将从不同车辆的侧面看到的东西也可以在存储器960中配置和指定，并用于检测来自不同目标车辆的附加侧面特征。

在一些实施例中，其他特征也可以用于消除目标车辆的姿态的歧义。例如，运动信息可以用于确定目标车辆的前部或后部的位置，从而确定目标车辆的姿态。图11描绘了根据本示教的不同实施例的姿态歧义消解单元390的示例性高层级系统图。在该示出的实施例中，姿态歧义消解单元390包括物体姿态估计控制器1110、歧义消解确定器1120、朝向/离开运动检测器1130、向左/向右运动检测器1150、物体姿态估计生成器1170。在收到估计的物体方位后，物体姿态估计控制器1110基于估计的方位确定是调用朝向/离开运动检测器1130还是向左/向右运动检测器1150。当估计出的方位是方位1(210)或方位2(220)时，目标车辆的运动是朝向或远离本车的(或者没有运动，这对于朝向或远离运动将是相同的)。然后，运动的方向可以用于消除目标车辆姿态的歧义。在这种情况下，基于例如t/a运动估计模型1140，调用朝向/离开运动检测器1130以检测运动的方向。然后，可以将检测到的运动方向发送至歧义消解确定器1120，以基于目标车辆运动的方向性来消除歧义。

另一方面，当估计的方位是方位3(230)时，目标车辆的运动方向(左或右)也可用于消除歧义。在这种情况下，基于例如存储在1160中的l/r运动估计模型，调用l/r运动检测器1150以估计目标车辆运动的方向性。检测结果可以被发送到歧义消解确定器1120处，以便通过基于检测到的运动的方向性消除歧义，来估计目标车辆的姿态。

图12是根据本示教另一实施例的姿态歧义消解单元390的另一示例性过程的流程图。在1210处，物体姿态估计控制器1110接收与从场景检测到的目标车辆相对应的方位估计。在1220处，下一目标车辆的方位由输入确定，并在1230处用于确定它是否对应于方位3(图2a中的物体230)。如果估计的方位不是方位3(即是方位1或方位2)，则物体姿态估计控制器1110调用朝向/离开运动检测器1130，以在1240处基于例如存储在1140中的t/运动估计模型，检测目标车辆是驶向还是驶离本车。如果估计的方位是方位3，则物体姿态估计控制器1110调用l/r运动检测器1130，以在1250处基于例如在1160中存储的l/r运动估计模型来检测目标车辆是朝着本车的左侧还是右侧方向行驶。

然后，将检测到的与目标车辆相关联的运动特征发送到歧义消解确定器1120，以在1260处确定目标车辆的姿态。当在1270处确定有更多的剩余物体时，该过程返回到步骤1220。在一些实施例中，当所有目标车辆的姿态被确定时，它们在1280处输出。在一些实施例中，替代性的过程可以每当姿态被估计时输出每个目标车辆的估计姿态(未显示)。

图13示出了可用于实现实施本示教的特定系统的移动装置的体系结构。此移动装置1300包括但不限于智能电话、平板电脑、音乐播放器、手持式游戏机、全球定位系统(gps)接收器和可穿戴计算装置(例如眼镜、腕表等)，或者处于任何其他的形态。此实例中的移动装置1300包括：一个或多于一个的中央处理单元(cpu)1340；一个或多于一个的图形处理单元(gpu)1330；显示器1320；存储器1360；通信平台1310，例如无线通信模块；存储器1390；以及一个或多于一个的输入/输出(i/o)装置1350。任何其他合适的部件也可被包括在移动装置1300中，包括但不限于系统总线或控制器(未示出)。如图13所示，移动操作系统1370(例如ios、android、windowsphone等)以及一个或多于一个的应用1380可从存储器1390载入到内存1360中，以便由cpu1340执行。

为了实现本公开中介绍的多种模块、单元及其功能，计算机硬件平台可用作用于这里介绍的一个或多于一个元件的硬件平台。硬件元件、操作系统和这种计算机的编程语言在性质上是传统式的，并且假定本领域技术人员对它们足够地熟悉，以便将这些技术适应于这里介绍的示教。具有用户接口元件的计算机可用于实现个人计算机(pc)或其他类型的工作站或终端装置，但是，如果合适地编程的话，计算机也可用作服务器。相信本领域技术人员熟悉这种计算机设备的结构、编程和一般运行，因此，附图可能是不言自明的。

图14示出了能用于实现实施本示教的特定系统的计算装置的体系结构。实现本示教的这种特定的系统具有硬件平台的功能框图，该硬件平台包括用户接口元件。计算机可以是通用计算机或专用计算机。二者都能用于实施用于本示教的专用系统。这种计算机1400可用于实现如这里所介绍的示教的任何部件。尽管为方便起见示出了仅仅一台这样的计算机，与这里介绍的示教有关的计算机功能可以以分布式在若干个类似的平台上实现，从而分散处理负荷。

例如，计算机1400包括连接到网络的com端口1450，以促进数据通信。计算机1400还包括中央处理单元(cpu)1420，其采用一个或多于一个处理器的形式，用于执行程序指令。示例性计算机平台包括：内部通信总线1410；不同形式的程序存储器和数据存储器，例如盘1470、只读存储器(rom)1430或随机访问存储器(ram)1440，用于将要处理和/或由计算机进行通信的多种数据文件以及将由cpu执行的可能的程序指令。计算机1400还包括i/o部件1460，其支持在计算机和这里的其他部件(例如用户接口元件)之间的输入/输出流。计算机1400也可经由网络通信接收编程和数据。

因此，如上面所概述的本示教的方法的实施形态可以在程序中实现。本技术的程序方面可被看作典型地处于可执行代码和/或相关数据的形式的“产品”或“制品”，其承载在一种机器可读介质上或在机器可读介质中实现。有形的非暂时性“存储器”型介质包括任何或全部用于计算机、处理器等的内存或其他存储器，或者其相关模块，例如多种半导体存储器、带驱动器、盘驱动器等，其可在任何时候为软件编程提供存储。

所有或部分软件有时可通过网络(例如互联网或多种其他电信网络)传送。例如，这种传送可使从一台计算机或处理器向另一台载入软件(例如从搜索引擎操作者或其他增强广告服务器的管理服务器或主机载入实现与本示教相关的计算环境或类似功能的计算环境或其他系统的硬件平台)成为可能。因此，可承载软件元素的另一类型的介质包括光、电和电磁波，例如通过本地装置之间的物理接口、通过有线和光固定网络、通过多种空中链路使用。承载这种波的物理元件(例如有线或无线链路，光链路等)也被看作承载软件的介质。如这里所使用的，除非限制为有形的“存储”介质，例如计算机或机器“可读介质”的术语指参与向处理器提供指令以便执行的任何介质。

因此，机器可读介质可采用多种形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质包括例如光或磁盘，例如任何计算机等等之中的任何存储装置，其可用于实现附图所示的系统或其任何部件。易失性存储介质包括动态存储器，例如这种计算机平台的主内存。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可采用电或电磁信号或者是声或光波(例如在射频(rf)和红外(ir)数据通信中生成的那些)的形式。计算机可读介质的一般形式因此包括例如软盘、可折叠盘、硬盘、磁带、任何其他磁介质、cd-rom、dvd或dvd-rom、任何其他光介质、穿孔卡片纸带、具有孔的图案的任何其他物理存储介质、ram、prom和eprom、flash-eprom、任何其他的存储器芯片或插装盒、载波传输数据或指令、传送这样的载波的电缆或链路、或计算机可从之读取编程代码和/或数据的任何其他介质。许多这些形式的计算机可读介质可以涉入将一个或多于一个的指令的一个或多于一个的序列承载到物理处理器，以便执行。

本领域技术人员将会明了，本示教适用于多种修改和/或增强。例如，尽管上面介绍的多种部件的实现可以在硬件装置中实现，其还可实现为仅仅使用软件的解决方案，例如安装在已有的服务器上。另外，这里所公开的示教也可实现为固件、固件/软件组合、固件/硬件组合或是硬件/固件/软件组合。

尽管上面已经介绍了本示教和/或其他实例，将会明了，可对之做出多种修改，这里公开的主题可以以多种形式和/或实例实现，且本示教可以在多种应用场合中应用，这里仅仅介绍了其中的一些。所附权利要求旨在要求落入本示教真实范围内的任何以及全部应用、修改和变型。