用于基于视频的定位及映射的方法及系统与流程

本发明涉及一种用于确定观测器(例如，沿道路网络行进的车辆)的地理位置及定向的方法及系统。此外，提供一种用于生成及/或更新电子地图(即，用于映射)的方法及系统。在实施例中，可提供一种视觉全球定位及映射系统。

背景技术：

导航及运动规划是高度自动化及自主驾驶的关键组成部分。自动驾驶车辆需要能够在世界范围内自动定位其本身以确定安全措施指南。一方面，需要地图以允许在全球范围内定位，以通过全球导航卫星系统解决路线规划。另一方面，对于如车道保持及遵守交通标志的功能，需要直接环境的精确几何表示。常规地，这通过在无先前地图的情况下临时感测周围环境或在高度精确的预构建地图的支持下单独解决。临时感测是自动驾驶动作所需的最低能力且通常通过即时地图生成从最近传感器数据扩展。当不久之后重临同一区域时，这尤其有用。然而，临时感测环境容易出错且高度期望已经具有关于周围环境的高质量信息(即，地图)，其允许通过与其匹配来验证及支持直接感测。

任选地且理想地，高质量预构建地图已经是可用的，这会防止感测错误馈送到即时地图且因此改进运动规划及车辆的安全性。然而，预构建地图反映世界曾经如何与其在实际自动驾驶期间的情况相反。这意味着预构建地图需要保持为最新以确保安全导航及运动规划。

除了当前区的地图外，车辆中的规划系统还需要知道其定位在那幅地图内的哪个地方。对于从临时感测创建的即时地图，这很简单，但不存在到预构建地图的直接连接。为了是有用的，预构建地图的结构及所含信息需要允许车辆精确定位在其中。通过一些方式比较及对准即时创建的地图与预构建地图，需要确定车辆在预构建地图中的位置及定向。这对预构建地图的设计强加某些要求，例如适于与临时传感器数据进行比较的数据表示。

用于自主驾驶的地图需要适合应用的约束及要求。汽车中的有限资源强加在经济上使用计算时间、存储器及移动带宽的算法及数据结构。在遵守这些约束的同时，系统需要实现自主驾驶的功能要求。这些包含确定关于周围环境的语义信息，例如给定地形的通行状况、动态对象(例如，其它汽车)及静态对象(例如，道路构造、交通标志)的位置及运动。

对于大规模部署，地图需要足够灵活以结合过剩道路几何结构及假象且能够按比例缩放到全球尺寸而不会牺牲最新性及性能。数据结构需要能够足够扩展以用于额外几何及语义层。

自主驾驶是活跃的研究领域，且每年都在朝着完全自行驶汽车取得巨大进步。尽管如此，完全自动驾驶所需的许多挑战仍未解决，且研究社群尚未确定安全规划及行驶的所有先决条件，但即使存在已知问题，也没有明确的解决方案。

虽然自主驾驶平台存在众多命题及实施方案，但没有一者取得映射及定位问题的被接受的标准解决方案的状态。也不存在用于将临时数据聚集到同时有利于全球范围内的直接运动规划及额外地图匹配(即，定位)预构建地图的即时地图中的标准解决方案。

用新即时数据更新预构建地图也是至关重要的且未整体上解决。这可包含解决以下问题：有效地图匹配、自动对象检测(例如交通标志)以及人类操作者进行手动数据内容管理的直观演示。

当前可用地图

另一问题是缺乏符合自主驾驶的要求的预构建地图材料。以频繁间隔搜集多数地图数据，且所述多数地图数据因此通常是过时的且不会提供结合新数据的容易方法。实例是航空照片及由市政雇员进行的手动映射。许多可用地图数据也未被构造以用于算术存取，例如前面提及的航空照片，其是由具有无可用结构数据的像素构成。地图精度通常也是不够的，且需要从事自主驾驶的每一研究小组创建定制地图。

针对自主驾驶已明确创建的当前最先进地图很多时候也不是最佳的且仅在具有与记录时间相同的当日时间及天气条件的情况下可适用。此外，频繁使用的数据结构通常证明对真正意义上的全球地图太低效。这些种类的地图通常含有非结构化传感器数据，其由于其量而难以与传感器数据对准。此外，通常不存在到gis坐标系统的精确连接，从而使地图不可与其它地图互操作。这些天的自主驾驶地图经常是存储在长期存储装置的即时地图。需要从一开始就是专门用于可靠的车辆定位的地图。

异构传感器设置

额外挑战是来自不同传感器且甚至是不同传感器类型(例如，单色相机、立体相机、激光雷达、雷达等)的数据处置，特别是因为仅仅存储原始传感器数据的地图不适于略微不同传感器的定位。因此，一般地图需要提供用所有传感器类型可查找的环境的语义信息。

非功能要求

映射及定位系统还面临非功能要求，且最先进方法都不能实现与先前所述的功能要求一起实现这些。系统的设计不仅需要在实验室环境中工作而且在全球范围内经受可行性及实施方案成本，这包含能够在商品硬件上及在移动数据连接的适度容量限制内运行。

技术实现要素：

根据本发明的第一方面，提供一种用于确定行进穿过道路网络的车辆的地理位置及定向的方法，所述方法包括：

从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

使用至少一些所述经获得图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示；

比较所述经生成当地地图表示与参考地图的区段，所述参考地图区段覆盖所述车辆行进的所述道路网络的所述区域；及

基于所述比较确定所述车辆在所述道路网络内的所述地理位置及定向。

本发明还扩展到一种用于实施根据本文描述的本发明的此方面或其任何实施例的方法的系统。

因此，从另一方面，提供一种用于确定行进穿过道路网络的车辆的地理位置及定向的系统，所述系统包括：

用于从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像的构件，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

用于使用至少一些所述经获得图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示的构件；

用于比较所述经生成当地地图表示与从地图存储库提取的参考地图的区段的构件，所述参考地图区段覆盖所述车辆行进的所述道路网络的所述区域；及

用于基于所述比较确定所述车辆在所述道路网络内的所述地理位置及定向的构件。

视情况，本发明的此另一方面可包含且优选地确实包含本文关于本发明的任何其它方面或实施例描述的本发明的优选及任选特征中的任何一或多者或全部。举例来说，即使未明确陈述，所述系统也可包括用于实施关于本文在其任何方面或实施例中的方法描述的任何步骤的构件，且反之亦然。用于实施关于所述方法或系统描述的步骤中的任何者的构件可包括一或多个处理器及/或处理电路。本发明因此优选地是计算机实施的发明，且关于本发明的方面或实施例中的任何者描述的步骤中的任何者可在一组一或多个处理器及/或处理电路的控制下实施。

在实施例中，本发明涉及用于确定行进穿过道路网络的车辆的地理位置及定向的技术，即，用于“定位”道路网络内的车辆。经确定地理位置及定向或定位结果可例如用于自动驾驶车辆的导航及运动规划目的。例如，所述定位结果可被提供为到车辆的自主驾驶模块的输入，例如以便确定车辆将采取的下一动作。如本文描述，至少在一些方面中，在道路网络内行进的车辆的地理位置及定向可从由与所述车辆相关联的一或多个相机记录的一系列图像(例如，视频序列)确定。所述图像将包含与车辆行进的道路网络的当地环境相关的图像内容，即，含有在相机视野内捕获的任何对象。所述一系列图像将因此反映车辆穿过道路环境的移动。即，所述一系列图像将通常反映当地环境随着车辆移动穿过道路网络的变化。所述图像中的每一者将因此通常在不同位置处被记录。因此，为了聚集来自不同图像的信息以生成车辆行进的区域的一致当地地图表示，有必要知道所述图像的相关联相机位置。经获得图像的相机位置可为已知的或在(例如，从板上里程计系统及/或全球导航卫星系统(gnss)数据)获得图像时被提供所述图像。替代地，且在优选实施例中，不同图像的相机位置可在视觉上例如使用视觉里程计(如下文更详细论述)从所述图像确定。多个图像及相关联相机位置可因此经处理以提取关于道路网络的环境的信息，接着，所述信息可被结合到表示车辆行进的道路网络的区域的当地地图表示中。因此，通过处理多个图像这样获得的当地地图表示通常指示车辆周围的区域的道路网络的环境。接着，可比较(例如，匹配)生成的当地地图生成与覆盖(至少)车辆行进的大致区域的参考地图区段以便确定车辆在道路网络内的地理位置及定向，例如，通过确定车辆相对于参考地图的自运动。如应了解，为了本发明的目的，参考地图被视为基本事实，使得参考地图中表示的对象的位置及定向匹配对象在真实世界的位置及定向。以此方式，即，通过处理经记录图像以生成当地地图表示，接着，可比较(匹配)所述当地地图表示与对应参考地图，车辆在道路网络内的位置及定向可从图像准确地确定。因此，根据本发明的实施例，可获得车辆在道路网络内的视觉定位。接着，可根据需要以各种方式使用定位结果。举例来说，如上文提及，定位结果可被提供为到自动驾驶车辆的自主驾驶模块或其中可期望准确定位的一些其它高级驾驶员辅助系统的输入。

生成的当地地图表示还可依次用于更新参考地图区段(或生成新参考地图区段)。例如，在当地地图表示包含不包含于先前编译的参考地图中或原本否定的特征的情况下，接着，可因此更新参考地图。因此，至少在一些实施例中，本文呈现的技术还提供用即时获得的新数据有效地更新预构建参考地图的方式。例如，通过比较经生成当地地图表示与参考地图，可识别参考地图中的一或多个错误。举例来说，错误可为从参考地图缺失的特征或需要从参考地图移除或需要修改的特征。当识别出此类错误时，可因此更新参考地图。例如，当识别出此类错误时，接着，当地地图表示可被提供到远程服务器以便更新参考地图，例如，通过更新将基于当地地图表示结合到参考地图中的参考地图区段或生成新参考地图区段。然而，应了解，整个当地地图表示未必被提供到远程服务器，且在一些实施例中，指示当地地图表示及/或经识别错误的数据可代替地被提供到远程服务器以便更新参考地图区段(或生成新参考地图区段)。举例来说，来自当地地图表示的一或多个特征或经获得图像中的一或多者可被提供到远程服务器及用于因此更新(或生成)参考地图区段。例如，当在车辆上生成当地地图表示时，这可减少需要被传输到远程服务器的数据量。

在实施例中，所述技术可包含输出定位结果且还包含提供当地地图表示或指示当地地图表示的数据或指示基于与当地地图表示的比较识别的参考地图中的任何错误的数据。在一些情况下，定位结果还可用于更新参考地图区段目的，例如用于错误校正目的。然而，至少在一些实施例中，预期到本技术还可用于映射目的而无需必要地输出定位结果。即，根据一些实施例，从一或多个车辆获得的图像数据可用于生成及/或更新电子地图。

因此，从本发明的另一方面，提供一种用于使用由行进穿过由电子地图表示的道路网络的车辆获得的数据更新及/或生成所述地图的方法，所述方法包括：

从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

使用至少一些所述图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示；

比较所述经生成当地地图表示与参考地图的区段；

基于所述比较识别所述参考地图区段中的一或多个错误；及

在识别出一或多个错误时将所述当地地图表示或指示所述当地地图表示的数据提供到远程服务器以更新所述参考地图区段及/或生成新参考地图区段。

本发明还扩展到一种用于实施根据本文描述的本发明的此方面或其任何实施例的方法的映射系统。

因此，从另一方面，提供一种用于使用由行进穿过由电子地图表示的道路网络的车辆获得的数据生成及/或更新所述地图的系统，所述系统包括：

用于从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像的构件，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

用于使用至少一些所述图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示的构件；

用于比较所述经生成当地地图表示与参考地图的区段的构件；

用于基于所述比较识别所述参考地图区段中的一或多个错误的构件；及

用于在识别出一或多个错误时将所述当地地图表示或指示所述当地地图表示的数据提供到远程服务器以更新所述参考地图区段及/或生成新参考地图区段的构件。

视情况，本发明的此另一方面可包含且优选地确实包含本文关于本发明的任何其它方面或实施例描述的本发明的优选及任选特征中的任何一或多者或全部。举例来说，即使未明确陈述，所述系统也可包括用于实施关于本文在其任何方面或实施例中的方法描述的任何步骤的构件，且反之亦然。用于实施关于所述方法或系统描述的步骤中的任何者的构件可包括一或多个处理器及/或处理电路。本发明因此优选地是计算机实施的发明，且关于本发明的方面或实施例中的任何者描述的步骤中的任何者可在一组一或多个处理器及/或处理电路的控制下实施。

根据本发明的实施例，当地地图表示或指示当地地图表示的至少数据，优选地与指示参考地图(使用来自当地地图表示)中的一或多个经识别错误的数据一起，可被提供到远程服务器且用于更新或生成电子参考地图的目的，如上文描述。因此，当此信息被提供到远程服务器时，接着，远程服务器可使用经提供当地地图表示或指示经提供当地地图表示的数据以生成新参考地图区段及/或生成远程服务器上存储的参考地图。经更新(或新)地图可随后被下载以供车辆(用户)使用，例如，如关于第一方面描述。即，接着，经更新或经生成电子地图可用作用于后续定位过程的参考地图。因此，本发明根据各种方面通常涉及视觉定位技术以及相关视觉映射技术，如下文将进一步解释。

本文呈现的技术可通常用于其中期望提供车辆在道路网络内的准确定位及/或生成包含关于道路网络的当地环境的信息的准确地图的任何上下文中。然而，特定来说，实施例涉及用于定位自动驾驶车辆的技术，例如，需要最少驾驶员交互(或无需驾驶员交互)的车辆。例如，在实施例中，定位的结果可被提供到车辆的自主驾驶模块以用于导航及运动规划目的，即，自动驾驶。因此，车辆可包括行进穿过道路网络的自动驾驶车辆，例如，自动驾驶汽车或卡车等。然而，应了解，本技术也可在例如与非自动驾驶或半自动驾驶车辆相关的各种其它上下文中找到实用性。举例来说，还预期到定位可通常用作任何合适的高级驾驶员辅助系统的部分，例如，其中可期望车辆在地图内的准确定位。而且，应了解，映射结果无需(尽管优选地将)用于有利于自主驾驶目的，且可用于生成用于导航的经改进地图以根据需要被任何车辆用作例如常规导航制导系统的部分。

道路网络通常是包括可由车辆导航的多个经互连道路的网络。道路网络可通常由数字或电子地图(或数学图)表示。数字地图以其最简单的形式实际上是数据库，其含有表示节点，最常见地，表示道路交叉口，及那些节点之间表示那些交叉口之间的道路的线的数据。在更详细的数字地图中，线可被分成通过起始节点及结束节点界定的段。这些节点可为“真实的”，这在于其表示最少3条线或段在其处相交的道路交叉口，或其可为“人工的”，这在于其被提供为未通过真实节点在一或两个端处界定的段的锚点以尤其提供一段特定道路的形状信息或识别沿道路的在其处所述道路的一些特性(例如，速度限制)发生改变的位置的方式。实际上，所有现代数字地图、节点及段都进一步由再次由数据库中的数据表示的各种属性界定。举例来说，每一节点通常将具有地理坐标以界定其真实世界位置，例如，纬度及经度。节点将通常具有与其相关联的操控数据，其指示是否有可能在交叉口处从一条道路移动到另一条道路。出于常规导航制导目的，例如，如可由已知便携式导航装置提供，电子地图的段仅需(且通常将仅)含有关于道路中心线的信息，尽管每一路段还可被增补属性，例如最大准许速度、车道大小、车道数目、车道之间是否存在隔离带等。然而，根据本发明的实施例，如下文将进一步描述，可生成(或使用)电子地图，其提供包含车道中心线及车道连通性(即，车道标志)的车行道轮廓的更准确及现实表示以及其它关键元素，例如道路网络的三维几何结构，例如可合意地结合到地图中的地标对象。此类电子地图可被称为“hd”地图(与含有道路中心线但不含有车道中心线的常规“sd”地图相比)。hd地图中所含的额外信息及至少车道标志通常需要以用于自主驾驶目的。然而，这些hd地图的使用不限于自动驾驶车辆，且这些地图还可在其中期望提供车行道轮廓的经改进且更准确的表示的任何其它应用中找到合适应用，包含但不限于各种高级驾驶员辅助系统应用。因此，hd地图还可含有表示任何其它特征的数据，其可合适地且合意地被呈现给用户或自主驾驶系统或其它高级驾驶员辅助系统(adas)。

本发明的实施例包含从与行进穿过道路网络的车辆相关联的一或多个相机获得(或处理)一系列图像。由一或多个相机记录的所述一系列图像可从至少一个相机直接获得，例如，可从相机直接流式处理到用于生成当地地图表示的车辆的板上处理器。然而，在其它实施例中，图像可被传输到远程处理器，接着，其使用接收到的图像(或图像数据)生成当地地图表示。实际上，一般来说，应了解，本文描述的各种处理器及处理步骤可根据需要分布于一或多个板上处理器与远程服务器之间。

一或多个相机通常与行进穿过道路网络的车辆相关联。例如，一或多个相机可合适地位于车辆上或中。一般来说，一或多个相机可位于车辆上或中的任何合适及期望位置处以便获得可根据本文呈现的技术合适地处理的图像。举例来说，通常，至少一个相机将获得车辆之前的景物及道路几何结构的图像。然而，一或多个相机还可用于获得车辆周围的景物的图像。一般来说，经获得图像将包含与车辆周围及前方的区域中的道路网络的当地环境相关的图像内容，且可经适当地处理以便提取指示包含于当地地图表示的道路网络的环境的信息。例如，图像内容将通常包含任何对象，其包含于图像被记录的点处的一或多个相机的视野内，使得图像不仅捕获关于道路及车道几何结构的信息，而且捕获关于车辆行进的区域中的一般景物或环境的信息，例如，包含关于与当地环境相关联的地标(例如建筑物、交通标志、交通灯、广告牌等)的信息，以及关于道路网络的当前状况(及通行状况)的信息。因此，应理解，图像内容通常含有关于车辆行进的区内的道路网络的环境的信息(及不仅仅是关于道路网络本身的信息)。因为其是用于生成当地地图表示的图像内容，当地地图表示又可用于(全球地)更新或生成参考地图，所以应了解，根据本文呈现的技术生成的地图可比常规电子地图更丰富且含有比常规电子地图更有用的信息，例如，常规电子地图仅展示基于道路中心线的道路几何结构。

一系列图像反映车辆穿过道路网络的移动。即，所述系列中的每一图像将表示特定时间点时及特定相机位置处的道路网络的环境。优选地，一系列图像包括视频序列。图像可因此对应于视频序列的相应帧。因此，一或多个相机可且在优选实施例中确实包括一或多个视频相机。

在实施例中，一或多个立体相机可用于获得(至少一些)多个图像。然而，使用立体相机是不必要的，且在一些实施例中，图像可使用(仅)一或多个单眼或单相机获得。在一些优选实施例中，一或多个相机可包括一或多个立体相机及一或多个单(单眼)相机。例如，在实施例中，如下文解释，使用立体相机获得的多个立体图像可有利地用于视觉里程计目的。然而，为了识别及分类图像中的对象的目的，可优选的是使用从单(单眼)相机获得的图像。

图像数据可根据需要由来自各种其它传感器的数据增补。例如，位置数据(例如gnss数据)可用于提供车辆的粗略定位及图像中的每一者的时间戳。

因为一系列图像中的图像通常是在不同位置处获得(例如，反映车辆穿过道路网络的移动，且因此反映相关联一或多个相机穿过道路网络的移动)，以便一起处理图像以生成车辆行进的区域的一致当地地图表示，所以必要的是知道(或至少能够确定)与图像中的每一者相关联的相机位置。即，图像中的每一者表示区域的特定部分的二维视图。为了生成完整区域的一致视图，因此必要的是将来自不同图像的不同视图聚集在一起。这可基于知道图像被记录的位置而进行。例如，应了解，对象通常出现在任何给定图像中作为一组二维点。当记录了一系列图像时，同一对象可因此出现在多个图像中但从不同视角观看。这是允许例如使用三角测量定位对象的原因。然而，为了生成一致当地地图表示，使得对象可从图像映射到所期望三维坐标系中例如以展示对象在道路网络内的相对位置及定向，必须考虑用于获得不同图像的相机的位置及定向(一起，“姿势”)。即，为了从在不同位置处记录的一系列图像生成一致当地地图表示，必要的是知道或确定不同图像的相机位置。

图像被记录的位置(或“相机位置”)可被提供为绝对位置，其表示相机在图像被定位在其处的点处的道路网络内的绝对位置及定向(姿势)。因此，在实施例中，所述技术包括获得图像的绝对相机位置。然而，这可需要并不总是可用的十分高精度的传感器。举例来说，图像中的每一者可在其被获得时例如使用gnss或其它位置数据被加位置戳，且因此可使用此类位置数据例如通过使用高精度里程表及/或gnss数据直接获得绝对位置。通常，此类gnss或其它位置数据的准确度可能不允许足够高地确定将可靠地用于定位的其位置(尤其是对于其中十分准确地定位车辆是必要的自主驾驶)。因此，相机位置可被提供为相对位置，使得提供相对于所述系列中的一或多个其它图像的(每一)图像的相机位置，且接着，相对相机位置用于将图像聚集在一起以生成区域的当地地图表示。相机位置从一个图像到下一图像的相对变化可通常使用车辆的里程计确定(即，使用与车辆相关联的一或多个里程计传感器)。例如，对于所述系列中的第一图像，可例如从gnss或其它位置数据知道(具有相对较高准确度)初始相机位置。接着，可基于车辆的里程计确定所述系列中的后续图像相较于第一图像的相对位置，即，基于知道车辆穿过道路网络的移动。因此，在实施例中，所述技术包括确定至少一些图像相对于参考图像(例如所述系列中的第一图像)的相对相机位置。

不同图像的(相对)相机位置可使用任何合适及所期望技术确定。例如，当获得立体图像时，各种已知立体成像对准技术可用于例如通过对准连续深度图像导出图像的相对相机位置。然而，优选地，图像的(相对)相机位置通过视觉里程计过程确定。即，图像的相对相机位置可从处理所述图像视觉地(例如，纯粹地)确定。例如，视觉里程计可用于确定图像(即，图像或相机“姿势”)相对于参考图像(其通常是一系列图像中的第一图像，针对其通常可知道相机的初始位置)的旋转及位置。因此，在实施例中，确定相对于用于记录第一(参考)图像的相机的初始位置的所述系列中的图像的图像姿势。可确定一系列图像中的每一经记录图像的姿势。然而，一般来说，可能仅需要确定姿势，且在实施例中，仅确定图像(或帧)的子集的姿势，被称为“关键帧”，即，展示图像内容中相对于先前经获得图像的显著相机移动及/或变化。因此，针对每一图像(或关键帧)，生成表示图像相对于第一(参考)图像的旋转及位置的相对姿势。(“关键帧”的概念，例如，在视频编码中，通常能很好地理解。一般来说，本文对处理一系列图像的任何参考可包含处理全部图像或仅一些图像，例如，仅关键帧。替代地，一系列图像可包括一系列关键帧。)

gnss或其它位置数据可用于增补视觉里程计。例如，对于每一图像(或关键帧)，粗略相机位置可从gnss或其它位置数据估计，且接着，这可使用视觉里程计基于所述系列中的其它图像细化。

视觉里程计原理良好地建立，且一般来说，任何合适及所期望视觉里程计技术可结合本发明使用。典型的视觉里程计技术是基于“从运动中恢复结构”假设，尽管其它布置是可能的，例如，各种立体照相技术。尽管视觉里程计可使用单相机(或单眼)图像数据执行，且优选地用于视觉里程计的图像使用一或多个立体相机获得，例如使得图像的图像深度已知且可被提供为到视觉里程计算法(其原本可能必须以某种方式估计或确定这些，当图像是从移动车辆即时生成时这会很难)的输入。因此，在实施例中，可使用任何合适及所期望立体视觉里程计技术。

视觉里程计可例如使用已知光束平差技术间接执行。然而，优选地，立体直接稀疏里程计(dso)技术用于获得图像姿势。dso是基于对象到相机上的投影之间的测光误差的直接最小化的已知技术，其中对象通过参考帧中的一组关键点及深度隐式定义。因此，为了将对象从参考帧投影到后续帧中或为了跟踪对象，关键点被投影到后续帧上且多个关键点的测光误差经最小化以便确定用于从参考帧移动到后续帧的适当变换。所述变换因此指示帧之间的位置及旋转的变化，即，使得可确定相机或图像姿势。原始dso技术是基于单眼图像。dso过程的细节可发现于恩格尔(engel等人)所著的在参考arxiv:1607.02565的arxiv.org上可得到的“直接稀疏里程计(directsparseodometry)”中；所述全部内容通过引用并入本文中。然而，优选实施例基于立体图像使用立体dso技术使得图像深度可被提供为到dso算法的输入以改进跟踪过程(其通常(针对dso)需要已经具有正确深度估计的现有图像)。立体dso过程的输出因此是每一图像与第一(参考)图像的相对字数。立体dso过程的另外细节可发现于王(wang)等人所著的在参考arxiv:1708.07878的arxiv.org上可得到的“立体dso：用立体相机进行大规模直接稀疏视觉里程计(stereodso:large-scaledirectsparsevisualodometrywithstereocameras)”；所述全部内容通过引用并入本文中。

立体dso过程的输出通常还含有用于被处理的帧中的每一者的“关键点云”(在本文也被称为“稀疏点云”)。稀疏点云表示各种关键点在图像中的每一者内的位置。如上文提及，关键点包括对象到相机图像上的二维投影。稀疏点云还包含用于图像中的像素中的每一者的经估计深度。

为了能够更佳地处理图像且为了例如自动检测或提取图像中出现的对象，可执行语义分割步骤以便根据多个不同“对象类”中的一或多者分类图像的元素。尽管其它布置可为可能的，但通常，图像以逐像素方式被分割使得图像中的每一个别像素被分类。因此，在实施例中，至少一些图像(例如，至少关键帧)可经处理以便针对图像中的每一像素分配对象类或类列表(及相关联概率)。一般来说，任何合适及所期望语义分割过程可用于处理及分类图像数据。在优选实施例中，图像的语义分割是使用机器学习算法执行。例如，经训练卷积神经网络(例如所谓的“segnet”或“pspnet”系统)或其修改可适当地用于图像数据的分割及分类。对象类通常在语义分割算法内定义，且可例如包含例如“道路”、“天空”、“车辆”、“交通标志”、“交通灯”、“车道标志”等的对象类。segnet及pspnet两者都是已经开发明确用于分类道路网络图像的已知算法。合适的对象类(例如上文描述的对象类)因此已经在这些算法中定义。segnet算法的另外细节可发现于由巴德里拉扬(badrinarayanan)等人所著的在参考arxiv:1511.00561的arxiv.org上可得到的“segnet：用于图像分割的深度卷积编码器-解码器架构(segnet:adeepconvolutionalencoder-decoderarchitectureforimagesegmentation)”中；所述全部内容通过引用并入本文中。pspnet架构的另外细节可发现于赵(zhao)等人所著的在参考arxiv:1612.01105的arxiv.org上可得到的“金字塔场景解析网络(pyramidsceneparsingnetwork)”中；所述全部内容通过引用并入本文中。

每一像素可基于语义分割被分配(单个)对象类。然而，在实施例中，每一像素被分配对象类向量，其中向量元素表示那个像素属于多个不同对象类中的每一者的可能性(或概率)。

此语义分割步骤可被称为“车辆环境”语义分割，因为图像是根据多个通用车辆环境对象类被分类。

一般来说，此语义分割步骤可在上文描述的视觉里程计步骤之前或之后或与之并行地执行。

应了解，机器学习技术无需用于执行语义分割，且在其它实施例中，图像可替代地或另外使用图像深度数据被处理，例如，在使用立体相机时可用，例如，以便基于其在图像中的相对深度来分类像素。例如，以此方式，例如，使用立体点云，图像可被分割成地面级像素、墙/外壳、交通标志杆等。作为另一实例，图像分割可使用稀疏特征点云数据，例如上文描述的dso点云，且其可例如用于生成含有(仅)“地面级”点的粗略地面掩码。

一旦图像已例如使用上文描述的算法以此方式被分类，接着，就可使从语义分割确定的一或多个对象类用于任何后续处理步骤，其可仅使用对象类的特定子集。例如，可从其它元素提取对应于特定对象类的图像中的任何元素，或可将所述任何元素分组在一起，且接着与其它元素分离地处理所述任何元素。例如，为了创建地标观测特征，如下文进一步描述，系统将通常仅需要考虑已被分配“地标”类型对象类的像素或像素群组。(应理解，语义分割可能不且通常将不含有通用“地标”类，而是含有各自通常指示不同类型的“地标”的数个类，例如“建筑物”类、“交通标志”类等。因此，本文对地标类的任何参考应通常被理解为意味着多个地标类型类的任一者)。

因此，同一对象类内的任何像素可一起被提取或处理以产生对象“经过滤”图像。类似地，同一类内的邻近像素群组可经相关联一起作为特征或“对象”，接着，其可独立于彼此提取且用于后续处理步骤中。

在实施例中，至少一些图像经处理以便检测(及提取)一或多个地标对象特征以供包含到当地地图表示中。一般来说，地标对象特征可包括指示道路网络的环境或作为所述环境的特性且可被适当地且合意地结合到当地地图表示中的任何特征，例如以有利于当地地图表示与参考地图区段的匹配及/或对准。例如，图像内容将通常包含在用于获得图像的一或多个相机的视野内的任何对象，且这些对象中的任何者可根据需要在原则上从图像提取。然而，可适当地被提取且结合到当地地图表示中的典型地标对象可包含例如建筑物、交通标志、交通灯、广告牌等的特征。

一般来说，可以任何合适及所期望方式(例如使用各种自动视觉特征检测技术)在图像中检测地标对象。然而，在实施例中，可使用由上文描述的车辆环境语义分割分配的一或多个对象类检测地标对象特征。例如，已被分配对应于地标的对象类的图像中的任何像素或像素群组可以其为基础被识别为所关注区，即，可(潜在地)含有地标的区。以此方式，语义分割可直接用于检测及识别图像内的各种地标对象。例如，使用在语义分割期间确定的对象类(或类向量)，可从图像提取图像中的任何所关注区(或像素)，例如已被分配地标对象类的所关注区(或像素)。接着，一或多个所关注区可进一步经处理以便检测一图像或每一图像中的一或多个地标的边界。例如，对于被处理的每一图像，可生成含有检测到的一或多个地标的一或多个限界区域的列表。

在如上文描述那样对图像执行车辆环境语义分割的第一步骤及在一或多个所关注区基于第一语义分割被确定为潜在地含有地标对象之后，可明确地对经确定所关注区执行语义分割(或对象检测及分类)的第二或另一步骤。即，可对经确定为含有地标的任何所关注区执行另一特定分类步骤以便进一步细化地标分类。即，一旦已在图像中检测到一或多个地标，就可执行地标辨识的另一特定步骤。换句话来说，来自原始图像数据的像素可首先根据来自车辆环境语义分割的多个通用对象类被分类。对于从原始图像数据检测的任何地标，可执行另一特定地标辨识分类以细化地标检测。例如，地标辨识可用于细化与检测到的地标中的每一者相关联的边界。

可构成另一语义分割的地标辨识可(尽管无需)以大体上类似于第一(车辆环境)语义分割的方式执行。通常，使用机器学习算法。例如，在实施例中，监督学习方法(例如支持向量机或神经网络)可用于执行地标辨识语义分割。然而，出于地标辨识的目的，算法可使用特定地标数据训练，例如以便提供比使用通用车辆环境语义分割可实现的更特定且更准确的地标分类。

对于在图像中的一或多者中检测(然而，这已完成)的任何地标对象，接着，可创建地标观测特征以供包含于当地地图表示内。即，当生成当地地图表示时，表示检测到的地标的特征可包含到当地地图表示中。地标观测特征通常包括：地标位置；地标定向；及地标形状。因此，在实施例中，技术可包括处理一系列图像以检测在图像中的一或多者中出现的一或多个地标对象及针对每一检测到的地标对象生成地标观测以供包含到当地地图表示中，所述地标观测包含指示检测到的地标的位置及定向的信息。指示检测到的地标的位置及定向的信息可通常包括地标的相对位置及定向。例如，检测到的地标的位置及定向可通常包括例如基于例如从视觉里程计所确定的车辆的运动帧相对于道路网络本身或车辆(任一者)的相对位置及定向。举例来说，在实施例中，可针对每一地标生成二维地标形状(例如，多段线)以及用于将二维地标形状变换成适于结合到当地地图表示中的三维空间中的定向矩阵。因此可生成描述内容的图像文件以供包含到当地地图表示中。

一般来说，如先前提及，相同对象(例如，地标)在一系列图像中将出现多次但从数个不同视角观看。因此，为了将来自多个图像的信息聚集在一起例如以便能够确定地标在道路网络内(或相对于车辆)的位置及定向，使得地标可被结合到当地地图表示中，通常必要的是知道地标被检测的图像中的每一者的相机姿势(例如，如可使用视觉里程计确定)。因此，地标观测通常使用(至少一些)一系列图像以及起因于地标辨识(在其处执行此地标辨识)的限界区域及对象类且在其中已检测地标的图像的相机姿势生成。接着，可以任何合适的方式基于相机姿势例如使用用于对象姿势估计的已知视觉里程计技术确定地标的位置及定向。例如，一般来说，地标的位置及定向可基于三角测量使用多个图像及在其处获得所述图像的相关联相机位置确定。因此，在实施例中，所述技术包含处理至少一些图像以检测在图像中出现的一或多个地标对象；及针对每一检测到的地标生成地标观测以供包含到当地地图表示中，其中所述地标观测包含指示检测到的地标的位置及定向的信息，其中检测到的地标的位置及定向通过三角测量使用检测其中的地标的多个图像及其相关联相机位置确定。

在一些实施例中，不同相机可用于确定车辆的里程计及用于检测特征(例如地标及车道标志)的目的。举例来说，在实施例中，一或多个立体相机可用于视觉里程计，而一或多个单(单色)相机用于特征检测。在此情况下，可执行里程计转移步骤以便确定用于基于视觉里程计的结果的地标检测的图像的姿势，例如通过将这些图像视作用于视觉里程计过程的图像的旋转及/或平移。在其中不同相机用于视觉里程计及特征检测的实施例中，第一相机可为单色相机，且第二相机可为多色(或彩色)相机。举例来说，一或多个单色相机可用于获取用于视觉里程计的(单色)图像，而一或多个多色相机可用于获取用于特征检测的(彩色)图像。

为了改进可检测地标及可生成地标观测的的准确度，可小心地跟踪一系列图像内的检测到的地标对象，且接着比较所述检测到的地标对象与来自不同图像的(即，同一地标对象的)其它检测以便试图识别(及滤除)任何错误检测。例如，如果地标对象(例如交通标志)出现在一个帧中，那么可期望地标也将出现在邻近图像中，即，出现在检测其中的地标的图像的任一侧中。另一方面，对于不正确或假阳性检测，情况可能并非如此。因此，对于每一图像中的每一地标对象检测，可关于邻近图像范围(所述系列中的前向及后向)内的其透视变形小心地跟踪检测到的地标。跟踪可通常使用任何合适的运动模型基于不同图像的(先前经确定或已知)相对位置及姿势执行。举例来说，在实施例中，可使用kanade-lucas-tomasi(klt)特征跟踪器。在实施例中，代替使用传统的仿射变换klt跟踪器，可使用klt跟踪器的对应扩展(hklt)。跟踪的结果包括一组视角变换，其描述基于图像的相对姿势的检测到的地标从检测其中的地标的图像到图像范围的理想映射。此映射因此给出检测到的地标在呈延伸穿过所述系列中的图像范围的‘跟踪’的形式的真实世界(三维)空间中的表示。这又允许在三维空间中三角测量检测到的地标例如以给出地标在车辆的里程计的坐标系统中的三角测量轮廓。可针对每一帧中的每一检测到的地标执行这些步骤。因此，这导致每一检测到的地标的许多三角测量轮廓(即，一者用于检测其中的地标的每一帧)，其中这些轮廓粗略地重叠(取决于跟踪质量)。接着，可分组三维(3d)表示且移除任何异常值。此分组因此提供假阳性过滤作为假阳性，或原本不正确地标检测将易于在三维空间中出现分散，而真地标将易于在三维空间中从帧到帧排队。因此，在实施例中，所述技术可包括处理至少一些图像以检测图像内的一或多个地标对象；针对在一系列图像中的每一图像中检测到的每一地标对象，使用图像的相关联相机位置确定用于将检测到的地标从其被检测到的图像映射到一系列图像中的一或多个邻近图像中的一组变换；针对在一系列图像中的每一图像中检测到的每一地标对象，基于所述映射在三维坐标空间中生成地标的表示；及将三维表示分组在一起，使得每一群组含有对应于同一物理地标但记录在不同图像中的一组三维表示。

据信，用于识别地标的此方法凭借其自身是新颖且有利的。

因此，从另一方面，提供一种用于识别道路网络的环境内的一或多个地标的方法，所述方法包括：

从与行进穿过所述道路网络的车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的所述环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

处理至少一些所述图像以检测所述图像内的一或多个地标对象，其中所述地标对象表示所述道路网络的所述环境中的地标；

针对在所述一系列图像中的每一图像中检测到的每一地标对象及使用所述图像的所述相关联相机位置确定用于将所述检测到的地标对象从其被检测到的所述图像映射到所述一系列图像中的一或多个邻近图像中的一组变换；

针对在所述一系列图像中的每一图像中检测到的每一地标对象在三维坐标空间中生成所述地标对象的表示；

确定从对应于所述环境中的同一地标的不同图像生成的一组三维表示；及

从所述经确定的一组三维表示生成指示由所述一组三维表示所表示的所述环境中的所述地标的数据。

根据此方面的方法可包括上文关于本发明的其它方面及实施例描述的特征中的任何者。举例来说，跟踪可通常如上文描述那样使用klt跟踪器或类似者执行。

本发明还扩展到一种用于实施根据本文描述的本发明的此方面或其任何实施例的方法的系统。

因此，从另一方面，提供一种用于识别道路网络的环境内的一或多个地标的系统，所述系统包括：

用于从与行进穿过所述道路网络的车辆相关联的一或多个相机获得一系列图像的构件，所述一系列图像反映所述车辆行进的所述道路网络的所述环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

用于处理至少一些所述图像以检测所述图像内的一或多个地标对象的构件，其中所述地标对象表示所述道路网络的所述环境中的地标；

用于针对在所述一系列图像中的每一图像中检测到的每一地标对象及使用所述图像的所述相关联相机位置确定用于将所述检测到的地标对象从其被检测到的所述图像映射到所述一系列图像中的一或多个邻近图像中的一组变换的构件；

用于针对在所述一系列图像中的每一图像中检测到的每一地标对象在三维坐标空间中生成所述地标对象的表示的构件；

用于确定从对应于所述环境中的同一地标的不同图像生成的一组三维表示的构件；及

用于从所述经确定的一组三维表示生成指示由所述一组三维表示所表示的所述环境中的所述地标的数据的构件。

视情况，本发明的此另一方面可包含且优选地确实包含本文关于本发明的任何其它方面或实施例描述的本发明的优选及任选特征中的任何一或多者或全部。举例来说，即使未明确陈述，所述系统也可包括用于实施关于本文在其任何方面或实施例中的方法描述的任何步骤的构件，且反之亦然。用于实施关于所述方法或系统描述的步骤中的任何者的构件可包括一或多个处理器及/或处理电路。本发明因此优选地是计算机实施的发明，且关于本发明的方面或实施例中的任何者描述的步骤中的任何者可在一组一或多个处理器及/或处理电路的控制下实施。

从不同图像分组三维表示的结果是所述群组中的每一者含有一组基本上重叠的表示，其可由此与在多个不同帧中检测到的同一物理地标相关联。即，将通常期望与同一物理地标相关联的任何三维表示在坐标空间中排队且可因此基于此被分组在一起。然而，基于不正确的检测的任何三维表示将在坐标空间中显示为分散，且可因此作为异常值被丢弃(且包含于群组中)。分组因此允许移除任何假阳性或其它不正确的地标检测以便提供地标的更准确识别。

接着，每一群组中的三维表示可被融合在一起以确定地标的单个二维轮廓及/或在坐标空间中生成地标的重构。经融合三维轮廓可允许更准确地定位地标及从每一图像(帧)切除。通过叠加开孔，标志的经融合图像可因此被创建。以此方式，如遮挡或镜面高光的缺陷可从地标的图像移除且还有可能更可靠地检测地标的边界，例如，通过遮掩在开孔之间具有高颜色差异的像素。经遮掩开孔的像素轮廓可经向量化以提供关于车辆的里程计的地标形状、像素内容及位置的更准确的三维表示。接着，此准确的表示可用于定位，例如，通过使从图像获得的表示与参考地图中的参考地标形状相关联。

指示由所述方法生成的环境中的地标的数据，在本文也被称为“地标观测”，优选地，以下各者中的至少一者、一些或全部：地标在环境中的位置；地标在环境中的定向；表示地标的形状的二维(2d)多段线；当应用于2d多段线时，将多短线变换成3d坐标空间(表示环境)的姿势矩阵；及描述2d多段线中所含的内容的图像。

在实施例中，“地面网格”是从一系列图像生成。例如，可生成含(仅)车辆行进的区域中的地面级特征的“地面网格”图像。地面网格可使用从车辆环境语义分割获得的对象类生成，例如，通过提取或使用已被分类地面级对象类(例如“道路”、“道路标志”、“车道标志”等等)的任何像素。然而，语义分割可能不是优选的，且在一些情况下，语义分割可给出一些假值，即，即使在一些点并非在地面上时选择所述点作为地面级点。因此，在实施例中，为了改进地面网格生成的准确性，点可用于进一步滤除或选择地面点。点云可单独使用，或优选地与来自车辆环境语义分割的对象类组合使用。例如，地面网格可使用稀疏点云生成作为来自上文描述的dso过程的输出。然而，替代地或另外，地面网格可使用从立体图像使用像素深度直接获得的立体点云生成。例如，由于dso点云的稀疏性，可能有益的是使用立体点云增补dso点云。例如，立体点云可用于内插海拔，其中在dso点云中存在充足的数据，且另外使用dso点云。替代地，如果dso点云太稀疏，那么立体点云可代替dso点云使用。一般来说，预期用于生成地面网格的各种合适的技术。

地面网格可又用于生成道路网络的地面级特征的正射校正图像。一般来说，正射校正图像是“尺度校正”图像，其描绘从其精确地面位置上方所见的地面特征，优选地其中由相机引起的失真及飞行特性及高程位移已使用摄影测量技术移除。正射校正图像是在几何上被校正(“正射校正”)的一种航空照片，使得照片的尺度是均匀的，这意味着照片可被视为等效于地图。正射校正图像可用于测量真实距离，这是因为其是地球表面的准确表示，已针对地形起伏、透镜失真及相机倾斜进行调整。正射校正视图不同于透视图作为正射校正视图以直角投影到参考平面，而透视图从表面投影从单个固定位置投影到参考平面上。正射校正图像可通过任何合适的地图投影获得。地图投影可为通过表面的投影，例如圆柱形、伪圆柱形、混合、圆锥形、伪圆锥形或方位角。投影也可为通过保存度量性质的投影。地图投影具有共同点：其是正交投影，这意味着每个像素表示沿垂直于那个表面的线所见的参考平面的表面上的点。因此，地球表面的正射校正图像的每个像素基本上对应于沿垂直于近似地球的形状的椭圆体的线所见的地球表面的视图。正射校正图像包括元数据，其启用算法以将正射校正图像的任何像素引用到地理坐标参考系统中的点。因为近似每一像素的地球的形状的椭球体上的精确位置是已知的，所以地球特征的位置及大小(例如，水平道路信息)可从正射校正图像检索。

在实施例中，正射校正道路图像可包括鸟瞰马赛克，其包含车辆行进的区域的俯视图，其中从图像提取的特征被投影到地面网格且被混合在一起。例如，经记录图像中的每一者可被投影回到地面上。使用与图像相关联的相机姿势的知识，因此有可能从数个不同视角将图像投影到地面上。这可针对多个不同图像进行，且接着，来自各种不同视角的所得投影可被叠加且混合在一起。全部经投影图像到地面上的叠加因此生成图像，其重现地面的外观，且接着，可根据需要从任何视角观看(例如，鸟瞰视图)。替代地或另外，正射校正道路图像可包括线性配准的图像，其含有例如从鸟瞰马赛克所确定的旅程的直观图。线性配准的图像(lri)的生成可通常包括沿相机的轨迹生成垂直于所述轨迹的均匀间隔开的切片。关于lri的生成的另外细节可发现于标题为“沿跨用于地图数据库中的表面的参考线捕获线性特征的方法(methodofcapturinglinearfeaturesalongareference-lineacrossasurfaceforuseinamapdatabase)”的wo2009/045096a1中；所述案的全部内容通过引用并入本文中。接着，可生成地面网格的高度地图以允许在任何任意点处取样高度。接着，线性配准的图像可通过以下步骤再现：以与上文描述类似的方式将相机图像投影到地面上、通过沿切片产生样本高度地图及将每一样本点投影到查看样本点的相机图像上、及接着适当地平均化像素值以产生混合图像。当生成正射校正道路图像时可使用图像掩码以便移除可从车辆环境语义分割确定的任何无关或非所要特征(例如，车辆的发动机盖)。

在实施例中，生成正射校正道路图像，其中图像中的每一像素的像素值表示从用于生成道路图像的图像检测到的环境中的位置的颜色。每一像素值因此优选地包括具有多个值的向量，例如，当使用红绿蓝(rgb)颜色空间时是三个值。

另外或替代地，生成正射校正道路图像，其中图像中的每一像素的像素值表示环境中的位置是车道标志对象的概率，作为来自车辆环境语义分割的输出。举例来说，当使用灰度级颜色空间时，已分配100％可能是车道标志对象的任何像素可为‘白色’，而具有0％概率的任何像素可为‘黑色’，其中其它像素值基于相应概率适当地选择。以此方式，可生成“经滤除”灰度级正交道路图像，其强调车道标志对象，且提供对其执行车道标志语义分割的更清晰图像。接着，此图像可经受车道标志语义分割的特定步骤以根据特定车道标志类型类来分类像素或经受车道标志对象检测及辨识，例如，使用经训练卷积神经网络，将图像中的对象识别及分类为特定类型的车道标志。车道标志类型的实例可包含以下一或多者：单实线、单短虚线、单长虚线、双实线、双虚线、岛式边框等。

据信，识别车道几何结构的此方法自身是新颖且有利的。

因此，从又一方面，提供一种确定道路网络的一或多个车行道上的车道标志的位置及几何结构的方法，所述方法包括：

从与行进穿过所述道路网络的车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

处理至少一些所述图像以执行语义分割，使得所述经处理图像中的每一像素被分配所述像素表示所述环境中的车道标志的至少一概率值；

处理所述一系列图像中的至少一些所述图像以生成表示所述车辆行进的所述道路网络的区域的道路图像，其中所述道路图像中的每一像素的像素值是基于用于生成所述道路图像的所述图像中的所述对应像素的所述经分配概率值；

处理所述道路图像以检测及分类所述图像内的一或多个车道标志对象，其中所述车道标志对象表示所述道路图像中描绘的所述一或多个车行道上的车道标志；及

使用所述检测到及经分类的车道标志对象处理所述道路图像以确定由所述车道标志对象表示的所述车道标志的所述位置及几何结构。

应了解，根据此方面的方法可通常包括上文关于本发明的其它方面及实施例描述的特征中的任何者，只要它们不互相不一致。

本发明还扩展到一种用于实施根据本文描述的本发明的此方面或其任何实施例的方法的系统。

因此，从又一方面，提供一种用于确定道路网络的一或多个车行道上的车道标志的位置及几何结构的系统，所述系统包括：

用于从与行进穿过所述道路网络的车辆相关联的一或多个相机获得一系列图像的构件，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；

用于处理至少一些所述图像以执行语义分割，使得所述经处理图像中的每一像素被分配所述像素表示所述环境中的车道标志的至少一概率值的构件；

用于处理所述一系列图像中的至少一些所述图像以生成表示所述车辆行进的所述道路网络的区域的道路图像的构件，其中所述道路图像中的每一像素的像素值是基于用于生成所述道路图像的所述图像中的所述对应像素的所述经分配概率值；

用于处理所述道路图像以检测及分类所述图像内的一或多个车道标志对象的构件，其中所述车道标志对象表示所述道路图像中描绘的所述一或多个车行道上的车道标志；及

用于使用所述检测到及经分类的车道标志对象处理所述道路图像以确定由所述车道标志对象表示的所述车道标志的所述位置及几何结构的构件。

视情况，本发明的此另一方面可包含且优选地确实包含本文关于本发明的任何其它方面或实施例描述的本发明的优选及任选特征中的任何一或多者或全部。举例来说，即使未明确陈述，所述系统也可包括用于实施关于本文在其任何方面或实施例中的方法描述的任何步骤的构件，且反之亦然。用于实施关于所述方法或系统描述的步骤中的任何者的构件可包括一或多个处理器及/或处理电路。本发明因此优选地是计算机实施的发明，且关于本发明的方面或实施例中的任何者描述的步骤中的任何者可在一组一或多个处理器及/或处理电路的控制下实施。

起因于车道标志检测及分类(可包含另一语义分割步骤)的经识别车道标志可因此用于创建车道标志观测以结合到当地地图表示中。例如，车道标志观测可包含在车辆行进的道路网络的区域中检测到的车道标志对象。因此，车道几何结构可结合到当地地图表示中(及/或结合到参考地图中，当基于相同内容更新时)。

如上文描述，地面网格及正射校正道路图像用于生成车道观测。然而，应了解，地面网格及/或正射校正道路图像可单纯地出于视觉化目的生成，且未必需要用于车道观测特征创建的后续步骤中。

根据本发明，当地地图表示使用至少一些经获得图像及相关联相机位置。当地地图表示通常表示车辆行进的道路网络的区域。在实施例中，当地地图表示可包括道路网络的区域的正射校正图像，其可基本上如上文所描述那样生成。优选地，当地地图表示包括上文所描述的地面网格及/或正射校正道路图像。原则上，当地地图表示可仅包括地面网格及/或正射校正道路图像。然而，优选地，当地地图表示还包含上文所描述的车道观测及地标观测中的一者或两者。例如，车道标志对象及/或车道标志可合适地适当地被嵌入到地面网格及/或正射校正道路图像中，以构建当地地图表示。替代地，当地地图表示包括车道观测及地标观测中的一者或两者，例如，无地面网格及/或正射校正道路图像。

因此，生成的当地地图表示通常包括车辆行进的区域中的道路网络的图像及道路网络的环境。当地地图表示可包括展示那个区域中的道路网络的环境的俯视二维图像。然而，当地地图表示还可包括展示那个区域中的道路网络的环境的三维图像。当地地图表示还可包含嵌入到图像中或在图像的顶部上的一或多个特征。在一些情况下，当地地图表示还可包含一或多个“关键”图像(或帧)。例如，当地地图表示可包含从与车辆相关联的相机获得的多个图像中的一或多者。

一旦生成当地地图表示，就接着比较或匹配当地地图表示与参考地图区段。参考地图区段是覆盖车辆行进的道路网络的至少区域的区段，即，已在其处获得图像的区域。原则上，所述比较可基于内部地图存储库内的完整(全球)地图进行。然而，在实践中，参考地图区段可基于车辆的位置的近似或粗略知识选定，例如，如可使用gnss或其它位置数据或从先前定位结果获得。因此，参考地图区段的区域可基本上或近似地对应于车辆(当前)行进的道路网络的区域。

例如，当地地图表示可与对应参考地图区段对准。包含于当地地图表示中的任何特征(例如上文描述的地标观测及道路/车道几何结构)可一般来说用于执行此匹配。一般来说，对准可以任何合适及所期望方式执行。例如，在当地地图表示包括道路网络的图像的情况下，接着，可以例如逐像素(或块)方式比较图像与参考地图图像以便执行所期望匹配。替代地，在当地地图表示包含从与车辆相关联的相机获得的多个图像中的一或多者的情况下。接着，可比较这些关键图像与参考地图中存储的图像，例如，通过合适地变换图像以与参考地图中的图像对准。然而，优选地，比较包括匹配及/或对准当地地图表示的一或多个特征(例如，地标及/或车道标志)的位置与参考地图区段中的对应特征的位置。以此方式，可确定从参考的车辆的帧移动到参考地图帧所需的变换。基于此匹配，可因此确定车辆在道路网络内的准确地理位置及定向。

替代地或另外，如上文描述，匹配可用于地图生成及/或更新地图的目的。例如，当匹配指示参考地图区段过期或含有一或多个错误时，例如，在当地地图表示含有参考地图区段中不存在的一或多个特征的情况下，或在当地地图表示展示一或多个特征已改变或不再存在于道路网络的环境中的情况下，可因此更新参考地图。

参考地图区段可从地图存储库提取。地图存储库可通常被存储于可由处理器存取的存储器中，且可含有通常覆盖车辆行进的(至少)区域的预编译或下载的电子地图。即，地图存储库可在车辆本地。然而，在实施例中，参考地图被存储且维持在全球(第三方)地图存储库上，例如，定位于云中，使得参考地图可由车辆的用户(或由车辆本身自动)下载。在此情况下，由在道路网络内行进的多个不同车辆生成的数据可用于更新全球地图存储库，例如，如本文描述。

在实施例中，本文提出的技术可基本上实时地执行，即，以随着车辆横穿道路网络定位车辆，例如，用于自主导航或驾驶目的。因此，区域可为车辆当前行进的道路网络的区域。然而，原则上，本技术可应用于离线或历史数据，例如，用于校准或地图生成目的，在此情况下，区域可表示在获得多个图像时车辆行进的区域。当地地图表示可被视为在其处获得图像的道路网络的环境的“地理参考”观测。即，可在通常已知位置(即，在已知粗略定义的区域内)获得图像，且当地地图表示可因此用于构建已知位置处的环境的观测。

本文描述的定位及映射技术可完全由板外处理器(即，远离车辆)执行。例如，由与车辆相关联的一或多个相机获得的图像数据可被传输到板外处理器，其一旦接收图像数据，就继续确定车辆在道路网络内的地理位置及定向(例如，且接着根据需要将此信息返回到车辆)。至少一些处理可在云中执行。然而，在实施例中，至少一些步骤可由车辆上的处理器执行。一般来说，预期到本文描述的各种处理步骤可根据需要以各种合适的方式分布于车辆的板上处理器与板外处理器之间。例如，在一些实例中，提供包含自动驾驶车辆的系统，所述自动驾驶车辆包括一或多个相机、板上处理器及用于与远程服务器及/或处理器通信的无线通信模块。接着，由相机获得的图像数据可部分地由板上处理器处理或被传输到远程服务器及/或处理器以进行处理。可在本地或在远程存储内部地图存储库。在任一情况下，内部地图存储库可使用从车辆获得的数据根据本文提出的技术定期更新，以及使用从道路网络内的其它车辆获得的数据定期地更新，及/或使用由地图存储库拥有者提供的中央更新定期地更新。

从本发明的另一方面，提供一种用于确定观测器的地理位置及定向的方法，其包括在定位系统中进行以下操作：提供在已知位置处记录的多个图像；将所述多个图像聚集到所述已知位置处的场景的一致当地地图表示中；从先前编译的内部地图存储库提取参考地图区段，所述参考地图区段的范围对应于由所述多个图像潜在地覆盖的大致区域；匹配及对准所述场景的所述当地地图表示与所述参考地图区段；出于地图创建及/或更新目的将所选择的源数据，例如图像序列关键帧及经辨识对象信息，提供到所述内部地图存储库；及从所述匹配确定地理位置及定向。

在实施例中，所述多个图像的所述聚集进一步包括使用第一组特征执行3d重构(假设来自所述多个图像的所有图像都描绘从不同视点的一个场景及同一场景(从运动中恢复结构假设))。

所述方法可进一步包括使用所述当地地图表示以提取一组次级特征，及将一组次级特征用于所述匹配及对准。在实施例中，所述一组次级特征包括以下各者中的至少一者：

·场景的3d特征表示(稀疏点云)；

·检测到的地标及高级特征(例如车道标志、地面类型或对象，例如交通灯、交通标志、树、井盖等(正射地图))的2d俯视地图；及

·2d俯视密集重构，例如合成航空照片(正射照片)。

上文所描述的方法可用于生成电子地图。因此，本发明的另一方面涉及使用上文所描述的方法生成电子地图。

从本发明的又一方面，提供一种定位系统，其包括相机及板上处理单元，所述系统经配置以通过根据前述技术方案中的至少一者的方法确定观测器的地理位置及定向。

本文描述的技术的各种功能可以任何所期望及合适方式实施。举例来说，本文描述的技术的步骤及功能可根据需要实施于硬件或软件中。因此，举例来说，除非另外指示，否则本文描述的技术的各种处理器、功能元件、阶段及“构件”可包括任何合适的处理器、控制器、功能单元、电路、处理逻辑、一或多个处理器布置等，其可操作以执行各种步骤或功能等，例如适当地专用硬件元件(处理电路)及/或可经编程以依所期望方式操作的可编程硬件元件(处理电路)。举例来说，用于实施根据本文描述的方面或实施例中的任何者的方法的步骤中的任何者的构件可通常包括一组一或多个处理器(或处理电路)，其经配置(例如，用一组计算机可读指令编程)以进行此操作。给定步骤可使用与任何其它步骤相同或不同的一组处理器实施。任何给定步骤可使用多组处理器的组合实施。所述系统可进一步包括数据存储构件，例如计算机存储器，以存储例如包含指示性及信息性数据的至少一个存储库。根据本发明的方法中的任何者可至少部分地使用软件(例如，计算机程序)实施。本发明因此还扩展到一种计算机程序产品，其包括计算机可读指令，所述计算机可读指令可执行以执行或致使系统及/或服务器执行根据本发明的方面或实施例中的任何者的方法。因此，本发明扩展到优选地为非暂时性计算机程序产品，其包括计算机可读指令，所述计算机可读指令在根据本发明的实施例中的任何者的系统上运行时可执行以致使所述系统的一组一或多个处理器执行本文描述的方法的方面或实施例中的任何者的步骤。

应了解，本发明的另外方面中的任何者可包含关于本发明的任何其它方面及实施例描述的本发明的特征中的任何者或全部，只要它们不互相不一致。特定来说，应了解，第二及另外方面中的本发明可包括关于本发明的第一方面的方法描述的特征中的任何者或全部，且反之亦然。因此，如果未明确陈述，那么所述方法可包括执行关于系统或设备描述的功能中的任何者(或全部)的步骤，且本发明的系统可经布置以执行本文描述的方法步骤中的任何者(或全部)。例如，所述系统可包括一组一或多个处理器，其可操作或经配置以实施所提及的步骤。任何步骤可由所述处理器中的任何一者或由多个处理器实施。

下文陈述这些实施例的优点，且这些实施例中的每一者的另外细节及特征定义于随附的附属权利要求中及以下详细描述中的其它地方。

附图说明

现在将仅通过实例及参考附图描述本文描述的技术的各种实施例，其中：

图1绘示根据本发明的实施例的视觉全球定位及映射系统的概念，其展示聚集到当地地图中的图像序列及图像序列被记录的大致位置接着可如何与从地图存储库提取的参考地图区段作比较，所述地图存储库具有粗略地对应于经聚集当地地图的区段范围(区域)，且用于基于经记录图像序列确定地理位置及定向，以及识别可用于更新地图存储库的关键帧及对象信息；

图2示意性地展示用于在自动驾驶车辆中提供里程计支持的组合式视觉全球映射系统(v-gms)及视觉全球定位系统(v-gps)的实例；

图3示意性地展示对自动驾驶车辆的v-gps里程计支持的另一实例；

图4示意性地展示使用无人机的板外v-gps/v-gms的实例；

图5示意性地展示根据本发明的实施例的v-gms/v-gps系统的交互及功能单元；

图6展示根据本发明的实施例的可在当地地图聚集期间执行的处理流程的实例；

图7绘示可用于实施例中例如以确定与被处理的图像相关联的相机姿势的立体直接稀疏里程计(dso)技术的原理；

图8展示dso技术的另外细节；

图9展示可用于本发明的实施例中以根据对象类来分类图像的语义分割方法的实例；

图10到15绘示可如何从帧到帧跟踪及追踪地标对象(例如交通标志)；

图16展示可如何将(2d)图像投影到地面上以便从不同(俯视)视角生成道路几何结构的视图；

图17a、17b及17c分别展示舌式地面网格、光栅地面网格及舌式与光栅地面网格叠加；

图18展示可如何生成道路图像，其中像素值是基于语义分割而设置以更佳强调车道标志对象；

图19及20展示可如何根据本发明的一些实例处理经识别车道标线对象；

图21展示可如何创建道路网络的区域的车道几何结构；

图22提供根据本发明的实施例的(图5的)单元a的绘示；及

图23提供根据本发明的实施例的(图5的)单元c的绘示。

具体实施方式

本发明大体上涉及提供用于确定观测器(车辆)例如在由预构建地图覆盖的道路网络内的地理位置及定向的经改进技术。在实施例中，本发明因此涉及用于大规模视觉地理定位及映射的技术，如下文将解释。本发明的定位技术可例如用于促成各种自主驾驶功能性或增补或生成经改进电子地图，例如，与自主驾驶结合使用。例如，如上文解释，自主驾驶通常需要使用提供关于车辆所在的车道几何结构的至少信息的地图，例如，车道中心线及车道连通性(而非仅道路中心线，如在标准数字地图中可提供，例如，以供由标准便携式导航装置使用，例如，供由非自动驾驶车辆使用)。

即，需要允许高度准确地定位的高清(hd)地图。hd地图还需要被频繁更新(或至少是可更新的)以反映例如车道关闭、道路施工及经更新速度限制等的变化。还展示车道几何结构，其是自主驾驶的最小要求，hd地图还可通常包含地标，例如交通标志、交通灯、广告牌等，其可用于帮助定位(且当然还用其它目的)。这些地标可通常通过以下定义：地标的位置、地标尺寸(例如高度宽度)；及例如，从地标的前方(例如，使其可用作地标的那面)，地标的图像。

此类hd地图的生成及维护因此帮助促成各种自主驾驶功能性。举例来说，hd地图可实现路径规划、援助感知且允许自动驾驶车辆查看及预期前方道路，甚至是超过其传感器的范围。此类hd地图的使用不限于自动驾驶车辆，且还可用于实现广阔范围的高级驾驶员协助系统(adas)应用，例如可感知动力总成控制、经济路线及曲线速度警告。然而，将是，本文描述的hd地图可找到用于促成自主驾驶的特定实用性，且本发明的实施例将因此在以下在此上下文中描述。

特定来说，本发明的技术涉及生成车辆行进的当地环境的“地理参考”观测。地理参考观测是车辆当前行进的道路网络的当地环境的传感器导出的观测。例如，定位在于道路网络上行进的车辆上或车辆中的相机可用于获得与车辆附近的道路网络相关的图像，且接着，这些图像可经处理以便提取指示此区域中的道路网络的环境的某些特征。接着，从图像提取的地理参考特征或观测可并入到允许与先前编译的区域的参考地图做比较的合适的当地地图表示中。此比较允许准确地在区域内定位车辆。此外，当比较识别出参考地图中的错误时，接着可相应地更新参考地图。

图1绘示可根据本发明提供的视觉全球定位及映射系统的概念。介绍的视觉全球定位系统(v-gps)提供使用图像中的视觉提示确定观测器的全球位置及定向的方法。出于聚集“当地地图”的目的，这是通过检查经记录成像进行，接着，匹配“当地地图”与区域的参考地图。此参考地图先前已通过使用与视觉全球映射系统(v-gms)相同的方法的部分编译。

视觉全球定位及映射系统的功能原理

参考图1，可根据以下步骤总结至少根据一个实例绘示的视觉全球定位及映射系统的原理：

1.将在已知大致位置12(±100m)处记录的图像序列10提供为v-gps/v-gms的系统输入。

2.将图像序列10聚集到场景的一致、简缩及特性当地地图表示14中。

3.从先前编译的内部地图存储库18提取参考地图区段16。参考地图区段的范围20对应于经记录图像序列的大致区域。

4.接着，匹配及对准场景的当地地图表示14与参考地图区段16(假定参考地图可提供足够的覆盖范围)以确定当地地图表示14与参考地图区段16之间的各种对应性22。

5.出于地图创建及更新目的将所选择的源数据，例如图像序列关键帧24及经辨识对象信息26，提供到内部地图存储库18。

6.从匹配变换导出地理位置28及定向38且作为响应及系统的输出而返回。

如图1中描绘且不同于传统视觉地理定位系统，出于定位目的，v-gps/v-gms不会尝试直接使用从图像材料提取的特征。代替地，定位过程引入生成当地地图表示的中间步骤。

例如，至少在一些实例中，假设所有输入图像都描绘来自不同视点的同一场景(即，从运动中恢复结构假设)，一致当地地图表示通过使用用于执行3d重构的第一组特征聚集。这从最近图像产生经聚集当地地图，其比仅输入图像更有用。其包括图像、每一图像的捕获期间的观测器的3d姿势及周围环境的稀疏点云。

更重要的是，这表示系统的当地地平线的被清理过的一致感知，其中不是根据此静态场景的全部输入图像的内容被自动省略/滤除。世界的此被清理过的模型对动态对象或相机的特定轨迹是不变的。

然后，此当地地图表示用于嵌入及提取一组次级特征，其又用于匹配、对准及定位目的。此组特征可包括但不限于：场景特征的3d表示(稀疏点云)；检测到的地标及高级特征的2d俯视地图，例如车道标志、地面类型或对象，例如交通灯、交通标志、树、井盖等(正射地图)；及/或2d俯视图密集重构，例如合成航空照片(正射照片)。

上文描述的定位系统通过在视觉上对准相机图像以恢复周围区域的3d几何结构(第二级特征的位置从其确定)来粗略地工作。

视觉全球映射系统是用于通过其它方式从重叠当地地图构建全球地图的新方法：通过经由第二级特征匹配多个当地地图，发现这些当地地图之间的不一致性。这些不一致性是通过将校正反馈到特定相机姿势中来改善。这允许构建特定来说同时是精确且在全球上一致的全球地图。

因此，上文描述的v-gps/v-gms方法的特征可为混合方法，这在于其组合传统图像内容及基于图像特征的从运动/视觉里程计恢复结果的技术与大规模视觉地理定位系统中所使用的普通对象及地标辨识方法。以此方式，v-gps/v-gms治理从易失性低级特征导出的当地稳定性及准确性以及同样地治理用于定位目的的高级特征匹配的全球稳定性及可持续性。

所述系统可通常被划分成三个独立可配置的子系统或单元，如下：

单元a-当地地图聚集&对象检测：图像及传感器数据处理、特性当地地图的图像信息提取及聚集。

单元b-全球地图查找&姿势估计：通过匹配经聚集当地地图与对应参考地图区段进行定位

单元c-全球地图创建&更新：地图创建&更新、用于定位目的的参考地图的预处理及预配。

这些子系统可被提供在将定位的车辆上。然而，通常，至少一些处理被远程分布，例如，在云中执行。现在将描述一些示范性系统配置。

自动驾驶车辆中的v-gms地图创建及v-gps里程计支持

图2展示自动驾驶车辆系统200，其配备有相机传感器输入，及到云计算环境206的高带宽无线因特网连接。因此，自动驾驶车辆配备有单眼或立体相机202；高端板上处理单元；及高带宽高延时移动数据连接或w-lan204。系统从板上相机202接收现场记录的图像，还从板上里程计接收粗略gps坐标。定位结果208被递交给自主驾驶逻辑。地图构建结果驻存于基于云的存储库206内。

在图2中，高端板上处理单元包括：第一单元单元a，其将固定批次的输入图像聚集到范围有限的当地地图表示请求中且经由移动数据连接接收经预处理的扩展参考地图区段；及第二单元单元b，接着，其匹配任何完整的当地地图表示与其对应参考地图区段，计算地理定位，接着，所述地理定位被传递回到单元a作为匹配结果。第三单元单元c位于云中且偶尔接收源数据包，所述包最终结合到参考地图中。

第三方参考地图的自动驾驶车辆的小占用面积的仅v-gps里程计支持

图3展示自动驾驶车辆系统300，其配备有相机传感器输入，及用于与云计算环境内的第三方参考地图数据库通信以便确定定位结果的低带宽移动因特网连接。因此，自动驾驶车辆配备有单眼或立体相机302；低端板上处理单元；及低带宽低延时移动数据连接304。系统从板上相机302接收现场记录的图像，还从板上里程计接收粗略gps坐标。定位结果308被递交给自主驾驶逻辑。

在图3中，板上处理单元包括第一单元单元a，其将固定批次的输入图像聚集到范围有限的当地地图表示中且经由移动数据连接304将完整的当地地图发送到位于云中的第二单元单元b。单元b请求任何传入当地地图表示、对应第三方参考地图区段，在云内执行匹配且经由同一移动数据连接发送回地理定位。图2中所展示的单元c由第三方提供的参考地图服务取代(而且没有地图更新意味着无需额外上游带宽)。

无人机的板外v-gps/v-gms

图4展示基于无人机的系统的实例，所述基于无人机的系统包括操作者控制的无人机，其具有用于将高带宽无线视频提供到处理单元的相机传感器输入，所述处理单元又将定位及映射结果提供到无人机操作者装置(例如，电话或导航单元)。因此，所述系统包括无人机400，其具有单眼或立体相机402及用于与高端高容量基站处理单元412通信的低带宽低延时无线数据连接404(在无人机上不存在板上处理单元)。v-gps/v-gms系统因此驻存在基站上。基站从无人机400的板上相机402以无线方式接收现场记录的图像。接着，定位及映射结果408被递交给移动操作者装置410。

v-gps/v-gms系统包含三个单元，在图4中，所述三个单元全都驻存在基站412上。单元a接收固定批次的输入图像且将其聚集到范围有限的当地地图表示中。单元b直接匹配当地地图表示与当地可用的参考地图区段。单元c将源数据直接结合到参考地图中。

图5绘示系统内的功能单元或子系统之间的交互。特定来说，图5示意性地展示由上文提到的三个单元中的每一者执行的步骤。以下段落因此提供至少根据一些实例的系统的逻辑组件的示范性实施例到个别处理步骤及技术中的详细分解。图6更详细展示可经执行(在单元a中)以从经记录图像生成当地地图表示的处理流程的实例。尽管在图5及6中绘示为包括接收各种输入的数个不同模块(或步骤)，但应了解，各种模块及步骤无需由单独处理电路执行，且在实施例中，至少一些这些步骤可使用共享电路执行。此外，在实施例中，应了解，无需提供全部这些模块。例如，一些所描述步骤可省略或可由提供相同基本功能的类似或等效步骤取代。

单元a-当地地图聚集&对象检测

图像数据获取

到系统的输入通常包括一系列图像500，其是从与行进穿过道路网络的车辆相关联的一或多个相机获得。所述图像中的每一者是在沿道路网络的已知位置处记录。任选地，可与(粗略)位置502一起提供图像500，如上文描述。例如，图像数据可与例如来自车辆的导航模块的gnss定位数据组合以便提供经获得图像的大致位置及准确时间戳。然而，在一些情况下，图像的(相对)位置可从图像500本身确定。

一系列图像500通常包括从被提供在将定位的车辆上或中的各种相机传感器获得的一或多个视频流。因此，相机传感器获得车辆当前行进的道路环境的图像。

在实施例中，车辆出于执行视觉里程计目的被提供立体相机，且出于标志检测、分类、跟踪及分割目的被提供单独观测器相机，如下文将进一步描述。通常，为了执行所期望视觉里程计，立体图像传感器用于获得灰度级图像，且可以中等帧速率(例如，15到30fps)及分辨率(例如，1280×720)操作。另一方面，通常期望观测器图像传感器以更高帧速率(例如，30到90fps)及分辨率(例如，2560×1440)获得彩色图像。然而，应了解，图像传感器的各种配置及组合可合适地用于获得将处理的图像。

在传感器包括立体视频相机及单(单眼)视频相机的情况下，到系统的输入可因此包括来自立体相机的第一组视频帧及来自单(单眼)视频相机的第二组视频帧。对于第一组图像中的每一者，还提供深度图。对两组图像都还提供时间戳。

里程计估计(odo)

所述系统使用视觉里程计系统，其针对视频序列内的关键帧估计相机的相对3d位置及旋转。里程计可通过对视频数据应用即时从运动中恢复结构方法单纯地在视觉上获得，方式与典型的视觉slam系统中的相同。举例来说，里程计可如下获得：

1.从给定输入图像序列，仅展示充分相机移动的那些帧被挑选为关键帧；

2.对于任何新关键帧，可通过敲击外部里程计源(例如高精度板上里程表及差分gps)初始化似真相对3d姿势；

3.接着，根据相关联的图像特征沿所有其它关键帧在全球上估计及优化绝对姿势。

替代地，可使用通过对准连续深度图像导出相对3d相机姿势的各种立体成像对准技术。

优选地，关键帧的相机位置及旋转是使用立体视觉里程计过程确定。一般来说，任何已知立体视觉里程计技术可用于确定关键帧的相机位置及旋转。然而，在优选实施例中，立体直接稀疏里程计(dso)过程用于估计关键帧中的每一者的相对相机位置及旋转。

dso是基于直接最小化对象到相机上的投影之间的测光误差的已知技术(即，而非例如光束平差的间接技术)。dso背后的基本原理在图7中绘示。如图7中展示，每一地标(或对象)可在给定帧中定义为一组关键点及深度。例如，在图7中，存在两个地标72-1、72-2，且这些到参考帧图像70(帧i)中的投影定义一组对应两个关键点70-1、70-2，每一者隐含地具有对应深度值。为了将地标从参考帧(帧i)投影到后续帧(帧j)的图像中或跟踪所述地标，关键点被投影到后续帧上，且经投影的多个关键点76-1、76-2的测光误差被最小化以便确定后续帧(帧j)相对于参考帧的相机姿势，即，通过确定用于从参考帧移动到后续帧的最小化测光误差的适当变换。

与例如光束平差的间接方法相比，dso不需要特征检测器(例如尺度不变量特征变换(sift))以确定两个图像中的关键点对应性。这意味着dso的关键点可位于图像中的任何地方，包含边缘。

原始dso技术是基于单眼图像。然而，因为dso过程需要具有现有深度值的现有帧，且在dso中新帧直接通过跟踪生成，难以使用即时数据执行dso。此问题可通过使用立体图像作为dso算法的输入来克服，因为在那种情况下帧深度可直接从经记录图像获得。

图8展示使用dso在视频序列的关键帧之间跟踪相机的实例。对于每一关键帧82，存在表示关键点到那个关键帧上的投影的固定点云80。接着，相机跟踪器计算最佳相机参数(旋转、平移)以在从关键帧投影到当前帧中时最小化深度图中的所有点的测光误差。当被跟踪相机已从最后关键帧后退超过给定阈值，使得误差变得太大时，生成新关键帧84(其具有新固定点云)。

经提取视觉里程计的质量取决于图像序列的视觉性质。视觉假象(例如运动模糊、图像失真、眩光及反射)显著地减少可跨关键帧相关联的图像特征数目。而且，不一致图像运动(例如移动中汽车、窗或水坑中的镜表面)及甚至天气条件可容易地干扰图像特征的基本关联性，且阻碍任何视觉里程计提取尝试。对于增加长度的经记录图像序列，无效里程计重构的机会也快速地增加。

为了稳健性，视觉里程计提取因此限于偶尔出现的“稳定导”，其中重构满足给定质量边限或达到地图大小限制。取决于传感器、车辆及环境条件，这些稳定补丁的有效经重构里程计的合理大小从约50m到200m变化。同样地，取决于各种内部及外部条件，这些稳定补丁的发生频率在平均城乡环境中可在每千米2到10个补丁之间变化。

接着，这些稳定里程计补丁与所有关键帧数据一起被传递到图像分割(seg)及聚集当地地图(map)处理步骤。

在传感器包括立体视频相机及单(单眼)视频相机的情况下，到系统的输入可因此包括来自立体相机的第一组视频帧及来自单(单眼)视频相机的第二组视频帧。对于第一组图像中的每一者，还提供深度图。对两组图像都还提供时间戳。

因此，在实施例中，视觉里程计的输出是来自立体相机的第一组视频帧的关键帧例如相对于第一组视频帧的第一帧的姿势(旋转及位置)。输出还可包含关键点云，即，关键帧内的关键点的点云，例如，用于生成地面网格，如下文论述。

图像分割(seg)

在图像分割处理步骤中，每个给定关键帧中的每一像素根据一组经预定义环境类(道路、树、车道标志、汽车及更多)分类。接着，类标签被附接到每一像素且使可用于可关心环境类的特定子集(例如，仅地面)的后续处理步骤。分割可通过一或多个每像素分类方法执行，例如：

·先前训练的基于高级深度神经网络的图像分类系统，

·使用来自立体相机的深度数据分割地面级像素、墙/外壳或交通标志杆，

·使用由允许粗略地面罩的形成的里程计估计提供的稀疏特征点云数据。

执行图像分割以分类图像中出现的对象，例如，使得经分类对象可由流程中的其它处理模块提取及使用。因此，可执行“车辆环境”语义分割的步骤，其以逐像素为基础用作输入经获得图像数据及处理图像中的每一者以将为每一像素指派对象类向量，对象类向量含有用于多个类的评分(或可能值)。因此，举例来说，像素可被分类为具有98％的可能性表示图像中的天空部分，及1％的可能性表示道路标志及/或1％的可能性表示道路等。像素，一旦以此方式被分类，就可被一起分组到对象中(例如，通过将具有很高可能性表示同一对象的邻近或紧密相间的像素分组在一起)。

一般来说，逐像素语义分割可使用任何所期望或合适的算法执行。在优选实施例中，使用机器学习算法，且特定来说，卷积神经网络(cnn)。举例来说，算法可包括或可为基于已知segnet或pspnet算法，尽管当然可合适地使用其它算法。因此，图像中的像素可通常根据数个经预定义类中的一者分类。举例来说，类可包含以下中的部分或全部：天空、建筑物、杆、道路标志、道路、人行道、树、交通标志、栅栏、道路车辆(及类型)、人、自行车、交通灯、墙、地形、骑手、火车等。这些类通常在segnet及/或pspnet算法内定义。

图9展示车辆环境语义分割过程的结果的实例。处理的结果是原始rgb图像内的像素中的每一者(左侧部分)被分配对象类，且接着，不同对象类中的每一者可以一致方式在语义分割输出中表示(右侧部分)。因此，每一类内的全部对象可出于后续处理步骤的目的提取及使用。接着，这些对象类可与使用视觉里程计(odo)获得的相机姿势及(关键)帧一起被传递到高级特征检测(dtct)处理步骤。

高级特征检测(dtct-1)

高级特征检测步骤识别及跟踪跨给定帧的高级特征(例如交通标志/灯、车道标线、树等)。使用相机的已知里程计，经跟踪高级特征还可经三角测量到相对于相机位置的3d空间中。这些特征位置及其类标签以及其在输入图像序列中的像素表示使可用于后续处理步骤。高级特征检测利用先前计算的图像分类以将专门的特征检测工作限制在适当区。特征检测可通过一或多个每补丁分类方法执行，例如：蛮力卷积响应聚类，使用gpu处理能力；使用特征级联的快速对象检测，例如，用于对象检测的viola-jones方法；适用于多个类的先前训练的随机森林分类器等。

例如，高级特征检测可包括用于创建地标观测的各种步骤，例如，下文所陈述。

地标检测及辨识

地标可通过提取已被分类对应于地标的对象类(例如“交通标志”对象类等等)的任何像素或像素群组从经分类图像检测。例如，使用从图像数据获取输出的观测器图像帧以及来自车辆环境语义分割的像素类评分向量，有可能在每一帧中生成呈一或多个区域(通常是矩形)的列表的形式的数个限界框，如果存在，其含有检测到的地标。接着，可输出这些限界框以及地标类。地标可基于原始车辆环境语义分割单独地检测。然而，在实施例中，图像中的所关注区，即，已被确定为潜在地含有地标的区，从语义分割获得，且监督学习方法(例如支持向量机(svm)或神经网络)在区上用于将类指派到检测到的地标中的每一者。即，可对图像内的任何所关注区执行另一地标类语义分割(或“地标辨识”)，如可从车辆环境语义分割处理步骤确定以便将特定地标类指派到检测到的地标中的每一者。这可改进地标类的指派的准确性。

里程计转移(未展示)

当不同图像传感器(例如，多个相机)用于视觉里程计及地标检测时可使用里程计转移。举例来说，里程计转移可用于校准从不同相机获得的图像。特定来说，里程计转移可用于确定用于地标检测的图像的姿势，例如，来自单(单眼)视频相机的第二组视频帧。这可通过基于对准不同相机所需的旋转及/或平移合适地校准图像使用图像与视觉里程计的结果组合地进行。因此，第二组图像的相机姿势可通过合适地校准针对第一组图像确定的相机姿势例如在视觉里程计处理步骤中获得。

地标观测创建

地标观测创建可使用从图像数据获取模块输出的图像数据执行，例如，与这些帧(来自里程计转移)的姿势组合，如果需要，且与从地标检测及辨识过程确定的限界框及地标类组合。对于从图像数据提取的每一地标，生成在归一化坐标中呈2d多段线的形式的地标形状及定向(例如，用于将2d多段线变换到3d空间中的姿势矩阵)以及描述地标的内容的地标图像。地标可包括例如交通标志、交通灯、广告牌等，或可沿车行道存在的可合适地且合意地用于定位目的的任何其它区分对象。

图10到15绘示用于检测、跟踪及追踪图像内的地标(例如交通标志)的方法。例如，如图10中展示，外部标志检测系统通常提供一组给定帧中的每一帧1002的单个标志检测1001。然而，如绘示，这些检测可为不定时发生的(例如，第三帧不包含任何标志检测)或倾向于假阴性/阳性检测(如在第四帧中)以及提供不精确边界。

因此，在实施例中，接着，关于每一检测到的标志的透视失真且在帧序列(后向及前向)的邻近帧范围内小心地跟踪每一检测到的标志。跟踪结果包括一组透视变换1101，其描述在其中检测标志的原始帧中检测到的标志到邻近帧范围的理想映射，即，像素开孔。这在图11a中绘示。如图11b中展示，这又允许对标志作三角测量以给出标志在车辆的3d坐标系统(即，车辆里程计的坐标系统，如可在上文确定)中的表示1102。

这可针对每个检测到的标志及给定帧中的每个单检测进行。因此，这导致同一物理标志的许多三角测量轮廓1201，如果跟踪质量足够高那么其应粗略地重叠。这在图12中展示。

接着，3d表示被分组且融合在一起，其中移除异常值。3d分组因此提供正确的假阳性过滤作为假阳性，或原本不正确的标志检测及三角测量将易于在3d空间中出现分散，而真的标志将很好地堆积起来(参见例如参考标志1301的检测)，如图13中展示。

经融合标志轮廓还允许将标志定位于2d图像空间中且准确地从每一帧切除以给出标志的数个开孔1401。通过叠加全部开孔，可创建标志1402的经融合图像。这可用于可靠地从标志的图像移除缺陷(如遮挡或镜面高光)，且还检测标志的边界，例如，通过遮掩在开孔中具有高颜色差异的像素1403。这在图14中绘示。

经遮掩开孔的像素轮廓可经向量化以提供标志关于车辆的里程计的形状、像素内容及位置的准确3d重构1501，例如，如图15中展示。此准确的重构可用于各种跟踪应用，例如本文描述的类型的视觉全球定位，即，通过使从记录会话导出的3d标志重构与地图中的参考3d标志相关联；或用于通过允许通过开发有关真实世界标志大小的知识及使用此信息使尺度归一化(例如，在从运动重构的单眼结构中)校正不正确性(例如尺度漂移)细化单眼视觉里程计及slam记录。

当地地图聚集(map-1)

此处理步骤通过创建2d俯视密集正射照片重构及将所有先前提取的高级特征(例如，地标及/或车道标志)嵌入到其中来聚集当地地图。

对于密集正射照片重构，第一无间隙地面几何结构是使用从稀疏特征点云提取的点估计。取决于准确的要求，地面模型可包括：

·已被分类为地面的所有3d特征点内的单个平面，

·每一关键帧附近中的多个地平面的相交点，或

·横跨地面特征点集群的粗略多边形网格。

使用每一关键帧的已知绝对位置及定向及其相关联虚拟相机(通过视觉里程计估计提供)，所有2d图像信息(即，像素颜色)、分割信息以及高级特征位置被投影到3d地面几何结构上。接着，此补丁的2d正射照片通过再次将数据投影于看起来在地面处向下垂直的虚拟正交相机上生成，从而产生场景的鸟瞰视图。重叠数据取决于相机位置估计准确性、观看角度、距离等关于投影误差范围组合。

地面网格生成

可在道路网络内生成包含任何地面级特征的“地面网格”。可使用从上文描述的立体视觉里程计过程输出的dso点云或从立体图像的深度数据直接确定的立体点云(任选地)以及从语义分割过程输出的相关像素类向量以便生成地面网格。例如，从语义分割获得的对象类可用于选择任何地面特征，例如“道路”或“车道标志”等。然而，语义分割可能不是优选的，且在一些情况下，语义分割可给出一些假值，即，即使在一些点并非在地面上时选择所述点作为地面级点。例如，dso点云内的关键点的深度可用于进一步选择地面级点。在一些情况下，例如，在dso点云太稀疏的情况下，可代替地使用立体点云(例如，从第一组图像及相关联深度图直接获得)。在实施例中，可使用dso与立体点云的各种组合。例如，立体点云可用于内插其中dso点云太稀疏的区。在实施例中，点云，例如，立体点云或dso点云，可使用以下一或多者过滤：正常过滤器(移除指示通过语义分割不正确地分类的汽车、树及建筑物的点)；统计异常值移除过滤器；及ransac过滤器，且网格使用经过滤点云创建。地面网格可通常包括栅格式及/或舌式地面网格，例如，如图17a到17c中展示。

正射校正道路图像生成

又可使用地面网格以及来自相机的图像及相关联姿势生成道路的正射校正图像。举例来说，可生成含有旅程的2d俯视图的道路的鸟瞰马赛克地理参考图像，其中图像被投影到地面网格上且被混合/加权在一起，使得图像中的每一像素的像素值表示用于生成图像的从图像检测到的环境中的位置的颜色。

图16展示多个2d图像1601可如何被投影到地面上且接着可如何组合这些投影以便提供道路的图像1602。例如，一旦使用视觉里程计获得相机姿势，就接着有可能从任何所期望视角重新投影图像。如图16中展示，多个图像被投影到同一地图区域上，且接合在适当加权的情况下被混合在一起，以便构建那个区域中的道路的图像。这可使用像素姿势是已知的全部经记录图像重复以便生成道路的准确正射校正图像。

如果用于车道标志语义分割中，还可生成包含含有从鸟瞰马赛克所确定的旅程的直观图地理参考图像的线性配准的图像(lri)。lri生成的另外细节可发现例如于wo2009/045096a1及wo2017/021473a1中。

所得鸟瞰马赛克或线性配准的图像在本发明的实施例中可用作当地地图。

高级特征检测(dtct-2)

高级特征检测可另外包括用于创建车道标志观测的各种步骤，例如，如下文陈述。

车道标志语义分割

除了上文描述的鸟瞰马赛克及/或线性配准的图像外或作为上文描述的鸟瞰马赛克及/或线性配准的图像的替代，还可生成正射校正道路图像，其中图像中的每一像素的像素值表示环境中的位置是车道标志对象的概率，作为来自车辆环境语义分割的输出。举例来说，当使用灰度级颜色空间时，已被分配100％的概率是车道标志对象的任何像素可为‘白色’，二具有0％的概率的任何像素可为‘黑色’，其中其它像素值基于相应概率适当地选择。以此方式，可生成‘经过滤’灰度级正交道路图像，其强调车道标志对象，且提供被执行车道标志语义分割的更清晰图像。此经过滤图像在图18b中展示。为了比较，图18a从相同初始图像确定，但其中像素值指示从初始语义分割所确定的位置的最可能对象类。如可观测到，车道标志在图18b中比图18a中显著更清晰。此图像因此表示被清理过的道路图像，其中强调车道标志对象。

车道观测创建

接着，经过滤灰度级正交道路图像，通常呈线性配准图像的形式，经受另一车道标志目标检测及辨识，例如，使用训练过的卷积神经网，以将图像中的对象识别且分类为特定类型的车道标志。车道标志类的实例可包含以下一或多者：单实线、单短虚线、单长虚线、双实线、双虚线、岛式边框等。使用lri、来自车道标志语义分割的车道标志对象及类，有可能生成车道几何结构，即，展示车道标识符及几何结构，例如，以供自主驾驶模块使用及/或结合到hd地图中。

例如，在图19中，已提取从车道标志语义分割被识别为车道标志1901的任何对象。接着，经识别车道标志可被清理，例如，通过阈值化及二值化图像及/或应用一或多个形态算法以帮助移除噪声及使数据平滑。然后，结果被骨架化，例如通过在经识别及经过滤车道标志中的每一者的中心处创建线。此情形的结果在图19的右侧部分中展示，其包含数个经骨架化车道标志1902。接着，算法遍历每一除法器类型且执行过滤每一除法器类型的线的步骤，及用不同id分类每一除法器类型。例如，图20展示对已基于车道标志语义分割识别的一个特定除法器类型的处理。

接着，图21展示最终结果，其中每一不同除法器类型在道路图像上不同地表示。

当地地图聚集(map-2)

如上文论述，描绘道路网络的鸟瞰马赛克或线性配准的图像可用作当地地图，任选地具有嵌入到其中的经提取高级特征(例如，地标及/或土地标志)。然而，替代地，当地地图可仅包括经提取高级特征，例如，如下文描述。

观测数据报创建

从地标观测创建输出的地标形状、定向及图像及车道几何结构可因此被输出到观测数据报创建模块以生成包括定位地图数据(例如上文描述的车道及/或地标观测)的“数据报”(或“道路报”)，其已从相机传感器提取且可用于例如定位过程及/或更新hd地图以更准确地反映现实。换句话来说，数据报对应于当地地图。数据报通常是此类地图数据的压缩片段，其可以最小带宽发送(例如，到云)以允许hd地图的可扩展及有效更新。

数据报可因此包括从先前步骤输出的地标观测创建数据及/或车道观测创建数据。通常，数据报将包含地标及车道标志观测两者。然而，在一些情况下，可仅存在地标观测或仅存在车道观测数据，在此情况下，这些中的仅一者(即，存在可用数据的一者)用于生成数据报，例如，及更新地图。这可为例如乡村道路区段的情况，其中不存在有用的地标或其中不存在车道标志或其中因为一些原因未获得数据(例如，车辆仅具有一些可用传感器)。

图6中展示用于生成这些数据报的一般处理流程。因此，图6中的流程以图像获取步骤开始。接着，经记录图像被提供到车辆环境语义分割及立体视觉里程计模块以执行上文描述的车辆环境语义分割及视觉里程计。接着，经记录图像及车辆环境语义分割的结果可用于检测及辨识地标。对于每一检测到的地标，接着，地标观测可使用地标检测及从视觉里程计获得的相机姿势创建。与此并行，车辆环境语义分割的结果及使用视觉里程计获得的相机姿势及点云可用于生成地面网格。地面网格又可用于生成正射校正道路图像，在此之后，可执行车道标志语义分割的另一步骤，从其可创建车道标志观测。接着，地标及车道标志观测可用于创建“数据报”以结合到当地地图表示中或用作当地地图表示。图22中还描绘一般处理流程的实例，即，图5的单元a的一般处理流程的实例。

地图源数据上传(upld)

成功匹配的当地地图含有有价值的数据，其可促成全球规模参考地图的创建及/或维护&更新过程。

所选择的源数据(例如关键帧、分类掩码&检测到的高级特征)被捆绑作为地图创建&地图更新包且经排序以转移到地图创建过程。所供应的数据可根据地图创建及更新需要选择，即，用于填充全球规模参考地图的未经映射或过时区域的目的。

单元b-全球地图查找&姿势估计

全球地图区段检索(dwnld)

地图区段检索步骤请求且检索对应于与其匹配的经聚集当地地图的近似位置及范围的全球规模参考地图的子区段。

所选择的区段可从多个粗略定位源导出，例如：给定粗略gps位置及基于指南针的定向以及低精度里程表，其应大致与经重构当地地图的范围一致。

针对匹配检索的信息层应匹配当地地图中存在的信息，且可为：

·长期可相关联高级特征，(同样地)优选地在当地地图中已认出的长期可相关联高级特征；

·根据当地地图的输入图像按白天、季节及观看方向选择的良好选择的可相关联低级特征，

·用可兼容配置创建的合成正射照片地图区段。

定位&匹配(match)

定位步骤通过匹配当地地图与参考地图区段执行。定位质量及稳健性通过开发当地地图嵌入或提取高级特征的可持续性及稳定性实现。可应用技术可为：

·使当地地图内的对应高级特征&对象与参考地图相关联，及导出最佳对准对应特征的地图的变换(例如，如在ransac中)

·将当地地图的密集2d正射照片重构变换到对应参考地图的正射照片上，使得像素强度的差异被最小化(如在图像误差回归方法(例如klt)中)

·通过根据低级特征对应性优化关键帧的姿势，3d匹配及对准从当地补丁及从地图选择的关键帧(如在从运动的光束平差恢复的结构中)。

结果是具有高准确度及精度的全球地图中的上传的补丁的全球参考的位置及定向。

位置响应(rspnd)

全球地图查找&姿势估计单元用以下各者作出响应：全球位置504及定向(姿势)506，以及关于姿势估计的额外信息，例如：置信度&精度、整体补丁范围&局部质量，及/或地图覆盖率&先进的现代化程度。

此额外信息可由当地地图聚集&对象检测单元组件用于：更准确地将姿势结果结合到外部提供的定位数据及决定是否应将任何数据提供到全球地图创建&更新单元以用于地图构建目的。

单元c-全球地图创建&更新

源数据输入(in)

源数据输入步骤接收源数据用于地图构建及更新目的。数据包被存储于世界规模的源数据存储库中以供后续地图处理且使可用于后续地图处理。

源数据输入步骤还向地图构建及调整服务通知传入及未处理的工作的可用性。

地图构建&调整(build)

地图构建及调整步骤接收及聚集有关世界规模的源数据存储库中的变化及最新可用数据的局部更新通知。

作为正在进行的构建及优化过程的部分，地图构建及调整过程在每个经更新区内迭代，且：

1.检索所有源数据(包含最近添加的数据)用于经更新全球地图区段

2.结合新数据与现有源数据并更新整个区段的里程计重构

3.将经更新区段存储回到世界规模的数据存储库中

4.向参考地图提取步骤通知经更新地图区段。

区段范围地图的重构及调整是通过将从运动中恢复结构技术应用到源数据的所选择的质量子集而进行。长期可相关联特征，例如检测到的高级特征，所选择的低级特征以及地理配准的点相关联，且重复地应用光束平差。另外，还可包含含有可相关联高级特征的第三方数据以进一步改进地图构建稳定性及准确性。

图23中描绘地图构建及调整步骤的实例，即，图5的单元c的地图构建及调整步骤的实例。

参考地图提取(xtrct)

参考地图提取从世界规模的源数据存储库(sdr)预产生地图匹配数据。此地图匹配数据希望与定位&匹配步骤的匹配及对准给定经聚集当地地图的目的兼容。因此，其可包括与由当地地图聚集&对象检测单元编译的经聚集当地地图相同的信息层。

类似于地图构建&调整步骤，参考地图提取步骤是正在进行的生产服务的部分。其在每个经更新源数据区段内迭代，且：

1.检索最新构建及/或调整的源数据；

2.提取简缩&空间优化的匹配暗示/信息(适于定位&匹配步骤)，这些匹配信息层可另外含有：

·用于经改进关联性的任选高级特征数据(即，ocr)

·经过滤&质量增强的合成2d俯视图密集正射照片重构(即，针对基于klt的拟合)

·所选择的分类低级特征提取(即，按白天、季节、天气条件等)；

3.将经提取补丁匹配数据存储于世界规模的匹配数据存储库(mdr)中；

4.向参考地图信息服务通知发生的变化。

参考地图信息服务(srv)

参考地图信息服务提供对参考地图的有效及可扩展存取，其通过参考地图提取步骤递增地生成及提供。对于所请求的地图区段，服务：

·从世界规模的地图数据存储库检索及编译参考地图数据

·用简缩/压缩参考地图数据绑定作出响应。

参考地图信息服务可包含或可不包含高速缓存技术。

已出于说明及描述目的呈现前述详细描述。其不希望是详尽的或将本文描述的技术限于所揭示的精确形式。鉴于上文教示，许多修改及变化是可能的。所描述的实施例经选定以便最佳解释本文描述的技术的原理及其实际应用，由此使所属领域的技术人员能够在各种实施例中及结合适于所预期的特定使用的各种修改最佳使用本文描述的技术。因此，本说明书、附图及/或权利要求书中揭示的特征可为用于实现各种实施例的材料，单独地或以其各种组合来获得。此外，已参考各种实施例描述了本发明，但所属领域的技术人员应理解，可作出形式及细节中的各种变化而不会背离所附权利要求书中所陈述的本发明的范围。