本发明总体上涉及使用地图和图像来定位车辆以代替全球导航卫星系统(gnss)、然后使用车辆位置来控制一个或多个车辆部件例如导航系统的显示器、车辆转向或引导系统、车辆油门系统和车辆制动系统的系统、布置和方法。提供了使用高度准确的车辆位置确定的路线引导和自动车辆操作。
背景技术
关于背景信息的详细讨论在第6,405,132号、第7,085,637号、第7,110,880号、第7,202,776号、第9,103,671号和第9,528,834号美国专利中进行了阐述。相关的其他现有技术包括第7,456,847号、第8,334,879号、第8,521,352号、第8,676,430号和第8,903,591号美国专利。
技术实现要素：
基于高度精确的车辆位置来调整车辆部件的方法和系统包括：从车辆上的惯性测量单元(imu)获得动态数据，使用处理器从来自惯性测量单元的数据和早先已知的车辆位置导出关于当前车辆位置的信息，并且使用处理器来调整导出的当前车辆位置以获得校正的当前车辆位置。该后一步骤需要使用车辆上的至少一个相机组件获得车辆外部区域的至少一个图像，每个相机组件与imu处于固定关系，识别每个获得的图像的多个地标，使用处理器分析每个图像以导出关于每个地标的位置信息，从地图数据库获得关于每个识别的地标的位置信息，以及使用处理器识别从每个图像导出的关于每个地标的位置信息与从地图数据库获得的关于相同地标的位置信息之间的差异。最后，基于所识别的差异使用处理器来调整导出的当前车辆位置，以获得经校正的当前车辆位置，用于改变车辆部件操作。
用于执行本文所述的发明的各种硬件和软件元件以系统图、框图、流程图和神经网络算法和结构的描述的形式来进行说明。
附图说明
下列附图示出了优选实施方式：
图1示出了具有四个gnss卫星的wadgnss系统，该四个gnss卫星将位置信息发送给车辆和基站，基站进而将差分校正信号直接或间接地发送给车辆。
图2是表示gnss系统和惯性测量单元(imu)的组合的图示。
图3a示出了具有相机和两个gnss天线以及用于操作根据本发明的系统的电子器件包的车辆。
图3b是图3a中所示的电子器件包的细节。
图3c是图3a中所示的相机和gnss天线的细节。
图3d示出了两台相机的使用。
图4a是使用
图5a示出了第一实施方式，其中根据本发明的系统被集成到具有并入车辆的a柱中的相机组件的生产车辆中。
图5b示出了类似于图5a中所示的实施方式，其中根据本发明的系统包含提供接近180度总视场(fov)的第三相机。
图5c示出了与图5a中所示的相似的实施方式，其中根据本发明的系统包括两个并置的相机组件。
图6是图3b的电子系统的框图。
图7是关于如何利用摄影测量法校正imu误差的流程图，以消除对允许车辆使用地标和地图定位自身的gnss卫星的需求。
图8是为创建地图而在云中进行计算的流程图。
图9是为压缩图像而在车辆上进行计算的流程图。
图10a示出了镜头图像桶形畸变，图10b示出了使用滚动快门相机时引起的失真。
具体实施方式
所示的实施方式可以共同考虑为普通车辆的一部分。
1.精确导航的一般性讨论
图1示出了诸如gps的gnss的指定为sv1、sv2、sv3和sv4的四个卫星2的现有技术布置，卫星系统例如通过与基站20和21相关联的天线22向基站20和21的接收器发送位置信息。基站20、21通过诸如第二天线16的相关发射器站点将差分校正信号发送到地心或近地轨道(leo)卫星30或通过某个其他路径发送到因特网。leo卫星30向车辆18发送差分校正信号，或者从因特网或其他方便的路径获得修正。对于wadgnss，基站20、21中的一个或多个基站接收并且对从覆盖所考虑的区域的多个基站20、21接收的所有信号执行数学分析，并且形成对整个地区gnss信号上的误差的数学模型。
图2是示出系统50的图示，其显示了gnss和dgnss(差分全球导航卫星系统)处理系统42和惯性测量单元(imu)44的组合40。gnss系统包括用于处理来自gnss卫星系统(在图1中示出)的卫星2的信息、来自dgnss系统的leo卫星30的信息和来自imu44的数据的单元。优选地，imu44包含一个或多个加速度计和一个或多个陀螺仪，例如三个加速度计和三个陀螺仪。而且，imu44可以是与用作校正单元的gnss和dgnss处理系统42集成的mems封装的imu。
地图数据库48与导航系统46一同工作，以向车辆18的驾驶员提供信息(见图1)，例如他/她在地图显示器上的位置、路线引导、速度限制、道路名称等。其也可用于警告驾驶员车辆的运动被确定为偏离车辆的正常运动或操作。
地图数据库48包含精确到几厘米(1σ)的道路地图，即道路车道边界和道路边界的数据以及所有停车标志和交通灯及其他交通管制设备的位置，比如其他类型的道路标志。可以相对于地图数据库48中的数据分析车辆的运动或操作，例如关于行驶车道边界的数据，由交通管制设备提供或施加的指令或限制等，以及与探测车辆的正常运动或操作的偏差。
导航系统46连接到gnss和dgnss处理系统42。如果结合到导航系统46的车辆控制或驾驶员信息系统45检测到警报情况，则警告驾驶员。驾驶员信息系统45包括警报器、灯、蜂鸣器或其他可闻噪音、和/或用于黄线和“驶离道路”情况的模拟隆起带以及用于停车标志和交通灯违章的组合灯和警报器。驾驶员信息系统45可以只是声音或者如在模拟隆起带中一样声音和振动。
可使用称为实时动态(rtk)差分系统的局部区域差分校正系统，作为为创建精确地图所选择的系统。在这个系统中，建立本地站点，随着时间的推移确定其在毫米级别内的确切位置。使用这些信息，本地站点能够为附近的移动车辆提供校正，使他们能够确定其在几厘米范围内的位置。rtk基站通过将其估算位置随时间的变化进行平均来确定其位置，从而对gnss信号中的误差进行平均。通过这种方法，其收敛到精确的定位。当rtk基站或车辆确定位置时，意味着rtk基站处或车辆处的硬件和/或软件配置为接收信号或数据并从中导出位置。在实施中，rtk站点通常相隔30到100公里。但是，在涉及多路径问题的城市地区，这样的站点可能会以接近数十到数百米的距离放置。
2.地图创建，基于摄影测绘的测图系统的描述
从卫星照片创建的地图可用于世界大部分地区。这些地图显示了地形的性质，包括道路和附近的道路结构。例如，这种道路的准确性被限制在数米，并且这种卫星创建的地图通常对于车辆路线引导和例如在本文中描述的其他目的而言不够准确。各种测绘公司通过部署特殊的测绘车辆来提供对地图的重要修正，通常通过使用激光定位器或激光雷达技术，例如利用世界上许多地方的车辆，创建现在广泛用于路线引导的地图。但是，这样的地图只能精确到数米。
尽管这对于路线引导来说足够了，但是对于自动车辆引导需要额外的精确度，其中需要厘米级精度以防止车辆穿越车道标记、驶离道路和/或撞击固定对象，例如杆、树或路缘。特别地，在低能见度的情况下，问题是激光雷达系统可能具有边际值。本文描述的技术解决了这个问题并为地图提供了厘米级精确度。
本发明的方法是利用多个探测车辆来完成测绘功能，或者是各自配备有如下所述的一个或多个相机、imu和精确的rtkdgnss系统。这样的系统可以称为众包。优选地，用于获得wadgnss的接收器(例如通过omnistar校正提供的)也可用于车辆上，以在rtkdgnss不可用的区域中使用。
当每个探测车辆横穿道路时，其上的每个相机获得车辆周围的空间的图像，并且使用发射器将这些图像或从其导出的信息发送到远离车辆的远程站，该发射器可以是车载通信单元的一部分。这种通信能够以各种方式中的任一种发生，包括蜂窝电话，使用宽带的互联网，比如wimax、leo或geo卫星，或者甚至是可用的wi-fi或任何其他远程通信系统。该信息还能够存储在车辆上的存储器中，以便稍后传输。
远程站能够从探测车辆传输的信息创建和维护地图数据库。当一段道路首先被这种探测车辆穿越时，远程站能够根据可用带宽请求探测车辆发送全套图像。当没有足够的带宽可用时，图像能够与位置信息一起存储在车辆上，以供以后上传。另外的图像还能从其他探测器车辆请求，直到远程站确定已经获得足够的图像集，即配置为在远程站处处理图像的处理器确定已经获得足够的图像集。此后，探测车辆能够监测地形并将其与车载地图(来自地图数据库48)进行比较，并且如果发现差异则通知远程站点。
如果将gnss接收机放置在固定的位置，并配有适当的软件，其能够最终准确确定其位置，而无需进行调查。它通过获取大量gnss数据并进行大量的位置估算，如gnss卫星在天空中移动，并应用本领域已知的适当算法来实现这一点。通过对这些位置估算进行平均，估算位置逐渐接近确切位置。这是创建本地rtk站的方法。当存在已知的和不变的误差时，这个过程会变得更加复杂。存在用于消除这些异常情况的软件，并且在某些情况下，能够使用这些软件来提高位置精度估算值。
在探测车辆中，使用校正的或未校正的gnss信号来校正imu44中的漂移误差，并且imu44由车辆用于提供其在任何时间的位置估算。如果gnss信号是唯一可用的信息，则由imu44表示的车辆位置将包含数米级的显着误差。如果wadgnss可用，则这些误差会减少到分米级，如果rtkdgnss可用，则这些误差会减少到数厘米或更小。
当探测车辆获取图像时，其记录由imu44确定的相机的位置和指向角度。位置和指向角度用于确定图像中的对象(地标)上的点的矢量，例如杆。在获得两幅图像之后，杆的位置可以在数学上被确定为两个矢量与杆上相同点的交点。由于imu44的精确性和成像设备的精度，该位置会出现误差。
由于成像设备误差是不变的，例如镜头中的缺陷，所以通过校准设备能够将其大部分去除。由于镜头像差引起的失真能够用软件进行绘制和校正。由于桶形失真或由于滚动快门相机中的快门时机引起的其他误差能够同样从数学上去除。因此剩余的误差是由于imu44引起的。这些误差基于例如车辆和杆之间的距离而被放大。
以与固定gnssrtk接收机通过平均多个估算逐渐确定其精确位置相同的方式，杆上的参考点的位置能够类似地通过平均位置估算来精确确定。当仅使用gnss读数确定imu位置时，由于imu误差会很大，因此需要大量的位置估算。同样地，如果wadgnss可用，则需要更少的位置估算值，而用rtkdgnss，只需要少量位置估算。由于误差放大效应，该过程有利于使用附近的杆，但是如果有足够的位置估算可用，则甚至将精确定位更远的杆。
如果在两幅图像中都具有相同的地标，则需要两张图像才能获得一个位置估计值。通过将图像1与图像2、图像1与图像3以及图像2与图像3相组合，三个图像提供了三个位置估算。根据公式n*(n-1)/2，位置估算的数量随图像数量n的数量快速增长。因此，四十五个位置估算是从十个图像中获得的，而4950个位置估算是从一百个图像的中获得的。
最初，多个图像能够通过单个探测车辆获得，但是，随着该系统被广泛采用，能够使用来自多个探测车辆的图像，进一步随机化任何尚未成功去除的设备系统误差。
如本文所教导的，杆是用于创建精确地图的地标的一个示例。其他地标包括具有可容易定位的特征的任何不变(位置固定)的结构，例如杆的中点、顶部或杆与地面相交处的右边缘或中心，或任何其他约定的参考点。其他地标的示例有建筑物、窗户、路缘、护栏、道路边缘、车道标记或其他涂漆道路标记、桥梁、门架、围栏、路标、交通信号灯、广告牌和墙壁的边缘。
地标可仅限于人造物品；但是，在某些情况下，可以使用自然物体，如岩石和树木。在许多地标中，需要选择一个特定的点，如杆的中点或顶点，作为代表或位置代表点。一些地标，如路缘、道路边界或涂漆车道标记，并无特有的起始或终止出现在单个图像中。即使在这种情况下，线路也会起始、终止或被另一条线路穿过。从这样一个起点或交叉点出发的距离可以被定义为代表点。
有些对象，如树木和岩石，不适合选为地标，但出于安全原因将其放置在地图上可能很重要。这些对象可以放置在地图上，以便车辆能够避免与其撞击。对于这样的对象，能够确定更一般的位置，但该对象不会用于地图精度目的。
通常可以使用卫星创建的地图来显示地形的特征。然而，由于卫星创建的地图通常对于路线引导目的来说不够精确，所以使用本发明的教导能够使得这些地图更加精确，因为上面讨论的以及能够在卫星创建的地图上观察到的地标的位置能够准确确立，并适当调整卫星创建的地图，以便精确表示地形的各个方面。
最初在绘图过程中，完整的图像被传输到云端。随着地图的建立，只需要传输与地标相关的信息，大大减少了所需的带宽。此外，一旦获得期望的精确度水平，只需要传输与地图变化相关的数据。这是自动更新的过程。
云中的计算机程序，即驻留在主机设施(远程站)并由处理器及其相关软件和硬件执行的程序，将调整卫星图像并合并地标以创建本文所述的各种用途的地图。探测车辆能够连续获取图像并将这些图像中的地标的位置与它们在地图数据库上的位置进行比较，并且当发现差异时，将新图像数据或从中提取的数据发送到云以进行地图更新。通过这种方法，能够创建精确的地图数据库，并使用探测车辆以及创建和更新地图数据库的云中的远程站点连续验证。为了便于比较，可以用唯一标识符来标记每个地标。
3.使用卫星成像和补充信息来增强地图
当在远程站点处理多个图像时，例如使用具有双重图像的立体摄影技术，通过例如以神经网络或深度学习识别图像中的共同对象将图像或从图像导出的数据转换为包括来自图像的对象的地图，并使用来自获取图像时的位置和指示信息将对象放置在地图上。图像可以从取自不同时间并且包括相同的共同对象的相同探测器车辆获得，或者从两个或更多探测器车辆获得并且再次包括相同的共同对象。
通过使用不位于尚未与其通信的探测器车辆上的远程站点处的处理器，来自多个车辆或取自不同时间的相同车辆的图像可以用于形成地图。另外，通过将处理器与探测器车辆分开，可以在没有设备的情况下使用wadgnss对探测器车辆进行这样的校正。
通过使用上述方法，能够自动构建精确的地图数据库，并且不需要特殊的测绘车辆就可以持续进行验证。其他地图信息能够包含在远程站点处的地图数据库中，例如沿路的自然和人造结构、地标、兴趣点、商业企业(例如加油站、图书馆、餐馆等)的位置、名称和描述，因为它们的位置能够被探测车辆记录下来。
一旦使用来自探测车辆的更多有限数据构建了地图数据库，则能够使用来自旨在获取与初始探测车辆获得的数据不同的数据的探测车辆的数据添加附加数据，由此提供了对地图数据库的持续丰富和改进。此外，街道或道路、城镇、县的名称或任何其他此类基于位置的名称和其他信息都能够作为地图的一部分。
由于施工、山体滑坡、事故等造成的道路位置变化能够通过探测车辆自动确定。这些变化能够迅速纳入地图数据库并作为地图更新传送到路上的车辆。这些更新能够借助于无处不在的互联网来传输，例如wimax或等同物，或任何其他适当的远程信息处理方法。所有车辆最终应该具有允许有效和连续的地图更新的永久性互联网接入。
wadgnss差分修正能够应用于远程站点，无需考虑在探测车辆中，从而消除探测车辆的计算和远程信息处理负载。参见例如us6243648。远程站点例如能够知晓对于在获取图像或gnss读数时车辆的大致位置的dgnss校正。随着时间的推移，远程站点将以类似于上文讨论的固定gnss接收器的方式知晓基础设施驻留特征的确切位置，例如上文讨论的杆。
在该实施方式中，远程站点会知晓车载相机、gnss接收器和imu在车辆上并且相对于彼此的安装位置以及车载相机的视角和其dgnss校正位置，这对于wadgnss而言应该在10厘米或更小的一个西格玛的精度内。通过监测来自给定探测车辆和来自不同探测器车辆的连续画面中的车辆运动和对象相对位置，能够随时间推移开发出场景的精确三维表示。
一旦将道路边缘和车道位置以及其他道路信息传输到车辆或以其他方式包含在数据库中(例如在将系统初始安装到车辆中时)，就需要非常少的额外带宽来包括其他信息，比如旅行者可能感兴趣的所有业务的位置，例如加油站、餐馆等，这可以通过订购或基于广告来完成。
4.探测测绘车辆系统的描述
现在考虑图3a、3b、3c和3d，其中图3a示出了相机组件70和两个gnss天线，一个在相机组件70内，另一个75安装在车顶90的后部，并且可以与图2中所示的布置一起使用。附接到顶篷(未示出)内的车顶90下侧的电子器件包60容纳操作系统和下面将要描述的各种其他部件(图6)。联接器92将电子器件包60连接到车顶90后部的天线75。如图3b中所示，相机组件70位于电子器件包60的前面。
图3c详细示出了同一壳体76中相机组件72后面的相机组件72和gnss天线74。图3d示出了使用两个相机组件72、73的可选配置。所示相机可以是从e-consystems(e-con系统)http://www.e-consystems.com/ultrahd-usb-camera.asp商购可得的see3cam_cu130-13mp。优选地，每个相机组件72、73配备有具有约60度的水平视场并且在垂直方向上略小的镜头。
在图3d中，壳体70a包括两个相机组件，其相对于在相机组件72、73的开口之间的中途延伸的车辆轴线va分别以其成像方向在正和负30度的方向上指向或定向。因此，借助于每个相机72、73具有60度水平视场(fov)，该组件具有约120度的组合视场。所选镜头具有均匀的像素分布。在水平方向上有3840个像素，这意味着每度将会有大约64个像素。一个像素覆盖在约30米的距离处约0.81cm×0.81cm的面积。大部分地标距离车辆不到30米，多数地标位于10至15米之间。
两个天线74、75向电子器件包60中的处理器提供信息以给出车辆前进方向或偏航的精确测量。这也能够在车辆移动时由imu确定。如果车辆长时间处于静止状态，由于漂移误差，imu可能会给出差的前进方向测量。
在图6中示出了组成电子器件包60的部件并在下文参考其进行讨论。
在图4a中示出了具有单个相机组件的根据本发明的附加系统，而在图4b中示出了其具有两个相互分开设置的相机组件，即彼此间隔开。该系统在图4a中一般以100示出，并且包括相机组件110，其包括全部位于普通相机组件外壳122中的goprohero黑色相机130或同等成像设备、以下讨论的高级导航组件140和gnss天线120。内部电路124将天线120、相机130和导航组件140连接在壳体122中。电路124可以包括处理器。
组件110连同通过耦合连接器118耦合到其上的第二gnss天线145一起安装到车辆128的车顶126的外表面上。用于提供该安装的安装装置可以是本领域技术人员已知的用于将外部车辆部件附接到车身板和车顶的任何一种。
在图4b中，两个相机组件132、134置于车顶126的外表面的侧面上并且以一定角度旋转，使得其fov不显著重叠(从图4a中示出的位置，其中视场基本对称于车辆的纵向轴线)。该旋转导致相机组件132、134的定位，使得每个壳体122的纵向轴线与车辆的纵向轴线成大约30度的角度。这可能将壳体122构造成使其纵向轴线基本上平行于车辆的纵向轴线，但是相机组件的成像方向与车辆的纵向轴线成大约30度的角度。因此，配置或定位标准分别针对相机组件132、134的成像方向di1、di2与车辆128的纵向轴线la(参见图4b)成大约30度的角度a。
如果在每个相机组件132、134中使用60度镜头，则旋转角度能够略小于约30度，使得除了中心和车辆前方的小三角形之外的120度fov内的所有区域都得以成像。所示导航和天线组件112安装在车顶126的外表面的中心。
提供可能更高精度的可选配置是将相机组件132、134移动到尽可能靠近导航和天线组件112的位置，使导航和天线组件112略微向后移动，使得相机组件132、134会分别接触彼此。
对于一些系统，诸如图3中所示的笔记本电脑80的便携式计算设备能够用于接收、采集和处理图像、导航和imu数据。如图3中所示，笔记本电脑或其他处理器80在使用期间可以驻留在车辆中，并且在需要时可以从车辆上移除，或者作为车辆的一部分永久固定。笔记本电脑80构成导航系统的显示器，其操作通过根据本发明的位置确定而改变。
在一些实施中，笔记本电脑80的唯一处理是利用提供每个图像的相机的位移和角度坐标来标记接收的图像，并且利用从导航单元计算出的校正来更新imu。imu可以是导航单元的一部分。然后图像将保留在笔记本电脑80上，并且立即或稍后通过笔记本电脑80的远程通信能力传送到远程站点。
在远程站点处，可能会有另一个处理单元进一步处理数据以创建地图。在其他实施中，图像由处理单元执行的计算机程序处理，以使用配置或训练成识别图像中的杆和其他地标的模式识别技术(例如神经网络)搜索地标。在这种情况下，只有地标数据需要传送到远程站点的处理单元以供计算机程序处理。最初将使用第一个过程，但在地图完全开发和运行后，只有指示地图变化或误差的地标数据才需要传输到远程站点的处理单元。
图5a示出了将本发明的测绘系统集成到生产车辆150中，其具有结合到车辆150的a柱156中的相机组件151、152。天线161、162集成到车顶155的表面154中或与其结合，使得其不可见。导航和其他电子装置集成到智能手机尺寸的封装170中并且在车顶155下方安装入车辆150的顶篷157中。
图5b类似于图5a，将第三相机组件153纳入顶篷157中，从而提供近似180度的总fov。
图5c类似于图5a和图5b，示出了具有并置在车辆中心的两个相机151a、152a的实施方式。相机组件151a的视场指定为fov1，而相机组件152a的视场指定为fov2，并且fov1和fov2中的每一个为约60度，总fov为约120度。在图5a、5b和5c中，展示了该系统的制造意图设计，其显示了只有相机组件151、151a、152、152a和153的镜头会从挡风玻璃158和车顶155之间的结合处附近突出。从该位置，每个获得的图像的相当大的部分被车顶155和挡风玻璃158阻挡，并且特别地，如果例如使用90度镜头，则对于超过60度的角度将丢失图像的很大部分。由于使用90度镜头获得的益处很少，并且每度的像素数量会从64减少到约43，所以对于这些实施方式来说优选的是60度镜头。
相机组件151、151a、152、152a和153不需要安装在相同的位置，并且如果其放置在a-柱156处的车盖155的边缘处，例如如图5b所示，那么不同角度(比如90度)的镜头的优点可能很有说服力。这里的权衡是在于用imu注册相机组件。系统依赖其准确性了解由imu确定的相机组件的位置和指向。如果相机组件的位置及其指向方向相对于imu而言未准确知晓，则会引入误差。如果相机组件与imu非常靠近并刚性安装在同一刚性结构上，则其之间发生未知位移或旋转的可能性大大降低。对于两个相机组件和120度的fov，如图5c中所示，这是一种优选的配置，并且需要将这些设备尽可能近地安装在一起。
当本发明的系统用于确定在低能见度情况下的车辆位置并且在笔记本电脑80的显示器上显示车辆位置时，可以在车辆150的每一侧的前部设置ir泛光灯180以增大车辆150的前大灯178的照明。在这种情况下，相机组件需要对近红外照明敏感。
在一些实施方式中，可以提供将fov延伸到180度或更多的额外相机或广角镜头。这允许系统监视街景场景并报告更改。
优选地，图5a、图5b和图5c中所示的实施方式包括用于在低能见度条件下(例如在夜间)定位车辆150的无源ir。
在图3a的方框60中使用的电子器件一般在图6中的60处示出为框图。电子器件包60的重要组件是gnss辅助惯性导航系统，其包括姿态和航向参考系统(ahrs)，在本文中统称为an301。ahrs通常包括三个轴上的传感器，其提供包括滚转、俯仰和偏航的姿态信息，也称为imu。它们旨在取代传统的机械陀螺仪飞行仪器，并提供卓越的可靠性和准确性。本文中使用的优选系统称为空间对偶(spatialdual)，由澳大利亚的advancednavigation制造(https://www.advancednavigation.com.au)。请参阅advancednavigation提供的advancednavigationspatialdualflyer，以获取有关an301的更完整说明。
当与rtk差分gps一起使用时，水平位置精度约为0.008m，垂直位置精度约为0.015m，动态滚转和俯仰精度约为0.15度，航向精度约为0.1度。当本发明的系统批量生产时，提供了一种特殊的导航设备，其具有与an相似的特性，可能成本更低。在此之前，在本发明中可以使用可商购的an。
an301包含imu和两个隔开的gnss天线。天线提供获取精确的航向(偏航)信息的能力。此外，an301还包含接收器，用于接收来自omnistar和rtk差分校正系统的差分校正。精确的测绘可以通过任一系统获得，甚至不需要任何差分校正；然而，需要的图像越多，可用的位置和角度精度就越低。当rtk可用时，图像获取车辆一次能获得10cm的杆位置精度，而当只有omnistar可用时，可能需要10次，而在没有差分校正可用时，可能需要50至100次。
在图6中，302表示usb2至gpio通用输入/输出模块，303表示处理器，304表示wi-fi或等同通信单元，306表示用于附加相机的扩展usb端口(除了电子器件包60之下所示的两个相机之外)。
5.不使用卫星导航系统的情况下确定车辆位置
图7的流程图示出的技术是用于使用摄影测量法来校正imu误差以消除对gnss卫星的需要，从而允许车辆使用地标和地图来定位其本身，并且导致在诸如运行在笔记本电脑上的导航系统的显示器上显示车辆位置。imu数据的处理基于来源于图像处理的关于每个地标的位置信息与获取自地图数据库的同一地标的位置信息之间的差异来进行调整。原始imu数据和/或集成的原始imu数据(从原始imu数据集成的位移、滚转、俯仰和偏航)可以进行调整，两者都可以提供调整(误差修正或误差补偿)的位移、滚转、俯仰和偏航。如果来自imu的数据整合的最终结果有一定量的误差(对于同一地标，在两个位置确定之间存在差异)，则将转换测量的属性(加速度/角速度步骤403)为距离或角度(步骤405)的系数用以修正误差(例如在步骤404中)。这样的系数应用于原始数据(步骤403)或者原始数据的整合之后(步骤405)。该系数的数值取决于其应用的时间而有所不同，并且基于地标位置差异分析。
在图表中“fid”意味着地标。该流程图一般在400处示出。下面列出了每个步骤。步骤401为开始。步骤402是设置初始数据，包括卡尔曼滤波器的参数。步骤403是以100hz的频率读取(检测)imu数据：加速度
步骤411是关于新图像是否可用的查询。如果是，则步骤412将从地图预先加载关于先前在当前区域识别的地标的信息，步骤413是已知地标nj，j＝1，...，m的识别，并且步骤414是关于是否在图像中识别一个或多个地标的查询。如果是，则步骤415从地图(数据库)中检索第j个地标的坐标λj、φj、hj，步骤416计算地标的局部角度θj和γj，步骤417将imu测量带到静止图像的时间(同步)，并且步骤418是第二观察矢量的计算：
在步骤419中，查询是否存在用于误差补偿的新数据。如果有，则步骤420利用卡尔曼滤波器进行递归估计值：
该技术的一个重要方面是基于这样一个事实，即基础设施中的许多部分是不变的，并且一旦准确测绘，具有一个或多个安装好的相机的车辆能够精确地确定其位置，而无需借助卫星导航系统。该精确位置用于任何已知的目的，例如在导航系统的显示器上显示车辆位置。
最初，基本是通过识别道路附近的环境中的对象来创建地图，并且通过图片拍摄技术，使用摄影测量来确定这些对象中的每一个的位置，如pct/us14/70377号和us9,528,834号国际专利申请中所述。然后地图能够由至少部分车辆驻留的路线引导系统使用，以允许车辆从一个点导航到另一个点。
使用这种摄影测量技术，能够自主驾驶车辆，使得车辆不会靠近或者理想上不会影响道路上或道路附近的任何固定对象。对于自主操作，基于位置确定而被控制的车辆部件包括车辆引导或转向系统96、包括发动机98的车辆油门系统、车辆制动系统94(参见图3a)和其他需要根据车辆位置进行控制以允许自主操作的系统中的一个或多个。能够基于车辆位置(相对于地图)来控制车辆制动系统94、车辆引导或转向系统96和发动机98以沿着到目的地的路线引导车辆(通常称为路线引导)的方式是本发明所属领域的技术人员已知的。
为了进行路线引导，将校正的当前车辆位置输入到一个或多个车辆部件控制系统以使其改变其操作，例如转动车轮、放慢速度，而不是使用校正后的当前车辆位置来显示在导航系统的显示器上，例如在笔记本电脑80上。当在导航系统(例如笔记本电脑80或车辆中其他系统)上显示时，基于校正的当前车辆位置来控制显示器的内容，以显示校正的当前车辆位置周围的杆、地标、地形等。
由于该技术将生成精确到数厘米的地图，其应该比现有地图更精确，因此即使在能见度较差的情况下也适用于自主车辆引导。车辆在地图创建阶段的位置将由gnss卫星和差分修正系统确定。如果rtk差分gnss可用，则车辆定位精度可望在数厘米以内。如果使用wadgnss，则准确性在分米级别。
一旦创建了地图，车辆中的处理单元就拥有了基于地图数据库中表示的地标来确定其位置的选项，该位置被认为是车辆的位置。下面描述了能够完成这个过程的方法。对于该过程的举例说明可如下所示，但其为非限制性和非排他性步骤：
1.拍摄车辆周围环境的照片。
2.从车辆驻地地图数据库中，确定应该在图片中的已识别的地标(地标)及其预期的像素位置。
3.定位如图所示的每个已识别地标的像素(注意，某些地标可能会被其他车辆遮挡)。
4.确定获取图片的每个车辆相机组件的imu坐标和指向方向。
5.对于每个地标，构成包含误差的方程作为每个imu坐标(3位移和3个角度)的未知项，这将校正imu坐标，以便地图像素与图片像素重合。
6.使用比6个imu误差未知项更多的方程，例如10个地标。
7.使用单纯形法(simplex)或其他方法解出误差未知项，以获得每个坐标中误差的最佳估计值，并且(如果可能)指示哪些地标具有最不准确的地图位置。
8.当像素基于新的校正重合时，用新的误差估计校正imu。这类似于使用带有dgnss校正的gnss信号来进行校正。
9.记录最可能是最不准确的地标的新坐标，其能够用来修正地图并将其上传到远程站点。
这个过程可以从以下考虑进一步解释。
1.由于每个地标将有两个方程，一个用于图像中的垂直像素位移，另一个用于横向像素位移，因此只需要3个地标来解决imu误差。
2.如果我们使用4个地标(一次4(n)个对象取3(r)个)，我们得到(n！/(n-r)！*r！)＝4个imu误差估计值，对于10个地标我们得到120个误差值。
3.由于少数地标可能有大量的imu误差估计值，所以问题是要决定使用哪一套。这超出了本说明书的范围，但是这些技术对于本领域技术人员而言是已知的。一旦做出选择，就能够对地标的地图位置精度进行判断，并且能够使用新图片来校正地图误差。这将指导选择要上传的图片以用于将来的地图更正。
4.误差公式的形式可以是ex*vx+ey*vy+ez*vz+ep*vp+er*vr+ew*vw＝dx，其中
1.ex＝纵向上未知的imu误差
2.ey＝垂直方向上未知的imu误差
3.ez＝横向未知的imu误差
4.ep＝俯仰角度中未知的imu误差
5.er＝滚转角度中未知的imu误差
6.ew＝偏航角度中未知的imu误差
7.vx等＝关于x像素位置的各种坐标和角度的导数
8.dx＝地图和图片地标横向像素位置中的差异(这将是像素角度的函数)
9.对于dy有一个类似的方程。
使用上述过程，车辆上的处理单元在存在或知晓测绘地标的情况下，能够快速确定其位置并在其imu中校正误差，而无需使用gnss卫星。一旦地图就位，车辆就不受卫星欺骗、干扰、甚至可能在战时发生的卫星毁坏的影响。实际上，只需要一个测绘的地标的话，只要至少三个图像由来自三个不同位置的地标组成。如果图像中有三个地标可用，则车辆只需要一张图像即可校正其imu。图片中的地标越多，特定地标的图片越多，会更好地估计imu误差。
为了利用这种车辆定位和imu纠错方法，地标必须对车辆相机组件可见。通常，前大灯将为夜间驾驶提供足够的照明。作为附加的辅助，可提供如图5a、5b和5c中的180的近红外泛光灯。在这种情况下，相机组件需要对近红外频率敏感。
6.系统实施
图8是根据本发明的用于地图创建方法的在“云”中执行的计算的流程图。步骤如下：
在车辆450上，发生以下步骤：步骤451，获取图像；步骤452，获取imu角度和位置；步骤453，压缩获取的数据以供向云传输；步骤454，将压缩后的数据发送给云。
在云460中，发生以下步骤：步骤461，从测绘车辆接收图像；步骤462，使用诸如神经网络的模式识别算法识别地标；步骤463，当识别地标时分配id；步骤464，将地标和分配的id存储在数据库中；并且当没有识别的地标时，步骤465，在数据库中搜索多重相同的id条目。如果没有，则过程返回到步骤461。如果在步骤465中确定的数据库中存在多重id条目，则步骤466通过计算经过认为地标参考点的向量的交叉点将其一对进行组合以形成位置估计值。
本发明的一个重要方面是使用两个图片，每个图片包括相同的地标，并且由基于图像绘制的两个矢量的交点和采集每个图像时的已知车辆位置来计算地标上的点的位置。立体相机之间距离很大的情况即为立体视觉，因而交叉点计算的精度很高。结合组合图像(n*(n-1)/2)的方法，只需一次经过并且可能有10个地标图像即可获得高度精确的位置确定。
步骤467是对于是否存在更多对的查询，如果是，则过程返回到步骤466。否则，过程前进到步骤468，组合位置估计值以找到车辆的最可能的位置；步骤469，设置车辆在地图上的位置；步骤470，使得更新的地图数据对车辆可用。从步骤470起，该过程返回到步骤465。
图8中描绘的系统处理通常会在地图创建的早期阶段使用。由于许多地标没有被选择，所以希望保留所有获取的图像以允许追溯搜索已添加的新地标。当地图可靠并且没有新的地标添加时，不再需要保留整个图像，并且大部分数据处理能够发生在车辆上(不在云中)，并且只有有限的数据传输到云。在此阶段，由于只有地标信息从车辆450传输到云460，所需带宽将显着降低。
云460表示远离车辆450的位置，最一般地是与车辆450无线通信的车外位置。云460不限于通常被认为构成云的实体，并且可以是任何单独的和与处理单元驻留的车辆分开的位置。
图9是用于图像压缩的在车辆上执行的计算的流程图。步骤如下：
在车辆500上，发生以下步骤：
步骤501，获取图像；
步骤502，获取采集图像的imu角度和位置；
步骤503，使用模式识别算法(如神经网络)识别地标；
步骤504，将id分配给识别的地标；
步骤505，压缩获取的数据以供传输给云；以及
步骤506，将压缩后的采集数据发送给云。
在云中，会发生以下步骤：
步骤511，接收图像；
步骤512，将接收到的图像存储在数据库中；
步骤513，在数据库中搜索多重相同的id条目，并且当找到一个时，
步骤514，组合一对来形成位置估计值。如果没有找到多重相同的id条目，则在步骤511中接收附加图像。
在步骤515中查询是否存在更多对多重相同的id条目，如果是，则每个都是步骤514中的过程。如果不是，则在步骤516中，组合找到(车辆的)最可能位置的位置估计值，并且在步骤517中，将车辆位置设置在地图上。在步骤518中，使更新的地图对车辆可用。
一旦地图已经被创建并存储在车辆500上的地图数据库中，基本上到云510的唯一传输将涉及地图的改变或精确度改进。这将大大降低带有系统的车辆的数量不断增加时的带宽需求。
7.图像失真
相机组件拍摄的场景图像可能会出现几种失真现象。一些是由于相机组件的镜头中的像差，当镜头包含不完美的几何形状时，这些像差会引起局部变形。能够通过拍摄已知图案的图片并查看与已知图案的偏差发生位置来定位和校正这些图案。地图能够由这些误差组成，并使用该地图对图像进行校正。这种图像校正可能在图像处理期间执行，例如由处理单元接收来自相机组件的图像的一种预处理步骤。
桶形失真是由于使用曲面镜头在平面上形成图案而引起的失真造成的。其特征在于如图10a中所示的其他直线的弯曲。在这种情况下，图像侧面的直杆351、352向图像的中心弯曲，而已经位于中心或附近的杆353、354不会出现这种弯曲。这种失真不随镜头变化，也能够绘制出图像。这种图像校正可能在图像处理期间执行，例如由处理单元接收来自相机组件的图像的一种预处理步骤。
相机通常具有全局或滚动快门。在全局快门情况下，所有像素同时曝光，而在滚动快门的情况下，首先将最上面的一行像素曝光，并将数据从成像芯片转移出来，然后对第二行像素进行曝光等。在滚动快门的情况下如果在拍摄图片时相机正在移动，与图10b中的远端杆362相比，垂直直线看起来向左弯曲，如附近的围栏杆361所示。因为失真量是例如快门速度、车辆速度和对象与车辆距离的函数，所以滚动快门引起的失真的校正更为复杂。快门速度能够通过对从相机组件传输的第一个和最后一个数据来确定。车速能够从里程表或imu获得，但与对象的距离更加成问题。该确定需要比较一个以上的图像以及两个图像之间发生的角度变化。通过三角测量，知晓车辆在两幅图像之间移动的距离可以确定到对象的距离。
通过上述方法，能够从图像中计算去除已知的失真。
本发明的一些实施方式的重要部分是包含关于车辆行驶的道路的相关信息的数字地图。如本文其他地方所讨论的，本发明的数字地图通常包括道路边缘的位置、路肩的边缘、道路的高程和表面形状、道路之外的土地特征、树木、杆、护栏、标志、车道标记、速度限制等。这些数据或信息是以独特的方式获取以用于本发明，并且用于通过特殊或探测车辆获取信息，以及其转换到或者包含于可由车辆系统访问的地图数据库中的方法是本发明的一部分。
地图数据库中的地图还可以包括道路状况信息、紧急通知、危险警告和用于改善车辆道路系统安全的任何其他信息。地图改进能够包括提供基于定位的服务的兴趣点和商业设施的存在和位置。这些商业位置能够付费以增强其存在表现以及车辆的驾驶员或其他乘员可能感兴趣的广告和附加信息。这些额外的信息可能包括营业时间、油价、特别促销等。再次，商业设施的位置能够从探测车辆获得，并且商业设施能够支付以向地图数据库添加额外信息以在导航系统的显示器中显示的地图上存在设施的位置时呈现给车辆乘员。
关于道路的所有信息，包括临时的和永久的，都应该是地图数据库的一部分，包括速度限制、护栏的存在、每条车道的宽度、公路的宽度、路肩的宽度、道路之外的土地特征、杆或树和其他路旁对象的存在、交通控制标志的位置和内容、可变交通控制装置的位置等。与地图上的特定位置相关联的速度限制可以以这样的方式编码，即速度限制能够取决于一天的时间和/或天气情况。换言之，速度限制可以是根据条件随时间变化的变量。
可以设想，至少当车辆在自动控制下运行时，将存在用于各种地图信息的显示，该信息对于乘客和/或驾驶员总是可见的。因此还能够在该显示器上显示附加的用户信息，例如交通状况、天气状况、广告、餐馆和加油站的位置等。
随着内存价格的不断下降，现在能够在车辆上驻留非常大的地图数据库。很快就有可能将整个国家的地图数据库存储在车辆上，并在更改时对其进行更新。例如距离车辆1000英里以内的区域当然能够被存储，并且随着车辆从一地行驶到另一地，例如通过连接到因特网能够根据需要更新数据库的其余部分。
当提到正在操作以执行通信功能的车辆时，应理解的是，车辆包括处理器、处理单元或其他处理功能，其可以是计算机的形式，其耦合到至少包括能够接收无线或手机通信的接收器的通信单元，因而该通信单元正在执行通信功能，并且处理器正在执行处理或分析功能。
如果另外记录imu俯仰和滚转传感器的输出，则能够在地图上添加道路地形图，以指示道路上的一侧到另一侧以及向前至后坡。然后该信息能够用来提醒车辆可能影响驾驶安全的道路坡度中的意外变化。其还能够与坑洞信息一起使用，以就需要修理的地方引导道路管理。
可以提供许多附加的地图增强功能来提高公路的安全性。本文中描述的测绘相机能够包括在其视场中的停车灯并且当车辆被确定为正在接近交通灯时，即处于允许相机确定停车灯的状态的预定距离内，并且由于系统会知晓交通灯的存在，因为其将记录在地图上，车辆将知晓何时查找交通灯并确定灯的颜色。更一般地，用于获得关于提供可变信息的交通相关装置的信息的方法包括向车辆提供包括装置位置的地图数据库，确定车辆的位置，以及在确定车辆的位置接近如在数据库中已知的每个装置的位置时，使用例如车载相机获得装置的图像。该步骤可以由本文中公开的与地图数据库和车辆位置确定系统交互的处理器执行。分析图像以确定装置的状态需要光学识别技术。
当rtkgnss可用时，探测车辆能够在数厘米内知晓其位置，并且在一些情况下可以在一厘米内知晓其位置。例如，如果这样的车辆以小于100kph行驶，则能够从道路附近的每个地标获得至少三到四个图像。从这三到四个图像中，每个地标的位置能够在10厘米以内获得，这足以形成道路和附近结构的精确地图。探测车辆的一次经过足以提供精确的道路地图，而无需使用特殊的测绘车辆。
8.总结
尽管已经在附图和前面的描述中详细说明和描述了本发明，但是其应认为是说明性的而不是限制性的，应当理解，本文仅示出和描述了优选实施方式，并且希望保护在本发明精神范围内的所有变化和修改。