使用测绘车辆的地图测绘技术的制作方法

本发明泛指涉及使用在道路上行驶的测绘车辆对包括道路在内的地形进行测绘的策划和方法，其中每个车辆包含具有gps校正的imu有关的一个或多个相机。

背景技术：

背景信息的详细讨论在美国专利申请序列号第14/069,760号和第13/686,862号。

用于感测当前正在生产的气囊电子碰撞传感器，包括测量传感器位置处的加速度的一个或多个mems加速度计。这些加速度计通常通过微加工单晶硅而产生，并且感测元件通常以波束或音叉的形式。硅晶体通常具有可导致加速度计的机械结构随着时间和/或温度不可预测地几何改变的残余应力。结果，加速度计的性质同样可随时间和温度而改变。为了克服这个固有的问题，加速度计中设计了额外的装置，以允许施加加速度感测波束或音叉并对其进行响应测试。这些加速度计将随着其性能的变化而不断进行自我测试和调整，以保持适当的校准。这增加了加速度计和传感器软件设计的成本和复杂性。如果同时测试多个轴，这种自检功能也会使设备设计日益复杂化。

加速度计也用于车辆导航系统，例如在某些状态的铲雪车上，用于将车辆准确地定位在积雪的道路上。然而，不是通过使用gps来校准每个惯性装置，而是在实验室中校准的固有的精确装置。它们用于在gps读数之间插入车辆位置。这些设备不用于确定摄像机的角度位置。

本文和相关申请中提及的所有专利，专利申请，技术文献和其它参考文献通过引用整体并入本文。不承认这些参考文献中的任何一个或全部是现有技术，实际上，预期它们可能不能作为现有技术。

说明书和权利要求书中使用的术语的定义也见于上述申请。

发明综述

为了实现用于创建围绕和/或包括道路地形的地图新的和改进的方法和布置，根据本发明用于测绘包括一个或多个道路地形的方法和系统包括配备有至少一个照相机的车辆，确定其位置的位置确定系统和惯性测量单元(imu)，当通过来自位置确定系统的读数校正时，提供相机和imu的位置和角度定向，所有这些硬件都被设置为一组彼此相关联的设备。远离车辆的远程位置的处理器从车辆接收数据，并且通过识别可以从同一辆汽车或者从多辆汽车获得的多个图像中的共同对象，将与来自相机拍摄的图像中与该对象相关的信息转换成包括该对象的地图，同时包括获得这些多个图像时其拍摄位置信息和惯性测量信息以及相机，位置确定系统和imu的配置的参数。从图像转换获得的信息，位置信息和惯性测量信息导出的信息通过车辆上的通信单元发送到处理器。位置确定单元，imu，照相机和通信单元可以组合成一个集成的设备，以便于将改装应用于一个或多个车辆。

在本发明中，使用便宜的惯性mems装置，但是使用gps频繁校准，而不是对加速度计进行自检，将加速度仪的集成输出与车辆的gps位置和角度定向进行比较，并且使用差异来修改用于加速度计的加速度值和用于陀螺仪的角速度，并且该数据用于确定车辆的位置和/或角度定向。如本文所使用的，“gps”是指能够通过与卫星通信来确定其位置的全球定位系统设备，单元或组件。对于一些实施例，角度取向是重要的，因为当获取图像时，其确定成像器指向的方向，这是确定出现在图像中的空间中的物体的位置的重要参数。与单加速度传感器或双加速度车辆碰撞传感器相比，设备中使用了额外的加速度仪和陀螺仪，由于需要对每个加速度仪或陀螺仪进行自检，因此不再需要额外的复杂性。事实上，卡尔曼滤波器和/或神经网络技术不仅允许针对每个加速度仪和陀螺仪来校正计算，而且考虑在某一个加速度仪或陀螺仪中的误差(例如由于校准误差)可能对另一加速度仪或陀螺仪的读数产生影响，此技术也有消除这些误差的效果。

昂贵的导航系统有时使用惯性测量单元(imu)。这样的单元由三个加速度计和三个陀螺仪组成，允许测量装置的角运动和线性位移。通过卡尔曼滤波器和/或神经网络，可以使用gps确定的位置来校正装置的角位移和位置位移。当在本发明的测绘系统中使用imu时，gps可以对惯性装置的各个测量值产生校正，而不是对角度运动的积分和加速度计的速度或加速度的积分。

这些单独的读数指向车辆角度和位移确定算法，该算法由诸如计算机的处理器并入或执行以用于确定车辆的位置和方位。通过消除自我测试要求，与实施自检的可比设备相比，imu变得廉价。这种纠错方法特别纠正了加速度计和陀螺仪与车辆坐标系对准误差，这是通过自检无法消除的重大误差源。

可以使用三个加速度计和三个陀螺仪来设计imu，如在常规imu中，或者可以使用六个加速度计。每个设计都有优缺点，并在“196”专利中进行了讨论，这里不再赘述。在本发明中可以使用两种设计。

由于老化和温度对mems器件的机械性能的改变通常起缓慢作用。因此，惯性装置的特性不会迅速变化，因此如果车辆进入gps接收不良的区域，则即使这样需要几分钟，gps接收恢复也不会导致惯性装置的精度损失。这种惯性装置的校正方法被认为比例如常规气囊碰撞传感器使用的标准自检方法更为准确。另外，由于gps信号的大气干扰的变化也缓慢地发生，所以不需要车载差分校正装置，类似地简化了系统设计。虽然由于这种影响，实际位移可能会有重大错误，但是由gps接收的一个实例到另一个后续的gps接收实例的这些位移的变化是相当准确的。

为了使用gps来校正imu加速度计和陀螺仪，不需要在车辆上进行精确的绝对定位，因为它是由gps测量的位置变化，使用公共卫星组和被比较的imu数据。因此，不需要差分校正。它们可以应用在执行地图创建的远程位置，因为如果远程位置知道接收gps信号的时间和接收车辆的大致位置，并且优选地如果它也是可以知道要应用的广域差分校正知道用于进行位置计算的特定卫星。稍后应用差分校正可以将gps误差降低到10厘米以下(1西格玛)。

虽然本发明可以有效地使用各种数量的惯性装置，但是通过使用更多而不是更少的装置，几乎不超过每加速度仪或陀螺仪1美元，系统的成本负担是很小的。计算复杂度是最小的，因为不需要频繁地执行计算，并且可以将公共微处理器或处理器用于gps和惯性设备计算。在一些实施方案中，可以添加诸如温度传感器或调整到不同灵敏度范围的附加加速度仪之类的附加装置，以便改善系统的能力，并可使装置对其他应用有用，例如一般导航，碰撞感测和电子稳定性控制。加速度仪现在的可用范围可以动态设置，以便同时使用相同的加速度仪一些时间进行导航，需要时也可用于碰撞感测。可以使用各种版本的卡尔曼滤波器和/或神经网络将gps和imu系统耦合在一起，如下所述。在一些实施例中，可选地使用经过训练的神经网络来补充卡尔曼滤波器，而不是作为其替代。

通常，gps采用单个接收天线。在这种实现中，可以计算与天线一致的点的位置。为了从gps读数确定车辆的角度方向，可以少量额外的费用使用额外的天线。例如，三个天线的组合提供角度定向信息以及位置信息。多个天线还给出提供本领域技术人员已知的多径效应的一些校正以及更准确的角运动确定的机会。

在优选的实施方案中，系统的能量要求足够低，从而避免了车辆电池的过载负担。因此，在本发明的优选实施方式中，gps和imu系统始终处于开启状态。如果车辆没有移动很长时间，则可以将设备置于睡眠模式，并在任何显着的运动中唤醒。

包括磁力计或里程表的其他传感器可以并入系统以提高系统性能，其中一些已经在“196专利”中讨论过，这里不再重复。本发明还考虑了连续的改进过程，其中可以从因特网无线地更新嵌入系统的软件，例如，获得关于被测绘的路标或更好的算法的附加信息。

虽然在本说明书中使用了gps，但是应当理解，可以单独地或与gps组合使用任何导航gnss卫星，包括glonass，galileo等。通常，这样的系统在本文中被称为基于卫星的定位系统。

对于本领域技术人员来说，其他改进是显而易见的。上述特征是说明性的而不是确定性的。

例如，本发明利用gps卫星定位技术，还可以采用诸如mir或rfid三元组或雷达和反射器等其他技术以及激光测距仪，以获得使用车辆的位置和方位在用于获得图像的系统中，用于稍后处理以创建地图，如相关专利中所述。本文描述的发明不限于在优选实施例中公开的具体gps设备，而是旨在与任何和所有这样的可应用的卫星和基础设施定位设备，系统和方法一起使用，只要这样的设备，系统并且方法生成可以由计算机分析以便实时准确地量化车辆位置和取向参数的输入信号。因此，除非特别指出，通常在本公开内容中显示和引用的gps和相关设备和方法旨在表示适合于确定这种位置和取向参数的任何和所有设备。

此外，公开了执行各种控制操作的几个处理器或控制器。处理器的具体形式对于本发明并不重要。在其优选形式中，计算和分析操作被分成几个协作计算机或微处理器。然而，通过本领域普通技术人员熟知的适当的编程，本发明可以使用单个计算机来实现。因此，申请人的意图不是将其发明限制在处理器或计算机的任何特定形式或位置。例如，可以想到，在一些情况下，处理器可以安置在连接到车辆的网络上，例如连接到因特网的网络。

在整个披露中存在进一步的例子，并且申请人的意图不是将本发明的范围排除在说明书中未明确标识的结构，材料或动作的使用，而是能够执行要求保护的功能。

本发明的上述和其它目的和优点通过以下总结和描述的优选实施例来实现。

附图说明

以下附图说明了使用本文公开的至少一个发明的讲解开发或改进系统的实施例的说明，并不意味着限制权利要求所涵盖的本发明的范围。

图1是示出各种车辆和imu速度的图

图2是示出gps系统，摄像机和惯性测量单元的组合的逻辑图框图。

具体实施方式

本发明的目的是提供一种用于工具车辆的测绘系统。为此，提出了主要用于大规模生产的汽车的gps校正的imu角位移线位移位置系统的基本工程解决方案。这个目标是通过以下方式实现的：

1)使用包含相机，gps或等效接收器，通信设备，imu和ecu设备，其包括具有安装在适当位置的惯性测量单元(imu)的电子控制系统，用于对车辆以外的区域进行拍照。

2)按照大规模生产的mems技术制造imu，成本为每单位几美元。imu可以包括3个加速度计和3个陀螺仪，或更一般地，多个加速度计和/或多个陀螺仪。有时，它还包括一个3轴磁力计。

3)更换昂贵的当前使用中的自校准系统，用于校正传感器参数中变化的误差，并借助gps信号应用imu陀螺仪和加速度计重新校准程序。gps传感器的成本也是每单位几美元。

4)此外，可选择使用车辆的零横向和垂直速度，以及imu校准的速度计和里程表读数。

5)此外，可选择校正加速度计读数中的重力加速度的凸起，当车辆倾斜时，以及在转动操纵期间的离心加速度。

根据本发明的一个实施例的用于使用测绘车辆生成地图的imu示例性非限制性系统的优选规范如下：

1)假设允许的加速度仪测量误差为约5％或约0.075g。

2)公路和城市(v<100公里/小时)道路的最大纵向坡度约为5％(2.86度)，对应于约0.05g的线加速度。道路的交叉斜坡约为2.5％(1.43度)，相当于线加速度约为0.025g。

3)相对于水平面的车辆倾斜的附加来源的预期值如下：

振动小于约5度；

轮胎压力不均匀<1度；

-不均匀负载<2度；

-减震器刚度不均匀<1度；

相对于轿厢水平轴的加速度计灵敏度轴取向的制造误差<1度。

考虑到道路坡度和车辆倾斜度具有随机独立的值，可以获得加速度计相对于水平平面的灵敏度的平均最大斜率为：

aa＝(2.86²+5²+1²+2²+1²+1²)^1/2＝6.4度

由于纵向斜率，垂直加速度对加速度传感器轴的灵敏度的投影为ah＝gsin6.4°＝0.11g，即使不考虑加速度仪误差，也就是相当于测量中容许误差的一半。

4)在机动转向(图1)期间，车辆纵向轴线的速度向量偏差为αv＝1度左右(v＝30мph，横向加速度约为0.1克，转弯半径为约180m，车轴间距约为4m，传感器安装在与前桥约1m的距离处)。

imu，gps接收器，照相机，ecu和通信设备可以安装在类似于android智能手机的单个小型设备中，并且安装在测绘车辆上的便利位置处，其中相机具有围绕该测绘车辆周边一部分环境的清晰视野。优选地，该视野捕获车辆前方道路的一部分和至少部分地到达车辆两侧的地形。优选的安装位置包括在前大灯前面的前格栅或挡泥板上，在位于中心或侧面或任何其它位置的测绘车顶上，提供车辆前方的道路和车辆两侧地形的清晰视图。为了实现这一点，相机可以具有约45至180度的水平视野，尽管较小的视场也是可行的。

图2示出了具有可以被改装到大量测绘车辆上的独立单元100。gps卫星星座在2处被示出。可选地，在4处示出了dgps校正基站。可以看起来类似于智能电话的独立单元大体上在测绘车辆16上以100示出，并且包括gps和可选的dgps处理系统6，惯性测量单元8，照相机10，地图数据库12和ecu20。最初，这些具有各部分的单元100可以被改装到可能的政府拥有的车队上，以启动地图创建过程。之后，它们可以改装到任何数量的公共和私人车辆上。预计独立单元的大小和成本将远远低于智能手机。

当通过照相机10获取图像时，可对其进行编码处理和输入到诸如ecu20中的神经网络的图案识别算法中的编码数据。在一个优选实施方式中，来自照相机10的每个图像的像素为排列成向量并扫描像素以定位对象的边缘。当通过处理ecu20中的硬件和/或软件找到边缘时，可以将与像素对应的向量中的数据元素的值设置为指示像素中的边缘的角度取向。例如，垂直边缘可以分配1和水平元素8，以及根据角度分配1到8之间的角度。如果没有找到边缘，则可以将像素数据分配为0.当该向量被输入到经过适当训练的神经网络中时，网络算法可以输出指示杆子，树，建筑物或其他所需被识别的地标已经被识别并且提供地标的像素位置。这可以以高精度来实现，因为神经网络已经被正确地训练有素，有充分的被寻找的地标的例子。神经网络的发展是本领域技术人员已知的，由发明人发现可能需要大量向量来构成用于神经网络的训练数据库。在某些情况下，培训数据库中的向量数量可能接近或超过一百万。只有那些清楚可辨认的物体才被选为地图中的地标。

例如，一旦已经识别出表示杆子的像素，则可以基于照相机10的位置和角度，从摄像机沿杆子方向延伸出一个或多个矢量。当杆子被两个图像识别时(来自相同或不同的相机10)然后可以计算矢量的交点并确定空间中的杆子位置。

上述神经网络基于使用地标的边缘来形成由ecu20中的神经网络分析的向量。这仅是用于形成像素中神经网络向量观察物体属性的大量这样的技术之一。其他包括颜色，纹理，材料性质，反射性等等，并且本发明不应该限于形成神经网络矢量或所选择的像素属性的特定方法。

神经网络可以被实现为通用微处理器上的算法或专用并行处理dsp，神经网络asic或其他专用并行或串行处理器(ecu20的一部分)或与之独立的算法。当使用并行处理器时，处理速度通常会更快。存在其它通过石榴石晶体识别物体的光学方法，例如形成物体图像的傅立叶变换。这在美国专利中有所讨论。第7,840,355号。

重要的是要注意，未来的gps和伽利略卫星系统计划用于民用的多个频率的传输。与透镜一样，电离层通过不同的量衍射不同的频率(如在彩虹中)，因此特定频率的到达时间取决于该频率的值。这个事实可用于确定每个频率衍射的量，并因此确定电离层引入的延迟或误差。因此，由于特定卫星发射的频率不止一个，大致相当dgps的校正可以由每个接收机确定，并且不再需要dgps，wadgps，waas，laas和类似的系统。

关于临时和永久道路的所有信息都应该是地图数据库12的一部分，包括速度限制，护栏的存在和特性，每个车道的宽度，公路的宽度，路肩的宽度，道路外延处地貌的特征，存在杆子或树木和其他路边物体，确切地在所选择的地标所在的位置，交通管制标志的位置和内容，可变交通管制设备的位置等。与地图上特定位置相关联的速度限制应以这样的方式进行编码，即速度限制可以取决于例如诸如时间和/或天气条件的因素。

测绘车辆16的行进速度在某种程度上取决于图像所需的精度，因此就取决于拍照时的光线和成像器的质量。在道路平直的一些情况下，例如，测绘车辆16可以以中等速度行驶，同时获得边界和车道位置信息。然而，在图像中存在多个测绘地标的情况下，获取和处理图像的速率可能会对测绘车辆16的速度产生限制。当然，当存在大量需要测绘的地标时，可以存储图像，稍后处理。

在这方面，可以向测绘车辆16的驾驶员提供指示基于照相机10在测绘车辆16上获得的图像中的地标数确定并显示最大速度。如果测绘车辆16是自动驾驶车辆，那么其速度可能受到已知的控制系统摄像机10获得的图像中需要测绘的地标数所限制。以相同的方式，测绘车辆16的最高速度可以通知驾驶员进行控制，或基于由照相机10获得的图像所需的精度，光线照度和成像器属性作为一种反馈参数被控制系统限制。因此，关于ecu20从摄像机10处理图像的时间和精度的数据被用于控制驾驶员可以看到的显示器(未示出)以显示最高速度，或控制自动驾驶车速控制系统。

当需要从车辆16为了测绘目的需获取多于一个图像时，可以将多个图像采集系统放置在测绘车辆16上。例如一个可以放置在前方的右侧，另一个放置在前方的左侧，向前方拍摄。这对于具有中间隔离带的道路或单向行驶的车道情况下尤其有用。或者，具有宽水平视野的单个设备就足够了。一个替代的解决方案是将多个成像器放置在一个设备上以保留大量像素，同时也覆盖了大的视野。在有大量测绘车辆情况下，可以设置一些观察前方和右侧的车辆以及一些观察前方和左侧的车辆。还可以设计特殊的变形透镜，允许其通过以垂直方向为代价增加水平视野来更有效地使用可用像素。

其他装置也可以并入到系统设计中，例如用于在车辆上获得dgps校正信号的接收机4，尽管这对于创造性的测绘方法来说不是必需的，因为可以在远程地图处理站进行修正。本发明的测绘系统也可以在不使用dgps校正的情况下工作，尽管收敛到任何期望的精度级别需要更多的图像。在一个应用中，dgps校正可以从可以通过wi-fi连接或通过蜂窝电话系统的互联网连接获得，或者通过为此安排的卫星的通信获得。每个摄像机还可以具有一个或多个相关联的激光发射器或等效物，倾向于在电磁光谱的近红外部分中操作，并且在ir光谱对眼睛安全的部分波长中，使得所使用的照相机对该波长敏感。

也可以调制激光发射器以允许确定到反射点的距离。这可以通过脉冲调制，具有一个或多个频率的频率调制，噪声或伪噪声调制或允许确定到反射点的距离的任何其它调制来实现。此外，如果发射器不与成像器在一处，则可以无调制地确定距离。在这种情况下，激光反射图像上的位置允许通过三角测量来计算到反射点的距离。通过使用两个或更多个这样的激光发射器，也可以估计一个表面倾斜的角度。

当测绘车辆16穿过道路时，它使用发射机或通信单元18获得车辆周围空间的图像，并将这些图像或从其导出的信息从车辆16发送到远程站14，发射机或通信单元18可以是与车载通信单元分开的或者是其一部分的组合单元100(例如，包括在壳体中)。使用通信单元18的通信方式可以是包括手机，使用宽带连接的因特网，leo或geo卫星或其他远程信息处理通信系统或方法的各种方式中的任何一种。该信息还可以存储在车辆上的存储器中，以便稍后时间在连接可用的通讯网络后进行传输。在这种情况下，使用获取图像的时间和允许远程站14确定特定卫星的信息来定位车辆16。

测绘车辆16的图像采集可以由远程站点(例如，远程站点14的人员)根据需要来控制。如果远程站点14确定需要更多的图像，例如如果它指示地图中有改变或错误，则它可以向测绘车辆16发送命令以上传一个或多个图像。以这种方式，可以连续监测道路的变化，并且保持连续准确的地图。类似地，一旦系统大部分在运行，测绘车辆16可以不断地将其使用摄像机10所看到的内容与其在地图数据库12中的地图的副本进行比较，例如当在相机10的图像中发现的地标存在或位置相对于地图数据库12的内容发现差异时，它可以通知控制站点，可以一起确定测绘车辆的地图是否需要更新，或者是否需要更多的图像来指示道路或其周围地形的变化。

这种测绘设备最初可以安装在政府所有的车辆上，也可以被安装在允许进入限制车道的车辆上，或者给予那些拥有车辆这样装备的车主特殊的公路收费费用折扣。最终，随着系统变得越来越普遍，系统的下一个阶段可以实现，车辆可以通过将图像中发现的地标位置与地图上的地标位置进行比较，而不使用gps来准确地确定其位置数据库。由于gps信号非常弱，所以它们容易被卡住或被人为篡改，因此随着自动驾驶车辆变得普遍，具有替代卫星定位的定位系统变得重要。

远程站点14可以根据由测绘车辆16发送的信息创建和维护地图数据库。当路段的一部分首先被这种测绘车辆16穿过时，取决于可用带宽，远程站点14可以请求大量的图像从测绘车辆16传出。可以从其他测绘车辆请求附加图像，直到远程站点14确定已经获得足够的图像集合为止。一旦获得了特定地标的足够数量的图像，使得已经建立了期望的位置精度水平，则此后，只有当检测到异常或偶尔检查是否有任何变化时，才能请求附加图像。

特定地标(取自不同地点)的两张图是必要的，以确定地标位置的估算。这样的估算包括例如每秒钟用于校准的gps设备的确定gps的误差，imu确定其位置在gps误差之上的误差，确定地标角度的误差来自于imu，摄像机像素，和由所有这些设备的分辨率所产生的错误。当第三图像可用时，当图像1与图像3进行比较并且图像2也与图像3进行比较时，可以使用两个附加估算。可用的估算值e的数量可以由公式e＝n*(n-1)/2，其中n是图像的数量。因此，估算数量随着图像数量的增加而迅速增长。例如，如果有10张图像可用，则可以使用地标位置的45个估计值。由于估计数量随着图像数量的增加而迅速增加，所以收敛到任何所需的精度水平都是快速的。例如，100个图像可以提供近5000个这样的地标位置估算。

使用同一组卫星进行的两个gps位置计算之间的差异可用来以下列方式纠正imu。只要使用同一组卫星，在计算位置变化即位移时，大气变形的影响被消除。由gps确定的位移应该非常精确，因此可以用于通过加速度的双重积分与由imu确定的位移进行比较。类似地，两个gps位置之间的矢量可以用于在角速度被积分一次并进行差分处理以获得符合向量所需的角度变化时校正imu陀螺仪。如果imu包含磁力计并且在该位置已知地球的磁场，则可以进一步检查角度校正。

这个过程的一个重要部分是确定地标。通常，如本文所使用的，一个地标是易于观察的任何物体，当从不同位置观察并且不移动时具有很大的不变形状。灯柱，人造结构(如标志或建筑物)上的任何垂直线都将是很好的选择。岩石是容易观察到的并且不移动，但是当从附近的点观察时可能具有不同的轮廓，因此可能难以在多个图像中找到相同的岩石点，因此这样的岩石可能不是好的地标，可能没有任何符合地标资格的自然物质，例如在靠近海洋或小麦领域开车时。如果道路铺设，则路面的边缘可以符合条件，只要在路面上存在永久性和可观察的几个位置的视觉标记。未铺设的道路可能没有任何永久可观测量，尽管在某些情况下可以使用平滑的路面。为了解决这些问题，可能需要人为地设置地标，如距离标记。

众所周知，如果将gps接收器，接收器f放置在固定位置，通过适当的软件，它可以最终精确地确定其位置而不需要进行调查。即使在一个良好的gps接收区域不到一个小时内，接收机可以估计其位置在厘米精度内。这是因为当gps卫星通过天空移动并应用本领域已知的适当算法时，通过采集大量gps数据来实现。在这里，这个概念被扩展到gps读数在一天的不同时间以及大气(电离层)条件变化的情况下由多个测绘车辆获取的地方。这些车辆还可以记录每个车辆周围的基础设施中的物体的位置，地标，增加地图数据库的完整性和细节，并记录这些物体的存在和位置的变化。例如，当测绘车辆穿过道路时，它可以确定灯杆的位置，例如，在车辆的左侧，以及车辆右侧的另一个固定物体，尽管这不是必需的。它还记录了在拍摄灯杆的图像时gps的读数。测绘车辆16可以使用其通信单元18向远程站点14发送基于gps校正的imu的与地标一起的向量以及车辆位置和方向。因此，远程站14可以获得来自车辆16的灯柱的方向的估算，并且两个这样的估算可以估计灯柱的位置。因此，与接收机f的示例一样，随着来自于越来越多的测绘车辆在不同时间，不同位置和用不同的gps，伽利略和/或glonass或等效的gnss卫星在天空和不同电离层条件下的不同位置所获得的越来越多的这种数据，位置估算随时间而改善。

与物体的距离不需要实际测量，因为当获得每个图像时车辆移动并且图像之间的位移和每个照相机10的方位或指向方向之间的位移是已知的，所以可以使用三角法来计算图像中的各种物体的距离类似于从立体摄影确定距离的方式。这些距离计算中的一些可以在测绘车辆16上进行，以允许对异常和地图误差检测，而在远程站点14处更好地进行详细计算(附加地或替代地)，其将具有更大的处理能力和具有更多观察特定地标的图像数据。图像中的特定物体/地标可以被认为是地图数据库中的基准点和地理标记，以帮助测绘车辆16确定其位置并确定地图数据库12中的变化或错误。因此，随着越来越多的测绘数据的积累，可以确定固定在基础设施上物体/地标的位置，并且其位置精度不断提高。

然后，远程站14或其他地方的技术人员和/或计算机程序可以通过从图像估算这些坐标来确定道路边缘和其他特征和物体的位置，从而开始构建整个道路的精确地图。测绘车辆16可以使用例如地理标记的地标点将其正在进行的测绘量与当前地图数据库12进行比较，并且当发现异常时，可以通知远程站14和新的图像和/或可以将测量值上传到远程站14。在这样的地图数据库12中也可以根据需要手动或自动添加其它地图特征，例如路肩部分和路肩以外的地貌的特征，陡坡或悬崖的存在，交通标志以及其上的文字和流量控制设备等，以完善地图测绘。

利用这种方法，可以通过使用测绘车辆16以及创建和更新地图数据库12的远程站点14来创建并连续进行精确验证的地图数据库12。

虽然上面已经讨论了几种方法，但是本发明并不限于此，鉴于本文的公开内容，本领域技术人员现在也应该明白其他方法。这些包括除了上述激光发射器之外或代替上述激光发射器的，通常来自从成像器位置以外的位置使用投影到基础设施上的结构化光图案。如果反射图案的图像中的尺寸和/或位置随着距离而变化，则这可以提供一种通过来自多个图像以及汽车在拍摄这些图像期间与每一图像相关联的移动距离和运动方向信息的立体照相技术来确定基础设施中从测绘车辆到一个或多个物体或表面的距离。如果照明光源的位置从成像器轴向，横向或垂直位移，则这是特别有用的。一种特别有用的方法是投影结构化图像，使得其具有在成像器前面的焦点，因此从基础设施反射的图像在成像器中的尺寸大小变化与成像器和基础设施之间的距离有关。

当在远程站点14处理来自多个图像的信息时，通过识别图像中的公共地标并使用从拍摄地标图像时获得的卫星位置信息的这些数据转换到包括来自图像地标的地图，在地图上。图像可以从相同的测绘车辆16获取，其在不同时间拍摄并且包括相同的地标，或者从两个或更多个测绘车辆16获得，并且再次包括相同的地标。通过使用离开测绘车辆16的远程站点14处的处理器，仍然经由通信单元18与所有测绘车辆16通信，可以使用来自多个车辆或在不同时间拍摄的相同车辆的图像来形成地图。此外，通过将处理器从测绘车辆16上卸下，可以在没有设备的情况下进行dgps校正，以能够对测绘车辆18进行这种校正。

只要使用相同的卫星，固定测绘车辆16上的基于gps的位置计算应该产生相同的结果。如果使用不同的卫星，则可以预期该位置的跳跃(差异)。因此，只要卫星在位置计算中不改变，就可以使用gps来校正imu。当使用差分校正时，它们是以卫星对卫星的方式完成的，因此车辆必须知道在计算中正在使用哪些卫星。如果这些校正是在与车辆分离和分离的远程站14点处完成的，则车辆16必须将该信息发送到已知差分校正的远程站点14。或者，可以将所有卫星的差分校正发送到车辆16并在车辆16上进行的校正。

当车辆16移动时，可以根据提供相同卫星区域的连续gps读数，将修正后的imu8的位置计算结果与未校正的gps位置计算结果进行比较。以与放置在地面上的接收器f逐渐消除gps误差相同的方式，移动接收机也可以进行该过程，因此适当结构的算法可以使得车辆位置即使在移动中也可以高精度地确定。这样的过程可以如下所述：

1.使用未校正的gps信号对车辆基座位置p0进行初始计算。

2.车辆移动后使用相同的卫星p1进行第二次车辆位置计算。

3.将gps确定的更改与imu确定的更改进行比较并更正imu。

4.只要使用的卫星不改变，继续这个过程。

5.当所使用的卫星改变时，通过合适的方法结合新位置pn'和从imu和pn-1确定的旧位置pn，使用基于新卫星的新位置计算pn'代替旧的pn(可以由本领域技术人员已知或可以由熟悉本专利揭示内容的技术人员来确定)。然后使用它作为新的基础位置。

6.通过使用适当的组合算法，车辆的基本位置应该以任何所需的准确度收敛到实际位置。

通过使用以上处理过程，可以基于精确的车辆位置自动地构建精确的地图数据库12，并且不需要昂贵的位置确定设备的特殊测绘车辆而连续地进行验证。

其他地图信息可以被合并到远程站点14的地图数据库12中，例如自然和人造结构，地标，兴趣点，商业企业(例如加油站，图书馆，餐馆等)的位置，名称和描述。)，因为它们的位置可以被测绘车辆16记录。一旦使用来自测绘车辆的更有限的数据构造了地图数据库12，例如，可以使用具有来自测绘车辆16的数据来添加附加数据旨在获得与初始测绘车辆16获得的不同的数据，从而提供地图数据库12的连续丰富和改进。另外，街道或道路，城镇，县或任何其他这样的基于位置的名称和其他信息的名称可以作为地图的一部分。由于施工，山体滑坡，事故等导致的道路位置变化现在可以由测绘车辆自动确定。这些变化可以快速地并入到地图数据库12中，并且作为地图更新被发送到道路上的车辆。这些更新可以通过手机塔，无处不在的互联网或任何其他适当的远程信息处理方法传输。

测绘车辆16可以传送从车载摄像机以及gps和imu导出的坐标照片或图像，或者从其导出的数据。例如，差分校正可以在远程站点14处使用，并且不需要在测绘车辆16中考虑，从而从测绘车辆16移除计算和远程信息处理负担。可参看第6,243,648号以及转让给当前受让人的专利中描述的类似技术。例如，远程站点14可以在获取图像或gps读数时知道车辆的大致位置的dgps校正。随着时间的推移，远程站点14将以类似于上面讨论的接收机f的方式知道基础设施固定特征地标的(例如上述讨论的灯柱)确切位置。

在该应用场景中，远程站点14将知道车载摄像机10，gps接收机6和imu8在车辆16上的安装位置及其相对于彼此的位置和方位，车载摄像机10及其dgps校正位置应在10厘米或更小的精度范围内，一个西格玛。通过监测车辆16的运动以及来自给定的测绘车辆16和来自不同的测绘车辆的连续图像中地标的相对位置，即使没有任何基于激光的实际距离测量，也可以随着时间推移给出该位置场景的精确三维表示。当然，只要可以提供其他信息，就可以更快地改进地图。这样的信息可以来自其他传感器，例如激光雷达，距离切片，雷达或其他测距或距离测量装置或系统。可以使用适当的软件组合来自一个或多个测绘车辆16的图像，以帮助创建场景的三维地图。

该技术的另一方面是基于以下事实：基础设施中的许多是不变的，因此一旦准确测绘，具有一个或多个安装的相机和/或环境确定装置(计)的车辆可以精确地确定其位置，而不需要gps的帮助。在相机的情况下，车辆可以包含可以将最近获取的图像与来自地图数据库的图像校准的软件，并且从校准过程准确地确定其位置。

例如，车载地图可以告诉车辆，基于其所述的位置，它应该在其成像器的某些像素上找到地标。相反，基于图像分析发现地标稍微不同的位置，则可以校正测绘车辆的基本位置。当有两个这样的差异时，可以纠正imu。以这种方式，地图可以用于精确地定位车辆和用于校正其基座位置和其imu校准的一个或多个图像。这可以用维持车辆16处于高精度状态所需的任何频率来完成。这样的系统消除了gps的必要性，并因此防止gps中断或被黑。

地图改进可以包括提供兴趣点的位置和提供位置服务的商业场所。这样的商业地点可以支付增加他们存在于地图后的营业表现以及驾驶员可能感兴趣的广告和附加信息。这些附加信息可以包括运营时间，天然气价格，特别促销等。商业机构的位置可以从可专门识别商业机构或测绘车辆的专用车辆或者测绘车辆16获得。商业机构可以支付向数据库12添加的附加信息。

本发明的一些实施例的重要部分是包含与车辆行驶的道路有关的相关信息的数字地图。数字地图应符合gis标准，通常包括道路边缘，路肩边缘，道路的高度和表面形状，道路外面的土地，树木，护栏，标志，车道标记，速度限制等，其中一些在本文其他地方讨论。

在上述参考专利和公开的专利申请中描述了流程图，逻辑图和到系统的各种组件的连接的示例，并且不在此再现。

地图数据库12可以是任何期望的结构或架构。数据库结构的优选实例在美国专利no.第6,144,338号(davies)和美国专利第6,247,019号中(戴维斯)

使用的相机10可以是普通的彩色静止照相机，摄像机，高速摄像机，广角摄像机，望远镜，黑白摄像机，红外摄像机等。在某些情况下，特殊过滤器用于强调某些功能。例如，已经发现，在特定频率(例如红外线)下，车道标记经常更容易观察到。在这种情况下，可以将滤镜用于相机镜头前面或光路中的其他位置，以阻止不期望的频率并通过所需的频率。使用构造为对红外线敏感的相机与一般ir照明结合使用本身可以改善车道可辨识性，无论是否使用特殊过滤器。偏光镜片在许多情况下也被发现是有用的。自然照明可用于绘图过程，但对于特定情况，特别是在隧道中，人造光源也可以用泛光灯或聚光灯的形式使用，当需要照明时可以处于紫外线，视觉和红外部分的任何适当频率，特别是当车辆所在道路也正在由其他人使用时，电磁频谱或跨许多频谱的ir是优选的照明方式。

当需要用亮点照亮场景的某些部分时，激光扫描仪也可用于某些特定情况。在某些情况下，可以将扫描激光测距仪与前瞻摄像头结合使用，以确定摄像机视图中与特定对象的距离。扫描激光测距仪通过时间间隔确定到反射点的距离或者在发射和接收信号之间调制波束的相位比较。也可以使用距离切片技术，特别是在较差的可见性条件下，允许图像在与相机特定距离处的空间中捕获特定切片。如果照相机在车辆乘客舱外，则透镜可以用涂覆物进行处理，该涂层排斥水或抵抗污垢或其它污染物的附着，这些污染物或其它污染物可能通过透镜遮挡视野，如本领域技术人员已知的。

最后，不是所有的测绘车辆16都需要相同，因为不同的摄像机系统突出了要测绘环境的不同方面。

在地图创建期间，可能需要包括其他信息，例如所有感兴趣的商业的位置，诸如加油站，餐馆等的旅行者可以在订阅的基础上或者基于可以产生附加广告的广告地图提供机构或公司的收入来源。

作为本文公开的一些发明的一部分的另一重要辅助方法是沿着道路的侧面提供标记，这些可以是视觉的，被动的或主动的应答器，反射器或各种其他技术，包括道路本身上或在道路附近，具有车辆通过标记的属性，它可以确定标记的身份，并且可以从数据库确定标记的确切位置。术语“标记”是指最普遍的意义。例如，通过对环境的连续扫描确定的标志物将是一个标记，如果它在时间上是相对不变的，例如城市中的建筑物。基本上，当车辆沿着一条公路往其目的地行进时，在车辆周围的环境中存在大量不变的信息。

对于放置在基础设施上的特定标记的情况，如果三个或更多个这样的标记物沿着道路的一侧放置，则通过的车辆可以通过三角测量来确定该车辆的确切位置。

虽然该系统被示为与汽车一起使用，但是相同的系统将适用于所有车辆，包括卡车，列车以及在跑道平面上滑行的飞机。它也可以用于蜂窝电话和人类携带的其他设备。

虽然本发明已经在这里和所引用的相关专利和专利申请以及前述描述中在附图中进行了详细的说明和描述，但同样被认为是说明性的而不是限制性的，应该理解的是，只有优选实施例具有已经被示出和描述，并且希望在本发明精神内的所有改变和修改均受到保护。

该应用是涵盖车辆和其他用途的安全系统和其他系统的一系列应用。本文的公开内容超出了支持本文要求保护的特定发明的权利要求。这并不意味着发明人因此将不要求权利的披露和主题发布到公有领域。相反，旨在申请的专利已经或将被提交以涵盖上述所公开的所有主题。

权利要求书(按照条约第19条的修改)

1.一种车载装置，包括：

包括至少一个加速度仪和至少一个陀螺仪的惯性测量单元(imu)；

一个提供gps导航位置的gps接收器；

一个照相机，其被定位成获得车辆外部区域的无障碍图像；

一个耦合到所述imu，所述gps接收器和所述相机的控制系统，

所述控制系统包括处理器并被配置为使用由所述gps接收器获得的信号重新校准所述至少一个加速度仪和所述至少一个陀螺仪，

所述控制系统还被配置为将来自所述至少一个加速度仪的输出与车辆的gps导出位置和角度定向进行比较，并且基于该比较，修改来自所述至少一个加速度仪的加速度输出并修改来自所述至少一陀螺仪的角速度输出，

所述控制系统还被配置为从所述至少一个加速度仪改进的加速度输出和所述至少一个陀螺仪改进的角速度输出来确定车辆的位置和角度定向，

所述控制系统还被配置为基于所确定车辆的角度定向来确定当由所述摄像机获得图像时所述摄像机指向的方向，

所述控制系统基于所确定的车辆位置和由所述相机获取包括所述物体的图像在所述相机所指向的所确定的方向，导出由所述相机获得的图像中的物体的信息以及所述物体的位置信息；

一个连接到所述控制系统的通信系统，并且将由所述摄像机获得的图像或由所述控制系统导出的信息传达到与车辆分离的位置；和

一个车载地图数据库，所述地图数据库包括由所述照相机获得的图像中的关于物体和物体位置的信息。

2.根据权利要求1所述的装置，其中所述imu是使用大规模生产mems技术制造的。

3.根据权利要求1所述的装置，其中所述控制系统还被配置为使用所述车辆的零横向和垂直速度以及所述车辆的速度计和里程计读数来重新校准所述至少一个加速度仪和所述至少一个陀螺仪。

4.根据权利要求1所述的装置，其中所述控制系统还被配置为在所述至少一个加速度计的加速度计读数中，当所述车辆运动倾斜时校正来自所述至少一个陀螺仪的读数中离心加速度的坐标分量。

5.根据权利要求1所述的装置，其中所述imu，所述gps接收器，所述摄像机，所述控制系统和所述通信系统安装在单个壳体中(形成一个模块)，所述壳体(模块)位于车辆上，使得所述摄像机成像道路的一部分在车辆前方和车辆两侧的地形上，所述照相机具有约45度至约180度的水平视野。

6.根据权利要求1所述的装置，还包括速度限制装置，其向车辆的驾驶员通知车辆的最大行驶速度，或者自动将车辆的速度限制在车辆的最大行驶速度，所述控制系统与所述限速装置连接，并且基于由所述控制系统由所述摄像机获得的图像的处理的速度和精度来产生车辆的最大行驶速度。

7.根据权利要求1所述的装置，其中所述控制系统还被配置为在获得所述多个图像的拍摄时间间隔使用所述车辆在图像拍摄期间位移从多个图像确定由所述相机获得的图像中的物体的位置，当获得多个图像中的每一个时，所述相机相对于车辆的方位，所确定的由所述相机获得的图像中物体的位置被包括在所述地图数据库中。

8.根据权利要求1所述的设备，其中所述控制系统还被配置为识别由所述摄像机获得的图像中的物体及其位置，并且确定所述物体是否存在于所述地图数据库中，所述处理器被配置为传输由所述摄像机拍摄的，不存在于所述地图数据库中的物体或者由所述控制系统导出的物体的信息，到与所述车辆分离的位置。

9.根据权利要求1所述的设备，其中所述控制系统被配置为使用所述地图数据库和所述相机来校正来自所述imu的数据，并且通过比较由所述摄像机获得的图像中的物体(地标)的预期位置而不是使用来自所述gps接收器的数据来确定车辆所处特定位置，使用所述地图数据库，在由所述处理器在所述特定位置处的车辆所确定的由所述摄像机获得的图像中的同一物体(地标)的实际位置处，并且当所述实际车辆位置与预期位置不同时，修正imu数据得出车辆的准确预期位置。

10.根据权利要求1所述的装置，其中所述通信系统将所述车辆的位置传送到所述远程位置，在远程站点确定在车辆位置的外部区域的图像是否需要使用所述通讯系统传送到远程站点，这需要知道获得的图像信息是否已经包含在地图的数据库中，当确定需要为地图数据库获得车辆位置的外部区域的图像中的物体时，发送关于所述摄像机由远程站点指挥以获得车辆位置处外部区域的图像。

11.一种用于使用车辆映射地形的方法，包括：

使用一个或多个装置获得关于物体的信息，每个装置包括包括至少一个加速度仪和至少一个陀螺仪的惯性测量单元(imu)，提供gps导出位置的gps接收器，获得外部区域的无障碍图像的照相机设备，以及耦合到imu，gps接收器和摄像机的控制系统；使用由gps接收器获得的信号重新校准至少一个加速度仪和至少一个陀螺仪；

将所述至少一个加速度仪的输出与所述gps导出的位置和所述车辆的角度定向进行比较，并且基于所述比较，修改来自所述至少一个加速度仪的加速度输出并修改来自所述至少一个陀螺仪的角速度输出；

从所述至少一个加速度仪的改进的加速度输出和从所述至少一个陀螺仪输出的改进的角速度确定所述车辆的位置和角度定向；

基于所确定的所述车辆的角度定向，确定当通过所述摄像机获得图像时相机指向的方向；

基于所确定的车辆位置和所确定的相机指向的方向，得到由相机获得的图像中的物体的信息和物体的位置，以及由相机获得包括物体的图像时相机指向的方向；

将由摄像机获得的图像信息或关于由摄像机获得的图像中的物体的信息以及由每个设备的控制系统导出的物体的位置传送到与车辆分离的位置；以及

通过向地图数据库中添加关于通过照相机获取的图像中的物体的信息和位置数据来维护地图数据库。

12.根据权利要求11所述的方法，其中所述地图数据库维护步骤包括在使用所述处理器从不同位置获得的两个或更多个图像中识别相同的物体；和

基于获得两个或多个图像的位置数据和当获得图像时相机在设备上的指向方向，使用处理器将地图数据库中的物体定位。

13.根据权利要求12所述的方法，还包括：

使用处理器识别由相机获得的图像中的物体及其位置；

使用所述处理器确定所述识别的物体是否存在于所述地图数据库中；以及

使用处理器控制，用通信系统将信息从设备传输到与车辆分离的位置，使得关于物体(地标)的导出信息仅在此物体(地标)不存在于地图数据库中时被传送到与车辆分离的位置。

14.根据权利要求12所述的方法，还包括：使用地图数据库和照相机从imu中修改来自imu的数据，当车辆处于基于地图数据库已知的特定位置时，通过比较由相机获得的图像中的物体(地标)的预期位置(在地图中已知)而不使用来自gps接收器的位置数据，与当处于此特定位置时由处理器确定的由照相机获得的图像中的相同物体(地标)时车辆的实际位置，并且当实际车辆位置与预期车辆位置不同时，修正imu数据。

15.一种用于获得关于车辆的位置信息的方法，包括：

使用车辆上的相机获得包括公共物体的多个图像；

访问包含已知物体及其位置数据的车载地图数据库，以便获得基于车辆的已知位置所获取的图像之一中的物体的预期位置，以及当获得图像时车辆的位置与物体之间的关系；

将从地图数据库中所获取的图像中物体的预期位置与相机所获取图像中物体的实际位置进行比较，并且当所述预期位置与相机所获取的图像中物体的实际位置不同时，校正车辆位置；以及

使用地图数据库和照相机从imu中修改来自imu的数据，当车辆处于基于地图数据库已知的特定位置时，通过比较由相机获得的图像中的物体(地标)的预期位置(在地图中已知)而不使用来自gps接收器的位置数据，与当处于此特定位置时由处理器确定的由照相机获得的图像中的相同物体(地标)时车辆的实际位置，并且当实际车辆位置与预期车辆位置不同时，修正imu数据。