用于校准基础设施传感器系统的方法和装置以及基础设施系统与流程

1.本发明涉及用于校准基础设施传感器系统的方法和装置。此外，本发明涉及基础设施系统。


背景技术：

2.多传感器感知系统通常出现在自主的车辆和机器人中以及固定地出现在例如在安全系统中的或者用于交通监控的摄像机网络这样的基础设施解决方案中。这类的多传感器系统通常使用摄像机、雷达和激光雷达传感器的组合。
3.具有对车辆环境的传感器监控的、联网的基础设施对于未来的驾驶员辅助系统(adas)和自动化的车辆(ad)是非常有利的。传感器信息可以向车辆传输并且通过对所参与的交通参与者的传感式的检测使用于环境模型中和轨迹规划中。在此，必要的是，传感器数据是高度准确的和可靠的。这要求对所参与的传感器进行好的校准并且此外要求识别：校准何时不再正确并且应重新执行。
4.多传感器感知系统的校准在这样的基础设施系统中是一项关键的任务，以便可以可靠地解释在共同的几何参考系统中的借助于基础设施传感装置所检测的数据。校准以高的准确度实现由传感器所测量的特征或者数据在几何参考系统中的定位。在此，校准方法典型地提供对传感器位姿的估计和从传感器坐标系到真实的坐标系的转换，例如要么本地的笛卡尔坐标(x，y，z)要么世界坐标(经度，纬度，高度)(breite，)。
5.公开文献de 11 2018 007 048 t5公开一种校准装置、一种校准方法和一种程序并且实现对校准的稳定的执行。信息检测单元检测周边对象信息，并且信息处理单元基于周边对象信息产生与周边对象的特征点相关的点群数据。权重设置单元在检测周边对象信息的时间相应于周边对象和信息检测单元的状态来设置权重。点群数据、权重和外部的参数被使用于，基于指定外部的参数的误差的成本来计算新的外部参数，在所述新的外部参数的情况下，使误差最小化。
6.用于校准传感器、例如摄像机雷达或者激光雷达的常用的解决途径在两个步骤中执行：在第一步骤中，测量可轻易地辨认的图案的实际的位置，所述图案要么已经存在要么有针对性地定位在传感器的视域中。然后，图案的已知的位置与这些图案的传感器测量相联系。测量数据可以例如被专业的校准算法处理，所述专业的校准算法取决于传感器型式和模型。然而，由于图案的设置和必需的测试测量，该过程包括在现场中的不少的手工劳动，并且需要有资格的操作员来执行该方法。
7.因此，可以被视为本发明的任务的是：指定一种用于校准基础设施传感器系统的有效率的方法。


技术实现要素：

8.根据本发明的第一方面，提出一种用于校准基础设施传感器系统的方法，该方法
具有以下的步骤：
[0009]-由飞行的无人机检测基础设施系统的环境的多个摄像机图像，在所述环境中安装有或者将安装基础设施传感器系统，
[0010]-借助于图像处理算法从摄像机图像和摄像机图像的地理参考的(georeferenzierter)图像元数据产生地理参考的3d点云；
[0011]-将地理参考的3d点云提供在基础设施系统的计算单元中；
[0012]-通过基础设施传感器系统由基础设施传感器系统的至少一个传感器检测环境数据；
[0013]-将适应算法、尤其是迭代适应算法(anpassungsalgorithmus)应用到地理参考的3d点云数据和由基础设施传感器系统的至少一个传感器所检测的环境数据上并且由此确定至少一个传感器的传感器姿势(sensorpose)和所属的传感器参数。
[0014]
根据本发明的第二方面，提出一种用于校准基础设施传感器系统的装置，该装置构造为能飞行的无人机，该能飞行的无人机包括摄像机系统和定位系统、尤其是基于卫星的定位系统。无人机构造用于检测基础设施系统的环境的多个摄像机图像，在所述环境中安装有或者将安装基础设施传感器系统。将这些所检测的摄像机图像和所属的图像元数据向外部的计算单元(例如基础设施系统的计算单元和/或云服务的计算单元)传送以进行进一步处理。替代地或者附加地，直接通过无人机的计算单元借助于合适的图像处理算法由摄像机图像和摄像机图像的地理参考的图像元数据产生地理参考的3d点云并且将其向基础设施系统的计算单元传送以校准基础设施传感器系统。
[0015]
根据本发明的第三方面，提出一种基础设施系统、尤其是一种用于对至少部分自动化地引导的机动车进行驾驶支持的基础设施系统。基础设施系统包括基础设施传感器系统，该基础设施传感器系统具有一个或多个传感器，所述一个或多个传感器构造用于检测关于环境的信息并且产生环境数据。此外，基础设施系统包括计算单元，该计算单元构造用于从根据本发明的第二方面构造的无人机接收摄像机图像和摄像机图像的地理参考的图像元数据并且借助于图像处理算法由摄像机图像和摄像机图像的地理参考的图像元数据产生地理参考的3d点云。替代地或者附加地，计算单元可以从根据第二方面构造的无人机和/或从外部的云服务接收借助于图像处理算法由摄像机图像和摄像机图像的地理参考的图像元数据产生的地理参考的3d点云。
[0016]
计算单元构造为，将适应算法、尤其是迭代适应算法应用到地理参考的3d点云的数据和由基础设施传感器系统的至少一个传感器所检测的环境数据上，并且由此确定至少一个传感器的传感器姿势和所属的传感器参数。
[0017]
装置特征类似地从相应的方法特征得出并且反之亦然。即，也就是说，该方法的技术功能从装置的相应的技术功能得出并且反之亦然。同样的适用于系统特征，所述系统特征类似地从方法特征和/或装置特征得出并且反之亦然。
[0018]
本发明基于如下想法：为了校准基础设施传感器系统而使用所谓的uav摄影测量学(即，使用无人机的空中摄影)。在这种情况下的无人机说明了一种无人驾驶的飞行器(“uav”：unmanned aerial vehicle)，该无人驾驶的飞行器具有至少一个摄像机，并且该无人驾驶的飞行器自主地或者远程控制地在确定的区域上方飞行并且可以检测该区域的空中摄影。
[0019]
根据本发明，设置，这类的无人机检测基础设施系统的环境的多个重叠的摄像机图像，在所述环境中安装有或者将安装基础设施传感器系统。例如，连续地或者以有规律的时间或者空间间距检测摄像机图像。此外，无人机具有卫星支持的定位系统，从而每个所拍摄的摄像机图像可以设有元数据，所述元数据指明，相应的图像在哪个全球位置上被拍摄。这些元数据被称为地理参考的图像元数据。图像元数据可以例如以所谓的exif标签(exif-tags)的形式嵌入到相应的摄像机图像中。关于拍摄的技术信息、主要是摄像机模型、拍摄的时间点和摄像机设置存储在图像文件的exif标签中。
[0020]
为了检测摄像机图像，飞行的无人机优选地沿着先前所确定的飞行路径在基础设施系统的环境上方运动。在此，飞行路径可以这样确定，使得可以特别准确地检测环境。为此，可以根据当地的给定条件例如这样规划飞行路径，使得避免遮蔽和/或使得特别频繁地由无人机检测例如在基础设施传感器系统的测量区域中的确定的结构。优选地，飞行路径由多个路线点定义，其中，无人机以所定义的顺序飞过这些路线点。
[0021]
优选地，摄像机图像以大约65
°±
10
°
的倾斜角来检测而不是例如垂直向下(所谓的最低点图像(nadir-bilder))。这具有如下优点：产生的图像具有垂直的结构和特征的更好的视角，借此可以在以后更好地重建它们。
[0022]
现在，借助于合适的图像处理算法可以从多个所拍摄的摄像机图像和所属的地理参考的图像元数据产生地理参考的3d点云，所述3d点云是对所检测的环境的高度准确的三维的映像。优选地，在这里，使用所谓的运动恢复结构(structure-from-motion，sfm)算法。这类的算法具有如下优点：它们可以产生非常准确的3d点云。这类的运动恢复结构算法是本领域技术人员已知的，因此这里不应对此进一步地探讨细节。本领域技术人员已知另外的图像处理算法(所述另外的图像处理算法可以用于产生3d点云)，例如slam(“simultaneous localization and mapping，同时定位和建图”)算法。
[0023]
运动恢复结构算法的实施可以是非常计算密集的，从而有利的是，无人机将摄像机图像和摄像机图像的地理参考的图像元数据向外部的计算单元(例如，基础设施系统的计算单元)或者向云服务传送，在那里，3d点云的产生可以借助于运动恢复结构算法有效率地执行。该结果可以由基础设施系统的计算单元或者云服务提供。
[0024]
这样产生的地理参考的3d点云被提供给相关的基础设施系统的计算单元，在那里，可以将其与由基础设施传感器系统的至少一个传感器所检测的环境数据进行比较。
[0025]
根据本发明的一种可能的实施方案，所检测的摄像机图像和摄像机图像的地理参考的图像元数据向基础设施系统的计算单元或者云服务的传送可以在无人机飞行期间借助于在无人机和基础设施系统的计算单元或云服务之间的无线的通信连接进行，尤其是在使用例如4g或者5g这样的移动无线电标准的情况下进行。因此，有利地，还在无人机飞行期间已经可以产生和提供用于传感器校准的3d点云数据。
[0026]
替代地，所检测的摄像机图像和摄像机图像的地理参考的图像元数据向基础设施系统的计算单元和/或云服务的传送可以在无人机着陆之后进行，尤其是借助于用于给无人机充电的对接站(docking-station)或者移动设备进行，所述移动设备尤其是也可以使用于控制无人机，所述对接站或者所述移动设备具有到计算单元或者云服务的数据连接(无线的或者有线的)和/或直接的wifi数据连接或者在无人机和计算单元之间的直接的有线的数据连接。因此，也可以有效率地传输更大的数据量。
[0027]
基础设施传感器系统的那个或者那些传感器例如构造为雷达传感器、激光雷达传感器或者摄像机系统。它们检测映射基础设施传感器系统的环境的测量数据。雷达传感器和激光雷达传感器检测例如到对象的间距，即，产生空间的3d信息。摄像机系统检测图像数据。
[0028]
根据本发明，现在，将适应算法、尤其是迭代适应算法(也被称作匹配算法)应用到地理参考的3d点云数据和由基础设施传感器系统的至少一个传感器所检测的环境数据上。因此，可以求取至少一个传感器的传感器姿势和所属的传感器参数。在这里，传感器姿势尤其是理解为传感器的定向，所述定向可以例如由安装高度和倾斜角来表征。例如，可以将换算参数确定为所属的传感器参数，利用所述换算参数可以执行在传感器坐标系和真实的坐标系之间的坐标转换，例如要么转换为本地的笛卡尔坐标(x，y，z)要么转换为世界坐标(经度，纬度，高度)。
[0029]
在校准时，传感器姿势和所属的传感器参数的确定优选通过在地理参考的3d点云数据和由传感器所检测的空间的信号之间的迭代的比较实现。视要校准的传感器的型式而定地，匹配算法可以不同地构造。对于同样地测量3d点数据的传感器、例如雷达传感器或者激光雷达传感器，可以借助于“迭代最近点”算法通过对地理参考的3d点云数据的迭代的逼近来使传感器数据一致并且因此确定传感器姿势。对于图像传感器、例如2d摄像机系统，可以执行对例如直边这样的中间特征的匹配，所述中间特征不但可以从点云中提取(截面方法)，而且可以从图像数据中提取(边沿探测)。
[0030]
基础设施传感器系统可以具有多个传感器，其中，环境数据的检测通过多个传感器进行，并且对于传感器中的每个，在地理参考的3d点云数据和由相应的传感器所检测的环境数据上进行适应算法、尤其是迭代适应算法并且由此进行对相应传感器的传感器姿势和所属的传感器参数的确定。
[0031]
相对于常规的校准方法，本发明提供以下的优点：首先，减少对在现场中的手工劳动的需求。可以使由无人机(uav)进行的数据检测的过程的大部分自动化。与对基础设施传感器系统的手动的校准相比，利用本发明，可能的是，同时地用相同的数据组对多个传感器、甚至不同的传感器型式的多个传感器进行校准。这种高的自动化程度节省时间和成本并且减少人类的错误。如此，在常规的方法中，有资格的操作员必须重复完整的校准过程，在该完整的校准过程中，定位和测量多个校准图案的几何的坐标。这类手动的校准方法要求例如因传感器而异的校准图案和/或其他的特别的测量硬件，这对于本发明来说不再是必要的。
[0032]
此外，无人机(uav)的用于产生3d点云数据的使用带来在数据质量和数据准确度方面的优点。因此，可以对所检测的空中摄影图和由此产生的3d点云数据以高的精确度进行地理参考，要么通过对无人机自身的卫星支持的定位(例如通过gps)要么通过外部测量的地面控制点。有些无人机具有差分gps技术，所述差分gps技术实现在厘米范围内的准确度。也可能的是，以无人机非常靠近地面地飞行并且尽管如此检测到高质量的传感器数据。甚至是当前的消费者水平无人机可以提供非常高质量的结果。因此，例如可能的是，让无人机在强烈地、例如由车辆或者行人频繁使用的地带上方处于空中并且这样长时间地收集摄像机图像，使得对于3d点云的产生可以仅仅使用如下图像区域：所述图像区域不被运动的车辆或者行人覆盖。
[0033]
因为它不取决于特别的、临时地使用的图案，所以uav检测可以随时地进行，只要一般性的环境可能不改变，甚至在基础设施传感器系统总的来说在测量区域中构造或者使用之前。
附图说明
[0034]
参照随附的图详细地说明本发明的实施方式。
[0035]
图1示出根据本发明的方法的实施例的流程图。
[0036]
图2示出3d点云的示图，该3d点云由被无人机拍摄的摄像机图像借助于运动恢复结构算法和摄像机图像的地理参考的图像元数据产生。
[0037]
图3示意性示出根据本发明的一个实施例的基础设施系统和作为用于校准根据本发明的基础设施系统的基础设施传感器系统的装置的飞行的无人机。
具体实施方式
[0038]
在对本发明的实施例的随后的说明中，相同的元件用相同的附图标记表示，其中，必要时，省去对这些元件的重复的说明。附图仅仅示意性地描绘本发明的主题。
[0039]
图1将根据本发明的一个可能的实施例的、用于校准基础设施传感器系统的方法的过程作为流程图示出。在第一步骤110中，在如下区域或者环境上方规划用于无人机的飞行路径：在所述区域或者环境中安装有基础设施传感器系统。在接着的步骤120中，无人机飞过先前所规划的飞行路径并且在此检测所述环境的多个摄像机图像。无人机具有高度准确的gps接收器，从而每个摄像机图像配有地理参考的图像元数据，所述地理参考的图像元数据尤其是包括全球的坐标，在所述全球的坐标上检测相应的摄像机图像。在下一步骤130中，将摄像机图像和摄像机图像的地理参考的图像元数据向计算单元(例如，基础设施系统的或者云服务的计算单元)传送。例如，这要么还在无人机飞行期间通过移动无线电连接发生要么在无人机返回到地面之后通过数据连接(例如wifi或者以太网)发生。在步骤140中，借助于计算单元从所检测的摄像机图像和摄像机图像的地理参考的图像元数据借助于运动恢复结构算法计算地理参考的3d点云并且将所计算的地理参考的3d点云提供给基础设施系统。在步骤150中，将迭代匹配算法应用到地理参考的3d点云数据上和由基础设施传感器系统的传感器所检测的环境数据上，并且由此确定传感器的传感器姿势和所属的传感器参数。步骤150可以针对基础设施传感器系统的所有的传感器实施。
[0040]
在图2中示出3d点云200的示例，该3d点云200由被无人机检测的摄像机图像和摄像机图像的所属的地理参考的图像元数据借助于运动恢复结构算法计算。3d点云200被嵌入到全球坐标系210中，也就是说，对于3d点云的每个点，坐标(例如本地的笛卡尔坐标(x，y，z)或者世界坐标(宽度，长度，高度)是已知的，所述坐标明确地针对现实的世界。
[0041]
在3d点云200中可识别出静态的(即，不可运动的)结构220、230，所述结构也可以由要借助于3d点云200校准的基础设施传感器系统的传感器检测到。如果传感器例如涉及雷达传感器，则可以例如通过飞行时间测量获得结构220、230的空间的测量数据，所述空间的测量数据同样地具有坐标，然而，所述坐标还与传感器有关。现在，匹配算法搜索可能的坐标变换，所述可能的坐标变换将在两个测量数据组中的结构220、230尽可能好地相互映射。如果找到这样的变换，则可以从该变换的参数得出例如传感器姿势和所配属的传感器
参数。
[0042]
在图3中示意性示出根据本发明的、用于基础设施传感器系统的校准的布局。基础设施系统300(该基础设施系统尤其是构造用于对至少部分自动化地引导的机动车进行驾驶支持)包括具有多个传感器312a、312b、312c的基础设施传感器系统310，所述多个传感器构造用于检测关于环境350的信息、尤其是还有关于在环境350中的静态的结构330、320的信息和产生环境数据。例如，传感器312a、312b和312c可以检测关于在环境350中的对象的间距、尺寸和运动数据的信息，由此可以产生环境数据。传感器312a、312b、312c可以具有相同的传感器型式或者不同的传感器型式。例如，312a可以构造为雷达传感器，传感器312b可以构造为激光雷达传感器并且传感器312c可以构造为视频摄像机。此外，基础设施系统300具有计算单元360，该计算单元例如可以构造为所谓的“路边单元(road side unit，rsu)”)。
[0043]
无人机400在环境350上方飞行。无人机400具有摄像机系统410和基于卫星的定位系统420。无人机400构造用于检测环境350包括在基础设施系统300的环境350中的静态的结构330、320在内的多个摄像机图像，在所述环境中安装有基础设施传感器系统310。无人机400具有通信单元430，利用该通信单元将所检测的摄像机图像和图像元数据向基础设施系统300的计算单元360和/或向云服务传送。
[0044]
计算单元360借助于通信单元370从无人机400接收摄像机图像和图像元数据，并且借助于运动恢复结构算法从摄像机图像和图像元数据产生地理参考的3d点云。替代地，计算单元360可以从云服务接收地理参考的3d点云(未示出)。计算单元360将迭代适应算法(匹配算法)应用到地理参考的3d点云数据和相应的、由基础设施传感器系统310的传感器312a、312b、312c检测的环境数据上，以便由此确定相应的传感器312a、312b、312c的传感器姿势和所属的传感器参数。