同步环境传感器的方法、融合传感器信号的方法和融合传感器数据以进行对象识别的系统与流程

1.本发明涉及一种用于求取信号传播时间的方法以及一种用于融合至少两个传感器的传感器数据以进行对象识别的系统，在所述系统中，使用这类的方法。此外，本发明涉及一种计算机程序。


背景技术：

2.多个用于检测环境、例如车辆的环境的周围环境传感器使用在所谓的多传感器系统中。在常规的系统中，传感器相对彼此在各自附近安装(例如在车辆中的视频+雷达)，由此，传播时间差仅仅在最小的范围内出现。此外，串联系统这样设计，使得传播时间差是恒定的和已知的，也就是说，它们可以在分析利用和传感器数据融合时以简单的方式计算出来。
3.其他的分布式传感器系统、例如监控摄像机具有ntp(network time protocol，网络时间协议)或者用于使内部的钟表时间同步的类似的可能性。
4.新式的复杂的分布式传感器系统(不仅仅由不同的传感器系统组成，而且也在大的表面上分散地布置的传感器(例如多个高速公路隧道))又需要复杂的网络架构，因为简单的以太网连接由于电缆长度限制等等在这里也许不再是可能的。所需要的交换机、转换器、无线电连接等等不仅仅导致信号传播时间的较高的改变、而且也导致信号传播时间的可变的或者未知的改变。
5.这类的多传感器系统可以例如使用于针对部分自动化或者全自动化的车辆进行基础设施辅助的支持，以便例如增补不同型式的周围环境传感器的不同的强项，例如摄像机的高的横向精度与雷达传感装置的高的纵向精度一起。此外，与用单个传感器相比，借助于多传感器系统通常可以覆盖更大的视野范围。此外，多传感器系统适合用于满足确定的安全要求，例如由独立的、基于不同的物理测量原理的传感器型式进行的冗余的对象探测。
6.这样的多传感器系统通常包括多个周围环境传感器，所述周围环境传感器将由它们所检测的测量数据或者对象数据以数据组形式通过数据网络向中央的计算单元(融合服务器)发送，在那里，可以例如继续处理和融合测量数据或者对象数据。数据组的信号传播时间通常对于所参与的周围环境传感器中的每个来说是不同的，这可以例如由网络架构(例如，电缆长度、交换机、防火墙、vpn，...)和/或由周围环境传感器的信号处理决定。
7.假定，周围环境传感器事先、例如通过ntp(网络时间协议)已相互同步，由每个周围环境传感器所发送的数据组分别以绝对的时间戳t
stamp
到达。替代地，在已知信号传播时间dt的情况下，该时间戳随后可以在中央的计算单元的模块中通过t
stamp
:＝t
now-dt计算，其中，t
now
表示数据组到达的时间点。
8.为了在到达中央的计算单元中后对测量或物体数据进行继续处理，通常借助于预测/追溯提前将所测量的数据(例如，对象位置)换算到相同的时间戳上。此后，可以使用融合算法等等。
9.在实际的构造中，有些周围环境传感器、尤其是简单地构造的周围环境传感器通常不具有这类的ntp作用原理或者类似的，并且，信号传播时间dt是未知的或者甚至是可变的。那么，一种可能的策略是例如，忽略信号传播时间并且在相应的数据组到达时分配时间戳：t
stamp
:＝t
now
。
10.根据经验，dt＝10
…
50ms的数量级的信号传播时间是现实的。如果例如检测到快速的对象(例如，在高速公路上具有高达v＝180km/h的速度的车辆)，则在最坏的情况下这可能产生高达2.5米的偏差。由此，具有这样大的不清晰的数据的融合可能会强烈地受到消极影响，并且被融合的对象位置的造成的准确性同样地受到消极影响。
11.在最坏情况下，例如，如果为了进行置信度求取而需要两种传感器设计一致，则由此可能出现所谓的“漏报事件”。即，在最坏的情况下，相应的系统不可能干预，并且特别是在车辆快速的情况下不可能防止可能发生的事故。
12.从cn 104035752 a已知一种基于车辆的多传感器系统。
13.de 11 2011 100 223 t5公开了由多个测量仪执行的测量的时间同步。
14.de 10 2017 108 765 a1公开了用于在移动通信系统中进行求取和传输的设备、方法和计算机程序和用于进行时间同步的扫描的系统。


技术实现要素：

15.因此，本发明的一个任务可以在于，设法实现一种这样的可能性：可靠地确定联网的传感器系统的没有提前同步的周围环境传感器的信号传播时间。
16.根据本发明的第一方面，提出一种用于借助于中央的计算单元使多传感器系统的至少两个周围环境传感器同步的方法，所述方法具有以下步骤：
17.首先，由周围环境传感器检测代表至少一个周围环境信息的传感器信号。尤其是，传感器信号可以包括关于在周围环境传感器的周围环境中的一个或者多个对象的信息。周围环境传感器例如可以固定地布置在道路或者交通基础设施上。周围环境传感器可以包括例如雷达传感器和/或激光雷达传感器和/或摄像机，其中，例如，周围环境传感器中的至少两个不同地构造。然而，同样可能的是，周围环境传感器同类地构造。
18.周围环境传感器可以例如固定地布置在基础设施内部，例如布置在车道上或者布置在隧道入口的区域中或者布置在隧道内部。替代地或者附加地，周围环境传感器中的有些或者全部可以例如布置在车辆上。中央的计算单元也可以固定地构造，例如构造为服务器或者构造为所谓的rsu(road side unit，路边单元)。
19.在紧接着的步骤中，由相应的周围环境传感器产生数据组，所述数据组包括分别所检测的传感器信号和/或从传感器信号导出的测量变量。
20.在进一步的步骤中，由中央的计算单元通过数据网络接收这些数据组。数据网络可以具有有线的和/或无线的数据传输路径。
21.根据本发明，借助于算法求取每个周围环境传感器的数据组的信号传播时间，其中，一个相应的周围环境传感器的数据组的平均的信号传播时间基于由数据组所包括的测量变量与来自至少一个其他的周围环境传感器的数据组的相应的测量变量的在内容方面的比较来确定，并且将所确定的平均的信号传播时间配属给相应的周围环境传感器。
22.换言之，进行由两个不同的周围环境传感器所检测的测量变量的比较，其中，确定
时间偏差dt，对于所述时间偏差，测量变量例如在一定的误差容限内相一致。该时间偏差dt然后描绘在所考虑的两个周围环境传感器的信号传播时间中的相对差异。为了确定时间偏差dt，自身已知的方法、例如匹配算法可以与异常值探测相结合地使用，替代地，使用基于互相关的或者类似的方法。
23.根据本发明在内容方面相互比较的测量变量可以包括例如距对象的间距和/或对象位置和/或对象的速度和/或对象类别和/或对象形状和/或对象高度。
24.现在，优选地，每个数据组可以基于确定的时间偏差dt设有经校正的时间戳，其中，借助于所求取的、用于发送数据组的相应的周围环境传感器的平均的信号传播时间确定经校正的时间戳。可能接着的融合步骤可以基于经校正的时间戳进行，这提高传感器数据融合的质量和可靠性。
25.特别优选地，选择周围环境传感器中的一个作为参考传感器，并且基于测量变量与相应的、由参考传感器所检测的测量变量在内容方面的比较来确定其他的周围环境传感器的数据组的信号传播时间。现在，数据组的经校正的时间戳能够分别关于参考传感器相对地确定。在参考传感器和中央的计算单元之间的信号传播时间可以提前地确定，尤其是借助于网络时间协议(ntp)确定，其中，基于该信号传播时间将绝对的时间戳配属给参考传感器的数据组。因此可以将绝对的时基配属给参考传感器。
26.在本发明的一种优选的实施方案中，可以借助于匹配算法计算周围环境传感器的数据组的平均的信号传播时间。在这里，对于每个周围环境传感器，通过到达的数据组与参考周围环境传感器的到达的数据组的比较来求取信号传播时间。
27.特别优选地，进行信号传播时间的求取，其方式是，对于至少一个周围环境传感器对，确定由通过第一周围环境传感器所检测的测量变量x1、所属的未经校正的、第一测量时间t1、通过第二周围环境传感器所检测的测量变量x2、所属的未经校正的、第二测量时间t2组成的大量(eine menge von)四项组，对于所述四项组，适用的是，
28.·
第一测量变量和第二测量变量：x1＝x2(例如，通过测量值的内插法)和
29.·
在未经校正的第一测量时间t1和未经校正的第二测量时间t2之间的差小于预先给定的极限值c：
30.|t
1-t2|《c，并且
31.·
在第一测量时间t1，没有另外的传感器信号由第一周围环境传感器检测到，所述另外的传感器信号产生在第一测量变量附近(在区间x1±
d以内)的测量变量，并且，在第二测量时间t2，没有另外的传感器信号由第二周围环境传感器检测到，所述另外的传感器信号产生在第二测量变量附近(在区间x2±
d以内)的测量变量，也就是说，
32.既没有(x1'，t1)，其中，|x1–
x1'|《d
33.又没有(x2'，t2)，其中，|x2–
x2'|《d适用，
34.其中，对于所找到的满足这些条件的四项组中的每个，由第一测量时间和第二测量时间形成信号传播时间差：dt
1,2
＝t
1-t2，＝dt
1-dt235.并且平均的传播时间差dt
1,2,final
被计算为在所有被找到的四项组上的信号传播时间差的平均值，并且，其中，选择第一周围环境传感器作为参考传感器，并且，将平均的传播时间差确定为第二周围环境传感器的信号传播时间。在这里，例如可以假设性地假定，信号传播时间dt1或者dt2＝0。其他的周围环境传感器的到达的数据组可以设有相对于参考传
感器经校正的时间戳。如果例如选择第二周围环境传感器作为参考传感器，则dt2＝0并且t1＝t2+dt
1,2,final
适用。
36.根据本发明的第二方面，提出一种用于借助于中央的计算单元来融合至少两个周围环境传感器的传感器信号的方法，该方法包括以下步骤：
37.·
由周围环境传感器检测代表至少一个周围环境信息的传感器信号，
38.·
由周围环境传感器产生包括分别所检测的传感器信号和/或从传感器信号导出的测量变量的数据组，其中，对于每个周围环境传感器，按照根据本发明的第一方面的方法确定平均的信号传播时间；
39.·
由中央的计算单元通过数据网络接收周围环境传感器的数据组，其中，基于相应周围环境传感器的平均的信号传播时间将时间戳配属给每个数据组；
40.·
基于相应的时间戳融合由数据组所包括的传感器数据。
41.根据本发明的第三方面，提出一种用于融合传感器数据以进行对象识别的多传感器系统，所述多传感器系统具有至少两个周围环境传感器和一个中央的计算单元。也可以被称为融合服务器的中央的计算单元构造用于，借助于根据本发明的第一方面的方法使周围环境传感器同步，并且基于所求取的信号传播时间来融合由周围环境传感器所发送的数据组所包括的传感器数据。
42.有利地，本发明允许在具有复杂的、部分未知的网络架构的多传感器系统和融合系统中的信号传播时间的求取。由于信号传播时间的精确的、数据驱动的求取，可以将来自不同的和任意的传感器的数据组换算到共同的时基上。
43.因此，本发明实现多个周围环境传感器系统的测量结果的优化的融合，特别是在探测到快速地运动的对象时。此外，也与融合无关地实现高的测量质量，因为消除了可能会由于有误差的信号传播时间而产生的测量误差。此外，本发明实现所谓的“误报”的避免：如果融合算法例如由于由有误差的信号传播时间引起的测量误差而在两个测量之间不能实现匹配并且因此不能实现传感器信号或者测量变量的合并时，则视设计而定地，一般而言，保留两个测量，从而测量中的一个是多余的并且可能导致非期望的反应(例如自主的紧急制动)。此外，本发明允许通过监控信号传播时间的改变来监测整个系统。
44.如果在整个系统中也只有一个周围环境传感器装有绝对的时基，则该周围环境传感可以作为参考使用，以便通过所说明的方法将所有连接的传感器也调为相同的时基(例如，原子时间)。由于在所介绍的方法中所求取的单个的信号传播时间dt，因此与本地的钟表时间的比较和随后的校正是不重要的。
45.优选地，信号传播时间的根据本发明的求取不是仅仅一次地发生。如果该方法持续稳定地同时进行并且持续地重新确定所参与的周围环境传感器的信号传播时间，则尤其可以确保，例如在改换配置数据网络时快速地求取重新校正的传播时间和因此也快速地求取经校正的时间戳。因此，相对的信号传播时间的大的偏差可以例如用于诊断，以便例如将系统状态分类为不安全的并且采取相应的措施。可设想具有明显更大的信号传播时间的另外的应用，例如也通过无线的数据连接(例如无线电连接)。
附图说明
46.参照随附的图详细地说明本发明的实施方式。
47.图1示意性示出根据本发明的一个实施例的、用于融合传感器数据以进行对象识别的多传感器系统。
48.图2示例性示出借助于根据本发明的、用于融合传感器数据以进行对象识别的多传感器系统所检测的测量变量在时间上的曲线图。
49.图3示出用于使根据本发明的一个实施例的多传感器系统的两个周围环境传感器同步的方法的流程图。
50.图4示出根据本发明的一个实施例的、用于融合来自两个周围环境传感器的传感器信号的方法的流程图。
51.在对本发明的实施例的随后的说明中，相同的元件用相同的附图标记表示，其中，省去对这些元件的重复的说明。附图仅仅示意性地描绘本发明的主题。
具体实施方式
52.图1示出根据本发明的一个实施例的、用于融合传感器数据以进行对象识别的多传感器系统10。在该示例中，多传感器系统10包括两个周围环境传感器12、14，其中，第一周围环境传感器12构造为摄像机传感器并且第二周围环境传感器14构造为雷达传感器。在该示例中，周围环境传感器12、14固定地布置在道路基础设施内部并且检测在道路或者车道的确定的区域内部运动的对象50、例如交通参与者。例如，周围环境传感器可以检测隧道的入口区域和/或隧道的内部。然而，替代地，在本发明的框架下，也可设想，多传感器系统的一个或者多个周围环境传感器非固定地布置，即例如布置在车辆的车内。
53.由周围环境传感器12和14所检测的传感器信号代表周围环境信息、例如关于在周围环境传感器12和14的相应的检测区域中的对象的位置的信息。由所检测的传感器信号可以得出描述周围环境信息的特征的测量变量，例如在相应的周围环境传感器12、14和对象50之间的间距。传感器信号和/或由其导出的测量变量由相应的周围环境传感器12、14以数据组22、24形式通过数据网络40向中央的计算单元30发送。中央的计算单元30构造用于，合并(融合)由数据组22、24所包括的周围环境信息并且因此例如创建例如全面的和可靠的周围环境模型。
54.由数据网络40的特定的网络架构(电缆长度、交换机、防火墙、vpn，
…
)决定地，数据组22、24通常以不同的时间延迟dt
radar
和dt
kamera
地到达中央的计算单元30上。为了在到达中央的计算单元30中之后继续处理数据，在融合之前必须将数据换算到相同的时间戳上。
55.在当前的示例中，事先通过ntp(network time protocol，网络时间协议)使第一周围环境传感器12(摄像机传感器)同步，从而数据组22具有绝对的时间戳t
stamp
。在当前的图像中，没有事先使第二周围环境传感器14同步，从而首先必须求取数据组24经由数据网络40的准确的信号传播时间。
56.根据本发明，借助于算法求取第二周围环境传感器14的数据组24的信号传播时间，其方式是，将由数据组24包括的测量变量在内容方面与由第一周围环境传感器12的数据组22包括的测量变量进行比较。在当前的示例中，距对象50的时间相关的间距d作为测量变量由两个周围环境传感器12和14确定。在换算到统一的坐标系中之后，可以比较所测量的间距并且可以确定相对于第一周围环境传感器12的绝对的时间戳t
stamp
的平均的信号传播时间。
57.在图2中更详尽地解释这种方式。图2示出可能由周围环境传感器12和14所检测的测量变量的曲线图。在这里，由周围环境传感器12和14所发送的、包括测量变量的数据组到达中央的计算单元30，其中，用于每个测量值的时间戳首先简单地相应于数据组到达中央的计算单元30中的时间点。从第一周围环境传感器12(摄像机传感器)接收测量曲线212'、212”、212”'，所述测量曲线代表距周围环境传感器12、14的检测区域中的三个所检测的对象的、时间相关的距离。每个测量点具有坐标(dx
kamera
，t
stampkamera,receive
)。从第二周围环境传感器14(雷达传感器)接收测量曲线214'、214”、214
””
，所述测量曲线也代表距在周围环境传感器12、14的检测区域中的相同的三个所检测的对象的、时间相关的距离。每个测量点具有坐标(dx
radar
，t
stampradar,receive
)。
58.在该示例中，三个所检测到的对象(所述对象可以涉及例如车辆)以恒定的速度远离传感装置(也就是说，dx增加)。在摄像机数据的到达和明显更晚的雷达数据之间的时间偏差dt'、dt”、dt”'被重点强调示出。周围环境传感器12和14的信号传播时间用dt
kamera
和dt
radar
表示。
59.根据定义：
60.t
stampkamera
+dt
kamera
＝t
stampkamera,receive
61.t
stampradar
+dt
radar
＝t
stampradar,receive
62.适用，其中，t
stampkamera
、dt
kamera
、t
stampradar
和dt
radar
最初是未知的。在第一步骤中，还没有考虑绝对的时间戳，也就是说，首先使周围环境传感器12和14相互同步。为此，将相应的信号传播时间dt
radar
和dt
kamera
确定为一个相加常数：寻求时间偏差dt
radar,kamera
＝dt
radar-dt
kamera
。
63.为此，已知的匹配算法可以与异常值探测相结合地使用；替代地，可以使用基于互相关的或者类似的方法。这里，不应限制算法的准确的选择，但是，以下的可能性用于直观说明：
64.借助于匹配算法首先确定足够大的量的四项组(dx
radar
，t
kamera,receive
，dx
kamera
，t
radar,receive
)，对于所述四项组，满足以下条件：
[0065]-dx
radar
＝dx
kamera
(如果不存在用于距离d的一致的测量值，则可以例如通过内插法求取它们)
[0066]-|t
radar,receive
–
t
kamera,receive
|《c，
[0067]-在同一时间点，在空间环境中不存在另外的测量，以避免不匹配，也就是说，
[0068]
既没有(dx'
radar
，t
radar,receive
)，其中，|dx
radar-dx'
radar
|《d
[0069]
又没有(dx'
kamera
，t
kamera,receive
)，其中，|dx
kamera-dx'
kamera
|《d
[0070]
其中，c和d描绘事先确定的阈值。
[0071]
在紧接着的步骤中，针对这些四项组(匹配)中的每个计算相应的信号传播时间差dt
radar,kamera
＝dt
radar-dt
kamera
＝t
radar-t
kamera
。
[0072]
现在，可以通过对来自先前的步骤中的单个结果的足够地在时间上分散的量进行平均(例如作为中值)计算传播时间差dt
radar,kamera
。
[0073]
以下，可以选择第一周围环境传感器12(摄像机传感器)作为参考。暂且假设性地假定，信号传播时间为dt
kamera
＝0。现在，第二周围环境传感器14的在时间点t
now
到达的数据组(雷达数据)可以设有相对于第一周围环境传感器12校正的时间戳t
radar,kamera
：
[0074]
t
radar,kamera
:＝t
now
–
dt
radar,kamera
[0075]
通过ntp或者类似的作用原理可以确保，第一周围环境传感器12(或在系统中的任意的其他的参考传感器)与融合服务器时间同步。因此，最终，可以在融合服务器的时基中为所有到达的传感器组22、24分配正确的时间戳：
[0076]
为此，首先通过这样的方式确定dt
kamera
：在发送在第一周围环境传感器12中的数据组22时，分配内部的时间戳t
kamera,send
。那么，由于第一周围环境传感器12和中央的计算单元30的同步的计时器，dt
kamera
可以直接地“读出”为dt
kamera
:＝t
kamera,receive-t
kamera,send
[0077]
在这里，也有利的是，对多个测量进行平均地(例如通过中值)考虑，以便实现更大的稳定性。
[0078]
现在，对于未通过ntp同步的周围环境传感器14(在示例中，即，雷达传感器)，也可以确定实际的绝对的信号传播时间：dt
radar
＝dt
radar,kamera
+dt
kamera
。
[0079]
由于现在已知的信号传播时间，在每个数据组到达中央的计算单元30中时，可以在中央的计算单元30的时基上分配正确的时间戳：
[0080]
t
radar,measured
:＝t
radar,received
–
dt
radar tkamera,measured
:＝t
camera,received
–
dt
kamera
(相应于t
kamera,send
，在信号传播时间改变的情况下，除了最小的波动之外)。
[0081]
在本发明的框架下，该原理可以被转用到具有多于两个周围环境传感器的一般性的场景上：在存在多个周围环境传感器的情况下，信号传播时间差dt
radar,kamera
的先前所说明的确定被应用到每个单个的周围环境传感器上，也就是说，例如总是确定相对于所选择的第一周围环境传感器的信号传播时间差，所述所选择的第一周围环境传感器作为参考传感器使用。替代地，可设想具有随机地选择的周围环境传感器对的随机化的匹配或者所有周围环境传感器彼此完全的匹配。虽然这需要更高的计算花费，但是可以提高系统的稳定性。
[0082]
在图3中，用于借助于中央的计算单元使多传感器系统的两个周围环境传感器同步的根据本发明的方法的实施例是作为流程图示出的。在第一步骤310中，代表至少一个周围环境信息的传感器信号由周围环境传感器检测。在接着的第二步骤320中，产生、由周围环境传感器产生数据组，所述数据组包括分别所检测的传感器信号和/或由传感器信号导出的测量变量。在接着的第三步骤330中，周围环境传感器的数据组由中央的计算单元通过数据网络接收。在第四步骤340中，借助于算法求取每个周围环境传感器的数据组的信号传播时间，其中，基于由数据组所包括的测量变量与来自其他的周围环境传感器的数据组的相应的测量变量的在内容方面的比较确定周围环境传感器中的一个的数据组的平均的相对的信号传播时间，并且将所确定的平均的相对的信号传播时间配属给相应的周围环境传感器。
[0083]
在图4中，用于借助于中央的计算单元融合两个周围环境传感器的传感器信号的根据本发明的方法的实施例是作为流程图示出的。在第一步骤中，代表至少一个周围环境信息的传感器信号由周围环境传感器检测。在第二步骤420中，由周围环境传感器产生包括分别所检测的传感器信号和/或从传感器信号导出的测量变量的数据组，其中，对于每个周围环境传感器，按照根据本发明的第一方面的方法确定平均的信号传播时间。在随后的步骤430中，由中央的计算单元通过数据网络接收周围环境传感器的数据组，其中，基于相应的周围环境传感器的先前所求取的平均的信号传播时间而将时间戳配属给每个数据组。在
随后的步骤440中，由中央的计算单元基于相应的时间戳融合由数据组所包括的传感器数据。