对象的同时进行的识别、分类和跟踪的制作方法

[0001]
本发明涉及从物理测量数据中识别对象的运动，所述物理测量数据已通过利用至少一个传感器观测对象来获得。


背景技术：

[0002]
为了车辆可以至少部分自动化地在街道交通中运动，需要的是，检测车辆的周围环境，并且如果即将发生与在车辆的周围环境中的对象碰撞，则采取对策。创建周围环境表示和定位对于安全的自动化行驶也是必需的。
[0003]
典型地，利用至少一个传感器来观测车辆的周围环境，并且从所记录的测量数据中,利用经过训练的机器学习模型（machine learning-modell）对从中可看出的对象进行分类。对于运动的对象同样重要的是，知道对象追求的轨迹。de 10 2017 223 206 a1公开了一种设备，该设备借助人工神经网络测定（ermittelt）对象的线形形状的轨迹。
[0004]
用于进行对象分类和进行运动跟踪的其他普通的现有技术在wo 2019/007 718 a1中、在us 9,760,806 b1中以及在ep 1 449 743 b1中予以说明。


技术实现要素：

[0005]
在本发明的范围中，已开发了一种用于从物理测量数据中表征运动的对象的方法。该方法的出发点在于，已利用至少一个传感器在至少两个不同的时间点t1和t2记录物理测量数据。记录的精确机制是无关紧要的。重要的仅仅是，通过要表征的对象的在场和/或运动，以某一种形式可影响物理测量数据。例如，雷达或者激光雷达（lidar）询问辐射（abfragestrahlung）的反射取决于：哪些对象存在于用所述辐射扫描的区域中，并且这些对象多快速地以及在哪个方向上运动。利用光学摄像机记录的图像也取决于，哪些对象将哪些波长的光朝向摄像机反射。测量数据可以以任意的数据类型存在，如例如作为划分成像素的图像或者作为点云存在，所述点云与在三维空间中的坐标组合来说明测量值。
[0006]
在该方法的范围中，在不同的时间点t1和t2记录的测量数据被合并在输入张量中，其中输入张量的一个维度表示时间t。如果测量数据例如以二维图像（所述二维图像已在不同的时间点t1和t2被记录）的形式存在，则这些图像可以沿着那么表示时间t的第三维度相叠地堆叠。如果所述测量数据例如分配给在三维空间中的点，则包含在各个时间点的分配的三维长方体沿着那么表示时间t的第四维度堆叠。
[0007]
输入张量通过至少一个卷积核的至少一个平滑式（gleitende）应用被卷积成卷积张量，在所述卷积张量中，每个值既取决于在时间点t1记录的测量数据，又取决于在时间点t2记录的测量数据。卷积张量作为输入被输送给经过训练的机器学习模型，并且由该经过训练的机器学习模型被映射到至少一个分类和/或回归上。从所述分类和/或回归中，评估至少一个对象的运动。
[0008]
在机器学习模型下尤其是察看如下模型：所述模型为了一般化而体现利用可适配的参数来参数化的具有理想得大的力（kraft）的函数。这些参数在训练机器学习模型时尤
其是可以适配为使得：在将学习输入变量值输入到该模型中时，尽可能好地再现所属的学习输出变量值。该机器学习模型尤其是可以包含人工神经网络（knn），和/或该机器学习模型可以是knn。
[0009]
卷积核的平滑式应用具有双重作用。输入张量的维度定量地被降低，使得相对应地减小机器学习模型（比方说人工神经网络（knn））的对于处理所需的变量。同时，测量数据被变换到新的空间中，在该空间中空间信息与时间信息绑定。已认识到，该变换令人感到意外地有两个主要优点。
[0010]
一方面，机器学习模型可以在该空间中被训练，使得该机器学习模型不仅识别出运动本身，而且将所述识别放置在如下附加的边界条件下：该运动对于相应的对象类型而言必须是看似可信的。如果在训练时使用既在对象类型方面又在运动种类方面均具有充足的可变性的测量数据作为训练数据，则机器学习模型例如自动化地学习：lkw例如不可竖直向上地运动。同样，机器学习模型例如学习：确定的类型的车辆对于方向变化而言具有最小回转圆。为此并不需要将关于车辆类型的细节作为“地面实况（ground truth）”提供给该机器学习模型。
[0011]
另一方面，开创了如下可能性：除了运动之外，也在一个工序中测定关于对象的另外的信息、如例如对象类型的分类。所提到的可信性检查（plausibilisierung）接着也在相反的方向上起作用。这意味着，如果机器学习模型以高置信度已识别出确定种类的运动，则可以自动化地排除确定的对象类型。如有疑惑，运动识别和对象识别因此可以相互支持，以便：比方说为了至少部分自动化的行驶的目的，从可能不完整的或者受噪声污染的测量数据中，测定通过测量数据表示的状况的完整的和正确的估计。
[0012]
分类和/或回归可以提供任意的变量，所述变量可以鉴于运动而被评估。例如，利用回归、和/或利用分类按照值域，可以测定加速度的x-、y-和z-分量a
x
、a
y
和a
z
和/或速度的x-、y-和z-分量v
x
、v
y
和v
z
。
[0013]
分类尤其是可以包含一个或者多个“softmax分数（softmax-scores）”，所述“softmax分数”对于一个或者多个类说明：至相应的类的分配以何种概率和/或置信度是正确的。
[0014]
在有利的构建方案中，选择一维卷积核，该一维卷积核沿着输入张量的表示时间t的维度延伸。最终得到的卷积张量接着例如对于在三维空间中的每个坐标可包含一个值，在该值中合并有测量数据的特定地在三维空间中的该地点处的随时间的演化（entwicklung）。在此，一维卷积比较快速。
[0015]
在其他特别有利的构建方案中，选择三维卷积核。同时，在没有填充输入张量（也称为“padding”）的情况下执行卷积。三维卷积核要更费事地计算，但是为此将在多个地点处的空间的和时间的信息链接，使得卷积张量的各个值都具有较高的输出值。放弃填充负责：相对于输入张量减少卷积张量的维度（即在其中包含的值的数目）。
[0016]
在此，尤其是例如可以利用相同的三维卷积核（和/或利用不同的三维卷积核）相继地来实施多次卷积。以这种方式可以精密地控制，将合并在输入张量中的测量数据变换到哪个空间中。尤其是可以调整（eingestellt）在用来识别出对象和其运动的精度与对于该识别所需的时间之间的任意平衡。这尤其是对于至少部分自动化的行驶而言是重要的，因为这里关于响应时间存在严格的预给定，并且在车辆上可支配的计算容量受限。
[0017]
在特别有利的构建方案中，经过训练的机器学习模型如下地将卷积张量映射到分类上：至少一个对象的运动遵循多个运动学模型中的来自预先给定的目录的哪个运动学模型。以这种方式，可能一开始就限制可能性的如下空间：对象的所寻找的运动处于所述空间中，使得可以更快速地识别出该运动。这在评价在交通状况中的另外的交通参与者的运动时是特别有用的，因为在街道交通中一再发生确定的基本类型的运动。
[0018]
有利地，运动学模型具有至少一个自由参数。经过训练的机器学习模型接着可以将卷积张量映射到针对所述至少一个参数的回归值上。运动因此可以定量地和定性地同时在一个工序中被表征。在这种情况下，该机器学习模型又可以学习回归和分类的相互的可信性检查。这样，例如加速度和速度通过街道交通的实际情况以及通过驾驶物理极限被限制到确定的范围，所述驾驶物理极限也取决于对象的类型。这些限制可以自动化地被学习，而不必明确地表达这些限制并且将这些限制作为“地面实况”来输送。
[0019]
以这种方式，尤其是简化了机器学习模型的持续更新。这样的更新一再变得必需。这样，例如电动超小型车辆行政法规（elektrokleinstfahrzeuge-verordnung）的生效已经在街道交通中不仅增加了新的对象类型，而且增加了在目前的车辆类型中不知道的新的表征性的运动模式。通过行政法规，也可以随时改变如下空间区域：在这些空间区域中，允许使用具有确定的运动模式的确定的车辆，或者可以改变针对确定的车辆类型的速度限制。通过机器学习模型可以全自动化地学习许多相互联系这个方式，必然用少量“地面实况”来注释（“打标签”）用于此的训练数据。这些标签比较昂贵，因为要求多次人为工作。
[0020]
运动学模型例如可以包括具有恒定速度的运动。根据该模型名义上不存在的速度的变化接着例如可以被模型化为白噪声w(t)。针对在空间方向x上的加速度a
x
，因此例如可以假设。
[0021]
运动学模型例如也可以包括具有恒定的加速度的运动。根据该模型名义上不存在的加速度的变化接着又例如可以被模型化白噪声w(t)。针对在空间方向x上的加速度a
x
的变化，因此例如可以假设。
[0022]
运动学模型例如也可以包括具有恒定的角速度ω的转动。沿着笛卡尔坐标方向x和y的加速度a
x
和a
y
接着例如可以被假设为和。
[0023]
运动学模型例如也可以包括具有一阶马尔科夫过程的singer加速度模型。该模型将加速度a(k)的从时间点k到后续时间点k+1的时间离散的展开式描述为。
[0024]
在这一点，具有采样间隔t和的描述了具有时间常数τ
m
的指数下降的特性。r(k)是围绕零正态分布的随机变量，并且σ
m
是对象的运动的标准偏差。
[0025]
在其他特别有利的构建方案中，经过训练的机器学习模型将卷积张量映射到至少一个对象的位置、大小和/或定向的分类和/或回归上。如果分别只有比方说粗略划分成确定的大小类是有需求的，则分别一个分类就够了。更精确的测定可以分别经由回归进行。
[0026]
在其他特别有利的构建方案中，经过训练的机器学习模型将卷积张量映射到对象的类型的分类上。以这种方式，尤其是可以利用之前所描述的一方面为对象类型而另一方面为运动模式的相互的可信性检查。
[0027]
如之前所阐述的那样，将卷积张量映射到之前所提到的具体的分类和/或回归上没有排除：卷积张量在相同的工序中也还被映射到其他具体的分类和/或回归上。尤其是，这些映射可以分别一起被学习，使得可以使用不同的所评估的信息的相互的可信性检查的之前所描述的效果。
[0028]
按照之前描述的内容，尤其是有利地选择如下测量数据：所述测量数据已通过利用至少一个传感器物理地观测车辆的周围环境来获得。从至少一个分类和/或回归中，和/或从由此所评估的运动中，形成操控信号（ansteuersignal），经过训练的机器学习模型将卷积张量映射到所述至少一个分类和/或回归上。利用操控信号来操控该车辆。
[0029]
如之前所描述的那样，例如在一个工序中可以测定，运动的对象的轨迹预计与自己的车辆的轨迹是否相交，并且对于自己的车辆从中是否产生出可能的缺点。基于该判断，接着可以测定适当的反应，并且相对应地操控该车辆。
[0030]
如果例如识别出动物向行车道走去并且即将发生被自己的车辆检测到，那么如下内容决定性地取决于动物的种类和大小：何种反应是适当的。针对较小的动物（该较小的动物在撞击时预计不损坏或者只是不明显地损坏自己的车辆），例如引起与随后的车辆的追尾碰撞的全制动可能是不适当的，因为此后形成的损伤可能大得多。在较大的、较巨大的动物的情况下，情况可能不同。
[0031]
在其他特别有利的构建方案中，选择如下测量数据：所述测量数据已通过利用至少一个传感器对要保护的区域进行物理观测来记录。从至少一个分类和/或回归中，和/或从由此评估的运动中，形成操控信号，可训练的机器学习模型将卷积张量映射到所述至少一个分类和/或回归上。利用操控信号来操控警报发送器、通知设备、记录仪和/或数据记录设备（protokolliervorrichtung）。记录仪例如可以记录测量数据、如比方说摄像机图像。数据记录设备例如可以利用日期和时间对已发生安全相关的意外事故的事实进行数据记录。
[0032]
类似于在车辆中的应用，在监控要保护的区域时，不仅对象是否在要保护的区域中运动是重要的，而且该运动和对象类型构成的组合是否对于要保护的区域预示危险也是重要的。这样，例如在要保护的建筑物的周围环境中运动的人员不是始终对于该建筑物是危险的。如果该人员快速地经过该建筑物，则不大可能的是，该人员追求闯入该建筑物中或者以另外的方式损伤该建筑物的意图。而如果人员缓慢地溜到该建筑物并且该运动此外还具有用来企图避免发现的行为方式，那么该人员可能追求不好的意图。
[0033]
因此，利用所描述的方法可以目标更精确地控制，在确定的状况中是否给出警报，使得识别出更多潜在有危险的状况，并且同时减小误警报的风险。误警报造成无用地召集的紧急救援人员的费用，并且导致有一天不再严肃地对待警报。
[0034]
所描述的方法的前提是，提供经过训练的机器学习模型。因而，本发明也提供了一种针对该训练的方法。
[0035]
在该方法中，真实的和/或模拟的学习测量数据被合并在学习输入张量中，所述真实的和/或模拟的学习测量数据涉及至少两个不同的时间点t1和t2。学习输入张量的一个维
度表示时间。
[0036]
学习输入张量通过至少一个卷积核的至少一个平滑式应用被卷积成学习卷积张量，在所述学习卷积张量中，每个值既取决于属于时间点t1的学习测量数据，又取决于属于时间点t2的学习测量数据。为此，尤其是可以使用所有与之前所描述的方法联系起来讨论的卷积核，因为相同的卷积或多个卷积的序列要分别被用于训练和被用于之后表征运动的对象。在训练时使用的卷积规定机器学习模型在其上被训练的工作空间，并且训练结果不是必然可转移到另外的工作空间中。
[0037]
学习卷积张量作为输入被输送给机器学习模型，并且由机器学习模型被映射到至少一个分类和/或回归上。从所述分类和/或回归中，评估至少一个对象的运动。
[0038]
利用成本函数来评价：所评估的运动与学习测量数据一致到何种程度，和/或分类和/或回归与别的属于学习测量数据的额定（soll）结果（“地面实况”）一致到何种程度。基于该评价来优化表征机器学习模型的特性的参数。如果机器学习模型例如包括人工神经网络（knn），那么这些参数例如可以包括如下权重：利用所述权重结算通向神经元或者相当的处理单元的输入，以激活该神经元或该相当的处理单元。
[0039]
优化的目的是，在将机器学习模型重新应用于学习卷积张量上并且从分类和/或回归中评估运动时，通过成本函数进行的评价预计变得更好。这种优化例如可以包括：系统性地搜遍参数的多维空间。但是，例如也可以分别基于当前的信息水平有针对性地规定参数空间中的方向，在所述方向上，变化预计预兆成功。为此，例如可以使用梯度下降方法。在优化的范围中没有保证：对参数每次进行的变化实际上都导致对通过成本函数来评价进行改进。更确切而言，属于优化的是，所选取的道路事后可能被证明为错误道路。
[0040]
在特别有利的构建方案中，成本函数包含多个贡献量构成的和，所述贡献量分别取决于所评估的运动与属于确定的时间点t1、t2的学习测量数据的比较。这有利于如下训练结果：所述训练结果导致对于所有时间点t1、t2都正确的对运动的评估。训练因此没有如下地漂移：针对所研究的时段的部分，以识别在剩余的时间内根本不正确为代价来提供完美的识别。在确定的时间点t1、t2比较运动与测量数据尤其是例如可以包括如下评价：该运动特定地依照这些测量数据显得看似可信到何种程度。
[0041]
但是替选地或者组合地，成本函数例如可以包含如下贡献量：所述贡献量是针对机器学习模型已将学习卷积张量正确地映射到多个运动学模型中的来自预先给定的目录的运动学模型的分类上到何种程度的量度。
[0042]
在其他特别有利的构建方案中，成本函数包含如下至少一个贡献量：所述至少一个贡献量是针对至少一个对象的利用机器学习模型评估过的位置、大小和/或定向与已知的额定位置、额定大小和/或额定定向的一致性的量度。以这种方式，这些变量的之前所描述的相互的可信性检查利用从相同的学习卷积张量中测定的运动来增强。
[0043]
例如，针对位置分量x和y的对成本函数的贡献量l
x
和l
y
可以是：和。
[0044]
其中，上标“gt”针对“地面实况”标明位置分量x和y的已知的学习值。w
gt 是对象的真宽度，并且h
gt
是对象的真高度。这些贡献量线性地在相应的位置偏差中，并且该位置偏差
有意义地与对象的大小有关系。
[0045]
例如，针对该对象的宽度w和高度h的对成本函数的贡献量s
w
和s
h
可以是：和。
[0046]
例如，针对该对象的定向θ的对成本函数的贡献量a
sin
和a
cos
可以是：和。
[0047]
在其他特别有利的构建方案中，成本函数包含如下至少一个贡献量：所述至少一个贡献量是针对对象（和/或对象的运动的运动学模型）的利用机器学习模型评估过的分类与对象（和/或运动学模型）的已知的额定分类的一致性的量度。在这种情况下，视不同种类的偏差对所设置的应用（如例如至少部分自动化的行驶）多么不利地发生作用而定，尤其是例如可以定性地对这些不同种类的偏差不同严厉程度地“进行惩罚”。
[0048]
训练的结果是如下参数的参数集：所述参数表征经过训练的机器学习模型的特性。凡拥有该参数集的人都可以直接使用该机器学习模型，而不必首先自己训练该机器学习模型。因而，该参数集是可独立销售的产品。
[0049]
该方法尤其是可以完全或者部分地计算机实施。因而，本发明也涉及一种计算机程序，该计算机程序具有机器可读取的指令，当所述机器可读取的指令在一个或者多个计算机上实施时，所述机器可读取的指令促使所述一个或者多个计算机实施所描述的方法之一。在该意义下，针对车辆的控制设备和针对技术设备的嵌入式系统也要被视为计算机，所述控制设备和嵌入式系统同样能够实施机器可读取的指令。
[0050]
同样，本发明也涉及一种机器可读取的数据载体和/或涉及一种下载产品，所述机器可读取的数据载体和所述下载产品具有参数集（和/或具有计算机程序）。下载产品是经由数据网络可传输的（也就是可由数据网络的用户下载的）数字产品，该数字产品例如可以在网上商店（online-shop）中陈列待售，用以立即下载。
[0051]
此外，计算机可以配备有参数集，配备有计算机程序，配备有机器可读取的数据载体和/或配备有下载产品。
附图说明
[0052]
在下文中，与对本发明的优选实施例的描述一起，依据附图更详细地示出其他改进本发明的措施。
[0053]
其中：图1示出了用于表征运动的对象1的方法100的实施例；图2示出了训练方法200的实施例。
具体实施方式
[0054]
图1是用于表征运动的对象1的方法100的实施例的流程图。利用至少一个传感器2记录对象1的物理测量数据2a，如例如在步骤105a中通过物理观测车辆50的周围环境或者在步骤105b中通过物理观测要保护的区域来记录物理测量数据2a。
[0055]
在不同的时间点t1和t2记录的测量数据2a在步骤110中被合并成输入张量3。该输
入张量的一个维度表示时间t。通过平滑式应用至少一个卷积核4，输入张量3在步骤120中被卷积成卷积张量5。在盒120之内，说明了卷积的示例性可能性。
[0056]
根据块121，可以选择一维卷积核，该一维卷积核沿着输入张量3的表示时间t的那个维度延伸。
[0057]
根据块122，可以选择三维卷积核4。接着，根据块123在没有填充输入张量3的情况下执行卷积，以便减少在卷积时的值的数目。
[0058]
根据块124，可以利用相同的三维卷积核4或者利用不同的三维卷积核4相继地执行多次卷积。
[0059]
在步骤130中，卷积张量5作为输入61被输送给经过训练的机器学习模型6。机器学习模型6在步骤140中将卷积张量5映射到至少一个分类63a上，和/或映射到至少一个回归63b上。在盒140之内，为此说明不同的示例性可能性。
[0060]
根据块141，机器学习模型6可以如下地提供分类63a：至少一个对象1的运动1a遵循多个运动学模型中的来自预先给定的目录的哪个运动学模型。该运动学模型可以根据块142具有至少一个自由参数，所述至少一个自由参数由机器学习模型6作为回归值63b来提供。
[0061]
根据块143，机器学习模型6可以提供至少一个对象1的位置、大小和/或定向的分类63a和/或回归63b。如之前所阐述的那样，是否必需回归63b或者或多或少粗略的分类63a是否足够例如可能以所需的精度为准。
[0062]
根据块144，机器学习模型6可以按对象1的类型自己进行分类。如之前所阐述的那样，这尤其可以被使用，以便使一方面给对象1的类型而另一方面给该对象1的运动1a自动地相互进行可信性检查。
[0063]
在步骤150中，从一个或者多个分类63a和/或回归63b中，评估至少一个对象1的运动1a。这些信息（以及也有分类63a和/或回归63b自身）可以被用于操控技术系统，并且因此直接改进这些技术系统的功能。在图1中为此说明了两个实例。
[0064]
如果测量数据2a源自车辆50的周围环境，那么在步骤160中可以形成对于车辆50特定的操控信号160a。在步骤170中，可以利用该操控信号160a来操控车辆50。
[0065]
如果测量数据2a源自对要保护的区域的观测，则在步骤180中可以形成对于用于监控要保护的区域的系统特定的操控信号180a。在步骤190中，利用该操控信号180a操控警报发送器60、通知设备70、记录仪80和/或数据记录设备90。
[0066]
图2是训练方法200的实施例的流程图。
[0067]
在步骤210中，真实的和/或模拟的测量数据2a*被合并在学习输入张量3*中，所述真实的和/或模拟的测量数据2a*涉及至少两个不同的时间点t1和t2。学习输入张量3*的一个维度表示时间t。
[0068]
学习输入张量3*通过至少一个卷积核4的至少一个平滑式应用而被卷积成学习卷积张量5*。在该学习卷积张量5*中，每个值既取决于属于时间点t1的学习测量数据2a*，又取决于属于时间点t2的学习测量数据2a*。
[0069]
在步骤230中，学习卷积张量5*作为输入61被输送给机器学习模型6。机器学习模型6由此在步骤240中产生至少一个分类63a和/或回归63b。在步骤250中，从分类63a和/或回归63b中评估至少一个对象1的运动1a。
[0070]
在步骤260中，利用成本函数如下地来评价运动1a（和/或至少一个分类63a和/或回归63b自身）：该运动1a是否与学习测量数据1一致，或该运动1a是否与别的属于学习测量数据2*的额定结果63a*、63b*（“地面实况”）一致。一些示例性的针对该评价的可能性在盒260之内予以说明。
[0071]
根据块261，成本函数7可以包含如下多个贡献量构成的和：所述贡献量分别取决于所评估的运动1a与属于确定的时间点t1、t2的学习测量数据2a*的比较。
[0072]
根据块262，成本函数7可以包含如下至少一个贡献量：所述至少一个贡献量从至少一个对象1的利用机器学习模型6评估过的位置、大小和/或定向与已知的额定位置、额定大小和/或额定定向的比较中来获得。该贡献量是针对在该比较中测定的一致性的量度。
[0073]
根据块263，成本函数7可以包含如下至少一个贡献量：所述至少一个贡献量从对象1（和/或对象1的运动1a的运动学模型）的分类63a与已知的额定分类63a*的比较中获得。该贡献量是针对在该比较中测定的一致性的量度。
[0074]
在步骤270中，优化表征机器学习模型6的特性的参数62。优化的目的是，在将机器学习模型6重新应用于学习卷积张量5*上和评估运动1a时，获得预计更好的通过成本函数7进行的评价260a。