1.本发明涉及一种用于运行至少部分自动化行驶的载具的方法和一种载具。
背景技术：
2.机器学习(例如基于神经网络)具有巨大的潜力用于在现代驾驶员辅助系统和自动化行驶的载具中的应用。基于深度神经网络的功能在此处理传感器数据(例如，来自摄像机、雷达传感器或激光雷达传感器)，以便由此得出相关信息。这些信息例如包括在机动车的环境中的物体的类型和位置、物体的行为或车道几何结构或拓扑结构。
3.在开发深度神经网络(训练)时的重要特征在于在没有专家干预的情况下的纯数据驱动的参数拟合：在此，确定神经网络的输出(针对给定的参数化)与实况(英文：ground truth)的偏差(所谓的损失)。在此使用的损失函数(lossfunktion)以如下方式来选择，即神经网络的参数可微分地依赖于该损失函数。在梯度下降法的范畴内，在每个训练步骤中根据(在多个示例上确定的)偏差的导数来适配神经网络的参数。这些训练步骤被非常多次地重复，直到损失不再减少。
4.在该过程中，神经网络的参数在没有专家评估或以语义为动机的建模的情况下来确定。然而，神经网络也具有缺点。如此，基于传感器数据/输入数据中的对抗性干扰的攻击例如可导致，尽管检测到的传感器数据中的内容在语义上没有变化，却进行错误分类和错误的语义分割。此外，仅当输入数据源自在其上训练过神经网络的数据域时(也就是说在样本内数据的情况下)，那么神经网络的质量才始终高。反之，如果输入数据来自不同的数据域(样本外数据)，则神经网络的输出的质量可下降。
5.尤其在其中要求较高的安全需求的自动化行驶的范围内，必须能够在进行进一步处理之前识别出样本外数据。
6.从chuan guo等人的countering adversarial images using input transformations, arxiv:1711.00117v3 [cs.cv], 25. jan. 2018, https://arxiv.org/pdf/1711.00117.pdf中已知一种用于消除图像数据中的对抗性干扰的绗缝法和总方差最小化法。
技术实现要素：
[0007]
本发明目的在于，提供一种用于运行至少部分自动化行驶的载具的方法和一种载具，在其中可以识别出尤其由对抗性干扰引起的样本外数据并在识别之后对此作出反应。
[0008]
根据本发明，该目的通过具有专利权利要求1的特征的方法和具有专利权利要求9的特征的载具来实现。本发明的有利的设计方案由从属权利要求得出。
[0009]
尤其地，提供一种用于运行至少部分自动化行驶的载具的方法，其中，借助于至少一个传感器检测传感器数据，其中，借助于重建法重建检测到的传感器数据，其中，将检测到的传感器数据和经重建的传感器数据分别供应给基于机器学习的感知功能(wahrnehmungsfunktion)，其中，在分别借助于感知功能产生的输出之间借助于距离度量
确定距离，其中，将所确定的距离与至少一个预设的阈值比较，并且其中，如果所确定的距离超过至少一个预设的阈值，则执行至少一个安全措施。
[0010]
此外，尤其提供了一种载具，其中，载具至少部分自动化地行驶，该载具包括：至少一个传感器，其中，至少一个传感器设立成检测传感器数据；以及控制设备，其中，控制设备设立成提供基于机器学习的感知功能，借助于重建方法重建检测到的传感器数据，将检测到的传感器数据和经重建的传感器数据分别供应给感知功能，以在分别借助于感知功能产生的输出之间借助于距离度量确定距离，将所确定的距离与至少一个预设的阈值比较，并且如果所确定的距离超过至少一个预设的阈值，则执行至少一个安全措施。
[0011]
该方法和载具实现识别样本外数据并在识别之后采取至少一个安全措施。为此，借助于重建方法重建检测到的传感器数据。随后，将检测到的传感器数据和经重建的传感器数据分别供应给基于机器学习的感知功能。如果传感器数据例如是检测到的摄像机图像，并且感知功能例如执行语义分割，则对原始摄像机图像执行一次语义分割并对经重建的摄像机图像执行一次语义分割。在分别借助于感知功能产生的输出之间借助于距离度量确定距离，将所确定的距离与至少一个阈值比较。如果所确定的距离超过至少一个阈值，则这表明存在样本外数据。在此，原因可以是以包含在传感器数据中的对抗性干扰的形式的有针对性的攻击，或者可以是位于数据域之外的传感器数据，例如以所谓的“极端情况(英文：corner case)”的形式，即传感器数据或在其中描绘的内容的极少出现的表现形式。在任何情况下，数据都位于在其中训练过感知功能的数据域之外。如果超过了至少一个阈值，则因此执行至少一个安全措施，以便维持或提高载具的安全性。
[0012]
此外，还另外提出了一种用于识别基于机器学习的感知功能的样本外数据的方法，尤其针对至少部分自动化行驶的载具，其中，借助于重建方法重建借助于至少一个传感器检测到的传感器数据，其中，将检测到的传感器数据和经重建的传感器数据分别供应给感知功能，其中，在分别借助于感知功能产生的输出之间借助于距离度量确定距离，其中，将所确定的距离与至少一个预设的阈值比较，并且其中，如果所确定的距离超过至少一个预设的阈值，则产生和提供样本外信号。该方法尤其借助于数据处理设备来实施。
[0013]
该方法和载具的优点是，对抗性干扰的识别可以独立于对抗性干扰的具体表现形式进行。由此，尤其也可以识别和拦截未知的和/或新型的对抗性干扰。为此，尤其不需要基于机器学习的感知功能的(重新的)耗费的训练，从而可以节省时间和成本，并且在使用感知功能时仍然可以维持在安全性方面较高的度量。
[0014]
感知功能尤其已经完全地训练。尤其设置成，(相同的)感知功能也在载具的(部分)自动化行驶时被使用。在此，既可以设置成在(部分)自动化行驶时考虑基于感知功能的检测到的传感器数据产生的、尤其推断出的输出，又可以设置成考虑感知功能的基于经重建的传感器数据产生的、尤其推断出的输出。尤其设置成，感知功能为载具的(部分)自动化行驶和/或为载具的驾驶员辅助和/或为环境检测和/或环境感知提供功能。例如，感知功能可以对检测到的传感器数据执行物体识别和/或语义分割。
[0015]
传感器例如可以是摄像机、立体摄像机、激光雷达、雷达或超声波传感器。
[0016]
至少一个传感器的传感器数据原则上可以是一维或多维的、尤其二维的。例如，传感器数据可以是二维的摄像机图像和/或激光雷达传感器或雷达传感器的二维数据。
[0017]
重建方法尤其基于在其中训练过感知功能的数据域重建检测到的传感器数据。
[0018]
距离的确定基于距离度量进行。针对摄像机图像，距离度量例如可以经由图像元素矢量上的欧几里得间距限定。为此，使摄像机图像作为矢量线性化。间距的确定然后经由矢量范数(vektornorm)进行，例如经由l2范数。然而，原则上也可以使用其他距离度量，例如基于其他lp距离或lp范数。针对其他类型的传感器数据，距离的确定原则上以相同的方式进行。
[0019]
至少一个阈值尤其根据经验(即尤其借助于有针对性地准备好的传感器数据)来确定。在此，例如可以将对抗性干扰有针对性集成到设置用于测试的传感器数据中，以便在处理准备好的传感器数据和经重建的准备好的传感器数据之后通过感知功能确定由此产生的距离。例如，该过程可以针对多个和/或不同的对抗性干扰来执行。随后，可以基于分别确定的距离来确定阈值。该阈值原则上既可以基于所确定的最小距离来选择，又可以基于加权平均或其他统计参量等来选择。此外，极少出现的传感器数据(所谓的“极端情况”)也可以例如由传感器数据的模拟有针对性地产生，以便经由对此确定的距离来确定至少一个阈值。原则上也可以确定多于一个阈值。这实现根据不同的阈值选择安全措施，从而例如在范围方面可以执行分级的安全措施。
[0020]
控制设备的部件可以单独或联合地构造为硬件和软件的组合，例如构造为在微控制器或微处理器上实施的程序代码。然而也可设置成，部件单独或联合地构造为专用集成电路(asic)。
[0021]
载具尤其是机动车。然而，载具原则上也可以是其他陆地载具、轨道载具、空中载具、水上载具或航天载具。
[0022]
尤其设置成，不断重复该方法，从而可以不断检查(当前的)检测到的传感器数据。这尤其与检测到的传感器数据的定期评估并行地进行，该评估借助于感知功能来执行。
[0023]
在一种实施形式中设置成，基于机器学习的感知功能借助于经训练的神经网络来提供。神经网络尤其是深度神经网络、尤其卷积网络(英文：convolutional neural network,cnn)。神经网络针对感知功能训练，例如针对检测到的摄像机图像中的行人或其他物体的感知。
[0024]
在一种实施形式中设置成，重建方法包括对检测到的传感器数据进行绗缝和/或总方差最小化和/或平滑和/或去噪和/或压缩。这种方法例如由chuan guo等人的countering adversarial images using input transformations, arxiv:1711.00117v3 [cs.cv], 25. jan. 2018, https://arxiv.org/pdf/1711.00117.pdf已知。
[0025]
绗缝尤其包括对检测到的传感器数据进行逐个替换，该替换也被称为传感器数据的逐个重建。传感器数据为此被划分成多个子截段。在二维传感器数据(例如以摄像机图像的形式)的情况下，为此限定较小的、尤其矩形的子截段(也称为补丁)。将各个子截段与接下来称为传感器数据补丁的子截段(其例如储存在数据库中)比较。传感器数据补丁在此从在其中训练过感知功能的数据域中产生。比较基于距离度量进行，该距离度量例如经由图像元素矢量上的欧几里得间距限定。为此，使子截段作为矢量线性化。距离的确定然后经由矢量范数进行，例如经由l2范数。为了进行衍缝，分别通过数据库中的最接近或最相似的传感器数据补丁来替换子截段。在此可以设置成，必须保持最小距离，或者至少在传感器数据中的子截段和传感器数据补丁之间不能够存在相同性。如果传感器数据具有其他形式或其他格式，则以类似的方式进行逐个替换。
[0026]
在一种实施形式中设置成，作为安全措施，停用感知功能。由此可以防止在(部分)自动化行驶的载具中载具的控制基于感知功能的输出进行，尽管这些输出可能不值得信任或可能导致载具的错误控制。尤其由此可以防止在(部分)自动化行驶时考虑感知功能的由传感器数据中的对抗性干扰操纵的输出。
[0027]
在一种实施形式中设置成，作为安全措施，改变感知功能的输出的置信度(konfidenz)。由此尤其可以改变、尤其减少感知功能的输出对自动化行驶的载具的影响。例如在超过至少一个阈值之后，由此可以在针对自动化行驶的决策中以更低的权重考虑输出。如果设置有多个阈值，则考虑的强度可以例如经由相应选择的置信度和/或依赖于此的权重还有根据相应的阈值来选择。尤其可以在所确定的距离增加时连续降低置信度或权重。
[0028]
在一种实施形式中设置成，作为安全措施，改变至少一个传感器的检测到的传感器数据的至少一个置信度值，并且/或者作为安全措施，至少一个传感器的传感器数据不再由感知功能考虑。如果多个传感器的传感器数据由感知功能考虑，则由此可以影响哪些传感器由感知功能以何种强度或权重考虑，其方式为在接下来的处理中根据相应的置信度来选择强度或权重。例如，如果针对检测到的摄像机图像确定的距离超过至少一个阈值，而针对激光雷达数据确定的距离没有超过相关阈值，则可以降低摄像机的置信度值并且/或者摄像机的传感器数据可以(至少暂时地)不再由感知功能考虑。然后，感知功能仅基于激光雷达数据和必要时存在的另外的传感器的传感器数据工作。如果再次低于阈值，则可以再次考虑摄像机(或相应的传感器)或再次提高相关传感器数据的置信度。
[0029]
可以设置成，在此也根据传感器数据和/或根据物体来改变置信度。例如，如果传感器数据是检测到的摄像机图像，则例如可以将摄像机图像和经重建的图像的借助于感知功能生成的分割图中的物体的置信度值相互比较。感知功能的各个输出的置信度值利用本身已知的方法来确定，在神经网络中例如借助于(蒙特卡洛)退出采样，在其中随机停用神经网络的各个部分并且针对相同的传感器数据多次产生(推断出)不同停用的输出。然后，输出的结果分布可以用作置信度或不确定性的度量。如果相同物体的摄像机图像和经重建的摄像机图像的置信度值严重地彼此偏差，那么可以降低该物体或该分割的置信度值。借助于该过程可以从相应确定的差中生成置信度图或不确定性图，从而可以在接下来的处理中例如由载具控制装置不一样强地考虑具有不同置信度的传感器数据的子集。
[0030]
在一种实施形式中设置成，作为安全措施，改变至少一个传感器配置。由此，例如可以使用其他数量的传感器和/或其他组合的传感器。另外，由此也可以改变传感器的参数。例如，可以改变摄像机或激光雷达传感器的分辨率。
[0031]
在一种实施形式中设置成，作为安全措施，激活用于自动化行驶的载具的至少一个回退策略(r
ü
ckfallstrategie)。回退策略尤其包括对环境感知和/或(部分)自动化行驶的载具的控制进行重新配置。例如，回退策略可以包括回退到更低的自动化级别。回退策略还可以包括对载具的至少一个传感器和/或用于(部分)自动化行驶的系统进行激活和/或停用和/或重新配置。例如，可以采用不太精确的传感器和/或不太精确工作的系统。在任何情况下，目的都是为了在当前情况下由回退策略维持预设的在安全性方面的度量，或者提高安全性。
[0032]
在一种实施形式中设置成，作为安全措施，将自动化行驶的载具转移到安全状态
下。这样的安全状态可以包含由人类驾驶员接管控制。此外，还可以设置成，为了达到安全状态，使载具自动化行驶到路边处并且停放在那里。
[0033]
此外，可以设置成，在超过至少一个阈值之后，产生和输出警告消息并且/或者将其传输到接收者处。这实现使载具的乘客和/或载具制造商和/或第三方服务商注意到样本外数据的存在。尤其可能的是，载具制造商和/或第三方服务商基于所传输的警告消息适配或更新、尤其重新训练感知功能。
[0034]
关于所述载具的设计方案的另外的特征从所述方法的设计方案的描述中得出。在此，该装置的优点相应与在该方法的设计方案中的优点相同。
附图说明
[0035]
接下来借助优选的实施例参考附图更详细地阐释本发明。其中：图1示出了载具的实施形式的示意图；图2示出了用于阐明用于探测样本外数据的方法的示意性流程图。
具体实施方式
[0036]
图1中示出了载具50的实施形式的示意图。载具50包括传感器51(例如摄像机)，利用该传感器来检测载具50的环境。此外，载具50包括控制设备1。控制设备1例如构造为硬件和软件的组合，例如构造为在微控制器或微处理器上实施的程序代码。
[0037]
控制设备1提供了基于机器学习的感知功能2。感知功能2尤其以经训练的深度神经网络3的形式来提供。感知功能2例如识别检测到的传感器数据10中的物体或执行语义分割等并且提供输出20，该输出随后被供应给载具控制装置52，该载具控制装置至少也根据输出20操控或调节载具50的执行器53。此外，控制设备1实施本公开中描述的方法。
[0038]
在图2中，以示意性流程图的形式阐明了本公开中描述的方法的实施形式的核心元素，即样本外数据的识别。例如，假设检测到的传感器数据10包括摄像机图像。
[0039]
借助于重建方法30(例如绗缝法)重建检测到的传感器数据10，从而可以提供经重建的传感器数据11。
[0040]
此外还可以设置成，重建方法30附加地或备选地包括对检测到的传感器数据10进行总方差最小化和/或平滑和/或去噪和/或压缩。
[0041]
将检测到的传感器数据10和经重建的传感器数据11分别供应给经训练的感知功能2、尤其经训练的深度神经网络3。经训练的感知功能2既针对检测到的传感器数据10又针对经重建的传感器数据11分别产生、尤其推断出输出20,21。
[0042]
在输出20,21之间借助于距离度量31确定距离32。作为距离度量31例如可以使用lp距离或lp范数，例如l2范数。
[0043]
在检查步骤40中，将所确定的距离32与预设的阈值25比较。如果检查得出没有超过阈值25，则产生样本内信号60。反之，如果检查得出超过阈值25，则产生样本外信号61，该样本外信号例如被传输到载具控制装置52处(参照图1)。
[0044]
在传输样本外信号61之后，实施至少一个安全措施15，例如借助于载具控制装置52(图1)。
[0045]
可以设置成，作为安全措施15，停用感知功能2。
[0046]
可以设置成，作为安全措施15，改变感知功能2的输出20的置信度。
[0047]
可以进一步设置成，作为安全措施15，改变至少一个传感器51的检测到的传感器数据10的至少一个置信度值，并且/或者作为安全措施15，至少一个传感器51的传感器数据10不再由感知功能2考虑。
[0048]
可以设置成，作为安全措施15，改变至少一个传感器配置。例如，可以使用传感器51(摄像机、激光雷达、雷达、超声波等)的其他组合和/或改变传感器51的参数。
[0049]
可以设置成，作为安全措施15，激活用于(部分)自动化行驶的载具50的至少一个回退策略。这例如在样本外信号61由载具控制装置52接收之后进行。
[0050]
可以设置成，作为安全措施15，将载具50转移到安全状态下。为此，载具控制装置52例如如此操控载具50或载具50的执行器53，使得载具50停靠在路边处，或者载具控制装置52降低自动化程度和/或停用载具50的某些辅助功能，所述辅助功能与样本外数据或相关传感器51有关。
[0051]
可以设置成，仅执行单个安全措施15。然而也可以设置成，执行多个安全措施15。
[0052]
附图标记列表1 控制设备2 感知功能3 深度学习网络10 传感器数据11 经重建的传感器数据15 安全措施20 输出(传感器数据)21 输出(经重建的传感器数据)25 阈值30 重建方法31 距离度量32 距离40 检查步骤50 载具51 传感器52 载具控制装置53 执行器60 样本内信号61 样本外信号。