限界区域和运动路径的低维度求取的制作方法

本发明涉及一种借助图像来求取限界区域和运动路径的设备，该设备尤其用于陆上车辆、船舶或飞行器。本发明还涉及一种辅助系统以及一种相应的计算机程序

背景技术：

对于驾驶员辅助系统或至少部分自动化的行驶而言，稳健的周围环境检测非常重要。特别重要的是确定可行驶的区域，该区域受到其他车辆或固定对象(例如墙和护栏)的限制。

近年来，已经越来越多地使用机器学习方法——尤其深度学习方法，以便可以稳健地识别周围环境特征。在此，通常基于测量数据来进行分类。一种极端情况是摄像机图像的所谓语义分割(或像素标记)，在该情况下，给每个单独的像素确定一个所属的类别(例如道路、汽车、建筑物)。方面的示例是(e.shelhamer、j.long、t.darrell的《fullyconvolutionalnetworksforsemanticsegmentation》，arxiv:1605.06211(2016年))。

us2015/206015a1公开一种替代方案。在此生成一维图表，其中，每个节点对应一个图像列。基于特征识别，在图表上构建能量函数。将这种能量函数最大化，以便确定运动对象附近的空闲区域。

技术实现要素：

在本发明的范畴内，已经研发出一种用于由至少一个图像求取至少一个对象的限界区域和/或运动路径的设备。

限界区域例如可以是如下意义上的可通行(begehbar)的或可行驶的区域：在该区域中不存在应避免与其碰撞的确定对象。然而，所述术语例如也包括绿化带或草坪区域与行车道的限界、房屋立面与窗户的限界、海洋与沙滩的限界或舷梯与水的界限。区域之间的分离也可以仅仅是语义的——例如通过实线彼此分离的两个车道。

运动路径通常说明对象相继所处的位置的序列。如果这种序列还附加地包含对象处于相应位置上的时间，则涉及的是轨迹。

在此，“可通行的或可行驶的区域”的术语不受如下事实约束：已经拍摄图像的摄像机是可移动的。摄像机同样可以是静止的并且例如监测停车场的或用于大型活动的地带的充盈度(füllungsgrad)。

同样地，“其运动路径被确定的对象”的术语不限于安装有摄像机的对象。例如可以借助静止安装的摄像机来监测流动的交通。除了自身的运动路径以外，配备有可移动摄像机的车辆同样也可以监测陌生车辆的、行人的或任何其他对象的运动路径。

“图像”的术语不受图像拍摄的确定类型的约束并且也不受图像是光学图像的约束。因此，彩色图像、灰度图像和深度图像同等地适用。该图像例如可以由单个摄像机、立体摄像机、鱼眼摄像机或借助其他的对比机制(例如运动恢复结构(structure-from-motion)、激光雷达或飞行时间)来进行检测。该图像也可以由如下所检测的图像融合(fusionierung)得出：所述图像借助不同的摄像机、由不同的视角、和/或借助不同的对比机制所检测。

所检查的限界区域无须强制性地处于车辆前方。例如可以在转弯过程或变换车道时进行检查：借助镜无法看见的“死角”在多大程度上是空的。

该设备包括由多个彼此相继的层构成的至少一个人工神经网络knn，其中，knn的第一层获得至少一个图像或所述至少一个图像的一部分作为输入。

knn的第二层构造用于提供限界区域的边界线、运动路径的线状走向或边界线的或运动路径的区段作为输出。第二层的维度小于第一层的维度。

在此，术语“第一层”和“第二层”应理解为仅用于将两个层相互区分开，并且例如在如下方面进行限制：第一层是直接处于knn的输入端上的层并且第二层是紧随其后的层。由此，在knn中，在“第一层”和“第二层”之前还可以存在多个层并且在它们之后也可以跟随多个层。

“knn层的维度”尤其可以理解为该层的输入或输出的维度。

“第一层的维度”例如可以理解为所输入的图像数据的维度。“第二层的维度”例如可以理解为如下参数空间的维度：在该参数空间中，求取边界线的或运动路径的参数化表达，或者，求取边界线的或运动路径的其他形式的维度。

此外，knn也不限于仅提供边界线或运动路径。唯一的knn中的不同的“第二层”例如也可以一次提供多个边界线或运动路径。除了边界线以外，knn例如也可以在工作过程中沿着边界线提供不同类别的对象。

在总体上，knn例如可以同时提供自身车道的区域、实线区域、直至路缘石的区域以及铺设沥青的区域。然后，不同的行驶功能分别可以动用合适的区域。因此，轮辋保护功能例如在路缘石前制动，而行人保护在紧急情况下也提供在路缘石或实线上的行驶。

在一种有利构型中，knn的每个层所提供的输出至多具有与knn的该层所获得的输入相同大小的维度。然后，在knn中不进行(特别是计算密集的)上采样。然而，也可以提供如下应用：在所述应用中，这种开销对于临时的上采样来说是完全合理的。

已经看出，与用于管理行驶任务的信息相比，语义分割包含多得多的信息。如果高速公路由结构性边界包围，那么哪种类型的对象超出不可跨越的边界不再重要相关。因此，可以完全(ersatzlos)节省对涉及超出边界的区域的像素的详细分类的开销。

数字示例说明这种节省是相当可观的。典型的系列摄像机每秒拍摄30个如下图像：所述图像具有1280×720个像素。为了将这些像素分成10个类别的对象，必须在每个时间针对每个像素计算10个针对如下情况的概率的集合：像素属于所涉及的类别的对象。这总共是每秒超过2.76亿个概率。反之，如果例如仅寻求可通行的或可行驶的区域的边界线(该边界线由64个多边形支持点参数化)，则为此仅须每秒计算至多64*30*10＝19200个值，即以超过10000的因子减少。如果对于边界线没有询问哪种对象类型确切分别限界了可通行的或可行驶的区域，则能够实现进一步的节省。

在该示例中，“输入的图像像素的数量(1280×720)”可以理解为第一层的维度，而多边形支持点的数量(64)可以理解为第二层的维度。第二层的维度以超过10000的因子小于第一层的维度。

此外已经看出，在借助knn进行完全语义分割的情况下，由于如下方式产生相当大的附加成本：首先连续地降低所输入的图像的维度，然而最后必须通过上采样重新提升到其原始大小。这种开销可以完全被节省。因此，这伴随着knn需要少得多的存储器。

减少的计算和内存开销又导致：为了以硬件实现所述设备，具有较低能量消耗的更紧凑的硬件就是足够的。尤其对于至少部分自动化的行驶来说，这是从实验室阶段到系列应用的过渡的基本要求。

因此，尽管使用完整的图像作为输入，但这种开销是可管理的。因此，不需要为了降低复杂度而将图像划分成如下区段：这些区段被彼此单独地处理。这对于knn的训练过程是有利的，在该训练过程中，可以分别一并学习完整的场景情境(szenenkontext)——例如车辆在道路上行驶并且天空处于摄像机图像的上部。

最后，也可以从一开始就将knn设计得小得多，因为待解决的问题以更紧凑的方式表述，也就是说，从一开始仅询问用于行驶的或支持行驶的辅助系统的实际所需的信息。

尤其在车辆中应用时，限界区域的或运动路径的作为(参数化的)线的紧凑表达尤其具有进一步的优点：这种表达在传输给车辆内部的其他系统时需要很少的带宽。为了节省电缆束的材料和重量，实施总线系统(例如can总线)，所述总线系统用于车辆系统之间的通信。材料和重量节省最终是多个系统共享同一介质的结果。传输高分辨的、完全语义分割的图像在这种周围环境中消耗相对较多的带宽，使得其他系统在轮到其传输之前必须等待。

在设备中直接将图像转换成边界线或运动路径，也就是说，不存在数据的特殊的且可能不透明的预处理或再处理。反之，这也允许借助用于边界线或运动路径的“样本解决方案”来实现训练图像或训练图像序列的透明的且开销小得多的标记(label)。替代在训练图像中借助如下类别标记每个单个的像素：knn将会在实际运行中归类到该类别中，而是在训练图像中标记出如下边界线或运动路径就是足够的：knn将会在实际运行中有意义地求取这些边界线或运动路径。

因此，明显简化并且加速了knn的训练。由此，对于应用的制造商而言更实用的是，可以完全自主地执行训练，而不是使用预先训练过的knn。因此，应用的制造商可以购买并且自由地使用硬件形式的knn，而无须受制于存储在硬件中的训练结果的单独许可条件。

有利地，设置至少两个knn。在此，第一knn构造用于确定一方面的限界区域与另一方面的限制该区域的第一对象类型之间的边界线。第二knn构造用于确定一方面的限界区域与另一方面的限制该区域的第二对象类型之间的边界线。

然后可以彼此独立地分别在识别对象类型方面专门训练两个knn。在这种训练过程中确保：在识别一种对象类型时的学习进程不以牺牲另一对象类型的识别为代价。

knn尤其可以彼此独立地适应于与识别不同的对象类型相关的不同要求。因此，行车道边界例如是静止的，也就是说，行车道边界不会自发地改变其外形。相反，前方行驶的车辆在转弯时或变换车道时可以自发地改变如下视角：该前方行驶的车辆由该视角被摄像机所检测到。例如当驾驶员操纵转向灯或其他的灯或在行驶期间打开敞篷车的顶篷时，该前方行驶的车辆也会改变其外形。

如果存在多个knn，那么还可以以特别简单的方式与边界线一起求取类别，通过该对象类型，限界区域受到具体限制。不论对象涉及固定对象还是另一车辆，这例如对于规划至少部分自动化的行驶而言都是重要的。避免与固定对象发生碰撞仅取决于自身车辆的行为，而在所述对象是另一车辆的情况下则应考虑：该另一车辆例如可以自发地加速、制动或变换车道。此外，在不再能避免碰撞的情况下，可以通过如下方式减轻事故后果：通过控制干预使碰撞转向到“更合适的对象”上。因此，与楔入牵引车下(在这种情况下，变形能量集中到乘客舱上)相比，碰撞到坚固的混凝土墙上(在这种情况下，变形能量由车辆的为此设计的前部所吸收)的后果更轻。也可以通过如下方式减轻事故后果：争取实现自身车辆与碰撞对象之间的尽可能大的接触面，以便使变形能量分布在尽可能大的面上。可以认为在这方面、在准许至少部分自动化行驶时将存在监管要求，以便尤其保护“弱的”交通参与者——例如行人或骑行者。

因此，无论存在两个还是多个knn，该设备通常都特别有利地构造用于在沿着限界区域的所求取的边界线的不同位置上分别求取如下情况的概率：限界区域在那里受到确定的对象类型的限制。

在另一特别有利的构型中，第一knn的和第二knn的输出被引导到至少一个聚合器中，其中，聚合器构造用于求取由两个knn所提供的边界线的叠加的包络线(einhüllende)作为限界区域的唯一的或附加的边界线。

这种聚合器例如能够实现以灵活的方式组合多个knn的输出，以便对不同的问题做出响应。在此，可以多次使用knn的同一输出。因此，例如对于在行车道边界和护栏旁边的行驶的主动控制而言，其他车辆尤其是重要相关的。反之，为了规划入口的通行高度对于装载车辆来说是否足够时，有意义的是：隐藏其他车辆，而是考虑关于限制通行高度的对象的更多信息。

通常，借助包络线的聚合能够实现：将相对较复杂的边界线的确定分解成简单得多的部分任务，这些部分任务可以由各个knn执行。

如果仅存在唯一的knn，那么该knn可以固有地用作在knn中同时求取的多个边界线的聚合器。

边界线和运动路径的灵活可组合性能够实现多种应用，而无须改变或重新训练所基于的knn。例如可以辨识对象的高度或将对象抽象为轮廓(“边界框”)。可以在如下方面检查规划用于超车过程的运动路径或轨迹：在其他交通参与者的期望行为的范畴内，该超车过程是否是安全的。

也可以辨识对象的各个实例(instanz)，并且在由多个图像构成的序列上跟踪对象，其方式例如是：针对每个对象，沿着限界区域的边界线借助回归来确定至相应对象实例的中点的以像素为单位的(带标记的)间距。例如可以借助辨认对象实例来模仿注意力集中的人类驾驶员的行为，该驾驶员例如跟踪自身车辆周围环境内的确定的其他车辆，如果突然无法再看见所述其他车辆，则主动寻找“死角”。

特别有利地，knn构造用于提供边界线、运动路径或相应的区段作为如下参数集合：该参数集合用于借助参数化函数示出线和/或以向量图示出线。参数化函数可以是任意的连续或不连续的函数。尤其合适的是多边形、折线、多项式、回旋体或它们的组合。借助这些函数也可以仅以几个参数总结较复杂的线的变化过程。

有利地，knn构造用于给图像的每列或图像的所选择的列分配这些列内部的至少一个如下位置：限界区域的边界线在该位置上延伸。于是，边界线的确定从分类任务回到回归任务。

类似地，借助回归也可以确定运动路径。为此，knn有利地构造用于给图像的每行或图像的所选择的行分配这些行内部的至少一个如下位置：运动路径在该位置上延伸。

对图像的列或行进行选择减少了所寻求的边界线或所寻求的运动路径的支持点的数量，并且因此以牺牲精度为代价减少了计算开销。

在另一有利构型中，knn构造用于在穿过图像的至少一个路段上求取限界区域的边界线的第一次出现。特别是在管理行驶任务时，只有在预期行驶方向上最接近的边界线才是重要相关的。对于前向摄像机和向前行驶而言，从图像的下边缘出发所识别到的第一边界线例如是重要相关的。相反地，对于预期的转弯过程或变换车道而言，将如下方向改变则会是有意义的：在该方向上，在边界线的第一次出现方面对图像进行检查。

例如可以在用于监测和/或控制车辆或其他对象的运动的辅助系统中使用该设备。车辆尤其可以是如下对象：由设备对该对象的运动路径进行监测。车辆可以是陆地车辆、船舶或飞行器。辅助系统可以支持手动驾驶，但是也可以用于至少部分地自动化行驶。

在一种有利构型中，在辅助系统中设置如下比较单元：该比较单元构造用于监测由设备所求取的运动路径是否在公差带内延伸。该比较单元附加地构造用于在违反公差带时操控声学的、光学的或触觉的警报装置。

这种辅助系统例如可以是车道保持辅助装置，该车道保持辅助装置监测驾驶员是否保持在预给定的车道上。如果驾驶员例如由于注意力不集中或过度疲劳而不再遵循该车道，并且如果由设备识别出这一点，则由比较器单元操控警报装置。替代地或组合地，比较单元也可以通过操控至少一个执行器来对车辆的航线(steuerkurs)进行干预，该执行器使车辆未来的运动路径回到公差带内。

例如可以至少部分地通过限界区域的由该设备所求取的边界线来确定公差带。此外，例如也尤其可以考虑行车道标记。在此有利的是，如之前所提及的那样，可以使用不同的knn来识别不同的对象类型的边界线。

有利地，为了检测车辆的航线和/或车辆的速度，设置至少一个传感器和/或至少一个接口。例如可以通过转向角或舵角来检测航线。

然后，例如可以识别：车辆的运动路径是否以期望的方式对航线的变化做出反应。如果不是这种情况，则可以将这评估为车辆突然偏向一旁(ausbrechen)的迹象，并且可以相应地操控esp系统来进行校正，从而有针对性地对各个车轮进行制动。

在一种特别有利的构型中，设置如下调节回路：在该调节回路中，由设备所求取的运动路径与所检测的航线的偏差充当调节偏差。在此，该调节回路构造用于通过操控至少一个执行器和/或至少一个光学的、声学的或触觉的显示设备来将这种调节偏差调节掉。

强侧风例如可能造成需要反向转向(gegenlenken)以将车辆保持在车道上。如果车辆现在例如驶上桥梁或者该车辆在超车时从载重货车的背风面出现，那么正在侵袭的风力可能突然发生改变并且需要反作用。借助辅助系统的这种反作用的自动化实现可以防止驾驶员受到惊吓并且在过度反应中急剧驱动车辆。

在另一有利构型中，设置如下调节回路：该调节回路构造用于将直至到达由设备所求取的边界线的剩余路段和/或剩余时间调节到期望值上和/或使其保持高于最低水平。在自适应间距调节的范畴内，例如可以遵循至前方人员的特定于路段或时间(例如2秒规则)的最小间距。可以通过操控至少一个执行器来实现调节干预，替代地或组合地，但也可以通过操控至少一个光学的、声学的或触觉的显示设备来实现调节干预，以便促使驾驶员做出反应。

knn尤其可以完全地或部分地以软件实现。knn例如以可配置的硬件实施，该硬件通过软件而施加有如下层结构：所述层结构具有渐进减小并且不再增大的维度。尤其也可以通过软件相应地重新配置已经存在的设备。就这点而言，相应的软件是可以独立销售的产品。因此，本发明也涉及一种具有机器可读的指令的计算机程序，当所述指令在计算机和/或控制设备上实施时，所述指令使计算机和/或控制设备升级成根据本发明的设备，和/或，所述指令促使所述计算机和/或控制设备在根据本发明的辅助系统中实施比较单元的功能和/或调节回路的功能。同样地，本发明也涉及具有所述计算机程序的机器可读的数据载体或下载产品。

附图说明

以下根据附图与本发明的优选实施例的描述共同进一步阐述改善本发明的其他措施。附图示出：

图1示出用于确定边界线20的设备1的实施例(图1a)，knn5、5a、5b的内部结构的示意图(图1b)；

图2示出用于确定自身车辆的运动路径3的设备1的实施例；

图3示出借助逐列回归求取边界线20至22(图3a)，借助逐行回归求取运动路径3(图3b)；

图4示出辅助系统100的示例：监测运动路径3(图4a)，监测直至边界线20至22、25的路段或持续时间(图4b)。

具体实施方式

根据图1a，在向前方向上，在由安装在车辆上的摄像机所拍摄的图像4中示出具有多个对象1001a至1009的场景1000。多个车辆1001a至1001f在行车道1002上向前行驶，该行车道由左侧的结构性行车道边界1003和右侧的结构性行车道边界1004限界。附加地，可以看出森林1005、门架式标志牌1006、电塔1007a至1007d、路灯1008，以及最后也可以看出天空1009。行车道1002的处于自身车辆前方的空闲区域是可行驶的区域2。

将整个图像4同时提供给两个knn5a、5b。第一knn5a专用于在图像4中从下边缘出发求取可行驶区域2的通过如下对象确立的边界线21：该对象属于借助附图标记28标注的对象类型“行车道边界”。第二knn5b专用于在图像4中从下边缘出发求取可行驶区域2的由如下对象确立的边界线22：该对象属于借助附图标记29标注的对象类型“陌生车辆”。

将这两个边界线21和22提供给聚合器6，该聚合器确定这两个边界线21和22的叠加并且由此确定包络线25。包络线25是可行驶区域2的由设备1在总体上作为最终结果所提供的边界线20。

在工作过程中，也可以直接由图4求取边界线20。然后例如可以在沿着边界线20的位置20a和20b上进行分类：哪个对象类型在那里分别对于边界走向而言是决定性的。在图1所示的示例中，在点20a处确定存在如下情况的高概率：边界线20在那里由对象类型“行车道边界28”形成。反之，在点20b上则涉及对象类型“陌生车辆29”的主要概率，但是也涉及对象类型“行车道边界28”的重要相关的概率。

图1b示意性地示出knn5、5a、5b的内部结构。在此，knn5、5a、5b示例性地由七个层51至57构成，这些层在图1b中选择的视角中从上向下延伸。第一层51获得图像4作为输入。最后的层57提供可行驶的区域2的边界线20至22作为输出。层51至57的维度在图1b中通过长方体的正方形基面表明，所述基面分别象征层51至57。

从第一层51出发直至层56，在转变到最后的层57时维度保持在恒定水平之前，维度缓慢地并且越来越快地减小。相应地，由所述最后的层57提供的输出也是非常低维度的。相比之下，如果要对图像4进行完整的语义分割，则需要在层57上对所输入的图像4的原始维度进行上采样。为此所需的相当大的开销被节省。

图2示出一种用于借助knn5来确定自身车辆的运动路径3的设备1的实施例。例如可以将这种knn5与根据图1的knn5a、5b进行组合，以便根据同一图像4不仅确定可行驶的区域2的边界线20，而且也确定自身车辆的运动路径3。

为了专门说明运动路径3，在图2中选择了与图1所示的不同的场景1010。左侧行车道标记1011和右侧行车道标记1012限界车道1013。此外，左行车道标记1011将车道1013与对向车道1014分离。附加地，可以看出道路1011至1014、跨越的桥梁1015以及森林1016并且最后也可以看出天空1017。

将图像4作为输入提供给knn5。knn5由此求取运动路径3。

图3a示意性地示出借助逐列回归求取边界线20至22。在此，给图像4的每列41分配列41内部的至少一个位置42，所寻求的边界线20至22在该位置上延伸。为清楚起见，在图3a中仅借助附图标记41标注三个列，并且借助附图标记42标注三个位置。所求取的位置42例如可以用作用于拟合如下参数化函数的支持点(stützpunkt)：借助该参数化函数最终示出边界线20至22。

图3b示意性地示出借助逐行回归求取运动路径3。在此，给图像4的每行43分配行43内部的至少一个位置44，所寻求的运动路径3在该位置上延伸。为清楚起见，在图3b中仅借助附图标记43标注三个行，并且借助附图标记44标记三个位置。与图3a类似，位置44可以用作用于拟合如下参数化函数的支持点：借助该函数最终示出运动路径3。

图4a示出一种用于监测运动路径3的辅助系统100的实施例。在此，比较单元110检查：由设备1求取的运动路径3是否处于公差带105内，其中，例如可以至少部分地通过由设备1所求取的边界线20至22、25来确定公差带105。公差带105例如可以通过图2中绘制的行车道标记1011和1012确定。

如果违反公差带105，则操控声学的、光学的或触觉的警报装置120，以便引起可能注意力不集中的或过度疲劳的驾驶员的注意。

替代地或组合地，将由设备1所求取的运动路径3提供给调节回路160，该调节回路从传感器130和/或接口140获得关于车辆的航线151的信息。将运动路径3与航线151的偏差评估为调节偏差161。作为调节干预，通过操控165执行器170和/或其他的声学的、光学的或触觉的警报装置175将这种调节偏差161调节掉。调节偏差161的一些可能的原因是：车辆偏向一旁、打滑、滑水和强侧风。执行器例如可以对转向装置、对制动各个车轮的esp和/或离合器产生影响。

图4b示出辅助系统100的另一实施例。该实施例构造用于监测和调节直至到达由设备1所求取的边界线20至22、25剩余路段181和/或剩余时间182，。

为此目的，不仅给辅助系统100的控制回路180提供边界线20至22、25，而且也提供运动路径3。在调节回路180的分析处理单元180a中，由边界线20至22、25以及由运动路径3求取直至到达边界线20至22、25的剩余路段181和/或剩余时间182。将剩余路段181和/或剩余时间182与这方面的期望值183和/或这方面的最低水平184进行比较。与图4a类似，作为调节回路180的调节干预，对执行器170和/或声学的、光学的或触觉的警报装置175进行操控185，以便补偿相应的缺陷。