使驾驶员辅助系统的环境信息数据减少的方法和设备与流程

本发明涉及用于对驾驶员辅助系统的基于特征的环境信息进行数据减少的两种方法和一种设备，其中，第一种方法涉及驾驶员辅助系统的训练阶段，第二种方法涉及驾驶员辅助系统的实施阶段。

背景技术：

在现有技术中，借助传感器感测交通工具的环境和由传感器信息导出对所述交通工具控制的自动介入具有重大意义。以这种途径可以实现驾驶员辅助系统，该驾驶员辅助系统例如能够提高安全性或者驾驶舒适性。这样的驾驶员辅助系统例如是罗伯特·博世公司的“家庭区域泊车助手(homezoneparkassistent)”，该系统能够从固定的起始位置和目标位置出发自动地实施重复的泊入过程。对此前提是，首先执行手动的训练驾驶，在该手动的训练驾驶中，泊车辅助系统感测所需要的沿着交通工具的运动路径(也称为“轨迹”)的环境信息，将其分析评估并且存储用于稍后的沿着所述运动路径的自动泊入过程。

尤其与基于传感器的驾驶员辅助系统结合，在感测环境信息时，有时可以产生代表所述环境信息的大的数据量。因为驾驶员辅助系统通常以嵌入式系统的形式实现，所以通常仅可提供勉强分配的技术资源(存储器、计算能力等)，因为各个构件成本由于高件数通常要保持得低。由于该原因，尤其这样的嵌入式系统的可提供的非易失性存储器，如闪存或eprom存储器通常尺寸设计得非常小。为了仍然能够持久地存储基于传感器的驾驶员辅助系统的潜在大的数据量，因此需要附加措施，以便能够将所有必要的数据保存在可提供的存储器中。为此目的，通常使用用于数据减少(有损)和数据压缩(无损)的方法。根据感测到的和要存储的数据类型，在现有技术中已知的用于数据减少和数据压缩的方法允许或多或少地减少原始数据量。尤其在使用已知的用于图像信息或移动图像信息的数据减少方法时，以这种途径来执行的数据减少可能不足以能够将剩余的数据完整地保存在预给定的非易失性存储器中。其原因在于，这些数据减少方法旨在尽可能完整地获得所述图像信息(图像分辨率、图像内容等)。

在使用这些用于在嵌入式系统中进行图像处理的方法时，这可以导致，图像信息或者必须在附加的处理步骤中被进一步减少(这通常只有通过附加地摒弃可能重要的图像信息才能实现)，或者必须通过匹配于所述数据量的更大的存储器来代替对于具体应用情况而言尺寸过小的非易失性存储器，这将伴随着更高的成本。

除由于存储容量原因而减小所述数据量的目标以外，被减小的数据量在数据传递方面也可以是有利的，因为较小的数据量通常需要较低的数据传递率。这例如在处理器和内部的或外部的存储器之间进行数据交换时可以是重要的，因为在这里也可以通过使用性能强度较小的(嵌入式)系统实现节约成本。

技术实现要素：

因此，本发明的任务是，在基于特征的环境信息的存储方面优化在现有技术中已知的用于数据减少或者数据压缩的方法。

根据本发明，上述任务通过用于对交通工具的驾驶员辅助系统的基于特征的环境信息进行数据减少的方法来解决。该方法设置，借助交通工具的光学传感器从第一位置拍摄该交通工具的环境的第一图像。在此，所述光学传感器例如可以是驾驶员辅助系统的摄像机，该摄像机布置交通工具上的适合部位处，使得能够优化地感测所需要的环境信息。该方法在下一个方法步骤中设置，从第二位置拍摄交通工具的环境的第二图像，所述第二位置与所述第一位置不同。以泊车辅助系统为例，这能够通过以下方式来实现：交通工具首先被驾驶到要由使用者确定的起始位置中。优选地，与上面所说明的家庭区域泊车辅助系统相关地，所述起始位置是紧邻近泊车场所(例如距离10m至100m)的区域。这例如可以是在道路旁场地上的车库入口的起点，在所述车库入口处，使用者使交通工具减速或者停止，以便指导该交通工具用于自动的泊入过程。随后，使用者可以借助相应的使用者动作将泊车辅助系统置于训练模式中。因此，为了训练目的，使用者可以一次或者多次手动地实施所希望的泊入过程，而泊车辅助系统借助摄像机感测该过程。例如可以按照交通工具所走过的、预限定的不同路段执行交通工具环境的第一和第二图像的拍摄，所述路段分别被确定用于所述第一和第二图像。

在下一个方法步骤中，从被拍摄的图像中提取特征(也称为“features”)，所述特征以适合的方式代表所述图像或者包含在其中的环境信息。特征数据例如可以通过分析评估单元被求取，该分析评估单元是驾驶员辅助系统的组成部分。后面的方法步骤的基础是，将原始图像信息转换为通过所述特征确定的特征空间。提取和处理特征数据的优点之一在于，能够有针对性地从任意数据源中获取专用的信息，由此，一方面发生对各应用所需的重要信息的过滤，另一方面实现这些信息的改进的可比性。

优选地，被提取的特征，例如关于各个图像点或者整个图像区域的亮度、对比度的信息或者色彩信息，以特征矢量的形式被汇总。对于求出适合的特征和/或特征矢量的例子还在下面的公开文献中被讨论：

-维杰·钱德拉赛卡(chandrasekhar,vijay)等，compressedhistogramofgradients:alow-bitratedescriptor(压缩的梯度直方图：低比特率描述符)，国际计算机视觉期刊96.3(2012)：384-399，

-米娜·马卡尔(makar,mina)等，compressionofimagepatchesforlocalfeatureextraction(用于局部特征提取的图像补丁的压缩)2009年ieee国际声学、语音和信号处理会议，ieee，2009，和

-纪荣嵘(ji,rongrong)等，locationdiscriminativevocabularycodingformobilelandmarksearch(用于移动地标搜索的位置判别词汇编码)，国际计算机视觉期刊96.3(2012)：290-314。

被提取的特征矢量优选以特征矩阵(也称为“featuremap”)的形式被汇总。根据本发明，该特征矩阵的维度依据原始图像的维度。即由m×n个图像元素组成的图像被转换为包含m×n个图像矢量的特征矩阵。然而，该特征矩阵的维度并不强制性地关联该图像的维度。

根据本发明，在下一个方法步骤中，对特征矩阵进行过滤，以便能够以数据减少为目标而摒弃所述特征矩阵的可能不需要的信息。为此目的，能够以预限定的评价标准来评价特征矩阵的各个元素和/或区域。不满足所述评价标准的元素在特征矩阵中被标记为无效的。图像点或图像区域的对比度信息构成优选的评价标准。具有高对比度的区域通常包含对于根据本发明的方法而言重要的信息，其中，具有低对比度的区域可以被摒弃。在此，对比度被评价为高还是低，可以取决于图像传感器的噪声。当对比度也可能由图像传感器的噪声引起时，该对比度可以被评价为过低。从具有处于图像传感器噪声水平上的相应低对比度的图像区域中不能够获得特别可靠的信息，因此，这样的图像区域或者特征矩阵元素可以被标记为无效的。所述对比度信息例如能够直接从特征矩阵中得出，只要该对比度信息在特征提取的过程中已作为独立特征被提取。替代地或附加地，所述对比度信息也可以从所述原始图像信息中求取。对于图像的维度和配属于它的特征矩阵的维度相同的情况，从所述图像中求出的对比度信息可以直接传递到特征矩阵的元素上，使得特征矩阵的相应的元素或者区域只要不满足所述评价标准，就可以被标记为无效的。

在下一个方法步骤中，将第一图像的被过滤的特征矩阵与第二图像的被过滤的特征矩阵进行比较。目标是，在被提取的特征的基础上鉴别在不同位置上拍摄的图像的特征之间的最大可能的相似性并且选择这些相似性。这些相似性通常构成交通工具环境的重要对象，泊车辅助系统可以在成功结束训练阶段之后在自动泊入过程期间根据所述重要对象来定向。未以相似的形式既包含在第一图像的特征矩阵中又包含在第二图像的特征矩阵中的特征或者特征矢量，在针对这两个图像的合成特征矩阵中被标记为无效的。为了确定特征和/或特征矢量之间的相似性，可以使用由现有技术已知的相似性量度或者间距量度。

通过将不相似的或者仅弱相似的特征在所述合成特征矩阵中标记为无效和/或移除，通常生成所谓的稀疏矩阵，因为该稀疏矩阵仅还部分地带有特征信息，而矩阵的大部分被标记为无效并且不再包含特征信息。以这种途径，代表所述合成特征矩阵的数据量被进一步减少。在此，根据合成特征矩阵在存储器中的组织(organisation)已经可以实现所需要的存储器空间的物理减少，其方式是：例如只有重要的特征信息才以链表的形式被连接。因此，不重要的特征信息不再是所述合成特征矩阵的组成部分(甚至不呈被标记为无效数据的形式)并且因此也不再要求存储空间。除特征数据作为链表的组织外，上面所说明的方法步骤然而也可以用作在接下来要执行的压缩过程的准备，该压缩过程然后实现所需要的存储空间的真正的物理减少。

内部存储器通常尺寸小，但提供了以下优点：内部存储器具有快速的连接，即可以特别快地实现对所述内部存储器的读写过程。这样快速地访问非易失性存储器(其可以是小尺寸或者大尺寸的)是不可能的。因此，分析评估单元的对上面所说明的方法步骤的运算操作的中间结果保存在内部的易失性存储器中。被最大程度减少的特征数据在训练阶段结束时才写入到非易失性存储器中。

在此，根据本发明的方法不局限于拍摄和处理第一和第二图像。有利地，与泊车辅助系统的训练阶段关联地，在训练阶段期间拍摄多个图像并且进行上面所说明的方法步骤。

下面示出本发明的优选的扩展方案。

在另一优选的实施方式中，通过使用已知的压缩方法进一步减少通过根据本发明方法选择的特征数据。为此目的，例如可以使用游程编码，游程编码尤其可以特别高效地压缩稀疏矩阵的数据。这是可能的，因为矩阵的不带有特征信息的元素(所述元素例如被“0”值占用)通常占据矩阵的连续区域，使得“0”值的重复出现被游程编码以缩短的形式在说明该值和该值出现的频率的情况下代表。如果在特征矩阵中例如出现彼此相继的未占用元素的项，如“000000”，则该序列被游程编码以压缩的形式表示为“6×0”，这在此意思是“六乘零”。

对于游程编码替代地或附加地，也可以使用熵编码，如由现有技术已知的哈夫曼(huffman)编码。哈夫曼编码通过下述方式实现数据压缩：经常出现的符号通过较短的编码字来代表，而较少出现的符号通过较长的编码字来代表。这尤其可以在压缩特征矩阵的被标记为无效的特征矢量时导致数据的高效压缩。

在根据本发明的方法的另一优选的实施方式中，在相对于起始位置达到不同的预限定的距离时借助光学传感器执行第一和第二图像的拍摄。在现代交通工具中，在交通工具的不同的总线系统上通常也可提供关于交通工具走过的路段的数据。这些数据可以借助数据输入端被提供给泊车辅助系统，使得所述泊车辅助系统能够在交通工具运动时获知交通工具从起始位置出发走过的路段。因此，泊车辅助系统例如可以在到起始位置间距为1m的距离时拍摄第一图像并且在到起始位置间距为2m时拍摄第二图像。可能地，可以在每次进一步远离起始位置一米时分别再拍摄另外的图像。在这方面可以考虑，允许各个拍摄之间的距离变化。例如当交通工具在训练驾驶期间驶过弯道时。在这里可以有意义的是，缩短所述拍摄之间的距离，因为通过弯道行驶引起环境信息的快速的水平改变，由此，在各个拍摄之间的间距过大的情况下，也许不能够感测到重要的环境信息。优选地，各个图像之间的要选择的间距位于50cm至2m之间。

在另一有利的实施方式中，对于上面所说明的相对于起始位置的预限定的距离替代地或附加地，在预限定的时刻执行所述拍摄。因此，第一图像的拍摄例如可以在训练驾驶开始之后1s后进行并且第二拍摄在再过一秒后进行。当没有或只有不准确的关于走过的路段的信息可提供给泊车辅助系统时，这尤其是有利的。

在另一有利的实施方式中，各个拍摄之间的时间间隔可以被如此程度地缩短，使得在训练驾驶期间执行连续的图像拍摄。优选地，这通过使用视频摄像机来实现，该视频摄像机设置为用于以1/24s或者1/25s的时间间隔来拍摄环境的图像。在训练驾驶期间产生连续的图像拍摄提供以下优点：从起始位置出发到目标位置的几乎无空缺的环境信息可提供用于分析评估。对此前提是存在足够大的易失性存储器，在该易失性存储器中能够缓存所述视频录像。因此可能的是，在结束训练驾驶之后，从视频数据中求出最佳地或者明确地代表交通工具的运动路径的各个图像。在按照预限定的距离和/或预限定的时刻拍摄图像的情况下可以发生，在实施阶段中可能未感测到对于自动泊入过程有用的环境信息。与此相比，视频录像允许事后优化选择各个图像，然后对所述各个图像进行上面所说明的用于特征提取的方法。以这种方式可以优化环境信息的质量并且由此更可靠地执行所述自动泊入过程。除提高环境信息的可靠性以外，所述方法也可以导致提高的数据减少，其方式是：在从所述视频录像中选择各个图像时，不但考虑环境信息的质量，而且考虑所述环境信息在根据本发明的用于数据减少的方法方面的适用性。

代替事后分析评估所述视频录像，也可以连续地进行该视频录像的分析评估。该过程具有以下优点：不需要大的易失性存储器。在此，对于第二图像的拍摄而言，一再以短的时间间隔、例如1/25s拍摄图像作为候选，并且立即对所述作为候选的图像分别进行分析评估。根据分析评估来决定，当前图像是否被用作第二图像。若不能，那么该图像被立即摒弃(即不再占用存储器)并且随后拍摄的图像被考虑用于重新分析评估。在所述分析评估时复查，所述候选图像和所述第一图像之间是否存在显著区别。若存在，则该候选图像可以被选作第二图像。例如，如果图像内容由于交通工具运动了例如一米而相应地改变，则存在显著区别。这可以借助本领域技术人员已知的例如通过求取光流的图像序列分析来实现。

根据本发明的第二方面，提出在实施阶段中用于对驾驶员辅助系统的基于特征的环境信息进行数据减少的方法。所述方法设置，借助交通工具的光学传感器拍摄该交通工具环境的图像。在此，所述光学传感器例如可以是驾驶员辅助系统的摄像机，该摄像机布置在交通工具上的适合部位处，使得能够优化地感测所需要的环境信息。

在本方法开始时，交通工具位于起始位置中，该起始位置最大程度地与在之前所说明的用于泊车辅助系统的训练阶段中的交通工具起始位置相一致。因为在训练阶段中和在实施阶段中分别手动地操控用于交通工具的起始位置，所以对所述起始位置设置预限定的容差范围，为了执行自动泊入过程，交通工具必须位于所述容差范围内。在下一个方法步骤中，如在训练阶段中那样，将图像信息转换为特征空间，其方式是：对原始图像的每个图像点提取预限定的特征，将所述预限定的特征又以特征矢量的形式存储在特征矩阵中。在下一个方法步骤中，对所述特征矢量进行过滤，其方式是：所有不满足预限定的评价标准的特征矢量在所述特征矩阵中被标记为无效的。

在下一个方法步骤中，将特征矩阵的剩余的有效特征矢量与在训练阶段期间创建的、描述环境的特征矩阵比较。通过使用适合的间距量度或者相似性量度能够以这种途径求取与储存在存储器中的特征矩阵的尽可能最大的一致性。所求得的与储存的特征矩阵之一的一致性允许求得交通工具的当前位置。这又允许根据求得的位置数据在交通工具从预限定的起始位置到在训练阶段中确定的目标位置的路径上自动地控制该交通工具。

根据本发明的第三方面，提出一种设备，该设备包括数据输入端、分析评估单元和数据输出端。所述分析评估单元设置为用于与所述数据输入端连接地借助光学传感器拍摄交通工具环境的图像。所述光学传感器例如可以是摄像机。此外，分析评估单元还设置为用于借助图像分析方法从拍摄的图像中提取特征并且在所述特征对于上面所说明的泊车辅助系统的重要性方面评价这些特征。此外，所述分析评估单元设置为用于：在泊车辅助系统的训练阶段中求取两个图像的被标记为重要的特征之间的相似性，并且将所述相似性以代表该相似性的数据形式保存在附接到分析评估单元上的存储器单元中。此外，分析评估单元设置为用于：在泊车辅助系统的实施阶段中，求取感测到的图像中的一个图像的重要特征和之前在训练阶段中拍摄到的图像的储存在存储单元中的重要特征之间的相似性。

此外，分析评估单元还设置为用于将在训练阶段中求出的特征经由数据输出端保存在存储单元中，并且将在实施阶段中求出的特征的相似性经由数据输出端以信号形式发送给车辆控制装置，所述车辆控制装置实施自动泊入过程。

附图说明

下面参考标准附图详细说明本发明的实施例。附图示出了：

图1阐明在训练阶段中本发明方法的实施例的步骤的流程图；

图2阐明在实施阶段中本发明方法的实施例的步骤的流程图；

图3根据本发明的设备的组件的示意性总览图；和

图4用于交通工具的家庭区域泊车辅助系统的示例性的训练驾驶。

具体实施方式

图1示出阐明在训练阶段60中的本发明方法的实施例的步骤的流程图。在此，在步骤100中，借助光学传感器20从第一位置81拍摄交通工具70的环境的第一图像。在步骤200中，借助光学传感器20从与第一位置81不同的第二位置82拍摄交通工具70的环境的第二图像。在步骤300中，借助分析评估单元10提取代表所述第一图像的特征。此外，提取代表所述第二图像的特征。被提取的特征以用于所述第一图像的特征矩阵和用于所述第二图像的特征矩阵的形式保存在易失性存储器30中，该易失性存储器附接到分析评估单元10上。在步骤400中，对第一和第二图像的各个区域根据其对比度信息借助分析评估单元10来评价。具有低对比度的区域在易失性存储器30中的相应特征矩阵中被标记为无效的，因为它们通常不包含对于泊车辅助系统重要的信息。在步骤500中，对所述第一和第二图像的之前被评价的特征矩阵借助关于两个矩阵之间的相似性的特征比较来检查。在此，不具有显著相似性的区域在合成特征矩阵中被标记为无效的。具有重要一致性的区域不改变地被采纳到合成特征矩阵中。在此，所述合成特征矩阵在其创建过程中同样保存在易失性存储器30中。在完全求出所述合成特征矩阵之后，将该合成特征矩阵保存在非易失性存储器40中。

图2示出阐明在实施阶段中的本发明方法的实施例的步骤的流程图。在此，在第一步骤100中，借助光学传感器20从位置81拍摄交通工具70的环境的图像。在步骤600中，借助分析评估单元10提取代表所述图像的特征。被提取的特征以特征矩阵的形式保存在易失性存储器30中，该易失性存储器附接到分析评估单元10上。在步骤700中，对图像的各个区域根据其对比度信息借助分析评估单元10来评价。具有低对比度的区域在易失性存储器30中的特征矩阵中被标记为无效的，因为它们通常不包含对于泊车辅助系统重要的信息。在步骤800中，对所述图像的被评价的特征与参考标准进行比较，所述参考标准以选择的特征的形式代表在训练阶段60中拍摄的多个图像。

图3示出根据本发明的设备50的组件的示意性总览图，该设备包括分析评估单元10、数据输入端11和数据输出端12。所述分析评估单元包括用于求取和评价特征数据的处理器，所述特征数据从附接到分析评估单元10的数据输入端11上的摄像机20的信号中被提取。此外，根据本发明的设备还包括(优选内部的)易失性存储器和非易失性存储器30,40，所述存储器经由数据输出端12和13附接到分析评估单元10上。

图4示出用于交通工具70的家庭区域泊车辅助系统的示例性训练驾驶60。家庭区域训练驾驶包括交通工具70在要被使用者选择的家庭区域起始位置91中的减速或者停止。通过随后的使用者动作开始家庭区域训练驾驶60。在此，使用者沿着通向要被使用者选择的家庭区域目标位置92的适合的运动路径90控制交通工具70。现在，借助布置在交通工具70上的光学传感器20在预限定的位置80处对交通工具70的环境进行拍摄，所述拍摄通过泊车辅助系统的分析评估单元例如按照结合图1所公开的方法被处理。