在控制设备中借助有损压缩处理传感器数据的制作方法

本发明涉及一种用于在控制设备中借助有损压缩处理传感器数据的方法和一种用于实施该方法的控制设备。本发明还涉及一种用于评价用于在这种控制设备中使用的有损压缩过程的方法、一种用于实施所提到的方法中的一个或两个的计算机程序以及一种存储有这种计算机程序的计算机可读的介质。

背景技术：

1、为了测试图像处理算法(该图像处理算法例如在部分自动化或全自动化行驶的范畴内所使用)，通常需要大量所记录的图像数据，这些图像数据可以已经由多个不同车辆在不同驾驶情况中提供。还可以使用合成序列。这种数据的存储、传输和处理会产生相应高的成本。

2、为了减少数据量，例如可以由连接到相应传感装置上的测量pc(personalcomputer，个人电脑)或数据记录器以无损压缩过程对图像数据进行压缩。然后，可将经解压缩的图像数据用于训练、验证或测试图像处理算法，经解压缩的图像数据由于无损压缩而与未经压缩的原始数据一致。但是即使以这种方式，数据量仅减少约40％至60％。

技术实现思路

1、在此背景下，下文提出根据独立权利要求的一种用于在控制设备中借助有损压缩处理传感器数据的方法、一种用于评价有损压缩过程的方法、一种相应的控制设备、一种相应的数据处理设备、一种相应的计算机程序和一种相应的计算机可读的介质。在此提出的方案的有利扩展方案和改进方案由说明书中得出并在从属权利要求中描述。

2、本发明的实施方式能够显著减少在开发、优化和发布图像处理算法时的数据量，所述图像处理算法例如在部分自动化或全自动化行驶的范畴内用于周围环境识别。因此，与传统方法相比，相关成本大大降低。

3、本发明的第一方面涉及一种用于在控制设备中借助有损压缩处理传感器数据的计算机实施的方法。该方法至少包括以下步骤：在控制设备中接收传感器数据，其中，传感器数据已经由用于检测车辆的周围环境的传感装置提供；通过控制设备或集成在控制设备中的电路以有损压缩过程压缩传感器数据，以便获得经压缩的传感器数据；通过控制设备或集成在控制设备中的电路对经压缩的传感器数据进行解压缩，以便获得经解压缩的传感器数据；通过控制设备分析处理经解压缩的传感器数据，以便识别车辆的周围环境中的对象。

4、该方法可以通过控制设备的处理器自动地实施。

5、在控制设备中接收的传感器数据可以涉及待压缩的、尤其未经压缩的原始数据，这些原始数据由传感装置产生和输出。有损压缩过程例如可以由控制设备的处理器实施。例如，控制设备可以包括用于压缩和解压缩的单独的硬件构件、尤其单独的可编程硬件构件，在该硬件构件上可以存储有相应的计算机程序。通过实施有损压缩过程，可以从传感器数据中不可复原地移除无关信息。这一过程也可以称为减少无关(irrelevanzreduktion)。因此，无法由经压缩的传感器数据完全重构传感器数据。换句话说，经解压缩的传感器数据可能包括与原始传感器数据不同的和/或更少的信息。与原始传感器数据相比，经压缩的传感器数据可在其数据量方面减少至少40％、例如至少60％、尤其至少80％。

6、车辆可以是机动车，例如小轿车、载重货车、公共汽车或摩托车形式的机动车。在广义上讲，车辆也可以理解为自主移动的机器人。在广义上讲，该方法也可以应用于生产或安全技术中的传感器。

7、传感装置例如可以是摄像机、雷达传感器、激光雷达传感器或超声波传感器、或由这些示例中的至少两个的组合。

8、对象例如可以是另一车辆、行人、骑自行车的人、行车道标记或交通标志牌。然而，对象也可以是图像中的线条或边。

9、控制设备例如可以配置为用于基于传感器数据自动地转向、加速和/或制动车辆。为此，车辆可以包括相应的执行器——例如转向执行器、制动执行器、马达控制设备、电驱动马达或由这些示例中的至少两个的组合。

10、本发明的第二方面涉及一种控制设备。控制设备包括处理器，该处理器配置为用于实施上文中和下文中所描述的用于处理传感器数据的方法。控制设备可以包括硬件构件和/或软件构件。除了处理器之外，控制设备还可以包括存储器和数据通信接口，该数据通信接口用于与外围设备进行数据通信。上面提到的方法的特征也可以是控制设备的特征，反之亦然。

11、本发明的第三方面涉及一种用于评价用于在如上文和下文中所述的控制设备中使用的有损压缩过程的计算机实现的方法。该方法至少包括以下步骤：在数据处理设备中接收传感器数据，其中，传感器数据已经由用于检测车辆的周围环境的传感装置提供；以有损压缩过程压缩传感器数据，以便获得经压缩的传感器数据，和/或，在数据处理设备中接收经压缩的传感器数据，所述经压缩的传感器数据已经由控制设备通过以有损压缩过程压缩传感器数据所提供；对经压缩的传感器数据进行解压缩，以便获得经解压缩的传感器数据；将传感器数据和经解压缩的传感器数据作为输入数据输入到对象识别算法中，以便将输入数据转换为输出数据，所述输出数据指示车辆的周围环境中的对象，所述对象识别算法已经借助所记录的传感器数据训练过；确定由对象识别算法通过转换传感器数据而提供的输出数据与由对象识别算法通过转换经解压缩的传感器数据而提供的输出数据之间的偏差；根据所述偏差产生针对有损压缩过程的评价。

12、在上文和下文中，“对象识别算法”例如可以理解为人工神经网络、支持向量机、k-均值算法、k-近邻算法、决策树、随机森林或由这些示例中的至少两个的组合。

13、所记录的传感器数据可以涉及(与经解压缩的传感器数据不同的)未经有损压缩的数据。例如，所记录的传感器数据可以已经通过记录由传感装置提供的未经压缩的传感器数据而产生。替代地，所记录的传感器数据可以已经通过以无损压缩过程压缩由传感装置提供的传感器数据并且然后对经无损压缩的传感器数据进行解压缩而产生。

14、所记录的传感器数据例如可以包括训练数据和/或验证数据，所述训练数据用于在训练步骤中训练对象识别算法，所述验证数据用于在训练步骤之后的验证步骤中验证对象识别算法。这里，训练数据和验证数据可以彼此不同。

15、非强制性的是，已经用于训练数据处理设备中的对象识别算法的训练数据与已经用于训练(真实的)控制设备中的对象识别算法的训练数据一致。例如，数据处理设备中的对象识别算法的训练可以借助无损数据进行或者可以借助如下数据进行：所述数据已经借助与在控制设备中实现的有损压缩过程不同的有损压缩过程所压缩。重要的是，已经用于验证数据处理设备中的对象识别算法的验证数据与已经用于验证(真实的)控制设备中的对象识别算法的验证数据一致。验证数据尤其应当一致，因为它们已经以相同的有损压缩过程所压缩。

16、例如，可以在并行的处理器中通过对象识别算法来处理传感器数据和经解压缩的传感器数据。

17、在上文和下文中，“数据处理设备”例如可以理解为服务器、pc、笔记本电脑、平板电脑、智能手机、扩展卡(例如fpga板)或由这些示例中的至少两个的组合。

18、控制设备和数据处理设备可以通过数据通信连接有线地和/或无线地(例如通过wlan、蓝牙和/或移动无线电)相互连接以进行数据通信。

19、借助这种方法，可以直接确定有损压缩过程对对象识别算法的识别性能的影响，而无需考虑使用附加的比较数据(例如地面实况数据)。这种比较例如可以在车辆行驶期间与控制设备的正常运行并行地执行。这简化了有损压缩过程关于最佳识别性能的调整。

20、本发明的第四方面涉及一种数据处理设备。该数据处理设备包括处理器，该处理器配置为用于实施上文和下文中描述的用于评价有损压缩过程的方法。除了处理器之外，数据处理设备还可以包括存储器和用于与外围设备进行数据通信的数据通信接口。上面提到的方法的特征也可以是数据处理设备的特征，反之亦然。

21、本发明的另外的方面涉及一种计算机程序和一种存储有该计算机程序的计算机可读的介质。

22、该计算机程序包括指令，所述指令在通过处理器实施该计算机程序时促使处理器实施上文和下文中描述的方法中的一个或两个。

23、该计算机可读的介质可以是易失性或非易失性的数据存储器。例如，计算机可读的介质可以是硬盘、usb存储设备、ram、rom、eprom或闪存。该计算机可读的介质也可以是能够实现程序代码下载的数据通信网络(例如互联网或数据云(cloud))。

24、上文中和下文中所描述的方法的特征也可以是计算机程序的特征和/或计算机可读的介质的特征，反之亦然。

25、另外，在不限制本发明的前提下，本发明的实施方式的可能的特征和优点可视为基于在下文描述的构思和认知。

26、根据一个实施方式，用于处理传感器数据的方法还可以包括：将经压缩的传感器数据和/或将输出数据从控制设备发送到数据处理设备，以记录和/或分析处理经压缩的传感器数据和/或输出数据。以这种方式，与传统方案相比，数据传输和数据存储的效率可以显著提高，根据传统方案，传感器数据被无损地压缩或者根本不被压缩。

27、根据一个实施方式，当以测试模式运行控制设备时，该方法还可以包括：在控制设备中接收所记录的经压缩的传感器数据，这些所记录的经压缩的传感器数据已经以有损压缩过程和/或以待测试的有损压缩过程所压缩；通过控制设备对所记录的经压缩的传感器数据进行解压缩，以便获得所记录的经解压缩的传感器数据；将所记录的经解压缩的传感器数据作为输入数据输入到对象识别算法中，以便测试控制设备。经压缩的传感器数据和所记录的经压缩的传感器数据可以已经以相同的有损压缩过程所压缩，或者，经压缩的传感器数据和所记录的经压缩的传感器数据也可以已经以不同的有损压缩过程所压缩。待测试的有损压缩过程可以与(当前在控制设备中所使用的)有损压缩过程不同。例如，待测试的压缩过程可以涉及当前使用的压缩过程的更新的版本。所记录的经压缩的传感器数据可以来源于如下传感器数据：这些传感器数据来自单个真实的车辆的或多个真实的车辆、更确切地说来自这些车辆各自的传感装置。换句话说，所记录的经压缩的传感器数据可以已经通过唯一的控制设备提供或者可以已经通过不同车辆的多个控制设备提供。也可想到，所记录的经压缩的传感器数据已经通过数学模型产生，该数学模型模拟传感装置的物理特性、车辆的物理特性和/或车辆的周围环境中的待识别对象的物理特性。测试模式例如可以用于例如在错误方面检查更新的控制设备软件，或者可以用于借助所记录的经解压缩的传感器数据来训练、验证和/或测试在控制设备上运行的对象识别算法。以这种方式，可以简化用于控制设备的新的软件版本的发布。

28、根据一个实施方式，可以将经解压缩的传感器数据输入到对象识别算法中，以便将输入数据转换为输出数据，该对象识别算法已经借助所记录的经解压缩的传感器数据训练过。在此，所记录的经解压缩的传感器数据可以已经通过对所记录的经压缩的传感器数据进行解压缩而产生，这些所记录的经压缩的传感器数据已经以有损压缩过程所压缩。借助这种对象识别算法，可以显著改善对象识别。

29、根据一个实施方式，传感装置可以是摄像机，传感器数据可以是由摄像机提供的图像数据。实验表明，视频算法(例如用于识别交通标志和其他对象的视频算法)在与有损视频压缩结合时，可以实现非常好的性能。

30、根据一个实施方式，可以通过以下方式获得经解压缩的传感器数据：通过控制设备对经压缩的传感器数据首先进行解压缩然后进行预处理。预处理例如可以包括降噪、校正或曝光控制等。替代地或附加地，可以通过以下方式获得经压缩的传感器数据：通过控制设备对由传感装置提供的传感器数据首先进行预处理然后进行压缩。以这种方式，可以改善对象识别。

31、根据一个实施方式，该控制设备可以包括可编程构件，可编程构件配置为用于以有损压缩过程压缩传感器数据，以便获得经压缩的传感器数据，和/或，可编程构件配置为用于对经压缩的传感器数据进行解压缩，以便获得经解压缩的传感器数据。可编程构件例如可以是fpga或片上系统(英语：system on a chip或简称为soc)。然而也可能的是，由图形处理器(gpu)或数字信号处理器(dsp)实施压缩和/或解压缩。在此，用于分析处理经解压缩的传感器数据的计算机程序(例如编码对象识别算法的计算机程序)可以存储在控制设备的可编程构件之外的另一区域中。以这种方式，可以使压缩和/或解压缩灵活地匹配于不同的系统配置，而无需修改控制设备的硬件。

32、可编程构件例如可以直接插入在控制设备中的图像传感器之后和图像处理链之前。在此，该构件可以配置为用于压缩视频数据，并且然后再对其进行解压缩，其中，可以由控制设备分析处理这些有损的经解压缩的视频数据。这尤其与人工神经网络重要相关，因为图像特征中的由于有损压缩而产生的小差异就已经能够导致不同的分析处理结果。因此，可以排除分析处理结果中的差异是由有损压缩造成的。

33、该构件可以附加地包括用于测量和/或馈送经有损压缩的传感器数据的接口。由此，传感器数据例如不再需要为了存储而单独地在测量系统上进行压缩，而且也不再需要为了重新馈送(wiedereinspeisung)而在存储服务器上进行解压缩。这附加地降低了测量或馈送数据时的网络占用率，并且减轻了整个系统的负荷。

34、替代地，所记录的传感器数据的压缩和解压缩也可以在测量计算机和/或重新馈送计算机中(例如通过pc中的专用扩展卡)进行。在这种情况下符合目的的是，测量计算机和/或重新馈送计算机配备有与控制设备相同的用于(解)压缩的构件。

35、根据一个实施方式，可编程构件可以配置为用于对经压缩的传感器数据首先进行解压缩然后进行预处理，以便获得经解压缩的传感器数据。换句话说，在可编程构件中除了压缩功能和/或解压缩功能之外，例如还可以集成有预处理功能(例如用于降噪、校正和/或曝光控制的图像预处理功能)。以这种方式，可以使预处理灵活地匹配于不同的系统配置，而无需修改控制设备的硬件或者不需要特殊的测试硬件。

36、根据一个实施方式，用于评价有损压缩过程的方法还包括：根据偏差产生用于控制传感器数据的记录的控制指令。可以在数据处理设备中、控制设备中和/或数据存储器(例如中央存储服务器)中记录传感器数据，所述数据存储器与数据处理设备和/或控制设备连接以进行数据通信。例如，如果由数据处理设备将所述偏差分级为重要相关的，则可以自动开始记录(未经压缩的)传感器数据或记录由车辆提供的其他附加数据。反之，如果由数据处理设备重新将所述偏差分级为非重要相关的，则自动中断正在进行的记录。

37、在开发、优化和发布视频算法中重要的一点是：将所记录的传感器数据馈送到现有的控制设备中。为了测试车辆中使用的算法，可以将之前记录的序列重新馈送到与随后在车辆中使用的控制设备相同的控制设备中。在控制设备上通常对具有经调整的算法的新的软件版本进行测试。为了能够说明算法在真实世界中的性能，通常会在全世界测试非常多的不同场景和环境条件。例如，可以在大规模耐久运行中记录全世界的多个车辆的传感器数据。可以由相应的车辆记录这些数据，从相应的车辆将这些数据传输到服务器存储器中，并在那里存储相应时长。附加地，为了进行数据回放，可以将数据复制并且在网络中移动。因此，为了存储和传输数据会在物理上或数字上产生巨大成本，该成本直接与数据量相关。

38、原始的传感器数据可以通过两个路径到达控制设备中的(对象识别)算法。

39、一方面，算法可以直接从传感装置(例如从摄像机)接收原始传感器数据。在车辆中的控制设备中的真实运行中就是这种情况。

40、另一方面，可以重新馈送所记录的传感器数据，这也可以称为回放(replay)。在这种情况下，可以通过专门开发的hil调试板(hil＝hardware in the loop，硬件在环)将传感器数据从框架发送到控制设备的相应接口。也可以使用同样的板来测量传感器数据。

41、在重新馈送情况下，与传感装置的连接是非重要相关的，因为原始传感器数据直接来自重新馈送框架。

42、通常，与无损数据压缩相比，有损数据压缩(取决于可接受的数据损失)能够实现更高的压缩率。实验表明，针对视频算法优化的特殊有损压缩过程尽管压缩率较高，但是对相应视频算法的识别性能不会产生决定性影响。因此，可以在验证中使用这种压缩算法，以进一步减少数据量。但是挑战在于：确保压缩或解压缩不影响验证数据，或者不会使验证数据相对于真实的未经解压缩的数据失真，因为在这种情况下不能论证测试对于真实世界是有代表性的。尤其在自学习算法情况下几乎不可能评价：算法是否在所有情况下在两个数据集上都表现恰好相同，以及，压缩的影响是否在任何情况下都不会造成差异。

43、上文和下文中所描述的方案通过以下方式解决所述任务：在控制设备自身中(例如借助专用硬件构件)执行有损压缩和解压缩。因此，真实数据和验证数据都可以有损地记录，使得确保这两种数据的一致性。

44、例如，出于记录目的和/或分析处理目的，可以直接从控制设备读取经压缩的传感器数据。因此，不再需要在外部对由传感装置提供的传感器数据进行压缩和/或(例如在重新馈送时)解压缩。附加地，使控制设备与其连接的外围设备之间的数据传输量减少。

45、可选地，可以通过使用专用的hil调试板(见上文)作为数据处理设备来伴随开发优化压缩。因此，例如可以同时有损地和无损地记录视频流。通过能够实现为fpga，可以降低开发成本。

46、附加地，hil调试板可以配置为用于(例如借助经机器学习算法)将有损视频流和原始视频流进行比较。因此，可以与控制设备的正常运行并行地评估有损压缩的质量。

47、可以通过如下方式求取有损压缩对相应算法的识别质量的影响：将算法在分析处理原始数据时达到的识别质量与算法在分析处理相应经压缩的数据时达到的识别质量进行比较。

48、为了开发和发布有损压缩，例如可以将上面提到的hil调试板连接到传感器与控制设备。hil调试板例如可以包括fpga，可以在该fpga上相应地测试和优化上面提到的功能。例如可以设想，并行地有损地和无损地压缩传感器数据。因此，可以将两种压缩过程直接相互比较。hil调试板例如可以配置为用于借助crc32确保所有数据路径的数据完整性。由此，可以确保传感器数据中的所检查出的差异不是由数据错误造成的。附加地，hil调试板可以配置为用于在存在确定触发条件的情况下(例如在车辆紧急制动时)，促使原始传感器数据一并被存储。可以在hil调试板上伴随开发优化压缩。

49、然后，例如通过两个传感器数据组的分开的重新馈送来评价识别性能。将如此获得的测量数据相互比较。为此，可以基于两个传感器数据组训练算法，即，可以基于原始传感器数据和有损的经解压缩的传感器数据来训练算法。可以使用框架(也称为性能评估框架或简称为pef)来进行评价，该框架将地面实况数据与相应的输出数据进行比较并且量化偏差。

50、替代地，可以将有损压缩应用于已经记录的、未改变的传感器数据。例如，同样可以在开环测试中馈送如此产生的有损数据。然后，可以在识别性能方面将最终所得的输出数据与原始传感器数据和/或地面真实数据进行比较。这一过程应多次执行，以便补偿系统抖动。

51、以这种方式，可以评价不同压缩算法对控制设备的识别性能的影响、例如对由控制设备实施的人工神经网络形式的对象识别算法的影响。

52、hil调试板例如可以包括fpga，该fpga可以配置为用于将原始数据流和有损数据流相互比较。为此，可以通过相应的算法处理hil调试板中的两个路径并且然后对它们进行比较。在出现重要相关的偏差的情况下，可以为了进一步分析而有针对性地记录附加的数据。

53、此外有利的是，通过解压缩来调整不同的图像参数(例如噪声或亮度)。因此，在重新馈送的情况下以及在真实硬件的情况下，都可以在同一图像上模拟和测试不同的不确定性。因此，进一步提高了视频算法的稳健性。