用于自动驾驶开发的设备和方法与流程

1.本发明涉及自动驾驶开发的领域，更具体地，涉及一种用于自动驾驶开发的设备和方法、计算机存储介质、自动驾驶开发终端和车辆。


背景技术：

2.l4级自动驾驶车辆要求能够安全地实现自动驾驶，即使人类驾驶员没有对车辆做出干预请求，也要求自动驾驶车辆做出适当的反应。从搭载了无数服务器的自动驾驶雏形，到真正能够上路的无人驾驶汽车，无疑要通过技术革新实现演变。该技术演变要求技术开发手段的不断革新。
3.在现有的自动驾驶开发中，车辆测试、数据和车辆管理以及算法迭代都是离线进行的，并且无法以高效的方式很好地进行结合。另外，极端情况的探索和数据上传效率较低，并且（驾驶辅助）系统的验证也是离线、非现场进行的。由于车辆测试、系统验证等操作都是离线、非现场进行的，这导致现有的自动驾驶开发效率较低，成本高。


技术实现要素：

4.根据本发明的一方面，提供了一种用于自动驾驶开发的设备，所述设备包括：接收部件，用于接收车辆的场景数据；计算部件，用于对所述场景数据进行处理，并运行算法来验证高级驾驶辅助系统adas；以及网络部件，用于将处理后的场景数据上传至远端装置，其中，所述计算部件还配置成利用同步时间戳来对来自多个组件的场景数据进行校正。
5.作为上述方案的补充或替换，在上述设备中，所述接收部件还配置成经由can或以太网接收所述车辆相关的视频、声音、位置以及激光雷达点云数据。
6.作为上述方案的补充或替换，在上述设备中，所述计算部件配置成在所述高级驾驶辅助系统adas运行时同步执行验证算法。
7.作为上述方案的补充或替换，在上述设备中，所述同步时间戳为gps时间戳。
8.作为上述方案的补充或替换，在上述设备中，所述计算部件还配置成对来自多个组件的场景数据进行格式转换。
9.作为上述方案的补充或替换，在上述设备中，所述接收部件还配置成从所述远端装置接收用于所述高级驾驶辅助系统adas的升级数据、测试命令、数据管理指令以及算法迭代指令中的一个或多个。
10.作为上述方案的补充或替换，在上述设备中，所述远端装置为云服务器。
11.作为上述方案的补充或替换，上述设备还包括：麦克风，用于接收用户的语音；以及标注部件，用于将所述用户的语音与相对应的场景数据记录在一起。
12.根据本发明的另一个方面，提供了一种用于自动驾驶开发的方法，所述方法包括：接收车辆的场景数据；对所述场景数据进行处理，并运行算法来验证高级驾驶辅助系统adas；以及将处理后的场景数据上传至远端装置，其中，对所述场景数据进行处理包括：利用同步时间戳来对来自多个组件的场景数据进行校正。
13.作为上述方案的补充或替换，在上述方法中，接收车辆的场景数据包括：经由can或以太网接收所述车辆相关的视频、声音、位置以及激光雷达点云数据。
14.作为上述方案的补充或替换，在上述方法中，对所述场景数据进行处理，并运行算法来验证高级驾驶辅助系统adas包括：在所述高级驾驶辅助系统adas运行的同时执行验证算法。
15.作为上述方案的补充或替换，在上述方法中，所述同步时间戳为gps时间戳。
16.作为上述方案的补充或替换，在上述方法中，对所述场景数据进行处理包括：对来自多个组件的场景数据进行格式转换。
17.作为上述方案的补充或替换，上述方法还可包括：从所述远端装置接收用于所述高级驾驶辅助系统adas的升级数据、测试命令、数据管理指令以及算法迭代指令中的一个或多个。
18.作为上述方案的补充或替换，在上述方法中，所述远端装置为云服务器。
19.根据本发明的又一个方面，提供了一种计算机存储介质，所述介质包括指令，所述指令在运行时执行如前所述的方法。
20.根据本发明的又一个方面，提供了一种自动驾驶开发终端，其包括如前所述的设备。
21.根据本发明的再一个方面，提供了一种安装有如前所述的自动驾驶开发终端的车辆。
22.本发明的实施例的用于自动驾驶开发方案通过利用同步时间戳来对来自多个组件的场景数据进行校正并将处理后的场景数据上传至远端装置，使得对车辆或高级驾驶辅助系统adas的测试、验证等能够在线同步进行。这样，可大大提高开发的效率，缩短开发周期。
附图说明
23.从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
24.图1示出了根据本发明的一个实施例的用于自动驾驶开发的设备的结构示意图；以及图2示出了根据本发明的一个实施例的用于自动驾驶开发的方法的流程示意图。
具体实施方式
25.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
26.另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。
descent control）和电动汽车报警（electric vehicle warning sounds）系统。
36.另外，术语“远端装置”是指相对于车辆而言处于远端的装置或设备。在一个实施例中，远端装置为云服务器。通过网络部件130将处理后的场景数据上传至云服务器，使得该用于自动驾驶开发的设备1000与云端保持连接。
37.在一个实施例中，接收部件110配置成经由can或以太网接收车辆相关的视频、声音、位置以及激光雷达点云数据。其中，can （controller area network）即控制器局域网络，是iso国际标准化的串行通信协议。与一般的通信总线相比，can总线的数据通信具有突出的可靠性、实时性和灵活性。它在汽车领域上的应用是最广泛的，世界上一些著名的汽车制造厂商都采用了can总线来实现汽车内部控制系统与各检测和执行机构间的数据通信。
38.在一个实施例中，接收部件110还配置成从远端装置（例如云服务器）接收用于高级驾驶辅助系统adas的升级数据、测试命令、数据管理指令以及算法迭代指令中的一个或多个。这可例如使得在开发阶段车辆中所有adas ecu（即adas电子控制单元）的固件（软件）在线升级（fota，firmware over the air）成为可能。
39.在一个实施例中，计算部件120配置成在高级驾驶辅助系统adas运行时同步执行验证算法。在一个实施例中，计算部件120配置成在其内部运行影子模式验证算法（shadow-mode validation algorithms），并利用同步时间戳与adas系统并行。这样可以在adas系统运行的同时在用于自动驾驶开发的设备1000中实现现场计算和验证。
40.在一个实施例中，计算部件120配置成支持nvidia tensorrt来处理环境数据。nvidia tensorrt是一种可编程推理加速器，在推理过程中，其应用程序的执行速度可比 cpu 平台的速度快近40倍。借助该可编程推理加速器，可以优化在所有主要框架中训练的神经网络模型，精确校正低精度，并最终将模型部署到汽车产品平台中。
41.在一个或多个实施例中，计算部件120可配置成利用同步时间戳（例如gps时间戳）来对来自多个组件的场景数据进行校正，这样可使来自各种组件的数据进行同步，从而有利于后续的在线系统验证或测试。
42.在一个实施例中，计算部件120还配置成对来自多个组件的场景数据进行格式转换，这可使得经计算部件120处理后的场景数据符合一预设的格式，以便于后续经由网络部件130上传至远端装置。
43.在一个或多个实施例中，网络部件130可配置成支持多种通讯协议，包括但不限于，lte、5g以及gnss等。例如，当网络部件130配置成采用5g通讯协议进行数据传输时，可满足自动驾驶开发过程中所要求的海量数据传输。
44.尽管图1中未示出，在一个实施例中，用于自动驾驶开发的设备1000还可包括麦克风以及标注部件，其中，麦克风用于接收用户的语音，以及标注部件可用于将所述用户的语音与相对应的场景数据记录在一起。在另一个实施例中，麦克风和标注部件可以外设装置的形式存在（而不包括在设备1000中），其中该外设装置通过蓝牙等连接方式与设备1000保持连接。在该实施例中，当启动该外设装置（例如通过按压按钮）时，用户可通过麦克风向该外设装置输入语音，随后该外设装置的标注部件可基于语音识别程序等识别用户的语音，并将该语音与相对应的场景数据记录在一起。拥有麦克风和标注部件对测试工程师在进行车辆路测时特别有用，能及时进行语音标注和数据记录。
45.该用于自动驾驶开发的设备1000可作为硬件终端（例如自动驾驶开发终端）安装
在车辆中。当然，本领域技术人员可以理解，该硬件终端也可作为车辆的外设而存在。它使得对于车辆的测试和开发能够以连接和在线的方式进行。在一个或多个实施例中，该用于自动驾驶开发的设备1000可以处理和运行验证算法，并将自动驾驶系统数据上传到云。此外，它还实现了现场、实时和在线验证及计算。
46.在一个实施例中，用于自动驾驶开发的设备1000的所有通道、接口以及所有组件的组合都是专门为实时数据驱动开发和自动驾驶验证量身定制的。该设备1000还可采用数据管道和影子模式在线验证来使数据驱动的开发可以在很短的时间内完成。并且，由于5g技术可用，这使得用于自动驾驶开发的设备1000可以传输大量数据。最后，该用于自动驾驶开发的设备1000可充当在线进行测试、数据管理、算法迭代和验证并与云连接的中心。在开发阶段，该设备1000还可使fota适用于车辆中的所有adas ecu。
47.图2示出了根据本发明的一个实施例的用于自动驾驶开发的方法2000的流程示意图。如图2所示，用于自动驾驶开发的方法2000包括如下步骤：在步骤s210中，接收车辆的场景数据；在步骤s220中，对所述场景数据进行处理，并运行算法来验证高级驾驶辅助系统adas；以及在步骤s230中，将处理后的场景数据上传至远端装置，其中，对所述场景数据进行处理包括：利用同步时间戳来对来自多个组件的场景数据进行校正。
48.在本发明的上下文中，术语“自动驾驶开发”指代用于车辆自动驾驶的开发过程，包括但不限于，车辆测试、数据和车辆管理以及算法迭代等。
49.术语“场景数据”是指车辆运行场景相关的数据，其包括视频数据（例如从摄像头获得）、声音数据、位置数据（例如预存的地图数据或通过gps传感器获得的实时位置数据）、adas ecu对象、激光雷达点云数据以及其他可从车内网（例如can）或以太网获得的数据。
[0050]“高级驾驶辅助系统”，也称为adas或先进驾驶辅助系统。它利用安装在车上的各式各样传感器（例如，毫米波雷达、激光雷达、单\双目摄像头以及卫星导航），在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。在一个实施例中，高级驾驶辅助系统包括导航与实时交通系统tmc、电子警察系统isa （intelligent speed adaptation或intelligent speed advice）、车联网（vehicular communication systems）、自适应巡航acc（adaptive cruise control）、车道偏移报警系统ldws（ lane departure warning system）、车道保持系统（lane keep assistance）、碰撞避免或预碰撞系统（collision avoidance system或precrash system）、夜视系统（night vision system）、自适应灯光控制（adaptive light control）、行人保护系统（pedestrian protection system）、自动泊车系统（automatic parking）、交通标志识别（traffic sign recognition）、盲点探测（ blind spot detection） ，驾驶员疲劳探测（driver drowsiness detection）、下坡控制系统（hill descent control）和电动汽车报警（electric vehicle warning sounds）系统。
[0051]
另外，术语“远端装置”是指相对于车辆而言处于远端的装置或设备。在一个实施例中，远端装置为云服务器。通过网络部件130将处理后的场景数据上传至云服务器，使得
该用于自动驾驶开发的设备1000与云端保持连接。
[0052]
在上述方法2000中，在一个实施例中，步骤s210可包括：经由can或以太网接收所述车辆相关的视频、声音、位置以及激光雷达点云数据。
[0053]
步骤s220可包括：在所述高级驾驶辅助系统adas运行的同时执行验证算法。其中，对所述场景数据进行处理包括：利用同步时间戳（例如gps时间戳）来对来自多个组件的场景数据进行同步校正。在一个实施例中，对场景数据进行处理可进一步包括：对来自多个组件的场景数据进行格式转换。
[0054]
尽管图2中未示出，在一个实施例中，方法2000还可包括：从所述远端装置接收用于所述高级驾驶辅助系统adas的升级数据、测试命令、数据管理指令以及算法迭代指令中的一个或多个。该远端装置在一个或多个实施例中可为云服务器。
[0055]
本领域技术人员容易理解，本发明的一个或多个实施例提供的用于自动驾驶开发的方法可通过计算机程序来实现。例如，当存有该计算机程序的计算机存储介质（例如u盘）与计算机相连时，运行该计算机程序即可执行本发明的一个或多个实施例的用于车辆的路障检测方法自动驾驶开发的方法2000。
[0056]
另外，本发明的一个或多个实施例的用于自动驾驶开发的设备1000可包括在自动驾驶开发终端中。该自动驾驶开发终端在一个实施例中可安装在车辆内。
[0057]
综上，本发明的实施例的用于自动驾驶开发方案通过利用同步时间戳来对来自多个组件的场景数据进行校正并将处理后的场景数据上传至远端装置，使得对车辆或高级驾驶辅助系统adas的测试、验证等能够在线同步进行。这样，可大大提高开发的效率，缩短开发周期。
[0058]
尽管以上说明书只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。