一种智能驾驶数据采集方法、采集装置、采集设备及一种计算机可读存储介质与流程

1.本发明涉及车辆大数据技术领域，尤其涉及一种智能驾驶数据采集方法、采集装置、采集设备及一种计算机可读存储介质。


背景技术：

2.当前世界上几乎所有的主机厂、智能驾驶方案供应商都在想方设法采集到智能驾驶数据，并通过不断训练数据、提升智能驾驶的算法性能，从而研发出更可靠的、更舒适的智能驾驶功能。可以说，车辆大数据是提高智能驾驶软件性能、功能体验的源泉。
3.当前主流获取智能驾驶数据的方法是通过在一台或多台车辆上(以下简称车端)部署一系列的智能驾驶传感器，包括摄像头、毫米波雷达、激光雷达、超声波雷达、惯性测量单元imu、轮速传感器、高精度定位等用于感知车辆所处的环境信息和数据(包括周边车辆、行人、障碍物、车道线、交通灯、可通行区域等)。然后将这些信息实时采集并存储下来，并通过无线网络方式传送至数据中心。随着车载传感器数量增多，单位时间内收集到的数据越来越庞大，对于数据中心的存储容量都提出了越来越大的挑战。此外，随着软件算法成熟度的不断提高，算法训练需要更多极限场景(corner case)，而非大量普通场景(normal case)来提升性能。这也意味着，车端数据采集的效率随着时间的推移会越来越低，对极限数据场景的发掘也会越来越困难。因此，如何找到一种能够降本增效的智能驾驶数据采集方法当前研究的热点之一。


技术实现要素：

4.针对现有技术的上述问题，本发明提出了一种智能驾驶数据采集方法、采集装置、采集设备及一种计算机可读存储介质，能有效采集车辆的感知数据。
5.具体地，本发明提出了一种智能驾驶数据采集方法，包括步骤：
6.s1，在本地端编辑数据采集需求，基于数据采集需求生成数据采集规则，数据采集是指采集车端智能驾驶传感器的感知数据，所述数据采集需求是指数据采集要符合采集场景的各项要求，所述数据采集规则是与各项要求对应的数据采集的规则集合；
7.s2，将所述数据采集规则发布到云端发布平台，并通过所述云端发布平台根据所述数据采集规则下发到指定车辆；
8.s3，所述车辆添加或更新所述数据采集规则；
9.s4，所述车辆基于场景识别算法获取与所述数据采集规则匹配的采集场景的感知数据，所述场景识别算法用于根据车端智能驾驶传感器的感知数据来识别车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配；
10.s5，所述车辆将采集到的感知数据发送至数据中心。
11.根据本发明的一个实施例，在步骤s1中，所述车端智能驾驶传感器至少包括车载摄像头、毫米波雷达、激光雷达、超声波雷达、惯性测量单元imu、轮速传感器和高精度定位
传感器，所述感知数据至少包括通过所述车端智能驾驶传感器所获取的图像、点云、雷达回波、车辆位置、速度、车辆目标物、行人、障碍物、车道线、交通灯、可通行区域信息及相关属性。
12.根据本发明的一个实施例，在步骤s4中，所述车辆获取所述感知数据的过程包括步骤：
13.全量录制所有车端智能驾驶传感器的感知数据；
14.基于所述场景识别算法筛选所述感知数据，获取与所述数据采集规则的采集场景匹配的感知数据。
15.根据本发明的一个实施例，在步骤s4中，所述车辆获取所述感知数据的过程包括步骤：
16.基于所述场景识别算法分析车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配；
17.若匹配，根据数据采集规则录制相应的车端智能驾驶传感器的感知数据；若不匹配，则停止录制。
18.根据本发明的一个实施例，在步骤s5中，所述车辆将采集到的感知数据直接发送至数据中心，或存储所述感知数据后再将所存储的感知数据发送至数据中心。
19.本发明还提供了一种智能驾驶数据采集装置，包括：
20.本地端子模块，用于编辑数据采集需求，基于数据采集需求生成数据采集规则，数据采集是指采集车端智能驾驶传感器的感知数据，所述数据采集需求是指数据采集要符合采集场景的各项要求，所述数据采集规则是与各项要求对应的数据采集的规则集合；
21.云端子模块，用于接收并存储所述本地端子模块生成的数据采集规则，并下发到根据所述数据采集规则所指定的车辆；
22.车端子模块，设置在所述车辆上，用于接收由所述云端子模块下发的数据采集规则，添加或更新所述数据采集规则；基于场景识别算法获取与所述数据采集规则匹配的采集场景的感知数据，所述场景识别算法用于根据车端智能驾驶传感器的感知数据来识别车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配；
23.数据中心子模块，用于接收所述车端子模块获取的感知数据。
24.根据本发明的一个实施例，所述本地端子模块包括车辆信息可视化界面和规则编辑可视化界面；
25.所述车辆信息可视化界面用于显示车辆信息，所述车辆信息包括车辆的位置及当前数据采集状态，所述车端子模块向所述云端子模块上报所述车辆信息，所述本地端子模块通过所述云端子模块获取所述车辆信息；
26.所述规则编辑可视化界面用于编辑所述数据采集规则匹配。
27.根据本发明的一个实施例，所述云端子模块包括车辆管理模块、规则存储模块和规则下发模块；
28.其中，所述车辆管理模块用于管理所述车辆信息；
29.所述规则存储模块用于存储接收到的数据采集规则；
30.所述规则下发模块用于将所述数据采集规则下发到其所指定的车辆。
31.根据本发明的一个实施例，所述车端子模块包括通信管理模块、规则管理模块、录
制管理模块和人机界面；
32.其中，通信管理模块用于将所述车辆信息上报至所述云端子模块，接收所述云端子模块发送的数据采集规则并转发到所述规则管理模块；
33.所述规则管理模块对所述数据采集规则进行更新、保存及同步所述数据采集规则至所述录制管理模块和人机界面；
34.所述录制管理模块基于所述场景识别算法录制与所述数据采集规则匹配的采集场景的感知数据；所述录制管理模块支持手动录制模式和自动录制模式，所述手动录制模式是指全量录制所有车端智能驾驶传感器的感知数据，之后基于场景识别算法筛选所述感知数据，获取与所述数据采集规则的采集场景匹配的感知数据；所述自动录制模式是指基于场景识别算法分析车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配，若匹配，则根据数据采集规则录制相应的车端智能驾驶传感器的感知数据，若不匹配，则停止录制；
35.所述人机界面用于显示采集录制状态、数据采集规则和提供录制模式切换按钮，所述录制模式切换按钮用于在手动录制模式和自动录制模式之间切换。
36.本发明还提供了一种智能驾驶数据采集设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明提供的智能驾驶数据采集方法的步骤。
37.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的智能驾驶数据采集方法的步骤。
38.本发明提供的一种智能驾驶数据采集方法、采集装置、采集设备及一种计算机可读存储介质，能有效采集车辆的感知数据。
39.应当理解，本发明以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为如权利要求所述的本发明提供进一步的解释。
附图说明
40.包括附图是为提供对本发明进一步的解释，它们被收录并构成本技术的一部分，附图示出了本发明的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：
41.图1示出了本发明一个实施例的智能驾驶数据采集方法的流程框图。
42.图2示出了本发明一个实施例的智能驾驶数据采集装置的结构示意图。
具体实施方式
43.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本技术及其应用或使用的任何限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根
据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
46.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
47.此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本技术保护范围的限制。此外，尽管本技术中所使用的术语是从公知公用的术语中选择的，但是本技术说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本技术。
48.图1示出了本发明一个实施例的智能驾驶数据采集方法的流程框图。如图所示，一种智能驾驶数据采集方法，包括步骤：
49.s1，在本地端编辑数据采集需求，基于数据采集需求生成数据采集规则，数据采集是指采集车端智能驾驶传感器的感知数据，数据采集需求是指数据采集要符合采集场景的各项要求。例如，用户可以指定采集场景包括数据采集发生的时间、车端智能驾驶传感器的配置要求、车辆位置、天气、车道情况、目标数量阈值和路况等要求。数据采集规则是与各项要求对应的数据采集的规则集合。
50.s2，将数据采集规则发布到云端发布平台，并通过云端发布平台根据数据采集规则下发到指定车辆。例如可以在指定的时间向指定车辆下发数据采集规则。
51.s3，车辆添加或更新数据采集规则。容易理解的，若是一个新的数据采集规则，则车辆添加该新的数据采集规则；若是已有数据采集规则的一个新的版本，则更新该数据采集规则。
52.s4，车辆基于场景识别算法获取与数据采集规则匹配的采集场景的感知数据，场景识别算法用于根据车端智能驾驶传感器的感知数据来识别车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配。车辆通过场景识别算法可以按时或按需进行数据采集，获取符合数据采集规则的感知数据。举例来说，场景识别算法可以通过高精度定位(传感器)来获知车辆的当前地理位置，所处车道等信息；通过摄像头和毫米波雷达，可以获知当前交通流信息；通过v2x可以获知红绿灯信息等。汇合这些感知信息来匹配数据采集规则的采集场景需求，从而能够获取有效的感知数据，降低数据存储成本。
53.s5，车辆将采集到的感知数据发送至数据中心。
54.较佳地，在步骤s1中，车端智能驾驶传感器至少包括车载摄像头、毫米波雷达、激光雷达、超声波雷达、惯性测量单元imu、轮速传感器和高精度定位传感器，感知数据至少包
括通过车端智能驾驶传感器所获取的图像、点云、雷达回波、车辆位置、速度、车辆目标物、行人、障碍物、车道线、交通灯、可通行区域信息及相关属性。
55.较佳地，在步骤s4中，车辆获取感知数据的过程包括步骤：
56.全量录制所有车端智能驾驶传感器的感知数据，是指获取所有的感知数据，不考虑数据采集规则；
57.基于场景识别算法筛选感知数据，获取与数据采集规则的采集场景匹配的感知数据，相当于去除不符合数据采集规则的感知数据，形成有效感知数据。
58.较佳地，在步骤s4中，车辆获取感知数据的过程包括步骤：
59.基于场景识别算法分析车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配。场景识别算法通过分析车端智能驾驶传感器获取当前车辆所处道路场景信息，例如可以通过摄像头实时采集路面的场景信息，并将采集的视频流传输给场景识别算法的引擎；场景识别算法的引擎通过分析和处理视频流(可以设定是数秒或数分钟)，判断出该车辆场景的类别(比如十字路口、晴天等)。如果该车辆场景的类别不符合数据采集规则所要求的采集场景，则匹配失败；如果该车辆场景的类别符合采集规则所要求的采集场景，则匹配成功。
60.若匹配，根据数据采集规则录制相应的车端智能驾驶传感器的感知数据；进一步的，在开始执行本次数据采集动作前，先回溯之前一段时间内的数据(可以是数秒或数分钟)；若不匹配，则停止录制。容易理解的，场景识别算法的引擎始终处于工作状态，监控车辆的当前场景与数据采集规则所要求的采集场景的匹配情况。
61.较佳地，在步骤s5中，车辆将采集到的感知数据直接发送至数据中心，或存储感知数据后再将所存储的感知数据发送至数据中心。
62.图2示出了本发明一个实施例的智能驾驶数据采集装置的结构示意图。如图所示，一种智能驾驶数据采集装置200主要包括本地端子模块201、云端子模块202、车端子模块203和数据中心子模块204。
63.其中，本地端子模块201可以理解为是云端子模块202的本地客户端。本地端子模块201用于编辑数据采集需求，基于数据采集需求生成数据采集规则。数据采集是指采集车端智能驾驶传感器的感知数据，数据采集需求是指数据采集要符合采集场景的各项要求，数据采集规则是与各项要求对应的数据采集的规则集合。
64.云端子模块202用于接收并存储本地端子模块201生成的数据采集规则，并下发到根据数据采集规则所指定的车辆。
65.车端子模块203设置在车辆上。该车端子模块203用于接收由云端子模块202下发的数据采集规则，添加或更新数据采集规则。车端子模块203基于场景识别算法获取与数据采集规则匹配的采集场景的感知数据，场景识别算法用于根据车端智能驾驶传感器的感知数据来识别车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配。
66.数据中心子模块204用于接收车端子模块203获取的感知数据。
67.较佳地，本地端子模块201包括车辆信息可视化界面2011和规则编辑可视化界面2012。车辆信息可视化界面2011用于显示车辆信息，车辆信息包括车辆的位置及当前数据采集状态。车端子模块203向云端子模块202上报车辆信息，本地端子模块201通过云端子模块202获取车辆信息。规则编辑可视化界面2012用于编辑数据采集规则匹配，该编辑操作主
要包含对数据采集规则的增加、删除、修改及查看等操作。
68.较佳地，云端子模块202包括车辆管理模块2021、规则存储模块2022和规则下发模块2023。其中，车辆管理模块2021用于管理车辆信息。规则存储模块2022用于存储接收到的数据采集规则，通常存储在规则数据库中。规则下发模块2023用于将数据采集规则下发到其所指定的车辆。云端子模块202与本地端子模块201之间的数据传输可以使用的http协议，或使用tcp等类似的数据传输协议机制。
69.较佳地，车端子模块203包括通信管理模块2031、规则管理模块2032、录制管理模块2033和人机界面2034。其中，通信管理模块2031用于将车辆信息上报至云端子模块202。当车端数据采集状态发生变化时，该通信管理模块2031将自车的车辆信息上报到云端子模块202。通信管理模块2031还接收云端子模块202下发的数据采集规则并转发到规则管理模块2032。车端子模块203和云端子模块202使用http协议进行数据传输。作为举例而非限制，车端子模块203和云端子模块202还可以使用mqtt协议、tcp等类似的数据传输协议机制。
70.规则管理模块2032对数据采集规则进行更新、保存及同步数据采集规则至录制管理模块2033和人机界面2034。规则管理模块2032具有相应的子功能模块，包括车端操作员确认模块、规则更新模块、规则保存模块和规则同步模块。通信管理模块2031接收数据采集规则后，通过人机界面2034和车端操作员交互，可以由车端操作员确认是否接受数据采集规则。如果车端操作员拒绝接受，则车端操作员确认模块将丢弃收到的数据采集规则，不做任何操作；如果车端操作员接受，若是新的数据采集规则，则通过规则保存模块保存该数据采集规则，若是已有数据采集规则的新版本，则通过规则更新模块更新数据采集规则。规则同步模块用于将数据采集规则同步至录制管理模块2033和人机界面2034。
71.录制管理模块2033基于场景识别算法录制(采集)与数据采集规则匹配的采集场景的感知数据。录制管理模块2033支持手动录制模式和自动录制模式。其中，手动录制模式是指全量录制所有车端智能驾驶传感器的感知数据，不考虑数据采集规则，之后基于场景识别算法筛选感知数据，获取与数据采集规则的采集场景匹配的感知数据。自动录制模式是指基于场景识别算法分析车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配，若匹配，则根据数据采集规则录制相应的车端智能驾驶传感器的感知数据，若不匹配，则停止录制。录制管理模块2033将录制状态同步给人机界面2034。具体来说，录制管理模块2033包括同步状态模块、手动录制模块、自动录制模块和场景匹配模块。同步状态模块用于获取录制状态，并同步至人机界面2034。手动录制模块用于执行手动录制。自动录制模块用于执行自动录制。场景匹配模块用于分析车辆所处的场景环境是否与数据采集规则匹配的采集场景匹配。
72.人机界面2034用于显示采集录制状态、数据采集规则和提供录制模式切换按钮，录制模式切换按钮用于在手动录制模式和自动录制模式之间切换。采集录制状态包括当前数据采集的录制模式及采集数据的存放位置等。数据采集规则可以通过显示对应的采集场景的描述等。车端操作人员可以通过录制模式切换按钮来选择具体的录制模式。
73.较佳地，车端子模块203可以采用硬盘传输方式将获取的感知数据发送到数据中心子模块204，还可以通过无线网络，例如wifi、蓝牙、蜂窝通信等方式进行数据传输。
74.本发明还提供了一种智能驾驶数据采集设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述的智能驾驶数
据采集方法的步骤。
75.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述的智能驾驶数据采集方法的步骤。
76.其中，智能驾驶数据采集设备、计算机可读存储介质的具体实现方式和技术效果均可参见上述本发明所提供的智能驾驶数据采集方法的实施例，在此不再赘述。
77.本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
78.结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如dsp与微处理器的组合、多个微处理器、与dsp核心协作的一个或多个微处理器、或任何其他此类配置。
79.结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
80.在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
81.本发明提供的一种智能驾驶数据采集方法、采集装置、采集设备及一种计算机可读存储介质具有如下优点：
82.1.数据采集规则可根据采集需求在本地可视化界面中实时编辑、实时下发；车队中每台车辆的数据采集规则都是可以被实时编辑的，提高了数据采集的多样性和灵活性。
83.2.数据采集规则是通过云端下发到车端，然后由车端执行；无需工程师找到指定车辆，然后从车内编辑数据采集规则，节省了人力资源。
84.3.车端部署场景识别算法，可以对车端的环境和数据采集规则进行匹配。如果匹配成功，即可采用按时、按需的数据采集。通过不同的录制模式可以筛选出有效数据，从而实现数据轻量化存储。
85.4.连续式全量数据采集和自动录制可同时运行，提升数据采集的灵活性。
86.本领域技术人员可显见，可对本发明的上述示例性实施例进行各种修改和变型而不偏离本发明的精神和范围。因此，旨在使本发明覆盖落在所附权利要求书及其等效技术方案范围内的对本发明的修改和变型。