一种智能辅助驾驶的车云感知闭环处理方法与流程

1.本发明涉及智能辅助驾驶技术领域，尤其涉及一种智能辅助驾驶的车云感知闭环处理方法。


背景技术：

2.近年来，智能辅助驾驶领域的研究不断向前发展，它是未来智能交通的重要组成部分，是当前研究热点之一。目前的只能辅助方案通常包括感知系统和控制系统（自动驾驶系统），通过感知系统，自动驾驶车辆在行驶过程中可以感知周围所处的环境，包括其他车辆、人物、动物、路标等障碍物；控制系统根据感知系统采集的数据进行处理及控制，达到辅助驾驶的效果。
3.为保证行驶安全，需对感知系统的准确性进行测试；目前，在对感知系统进行准确性测试时，通常采取将感知系统输出的障碍物与标注数据匹配评估的方式；这种方式是对感知系统输出的全量结果以及标注的全量结果进行整体评估，基于整体评估产出的评估指标进行感知系统的迭代。中国专利cn202011568410.8公开了一种“自动驾驶车辆感知系统测试方法、装置、设备及存储介质”，其能够在行驶过程中可以感知周围所处的环境，包括其他车辆、人物、动物、路标等障碍物，但该方案所涉及的感知环境已不满足现有的车辆道路多场景环境的实际情况；且现有各大车企厂商或互联网公司在数据处理时进行数据预标注与标注平台强耦合，也不符合现有数据服务模块化理念，无法将预标注与标注完成极致适配，导致数据服务质量不高；同时，且随着越来越多的车载芯片公司成立，未来芯片种类繁多，车企如何做到多芯片搭配的关键在于算法模型对芯片的适应，但目前车企多为算法模型与芯片绑定，一芯片一处理的方式；这就造成整个智能辅助驾驶系统变得复杂，并且自适应性较差，无法满足现有的车辆道路多场景环境的实际情况。


技术实现要素：

4.针对现有技术存在的上述不足，本发明的目的在于提供一种智能辅助驾驶的车云感知闭环处理方法，通过多场景融合分析，算法数据自定义，支持多种车载芯片，实现车端数据采集，图片和视频数据预处理，数据标注，模型训练，模型编译，能够实现编译后模型在车端部署的业务全流程打通和系统的自动化串联的目的。
5.为了解决上述技术问题，本发明采用的技术方案是这样的：一种智能辅助驾驶的车云感知闭环处理方法，其特征在于：包括如下步骤：1）车端获取环境数据，包括环境图片和环境视频，并上传到ftp服务器；2）在ftp服务器中挂载分布式存储系统，并在分布式存储系统中划分车云感知闭环系统存储空间，其中，车云感知闭环系统存储在该车云感知闭环系统存储空间中，步骤1）中上传的环境数据存储到非车云感知闭环系统存储空间中；3）云端数据处理：a、数据预处理：对车端上传的环境视频进行预处理，获取图像数据包，并利用车云
感知闭环系统提供的图片分类模型对图像数据包进行自动预标注；然后，用户根据需要，对预标注后的图像数据包进行人工筛选，实现人工标注；b、模型训练：通过自动预标注和人工标注后的图像数据包形成数据集，该数据集再结合训练算法及对应的训练ai引擎进行训练任务；c、模型评估：在训练任务结束后，车云感知闭环系统拉取模型评估所需的模型及数据集，与设定的评估标准进行对比，若模型评估未通过，则重复步骤3）；4）车端数据应用：步骤3）中模型评估通过后，经过编译机完成模型编译工作，通过ota下发至车端芯片，完成模型应用，即完成车辆的智能辅助驾驶。
6.进一步地，步骤2）中，环境数据采用搭建跳板机并运行至ftp服务器，其中，跳板机通过mount的方式使用fuse协议直接挂载在分布式存储系统的目录。
7.进一步地，步骤3）的a中，车云感知闭环系统提供一组内置的图片分类模型用于实现多场景感知分析。
8.进一步地，步骤4）中，当需要对某个车载芯片进行模型编译时，调用该车载芯片对应的编译机进行编译。
9.与现有技术相比，本发明具有如下优点：1、车端实现数据采集及上传服务器，系统进行图片和视频数据预处理，并通过系统对触片进行预标注和人工标注协同处理，能够实现多场景融合分析，更全面的感知车辆道路的场景环境。
10.2、模型训练过程中，用户能够实现算法模型自定义，从而满足不同用户的需求；同时，能够根据用户的需求，自定义模型训练评估标准，使得智能驾驶辅助适应性更强。
11.3、模型评估通过后，过编译机完成模型编译工作，并且编译机以docker镜像的方式运行，完成docker镜像制作后，编译为对应的车载芯片模型，从而能够实现支持多种车载芯片，最终实现模型在车端部署的业务全流程打通和系统的自动化串联的目的。
附图说明
12.图1为本发明的工作流程图。
13.图2为数据上传流程图。
14.图3为环境数据预处理流程图。
15.图4为模型编译流程图。
具体实施方式
16.下面将结合附图及实施例对本发明作进一步说明。
17.实施例：参见图1至图4，一种智能辅助驾驶的车云感知闭环处理方法，包括如下步骤：1）车端具有环境感知系统（如环境传感器、摄像头等），以获取环境数据，该环境数据主要包括环境图片和环境视频，并上传到ftp服务器。
18.2）在ftp服务器中挂载分布式存储系统（hdfs），并在分布式存储系统中划分车云感知闭环系统存储空间，其中，车云感知闭环系统存储在该车云感知闭环系统存储空间中，
步骤1）中上传的环境数据存储到非车云感知闭环系统存储空间中。由于这类感知闭环算法所需的环境数据主要为批量非实时数据，其数据量巨大，视频流、图片等均达到tb级别，数据实时性要求不高；因此，实施过程中，环境数据采用搭建跳板机并运行至ftp服务器，其中，跳板机通过mount的方式使用fuse协议直接挂载在hdfs的目录。因此，对ftp目录、文件的操作，即为对hdfs的操作；hdfs根目录划分出一个专门的目录作为车云感知闭环系统专属目录。用户使用ftp客户端将待上传文件上传到hdfs非车云感知闭环系统专属目录，使用车云感知闭环系统处理时，需要从hdfs非车云感知闭环系统专属目录导入到车云感知闭环系统专属目录中。
19.3）云端数据处理（由车云感知闭环系统执行）：a、数据预处理：对车端上传的环境视频进行预处理，获取图像数据包，车端上传的环境图片直接形成图像数据包；具体过程为：对用户车端采集的视频数据进行图像提取功能，方便后续的图像分类预处理和入库；视频抽帧工具对输入的视频文件进行图像提取，并生成系统适配格式的图像数据包，支持的主要功能有：支持抽帧周期参数；支持抽帧次数参数；图片分辨率、格式等，默认jpeg格式，分辨率：1920x1080；支持按秒的时间范围选帧功能；视频格式：mp4；支持输出抽帧任务启动时间、抽帧任务进度；支持设置图片质量设置。
20.然后，利用车云感知闭环系统提供的图片分类模型对图像数据包进行自动预标注。具体地，车云感知闭环系统提供图像目标检测算法，进行图像的自动预标注；其中，用户可以预先配置对图片数据包进行自动预处理所使用的分类模型，车云感知闭环系统提供一组内置的图片分类模型用于实现多场景感知分析，具体包括识别车辆、行人、交通标志牌、信号灯、天气、光线条件等场景。
21.然后，用户根据需要，对预标注后的图像数据包进行人工筛选，实现人工标注。经自动预标注和人工标注后的图像数据包存储到样本仓库中备用。具体地，用户也可以自行上传模型用于图片预处理；并根据提供的示例分类算法，进行算法核心部分修改，方便快速在车云感知闭环系统平台上传和使用自有算法。
22.端云协同开发：端云协同开发不仅有上文提到的详细内容，同时用户也可以使用车云感知闭环系统提供的插件，将调试好的算法注册到车云感知闭环系统算法管理中。或者将开发环境打包成自定义ai训练框架，在训练任务中使用。系统提供pycharm专业版插件，支持端云协同。已有docker用户直接放docker repo，车云感知闭环系统可以读取。
23.b、模型训练：通过自动预标注和人工标注后的图像数据包形成数据集，该数据集再结合训练算法及对应的训练ai引擎进行训练任务。用户在创建完算法后，算法创建后允许用户修改算法入口路径，运行使用的ai框架以及参数列表等。通过标注车端上传的数据后形成的数据集加上算法管理给出的算法，外加选择对应的训练ai引擎，用户即可以进行训练任务。训练完成后生成的模型将在车端数据应用上为智能辅助驾驶助力。
24.本方案所提供的端云协同开发能很好的解决目前算法困难、没有适配的依赖包、
很难完成算法调试等问题；系统提供最基本的ai引擎，该引擎中只装有与nvidia gpu驱动兼容的cuda套件，以及基本的python，以及对应的mini conda，开发人员可以在端云协同开发的环境中：完成自己所需ai训练框架、算法所需的依赖包安装，代码开发、算法调试等。
25.c、模型评估：在训练任务结束后，车云感知闭环系统拉取模型评估所需的模型及数据集，与设定的评估标准进行对比，若模型评估未通过，则重复步骤3）；实施过程中，用户根据需要的指标制作脚本，并将结果写到文件中，保存在docker固定的目录里，这样即可实现自定义模型评估。
26.4）车端数据应用：步骤3）中模型评估通过后，经过编译机完成模型编译工作，通过ota下发至车端芯片，完成模型应用，即完成车辆的智能辅助驾驶。其中，当需要对某个车载芯片进行模型编译时，调用该车载芯片对应的编译机进行编译。例如，编译机以docker镜像的方式运行，编译时，拉取相关docker，并调用编译工具进行编译；即需要将芯片编译工具完成docker镜像制作后，经过编译机将nvidia模型编译为对应的车载芯片模型，实现车端数据应用；从而能够实现支持多种车载芯片，提高适用性。
27.当用户需要进行编译某个算法时，需要指出待编译的模型，使用的编译机以及作为哪个编译后的模型的一个版本。当任务拉起时，主进程下载指定的待编译nvidia gpu识别的模型，下载完成后调用编译工具，将待编译模型编译为芯片相关的模型。编译完成后，将芯片相关模型上传ota。至此整个车云感知闭环全流程：车端数据采集上传-云端数据多层处理-车端数据ota下发应用完成全流程打通。
28.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。