基于无人驾驶平台的全景视频采集方法及系统与流程

本发明涉及自动驾驶技术领域，尤其涉及一种基于无人驾驶平台的全景视频监控采集方法及系统。

背景技术：

近年来随着无人驾驶技术的飞速发展，无人驾驶技术的日益成熟，车辆行驶视频数据记录装置的开发得到了研究人员的广泛关注。在自动驾驶汽车测试与运营过程中，要对车辆所处真实环境和车辆本身的状态信息进行实时记录和分析，但视频图像数据一般体积较大，且由于网络传输与硬件水平限制，无法做到车辆行驶过程中所有图像的实时传输。

图1为现有技术中摄像头传感器位置示意图，如图1所示，原始视频采集上传方案对车辆硬件平台的性能要求较高，需要消耗较大的计算性能，并且对存储设备的寿命有一定影响。

无人驾驶车辆平台在上电后，等待自动驾驶操作系统(automatedvehicleoperationsystem，avos)正常启动，车辆位于四个不同方向的广角摄像头默认开始采集视频数据，并保存至本地，采用“滑动窗口”的方式，自动删除距离本次采集超过一周的视频数据。当云端下发平行驾驶指令后，avos系统将采用实时上传的方式，根据云端下发的不同指令，实时上传不同方向的摄像头数据。

这种车辆启动默认实时采集图像，云端下发命令后上传的方案虽然逻辑简单，容易实现，但是在实际使用过程中有如下三个问题：

(1)车辆在自动驾驶过程中，需要进行大量的实时计算，而图像的采集与记录会过多的占用车辆平台的硬件资源，影响车端自动驾驶效果，甚至会导致自动驾驶系统负载较高，延时过大等危险情况；

(2)车辆在行驶过程中，大量的视频数据属于无效数据，占用系统存储空间较大，且后续不利于研究人员快速分析数据，定位问题。

(3)在自动驾驶车辆发生事故后，会有一定的概率出现车端存储设备损坏，数据丢失的情况，容易丢失关键数据，不利于事故的责任认定。

技术实现要素：

本发明实施例的目的是提供一种基于无人驾驶平台的全景视频采集方法及装置，以解决现有技术中所存在的问题。

为解决上述问题，第一方面，本发明提供了一种基于无人驾驶平台的全景视频采集方法，所述方法包括：

在满足预设的视频触发策略后，生成唤醒信号，以唤醒休眠状态的全景视频采集系统；所述全景视频采集系统包括多个摄像头；

获取各摄像头采集的视频数据；

对各摄像头采集的视频数据进行拼接和压缩处理，得到视频压缩数据；

判断车辆是否处于平行驾驶模式；

当处于平行驾驶模式时，将所述视频压缩数据发送给云端服务器。

在一种可能的实现方式中，所述方法之后还包括：

当不处于平行驾驶模式时，对所述视频压缩数据进行分割和筛选；

将分割和筛选后的视频压缩数据发送给云端服务器。

在一种可能的实现方式中，所述对所述视频压缩数据进行分割和筛选具体包括：

根据预设的时间间隔和当前时间戳，从所述视频压缩数据中截取当前时间戳之前预设时间内的视频数据。

在一种可能的实现方式中，所述视频触发策略具体为：

接收云端服务器发送的平行驾驶指令；

根据所述平行驾驶指令，生成唤醒信号。

在一种可能的实现方式中，所述视频触发策略具体为：

对车辆模型进行膨胀处理，生成车辆膨胀模型；

根据当前帧点云数据和所述车辆膨胀模型，判断车辆膨胀模型是否与障碍物发生碰撞；

当发生碰撞时，生成唤醒信号。

在一种可能的实现方式中，所述视频触发策略具体为：

当接收到人机界面hmi发送的启动信息后，生成唤醒信号。

在一种可能的实现方式中，所述视频触发策略具体为：

接收其它模块发送的故障码后；

根据所述故障码，判断故障等级；

当所述故障等级为预设的等级时，生成唤醒信号。

在一种可能的实现方式中，所述摄像头为广角摄像头，所述获取全景视频系统中各摄像头采集的视频数据之后，还包括：

对各摄像头采集的视频数据进行桶形失真矫正，得到矫正后的视频数据。

在一种可能的实现方式中，所述视频数据包括时间戳，所述对各摄像头采集的视频数据进行拼接和压缩处理，得到视频压缩数据，具体包括：

根据时间戳，对各视频数据进行融合处理，得到视频拼接数据；

对所述视频拼接数据进行压缩处理，得到视频压缩数据。

第二方面，本发明提供了一种基于无人驾驶平台的全景视频采集系统，所述系统包括：

视频采集子模块，所述视频采集子模块用于在满足预设的视频触发策略后，生成唤醒信号，以唤醒休眠状态的全景视频采集系统；所述全景视频采集系统包括多个摄像头；

视频记录模块，所述视频记录模块用于获取各摄像头采集的视频数据；

视频拼接模块，所述视频拼接模块用于对各摄像头采集的视频数据进行拼接和压缩处理，得到视频压缩数据；

判断模块，所述判断模块用于判断车辆是否处于平行驾驶模式；

视频发送模块，所述视频发送模块用于当处于平行驾驶模式时，将所述视频压缩数据发送给云端服务器。

第三方面，本发明提供了一种设备，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行第一方面任一所述的方法。

第四方面，本发明提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一所述的方法。

第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一所述的方法。

通过应用本发明实施例提供的基于无人驾驶平台的全景视频采集方法及系统，具有以下技术效果：

(1)车端在有限的硬件平台上，消耗资源更少，系统负载更低。

(2)能有效减缓车端存储空间压力，使得车端存储单元寿命更长。

(3)能有效的分析出发生事故时，自动驾驶车辆周围的真实路况。

(4)车辆在发生紧急工况时，有利于技术人员事后进行危险工况分析。

(5)上传至云端服务器的视频全部为有效数据。

附图说明

图1为现有技术中摄像头传感器位置示意图；

图2为本发明实施例一提供的基于无人驾驶平台的全景视频采集方法流程图；

图3为车辆膨胀模型示意图；

图4为本发明实施例二提供的基于无人驾驶平台的全景视频采集系统结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图2为本发明实施例一提供的基于无人驾驶平台的全景视频采集方法流程图。该方法的执行主体为车辆上的处理器，在自动驾驶车辆上，该处理器可以称为自动驾驶车辆控制单元(automatedvehiclecontrolunit，avcu),avcu相当于自动驾驶车辆的“大脑”。如图2所示，该方法包括以下步骤：

步骤201，在满足预设的视频触发策略后，生成唤醒信号，以唤醒休眠状态的全景视频采集系统。

在一个示例中，当车辆在正常行驶的过程中，接收到云端服务器发送的平行驾驶指令后，avcu会生成唤醒信号，用以唤醒休眠状态的全景视频采集系统。

参见图1，示例而非限定，全景视频采集系统中包括4个摄像头，分别为前向、后向、左侧和右侧摄像头，avcu生成的唤醒信号，会分别发送给4个摄像头，以唤醒摄像头。

在另一个示例中，对车辆模型进行膨胀处理，生成车辆膨胀模型；根据当前帧点云数据和车辆膨胀模型，判断车辆膨胀模型是否与障碍物发生碰撞；当发生碰撞时，生成唤醒信号。其中，车辆膨胀模型参考图3。

具体的，视频触发策略为了保证预先记录并保存视频数据。可以依据车辆自车模型与车辆真实转角，avcu中的路径规划模块提前预测车辆行驶轨迹，并将车辆模型进行进一步“膨胀”处理，在车辆感知模块感知出来的静态障碍物的点云数据与“膨胀”处理后的车辆模型发生碰撞时，开始记录摄像头数据的同时保存至本地，并将处理以后的视频数据包实时上传，方便技术人员进行分析。对车辆行为进行预测与车辆模式的“膨胀”，是为了实现在碰撞发生前就开始记录数据，以免错失关键数据，为后期的分析带来障碍。

在再一个示例中，当接收到人机界面(humanmachineinterface，hmi)发送的启动信息后，生成唤醒信号。

具体的，测试人员与技术人员在无人驾驶车辆测试的过程中，不容易观察到车辆四周的真实环境，在紧急工况发生后，可通过hmi界面的按钮记录数据，无人驾驶平台的全景视频监控采集系统将自动记录摄像头数据两分钟并上传至云端，以便技术人员对当时的情况进行分析。

在再一个示例中，接收其它模块发送的故障码后；根据故障码，判断故障等级；当故障等级为预设的等级时，生成唤醒信号。

具体的，avcu实时的接收其它模块发送的数据包，并对数据包进行解析，当数据包中包括故障码时，判断故障码对应的故障的等级，比如，如果激光雷达、超声波雷达等自动驾驶必不可少的模块发生故障，故障等级高，此时，avcu生成唤醒信号，以唤醒全景视频采集系统，同时avcu也会生成急停信号，并将急停信号发送给电机控制器，以使电机控制器控制电机，使得车辆停止运行。

如果故障码对应的故障等级低，比如，用于显示提示语“请注意车辆”的显示界面发生故障，avcu接收到故障码后，确定故障等级低，并不生成唤醒信号。由此，在监测到车辆硬件平台发生预设等级的故障后，自动唤醒摄像头，在唤醒后，可以保存视频压缩数据并上传，同时上传车辆状态信息，并实时显示在云端监控平台上，以方便后台监控人员及时发现。

步骤202，获取各摄像头采集的视频数据。

具体的，aucu获取到多个视频数据后，每个视频数据都具有时间戳。

步骤203，对各摄像头采集的视频数据进行拼接和压缩处理，得到视频压缩数据。

其中，在步骤203之前还包括：对各摄像头采集的视频数据进行桶形失真矫正，得到矫正后的视频数据。

车辆平台采用广角摄像头，原始数据存在一定的桶形失真，需要通过avcu中的数据处理模块，对视频数据进行桶形失真矫正，使得视频图像更易被人接受。

具体的，步骤203包括：

根据时间戳，对各视频数据进行融合处理，得到视频拼接数据；

对视频拼接数据进行压缩处理，得到视频压缩数据。

其中，根据时间戳，将前向、后向、左侧和右侧四个摄像头拍摄的视频数据进行同步处理，再将上述四个视频数据中相同的部分进行细节增强，后续再进行降噪处理，从而得到视频拼接数据。

对视频拼接数据进行编码，编码的方式可以采用现有技术，此处不再赘述。从而，通过对不同方向的摄像头的视频数据进行拼接，使得视频数据可以真实反馈车辆所处的环境，更容被人接受，提高了用户体验。通过对视频拼接数据进行压缩和码率转换，可以保证在有限的硬件平台上，以较小的存储空间对该视频压缩数据进行存储，减少了资源浪费，并且后续avcu可以以较小的带宽资源上传该视频压缩数据，提高了传输速率。

步骤204，判断车辆是否处于平行驾驶模式。

具体的，当在步骤201之前，车辆接收到平行驾驶指令时，可以判定车辆处于平行驾驶模式。

步骤205，当处于平行驾驶模式时，将视频压缩数据发送给云端服务器。

由此，保证在车辆有限的硬件平台上，实时传输流畅清晰的视频图像数据，以供用户平行驾驶使用。

进一步的，步骤201之后还包括：

当不处于平行驾驶模式时，对视频压缩数据进行分割和筛选；

将分割和筛选后的视频压缩数据发送给云端服务器。

具体的，当不处于平行驾驶模式时，说明当前预设的视频触发策略并非平行驾驶，而可能是车辆膨胀模型与障碍物发生碰撞，或者接收到hmi的启动信息，或者接收到符合预设等级的故障码。此时，可以根据当前时间，在视频压缩数据中，截取当前时刻之前的一定时间段的数据，比如，截取当前时刻前1分钟的数据，并将这一分钟的数据发送给云端服务器，从而实现在碰撞发生前的特定时间段开始记录数据，以便技术人员对当时的情况进行分析，以免错失关键数据，为后期的分析带来障碍。

通过应用本发明实施例一提供的基于无人驾驶平台的全景视频采集方法，具有以下技术效果：

(1)车端在有限的硬件平台上，消耗资源更少，系统负载更低。

(2)能有效减缓车端存储空间压力，使得车端存储单元寿命更长。

(3)能有效的分析出发生事故时，自动驾驶车辆周围的真实路况。

(4)车辆在发生紧急工况时，有利于技术人员事后进行危险工况分析。

(5)上传至云端服务器的视频全部为有效数据。

其中，车端存储单元集成在avcu中。

图4为本发明实施例二提供的基于无人驾驶平台的全景视频采集系统结构示意图。该基于无人驾驶平台的全景视频采集系统应用在基于无人驾驶平台的全景视频采集方法中。如图4所示，该系统包括：视频采集子模块401，视频记录模块402，视频拼接模块403，判断模块404和视频发送模块405。

视频采集子模块401用于在满足预设的视频触发策略后，生成唤醒信号，以唤醒休眠状态的全景视频采集系统；全景视频采集系统包括多个摄像头；

视频记录模块402用于获取各摄像头采集的视频数据；

视频拼接模块403用于对各摄像头采集的视频数据进行拼接和压缩处理，得到视频压缩数据；

判断模块404用于判断车辆是否处于平行驾驶模式；

视频发送模块405用于当处于平行驾驶模式时，将视频压缩数据发送给云端服务器。

进一步的，该系统还包括：视频处理模块406。

视频处理模块406用于当不处于平行驾驶模式时，对视频压缩数据进行分割和筛选；

视频发送模块405用于将分割和筛选后的视频压缩数据发送给云端服务器。

进一步的，视频处理模块406用于根据预设的时间间隔和当前时间戳，从视频压缩数据中截取当前时间戳之前预设时间内的视频数据。

其中，视频触发策略具体为：

接收云端服务器发送的平行驾驶指令；

根据平行驾驶指令，生成唤醒信号。

其中，视频触发策略具体为：

对车辆模型进行膨胀处理，生成车辆膨胀模型；

根据当前帧点云数据和车辆膨胀模型，判断车辆膨胀模型是否与障碍物发生碰撞；

当发生碰撞时，生成唤醒信号。

其中，视频触发策略具体为：

当接收到人机界面hmi发送的启动信息后，生成唤醒信号。

其中，视频触发策略具体为：

接收其它模块发送的故障码后；

根据故障码，判断故障等级；

当故障等级为预设的等级时，生成唤醒信号。

其中，摄像头为广角摄像头，视频处理模块406还用于：对各摄像头采集的视频数据进行桶形失真矫正，得到矫正后的视频数据。

进一步的，视频数据包括时间戳，视频拼接模块具体用于：

根据时间戳，对各视频数据进行融合处理，得到视频拼接数据；

对视频拼接数据进行压缩处理，得到视频压缩数据。

该系统的技术效果与上述实施例一的方法的技术效果相同，此处不再赘述。

本发明实施例三提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。

本发明实施例四提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。

本发明实施例五提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。