自动驾驶的数据处理方法、车载设备及车辆与流程

本申请涉及车辆技术领域，尤其涉及一种自动驾驶的数据处理方法、车载设备及车辆。

背景技术：

智能车载终端上通过传感器采集的流媒体数据在融合处理、图像推送的过程中耗时较长，因此需要从自动驾驶工控机的摄像设备实时采集得到的流媒体数据实时推送，并在智能车载终端进行实时展示，而相关技术中，智能车载终端数据的传输运算能力有限，不能满足自动驾驶中的数据处理并实时推送的需求。

技术实现要素：

为克服相关技术中存在的问题，本申请提供一种自动驾驶的数据处理方法，该自动驾驶的数据处理方法，能够将自动驾驶工控机的流媒体数据实时推送至车载终端，并通过车载终端实时展示，且达到低延时到毫秒级别，以满足自动驾驶中的数据处理及实时推送的需求。

本申请第一方面提供一种自动驾驶的数据处理方法，用于在自动驾驶工控机和车载终端之间进行数据传输，所述自动驾驶工控机用于作为自动驾驶过程中的数据控制单元，所述车载终端用于作为自动驾驶过程中的数据输出单元，所述自动驾驶的数据处理方法包括：获取自动驾驶工控机的音频和/或图像数据；将所述音频和/或图像数据进行编码得到流媒体数据，并根据第一传输协议对所述流媒体数据进行打包，得到流媒体数据包；通过第二传输协议向车载终端传输所述流媒体数据包；对所述车载终端接收的所述流媒体数据包进行解密和解码，并进行输出。

根据本申请的一个实施例，所述对所述车载终端接收的所述流媒体数据包进行解密和解码，包括：解密所述第二传输协议，得到具有第一传输协议的流媒体数据包；解密所述第一传输协议，得到具有自定义编码格式的流媒体数据；解码具有自定义编码格式的所述流媒体数据。

在一些实施例中，所述流媒体数据通过广播式数据传输方式传输。

根据本申请的一个实施例，所述流媒体数据采用h.246编码格式进行编码。

在一些实施例中，所述第一传输协议为私有rtp协议；和/或，所述第二传输协议为私有udp协议。

在一些实施例中，在所述获取自动驾驶工控机的流媒体数据之前，还包括：采集流媒体数据，并将所述流媒体数据传输至所述自动驾驶工控机。

在一些实施例中，所述自动驾驶工控机设有音视频采集设备，所述流媒体数据通过所述音视频采集设备采集得到；或者，所述流媒体数据由车机采用tcp协议从互联网络获取。

本申请第二方面提供一种车载设备，包括处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第一方面实施例中任一项所述的方法。

本申请第三方面提供一种车辆，包括：车体；和如第二方面实施例中所述的车载设备，所述车载设备设于所述车体上。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的自动驾驶的数据处理方法的流程示意图；

图2是本申请实施例示出的自动驾驶的数据处理方法的另一流程示意图；

图3是本申请实施例示出的车载设备的结构示意框图；

图4是本申请实施例示出的车辆的结构示意框图。

附图标记说明：

100、车载设备；101、存储器；102、处理器；200、车辆；201、车体。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中展示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

相关技术中，智能车载终端数据传输运算能力有限，不能满足自动驾驶中的数据处理并实时推送的需求。

针对上述问题，本申请实施例提供一种自动驾驶的数据处理方法，能够将自动驾驶工控机的流媒体数据实时推送至车载终端，并通过车载终端实时展示，且达到低延时到毫秒级别，满足了自动驾驶中的数据处理及实时推送的需求。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的自动驾驶的数据处理方法的流程示意图。

参见图1，本申请一实施例提供的自动驾驶的数据处理方法，用于在自动驾驶工控机和车载终端之间进行数据传输，自动驾驶工控机用于作为自动驾驶过程中的数据控制单元，车载终端用于作为自动驾驶过程中的数据输出单元，自动驾驶的数据处理方法包括：

步骤s100：获取自动驾驶工控机的音频和/或图像数据。

步骤s102：将所述音频和/或图像数据进行编码得到流媒体数据，并根据第一传输协议对流媒体数据进行打包，得到流媒体数据包。

步骤s104：通过第二传输协议向车载终端传输流媒体数据包。

步骤s106：对车载终端接收的流媒体数据包进行解密和解码，并进行输出。

本申请一实施例提供的自动驾驶的数据处理方法，通过截取自动驾驶工控机的音频和/或图像数据，并对其进行设置编码格式处理得到流媒体数据，并根据第一传输协议对流媒体数据进行打包处理，第一传输协议可以是rtp协议（real-timetransportprotocol，实时传输协议）或rtcp协议（real-timetransportcontrolprotocol，实时传输控制协议）等，从而得到具有编码格式且具有第一传输协议的流媒体数据包，提高了数据传输的安全性。通过第二传输协议向车载终端传输具有编码格式的流媒体数据包，第二传输协议可以是udp协议userdatagramprotocol,用户数据报协议）或tcp协议（transmissioncontrolprotocol，传输控制协议）等，以进一步提高数据传输的安全性，再通过对车载终端接收到的音视频媒体数据包进行解密和解码，即对第二传输协议和第一传输协议进行解密，并对设置的编码格式进行解码，从而可以在车载终端进行实时展示解密和解码后的流媒体数据，进而实现了将自动驾驶工控机的流媒体数据实时推送至车载终端，并通过车载终端实时展示，满足了自动驾驶中的数据处理及实时推送的需求。

根据本申请的一个实施例，对车载终端接收的流媒体数据包进行解密和解码，包括：

步骤s1060：解密第二传输协议，得到具有第一传输协议的流媒体数据包。

步骤s1062：解密第一传输协议，得到具有自定义编码格式的流媒体数据。

步骤s1064：解码具有自定义编码格式的流媒体数据。

即解密时先对第二传输协议进行解密，从而得到具有第一传输协议且具有自定义编码格式的流媒体数据包。在对第二传输协议解密完成后，再对第一传输协议进行解密，从而得到只具有自定义编码格式的流媒体数据，然后再对自定义编码格式进行解码，从而得到音频和/或图像的裸流数据，进而可以控制车载终端进行展示。

在一些实施例中，流媒体数据通过广播式数据传输方式传输。

广播式数据传输方式即利用一个共同的传输介质把各个站点连接起来，使网上站点共享一条信道，其中任意一个站点输出，其他站点均可接收。广播式数据传输方式具有传递效率高及抗干扰能力强的效果，提高了流媒体数据的传递质量和传递效率。

在一些实施例中，流媒体数据采用h.246编码格式进行编码。

h.246编码格式具有良好的压缩性能，能够在尽可能低的存储情况下获得好的图像质量和低带宽图像的快速传输，且对各种传输信道的适应能力强，应用目标范围较宽，传输数据速率要求低，可以满足不同速率、不同解析度以及不同传输（存储）场合的需求。

在一些实施例中，第一传输协议为私有rtp协议，第二传输协议为私有udp协议。

第一传输协议为私有rtp协议（real-timetransportprotocol，实时传输协议），即用户按照私有rtp格式对流媒体数据进行封装，并利用与它绑定的协议进行数据包的传输，用于对端到端的实时传输提供时间和流同步。

第二传输协议为私有udp协议（userdatagramprotocol,用户数据报协议），即用户按照私有udp格式对流媒体数据进行传输，由于udp协议是无状态的传输协议，因此数据传输速度快，效率高，且传输过程中安全性较高，有助于提高数据传输至车载终端的效率，并有助于实现在车载终端进行实时展示。

如图2所示，在一些实施例中，在获取自动驾驶工控机的流媒体数据之前，还包括：步骤s108：采集流媒体数据，并将流媒体数据传输至自动驾驶工控机。

在一些实施例中，所述自动驾驶工控机设有音视频采集装置，所述流媒体数据通过所述音视频采集装置采集得到。

音视频采集装置如摄像头和麦克风等，用于采集流媒体数据，并将采集的流媒体数据传输至自动驾驶工控机。

根据本申请的另一实施例，所述流媒体数据由车机采用tcp协议从互联网络获取。

tcp协议（transmissioncontrolprotocol，传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议。可以提供多种可靠的用户服务，协议标准是完全开放的，并且独立于特定的计算机硬件与操作系统。且独立于网络硬件系统，可以运行在广域网，更适合于互联网，因此可以从互联网中获取流媒体数据。

本申请第二方面提供一种车载设备100，包括处理器102；以及存储器101，其上存储有可执行代码，当可执行代码被处理器102执行时，使处理器102执行如第一方面实施例中任一项的方法。

图3是本申请实施例示出的车载设备100的结构示意框图。

参见图3，车载设备100包括存储器101和处理器102。

处理器102可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器101可以包括各种类型的存储单元，例如系统内存、只读存储器（rom），和永久存储装置。其中，rom可以存储处理器102或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器101可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（dram，sram，sdram，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器101可以包括可读和/或写的可移除的存储设备，例如激光唱片（cd）、只读数字多功能光盘（例如dvd-rom，双层dvd-rom）、只读蓝光光盘、超密度光盘、闪存卡（例如sd卡、minsd卡、micro-sd卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器101上存储有可执行代码，当可执行代码被处理器102处理时，可以使处理器102执行上文述及的方法中的部分或全部。

图4是本申请实施例示出的车辆的结构示意框图。

参见图4，本申请一实施例提供一种车辆200，包括：车体201；和如第二方面实施例中的车载设备100，车载设备100设于车体201上。

本实施例一实施例提供的车辆200，因包括第二方面实施例中的车载设备100，因此包括上述实施例中任一项的技术效果，在此不再一一赘述。

综上所述，本申请实施例提供的自动驾驶的数据处理方法，能够将自动驾驶工控机的流媒体数据实时推送至车载终端，并通过车载终端实时展示，且可达到低延时到毫秒级别，以满足自动驾驶中的数据处理及实时推送的需求。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被车载设备（或车载设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图展示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。