视频的处理方法、装置及系统、智能汽车与流程

本申请涉及自动驾驶领域，具体而言，涉及一种视频的处理方法、装置及系统、智能汽车。

背景技术：

1、在汽车自动驾驶系统的发展中，摄像头对自动驾驶是不可缺少的传感器，相对应的视频数据对自动驾驶算法来说是必要的。

2、目前，自动驾驶算法依据视觉感知识别获取障碍物信息，其中红绿灯信息等占一定的比重，所以对视频数据通信链路和视频数据的感知融合等处理需要高等级的功能安全要求。如果视频通讯链路或者视频处理出现问题，会造成车辆无法用摄像头识别障碍物信息、红绿灯等其它信息，也就是说车辆变成了“瞎子”，从而导致车辆存在一定的安全隐患。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种视频的处理方法、装置及系统、智能汽车，以至少解决相关技术中智能汽车存在安全隐患的技术问题。

2、根据本申请实施例的一个方面，提供了一种视频的处理系统，包括：多个图像采集传感器，所述多个图像采集传感器安装在智能车辆上，用于采集所述智能车辆所在环境的视频；多个系统级芯片soc，所述系统级芯片soc与所述多个图像采集传感器连接，用于对所述多个图像采集传感器采集的视频进行处理，得到处理结果；微控制单元mcu，所述微控制单元mcu与所述多个系统级芯片soc连接，用于根据所述多个系统级芯片soc的处理结果控制所述智能车辆的运行。

3、可选地，每个所述系统级芯片soc用于执行如下操作：对所述多个图像采集传感器采集的视频进行图像信号isp处理，将进行图像信号isp处理后得到的数据进行感知识别处理，将进行感知识别处理后得到的数据与其它传感器的感知数据进行融合处理，将进行融合处理后得到的数据进行规划处理，将进行规划处理后得到的处理结果发送给所述微控制单元mcu。

4、可选地，所述多个图像采集传感器包括：多个前置摄像头、多个侧面摄像头、多个环绕摄像头、后置摄像头、dvr摄像机以及dms摄像机。

5、可选地，所述处理系统还包括：解串器，所述解串器通过千兆多媒体串行链路gmsl与所述多个图像采集传感器连接，用于将串行的视频信号解为并行的视频信号。

6、可选地，所述解串器为四个，包括：第一解串器，所述第一解串器通过千兆多媒体串行链路gmsl与所述多个前置摄像头连接，用于将所述多个前置摄像头的串行的视频信号解为并行的视频信号；第二解串器，所述第二解串器通过千兆多媒体串行链路gmsl与所述多个侧面摄像头连接，用于将所述多个侧面摄像头的串行的视频信号解为并行的视频信号；第三解串器，所述第三解串器通过千兆多媒体串行链路gmsl与所述多个环绕摄像头连接，用于将所述多个环绕摄像头的串行的视频信号解为并行的视频信号；第四解串器，所述第四解串器通过千兆多媒体串行链路gmsl与所述后置摄像头、所述dvr摄像机以及所述dms摄像机连接，用于将所述后置摄像头、所述dvr摄像机以及所述dms摄像机的串行的视频信号解为并行的视频信号。

7、根据本申请实施例的另一方面，还提供了一种智能汽车，包括上述视频的处理系统。

8、根据本申请实施例的另一方面，还提供了一种视频的处理方法，包括：通过多个图像采集传感器采集智能车辆所在环境的视频，其中，所述多个图像采集传感器安装在所述智能车辆上；通过多个系统级芯片soc对所述多个图像采集传感器采集的视频进行处理，得到处理结果；由微控制单元mcu根据所述多个系统级芯片soc的处理结果控制所述智能车辆的运行。

9、可选地，通过多个系统级芯片soc对所述多个图像采集传感器采集的视频进行处理，得到处理结果，包括：每个所述系统级芯片soc对所述多个图像采集传感器采集的视频进行图像信号isp处理，将进行图像信号isp处理后得到的数据进行感知识别处理，将进行感知识别处理后得到的数据与其它传感器的感知数据进行融合处理，将进行融合处理后得到的数据进行规划处理，将进行规划处理后得到的处理结果发送给所述微控制单元mcu。

10、根据本申请实施例的另一方面，还提供了一种视频的处理装置，包括：采集单元，用于通过多个图像采集传感器采集智能车辆所在环境的视频，其中，所述多个图像采集传感器安装在所述智能车辆上；处理单元，用于通过多个系统级芯片soc对所述多个图像采集传感器采集的视频进行处理，得到处理结果；控制单元，用于指示微控制单元mcu根据所述多个系统级芯片soc的处理结果控制所述智能车辆的运行。

11、可选地，处理单元还用于在通过多个系统级芯片soc对所述多个图像采集传感器采集的视频进行处理，得到处理结果时，每个所述系统级芯片soc对所述多个图像采集传感器采集的视频进行图像信号isp处理，将进行图像信号isp处理后得到的数据进行感知识别处理，将进行感知识别处理后得到的数据与其它传感器的感知数据进行融合处理，将进行融合处理后得到的数据进行规划处理，将进行规划处理后得到的处理结果发送给所述微控制单元mcu。

12、根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。

13、根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法中任一实施例的步骤。

14、应用本发明的技术方案，通过多个图像采集传感器采集智能车辆所在环境的视频，通过多个系统级芯片soc对多个图像采集传感器采集的视频进行处理，得到处理结果，由微控制单元mcu根据多个系统级芯片soc的处理结果控制智能车辆的运行，若其中一个视频传输链路或者视频处理链路一旦发生问题，可以通过备用的传输链路和视频处理链路，以保证车辆可以正常继续行驶，可以解决相关技术中智能汽车存在安全隐患的技术问题。

15、除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

技术特征：

1.一种视频的处理系统，其特征在于，包括：

2.根据权利要求1所述的处理系统，其特征在于，每个所述系统级芯片soc用于执行如下操作：

3.根据权利要求1或2所述的处理系统，其特征在于，所述多个图像采集传感器包括：

4.根据权利要求3所述的处理系统，其特征在于，所述处理系统还包括：

5.根据权利要求4所述的处理系统，其特征在于，所述解串器为四个，包括：

6.一种智能汽车，其特征在于，包括权利要求1至5中任意一项所述视频的处理系统。

7.一种视频的处理方法，其特征在于，包括：

8.根据权利要求7所述的方法，其特征在于，通过多个系统级芯片soc对所述多个图像采集传感器采集的视频进行处理，得到处理结果，包括：

9.一种视频的处理装置，其特征在于，包括：

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求7或8所述的方法。

技术总结
本申请公开了一种视频的处理方法、装置及系统、智能汽车。其中，该方法包括：通过多个图像采集传感器采集智能车辆所在环境的视频，通过多个系统级芯片SOC对多个图像采集传感器采集的视频进行处理，得到处理结果，由微控制单元MCU根据多个系统级芯片SOC的处理结果控制智能车辆的运行，若其中一个视频传输链路或者视频处理链路一旦发生问题，可以通过备用的传输链路和视频处理链路，以保证车辆可以正常继续行驶，可以解决相关技术中智能汽车存在安全隐患的技术问题。

技术研发人员：邹爽,陈鹏,程雪原
受保护的技术使用者：清智汽车科技（苏州）有限公司
技术研发日：
技术公布日：2024/1/12