一种基于自动驾驶的轻型组合网络检测系统、方法及存储介质与流程

本发明涉及自动驾驶，尤其是涉及一种基于自动驾驶的轻型组合网络检测系统、方法及存储介质。

背景技术：

1、近年来，自动驾驶、智能交通等领域的研究飞速发展，成果丰硕。基于深度学习和计算机视觉的交通场景目标检测技术已经拥有了非常丰富的应用领域，正在逐渐取代传统算法。但是，深度学习算法的应用往往需要消耗大量的计算资源，不容易实现实时检测。如果能从算法入手，通过算法的改良来提升模型检测精度和推理速度，进而部署到车载摄像头或电子监控等边缘计算设备中，可以有效降低成本，有利于深度学习目标检测算法在交通领域的大规模部署落地和推广应用。

2、现有技术中，自动驾驶行业，现在主要才用深度学习来实现对车辆周围的动态，静态目标进行检测，来获取这些目标的位置信息，类别信息，通过深度学习检测网络训练出的模型，在移植到车端进行推理的时候，表现的不尽如意，最主要的原因在于车端的算力有限，且车所处的环境比较复杂，所以需要对深度学习相关的检测算法优化，从yolov3到yolov7，不同的版本都在优化检测精度和性能，车端尤其是功能无人车，所需要处理的任务相对较多，在算力有限的情况下，检测算法移植到车端，会存在很大的问题。所以急需优化该检测类型算法

3、现阶段，主要才用yolov5等系列检测网络解决功能无人车的视频感知任务，但是，车端感知的目标比较多，同时存在很多复杂状态，所以优化此类算法的主干网络结构，可实现在有限的存储或算力空间集成多种不同检测任务的模型，但是由于功能无人车，算力和存储空间有限，所以会降低功能型无人车的感知能力，现有减小算力，减小存储空间，增加算法处理速度一般，采用裁剪，蒸馏的深度学习算法的等技术手段，来减小算力，减小模型的存储空间，以及通过软件库进行加速，例如tensorrt,利用tensorrt中加速驱动，驱动显卡中的cuda核，进行加速。但这种加速方法代价较大，会增加车端硬件功率的消耗。

技术实现思路

1、鉴于以上现有技术的不足，本发明提供了一种基于自动驾驶的轻型组合网络检测系统、方法及存储介质，不仅在功能型无人车存储条件和算力条件有限的情况下，能利用主干网络优化方法，降低原算法模型的模型大小，模型参数量，和相关的算力，而且不降低感知算法的技术指标。

2、为了实现上述目的及其他相关目的，本发明提供的技术方案如下：

3、一种基于自动驾驶的轻型组合网络检测系统，所述系统包括：

4、输入模块，用于实时获取图像数据信息；

5、图像特征提取模块，与所述输入模块连接，包括backbone网络单元和mobileone网络单元，采用图像数据分流算法将实时获取的图像数据信息分拨给所述backbone网络单元和所述mobileone网络单元进行特征的提取；

6、panet模块，与所述图像特征提取模块连接，用于接收图像特征数据信息和进行图像特征融合；

7、预测模块，与所述panet模块连接，用于将融合后的图像特征进行分类和输出不同尺寸的特征图像数据信息。

8、进一步的，所述图像数据分流算法包括：

9、k1.将实时获取的图像数据信息转化为矩阵数据信息，输出离散化的图像矩阵数据信息；

10、k2.将所述离散化的图像矩阵数据信息输入熵函数h，

11、

12、其中，n为样本个数，xi为第i个离散化的图像矩阵，p为样本概率函数，输出图像矩阵对应的熵值数据信息；

13、k3.基于所述图像矩阵对应的熵值数据信息，设置预设阈值，若所述图像矩阵对应的熵值数据信息大于预设阈值，则将与之对应的离散化的图像矩阵数据信息传输至所述backbone网络单元进行特征提取，若所述图像矩阵对应的熵值数据信息小于预设阈值，则将与之对应的离散化图像矩阵数据信息传输至所述mobileone网络单元进行特征提取。

14、进一步的，在步骤k2中，所述样本概率函数p为

15、

16、进一步的，所述mobileone网络单元包括多层1*1和3*3的卷积，以及一个全连接层。

17、进一步的，所述系统还包括检测模块，与所述预测模块连接，用于根据不同尺寸的特征图像数据信息，对所述实时获取图像数据信息进行检测，并输出检测数据信息。

18、为了实现上述目的及其他相关目的，本发明还提供了一种基于自动驾驶的轻型组合网络检测方法，所述方法包括：

19、u1.无人驾驶车辆行驶在道路上，基于车载摄像头实时获取道路图像数据信息；

20、u2.基于所述实时获取道路图像数据信息，采用图像数据分流算法进行图像数据分流，输出分流后的图像数据信息；

21、u3.将所述分流后的图像数据信息输入backbone网络和mobileone网络进行图像特征提取，输出图像特征矩阵数据信息；

22、u4.将所述图像特征矩阵数据信息进行特征融合并进行分类，输出不同尺寸的特征图像数据信息；

23、u5.将所述不同尺寸的特征图像数据信息进行检测，输出检测数据信息。

24、进一步的，所述检测数据信息包括图像分类数据信息、目标定位数据信息、语义分割数据信息和实例分割数据信息。

25、进一步的，所述分流后的图像数据信息包括目标图像数据信息和非目标图像数据信息。

26、为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述基于自动驾驶的轻型组合网络检测方法的计算机程序。

27、本发明具有以下积极效果：

28、1.本发明通过backbone网络和mobileone网络优化了检测感知的主干网后，降低了网络的复杂度，训练后的模型体积变小，参数量变小，推理速度加快，算力使用率降低。

29、2.本发明采用图像数据分流算法对原始图像数据信息进行分层次处理，不仅数据处理速度快，而且提高了检测效果。

30、3.本发明增加了整个功能型无人车感知系统的容量，提高了感知系统的感知能力。

技术特征：

1.一种基于自动驾驶的轻型组合网络检测系统，其特征在于，所述系统包括：输入模块，用于实时获取图像数据信息；

2.根据权利要求1所述的基于自动驾驶的轻型组合网络检测系统，其特征在于，所述图像数据分流算法包括：

3.根据权利要求2所述的基于自动驾驶的轻型组合网络检测系统，其特征在于，在步骤k2中，所述样本概率函数p为

4.根据权利要求1所述的基于自动驾驶的轻型组合网络检测系统，其特征在于：所述mobileone网络单元包括多层1*1和3*3的卷积，以及一个全连接层。

5.根据权利要求1所述的基于自动驾驶的轻型组合网络检测系统，其特征在于，所述系统还包括检测模块，与所述预测模块连接，用于根据不同尺寸的特征图像数据信息，对所述实时获取图像数据信息进行检测，并输出检测数据信息。

6.一种基于自动驾驶的轻型组合网络检测方法，其特征在于，所述方法包括：

7.根据权利要求6所述的基于自动驾驶的轻型组合网络检测方法，其特征在于：所述检测数据信息包括图像分类数据信息、目标定位数据信息、语义分割数据信息和实例分割数据信息。

8.根据权利要求6所述的基于自动驾驶的轻型组合网络检测方法，其特征在于：所述分流后的图像数据信息包括目标图像数据信息和非目标图像数据信息。

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求6～8中任意一项所述基于自动驾驶的轻型组合网络检测方法的计算机程序。

技术总结
本发明涉及一种基于自动驾驶的轻型组合网络检测系统、方法及存储介质，所述系统包括：输入模块，用于实时获取图像数据信息；图像特征提取模块，与所述输入模块连接，包括Backbone网络单元和Mobileone网络单元，采用图像数据分流算法将实时获取的图像数据信息分拨给所述Backbone网络单元和所述Mobileone网络单元进行特征的提取；PANet模块，与所述图像特征提取模块连接，用于接收图像特征数据信息和进行图像特征融合；预测模块，与所述PANet模块连接。本发明不仅在功能型无人车存储条件和算力条件有限的情况下，能利用主干网络优化方法，降低原算法模型的模型大小，模型参数量，和相关的算力，而且不降低感知算法的技术指标。

技术研发人员：熊迹,王科未,骆嫚
受保护的技术使用者：东风悦享科技有限公司
技术研发日：
技术公布日：2024/1/14