一种基于多尺度轻量化主干网络的特征提取方法

本发明涉及道路场景目标检测，特别涉及一种基于多尺度轻量化主干特征提取网络的目标检测方法。

背景技术：

1、道路场景目标检测是指在道路场景中，通过计算机视觉技术，识别并提取出各种交通标志、交通工具、行人等目标。该技术被广泛应用于智能交通、自动驾驶等领域。在进行道路场景目标检测时，需要对图像进行背景分析，即从图像中分离出背景和前景信息，以便更准确地对前景目标进行识别。

2、传统的目标检测方法应用于道路场景中，因其存在鲁棒性差，计算量大，实时性不高等问题没有被人们所使用。虽然目前流行的几种目标检测方法应用于道路场景中会得到比较不错的精度，但是对检测结果仔细分析研究发现，小尺度目标检测效果差，导致整体的检测精度没有办法继续提高。

3、另外在道路场景中存在着目标的尺度大小以及种类不一致的问题，例如汽车的尺度比较大而行人，自行车的尺度比较小。而且除了目标本身具有的尺度不同之外，当目标距离摄像头的距离不一样也会导致这个目标的尺度发生变化。所以在同一道路场景下，同一类目标距离摄像头的远近不一样，也会导致其尺度不一样同时特征也有较大的差异。这种尺度不一致的问题对目标检测方法的性能有着更高的挑战。而且通过观察摄像头采集的图片可以发现，在同一场景中，车辆类别的目标出现的频率很高，反观行人和其他类别的目标出现的频率要低很多。这种道路场景中目标类别数量不均衡的问题，也会影响到目标检测方法的精度。

技术实现思路

1、针对现有技术存在的上述问题，本发明的要解决的技术问题是：提升方法模型对多尺度特征的提取能力。

2、为解决上述技术问题，本发明采用如下技术方案：一种基于多尺度轻量化主干网络的特征提取方法，包括如下步骤：

3、s1：获取图片，并对图片进行预处理，经过预处理后的一张图片为一个训练样本；

4、s2：构建msl_backbone模型，所述msl_backbone采用yolov5的主干特征提取网络作为基础模型，将基于通道重组的轻量化逆瓶颈残差模块shuffle_res2net_s与yolov5主干特征提取网络中csp_bottleneck里的残差结构进行替换；

5、s3：将训练样本输入msl_backbone模型对其进行训练，待最优收敛后保存模型参数得最优msl_backbone；

6、s4：调用最优msl_backbone，输入待测数据得到结果并通过提取网络的最后一个特征图输出。

7、作为优选，s1中预处理是指：将图片resize截取为32×32，然后再进行随机翻转得到多张图片，再对多张图片进行tensor转换，将灰度范围从0-255变换到0-1，最后图片进行标准化(normalize)操作。

8、作为优选，所述s2中基于通道重组的轻量化逆瓶颈残差模块包括：

9、所述shuffle_res2net_s的输入特征图为x∈rc×h×w，x表示输入特征图，c为输入通道，h为特征图高度，w为特征图宽度；

10、经过卷积核大小为1×1的卷积进行通道上的升维改变，通道维度变成c′＝c×w/64×s，得到特征图为x′∈rc′×h×w，其中，x′表示经过卷积操作后得出的特征图,c′表示改变后的通道维度；

11、对x′在通道层面c′上进行分割，分割成通道大小相等的n个特征子图，用xi表示，其中i∈(1,2,3...n)，xi的空间大小与x′的大小一致，通道数ci是x′的1/n；

12、将最后一个分支不经过3×3分组卷积核过滤，其余3个分支都经过3×3分组卷积的过滤，第一个分支以后的每个分支的输入都包含前一个分支的输出；

13、在包含分组卷积的分支中，在输入特征子图经过分组卷积之后，对提取出的特征子图在通道维度进行重组；

14、将4个分支的输出在通道层面上进行拼接，采用卷积核大小为1×1的卷积，进行特征融合并降维，并采用跳跃连接与输入进行元素级相加；

15、

16、

17、其中gconv3(.)表示卷积核大小为3×3的分组卷积操作；shuffle表示通道重组操作；conv1×1表示卷积核大小为1×1的卷积操作；xi表示每个分支的输入；yi表示每个分支的输出；y表示模块最终的输出。

18、作为优选，所述通道重组操作具体包括：

19、将提取出的特征子图在通道维度ci上分成大小相等的g个组；

20、将g个组进行形状改变重塑成g行h列的矩阵，其中h＝ci/g；

21、在将得到的矩阵先进行转置(transpose)操作，再进行fallten操作平铺成一维。

22、相对于现有技术，本发明至少具有如下优点：

23、本发明以yolov5主干特征提取网络backbone为基础框架(baseline)对其进行改进，提出了一种基于通道重组的轻量化逆瓶颈残差结构shuffle_res2net_s，将其与yolov5主干网络进行融合，提出基于多尺度的轻量化主干特征提取网络msl_backbone。通过实验验证结果本发明方法提升了对多尺度特征的提取能力，与原先方法模型相比有着0.35％的精度提升。

技术特征：

1.一种基于多尺度轻量化主干网络的特征提取方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于多尺度轻量化主干网络的特征提取方法，其特征在于：s1中预处理是指：将图片resize截取为32×32，然后再进行随机翻转得到多张图片，再对多张图片进行tensor转换，将灰度范围从0-255变换到0-1，最后图片进行标准化(normalize)操作。

3.如权利要求2所述的基于多尺度轻量化主干网络的特征提取方法，其特征在于：所述s2中基于通道重组的轻量化逆瓶颈残差模块包括：

4.如权利要求3所述的所述的基于多尺度轻量化主干网络的特征提取方法，其特征在于：所述通道重组操作具体包括：

技术总结
本发明涉及一种基于多尺度轻量化主干网络的特征提取方法，包括如下步骤：获取图片，并对图片进行预处理，经过预处理后的一张图片为一个训练样本；构建MSL_backbone模型，将训练样本输入MSL_backbone对其进行训练，待最优收敛后保存模型参数得最优MSL_backbone；调用最优MSL_backbone，输入待测数据得到结果并通过提取网络的最后一个特征图输出。本发明方法提升了对多尺度特征的提取能力，与原先方法模型相比有着0.35％的精度提升。

技术研发人员：沈志熙,李俊北,张洪田,吴玥,金其坚
受保护的技术使用者：重庆大学
技术研发日：
技术公布日：2024/1/14