一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法

本发明涉及小目标检测与多目标跟踪，具体涉及一种基于改进yolov8的车辆跟踪与车牌识别联合检测方法。

背景技术：

1、随着机动车数量不断攀升，道路交通环境变得越来越错综复杂，交通安全问题也变得更加突出。因此智能交通系统应运而生，旨在缓解交通安全问题。而在实现交通智能化的过程中，准确地识别道路上的机动车是至关重要的任务之一。

2、过去，由于目标识别算法主要基于传统的机器学习算法，其准确性和性能受到一定限制。随着深度学习技术的发展和广泛应用，目标识别算法的准确性和性能得到了极大提高。目前现有的目标检测技术仍然存在着缺陷和不足：首先，目标检测器不适合小目标检测，当目标在画面中占比较小超过检测器的可检测尺寸时，漏检或误判的概率会。其次，目标检测器对光照、旋转和遮挡敏感，目标的光照变化、旋转或遮挡往往会导致检测器性能下降，目标检测的精度和速度对目标跟踪的影响巨大，在背景变化、光照变化和目标变形等情景下，目标检测精度下降进一步导致跟踪器失效。针对目标检测和目标跟踪技术仍有巨大的提升空间。

技术实现思路

1、本发明的目的在于提供一种基于改进yolov8的车辆跟踪与车牌识别联合检测方法，旨在通过轻量化网络提高车牌小目标识别准确率的同时集成多目标跟踪功能，提高易用性。

2、为实现上述目的，本发明提供了一种基于改进yolov8的车辆跟踪与车牌识别联合检测方法，包括下列步骤：

3、步骤1：传入同时具有车辆标记框和车牌标记框两种标签的图片数据集进行训练；

4、步骤2：使用改进的yolov8网络对所传入的车辆图像进行车辆与车牌两个目标的检测与定位，分别获得车辆检测结果和车牌检测结果；

5、步骤3：使用基于匈牙利算法的bot-sort跟踪算法对所述车辆检测结果进行计算处理，输出画面中每个车辆的边界框和id；

6、步骤4：将车牌检测结果中的车牌区域裁切下来输入lprnet网络进行车牌识别；

7、步骤5：通过计算车辆边界框与车牌边界框的交并比，将步骤3得到的车辆id与步骤4得到的车牌信息进行匹配。

8、可选的，所述图片数据集采用经过标注的中国城市车牌开源数据集ccpd，原始数据集中仅包含车牌标注信息，对部分数据集进行了重构，重新标注了数据集中车辆的标签信息，从而生成了车辆和车牌两种标签。

9、可选的，所述改进的yolov8网络中的改进具体为将原始yolov8模型backbone主干网络中标准卷积替换为dcn可变形卷积，同时在sppf层下增加mhsa多头注意力网络，以及增加尺寸大小为160x160的特征图用于检测4x4以上的小尺寸目标。

10、可选的，对所传入的车辆图像进行车辆与车牌两个目标的检测与定位的过程，包括下列步骤：

11、对传入的图像经过预处理后送入backbone主干网络进行处理，经过两层标准卷积进处理，经过两层标准卷积进行浅层特征提取得到特征图，随后送入c2f和dcn卷积层中做进一步的特征提取，最后特征图经过sppf层被转换为固定大小的特征向量送入mhsa进行注意力操作，在提高性能的同时时间复杂度降低；

12、通过pan-fpn网络对车辆进行多尺度特征融合预测，在backbone主干网络第2层增加160x160的特征输出，作为增加的小目标检测层，再过两个分支进行卷积操作后分别使用vfl计算分类损失，ciou计算回归损失，总体损失函数的公式如下：

13、l＝lvfl+lciou

14、其中lvfl表示vfl损失函数，lciou表示ciou损失，包括中心点距离、长宽比和重叠面积三项。

15、可选的，基于匈牙利算法的bot-sort跟踪算法对所述车辆检测结果进行计算处理的过程，包括下列步骤：

16、将步骤2中所提取的目标物体分配唯一的id，利用simamese网络对每个目标计算其特征向量以及目标物体的位置大小信息，随后利用特征向量对不同帧中的目标采用匈牙利算法进行匹配；

17、对匹配结果进行状态更新，利用kalman滤波器对每个目标的状态进行估计，并将跟踪器的位置、速度和加速度状态进行更新；

18、采用fastreid中sbs和resnest50作为backbone主干网络，同时使用指数移动平均方式更新策略配合进行目标重识别。

19、可选的，lprnet网络进行车牌识别的过程，包括下列步骤：

20、对步骤2中生成的车牌识别框进行裁切，将裁切后的车牌图片resize为94x24大小的图片送入backbone主干网络中进行处理；

21、backbone主干网络以rgb图像作为输入，与基于rnn的lstm不同的是lprnet的backbone主干网络采用核大小为1x13的宽卷积核用于提取局部字符上下文信息；

22、采用ctc损失方法进行训练，对输入x进行损失计算，公式如下：

23、

24、其中pt(at|x)表示后验概率，t＝1,…,t,表示时间变量，随后使用greedy search算法获得最终的预测结果，其原理为取每个时间片概率最高的节点作为输出，greedysearch算法公式为：

25、a*＝argmaxпt＝1tpt(at|x)。

26、可选的，交并比的计算公式如下：

27、

28、其中b1，b2分别表示车牌边界框和车辆目标框，阈值设置为0.7，当iou大于0.7则表示车牌与车辆id匹配。

29、本发明提供了一种基于改进yolov8的车辆跟踪与车牌识别联合检测方法，将车辆检测跟踪与车牌识别融合在一个统一的系统中，通过以下步骤实现联合检测，首先采用改进yolov8算法对车辆与车牌进行检测，再使用基于匈牙利算法的bot-sort跟踪算法进行车辆目标跟踪，同时使用lprnet进行车牌识别，通过使用了可变形卷积操作代替标准卷积，可根据图像改变感受野大小，同时添加了mhsa注意力网络，在保证轻量化的同时，大大提升了物体检测精度，同时本发明将车辆多目标跟踪和车牌识别集成在一个系统中，使用方便，容易部署在边缘设备中。

技术特征：

1.一种基于改进yolov8的车辆跟踪与车牌识别联合检测方法，其特征在于，包括下列步骤：

2.如权利要求1所述的基于改进yolov8的车辆跟踪与车牌识别联合检测方法，其特征在于，

3.如权利要求2所述的基于改进yolov8的车辆跟踪与车牌识别联合检测方法，其特征在于，

4.如权利要求3所述的基于改进yolov8的车辆跟踪与车牌识别联合检测方法，其特征在于，

5.如权利要求4所述的基于改进yolov8的车辆跟踪与车牌识别联合检测方法，其特征在于，

6.如权利要求5所述的基于改进yolov8的车辆跟踪与车牌识别联合检测方法，其特征在于，

7.如权利要求6所述的基于改进yolov8的车辆跟踪与车牌识别联合检测方法，其特征在于，

技术总结
本发明涉及小目标检测与多目标跟踪技术领域，具体涉及一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，将车辆检测跟踪与车牌识别融合在一个统一的系统中，通过以下步骤实现联合检测，首先采用改进YOLOv8算法对车辆与车牌进行检测，再使用基于匈牙利算法的BOT‑SORT跟踪算法进行车辆目标跟踪，同时使用LPRNet进行车牌识别，通过使用了可变形卷积操作代替标准卷积，可根据图像改变感受野大小，同时添加了MHSA注意力网络，在保证轻量化的同时，大大提升了物体检测精度，同时本发明将车辆多目标跟踪和车牌识别集成在一个系统中，使用方便，容易部署在边缘设备中。

技术研发人员：蓝如师,魏陈浩,杨睿,罗笑南
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/1/15