一种面向边缘设备的车辆目标检测优化方法及装置与流程

本发明属于车辆目标检测，特别是涉及一种面向边缘设备的车辆目标检测优化方法及装置。

背景技术：

1、随着深度学习的快速发展，目标检测模型的计算量和参数量也开始增加。虽然大体积的检测模型有着更好的效果，但是在低算力设备上这些模型推理时间过长，很难在实际场景中进行部署和应用。目前大部分采用如网络结构轻量化、模型剪枝、知识蒸馏、权重量化等轻量化方法将模型体积进行压缩，这些方法可以降低模型的计算复杂度和参数量，但会降低检测的精度，因此如何在不降低检测精度的同时保证算法在低算力设备上的检测速度是亟须解决的关键问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种面向边缘设备的车辆目标检测优化方法及装置。

2、本发明的目的是通过以下技术方案来实现的：

3、本发明的第一方面提供了一种面向边缘设备的车辆目标检测优化方法，包括：

4、获取目标检测模型在历史帧中检测到目标时输出的第一信息，第一信息包括目标的左上角位置、目标的宽高以及历史帧，历史帧为输入目标检测模型的视频流中被目标检测模型检测的图像帧；

5、根据第一信息生成目标模板；

6、基于目标的大小确定所述历史帧对应的各当前帧中的搜索区域，当前帧为目标检测模型对历史帧进行检测期间视频流播放的图像帧；

7、根据设定的尺度因子缩放目标模板；

8、利用缩放后的目标模板在搜索区域进行目标匹配，得到匹配结果；

9、根据匹配结果确定最优的尺度因子；

10、判断最优的尺度因子对应的匹配结果是否有效，并在匹配结果有效时计算匹配结果与目标模板的结构相似度；

11、在结构相似度大于第一阈值时输出匹配结果。

12、进一步地，基于目标的大小确定所述历史帧对应的各当前帧中的搜索区域，包括：

13、基于目标的宽高，以目标模板为中心，将目标框放大预设倍数作为当前帧的搜索区域。

14、进一步地，根据设定的尺度因子缩放目标模板，包括：

15、根据设定的多个尺度因子，将目标模板通过双线性插值法缩放为多个不同尺度。

16、进一步地，利用缩放后的目标模板在搜索区域进行目标匹配，得到匹配结果，包括：

17、确定下采样的次数；

18、在下采样的次数为0时将目标模板与搜索区域进行目标匹配，得到最终的匹配结果；

19、在下采样的次数不为0时，将目标模板和搜索区域进行相应次数的下采样；

20、在完成下采样后将目标模板和搜索区域进行目标匹配，得到第一匹配结果；

21、基于第一匹配结果提取目标的roi区域；

22、将目标模板与roi区域进行模板匹配，得到最终的匹配结果。

23、进一步地，根据匹配结果确定最优的尺度因子，包括：

24、基于匹配结果，利用权重数据融合和投票法得到最优的尺度因子。

25、进一步地，判断最优的尺度因子对应的匹配结果是否有效，包括：

26、将所述最优的尺度因子的得分与第二阈值进行比较，若最优的尺度因子的得分小于第二阈值，则最优的尺度因子对应的匹配结果有效，否则最优的尺度因子对应的匹配结果无效。

27、进一步地，根据匹配结果确定最优的尺度因子，包括：

28、根据不同尺度因子下的匹配结果，得到在搜索区域内匹配相似度最高的尺度因子，将该尺度因子确定为最优的尺度因子。

29、进一步地，计算匹配结果与目标模板的结构相似度，包括：

30、对匹配结果进行二值化处理，得到二值图像；

31、利用形态学开运算填充二值图像中的黑色区域；

32、确定面积最大、距离目标中心点最近的目标轮廓；

33、确定目标轮廓的最小外接矩形；

34、将最小外接矩形进与目标模板中对应区域进行结构相似度度量，得到匹配结果与目标模板的结构相似度。

35、进一步地，所述车辆目标检测优化方法还包括：

36、对搜索区域和目标模板进行预处理，通过将像素值归一化到0到1。

37、本发明的第二方面提供了一种面向边缘设备的车辆目标检测优化装置，包括：

38、信息获取模块，用于获取目标检测模型在历史帧中检测到目标时输出的第一信息，第一信息包括目标的左上角位置、目标的宽高以及历史帧，历史帧为输入目标检测模型的视频流中被目标检测模型检测的图像帧；

39、目标生成模块，用于根据第一信息生成目标模板；

40、搜索区域确定模块，用于基于目标的大小确定所述历史帧对应的各当前帧中的搜索区域，当前帧为目标检测模型对历史帧进行检测期间视频流播放的图像帧；

41、模板缩放模块，用于根据设定的尺度因子缩放目标模板；

42、目标匹配模块，用于利用缩放后的目标模板在搜索区域进行目标匹配，得到匹配结果；

43、尺度确定模块，用于确定最优的尺度因子；

44、第一判断模块，用于判断最优的尺度因子对应的匹配结果是否有效，并在匹配结果有效时计算匹配结果与目标模板的结构相似度；

45、结果输出模块，用于在结构相似度大于第一阈值时输出匹配结果。

46、本发明的有益效果是：

47、（1）本发明通过传统的检测算法与yolov5目标检测算法相结合，同时具有准确率高和速度快的优点，易于在低算力设备上进行部署和应用；

48、（2）本发明根据车辆目标大小设定了不同的阈值，从而适配不同的模板匹配方法，可以保证算法无论目标大小，匹配的耗时基本一致，提高了算法的稳定性，并且在目标过小的情况下也能提高检测准确性；

49、（3）本发明采用多尺度模板匹配和投票法确定尺度的方式来避免车辆速度过快导致目标在时间窗口中出现大小不一致的问题；

50、（4）本发明在得到最优的匹配结果后通过目标提取算法来优化检测结果，可以有效解决ai检测目标框过大导致置信度低的问题；其中目标提取算法是通过对目标框的图像进行边缘检测，再对轮廓进行提取，提取离中心点最近的轮廓，并对轮廓面积进行判断，若面积变化程度超过20%，则输出原始图像，否则输出目标轮廓图像。

技术特征：

1.一种面向边缘设备的车辆目标检测优化方法，其特征在于，包括：

2.根据权利要求1所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，基于目标的大小确定所述历史帧对应的各当前帧中的搜索区域，包括：

3.根据权利要求1所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，根据设定的尺度因子缩放目标模板，包括：

4.根据权利要求1所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，利用缩放后的目标模板在搜索区域进行目标匹配，得到匹配结果，包括：

5.根据权利要求1所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，根据匹配结果确定最优的尺度因子，包括：

6.根据权利要求5所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，判断最优的尺度因子对应的匹配结果是否有效，包括：

7.根据权利要求1所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，根据匹配结果确定最优的尺度因子，包括：

8.根据权利要求1所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，计算匹配结果与目标模板的结构相似度，包括：

9.根据权利要求1所述的一种面向边缘设备的车辆目标检测优化方法，其特征在于，所述车辆目标检测优化方法还包括：

10.一种面向边缘设备的车辆目标检测优化装置，其特征在于，包括：

技术总结
本发明公开了一种面向边缘设备的车辆目标检测优化方法及装置，属于车辆目标检测技术领域。所述方法包括：获取目标检测模型在历史帧中检测到目标时输出的第一信息，第一信息包括目标的左上角位置、目标的宽高以及历史帧；根据第一信息生成目标模板；基于目标的大小确定所述历史帧对应的各当前帧中的搜索区域；根据设定的尺度因子缩放目标模板；利用缩放后的目标模板在搜索区域进行目标匹配，得到匹配结果；确定最优的尺度因子；判断最优的尺度因子对应的匹配结果是否有效，并在匹配结果有效时计算匹配结果与目标模板的结构相似度；在结构相似度大于第一阈值时输出匹配结果。本发明具有准确率高和速度快的优点。

技术研发人员：肖枭,陈益,李毅捷,陈春,夏添,李东晨,罗瀚森,李非桃,高升久,冉欢欢,李和伦,褚俊波,王丹,董平凯,陈未东,杨伟,何建
受保护的技术使用者：四川迪晟新达类脑智能技术有限公司
技术研发日：
技术公布日：2024/1/15