一种道路遗撒物体的检测方法、装置、电子设备及存储介质与流程

本技术涉及检测，具体而言，涉及一种道路遗撒物体的检测方法、装置、电子设备及存储介质。

背景技术：

1、高速公路等道路的遗撒检测是智能交通系统中的重要研究任务，在道路安全管理、智能交通控制等应用中起着关键角色。随着智能化技术的发展，道路遗撒物检测成为了当前最活跃的研究主题之一。然而，由于遗撒物的种类繁多，形态各异，且路面环境复杂，常常有训练数据分布以外的遗散物出现，导致现有的遗撒物检测方法识别精度并不令人满意。因此，提高分布外遗撒物检测的精度成为了重要的研究课题。

2、遗撒物检测通过识别道路图像中的异常物体，识别出可能的遗撒物，现有技术中通常采用目标检测算法，以便找到与道路环境不匹配的物体。将已有道路遗撒物的图像信息输入到遗撒物检测识别器中，该遗撒物检测识别器是以监督学习的形式训练的，在训练过程需要大量标注的遗撒物图像，而对于未知类别的遗散物则难以检测，如何能够准确检测到分布外的遗散物是目前急需解决的问题。

技术实现思路

1、本技术的一些实施例的目的在于提供一种道路遗撒物体的检测方法、装置、电子设备及存储介质，通过本技术的实施例的技术方案，通过获取待识别图像；对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息，根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物，本技术实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测待识别图像中道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。

2、第一方面，本技术的一些实施例提供了一种道路遗撒物体的检测方法，包括：

3、获取待识别图像；

4、对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；

5、根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；

6、根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物。

7、本技术的一些实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地待识别图像中检测道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。

8、可选地，所述对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，包括：

9、将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一特征图；

10、对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；

11、对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；

12、将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；

13、若所述第一物体锚框和真实物体框的交并比大于第一预设值，则将所述第一物体锚框确定为第一锚框；

14、根据第一锚框的目标概率，对所述第一锚框进行排序；

15、若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；

16、通过输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。

17、可选地，所述根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，包括：

18、将所述目标物体的候选特征图转换成二维向量，输入到所述第二分类分支子模型，得到目标物体的分类得分；

19、根据所述分类得分，确定所述目标物体的类别；

20、根据所述目标物体的候选特征图和所述第二边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三锚框；

21、根据第三锚框的分类得分概率，对所述第三锚框进行排序，将分类得分概率最大的第三锚框确定为第四锚框；

22、对于其余第三锚框，依照分类得分概率降序排列，若所述第三锚框和所有第四锚框的交并比小于第四预设值，则将所述第三锚框确定为第四锚框；

23、根据得到的所述第四锚框与对应的目标物体分类得分，确定所述待识别图像对应的遗散物的类别与位置信息。

24、可选地，所述特征提取主干网络至少包括卷积神经网络模型或视觉自注意力模型中一种。

25、本技术的一些实施例通过训练特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。

26、可选地，所述根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物，包括：

27、获取预先存储的遗散物分类模型中的已知物体的第一特征图均值和第一协方差矩阵；

28、根据目标物体的第二特征图均值和第二协方差矩阵，以及所述第一特征图均值和所述第一协方差矩阵，计算马氏距离；

29、根据所述目标物体的候选特征图与所述马氏距离中的最小马氏距离的平方值，计算分布外距离分数；

30、若所述分布外距离分数大于预设距离置信度，则将与所述分布外距离分数对应的目标物体，确定为分布外遗散物。

31、本技术的一些实施例，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算目标物体与已知类别的隐空间向量距离，若目标物体与已知类别遗散物的最小距离大于距离置信度，则表示该目标物体为分布外的遗散物。

32、可选地，所述候选框提取模型通过如下方式获得：

33、获取样本训练数据；

34、将所述训练数据图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一样本特征图；

35、对所述第一样本特征图进行卷积下采样，得到第二样本特征图，并对所述第二样本特征图进行拼接，得到样本拼接融合的尺度特征；

36、对所述样本拼接融合的尺度特征进行卷积下采样，得到第三样本特征图；

37、将所述第三样本特征图输入到候选框提取模型，得到第一样本物体锚框；

38、若所述第一样本物体锚框和真实物体框的交并比大于第三预设值，则将所述物体锚框确定为第一样本锚框；

39、根据第一样本锚框的目标概率，对所述第一样本锚框进行排序；

40、若所述第一样本锚框的目标概率大于第四预设值，则将大于第四预设值的第一样本锚框确定为第二样本锚框；

41、将非第一样本锚框的物体锚框对应的特征图转换成二维向量，输入到第一分类分支子模型，得到目标物体的样本分类得分；

42、根据所述样本分类得分，确定所述样本训练数据中的物体的前景或背景类别；

43、计算第一初始分类分支子模型的损失函数值；

44、若所述第一分类分支子模型的损失函数值小于第五预设值，则将所述第一初始分类分支子模型确定为所述候选框提取模型的第一分类分支子模型；

45、根据所述第一样本锚框和真实物体框，确定第一样本锚框和真实框的偏移量；

46、计算所述第一初始边界框回归分支子模型的损失函数值；

47、若所述候选框提取模型的第一初始边界框回归分支子模型的损失函数值小于第六预设值，则将第一初始边界框回归分支子模型确定为所述第一边界框回归分支子模型；

48、根据所述第一分类分支子模型和所述第一边界框回归分支子模型，确定所述候选框提取模型。

49、本技术的一些实施例，结合分类分支、边界框回归分支的预测结果，得到目标物体的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物。

50、可选地，所述检测模型通过如下方式获得：

51、根据所述样本训练数据，通过预先训练的候选框提取模型，确定与所述样本训练数据对应的物体的候选特征图；

52、将所述候选特征图转换成二维向量，输入到第二初始分类分支子模型，得到目标物体的分类得分；

53、根据所述分类得分，确定所述样本训练数据中的物体的类别；

54、计算所述第二初始分类分支子模型的损失函数值；

55、若所述第二初始分类分支子模型的损失函数值小于第七预设值，则将所述第二初始分类分支子模型确定为所述第二分类分支子模型；

56、根据所述候选特征图和第二初始边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三样本锚框；

57、根据第三样本锚框与真实框，计算所述第二初始边界框回归分支子模型的损失函数值；

58、若所述第二初始边界框回归分支子模型的损失函数值小于第八预设值，则将所述第二初始边界框回归分支子模型确定为所述第二边界框回归分支子模型；

59、根据所述第二分类分支子模型和所述第二边界框回归分支子模型，确定所述检测模型。

60、第二方面，本技术的一些实施例提供了一种道路遗撒物体的检测装置，包括：

61、获取模块，用于获取待识别图像；

62、解析模块，用于对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；

63、检测模块，用于根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；

64、确定模块，用于根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物。

65、本技术的一些实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测待识别图像中道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。

66、可选地，所述解析模块，用于：

67、将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中， 得到第一特征图；

68、对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；

69、对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；

70、将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；

71、若所述第一物体锚框和真实物体框的交并比大于预设值，则将所述第一物体锚框确定为第一锚框；

72、根据第一锚框的目标概率，对所述第一锚框进行排序；

73、若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；

74、根据输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。

75、可选地，所述特征提取主干网络至少包括卷积神经网络模型或视觉自注意力模型中一种。

76、本技术的一些实施例通过训练特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。

77、可选地，所述检测模块用于：

78、将所述目标物体的候选特征图转换成二维向量，输入到所述第二分类分支子模型，得到目标物体的分类得分；

79、根据所述分类得分，确定所述目标物体的类别；

80、根据所述目标物体的候选特征图和所述第二边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三锚框；

81、根据第三锚框的分类得分概率，对所述第三锚框进行排序，将分类得分概率最大的第三锚框确定为第四锚框；

82、对于其余第三锚框，依照分类得分概率降序排列，若所述第三锚框和所有第四锚框的交并比小于第四预设值，则将所述第三锚框确定为第四锚框；

83、根据得到的所述第四锚框与对应的目标物体分类得分，确定所述待识别图像对应的遗散物的类别与位置信息。

84、可选地，所述确定模块用于：

85、获取预先存储的遗散物分类模型中的已知物体的第一特征图均值和第一协方差矩阵；

86、根据目标物体的第二特征图均值和第二协方差矩阵，以及所述第一特征图均值和所述第一协方差矩阵，计算马氏距离；

87、根据所述目标物体的候选特征图与所述马氏距离中的最小马氏距离的平方值，计算分布外距离分数；

88、若所述分布外距离分数大于预设距离置信度，则将与所述分布外距离分数对应的目标物体，确定为分布外遗散物。

89、本技术的一些实施例，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算目标物体与已知类别的隐空间向量距离，若目标物体与已知类别遗散物的最小距离大于距离置信度，则表示该目标物体为分布外的遗散物。

90、可选地， 所述装置还包括训练模块，所述训练模块用于：

91、获取样本训练数据；

92、将所述训练数据图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一样本特征图；

93、对所述第一样本特征图进行卷积下采样，得到第二样本特征图，并对所述第二样本特征图进行拼接，得到样本拼接融合的尺度特征；

94、对所述样本拼接融合的尺度特征进行卷积下采样，得到第三样本特征图；

95、将所述第三样本特征图输入到候选框提取模型，得到第一样本物体锚框；

96、若所述第一样本物体锚框和真实物体框的交并比大于第三预设值，则将所述物体锚框确定为第一样本锚框；

97、根据第一样本锚框的目标概率，对所述第一样本锚框进行排序；

98、若所述第一样本锚框的目标概率大于第四预设值，则将大于第四预设值的第一样本锚框确定为第二样本锚框；

99、将非第一样本锚框的物体锚框对应的特征图转换成二维向量，输入到第一分类分支子模型，得到目标物体的样本分类得分；

100、根据所述样本分类得分，确定所述样本训练数据中的物体的前景或背景类别；

101、计算第一初始分类分支子模型的损失函数值；

102、若所述第一分类分支子模型的损失函数值小于第五预设值，则将所述第一初始分类分支子模型确定为所述候选框提取模型的第一分类分支子模型；

103、根据所述第一样本锚框和真实物体框，确定第一样本锚框和真实框的偏移量；

104、计算所述第一初始边界框回归分支子模型的损失函数值；

105、若所述候选框提取模型的第一初始边界框回归分支子模型的损失函数值小于第六预设值，则将第一初始边界框回归分支子模型确定为所述第一边界框回归分支子模型；

106、根据所述第一分类分支子模型和所述第一边界框回归分支子模型，确定所述候选框提取模型。

107、本技术的一些实施例，结合分类分支、边界框回归分支的预测结果，得到目标物体的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物 。

108、可选地，所述训练模块用于：

109、根据所述样本训练数据，通过预先训练的候选框提取模型，确定与所述样本训练数据对应的物体的候选特征图；

110、将所述候选特征图转换成二维向量，输入到第二初始分类分支子模型，得到目标物体的分类得分；

111、根据所述分类得分，确定所述样本训练数据中的物体的类别；

112、计算所述第二初始分类分支子模型的损失函数值；

113、若所述第二初始分类分支子模型的损失函数值小于第七预设值，则将所述第二初始分类分支子模型确定为所述第二分类分支子模型；

114、根据所述候选特征图和第二初始边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三样本锚框；

115、根据第三样本锚框与真实框，计算所述第二初始边界框回归分支子模型的损失函数值；

116、若所述第二初始边界框回归分支子模型的损失函数值小于第八预设值，则将所述第二初始边界框回归分支子模型确定为所述第二边界框回归分支子模型；

117、根据所述第二分类分支子模型和所述第二边界框回归分支子模型，确定所述检测模型。

118、第三方面，本技术的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的道路遗撒物体的检测方法。

119、第四方面，本技术的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的道路遗撒物体的检测方法。

120、第五方面，本技术的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的道路遗撒物体的检测方法。