一种标志牌识别方法、装置、计算机设备及存储介质与流程

1.本公开涉及计算机技术领域，具体而言，涉及一种标志牌识别方法、装置、计算机设备及存储介质。


背景技术：

2.交通标志牌作为一种重要的道路基础设施，其检测和识别是道路公共数字资产中的重要组成部分，也是自动驾驶技术和高精度地图制作等高精尖技术的重要组成部分。
3.相关技术中，在识别交通标志牌时，往往是将包含待检测图像输入至预先训练好的卷积神经网络中，从而得到卷积神经网络输出的标志牌识别结果，但当待检测图像中的标志牌存在被遮挡的情况时，使用卷积神经网络可能会存在漏检的情况，因此如何减少交通标志牌的漏检成为了本领域内亟待解决的问题。


技术实现要素：

4.本公开实施例至少提供一种标志牌识别方法、装置、计算机设备及存储介质。
5.第一方面，本公开实施例提供了一种标志牌识别方法，包括：
6.获取待检测图像，并将所述待检测图像输入至预先训练好的目标神经网络中，确定所述待检测图像对应的初始特征图；
7.基于所述初始特征图确定所述待检测图像对应的第一初始检测结果、第二初始检测结果以及深度检测结果；其中，所述第一初始检测结果用于表征所述待检测图像的各检测区域内是否包含标志牌，所述第二初始检测结果用于表征所述待检测图像中标志牌的中心位置，所述深度检测结果用于表征所述待检测图像中各像素点对应的深度信息；
8.基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域；
9.基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，并基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。
10.一种可能的实施方式中，所述基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域，包括：
11.基于所述第一初始检测结果，确定所述待检测图像中标志牌对应的第一检测区域；以及，基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域；
12.基于所述第一检测区域和所述第二检测区域确定所述待确认区域。
13.一种可能的实施方式中，所述基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，包括：
14.确定所述初始特征图中与所述待确认区域对应的第一目标特征点；
15.基于所述目标深度信息，对所述第一目标特征点的目标通道上的取值进行调整。
16.一种可能的实施方式中，所述第二初始检测结果通过所述目标神经网络的中心点
识别模块确定；
17.所述基于调整后的目标特征图确定所述待检测图像对应的目标检测结果，包括：
18.将所述目标特征图输入至所述中心点识别模块，确定所述目标检测结果。
19.一种可能的实施方式中，所述第二初始检测结果包括第一特征图和第二特征图，其中，所述第一特征图的各第一特征点的取值用于表征，该第一特征点在所述待检测图像中对应的检测区域包含各个类别的标志牌的中心点的概率；所述第二特征图的各第二特征点的取值用于表征，各第二特征点对应的目标像素点作为各个类别的标志牌的中心点的坐标偏移信息，以及各个类别的标志牌的尺寸信息。
20.一种可能的实施方式中，所述基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域，包括：
21.基于所述第一特征图的各第一特征点的取值和预设概率阈值，确定第二目标特征点；
22.基于所述第二特征图中与所述第二目标特征点对应的第三目标特征点的取值、所述第二目标特征点在所述第一特征图中的位置坐标，确定所述第二检测区域。
23.一种可能的实施方式中，所述目标神经网络包括特征提取模块、区域识别模块、中心点识别模块以及深度识别模块，所述特征提取模块用于确定所述初始特征图，所述区域识别模块用于确定所述第一初始检测结果，所述中心点识别模块用于确定所述第二初始检测结果，所述深度识别模块用于确定所述深度检测结果；
24.所述方法还包括根据以下步骤训练所述目标神经网络：
25.获取样本图像和所述样本图像对应的样本标签，其中，所述样本标签用于表征所述样本图像中标志牌的位置、类别以及所述样本图像的样本深度信息；
26.基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练，在所述特征提取模块与任一模块训练完成之后，将训练后的特征提取模块再与另一待训练模块一起训练；
27.对训练后的所述特征提取模块、区域识别模块、中心点识别模块以及深度识别模块进行微调处理，得到所述目标神经网络。
28.一种可能的实施方式中，所述基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练，包括：
29.基于所述样本标签中用于表征所述样本图像中标志牌的位置的检测框，对所述特征提取模块和所述区域识别模块进行训练；
30.基于所述样本标签中的检测框和标志牌的类别，对所述特征提取模块和中心点识别模块进行训练；
31.基于所述样本标签中的样本深度信息，对所述特征提取模块和深度识别模块进行训练。
32.第二方面，本公开实施例还提供一种标志牌识别装置，包括：
33.获取模块，用于获取待检测图像，并将所述待检测图像输入至预先训练好的目标神经网络中，确定所述待检测图像对应的初始特征图；
34.第一确定模块，用于基于所述初始特征图确定所述待检测图像对应的第一初始检测结果、第二初始检测结果以及深度检测结果；其中，所述第一初始检测结果用于表征所述
待检测图像的各检测区域内是否包含标志牌，所述第二初始检测结果用于表征所述待检测图像中标志牌的中心位置，所述深度检测结果用于表征所述待检测图像中各像素点对应的深度信息；
35.第二确定模块，用于基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域；
36.调整模块，用于基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，并基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。
37.一种可能的实施方式中，所述第二确定模块，在基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域时，用于：
38.基于所述第一初始检测结果，确定所述待检测图像中标志牌对应的第一检测区域；以及，基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域；
39.基于所述第一检测区域和所述第二检测区域确定所述待确认区域。
40.一种可能的实施方式中，所述调整模块，在基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整时，用于：
41.确定所述初始特征图中与所述待确认区域对应的第一目标特征点；
42.基于所述目标深度信息，对所述第一目标特征点的目标通道上的取值进行调整。
43.一种可能的实施方式中，所述第二初始检测结果通过所述目标神经网络的中心点识别模块确定；
44.所述调整模块，在基于调整后的目标特征图确定所述待检测图像对应的目标检测结果时，用于：
45.将所述目标特征图输入至所述中心点识别模块，确定所述目标检测结果。
46.一种可能的实施方式中，所述第二初始检测结果包括第一特征图和第二特征图，其中，所述第一特征图的各第一特征点的取值用于表征，该第一特征点在所述待检测图像中对应的检测区域包含各个类别的标志牌的中心点的概率；所述第二特征图的各第二特征点的取值用于表征，各第二特征点对应的目标像素点作为各个类别的标志牌的中心点的坐标偏移信息，以及各个类别的标志牌的尺寸信息。
47.一种可能的实施方式中，所述第二确定模块，在基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域时，用于：
48.基于所述第一特征图的各第一特征点的取值和预设概率阈值，确定第二目标特征点；
49.基于所述第二特征图中与所述第二目标特征点对应的第三目标特征点的取值、所述第二目标特征点在所述第一特征图中的位置坐标，确定所述第二检测区域。
50.一种可能的实施方式中，所述目标神经网络包括特征提取模块、区域识别模块、中心点识别模块以及深度识别模块，所述特征提取模块用于确定所述初始特征图，所述区域识别模块用于确定所述第一初始检测结果，所述中心点识别模块用于确定所述第二初始检测结果，所述深度识别模块用于确定所述深度检测结果；
51.所述获取模块还用于根据以下步骤训练所述目标神经网络：
52.获取样本图像和所述样本图像对应的样本标签，其中，所述样本标签用于表征所述样本图像中标志牌的位置、类别以及所述样本图像的样本深度信息；
53.基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练，在所述特征提取模块与任一模块训练完成之后，将训练后的特征提取模块再与另一待训练模块一起训练；
54.对训练后的所述特征提取模块、区域识别模块、中心点识别模块以及深度识别模块进行微调处理，得到所述目标神经网络。
55.一种可能的实施方式中，所述获取模块，在基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练时，用于：
56.基于所述样本标签中用于表征所述样本图像中标志牌的位置的检测框，对所述特征提取模块和所述区域识别模块进行训练；
57.基于所述样本标签中的检测框和标志牌的类别，对所述特征提取模块和中心点识别模块进行训练；
58.基于所述样本标签中的样本深度信息，对所述特征提取模块和深度识别模块进行训练。
59.第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
60.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
61.本公开实施例提供的标志牌识别方法、装置、计算机设备及存储介质，可以基于不同识别维度下识别出的待检测图像的第一初始检测结果和第二初始检测结果，确定出待检测图像中可能存在标志牌的待确认区域；然后基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述待检测图像对应的初始特征图进行调整，再基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。这样，调整后的目标特征图中包含待确认区域的深度信息，可以提升对于待确认区域的检测效果，减少因为遮挡造成的漏检的情况；另一方面，通过第一初始检测结果和第二检测结果确定待确认区域，再基于待确认区域的目标深度信息对初始特征图进行调整，相比较基于整个图像的深度信息调整初始特征图而言，减少了计算量，提高了检测效率。
62.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
63.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图
digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该标志牌识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
74.参见图1所示，为本公开实施例提供的标志牌识别方法的流程图，所述方法包括s101～s104，其中：
75.s101：获取待检测图像，并将所述待检测图像输入至预先训练好的目标神经网络中，确定所述待检测图像对应的初始特征图。
76.s102：基于所述初始特征图确定所述待检测图像对应的第一初始检测结果、第二初始检测结果以及深度检测结果；其中，所述第一初始检测结果用于表征所述待检测图像的各检测区域内是否包含标志牌，所述第二初始检测结果用于表征所述待检测图像中标志牌的中心位置，所述深度检测结果用于表征所述待检测图像中各像素点对应的深度信息。
77.s103：基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域。
78.s104：基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，并基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。
79.以下是对上述步骤的详细介绍。
80.针对s101，所述待检测图像可以是部署在行驶装置上的图像采集装置采集的；所述目标神经网络可以包括特征提取模块、区域识别模块、中心点识别模块以及深度识别模块，所述特征提取模块用于确定所述初始特征图，所述区域识别模块用于图确定所述第一初始检测结果，所述中心点识别模块用于确定所述第二初始检测结果，所述深度识别模块确定所述深度检测结果。
81.示例性的，所述目标神经网络的网络结构示意图可以如图2所示，图2中，待检测图像输入至目标神经网络后，由所述目标神经网络的特征提取模块进行特征提取，得到所述待检测图像对应的初始特征图；所述目标神经网络中的区域识别模块根据所述初始特征图，确定所述第一初始检测结果；所述目标神经网络中的中心点识别模块根据所述初始特征图，确定所述第二初始检测结果；所述目标神经网络中的深度识别模块根据所述初始特征图，确定所述深度检测结果。
82.其中，所述特征提取模块可以由骨干网络backbone模块和高维特征提取网络neck模块组成，所述backbone模块例如可以是残差网络resnet，所述残差网络中可以包含多个网络模块，所述网络模块可以由卷积层、批归一化层以及激活层构成，所述残差网络的输出可以由各网络模块的输出组合后构成；所述neck模块例如可以是特征金字塔网络(feature pyramid network，fpn)等能够进行高维特征提取的网络。
83.示例性的，以backbone包含网络模块1、网络模块2、网络模块3、网络模块4为例，所述网络模块1的输出为第一输出，所述网络模块2的输出为第二输出，所述网络模块3的输出为第三输出，所述网络模块4的输出为第四输出，对所述第四输出进行反卷积处理得到第五输出，对所述第五输出进行反卷积处理得到第六输出，对所述第六输出进行反卷积处理得到第七输出，对所述第四输出进行八倍上采样处理得到第八输出，将所述第三输出和所述第五输出串联叠加后进行四倍上采样处理得到第九输出，将所述第二输出和所述第六输出
串联叠加后进行上二倍采样处理得到第十输出，将所述第一输出、所述第七输出、所述第八输出、所述第九输出、所述第十输出串联叠加后输入至卷积核尺寸为1
×
1的卷积层，得到降低通道数后的特征图。
84.s102：基于所述初始特征图确定所述待检测图像对应的第一初始检测结果、第二初始检测结果以及深度检测结果；其中，所述第一初始检测结果用于表征所述待检测图像的各检测区域内是否包含标志牌，所述第二初始检测结果用于表征所述待检测图像中标志牌的中心位置，所述深度检测结果用于表征所述待检测图像中各像素点对应的深度信息。
85.这里，所述第一初始检测结果可以包括第三特征图，所述第三特征图中各特征点的取值用于表征，该特征点在所述待检测图像中对应的检测区域内是否包含标志牌；所述第二初始检测结果可以包括第一特征图和第二特征图，其中，所述第一特征图的各第一特征点的取值用于表征，该第一特征点在所述待检测图像中对应的检测区域包含各个类别的标志牌的中心点的概率；所述第二特征图的各第二特征点的取值用于表征，各第二特征点对应的目标像素点作为各个类别的标志牌的中心点的坐标偏移信息，以及各个类别的标志牌的尺寸信息；所述深度检测结果中的深度信息表示对应位置处的物体距离图像采集装置的距离，比如像素点a对应的深度信息为5，则可以表示像素点a对应的物体距离图像采集装置的距离为5m。
86.具体的，所述目标神经网络中的区域识别模块可以由三层卷积层和两层全连接层构成，所述区域识别模块可以根据所述初始特征图确定所述第一初始检测结果；所述目标神经网络中的中心点识别模块可以包括第一分支和第二分支，其中，所述第一分支可以由三个卷积层构成，所述第一分支可以根据所述初始特征图确定所述第一特征图，所述第二分支可以由三个卷积层构成，所述第二分支可以根据所述初始特征图确定所述第二特征图；所述深度识别模块可以由transformer模型的解码器网络和多个卷积层构成，所述深度识别模块可以根据所述初始特征图确定第四特征图，所述第四特征图中各特征点对应的取值用于表征，该特征点在所述待检测图像中对应的检测区域内各像素点到图像采集装置光心的深度值。
87.需要说明的是，所述待检测图像对应的第一初始检测结果、第二初始检测结果以及深度检测结果可以是区域识别模块、中心点识别模块以及深度识别模块并行处理后同时得到的，也即所述区域识别模块、所述中心点识别模块以及所述深度识别模块可以同时对所述初始特征图进行处理；或者，所述区域识别模块、所述中心点识别模块以及所述深度识别模块也可以按照预设的处理顺序对所述初始特征图进行处理，所述预设的处理顺序例如可以是依次使用所述区域识别模块、所述中心点识别模块以及所述深度识别模块对所述初始特征图进行处理，以减轻终端设备的实时处理压力。
88.s103：基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域。
89.这里，所述待确认区域表示所述待检测图像中可能存在标志牌的区域。
90.具体的，所述第一初始检测结果和所述第二初始检测结果是通过不同的检测方法确定的，所述区域识别模块用于确定各检测区域内是否存在标志牌上的像素点，因此在标志牌被部分遮挡但漏出一部分标志牌区域的情况下，所述区域识别模块确定的第一初始检测结果中，可能会包含这些被部分遮挡但漏出一部分区域的标志牌，但由于只是识别到了
一部分的像素点，因此这部分的像素点也并不一定是属于标志牌的像素点，因此第一初始识别结果中可能会出现多检的情况；所述中心点识别模块用于确定各检测区域内是否存在标志牌的中心点，因此在标志牌被部分遮挡(中心点被遮挡)的情况下，由于中心点被遮挡难以进行识别，所述中心点识别模块确定的第一初始检测结果中可能会出现漏检的情况，因此可以结合不同方法确定的可能包含标志牌的区域，确定出所述待确认区域，并对所述待确认区域中是否包含标志牌进行再次确认，从而减少多检和漏检等检测异常情况。
91.一种可能的实施方式中，在确定所述待检测图像中的待确认区域时，可以通过下述步骤a1～a2：
92.a1：基于所述第一初始检测结果，确定所述待检测图像中标志牌对应的第一检测区域；以及，基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域。
93.这里，所述第一检测区域用于表示基于所述第一初始检测结果确定的，所述待检测图像中可能存在标志牌的区域；所述第二检测区域表示基于所述第二初始检测结果确定的，所述待检测图像中可能存在标志牌的区域；
94.具体的，在基于所述第一初始检测结果，确定所述待检测图像中标志牌对应的第一检测区域时，可以根据所述第三特征图中的取值表征对应的检测区域内包含标志牌的特征点，确定出所述第一检测区域。
95.一种可能的实施方式中，在确定所述第二检测区域时，可以通过下述步骤a11～a12：
96.a11：基于所述第一特征图的各第一特征点的取值和预设概率阈值，确定第二目标特征点。
97.这里，所述第一特征点的取值可以包含在多个通道上的区域，通道的个数可以为标志牌的类别数，任一类别的标志牌对应有表征检测区域内是否包含该类别标志牌的中心点的取值。
98.具体的，若任一所述第一特征点在任一通道上的取值大于所述预设概率阈值，则表征该第一特征点对应的检测区域内包括该通道对应的标志牌的中心点，该第一特征点即可被确定为所述第二目标特征点。
99.a12：基于所述第二特征图中与所述第二目标特征点对应的第三目标特征点的取值、所述第二目标特征点在所述第一特征图中的位置坐标，确定所述第二检测区域。
100.这里，所述第二目标特征点在所述第一特征图中的位置坐标可以用于表征所述待检测图像中各类别的标志牌的中心点，所述第三目标特征点的取值可以用于表征各第二特征点对应的目标像素点作为各个类别的标志牌的中心点的坐标偏移信息和各个标志牌的尺寸信息，因此基于所述第二特征图中与所述第二目标特征点对应的第三目标特征点的取值、所述第二目标特征点在所述第一特征图中的位置坐标，即可确定出所述第二检测区域。
101.示例性的，所述第二特征图中特征点的通道个数可以为4c，c表示所述标志牌的类别数，每个类别的标志牌对应有4个通道的参数，分别为横坐标偏移信息、纵坐标偏移信息、该类别标志牌的宽、该类别标志牌的高，基于所述第三目标特征点的取值中的坐标偏移信息和纵坐标偏移信息，和所述第二目标特征点在所述第一特征图中的位置坐标，即可确定出标志牌的中心点的位置坐标，再结合所述第三目标特征点的取值中该类别标志牌的宽、
该类别标志牌的高，即可确定出标志牌所在的区域(也即所述第二检测区域)。
102.a2：基于所述第一检测区域和所述第二检测区域确定所述待确认区域。
103.这里，在确定所述待确认区域时，可以将所述第一检测区域中与所述第二检测区域不同的区域作为所述待确认区域。
104.示例性的，以所述第一检测区域为区域1和区域2，所述第二检测区域为区域1为例，则可以将所述区域2作为所述待确认区域。
105.s104：基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，并基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。
106.一种可能的实施方式中，在基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整时，可以通过下述步骤b1～b2：
107.b1：确定所述初始特征图中与所述待确认区域对应的第一目标特征点。
108.b2：基于所述目标深度信息，对所述第一目标特征点的目标通道上的取值进行调整。
109.这里，所述目标通道可以是与图像深度特征相关的通道，所述目标通道上的取值可以为预设数值。
110.具体的，在基于所述目标深度信息，对所述第一目标特征点的目标通道上的取值进行调整后，即可得到包含有深度信息的目标特征图，而目标特征图中由于目标通道上的取值不再全部是所述预设数值，因此所述目标特征图能够一定程度上的表征所述待检测图像中各像素点对应的深度信息，相较于不使用所述深度信息，通过添加深度信息能够提高标志牌被其前方遮挡物遮挡的情况下的检出率。
111.进一步的，在基于调整后的目标特征图确定所述待检测图像对应的目标检测结果时，可以将所述目标特征图输入至所述中心点识别模块，确定所述目标检测结果。
112.这样，所述目标特征图相较于所述初始特征图，多出了能够区分不同像素点对应的深度信息的通道值，因此将所述目标特征图输入至所述中心点识别模块后能够得到更为准确的目标检测结果。
113.一种可能的实施方式中，可以通过下述步骤c1～c3生成用于训练所述目标神经网络的样本图像和所述样本图像对应的样本标签：
114.c1：获取图像采集装置和激光雷达同时采集的与样本标志牌对应的样本数据；其中，所述样本数据包括图像采集装置采集的包含样本标志牌的样本图像，以及激光雷达采集的样本点云数据。
115.这里，所述样本图像中的样本标志牌可以被部分遮挡，从而可以使得使用样本图像对所述目标神经网络进行训练后，能够提高所述目标神经网络识别出被遮挡的标志牌的能力。
116.c2：基于所述样本点云数据中样本标志牌对应的目标点云数据，和所述图像采集装置和所述激光雷达之间的相对位置关系，确定所述样本标志牌与所述图像采集装置之间的样本深度信息。
117.这里，根据所述目标点云数据即可确定出所述样本标志牌与所述激光雷达之间的初始深度信息，基于所述初始深度信息和所述图像采集装置和所述激光雷达之间的相对位
置关系，即可确定出所述样本深度信息。
118.c3：获取用于表征样本图像中标志牌位置和类别的标志牌标签，并将所述深度信息和标志牌标签作为所述样本图像对应的样本标签。
119.这里，所述标志牌标签可以包括开发人员标注的用于表征标志牌位置的检测框，以及所述样本标志牌的类别。
120.一种可能的实施方式中，可以通过下述步骤d1～d3对所述目标神经网络进行训练：
121.d1：获取样本图像和所述样本图像对应的样本标签，其中，所述样本标签用于表征所述样本图像中标志牌的位置、类别以及所述样本图像的样本深度信息。
122.d2：基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练，在所述特征提取模块与任一模块训练完成之后，将训练后的特征提取模块再与另一待训练模块一起训练。
123.这里，在进行训练时，可以基于所述样本标签中用于表征所述样本图像中标志牌的位置的检测框，对所述特征提取模块和所述区域识别模块进行训练；基于所述样本标签中的检测框和标志牌的类别，对所述特征提取模块和中心点识别模块进行训练；基于所述样本标签中的样本深度信息，对所述特征提取模块和深度识别模块进行训练。
124.具体的，在对所述特征提取模块和所述区域识别模块进行训练时，可以使用交叉熵损失函数确定训练时的第一损失值，并使用所述第一损失值对所述特征提取模块和所述区域识别模块的网络参数进行调整，并在调整后固定所述区域识别模块的网络参数；
125.在对所述特征提取模块和中心点识别模块进行训练时，可以基于交叉熵损失函数确定所述第一分支对应的第二损失值，并基于所述第二损失值对所述中心点识别模块的第一分支和所述特征提取模块的网络参数进行调整，以及，基于交并比损失函数确定所述第二分支对应的第三损失值，并基于所述第三损失值对所述中心点识别模块的第二分支和所述特征提取模块的网络参数进行调整，并在调整后固定所述中心点识别模块的网络参数；
126.对所述特征提取模块和深度识别模块进行训练时，可以基于所述样本标签中的样本深度信息和所述深度识别模块输出的预测深度信息，确定与所述深度识别模块对应的第四损失值，并基于所述第四损失值对所述深度识别模块和所述特征提取模块的网络参数进行调整。
127.需要说明的是，在依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练时，可以按照预设的训练顺序进行训练，所述训练顺序例如可以是区域识别模块-中心点识别模块-深度识别模块、深度识别模块-区域识别模块-中心点识别模块、中心点识别模块-深度识别模块-区域识别模块等，具体的训练顺序和训练过程中的学习率等训练参数可以根据实际需求进行设置，本公开实施例对此不做限定。
128.d3：对训练后的所述特征提取模块、区域识别模块、中心点识别模块以及深度识别模块进行微调处理，得到所述目标神经网络。
129.这样，通过进行微调处理，可以得到所述目标神经网络的网络精度。
130.示例性的，以所述训练顺序为深度识别模块-区域识别模块-中心点识别模块为例，则训练的第1阶段可以使用样本图像和所述样本图像对应的样本标签，对所述特征提取模块和所述深度识别模块进行训练；训练的第2阶段可以使用样本图像和所述样本图像对
应的样本标签，对所述特征提取模块和所述区域识别模块进行训练；训练的第3阶段可以使用样本图像和所述样本图像对应的样本标签，对所述特征提取模块和所述中心点识别模块进行训练；训练的第4阶段可以对所述目标神经网络的各网络模块进行微调训练，以提高所述目标神经网络的网络精度。
131.本公开实施例提供的标志牌识别方法，可以基于不同识别维度下识别出的待检测图像的第一初始检测结果和第二初始检测结果，确定出待检测图像中可能存在标志牌的待确认区域；然后基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述待检测图像对应的初始特征图进行调整，再基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。这样，调整后的目标特征图中包含待确认区域的深度信息，可以提升对于待确认区域的检测效果，减少因为遮挡造成的漏检的情况；另一方面，通过第一初始检测结果和第二检测结果确定待确认区域，再基于待确认区域的目标深度信息对初始特征图进行调整，相比较基于整个图像的深度信息调整初始特征图而言，减少了计算量，提高了检测效率。
132.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
133.基于同一发明构思，本公开实施例中还提供了与标志牌识别方法对应的标志牌识别装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述标志牌识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
134.参照图3所示，为本公开实施例提供的一种标志牌识别装置的架构示意图，所述装置包括：获取模块301、第一确定模块302、第二确定模块303、调整模块304；其中，
135.获取模块301，用于获取待检测图像，并将所述待检测图像输入至预先训练好的目标神经网络中，确定所述待检测图像对应的初始特征图；
136.第一确定模块302，用于基于所述初始特征图确定所述待检测图像对应的第一初始检测结果、第二初始检测结果以及深度检测结果；其中，所述第一初始检测结果用于表征所述待检测图像的各检测区域内是否包含标志牌，所述第二初始检测结果用于表征所述待检测图像中标志牌的中心位置，所述深度检测结果用于表征所述待检测图像中各像素点对应的深度信息；
137.第二确定模块303，用于基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域；
138.调整模块304，用于基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，并基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。
139.一种可能的实施方式中，所述第二确定模块303，在基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域时，用于：
140.基于所述第一初始检测结果，确定所述待检测图像中标志牌对应的第一检测区域；以及，基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域；
141.基于所述第一检测区域和所述第二检测区域确定所述待确认区域。
142.一种可能的实施方式中，所述调整模块304，在基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整时，用于：
143.确定所述初始特征图中与所述待确认区域对应的第一目标特征点；
144.基于所述目标深度信息，对所述第一目标特征点的目标通道上的取值进行调整。
145.一种可能的实施方式中，所述第二初始检测结果通过所述目标神经网络的中心点识别模块确定；
146.所述调整模块304，在基于调整后的目标特征图确定所述待检测图像对应的目标检测结果时，用于：
147.将所述目标特征图输入至所述中心点识别模块，确定所述目标检测结果。
148.一种可能的实施方式中，所述第二初始检测结果包括第一特征图和第二特征图，其中，所述第一特征图的各第一特征点的取值用于表征，该第一特征点在所述待检测图像中对应的检测区域包含各个类别的标志牌的中心点的概率；所述第二特征图的各第二特征点的取值用于表征，各第二特征点对应的目标像素点作为各个类别的标志牌的中心点的坐标偏移信息，以及各个类别的标志牌的尺寸信息。
149.一种可能的实施方式中，所述第二确定模块303，在基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域时，用于：
150.基于所述第一特征图的各第一特征点的取值和预设概率阈值，确定第二目标特征点；
151.基于所述第二特征图中与所述第二目标特征点对应的第三目标特征点的取值、所述第二目标特征点在所述第一特征图中的位置坐标，确定所述第二检测区域。
152.一种可能的实施方式中，所述目标神经网络包括特征提取模块、区域识别模块、中心点识别模块以及深度识别模块，所述特征提取模块用于确定所述初始特征图，所述区域识别模块用于确定所述第一初始检测结果，所述中心点识别模块用于确定所述第二初始检测结果，所述深度识别模块用于确定所述深度检测结果；
153.所述获取模块301还用于根据以下步骤训练所述目标神经网络：
154.获取样本图像和所述样本图像对应的样本标签，其中，所述样本标签用于表征所述样本图像中标志牌的位置、类别以及所述样本图像的样本深度信息；
155.基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练，在所述特征提取模块与任一模块训练完成之后，将训练后的特征提取模块再与另一待训练模块一起训练；
156.对训练后的所述特征提取模块、区域识别模块、中心点识别模块以及深度识别模块进行微调处理，得到所述目标神经网络。
157.一种可能的实施方式中，所述获取模块301，在基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练时，用于：
158.基于所述样本标签中用于表征所述样本图像中标志牌的位置的检测框，对所述特征提取模块和所述区域识别模块进行训练；
159.基于所述样本标签中的检测框和标志牌的类别，对所述特征提取模块和中心点识别模块进行训练；
160.基于所述样本标签中的样本深度信息，对所述特征提取模块和深度识别模块进行训练。
161.本公开实施例提供的标志牌识别装置，可以基于不同识别维度下识别出的待检测图像的第一初始检测结果和第二初始检测结果，确定出待检测图像中可能存在标志牌的待确认区域；然后基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述待检测图像对应的初始特征图进行调整，再基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。这样，调整后的目标特征图中包含待确认区域的深度信息，可以提升对于待确认区域的检测效果，减少因为遮挡造成的漏检的情况；另一方面，通过第一初始检测结果和第二检测结果确定待确认区域，再基于待确认区域的目标深度信息对初始特征图进行调整，相比较基于整个图像的深度信息调整初始特征图而言，减少了计算量，提高了检测效率。
162.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
163.基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图4所示，为本公开实施例提供的计算机设备400的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当计算机设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
164.获取待检测图像，并将所述待检测图像输入至预先训练好的目标神经网络中，确定所述待检测图像对应的初始特征图；
165.基于所述初始特征图确定所述待检测图像对应的第一初始检测结果、第二初始检测结果以及深度检测结果；其中，所述第一初始检测结果用于表征所述待检测图像的各检测区域内是否包含标志牌，所述第二初始检测结果用于表征所述待检测图像中标志牌的中心位置，所述深度检测结果用于表征所述待检测图像中各像素点对应的深度信息；
166.基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域；
167.基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，并基于调整后的目标特征图确定所述待检测图像对应的目标检测结果。
168.一种可能的实施方式中，所述处理器401的指令中，所述基于所述第一初始检测结果和所述第二初始检测结果，确定所述待检测图像中的待确认区域，包括：
169.基于所述第一初始检测结果，确定所述待检测图像中标志牌对应的第一检测区域；以及，基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域；
170.基于所述第一检测区域和所述第二检测区域确定所述待确认区域。
171.一种可能的实施方式中，所述处理器401的指令中，所述基于所述深度检测结果中所述待确认区域对应的目标深度信息，对所述初始特征图进行调整，包括：
172.确定所述初始特征图中与所述待确认区域对应的第一目标特征点；
173.基于所述目标深度信息，对所述第一目标特征点的目标通道上的取值进行调整。
174.一种可能的实施方式中，所述处理器401的指令中，所述第二初始检测结果通过所述目标神经网络的中心点识别模块确定；
175.所述基于调整后的目标特征图确定所述待检测图像对应的目标检测结果，包括：
176.将所述目标特征图输入至所述中心点识别模块，确定所述目标检测结果。
177.一种可能的实施方式中，所述处理器401的指令中，所述第二初始检测结果包括第一特征图和第二特征图，其中，所述第一特征图的各第一特征点的取值用于表征，该第一特征点在所述待检测图像中对应的检测区域包含各个类别的标志牌的中心点的概率；所述第二特征图的各第二特征点的取值用于表征，各第二特征点对应的目标像素点作为各个类别的标志牌的中心点的坐标偏移信息，以及各个类别的标志牌的尺寸信息。
178.一种可能的实施方式中，所述处理器401的指令中，所述基于所述第二初始检测结果，确定所述待检测图像中标志牌对应的第二检测区域，包括：
179.基于所述第一特征图的各第一特征点的取值和预设概率阈值，确定第二目标特征点；
180.基于所述第二特征图中与所述第二目标特征点对应的第三目标特征点的取值、所述第二目标特征点在所述第一特征图中的位置坐标，确定所述第二检测区域。
181.一种可能的实施方式中，所述处理器401的指令中，所述目标神经网络包括特征提取模块、区域识别模块、中心点识别模块以及深度识别模块，所述特征提取模块用于确定所述初始特征图，所述区域识别模块用于确定所述第一初始检测结果，所述中心点识别模块用于确定所述第二初始检测结果，所述深度识别模块用于确定所述深度检测结果；
182.还包括根据以下步骤训练所述目标神经网络：
183.获取样本图像和所述样本图像对应的样本标签，其中，所述样本标签用于表征所述样本图像中标志牌的位置、类别以及所述样本图像的样本深度信息；
184.基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练，在所述特征提取模块与任一模块训练完成之后，将训练后的特征提取模块再与另一待训练模块一起训练；
185.对训练后的所述特征提取模块、区域识别模块、中心点识别模块以及深度识别模块进行微调处理，得到所述目标神经网络。
186.一种可能的实施方式中，所述处理器401的指令中，所述基于所述样本图像和所述样本标签，依次将所述特征提取模块与所述区域识别模块、中心点识别模块以及深度识别模块同时训练，包括：
187.基于所述样本标签中用于表征所述样本图像中标志牌的位置的检测框，对所述特征提取模块和所述区域识别模块进行训练；
188.基于所述样本标签中的检测框和标志牌的类别，对所述特征提取模块和中心点识别模块进行训练；
189.基于所述样本标签中的样本深度信息，对所述特征提取模块和深度识别模块进行训练。
190.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的标志牌识别方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
191.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的标志牌识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。
192.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
193.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
194.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
195.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
196.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
197.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。