一种图像检测方法、装置、计算机设备及存储介质与流程

1.本公开涉及图像识别技术领域，具体而言，涉及一种图像检测方法、装置、计算机设备及存储介质。


背景技术：

2.确定车辆的行驶状态信息是自动驾驶中的重要问题，对车辆的行驶状态进行准确地判断，能够提升车辆的感知能力，避免交通事故。在一些可能的方式下，会利用车辆的历史轨迹进行对车辆行驶状态信息的预测，但这种方式下获取的历史轨迹实际上并不能直接表示车辆的当前状态，因此这种方式下时效性和准确性较低。


技术实现要素：

3.本公开实施例至少提供一种图像检测方法、装置、计算机设备及存储介质。
4.第一方面，本公开实施例提供了一种图像检测方法，包括：获取待检测图像；对所述待检测图像进行目标检测，确定所述待检测图像中的待检测对象的指示灯的属性信息；其中，所述指示灯的属性信息包括指示灯的类型信息和亮灭状态信息；基于所述待检测对象的所述指示灯的属性信息，确定所述待检测对象的行驶状态信息。
5.上述方法中，通过获取待检测图像，并对待检测图像中的待检测对象进行目标检测，确定待检测对象的指示灯的属性信息，该指示灯的属性信息包括指示灯的类型信息和亮灭状态信息，该指示灯的属性信息能够表征待检测对象在当前时刻的行驶情况，进而根据待检测对象的指示灯的属性信息，能够较为准确的确定待检测对象的行驶状态信息。同时，由于待检测对象的待检测图像可以即时获取，使得确定的指示灯的属性信息具有实时性，进而使得确定的行驶状态信息的时效性较高。
6.一种可选的实施方式中，所述对所述待检测图像进行目标检测，确定所述待检测图像中的待检测对象的指示灯的属性信息，包括：对所述待检测图像进行特征提取，生成所述待检测对象的属性特征数据和检测框数据；其中，所述属性特征数据包括：包含指示灯的类型特征的第一属性特征数据、和包含亮灭状态特征的第二属性特征数据；所述检测框数据包括：与所述第一属性特征数据匹配的第一检测框数据、和与所述第二属性特征数据匹配的第二检测框数据；基于所述属性特征数据和所述检测框数据，确定所述待检测对象的指示灯的属性信息。
7.考虑到，针对待检测图像上的同一指示灯，不同的属性特征数据可能会反应在不同的位置处，故利用相同的方式为不同的属性特征数据确定对应的检测框数据，可以减少确定出的检测框在位置上的较大差异，以便在后续步骤中较准确的对第一检测框以及第二检测框进行匹配。另外，并行对待检测图像进行指示灯的类型特征的特征提取、以及亮灭状态特征的特征提取，相较于先确定检测框数据后确定属性特征数据的串行方式而言，可以提高图像检测的效率。
8.一种可选的实施方式中，所述基于所述属性特征数据和所述检测框数据，确定所
述待检测对象的指示灯的属性信息，包括：基于所述第一属性特征数据和所述第一检测框数据，确定所述待检测对象上至少一个指示灯的第一检测框对应的指示灯的类型信息；以及基于所述第二属性特征数据和所述第二检测框数据，确定所述待检测对象上至少一个指示灯的第二检测框对应的指示灯的亮灭状态信息；基于所述第一检测框数据指示的第一位置信息、所述第一检测框对应的指示灯的类型信息、所述第二检测框数据指示的第二位置信息、和所述第二检测框对应的指示灯的亮灭状态信息，确定所述待检测对象的指示灯的属性信息。
9.这里，为第一属性特征数据确定对应的第一检测框数据，该第一检测框数据可以为作为第一属性特征数据的参考信息，进而基于第一检测框数据和第一属性特征数据，能够较准确的确定待检测对象上至少一个指示灯的第一检测框对应的指示灯的类型信息；同理也可以较准确的确定待检测对象上至少一个灯的第二检测框对应的指示灯的亮灭状态信息。进而，基于第一位置信息、第一检测框对应的指示灯的类型信息、第二位置信息和第二检测框对应的指示灯的亮灭状态信息，确定待检测对象对应的较准确的指示灯的属性信息。
10.一种可选的实施方式中，所述基于所述第一检测框数据指示的第一位置信息、所述第一检测框对应的指示灯的类型信息、所述第二检测框数据指示的第二位置信息、和所述第二检测框对应的指示灯的亮灭状态信息，确定所述待检测对象的指示灯的属性信息，包括：基于所述第一位置信息和所述第二位置信息，确定与每个所述第一检测框匹配的第二检测框；基于所述第一检测框对应的指示灯的类型信息、和与所述第一检测框匹配的所述第二检测框对应的指示灯的亮灭状态信息，确定所述待检测对象的指示灯的属性信息。
11.这样，在确定待检测图像中各指示灯的属性信息时，为了将获取的表示指示灯的类型和亮灭状态的不同属性信息进行匹配，可以利用第一位置信息和第二位置信息，对第一检测框和第二检测框进行匹配，这种匹配方式所需的算力较少，花费的时间也较少，在保障匹配后得到的待检测对象的指示灯的属性信息准确性的前提下，提升了确定效率。
12.一种可选的实施方式中，所述基于所述第一位置信息和所述第二位置信息，确定与每个所述第一检测框匹配的第二检测框，包括：针对每个第一检测框，基于该第一检测框对应的第一位置信息、和各个所述第二检测框对应的第二位置信息，确定该第一检测框与每个所述第二检测框之间的交并比；基于该第一检测框与每个所述第二检测框之间的交并比，确定与该第一检测框匹配的第二检测框。
13.这里，通过确定第一检测框和第二检测框之间的交并比的方式，能够较精准和较简便的确定与第一检测框匹配的第二检测框。
14.一种可选的实施方式中，所述基于所述待检测对象的所述指示灯的属性信息，确定所述待检测对象的行驶状态信息，包括：基于所述待检测对象的所述指示灯的属性信息、以及预设行驶状态与指示灯的属性信息之间的目标映射关系，确定所述待检测对象的行驶状态信息；其中，所述预设行驶状态包括以下一种或多种：左转状态、右转状态、紧急闪烁状态、制动状态、正常行驶状态。
15.本公开实施方式中，由于目标映射关系较为简单和清楚，因此在确定待检测对象的行驶状态信息时也较为容易和准确，所需花费的时间也较少。
16.一种可选的实施方式中，所述获取待检测图像，包括：获取采集的目标图像；对所
述目标图像进行对象检测，确定所述目标图像中包括的每个待检测对象的检测框信息；基于所述检测框信息和所述目标图像，确定所述每个待检测对象的待检测图像。
17.由于在现实场景中直接获取的目标图像可能包含有多个待检测对象，针对其中的任一待检测对象，其他待检测对象的指示灯可能会对该待检测对象的检测造成干扰，比如可能会出现无法准确地确定出目标图像中显示的指示灯具体属于哪一个待检测对象。因此得到目标图像后，可以从目标图像中确定出每个待检测对象对应的待检测图像，再针对每个待检测图像进行针对指示灯的目标检测，以减少在目标检测时可能会出现的干扰，提高对待检测图像进行目标检测时的准确性。
18.一种可选的实施方式中，在确定所述待检测对象的行驶状态信息之后，所述方法还包括：基于所述待检测对象的行驶状态信息，确定所述待检测对象的预测结果数据；其中，所述预测结果数据包括以下至少一种：行驶轨迹数据、待检测对象与其他对象之间的行为交互数据、行驶路径数据。
19.这里，可以利用行驶状态信息进一步的确定相关的预测结果数据，由于行驶状态信息是可以根据待检测对象的实时状态确定的，因此确定的预测结果数据也具有较好的时效性和准确性。
20.一种可选的实施方式中，利用训练得到的目标神经网络确定所述待检测对象的行驶状态信息；所述目标神经网络为利用从构建的目标数据集中获取的训练样本训练得到的；构建所述目标数据集，包括：获取多个样本图像；其中，所述多个样本图像包括不同对象属性下的样本对象；所述对象属性包括：位姿数据、指示灯亮灭模式、对象类型中的至少一种；从每个所述样本图像中，确定包括一个样本对象的局部样本图像；接收每个所述局部样本图像的标注数据；其中，所述标注数据包括：指示灯的亮灭状态标注数据、指示灯类型标注数据、样本对象的行驶状态标注数据、指示灯的样本框标注数据；基于各个包括所述标注数据的所述局部样本图像，生成所述目标数据集。
21.通过上述方式，可以为目标神经网络确定训练所需的目标数据集，以便利用该目标数据集中的训练样本，能够较精准的对神经网络进行训练，得到性能较好的目标神经网络。
22.第二方面，本公开实施例还提供一种图像检测装置，包括：获取模块，用于获取待检测图像；检测模块，用于对所述待检测图像进行目标检测，确定所述待检测图像中的待检测对象的指示灯的属性信息；其中，所述指示灯的属性信息包括指示灯的类型信息和亮灭状态信息；确定模块，用于基于所述待检测对象的所述指示灯的属性信息，确定所述待检测对象的行驶状态信息。
23.第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
24.第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
25.关于上述图像检测装置、计算机设备、及计算机可读存储介质的效果描述参见上
述图像检测方法的说明，这里不再赘述。
26.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
27.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
28.图1示出了本公开实施例所提供的一种图像检测方法的流程图；
29.图2示出了本公开实施例所提供的一种对待检测图像进行目标检测的具体流程图；
30.图3示出了本公开实施例所提供的一种目标检测网络的示意图；
31.图4示出了本公开实施例所提供的一种确定待检测对象的指示灯的属性信息的具体流程图；
32.图5示出了本公开实施例所提供的一种待检测对象的指示灯的属性信息的示意图；
33.图6示出了本公开实施例所提供的一种待检测对象的指示灯的属性信息、以及预设形式状态与指示灯的属性信息之间的目标映射关系的示意图；
34.图7示出了本公开实施例所提供的一种目标神经网络的示意图；
35.图8示出了本公开实施例所提供的一种利用图像检测方法为自动驾驶车辆确定行驶策略的具体实施例的流程图；
36.图9示出了本公开实施例所提供的一种图像检测装置的示意图；
37.图10示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
38.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
39.经研究发现，在确定车辆的行驶状态信息时，通常会利用车辆的历史轨迹进行对车辆行驶状态信息的预测。而由于历史轨迹是车辆在过去一段时间内的行为数据，因此仅能用于对当前车辆的行驶状态信息进行间接地预测，因此这种方式存在时效性较低的问题。
40.基于上述研究，本公开提供了一种图像检测方法，通过获取待检测图像，并对待检
测图像中的待检测对象进行目标检测，确定待检测对象的指示灯的属性信息，该指示灯的属性信息包括指示灯的类型信息和亮灭状态信息，该指示灯的属性信息能够表征待检测对象在当前时刻的行驶情况，进而根据待检测对象的指示灯的属性信息，能够较为准确的确定待检测对象的行驶状态信息。同时，由于待检测对象的待检测图像可以即时获取，使得确定的指示灯的属性信息具有实时性，进而使得确定的行驶状态信息的时效性较高。
41.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
42.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
43.为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像检测方法进行详细介绍，本公开实施例所提供的图像检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
44.本公开实施例提供的图像检测方法，例如可以应用于自动驾驶领域。具体地，在自动驾驶领域中，为了保证自动驾驶车辆的安全行驶，通常具有对自动驾驶车辆的驾驶环境的检测需求，其中驾驶环境中具体包括在自动驾驶车辆可视范围内的其他车辆。为了保证自动驾驶车辆的行驶安全，可以对可视范围内的驾驶环境进行图像采集，以利用本公开实施例提供的图像检测方法对采集得到的待检测图像进行目标检测，确定待检测图像中其他车辆的当前行驶状态，从而为自动驾驶车辆确定行驶或者避让策略，以保证自动驾驶车辆的安全行驶。
45.下面对本公开实施例提供的图像检测方法加以说明。
46.参见图1所示，为本公开实施例提供的一种图像检测方法的流程图，所述方法包括步骤s101～s103，其中：
47.s101：获取待检测图像；
48.s102：对所述待检测图像进行目标检测，确定所述待检测图像中的待检测对象的指示灯的属性信息；其中，所述指示灯的属性信息包括指示灯的类型信息和亮灭状态信息；
49.s103：基于所述待检测对象的所述指示灯的属性信息，确定所述待检测对象的行驶状态信息。
50.本公开实施例通过获取待检测图像，并对待检测图像中的待检测对象进行目标检测，确定待检测对象的指示灯的属性信息，该指示灯的属性信息包括指示灯的类型信息和亮灭状态信息，该指示灯的属性信息能够表征待检测对象在当前时刻的行驶情况，进而根据待检测对象的指示灯的属性信息，能够较为准确的确定待检测对象的行驶状态信息。同时，由于待检测对象的待检测图像可以即时获取，使得确定的指示灯的属性信息具有实时性，进而使得确定的行驶状态信息的时效性较高。
51.下面对上述s101～s103加以详细说明。
52.针对上述s101，在实际的应用场景中，比如应用于自动驾驶场景时，通常会采用图像采集设备进行图像采集，获取到包含路面以及路面上其他车辆的图像。比如，采用在道路上方设置的监控摄像头，或者在车辆上搭载的行车记录，可以采集得到道路和道路上行驶车辆的图像。此处，可以将图像采集得到的这些图像作为待检测图像。
53.对于上述步骤中得到的待检测图像，其中具体可以包括待检测对象。此处，待检测对象例如包括车辆，车辆的种类例如包括轿车、卡车、救援车等专用车辆等。由于本公开实施例中利用确定的待检测对象的指示灯的属性信息，确定待检测对象的行驶状态信息，因此待检测图像例如是仅包括一个车辆的待检测图像，以针对性的根据待检测图像中包含车辆的指示灯的属性信息，对车辆的行驶状态信息进行确定。
54.在一种可能的情况下，对于直接采集得到的图像，可能会出现图像中具有多个车辆的情况。在对其中任一车辆进行行驶状态信息确定时，为了减少其他车辆对该车辆造成的干扰，本公开实施例中可以通过对象检测的方式，从获取到的图像中为每个待检测对象截取对应的待检测图像。
55.在具体实施中，在获取待检测图像时，具体可以采用下述方式：获取采集的目标图像；获取采集的目标图像；对所述目标图像进行对象检测，确定所述目标图像中包括的每个待检测对象的检测框信息；基于所述检测框信息和所述目标图像，确定所述每个待检测对象的待检测图像。
56.此处，采集的目标图像例如包括上述说明的利用图像采集设备采集到的包含多个车辆的图像。为了得到目标图像中每个车辆分别对应的待检测图像，可以对采集到的目标图像进行对象检测，例如可以利用对车辆进行识别的目标检测网络，比如卷积神经网络，对目标图像进行对象检测，确定每个待检测对象的检测框信息。其中，检测框信息可以包括待检测对象的检测框在目标图像上的位置信息。
57.具体地，可以在目标图像中确定每个待检测对象的检测框信息，以确定每个待检测对象在目标图像中的具体位置。进而可以利用检测框信息，从目标图像上截取得到每个对象对应的待检测图像。
58.针对上述s102，在获取待检测图像之后，还可以对待检测图像进行目标检测，确定待检测对象的指示灯的属性信息，以利用得到的待检测对象的指示灯的属性信息，确定待检测对象的行驶状态信息。
59.此处，指示灯例如可以包括车辆的车灯，具体可以包括但不限于车辆的制动灯、左尾灯、右尾灯、左头灯、右头灯、左转信号灯、以及右转信号灯等。
60.在具体实施中，参见图2所示，为本公开实施例提供的一种对待检测图像进行目标检测的具体流程图；其中，
61.s201：对所述待检测图像进行特征提取，生成所述待检测对象的属性特征数据和检测框数据。
62.其中，所述属性特征数据包括：包含指示灯的类型特征的第一属性特征数据、和包含亮灭状态特征的第二属性特征数据；所述检测框数据包括：与所述第一属性特征数据匹配的第一检测框数据、和与所述第二属性特征数据匹配的第二检测框数据。
63.具体地，由于对待检测图像进行特征提取时，分别包括对指示灯的类型特征、亮灭状态特征的提取、以及检测框的确定，因此例如可以采用图3所示的目标检测网络进行特征
提取。其中，目标检测网络例如可以以残差神经网络(deep residual network，resnet)作为主干网络，并具体包括三个子网，包括用于获取第一属性特征数据的指示灯类型特征提取网络、用于获取第一检测框数据以及第二检测框数据的检测框提取网络、和用于获取第二属性特征数据的亮灭状态特征提取网络。
64.在将待检测图像作为目标检测网络的输入数据后，主干网络可以对输入数据进行特征提取，得到中间特征数据，再利用指示灯类型特征提取网络对中间特征数据进行特征提取，得到第一属性特征数据，例如表征指示灯的类型特征的特征图；在第一属性特征数据中，还可以包括利用检测框提取网络确定的第一检测框数据，具体包括在第一属性特征数据中第一检测框的位置信息。相似的，亮灭状态特征提取网络可以在对中间特征数据进行特征提取，得到第二属性特征数据，例如表征指示灯的亮灭状态特征的特征图；在第二属性特征数据中，还包括利用检测框提取网络确定的第二检测框数据，具体包括在第二属性特征数据中第二检测框的位置信息。
65.此处，在采用检测框提取网络分别确定在第一属性特征数据中的第一检测框数据和第二属性特征数据中的第二检测框数据时，由于第一属性特征数据用于反应在待检测图像中指示灯的类型特征，而第二属性特征数据用于反应在待检测图像中指示灯的亮灭状态，因此在为具有不同特征属性的特征图确定的检测框时，得到的检测框的位置信息可能并不完全相同。在图3中示出的第一属性特征数据和第二属性特征数据，也示例性的标注出了处于不同位置的部分标注框。
66.s202：基于所述属性特征数据和所述检测框数据，确定所述待检测对象的指示灯的属性信息。
67.实施时，可以根据确定的待检测对象的属性特征数据和检测框数据，确定待检测对象的指示灯属性信息。指示灯的属性信息包括指示灯的类型信息，比如指示灯的类型信息包括但不限于：制动灯、左尾灯、右尾灯、左头灯、右头灯、左转信号灯、以及右转信号灯等。比如亮灭状态信息可以包括：亮灯状态和灭灯状态等。
68.在具体实施中，参见图4所示，为本公开实施例提供的一种确定待检测对象的指示灯属性信息的具体流程图；其中：
69.s401：基于所述第一属性特征数据和所述第一检测框数据，确定所述待检测对象上至少一个指示灯的第一检测框对应的指示灯类型信息。
70.s402：基于所述第二属性特征数据和所述第二检测框数据，确定所述待检测对象上至少一个指示灯的第二检测框对应的亮灭状态信息。
71.其中，s401和s402可以并行执行。由于s401与s402过程相似，此处以上述s401为例进行说明。
72.针对第一检测框数据，可以在第一属性特征数据表示的特征图中框选出多个像素点，在多个像素点处有较大的概率具有对应的指示灯。因此，利用第一检测框数据，可以从第一属性特征数据中确定用于进行指示灯的类型信息确定的属性特征数据，并相应的确定对应的指示灯类型信息，比如上述说明的车辆左尾灯。
73.实施时，可以将第一检测框数据指示的各个第一检测框的位置标注在第一属性特征数据上，对标注后的第一属性特征数据进行至少一次特征提取，得到待检测对象上至少一个指示灯的第一检测框对应的指示灯类型信息。或者，也可以将第一检测框数据与第一
属性特征数据进行关联，对关联后的第一属性特征数据进行至少一次特征提取，得到待检测对象上至少一个指示灯的第一检测框对应的指示灯类型信息。其中，指示灯类型信息例如可以包括上述说明的车辆的制动灯、左尾灯、右尾灯、左头灯、右头灯、左转信号灯、以及右转信号灯。
74.同理，对于第二检测框数据和第二属性特征数据而言，也可以相似的确定每个第二检测框对应的亮灭状态信息。其中，亮灭状态信息例如可以包括亮灯状态、灭灯状态、或者未知状态。其中，亮灯状态例如还包括转向亮灯状态以及制动亮灯状态；未知状态表示未判断出指示灯的亮灭状态。
75.s403：基于所述第一检测框数据指示的第一位置信息、所述第一检测框对应的指示灯的类型信息、所述第二检测框数据指示的第二位置信息、和所述第二检测框对应的指示灯的亮灭状态信息，确定所述待检测对象的指示灯的属性信息。
76.实施时，可以使用第一位置信息和第二位置信息，将第一检测框与第二检测框进行匹配，得到检测框对，根据检测框对中包括的第一检测框的指示灯的类型信息、和第二检测框的亮灭状态信息，生成待检测对象对应的指示灯的属性信息。
77.在得到第一检测框的第一位置信息以及对应的指示灯的类型信息、和第二检测框的第二位置信息以及对应的亮灭状态信息的情况下，具体可以采用下述方式确定待检测对象对应的指示灯的属性信息：基于所述第一位置信息和所述第二位置信息，确定与每个所述第一检测框匹配的第二检测框；基于所述第一检测框对应的指示灯的类型信息、和与所述第一检测框匹配的所述第二检测框对应的亮灭状态信息，确定所述待检测对象的指示灯的属性信息。
78.其中，在利用第一位置信息和第二位置信息，进行第一检测框与第二检测框的匹配时，具体可以采用对第一检测框和第二检测框计算交并比(intersection over union，iou)的方式进行匹配，或者直接根据第一检测框和第二检测框之间的距离进行匹配。
79.考虑到在对待检测图像进行特征提取后，对于包含指示灯的类型特征的第一属性特征数据和包含亮灭特征的第二属性特征数据，可能会因为对待检测图像提取特征的不同，使得两种属性特征数据分别对应的第一检测框和第二检测框可能会有位置上的差异。但对于待检测图像中的每个指示灯，其在待检测图像中的位置是确定的，因此对应于同一指示灯的第一检测框和第二检测框分别在属性特征数据上确定的位置是相近的。
80.基于这种位置上相近的关系，可以表现为匹配的第一检测框和第二检测框、相较于第一检测框和其他第二检测框而言，具有更大的重叠区域，或者表现为匹配的第一检测框和第二检测框之间的距离、相较于第一检测框和其他第二检测框而言更近，此处距离例如可以包括第一检测框的中心点和第二检测框的中心点之间的距离。
81.下面，以利用交并比确定匹配的第一检测框和第二检测框为例进行说明；在具体实施中，为第一检测框确定匹配的第二检测框时，可以采用下述方式：针对每个第一检测框，基于该第一检测框对应的第一位置信息、和各个所述第二检测框对应的第二位置信息，确定该第一检测框与每个所述第二检测框之间的交并比；基于该第一检测框与每个所述第二检测框之间的交并比，确定与该第一检测框匹配的第二检测框。
82.其中，针对每个第一检测框，可以利用第一检测框的第一位置信息和各个第二检测框的第二位置信息，确定第一检测框与每个第二检测框之间的交并比。对于第一检测框
和每个第二检测框之间的交并比，数值上越大，表示对应的第二检测框与第一检测框对应同一指示灯的概率越高。因此，可以基于第一检测框与每个第二检测框之间的交并比，选取交并比数值最大时的第二检测框，作为与第一检测框匹配的第二检测框。
83.这样，利用第一检测框对应的指示灯的类型信息，和与第一检测框匹配的第二检测框对应的亮灭状态信息，即可以确定待检测对象对应的指示灯的属性信息。示例性的，待检测对象对应的指示灯的属性信息例如可以图5表示。在图5中示出了以表格形式表示出的指示灯的属性信息中指示灯的类型信息和亮灭状态信息的对应关系。在左侧的一列中，列举出了检测出的各个指示灯的类型信息，对于每个指示灯的类型信息，在右侧一列中的对应位置处示出了对应的亮灭状态信息。
84.针对上述s103，在确定待检测对象的指示灯的属性信息的情况下，可以利用指示灯的属性信息确定待检测对象的行驶状态信息。
85.在具体实施中，具体可以采用下述方式：基于所述待检测对象的所述指示灯的属性信息、以及预设行驶状态与指示灯的属性之间的目标映射关系，确定所述待检测对象的行驶状态信息；其中，所述预设行驶状态包括以下一种或多种：左转状态、右转状态、紧急闪烁状态、制动状态、正常行驶状态。
86.其中，待检测对象的指示灯的属性信息、以及预设行驶状态与指示灯的属性之间的目标映射关系，例如可以参见图6所示。其中，行驶状态信息所在列中，列举了三种不同的预设行驶状态，包括左转状态、制动状态以及正常行驶状态。在每个预设行驶状态对应的多行中，对应多组指示灯的属性信息，具体包括不同对象类型的指示灯的亮灭状态信息。其中，亮灭状态信息用数字和符号表示，具体包括0：灭灯状态，1：转向亮灯状态，2：制动亮灯状态，以及*：未知状态。
87.示例性，以图6中表格内容的第一行示出的指示灯的属性信息为例，在待检测对象的指示灯的属性信息包括左头灯为转向亮灯状态、右头灯为灭灯状态、其余的左尾灯、右尾灯、制动灯、左转信号灯、右转信号灯均为未知状态时，对应的预设形式状态为左转状态。表格中其他行的内容也可以表达出相应的对应关系，也即预设形式状态与指示灯的属性之间的目标映射关系。
88.因此，针对在上述步骤中为待检测对象确定的指示灯的属性信息，利用目标映射关系，即可以相应的确定待检测对象的行驶状态信息。这种方式下逻辑简单明确，判断方式也较为简单，能够较快地对行驶状态信息进行判断，可以保证检测效率。
89.具体实施时，可以利用训练得到的目标神经网络确定待检测对象的行驶状态信息。参见图7所示，为本公开实施例提供的一种目标神经网络的示意图。该目标神经网络可以包括图3所示的目标检测网络、属性确定网络、状态预测网络。目标检测网络的输入可以为待检测图像，输出为属性特征数据和检测框数据。属性确定网络的输入为属性特征数据和检测框数据，输出为待检测图像上包括的待检测对象的指示灯的属性信息。状态预测网络的输入为指示灯的属性信息，输出为待检测图像上待检测对象的行驶状态信息。
90.针对目标神经网络，在一种可能的情况下，目标神经网络可以是利用从构建的目标数据集中获取的训练样本训练得到的。其中，利用目标数据集对目标神经网络进行训练的方式不进行赘述，主要对构建目标数据集的方式进行说明。
91.在具体实施中，具体可以采用下述方式构建目标数据集：获取多个样本图像；其
中，所述多个样本图像包括不同对象属性下的样本对象；所述对象属性包括：位姿数据、指示灯亮灭模式、对象类型中的至少一种；从每个所述样本图像中，确定包括一个样本对象的局部样本图像；接收每个所述局部样本图像的标注数据；其中，所述标注数据包括：指示灯的亮灭状态标注数据、指示灯类型标注数据、样本对象的行驶状态标注数据、指示灯的样本框标注数据；基于各个包括所述标注数据的所述局部样本图像，生成所述目标数据集。
92.其中，样本图像例如可以与上述说明的目标图像相似，具体包括至少一个样本对象，以得到具有标注数据的目标数据集；或者，也可以包括不含有样本对象的样本图像，用以提升目标神经网络对不存在待检测对象的待检测图像的识别能力。为了保证利用目标数据集训练得到的目标神经网络，对待检测图像进行特征提取时，能够较准确的对不同种类的属性特征进行识别，样本图像中具体可以包括具有不同对象属性的样本对象。
93.此处说明的对象属性信息中包含的位姿数据，例如可以包括车辆的在样本图像中的不同位姿信息。指示灯亮灭模式，例如可以包括第一指示灯亮灭模式，比如左转向灯为转向亮灯状态、其余的车灯为灭灯状态；第二指示灯亮灭模式，比如右转向等为转向亮灯状态、其余的车灯为灭灯状态等等。对象类型，具体可以包括车辆类型，比如公交车、汽车、救护车、越野车等。
94.在一种可能的情况下，若在样本图像中包含有多个样本对象，则还可以在样本图像中确定每个样本对象分别对应的局部样本图像。例如，针对每一样本图像，均可以在该样本图像中确定其中包含的各样本对象的局部样本图像。然后，即可以获取局部样本图像的标注数据，也即局部样本图像中包含的样本对象的标注数据。其中，数据标注具体例如通过人工标注的方式实现，或者利用其他已训练完成的神经网络进行标注。在进行数据标注时，具体包括对局部样本图像中指示灯的亮灭状态、指示灯类型、样本框等进行标注，以及对样本对象的行驶状态数据进行标注。在完成对局部样本数据的标注后，利用局部样本图像以及每一局部样本图像的标注数据，即可以生成用于对目标神经网络进行训练的目标数据集。
95.在本公开另一实施例中，在确定待检测对象的行驶状态信息之后，还可以基于所述待检测对象的行驶状态信息，确定所述待检测对象的预测结果数据；其中，所述预测结果数据包括以下至少一种：行驶轨迹数据、待检测对象与其他对象之间的行为交互数据、行驶路径数据。
96.由于在不同的应用场景下，除了对待检测对象的行驶状态信息的获取需求外，还可能具有利用行驶状态信息获取进一步的处理信息的需求。例如，在自动驾驶领域中，对于自动驾驶车辆视野中的其他车辆，在利用本公开实施例提供的图像检测方法确定其中任一车辆的行驶状态信息后，具体还具有预测该车辆的行驶轨迹数据等需求。针对得到的行驶轨迹数据，其可以直接地辅助自动驾驶车辆确定行驶或者避让策略，以保证自动驾驶车辆的安全行驶。
97.另外，利用行驶状态信息得到的待检测对象与其他对象之间的行为交互数据中，其他对象例如包括行人，则得到的行为交互数据还可以用于进行对待检测对象和行人的交互分析，比如分析是否会具有行人靠近车辆引发交通事故的风险。利用行驶状态信息得到的待检测对象与其他对象之间的行驶路径数据，例如可以应用于为待检测对象进行路面行人避让的路径规划。
98.在本公开另一实施例中，提供了一种图像检测方法对应的具体实施例。在具体实施例中，本公开提供的图像检测方法应用于为自动驾驶车辆确定行驶策略。参见图8所示，为本公开实施例提供的一种利用图像检测方法为自动驾驶车辆确定行驶策略的具体实施例；其中，
99.s801：获取在自动驾驶车辆行驶时拍摄的图像。
100.此处，自动驾驶车辆上例如安装有可以对视野范围内的场景进行拍摄的图像采集装置。在自动驾驶车辆的行进过程中，可以由图像采集装置进行实时图像采集，以获取图像。其中，自动驾驶车辆在行进过程中视野范围内可能包括多个车辆，或者并不包含车辆，因此在图像中也可能会存在具有至少一个车辆，或者不具有车辆的情况。
101.s802：对图像进行对象检测，从图像中确定每个车辆对应的子图像。
102.此处，在一种可能的情况下，若图像中并未包含车辆，则在对图像进行对象检测时也不会检测出图像中存在车辆，相应的可以结束对该帧图像的图像检测，并在获取到下一张图像时继续对该下一张图像进行对象检测。在另一种可能的情况下，若图像中包含有至少一个车辆，则具体可以参见上述为目标图像确定包含的每个待检测对象的待检测图像的步骤说明，为其中的每个车辆确定对应的子图像，具体在此不再重复赘述。
103.s803：对子图像进行目标检测，确定子图像中车辆的指示灯的属性信息。
104.s804：利用每个车辆的指示灯的属性信息，确定每个车辆的行驶状态信息。
105.此处，s803和s804具体可以参考对上述s102和s103的说明，在此同样不再重复赘述。
106.s805：利用每个车辆的行驶状态信息，为每个车辆确定行驶轨迹数据的预测结果数据，并基于每个车辆的预测结果数据确定自动驾驶车辆的行驶策略。
107.这样，由于在确定车辆的行驶状态信息时，可以保证实时性，因此在为自动驾驶车辆确定行驶策略时，可以考虑到当前视野范围内车辆的行驶轨迹数据，保证在基于行驶策略行进时，不会与当前行驶的其他车辆发生碰撞，以自动驾驶车辆的行车安全。
108.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
109.基于同一发明构思，本公开实施例中还提供了与图像检测方法对应的图像检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
110.参照图9所示，为本公开实施例提供的一种图像检测装置的示意图，所述装置包括：获取模块91、检测模块92、确定模块93；其中，
111.获取模块91，用于获取待检测图像；
112.检测模块92，用于对所述待检测图像进行目标检测，确定所述待检测图像中的待检测对象的指示灯的属性信息；其中，所述指示灯的属性信息包括指示灯的类型信息和亮灭状态信息；
113.确定模块93，用于基于所述待检测对象的所述指示灯的属性信息，确定所述待检测对象的行驶状态信息。
114.一种可选的实施方式中，所述检测模块92在对所述待检测图像进行目标检测，确
定所述待检测图像中的待检测对象的指示灯的属性信息时，用于：对所述待检测图像进行特征提取，生成所述待检测对象的属性特征数据和检测框数据；其中，所述属性特征数据包括：包含指示灯的类型特征的第一属性特征数据、和包含亮灭状态特征的第二属性特征数据；所述检测框数据包括：与所述第一属性特征数据匹配的第一检测框数据、和与所述第二属性特征数据匹配的第二检测框数据；基于所述属性特征数据和所述检测框数据，确定所述待检测对象的指示灯的属性信息。
115.一种可选的实施方式中，所述检测模块92在基于所述属性特征数据和所述检测框数据，确定所述待检测对象的指示灯的属性信息时，用于：基于所述第一属性特征数据和所述第一检测框数据，确定所述待检测对象上至少一个指示灯的第一检测框对应的指示灯的类型信息；以及基于所述第二属性特征数据和所述第二检测框数据，确定所述待检测对象上至少一个指示灯的第二检测框对应的指示灯的亮灭状态信息；基于所述第一检测框数据指示的第一位置信息、所述第一检测框对应的指示灯的类型信息、所述第二检测框数据指示的第二位置信息、和所述第二检测框对应的指示灯的亮灭状态信息，确定所述待检测对象的指示灯的属性信息。
116.一种可选的实施方式中，所述检测模块92在基于所述第一检测框数据指示的第一位置信息、所述第一检测框对应的指示灯的类型信息、所述第二检测框数据指示的第二位置信息、和所述第二检测框对应的指示灯的亮灭状态信息，确定所述待检测对象的指示灯的属性信息时，用于：基于所述第一位置信息和所述第二位置信息，确定与每个所述第一检测框匹配的第二检测框；基于所述第一检测框对应的指示灯的类型信息、和与所述第一检测框匹配的所述第二检测框对应的指示灯的亮灭状态信息，确定所述待检测对象的指示灯的属性信息。
117.一种可选的实施方式中，所述检测模块92在基于所述第一位置信息和所述第二位置信息，确定与每个所述第一检测框匹配的第二检测框时，用于：针对每个第一检测框，基于该第一检测框对应的第一位置信息、和各个所述第二检测框对应的第二位置信息，确定该第一检测框与每个所述第二检测框之间的交并比；基于该第一检测框与每个所述第二检测框之间的交并比，确定与该第一检测框匹配的第二检测框。
118.一种可选的实施方式中，所述确定模块93在基于所述待检测对象的所述指示灯的属性信息，确定所述待检测对象的行驶状态信息时，用于：基于所述待检测对象的所述指示灯的属性信息、以及预设行驶状态与指示灯的属性信息之间的目标映射关系，确定所述待检测对象的行驶状态信息；其中，所述预设行驶状态包括以下一种或多种：左转状态、右转状态、紧急闪烁状态、制动状态、正常行驶状态。
119.一种可选的实施方式中，所述获取模块91在获取待检测图像时，用于：获取采集的目标图像；对所述目标图像进行对象检测，确定所述目标图像中包括的每个待检测对象的检测框信息；基于所述检测框信息和所述目标图像，确定所述每个待检测对象的待检测图像。
120.一种可选的实施方式中，在确定所述待检测对象的行驶状态信息之后，所述确定模块93还用于：基于所述待检测对象的行驶状态信息，确定所述待检测对象的预测结果数据；其中，所述预测结果数据包括以下至少一种：行驶轨迹数据、待检测对象与其他对象之间的行为交互数据、行驶路径数据。
121.一种可选的实施方式中，利用训练得到的目标神经网络确定所述待检测对象的行驶状态信息；所述目标神经网络为利用从构建的目标数据集中获取的训练样本训练得到的；图像检测装置还包括用于构建所述目标数据集的样本构建模块，用于：获取多个样本图像；其中，所述多个样本图像包括不同对象属性下的样本对象；所述对象属性包括：位姿数据、指示灯亮灭模式、对象类型中的至少一种；从每个所述样本图像中，确定包括一个样本对象的局部样本图像；接收每个所述局部样本图像的标注数据；其中，所述标注数据包括：指示灯的亮灭状态标注数据、指示灯类型标注数据、样本对象的行驶状态标注数据、指示灯的样本框标注数据；基于各个包括所述标注数据的所述局部样本图像，生成所述目标数据集。
122.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
123.本公开实施例还提供了一种计算机设备，如图10所示，为本公开实施例提供的计算机设备结构示意图，包括：
124.处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：
125.获取待检测图像；对所述待检测图像进行目标检测，确定所述待检测图像中的待检测对象的指示灯的属性信息；其中，所述指示灯的属性信息包括指示灯的类型信息和亮灭状态信息；基于所述待检测对象的所述指示灯的属性信息，确定所述待检测对象的行驶状态信息。
126.上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。
127.上述指令的具体执行过程可以参考本公开实施例中所述的图像检测方法的步骤，此处不再赘述。
128.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
129.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
130.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
131.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功
能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
132.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
133.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
134.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
135.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。