交通信号灯感知方法、装置、设备及存储介质与流程

1.本技术实施例涉及计算机技术领域，尤其涉及一种交通信号灯感知方法、装置、设备及存储介质。


背景技术：

2.交通信号灯感知，是指精确识别出路口交通信号灯的颜色及控制方向，其在自动驾驶等领域是一项非常重要的任务。
3.相关技术中，进行交通信号灯感知的常用方案为：获取包含交通信号灯的图像数据，通过目标检测模型，对上述图像数据进行检测，从而得到对应的感知结果。
4.上述方案，对图像内容的依赖程度较高，方案的稳定性较差。例如：当交通信号灯被大车等周围其他物体遮挡，或者，降雨天气等导致交通信号灯在图像中不可见时，上述方案无法获得感知结果。


技术实现要素：

5.有鉴于此，本技术实施例提供一种交通信号灯感知方法、装置、设备及存储介质，以至少部分解决上述问题。
6.根据本技术实施例的第一方面，提供了一种交通信号灯感知方法，包括：获取目标位置的多种目标数据，所述多种目标数据包括以下至少两种：图像数据、雷达数据、地图数据；分别对各种目标数据进行特征提取，得到各种目标数据对应的目标特征向量；基于交叉注意力机制，对各种目标特征向量进行融合处理，得到融合特征向量；基于所述融合特征向量进行分类预测，得到所述目标位置的交通信号灯感知结果。
7.根据本技术实施例的第二方面，提供了一种交通信号灯感知装置，包括：目标数据获取模块，用于获取目标位置的多种目标数据，所述多种目标数据包括以下至少两种：图像数据、雷达数据、地图数据；目标特征向量得到模块，用于分别对各种目标数据进行特征提取，得到各种目标数据对应的目标特征向量；融合模块，用于基于交叉注意力机制，对各种目标特征向量进行融合处理，得到融合特征向量；结果得到模块，基于所述融合特征向量进行分类预测，得到所述目标位置的交通信号灯感知结果。
8.根据本技术实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的交通信号灯感知方法对应的操作。
9.根据本技术实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的交通信号灯感知方法。
10.本技术实施例提供的交通信号灯感知方法、装置、设备及存储介质，获取目标位置的多种不同目标数据并得到各种目标数据对应的目标特征向量，然后对各目标特征向量进行了基于交叉注意力机制的特征融合，在交通信号灯感知时，是基于融合特征向量进行的。也就是说，本技术实施例中，是基于目标位置周围环境的多种不同模态数据，进行垮模态数据融合及综合分析推理，从而得到最终的感知结果的。因此，与仅依赖图像数据这一单一模态数据进行的感知方式相比，本技术实施例的感知稳定性及准确性均较高。
附图说明
11.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
12.图1为根据本技术实施例一的一种交通信号灯感知方法的步骤流程图；图2为图1所示实施例中的一种场景示例的示意图；图3为根据本技术实施例二的一种交通信号灯感知方法的步骤流程图；图4为图3所示实施例中的一种场景示例的示意图；图5为根据本技术实施例三的一种交通信号灯感知装置的结构框图；图6为根据本技术实施例四的一种电子设备的结构示意图。
具体实施方式
13.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
14.下面结合本技术实施例附图进一步说明本技术实施例具体实现。
15.实施例一参照图1，图1为根据本技术实施例一的一种交通信号灯感知方法的步骤流程图。具体地，本实施例提供的交通信号灯感知方法包括以下步骤：步骤102，获取目标位置的多种目标数据，多种目标数据包括以下至少两种：图像数据、雷达数据、地图数据。
16.具体地，目标位置可以为待进行交通信号灯感知的目标路口或者目标路口周围的某一具体位置。图像数据可以为通过相机采集到的目标位置的图像等；雷达数据可以为通过激光雷达采集到的目标位置的点云数据，或者通过毫米波雷达等采集到的目标位置的三维数据，等等；地图数据可以为包含有目标位置车道线、人行横道、绿化带等实例对象的位置、形状以及尺寸等信息的数据。
17.本技术实施例中，多种目标数据具体可以包括：图像数据、雷达数据，或者，地图数据中的任意两种，也可以上述三种数据均包含。本领域技术人员可以理解，获取的目标数据
的种类越多，最终得到的交通信号灯感知结果的准确性以及稳定性也越高。
18.步骤104，分别对各种目标数据进行特征提取，得到各种目标数据对应的目标特征向量。
19.具体地，就图像数据而言，可以基于预先训练完成的特征提取模型，对图像数据进行特征提取，得到图像数据对应的目标特征向量；就雷达数据而言，可以通过预先训练完成的三维目标检测模型对雷达数据进行检测，得到目标检测结果；基于目标检测结果，得到雷达数据对应的目标特征向量；就地图数据而言，可以在获取到地图数据之后，对地图数据进行矢量化表示，得到地图数据对应的目标特征向量，例如：就目标位置的某个具体车道线这一地图实例对象而言，可以获取该车道线上的多个采样点的位置信息，然后以每两个相邻采样点分别作为起点和终点生成向量，该向量即为该车道线实例对象的特征向量，表征该相邻两采样点之间的车道线实例对象。
20.步骤106，基于交叉注意力机制，对各种目标特征向量进行融合处理，得到融合特征向量。
21.具体地，针对每种目标数据对应的目标特征向量，可以参考其余目标数据对应的目标特征向量与该种目标数据对应的目标特征向量之间的相似程度，对该种目标数据对应的目标特征向量进行调整，从而使得调整之后的目标特征向量重点表征与其余目标特征向量相关的信息，而忽略掉与其余目标特征向量关联度较低的信息，进而，再对所有调整之后的目标特征向量进行融合处理，从而得到融合特征向量。
22.步骤108，基于融合特征向量进行分类预测，得到目标位置的交通信号灯感知结果。
23.具体地，本技术实施例最终得到的交通信号灯感知结果，可以包括目标位置：直行方向、左转方向以及右转方向的交通信号灯颜色。
24.可以采用现有的任意分类预测方法，基于融合特征向量得到最终的感知结果。例如：通过用于进行分类预测的分类预测模型得到感知结果，等等。当采用分类预测模型进行分类预测时，该分类预测模型可以为具有3个分支的分类器结构，每个分支均用于输出一个二分类的分类结果，以预测直行、左转或右转三者中一个方向上的交通信号灯颜色。另外，本技术实施例中，对于分类预测模型的具体结构也不做限定，例如：可以采用结构较为简单的多层感知机模型，等等。
25.参见图2，图2为本技术实施例一对应的场景示意图，以下，将参考图2所示的示意图，以一个具体场景示例，对本技术实施例进行说明：获取目标位置的图像数据、雷达点云数据以及地图数据共三种目标数据；针对目标位置的上述图像数据，进行特征提取，得到对应的目标特征向量1；针对目标位置的雷达点云数据，对其进行3d目标检测，得到位于目标位置的3个目标，例如：行人、车辆1和车辆2（本技术实施例中可以根据实际需要预先设定可以检测出的目标的种类，本技术实施例中，对于可检测出的预设目标的种类数量以及具体内容不做限定，如：可检测出的预设目标可以包含3种，分别为：行人、车辆以及骑车人，等。图2中仅以雷达数据中包含3个预设目标进行举例，并不构成对本技术实施例的限定），每个目标对应一个目标特征向量（用于表征该目标的类型、位置以及形状等特征），图2中的目标特征向量2、目标特征向量3及目标特征向量4即为雷达数据对应的目标特征向量；针对目标位置的地图数据（如主要用于自动驾驶的
高精度地图数据），可以进行矢量化表示，得到对应的目标特征向量，其中，每个目标特征向量用于表征地图中一个实例对象的特征信息，假设图2地图数据中包含4个实例对象，分别为：车道线1、车道线2、车道线3以及人行横道，对应地，目标特征向量5表征车道线1的特征信息、目标特征向量6表征车道线2的特征信息、目标特征向量7表征车道线3的特征信息、目标特征向量8表征人行横道的特征信息，目标特征向量5-8即为地图数据对应的目标特征向量；在分别得到三种目标数据对应的目标特征向量之后，可以基于交叉注意力机制，对上述目标特征向量进行融合处理，得到融合特征向量，进而基于融合特征向量进行分类预测，得到交通信号灯感知结果：直行、左转以及右转三个方向上分别对应的交通信号灯信息，具体地，如：直行、左转以及右转三个方向上分别对应的交通信号灯的颜色。
26.根据本技术实施例提供的交通信号灯感知方法，获取目标位置的多种不同目标数据并得到各种目标数据对应的目标特征向量，然后对各目标特征向量进行了基于交叉注意力机制的特征融合，在交通信号灯感知时，是基于融合特征向量进行的。也就是说，本技术实施例中，是基于目标位置周围环境的多种不同模态数据，进行跨模态数据融合及综合分析推理，从而得到最终的感知结果的。因此，与仅依赖图像数据这一单一模态数据进行的感知方式相比，本技术实施例的感知稳定性及准确性均较高。
27.本实施例的交通信号灯感知方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、pc机等。
28.实施例二参照图3，图3为根据本技术实施例二的一种交通信号灯感知方法的步骤流程图。具体地，本实施例提供的交通信号灯感知方法包括以下步骤：步骤302，获取目标位置的多种目标数据，多种目标数据包括以下至少两种：图像数据、雷达数据、地图数据。
29.具体地，本技术实施例中，针对图像数据这一目标数据，可以同时获取多帧连续图像数据；对于雷达数据这一目标数据，也可以同时获取多帧连续雷达数据。例如：可以获取当前时刻之前，目标位置的预设数量帧的连续图像数据或者雷达数据。
30.图像数据可以为通过相机采集到的目标位置的图像等；雷达数据可以为通过激光雷达采集到的目标位置的点云数据，或者通过毫米波雷达等采集到的目标位置的三维数据，等等；地图数据可以为包含有目标位置车道线、人行横道、绿化带等实例对象的位置、形状以及尺寸等信息的数据。
31.本技术实施例中，多种目标数据具体可以包括：图像数据、雷达数据，或者，地图数据中的任意两种，也可以上述三种数据均包含。本领域技术人员可以理解，获取的目标数据的种类越多，最终得到的交通信号灯感知结果的准确性以及稳定性也越高。
32.步骤304，针对每种目标数据进行特征提取，得到该种目标数据对应的特征序列，特征序列中包含多种初始特征向量。
33.其中，对于图像数据，每种初始特征向量表征多帧连续图像数据中的一帧图像数据所包含的特征信息；对于雷达数据，每种初始特征向量表征多帧连续雷达数据中的一帧雷达数据所包含的特征信息；对于地图数据，多种初始特征向量表征至少一个地图实例对象的特征信息。
34.具体地，对于图像数据，特征序列中包含的初始特征向量的种类数，与图像数据的
帧数相同，一种初始特征向量对应一帧图像数据，用于表征该帧图像数据中包含的特征信息，例如，当图像数据共3帧时，则对应的初始特征向量也为3种，每种初始特征向量为对一帧图像数据进行特征提取之后得到的特征向量；同样地，对于雷达数据，特征序列中包含的初始特征向量的种类数，与雷达数据的帧数相同，一种初始特征向量对应一帧雷达数据，用于表征该帧雷达数据中包含的特征信息，例如，当雷达数据共3帧时，则对应的初始特征向量也为3种，每种初始特征向量为对一帧雷达数据进行特征提取之后得到的特征向量。
35.对于地图数据，对其进行矢量化表示之后，可以得到包含多种初始特征向量的特征序列，上述多种初始特征向量用于表征地图中地图实例对象（如车道线、人行横道、绿化带，等等）的特征信息，例如：对于某条长度为200米的车道线而言，其前100米的车道线部分可以通过第一初始特征向量表示，其后100米的车道线部分可以通过第二初始特征限量表示，其中，第一初始特征向量为基于前100米车道线部分的起始点以及终止点的坐标位置进行矢量化表示得到的；第二初始特征向量为基于后100米车道线部分的起始点以及终止点的坐标位置进行矢量化表示得到的。
36.步骤306，基于自注意力机制，对每种目标数据对应特征序列中的各初始特征向量进行特征融合，得到每种目标数据对应的目标特征向量。
37.具体地，若目标数据为图像数据或者雷达数据，则基于自注意力机制，对目标数据对应特征序列中的各初始特征向量进行特征融合，得到对应的目标特征向量的过程，包括：从目标数据对应特征序列中的各种初始特征向量中选择一种初始特征向量，作为基准初始向量；基于基准初始向量与其余初始特征向量的关联度，计算其余初始特征向量的注意力值；基于其余初始特征向量的注意力值，更新基准初始向量，得到目标数据对应的目标特征向量。
38.基准初始向量与其余初始特征向量的关联度表征基准初始向量与其余初始特征向量之间的关联程度。在对基准初始向量记性更新时，可以通过注意力权重表征基准初始向量与其余初始特征向量之间的关联程度，基准初始向量与其余初始特征向量之间的关联程度越高，则在对基准初始向量进行更新时，上述其余初始特征向量的注意力权重越大，反之，基准初始向量与其余初始特征向量之间的关联程度越低，则上述其余初始特征向量的注意力权重越小。上述注意力权重可以采用现有的注意力机制（attention方式）计算得到。
39.具体地，基于基准初始向量与其余初始特征向量的关联度，计算其余初始特征向量的注意力值，具体可以包括：可以采用注意力机制计算其余初始特征向量的注意力权重，进而将上述注意力权重与其余初始特征向量的乘积作为其余初始特征向量的注意力值。
40.进一步地，在多帧连续图像数据或者雷达数据中，数据的时间戳越晚，其包含的特征信息的重要性越高，因此，为了使得最终得到的目标数据对应的目标特征向量能够更好地表征目标数据中的特征信息，在其中一些实施例中，若目标数据为图像数据或者雷达数据，则可以：从目标数据对应特征序列中的各种初始特征向量中，选择时间戳最晚的一帧图像数据或者雷达数据对应的初始特征向量，作为基准初始向量，以基于其余初始特征向量的注意力值，更新该基准初始向量，得到目标数据对应的目标特征向量。
41.若目标数据为地图数据，则基于自注意力机制，对目标数据对应特征序列中的各初始特征向量进行特征融合，得到对应的目标特征向量的过程，包括：
针对表征每个地图实例对象特征信息的多种初始特征向量，基于自注意力机制进行特征融合，得到每个地图实例对象的多种自更新特征向量；对每个地图实例对象的多种自更新特征向量进行最大池化操作，得到目标数据的目标特征向量。
42.具体地，可以通过如下方式得到每个地图实例对象的多种自更新特征向量：对于地图实例对象中的每种初始特征向量，基于该种初始特征向量与其余种类初始特征向量的关联度，计算其余初始特征向量的注意力值；基于其余种类初始特征向量的注意力值，更新该种初始特征向量，得到自更新特征向量。
43.例如：假设某个地图数据中仅包含一个地图实例对象：某个车道线，该车道线对应的初始特征向量分别为初始特征向量1和初始特征向量2，则该地图数据的目标特征向量的得到过程可以包括：对于初始特征向量1，基于该种初始特征向量1与初始特征向量2的关联度（注意力权重），计算初始特征向量2的注意力值；基于初始特征向量2的注意力值，更新初始特征向量1，得到初始特征向量1对应的自更新特征向量1；同理，对于初始特征向量2，基于该种初始特征向量2与初始特征向量1的关联度（注意力权重），计算初始特征向量1的注意力值；基于初始特征向量1的注意力值，更新初始特征向量2，得到初始特征向量2对应的自更新特征向量2；再对自更新特征向量1和自更新特征向量2进行最大池化操作（分别取各自更新特征向量同一位置处的最大元素，作为目标特征向量对应位置的元素值），得到目标数据（也就是车道线）的目标特征向量。
44.步骤308，针对每种目标特征向量，基于该种目标特征向量与其余种类目标特征向量的关联度，计算其余种类目标特征向量的注意力值。
45.该种目标特征向量与其余种类目标特征向量的关联度，表征该种目标特征向量与其余种类目标特征向量之间的关联程度。在计算其余种类目标特征向量的注意力值时，可以通过注意力权重表征该种目标特征向量与其余种类目标特征向量之间的关联程度，该种目标特征向量与其余种类目标特征向量之间的关联程度越高，则上述其余种类目标特征向量的注意力权重越大，反之，该种目标特征向量与其余种类目标特征向量之间的关联程度越低，则上述其余种类目标特征向量的注意力权重越小。上述注意力权重也可以采用现有的注意力机制（attention方式）计算得到。
46.具体地，针对每个其余种类的目标特征向量，可以计算该其余种类的目标特征向量与上述目标特征向量之间的关联度（注意力权重），然后将该关联度（注意力权重）与该其余种类的目标特征向量的乘积作为该其余种类的目标特征向量的注意力值。
47.例如：针对目标特征向量1和另一种目标特征向量2而言，计算目标特征向量2的注意力值的过程包括：先计算目标特征向量1和目标特征向量2之间的关联度（注意力权重），再将该关联度（注意力权重）与目标特征向量2的乘积作为目标特征向量2的注意力值。
48.步骤310，基于其余种类目标特征向量的注意力值，更新该种目标特征向量，得到更新后目标向量。之后，确定是否达到预设的更新停止条件，若否，将更新后目标向量作为新的目标特征向量，并返回执行步骤308；若是，执行步骤312。
49.具体地，针对每种目标特征向量，在分别得到其余种类目标特征向量的注意力值之后，可以将该种目标特征向量与各其余种类目标特征向量的注意力值之和，作为该种目标特征向量对应的更新后目标向量。
50.另外，本技术实施例中，更新停止条件可以根据实际需要自定义设定，此处对于更新停止条件的具体内容不做限定。例如：更新停止条件可以为当得到更新后目标向量的次数达到预设数量；更新停止条件也可以为前后两次更新后目标向量之间的关联度（注意力权重）大于预设关联度阈值（注意力权重阈值），等等。
51.步骤312，对各种更新后目标向量进行融合处理，得到融合特征向量。
52.本技术实施例中，对于具体的融合处理方法不作限定，例如：可以直接将各种更新后目标向量之和作为融合特征向量；也可以分别为每种更新后目标向量设置权重值，再基于上述设置的权重值，对各种更新后目标向量进行加权求和，得到融合特征向量；还可以对各种更新后目标向量进行最大池化操作，得到融合特征向量，等等。
53.步骤314，基于融合特征向量进行分类预测，得到目标位置的交通信号灯感知结果。
54.具体地，本技术实施例最终得到的交通信号灯感知结果，可以包括目标位置：直行方向、左转方向以及右转方向的交通信号灯信息，具体地，如直行方向、左转方向以及右转方向的交通信号灯颜色。
55.可以采用现有的任意分类预测方法，基于融合特征向量得到最终的感知结果。例如：通过用于进行分类预测的分类预测模型得到感知结果，等等。当采用分类预测模型进行分类预测时，该分类预测模型可以为具有3个分支的分类器结构，每个分支均用于输出一个二分类的分类结果，以预测直行、左转或右转三者中一个方向上的交通信号灯颜色。另外，本技术实施例中，对于分类预测模型的具体结构也不做限定，例如：可以采用结构较为简单的多层感知机模型，等等。
56.本技术实施例中，对步骤304中对每种目标数据进行特征提取可以基于特征提取模型进行；步骤306中，基于自注意力机制，对每种目标数据对应特征序列中的各初始特征向量进行特征融合，可以基于自注意力模型（例如：基于自注意力机制的transformer模型等等）进行；步骤308-步骤310，可以基于交叉注意力模型（例如：基于自注意力机制的transformer模型等等）进行；步骤314，可以基于分类预测模型进行。因此，本技术实施例提供的交通信号灯感知方法，在获取到目标数据之后，可以基于一系列的机器学习模型，输出最终的感知结果，也就是说，本技术实施例提供了一种端到端的交通信号灯感知方案，无需进行复杂的后处理操作，因此，方案更加简便、且适用范围更广。
57.参见图4，图4为本技术实施例二对应的场景示意图，以下，将参考图4所示的示意图，以一个具体场景示例，对本技术实施例进行说明：获取目标位置的图像数据、雷达点云数据以及地图数据共三种目标数据，其中，图像数据为连续的3帧：第一帧图像数据、第二帧图像数据以及第三帧图像数据；雷达数据也为连续的3帧：第一帧雷达数据、第二帧雷达数据以及第三帧雷达数据；针对上述3帧图像数据，分别进行特征提取，得到图像数据对应的特征序列（图4图像数据对应的特征序列中，每个空心圆圈表征一帧图像数据对应的一种初始特征向量）；针对上述3帧雷达数据中的每帧雷达数据，分别进行特征提取，得到由各帧雷达数据对应的初始特征数据组成的特征序列（假设雷达数据中共包含3种目标：行人、车辆1以及车辆2，则图4中雷达数据对应的特征序列中，每列的3个实心圆圈表征一帧雷达数据的初始特征向量，1个实心圆圈表征该帧雷达数据中一个目标的初始特征向量；每行的3个实心圆圈表征同一目标在不同雷达数据帧中
的初始特征向量）；针对地图数据，进行特征提取（矢量化表示），得到地图数据对应的多种初始特征向量组成的特征序列（假设地图数据中共包含4种地图实例对象：车道线1、车道线2、车道线3以及人行横道，则图4地图数据对应的特征序列中，每条带箭头的直线（包括实线和虚线），均表征一种初始特征向量，其中，车道线1对应2种初始特征向量、车道线2对应2种初始特征向量、车道线3对应2种初始特征向量、人行横道对应4种初始特征向量）；基于自注意力机制分别对每种目标数据特征序列中的初始特征向量进行特征融合，得到每种目标数据对应的目标特征向量，具体地：对图像数据对应特征序列中的初始特征向量进行特征融合，得到图像数据对应的目标特征向量1；对雷达数据对应特征序列中的初始特征向量进行特征融合（分别对位于同一行的各初始特征向量进行特征融合），得到图像数据对应的目标特征向量2、目标特征向量3以及目标特征向量4；对地图数据对应特征序列中的初始特征向量进行特征融合（分别对同一地图实例对象对应的各初始特征向量进行特征融合），得到地图数据对应的目标特征向量5、目标特征向量6、目标特征向量7以及目标特征向量8；最终，基于交叉注意力机制，对上述目标特征向量1-8进行融合处理，得到融合特征向量，进而基于融合特征向量进行分类预测，得到交通信号灯感知结果：直行、左转以及右转三个方向上分别对应的交通信号灯颜色。
58.本技术实施例提供的交通信号灯感知方法、装置、设备及存储介质，获取目标位置的多种不同目标数据并得到各种目标数据对应的目标特征向量，然后对各目标特征向量进行了基于交叉注意力机制的特征融合，在交通信号灯感知时，是基于融合特征向量进行的。也就是说，本技术实施例中，是基于目标位置周围环境的多种不同模态数据，进行跨模态数据融合及综合分析推理，从而得到最终的感知结果的。因此，与仅依赖图像数据这一单一模态数据进行的感知方式相比，本技术实施例的感知稳定性及准确性均较高。
59.另外，在基于交叉注意力机制，对不同目标数据对应的目标特征向量进行融合之前，先基于自注意力机制，对连续多个图像帧或者雷达帧的各初始特征向量进行了特征融合，对地图数据中不同地图实例对象的各初始特征向量进行了特征融合，从而得到不同目标数据对应的目标特征向量，上述基于自注意力机制进行特征融合操作得到目标特征向量的过程，对图像或雷达序列以及周围环境中的交通参与者的历史状态进行了关联融合，与仅基于单帧图像或雷达数据进行特征提取直接得到目标特征向量的方式相比，目标特征向量包含的信息更加丰富和重要，因此，基于上述目标特征向量进行后续的逻辑推理，最终得到的交通信号灯感知结果的准确性以及稳定性更高。
60.本实施例的交通信号灯感知方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、pc机等。
61.实施例三参照图5，图5为根据本技术实施例三的一种交通信号灯感知装置的结构框图。本技术实施例提供的交通信号灯感知装置包括：目标数据获取模块502，用于获取目标位置的多种目标数据，多种目标数据包括以下至少两种：图像数据、雷达数据、地图数据；目标特征向量得到模块504，用于分别对各种目标数据进行特征提取，得到各种目标数据对应的目标特征向量；融合模块506，用于基于交叉注意力机制，对各种目标特征向量进行融合处理，得
到融合特征向量；结果得到模块508，基于融合特征向量进行分类预测，得到目标位置的交通信号灯感知结果。
62.可选地，在其中一些实施例中，融合模块506，具体用于：针对每种目标特征向量，基于该种目标特征向量与其余种类目标特征向量的关联度，计算其余种类目标特征向量的注意力值；基于其余种类目标特征向量的注意力值，更新该种目标特征向量，得到更新后目标向量；对各种更新后目标向量进行融合处理，得到融合特征向量。
63.可选地，在其中一些实施例中，融合模块506，在执行对各种更新后目标向量进行融合处理，得到融合特征向量之前，还用于：确定是否达到预设的更新停止条件；若否，将更新后目标向量作为新的目标特征向量，并返回针对每种目标特征向量，基于该种目标特征向量与其余种类目标特征向量的关联度，计算其余种类目标特征向量的注意力值的步骤，直至满足更新停止条件。
64.可选地，在其中一些实施例中，融合模块506，在执行对各种更新后目标向量进行融合处理，得到融合特征向量的步骤时，具体用于：对各种更新后目标向量进行最大池化操作，得到融合特征向量。
65.可选地，在其中一些实施例中，目标特征向量得到模块504，具体用于：针对每种目标数据进行特征提取，得到该种目标数据对应的特征序列，特征序列中包含多种初始特征向量；基于自注意力机制，对每种目标数据对应特征序列中的各初始特征向量进行特征融合，得到每种目标数据对应的目标特征向量；其中，对于图像数据，每种初始特征向量表征多帧连续图像数据中的一帧图像数据所包含的特征信息；对于雷达数据，每种初始特征向量表征多帧连续雷达数据中的一帧雷达数据所包含的特征信息；对于地图数据，多种初始特征向量表征至少一个地图实例对象的特征信息。
66.可选地，在其中一些实施例中，若目标数据为图像数据或者雷达数据，目标特征向量得到模块504在执行基于自注意力机制，对目标数据对应特征序列中的各初始特征向量进行特征融合，得到目标数据对应的目标特征向量的步骤时，具体用于：从目标数据对应特征序列中的各种初始特征向量中选择一种初始特征向量，作为基准初始向量；基于基准初始向量与其余初始特征向量的关联度，计算其余初始特征向量的注意力值；基于其余初始特征向量的注意力值，更新基准初始向量，得到目标数据对应的目标特征向量。
67.可选地，在其中一些实施例中，目标特征向量得到模块504在执行从目标数据对应特征序列中的各种初始特征向量中选择一种初始特征向量，作为基准初始向量的步骤时，具体用于：
从目标数据对应特征序列中的各种初始特征向量中，选择时间戳最晚的一帧图像数据或者雷达数据对应的初始特征向量，作为基准初始向量。
68.可选地，在其中一些实施例中，若目标数据为地图数据，目标特征向量得到模块504在执行基于自注意力机制，对目标数据对应特征序列中的各初始特征向量进行特征融合，得到目标数据对应的目标特征向量的步骤时，具体用于：针对表征每个地图实例对象特征信息的多种初始特征向量，基于自注意力机制进行特征融合，得到每个地图实例对象的多种自更新特征向量；对每个地图实例对象的多种自更新特征向量进行最大池化操作，得到目标数据的目标特征向量。
69.可选地，在其中一些实施例中，目标特征向量得到模块504在得到图像数据对应的目标特征向量时，具体用于：基于预先训练完成的特征提取模型，对图像数据进行特征提取，得到图像数据对应的目标特征向量；目标特征向量得到模块504在得到雷达数据对应的目标特征向量时，具体用于：通过预先训练完成的三维目标检测模型对雷达数据进行检测，得到目标检测结果；基于目标检测结果，得到雷达数据对应的目标特征向量；目标特征向量得到模块504在得到地图数据对应的目标特征向量时，具体用于：对地图数据进行矢量化表示，得到地图数据对应的目标特征向量。
70.本技术实施例的交通信号灯感知装置用于实现前述方法实施例一或实施例二中相应的交通信号灯感知方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本技术实施例的交通信号灯感知装置中的各个模块的功能实现均可参照前述方法实施例一或实施例二中的相应部分的描述，在此亦不再赘述。
71.实施例四参照图6，示出了根据本技术实施例四的一种电子设备的结构示意图，本技术具体实施例并不对电子设备的具体实现做限定。
72.如图6所示，该电子设备可以包括：处理器(processor) 602、通信接口(communications interface) 604、存储器(memory) 606、以及通信总线608。
73.其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
74.通信接口604，用于与其它电子设备或服务器进行通信。
75.处理器1202，用于执行程序610，具体可以执行上述交通信号灯感知方法实施例中的相关步骤。
76.具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
77.处理器602可能是cpu，或者是特定集成电路asic（application specific integrated circuit），或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
78.存储器606，用于存放程序610。存储器606可能包含高速ram存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
79.程序610具体可以用于使得处理器602执行以下操作：获取目标位置的多种目标数据，多种目标数据包括以下至少两种：图像数据、雷达数据、地图数据；分别对各种目标数据进行特征提取，得到各种目标数据对应的目标特征向量；基于交叉注意力机制，对各种目标特征向量进行融合处理，得到融合特征向量；基于融合特征向量进行分类预测，得到目标位置的交通信号灯感知结果。
80.程序610中各步骤的具体实现可以参见上述交通信号灯感知方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
81.通过本实施例的电子设备，获取目标位置的多种不同目标数据并得到各种目标数据对应的目标特征向量，然后对各目标特征向量进行了基于交叉注意力机制的特征融合，在交通信号灯感知时，是基于融合特征向量进行的。也就是说，本技术实施例中，是基于目标位置周围环境的多种不同模态数据，进行跨模态数据融合及综合分析推理，从而得到最终的感知结果的。因此，与仅依赖图像数据这一单一模态数据进行的感知方式相比，本技术实施例的感知稳定性及准确性均较高。
82.本技术实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一交通信号灯感知方法对应的操作。
83.需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
84.上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如cd rom、ram、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如asic或fpga）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，ram、rom、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的交通信号灯感知方法。此外，当通用计算机访问用于实现在此示出的交通信号灯感知方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的交通信号灯感知方法的专用计算机。
85.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
86.以上实施方式仅用于说明本技术实施例，而并非对本技术实施例的限制，有关技术领域的普通技术人员，在不脱离本技术实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本技术实施例的范畴，本技术实施例的专利保护范围应由权利要求限定。