交通信号灯的检测方法、训练方法及装置与流程

1.本公开涉及人工智能和图像处理技术，尤其涉及自动驾驶、智能交通、以及深度学习，具体涉及一种交通信号灯的检测方法、训练方法及装置。


背景技术：

2.在自动驾驶技术中，交通信号灯的检测是其重要的技术和内容之一。
3.在一些实施例中，对交通信号灯进行检测，可以得到交通信号灯的二维属性信息，如交通信号灯的二维尺寸等。


技术实现要素：

4.本公开提供了一种用于提高交通信号灯的检测的准确性和可靠性的种交通信号灯的检测方法、训练方法及装置。
5.根据本公开的第一方面，提供了一种交通信号灯的检测方法，包括：
6.对待检测图像进行识别处理，得到所述待检测图像中交通信号灯的二维属性信息和三维属性信息，其中，所述待检测图像是基于所述图像采集装置采集到的；
7.根据所述二维属性信息和所述三维属性信息，确定所述交通信号灯的位姿信息，其中，所述位姿信息包括所述交通信号灯与图像采集装置坐标系的相对位置信息。
8.根据本公开的第二方面，提供了一种交通信号灯识别模型的训练方法，包括：
9.获取样本图像，其中，所述样本图像中包括交通信号灯；
10.预测得到所述交通信号灯的预测二维属性信息和预测三维属性信息，其中，所述预测二维属性信息包括预测二维中心点，所述预测三维属性信息包括：预测表观特征角度和预测三维中心点；
11.根据所述预测二维属性信息和所述预测三维属性信息，训练得到交通信号灯识别模型，其中，所述交通信号灯识别模型用于，识别得到待检测图像中交通信号灯的二维属性信息和三维属性信息。
12.根据本公开的第三方面，提供了一种交通信号灯的检测装置，包括：
13.识别单元，用于对待检测图像进行识别处理，得到所述待检测图像中交通信号灯的二维属性信息和三维属性信息，其中，所述待检测图像是基于所述图像采集装置采集到的；
14.第一确定单元，用于根据所述二维属性信息和所述三维属性信息，确定所述交通信号灯的位姿信息，其中，所述位姿信息包括所述交通信号灯与图像采集装置坐标系的相对位置信息。
15.根据本公开的第四方面，提供了一种交通信号灯识别模型的训练装置，包括：
16.获取单元，用于获取样本图像，其中，所述样本图像中包括交通信号灯；
17.预测单元，用于预测得到所述交通信号灯的预测二维属性信息和预测三维属性信息，其中，所述预测二维属性信息包括预测二维中心点，所述预测三维属性信息包括：预测
表观特征角度和预测三维中心点；
18.训练单元，用于根据所述预测二维属性信息和所述预测三维属性信息，训练得到交通信号灯识别模型，其中，所述交通信号灯识别模型用于，识别得到待检测图像中交通信号灯的二维属性信息和三维属性信息。
19.根据本公开的第五方面，提供了一种电子设备，包括：
20.至少一个处理器；以及
21.与所述至少一个处理器通信连接的存储器；其中，
22.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
23.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面所述的方法。
24.根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
25.根据本公开的第八方面，提供了一种车辆，包括：
26.图像采集装置，用于采集待检测图像；
27.如上第三实施例所述的装置。
28.本实施例提供的交通信号灯的检测方法、训练方法及装置，包括：对待检测图像进行识别处理，得到待检测图像中交通信号灯的二维属性信息和三维属性信息，其中，待检测图像是基于图像采集装置采集到的，根据二维属性信息和三维属性信息，确定交通信号灯的位姿信息，其中，位姿信息包括交通信号灯与图像采集装置坐标系的相对位置信息，通过识别得到交通信号灯的二维属性信息和三维属性信息，以结合二维属性信息和三维属性信息确定位姿信息的技术方案，提高了交通信号灯的检测的多样性和准确性，且由于用于确定位姿信息的内容较为丰富，具有较强的全面性，因此可以使得位姿信息具有较高的准确性和可靠性，从而可以提高车辆行驶的安全性和可靠性。
29.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
30.附图用于更好地理解本方案，不构成对本公开的限定。其中：
31.图1是根据本公开第一实施例的示意图；
32.图2是根据本公开第二实施例的示意图；
33.图3是根据本公开实施例的确定朝向信息的示意图；
34.图4是根据本公开第三实施例的示意图；
35.图5是根据本公开第四实施例的示意图；
36.图6是根据本公开预测原理的示意图；
37.图7是根据本公开第五实施例的示意图；
38.图8是根据本公开第六实施例的示意图；
39.图9是根据本公开第七实施例的示意图；
40.图10是根据本公开第八实施例的示意图；
41.图11是根据本公开第九实施例的示意图；
42.图12是用来实现本公开实施例的交通信号灯的检测方法、交通信号灯识别模型的训练方法的电子设备的框图。
具体实施方式
43.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
44.交通信号灯的检测(或者称为交通信号灯的识别)，是自动驾驶技术中重要技术之一。其中。交通信号灯包括红绿灯。
45.在一些实施例中，交通信号灯的检测方法可以包括：获取待检测图像，待检测图像中包括交通信号灯，基于图像识别技术、神经网络模型技术等对待检测图像中的交通信号灯进行识别处理，得到交通信号灯的二维属性信息。其中，二维属性信息包括二维坐标等。
46.然而，二维信息无法全面地表征交通信号灯的特征，如二维信息无法表征交通信号灯的位姿信息，如深度和朝向等。而相对而言，位姿信息等可以在一定程度上减少交通信号灯的检测对地图信息的依赖，使得交通信号灯的检测方法具有更强的灵活性，且具有更为广泛地场景适用性。
47.本公开提供了经创造性劳动的技术构思：对待检测图像进行识别处理，得到待检测图像中的交通信号灯的二维属性信息和三维属性信息，以结合二维属性信息和三维属性信息，确定交通信号灯的位姿信息，如交通信号灯与图像采集装置坐标系的相对位置信息。
48.基于上述发明构思，本公开提供一种交通信号灯的检测方法、训练方法及装置，应用于人工智能和图像处理技术，尤其涉及自动驾驶、智能交通、以及深度学习，以达到提高交通信号灯的检测有效性和可靠性。
49.图1是根据本公开第一实施例的示意图，如图1所示，本公开实施例的交通信号灯的检测方法，包括：
50.s101：对待检测图像进行识别处理，得到待检测图像中交通信号灯的二维属性信息和三维属性信息。其中，待检测图像是基于图像采集装置采集到的。
51.示例性的，本实施例的执行主体可以为交通信号灯的检测装置(下文简称为检测装置)，检测装置可以为服务器(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等)，也可以为路侧设备，也可以为终端设备(如部署于车辆的车载终端)，也可以为处理器(如部署于车辆的处理器)，还可以为芯片(如部署于车辆的芯片)，等等，本实施例不做限定。
52.其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元rscu)，路侧计算设备连接到服务器，服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信；或者，路
侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。
53.示例性的，车辆包括通信连接的检测装置和图像采集装置，图像采集装置为摄像头、相机等具有图像采集功能的装置。图像采集装置采集到的图像可以称为待检测图像，待检测图像中包括交通信号灯，图像采集装置将待检测图像传输给检测装置。相应的，检测装置获取到待检测图像。
54.交通信号灯的属性信息可以用于描述交通信号灯的特征。交通信号灯的特性可以从二维特征的维度描述，也可以从三维特征的维度描述，相应的，属性信息可以包括二维属性信息和三维属性信息。二维属性信息为从二维特征的维度描述交通信号灯的特征的信息，三维属性信息为从三维特征的维度描述交通信号灯的特征的信息。
55.本实施例对识别处理的方式不做限定，如可以采用神经网络模型的方式实现。
56.s102：根据二维属性信息和三维属性信息，确定交通信号灯的位姿信息。其中，位姿信息包括交通信号灯与图像采集装置坐标系的相对位置信息。
57.示例性的，结合上述分析，二维属性信息为从二维特征的维度描述交通信号灯的特征的信息，三维属性信息为从三维特征的维度描述交通信号灯的特征的信息。
58.相应的，该步骤可以理解为：根据从二维特征的维度描述交通信号灯的特征的信息、以及从三维特征的维度描述交通信号灯的特征的信息，确定交通信号灯与图像采集装置坐标系的相对位置信息。
59.因此，用于确定位姿信息的内容较为丰富，具有较强的全面性，从而可以使得位姿信息具有较高的准确性和可靠性。
60.基于上述分析可知，本公开提供了一种交通信号灯的检测方法，包括：对待检测图像进行识别处理，得到待检测图像中交通信号灯的二维属性信息和三维属性信息，其中，待检测图像是基于图像采集装置采集到的，根据二维属性信息和三维属性信息，确定交通信号灯的位姿信息，其中，位姿信息包括交通信号灯与图像采集装置坐标系的相对位置信息，在本实施例中，通过识别得到交通信号灯的二维属性信息和三维属性信息，以结合二维属性信息和三维属性信息确定位姿信息的技术方案，提高了交通信号灯的检测的多样性和准确性，且由于用于确定位姿信息的内容较为丰富，具有较强的全面性，因此可以使得位姿信息具有较高的准确性和可靠性，从而可以提高车辆行驶的安全性和可靠性。
61.为使读者更加深刻地理解本公开的实现原理，现结合图2对本公开实施例进行更为详细地阐述。其中，图2是根据本公开第二实施例的示意图，如图2所示，本公开实施例的交通信号灯的检测方法，包括：
62.s201：对待检测图像进行识别处理，得到待检测图像中交通信号灯的二维属性信息和三维属性信息。其中，待检测图像是基于图像采集装置采集到的。
63.应该理解的是，为了避免繁琐地陈述，关于本实施例与上述实施例中相同的技术特征，本实施例不再赘述。
64.示例性的，关于s201的实现原理，可以参见s101的描述，此处不再赘述。
65.在一些实施例中，s201可以包括：将待检测图像输入至预先训练得到的交通信号灯识别模型，输出二维属性信息和三维属性信息。
66.其中，交通信号灯识别模型是基于样本图像训练得到的，样本图像中包括交通信
号灯。
67.也就是说，可以通过神经网络模型的方式确定二维属性信息和三维属性信息。
68.示例性的，可以采集样本图像，样本图像为包括交通信号灯的图像，采用样本图像对基础网络模型进行训练，以训练基础网路模型的预测二维属性信息和三维属性信息的能力，得到交通信号灯识别模型。
69.其中，样本图像的数量本实施例不做限定，可以基于需求、历史记录、以及试验等方式确定。
70.例如，针对识别精度要求较高的识别场景，样本图像的数量可以相对较多；反之，针对识别精度要求较低的识别场景，样本图像的数量可以相对较少。
71.同理，本实施例对基础网络模型的类型、结构、以及参数等不做限定，可以基于需求、历史记录、以及试验等方式确定。
72.在本实施例中，通过交通信号灯识别模型的方式进行识别处理，得到二维属性信息和三维属性信息，可以提高识别处理的智能化，且可以提高识别处理的效率和可靠性。
73.在一些实施例中，待检测图像为经过尺寸调整处理、以及4倍(也可以为其他倍数)下采样处理后的图像，以使得待检测图像满足交通信号灯识别模型对输入的尺寸的归一化需求。
74.s202：根据二维属性信息中的二维中心点热力图，确定交通信号灯的二维中心点。
75.示例性的，二维属性信息中包括二维中心点热力图。相应的，该步骤可以理解为：从二维属性信息中提取二维中心点热力图，以基于二维中心点热力图确定交通信号灯的二维中心点。
76.其中，二维中心点热力图用于表征该图中每一个点，为交通信号灯的中心点的概率值。
77.在一些实施例中，s202可以包括如下步骤：
78.第一步骤：根据二维中心点热力图确定各疑似中心点。
79.其中，疑似中心点可以理解为，可能为交通信号灯的中心点的点。
80.第二步骤：对各疑似中心点进行筛选处理，得到二维中心点。
81.示例性的，在确定出各疑似中心点之后，从各疑似中心点中提取相对更有可能为中心点作为二维中心点。
82.在本实施例中，通过“粗筛”得到各疑似中心点，而后在各疑似中心点的基础上进行“细筛”，得到二维中心点，可以使得二维中心点具有较高的准确性和有效性。
83.在一些实施例中，二维中心点热力图用于表征各疑似中心点各自对应的为中心点的概率值；第二步骤可以包括如下子步骤：
84.第一子步骤：根据各疑似中心点各自对应的为中心点的概率值，从各疑似中心点中提取前n个候选中心点，其中，n为大于等于1的正整数。
85.示例性的，各疑似中心点的数量为m个，m≥n。每一疑似中心点具有概率值，从m个概率值中，从高到低依次提取前n个最大的概率值的疑似点，将提取到的疑似点确定为候选中心点。
86.相对而言，疑似点的概率值越大，则疑似点为二维中心点的可能性越高。因此，候选中心点为二维中心点的可能性相对较大。
87.第二子步骤：将提取到的n个候选中心点确定为二维中心点；或者，将提取到的n个候选中心点中概率值大于预设概率阈值的疑似中心点，确定为二维中心点。
88.示例性的，在提取到n个候选中心点之后，至少有两种方式确定二维中心点，一种方式为将n个候选中心点分别确定为二维中心点，另一种方式为将每一候选中心点的概率值与预设概率与之进行比对，如果某候选中心点的概率值大于预设概率阈值，则将该候选中心点确定为二维中心点。
89.同理，预设概率阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。如预设概率阈值可以为0.2。
90.在本实施例中，通过先提取候选中心点，而后采用不同的方式确定二维中心点，可以实现确定二维中心点的多样性和灵活性，且可以使得二维中心点具有较高的有效性和可靠性。
91.s203：根据二维中心点、三维属性信息中与二维中心点对应的三维属性信息、以及图像采集装置的内参，确定位姿信息中的朝向信息。
92.其中，朝向信息表征交通信号灯与图像采集装置坐标系的纵轴的夹角。
93.若图像采集装置为摄像头，则内参为摄像头的内参，如摄像头的焦距和视场角等。
94.例如，可以基于式1计算得到朝向信息z，式1：
[0095][0096]
其中，x＝z(x-u)/f
x
，y＝z(y-v)/fy，x，y为二维中心点的参数值(如二维中心点的坐标)，x，y为三维属性信息中与二维中心点对应的三维属性信息(如三维中心点的部分坐标)，f
x
，fy，u，v为内参(如内参矩阵)。
[0097]
示例性的，三维属性信息中包括：与二维中心点对应的三维属性信息，还可以包括其他的三维属性信息。相应的，该步骤可以理解为：可以从三维属性信息中，提取与二维中心点对应的三维属性信息，以结合该三维属性信息、内参确定交通信号灯与图像采集装置坐标系的纵轴的夹角(即朝向信息)。
[0098]
在本实施例中，通过确定二维中心点，以结合三维属性信息中的与该二维中心点对应的三维属性信息、以及内参，确定朝向信息，可以使得朝向信息既强关联于交通信号灯的二维属性信息，又强关联于交通信号灯的三维属性信息，即使得从较为丰富和全面的维度确定朝向信息，从而提高确定出的朝向的有效性和可靠性，进而提高对交通信号灯的检测的有效性和可靠性。
[0099]
在一些实施例中，结合上述分析可知，待识别图像为经尺寸调整处理、以及4倍下采样处理后的图像，相应的，在预测得到二维属性信息和三维属性信息之后，可以对二维属性信息和三维属性信息进行尺寸调整处理。
[0100]
在一些实施例中，s203可以包括如下步骤：
[0101]
第一步骤：根据二维中心点和内参，计算得到交通信号灯在图像坐标系下的位置角度。
[0102]
其中，待检测图像所处的坐标系为图像坐标系，位置角度可以理解为交通信号灯在图像坐标系下的位置的角度。或者，相对而言，位置角度可以理解为从二维的维度计算得
到的交通信号灯所处位置的角度。
[0103]
关于位置角度的计算原理，本实施例不做限定。例如，可以采用相关技术中的坐标转换的计算原理实现，此处不再赘述。
[0104]
第二步骤：根据位置角度、三维属性信息中与二维中心点对应的三维属性信息，计算得到朝向信息。
[0105]
在本实施例中，位置角度可以理解为从二维的维度确定出的交通信号灯的位置的角度，通过结合三维属性信息中与二维中心点对应的三维属性信息，相当于结合三维的维度进行计算，以使得朝向信息既可以表征交通信号灯的二维的维度的特征，又可以表征交通信号灯的三维的维度的特征，从而提高朝向信息的有效性和可靠性。
[0106]
在一些实施例中，与二维中心点对应的三维属性信息包括：角度区间和偏移角度；第二步骤可以包括如下子步骤：
[0107]
第一子步骤：根据角度区间和偏移角度，计算得到交通信号灯的表观特征角度。
[0108]
示例性的，可以将图像采集装置可能采集到、且可能被用于控制车辆的行驶的交通信号灯的角度范围划分为多个区间。相应的，在本实施例中，识别得到的与二维中心点对应的三维属性信息可以包括角度区间，如角度范围划分的多个区间中的某一区间。
[0109]
偏移角度可以理解为在角度区间内的偏移角度，以基于角度区间和偏移角度计算得到表观特征角度。
[0110]
例如，若角度区间为第二个角度区间，第二个角度区间为【40，70】度，偏移角度为10度，则表观特征角度＝40度+10度＝50度。
[0111]
其中，表观特征角度可以理解为，以车辆上的用户观看交通信号灯视角为基准，交通信号灯的角度。
[0112]
第二子步骤：将位置角度和表观特征角度的和值确定为朝向信息。
[0113]
示例性的，朝向信息表征的为交通信号灯与图像采集装置坐标系的纵轴的夹角，如图3所示，朝向信息为如图3所示交通信号灯的朝向与图像采集装置坐标系的纵轴(如图3所示的y轴)之间的夹角(如图3所示的ry)，该夹角ry＝位置角度(如图3所示的位置β)+表观特征角度(如图3所示的α)。
[0114]
也就是说，在一些实施例中，可以基于式2计算得到朝向信息ry，式2：
[0115]
ry＝α+β
[0116]
其中，α为表观特征角度，β为位置角度。
[0117]
在本实施例中，通过结合角度区间和偏移角度确定表观特征角度，可以相对精细化地以区间为单位确定表观特征角度，从而使得表观特征角度准确性相对更高，且通过从图像坐标系的视角和用户观看交通信号灯的视角，确定朝向信息，可以提高确定出的朝向信息的有效性和可靠性。
[0118]
s204：根据三维属性信息中的三维中心点、三维属性信息中的深度信息、以及图像采集装置的内参，计算得到位姿信息中的三维中心点在图像采集装置坐标系下的位置信息。
[0119]
示例性的，三维属性信息还包括三维中心点和深度信息，位姿信息包括三维中心点在图像采集装置坐标系下的位置信息。
[0120]
关于根据三维中心点、深度信息、内参，计算得到三维中心点在图像采集装置坐标
系下的位置信息的计算原理，可以参见上述示例中式1的坐标转换计算，此处不再赘述。
[0121]
示例性的，在一些实施例中，位姿信息包括朝向信息，在另一些实施例中，位姿信息包括三维中心点在图像采集装置坐标系下的位置信息，在还一些实施例中，位姿信息包括朝向信息、以及三维中心点在图像采集装置坐标系下的位置信息，以使得位姿信息具有多样性和灵活性，从而提高交通信号灯的检测的多样性、灵活性、以及全面性。
[0122]
图4是根据本公开第三实施例的示意图，如图4所示，本公开实施例的交通信号灯识别模型的训练方法，包括：
[0123]
s401：获取样本图像。其中，样本图像中包括交通信号灯。
[0124]
示例性的，本实施例的执行主体可以为交通信号灯识别模型的训练装置(下文简称为训练装置)，训练装置可以为服务器，也可以为终端设备，也可以为处理器，也可以为芯片，等等，此处不再一一列举。
[0125]
若训练装置为服务器，则训练装置可以为本地服务器，也可以为云端服务器，可以为独立的服务器，也可以为服务器集群，本实施例不做限定。
[0126]
其中，训练装置可以为与检测装置相同的装置，也可以为与检测装置不同的装置。
[0127]
若训练装置为检测装置为不同的装置，则训练装置与检测装置可以通过通信链路连接，在训练装置训练得到交通信号灯识别模型时，通过通信链路将交通信号灯识别模型传输给检测装置。
[0128]
同理，本实施例对样本图像的数量不做限定，可以基于需求、历史记录、以及试验等方式确定。
[0129]
s402：预测得到交通信号灯的预测二维属性信息和预测三维属性信息。其中，预测二维属性信息包括预测二维中心点，预测三维属性信息包括：预测表观特征角度和预测三维中心点。
[0130]
示例性的，可以识别得到样本图像中的交通信号灯的特征图，该特征图用于表征交通信号灯在颜色、纹理、像素、图像坐标等维度的特征。根据特征图预测得到预测二维属性信息和预测三维属性信息。
[0131]
其中，预测二维中心点可以理解为预测得到的样本图像中的交通信号灯的二维维度的中心点。预测三维中心点可以理解为预测得到的样本图像中的交通信号灯的三维维度的中心点。预测表观特征角度可以理解为，以车辆内的用户的视角所观测到的样本图像中的交通信号灯的角度。
[0132]
s403：根据预测二维属性信息和预测三维属性信息，训练得到交通信号灯识别模型。其中，交通信号灯识别模型用于，识别得到待检测图像中交通信号灯的二维属性信息和三维属性信息。
[0133]
示例性的，在本实施例中，相当于基于样本图像训练具有预测交通信号灯的二维中心点、三维中心点、以及表观特征角度的能力的神经网络模型(即交通信号灯识别模型)，以使得交通信号灯识别模型既能识别交通信号灯在二维维度的属性信息，还能识别交通信号灯在三维维度的属性信息，提高交通信号灯识别模型的识别全面性和多样性的技术效果。
[0134]
为使读者更加深刻地理解本公开的实现原理，现结合图5对本公开进行更为详细地阐述。图5是根据本公开第四实施例的示意图，如图5所示，本公开实施例的交通信号灯识
别模型的训练方法，包括：
[0135]
s501：获取样本图像。其中，样本图像中包括交通信号灯。
[0136]
同理，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。
[0137]
示例性的，关于s501的实现原理，可以参见s401的描述，此处不再赘述。
[0138]
s502：预测得到交通信号灯的预测二维属性信息和预测三维属性信息。其中，预测二维属性信息包括预测二维中心点，预测三维属性信息包括：预测表观特征角度和预测三维中心点。
[0139]
关于s502的实现原理，可以参见s402的描述，此处不再赘述。
[0140]
在一些实施例中，预测二维中心点是：根据预测得到的交通信号灯的预测二维中心点热力图确定的。
[0141]
示例性的，在得到交通信号灯的特征图之后，可以基于特征图预测得到预测二维中心点热力图，并根据预测二维中心点热力图，确定预测二维中心点。
[0142]
其中，关于预测二维中心点热力图的描述，可以参见上述实施例中的二维中心点热力图的描述，此处不再赘述。
[0143]
在一些实施例中，在得到样本图像之后，可以对样本图像进行预处理，以得到预处理后的样本图像，并对预处理后的样本图像进行预测，得到预测二维属性信息和预测三维属性信息。
[0144]
示例性的，在获取样本图像之后，可以确定样本图像中的白天场景的第一样本图像、以及夜晚场景的第二样本图像，并采用不同的方式对第一样本图像和第二样本图像进行预处理，得到预处理后的样本图像。
[0145]
以及，s502可以包括：预测得到预处理后的样本图像中交通信号灯的预测二维属性信息和预测三维属性信息。
[0146]
其中，第一样本图像为白天场景下采集到的样本图像，第二样本图像为夜晚场景下采集到的样本图像，通过将两种不同场景下采集到的样本图像进行区分，以采用不同场景各自对应的预处理方式对不同场景下的样本图像进行预处理，可以提高预处理的灵活性和针对性，从而提高预测的有效性和可靠性。
[0147]
在一些实施例中，采用不同的方式对第一样本图像和第二样本图像进行预处理，得到预处理后的样本图像，包括如下步骤：
[0148]
第一步骤：对第一样本图像进行数据增强处理，得到预处理后的第一样本图像。
[0149]
第二步骤：获取第二样本图像中交通信号灯的轮廓和灯晕，对轮廓进行对比度增强处理，对灯晕进行降干扰处理，得到预处理后的第二样本图像。
[0150]
其中，预处理后的样本图像包括：预处理后的第一样本图像和预处理后的第二样本图像。
[0151]
示例性的，针对白天场景的第一样本图像，可以对第一样本图像进行随机裁剪和仿射变换等数据增强处理。
[0152]
针对夜晚场景的第二样本图像，可以对轮廓进行局部自适应直方图均衡化，以增强信号灯的对比度。可以对灯晕做局部伽玛变换，以降低灯晕对预测的影响。
[0153]
在本实施例中，通过上述实施例的预处理，可以使得第一样本图像和第二样本图像中的内容相对更为准确和可靠，从而可以提高预测的有效性和可靠性。
[0154]
s503：构建预测二维中心点、预测表观特征角度、以及预测三维中心点各自对应的损失函数。
[0155]
在一些实施例中，预测表观特征角度是：根据预测得到的交通信号灯的预测角度区间和预测偏移角度确定的。
[0156]
示例性的，结合上述示例，在得到交通信号灯的特征图之后，可以预测得到交通信号灯的预测角度区间和预测偏移角度，并基于预测角度和预测偏移角度确定预测表征特征角度。
[0157]
在一些实施例中，预测表观特征角度对应的损失函数是基于损失函数权重确定的，损失函数权重是基于预测角度区间、以及预设角度划分区间确定的。
[0158]
示例性的，若预设角度划分区间为12，相对而言，考虑到车辆像是的车后方向的交通信号灯可以不关注，如【0，360】度的角度范围内可以仅关注【0，180】度的角度范围内的交通信号灯。因此，可以仅关注前6个区间，不同的区间输确定的损失函数权重不同。
[0159]
示例性的，损失函数权重α＝|bin-3|+1，bin为预测角度区间。
[0160]
s504：根据各自对应的损失函数训练得到交通信号灯识别模型。
[0161]
示例性的，构建预测二维中心点的损失函数，构建预测表观特征角度的损失函数，构建预测三维中心点的损失函数，以结合三个维度的损失函数训练得到交通信号灯识别模型。
[0162]
在本实施例中，通过结合损失函数权重确定预测表观特征角度，考虑了交通信号灯在车辆行驶场景的部署情况，以及车辆关注交通信号灯的情况，从而使得预测表观特征角度具有较高的有效性和可靠性。
[0163]
通过构建不同预测内容各自对应的损失函数，并结合各损失函数迭代优化得到交通信号灯识别模型，可以使得交通信号灯识别模型具有多维度的内容的预测能力，从而提高基于交通信号灯识别模型进行交通信号灯检测时的丰富性和多样性。
[0164]
在一些实施例中，预测二维属性信息还包括预测二维尺寸信息和预测二维中心点偏移量中的至少一种。和/或，
[0165]
预测三维属性信息还包括预测深度信息和预测三维中心点偏移量中的至少一种。
[0166]
示例性的，预测二维属性信息可以包括预测二维尺寸信息，也可以包括预测二维中心点偏移量，也可以包括预测二维尺寸信息和预测二维中心点偏移量。
[0167]
预测三维属性信息可以包括预测深度信息，也可以包括预测三维中心点偏移量，也可以包括预测深度信息和预测三维中心点偏移量。
[0168]
例如，在一种可能实现的方案中，结合图6可知，对样本图像进行特征提取处理，得到样本图像中的交通信号灯的特征图，根据特征图预测得到预测二维属性信息和预测三维属性信息。
[0169]
将样本图像输入至基础网络框架，基本网络框架可以为单阶段的障碍物识别网络框架，如三维目标检测器(centernet3d)。
[0170]
基础网络框架的主干网络(backbone)可以为融合深层网络的深沉聚合网络(deep layer aggregation，dla)，可以基于头(head)部分进行多分支预测。
[0171]
其中，预测二维属性信息可以包括三个维度的内容，分别为：预测二维中心点、预测二维尺寸信息、以及预测二维中心点偏移量。
[0172]
预测三维属性信息可以包括四个维度的内容，分别为：预测表观特征角度、预测三维中心点、预测深度信息、以及预测三维中心点偏移量。
[0173]
相应的，可以构建上述七个维度的内容各自对应的损失函数，并根据七个维度的内容各自对应的损失函数，训练得到交通信号灯识别模型。
[0174]
在本实施例中，尤其当预测二维属性信息包括三个维度的内容，预测三维属性信息包括四个维度的内容，以结合七个维度的内容构建各维度各自对应的损失函数，以根据各损失函数训练得到交通信号灯识别模型时，可以实现从多个维度的内容对交通信号灯识别模型进行训练，从而提高训练的丰富性和多样性，进而提高交通信号灯识别模型的有效性和可靠性。
[0175]
示例性的，用于训练交通信号灯识别模型的预测的内容包括七个维度的内容，构建损失函数可以基于预测的内容和真值实现。
[0176]
示例性的，真值包括二维真值和三维真值，二维真值包括：二维中心点真值、二维尺寸信息真值、以及二维中心点偏移量真值；三维真值包括：表观特征角度真值、三维中心点真值、深度信息真值、以及三维中心点偏移量真值。
[0177]
相应的，在构建损失函数时，可以结合预测的内容和真值实现，如结合预测二维中心点与二维中心点真值构建损失函数；结合预测二维尺寸信息与二维尺寸信息真值构建损失函数；结合预测二维中心点偏移量与二维中心点偏移量真值构建损失函数；结合预测表观特征角度与表观特征角度真值构建损失函数；结合预测三维中心点与三维中心点真值构建损失函数；结合预测深度信息与深度信息真值构建损失函数；结合预测三维中心点偏移量与三维中心点偏移量真值构建损失函数。
[0178]
在一些实施例中，二维真值是通过标注的方式得到的，如对采集到的样本图像进行标注得到二维真值。
[0179]
三维真值可以为对标注有二维真值的样本图像进行去畸变处理，得到标注有二维真值的去畸变处理后的图像，将该图像与高精地图进行匹配处理，从高精地图中获取到的与该图像的二维真值对应的三维真值。
[0180]
在一些实施例中，在匹配处理时，可以基于三维真值中的深度信息真值和角度信息真值对三维真值进行过滤。
[0181]
例如，可以不获取深度信息真值大于预设距离阈值的三维真值，可以不获取角度信息真值小于预设角度阈值的三维真值。
[0182]
同理，预设距离阈值和预设角度阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。
[0183]
例如，预设距离阈值可以为180米。相对而言，距离(即深度信息真值)大于180米的交通信号灯在相机中的成像较小，因此，可以不再标注。
[0184]
交通信号灯与相机的夹角(即角度信息真值)小于预设角度阈值时，相机的视角很难看到交通信号灯的灯面，因此，可以不再标注。
[0185]
在一些实施例中，样本图像具有三维真值，三维真值包括深度真值；预测深度信息是根据深度真值确定的。
[0186]
示例性的，可以通过标注的方式得到样本图像的三维真值，且三维真值包括深度真值，以根据深度真值确定预测深度信息，以提高交通信号灯识别模型的容错率。
[0187]
在一些实施例中，预测深度信息是：根据深度真值确定预测深度信息在预设深度划分区间的目标深度区间，并根据目标深度区间、预设深度划分区间、以及预设深度划分区间的区间个数确定的。
[0188]
同理，区间个数的值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。
[0189]
示例性的，可以基于式3计算得到预测深度信息dc，式3：
[0190][0191]
其中，【d
min
，d
max
】为预设深度划分区间，di为目标深度区间在预设深度划分区间的第几个深度区间，d为区间个数。
[0192]
相对而言，深度信息越大，各深度区间的间距越小，对于区间个数可以采用独热向量进行高斯处理，以提高交通信号灯识别模型的容错率。
[0193]
图7是根据本公开第五实施例的示意图，如图7所示，本公开实施例的交通信号灯的检测装置700，包括：
[0194]
识别单元701，用于对待检测图像进行识别处理，得到待检测图像中交通信号灯的二维属性信息和三维属性信息，其中，待检测图像是基于图像采集装置采集到的。
[0195]
第一确定单元702，用于根据二维属性信息和三维属性信息，确定交通信号灯的位姿信息，其中，位姿信息包括交通信号灯与图像采集装置坐标系的相对位置信息。
[0196]
图8是根据本公开第六实施例的示意图，如图8所示，本公开实施例的交通信号灯的检测装置800，包括：
[0197]
识别单元801，用于对待检测图像进行识别处理，得到待检测图像中交通信号灯的二维属性信息和三维属性信息，其中，待检测图像是基于图像采集装置采集到的。
[0198]
在一些实施例中，识别单元801用于，将待检测图像输入至预先训练得到的交通信号灯识别模型，输出二维属性信息和三维属性信息。
[0199]
其中，交通信号灯识别模型是基于样本图像训练得到，样本图像中包括交通信号灯。
[0200]
第一确定单元802，用于根据二维属性信息和三维属性信息，确定交通信号灯的位姿信息，其中，位姿信息包括交通信号灯与图像采集装置坐标系的相对位置信息。
[0201]
在一些实施例中，交通信号灯与图像采集装置坐标系的相对位置信息为朝向信息，朝向信息表征交通信号灯与图像采集装置坐标系的纵轴的夹角。
[0202]
在一些实施例中，二维属性信息包括二维中心点热力图；结合图8可知，第一确定单元802，包括：
[0203]
第一确定子单元8021，用于根据二维中心点热力图，确定交通信号灯的二维中心点。
[0204]
在一些实施例中，第一确定子单元8021，包括：
[0205]
确定模块，用于根据二维中心点热力图确定各疑似中心点。
[0206]
筛选模块，用于对各疑似中心点进行筛选处理，得到二维中心点。
[0207]
在一些实施例中，二维中心点热力图用于表征各疑似中心点各自对应的为中心点的概率值；筛选模块，包括：
[0208]
提取子模块，用于根据各疑似中心点各自对应的为中心点的概率值，从各疑似中心点中提取前n个候选中心点，其中，n为大于等于1的正整数。
[0209]
第二确定子模块，用于将提取到的n个候选中心点确定为二维中心点；或者，将提取到的n个候选中心点中概率值大于预设概率阈值的疑似中心点，确定为二维中心点。
[0210]
第二确定子单元8022，用于根据二维中心点、三维属性信息中与二维中心点对应的三维属性信息、以及图像采集装置的内参，确定朝向信息。
[0211]
在一些实施例中，第二确定子单元8022，包括：
[0212]
第一计算模块，用于根据二维中心点和内参，计算得到交通信号灯的位置角度。
[0213]
第二计算模块，用于根据位置角度、三维属性信息中与二维中心点对应的三维属性信息，计算得到朝向信息。
[0214]
在一些实施例中，与二维中心点对应的三维属性信息包括：角度区间和偏移角度；第二计算模块，包括：
[0215]
计算子模块，用于根据角度区间和所述偏移角度，计算得到交通信号灯的表观特征角度。
[0216]
第一确定子模块，用于将位置角度和表观特征角度的和值确定为朝向信息。
[0217]
在一些实施例中，三维属性信息包括三维中心点和深度信息；结合图8可知，第一确定单元802，还包括：
[0218]
计算子单元8023，用于根据三维中心点、深度信息、以及图像采集装置的内参，计算得到三维中心点在图像采集装置坐标系下的位置信息。
[0219]
其中，位姿信息包括三维中心点在图像采集装置坐标系下的位置信息。
[0220]
图9是根据本公开第七实施例的示意图，如图9所示，本公开实施例的交通信号灯识别模型的训练装置900，包括：
[0221]
获取单元901，用于获取样本图像，其中，样本图像中包括交通信号灯。
[0222]
预测单元902，用于预测得到交通信号灯的预测二维属性信息和预测三维属性信息，其中，预测二维属性信息包括预测二维中心点，预测三维属性信息包括：预测表观特征角度和预测三维中心点。
[0223]
训练单元903，用于根据预测二维属性信息和预测三维属性信息，训练得到交通信号灯识别模型，其中，交通信号灯识别模型用于，识别得到待检测图像中交通信号灯的二维属性信息和三维属性信息。
[0224]
图10是根据本公开第八实施例的示意图，如图10所示，本公开实施例的交通信号灯识别模型的训练装置1000，包括：
[0225]
获取单元1001，用于获取样本图像，其中，样本图像中包括交通信号灯。
[0226]
预测单元1002，用于预测得到交通信号灯的预测二维属性信息和预测三维属性信息，其中，预测二维属性信息包括预测二维中心点，预测三维属性信息包括：预测表观特征角度和预测三维中心点。
[0227]
训练单元1003，用于根据预测二维属性信息和预测三维属性信息，训练得到交通信号灯识别模型，其中，交通信号灯识别模型用于，识别得到待检测图像中交通信号灯的二维属性信息和三维属性信息。
[0228]
结合图10可知，在一些实施例中，训练单元1003，包括：
[0229]
构建子单元10031，用于构建预测二维中心点、预测表观特征角度、以及预测三维中心点各自对应的损失函数。
[0230]
训练子单元10032，用于根据各自对应的损失函数训练得到交通信号灯识别模型。
[0231]
在一些实施例中，预测表观特征角度是：根据预测得到的交通信号灯的预测角度区间和预测偏移角度确定的。
[0232]
在一些实施例中，预测表观特征角度对应的损失函数是基于损失函数权重确定的，损失函数权重是基于预测角度区间、以及预设角度划分区间确定的。
[0233]
在一些实施例中，预测二维中心点是：根据预测得到的交通信号灯的预测二维中心点热力图确定的。
[0234]
在一些实施例中，预测二维属性信息还包括预测二维尺寸信息和预测二维中心点偏移量中的至少一种；和/或，
[0235]
预测三维属性信息还包括预测深度信息和预测三维中心点偏移量中的至少一种。
[0236]
在一些实施例中，样本图像具有三维真值，三维真值包括深度真值；预测深度信息是根据深度真值确定的。
[0237]
在一些实施例中，预测深度信息是：根据深度真值确定预测深度信息在预设深度划分区间的目标深度区间，并根据目标深度区间、预设深度划分区间、以及预设深度划分区间的区间个数确定的。
[0238]
在一些实施例中，结合图10可知，还包括：
[0239]
第二确定单元1004，用于确定样本图像中的白天场景的第一样本图像、以及夜晚场景的第二样本图像。
[0240]
预处理单元1005，用于采用不同的方式对第一样本图像和第二样本图像进行预处理，得到预处理后的样本图像。
[0241]
以及，预测单元1002用于，预测得到预处理后的样本图像中交通信号灯的预测二维属性信息和预测三维属性信息。
[0242]
在一些实施例中，结合图10可知，预处理单元1005，包括：
[0243]
第一处理子单元10051，用于对第一样本图像进行数据增强处理，得到预处理后的第一样本图像。
[0244]
获取子单元10052，用于获取第二样本图像中交通信号灯的轮廓和灯晕。
[0245]
第二处理子单元10053，用于对轮廓进行对比度增强处理，对灯晕进行降干扰处理，得到预处理后的第二样本图像。
[0246]
其中，预处理后的样本图像包括：预处理后的第一样本图像和预处理后的第二样本图像。
[0247]
在一些实施例中，样本图像具有三维真值，三维真值为对标注有二维真值的样本图像进行去畸变处理，得到标注有二维真值的去畸变处理后的图像，并将标注有二维真值的去畸变处理后的图像、以及高精地图进行匹配处理，从高精地图中获取到的与二维真值对应的三维真值。
[0248]
在一些实施例中，三维真值中包括深度真值，深度真值大于预设距离阈值。和/或，
[0249]
三维真值包括角度信息真值，角度信息大于预设角度阈值，其中述角度真值信息表征交通信号灯与图像采集装置坐标系的夹角。
[0250]
根据本公开实施例的另一个方面，本公开还提供了一种车辆，包括：
[0251]
图像采集装置，用于采集待检测图像。
[0252]
如上任一实施例所述的交通信号灯的检测装置。
[0253]
图11是根据本公开第九实施例的示意图，如图11所示，本公开中的电子设备1100可以包括：处理器1101和存储器1102。
[0254]
存储器1102，用于存储程序；存储器1102，可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)，如静态随机存取存储器(英文：static random-access memory，缩写：sram)，双倍数据率同步动态随机存取存储器(英文：double data rate synchronous dynamic random access memory，缩写：ddr sdram)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器1102用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指令、数据等可以被处理器1101调用。
[0255]
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1102中。并且上述的计算机程序、计算机指据等可以被处理器1101调用。
[0256]
处理器1101，用于执行存储器1102存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
[0257]
具体可以参见前面方法实施例中的相关描述。
[0258]
处理器1101和存储器1102可以是独立结构，也可以是集成在一起的集成结构。当处理器1101和存储器1102是独立结构时，存储器1102、处理器1101可以通过总线1103耦合连接。
[0259]
本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
[0260]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0261]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0262]
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
[0263]
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0264]
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(rom)
1202中的计算机程序或者从存储单元1208加载到随机访问存储器(ram)1203中的计算机程序，来执行各种适当的动作和处理。在ram 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、rom 1202以及ram 1203通过总线1204彼此相连。输入/输出(i/o)接口1205也连接至总线1204。
[0265]
设备1200中的多个部件连接至i/o接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0266]
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如交通信号灯的检测方法、交通信号灯识别模型的训练方法。例如，在一些实施例中，交通信号灯的检测方法、交通信号灯识别模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由rom 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到ram 1203并由计算单元1201执行时，可以执行上文描述的交通信号灯的检测方法、交通信号灯识别模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行交通信号灯的检测方法、交通信号灯识别模型的训练方法。
[0267]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0268]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0269]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom
或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0270]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0271]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0272]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0273]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0274]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。