红绿灯的识别方法、装置、电子设备和计算机存储介质与流程

本申请涉及计算机技术领域，尤其涉及无人驾驶技术领域，具体涉及一种红绿灯的识别方法、装置、电子设备和计算机存储介质。

背景技术：

随着社会和经济的快速发展，无人驾驶车辆越来越受到人们的关注，原因在于无人驾驶车辆能够减少交通事故导致的人员伤亡，并且可以替代驾驶员完成特殊的作业。而在无人驾驶领域，准确识别路口的红绿灯颜色，对于交通安全至关重要。

相关技术中，通常是采用基于深度学习的模型对红绿灯的当前颜色状态进行识别，但是利用模型识别，无法确保每一帧的识别结果都是正确的，从而模型识别结果的准确度无法保证。

技术实现要素：

提供了一种用于跨模态处理方法、装置、电子设备和计算机存储介质。

根据第一方面，提供了一种红绿灯的识别方法，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度，解决现有技术中单纯依靠模型识别的结果，红绿灯识别准确度较低的技术问题。

本申请的第二方面提出一种红绿灯的识别装置。

本申请的第三方面提出一种电子设备。

本申请的第四方面提出一种非临时性计算机可读存储介质。

本申请第一方面实施例提出了一种红绿灯的识别方法，包括：

获取红绿灯当前时刻的当前候选颜色状态；

获取各历史时刻的历史候选颜色状态和对应的识别概率；

根据所述各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态，生成所述红绿灯的颜色状态序列；

根据所述红绿灯的颜色状态序列，确定所述红绿灯的当前颜色状态。

本申请第二方面实施例提出了一种红绿灯的识别装置，包括：

获取模块，用于获取红绿灯当前时刻的当前候选颜色状态，以及获取各历史时刻的历史候选颜色状态和对应的识别概率；

生成模块，还用于根据所述各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态，生成所述红绿灯的颜色状态序列；

确定模块，用于根据所述红绿灯的颜色状态序列，确定所述红绿灯的当前颜色状态。

本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面所述的红绿灯的识别方法。

本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的红绿灯的识别方法。

本申请实施例所提供的技术方案可以包含如下的有益效果：

获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例所提供的一种红绿灯的识别方法的流程示意图；

图2为本申请实施例提供的另一种红绿灯的识别方法的流程示意图；

图3为本申请提供的各历史时刻的候选颜色状态示意图；

图4为本申请提供的各候选路径的示意图；

图5为本申请实施例提供的颜色状态转换矩阵示意图；

图6为本申请实施例提供的又一种红绿灯的识别方法的流程示意图；

图7为本申请实施例提供的再一种红绿灯的识别方法的流程示意图；

图8为本申请实施例提供的一种红绿灯的识别装置的结构示意图；以及

图9为本申请实施例提供的的红绿灯的识别方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本申请实施例的红绿灯的识别方法、装置、电子设备和计算机存储介质。

图1为本申请实施例所提供的一种红绿灯的识别方法的流程示意图。

如图1所示，该方法包括以下步骤：

步骤101，获取红绿灯当前时刻的当前候选颜色状态。

具体地，利用摄像装置获取要识别的红绿灯的当前时刻的图像。

作为一种可能的实现方式，通过隐马尔可夫模型，识别得到当前时刻红绿灯的颜色状态和对应的识别概率，其中，识别概率即为即为识别为当前颜色的置信度，例如，当前识别出的红绿灯的颜色状态为红色，则识别概率为0.5，也就是说识别为红色的置信度为0.5；识别出的红绿灯的颜色状态为绿色，对应的识别概率为0.3；识别出的红绿灯的颜色状态为黄色，对应的识别概率为0.2。

步骤102，获取各历史时刻的历史候选颜色状态和对应的识别概率。

其中，各历史时刻是当前时刻之前的时刻，各历史时刻和当前时刻构成连续的时间序列。

本实施例中历史候选颜色状态和对应的识别概率，是根据当前时刻之前采集到的多个历史图像识别得到的，作为一种可能的实现方式，在当前时刻之前的预设时间段内，按照预设的时间间隔对要识别的红绿灯采集了多帧历史图像，多帧历史图像按照采集的时刻先后顺序，组成对应相应采集时刻的历史图像序列，并输入隐马尔可夫模型，识别得到相应历史图像中红绿灯的不同颜色状态及对应的识别概率。

例如，当前时刻为ti，预设时间段即为ti之前的时段，若预设时间段内采集到4帧历史图像，则4帧历史图像对应的采集时刻即为ti-1，ti-2、ti-3和ti-4，通过隐马尔可夫模型对4帧历史图像进行识别后，得到历史候选颜色状态的时序以及各颜色状态对应的识别概率，例如，历史时刻ti-4，识别出的红绿灯的颜色状态为红色，对应的识别概率为0.5，识别出的红绿灯的颜色状态为绿色，对应的识别概率为0.3，识别出的红绿灯的颜色状态为黄色，对应的识别概率为0.2。

步骤103，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态生成红绿灯的颜色状态序列。

其中，颜色状态序列中的各个元素指示了对应各个历史时刻和当前时刻的红绿灯的颜色状态。

具体地，根据各历史时刻的历史候选颜色状态和当前时刻的候选颜色状态生成多个候选转换路径，根据颜色状态转换矩阵和各历史时刻的历史候选颜色状态对应的识别概率生成多个候选转换路径分别对应的置信度值，根据多个候选转换路径的置信度值确定目标转换路径，根据目标转换路径生成红绿灯的颜色状态序列。

步骤104，根据红绿灯的颜色状态序列，确定红绿灯的当前颜色状态。

具体地，根据确定的红绿灯的颜色状态序列，将颜色状态序列中当前时刻对应的红色灯的颜色确定为当前颜色状态，由于该序列在确定时考虑了红绿灯不同颜色间转换的转换概率以及颜色的识别概率，相比现有技术中将模型输出的识别概率最高的颜色状态，作为当前帧的最终的识别，本申请中基于序列的识别，可靠性更高，提高了红绿灯识别的准确性。

本申请实施例的红绿灯识别方法中，获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度。

基于上一实施例，本实施例提供了另一种红绿灯识别方法，说明了如何根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态确定红绿灯的颜色状态序列，图2为本申请实施例提供的另一种红绿灯识别方法的流程示意图。

如图2所示，该方法可以包括以下步骤：

步骤201，获取红绿灯当前时刻的当前候选颜色状态。

作为一种可能的实现方式，获取红绿灯的当前图像，将当前图像输入隐马尔可夫模型，输出当前时刻红绿灯的颜色状态和对应的识别概率。

其中，红色灯的颜色状态可分为5种，分别为红色、绿色、黄色、黑色和未知色，其中，未知色即为对红绿灯进行识别，而无法识别出颜色，例如，红绿灯被遮挡而无法识别出，则视为未知状态，由于未知状态的情况较少，为了简化，本实施例中除状态转换矩阵以外，均以红绿灯的颜色状态为常见的红色、绿色、黄色和黑色4种颜色状态为例进行说明。

步骤202，获取各历史时刻的历史候选颜色状态和对应的识别概率。

例如，当前时刻为ti，预设时间段即为ti之前的时段，若预设时间段内采集到4帧历史图像，则4帧历史图像对应的采集时刻即为ti-1，ti-2、ti-3和ti-4，通过隐马尔可夫模型对4帧历史图像进行识别后，得到各历史时刻对应的历史候选颜色状态以及各颜色状态对应的识别概率，其中，每一个历史时刻对应的各候选颜色状态的识别概率不同，识别概率的和为1。图3为本申请提供的各历史时刻候选颜色状态示意图，图3中示出了ti-1，ti-2、ti-3和ti-4时刻采集到的历史图像识别得到的对应的历史候选颜色状态时序。

需要理解的是，红绿灯是随时间动态变化的，根据每一时刻采集到的红绿灯的图像，通过模型识别出的可能的颜色状态对应的识别概率可以是不同的，例如，时刻1，识别到的红绿灯为红色状态的识别概率为0.5，下一个时刻2识别到的红绿灯为红色状态的识别概率为0.8。

步骤203，根据各历史时刻的历史候选颜色状态和当前时刻的候选颜色状态生成多个候选转换路径。

本实施例中，各历史时刻和当前时刻组成了一个时间序列，在该时间序列中，前一时刻对应的各颜色状态向下一时刻对应的各颜色状态转换，可以得到从历史时刻到当前时刻的多个候选转换路径，候选转换路径中指示了按照时间顺序不同颜色间的转换过程，由于红绿灯的转换具有固有的规律，只有符合固有规律的颜色转换过程才是具有较高可信度的过程。图4为本申请提供的各候选路径的示意图，图4中示出了每个时刻通过模型识别出的红绿灯的可能的颜色状态，例如，ti-4时刻识别出的可能的颜色包含红色，绿色、黄色和黑色，其中，每一种颜色对应一个识别概率，即置信度，4种颜色的识别概率的和为1。图4中示出了从历史时刻ti-4对应的各颜色状态至当前时刻ti对应的各颜色状态的多种可能的候选转换路径。其中，每一个候选转换路径中包含多个时间节点，每个时间节点对应历史时刻或当前时刻，例如，图4中，粗实线箭头指示的候选路径中，绿色对应的时间节点与历史时刻ti-4对应，黄色对应的时间节点与历史时刻ti对应，此处不一一列举。

需要理解的是，本实施例中仅示意性的列出了5个时刻对应的颜色状态，及对应的多种候选路径，其中，候选路径也仅示意性画出部分，实际计算时会穷举所有可能的候选路径。另外，实际应用中还可以基于更长时段，生成对应的多种候选路径，本实施例中的示例并不构成对本申请的限制。

步骤204，根据颜色状态转换矩阵和识别概率生成多个候选转换路径分别对应的置信度值。

其中，颜色状态转换矩阵包括多个颜色状态，以及每个颜色状态向其他颜色状态转换的转换概率，通过设置颜色状态转换矩阵指示了不同颜色状态间转换的可靠程度。

本实施例中，候选转换路径包括多个时间节点，每个时间节点包括对应颜色状态的识别概率，以及当前时间节点的颜色状态至下一时间节点的颜色状态间的转换概率，其中，多个时间节点与历史时刻或当前时刻相对应。

图5为本申请实施例提供的颜色状态转换矩阵示意图，图中示出了每个颜色状态向其他颜色状态转换的转换概率，具体地，本申请的颜色状态转换矩阵中，将颜色状态设置为5种状态，分别为红色、绿色、黄色、黑色和未知色。本申请中设置相同的颜色状态之间转换的转换概率为1，例如，当前时刻为红色状态，下一时刻认为红色状态的转换率为1，即可靠度为1。设置黑色状态转换为除未知色以外的其他颜色状态的转换概率为0.5，例如，黑色状态转换为红色状态的转换概率为0.5。而对于其它颜色状态转换为未知色状态，因发生的概率较小，例如，因红绿灯被遮挡，而无法识别到红绿灯，因此，将其它颜色状态转换为未知色状态的转换概率设置较低，为0.0005。

具体地，根据颜色状态转换矩阵获取候选转换路径之中每个时间节点的转换概率，根据各历史时刻的历史候选颜色状态和对应的识别概率，获取候选转换路径之中每个时间节点的识别概率，根据每个时间节点的转换概率和识别概率相乘生成每个时间节点的置信度值，根据每个时间节点的置信度值生成候选转换路径的置信度值，通过计算置信度值以确定每个候选转换路径为目标路径的可信度。

例如，以图4中粗实线对应的箭头指示的候选转换路径为例，命名为a候选转换路径，a候选转换路径为绿色-绿色-黄色-红色-红色，根据图5所示颜色状态转换矩阵，确定了a候选转换路径中绿色状态转换为绿色状态的转换概率为1，绿色状态转换为黄色状态的转换概率为1，黄色状态转换为红色状态的转换概率为1，红色状态转换为红色状态的转换概率为1。另外，根据各历史时刻的历史候选颜色状态和对应的识别概率，确定ti-4时刻识别到的绿色状态的识别概率为0.6，确定ti-3时刻识别到的绿色状态的识别概率为0.5，确定ti-2时刻识别到的黄色状态的识别概率为0.7，确定ti-1时刻识别到的红色状态的识别概率为0.6，从而a候选转换路径中，在ti-4时刻的绿色状态对应的时间节点1的置信度z1则为绿色状态的识别概率0.6与绿色状态转换为绿色状态的转换概率1相乘得到，即z1＝0.6*1＝0.6。同理，还可以计算得到a候选转换路径中，在ti-3时刻的绿色状态对应的时间节点2的置信度z2＝0.5*1＝0.5，在ti-2时刻的黄色状态对应的时间节点3的置信度z3＝0.7*1＝0.7，在ti-1时刻的红色状态对应的时间节点4的置信度z4＝0.8*1＝0.8，从而，根据a候选路径中每个时间节点的置信度值，确定a候选转换路径的置信度值za＝z1+z2+z3+z4＝0.6+0.5+0.7+0.8＝2.6。同理，可以计算得出所有可能的转换路径对应的置信度值，原理相同，此处不一一列举。

步骤205，根据多个候选转换路径的置信度值确定目标转换路径，根据目标转换路径生成红绿灯的当前颜色状态序列。

具体地，根据多个候选转换路径的置信度值进行排序，并将置信度值最高的候选转换路径作为目标转换路径，根据目标转换路径生成红绿灯的当前颜色状态序列。

步骤206，根据红绿灯的颜色状态序列，确定红绿灯的当前颜色状态。

具体地，将确定的红绿灯的颜色状态序列中，当前时间节点对应的红绿灯的状态，确定为红绿灯的当前颜色状态。例如，确定的红绿灯的颜色状态序列，即为a候选转换路径对应的颜色状态序列，即绿色-绿色-黄色-红色-红色，从而确定当前时刻ti对应的红绿灯的颜色状态为红色。将确定出的置信度最高的转换路径生成红绿灯的颜色状态序列，由于该目标序列在确定时考虑了红绿灯不同颜色状态间转换的转换概率以及颜色的识别概率，相比现有技术中将模型输出的当前帧识别的识别概率最高的颜色状态，作为最终的识别，本申请中序列的可靠度更高，提高了红绿灯识别的准确性。

本实施例的红绿灯识别方法中，获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度。

基于上述实施例，本实施例提供了又一种红绿灯识别方法，图6为本申请实施例提供的又一种红绿灯的识别方法的流程示意图。

如图6所示，该方法包括以下步骤：

步骤601，获取红绿灯当前时刻的当前候选颜色状态。

步骤602，获取各历史时刻的历史候选颜色状态和对应的识别概率。

步骤603，根据各历史时刻的历史候选颜色状态和当前时刻的候选颜色状态生成多个候选转换路径。

步骤604，根据颜色状态转换矩阵和识别概率生成多个候选转换路径分别对应的置信度值。

步骤605，根据多个候选转换路径的置信度值确定目标转换路径，根据目标转换路径生成红绿灯的颜色状态序列。

具体地，步骤601-步骤605，具体可以参照图2对应实施例中的步骤201-205，原理相同，此处不再赘述。

步骤606，判断红绿灯的颜色状态序列是否包含过渡颜色状态，若是，执行步骤607，若否，执行步骤608。

实际场景中，当从多个转换路径中确定一个置信度最高的红绿灯颜色状态序列后，该颜色状态序列中会有黑色状态，黑色状态为中间过渡颜色，而在实际的驾驶场景中，具有实际行驶指示意义的颜色仅为红色、黄色和绿色，因此，在获取红绿灯的颜色状态序列后，需要判断颜色状态序列中是否包含黑色的中间过渡色，并在确定包含中间过渡色时，执行步骤607，以将颜色状态序列中黑色的中间过渡颜色平滑处理掉，也就是将黑色状态从颜色状态序列中删除，仅保留具有实际指示意义的颜色，确保输出的颜色状态序列具有连续性和可识别性，不会给驾驶员带来困扰。

步骤607，对颜色状态序列进行平滑处理以更新红绿灯的颜色状态序列。

具体地，如果确定获取到的最终的颜色状态序列中，包含过渡颜色状态，即黑色，则获取预设的平滑时间窗口，获取平滑时间窗口之中各个时间节点的颜色状态，以及根据平滑时间窗口之中各个时间节点的颜色状态，选择数量最多的非过渡颜色状态作为更新后的颜色状态序列。

例如，一个红绿灯实际的状态是在频闪，即获取到的颜色状态序列则可能为绿-黑-绿-黑-绿-黑，因此，我们选择将黑色这种中间的过渡状态平滑掉。在一个预设的平滑时间窗口之内进行投票，选择非黑数量最多的颜色作为平滑后的颜色，即将黑色平滑掉，确保输出的颜色状态序列是连续的绿色，增强可识别性。

步骤608，显示红绿灯的颜色状态序列。

具体地，如果当前颜色状态不包含过渡颜色状态，则可以在驾驶员的显示装置上直接显示确定的红绿灯的颜色状态序列。

步骤609，根据红绿灯的颜色状态序列，确定红绿灯的当前颜色状态。

具体地，将平滑处理后的红绿灯的颜色状态序列中，当前时刻对应的节点指示的红绿灯的颜色作为红绿灯的当前颜色状态，作为一种可能的实现方式，可以直接输出当前的颜色状态，也可以输出整个颜色状态序列，在序列中通过加粗，或高亮的方式，显示当前颜色状态。

步骤610，根据目标转换路径获取处于闪烁状态的红绿灯，并进行报警。

具体地，根据目标转换路径生成红绿灯的颜色状态序列，对颜色状态序列中的颜色状态进行统计，以判断是否处于闪烁的状态，例如，黄色闪烁状态或黑色闪烁状态，若颜色状态序列为黄-黑-黄-黑-黄-···的交替状态，则认为是黄色闪烁状态，若颜色状态序列为黑-黑-黑-黑-···，则认为是黑色闪烁状态。对序列中的闪烁状态进行时间累积，当持续闪烁状态累积的时长超过阈值，则认为红绿灯出现故障，例如，持续显示黑色，也就是红绿灯持续不亮，或者是持续显示其他颜色状态，则认为出现故障，向控制终端报警，同时，可以指示车辆当前红绿灯故障，可直接同行，避免用户长时间的等待。

本实施例的红绿灯识别方法中，获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度。进一步，通过平滑处理中间过渡颜色，使得输出的时间状态序列连续且具有实际指示意义，提高了红绿灯时间的准确性和可靠性。而根据确定的目标转换路径对应的红绿灯状态进行识别，确定处于闪烁的故障状态，则进行报警，提高了红绿灯控制的准确性。

基于上述实施例，本实施例提供了再一种红绿灯的识别方法，图7为本申请实施例提供的再一种红绿灯的识别方法的流程示意图。

如图7所示，在生成红绿灯的颜色状态序列之后，还可以包含以下步骤：

步骤701，获取当前红绿灯的语义状态。

实际应用中，一个路口周围可能存在多个红绿灯，有的设置在主路上，有的设置在辅路上，多个红绿灯语义状态可以相同，其中，语义状态，即为红绿灯控制的车道，或控制的行驶方向等。语义状态相同，即为红绿灯控制的车道，或控制的行驶方向等相同。

具体地，获取当前红绿灯的语义状态，例如，当前红绿灯的语义状态为控制车辆直行。

步骤702，确定同属于该语义状态的其他红绿灯。

具体地，确定和当前红绿灯语义状态相同的其它红绿灯，例如该红绿灯周围也用于控制车辆直行的其它红绿灯，即为属于同一语义状态。

步骤703，获取当前红绿灯的颜色状态序列对应的置信度值，以及其它红绿灯的颜色状态序列对应的置信度值。

本实施例中红绿灯的颜色状态序列对应的置信度值的确定方法，和上述实施例中红绿灯的颜色状态序列的置信度值的确定方法相同，此处不再赘述。

步骤704，根据当前红绿灯和其他红绿灯的位置，确定当前红绿灯的权重和其他红绿灯的权重。

具体地，当前红绿灯和其它红绿灯所设置的位置不同，基于采集红绿灯的车辆上安装的摄像装置来说，不同位置设置的红绿灯的权重不同，作为一种可能的实现方式，可以根据红绿灯与车辆的行驶方向之间的夹角的大小来确定红绿灯的权重，具体为，所述夹角越大，权重越小，从而，处于车辆的正前方的红绿灯与车辆的行驶方向间的夹角较小，则对应的权重较大，处于车辆侧边的红绿灯与车辆的行驶方向间的夹角较大，则对应的权重则较小。

步骤705，根据当前红绿灯的权重和当前红绿灯的置信度值，以及其他红绿灯的权重和其它红绿灯的置信度值，确定该语义状态下红绿灯的当前颜色状态。

具体地，针对每一个红绿灯，将对应的权重和置信度值相乘，将权重和置信度值相乘得到的乘积最大的值对应的红绿灯的颜色状态序列，作为具有相同语义状态的多个红绿灯的颜色状态序列，进而将颜色状态序列中当前时刻对应的红绿灯颜色状态，作为当前红绿灯和具有相同语义的其它红绿灯的颜色状态，实现了相同语义状态的红绿灯的颜色状态的统一，提高了红绿灯识别的可可靠性。

本实施例的红绿灯识的别方法中，获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度，而通过对属于相同语义状态的多个红绿灯的颜色状态进行修正和统一，提高了红绿灯识别的准确性。

为了实现上述实施例，本申请还提出一种红绿灯的识别装置。

图8为本申请实施例提供的一种红绿灯的识别装置的结构示意图。

如图8所示，该装置包括：获取模块81、生成模块82和确定模块83。

获取模块81，用于获取红绿灯当前时刻的当前候选颜色状态，以及获取各历史时刻的历史候选颜色状态和对应的识别概率。

生成模块82，还用于根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及所述当前候选颜色状态，生成红绿灯的颜色状态序列。

确定模块83，用于根据红绿灯的颜色状态序列，确定红绿灯的当前颜色状态。

进一步地，在本申请实施例的一种可能的实现方式中，生成模块，包括：

第一生成单元，用于根据各历史时刻的历史候选颜色状态和当前时刻的候选颜色状态生成多个候选转换路径。

第二生成单元，用于根据颜色状态转换矩阵和识别概率生成多个候选转换路径分别对应的置信度值。

确定单元，用于将所述多个候选转换路径中置信度值最高的候选转换路径，确定为目标转换路径。

第三生成单元，用于根据目标转换路径生成红绿灯的颜色状态序列。

作为一种可能的实现方式，颜色状态转换矩阵包括多个颜色状态，以及每个颜色状态向其他颜色状态转换的转换概率。

作为一种可能的实现方式，候选转换路径包括多个时间节点，每个时间节点包括对应的识别概率，以及当前时间节点至下一时间节点的转换概率；其中，历史时刻和当前时刻，与多个时间节点相对应。

作为一种可能的实现方式，上述第二生成单元，具体用于：

根据颜色状态转换矩阵获取候选转换路径之中每个时间节点的转换概率，根据各历史时刻的历史候选颜色状态和对应的识别概率，获取候选转换路径之中所述每个时间节点的识别概率，根据每个时间节点的转换概率和识别概率生成每个时间节点的置信度值，根据每个时间节点的置信度值生成候选转换路径的置信度值。

在本申请实施例的一种可能的实现方式中，该装置还包括：判断模块、处理模块和报警模块。

判断模块，用于判断当前颜色状态是否为过渡颜色状态。

处理模块，用于如果当前颜色状态不为所述过渡颜色状态，则显示当前颜色状态；以及如果当前颜色状态为过渡颜色状态，则对当前颜色状态进行平滑处理以更新当前颜色状态。

报警模块，用于根据目标转换路径获取处于闪烁状态的红绿灯，并进行报警。

作为一种可能的实现方式，处理模块，具体用于：

获取预设的平滑时间窗口，获取平滑时间窗口之中各个时间节点的颜色状态，以及根据平滑时间窗口之中各个时间节点的颜色状态，选择数量最多的非过渡颜色状态作为更新后的当前颜色状态。

在本申请实施例的一种可能的实现方式中，上述的获取模块81，还用于获取红绿灯的语义状态。

上述的确定模块83，还用于确定同属于语义状态的其他红绿灯。

获取模块81，还用于获取红绿灯的颜色状态序列对应的置信度值，以及其它红绿灯的颜色状态序列对应的置信度值。

确定模块83，还用于根据红绿灯和其他红绿灯的位置，确定红绿灯的权重和其他红绿灯的权重，根据红绿灯的权重和红绿灯的置信度值，以及其他红绿灯的权重和其它红绿灯的置信度值，确定语义状态下红绿灯的当前颜色状态。

需要说明的是，前述对红绿灯的识别方法实施例的解释说明也适用于该实施例的红绿灯的识别装置，此处不再赘述。

本申请实施例的红绿灯识别装置中，获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度。

为了实现上述实施例，本申请实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的红绿灯的识别方法。

为了实现上述实施例，本申请实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述方法实施例所述的红绿灯的识别方法。

本申请的实施例，还提供了一种电子设备和一种可读存储介质。

如图9所示，是根据本申请实施例的红绿灯的识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的红绿灯的识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的红绿灯的识别方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的xxx的方法对应的程序指令/模块(例如，附图8所示的获取模块81、生成模块82和确定模块83)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的红绿灯的识别方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据红绿灯的识别方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至红绿灯的识别方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

红绿灯的识别方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与红绿灯的识别方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，获取红绿灯当前时刻的当前候选颜色状态，获取各历史时刻的历史候选颜色状态和对应的识别概率，根据各历史时刻的历史候选颜色状态和对应的识别概率、颜色状态转换矩阵以及当前候选颜色状态，生成红绿灯的颜色状态序列，通过引入当前识别结果的相关的信息，即历史时刻的识别结果和颜色状态转换矩阵，确定当前的识别结果，提高了红绿灯识别的准确度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。