交通灯与车道的匹配方法、装置及电子设备与流程
本发明涉及图像处理技术领域，尤其是涉及一种交通灯与车道的匹配方法、装置及电子设备。
背景技术：
道路交通网络上行驶的车辆众多，为较好地对道路上的车辆进行规范，通常会在道路上布设车道和交通灯，并通过交通监控采集道路上的交通视频，用以实现自动化违章检测和路况分析，其中，实现自动化违章检测和路况分析的前提条件为明确各车道上的车辆应遵守的交通灯。目前，由于通过人工标注各个车道对应的交通灯的方式效率较低，因此可以采用编写匹配算法的方式确定各个车道对应的交通灯，这种方式虽然可以在一定程度上提高交通灯与车道的匹配效率，但是编写得到的匹配算法普适性通常较差，需要针对不同的交通场景分别调整匹配算法中的阈值，且调整阈值的过程较为繁琐，也影响了交通灯与车道的匹配效率。
技术实现要素：
有鉴于此，本发明的目的在于提供一种交通灯与车道的匹配方法、装置及电子设备，具有较高的普适性，还可以有效简化交通灯与车道的匹配过程，进而有效提高了交通灯与车道的匹配效率。
第一方面，本发明实施例提供了一种交通灯与车道的匹配方法，包括：对交通采集视频中的图像进行标注，得到标注有多个交通灯分别对应的灯区域框和多条拟合车道的交通图像；基于包含有车辆，且所述车辆位于所述拟合车道上的交通图像，确定所述车辆对应的驶离车道；在所述车辆离开所述驶离车道时，获取每个所述灯区域框表示的信号颜色；基于每个所述灯区域框表示的信号颜色和各个所述车辆对应的驶离车道，对各个所述交通灯和各个所述拟合车道进行匹配处理，得到各个所述交通灯对应的所述拟合车道。
进一步的，所述对交通采集视频中的图像进行标注，得到标注有多个交通灯分别对应的灯区域框和多条拟合车道的交通图像的步骤，包括：从交通采集视频中获取参考帧图像；针对所述参考帧图像检测多个交通灯分别对应的灯区域框和多条拟合车道；将各个所述交通灯分别对应的灯区域框和各个所述拟合车道标注至交通采集视频的各帧图像中，得到交通图像。
进一步的，所述针对所述参考帧图像检测多个交通灯分别对应的灯区域框和多条拟合车道的步骤，包括：采用目标检测算法，检测所述参考帧图像中每个交通灯分别对应的灯区域框；检测所述参考帧图像中的交通线；其中，所述交通线包括车道线和停止线；基于霍夫算法和所述交通线确定所述参考帧图像中的多条拟合车道。
进一步的，所述基于包含有车辆，且所述车辆位于所述拟合车道上的交通图像，确定所述车辆对应的驶离车道的步骤，包括：采用跟踪算法检测所述交通图像中的车辆对应的车辆区域框；基于所述车辆区域框的下边界，计算所述车辆与各个所述拟合车道的相对位置关系；根据所述相对位置关系确定所述车辆对应的驶离车道。
进一步的，所述获取每个所述灯区域框表示的信号颜色的步骤，包括：将所述灯区域框对应的图像输入至预先训练的分类模型，得到所述分类模型输出的每个所述灯区域框表示的信号颜色。
进一步的，所述基于每个所述灯区域框表示的信号颜色和所述车辆对应的驶离车道，对各个所述交通灯和各个所述拟合车道进行匹配处理，得到各个所述交通灯对应的所述拟合车道的步骤，包括：获取匹配矩阵；其中，所述匹配矩阵的第一维度与每个所述灯区域框对应，所述匹配矩阵的第二维度与每个所述拟合车道对应；基于每个所述灯区域框表示的信号颜色和所述车辆对应的驶离车道，确定所述匹配矩阵中的各个元素对应的综合匹配值；根据匹配矩阵中各个所述元素对应的综合匹配值，确定各个所述交通灯对应的所述拟合车道。
进一步的，每个所述交通灯的信号颜色包括红色或绿色；所述基于每个所述灯区域框表示的信号颜色和所述车辆对应的驶离车道，确定所述匹配矩阵中的各个元素对应的综合匹配值的步骤，包括：对于所述匹配矩阵中的每个所述元素，如果确定该元素所在的第二维度对应的拟合车道为驶离车道，且该元素所在的第一维度对应的灯区域框的信号颜色为红色，增加该元素对应的第一匹配值；如果确定该元素所在的第二维度对应的拟合车道为驶离车道，且该元素所在的第一维度对应的灯区域框的信号颜色为绿色，增加该元素对应的第二匹配值；对该元素对应的第二匹配值与第一匹配值进行加权计算，将计算结果作为该元素的综合匹配值。
进一步的，所述根据匹配矩阵中各个所述元素对应的综合匹配值，确定各个所述交通灯对应的所述拟合车道的步骤，包括：如果所述元素对应的综合匹配值大于预设阈值，确定所述元素所在的第一维度对应的灯区域框和所述元素所在的第二维度对应的拟合车道之间具备匹配关系，得到各个所述交通灯对应的所述拟合车道。
进一步的，所述根据所述匹配矩阵中各个所述元素对应的综合匹配值，确定各个所述交通灯对应的所述拟合车道的步骤，还包括：从所述匹配矩阵的各个元素对应的第一匹配值和第二匹配值中选取最小值；基于匹配矩阵中各个所述元素对应的所述最小值，获得每个所述拟合车道的置信度和每个所述交通灯的置信度；如果一个拟合车道的置信度大于或等于置信度阈值，且所述拟合车道所对应的匹配矩阵中第一维度对应的一灯区域框的综合匹配值大于预设阈值，确定所述拟合车道与所述交通灯之间具备匹配关系；如果一个交通灯的置信度大于或等于置信度阈值，且所述交通灯所对应的匹配矩阵中第二维度对应的一拟合车道的综合匹配值大于预设阈值，确定所述拟合车道与所述交通灯之间具备匹配关系。
第二方面，本发明实施例还提供一种交通灯与车道的匹配装置，包括：标注模块，用于对交通采集视频中的图像进行标注，得到标注有多个交通灯分别对应的灯区域框和多条拟合车道的交通图像；确定模块，用于基于包含有车辆，且所述车辆位于所述拟合车道上的交通图像，确定所述车辆对应的驶离车道；颜色获取模块，用于在所述车辆离开所述驶离车道时，获取每个所述灯区域框表示的信号颜色；匹配模块，用于基于每个所述灯区域框表示的信号颜色和所述车辆对应的驶离车道，对各个所述交通灯和各个所述拟合车道进行匹配处理，得到各个所述交通灯对应的所述拟合车道。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。
第四方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令。
本发明实施例提供的一种交通灯与车道的匹配方法、装置及电子设备，首先对交通采集视频中的图像进行标注，以得到标注有多个交通灯分别对应的灯区域框和多条拟合车道的交通图像，基于包含有车辆且车辆位于拟合车道上的交通图像确定车辆对应的驶离车道和驶离车道对应的目标图像，并在车辆离开所述驶离车道时获取交通图像中每个灯区域框表示的信号颜色，进而基于每个灯区域框表示的信号颜色和车辆对应的驶离车道，对各个交通灯和各个拟合车道进行匹配处理得到各个交通灯对应的拟合车道。上述方式首先对交通视频图像中的图像进行标注，在标注的灯区域框和拟合车道的基础上，从拟合车道中确定车辆的驶离车道以及车辆离开驶离车道时各个灯区域框表示的信号颜色，从而确定交通灯对应的拟合车道，相较于现有技术中编写复杂的匹配算法的方式，本发明实施例提供的交通灯与车道的匹配方法具有较高的普适性，而且有效简化了交通灯与车道的匹配过程，进而有效提高交通灯与车道的匹配效率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子设备的结构示意图；
图2为本发明实施例提供的一种交通灯与车道的匹配方法的流程示意图；
图3为本发明实施例提供的一种参考帧图像的示意图；
图4为本发明实施例提供的一种u-net网络的结构示意图；
图5为本发明实施例提供的一种交通线示意图；
图6为本发明实施例提供的一种灯区域框和拟合车道的示意图；
图7为本发明实施例提供的一种车辆区域框的示意图；
图8为本发明实施例提供的一种匹配趋势图；
图9为本发明实施例提供的一种交通灯与车道的匹配装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
考虑到现有的交通灯与车道的匹配方法较为繁琐，导致交通灯与车道的匹配效率较低，为改善此问题，本发明实施例提供的一种交通灯与车道的匹配方法、装置及电子设备，该技术可应用需要匹配交通灯和车道的场景，以下对本发明实施例进行详细介绍。
实施例一
参照图1为一种用于实现本发明实施例的交通灯与车道的匹配方法及装置的电子设备100的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出其他组件和结构。
所述处理器102可以采用数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑阵列(pla)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(cpu)、图形处理单元(gpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的交通灯与车道的匹配方法及装置的示例电子设备可以被实现为诸如服务器、平板电脑、计算机等智能终端。
实施例二
参见图2所示的一种交通灯与车道的匹配方法的流程示意图，该方法主要包括步骤s202至步骤s206：
步骤s202，对交通采集视频中的图像进行标注，得到标注有多个交通灯分别对应的灯区域框和多条拟合车道的交通图像。
交通采集视频可以理解为交通监控视频，在实际应用中可通过采集设备采集得到，其中，采集设备可以包括具有拍摄功能的设备(诸如摄像头等)，采集设备可以部署在交通灯预设范围内的区域中，通过调节采集设备的拍摄角度以实时地采集包含有交通灯和车道的交通采集视频；灯区域框可以理解为交通采集视频的图像中交通灯的包围框，用以表征交通灯在图像中所处区域；拟合车道也即拟合交通采集视频的图像中的车道线和交通线得到的多边形区域。在一种实施方式中，可以从交通采集视频中随机选取一帧图像，定位该图像中的交通灯以及拟合图像中的车道，得到并保存每个交通灯分别对应的灯区域框和多条拟合车道，将每个交通灯分别对应的灯区域框和多条拟合车道标注在交通视频图像中的其他图像中，从而得到交通图像。
步骤s204，基于包含有车辆，且车辆位于拟合车道上的交通图像，确定车辆对应的驶离车道。
其中，驶离车道也即车辆驶离路口时所处的拟合车道。在一种实施方式中，可以首先检测交通图像中包含的车辆，并将位于拟合车道上的车辆确定为目标车辆，通过对多张交通图像中的目标车辆的行驶轨迹进行跟踪，即可确定目标车辆的驶离车道。例如，交通图像中包含有车辆x1和车辆x2，且交通图像中标注有拟合车道a1、拟合车道a2和拟合车道a3，若车辆x1位于拟合车道a2中，而车辆x2位于拟合车道所在区域外，则车辆x1即为目标车辆，对多张交通图像中车辆x1的行驶轨迹进行跟踪，确定车辆x1从拟合车道a2行驶至拟合车道a1直至从拟合车道a1驶离，则可以确定车辆x1的驶离车道为拟合车道a1。
步骤s206，在车辆离开所述驶离车道时，获取每个灯区域框表示的信号颜色。
其中，信号颜色可以包括红色、绿色和黄色中的一种或多种。在一种实施方式中，可以获取车辆离开驶离车道时的交通图像，并对该交通图像进行图像处理，从而识别出交通图像中每个灯区域框表示的信号颜色，用以匹配交通灯与拟合车道。例如，车辆离开驶离车道时的交通图像中标注有2个灯区域框，经图像处理确定交通图像中的灯区域框m1表示的信号颜色为红色，灯区域框m2表示的信号颜色为绿色，进而可以得到车辆离开驶离车道时每个灯区域框表示的信号颜色。
步骤s208，基于每个灯区域框表示的信号颜色和车辆对应的驶离车道，对各个交通灯和各个拟合车道进行匹配处理，得到各个交通灯对应的拟合车道。
一般而言，交通灯为红色时禁止车道上的车辆通行，交通灯为绿色时允许车道上的车辆通行，在此基础上通过识别灯区域框表示的信号颜色以及确认车辆的驶离车道，即可对各个交通灯和各个拟合车道之间的对应关系进行匹配，例如车辆x1的驶离车道为拟合车道a1，若车辆离开拟合车道a1时交通灯m1的灯区域框表示的信号颜色为绿色，交通灯m2的灯区域框表示的信号颜色为红色，则说明拟合车道a1与交通灯m1匹配，且拟合车道a1不与交通灯m2匹配。本发明实施例通过上述方法，可以仅基于信号颜色以及驶离车道确定交通灯与车道之间的对应关系，该方法具有较高的普适性，在实际应用中，通过统计较多车辆的驶离车道以及每个车辆离开驶离车道时各个灯区域框表示的信号颜色，即可较为准确地确定每个交通灯对应的拟合车道。
本发明实施例提供的上述交通灯与车道的匹配方法，首先对交通视频图像中的图像进行标注，在标注的灯区域框和拟合车道的基础上，从拟合车道中确定车辆的驶离车道以及车辆离开驶离车道时各个灯区域框表示的信号颜色，从而确定交通灯对应的拟合车道，相较于现有技术中编写复杂的匹配算法的方式，本发明实施例提供的交通灯与车道的匹配方法具有较高的普适性，而且有效简化了交通灯与车道的匹配过程，进而有效提高交通灯与车道的匹配效率。
在实际应用中，对于交通采集视频中的每张图像，可以对该图像均进行图像处理，确定交通灯和车道在该图像中所处的位置，进而可以得到交通采集视频的每张图像中交通灯对应的灯区域框和多条拟合车道。考虑到同一采集设备采集的交通采集视频中，交通灯和车道的位置均不会产生较大差异，因此本发明实施例也可以预先确定交通灯在交通采集视频的一张图像中所处的位置以及交通采集视频中车道所处区域，并将得到的灯区域框和拟合车道标注至交通采集视频中的其他图像中，从而较好地降低了匹配交通灯与车道的复杂程度。在实际应用中，可以按照如下步骤a至步骤c执行对交通采集视频中的图像进行标注，得到标注有多个交通灯分别对应的灯区域框和多条拟合车道的交通图像的步骤：
步骤a，从交通采集视频中获取参考帧图像。在一种具体的实施方式中，可以将采集设备开启时刻采集的初始帧图像作为参考帧图像，也可以随机从交通采集视频的多张图像中随机选取一张图像作为参考帧图像，具体实现时可基于实际情况选取所需的参考帧图像。
步骤b，针对参考帧图像检测多个交通灯分别对应的灯区域框和多条拟合车道。本发明实施例提供了一种检测灯区域框和拟合车道的具体实现方式，可参见如下步骤b1至步骤b3：
步骤b1，采用目标检测算法，检测参考帧图像中每个交通灯分别对应的灯区域框。其中，目标检测算法可以采用现有技术中公开的任意一种用于目标检测的算法或神经网络，诸如faster-rcnn(faster-regionwithcnnfeaturesv)网络、fast-rcnn网络或ssd(singleshotmultiboxdetector，多分类单杆检测器)网络等，本发明实施例对此不做限制。以目标检测算法采用faster-rcnn网络为例，将参考帧图像输入至预先训练好的faster-rcnn网络中，从而得到faster-rcnn网络针对参考帧图像输出每个交通灯分别对应的灯区域框。
步骤b2，检测参考帧图像中的交通线。其中，交通线包括车道线和停止线。在实际应用中，可以通过边缘检测技术检测参考帧图像中的交通线，例如，参考帧图像如图3所示，将参考帧图像输入至预先训练好的u-net(convolutionalnetworksforbiomedicalimagesegmentation)网络中，其中，u-net网络的结构示意图可参见图4，图4中示意出了u-net网络包括特征提取部分和上采样部分，特征提取部分对输入的参考帧图像进行多次下采样处理得到参考帧图像的深层次特征，上采样部分对深层次特征进行多次上采样处理，得到图5所示的参考帧图像中的交通线，其中，图5示意出了交通线包括车道线和停止线。
步骤b3，基于霍夫(hough)算法和交通线确定参考帧图像中的多条拟合车道。在实际应用中，利用霍夫算法按照交通线将参考帧图像切分为多个单独的多边形区域，每个多边形区域对应一条拟合车道，从而得到参考帧图像中的多条拟合车道。
步骤c，将各个交通灯分别对应的灯区域框和各个拟合车道，标注至交通采集视频的各帧图像中，得到交通图像。本发明实施例提供了一种灯区域框和拟合车道的示意图，如图6所示，在实际应用中，可用不同颜色表示不同的拟合车道，以便于区分多个拟合车道。因为同一采集设备采集的交通视频图像中交通灯和车道的位置不会出现较大差异，因此可以按照每个灯区域框和每条拟合车道各自在参考帧图像中的位置，直接将多个灯区域框和多条拟合车道标注至其余图像中对应位置即可。
由于交通灯用于指示位于拟合车道内的车辆，而位于拟合车道以外的车辆不受该交通灯的约束，因此本发明实施例将对位于拟合车道内的车辆进行跟踪，例如，基于包含有车辆且车辆位于拟合车道上的交通图像，确定车辆对应的驶离车道，在一种具体的实施方式中，可以按照如下(1)至(3)执行上述步骤s206：
(1)采用跟踪算法检测交通图像中的车辆对应的车辆区域框。其中，跟踪(track)算法可以包括诸如质心跟踪算法、边缘跟踪算法或场景锁定算法等任意一种目标跟踪算法。在一种实施方式中，可以利用跟踪算法检测交通图像中的所有车辆，将检测到的车辆均通过包围框标注在交通图像中，得到每辆车辆在交通图像中的车辆区域框(也可称之为车辆追踪信息)，并利用不同颜色标注位于拟合车道区域内的车辆和位于拟合车道区域外的车辆，例如将位于拟合车道区域内的车辆标注为红色的车辆区域框，将位于拟合车道区域外的车辆标注为蓝色的车辆区域框。在另一种实施方式中，参见图7所示的一种车辆区域框的示意图，也可以仅标注位于拟合车道内的车辆x1对应的车辆区域框，而不标注位于拟合车道外的车辆x3，以便于跟踪标注的车辆区域框。
(2)基于车辆区域框的下边界，计算车辆与各个拟合车道的相对位置关系。其中，相对位置关系包括车辆位于一个拟合车道内、车辆横跨两个拟合车道或车辆驶离拟合车道，在实际应用中，可采用下边界重合长度计算各个车辆与各个拟合车道的相对位置关系。对于车辆位于一个拟合车道内，可参见图7中的车辆x1对应的车辆区域框的下边界未与任何交通线相交，且与拟合车道a3对应的交通线距离最近，则可确定该车辆x1位于拟合车道a3内。对于车辆横跨两个拟合车道，若车辆x2对应的车辆区域框的下边界与拟合车道a1和拟合车道a2共用的交通线相交，则确定车辆x2横跨拟合车道a1和拟合车道a2，进一步的，可以计算车辆x2的下边界在拟合车道a1中的长度l1和拟合车道a2中的长度l2，若l1大于l2，则确定车辆x2位于拟合车道a1中，若l1小于l2，则确定车辆x2位于拟合车道a2中，以图7中所示的车辆x2为例，可以确定图7中所示的车辆x2位于拟合车道a2。对于车辆驶离拟合车道，若车辆x1的下边界移出停止线，则确定车辆驶离拟合车道，并将车辆x1的下边界移出停止线前最后所位于的拟合车道作为驶离车道。
(3)根据相对位置关系确定车辆对应的驶离车道。在实际应用中，可以根据多张连续帧的交通图像中车辆与拟合车道的相对位置关系，实时确定车辆所处的拟合车道，并在车辆对应的车辆区域框的下边界移出停止线前最后所位于的拟合车道确定为车辆的驶离车道，此时车辆将由驶离车道行驶出路口。上述方式也可理解为根据多张连续帧的交通图像中车辆的行驶轨迹确定车辆对应的驶离车辆，相较于现有技术中基于深度学习匹配交通灯和车道的方法，本发明实施例较好的利用了交通视频的连续性，使确定的驶离车道可靠性更高。
另外，为了确定驶离车道与交通灯之间的对应关系，可以在车辆离开驶离车道时获取每个灯区域框表示的信号颜色，在一种具体的实施方式中，可以将灯区域框对应的图像输入至预先训练的分类模型，得到分类模型输出的每个灯区域框表示的信号颜色。其中，分类模型可以采用resnet(residualneuralnetworkv，残差)网络、googlenet(goingdeeperwithconvolutions)网络等分类网络，例如，将交通图像输入至预先训练得到的resnet网络中，通过resnet网络对交通图像中每个灯区域框的颜色进行红黄绿三个颜色分类，进而获取resnet网络输出的每个灯区域框表示的信号颜色。
为便于对上述步骤s108进行理解，在具体实现时，可以按照如下步骤1至步骤3确定各个交通灯对应的拟合车道：
步骤1，获取匹配矩阵。其中，匹配矩阵的第一维度与每个灯区域框对应，匹配矩阵的第二维度与每个拟合车道对应，匹配矩阵的第一维度可以为匹配矩阵的列，匹配矩阵的第二维度可以为匹配矩阵的行。为便于建立灯区域框和拟合车道与匹配矩阵的对应关系，可以配置每个灯区域框的第一编号，以及每个拟合车道的第二编号，并将编号与匹配矩阵的行数和列数对应，例如交通图像中标注有两个灯区域框m1和m2，以及三条拟合车道a1、a2和a3，将交通图像中的灯区域框m1的第一编号配置为l_1(对应匹配矩阵的第一列)，将灯区域框m2的第一编号配置为l_2(对应匹配矩阵的第二列)，将交通图像中的拟合车道a1的第二编号配置为r_1(对应匹配矩阵的第一行)，将拟合车道a2的第二编号配置为r_2(对应匹配矩阵的第二行)，将拟合车道a3的第二编号配置为r_3(对应匹配矩阵的第三行)。
在另一种实施方式中，匹配矩阵的维度为(车道数，交通灯数，匹配值)，匹配矩阵的列数与交通灯数相关且列与灯区域框的第一编号对应，匹配矩阵的行数与车道数相关且行与拟合车道的第二编号对应，匹配矩阵中(i，j，k)表示第i个车道和第j个交通灯的第k种匹配值，匹配值可以包括第一匹配值k0、第二匹配值k1和综合匹配值k0，其中，第一匹配值k0表示交通灯与车道不匹配的次数(也即红灯驶离拟合车道的次数)，第二匹配值k1表示交通灯与车道匹配的次数(也即绿灯驶离拟合车道的次数)，综合匹配值k2等于第二匹配值k1与第一匹配值k0的加权计算结果，另外，综合匹配值与第二匹配值呈正相关，且综合匹配值与第一匹配值成负相关。为便于对匹配矩阵进行理解，参见如下所示的匹配矩阵：
其中，获取的匹配矩阵中的第一匹配值k0、第二匹配值k1和综合匹配值k2均为0，并随着匹配交通灯与车道的次数而相应改变。
步骤2，基于每个灯区域框表示的信号颜色和车辆对应的驶离车道，确定匹配矩阵中的各个元素对应的综合匹配值。其中，每个交通灯的信号颜色包括红色或绿色，在一种实施方式中，可以按照如下步骤2.1至步骤2.2确定匹配矩阵中的各个元素对应的综合匹配值：
步骤2.1，对于匹配矩阵中的每个元素，如果确定该元素所在的第二维度对应的拟合车道为驶离车道，且该元素所在的第一维度对应的灯区域框的信号颜色为红色，增加该元素对应的第一匹配值；如果确定该元素所在的第二维度对应的拟合车道为驶离车道，且该元素所在的第一维度对应的灯区域框的信号颜色为绿色，增加该元素对应的第二匹配值。在一种实施方式中，可以通过“加1”、“乘2”或“平方”等多种方式增加元素对应的第一匹配值或第二匹配值。本发明实施例以第一匹配值的权重为-1、第二匹配值的权重为1，且以采用“加1”的方式增加第一匹配值或第二匹配值为例进行示例性说明，并，若车辆从拟合车道a1驶离时，交通灯m1的灯区域框表示的信号颜色为红色，交通灯m2的灯区域框表示的颜色为绿色，则第一行第一列中第一匹配值k0加1、第二匹配值k1不变，综合匹配值k2等于-1，第一行第二列中第一匹配值k0不变或减1，第二匹配值k1加1，综合匹配值k2等于1。
步骤2.2，对该元素对应的第二匹配值与第一匹配值进行加权计算，将计算结果作为该元素的综合匹配值。
例如，获取的匹配矩阵为：
假设车辆x1的驶离车道为拟合车道a3，若灯区域框m1的信号颜色为红色，则将第三行第一列中的第一匹配值k0加1、综合匹配值k2等于-1；若灯区域框m2的信号颜色为绿色，则将第三行第二列中的第二匹配值k1加1、综合匹配值k2等于1，此时上述匹配矩阵将调整为：
假设车辆x2的驶离车道为拟合车道a2，若灯区域框m1的信号颜色为绿色，则将第二行第一列中的第二匹配值k1加1、综合匹配值k2等于1；若灯区域框m1的信号颜色为红色，则将第二行第二列中的第一匹配值k0加1、综合匹配值k2等于-1，此时上述匹配矩阵将调整为：
通过上述步骤2.1至步骤2.2统计较多车辆的第一匹配值和第二匹配值，并得到各个元素对应的综合匹配值，元素对应的综合匹配值越大，表示该元素所在行对应的车道与该元素所在列对应的交通灯之间的匹配程度越高。其中，第一匹配值和第二匹配值的权重可基于实际情况进行配置。
步骤3，根据匹配矩阵中各个元素对应的综合匹配值，确定各个交通灯对应的拟合车道。本发明实施例示例性提供了根据匹配矩阵中各个元素对应的综合匹配值确定交通灯与拟合车道之间的匹配关系的实施方式，具体可参见如下：
方式一，如果元素对应的综合匹配值大于预设阈值，确定元素所在的第一维度对应的灯区域框和所述元素所在的第二维度对应的拟合车道之间具备匹配关系，得到各个所述交通灯对应的所述拟合车道。其中，预设阈值可以设置为0，也即当元素对应的综合匹配值大于0时，确定该元素所在行对应的车道与该元素所在列对应的交通灯之间存在匹配关系；当元素对应的综合匹配值小于0时，确定元素所在列对应的灯区域框与元素所在行对应的拟合车道之间不具有匹配关系。
为了较快得到各个交通灯对应的拟合车道，可以在对综合匹配值进一步处理，例如，若元素对应的综合匹配值大于预设阈值，可以使该元素对应的综合匹配值“加1”、“乘2”或“求平方”等；若元素对应的综合匹配值小于预设阈值，可以是该元素对应的综合匹配值“减1”、“除2”或“开根号”等，从而在一定程度上使各元素对应的综合匹配值差值更为明显，进而可以更为显著的区分出车道与交通灯匹配的情况和车道与交通灯不匹配的情况。
在一种实施方式中，还可以通过匹配趋势图体现元素所在列对应的灯区域框与元素所在行对应的拟合车道之间的匹配关系，参见图8所示的一种匹配趋势图，其中，匹配趋势图的横坐标可以表示车辆的数量或匹配的时长，纵坐标表示各个元素的综合匹配值，车辆数量越多或匹配时长越长，得到的匹配结果越稳定。例如，图8中所示的综合匹配值大于0的折线包括a1-m1、a2-m2、a3-m2，表明交通灯m1对应的拟合车道为拟合车道a1，交通灯m2对应的拟合车道包括拟合车道a2和拟合车道a3。在实际应用中，上述方法还可以匹配出交通灯与人行横道之间的对应关系，从而较好地监控行人是否按照交通规则通过人行横道。
由于现有的基于深度学习匹配交通灯和车道的方法虽然可以输出交通灯与车道之间的匹配关系，但是无法解释为何可以得到这一匹配关系，因此为了便于用户获知交通灯与道路之间存在的匹配关系的原因，以及便于用户获知这一匹配关系是否可靠，可以基于匹配矩阵计算交通灯与拟合车道之间的置信矩阵，并结合置信矩阵与匹配矩阵确定交通灯与拟合车道之间的匹配关系，具体可参见如下方式二，其中，置信矩阵中的各个元素用以表征交通灯对应的拟合车道的可信程度：
方式二，从匹配矩阵的各个元素对应的第一匹配值和第二匹配值中选取最小值，然后基于匹配矩阵中各个元素对应的最小值，获得每个拟合车道的置信度和每个交通灯的置信度。例如，采用最小值方法从匹配矩阵中各个元素对应的第一匹配值和第二匹配值中选取最小值min(m[i,j,k0],m[i,j,k1])，得到复合置信矩阵c(i,j)，在复合置信矩阵的基础上，可以从复合置信矩阵的每行中选取最小值作为车道置信矩阵min_jc(i,j)，车道置信矩阵用于表征每个拟合车道的置信度；还可以从复合置信矩阵的每列中选取最小值作为灯置信矩阵min_ic(i,j)，灯置信矩阵用于表征每个交通灯的置信度。如果一个拟合车道的置信度大于或等于置信度阈值，且拟合车道所对应的匹配矩阵中第一维度对应的一灯区域框的综合匹配值大于预设阈值，确定拟合车道与交通灯之间具备匹配关系；如果一个交通灯的置信度大于或等于置信度阈值，且交通灯所对应的匹配矩阵中第二维度对应的一拟合车道的综合匹配值大于预设阈值，确定拟合车道与交通灯之间具备匹配关系。
当置信矩阵中最小值大于置信度阈值时，表明矩阵中同一维度其他值也将大于置信度阈值，例如，当拟合车道的置信度大于置信阈值时，可以确定该拟合车道所对应的各个交通灯的可信程度较高；当交通灯的置信度大于置信度阈值时，确定该交通灯所对应的各个拟合车道的可信程度较高。为便于对上述方式二进行理解，本发明实施例以如下匹配矩阵为例进行说明：
从上述复合矩阵的每个第二维度(即每行)中选择最小值，得到车道置信矩阵
从上述复合矩阵的每个第一维度(即每列)中选择最小值，得到灯置信矩阵将表示为[1,0]，该灯置信矩阵的各个元素表征对应的各个交通灯的置信度，其中，该灯置信矩阵的第一列可以表征交通灯m1的置信度为1，第二列可以表征交通灯m2的置信度为0。假设置信度阈值设置为2，则根据该灯置信矩阵，可以得知交通灯m1的置信度小于置信度阈值，其可信度较低，因此不返回与交通灯m1存在匹配关系的拟合车道。同理，由于交通灯m2的置信度小于置信度阈值，其可信度较低，因此不返回与交通灯m2存在匹配关系的拟合车道。本发明实施例通过确定多种置信度矩阵，可以从多个角度获知拟合车道与灯区域框之间的匹配关系的可信程度。本发明实施例示例性地将预设置信度设置为2，在实际应用中可基于实际情况将预设置信度设置为较大值，从而使置信矩阵更为可信。
综上所述，本发明实施例通过车辆的驶离车道以及驶离时刻交通灯表现的颜色即可匹配交通灯与车道，相较于现有技术中人工标注和编写匹配算法的方式，本发明实施例提供的匹配方法具有较高的普适性，有效简化了交通灯与车道的匹配过程，进而有效提高交通灯与车道的匹配效率。另外，本发明实施例通过对多张交通图像中车辆的轨迹进行跟踪以确定车辆的驶离车道，相较于现有技术中基于深度学习匹配交通灯和车道的方式，本发明实施例较好地利用交通视频的连续性，从而使确定的驶离车道可信度更高。
实施例三
对于实施例二中所提供的交通灯与车道的匹配方法，本发明实施例提供了一种交通灯与车道的匹配装置，参见图9所示的一种交通灯与车道的匹配装置的结构示意图，该装置主要包括以下部分：
标注模块902，用于对交通采集视频中的图像进行标注，得到标注有多个交通灯分别对应的灯区域框和多条拟合车道的交通图像。
确定模块904，用于基于包含有车辆，且车辆位于拟合车道上的交通图像，确定车辆对应的驶离车道。
颜色获取模块906，用于在车辆离开驶离车道时，获取每个灯区域框表示的信号颜色。
匹配模块908，用于基于每个灯区域框表示的信号颜色和各个车辆对应的驶离车道，对交通灯和各个拟合车道进行匹配处理，得到各个交通灯对应的拟合车道。
本发明实施例提供的交通灯与车道的匹配装置，首先对交通视频图像中的图像进行标注，在标注的灯区域框和拟合车道的基础上，从拟合车道中确定车辆的驶离车道以及车辆离开驶离车道时各个灯区域框表示的信号颜色，从而确定交通灯对应的拟合车道，相较于现有技术中编写复杂的匹配算法的方式，本发明实施例提供的交通灯与车道的匹配方法具有较高的普适性，而且有效简化了交通灯与车道的匹配过程，进而有效提高交通灯与车道的匹配效率。
在一种实施方式中，上述标注模块902还用于：从交通采集视频中获取参考帧图像；针对所述参考帧图像检测多个交通灯分别对应的灯区域框和多条拟合车道；将各个所述交通灯分别对应的灯区域框和各个所述拟合车道标注至交通采集视频的各帧图像中，得到交通图像。
在一种实施方式中，上述标注模块902还用于：采用目标检测算法，检测参考帧图像中每个交通灯分别对应的灯区域框；检测参考帧图像中的交通线；其中，交通线包括车道线和停止线；基于霍夫算法和交通线确定参考帧图像中的多条拟合车道。
在一种实施方式中，上述确定模块904还用于：采用跟踪算法检测交通图像中的车辆对应的车辆区域框；基于车辆区域框的下边界，计算车辆与各个拟合车道的相对位置关系；根据相对位置关系确定各个车辆对应的驶离车道。
在一种实施方式中，上述颜色获取模块906还用于：将灯区域框对应的图像输入至预先训练的分类模型，得到分类模型输出的每个灯区域框表示的信号颜色。
在一种实施方式中，上述匹配模块908还用于：获取匹配矩阵；其中，匹配矩阵的第一维度与每个灯区域框对应，匹配矩阵的第二维度与每个拟合车道对应；基于每个灯区域框表示的信号颜色和车辆对应的驶离车道，确定匹配矩阵中的各个元素对应的综合匹配值；根据匹配矩阵中各个元素对应的综合匹配值，确定各个交通灯对应的拟合车道。
在一种实施方式中，上述每个交通灯的信号颜色包括红色或绿色；上述匹配模块908还用于：对于匹配矩阵中的每个元素，如果确定该元素所在的第二维度对应的拟合车道为驶离车道，且该元素所在的第一维度对应的灯区域框的信号颜色为红色，增加该元素对应的第一匹配值；如果确定该元素所在的第二维度对应的拟合车道为驶离车道，且该元素所在的第一维度对应的灯区域框的信号颜色为绿色，增加该元素对应的第二匹配值；对该元素对应的第二匹配值与第一匹配值进行加权计算，将计算结果作为该元素的综合匹配值。
在一种实施方式中，上述匹配模块908还用于：如果元素对应的综合匹配值大于预设阈值，确定元素所在的第一维度对应的灯区域框和元素所在的第二维度对应的拟合车道之间具备匹配关系，得到各个交通灯对应的拟合车道。
在一种实施方式中，上述匹配模块908还用于：从匹配矩阵的各个元素对应的第一匹配值和第二匹配值中选取最小值；基于匹配矩阵中各个元素对应的最小值，获得每个拟合车道的置信度和每个交通灯的置信度；如果一个拟合车道的置信度大于或等于置信度阈值，且拟合车道所对应的匹配矩阵中第一维度对应的一灯区域框的综合匹配值大于预设阈值，确定拟合车道与交通灯之间具备匹配关系；如果一个交通灯的置信度大于或等于置信度阈值，且交通灯所对应的匹配矩阵中第二维度对应的一拟合车道的综合匹配值大于预设阈值，确定拟合车道与交通灯之间具备匹配关系。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例四
本发明实施例所提供的交通灯与车道的匹配方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！