一种地铁色灯信号机的视频识别方法与流程

本发明涉及信号灯识别领域，尤其是涉及一种地铁色灯信号机的视频识别方法。

背景技术：

随着轨道交通自动驾驶技术的不断发展，ato(自动驾驶)逐渐向uto(无人驾驶)转化，不再有司机负责瞭望。一些最新设计的轨道交通车辆，甚至取消了司机室，把司机操纵设备小型化并做隐藏式的设计。这一趋势已经成为后续发展的主流。

轨道交通的无人驾驶，目前主要是依赖于成熟和高可靠性的cbtc基于通信的列车控制系统，这一系统是由车载、轨旁、调度中心的一系列设备组成的庞大复杂系统，行车控制信息在这一系统中采用网络通信方式传输。但是，当cbtc信号系统因故障而降级运行或停用时，此时，车辆仍需严格按照轨旁色灯信号机的指示行车，不能越过红灯信号机。在无司机值守的车辆上，就需要有一套设备来替代司机的眼睛，来对轨旁信号机进行识别，确保列车不闯红灯。

目前，有关信号灯的识别，多集中在地面道路交通领域，对十字路口红绿灯的颜色识别较为成熟。也有少许关于大铁信号机识别的论文，由于和道路交通一样处于室外环境中，所面临的技术问题类似，未考虑隧道壁反射等环境干扰等影响因素。

针对地铁隧道内色灯信号机的视频识别一直存在着难点，信号机在地铁隧道中会有比较严重的衍射和炫光，给机器识别带来困难，原有的一些色灯识别方法在此环境下表现不佳，无法正常工作。

常见的信号灯识别出现在室外，视线开阔，周围无反射物，信号灯安装位置相对固定。现有的技术通常采用特征训练svm等分类器，通过检测信号灯背板形态初步锁定信号灯的位置，再对信号灯发光区域进行颜色提取和识别。通过观察现场的视频资料不难发现，室外光照条件较好，即便是在夜晚，路灯的照射也能保证信号灯外观轮廓清晰，便于识别定位，并且色灯发光区域颜色鲜艳，便于颜色的提取和识别。但是在隧道内，光线相对昏暗，原有方法很难定位信号灯机构的位置，同时，高亮的信号灯会导致采集视频数据时，色灯四周围出现明显的光晕和抖动，信号灯中心发光区域呈现出白色，影响识别。另外由于地铁隧道内环境狭窄，墙壁、屋顶经常会出现漫反射出的发光区域，在无法看清信号机的情况下，进一步给定位带来了困难。结合隧道内的实际情况，隧道墙壁上悬挂的设备较多，隧道弯道较多，会对远距离的信号灯形成遮挡，地铁行驶速度又比较快，为了确保列车的安全行驶，需要对远距离的信号灯做出快速和精准的识别，做到镜头捕捉到即识别到，因此，对方法的实时性提出了更高的要求。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种地铁色灯信号机的视频识别方法。

本发明的目的可以通过以下技术方案来实现：

一种地铁色灯信号机的视频识别方法，用于地铁隧道环境下的无人驾驶车辆识别轨旁的色灯信号机，该方法针对隧道内的特殊环境和采集到的视频数据的特征，对图像进行了多种处理，最终排除外界干扰，对信号灯视线精准快速的识别。

优选地，所述的方法包括以下步骤：

步骤1、车辆上的远焦相机实时捕获车辆运行前方的视频数据；

步骤2、利用hsv颜色空间对视频数据中的图像进行分割；

步骤3、对分割后得到的图像灰度图进行二分类，从而筛选出图中的发光区域；

步骤4、基于筛选出的发光区域，筛选出发光区域中的红色或绿色区域，即色灯光晕区域，并执行步骤5，若无筛选结果，则视为没有潜在信号灯区域，结束；

步骤5、图上会有多个筛选出的发光颜色区域，找出区域轮廓并保存最大的三个连通区域的位置信息，即潜在的信号灯位置；

步骤6、标记筛选出的三个连通区域的最小外接矩阵，对原图进行二值化处理得到黑白图，截取三个候选区域进行识别；

步骤7、在候选区域内找出圆形，从而确定存在信号灯的准确区域，并执行步骤8，若找不到圆，则将该颜色区域视为墙壁上形成的色灯反射，结束；

步骤8、根据识别到的各个圆的圆心，找到其中距离信号灯所在连通区域中心点最近的圆；

步骤9、根据最终确定的圆的坐标、半径信息，标记出锁定的色灯区域，并在屏幕上打印出色灯颜色信息及行驶指令。

优选地，所述的步骤1)中的相机采用远焦相机。

优选地，所述的步骤3)对图像灰度图进行二分类采用最大类间阈值法otsu进行。

优选地，所述的步骤3)中的发光区域为高亮度区域。

优选地，所述的步骤4)中的色灯光晕区域，通过设定阈值筛选并构建红和绿mask遮罩得到。

优选地，所述的步骤5)中的区域轮廓通过opencv中的cv2.findcontours找出。

优选地，所述的步骤7)中的圆形通过hough变换在候选区域内找出。

优选地，所述的步骤8)中的距离信号灯所在连通区域中心点最近的圆通过编写close_to_center函数来找出。

优选地，所述的步骤8)中的光晕相对对称，色灯发光区域位于光晕的中心位置。

与现有技术相比，本发明具有以下优点：

1、首先弥补了地铁内信号灯识别技术的空缺，为后期的发展和改进奠定了坚实的基础。

2、针对地铁内的特殊环境，解决了光线昏暗对信号机外观识别定位的影响以及墙壁反射对色灯发光区域识别定位的影响，从信号机发光产生的光晕入手，通过算法层层筛选，实现精准定位。

3、识别距离远，由于不再需要先对信号机的外观进行识别，大大提高了识别的距离，做到捕捉到发光区域就迅速显示识别结果。经过测试，地铁隧道内，在直道无遮挡的情况下可准确识别并定位200米外的色灯信号机及色灯状态，给列车保留了充足的安全制动距离。

4、运行速度快，由于去除了传统方法中对信号机外观的识别定位，并且对特定待处理区域进行裁剪，运算成本降低，算法实时性得到了保证。

5、运行稳定，识别完全基于实时捕获的视频数据，独立工作，不受其他设备和系统的影响。

附图说明

图1为本发明的方法处理流程图；

图2为本发明的红灯识别效果；

图3为本发明的绿灯识别效果；

图4为本发明的道岔处多灯识别效果；

图5为本发明的弯道处识别效果；

图6为本发明的远距离识别效果；

图7为本发明的hsv颜色空间分割效果；

图8为本发明的otsu阈值分割效果；

图9为本发明的红灯发光区域提取效果；

图10、11为本发明的标记三个最大发光连通区域效果；

图12为本发明的原图二值图效果；

图13为本发明的hough变换检测圆并标记距离中心点最近的圆。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明的原理如图1所示：通过司机室中安装的远焦镜头捕获车辆前方的实时视频数据，并传输给算法进行持续的分析识别，本算法针对隧道内的特殊状况，通过hsv颜色空间分割，使用最大类间阈值法(otsu)筛选隧道内的高亮区域，大大缩小待检测区范围，降低运算成本。然后通过设定阈值创建红、绿遮罩，过滤出色灯周围以及墙壁反射的有色发光区域。调用findcontours算法获取区域轮廓信息，降序排列最大连通区域，取前3名进一步分析(实际中，信号灯周围光晕范围较大，取前3名是为了排除隧道内物体反射形成的较小的反光区域的干扰，进一步缩小待检测范围)，若有色发光区域总数小于3则取全部。结合hough变换对最终候选区域进行圆形检测，存在圆形的即为色灯发光区域，检测不到圆的则为反射区域。最后标记圆形区域，实现对信号灯位置的精准锁定。

本发明针对隧道内的特殊环境和采集到的视频数据的特征，对图像进行了多种处理，最终排除外界干扰，对信号灯视线精准快速的识别。

具体的处理步骤如下：

步骤s1、远焦相机实时捕获车辆运行前方的视频数据。

步骤s2、利用hsv颜色空间分割。

步骤s3、利用最大类间阈值法(otsu)，对图像灰度图进行二分类，从而筛选出图中的发光区域即高亮度区域。

步骤s4、基于筛选出的发光区域，通过设定阈值筛选构建红、绿mask遮罩，筛选出发光区域中的红色或绿色区域，即色灯光晕区域，若无结果，则视为没有潜在信号灯区域，自动略过后面的处理。

步骤s5、图上会有多个筛选出的发光颜色区域，通过opencv中的cv2.findcontours找出区域轮廓并保存最大的三个连通区域的位置信息，即潜在的信号灯位置。

步骤s6、标记筛选出的三个连通区域的最小外接矩阵，对原图进行二值化处理得到黑白图，截取三个候选区域进行识别。

步骤s7、通过hough变换在候选区域内找出圆形，从而确定存在信号灯的准确区域，若找不到圆，则将该颜色区域视为墙壁上形成的色灯反射，略过后面的处理。

步骤s8、由于光线等环境因素的影响，hough变换会在色灯发光区域内找到多个圆，定位不精准，通过编写close_to_center函数，根据识别到的各个圆的圆心，找到其中距离信号灯所在连通区域中心点最近的圆(光晕相对对称，色灯发光区域位于光晕的中心位置)。

步骤s9、根据最终确定的圆的坐标、半径信息，标记出锁定的色灯区域，并在屏幕上打印出色灯颜色信息及行驶指令。

下面结合附图和具体实施例对本发明进行详细说明：

如图2和图3所示，分别是地铁内红色和绿色信号灯的识别结果，可以看到，信号灯发光区域被圆形准确的标记出来，屏幕上会显示色灯颜色标签，提示司机前进还是停止，后期结合列车的制动系统可无需司机干预制动。同时可以看到，单帧图片处理时间仅在6-9ms之间。

如图4所示，在道岔处，往往会有多个信号灯，我们的算法会对所有的信号灯进行识别和标记，后期会结合实际情况，根据信号灯所在的位置，只识别轨道右侧或只识别近处的信号灯。

如图5和图6所示，可以看到，图5是在弯道区域，信号灯刚出现在镜头中，我们的算法就做出了准确的识别和定位；从图6可以看出，很远处的信号的非常小，肉眼刚刚可见，我们的算法也做出了准确的识别和定位，这样大大提高了预警的提前量，确保了车辆行驶的安全。

如图7和图8所示，分别显示了hsv色彩空间分割的效果和otsu阈值分割的效果，可以看到，阈值分割后只保留了高亮的区域，包括信号灯区域、墙壁上的照明灯、钢轨的高亮表面等，排除了其他区域的干扰，降低了图像处理的复杂度。

如图9所示，通过hsv红色阈值范围的mask遮罩，提取出发光区域内的红色区域，图像处理范围进一步缩小。

如图10和图11所示，算法根据筛选出的红色发光区域，标记出三个最大的连通区域，并且标记出含有信号灯的区域和信号灯的位置。

如图12所示，二值图中，信号灯发光区域非常明显，为清晰的白色圆形，这样的处理能够大大提高hough变换对圆形检测的准确度。

如图13所示，图中最大连通区域检测到了三个圆，算法中的close_to_center函数筛选出了距离中心点最近的圆(黄色标记区域)，即为信号灯发光区域。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。