基于视频图像的列车前方障碍物检测方法与流程

本发明涉及一种基于视频图像的列车前方障碍物检测方法，属于图像处理技术领域。

背景技术：

随着我国铁路客货运量不断增加，车站接发列车数量及调车作业量也随之增多，铁路外伤亡事故呈增长态势，铁路障碍物严重影响到列车的运行安全。所以，研究列车前方障碍物检测的技术为保证列车运行安全和降低事故发生的危害提供了有效的技术途径，具备显著的学术理论和社会效益价值。依照现有技术，列车前方障碍物检测以及其它环境的障碍物检测分为主动检测和被动检测。

主动检测：即某种形式的信号向待检测的方位发出，反射回来的信号被传感器检测，由此来检测障碍物。主动检测主要包括雷达检测、超声波检测和激光检测，算法简单，容易实现，计算量小，不受天气影响并准确检测出障碍物的位置，但也存在一些缺点，如检测的距离有限，覆盖率有限、分辨率不高，雷达检测原理与激光检测相近，也存在空间覆盖率有限、分辨率不高的问题，另外主动检测是一种侵犯式检测，提高了环境噪声，传感器之间也会产生干扰。

被动检测：它主要是一种基于计算机视觉的图像检测，相比于主动检测有诸多优点，空间覆盖广，不增加环境噪声，以非侵犯方式检测，图像传感器之间不会产生干扰等。但是也存在缺陷，在光照不足的大雾、夜晚等条件下这种方法将失效，计算量大，算法复杂，不易实现。伴随着计算机软件和硬件技术发展，已逐步改善了实现困难的状况。

目前，对于列车前方障碍物的判断主要还是靠人工完成。利用图像进行自动障碍检测还存在以下问题有待进一步解决：

1)常规障碍检测方法大多采用图像统计特征进行判断，无法快速的确定障碍位置与类型；

2)摄像机在安装时为了能更大范围采集到图像必须具有一定的高度及角度，此采集图片的过程经过了透视变换，即将三维世界中的物体转换到二维图像中。透视变换的存在使得铁轨在图片中失去了原有的平行关系，变为相交的线条，铁轨的间隔在图像远端变得很小，这给分割不同位置和大小的障碍物带来了困难。

3)列车障碍检测应用场景下，轨道结构特征明显，在常规的道路障碍检测技术的基础上，如果将轨道结构特征作为先验知识，在障碍占据检测以及障碍定位上可以进一步提高性能。

技术实现要素：

为解决现有技术的不足，本发明的目的在于提供一种基于视频图像的列车前方障碍物检测方法，能够根据所采集的图像对障碍位置与类型进行快速准确地判断。

为了实现上述目标，本发明采用如下的技术方案：

一种基于视频图像的列车前方障碍物检测方法，其特征是，包括如下步骤：

1)对视频图像M0进行预处理，得到预处理后的二值化图像M1；

2)建立障碍检测窗口：根据直线轨道模型特征，对M1图像进行轨道拟合检测，根据轨道检测结果，截取以轨道区域为主体的检测窗口图像M2；

3)根据图像M2中两条轨道的四个端点坐标，按照反透视变换算法对图像M2进行反透视变换得到图像M3；

4)分别对图像M3像素值的纵向和横向进行累加，判断是否存在障碍占据，并对障碍占据进行定位；

5)根据障碍占据尺寸进行障碍危险预警；

6)根据步骤5)的结果在视频图像中实时标注障碍占据区域。

进一步地，所述步骤1)中的具体内容是：依次从视频中提取一帧图像M0，对图像M0进行降噪、增强处理，然后对增强后的图像进行边缘检测和二值化处理，将彩色视频图像转换成黑白图像，依次采用腐蚀和膨胀方法对二值化后的图像进行形态学处理，从而进一步滤除离散噪点，最终得到预处理后的二值化图像M1。

进一步地，所述步骤4)的具体步骤为：

401)对图像M3做纵向累加，得到图像在X轴上的累加投影，根据投影的峰值特征，将图像M3分为三个检测区域：轨道区域、轨道外侧区域、轨道内侧区域；

402)根据区域特征，判断区域内是否存在障碍占据：

在无障碍情况下，三个检测区域的特征为：

轨道区域，两条轨道纵向累加值应具有相近的峰值，且与检测窗口高度相吻合；

轨道外侧区域，纵向累加值平坦无跳变；

轨道内侧区域，纵向累加值平坦无跳变；

根据以上特征，将检测的障碍分为两类，第一类是轨道内侧及外侧的障碍占据，第二类是轨道遮挡障碍；如果轨道内侧和外侧区域存在障碍占据，纵向累加值将会存在跳变，跳变幅度和障碍占据的纵向尺寸有关；如果轨道存在障碍占据，轨道区纵向累加值将小于检测窗口的高度值，小于部分与轨道被遮挡区域大小有关；

403)如果三个检测区域存在障碍占据，则判断障碍占据的X轴坐标区间：

首先，对于轨道区域图像，做二值化取反处理，轨道遮挡障碍区像素值为1，而正常轨道区的像素值为0；然后，用轨道区域二值化取反后的纵向累加值替代原来轨道区的纵向累加值；最后，根据检测障碍占据的尺寸要求，设定纵向累加值跳变检测门限，对于超出门限的跳变区域提取其横向坐标区间{(Sx_n,Ex_n)}，n＝1,2,…,N，其中，Sx_n表示第n个跳变区的起始x轴坐标，Ex_n表示第n个跳变区的终止x轴坐标，N表示跳变区个数，即存在障碍占据的横向坐标区间个数；

404)对于障碍占据区间分别进行横向累加，判断每个障碍占据的Y轴坐标区间：从左往右，依次截取图像M3中的障碍占据横向坐标区间的图像A_n，n＝1,2,…,N；

对截取的图像分别进行横向累加，得到图像在Y轴上的累加投影，根据各图像累加值的跳变，可以分别得到每个横向坐标区间(Sx_n,Ex_n)上的障碍占据的Y轴坐标区间{(Sy_n，k，Ey_n，k)}，n＝1,2,…,N，k＝1,2,…,K_n，其中Sy_n,k和Ey_n,k分别表示横向坐标区间(Sx_n,Ex_n)上第k个障碍占据的起始和终止y轴坐标，K_n表示横向坐标区间(Sx_n,Ex_n)上存在的障碍占据个数；以上检测出的障碍占据总数为

进一步地，所述步骤5)具体内容为：

定义障碍占据为矩形区域序列集合{R1_n,k}，R1_n,k表示第n个横向坐标区间(Sx_n，Ex_n)上的第k个障碍占据矩形区域，矩形区域的两个对角点坐标为(Sx_n，Sy_n，k)和(Ex_n，Ey_n，k)，通过障碍占据区域R1_n,k的面积按照从大到小排序来判断障碍占据的危险等级。

进一步地，所述步骤6)的具体步骤：对图像M3中的障碍占据矩形区域序列集合{R1_n,k}进行逆反透视变换，将障碍占据坐标和轨道遮挡障碍坐标映射到图像M2中，标注出障碍区域，并实时输出障碍的参数，为列车自动避险或者人工干预提供参考。

进一步地，所述障碍的参数包括障碍的个数、类型和尺寸。

本发明所达到的有益效果：(1)本发明给出的算法，对于直道场景下的铁路障碍物检测，能实时有效的检测出障碍占据，并判断出障碍类型，给出障碍位置及尺寸参数等信息，有效的降低了人工检测的困难性和危险，并提高了效率；(2)本发明利用轨道区、轨道内侧及外侧区域的不同结构特征，分区判断障碍占据。通过分析反透视处理，有效的消除了图像视觉形变对障碍物位置和尺寸参数提取的影响，能够较现有技术更准确的确认障碍物的位置及大小。

附图说明

图1是本发明的算法流程图；

图2是试验场中列车运行前方视频图像；

图3是经过预处理后的检测窗口图像；

图4是对检测窗口图像进行反透视变换后的图像；

图5是反透视变换后图像像素值的纵向累加结果；

图6是反透视变换后图像像素值分区横向累加结果，其中图6(a)为左侧轨道区横向像素值累加结果，图6(b)为轨道内侧横向像素值累加结果，图6(c)为左侧轨道区横向像素值累加结果；

图7是检测窗口图像障碍标记结果。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明所涉及的一种基于视频图像的列车前方障碍物检测方法，具体包括如下步骤：

1)对视频图像M0进行预处理，依次从视频中提取一帧图像M0，对图像M0进行降噪、增强处理，然后对增强后的图像进行边缘检测和二值化处理，将彩色视频图像转换成黑白图像，依次采用腐蚀和膨胀方法对二值化后的图像进行形态学处理，从而进一步滤除离散噪点，最终得到预处理后的二值化图像M1。

2)建立障碍检测窗口：根据直线轨道模型特征，对M1图像进行轨道拟合检测，根据轨道检测结果，截取以轨道区域为主体的检测窗口图像M2；

3)根据图像M2中两条轨道的四个端点坐标，按照反透视变换算法对图像M2进行反透视变换得到图像M3；

4)分别对图像M3像素值的纵向和横向进行累加，判断是否存在障碍占据，并对障碍占据进行定位。具体步骤如下：

401)对图像M3做纵向累加，得到图像在X轴上的累加投影，根据投影的峰值特征，将图像M3分为三个检测区域：轨道区域、轨道外侧区域、轨道内侧区域；

402)根据区域特征，判断区域内是否存在障碍占据：

在无障碍情况下，三个检测区域的特征为：

轨道区域，两条轨道纵向累加值应具有相近的峰值，且与检测窗口高度相吻合；

轨道外侧区域，纵向累加值平坦无跳变；

轨道内侧区域，纵向累加值平坦无跳变；

根据以上特征，将检测的障碍分为两类，第一类是轨道内侧及外侧的障碍占据，第二类是轨道遮挡障碍；如果轨道内侧和外侧区域存在障碍占据，纵向累加值将会存在跳变，跳变幅度和障碍占据的纵向尺寸有关；如果轨道存在障碍占据，轨道区纵向累加值将小于检测窗口的高度值，小于部分与轨道被遮挡区域大小有关；

403)如果三个检测区域存在障碍占据，则判断障碍占据的X轴坐标区间：

首先，对于轨道区域图像，做二值化取反处理，轨道遮挡障碍区像素值为1，而正常轨道区的像素值为0；然后，用轨道区域二值化取反后的纵向累加值替代原来轨道区的纵向累加值；最后，根据检测障碍占据的尺寸要求，设定纵向累加值跳变检测门限，对于超出门限的跳变区域提取其横向坐标区间{(Sx_n,Ex_n)}，n＝1,2,…,N，其中，Sx_n表示第n个跳变区的起始x轴坐标，Ex_n表示第n个跳变区的终止x轴坐标，N表示跳变区个数，即存在障碍占据的横向坐标区间个数；

404)对于障碍占据区间分别进行横向累加，判断每个障碍占据的Y轴坐标区间：从左往右，依次截取图像M3中的障碍占据横向坐标区间的图像A_n，n＝1,2,…,N；

对截取的图像分别进行横向累加，得到图像在Y轴上的累加投影，根据各图像累加值的跳变，可以分别得到每个横向坐标区间(Sx_n,Ex_n)上的障碍占据的Y轴坐标区间{(Sy_n，k，Ey_n，k)}，n＝1,2,…,N，k＝1，2，…，K_n，其中Sy_n,k和Ey_n,k分别表示横向坐标区间(Sx_n,Ex_n)上第k个障碍占据的起始和终止y轴坐标，K_n表示横向坐标区间(Sx_n,Ex_n)上存在的障碍占据个数；以上检测出的障碍占据总数为

5)根据障碍占据尺寸进行障碍危险预警，定义障碍占据为矩形区域序列集合{R1_n,k}，R1_n,k表示第n个横向坐标区间(Sx_n,Ex_n)上的第k个障碍占据矩形区域，矩形区域的两个对角点坐标为(Sx_n，Sy_n，k)和(Ex_n，Ey_n，k)，通过障碍占据区域R1_n,k的面积按照从大到小排序来判断障碍占据的危险等级。

6)根据步骤5)的结果在视频图像中实时标注障碍占据区域。具体步骤为：对图像M3中的障碍占据矩形区域序列集合{R1_n,k}进行逆反透视变换，将障碍占据坐标和轨道遮挡障碍坐标映射到图像M2中，标注出障碍区域，并实时输出障碍的参数，为列车自动避险或者人工干预提供参考，其中障碍的参数包括障碍的个数、类型和尺寸。

下面通过一个列车前方障碍物检测实例来说明本发明算法的可行性。

如图2所示，为一帧列车前方视频图像，图像中包含两个纸箱障碍，其中一个位于轨道内侧区域，另一个对右侧轨道造成遮挡。

如图3所示，为预处理后的图像检测窗口。其处理过程为对视频图像进行降噪以及增强、图像的边缘检测、图像的二值化处理以及图像的形态学处理后，经过轨道拟合检测并以轨道区域为主体建立图像检测窗口。

如图4所示，对检测窗口图像，进行反透视变换，此时图像中轨道近似为两条平行的直线。

如图5所示，对反透视变换后的图像像素值进行纵向累加，并投影到X轴。从图5可以看出，存在三个主要波峰，分别对应左侧轨道区、轨道内侧障碍占据区以及右侧轨道区。根据图5所示的纵向累加结果，找出图像的跃变点，则可作为铁轨区域以及障碍占据区域的X轴坐标。

对于障碍占据区间分别进行横向累加，得出分区横向累加结果的二值图，如图6所示，其中图6(a)为左侧轨道区横向像素值累加结果，图6(b)为轨道内侧横向像素值累加结果，图6(c)为左侧轨道区横向像素值累加结果。从图6(b)可以看出，存在由障碍占据造成的像素累加值跳变，由跳变点可以判断障碍占据的Y轴坐标区间。从图6(c)可以看出，轨道存在不连续区间，该区间即为轨道遮挡障碍位置的Y轴坐标区间。

综合，从图5、图6所得到的障碍占据的X轴与Y轴坐标区间参数，可以判断存在两处障碍，第一处为轨道内侧障碍占据，第二处为轨道遮挡障碍，障碍物尺寸也可以有坐标计算得到。对障碍占据的坐标进行逆反透视变换，并在检测窗口图像中标记出障碍物，如图7所示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。