一种机车乘务员辅助瞭望预警方法及装置与流程

本发明属于铁路安全监控技术领域，具体涉及一种机车乘务员辅助瞭望预警方法及装置。

背景技术：

在铁路事故当中，除去人为和列车本身故障的因素，剩下的主要就是铁路线路的原因。其中，异物侵限是指铁道上影响到正常行车安全的障碍物，如桥梁隧道掉落的悬挂物，因报警失误滞留在道上的工物人员，相关装备以及非法上道的人畜车辆，造成铁路线路和列车行车安全造成威胁，由于列车运行速度快，单靠传统的司机瞭望判断，因受到环境、注意力、精神状态等的影响，难以保证及时有效地对各种情况进行判断，影响行车安全。

现有技术中，公告号为104442924的中国专利提出的“全天候高速铁路车载路障检测系统及方法”，该方法需要根据钢轨在图像中的相对位置不断调整镜头方向采集图像，并通过连续帧图像才能判断轨道是否存在障碍物进行相应报警。该方法的不足之处在于采用的算法复杂，检测障碍物的速度慢，不能满足机车对障碍物判断的快速性要求。

技术实现要素：

本发明的目的是提供一种机车乘务员辅助瞭望预警方法及装置，用于解决现有技术检测铁道上障碍物效率低的问题。

为解决上述技术问题，本发明提出一种机车乘务员辅助瞭望预警方法，包括以下方法方案：

方法方案一，包括如下步骤：

1)获取机车前方的轨道图像，对轨道图像进行轨道线定位；

2)根据定位到的轨道线确定轨道图像中的目标检测区域，利用高斯模型对目标检测区域进行背景建模；

3)根据背景建模中的前景像素的个数判断目标检测区域中是否有异物入侵，当判断为存在异物入侵时进行报警。

方法方案二，在方法方案一的基础上，步骤1)中采用热成像摄像头获取所述机车前方的轨道图像。

方法方案三，在方法方案一的基础上，步骤1)中在轨道线定位之前还包括对轨道图像进行以下预处理步骤：

采用canny边缘检测方法获取轨道图像的边缘信息，利用线性变换方法调节轨道图像的对比度，利用二值化操作方法去除轨道图像的背景干扰。

方法方案四，在方法方案一的基础上，步骤1)中所述轨道线定位包括以下步骤：

利用梯度方向追踪的方法检测出轨道图像中的所有线段，根据非极大值抑制方法和设定的筛选条件在所有线段中选取目标线段，选取的目标线段为所述定位到的轨道线。

方法方案五，在方法方案四的基础上，将目标线段和轨道图中设定的两条线段围成的区域作为所述目标检测区域。

方法方案六、七，分别在方法方案一、四的基础上，还包括判断所述轨道线是直轨道线或弯轨道线的步骤，当判断为直轨道时，按照步骤2)、步骤3)中对轨道线进行处理，当判断为弯轨道时，不对所述轨道线进行处理，直接采集下一帧轨道图像。

方法方案八，在方法方案四的基础上，当采用梯度方向追踪的方法无法检测出轨道图像中的线段时，采用霍夫变换算法判轨道图像中的线段。

方法方案九，在方法方案一的基础上，步骤3)根据背景建模中的前景像素的个数判断目标检测区域中是否有异物入侵包括：

确定背景建模中前景像素的轮廓区域的面积，当该面积大于设定值，且所述轮廓区域不穿过目标检测区域时，判定目标检测区域中有异物入侵。

为解决上述技术问题，本发明还提出一种机车乘务员辅助瞭望预警装置，包括以下装置方案：

装置方案一，包括处理器和布置在机车前方的摄像头，处理器连接摄像头，所述处理器用于实现以下步骤的指令：

1)获取机车前方的轨道图像，对轨道图像进行轨道线定位；

2)根据定位到的轨道线确定轨道图像中的目标检测区域，利用高斯模型对目标检测区域进行背景建模；

3)根据背景建模中的前景像素的个数判断目标检测区域中是否有异物入侵，当判断为存在异物入侵时进行报警。

装置方案二，在装置方案一的基础上，所述摄像头为热成像摄像头。

装置方案三，在装置方案一的基础上，步骤1)中在轨道线定位之前还包括对轨道图像进行以下预处理步骤：

采用canny边缘检测方法获取轨道图像的边缘信息，利用线性变换方法调节轨道图像的对比度，利用二值化操作方法去除轨道图像的背景干扰。

装置方案四，在装置方案一的基础上，步骤1)中所述轨道线定位包括以下步骤：

利用梯度方向追踪的方法检测出轨道图像中的所有线段，根据非极大值抑制方法和设定的筛选条件在所有线段中选取目标线段，选取的目标线段为所述定位到的轨道线。

装置方案五，在装置方案四的基础上，将目标线段和轨道图中设定的两条线段围成的区域作为所述目标检测区域。

装置方案六、七，分别在装置方案一、四的基础上，还包括判断所述轨道线是直轨道线或弯轨道线的步骤，当判断为直轨道时，按照步骤2)、步骤3)中对轨道线进行处理，当判断为弯轨道时，不对所述轨道线进行处理，直接采集下一帧轨道图像。

装置方案八，在装置方案四的基础上，当采用梯度方向追踪的方法无法检测出轨道图像中的线段时，采用霍夫变换算法判轨道图像中的线段。

装置方案九，在装置方案一的基础上，步骤3)根据背景建模中的前景像素的个数判断目标检测区域中是否有异物入侵包括：

确定背景建模中前景像素的轮廓区域的面积，当该面积大于设定值，且所述轮廓区域不穿过目标检测区域时，判定目标检测区域中有异物入侵。

本发明的有益效果是：

本发明首先获取机车前方的轨道图像，在轨道图像中进行轨道线定位，然后确定目标检测区域，并利用高斯模型对目标检测区域进行背景建模，根据背景建模中前景像素的个数判断目标检测区域中是否有异物入侵，实现铁道上障碍物的快速判断。

进一步，利用线性变换的方法调节图像的对比度可以使图像在比较模糊的情况下仍能检测到轨道，然后利用二值化操作和边缘检测的方法来提取有用的信息，也能够减少轨道线检测时背景因素的干扰。

进一步，将机车辅助瞭望预警装置与车载数据传输终端相连接，能够通过车载数据传输终端，将报警信息实时发送至机务段信息中心，便于指挥人员进行指挥和干预，实现预警到远程应急处置的闭环控制。

附图说明

图1是一种轨道线定位方法流程图；

图2是一种轨道上异物入侵检测流程图；

图3是本发明机车乘务员辅助瞭望预警装置通过车载数据传输终端向外部通信的连接框图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

实施例一：

本发明的一种机车乘务员辅助瞭望预警装置，包括处理器和布置在机车前方的摄像头，处理器连接摄像头，所述处理器用于实现以下机车辅助瞭望预警方法步骤的指令：

采用canny边缘检测方法获取轨道图像的边缘信息，利用线性变换方法调节轨道图像的对比度，利用二值化操作方法去除轨道图像的背景干扰，在进行处理后的轨道图像中进行轨道线定位，即利用梯度方向追踪的方法检测出轨道图像中的所有线段，根据非极大值抑制方法和设定的筛选条件在所有线段中选取目标线段，选取的目标线段即为定位到的轨道线。该设定的筛选条件例如为线段的斜率，或线段的起始位置是否位于图像宽度的1/3～2/3之间等。

然后，根据定位到的轨道线确定轨道图像中的目标检测区域，即将目标线段和轨道图中设定的两条线段围成的区域作为该目标检测区域，利用高斯模型对目标检测区域进行背景建模；根据背景建模中的前景像素的个数判断目标检测区域中是否有异物入侵，当判断为存在异物入侵时进行报警，方法流程如图2所示。

本发明首先获取机车前方的轨道图像，在轨道图像中进行轨道线定位，然后确定目标检测区域，并利用高斯模型对目标检测区域进行背景建模，根据背景建模中前景像素的个数判断目标检测区域中是否有异物入侵，实现铁道上障碍物的快速判断。

为保证判断检测障碍物的准确性，需要采用梯度方向追踪的方法或霍夫变换算法检测轨道的弯曲程度，即在相对较直的轨道线确定的目标检测区域中判断障碍物入侵较为准确，因此，在判断为弯轨道时，不对轨道线进行处理，并丢弃当前的轨道图像，直接采集下一帧轨道图像进行检测。

例如，一种轨道线定位方法如图1所示，当在轨道图像中检测到直线的个数为1条(N＝1)时，根据对称原理将另外一条轨道线进行预测定位，进而确定左右轨道线的位置，当在轨道图像中检测直线的个数大于1条(N>＝2)时，选取检测所有线段中最长的两个直线左右轨道线。

实施例二：

本发明的一种机车乘务员辅助瞭望预警方法，包括以下步骤：

(1)利用热成像摄像头对机车的前方路况进行实时地采集。

采用热成像摄像头实时对机车前方的路况进行采集。该摄像头是针对自然界所有温度在绝对零度(-273℃)以上的物体都会发出热成像线的特点进行设计，所以在夜间、大雨、大雾、雾霾等恶劣天气情况采集到的图像，仍能够准确地观察到机车前方的路况信息。

(2)利用计算机视觉技术进行对轨道进行标定和异物检测，并发出预警信息。

a)对采集的图像进行预处理。

利用线性变换的方法调节图像的对比度可以使图像在比较模糊的情况下仍能检测到轨道，然后利用“黑帽”图像形态学优化图像的质量，再利用sobel运算和二值化操作方法，减少轨道线检测时一些背景因素的干扰。

b)轨道线的定位。

利用梯度方向追踪的方法检测出图像中的线段：先求出一幅图像的梯度方向图，通过观察图像中轨道的特征，发现轨道线总是位于图像宽度的1/4～7/10之间(这里相比筛选线段时，在左右轨道两侧都留有一定的余量，这样可避免轨道稍微发生偏移时，造成的漏检问题)，且轨道线都是从图像最后一行开始生长的，所以先统计位于图像宽度1/4～7/10之间梯度方向不为0的点，并将它们作为追踪每条线段的起始点。针对每个起始点，自下而上搜索整张图像，找出该起始点所在的整条线段。对于一条线段的具体搜索的方法是：先比较该起始点的梯度方向与周围8邻域点的梯度方向的大小，然后选择追踪的方向，即下一个起点(选择与该起始点梯度方向差值最小且该差值小于某个阈值的那个点作为下一个起点)，直到寻找到图像的第一行，如果周围的点都不满足要求则停止搜索。每个是起始点都按照上述方法进行搜索，直到找到满足条件的所有线段。

检测出图像中的线段后，再根据非极大值抑制方法和一些条件筛选出目标线段(目标线段即为轨道所在的位置，也即左轨道线和右轨道线)，通过对目标的线段进行拟合并求出损失函数，根据目标线段的方差和损失函数2个条件，判断当前机车在较直的轨道上行驶，还是在弯曲的轨道上行驶。

若无法判断则进行霍夫变换继续判断前方道路是弯曲的还是笔直的，若仍旧无法判断，则不对该帧图像进行处理，直接采集下一帧进行处理。

c)建立检测窗口。

以检测到的2条轨道所在的直线作为边缘，并计算出2条直线和图像的第一行和最后一行的交点，将4个点用直线连接起来，连接起来的区域作为最终的目标检测区域。

d)判断轨道上是否有异物入侵。

通过目标检测区域的图像的灰度特征来进行高斯背景建模，再统计前景图像中白色区域面积的大小，当在某个阈值范围内时，说明有异物入侵。

具体的，先对检测窗口进行背景建模，然后再根据前景像素的个数来判断是否有异物入侵。一般而言，在目标检测过程中，判别当前帧时否有异物，关键的是找到一个参照的对象，通过对比判定是否有异物入侵，这个所谓的对象就是背景。目前在众多的目标检测方法中，被大家广泛应用和发展比较成熟的是高斯背景建模的方法。由于采集图像的摄像机是固定的，并且受外界干扰比较小，因而可认为场景视频中的像素点是呈单模态分布，所以选用单高斯模型进行背景建模。

图像中每一个像素点的颜色值作为一个随机过程X，并假设该点的像素值出现的概率服从高斯分布。令I(x,y,t)表示像素点(x,y,t)在t时刻的像素值，则有：

其中μt和σt分别为t时刻该像素高斯分布的期望值和标准差。单高斯背景建模的实现过程：

用第一帧图像数据初始化背景模型，计算出图像的均值μ0(x,y)、标准差σ0(x,y)。然后，检测前景与背景像素。

如果|I(x,y,t)-μt-1(x,y)|<λσt-1，则该像素点为背景像素点；如果|I(x,y,t)-μt-1(x,y)|≥λσt-1，则该像素点为前景像素点。其中μt-1(x,y)为(t-1)时刻图像像素的均值；σt-1为(t-1)时刻图像的像素的标准差。再对背景模型中均值μt(x,y)、标准差σt(x,y)进行更新，公式如下：

μt(x,y)＝(1-α)*μt-1(x,y)+α*I(x,y,t)

本实施例通过单高斯模型进行背景建模，可以判断出哪些像素点为背景像素点，哪些像素点为前景像素点，一般背景像素点的值为0，前景像素点的值为255，这样便可以将图像装换成一幅只含有0和255两种像素值的图像。由于受光线变化等环境的影响采集的图像会产生的边缘毛刺和孤立的噪声点，所以需对检测的窗口进行一些腐蚀、膨胀等图像预处理的操作。对处理后的图像进行轮廓查找，如果有轮廓所包围区域的面积大于设定值(例如设定值为30)，且组成该轮廓点的纵横坐标均小于检测窗口的纵横坐标，则说明轨道上有异物入侵，发出警示的声音，如果检测到所有轮廓的区域的面积都小30，则说明没有异物在轨道上，只需对背景模型进行更新即可，继续下一帧的处理。上述轮廓所包围区域的面积是利用opencv中contourArea()函数计算得到的。

本发明的机车辅乘务员助瞭望预警装置通过车载数据传输终端向外部通信的方式如图3所示，机车辅助瞭望预警装置与车载数据传输终端相连接，能够通过车载数据传输终端，将报警信息实时发送至机务段信息中心，便于指挥人员进行指挥和干预，实现预警到远程应急处置的闭环控制。

首先对机车前方的线路信息进行实时地采集，然后利用霍夫变换和梯度方向追踪的方法对采集到的数据信息中的轨道信息进行标定，用数学方法将两条铁轨所在的直线方程表示出来，然后以这两条直线方程为基础建立检测窗口，利用单高斯模型的方法对检测窗口来判断在行车过程中线路上是否存在影响安全行驶的因素等(如横穿的行人、车辆，隧道上突然坠落的石块等)，若存在危险因素，则给乘务员相应的提醒，以便及时采取措施，避免发生事故。本发明不仅可以实现铁轨上的异物的智能化分析，而且对夜间、以及雾天行车都具有较好的辅助提醒功能。

本发明利用计算机视觉技术实时地分析机车前方线路的监控数据，可以及时地提醒机车乘务员前方线路是否净空，可以帮助乘务员预知前方线路上的突发状况，对预防事故发生，有助于安全行驶，对行车安全有重要意义。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。