一种用于列车行驶方向检测的智能判断方法与流程

本发明是关于一种用于列车行驶方向检测的智能判断方法，属于铁路监控技术领域。

背景技术：

近年来，随着高铁的普及以及铁路沿线视频监控设备的部署，越来越多的列车实时运行视频可以用来进行分析和定点监控，然而，由于铁路沿线摄像头的位置和角度不，以及列车的形状、长度、速度等不同，使得列车智能检测系统的设计变得较为困难。目前常用的方法仍然是人工切换需要检测的列车，然后进行人眼判断，造成了大量的人力、物力等资源的浪费。

随着人工智能领域突飞猛进的发展，目前已经有针对列车的检测系统，常用的检测对象是整辆列车(整辆列车的外接矩形作为目标区域)，然后直接根据列车在图像中的位置变化来判断方向，这种方法对于挂在高处的摄像头可以有较好的效果，因为列车只占据了监控画面的一小部分，运动时的位移明显，可以准确地判断其运行方向。但是，对于安置在铁轨平面附近的摄像头，效果往往不理想，因为列车开过的时候，速度很快，且大小变化非常剧烈，这时，整个列车的外接矩形通常会占据全部画面，现有的方法在这种情况下，会出现漏检和方向判断错误的情况。

技术实现要素：

针对上述问题，本发明的目的是提供一种能够避免漏检和方向判断错误情况的用于列车行驶方向检测的智能判断方法。

为实现上述目的，本发明采取以下技术方案：一种用于列车行驶方向检测的智能判断方法，其特征在于包括以下内容：根据列车车头与摄像头之间的位置关系，标定列车车头样本；根据标定的列车车头样本，构建列车车头样本的检测深度网络模型；根据构建的检测深度网络模型，对摄像头获取的列车图像进行检测，得到列车车头样本的特征向量；根据设定时间内所有列车车头样本的特征向量，构建列车车头特征向量；对列车车头特征向量进行插值处理，得到统一长度的列车车头特征向量；对统一长度的列车车头特征向量进行分类方向判断，确定列车的行驶方向，完成列车行驶方向的判断。

优选地，根据列车车头与摄像头之间的位置关系，标定列车车头样本，具体过程为：当列车车头正对摄像头，即摄像头只能获取列车车头的正面图像时，标定列车车头正面的矩形区域为列车车头样本；当列车车头斜对摄像头，即摄像头能够获取列车车头的部分正面和部分侧面的斜侧面图像时，标定列车车头的斜侧面区域为列车车头样本；当列车车头侧对摄像头，即摄像头只能获取列车车头的侧面图像时，标定列车车头的侧面矩形区域为列车车头样本。

优选地，根据标定的列车车头样本，构建列车车头样本的检测深度网络模型，具体过程为：1)对摄像头获取的列车图像进行目标检测，得到若干标定框及其对应的输出框，每一标定框均为摄像头获取的某一列车图像中可能存在列车车头样本的区域，每一输出框均包括对应标定框的中心坐标、宽度和高度；2)根据标定的列车车头样本，对每一标定框均进行目标识别，确定每一标定框内的物体是否为列车车头样本，并输出预测框；3)根据所有标定框的预测框，构建列车车头样本的检测深度网络模型。

优选地，所述列车车头样本的检测深度网络模型包括网络输出分类模型和网络输出位置模型：a)网络输出分类模型lcls，用于表示识别的物体是否为列车车头样本：

lcls(p)-α(1-p)^γlog(p)

其中，α为正图像和负图像的控制因子；γ为分类正图像的权重系数；p为多类分类层输出的概率，其表达式为：

其中，上式左侧表示的是输入为xⁱ，模型参数为θ时，预测判断为正图像的概率为yⁱ，上式右侧的e表示自然对数，c表示一共可能的判断结果数目；b)网络输出位置模型lloc，用于表示网络输出的列车车头样本位置和实际位置是否有足够的重合度：

其中，n为标定框的数量；pos为所有预测到的列车车头样本位置；m为列车车头样本位置的横坐标、纵坐标、宽度和高度4个坐标；cx为列车车头样本中心点的横坐标；cy为列车车头样本中心点的纵坐标；w为宽度；h为高度；j为标定的第j个目标；g为标定框的位置；d为输出框的位置；l为预测框的位置；smoothl1(x)表示一个函数映射。

优选地，根据构建的检测深度网络模型，对摄像头获取的列车图像进行检测，得到列车车头样本的特征向量，具体过程为：a)根据构建的检测深度网络模型，对摄像头获取的列车图像进行检测，得到列车车头样本的位置和大小，其中，列车车头样本的位置tp为标定框的中心点坐标：

其中，(x1，y1)为列车车头样本的左上角坐标，(x2，y2)为列车车头样本的右下角坐标；列车车头样本的大小ts为标定框的面积：

ts＝(x2-x1)×(y2-y1)

b)根据列车车头样本的位置和大小，得到列车车头样本的特征向量

其中，tp(x)为列车车头样本位置的中心点横坐标；tp(y)为列车车头样本位置的中心点纵坐标。

优选地，所述列车车头特征向量为：

其中，为第t秒内第m帧列车图像的列车车头样本位置的中心点横坐标；为第t秒内第m帧列车图像的中心点纵坐标；为第t秒内第m帧列车图像的列车车头样本的大小。

优选地，对列车车头特征向量进行插值处理，得到统一长度的列车车头特征向量，具体过程为：采用线性插值法，对构建的列车车头特征向量进行插值处理，假如在第n组特征和第m组特征之间需要插入k个值，则：

其中，0＜k＜k，k为插值k的数量；为第n+k个时间点列车车头样本的中心点横坐标；为第n+k个时间点列车车头样本的中心点纵坐标；为第n+k个时间点列车车头样本在列车图像上的大小。

优选地，对统一长度的列车车头特征向量进行分类方向判断，确定列车的行驶方向采用二类分类器的列车运行方向分类器，具体过程为：将列车的行驶方向定义为驶向摄像头或驶离摄像头，当训练时，将驶向摄像头的列车车头特征向量标定为1，将驶离摄像头的列车车头特征向量标定为0，进而进行0-1二类分类器的训练，当二类分类器的输出为0时，表示检测到驶离摄像头的列车车头样本；当二类分类器的输出为1时，表示检测到驶向摄像头的列车车头样本。

本发明由于采取以上技术方案，其具有以下优点：1、区别于常用的基于规则的方向判断方法，本发明在检测到列车后，记录列车在图像中的位置和大小，作为方向判断的特征，然后将这些特征进行整合，输入到分类器中，判断列车的方向，最后根据分类器输出的结果，通知需要切换和跟踪的摄像头。通过这样的方式，可以有效地提升列车的检测和方向判断算法性能，能够有效避免漏检和方向判断错误情况。2、本发明由于将深度网络检测方式和传统方式进行结合，完全排除了其它已有方法中，需要人工干预(例如人工根据列车大小或轨迹等设定规则来判断方向)才能够完成的缺陷，节省了一定的人力和无力。3、本发明采用列车车头作为样本进行方向的判断，列车车头是非常明显的标志，它的形状和车身有明显的不同，且在图像中所占的体积不大，不会因为摄像头悬挂的角度不同引起形变而失效，具有较高的稳定性，同时，列车车头的运动轨迹明显，还可以用于后续列车速度等参数的判断，为列车的监控提供更加完备的数据，可以广泛应用于铁路监控技术领域中。

附图说明

图1是本发明智能判断方法的流程图；

图2是本发明智能判断方法中列车车头样本的检测深度网络模型示意图。

具体实施方式

以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

如图1所示，本发明提供的用于列车行驶方向检测的智能判断方法，包括以下步骤：

1)根据列车车头与摄像头之间的位置关系，标定列车车头样本，其中，列车车头为列车车头所在车厢，具体为：

当列车车头正对摄像头，即摄像头只能获取列车车头的正面图像时，标定列车车头正面的矩形区域为列车车头样本；当列车车头斜对摄像头，即摄像头能够获取列车车头的部分正面和部分侧面的斜侧面图像时，标定列车车头的斜侧面区域为列车车头样本；当列车车头侧对摄像头，即摄像头只能获取列车车头的侧面图像时，标定列车车头的侧面矩形区域为列车车头样本。

2)如图2所示，根据标定的列车车头样本，构建列车车头样本的检测深度网络模型，具体为：

2.1)对摄像头获取的列车图像进行目标检测，得到若干标定框及其对应的输出框，每一标定框均为摄像头获取的某一列车图像中可能存在列车车头样本的区域，每一输出框均包括对应标定框的中心坐标(cx，cy)、宽度(w)和高度(h)，对于n个标定框，其输出框的长度为4n。

2.2)根据标定的列车车头样本，对每一标定框均进行目标识别，确定每一标定框内的物体是否为列车车头样本，并输出目标识别结果即预测框(每一目标识别结果均包括两个值，分别为“是列车车头样本”和“不是列车车头样本”)，其中，对摄像头获取的列车图像进行目标检测和对标定框进行目标识别均可以采用现有技术公开的基于深度学习的检测方法，例如ssd(单模块的目标检测)法、fasterrcnn(快速双模块目标检测)法、yolo(单次快速目标检测法)等，具体过程在此不做赘述。

2.3)根据所有标定框的预测框，构建列车车头样本的检测深度网络模型，其中，列车车头样本的检测深度网络模型包括网络输出分类模型(crossentropyloss)lcls和网络输出位置模型lloc：

网络输出分类模型lcls，用于表示识别的物体是否为列车车头样本，其表达式为：

lcls(p)＝-α(1-p)^γlog(p)(1)

其中，α为正图像和负图像的控制因子(正图像是存在列车车头的图像，负图像是不存在列车车头的图像)；γ为分类正图像的权重系数，用于控制当前lcls(p)的大小，如果当前列车图像已经可以正确识别，则输出的lcls(p)小，反之，输出的lcls(p)大；p为softmax层(多类分类层)输出的概率，表达式为：

其中，公式(2)左侧表示的是输入为xⁱ，模型参数为θ时，预测判断为正图像的概率为yⁱ，公式(2)右侧e表示自然对数，c表示一共可能的判断结果数目，在本发明中为存在列车车头和不存在列车车头两种情况，即k＝2。

网络输出位置模型lloc，用于表示网络找到的列车车头样本的位置是否正确，即网络输出的列车车头样本位置和实际位置是否有足够的重合度，在本发明中，如果有50％以上的重合度，则表示位置正确，其表达式为：

其中，n为标定框的数量；pos为所有预测到的列车车头样本位置；m为列车车头样本位置的4个坐标，例如一张列车图像上检测到3个火车，则pos＝3，m则固定为4，因为每一列车车头样本位置都是由横坐标、纵坐标、宽度和高度四个参数组成的；cx为列车车头样本中心点的横坐标；cy为列车车头样本中心点的纵坐标；w为宽度；h为高度；j为标定的第j个目标；g为标定框的位置；d为输出框的位置；l为预测框的位置，每一标定框、输出框和预测框均包括横坐标、纵坐标、宽度和高度4个参数，即cx、cy、w、h；smoothl1(x)表示一个函数映射。

3)根据构建的检测深度网络模型，对摄像头获取的列车图像进行检测，得到列车车头样本的特征向量，具体为：

3.1)根据构建的检测深度网络模型，对摄像头获取的列车图像进行检测，得到列车车头样本的位置和大小。

列车车头样本的位置tp为标定框的中心点坐标：

其中，(x1，y1)为列车车头样本的左上角坐标，(x2，y2)为列车车头样本的右下角坐标。

列车车头样本的大小ts为标定框的面积：

ts＝(x2-x1)×(y2-y1)(10)

3.2)根据列车车头样本的位置和大小，得到列车车头样本的特征向量。

将由列车车头样本的位置tp和列车车头样本的大小ts构成的三维向量作为当前列车图像用于方向判断的列车车头样本的特征向量

其中，tp(x)为列车车头样本位置的中心点横坐标；tp(y)为列车车头样本位置的中心点纵坐标。

4)根据设定时间内所有列车车头样本的特征向量，构建列车车头特征向量，用于训练列车运行方向分类器：

当摄像头检测到列车车头样本后，在接下来的t(可以取10～20)秒内均进行检测，通常每秒可以检测m(可以取5)帧，这样，一共检测m×t幅列车图像。根据上述公式(11)中每幅列车图像得到的三维特征向量，得到3×m×t维向量即列车车头特征向量：

其中，为第t秒内第m帧列车图像的列车车头样本位置的中心点横坐标；为第t秒内第m帧列车图像的中心点纵坐标；为第t秒内第m帧列车图像的列车车头样本的大小。

5)对列车车头特征向量进行插值处理，得到统一长度的列车车头特征向量(例如长度可以设置为100)，便于后续列车运行方向分类器的设计，具体为：

由于列车的运行速度通常都很快，可能在画面中出现不到t秒就已经从画面中消失，列车车头特征向量内的特征数量即列车车头特征向量的长度均不相同，对于这种情况，需要进行插值处理，以将列车车头特征向量的长度进行统一。由于列车是刚体，其运动轨迹近似于线性变换，因此，我们采用线性插值法，对构建的列车车头特征向量进行插值处理，假如在第n组特征和第m组特征之间需要插入个值，则：

其中，0＜k＜k，k为插值k的数量；得到的3个特征为第n+k个时间点列车车头样本的中心点横坐标；为第n+k个时间点列车车头样本的中心点纵坐标；为第n+k个时间点列车车头样本在列车图像上的大小。

6)采用二类分类器的列车运行方向分类器，对统一长度的列车车头特征向量进行分类方向判断，确定列车的行驶方向，完成列车行驶方向的判断，具体为：

上述步骤5)中，得到的列车车头特征向量的维度是3×m×t，因此，需要采用二类分类器的列车运行方向分类器对列车车头特征向量进行判断，确定列车的行驶方向，该二类分类器的输入是长度为3×m×t的列车车头特征向量，其输出是二维的向量，其中，常用的二类分类器包括支持向量机(svm)、逻辑斯特回归(logisticregression)或神经网络等，可以根据实际情况进行选择并进行分类方向判断，具体过程为现有技术，在此不多做赘述。

在实际的铁路系统中，摄像头悬挂的高度、方向、倾斜角等均不一样，并不能够确定列车的绝对方向，例如东西向或南北向，本发明将列车的行驶方向定义为驶向摄像头或驶离摄像头，当训练时，将驶向摄像头的列车车头特征向量标定为1，将驶离摄像头的列车车头特征向量标定为0，然后进行0-1二类分类器的训练，当二类分类器的输出为0时，表示检测到驶离摄像头的列车车头样本，则可以发送信号至下一车站，下一车站的摄像头开启进行监控；当二类分类器的输出为1时，表示检测到驶向摄像头的列车车头样本，则可以发送信号至上一车站，上一车站的摄像头开启进行监控。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。