本发明属于嵌入式计算机领域，涉及一种转辙机缺口监控防漏报的设计方法。
背景技术：
近年来，随着我国经济的快速发展、城市化的不断推进，城市人口不断增长。列车作为当今世界上最重要的机械交通工具，客运、货运能力不断加大，为了让铁路通信设备保持良好的工作状态，对后期维护工作提出了更严格的要求。目前，转辙机已经在我国各个铁路电气集中的车站广泛使用，它的主要特点是工作频繁、工作条件恶劣、工作地点分散、不易集中管理。转辙机缺口偏移量反映了道岔贴合的程度，可以作为道岔精准移位与否的衡量依据。
转辙机作为列车道岔精准转换的电力牵引设备。对正常、过车、转辙机工作情况下缺口的准确监控至关重要。随着轨道交通信号系统的不断发展，转辙机缺口监控系统日趋成熟，但存在警情误报和漏报的可能。
转辙机缺口监控防漏报的设计方法是依托转辙机缺口监控系统的网络技术、信息采集技术和图像处理技术实现的方法。转辙机缺口监控系统的整体结构如图1所示。转辙机缺口监控系统包括火车站场各转辙机、工控机、电力载波线路、网络转换器、adsl(asymmetricdigitalsubscriberline)通信线路、上位机、nvr(networkvideorecorder)服务器、专用网络。工控机存在于每个转辙机内，工控机主要包含转辙机温度传感器、转辙机湿度传感器、转辙机振动传感器、转辙机图像处理控制器、网络分机。其中图像处理控制器包括供电单元、视频存储单元、图像分析单元、图像采集单元。图像采集单元包括led灯、摄像头、转辙机缺口位置。
当前各公司产品可实现：1.列车过车或设备切换状态下获取转辙机缺口值并报警。2.获取温度、湿度、振动等实时参数。3.能够对相关数据整理、显示、存储。但目前市面产品存在一些未解决的问题以及设计上的不足。中国发明专利申请，公开号cn102673611a，公开了一种铁路转辙机表示杆缺口视频监控方法及系统。对比此系统，本设计方法采用了更多可行性的设计：(1)本设计方法在工控机内的摄像头采用白光摄像头，相较于传统红外摄像头具有还原物体真实影像、调光技术、寿命更长等明显优势。(2)本设计方法采用上位机的服务器处理器具备高性能运算能力，相较于工控机arm处理器的处理能力提高百倍。(3)网络带宽对上传视频网速限制较大，本设计采用先本地存储，待空闲时段上传视频的方式避开火车过车等特殊时刻，相较于常规产品采用视频压缩后上传的模式更能保证视频影像真实。(4)在对图像的缺口分析上，本设计方法对完整视频的每一视频帧图像缺口分析，可对列车瞬间抖动可能造成的缺口超出范围进行监控。常规监控方式是在转辙机缺口变化前和缺口稳定不变时对视频分别截图，通过最终获取稳定不变的缺口值来衡量转辙机缺口是否超出范围。此方法存在较大漏洞，当缺口变化中出现抖动超出范围，而稳定后又在正常范围，无法识别变化中的缺口范围。漏洞的根本原因在于工控机内设备空间、成本、功耗以及网络带宽等因素限制了工控机对在线视频的算法处理能力。(5)本设计方法中的防漏报通过预先设定图像分类数据库，对待检测图像进行局部特征点分析。同时本设计在图像算法上运用机器学习对大量图像资源分类，使用卷积神经网络优化，通过fastr－cnn(fastregionsconvolutionalneuralnetworks)进行类别检测。其效果优于sobel(离散的一阶差分算子)边缘算子。
技术实现要素：
本发明要解决的技术问题是提供一种转辙机缺口监控防漏报的设计方法，提高转辙机缺口监控的可靠性。
本发明的技术方案：
一种转辙机缺口监控防漏报的设计方法，包括工控机处理模块、数据接收和存储模块、机器学习识别模块。整体流程如图2所示。
开始，初始化通信协议，工控机处理模块设置时间定时器，在设置时间内采集工控机实时温度、湿度、振动等常规数据并组合上传。同时，工控机时刻监控火车是否过车或转辙机是否工作。当在火车过车或转辙机工作状态下，采用sobel边缘算子对图像进行缺口检测，并获取转辙机缺口值、定位信息、反位信息和报警类型等缺口数据。判断火车过车或转辙机运行状态是否停止，如果停止则组合上传缺口数据，并将视频保存在本地。待网络空闲时上传视频。
接着，数据接收和存储模块接收工控机上传的数据，将从工控机上传的视频资源保存在nvr服务器。此模块接收工控机上传常规数据的数据包，在上位机计算和显示。当模块接收到缺口数据的数据包时，对缺口数据数据包解析，分别提取缺口数据和报警类型，保存缺口数据和报警类型在nvr服务器，同时上位机显示缺口数据和报警类型，将报警类型与机器学习识别模块分析视频后输出的报警类型做对比。
然后，机器学习识别模块中使用多目标的图像局部特征数据库预先存储在nvr服务器上，将待测视频转化为视频帧图片，分别加入图像分类数据库的样本集合，其中预先存储的特征样本包含了缺口越界、油滴污染、摄像头视角歪斜等分类特征。建立了在没有人工手动识别图像特征的情况下服务器自动识别的功能，其中用一个共享的卷积神经网络和前馈神经网络实现目标特征提取和目标特征检测两部分内容。建立图像分类数据库，将视频帧图片加入图像分类数据库样本集合。建立卷积神经网络，对相关参数进行卷积处理。采用正则化对卷积神经网络优化处理，得出最优拟合神经网络。对图像分类数据库进行w次采样处理，得到w个自主学习单元，利用投票方式对w个学习单元进行结合。通过fastr－cnn算法进行类别检测，导出报警类型。将报警类型和工控机报警类型进行比对，可出现以下四种可能情况：(1)若此时判定为报警，且工控机也为报警，则视为为正常报警。(2)若此时判定为报警，但工控机为正常，则视为漏报警。(3)若此时判定为正常，且工控机为报警，则视为误报警。(4)若此时均判定为正常，则视为正常。最后上位机计算并显示结果，单播返回至工控机，接着返回相关控制指令。本发明依托后台服务器强大的计算能力，实现了对变化中缺口视频的每一帧图像检测，可以解决以上出现的报警、误报警、漏报警。当出现警情时，系统均会提示上位机值班人员。
所述的机器学习识别模块实现的具体步骤如下：
步骤一：建立图像分类数据库
首先将检测视频转化成视频帧图片，建立一个图像的图像分类数据库；将视频帧图片、缺口越界、油滴污染、摄像头视角歪斜n个分类特征分别提取l个样本，并从特征样本中各提取s个测试集，设每个样本中剩余集合m＝l-s为训练集，其中m<l，s<<l，采用自主采样法对训练集m进行分割，并分别作为样本验证集；接下来对样本验证集中的图像压缩变换成64*64大小的图像，求出m每个像素的均值，得到处理后的图像；
步骤二：构建卷积神经网络，进行卷积参数优化，获取优化后的卷积神经网络；
卷积神经网络结构有两种：第一种是卷积层、卷积层、relu层、relu层、采样层、全连接层和softmax层；第二种是卷积层、relu层、采样层、全连接层和softmax层；两种卷积神经网络结构对应3种卷积神经网络框架，将训练集中输入3种中卷积神经网络框架，并让三种卷积神经网络框架分别进行多次迭代操作，根据训练集比较验证集图像识别的准确程度，然后取准确率高的作为优化后的卷积神经网络框架；
步骤三：对优化后卷积神经网络每个卷积层和全连接层中加入一个正则系数，且在每个全连接层加上一个随机失活系数可以有效的减少过拟合现象，其中随机失活为下次可被重新的开启神经元的网络结构；并将训练集m划分为小型样本迭代训练；
步骤四：将步骤一图像分类数据库进行w次采样，获取w个学习器ai(i＝1,2...w)；每个学习器以相同投票概率对测试集s进行预测投票，获取票数最多的类别作为最终预测结果进行输出，
其中
步骤五：将步骤二中处理后图像的卷积层和relu层，获得一个带有映射的特征图，为映射特征图中设置多个矩形框，并使用二进制标签一一标记；将矩形框标定区域和前面步骤识别的内容为重叠比例z，根据实际参数设置前景重叠比例z1，背景重叠比例z2；取大于z1的设为前景样本，然后得到预测框；取小于z2矩形框标记为背景样本，其余框舍弃。
本发明的有益效果在于当列车过车或转辙机工作状态下，工控机上报警情，并将录像视频存到本地硬盘，待网络空闲时上传服务器，通过机器学习算法输出报警视频帧，计算缺口值，输出警情。将报警类型和工控机警情对比判断是否出现漏报，消除铁路站点隐患。及时呼叫本地安保人员实地检修。
附图说明
图1是本发明的转辙机缺口监控系统的组成框图。
图2是本发的明转辙机缺口监控防漏报设计整体流程图。
图3是本发明的工控机处理模块流程图。
图4是本发明的数据接收和存储模块流程图。
图5是本发明的机器学习识别模块框图。
图6是本发明的视频检测框图。
具体实施方式
以下结合发明内容和说明书附图详细说明本发明的具体实施方式。
本发明包括工控机处理模块、数据接收和存储模块、机器学习识别模块。工控机处理模块负责采集转辙机常规参数、视频、缺口参数、警报类型，分析后分别组合上传至上位机。数据接收和存储模块将工控机上传的数据和视频存储在nvr服务器中，机器学习识别模块输出报警视频帧、计算缺口值、输出报警类型，之后将报警类型和工控机上传的报警类型对比并输出结果。
(1)工控机处理模块
此模块采集工控机内实时温度、湿度、振动等常规数据；还有火车过车或转辙机工作时，转辙机缺口视频、缺口数据、报警类型的缺口数据，并将上述数据分别组合上传至上位机。如图3所示。首先，初始化通信协议，上位机和各工控机加入组播协议，采用组播与单播相结合的方式。工控机采用单播返回信息。然后，判断周期定时器是否打开，如果否，则返回；如果是，则以1s为周期采集工控机实时温度、湿度、振动等常规数据，并将上述数据单播返回至上位机，并在服务器备份。同时，工控机持续监控列车或转辙机状态，如果状态不变，则继续监控，且不断上传实时常规数据。如果状态改变，白光摄像机开启，采用sobel边缘算子对图像进行缺口检测；判断当前视频是否录制完成，如果是，则将本机视频存于硬盘，如果否，则将转辙机缺口值、定位信息、反位信息等缺口数据组合单播上传至上位机，并在服务器备份。如果火车依然过车或转辙机状态持续改变，则返回；如果状态停止，则监控网络状态，如果网络空闲，之后上传视频。
(2)数据接收和存储模块
数据接收和存储模块接收站内工控机上传的数据包，将工控机视频资源存储在nvr服务器。其中上位机接收到固定周期从每台工控机设备上发送的常规数据数据包，同时还有转辙机缺口数据和报警类型组合的缺口数据数据包，以及空闲时段的转辙机缺口视频，如图4所示。首先，初始化通信协议，上位机与工控机建立udp组播通信，接收每个工控机的上报数据。然后判断数据类型，如果是视频数据，则将视频存储在在nvr服务器。如果是常规数据，每接收到一包数据后，通过起始位、结束位和异或校验值来判断数据是否有效。若无效则直接丢弃，继续从工控机接收数据；此时对数据包进一步解析，若数据有效则提取数据，接着对数据类型进行判断，如果是常规数据数据包，则保存常规数据在nvr服务器，同时上位机显示常规数据。接着，对缺口数据数据包解析，分别提取缺口数据和报警类型，保存缺口数据和报警类型在nvr服务器，同时上位机显示缺口数据和报警类型，将报警类型与机器学习识别模块分析视频后输出的报警类型做对比。
(3)机器学习识别模块
此模块用于处理火车过车或转辙机工作时的视频。工控机将视频存于本地，待网络空闲上传至nvr服务器，接着此模块采用机器学习方法对上传的视频进一步图像处理。
如图4所示，对内容识别基本流程。(1)建立图像分类数据库。(2)建立卷积神经网络。(3)采用正则化优化神经网络。(4)对图像分类数据库进行w次采样处理，得到w个自主学习单元，利用投票方式对w个学习单元进行结合。(5)通过fastr－cnn对提取的学习单元进行类别检测，并对分类结果进行输出和评估。具体步骤如下：
步骤一：建立图像分类数据库。本文首先将检测视频转化成视频帧图片，建立了一个图像的图像分类数据库。将视频帧图片、缺口越界、油滴污染、摄像头视角歪斜等n个分类特征分别提取l个样本，并从特征样本中各提取s个测试集，设每个样本中剩余集合m＝l-s为训练集，其中m<l，s<<l，采用自主采样法对训练集m进行分割，并分别作为样本验证集。接下来对验证集中的图像压缩变换成64*64大小的图像，求出m每个像素的均值，得到处理后的图像。
步骤二：构建卷积神经网络，进行卷积参数优化，获取优化后的卷积神经网络。卷积神经网络结构有两种。第一种是卷积层，卷积层，relu层，relu层，采样层，全连接层，softmax层；第二种是卷积层，relu层，采样层，全连接层，softmax层。此两种卷积神经网络结构对应3种卷积神经网络框架，将训练集中输入3种中卷积神经网络框架，并让三种框架分别进行30轮迭代操作，根据训练集比较验证集图像识别的准确程度，然后取准确率高的作为优化后的卷积神经网络框架。
步骤三：对优化后卷积神经网络每个卷积层和全连接层中加入p2＝0.05的正则系数，并且在每个全连接层后加上一个系数为k＝0.5随机失活的可以有效的减少过拟合现象，其中随机失活为下次可被重新的开启神经元的网络结构。并将训练集m分成一个每组各100的小型训练样本迭代100次，设置步长5e-3。
步骤四：将步骤一图像分类数据库进行w次采样，获取w个学习器ai(i＝1,2...w)；每个学习器以相同投票概率对测试集s进行预测投票，获取票数最多的类别作为最终预测结果进行输出，
其中
步骤五：将步骤二中处理后图像的卷积层和relu层，获得一个映射特征图，选取映射特征图中矩形框。给九种矩形框中每个矩形框一个二进制的标签，将九种矩形框中每个矩形框标定的候选区域与经过前四个步骤识别的图像内容重叠比例最大的矩形框标记为前景样本；接着，对除去标记为前景样本的剩余矩形框候选区域再分析，将经过前四个步骤中识别的图像内容重叠比例大于0.7的矩形框也记为前景样本。然后得到预测框，将预测框标定为前景样本对应的矩形框。将上述标记前景样本矩形框除外的矩形框标定的候选区域与前四个步骤中识别的图像内容重叠比例小于0.3的矩形框记为背景样本。其余背景框舍弃。接着，
a)将步骤一得到的处理后图像导入区域生成网络模型，对生成的区域网络模型进行80000次迭代训练优化，保存目标检测网络模型产生的预测框；
b)将步骤一得到的处理后图像和a)得到的预测框信息导入目标检测网络模型，对目标检测网络模型进行40000次迭代的训练优化，并保存目标检测网络模型参数；
c)将b)中得到的目标检测网络模型参数导入生成的区域网络模型,对生成的区域网络模型进行80000次迭代，保存目标检测网络模型产生的预测框；
d)将b)得到的目标检测网络模型参数以及(c)得到的预测框信息导入目标检测网络模型,对目标检测网络模型进行40000次迭代,保存目标检测网络模型最终产生的预测框。
其中在对视频特征值提取时采用了opencv自带的视频帧提取功能。如图5，获取待检测视频的视频帧，将视频帧加入分类数据库图像样本模型，对样本集进行上述步骤的训练最终输出视频帧，对不同种类的样本集合预先设定阈值，如果当前视频帧超过阈值，则直接在图像画出矩形框并输出视频帧；若未超过阈值，则通过带有二进制标签的矩形框标记特征值，接着进一步输出视频帧保存。对视频帧进行处理，输出报警类型。最后上位机将工控机预存的报警类型与此报警类型对比，输出并显示最终结果。