一种ATP视频监控与智能识别分析系统的制作方法

本发明涉及，特别是一种atp视频监控与智能识别分析系统。

背景技术：

列车超速防护系统，简称“车载atp”，是列车运行控制系统的核心安全设备，因该设备未配置实时故障报警功能，且安装于车辆封闭空间内，一旦故障发生，电务段无法进行在线故障排除或做出有针对性的维修准备。实现设备工作状态的实时监控，可以保证电务段第一时间了解电控设备在线运行状态，故障发生后，可第一时间判断故障种类，以便科学决策应对方式，将故障引起的后果降低到最小。

当前维修人员主要通过各控制单元内信号灯的明灭和闪烁来判断车载atp柜的故障状态，根据使用和维护说明书描述进行维修操作。希望有装置对设备的信号灯情况进行采集还原，并应用视频分析技术进行故障分析，实现在线监控。

cn201911008812.x公开了atp主机前面板视频监测系统，包括微型摄像头矩阵、车载视频主机、中心服务器和客户终端，在动车组运行过程中，系统采用视频拍摄、拼接、压缩等技术，对车载atp主机前面板的整体状况(包括各种灯位亮灭情况、设备的状态等)进行实时拍摄，并根据不同类型的atp，智能识别出灯位闪烁及异常状况，经移动网络实时传输至地面服务器，在终端上显示视频、识别结果，以及故障报警等信息。

技术实现要素：

针对现有技术中存在的问题，本发明提供了一种具有多通道并行采集、对监控指示灯明灭和频闪变化、拨码器读数、拔叉位置监测、可随时调用、人工智能识别算法、主动发出报警、实时监控及管理车载atp设备，精确识别结果的atp视频监控与智能识别分析系统。

本发明的目的通过以下技术方案实现。

一种atp视频监控与智能识别分析系统，包括车载视频采集装置和专家智能诊断系统，所述车载视频采集装置通过网线连接车载服务器，所述车载服务器通过网线连接专家智能诊断系统，所述专家智能诊断系统通过传输平台连接中心服务器，所述专家智能诊断系统包括图像获取模块，所述图像获取模块通过线缆连接指示灯、开关、拨码器和行叉，所述指示灯、开关、拨码器和行叉通过线缆连接图像处理模块，所述图像处理模块通过线缆连接线缆连接指示灯状态、开关状态、拨码器轮径值和行叉状态，所述指示灯状态、开关状态、拨码器轮径值和行叉状态通过线缆连接汇总监视信息并对比，所述汇总监视信息并对比后通过线缆连接正常运行状态实时显示和故障警报。

进一步的，所述车载视频采集装置采用多路摄像头负责采集监控对象的视频信息等atp所有目标状态，输出标准视频格式给车载服务器，为智能分析系统提供实时影像；所述车载服务器负责处理通过网线传送至车载服务器的视频信息采集，在车载服务器上进行图像分析，对故障情况进行判断，并将判断结果转换为数字信号；所述专家智能诊断系统通过网线连接铁路内部传输平台，通过平台将数据传输至中心服务器；所述中心服务器负责信号接收、状态还原工作，并呈现结果，以及对故障信息进行数字化处理，整理并存储；所述图像处理模块通过图像获取模块获取场景的图像，存储为一个单独的二维信号数组，然后采用256量化等级进行图像进行量化，每个像素取值范围为0～255，而后采用rgb色彩模型进行色彩表征，用红绿蓝三个颜色分量来表示任意颜色，每个像素点包含了其在三个颜色分量下的饱和度，通过rgb的三个颜色分量，可以获得图像的颜色信息；所述图像获取模块利用摄像头获取指示灯状态的图像，通过人工智能云图像处理技术，获取指示灯当前的颜色及该颜色对应的仪器状态，从而实现对设备的即时监控，机柜内没有光源，对于非指示灯的设备而言，采集图像的方法为同步控制的led闪光灯，在闪光灯亮时进行图像采集，为了不干扰周边其他摄像头的图像采集，该led将进行特殊设计，使其能刚好照亮空气开关所在区域。

进一步的，所述图像处理模块所述图像处理模块通过线缆连接机器学习深度学习模块，所述机器学习深度学习模块通过线缆连接指示灯状态、开关状态、拨码器轮径值和行叉状态，使得当前的仪器状态能够在图像获取之后迅速通过上述处理方法转换成仪器状态的信息。

进一步的，所述正常运行状态实时显示包括以下内容：a.面板上全部指示灯状态，共187个，包括明灭、频闪，其中vc144个，vc244个，dru45个，rlu16个，stn18个，btm20个；b.行叉cn3、cn4、cn5、cn6、cn7、cn8在系统通电时，是否有插头插入插槽；c.vc1、vc2、dru模块拨码器设置值读数；d.vc1模块两个拨码器轮径值码是否一致、vc2模块两个拨码器轮径值是否一致。

进一步的，所述故障报警的状况包括：a.指示灯状态改变，模块有故障；b.系统通电时，插槽位置无对应行叉；c.显示全部拨码器读数；d.vc1、vc2两拨码器显示轮径值码不一致。

进一步的，所述中心服务器向车载服务器发出调取要求，车载服务器响应并传输实时信息，并通过中心服务器在界面上显示atp柜实时工作状态。

进一步的，所述车载系统技术指标要求为：车载视频采集装置功率150w、车载服务器功率不大于300w、总功率不大于450w、电压为dc110v、工作环境温度-25℃～+70℃、保护等级ip20、无需主动冷却、大气压力为海拔高度不超过2500m、冲击振动gb/t25119-2010和相对湿度25％～90％，所述智能维护中心技术指标要求为：电压为ac220v、功率不大于1250w、工作环境温度5℃～35℃、需主动冷却、大气压力为海拔高度不超过2500m、相对湿度≤90％，非凝结。

进一步的，所述车载视频采集装置包括铝合金框架1组，摄像头模组及快拆单18组，视频解码系统1套，补光系统1套。

进一步的，所述专家智能诊断系统中设有atp设备状态图像识别sdk，所述atp设备状态图像识别sdk包括设备面板检测区域定位、指示灯状态识别、拨码器数字识别、航空插头连接状态识别功能，所述atp设备状态图像识别sdk实现步骤包括图像预处理：通过对摄像头采集的图像帧进行图像预处理，得到清晰度更高的图像；检测区域标记：根据摄像头的编号，自动选择监控区域标记策略，并完成检测区域的标记，检测区域图像提取；区域检测对象识别：主要识别指示灯状态、拨码器数字、航插连接状态，最终将识别结果汇总输出。

进一步的，所述机器学习深度学习模块基于深度学习网络fasterr-cnn的故障检测与识别的方法,通过对人工标注的图片数据进行卷积特征训练,得到了用于该场景下指示灯、轮径拨码器、航空插头三种设备的检测识别模型，样本数据来源于采集的atp设备状态监控视频,间隔截取帧图像,通过人工的方式分别挑选出6000张atp设备指示灯、轮径拨码器、航空插头状态相关的图像，将其作为训练样本集；通过配置tensorflow平台的运行环境，平台上搭建fasterr-cnn算法,将筛选出的样本集按照pascalvoc2007数据集的标准进行数据标注和存储，基于vgg16预训练模型进行参数微调,使得最终模型适用于atp设备状态监测的故障检测和识别问题。

相比于现有技术，本发明的优点在于：本发明atp视频监控与智能识别分析系统通过多通道并行采集技术，收集汇总ctcs2-200h型atp设备各个板卡的视频信息，对指示灯明灭和频闪变化、拨码器读数、拔叉位置进行监测，可供段内随时调用，车载服务器通过人工智能识别算法，发现设备异常后主动向段内服务器发出报警，并在段内服务器软件内还原车载atp设备实时工作状态，实现路局和电务段对区域内车辆车载atp设备故障的实时监控及管理。

本发明具有：准确性：采集标注大量的图像数据集，采用深度学习fasterr-cnn网络方法训练得到高精度模型，实现准确的设备状态识别；

实时性：优化训练过程使得模型达到实时的检测性能，实现对监控视频的实时检测识别；

鲁棒性：采用复杂环境下的图像作为训练集，能适应各种复杂环境下的设备状态识别；

便捷性：我们采取本地存储和云备份的方案，本地缓存能把视频材料保存30天，并可选择是否同步到云端随时调用。故障发生时，后面界面上会记录故障发生前后的视频或图像，便于电务维修人员及时分析故障发生原因。

附图说明

图1为本发明的整体系统结构示意图。

图2为本发明的系统功能实现流程示意图。

图3为本发明atp设备状态图像识别sdk分布图。

图4为本发明atp设备状态图像识别sdk流程图。

图5为本发明学习深度学习模块流程图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

如图1-2所示，atp视频监控与智能识别分析系统，包括车载视频采集装置、车载服务器、专家智能诊断系统、中心服务器、图像获取、指示灯、开关、拨码器、行叉、图像处理、机器学习深度学习、指示灯状态、开关状态、拨码器轮径值、行叉状态、汇总监视信息并对比、正常状态实时显示和故障警报，车载视频采集装置通过网线连接车载服务器，车载服务器通过网线连接专家智能诊断系统，专家智能诊断系统通过传输平台连接中心服务器，图像获取通过线缆连接指示灯、开关、拨码器和行叉，指示灯、开关、拨码器和行叉通过线缆连接图像处理，图像处理通过线缆连接机器学习深度学习，机器学习深度学习通过线缆连接指示灯状态、开关状态、拨码器轮径值和行叉状态，指示灯状态、开关状态、拨码器轮径值和行叉状态通过线缆连接汇总监视信息并对比，汇总监视信息并对比通过线缆连接正常状态实时显示和故障警报，车载视频采集装置采用多路摄像头负责采集监控对象的视频信息等atp所有目标状态，输出标准视频格式给车载服务器，为智能分析系统提供实时影像，车载服务器负责处理通过网线传送至车载服务器的视频信息采集，在车载服务器上进行图像分析，对故障情况进行判断，并将判断结果转换为数字信号，专家智能诊断系统通过网线连接铁路内部传输平台，通过平台将数据传输至中心服务器，中心服务器负责信号接收、状态还原工作，并呈现结果，以及对故障信息进行数字化处理，整理并存储，图像处理通过图像采集设备获取场景的图像，存储为一个单独的二维信号数组。然后采用256量化等级进行图像进行量化，每个像素取值范围为0～255，而后采用rgb色彩模型进行色彩表征，用红绿蓝三个颜色分量来表示任意颜色，每个像素点包含了其在三个颜色分量下的饱和度，通过rgb的三个颜色分量，可以获得图像的颜色信息，图像获取利用摄像头获取指示灯状态的图像，通过人工智能云图像处理技术，获取指示灯当前的颜色及该颜色对应的仪器状态，从而实现对设备的即时监控，机柜内没有光源，对于非指示灯的设备而言，采集图像的方法为同步控制的led闪光灯，在闪光灯亮时进行图像采集，为了不干扰周边其他摄像头的图像采集，该led将进行特殊设计，使其能刚好照亮空气开关所在区域，机器学习深度学习对于没有指示灯的设备，则可以通过机器学习的方法，对设备状态进行学习，获得不同图片对应的设备的状态，图像获取加入了图像处理模块及机器学习程序，使得当前的仪器状态能够在图像获取之后迅速通过上述处理方法转换成仪器状态的信息，正常运行状态实时显示包括以下内容：a.面板上全部指示灯状态，共187个，包括明灭、频闪，其中vc144个，vc244个，dru45个，rlu16个，stn18个，btm20个；b.行叉cn3、cn4、cn5、cn6、cn7、cn8在系统通电时，是否有插头插入插槽；c.vc1、vc2、dru模块拨码器设置值读数；d.vc1模块两个拨码器轮径值码是否一致、vc2模块两个拨码器轮径值是否一致，故障报警的状况包括：a.指示灯状态改变，模块有故障；b.系统通电时，插槽位置无对应行叉；c.显示全部拨码器读数；d.vc1、vc2两拨码器显示轮径值码不一致，中心服务器向车载服务器发出调取要求，车载服务器响应并传输实时信息，并通过中心服务器在界面上显示atp柜实时工作状态，车载系统技术指标要求为：车载视频采集装置功率150w、车载服务器功率不大于300w、总功率不大于450w、电压为dc110v(+25％/-30％)、工作环境温度-25℃～+70℃、保护等级ip20、无需主动冷却、大气压力为海拔高度不超过2500m、冲击振动gb/t25119-2010和相对湿度25％～90％，智能维护中心技术指标要求为：电压为ac220v、功率不大于1250w、工作环境温度5℃～35℃、需主动冷却、大气压力为海拔高度不超过2500m、相对湿度≤90％(25℃)，非凝结，车载视频采集装置由以下部分构成：铝合金框架1组，摄像头模组及快拆单18组，视频解码系统1套，补光系统1套，为了确保装置强度满足车载设备要求，同时为了满足摄像系统能够在振动环境中拍摄中高清视频，装置充分考虑了振动因素，并经过反复振动试验确认。

如图3所示，所述专家智能诊断系统中设有atp设备状态图像识别sdk，所述atp设备状态图像识别sdk包括设备面板检测区域定位、指示灯状态识别、拨码器数字识别、航空插头连接状态识别功能，如图4所示，所述atp设备状态图像识别sdk实现步骤包括图像预处理：通过对摄像头采集的图像帧进行图像预处理，得到清晰度更高的图像；检测区域标记：根据摄像头的编号，自动选择监控区域标记策略，并完成检测区域的标记，检测区域图像提取；区域检测对象识别：主要识别指示灯状态、拨码器数字、航插连接状态，最终将识别结果汇总输出。

sdk规格信息包大小：～110m

数字图像识别大小：子码流620px*480px(主码流1920px*1080px)

检测区域定位速度：80～130ms(620px*480px)

检测区域定位精度：97.68％(10w帧视频图像，定位不准或定位失败率2.32％)

指示灯状态识别速度：1～5ms(620px*480px)

指示灯状态识别精度：99.0％(192个灯，除2个灯衰，可百分百识别准确)

拨码器数字识别速度：30～60ms(620px*480px)

数字识别模型精度：93.6％(基于mnist手写数字数据集，6w张训练图像，1w张测试图像)

航空插头连接状态识别速度：20～60ms(620px*480px)

航空插头连接状态识别精度：91.2％(视频图像测试结果)

备注：以上指标，根据最新版sdk运行在真实设备上，采用真实数据集测得，算法性能受运行设备、测试数据集等情况影响。

针对车载atp设备柜内狭小、黑暗、目标分散的复杂环境场景下，所述机器学习深度学习模块基于深度学习网络fasterr-cnn的故障检测与识别的方法，通过对人工标注的图片数据进行卷积特征训练,得到了用于该场景下指示灯、轮径拨码器、航空插头三种设备的检测识别模型，样本数据来源于采集的atp设备状态监控视频,间隔截取帧图像,通过人工的方式分别挑选出6000张atp设备指示灯、轮径拨码器、航空插头状态相关的图像，将其作为训练样本集；通过配置tensorflow平台的运行环境，平台上搭建fasterr-cnn算法,将筛选出的样本集按照pascalvoc2007数据集的标准进行数据标注和存储，基于vgg16预训练模型进行参数微调,使得最终模型适用于atp设备状态监测的故障检测和识别问题。

训练模型过程中时,采用16层的vgg16卷积神经网络提取图片的特征，使用rpn网络和fastr-cnn网络交叉训练的方式。训练时通过共享卷积特征，减少训练时的参数量，同时提高训练效率，使得模型达到实时的检测性能。

实际应用表明，fasterr-cnn算法对不同拍摄角度、有遮挡物、不同光照条件下的atp设备运行状态的故障检测都能得到理想的效果，且能达到实时监测的速率。

工作原理：本发明atp视频监控与智能识别分析系统，通过车载视频采集装置(图像采集设备)获取场景的图像，存储为一个单独的二维信号数组，然后采用256量化等级进行图像进行量化，每个像素取值范围为0～255，而后采用rgb色彩模型进行色彩表征，用红绿蓝三个颜色分量来表示任意颜色，每个像素点包含了其在三个颜色分量下的饱和度，通过rgb的三个颜色分量，可以获得图像的颜色信息，利用摄像头获取指示灯状态的图像，通过人工智能云图像处理技术，获取指示灯当前的颜色及该颜色对应的仪器状态，从而实现对设备的即时监控，对于没有指示灯的设备，则可以通过机器学习的方法，对设备状态进行学习，获得不同图片对应的设备的状态，机柜内没有光源，对于非指示灯的设备而言，采集图像的方法为同步控制的led闪光灯，在闪光灯亮时进行图像采集。为了不干扰周边其他摄像头的图像采集，该led将进行特殊设计，使其能刚好照亮空气开关所在区域，主要流程：车载视频采集装置负责采集监控对象的视频信息，视频信息采集后通过网线传送至车载服务器，在车载服务器上进行图像分析，对故障情况进行判断，并将判断结果转换为数字信号，系统通过网线连接铁路内部传输平台，通过平台将数据传输至中心服务器，中心服务器负责信号接收、状态还原工作，并呈现结果，中心服务器向车载服务器发出调取要求，车载服务器响应并传输实时信息，并通过中心服务器在界面上显示atp柜实时工作状态，中心服务器对故障信息进行数字化处理，整理并存储并及时发出警报，上传实时图像，维护人员干预；其中主要关键实现技术：通过多通道并行采集技术，收集汇总ctcs2-200h型atp设备各个板卡的视频信息，对指示灯明灭和频闪变化、拨码器读数、拔叉位置进行监测，可供段内随时调用；车载服务器通过人工智能识别算法，发现设备异常后主动向段内服务器发出报警，并在段内服务器软件内还原车载atp设备实时工作状态，实现路局和电务段对区域内车辆车载atp设备故障的实时监控及管理。