本发明属于车载信息采集技术领域，涉及一种基于地铁乘务作业信息采集智能检测分析方法。
背景技术：
随着轨道交道运输事业的蓬勃发展，电客车驾驶速度的不断提高，电客车运行的安全问题更加突出；影响机车安全运行的因素很多，但是电客车司机的驾驶行为在电客车安全运行方面占据不可忽略的地位。目前乘务对司机作业标准检查主要依靠人员跟车添乘、暗查、调取个别列车司机室录像进行查看分析司机作业过程。这样存在主要问题：1、管理技术人员人员数量、时间有限不能对司机作业全过程、全天候进行检查盯控。2、司机值乘过程目前没有结合地铁运行信息的音频采集设备监控司机的标准作业，发生故障时对司机操作分析带来一定困难。3、司机值乘过程疲劳驾驶、精神状态不佳时处于无监测状态，对列车行车安全造成重大隐患。在实际情况中，电客车司机需要在机车行驶过程不间断的瞭望和呼唤应答，以确保电客车的安全运行。目前国内、外没有针对电客车司机呼响应答和驾驶状态检测卡控技术。
技术实现要素：
本发明解决的问题在于提供一种基于地铁乘务作业信息采集智能检测分析方法，能够监测电客车司机值乘状态，采集音视频信息并存储，能够立体还原现场作业实际情况，方便随时查看分析。
本发明是通过以下技术方案来实现：
一种地铁乘务作业信息采集智能检测方法，在地铁的司机室内设置车载数据采集设备，由车载数据采集设备通过音视频数据的采集存储，进行电客车司机值乘状态的实时监测预警；
所述的车载数据采集设备包括视频采集主机及分别与其相连的状态监测终端、司机室摄像机、路况摄像机和录音笔；其中，状态监测终端、司机室摄像头分别采集机车司机站立工作位和驾驶工作位的视频图像，以进行司机驾驶室是否有人、司机值乘状态在线监测及预警；路况摄像机进行前方路况监控及信号灯分辨，录音笔实现全程记录机车运行过程包括呼唤应答在内的语音作业情况；
由音视频转储分析装置、数据服务器及手机app终端组成的地面分析系统，与车载数据采集设备实时进行信息传输，接收车载设备上传的值乘状态预警片段、音频、视频数据信息、存储并分析，统一管理所有电客车视频、音频文件。
所述的视频采集主机还根据状态监测终端、司机室摄像头采集的视频信息判断司机驾驶室是否有人，若均没有人，则自动关联ati等相关行车记录，在车速不为0时则判断机车司机处于离岗状态并进行预警提醒；车速不为0时，司机工作位视频图像中有人时，对司机的人脸区域进行跟踪检测，当检测出现异常时则判断司机处于疲劳状态并过行预警提醒；
所述的司机值乘状态监测是通过摄像头采集的视频信息，通过非介入方式提取人脸多个区域疲劳特征，实时准确检测出电客车乘务员精神状态，精神状态不佳时分三级报警提醒；司机远离值乘状态监测终端采集区域达到一定阈值后，发出视野偏离在线报警。
所述的司机驾驶状态判断方法：利用adaboost算法，提取haar特征训练得到人脸检测器，对人脸进行跟踪检测，以实时地在复杂背景情况下检测并定位到人脸区域，检测状态检测终端采集的视频图像中是否有人；如果没有人，分析司机室摄像头采集的视频图像中是否有人；如果“司机室摄像头”采集的视频图像中也没有人，在车速不为0时表明司机处于离岗状态，使离岗计数器加1，当离岗计数器大于阈值t1，则输出离岗报警，结束处理；如果状态检测终端采集的视频图像中没有人，司机室摄像头采集的视频图像中有人，认为司机处于站立瞭望；如果状态检测终端采集的视频图像中有人，则说明司机处于座位上，则进入进行驾驶状态检测。
所述的驾驶状态检测采用基于积分图、级联检测器和adaboost算法的方法：使用harr-like特征表示人脸，使用积分图实现特征数值的快速计算；
使用adaboost算法挑选出若干最能代表人脸的矩形特征作为弱分类器，按照加权投票的方式将弱分类器构造为一个强分类器；将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度，对司机的人脸区域进行跟踪检测；
利用perclos算法进行统计眨眼频率和眨眼持续时间，司机状态长时间不改，眼睛闭合到一定阈值，说明司机处于疲劳状态，若人脸区域在不断变化中，则表明司机在进行正常瞭望，继续采集下一帧图像。
所述的视频采集主机上还连接用于采集信息转储的u盘，电客车出库前u盘接入车载系统主机，电客车入库后拔出u盘，u盘内即存储当日电客车整个行车过程中司机室的视频数据和值乘状态信息。
所述的地面分析系统的分析包括：
地面分析系统进行电客车乘务员作业ati记录文件和音视频文件的关联检索，以行车数据为中心进行电客车运行信息、视频数据、录音笔语音文件同屏融合和同步分析，立体还原现场作业实际情况，完成关键项点作业情况分析；
地面分析系统还进行运行记录同步定位，以显示本次转储记录的全程运行记录详细信息，根据时间定位视频和录音，使视频播放过程中，运行记录也能随着视频自动往下切换；
地面分析系统的终端查看在线车辆的实时运行情况以及报警信息，时点播查看在线司机的实时值乘状态，全程监测电客车司机状态，当电客车司机出现瞭望间断现象触发语音报警时，自动形成数据记录，并记录发生报警时电客车司机的音视频信息；
地面分析系统还统计分析一段时间内的电客车运行违规情况，按风险时段、按关键地点、按典型问题、按车间对违章信息进行分类统计汇总。
所述的音视频转储分析装置进行的转储为：
音视频自动转储装置通过与视频采集主机进行通信连接，将其上连接的u盘内信息进行转储，并支持6路u盘同时转储；实时接收车载设备上传的乘状态预警片段、音频、视频数据信息存储，并将音视频数据和ati的时间同步系统，该时间同步系统包括语音视频输入模块、音视频信号采集模块、音视频信号处理模块、音视频识别模块和时间同步模块，实现对转储到地面的音视频数据进行智能分析；当在关键项点判断出司机驾驶异常，未呼唤应答时进行预警。
所述的音频识别和时间进行同步的方法为：
首先对输入的语音信号和语音提示信号进行端点检测和特征提取，端点检测采用短时能量和短时平均过零率的检测方法，利用能量和过零率作为特征来进行检测，在信噪比不低的情况下，根据语音信号的能量大于噪声能量的假设，通过比较输入信号的能量与语音能量阈值的大小，对语音段和非语音段加以区分；所述的特征提取可采用mfcc或lpcc实现；
然后对语音提示信号的特征进行机器学习训练，输入语音信号的特征与训练模型进行匹配和识别，识别出输入语音信号中的语音提示信号，并确定该语音提示信号在录音记录中的时刻；
再根据语音识别结果，将检测到的录音记录中的语音提示信号所在时刻与ati运行记录文件中该语音提示信号所在的时刻进行同步。
与现有技术相比，本发明具有以下有益的技术效果：
本发明提供的地铁乘务作业信息采集智能检测方法，基于音视频的电客车司机驾驶和呼唤应答状态检测方法，以解决对司机标准化作业的有效管理和卡控；能够实现电客车运行信息、视频数据、录音笔语音文件同屏融合，同屏显示、同步分析；立体还原现场作业真实情况，方便分析人员对项点的分析统计，降低了分析人员的工作强度，提高工作效率，可以实现对司机标准化作业的有效管理和卡控，效预防和减少机车电客车驾驶行为不当带来的安全隐患；可以较大程度地减少操作不规范引起安全事故发生。
本发明提供的地铁乘务作业信息采集智能检测方法，可以实现对司机行车中疲劳、离岗检测预警，不需要司机进行操作，不增加司机负担。通过录音笔全程记录机车运行过程中的呼唤应答以及其它语音作业情况，同时，录音笔还记录有行车控制装置发出的语音提示信号。通过u盘转储音视频数据，在地面通过音视频转储装置自动高速转储u盘、录音笔数据，实现三合一地面分析。
本发明提供的地铁乘务作业信息采集智能检测方法，可以实现司机值乘助手：司机工作状态良好时系统不报警，当出现司机离岗、视线偏离、疲劳等不良状态时，发出语音报警，提醒司机注意瞭望；当司机纠正不良工作状态后，系统自动停止语音报警。
本发明提供的地铁乘务作业信息采集智能检测方法，可以实现安全管理助手：系统将原来事后分析改为实时在线监督管理，大大减少人工分析的工作量，提高安全管理效率和时效性。通过车载采集设备和综合地面信息分析平台，不仅能够实现车上司机值乘状态的实时监测报警、同时将所有机车车辆状态信息(司机值乘状态、报警类型、报警视频、车速信息、行车轨迹等)上传到地面平台，能够实时监测机车运行情况、司机值乘时间、司机值乘状态。管理干部等能够通过移动端手机app、网络浏览器接收指定车队、机车的报警通知，并能通过电子地图实时了解机车位置、司机值乘状态等情况。从而在安全层面上加强对司机的管理，将事故消除于未然，最大限度减少企业损失，保证行车安全。
本发明提供的地铁乘务作业信息采集智能检测方法，可以实现三合一功能：实现自动将u盘中的视频数据和录音笔音频数据高速转储到本地服务器中。自动关联机车ati数据，使音视频数据自动与ati时钟同步。实现电客车运行信息、视频数据、录音笔语音文件同屏融合，同步分析。在关键项点时对输入的语音信号进行检测，分析司机呼唤应答是否标准。
附图说明
图1为本发明的系统结构示意图；
图2为本发明的摄像头安装位置示意图；
图3为本发明的车载系统检测方法流程图。
图4为本发明音频识别和时间进行同步的流程图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
本发明提供的一种地铁乘务作业信息采集智能检测方法，在地铁的司机室内设置车载数据采集设备，由车载数据采集设备通过音视频数据的采集存储，进行电客车司机值乘状态的实时监测预警；
所述的车载数据采集设备包括视频采集主机及分别与其相连的状态监测终端、司机室摄像机、路况摄像机和录音笔；其中，状态监测终端、司机室摄像头分别采集机车司机站立工作位和驾驶工作位的视频图像，以进行司机驾驶室是否有人、司机值乘状态在线监测及预警；路况摄像机进行前方路况监控及信号灯分辨，录音笔实现全程记录机车运行过程包括呼唤应答在内的语音作业情况；
由音视频转储分析装置、数据服务器及手机app终端组成的地面分析系统，与车载数据采集设备实时进行信息传输，接收车载设备上传的值乘状态预警片段、音频、视频数据信息、存储并分析，统一管理所有电客车视频、音频文件。
参见图1，本发明的系统由车载数据采集设备和地面分析系统两部分组成。车载数据采集设备由视频采集主机、状态监测终端(安装在司机操作台前方，朝向司机)、司机室摄像机、路况摄像机、录音笔四部分组成。车载数据采集实现电客车司机值乘状态的实时监测预警及音视频数据的采集存储。车载数据采集设备主机内可装载移动无线网卡，实现车地实时通讯，通过地面综合分析台和手机app终端对电客车司机值乘状态进行在线监测、预警与分析。
车载数据采集进行以下操作：
(1)司机值乘状态在线监测及预警
采用智能图像处理方法，过非介入方式提取人脸多个区域疲劳特征。不受司机个体差异、驾驶习惯、佩戴墨镜等影响，同时不干扰司机正常驾驶。实时准确检测出电客车乘务员精神状态，精神状态不佳时分三级报警提醒。
司机远离“值乘状态监测终端”采集区域达到一定阈值后，发出视野偏离在线报警。
(2)“路况摄像头”实现前方路况监控及信号灯分辨。
(3)通过录音笔全程记录机车运行过程中的呼唤应答以及其它语音作业情况，同时，录音笔还记录有行车控制装置发出的语音提示信号。
(4)u盘实时存储功能：电客车出库前，乘务人员将u盘接入车载系统主机，入库后拔出u盘，u盘内即存储当日电客车整个行车过程中司机室的视频数据和值乘状态信息。
具体的下面给出车载数据采集设备组成介绍：
视频采集主机采用dc110v供电，主控电路由dm3730、数据存储模块、网络数据交换模块、电源管理芯片、内存、flash、移动网络等外元件组成。采用linux操作系统，系统将图像分隔经dsp转化后，由dsp协处理器并行运算，将复杂的图像数据进行快速处理。实现机车安全信息、机车状态信息、机车监测信息的采集、处理及记录，视频信息的存储、，并将报警信息上传地面管理中心。
状态监测终端采用低噪摄像头、940nm红外主动光源、滤光器等外元件组成。采用红外线主动照明和红外线滤光方式，有效滤除外界各种光线的干扰，对背景有很好的抑制和消除墨镜干扰，减少了外界环境的干扰，同时不会对乘务员产生任何干扰。
司机室摄像头和路况摄像头采用外购成品机，高分辨率，低照度，支持宽动态功能,宽动态范围大于75db，支持3d数字降噪功能，支持smartir技术，支持电子防抖功能，支持数字放大功能
录音笔采用坚固、耐用美观的金属外壳，表面电镀处理，远离环境噪音的干扰；采用高灵敏度全指向性防水防尘咪头，全向拾音、声音清晰自然；采用专业音频处理技术，有效防止语音信号失真及衰减；防水防尘等级ip55；内置雷击保护、电源极性反接保护和静电保护。
如图1和图2所示，本发明首先通过“状态检测终端”和“司机室摄像头”分别采集机车司机站立工作位和驾驶工作位的视频图像。通过摄像头判断是否有人，若均没有人，自动关联ati等相关行车记录，在车速不为0时则判断机车司机处于离岗状态并进行预警提醒；车速不为0时，司机工作位视频图像中有人时，对司机的人脸区域进行跟踪检测，当检测出现异常时则判断司机处于疲劳状态并过行预警提醒。“路况摄像头”实现前方路况监控及信号灯分辨。录音笔实现全程记录机车运行过程中的呼唤应答以及其它语音作业情况，同时，录音笔还记录有行车控制装置发出的语音提示信号。
司机驾驶状态判断算法检测流程如图3所示。具体做法：利用adaboost算法，提取haar特征训练得到人脸检测器，对人脸进行跟踪检测，以实时地在复杂背景情况下检测并定位到人脸区域，检测“状态检测终端”采集的视频图像中是否有人；如果没有人，分析“司机室摄像头”采集的视频图像中是否有人；如果“司机室摄像头”采集的视频图像中也没有人，在车速不为0时则说明司机处于离岗状态，使离岗计数器加1，当离岗计数器大于阈值t1，则输出离岗报警，结束处理；如果“状态检测终端”采集的视频图像中没有人，“司机室摄像头”采集的视频图像中有人，认为司机处于站立瞭望；如果“状态检测终端”采集的视频图像中有人，则说明司机处于座位上，则进入进行驾驶状态检测。
驾驶状态检测采用基于积分图、级联检测器和adaboost算法的方法，使用harr-like特征表示人脸，使用“积分图”实现特征数值的快速计算；使用adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器；将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度，对司机的人脸区域进行跟踪检测，利用perclos算法进行统计眨眼频率和眨眼持续时间，perclos是指在单位时间内眼睛闭合程度超过某一阈值(70％、80％)的时间占总时间的比值；眨眼频率用于表示眼睛状态(睁眼或闭合)变化的快慢；眨眼持续时间指眼睛从睁开到闭合再到睁开这一过程所用的时间。
司机状态长时间不改，眼睛闭合到一定阈值，说明司机处于疲劳状态，如果人脸区域在不断变化中，说明司机在进行正常瞭望，继续采集下一帧图像。
地面分析系统进行以下操作：
地面分析系统由音视频转储分析装置、数据服务器组成，手机app终端组成。负责实时接收车载设备上传的值乘状态预警片段、音频、视频数据信息及存储，统一管理所有电客车视频、音频文件的，构建三位一体的音视频信息统一分析管理平台。系统实现电客车乘务员作业ati记录文件和音视频文件的关联检索功能，以ati等行车数据为中心实现电客车运行信息、视频数据、录音笔语音文件同屏融合，同步分析。通过多种记录数据的综合分析，立体还原现场作业实际情况，完成关键项点作业情况分析,提高分析效率。
实现运行记录同步定位，用来显示本次转储记录的全程运行记录详细信息。运行记录后，能够自动根据时间定位视频和录音，使视频播放过程中，运行记录也能随着视频自动往下切换。
管理人员可以通过pc机或移动终端查看在线车辆的实时运行情况以及报警信息，时点播查看在线司机的实时值乘状态。全程监测电客车司机状态，当电客车司机出现瞭望间断现象触发语音报警时，系统自动形成数据记录，并记录发生报警时电客车司机的音视频信息，车载部分能够进行本地存储通过u盘转储分析。统计分析一段时间内的电客车运行违规情况，能够按风险时段、按关键地点、按典型问题、按车间，对违章信息进行分类统计汇总，为有效制定风险管控措施提供数据支持。
音视频自动转储装置实现u盘采集信息的高速转储，转储速度可以达到每秒200m以上，可以支持6路u盘同时转储，并行转储速度接近千兆，，全程无需人工干预。实时接收车载设备上传的乘状态预警片段、音频、视频数据信息存储，统一管理所有电客车视频、音频文件的，并将音视频数据和ati的时间同步系统，该时间同步系统包括语音视频输入模块、音视频信号采集模块、音视频信号处理模块、音视频识别模块和时间同步模块，实现对转储到地面的音视频数据进行智能分析，当在关键项点判断出司机驾驶异常，未呼唤应答时进行预警。构建三位一体的音视频信息统一分析管理平台。
音频识别和时间同步实现方式介绍(参见图4)：对输入的语音信号和语音提示信号进行端点检测和特征提取。端点检测可采用短时能量、短时平均过零率、倒谱特征、熵、复杂性(kc复杂性和c0复杂性)等方式实现。特征提取可采用mfcc(梅尔倒谱系数)或lpcc(线性预测倒谱系数)实现。
对语音提示信号的特征进行机器学习训练，输入语音信号的特征与训练模型进行匹配和识别，识别出输入语音信号中的语音提示信号，并确定该语音提示信号在录音记录中的时刻。
根据语音识别结果，将检测到的录音记录中的语音提示信号所在时刻与ati运行记录文件中该语音提示信号所在的时刻进行同步。
下面给给出一个同步的实施例：
在进行端点检测和特征提取时，本实施选用短时能量和短时平均过零率，短时能量和短时平均过零率的检测方法也称为双门限比较法，它是在短时能量检测方法的基础上,加上短时平均过零率,利用能量和过零率作为特征来进行检测，在信噪比不是很低的情况下,根据语音信号的能量大于噪声能量的假设,通过比较输入信号的能量与语音能量阈值的大小,可以对语音段和非语音段加以区分。本实施中选用的是mfcc，利用mfcc提取语音信息特征属于比较成熟的技术，可参照现有技术来进行。
本实施例中通过检测“绿灯通过”语音信号和输入语音信号中的各个语音段的起始点和终点，提取端点检测后的“绿灯通过”语音信号和输入信号中语音段的语音特征。
本实施中对提取的“绿灯通过”语音信号特征进行机器学习训练，输入语音信号的特征与训练模型进行匹配和识别，识别出输入语音信号中所有“绿灯通过”的语音信号，并确定各“绿灯通过”语音信号所在的时刻。
本实施例任意选出输入语音信号中一个“绿灯通过”语音信号所在的时刻与ati运行记录文件中所有“绿灯通过”语音信号所在的时刻进行比对，找出时间差最小的时刻，将该时刻作为录音记录中选定的“绿灯通过”语音信号所在的时刻，同时通过录音记录和ati运行记录文件对应语音信号的两个时刻的时间差，校正录音笔中的时间，使录音笔和ati监控装置的时间同步。
利用本发明实现电客车运行信息、视频数据、录音笔语音文件同屏融合，同屏显示、同步分析。立体还原现场作业真实情况，方便分析人员对项点的分析统计，降低了分析人员的工作强度，提高工作效率。实现对司机标准化作业的有效管理和卡控。
以上给出的实施例是实现本发明较优的例子，本发明不限于上述实施例。本领域的技术人员根据本发明技术方案的技术特征所做出的任何非本质的添加、替换，均属于本发明的保护范围。