基于视频监测乘务员驾驶状态的预警装置的制作方法

本实用新型涉及乘务员驾驶状态监测技术领域，尤其是涉及一种能够进行视野偏离检测、人脸状态检测和手势检测分析，同时能够提高监测准确性的基于视频监测乘务员驾驶状态的预警装置。

背景技术：

在轨道车运行中，乘务员的精神状态不佳、间断瞭望是列车行车安全的重大隐患，针对列车运行中可能出现的乘务员工作状态不佳、疲劳、甚至瞌睡等安全隐患，铁路部门采取了跟车添乘指导、“警惕按钮”等手段进行预防。但跟车添乘指导方法覆盖率低、周期长，“警惕按钮”的手段不能防止轨道车乘务员在盹睡状态下对其按钮操作转化为下意识地重复动作，当出现打盹、睡觉或运行区段出现障碍物、区间占用而信号正常等特殊情况时，将错过处理特殊情况的时机，增大了构成瞭望性事故的风险。

现有的技术方案如下：申请号为201410848027的专利申请文件，该文件公开了一种基于Kinect及人脸识别的疲劳驾驶监测方法，该方法就是通过提取人脸中的眼部图像和嘴部图像，通过检测眨眼频率的变化率、闭眼时间和嘴部打哈欠的特征来判断驾驶员是否处于疲劳状态；申请号为201510194411.3的专利申请文件，该文件公开了一种基于视频的机车司机驾驶状态检测方法，该方法就是通过两个摄像头分别采集机车司机站立工作位和驾驶位工作位的视频图像，根据上述图像上是否有人判断机车司机是否处于离岗状态。

目前如上述两种现存技术方案都是基于视频图像及人脸识别的疲劳驾驶监测方法，该方法均是仅仅通过提取图像，检测眼睛、嘴巴的特征来判断驾驶员是否处于疲劳状态，而当机车司机睁着眼睛左顾右看、注意力不集中视野偏离的状态，通过上述方式检测会出现漏报现象，准确率也很低，且因技术方式无深度学习功能，无法识别手势检测功能需求。

技术实现要素：

本实用新型为了克服现有技术中存在的判断准确度不高、视野偏离、手势检测无法检测的不足，提供了一种能够进行视野偏离检测、人脸状态检测和手势检测分析，同时能够提高监测准确性的基于视频监测乘务员驾驶状态的预警装置。

为了实现上述目的，本实用新型采用了以下技术方案：

一种基于视频监测乘务员驾驶状态的预警装置，包括主控模块、轨道车接线端子、第三方信息采集设备公用数据箱、计算机、若干个摄像机和若干个扬声器；所述主控模块包括EMC保护板和主控板；主控板分别与EMC保护板、轨道车接线端子、第三方信息采集设备公用数据箱、计算机、各个摄像机和各个扬声器电连接。

本实用新型的主控模块通过第三方信息采集设备公用数据箱、轨道车接线端子获取速度和轨道车信号，此时主控模块打开有司机操作一端的摄像机，开始实时采集人脸信息录像工作，主控模块将采集到的视频图像进行分析处理，要通过眼睛状态属性、人脸姿态和眼睛视角属性来监测乘务员工作状态情况，当出现报警情况时，通过扬声器产生语音播报，有效的提醒乘务员，并记录报警视频信息。

作为优选，所述主控板包括主控制器、电源管理电路、数据采集电路、网络交换电路、音频处理电路、数据存储电路、开关量检测电路、4G传输电路、GPS电路、显示电路和USB数据转储电路；主控制器分别与电源管理电路、数据采集电路、网络交换电路、音频处理电路、数据存储电路、开关量检测电路、4G传输电路、GPS电路、显示电路和USB数据转储电路电连接，电源管理电路与EMC保护板电连接。

作为优选，摄像机和扬声器的个数均为2个；2个扬声器分别安装于轨道车驾驶室两端正对司机处。

作为优选，所述音频处理电路包括音频编解码处理电路、音频运放处理电路和音频功放电路；音频运放处理电路分别与音频编解码处理电路和音频功放电路电连接。

作为优选，所述音频编解码处理电路包括音频编解码器U1、电容C161、电容C162、电容C163、电容C164、电容C165、电容C166、电容C167、电容C168、电容C169、电容C176、电容C177、电容C178、电阻R192、电阻R193、电阻R194、电阻R195、电阻R196、电阻R197、电阻R199、电阻R200、电阻R201、电阻R202、电阻R203和电阻R204；音频编解码器U1的第4管脚与电阻R192电连接，音频编解码器U1的第6管脚与电阻R194电连接，音频编解码器U1的第7管脚与电容C164电连接，电阻R193分别与电阻R192、电容C164、电容C163电连接，音频编解码器U1的第11管脚与电容C167电连接，音频编解码器U1的第12管脚与电容C168电连接，电阻R199分别与电容C176和音频编解码器U1的第37管脚电连接，电阻R200分别与电容C177和音频编解码器U1的第36管脚电连接，音频编解码器U1的第35管脚与电容C178电连接，音频编解码器U1的第19管脚和音频编解码器U1的第18管脚均与电容C161电连接，音频编解码器U1的第20管脚和音频编解码器U1的第21管脚均与电容C162电连接，音频编解码器U1的第24管脚与电容C1165电连接，音频编解码器U1的第27管脚与电容C166电连接，电容C166与电容C165电连接，电容C169分别与电阻R195、音频编解码器U1的第28管脚和电容C201电连接，音频编解码器U1的第1管脚与电阻R196电连接，音频编解码器U1的第17管脚与电阻R197电连接，电阻R196分别与电阻R195和电阻R197电连接，音频编解码器U1的第44管脚与电阻R204电连接，音频编解码器U1的第38管脚与电阻R203电连接，音频编解码器U1的第39管脚与电阻R202电连接，电阻R202与电阻R203电连接，电容C176、电容C177和电容C178均接地。

作为优选，所述网络交换电路包括网络芯片U3、晶振Y1、电容C1、电容C4、电阻R8、电阻R9、电阻R12、电阻R13、电阻R14、电阻R15、电阻R16、电阻R17、电阻R18、电阻R19和电阻R20；网络芯片U3的第121管脚分别与晶振Y1和电容C1电连接，网络芯片U3的第122管脚分别与晶振Y1和电容C4电连接，网络芯片U3的第118管脚与电阻R8电连接，网络芯片U3的第119管脚与电阻R9电连接，网络芯片U3的第87管脚与电阻R12电连接，网络芯片U3的第86管脚与电阻R13电连接，网络芯片U3的第17管脚与电阻R14电连接，网络芯片U3的第83管脚与电阻R15电连接，网络芯片U3的第68管脚与电阻R16电连接，网络芯片U3的第67管脚与电阻R17电连接，网络芯片U3的第38管脚与电阻R18电连接，网络芯片U3的第39管脚与电阻R19电连接，网络芯片U3的第47管脚与电阻R20电连接，电容C1、电容C4、电阻R8、电阻R9、电阻R12、电阻R13、电阻R14、电阻R15、电阻R18、电阻R19和电阻R20均接地。

作为优选，网络芯片U3的型号为KSZ8995MAI。

作为优选，还包括组合天线和显示器；组合天线和显示器均与主控板电连接。

因此，本实用新型具有如下有益效果：(1)可通过人脸表情和眼睛状态识别进行有效地准确的识别，可通过眼睛状态属性、人脸姿态和眼睛视角属性来监测乘务员工作状态不佳、疲劳、瞌睡情况，提高了监测准确性；(2)通过眼睛视角属性识别和姿态识别能够进行视野偏离检测，同时能够进行手势检测分析和人脸状态检测。

附图说明

图1是本实用新型的一种结构示意图；

图2是本实用新型的主控模块的一种框图；

图3是本实用新型的音频编解码处理电路的一种电路图；

图4是本实用新型的网络交换电路的一种电路图。

图中：主控模块1、轨道车接线端子2、第三方信息采集设备公用数据箱3、计算机4、摄像机5、扬声器6、组合天线7、显示器8、EMC保护板11、主控板12、主控制器121、电源管理电路122、数据采集电路123、网络交换电路124、音频处理电路125、数据存储电路126、开关量检测电路127、4G传输电路128、GPS电路129、显示电路130、USB数据转储电路131。

具体实施方式

下面结合附图与具体实施方式对本实用新型做进一步描述：

如图1所示的实施例是一种基于视频监测乘务员驾驶状态的预警装置，包括主控模块1、轨道车接线端子2、第三方信息采集设备公用数据箱3、计算机4、2个摄像机、2个扬声器6、组合天线7和显示器8；如图2所示，主控模块包括EMC保护板11和主控板12；主控板分别与EMC保护板、轨道车接线端子、第三方信息采集设备公用数据箱、计算机、各个摄像机、各个扬声器、组合天线和显示器电连接，2个扬声器分别安装于轨道车驾驶室两端正对司机处。

主控模块是用来处理视频采集的视频图像，并产生语音提醒的功能；摄像机是用来采集司机的人脸图像和手势状态；扬声器是用来播报语音，提醒司机注意疲劳驾驶、视野偏移等；第三方信息采集设备公用数据箱是用来传输给主控模块轨道车实时的信号，如速度、补机状态、启动信号等；显示器作为选配，是用来显示人脸锁定区域，方便司机调整坐姿角度；计算机是作为调试系统的工具，只在调试使用。

主控模块的前面板左侧的两排指示灯是对系统状态的指示，如：电源指示灯，串口数据指示灯，系统运行指示灯等；主控模块的前面板中间的4个按键，代表触发转储不同类型视频文件，如F1按键代表转储报警视频，F2代表转储近7天录像视频，F3\F4预留；主控模块的前面板右侧的USB口用作USB转储视频文件，网口用于调试摄像机，HDMI用于电连接视频显示器，SIM卡用与存放SIM卡完成4G网络无线数据上传功能。

其中，如图2所示，主控板包括主控制器121、电源管理电路122、数据采集电路123、网络交换电路124、音频处理电路125、数据存储电路126、开关量检测电路127、4G传输电路128、GPS电路129、显示电路130和USB数据转储电路131；所述音频处理电路包括音频编解码处理电路、音频运放处理电路和音频功放电路；主控制器分别与电源管理电路、数据采集电路、网络交换电路、音频编解码处理电路、音频运放处理电路、音频功放电路、数据存储电路、开关量检测电路、4G传输电路、GPS电路、显示电路和USB数据转储电路电连接，电源管理电路与EMC保护板电连接，音频运放处理电路分别与音频编解码处理电路和音频功放电路电连接。

其中，如图3所示，音频编解码处理电路包括音频编解码器U1、电容C161、电容C162、电容C163、电容C164、电容C165、电容C166、电容C167、电容C168、电容C169、电容C176、电容C177、电容C178、电阻R192、电阻R193、电阻R194、电阻R195、电阻R196、电阻R197、电阻R199、电阻R200、电阻R201、电阻R202、电阻R203和电阻R204；音频编解码器U1的型号为ALC5640；音频编解码器U1的第4管脚与电阻R192电连接，音频编解码器U1的第6管脚与电阻R194电连接，音频编解码器U1的第7管脚与电容C164电连接，电阻R193分别与电阻R192、电容C164、电容C163电连接，音频编解码器U1的第11管脚与电容C167电连接，音频编解码器U1的第12管脚与电容C168电连接，电阻R199分别与电容C176和音频编解码器U1的第37管脚电连接，电阻R200分别与电容C177和音频编解码器U1的第36管脚电连接，音频编解码器U1的第35管脚与电容C178电连接，音频编解码器U1的第19管脚和音频编解码器U1的第18管脚均与电容C161电连接，音频编解码器U1的第20管脚和音频编解码器U1的第21管脚均与电容C162电连接，音频编解码器U1的第24管脚与电容C1165电连接，音频编解码器U1的第27管脚与电容C166电连接，电容C166与电容C165电连接，电容C169分别与电阻R195、音频编解码器U1的第28管脚和电容C201电连接，音频编解码器U1的第1管脚与电阻R196电连接，音频编解码器U1的第17管脚与电阻R197电连接，电阻R196分别与电阻R195和电阻R197电连接，音频编解码器U1的第44管脚与电阻R204电连接，音频编解码器U1的第38管脚与电阻R203电连接，音频编解码器U1的第39管脚与电阻R202电连接，电阻R202与电阻R203电连接，电容C176、电容C177和电容C178均接地。

如图4所示，网络交换电路包括网络芯片U3、晶振Y1、电容C1、电容C4、电阻R8、电阻R9、电阻R12、电阻R13、电阻R14、电阻R15、电阻R16、电阻R17、电阻R18、电阻R19和电阻R20；网络芯片U3的型号为KSZ8995MAI；网络芯片U3的第121管脚分别与晶振Y1和电容C1电连接，网络芯片U3的第122管脚分别与晶振Y1和电容C4电连接，网络芯片U3的第118管脚与电阻R8电连接，网络芯片U3的第119管脚与电阻R9电连接，网络芯片U3的第87管脚与电阻R12电连接，网络芯片U3的第86管脚与电阻R13电连接，网络芯片U3的第17管脚与电阻R14电连接，网络芯片U3的第83管脚与电阻R15电连接，网络芯片U3的第68管脚与电阻R16电连接，网络芯片U3的第67管脚与电阻R17电连接，网络芯片U3的第38管脚与电阻R18电连接，网络芯片U3的第39管脚与电阻R19电连接，网络芯片U3的第47管脚与电阻R20电连接，电容C1、电容C4、电阻R8、电阻R9、电阻R12、电阻R13、电阻R14、电阻R15、电阻R18、电阻R19和电阻R20均接地。

本实用新型的主控模块通过第三方信息采集设备公用数据箱、轨道车接线端子获取速度和轨道车信号，此时主控模块打开有司机操作一端的摄像机，开始实时采集人脸信息录像工作，主控模块将采集到的视频图像进行分析处理，要通过眼睛状态属性、人脸姿态和眼睛视角属性来监测乘务员工作状态情况，未持续关注运行前方超过T1时间，判定视野偏；面部超过采集范围超过T4时间，判定为遮挡报警；面部超过采集范围超过T2时间，判定为驾驶姿势报警；如果以上情况都没有，检测眼睛闭合数帧数与检测总帧数的比值是否大于阈值T3，如果眼睛闭合数帧数与检测总帧数的比值大于阈值T3，判定为疲劳驾驶；结合手势行为，判断司机手比，呼唤，应答是否标准，司机手比，呼唤，应答如果司机手比，呼唤，应答有一个不标准，进行报警；上述任何一种报警都通过扬声器产生语音播报高效地提醒乘务员，并且记录报警视频信息。当轨道车停车熄火车辆速度为0时，系统停止状态检测，进入待机休眠，为乘务员停车时的休息提供良好环境。

应理解，本实施例仅用于说明本实用新型而不用于限制本实用新型的范围。此外应理解，在阅读了本实用新型讲授的内容之后，本领域技术人员可以对本实用新型作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。