一种基于LTE‑R网络的列车司机监控系统及装置的制作方法

文档序号:11387239阅读:216来源:国知局

本发明属于列车安全技术领域,特别涉及一种基于lte-r网络的列车司机监控系统及装置。



背景技术:

随着通信行业的不断发展,lte网络已经步入到大众的日常生活中,而lte-r网络也是未来铁路通信领域的发展方向。lte-r网络在完成核心控制业务的同时,如何利用其数据功能,实现更广阔的应用是未来的研究方向。

为保证列车行驶安全,需要对列车司机的工作状态加以监控和识别。目前,列车上广泛使用一种脚踏板形式的硬件设备,用以识别司机是否离开、睡觉等情况。虽然这种设备在实践中很好地实现了预定要求,但是由于先天的缺陷,这类设备还无法实现从控制中心实时监控、控制和提醒司机的功能,而lte-r网络在这方面可以发挥其潜力,弥补现有设备的缺陷。

lte-r技术是一种基于lte的,为铁路通信建立的网络。3gppr13定义了lte-r的核心技术,使用了正交频分多址接入技术(ofdma)和多路进出技术(mimo)等技术手段,其具有高速的数据传输功能,业务速率超过100mb/s,能够满足视频传输的要求。



技术实现要素:

本发明提供一种基于lte-r网络的列车司机监控系统及装置,以适应lte-r网络在列车运行控制中的应用,提升列车安全运行控制技术等级。

一种基于lte-r网络的列车司机监控系统,监控系统包括位于列车驾驶室客户端的实时监控识别器和位于列车控制中心服务器端的控制器,其中包括步骤:

实时监控识别器设有具备自动对焦功能的摄像头,列车运行后该摄像头以预设的频率不断获取列车司机脸部图像,实时监控识别器对所述列车司机脸部图像进行处理;

当实时监控识别器认为列车司机处于离开、睡眠和走神状态时,将实时视频通过lte-r网络传输到服务器端的控制器,由人工判断司机的工作状态,并作出是否需要预警的判断,判断结果通过lte-r网络传送回客户端的实时监控识别器;

客户端的实时监控识别器根据服务端的控制器传送的判断结果,当需要预警时,对司机发出预警。

还包括步骤,实时监控识别器对所述列车司机脸部图像进行处理后,计算列车司机眼珠与眼角在清醒状态下的距离关系;

当连续多帧没有检测到所述列车司机人脸时,则认为司机处于离开状态;

当长时间识别不到列车司机黑眼珠,但能识别到列车司机鼻子和嘴角时,则认为处于闭眼状态,认为司机处于睡眠状态;如果只是个别非连续的帧检测不到黑眼珠,则认为司机只是眨眼,非睡眠状态。

当发现列车司机左右眼珠对于眼角的相对位置长时间没有发生变化,则认为没有检测到眼动,则认为司机处于走神状态。

这里所述的长时间是指一个时长,该时长超出了人在清醒时的一个合理时间长度。

实时监控识别器对所述列车司机脸部图像进行的处理包括图像预处理,图像预处理包括步骤:

滤波去噪声,降低噪声带来失真和降质;

尺度归一化,将尺寸各不相同的人脸图像变换为统一的标准尺寸图像以便于人脸特征的提取;

灰度归一化,对于彩色的脸像,行灰度化处理;

灰度均衡化,对人脸图像进行灰度均衡化处理,其作用是增强人脸图像的整体对比度,并使灰度分布均匀,以消除光照变化的影响。

实时监控识别器对所述列车司机脸部图像进行的处理还包括:人脸特征提取,提取出人脸两只眼睛的左右眼角、眼珠中心位置、鼻子和嘴角位置。

实时监控识别器计算所述列车司机两只眼珠相对左眼角的距离。

摄像头以固定的帧率获取列车司机的脸部图像。

实时监控识别器对摄像头获取的列车司机的脸部图像进行肤色检测,截取具有肤色的人脸图像。

一种基于lte-r网络的列车司机监控装置,该监控装置是一台位于列车驾驶室的实时监控识别器,实时监控识别器设有具备自动对焦功能的摄像头,

列车运行后实时监控识别器执行以下步骤:

控制摄像头以预设的频率不断获取列车司机脸部图像,实时监控识别器对所述列车司机脸部图像进行处理;预设频率建议高于每秒5帧。

当实时监控识别器认为列车司机处于离开、睡眠和走神状态时,将实时视频通过lte-r网络传输到位于列车控制中心服务器端的控制器,由人工判断司机的工作状态,并作出是否需要预警的判断,判断结果通过lte-r网络传送回客户端的实时监控识别器;

客户端的实时监控识别器根据服务端的控制器传送的判断结果,当需要预警时,对司机发出预警。

实时监控识别器对所述列车司机脸部图像进行处理后,计算列车司机眼珠与眼角在清醒状态下的距离关系;

当连续多帧没有检测到所述列车司机人脸时,则认为司机处于离开状态;

当长时间识别不到列车司机黑眼珠,但能识别到列车司机鼻子和嘴角时,则认为处于闭眼状态,认为司机处于睡眠状态;如果只是个别非连续的帧检测不到黑眼珠,则认为司机只是眨眼,非睡眠状态。

当发现列车司机左右眼珠对于眼角的相对位置长时间没有发生变化,则认为没有检测到眼动,则认为司机处于走神状态。

这里所述的长时间是指一个时长,该时长超出了人在清醒时的一个合理时间长度。

实时监控识别器对所述列车司机脸部图像进行的处理包括图像预处理,图像预处理包括步骤:

滤波去噪声,降低噪声带来失真和降质;

尺度归一化,将尺寸各不相同的人脸图像变换为统一的标准尺寸图像以便于人脸特征的提取;

灰度归一化,对于彩色的脸像,行灰度化处理;

灰度均衡化,对人脸图像进行灰度均衡化处理,其作用是增强人脸图像的整体对比度,并使灰度分布均匀,以消除光照变化的影响。

眼动判断

眨眼判断:

本发明技术方案是利用列车操作台上的摄像头,实时监控司机工作状态,根据司机的眼动数据、异常眨眼情况识别司机是否睡觉或者走神。如果判断显示司机状态异常,系统则获取并发送司机的实时视频到服务器,交由控制中心人工识别。根据结果人工识别结果,确定是否发出提醒司机的信号。本发明基于lte-r的高速数据传输技术和人脸识别技术,由本地判断当司机存在危险作业的风险时,提供实时数据,由控制中心进行二次确认。

本发明基于人脸识别技术,并基于如下知识:

1)监控器摄像头能够监控整个操作台,当司机没有离开操作台时,司机的面部都能出现在监控画面上;

2)当人睡觉时,眼睑处于闭合状态,且持续一定时间,该持续时间为10s以上。就是说当司机眼睑超过10s处于闭合状态时,则认为司机可能处于睡觉状态。

3)人在正常状态下看东西的时候,黑眼珠相对于眼角位置总是不停变化的,如果相对位置发生变化,则认为眼睛存在正常眼动。如果左右眼珠相对于左右眼角的位置超过一定时间保持不变时,则认为没有检测到眼动,可能走神。

本发明的有益技术效果包括:

1.使用人脸识别技术,判断眼动、眨眼等动作,提高了识别的准确性;

2.由控制中心进行二次确认,提高了准确性;

3.视频数据实时传输,提供了实时性;

4.不增加额外的硬件,有利于降低成本。

附图说明

图1是本发明实施例中系统对于列车司机人脸图像处理流程图。

具体实施方式

以下结合附图1对本发明的具体实施方式做进一步说明:

本发明系统分为实时监控识别端(客户端)和控制端(服务器端)。客户端具有高清摄像头,能够自动对焦。客户端在列车运行时自动打开。服务端具有显示器,键盘鼠标等输入设备。服务器端处于常开状态。

客户端摄像头以固定的帧率获取列车员脸部数据。客户端软件经过人脸检测定位,人脸图像预处理后,提取眼角坐标,眼珠中心坐标,并计算出眼珠相对左眼角的距离关系;如果人脸检测失败,则可认为司机离开。如果超过一定时间识别不到眼珠,但能识别到鼻子,嘴角,则可认为司机处于睡眠状态。

客户端检测人脸时,自动对焦,拍摄照片或者视频。接着逐帧识别照相数据,进行肤色检测,截取具有肤色的人脸部分图像,根据几何特征,进行人脸检测定位。如果人脸检测失败,则可认为司机离开。

客户端对司机人脸图像预处理包括:

滤波去噪声,降低噪声带来失真和降质;

尺度归一化,其思想是将尺寸各不相同的人脸图像变换为统一的标准尺寸图像以便于人脸特征的提取;

灰度归一化,对于彩色的脸像,对其进行灰度化处理;灰度均衡化,由于在图像采集中光照的改变容易导致图像呈现不同的明暗程度,因此需要对人脸图像进行灰度均衡化处理。灰度均衡化,其作用是增强人脸图像的整体对比度,并使灰度分布均匀,以消除光照变化的影响。

客户端对司机人脸图像处理包括:

人脸特征提取:提取出两只眼睛的左右眼角,眼珠中心位置,鼻子,嘴角等;

记录两只眼珠相对左眼角的距离关系;

如果超过一定时间识别不到眼珠,但能识别到鼻子,嘴角,则可认为司机处于睡眠状态,不断记录并比较眼珠相对位置。超过一定时间,眼珠位置没有发生变化,则可以认为司机走神;

当检测到司机处于离开、睡眠、走神状态时,客户端将实时视频通过lte-r网络传递到服务端;

服务端人工判断司机工作状态,并作出是否需要预警的判断。判断结果通过lte-r网络传送到客户端;

客户端根据服务端的判断结果,如果需要预警,则对司机发出预警。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1