客车驾驶员手离方向盘检测预警系统及预警方法
【专利摘要】本发明公开了一种客车驾驶员手离方向盘检测预警系统及预警方法，系统包括摄像头、数字信号处理器、GPS模块、控制模块、GPRS模块；方法包括步骤一：采集驾驶员操作方向盘的图像；步骤二：采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；步骤三：采用预警逻辑判断方法，判断是否触发预警信号；步骤四：输出信息至上位机；本发明中容易设置、视觉系统体积小、图像处理拥有较普及的基础技术平台、对驾驶员身体不存在任何强制干涉、成本较低等。
【专利说明】客车驾驶员手离方向盘检测预警系统及预警方法
【技术领域】
[0001] 本发明涉及一种客车驾驶员手离方向盘检测预警系统及预警方法，属于汽车安全 驾驶督导【技术领域】。
【背景技术】
[0002] 随着社会经济的不断发展，机动车保有量逐年快速增长，交通事故一直居高不下。 研究表明，驾驶员人为因素引起的交通事故数量占总数的90%以上，其中87%是由机动车 驾驶员的违规操作、经验不足、行为规范性差等原因造成。驾驶员的违法驾驶行为与其不正 确的驾驶操作密切相关，特别是驾驶员手离开方向盘这一驾驶行为，该行为极易被驾驶员 忽视，致使驾驶员因缺乏足够的注意力而忽视道路上的危险，容易造成严重的危害。例如在 遇到紧急情况时，如突发的车辆爆胎、道路情况发生变化或前方突然出现车辆等，极易对车 辆控制不及时，从而产生极其严重的后果。
[0003] 研究表明，驾驶员对方向盘的有效操纵减弱以及注意力的分散会增加驾驶过程中 的安全隐患。通过对我国山区公路上交通事故的分析发现，大客车、中型客车等营运车辆是 一次性死亡十人以上的特大事故主要肇事车型，而驾驶员的错误驾驶行为是导致这些事故 产生的主要原因。
[0004] 目前，我国一些大客车、中型客车等营运车辆安装了监控摄像头，但由于缺乏相应 的技术手段，无法实现对危险驾驶行为的预警，不能真正地起到督导驾驶员安全行车的目 的。实时监测和智能评估驾驶员的驾驶行为和驾驶状态，有助于及早发现可能的操作失误， 避免交通事故的发生，提高交通效率。驾驶员手离方向盘行为检测是驾驶员驾驶行为检测 技术的重要组成部分。
[0005] 驾驶员手离方向盘行为检测的研究有利于及时发现驾驶员在驾驶过程中违规操 作方向盘的行为，提醒驾驶员及时修正其违规驾驶行为，督促驾驶员养成良好的操作方向 盘习惯，对减少交通事故的发生、提高交通效率具有重要意义。
【发明内容】
[0006] 本发明的目的是为了解决上述问题，提供了一种具有预警、通信和定位功能的用 于督导驾驶员安全驾驶的车载终端装置，提出一种可安装在大中型客车上的实时的基于机 器视觉的检测驾驶员手离方向盘的检测预警系统及该系统的手检测、判断预警的方法。
[0007] -种客车驾驶员手离方向盘检测预警系统，包括摄像头、数字信号处理器、GPS模 块、控制模块、GPRS模块；
[0008] 摄像头安装在驾驶员与方向盘二者的对称中心平面内，摄像头采集驾驶员操作方 向盘的图像，图像输出至数字信号处理器，数字信号处理器采用操作手检测识别方法对采 集到的图像信息进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操 作手离开方向盘、右操作手离开方向盘或者双手离开方向盘，将结果输出至控制模块，控制 模块通过预警逻辑判断方法，判断是否触发预警信号，得到预警结果，GPS模块对车辆进行 远距离定位、检测车辆状态信息，GPS模块采集的车辆状态信息、控制模块得到的预警结果 通过GPRS模块输出至上位机。
[0009] -种客车驾驶员手离方向盘检测预警方法，包括以下几个步骤：
[0010] 步骤一：采集驾驶员操作方向盘的图像；
[0011] 步骤二：采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态 进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方 向盘；
[0012] 首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中 心线上点的坐标，以此坐标点为中心截取感兴趣区域，对感兴趣区域进行图像预处理，采取 双阈值的判定法判断单一感兴趣区域中是否有类似手形存在，然后再以步长X沿图像中方 向盘中心线按逆时针方向检测全方向盘区域，计算出方向盘截取的每块感兴趣区域所对应 的值，判断方向盘上操作手的数目和位置，判断出驾驶员是否左操作手离开方向盘、右操作 手离开方向盘或者双手离开方向盘；
[0013] 步骤三：采用预警逻辑判断方法，判断是否触发预警信号；
[0014] 1)、当检测结果为左操作手离开方向盘；
[0015] 设定阈值^为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为 t。，在安全时间h内，视频检测总帧数m为：
[0016] m=t〇
[0017] 设定修正系数n，触发报警的帧数为：
[0018] m' =m氺！1
[0019]即当连续检测m帧图片时，其中有超过m'帧为左操作手离开方向盘时，触发预警 信号；
[0020] 2)、当检测结果为右操作手离开方向盘
[0021] 设定阈值t2为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为 t。，在安全时间t2内，视频检测总帧数m为：
[0022] m=t2/t0
[0023] 设定修正系数n，触发报警的帧数为：
[0024] m/ =m*n
[0025]即当连续检测m帧图片时，其中有超过m'帧为右操作手离开方向盘时，触发预警 信号；
[0026] 3)、当检测结果为双手离开方向盘
[0027] 设定阈值t3为安全时间，假定客车以速度％行驶，设定车辆危险距离为\，安全时 间t3为：
[0028]t3 =S〇/V〇
[0029] 步骤二中操作手检测识别方法检测一帧图像的时间为t。，在安全时间t3内，视频 检测总帧数m为：
[0030]m=t3/t0
[0031] 设定修正系数n，触发报警的帧数为：
[0032] m/ =m*n
[0033] 即当连续检测m帧图片时，其中有超过m'帧为双手离开方向盘时，触发预警信 号；
[0034] 4)、当检测结果为双手均在方向盘上
[0035] 判定驾驶员正常驾驶，不触发预警信号；
[0036] 步骤四：输出信息至上位机；
[0037]GPS对车辆进行远距离定位、检测车辆状态信息，将GPS采集的车辆状态信息，步 骤三中得到的预警结果，通过GPRS网络输出至上位机。
[0038] 所述的步骤二具体包括：
[0039] 步骤一：标定方向盘位置；
[0040] 图像中方向盘为椭圆形，确定方向盘椭圆的中心，将方向盘所在区域包含在椭圆 环内，确定方向盘在图像中的位置；
[0041] 步骤二：方向盘周边点坐标的计算；
[0042] 以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长轴为Y轴，建立坐标系， 椭圆的长半轴为a，短半轴为b，任意一点N与X轴正向的夹角记为0，椭圆上N点的坐标 (x，y)与该点对应夹角0之间的关系为：
【权利要求】
1. 一种客车驾驶员手离方向盘检测预警系统，包括摄像头、数字信号处理器、GPS模 块、控制模块、GPRS模块； 摄像头安装在驾驶员与方向盘二者的对称中心平面内，摄像头采集驾驶员操作方向盘 的图像，图像输出至数字信号处理器，数字信号处理器采用操作手检测识别方法对采集到 的图像信息进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手 离开方向盘、右操作手离开方向盘或者双手离开方向盘，将结果输出至控制模块，控制模块 通过预警逻辑判断方法，判断是否触发预警信号，得到预警结果，GPS模块对车辆进行远距 离定位、检测车辆状态信息，GPS模块采集的车辆状态信息、控制模块得到的预警结果通过 GPRS模块输出至上位机。
2. -种客车驾驶员手离方向盘检测预警方法，包括以下几个步骤： 步骤一：采集驾驶员操作方向盘的图像； 步骤二：采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进 行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向 盘； 首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中心线 上点的坐标，以此坐标点为中心截取感兴趣区域，对感兴趣区域进行图像预处理，采取双阈 值的判定法判断单一感兴趣区域中是否有类似手形存在，然后再以步长X沿图像中方向 盘中心线按逆时针方向检测全方向盘区域，计算出方向盘截取的每块感兴趣区域所对应的 值，判断方向盘上操作手的数目和位置，判断出驾驶员是否左操作手离开方向盘、右操作手 离开方向盘或者双手离开方向盘； 步骤三：采用预警逻辑判断方法，判断是否触发预警信号； 1) 、当检测结果为左操作手离开方向盘； 设定阈值\为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为t。，在 安全时间h内，视频检测总帧数m为： m = ti/t0 设定修正系数n，触发报警的帧数为： m/ =m氺n 即当连续检测m帧图片时，其中有超过m'帧为左操作手离开方向盘时，触发预警信 号； 2) 、当检测结果为右操作手离开方向盘 设定阈值t2为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为to,在 安全时间t2内，视频检测总帧数m为： m=t2/t0 设定修正系数n，触发报警的帧数为： m/ =m氺n 即当连续检测m帧图片时，其中有超过m'帧为右操作手离开方向盘时，触发预警信 号； 3) 、当检测结果为双手离开方向盘 设定阈值t3为安全时间，假定客车以速度％行驶，设定车辆危险距离为\，安全时间t3 为： t3 =s0/v0 步骤二中操作手检测识别方法检测一帧图像的时间为t。，在安全时间t3内，视频检测 总帧数m为： m=t3/t0 设定修正系数n，触发报警的帧数为： m/ =m氺n 即当连续检测m帧图片时，其中有超过m'帧为双手离开方向盘时，触发预警信号； 4)、当检测结果为双手均在方向盘上 判定驾驶员正常驾驶，不触发预警信号； 步骤四：输出信息至上位机； GPS对车辆进行远距离定位、检测车辆状态信息，将GPS采集的车辆状态信息，步骤三 中得到的预警结果，通过GPRS网络输出至上位机。
3.根据权利要求2所述的一种客车驾驶员手离方向盘检测预警方法，所述的步骤二具 体包括： 步骤一：标定方向盘位置； 图像中方向盘为椭圆形，确定方向盘椭圆的中心，将方向盘所在区域包含在椭圆环内， 确定方向盘在图像中的位置； 步骤二：方向盘周边点坐标的计算； 以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长轴为Y轴，建立坐标系，椭圆的 长半轴为a，短半轴为b，任意一点N与X轴正向的夹角记为0，椭圆上N点的坐标（x，y)与 该点对应夹角Q之间的关系为：
步骤三：截取感兴趣区域； 以任一点N点为中心，选取的窗口截取感兴趣区域，该矩形感兴趣区域的中心线与X轴 正方向的夹角记为V; 步骤四：感兴趣区域预处理； 1) 、将感兴趣区域按顺时针方向旋转9角度； 2) 、将彩色图像转换为相应灰度图像； 3) 、使用超限邻域平均法对图像进行平滑处理； 4) 、使用直方图均衡化的方法增强图像处理； 5) 、使用大津算法计算自适应阈值并对图像进行二值化处理，将图像分成背景和前景 两部分，得到感兴趣区域二值化后的灰度图； 步骤五：感兴趣区域操作手检测； 1)、将二值化后的图像表示在二维坐标系中，其中每一个坐标点（x，y)对应图像上的 像素点；将图像向X轴方向投影，得到其n-X统计曲线，其中n为每一列中灰度值为1的像 素点数； 2)、设定双阈值T1、T2,当X方向上，有连续列的n(x) >T1时，令A1为连续长度中的 最大值，当A1 >T2时，即认为图像中有类似手形存在； 步骤六：全方向盘操作手检测； 1) 、当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区 域，提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，得到每个感 兴趣区域是否有类似手形存在；用1表示感兴趣区域有类似手形存在，〇表示感兴趣区域无 类似手形存在；则当全方向盘搜索完成后，每个感兴趣区域都对应一个〇或1的结果； 2)、将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的'V-cp统计曲线， 其中9表示感兴趣区域中心线与X轴正方向的夹角，V表示感兴趣区域对应的值； 3)、设定阈值L,计算V= 1的连续区域的长度，当cp:方向上，>L时，g卩认为方向盘 在该处有操作手存在并进行计数，同时取连续区域的几何中心线所对应的P值标记为该操 作手的位置，根据操作手位置可以辨别出方向盘上的操作手是左手还是右手；左手时V取 值为180?360,右手时<P取值为0?180 ; 最终判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向 盘。
【文档编号】B60Q5/00GK104276080SQ201410549439
【公开日】2015年1月14日 申请日期:2014年10月16日 优先权日:2014年10月16日
【发明者】余贵珍, 韩蕾, 王云鹏, 于海洋, 刘浩 申请人:北京航空航天大学