一种基于多维信息特征融合的驾驶员违规通话检测方法与流程

本专利涉及计算机视觉、模式识别和图像处理技术领域，尤其涉及一种基于多维信息特征融合的驾驶员违规通话检测方法。

背景技术：

目前驾驶员违规通话检测技术主要有两种方式，第一种即为传统的检测方式——交通警察现场执法，该方式存在浪费警力资源、效率低下、难以取证的问题；第二种是基于手机信号的检测方法，即检测车辆行驶过程中是否存在手机通话信号，当乘客使用手机通话时，该方法易对驾驶员的通话行为进行误判。针对上述存在问题，本专利提出应用视频技术，基于手部肤色特征、时间阈值、唇部动作特征以及手机轮廓特征等多源信息特征融合，对车辆行驶过程中驾驶员违规使用手机通话进行检测。

技术实现要素：

为了克服现有技术存在的缺点与不足，本发明提供一种基于多维信息特征融合的驾驶员违规通话检测方法，能够更好地对驾驶员违规通话进行检测，其具有准确度高、可靠性强以及稳定性好的优点。

为解决上述技术问题，本发明提供如下技术方案：一种基于多维信息特征融合的驾驶员违规通话检测方法，包括如下步骤：

S1、摄像头采集图像数据；

S2、对采集的图像数据的图像像素点进行特征分类；

S3、对特征分类后的图像数据，提取手部位置特征、判断时间阈值特征、提取唇部动作特征以及提取手机线条轮廓特征；

S4、根据步骤S3中的各个特征，分别建立手部位置特征的违规通话准则、唇部动作特征的违规通话准则以及手机条轮廓特征的违规通话准则；

S5、判定驾驶员是否违规通话：若驾驶员存在步骤S4中3项违规通话准则中至少的2项时，则判定驾驶员正在进行违规通话。

进一步地，所述步骤S1，其具体为：摄像头采集交通场景中的图像数据，并将采集的图像数据进行预处理：将彩色图像转换为灰度图像，将灰度图像进行缩小，并进行直方图均衡化处理；所述摄像头为车外高清摄像头或车载监控。

进一步地，所述步骤S2的特征分类，其具体为：对图像像素点首先进行Haar特征分类；然后对进行Haar特征分类后的图像像素点再进行LBP特征分类；最后对图像像素点构建Haar特征和LBP特征级联的人脸感兴趣AOI区域。

进一步地，所述步骤S3的提取手部位置特征，具体为：

运用手部肤色模型方法进行手部位置检测，在手部位置检测过程中，还包括一项脸部肤色映射技术：脸部面积大，肤色特征明显，将脸部肤色特征进行提取，再将肤色特征映射到感兴趣区域内进行手部肤色的检测。

进一步地，所述步骤S4的手部位置特征的违规通话准则指：对驾驶员打电话的生理特点进行统计，判断手部位置在感兴趣的区域内是否停留超过一定的时间，若超过，则定义为违规通话准则。

进一步地，所述步骤S3的提取唇部动作特征，其具体为：

1)首先检测唇部所在区域，根据人脸的拓扑结构分布，得到唇部位于人脸的下半部分，选择高为人脸下1/2、宽为人脸中间3/4的矩形区域作为粗略估计的唇部所在区域；

2)在得到唇部所在区域后，根据唇部皮肤颜色和脸部皮肤颜色，使用Fisher判别法进行区分，得到唇部；

3)在得到唇部后，进行唇部的动作检测：求出唇部的外接矩形包络，得到外接矩形的高和宽，当唇部的外接矩形宽高比大于阈值1.8时，唇部状态判定为闭合；当宽高比小于阈值1.8时，判定为张开。

进一步地，所述步骤S4，唇部动作特征的违规通话准则指：若唇部张开，则定义为违规通话准则。

进一步地，所述步骤S3中提取手机线条轮廓特征，其具体为：在图像数据中划分感兴趣区域，使用模板匹配方法查找手机线条轮廓特征；以及采取粗精结合的算法迅速锁定匹配点位置区域。

进一步地，所述步骤S4中手机条轮廓特征的违规通话准则指的是：若在感兴趣区域内存在手机线条轮廓，则定义为违规通话准则。

采用上述技术方案后，本发明至少具有如下有益效果：本发明方法的人脸检测准确度高、鲁棒性好、稳定性好；打手机行为判别漏检率低，误检率低；算法简单直白，稳定性强。

附图说明

图1为本发明一种基于多维信息特征融合的驾驶员违规通话检测方法的软件主界面；

图2为本发明一种基于多维信息特征融合的驾驶员违规通话检测方法的大致步骤流程图；

图3为本发明实施例中Haar特征分类器的特征类别示意图；

图4为本发明实施例中Haar特征分类器的特征计算方法积分图；

图5为本发明实施例中LBP特征的算子示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

如图1所示，为本发明方法的软件主界面：界面左半部分为视频输入框，图中人物上出现的绿色圆框表示检测到人脸；绿色方框中的“王”子形黄色线条为脸部肤色映射；人脸两侧的方框为感兴趣区域；方框内手部出现的红色斑点为检测到手部存在；界面右半部分为输出框，右上框为参数设置，右下框卡通脸表示检测结果，笑脸为正常，哭脸为检测到打电话行为；饼状图显示违规行为帧数占总的比例。

本发明一种基于多维信息特征融合的驾驶员违规通话检测方法，大致步骤如图2所示，具体步骤为：

(1)输入违规通话待测图片，对每个像素点选用Haar特征分类器进行分类，对分类结果再使用LBP特征再分类；

如图3所示，Haar特征分类器由以下14个基本子特征组成；

边缘特征有4种：x方向，y方向，x倾斜方向，y倾斜方向；线特征有8种，中心特征有2种；每一种特征的计算都是由黑色填充区域的像素值之和与白色填充区域的像素值之和的差值；而计算出来的这个差值就是Haar‐like特征的特征值；

特征计算方法——积分图：依次计算，多次使用。对基本特征进行积分如此得到白色像素点区域A和黑色像素点区域B：

如图4所示，Haar特征的值(灰度值)为白色矩形减去黑色矩形的值，将此灰度值与待测像素点的灰度值进行比较，从而提取出人脸像素点；

(2)LBP特征：如图5所示，在3×3邻域内的，以邻域中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若大于中心像素值，则该像素值标记为1，否则为0；然后，在3×3邻域内将标记后的像素值，沿顺时针逐一取出，构成8位二进制数，即得到该邻域中心像素点的LBP特征值，并用该值来描述该区域的纹理信息；

定义公式：

将人脸图像分为7×7的子区域，并在子区域内根据LBP值统计其直方图，以直方图作为其判别特征；

假设人脸直方图为Mi，待匹配人脸直方图为Si，通过直方图交叉核方来获取人脸像素点区域，构成初略的人脸AOI

待测像素点经过两个分类器：Haar特征分类器和LBP特征分类器的整个过程，便是分类器级联的过程；

(3)在初略人脸AOI内，以人脸两侧的一定区域(宽为人脸框0.7倍，高为人脸框1.6倍)，设置精细人脸AOI；

(4)在精细的AOI内构建人脸肤色模型，用以检测手部的存在；将采集人脸图像由RGB色彩空间转换为YCrCb色彩空间：

在YCrCb色彩空间，人脸肤色特征值集中分布在近似于椭圆的区域内，由此建立人脸肤色区域与其他区域分割模型；

(5)根据驾驶人打电话的生理特点统计得出，认为手部位置在感兴趣区域停留超过5s以上的，视为在驾驶员使用手机违规通话；

(6)考虑到不同肤色人种特征的差异性，应用人脸肤色模型，修正驾驶员手部检测结果；即鉴于驾驶员脸部的肤色特征明显，具有代表性，在实现人脸定位后，提取脸部的肤色特征，并将它映射到精细AOI内，以此修正手部肤色特征；

(7)唇部动作检测，主要包括唇部位置定位和唇部状态检测；

粗略检测：根据人脸的拓扑结构分布——唇部位于人脸的下半部分；选择高为人脸下1/2，宽为人脸中间3/4的矩形区域作为粗略估计的唇部区域；

精细检测：得到唇部的粗略位置后，该区域内主要存在的是唇部区域和皮肤区域；从颜色角度，主要是唇部颜色和皮肤颜色，我们使用Fisher判别法来进行区分；

Fisher线性判别法的唇部分割具体步骤是：

1)均衡化图像亮度并提高图像对比度：将RGB空间转换为HSV空间，分离出V分量，即亮度值分量，对其进行直方图均衡化，求出新的V分量并重新合并后，再次转换为RGB空间；

2)去除椒盐噪声；

3)按光照条件分类进行Fisher判别：

计算图像平均亮度，将其与亮度阈值比较，判断为正常光照还是暗光照条件，判断得出亮度阈值约为125，再通过实验结果得出精确值取128；而后使用相应的Fisher判别式进行判别，得出掩膜二值图；

4)寻找经过去除噪声后的图像的所有连通区域，计算每个连通区域的面积，筛选出可能为唇部面积的连通区域，藉此过滤掉杂质等伪轮廓的干扰。

5)对过滤后得到的连通区域进行矩形包络；

唇部的运动检测：找到唇部位置之后，求出唇部区域的外接矩形包络，得到外接矩形的高和宽，当唇部的外接矩形宽高比大于阈值1.8时，唇部状态判定为闭合；当宽高比小于阈值1.8时，判定为张开；

(8)手机轮廓模板匹配：在一幅大图像中搜寻目标，且该目标同模板有相同的尺寸、方向和图像；在本方案中，把搜寻目标范围缩小至感兴趣区域AOI中，在此区域中应用训练好的手机轮廓模板进行相似度匹配；进行匹配的方法是粗精结合算法：

粗精结合算法：每隔3个像素点进行一次粗匹配,匹配率大于70％时，便框定匹配区域,然后在周围区域逐一检索以获得最佳匹配点；

搜集近2000张打手机的图片，把在打电话时手机的形状特征进行拟合，近似于一个长宽比特别大的矩形；

训练正样本；

训练负样本；

(9)考虑到驾驶员在驾驶过程中存在：穿戴手套行为，打手机时间小于5s等特殊行为特征，在算法中添加“或”；手部位置特征、时间阈值特征、唇部动作特征、手机轮廓特征四者满足三个即最终判定结果为在进行过违规通话行为。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。