本发明涉及一种驾驶员行车中操作手机行为的检测方法。
背景技术：
近年来，随着“互联网+”时代的到来，手机在人们日常生活中扮演的角色越来越重要，而驾驶员在驾驶过程中使用手机(比如接打电话、发短信、玩微信、刷微博等)也越来越频繁，成为了一种新型危险驾驶行为，该行为可导致驾驶员负荷增加、注意力分散和车辆操作水平下降等后果，已经迅速成为当今交通事故发生的主要原因之一。
各国只是针对驾驶员接打电话行为制定了相应的法律制度，但并没有法律制度明确规定驾驶员在驾驶过程中禁止发短信、玩微信、刷微博等操作手机行为，而随着qq、微信、微博等社交软件的流行以及驾驶员安全意识淡薄，驾驶员开车过程中操作手机行为也是极其普遍，而操作手机行为由于视线偏离前方道路，其危险性甚至高于接打电话行为。因此，对驾驶员行车中操作手机行为进行有效地检测预警已经迫在眉睫，对提高汽车主动安全和道路交通安全具有重要的现实意义。
申请号为201310261137.8的专利公开了一种驾驶员行车途中接打手机行为的自动监控装置及方法，该专利采用adaboost算法先检测出人脸及附近区域，然后基于先验知识及fisher算法对嘴部区域进行检测，通过检测接打手机姿势和唇部状态等多个特定目标来判断驾驶员是否有接打手机行为。而在实际行车环境中，驾驶员接打手机时头部姿态、复杂光照、车身抖动等不确定因素的影响，且adaboost检测效果易受到头部姿态的影响，容易造成人脸及附近区域检测失败，进而会导致对驾驶员接打手机行为的漏检，使得检测率偏低、误检率偏大、鲁棒性差等问题。
技术实现要素：
针对上述问题，本发明提供一种驾驶员行车中操作手机行为的检测方法，通过检测驾驶员在行车中操作手机的手部行为和手机线条轮廓来综合判断驾驶员在行车中是否有操作手机行为，以防止驾驶员因操作手机行为而造成的交通安全事故，提高汽车驾驶的安全性。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种驾驶员行车中操作手机行为的检测方法，包括如下步骤：
s1：通过设置在驾驶员上方的摄像头实时采集方向盘附近区域手部图像；
s2：对采集的驾驶员手部图像像素点进行检测和分割处理；
s3：根据手部特征的数据信息，提取手部图像的hog特征和手机线条轮廓特征；
s4：一方面判断驾驶员手部图像里是否存在手机；
另一方面采用svm分类器对手部行为图像进行分类，判断驾驶员手部图像是否处于操作手机行为；
s5：若驾驶员手部图像处于操作手机行为且驾驶员手部图像里存在手机，则判定驾驶员处于操作手机行为状态并报警，否则，判定驾驶员处于正常驾驶状态。
优选，步骤s1中采集手部图像后，对采集的手部图像进行预处理：
对驾驶人手部图像进行双边滤波和直方图均衡化处理。
优选，步骤s2具体包括如下步骤：
s21：先将驾驶员手部图像的rgb颜色空间转换为ycbcr颜色空间，再将ycbcr颜色空间进行非线性变换为ycb'cr'颜色空间，转换公式为：
其中，y为亮度分量，cb为蓝色色度分量，cr为红色色度分量，r、g、b分别为红、绿、蓝三原色，
s22：在ymin<y<ymax区间内，根据肤色在ycb'cr'和cb'cr'的聚类特性，建立肤色在色彩空间cb'cr'平面上的椭圆肤色模型：
其中，x和y分别为像素点转换成cb'和cr'的两个坐标值，a0和b0分别为椭圆方程的长、短轴，ecx和ecy分别为椭圆中心的横、纵坐标点，θ为椭圆的倾斜弧度，cb0和cr0为椭圆在cb'cr'平面上的圆心，cb'和cr'分别为非线性变换后的蓝色色度分量和红色色度分量；
s23：根据建立的椭圆肤色模型对驾驶员手部图像的肤色进行检测，对于图像中的每个像素点，如果满足方程
s24：对检测出的手部肤色区域的二值化图像采用数学形态学进行处理，筛选出驾驶员手部肤色区域。
优选，步骤s3中，提取手部图像的hog特征具体包括如下步骤：
a、对获得的手部区域二值化图像进行归一化处理；
b、计算手部图像的梯度；
c、计算每个细胞单元梯度直方图；
d、将几个相邻的细胞单元组合形成block块，采用矩形区间进行划分，对每一个block进行归一化处理；
e、把所有block内的特征向量合并组合，即获得正常驾驶状态和操作手机行为状态对应的手部图像hog特征。
优选，步骤s3中，根据手部特征的数据信息，通过模板匹配算法对手机线条轮廓特征进行检测，再采用粗精结合的算法定位出匹配点位置区域。
优选，粗精结合的算法为：对每3个像素点进行一次匹配，当匹配率大于70％时，即确定为匹配区域，然后在此区域周围逐一检测以获得最佳匹配点。
优选，在步骤s24中，当手部肤色分割率不在阈值范围之内时，采用otsu自适应阈值分割算法再次进行肤色分割，获得最终的手部区域。
本发明的有益效果是：
本发明一种驾驶员行车中操作手机行为的检测方法能够对驾驶员开车过程中操作手机行为进行准确的检测，具有准确度高、鲁棒性强的优点，且能有效减少因驾驶员行车中操作手机而造成的交通事故，从而提高了汽车行驶的安全性。
附图说明
图1是本发明一种驾驶员行车中操作手机行为的检测方法的流程图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，一种驾驶员行车中操作手机行为的检测方法，包括如下步骤：
s1：通过设置在驾驶员上方的摄像头实时采集方向盘附近区域手部图像。
摄像头可以安装固定在驾驶员头顶正上方位置，对着方向盘附近区域，采集手部图像后，对采集的驾驶员手部图像的彩色图像进行预处理：
对采集的驾驶员手部图像进行双边滤波和直方图均衡化处理，以去除图像中的噪声，提高图像有效信息的可识别性，有利于提高后续检测的准确度。
s2：对采集的驾驶员手部图像像素点进行检测和分割处理，具体包括如下步骤：
s21：先将驾驶员手部图像的rgb颜色空间转换为ycbcr颜色空间，为了改善ycbcr颜色空间中肤色在亮度较大和较小时的聚类性不好的缺点，再将ycbcr颜色空间进行非线性变换为ycb'cr'颜色空间，转换公式为：
其中，y为亮度分量，cb为蓝色色度分量，cr为红色色度分量，r、g、b分别为红、绿、蓝三原色，
优选，kl＝125，kh＝188，ymin和ymax由实验数据得到的，可以取值为ymin＝16，ymax＝235。
s22：在ymin<y<ymax区间内，亮度对肤色聚类性的影响较小，根据肤色在ycb'cr'和cb'cr'的聚类特性，肤色在色彩空间cb'cr'平面上的分布形状近似于一个椭圆，建立肤色在色彩空间cb'cr'平面上的椭圆肤色模型：
其中，x和y分别为像素点转换成cb'和cr'的两个坐标值，a0和b0分别为椭圆方程的长、短轴，ecx和ecy分别为椭圆中心的横、纵坐标点，θ为椭圆的倾斜弧度，cb0和cr0为椭圆在cb'cr'平面上的圆心，其值通过统计肤色点在cb'cr'平面上统计得到，cb'和cr'分别为非线性变换后的蓝色色度分量和红色色度分量。优选，cb0＝109.30，cb0＝152.00，θ＝2.50，ecx＝1.60，ecy＝2.40，a0＝26.35，b0＝14.00。
s23：根据建立的椭圆肤色模型对驾驶员手部图像的肤色进行检测，对于图像中的每个像素点，如果满足方程
s24：对检测出的手部肤色区域的二值化图像采用数学形态学进行处理，筛选出驾驶员手部肤色区域。比如，用开运算(对原图像先腐蚀后膨胀)对手部肤色图像进行处理，筛选出驾驶员手部肤色区域，具体开运算为：
当光照十分强烈时，采用椭圆肤色模型进行肤色分割会漏检大量手部肤色像素，当手部肤色分割率不在阈值范围(根据大量实验所得：手部肤色分割率的阈值范围为6％—10％)之内时，采用otsu自适应阈值分割算法再次进行肤色分割，获得最终的手部区域。其中，手部肤色分割率表示给定区域中肤色像素点数目占区域中总像素数目的百分比。
otsu((大津法或最大类间方差法))自适应阈值分割算法基本原理为：
设图像像素点总数为n，灰度值变化范围为[0，l-1]，且灰度级为i的像素点数有个ni，则灰度级i概率为pi：
pi＝ni/n
其中，
用阈值t将图像的像素点灰度值分成c0和c1两类，灰度值在[0，t]范围内的像素点集合用c0表示，在[t+1，l-1]范围内的像素点的集合用c1表示，则整幅图像的灰度均值u为下式：
则c0和c1的均值分别为u0和u1：
其中：
可以得到：
u＝w0u0+w1u1
类间方差
让t依次在[0，l-1]范围取值，使得类间方差
s3：根据手部特征的数据信息，提取手部图像(包括正常驾驶手部和操作手机手部)的hog特征(方向梯度直方图)和手机线条轮廓特征，其中：
提取手部图像的hog特征具体包括如下步骤：
a、对获得的手部区域二值化图像进行归一化处理：
采用gamma压缩处理来对获得的手部区域二值化图像进行处理，gamma压缩处理具体公式为：i(x,y)＝i(x,y)gamma，其中，i(x,y)为图像像素的灰度值，gamma>1，较亮的区域灰度被拉伸，较暗的区域灰度被压缩的更暗，图像整体变暗；gamma<1，较亮的区域灰度被压缩，较暗的区域灰度被拉伸的较亮，图像整体变亮。
b、计算手部图像的梯度：
先用模板分别从水平和竖直两个方向上对手部图像进行卷积运算，常用一维中心对称模板对手部图像进行卷积后，需要对每个像素点都分别计算一次梯度幅值和梯度方向值。图像中像素点(x,y)的梯度、梯度幅值和梯度方向分别为：
其中，gx(x,y)，gy(x,y)，h(x,y)，g(x,y)，
c、计算每个细胞单元(cell)梯度直方图：
将手部图像分成一个个4*4大小的细胞单元cells，统计cell中每个像素点的梯度方向，为该方向上的直方图通道进行加权投票，前人研究表明梯度方向在角度为[0,180]，且直方图的通道为9bin时，检测效果最好，再对cell内每个像素用梯度方向在直方图中进行加权投影，就可以得到该cell的梯度方向直方图了，即为cell对应的9维特征向量。
d、为了减少噪声的影响，需要对局部细胞单元进行归一化处理，即将几个相邻的细胞单元组合形成block块，采用矩形区间进行划分，划分出的block与block之间是会相互重叠的，对每一个block进行归一化处理，一般的，每一个重叠的block采用归一化函数l2-norm进行归一化处理，具体归一化函数为：
其中v是标准化前的特征向量，||v||2表示v的二范数，ε为一个很小的常数，目的是为了保证分母不为零。
e、把所有block内的特征向量合并组合，即获得正常驾驶状态和操作手机行为状态对应的手部图像hog特征。
根据手部特征的数据信息，通过模板匹配算法对手机线条轮廓特征进行检测，再采用粗精结合的算法定位出匹配点位置区域，具体为：对待测手部分割图像进行目标搜寻，在此区域采用训练好的手机轮廓模板和粗精结合的匹配算法进行相似度匹配，可提取待测手部图像手机线条轮廓特征。
粗精结合的算法为：对每3个像素点进行一次匹配，当匹配率大于70％时，即确定为匹配区域，再对此区域周围进行一一检测获取最优匹配点。大约搜集2000张驾驶员行车中操作手机的图片，把操作手机线条轮廓形状特征进行拟合，采用此样本对模板进行训练，得到训练好的手机轮廓模板。
s4：一方面判断驾驶员手部图像里是否存在手机；
另一方面采用svm分类器对手部行为图像进行分类，判断驾驶员手部图像是否处于操作手机行为。
对提取的手部图像(包括正常驾驶手部和操作手机手部)hog特征向量，提取部分手部图像hog特征向量对svm分类器进行训练，得到训练好的svm分类器。其中svm分类器的基本原理是：
svm(支持向量机)是一种监督式学习方法，在解决小样本、非线性及高维模式识别中表现出许多特有的优势。其对于线性可分的样本，可以在特征向量空间中寻找一个可以将两类尽可能好的分开的最优分割超平面，使得分类器得到全局最优化；对于非线性的样本，使用核函数，将输入的特征向量从低维空间映射到高维空间构造最优超平面，使其线性可分。从而使得分类器可以在高维特征空间采用线性算法对样本的非线性特征进行线性分析。
1)线性问题
假设最优超平面h的方程为wx+b＝0，其中x是超平面上的点，w是垂直于超平面的向量，用矩形和圆形代表两类样本，设训练样本集{(xi,yi),i＝1,2,...,n}是线性可分的，其中xi是训练样本的特征输入，yi＝{1,-1}分别表示正负样本，h1和h2过各类样本中离h最近的样本点，且平行于h，则分类间隔为h1与h2之间的距离2/||w||。
为了让分类间隔最大，就是让||w||最小，求解最优超平面问题就转化成了求解最小化函数φ(w)问题。具体公式如下：
由上式可知，函数φ(w)是二次的，这里引入拉格朗日函数：
其中，αi＞0是拉格朗日系数，以上问题就转化为计算l*的最小值。
使上式中w，αi和b的偏微分为0，并引入karush-kuhn-tucher(kkt)条件来解决上述对偶问题，即等价于求解αi泛函的max：
其中约束条件为：
解得：
以上是线性可分的理想状态，但是大多数情况图像数据会存在噪声点，使得线性可分变得难分，此时需要引入松弛变量ξi＞0，并在原最小化函数φ(w)后增加一项，则为：
其中，c是一个预先设定的常数参数(惩罚因子)，控制着复杂度与误差的折中，其值越小误差越大。
2)非线性问题
驾驶员手部特征就是一个非线性问题，采用高斯(径向基)核函数
3)选择svm参数
以上可知，高斯核函数中的参数d和惩罚因子c是svm分类器中非常重要的两项参数，如何求取两项参数的最佳组合显得十分重要，这里采用matlab中“libsvm”工具箱对参数进行优选，其“grid.py”工具采用网格搜索法进行寻优，最后将寻优计算结果c＝8，
s5：将步骤s3中剩下的手部图像的hog特征向量输入训练好的svm分类器进行分类，得到驾驶员行车中手部图像的“正常驾驶行为”和“操作手机行为”，再结合步骤s3中手机线条轮廓的检测结果：若驾驶员手部图像处于操作手机行为且驾驶员手部图像里存在手机，则判定驾驶员处于操作手机行为状态并报警，否则，判定驾驶员处于正常驾驶状态。
本发明采用基于ycb’cr’颜色空间建立的椭圆肤色模型和otsu自适应阈值分割算法只对驾驶员的手部单一目标进行检测分割，检测准确度高，再采用基于hog和svm的算法对“正常驾驶”和“操作手机”两种情况下的手部行为进行分类判断，具有准确度高、实时性好、鲁棒性强等优点，能够对驾驶员行车中操作手机行为进行有效地检测。
本发明一种驾驶员行车中操作手机行为的检测方法，采用双边滤波和直方图均衡化对驾驶员手部图像进行处理，可以有效去除图像中的噪声，显著提高了图像的质量和检测准确度；采用ycb’cr’颜色空间提高了肤色的聚类性，cb’、cr’几乎不受亮度的影响，以此建立椭圆肤色模型对手部肤色检测的效果较好，但当光照强烈时，仍会漏检大量的手部肤色像素，此时又提出otsu自适应阈值分割算法再次进行肤色分割，手部肤色分割的效果明显增强；与其它特征描述方法相比，采用hog提取手势特征，提高了手部图像检测速度和精度；采用svm分类器对驾驶员开车过程中操作手机行为分类，具有检测准确度高、实时性好、鲁棒性强的优点，且能有效减少因驾驶员行车中操作手机而造成的交通事故，从而提高了汽车行驶的安全性。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。