智能交通系统中的驾驶员接打电话识别方法
【专利摘要】本发明涉及智能交通系统中的驾驶员接打电话识别方法。本发明配合智能交通违章检测系统，利用交通卡口或交通十字路口视频监控获取图像，从中分割出驾驶员位置并进行人脸定位，获得人脸图像。以人脸像素点作为样本点，构建形如Mahalanobis距离的肤色分割模型。对驾驶员图像进行肤色分割，并提取人手图像，计算人手图像的质心和倾角。参考人脸的长度和高度设定违法区域。判断人手图像的倾角范围和质心与违法区域的关系，来判别驾驶员是否在驾驶车辆时接打电话。
【专利说明】
智能交通系统中的驾驶员接打电话识别方法
技术领域：
[0001] 本发明属于数字图像处理技术领域，具体的说是一种针对驾驶员在驾车过程中接 打电话的识别方法。
【背景技术】：
[0002] 由于社会经济快速发展，生活质量也不断的提高，汽车已经成为日常出行的必备 工具。而汽车的保有量也急剧增加，随之而来的是交通事故频发。随着交通运输业的发展， 交通事故已经成为危害人类生命的最主要因素之一。而引发交通事故的原因中，人为因素 又是主要诱因。在驾车过程中遇到紧急情况时，如果驾驶员在接打电话，他的反应速度会比 集中注意力时慢30% W上。反应速度过慢可能会引起连续的操作失误，最终将会酿成惨痛 的后果。因此，运就要求我们研究一种对驾驶过程中驾驶员接打电话进行自动检测的方法， 对驾驶员起到威慑作用，从而杜绝驾驶过程中接打电话行为。
[0003] 目前，对驾驶员接打电话的检测可W分为两类：（1)基于手机信号检测的方法。此 类方法通过在车辆的固定区域安装手机信号检测器，然后根据接收到的信号的特征判断手 机是否处于通话状态。（2)基于机器视觉的方法。此类方法是一种非接触式检测方法，主要 是通过对采集到的视频图像进行处理，对感兴趣区域进行分类识别，从而判断驾驶员的驾 驶状态。
【发明内容】
：
[0004] 本发明的目的是提供一种基于智能交通的驾驶员接打电话识别方法。本发明配合 智能交通违章检测系统，利用交通卡口或交通十字路口视频监控获取图像，从中分割出驾 驶员位置并进行人脸定位，W此来构建肤色模型，对人手肤色进行分割。并对分割结果进行 判别，进而判断驾驶员是否在驾驶车辆时接打电话。本算法具有精度高、计算量小、检测快、 不受光照影响等特点。本发明采用的技术方案是：
[0005] 第一步:读取驾驶员图像I，其大小为MXN;
[0006] 第二步:利用Viola-化nes人脸检测算法检测人脸，确定人脸在图像I中的区域，区 域的左上角顶点坐标用（faceX，faceY)表示，高度、宽度分别用化ceH、faceW表示，其单位为 像素，并截取此区域存成图像Iface;
[0007] 第S步：Wlfaw的像素点作为样本点，计算Ifaw的像素均值m，由于彩色图像具有 RGBS个分量，因此m是具有S个分量的向量，各分量的计算方法如公式(1);
[000引
（1)
[0009] 第四步:计算人脸图像Iface中像素的协方差矩阵C，C是3X3的矩阵，其计算方法如 公式(2)，其中Z为Ifate的像素值；
[0010] C = E{ (z-mKz-m)T}，z G Iface (2)
[001。 第五步:设协方差矩阵C的对角元素为Cll、C22、C33，则人脸图像Iface的RGB分量的标 准差Dr、Dg、Db分别为Dr = Cii, Dg = C22，Db = C33,并且取RGB分量的标准差的最大值作为肤色模 型的阔值并设为T，则T=HiaxIDR, Dg,化}，并设置肤色分割伸缩因子A，其值为常数；
[0012] 第六步：按照公式（3)构造基于Mahalanobis距离的肤色模型，其中为I的像素 值，满足公式(3)的那些像素点为肤色像素点；
[0013]
(3)
[0014] 第屯步:利用第六步构造的肤色模型对图像I进行肤色分割，判断原始图像的每个 像素点是否满足公式(3)，如果满足公式(3)则认为该点为肤色点，其值设为1，否则为背景 像素点，其值设为0，得到二值图像I skin ;
[0015] 第八步:去掉图像Iskin中像素点较少的连通区域，其阔值化取值范围在1/25 XMXN ~1/35 XMXN之间；
[001 6]第九步:通过第八步的处理后，Iskin中像素为1的区域绝大部分为人手和人脸，而 现在仅需要对人手进行判断来确定是否打电话，因此需要去掉人脸区域，按照第二步在图 像I中确定的人脸位置，将Iskin中相同位置的像素值设为0,即可去掉Iskin中人脸的大部分区 域；
[0017] 第十步:通过第九步的处理后，可W去掉Iskin中人脸的大部分区域，但是可能会遗 留人脸的边缘像素，运些像素可能会对后续的操作产生影响，因此去掉小于阔值化/的连通 区域，其中阔值化^取1 /50 X M X N~1 /70 X M X N范围内的值，即可消除可能存在的干扰；
[0018] 第十一步：在Iskin中设定位于人脸左侧的违法区域，违法区域的右边界与人脸图 像的边界相接，并且左上角顶点坐标为（faceX-faceW，faceY+0.25*faceH)，违法区域宽度 为化ceW个像素，违法区域高度为1.5杆aceH个像素；
[0019] 第十二步：在Iskin中设定位于人脸右侧的违法区域，违法区域的左边界与人脸图 像的边界相接，并且左上角顶点坐标为（faceX+faceW，faceY+0.25*faceH)，违法区域宽度 为化ceW个像素，违法区域高度为1.5杆aceH个像素；
[0020] 第十=步:对第十步处理后的图像进行连通区域标记，分别标记为b，L2,…Ln，n为 连通区域个数，并计算每个连通区域的质屯、，计算公式如公式(4)，其中Kri, Cl)为经过标记 的二值肤色分割图像在(ri，ci)处的像素值；
[0021]
(4)
[0022] 第十四步:选取一个连通区域^，判断连通区域的质屯、是否处于第十一和第十二 步标记的违法区域内，如果质屯、处于违法区域内则转到第十五步，否则舍弃此连通区域，重 新选取连通区域；
[0023] 第十五步:计算连通区域以的二阶中屯、矩，其中行的二阶中屯、矩iirr的计算方法如 公式(5)，列的二阶中屯、矩Wcc的计算方法如公式(6)，混合二阶中屯、矩的计算方法如公式 (7)，N为连通区域レ内的像素数，（roJ，coJ)为连通区域レ的质屯、；
[0024]
C5)
[0025] (6)
[0026] (7)
[0027] 第十六步:将连通区域的二阶中屯、矩作为楠圆的二阶中屯、矩构造楠圆，所得楠圆 如公式(8);
[0028]
(8)
[0029] 第十屯步:计算楠圆的长轴与水平方向的夹角，作为连通区域的倾角0，如果iirr〉 y。。，则计算方法如公式(9)，否则计算方法如公式(10);
[0030] (9)
[00 川
[0032] 第十八步:判断连通区域k的倾角0，如果连通区域的质屯、在人脸左侧违法区域内 并且角度e介于15~75度之间，或者连通区域在右侧违法区域内并且角度0介于-15~-75度 之间则判定驾驶员在打电话，并停止执行输出结果，否则转到第十四步重新选取连通区域；
[0033] 第十九步：如果所有连通区域都不满足第十四和第十八步的要求，则判定驾驶员 没有接打电话。
【附图说明】
[0034] 图1本发明方法流程图；
[0035] 图2驾驶员图像；
[0036] 图3人脸检测图像；
[0037] 图4肤色模型；
[0038] 图5肤色分割图像Iskin;
[0039] 图6去除干扰连通区域后结果；
[0040] 图7人脸残留边界图像；
[0041] 图8分离的手部图像；
[0042] 图9违法区域；
[0043] 图10角度0计算方法示意图；
【具体实施方式】：
[0044] 下面结合附图和具体实例对本发明做详细说明。具体过程如下所示：
[0045] 第一步:读取附图2所示的驾驶员图像I，其大小为MXN，其中M=188，N=180;
[0046] 第二步:利用Viola-化nes人脸检测算法检测人脸，确定人脸在原图像I中的区域， 其左上角顶点坐标为(59,23)，区域高度、宽度均为51，其单位为像素，并截取此区域存成图 像Iface ;
[0047] 第^步：Wlfase的像素点作为样本点，利用公式（I)计算Ifaw的像素均值，m = [63.66,58.12,48.74]t;
[0048]
…
[0049] 第四步：利用公式（2)计算人脸图像Iface中像素的协方差矩阵，C= [243.75， 216.99,196.96; 216.99,203.83,184.08; 196.96,184.08,176.08]，为3 X 3 的矩阵；
[0050] C = E{ (z-m) (z-m)T}，z G Iface (2)
[0051] 第五步：取人脸图像Iface的RGB分量的标准差的最大值作为肤色模型的阔值，T = 111曰义{化，0〇，化}，其中化=243.75,0〇 = 203.83,〇8 = 176.08，并设置肤色分割伸缩因子人=5; [0化2] 第六步：按照公式（3)构造基于Mahalanobis距离的肤色模型，其中为I的像素 值，满足公式(3)的那些像素点为肤色像素点，AT = 1218.75;
[005：3]
(3)
[0054] 第屯步:利用第六步构造的肤色模型对原始图像I进行肤色分割，即判断原始图像 的每个像素点是否满足公式(3)，如果某个像素点公式(3)则认为该点为肤色像素点，其值 设为1，否则为背景像素点，其值设为0,因此肤色分割后的图像为二值图像，记为Iskin;
[0055] 第八步:去掉肤色分割图像Iskin中的较小连通区域，由于肤色分割图像共33840个 像素，因此其阔值化取1000像素；
[0056] 第九步：利用第二步确定的人脸位置，获得Iskin中人脸的左边界和右边界的列坐 标分别为L = 59和R= 110,将Iskin中列为59至Ijlio之间区域的像素设为0,即可去掉Iskin中人 脸的大部分区域；
[0057] 第十步:去掉小于阔值化的连通区域，其中阔值化取500像素，即可消除可能存在的 人脸边缘的干扰如图8;
[005引第十一步：在Iskin中设定两个分别位于人脸左右两侧的违法区域，其中左侧违法 区域的左上角顶点坐标为(8,35)，宽度为51，高度为77,右侧违法区域的左上角顶点坐标为 (110,35)，宽度为51，高度为77;
[0059] 第十二步:对第屯步处理后的图像进行连通区域标记，此例只有一个连通区域，标 记为b，并计算此连通区域的质屯、，计算公式如公式(4)，质屯、坐标为巧8.47,131.56);
[0060]
(4)
[0061 ] 第十S步:连通区域^的质屯、为(58.47,131.56)，由此可知处于右侧违法区域，执 行第十四步；
[0062]第十四步:计算连通区域^的二阶中屯、矩，其中行的二阶中屯、矩iirr的计算方法如 公式(5)，列的二阶中屯、矩iicc的计算方法如公式(6)，混合二阶中屯、矩的计算方法如公式 (7)，计算结果为山r 二 86.61, Ucc二 142.24, Urc 二-80.23;
[0063] (5)
[0064] C6)
[0065] (7)
[0066] 第十五步:将连通区域的二阶中屯、矩作为楠圆的二阶中屯、矩构造楠圆，所得楠圆 如公式(8);
[0067]
(8)
[0068] 第十六步:计算楠圆的长轴与水平方向的夹角，作为连通区域的倾角0，如果iirr〉 y。。，则计算方法如公式(10)，否则计算方法如公式(11)，计算结果为9 = -35.44;
[0069] (9)
[0070] (10)
[0071] 第十屯步：由于连通区域^的倾角0 = -35.44度，此连通区域满足其质屯、在右侧违 法区域内并且角度0介于-15~-75度之间，因此判定驾驶员接打电话。
【主权项】
1.智能交通系统中的驾驶员接打电话识别方法，其特征在于如下步骤： 第一步:读取驾驶员图像I，其大小为MXN; 第二步:利用Viola-Jones人脸检测算法检测人脸，确定人脸在图像I中的区域，区域的 左上角顶点坐标用（faceX，faceY)表示，高度、宽度分别用faceH、faceW表示，其单位为像 素，并截取此区域存成图像If_; 第三步：以Iface的像素点作为样本点，计算Iface的像素均值m，由于彩色图像具有RGB三 个分量，因此m是具有三个分量的向量，各分量的计算方法如公式(1);(1) 第四步:计算人脸图像If_中像素的协方差矩阵C，C是3X3的矩阵，其计算方法如公式 (2)，其中z为Iface的像素值； C=E{ (z-m) (z_m)T}，z e Iface (2) 第五步:设协方差矩阵C的对角兀素为Cll、C22、C33,则人脸图像Iface的RGB分量的标准差 Dr、Dg、Db分别为DR = CmDG = C2^DB = C33,并且取RGB分量的标准差的最大值作为肤色模型的 阈值并设为T，则了=1^以0 1?，0(；，〇8}，并设置肤色分割伸缩因子1，其值为常数； 第六步：按照公式(3)构造基于Mahalanobis距离的肤色模型，其中Z7为I的像素值，满 足公式(3)的那些像素点为肤色像素点；(3) 第七步:利用第六步构造的肤色模型对图像I进行肤色分割，判断原始图像的每个像素 点是否满足公式(3)，如果满足公式(3)则认为该点为肤色点，其值设为1，否则为背景像素 点，其值设为〇，得到二值图像I skin ; 第八步:去掉图像Iskin中像素点较少的连通区域，其阈值Th取值范围在1/25 XMXN~1/ 35 XMX N之间； 第九步:通过第八步的处理后，1^"中像素为1的区域绝大部分为人手和人脸，而现在仅 需要对人手进行判断来确定是否打电话，因此需要去掉人脸区域，按照第二步在图像I中确 定的人脸位置，将Iskin中相同位置的像素值设为0,即可去掉1 8^中人脸的大部分区域； 第十步:通过第九步的处理后，可以去掉Iskin中人脸的大部分区域，但是可能会遗留人 脸的边缘像素，这些像素可能会对后续的操作产生影响，因此去掉小于阈值IV的连通区 域，其中阈值IV取1 /50 X M X N~1 /70 X M X N范围内的值，即可消除可能存在的干扰； 第十一步:在Iskin中设定位于人脸左侧的违法区域，违法区域的右边界与人脸图像的边 界相接，并且左上角顶点坐标为(€306乂-€306胃，€306￥+0.25村306!〇，违法区域宽度为€30洲 个像素，违法区域高度为1.5*faceH个像素； 第十二步:在Iskin中设定位于人脸右侧的违法区域，违法区域的左边界与人脸图像的边 界相接，并且左上角顶点坐标为(€3〇6乂+€3〇6胃，€3〇6￥+0.25村3〇6!0，违法区域宽度为€3〇洲 个像素，违法区域高度为1.5*faceH个像素； 第十三步:对第十步处理后的图像进行连通区域标记，分别标记为L1, LyLn, η为连通 区域个数，并计算每个连通区域的质心，计算公式如公式(4)，其中I(ri，Cl)为经过标记的二 值肤色分割图像在( ri，Cl)处的像素值；(4) 第十四步:选取一个连通区域Lp判断连通区域的质心是否处于第十一和第十二步标记 的违法区域内，如果质心处于违法区域内则转到第十五步，否则舍弃此连通区域，重新选取 连通区域； 第十五步:计算连通区域Lj的二阶中心矩，其中行的二阶中心矩yrr的计算方法如公式 (5)，列的二阶中心矩μ。。的计算方法如公式(6)，混合二阶中心矩yr。的计算方法如公式(7)， N为连通区域Lj内的像素数，（项，叫)为连通区域Lj的质心；(5) (6) (7) 第十六步:将连通区域的二阶中心矩作为椭圆的二阶中心矩构造椭圆，所得椭圆如公(8)第十七步:计算椭圆的长轴与水平方向的夹角，作为连通区域的倾角Θ，如果μ^>μ。。，则 计筧方法如公式（9),否则计筧方法如公式（10): (9) (10) 第十八步:判断连通区域Lj的倾角Θ，如果连通区域的质心在人脸左侧违法区域内并且 角度Θ介于15~75度之间，或者连通区域在右侧违法区域内并且角度Θ介于-15~-75度之间 则判定驾驶员在打电话，并停止执行输出结果，否则转到第十四步重新选取连通区域； 第十九步：如果所有连通区域都不满足第十四和第十八步的要求，则判定驾驶员没有 接打电话。
【文档编号】G06K9/00GK106022242SQ201610319250
【公开日】2016年10月12日
【申请日】2016年5月13日
【发明人】王好贤, 潘世吉, 韩雪
【申请人】哈尔滨工业大学（威海）