专利名称：基于面部图像识别技术的评判实际道路驾驶员考试的方法
技术领域：
本发明涉及一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，特别是在驾驶员考试科目三实际道路考试中，可以实现科目三实际道路考试过程中与面部识别有关的自动评判项目。
背景技术：
现有科目三实际道路考试的方式是人工评判的方式，考官坐在考车上，发出考试指令，对考生考试情况作出评价，评定分数，并作为考生的最终考试成绩。这种考试方式的缺点是考试成绩合理性较差，有时甚至容易引发职务犯罪。在公安部111号令中有13项评判涉及对考生面部动作进行识别，评判程序需要实时知道考生面部的动作。因此按照公安部111号令的标准，实现电子自动评判，最终得出考生成绩，提高实际道路考试的规范化水平、自动化水平是一项迫切的任务。
发明内容
发明目的本发明的目的是提供一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，实现在考试过程中，按照公安部111号令的标准对考生成绩，尤其是涉及面部评判的项目，进行电子自动评判，最终得出考生成绩，提高实际道路考试的规范化水平和自动化水平。为了解决上述技术间题，本发明采用了如下的技术方案一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，它包括如下步骤(1)获取考生面部特征轮廓标准矩形的标准尺寸，具体包括以下步骤a、获得考生头部照片，b、将头部位置的图片灰度化；C、将灰度化的图片二值化，即将图片变为黑白两色；d、将区域内黑白像素块作连通性分析，分别获得眉毛、眼睛、鼻孔、嘴巴和头发部位的黑色区域像素块，以及各个黑色区域像素块的外切矩形尺寸；并找出每个独立黑色区域像素块外切矩形的中心点的竖向坐标X，横向坐标Y ；e、取出以眼睛和鼻孔为特征的面部特征轮廓矩形将步骤d得到的面部各个部位的黑色区域像素块两两比对，如果两个像素块的中心点横向坐标Y在同一水平线上，并且两像素块的中心点连线的中点在面部轮廓的竖直方向的中心线处，则判断这两个像素块可能为眼睛、眉毛或鼻孔；根据宽度可以区别出鼻孔；通过上下位置区分出眼睛和眉毛；将眼睛和鼻孔的封闭区域作矩形，得到面部特征轮廓矩形；f、获取多幅考生面部图像，重复步骤b_e，得到该考生的多个面部特征轮廓矩形， 取其中宽度尺寸和高度尺寸概率大的的矩形尺寸，作为该考生的面部特征轮廓标准矩形的标准尺寸，存储该标准尺寸，作为考试过程中评判对比的依据；(2)进入考试，获取考生的当前头部图像；(3)重复步骤b_e，得到考试过程中考生的当前面部特征轮廓矩形尺寸；(4)将步骤C3)得到的当前面部特征轮廓矩形尺寸与步骤f得到的面部特征轮廓标准矩形的标准尺寸比较如果考生左右摆动头部，则当前面部特征轮廓矩形的宽度尺寸会发生变化，由此可以判断出考生在观察左右后视镜；如果考生低头，则当前面部特征轮廓矩形的高度尺寸会发生变化，由此可以判断出考生在低头看挡。其中，步骤c中，二值化的阈值为80。其中，步骤d中，连通性分析是在纯黑和纯白组成的二值化图像中，将像素连在一起的黑色区域取出，处理结果是获得彼此不相连的黑色区域像素块，如眼睛部分的黑色区域像素块、头发部分的黑色区域像素块。其中，步骤f中，获取考生的面部特征轮廓矩形的标准尺寸采用如下的方法在获得的多个面部特征轮廓矩形的多个高度尺寸和宽度尺寸中，分别将高度尺寸、宽度尺寸的最大值和最小值去掉，即将最大高度值、最小高度值、最大宽度值和最小宽度值去掉；然后将剩余的高度尺寸取平均值，即得到面部特征轮廓标准矩形的高度尺寸；将剩余宽度尺寸取平均值，即得到面部特征轮廓标准矩形的宽度尺寸。其中，步骤中，根据鼻孔区域黑色像素块的位置是变低还是变高来区分考生是低头还是仰头，如果鼻孔区域黑色像素块的位置变高，则判断考生是仰头；如果鼻孔区域黑色像素块的位置变低，则判断考生是低头。其中，如果考生的当前面部特征轮廓矩形的宽度尺寸小于等于面部特征轮廓标准矩形的宽度尺寸的85%，则判断考生在左右观察后视镜；如果考生的当前面部特征轮廓矩形的宽度尺寸大于面部特征轮廓标准矩形的宽度尺寸的85%，则判断考生没有左右观察后视镜；如果考生的当前面部特征轮廓矩形的高度尺寸小于等于面部特征轮廓标准矩形的高度尺寸的85%，且当前面部特征轮廓矩形中的鼻孔区域像素块的位置相较于面部特征轮廓标准矩形中的鼻孔位置变低时，则判断考生在低头看挡；则判断考生在低头看挡；如果考生的当前面部特征轮廓矩形的高度尺寸大于面部特征轮廓标准矩形的高度尺寸的85%，判断考生没有低头看档。本发明的原理是图像获取设备采用正对人脸的车载摄像头，获取人脸视频快照， 然后通过灰度化处理、二值化处理、连通区域提取、特征轮廓的提取，进而得到考生面部特征轮廓的标准尺寸作为评判依据。获取考生面部特征轮廓的标准尺寸是在考生正式考试前，车载语音会提示考生头部摆正，获取面部特征轮廓，作为标准轮廓；考生在考试过程中， 摄像头以IHz的频率获取快照，并通过图像识别软件提取考生当前的面部特征轮廓，与考生的标准特征轮廓作比较当头部左右摆动时，当前面部特征轮廓矩形的宽度比标准尺寸小，头部上下摆动时，考生当前特征轮廓矩形的高度比标准尺寸小。进而实现实际道路考试中，实现电子评判的目的。有益效果本发明的评判方法实现了对公安部111号令中规定的13个项目的自动化、规范化评判。在这13个项目中，当考生按照规定必须左右观察后视镜时，本发明可以将考生当前面部特征轮廓尺寸与考生的面部特征轮廓标准矩形的标准尺寸进行比较如果考生当前面部特征轮廓宽度没有发生变化，则可判断考生没有左右观察后视镜；如果宽度变小，则说明考生左右观察了后视镜；当考生按照规定不能低头看档位时，如果考生当前面部特征轮廓的高度没有发生变化，则可判断考生没有低头；如果高度变小，则说明考生低头。采用本发明的评判方式误判率几乎为零，且有效的减少了科目三考试中的人为因素，实现了自动化、规范话的评判，并且适合大规模推广应用。
图1为本发明的流程图。图2为本发明面部轮廓特征矩形获取流程图。图3为车载摄像头拍摄的未识别的照片。图4对照片中人脸区域进行灰度化后结果。图5对人脸区域进行二值化后结果。图6提取黑色连通像素后结果。图7提取面部特征轮廓矩形后结果。
具体实施例方式下面结合附图对本发明做更进一步的解释。本发明作为实际道路考试系统的一部分，可以实现科目三实际道路考试中与面部转动有关的自动评判项目。科目三实际道路考试中考查的科目，以及评判规则如下1.综合评判项目换档时低头看档或者连续两次换档不进；2.起步起步前，未通过后视镜并向左方侧头，观察左、后方交通情况；3.直线行驶超过20秒不通过后视镜观察后方交通情况；4.变更车道变更车道前，不通过内、外后视镜观察后方道路交通情况；5.通过路口 直行通过路口不观察左、右方交通情况；6.通过路口 转弯通过路口时，未观察侧前方交通情况或未通过内、外后视镜观察侧、后方交通情况；7.通过人行横道不观察左、右方交通情况；8.通过学校区域不观察左、右方交通情况；9.通过公共汽车站不观察左、右方交通情况；10.超车超车前不通过内、外后视镜观察后方和左侧交通情况；11.靠边停车停车前，不通过内、外后视镜观察后方和右侧交通情况；12.靠边停车停车后，在车内开门前不侧头观察侧后方和左侧交通情况；13.掉头不能正确观察交通情况选择掉头时机。本发明的利用面部图像识别技术来评判实际道路考试的方法，如图1所示，它包括如下步骤(1)获取考生面部特征轮廓标准矩形的标准尺寸，具体包括以下步骤a、获得考生头部照片，如图3所示。当考生上车后，语音提示考生正视前方，正对考生的车载摄像头开始摄像，车载工控机的主控程序每1秒钟获取一帧图像，通常取其中的10帧图像即可，然后每帧图像都经过下述步骤b-e的步骤进行处理。b、将头部位置的图片灰度化，如图4所示。
C、将灰度化的图片二值化，即将图片变为黑白两色。二值化的阈值可以根据天气等情况，不断进行修正，一般二值化的阈值为80左右，即可获得比较清晰的二值化黑白色图像。如图5所示。d、将区域内黑白像素块作连通性分析，获得眉毛、眼睛、鼻孔、嘴巴和头发各个部位的黑色区域像素块，以及这些黑色区域像素块的外切矩形尺寸；并根据外切矩形找出每个独立的黑色区域像素块外切矩形的中心点的竖向坐标X，横向坐标Y。该图片上的所有部位的黑色区域像素块的中心点坐标均以该照片的左下角的基准点为准即可。其中的连通性分析是在纯黑和纯白组成的二值图像中，将像素连在一起的黑色区域取出，处理结果是获得彼此不相连的黑色块，如眼睛部分的黑色区域像素块、鼻子部分的黑色区域像素块、嘴巴部分的黑色区域像素块、头发部分的黑色区域像素块。如图6所示。e、取出以眼睛和鼻孔为特征的面部特征轮廓矩形将步骤d得到的各个黑色像素块的两两比对，如果两个像素块的中心点横向坐标Y在同一水平线上，并且两像素块的中心点连线的中点在面部轮廓的竖直方向的中心线附近，(中心线即考生在绝大多数情况下正视前方时的面部轮廓中心线，该中心线通过前期大量实验照片可以获得)，则判断其可能为眼睛、眉毛或鼻孔。由于两个鼻孔之间的距离比两个眼睛或两个眉毛之间的距离短，所以根据宽度的经验值可以区别出鼻孔。由于眉毛在眼睛上面，所以可以通过上下位置区别眼睛和眉毛。然后将眼睛和鼻孔的封闭区域作外切矩形，如图7所示。根据两个眼睛、两个鼻孔的像素块的中心点组成的封闭区域做矩形，得到面部特征轮廓矩形。即两个眼睛像素块的中心点位于矩形的上边，且是上边的两个端点；两个鼻孔像素块的中心点位于矩形的下边， 两个眼睛像素块的中心点与下边的垂直交点为下边的两个端点。步骤a-e即为面部特征轮廓矩形的获取流程，如图2所示。f、实施例所述的上述的10帧图像经过步骤b-e的处理，得到该考生的10个面部特征轮廓矩形。在这多幅面部特征轮廓矩形尺寸中，取概率最大的宽度尺寸和高度尺寸作为面部特征轮廓标准矩形的标准尺寸的宽度尺寸(横向尺寸)和高度尺寸(竖向尺寸)。具体做法如下在上述10个面部特征轮廓矩形得到的10对高度尺寸和宽度尺寸中，分别将高度、宽度的最大值和最小值去掉，即将最大高度值、最小高度值、最大宽度值和最小宽度值去掉；然后将剩余的8个高度尺寸取平均值，(即将剩余8个高度尺寸相加，除以8)，即得到面部特征轮廓标准矩形的高度尺寸；将剩余的8个宽度尺寸取平均值(即将剩余8个宽度尺寸相加，除以8)，即得到面部特征轮廓标准矩形的宽度尺寸。实施例所示的考生的由眼睛和鼻孔像素块的中心点组成的封闭区域，即面部特征轮廓标准的高度和宽度分别为像素值37x58。一般在处理面部图像时，都是以像素为单位来表示宽度和高度尺寸的，省去了转换成的麻烦，且可以获得更准确的判断结果。通过上述图像识别技术处理，获取由眼部和鼻孔组成的面部特征轮廓标准矩形， 获取正常状态下的面部特征轮廓标准矩形作为标准尺寸，将该标准尺寸存储，作为考试过程中评判对比的依据。在获取考生面部特征轮廓标准矩形图像时，考车还通过语音提示，提醒考生头部不要移动以便获取面部矩形的标准尺寸。以后每次面部是否上下左右摆动，即由获取的当前面部特征轮廓矩形尺寸与本步骤得到的面部特征轮廓标准矩形的标准尺寸进行比对，以此来判断头部是否上下、左右摆动。例如在主控程序判断进入考试项目后，如通过人形横道，如果当前面部特征轮廓矩形的横向尺寸与面部特征轮廓标准矩形的标准尺寸相比没有变化，就识别出头部没有左、右摆动，则扣分。(2)进入考试，获取考生的当前面部特征轮廓图像。本步骤中，获取考生当前面部特征轮廓图像可以是连续采集，一直进行比较；也可以是考车发出考试指令的同时，采集考生当前面部特征轮廓图像。(3)重复步骤b_e，得到考试过程中考生的当前面部特征轮廓矩形尺寸。(4)将步骤( 得到的当前面部特征轮廓矩形尺寸与步骤f得到的面部特征轮廓标准矩形的标准尺寸比较如果考生左右摆动头部，则当前面部特征轮廓矩形的横向尺寸(宽度)会发生变化，由此可以判断出考生在观察左右后视镜。如果考生低头，则当前面部特征轮廓矩形的竖向尺寸(高度)会发生变化。在此， 须识别出仰头和低头，具体方法是根据鼻孔区域黑色像素块的位置是变低还是变高来区分考生是低头还是仰头，如果鼻孔区域黑色像素块的位置变高，则判断考生是仰头；如果鼻孔区域黑色像素块的位置变低，则判断考生是低头。另外为了进一步准确的获知考生的头部状况，采用如下方法进行区别如果考生的当前面部特征轮廓矩形的横向尺寸(即宽度尺寸)小于等于面部特征轮廓标准矩形的横向尺寸(即宽度尺寸)的85%，则判断考生在左右观察后视镜；如果考生的当前面部特征轮廓矩形的横向尺寸(即宽度尺寸)大于面部特征轮廓标准矩形的横向尺寸(即宽度尺寸)的85%，则判断考生没有左右观察后视镜；如果考生的当前面部特征轮廓矩形的竖向尺寸(即高度尺寸)小于等于面部特征轮廓标准矩形的竖向尺寸(即高度尺寸)的85%，且当前面部特征轮廓矩形中的鼻孔区域像素块的位置相较于面部特征轮廓标准矩形中的鼻孔位置变低时，则判断考生在低头看挡；如果考生的当前面部特征轮廓矩形的竖向尺寸(即高度尺寸)大于面部特征轮廓标准矩形的竖向尺寸(即高度尺寸)的85%，判断考生没有低头看挡。所取85%值据考试宽严要求可以修改。例如相对于实施例所示的该考生面部特征轮廓标准矩形的标准尺寸(高度X宽度)37x58，当考生头部左右摆动时，与标准尺寸的宽度尺寸相比，考生的当前面部特征轮廓矩形的宽度像素值变小为48时，则判断考生在观察左右后视镜；如果考生的当前面部特征轮廓矩形的宽度像素值变小为50时，则判断考生没有观察左右后视镜。同样的，相对于实施例所示的标准尺寸，考生的当前面部特征轮廓矩形的高度像素值变小为30，且当前面部特征轮廓矩形中的鼻孔区域像素块的位置相较于面部特征轮廓标准矩形中的鼻孔位置变低时，则判断考生在低头看挡；如果考生的当前面部特征轮廓矩形的高度像素值变小为32时，则判断考生没有低头看挡。通过本发明的方法可以判断科目三实际道路考试中的上述13个项目中，考生是否满足考试规则，实现科目三考试中，判断考生是否观察左右后视镜，以及低头看挡的全自动电子评判，摒除人为评判的缺陷和不足。
权利要求
1.一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，其特征在于它包括如下步骤(1)获取考生面部特征轮廓标准矩形的标准尺寸，具体包括以下步骤a、获得考生头部照片，b、将头部位置的图片灰度化；C、将灰度化的图片二值化，即将图片变为黑白两色；d、将区域内黑白像素块作连通性分析，分别获得眉毛、眼睛、鼻孔、嘴巴和头发部位的黑色区域像素块，以及各个黑色区域像素块的外切矩形尺寸；并找出每个独立黑色区域像素块外切矩形的中心点的竖向坐标X，横向坐标Y ；e、取出以眼睛和鼻孔为特征的面部特征轮廓矩形将步骤d得到的面部各个部位的黑色区域像素块两两比对，如果两个像素块的中心点横向坐标Y在同一水平线上，并且两像素块的中心点连线的中点在面部轮廓的竖直方向的中心线处，则判断这两个像素块可能为眼睛、眉毛或鼻孔；根据宽度可以区别出鼻孔；通过上下位置区分出眼睛和眉毛；将眼睛和鼻孔的封闭区域作矩形，得到面部特征轮廓矩形；f、获取多幅考生面部图像，重复步骤b-e，得到该考生的多个面部特征轮廓矩形，取其中宽度尺寸和高度尺寸概率大的的矩形尺寸，作为该考生的面部特征轮廓标准矩形的标准尺寸，存储该标准尺寸，作为考试过程中评判对比的依据；(2)进入考试，获取考生的当前头部图像；(3)重复步骤b-e，得到考试过程中考生的当前面部特征轮廓矩形尺寸；(4)将步骤C3)得到的当前面部特征轮廓矩形尺寸与步骤f得到的面部特征轮廓标准矩形的标准尺寸比较如果考生左右摆动头部，则当前面部特征轮廓矩形的宽度尺寸会发生变化，由此可以判断出考生在观察左右后视镜；如果考生低头，则当前面部特征轮廓矩形的高度尺寸会发生变化，由此可以判断出考生在低头看挡。
2.根据权利要求1所述的一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，其特征在于步骤c中，二值化的阈值为80。
3.根据权利要求1所述的一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，其特征在于步骤d中，连通性分析是在纯黑和纯白组成的二值化图像中，将像素连在一起的黑色区域取出，处理结果是获得彼此不相连的黑色区域像素块，如眼睛部分的黑色区域像素块、头发部分的黑色区域像素块。
4.根据权利要求1所述的一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，其特征在于步骤f中，获取考生的面部特征轮廓矩形的标准尺寸采用如下的方法 在获得的多个面部特征轮廓矩形的多个高度尺寸和宽度尺寸中，分别将高度尺寸、宽度尺寸的最大值和最小值去掉，即将最大高度值、最小高度值、最大宽度值和最小宽度值去掉； 然后将剩余的高度尺寸取平均值，即得到面部特征轮廓标准矩形的高度尺寸；将剩余宽度尺寸取平均值，即得到面部特征轮廓标准矩形的宽度尺寸。
5.根据权利要求1所述的一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，其特征在于步骤中，根据鼻孔区域黑色像素块的位置是变低还是变高来区分考生是低头还是仰头，如果鼻孔区域黑色像素块的位置变高，则判断考生是仰头；如果鼻孔区域黑色像素块的位置变低，则判断考生是低头。
6.根据权利要求1或5所述的一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，其特征在于步骤中，如果考生的当前面部特征轮廓矩形的宽度尺寸小于等于面部特征轮廓标准矩形的宽度尺寸的85%，则判断考生在左右观察后视镜；如果考生的当前面部特征轮廓矩形的宽度尺寸大于面部特征轮廓标准矩形的宽度尺寸的85%，则判断考生没有左右观察后视镜；如果考生的当前面部特征轮廓矩形的高度尺寸小于等于面部特征轮廓标准矩形的高度尺寸的85%，且当前面部特征轮廓矩形中的鼻孔区域像素块的位置相较于面部特征轮廓标准矩形中的鼻孔位置变低时，则判断考生在低头看挡；如果考生的当前面部特征轮廓矩形的高度尺寸大于面部特征轮廓标准矩形的高度尺寸的85%，判断考生没有低头看挡。
全文摘要
本发明公开了一种基于面部图像识别技术的评判实际道路驾驶员考试的方法，它包括如下步骤获取考生面部特征轮廓标准矩形的标准尺寸；进入考试，获取考生的当前头部图像；得到考试过程中考生的当前面部特征轮廓矩形尺寸；将当前面部特征轮廓矩形尺寸与面部特征轮廓标准矩形的标准尺寸比较如果考生左右摆动头部，则当前面部特征轮廓矩形的宽度会发生变化，由此可以判断出考生在观察左右后视镜；如果考生低头，则当前面部特征轮廓矩形的高度会发生变化，由此可以判断出考生在低头看挡。采用本发明的评判方式，误判率几乎为零，且有效的减少了科目三考试中评判的人为因素，并且适合大规模推广应用。
文档编号G06K9/64GK102306293SQ20111021719
公开日2012年1月4日 申请日期2011年7月29日 优先权日2011年7月29日
发明者刘海青, 钱嵊山 申请人:南京多伦科技有限公司