1.一种基于人脸识别及图像处理的注意力评估方法,其特征在于,包含如下步骤:
a)首先使用肤色检测规则对图像进行处理,过滤掉非肤色区域;
b)对图像进行腐蚀和膨胀操作,去除掉图像中的噪声区域,并过滤掉过小的肤色区域,将处于图像相对中心位置的肤色区域定义为人脸区域;
c)对人脸区域进行二值化处理,从而将肤色区域转变为白色,五官区域转变为黑色;
d)接着将人脸区域分为上下两个部分,分别用来获取双眼的位置和嘴部的位置;
e)根据获得的双眼和嘴部的位置,进一步使用计算图像梯度的方法获得鼻子的位置;
f)根据获得的眼睛、鼻子和嘴巴坐标位置,计算出脸部和头部的偏转系数,根据这两个偏转系数计算最终的集中度指标判断学习者状态:集中或者不集中。
2.根据权利要求1所述的方法,其特征在于,所述的步骤a)中,通过RGB,YCbCr以及HSV三个颜色空间的相应规则进行像素筛选以得到肤色区域,筛选公式如下:
(R>95)AND(G>40)AND(B>20)AND(max{R,G,B}-min{R,G,B}>15)AND(|R-G|>15)AND(R>G)AND(R>B)
上式中的R、G、B分别代表红、绿、蓝三个颜色通道;
Cr≤1.5862×Cb+20AND Cr≥0.3448×Cb+76.2069AND Cr≥-4.5652×Cb+234.5652AND Cr≤-1.15×Cb+301.75AND Cr≤-2.2857×Cb+432.85
上式中的Cb、Cr分别代表蓝色色度分量和红色色度分量;
H<25OR H>230
上式中的H为色调值。
3.根据权利要求1所述的方法,其特征在于,所述的步骤b)中,过滤掉过小的肤色区域,是将占图像总像素比例不大于0.1的肤色区域过滤掉。
4.根据权利要求1所述的方法,其特征在于,所述的步骤c)中,进行二值化处理的步骤为,将图像的每一个像素的灰度值与预设的阈值作比较,如果灰度值大于阈值则转化为白色,小于或等于则转化为黑色。
上式中x、y分别表示的是图像中某一个像素点的横、纵坐标,src(x,y)表示的是该像素点当前的灰度值,thresh表示的是阈值,dst(x,y)表示的是该像素点将要设置的灰度值。
5.根据权利要求1所述的方法,其特征在于,所述的步骤d)中,将人脸区域分为上下两个部分,是以人脸区域的高度为H,上半部分的高度范围是从H*0.102到H*0.488,下半部分的高度范围是从H*0.530到H*0.909。
6.根据权利要求1所述的方法,其特征在于,所述的步骤d)中,获取双眼位置的步骤为,首先对上半部分人脸区域进行逐行扫描,如果遇到黑色像素组成的区域,则计算该区域的面积大小并记录下该区域的位置,待扫描完毕之后,对已经获得的区域进行过滤,这些区域需要满足如下条件:
1)区域的像素个数与上半部分人脸区域像素个数的比值为0.0032到0.167之间;
2)区域的高度与整个图像区域的高度的比值需要在0.64以下;
3)区域的宽度与整个图像区域的宽度的比值需要在0.5以下;
最终,最符合条件的两个区域会被认定为双眼区域。
7.根据权利要求1所述的方法,其特征在于,所述的步骤d)中,获取嘴部位置的步骤为,首先对下半部分人脸区域进行逐行扫描,如果遇到黑色像素组成的区域,则计算该区域的面积大小并记录下该区域的位置,待扫描完毕之后,对已经获得的区域进行过滤,这些区域需要满足如下条件:
1)区域的高度与下半部分人脸区域高度的比值要在0.092以下;
2)区域的宽度与下半部分人脸区域宽度的比值要在0.33到0.72之间。
最终,该区域内相对最长的一个区域将被认定为嘴部,同时该区域的中心位置坐标被认定为嘴部坐标。
8.根据权利要求1所述的方法,其特征在于,所述的步骤e)中,获取鼻子坐标的步骤为,首先依据已经获取到的双眼和嘴部的位置,以双眼和嘴部所围成的区域为界,从原始的RGB彩色图像中提取出一块矩形区域作为用来进一步处理的区域,将该区域转换为灰度图片,然后计算这个区域内每一个像素的水平和垂直方向的梯度,方法为计算改坐标点的灰度值在x和y两个方向上的偏导数,公式如下:
上式中x、y分别表示该像素点的横纵坐标;
接着根据水平和垂直方向的梯度的偏导数计算梯度的幅度,公式如下:
上式中x、y分别表示该像素点的横纵坐标;
接下来找出所有的像素中梯度幅度的最大值Gmax,然后对该区域内的像素点做一个过滤:
1)梯度幅度大于或等于Gmax/2;
2)灰度值小于90;
过滤掉不符合要求的像素点,得到鼻孔的像素点,再计算这些像素点的平均中心位置,将中心位置认为是鼻子的中心位置。
9.根据权利要求7所述的方法,其特征在于,所述的步骤e)中,以双眼和嘴部所围成的区域为界,从原始的RGB彩色图像中提取出一块矩形区域作为用来进一步处理的区域,是将矩形区域的左上顶点的横坐标设为为左眼横坐标与嘴部横坐标的较小值,纵坐标为左眼纵坐标与右眼纵坐标的较小值,矩形区域右下顶点的横坐标为右眼横坐标与嘴部横坐标的较大值,纵坐标为嘴部的纵坐标。
10.根据权利要求1所述的方法,其特征在于,所述的步骤f)的具体步骤如下:
1)根据双眼的位置计算出双眼之间连线的中心E,将E与嘴部的中心点M相连,然后计算EM这条直线的偏转角度,公式如下:
OH=90-tan-1K(EM)
上式中,K(EM)表示的是双眼之间连线的中心E与嘴部的中心点M相连的直线的斜率;
2)接下来先计算鼻子的中心点N到脸部的垂直中线的距离NC,然后计算NC与脸部区域宽度的比值,公式如下:
上式中NC表示的是鼻子的中心点N到脸部的垂直中线的距离NC,W表示的是抽取出的脸部图片的宽度;
3)然后将求得的OH与OF两个系数代入公式计算集中度指标,公式如下:
Dis=1.286*OH+1.048*OF-0.0963
上式中,OH表示的计算出的头部偏转系数,OF表示的是计算出的脸部偏转系数;
将求得的集中度指标Dis与一个阈值0.3203相比较,如果Dis大于改值则认为是非集中状态,否则是集中状态。