专利名称：一种基于快速傅立叶变换的打盹行为检测方法
技术领域：
本发明属于图像处理和模式识别技术的应用领域，特别涉及驾驶员疲劳检测中的 打盹行为的检测方法。
背景技术：
目前在驾驶员疲劳检测的领域当中，大多是针对驾驶员是否眨眼睛，多长频率眨 眼睛这一动作入手，但是由于驾驶员的个人习惯不同，当驾驶员出现打盹这一行为的时候， 由于目前的方法需要找出眼睛的位置进行判别，所以此时这一检测方法将不能满足驾驶人 员的需要。而目前在驾驶员打盹行为的检测技术中，主要采用的是硬件实现的方法，通过安 装在驾驶员头部的传感器采集头部的运动信息，根据头转动的角度来判别驾驶员是否在打 盹，该方法是接触式的检测方法，对驾驶员会造成一定的干扰，而且由于每个人的打盹行为 中头转动的角度也不一样，所以该方法鲁棒性不高，使用也不方便。
发明内容
本发明的目的在于克服现有技术存在的上述不足，提供一种基于快速傅立叶变换 的打盹行为检测方法。本发明采用图像处理和模式识别技术，对人脸中心坐标点的采集没 有任何环境限制，采用了较为成熟的快速傅立叶算法对头部的运动曲线进行分析，使得检 测具有较高的鲁棒性、准确性和实时性。本发明通过如下技术方案实现。一种基于快速傅立叶变换的打盹行为检测方法，包括如下步骤(1)人脸检测定位采用了针对动态图像序列的改进的Adaboost法对人脸进行检 测，通过动态地改变搜索区域以及初始搜索框，能快速，准确地定位人脸所在的矩形区域， 然后求出人脸所在的矩形区域中心的坐标并记录。(2)头部运动特征提取在采集到一定数量的人脸所在的矩形区域的中心坐标点 之后，对该坐标点数据进行傅立叶变换，把时域信息转换到频域，并根据每次傅立叶变换得 出的低频段的幅值系数进行分析，把头部行为分为静止，小幅度运动，垂直方向有规律运动 三种状态；(3)打盹行为识别重复执行步骤(2)，并记录每次步骤(2)的结果及步骤(2)执 行的次数，当执行次数达到设定的数量之后则进行打盹行为判别，在重复执行步骤(2)这 一时间段中，若垂直方向有规律运动状态的次数超过设定值，则判别为打盹行为。上述方法的步骤(1)中，Adaboost法是较为成熟的人脸检测方法，而由于采用摄 像头对图像进行采集，得到的是动态序列图像，针对这一特点，改进了 Adaboost法，通过动 态地改变搜索区域以及初始搜索框，提升了该方法的检测精确度和速度.上述方法的步骤(2)中，分析人头部运动轨迹时是把头部的运动分为垂直方向以 及水平方向进行分析的。通过步骤(1)采集人脸所在的矩形区域的中心坐标点，在采集到 设定数量的坐标点数据之后就做一次快速傅立叶变换，把时域的数据转换到频域中进行分 析。由于人的打盹行为是一种在垂直方向上有规律的运动行为，其运动轨迹是一条类正弦波的曲线，并且是一种低频的运动，所以在频域的分析中，垂直方向的傅立叶变换的低频系 数的幅值会明显地增加，通过该低频系数以及结合水平方向的分析结果即可对人的行为状 态进行判别，识别出人的头部是否在做有规律的运动，当人不动的时候，其各个频段的傅立 叶系数也会很小，通过此可以判断头部是否静止不动。上述方法的步骤(3)中，通过步骤(2)可以判别人的头部在一个短的时间段(采集到64个人脸所在的矩形区域的中心坐标点的时间)中是否在做垂直方向的有规律运动， 小幅度运动或静止，而在驾驶时这三种状态应该是交替出现的，若在一定时间段(进行15 次的傅立叶变换分析)中，垂直方向有规律运动状态的次数超过设定值，则可以判别为打 盹行为。在步骤(3)中会对步骤(2)的执行次数进行计数，当步骤(2)执行了设定次数之 后就进行行为分析，判断人是否在打盹。本发明采用了模式识别技术以及统计判决的方法对打盹行为进行检测，具有非接 触，鲁棒性高，实时性好的特点，与现有技术相比本发明的优点与积极效果具体有1.本发明针对动态序列图像对Adaboost法进行了改进。采用Adaboost法对人脸 进行检测，动态地改变搜索的区域和初始搜索矩形框，提升了 Adaboost法在动态序列图像 中对人脸检测的精确度和速度。2.傅立叶系数能反映信号在各频段的能量，从而基本上体现人头部运动轨迹的频 率分布以及频率特征。3.本发明采用图像处理和模式识别技术，对人脸所在的矩形区域的中心坐标点信 息的采集没有任何环境限制，而且在信息采集的时候是非接触式的采集，对人没有影响，使 用方便。4.本发明采用快速傅立叶变换算法对采集到的64个人脸所在的矩形区域的中心 坐标点进行频域变换，变换速度快，实时性好。当人在打盹时，其头部运动轨迹是一类正弦 波的曲线，其傅立叶变换系数中低频成分的幅值会增大，在进行多次傅立叶变换判决之后 进行一次行为判决，从而消除了一些误判的影响，提高了识别的正确率。
图1为实施方式中的打盹行为检测实现流程图。图2为实施方式中打盹时头部垂直方向的运动轨迹。图3为实施方式中有规律运动(打盹)时傅立叶变换系数分布图(已过滤直流成 分)。图4为实施方式中小幅度运动时傅立叶变换系数分布图(已过滤直流成分)。图5为实施方式中静止时傅立叶变换系数分布图(已过滤直流成分)。
具体实施例方式下面结合附图，对本发明的具体实施方式
作进一步说明，但本发明的实施不限于 此。基于快速傅立叶变换的打盹行为检测方法，具体步骤如下步骤一人脸检测定位步骤二 头部运动特征提取及状态判决步骤三打盹行为判决
以下进一步详细描述上述各个步骤，如图1，其中，步骤一的具体实施步骤为通过摄像头对人的头部进行图像采集，在获取动态序列图像的数据之后，首先要进行人脸定位，本发明采用的是较为成熟的Adaboost法对人脸进行检测。Adaboost法是通 过查找搜索矩形框内的HAAR特征进行目标检测，在开始时设定初始搜索矩形框大小，之后 按比例放大矩形框，直至整幅图像搜索完毕。本发明根据动态序列图像的特点对该方法进 行了改进，实现方法如下(1)采用Adaboost法对人脸进行检测，当检测到人脸时，记录人脸所在矩形区域， 求出人脸所在矩形区域中心的坐标并记录该坐标，若连续三次检测到人脸则可以认为那是 一张真正的人脸，转到(2)启动动态人脸检测机制.(2)根据记录的人脸所在矩形区域，引入缩放因子，把人脸所在矩形区域根据缩放 因子进行缩小得出初始搜索矩形框，把人脸所在矩形区域根据缩放因子进行扩大得出终止 搜索矩形框，并通过终止搜索矩形框把要搜索的图像区域提取出来，设定初始搜索矩形框 后通过Adaboost法进行人脸检测。当连续10次检测不到人脸则转到(1)，否则重新记录人 脸所在矩形区域，求出人脸所在矩形区域中心的坐标并记录该坐标，执行(2).所述终止搜索矩形框的计算公式如下Width1=Width0Xscaleheight! = height。X scaleX1 = x0 +scaleY1 = y0 +scale公式中scale为引入的缩放因子，Width0为人脸所在矩形区域的宽度，height。为 人脸所在矩形区域的高度，X0为人脸所在矩形区域的左下角在检测图像中的水平方向的坐 标，Yo为人脸所在矩形区域的左下角在检测图像中的垂直方向的坐标。Width1为终止搜索 矩形框的宽度，height!为终止搜索矩形框的高度，X1为终止搜索矩形框的左下角在检测图 像中的水平方向的坐标，Y1为终止搜索矩形框的左下角在检测图像中的垂直方向的坐标。 初始搜索矩形框的计算公式如下width2 = width0 +scaleheight2 = height。+scaleX2 = X0Xscaley2 = y0Xscale公式中scale为引入的缩放因子，Width0为人脸所在矩形区域的宽度，height。为 人脸所在矩形区域的高度，X0为人脸所在矩形区域的左下角在检测图像中的水平方向的坐 标，Yo为人脸所在矩形区域的左下角在检测图像中的垂直方向的坐标。Width2为初始搜索 矩形框的宽度，height2为初始搜索矩形框的高度，X2为初始搜索矩形框的左下角在检测图 像中的水平方向的坐标，Y2为初始搜索矩形框的左下角在检测图像中的垂直方向的坐标。步骤二的具体实施步骤为通过步骤一可以得到人脸所在矩形区域中心点的坐标，当人在打盹时，人脸所在 矩形区域中心点的运动轨迹(垂直方向)如图2所示。在图2中可以看到，打盹时，人脸所 在矩形区域中心的运动轨迹是一条类正弦波的曲线。当采集到64个人脸所在矩形区域中 心坐标点的数据之后就进行一次快速傅立叶变换。打盹是一个人的头部在垂直方向上有规律的运动，在垂直方向上的傅立叶变换的低频段幅值系数会增加。图3是在垂直方向上有规律运动时的傅立叶变换的幅值系数图，从图中可以清楚地看出低频段的幅值明显地高于 高频段的，而小幅度运动的傅立叶变换幅值系数图(图4)及静止时的傅立叶变换幅值系数 图(图5)也是有其幅值特征，所以这三种运动的特征都是反映在低频段，通过分析傅立叶 变换系数图的低频段可以区分这三种运动状态。在进行傅立叶变换之后，就对在这一短时间段(采集64个人脸所在区域的中心坐 标点的时间)中的人的状态进行判决，而判决的准则如下由于人在打盹时，其头部在垂直方向的运动是一有规律的类正弦运动，而此时在 水平方向的运动则因人而异，所以在判别是否有规律运动时只需根据垂直方向的傅立叶变 换系数图来判决，有规律运动时垂直方向的傅立叶变换幅值系数图与图3类似，当垂直方 向的傅立叶变换的低频段幅值系数超过设定数值(如72)，则判断为垂直方向的有规律运 动；；其他状态均判断为小幅度运动。当判决不是垂直方向的有规律运动时，则判别是否为 静止，静止时，其傅立叶变换系数图的各个频段的幅值均较小，如图5所示。当垂直方向和 水平方向的傅立叶变换的低频段幅值系数都低于另一设定数值(如24)时，则判断为静止。 当不属于之前两种状态时，则直接判断为小幅度正常运动状态。在判决完成后，所得出的结果对应的状态计数器会自动加1，当三种状态对应的计 数器的数值加起来为15，则跳转到步骤三进行打盹行为判决，否则重复执行步骤二。步骤三的具体实施步骤为当三种状态对应的状态计数器的值加起来为15时，则进行一次打盹行为的判决。 当在这一时间段(进行15次傅立叶分析的时间)中，垂直方向上的有规律运动的状态次数 达到8次或以上时，则可以证明目前垂直方向上的有规律运动占主导，在正常情况下有规 律的头部运动不会在一个时间段中占主导的，所以据此可以判定为人目前正在打盹。
权利要求
一种基于快速傅立叶变换的打盹行为检测方法，其特征在于包括如下步骤(1)人脸检测定位采用Adaboost法针对动态图像序列，动态地改变搜索区域以及初始搜索矩形框，对人脸进行检测，然后求出人脸中心的坐标并记录该坐标；(2)头部运动特征提取在采集到设定数量的人脸中心坐标点之后，对该坐标点数据进行傅立叶变换，把时域信息转换到频域，并根据每次傅立叶变换得出的低频段的幅值系数进行分析，把头部行为分为静止，小幅度运动，垂直方向有规律运动三种状态；(3)打盹行为识别重复执行步骤(2)，并记录每次步骤(2)的结果及步骤(2)执行的次数，当执行次数达到设定的数量之后则进行打盹行为判别，在重复执行步骤(2)这一时间段中，若垂直方向有规律运动状态的次数超过设定值，则判别为打盹行为。
2.根据权利要求1所述的方法，其特征在于步骤(1)中，Adaboost法采用摄像头对 图像进行采集，得到动态序列图像，通过动态地改变搜索区域以及初始搜索矩形框，提升 Adaboost法的检测精确度和速度。
3.根据权利要求2所述的方法，其特征在于步骤(1)具体包括(3. 1)采用Adaboost法对人脸进行检测，当连续在设定次数内检测到人脸后，记录人 脸所在矩形区域，求出人脸中心的坐标并记录该坐标，转到步骤(3.2)；(3. 2)根据记录的人脸所在矩形区域，引入缩放因子，把人脸所在矩形区域根据缩放因 子进行缩小得出初始搜索矩形框，把人脸所在矩形区域根据缩放因子进行扩大得出终止搜 索矩形框，再采用Adaboost法在终止搜索矩形框区域内对人脸进行检测，当连续在设定次 数内检测不到人脸则转到步骤(3. 1)，否则重新记录人脸所在矩形区域，求出人脸中心的坐 标并记录该坐标，执行步骤(3. 2)。
4.根据权利要求3所述的方法，其特征在于所述初始搜索矩形框的计算公式如下<formula>formula see original document page 2</formula>公式中scale为所述的缩放因子，Width0为人脸所在矩形区域的宽度，height0为人脸 所在矩形区域的高度，Xtl为人脸所在矩形区域的左下角在检测图像中的水平方向的坐标，& 为人脸所在矩形区域的左下角在检测图像中的垂直方向的坐标，Width2为初始搜索矩形框 的宽度，height2为初始搜索矩形框的高度，X2为初始搜索矩形框的左下角在检测图像中的 水平方向的坐标，Y2为初始搜索矩形框的左下角在检测图像中的垂直方向的坐标； 所述终止搜索矩形框的计算公式如下<formula>formula see original document page 2</formula>公式中scale为所述缩放因子，Width0为人脸所在矩形区域的宽度，height0为人脸所 在矩形区域的高度，Xtl为人脸所在矩形区域的左下角在检测图像中的水平方向的坐标，Y0 为人脸所在矩形区域的左下角在检测图像中的垂直方向的坐标，Width1为终止搜索矩形框 的宽度，height!为终止搜索矩形框的高度，X1为终止搜索矩形框的左下角在检测图像中的水平方向的坐标，Y1为终止搜索矩形框的左下角在检测图像中的垂直方向的坐标。
5.根据权利要求1 4任一项所述的方法，其特征在于步骤(2)中所述根据每次傅立 叶变换得出的低频段的幅值系数进行分析是把头部的运动轨迹分为垂直方向以及水平方 向，根据两个方向的傅立叶变换的低频段幅值系数对头部运动状态进行判别，当垂直方向 的傅立叶变换的低频段幅值系数超过设定数值，则判断为垂直方向的有规律运动；当垂直 方向和水平方向的傅立叶变换的低频段幅值系数都低于另一设定数值时，则判断为静止； 其他状态均判断为小幅度运动。
全文摘要
本发明公开了一种基于快速傅立叶变换的打盹行为检测方法。其包括如下步骤对采集到的图像进行人脸检测，在检测到人脸之后采集人脸所在矩形区域的中心点坐标，当采集到的中心点坐标达到需要的数量后就采用快速傅立叶变换对该数据进行频谱分析，以此来寻找人在打盹时与正常运动时的频谱的差异。在频谱分析中，把人的头部行为分为静止，小幅度运动，有规律运动三种状态，在进行了一定次数的频谱分析之后，就对在这个时间段中的头部行为进行分析，找出在这时间段中占主导的状态，当垂直方向的有规律运动占主导，则可以判别人当前正在打盹。本发明采用了模式识别技术以及统计判决的方法对打盹行为进行检测，具有非接触，鲁棒性高，实时性好的特点。
文档编号G06T7/20GK101814136SQ20101011599
公开日2010年8月25日 申请日期2010年2月11日 优先权日2010年2月11日
发明者林建文, 秦华标 申请人:华南理工大学