专利名称：疲劳检测装置及方法
技术领域：
本申请涉及疲劳检测领域。
背景技术：
疲劳是指由于持续地进行体力和脑力劳动而造成的生理和心理的失调。 人在疲劳状态下，其反应就会变得迟钝，对身体的控制能力也会降低。例如，
驾驶员在疲劳状态下驾驶车辆，具有以下明显特征头脑不清醒，昏昏欲睡， 反应迟钝，不能准确判断和迅速处理各种异常情况；动作失调，手脚不听使 唤；烦躁不安，注意力不集中，判断误差较大。因此，进一步的研究将可进 一步判断人体的疲劳状况。
发明内容
疲劳^f全测方法的实施方式包括下列步骤 获取连续的多帧脸部红外图像； 定位所述脸部红外图像中的眼部位置； 基于所述眼部位置的红外图像，获得眼部运动特征数据； 根据所述眼部运动特征数据分析人体的疲劳程度。。 疲劳检测装置的实施方式包括 图像获取单元，获取脸部红外图像；
处理单元，定位所述脸部红外图像中的眼部位置；基于所述眼部位置的 红外图像，获得眼部运动特征数据；根据所述眼部运动特征数据分析人体的 疲劳程度。上述实施方式中，考虑到人体处于不同的疲劳状态时，眼部会相应呈现 不同的运动特征，因此釆用眼部运动特征it据来分析人体的疲劳程度。而眼 部运动时，眼部位置的温度会存在不同，而红外图像能够精确地反映出温度 的变化，因而基于红外图像获得眼部运动特征数据，并以此分析人体的疲劳 程度具有较好的准确度
发明内容
部分的描述仅仅是举例说明，不应该用于解释或限制权利要求 的范围。
图1是疲劳检测方法的实施例流程图； 图2是图1所示疲劳检测方法中定位眼部位置流程图； 图3是图2所示定位眼部位置流程中所用圓形模板； 图4是疲劳检测装置实施例图； 图5是图4所示疲劳检测装置中的处理单元实施例图； 图6是图4所示疲劳检测装置中的处理单元的另一实施例图； 图7是图5或图6所示处理单元中的定位单元的实施例图； 图8是图7所示定位单元中的^r测单元的实施例图。
具体实施例方式
参照图l所示，所述疲劳检测方法的实施方式包括步骤
步骤sl,获取连续的多帧脸部红外图像；
步骤s2，定位所述脸部红外图^^中的眼部位置；
步骤s3,基于所述眼部位置的红外图像，获得眼部运动特征数据；
步骤s4,根据所述眼部运动特征数据分析人体的疲劳程度。由于人体处于不同的疲劳状态时，眼部会相应呈现不同的运动特征，例 如眨眼的频率等，因此在上述实施方式中，可以采用眼部运动特征数据来分 析人体的疲劳程度。
为获得比较精确的眼部运动特征数据， 一种可能的方式是比对眼部位置 不同时间的多帧图像，从而得到眼部轮廓的变化。为此，可以提供脸部图像 并在其中定位出眼部位置。考虑到当眼睛张开或闭合时，眼部位置的温度会 存在不同，而红外图像能够精确地反映出温度的变化，因此为获得脸部的温 度分布情况，上述实施方式中采用脸部红外图像作为后续处理的数据基础。
在一个实施过程中，可以通过CCD红外相才几、红外4聂像机来获取脸部红
处理，从而获得较准确的眼部位置。
获得眼部运动特征数据的具体过程中，可以是对红外图像中眼部位置的 相关参数进行处理，以将其转换为眼部运动特征数据。
根据所述眼部运动特征数据分析人体的疲劳程度的具体过程中，可以将 眼部运动特征数据与预先得到的标准值进行比较，以确定人体的疲劳程度。
在一个实施例中，所述脸部红外图《象可以通过CCD红外相才几来获取。当 获得脸部红外图像之后，对所述红外图像进行处理以准确定位眼部位置。参 照图2所示，定位眼部位置的过程包括步骤
步骤s20, 4会测眼部轮廓；
步骤s21，根据所述眼部轮廓计算两眼中心的冲黄坐标；计算眼睛的纵坐标；
步骤s22,才艮据所述^f黄坐标和纵坐标，定位双眼近似位置；
步骤s23,在双眼近似位置内进行眼球定位，获得双眼精确位置。
由于考虑到所述脸部红外图像中有背景的存在，要检测眼部必须先检测出脸部，上述实施例中，通过边缘检测方法检测出所述脸部红外图像中存在 的边缘，以确定眼部轮廓。
例如，当眼睛闭合时，整张脸部的温度几乎维持在相同的水平，而当眼 睛张开时，除眼部以外的脸部其他部位仍然维持在相同的水平。则当眼睛张 开时，所述红外图像中将出现图像边缘。通过比较多帧脸部红外图像中的图 像边缘，可以确定眼部4仑廓。
当获得眼部轮廓后，考虑到脸部图像基本上是对称的，通过寻找眼部轮 廓范围内图像的几何中心，就可以粗略近似为两眼中心的平均横坐标。计算 眼睛在脸部图像中的纵坐标时，可以根据脸部图像中眼睛与头顶、鼻子、嘴 巴、下颌及脸部其它区域之间的区别来进行。
定位双眼近似位置的过程中，可以基于上述一黄坐标和纵坐标，选取能完 全涵盖眼部的适当区域，在所述区域中确定瞳孔位置，即双眼近似位置。
基于上述的双眼近似位置，可以寻找眼球中心位置和瞳孔水平直径，从 而获得双眼精确位置。
在一个实施例中，对每一帧红外图像都实施上述定位眼睛位置的过程， 获得每一帧红外图像中眼睛的精确位置，从而可以实现眼球的实时追踪，通 过眼球追踪来获得眼部运动特征数据。
当获得眼部运动特征数据后，就能够参考人体的不同疲劳程度相应的标 准值，对人体当前是否疲劳以及疲劳的程度作出判断。所述标准值可以通过 多种方式预先获得，例如采集不同脸型、不同姿态或不同环境下人体疲劳时 的眼部运动特征数据，并进行统计处理来预先取得。
上述实施例中，精确定位眼部位置，并在此基础上获得较为精确的眼部 运动特征数据，有益于提高检测结果的精确性。
上述实施例中，通过眼部运动特征数据来检测疲劳程度。但是，不应对此进行过多的限制。例如，在其他的实施例中，可以综合使用眼部运动特征 数据和眼部周围温度变化来检测疲劳程度，或者综合使用眼部运动特征数据 和眼部位置的红外图像的强度值来检测疲劳程度，或者综合使用眼部运动特 征数据和眼部周围温度变化、眼部位置的红外图像的强度值来检测疲劳程度。
由于眼部周围温度变化、眼部红外图像的强度值会随疲劳程度产生变化， 因而综合眼部周围温度变化、眼部红外图像的强度值和眼部运动特征数据来 检测疲劳，将使得检测结果更加精确。
在获得较为精确的眼部位置的基础上，对于眼部周围温度变化、眼部红 外图像的强度值的测量也比较准确，有助于进一步提高检测结果的精确性。
在一个具体的实施例中，釆用如下方式检测眼部轮廓。 首先，可釆取例如下述公式检测脸部红外图像的图像边缘。
<formula>formula see original document page 11</formula>
其中，f为所述脸部红外图像上各像素点的红外强度值。i、 j分别表示图
像上各像素点对应x方向和y方向的编号，由于此时还不知道图像边缘到底 是处于x方向还是y方向上，通过对i、 j的选取来获得图像上不同像素点的 强度值，以获得准确的结果。
接着，对所获得的Sij进行二值化处理，二值化处理的目的是为突出图像 边缘。
经过公式(1 )的微分处理之后，非边缘的地方值较小，而边缘的地方值较大，则非边缘区都可以近似为0,边缘区可以近似为1，所述二值化处理可
采取例如下述公式
0U — (2)
其中，t为二值门限制，t的取值一般来说可取脸部红外图像上的红外强
度值的中值，例如脸部红外图像的红外强度值一般为0-255,则t可以取128。 当所获得的Sij的值大于128时，则令Sij为1;而若所获得的Sij的值小于或等 于128时，则令Sij为0。
当Sg为1时，代表该帧图像具有图像边缘，而Sy为0时，代表该帧图像 无图像边缘。
因此，当分别对于前后两帧红外图像上x方向和y方向上的强度值进行 微分，获得前后两帧红外图像的Sij后，如果前后两帧图像的Sij发生变化，则 说明眼部轮廓发生变化，后 一帧红外图像与前一帧红外图像的比较结果就是 眼部的大致轮廓。
也就是说，可以根据二值化处理的结果，通过影差法来获得眼部的大致 轮廓。所述影差法可采用例如下述公式
《二n
(3)
其中Pi代表获得的每一帧脸部红外图像。
当获得眼部轮廓后，根据所获得的眼部轮廓求其几何中心，令几何中心
坐标为Ci(Cr Cy),几何中心的计算可以采用例如下述公式
X,
<^=千 (4)C,千 (4')
丄
其中，L为所述眼部轮廓范围内红外图像上的像素点的总数，Xi、力为所 述像素点在所述红外图像上的坐标。而两眼中心的平均横坐标Xappro就是Cx。
接下来，计算眼睛的纵坐标，可以通过垂直积分投影寻找所述脸部红外 图像上的极大值，从上至下的极大值分别对应的是头顶、眼睛、鼻子、嘴、 下颌等。由于眼睛在鼻子、眼睛、嘴、下颌等的上方，而在头顶的下方，因 此可以排序前5个极大值，其中排序为第二的极大值可以粗略估计眼睛的纵 坐标。 一种具体过程详述如下
建立一个适当的窗口 ，所述窗口的宽度一般不小于所述红外图像的脸部 宽度，高度不小于y方向上下两个像素点间的距离，其中所述脸部宽度可以 根据眼部轮廓大致确定；
使所述窗口沿脸部图像的中轴(参考双眼中心的横坐标)，沿y方向从上 至下滑动；
计算落入窗口内的像素点数目N (Y),得到垂直积分投影曲线；
求出投影曲线的前5个最大的极大值，并按像素点获得的先后依次标记 为Y0、 Yl、 Y2、 Y3、 Y4,眼睛所在的位置纵坐标Yappro满足
appro
V J 乂
在获得了两眼中心的平均横坐标X，r。以及眼睛的纵坐标Y，r。之后，可 以开始定位双眼的近似位置。由于眼3求的形状可以大致定义为椭圆形，因此 本实施例例中先计算双眼瞳孔中心的大致位置，以使得之后定位双眼的位置 更准确。 一种具体实现过程举例如下
根据所获得的两眼中心的平均横坐标Xap,以及眼睛的纵坐标Yappr。，取适当的区i或，例长口 ( Y柳r。 一 6 x size, X叩pr。 — 2 x size )到(Yappr。 + 6 x size， Xappro - 2 x size )。所述区域要能完全包含人的双眼，size—般可以取例如两眼 间距的1/2,所述两眼间距可通过例如下述方法获得对所述两眼中心的平均 横坐标X，r。分别取沿x正方向和负方向的微分，该两个方向微分所得的极值 间的距离就是两眼间距。
在所述区域中进行局部的平均化处理，所述平均化处理是指对所述区域 中的像素点的灰度(也就是前述的红外强度值)进行如下处理得到与自身 像素点距离最近的多个点(例如4个点)和自身的灰度的平均值作为自身的 灰度值。
然后对所述区域进行二值化处理，得到二值化图。而二值化处理时的二 值门限值可采用例如下述方法获得计算所述区域内所有像素点的灰度平均 值作为二值门限值。而所述二值化图即将所述区域内的像素点的灰度在经过 二值化处理后，统一以0或1来标记后获得的灰度分布图，所述二值化图类 似于图3所示的圓形模板图。
在获得二值化图之后，利用例如图3所示的7x7圓形模板在所述区域扫 描，所述扫描即指将所述区域内7x7大小的区块依次与所述圓形模板进行比 对，看是否有区块与圓形模板吻合。由于眼睛瞳孔具有单一灰度级，所述单 一灰度级是指在一块区域内灰度值不变。而在本实施例中则指某一 区域内全 是l或全是O,圆形模板的作用就是找出所述单一灰度级的区域。本实施例中 的圓形模板为经验值取法，并非限定，完全可以根据实际要求而定。
而圓形模板通过左右对称的寻找所获得的最大单一灰度级区域就是瞳孔 区域，其中心点为瞳孔位置，从而得到左右眼睛近似位置(Lx， Ly)和(Rx， Ry)。
在获得了左右眼睛近似位置之后，就可以通过计算来得到眼球的精确位置了，即计算眼球的椭圆轮廓的精确位置。可以采用例如霍夫(Hough)变换
的方法来实现眼球定位，以计算左眼球的精确位置为例， 一种具体实现过程
详述如下
在左眼睛的近似位置(Lx， Ly)邻域进行边缘增强变换以突出边缘，方便 眼球定位，所述边缘增强变换的过程中可以采用类似公式(1)的公式。
接下来求取瞳孔的圓心角6,可以通过例如下述公式来获得
{圳 (6)
V 乂
其中，dxij和dyij分别通过公式(r)和(r')获得。
然后，进行霍夫变换来寻找圓心位置，即对于之前所获得的瞳孔区域内
的任意一点(x, y)，经过该点且半径为R的所有圆的圓心坐标(a, b)应满 足以下2式
x = a + i cos61 _y = 6 + i cos夕
所述圓心即眼球中心位置，而半径R为瞳孔水平直径。由于三维空间的 霍夫变换计算量较小，从而避免了大量不必要的计算，并且能够得到眼睛的 精确位置。
当获得每一帧红外图像上眼睛的精确位置后，可以实现眼球的实时追踪， 从而获得眼部运动特征数据。例如，当以眨眼频率为眼部运动特征时，对于 每一帧红外图像，根据所获得的眼睛的精确位置寻找上下眼睑边缘(即眼部 上下轮廓)，以此求取瞳孔的垂直高度，计算当前瞳孔垂直高度与眼睛完全睁 开时瞳孔的垂直高度的比值。以眨眼时的比值作为阈值，则对于每一帧红外 图像，通过将所述比值与所述阈值进行比较，就能获知当前时刻是否眨眼。 而在例如一段时间内(如1分钟内)对所获得的各帧红外图像中眨眼的数目进行统计，就能够获得眨眼频率。所述阈值可以通过例如下述方法获得获 取眨眼时的红外图像，然后计算此时瞳孔垂直高度与眼睛完全峥开时瞳孔的 垂直高度的比值，重复多次，最后求得一个平均值作为阈值。
参考图4，疲劳检测装置的实施方式包括图像获取单元10、处理单元11 和输出单元12,所述处理单元11耦合图^f象获取单元IO和输出单元12。
其中，图像获取单元IO,获取脸部红外图像。
在具体实现时，所述图像获取单元IO可以是红外热成像器件，例如CCD 红外相机、红外摄像机等，也可以是可以从外部器件接收脸部红外图像的微 处理器。
处理单元11,定位所述脸部红外图像中的眼部位置；基于所述眼部位置 的红外图像，获得眼部运动特征数据；根据所述眼部运动特征数据分析人体 的疲劳程度。
在具体实现时，处理单元11可以是具有数据处理能力的各类电子设备， 例如计算机、服务器、单片机或者微控制器等。
输出单元12，输出所述处理单元ll得到的疲劳程度。
在具体实现时，输出单元12可以通过声音、文字、图像等多种形式实现 疲劳状态结果的输出，以适合不同的场合和需求。
参考图5，在一个实施例中，处理单元包括
定位单元20,在所述脸部红外图像中定位眼部位置；
追踪单元30,根据所定位的眼部位置，在所述红外图像中追踪眼球来获 得眼部运动特征数据；
疲劳分析单元60,根据眼部运动特征数据分析人体的疲劳程度。
参考图6，在另一个实施例中，处理单元包括定位单元20,在所述脸部红外图像中定位眼部位置；
追踪单元30，根据所定位的眼部位置，在所述红外图像中追踪眼球来获 得眼部运动特征数据；
温度探测单元40，根据所定位的眼部位置，获取所述脸部红外图像的眼 部周围的温度变化；
强度探测单元50,根据所定位的目艮部位置，获取所述脸部红外图像的眼 部周围的强度值；
疲劳分析单元60,根据眼部运动特征数据、眼部周围温度变化和眼部红 外图像的强度值分析人体的疲劳程度。
参考图7，在一个实施例中，定位单元包括
检测单元201 ，检测眼部轮廓；
坐标计算单元202，根据所述眼部轮廓计算两眼中心的横坐标；计算眼睛 的纵坐标；
近似位置定位单元203,根据所述横坐标和纵坐标，定位双眼近似位置；
精确位置定位单元204，在双眼近似位置内进行眼球定位，获得双眼精确 位置。
参照图8所示，在一个实施例中，检测单元包括 检测图像边缘单元205 ，检测红外脸部图像的图像边缘； 二值化处理单元206,通过二值化处理突出图像边缘； 影差法处理单元207,根据二值化处理的结果，通过影差法来获得眼部轮廓。此外，显然，根据上述方法实施例的各个操作过程也可以以存储在各种 机器可读的存储介质中的计算机可执行程序的方式实现。
而且，疲劳检测方法也可以通过下述方式实现将存储有上述可执行程
序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中
的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时，只要该系统或者设备具有执行程序的功能，则实施方式不局限于 程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程 序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于各种存储器和存储单元，半 导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，客户计算机通过连接到因特网上的相应网站，并且将计算机程序 代码下载和安装到计算机中然后执行该程序，也可以实现疲劳4企测方法。
权利要求
1.一种疲劳检测方法，包括获取连续的多帧脸部红外图像；定位所述脸部红外图像中的眼部位置；基于所述眼部位置的红外图像，获得眼部运动特征数据；根据所述眼部运动特征数据分析人体的疲劳程度。
2. 如权利要求1所述的疲劳检测方法，其中，所述定位所述脸部红外图像中的眼部位置包括下列步骤检测眼部4仑廓；才艮据所述眼部轮廓计算两眼中心的横坐标；计算眼睛的纵坐标；才艮据所述一黄坐标和纵坐标，定位双眼近似位置；在双眼近似位置内进行眼球定位，获得双眼精确位置。
3. 如权利要求2所述的疲劳检测方法，其中，所述检测眼部轮廓包括下列步骤检测红外脸部图像的图像边缘；通过二值化处理突出图像边缘；根据二值化处理的结果，通过影差法来获得眼部轮廓。
4. 如权利要求3所述的疲劳检测方法，其中，所述检测红外脸部图像的图像边缘采用下述公式*y = [Aw + 2/+u + "+i j_ l/wj—i + 2/'—u + ,，],其中f为所述红外脸部图像上各像素点的红外强度值，i、 j分别表示所述脸部红外图^f象上各点对应x方向和y方向的编号。
5. 如权利要求3所述的疲劳检测方法，其中，所述二值化处理采用下述公式入V — to&.,;."，其中t为二值门卩艮值。
6. 如权利要求5所述的疲劳检测方法，其中，所述t值为所述脸部红外图像上的强度值的中值。
7. 如权利要求3所述的疲劳检测方法，其中，所述影差法采用下述公式S = A — iVi,其中Pi代表获得的每一帧脸部红外图像。
8. 如权利要求2所述的疲劳检测方法，其中，所述两眼中心的横坐标通过求取脸部图像的几何中心获得，所述几何中心通过下述公式获得<formula>formula see original document page 3</formula>Cy=^~,其中L为所述眼部轮廓范围内红外图像上的像素点的总数，. 丄Xi、 yi为所述像素点在所述红外图像上的坐标。而两眼中心的平均横坐标就是Cx。
9. 如权利要求2所述的疲劳检测方法，其中，所述眼睛的纵坐标通过下述方法获得寻找所述脸部红外图像的极大值，并找寻其中排序为第二的极大值作为眼睛的纵坐标。
10. 如权利要求2所述的疲劳检测方法，其中，所述根据所述横坐标和纵坐标，定位双眼近似位置包括根据所获得的两眼中心的平均横坐标以及眼睛的纵坐标，取瞳孔区域；在所述瞳孔区域内进行像素点灰度的平均化处理；对所述瞳孔区域像素点的灰度进行二值化处理；利用圓形模板扫描所述区域，获得最大单一灰度级区域。
11. 如权利要求2所述的疲劳检测方法，其中，在双眼近似位置内进行眼球定位，获得双眼精确位置包括在双眼近似位置邻域进行边缘增强变换以增强图像边缘；利用霍夫变化获得眼球中心位置及瞳孔水平直径。
12. 如权利要求11所述的疲劳检测方法，其中，所述边缘增强变换采用下述公式,川.血y = !/mj一) + ， + ! J — |/—+/+1 +办"=LZm,.,一i +2/+1j十/'+i,川J-L/m,广'+2,-U +其中f为所述红外脸部图像上各像素点的红外强度值，i、 j分别表示所述双眼近似位置邻域内各点对应x方向和y方向的编号。
13.如权利要求11所述的疲劳检测方法，其中，所述霍夫变换采用下述公式x = a + i cos61少=6 + i cos61 ，办'j其中e通过下述公式获得为瞳孔水平直径。
14.一种疲劳检测装置，包括血,,(a， b)为眼球中心坐标，R图像获取单元，获取脸部红外图像；处理单元，定位所述脸部红外图像中的眼部位置；基于所述眼部位置的红外图像，获得眼部运动特征数据；根据所述眼部运动特征数据分析人体的疲劳程度。
15. 如权利要求14所述的疲劳检测装置，其中，所述图像获取单元包括CCD红外相机、红外摄像机或能够从外部设备接收脸部红外图像的器件。
16. 如权利要求14所述的疲劳检测装置，其中，所述处理单元包括定位单元，在所述脸部红外图像中定位眼部位置；追S全並斧,-扭i虽断玄"站服4K^"罟.在析;术全工々卜闳後^;自3会fi良5炎夫兹-冥眼部运动特征数据；疲劳分析单元，根据眼部运动特征数据分析人体的疲劳程度。
17. 如权利要求16所述的疲劳检测装置，其中，所述定位单元包括检测单元，检测眼部轮廓；坐标计算单元，根据所述眼部轮廓计算两眼中心的横坐标；计算眼睛的纵坐标；近似位置定位单元， 一艮据所述^f黄坐标和纵坐标，定位双眼近似位置；精确位置定位单元，在双眼近似位置内进行眼球定位，获得双眼精确位置。
18. 如权利要求17所述的疲劳检测装置，其中，所述检测单元包括检测图像边缘单元，检测红外脸部图像的图像边缘；二值化处理单元，通过二值化处理突出图像边缘；影差法处理单元，根据二值化处理的结果，通过影差法来获得眼部轮廓。
19. 如权利要求14所述的疲劳检测装置，其中，所述处理单元包括定位单元，在所述脸部红外图像中定位眼部位置；追踪单元，根据所定位的眼部位置，在所述红外图像中追踪眼球来获得眼部运动特征数据；温度探测单元，根据所定位的眼部位置，获取所述脸部红外图像的眼部周围的温度变化；强度探测单元，根据所定位的眼部位置，获取所述脸部红外图像的眼部周围的强度值；疲劳分析单元，根据眼部运动特征数据、眼部周围温度变化和眼部红外图像的强度值分析人体的疲劳程度。
20. 如权利要求19所述的疲劳检测装置，其中，所述定位单元包括4企测单元，检测眼部轮廓；坐标计算单元，根据所述眼部轮廓计算两眼中心的横坐标；计算眼睛的纵坐标；近似位置定位单元，根据所述横坐标和纵坐标，定位双眼近似位置；精确位置定位单元，在双眼近似位置内进行眼球定位，获得双眼精确位置。
21. 如权利要求20所述的疲劳检测装置，其特征在于，所述检测单元包括检测图像边缘单元，检测红外脸部图像的图像边缘；二值化处理单元，通过二值化处理突出图像边缘；影差法处理单元，根据二值化处理的结果，通过影差法来获得眼部轮廓。
全文摘要
一种疲劳检测方法及装置。所述疲劳检测方法包括获取连续的多帧脸部红外图像；定位所述脸部红外图像中的眼部位置；基于所述眼部位置的红外图像，获得眼部运动特征数据；根据所述眼部运动特征数据分析人体的疲劳程度。所述疲劳检测方法及装置能够获得较为准确的疲劳检测结果。
文档编号A61B5/16GK101642376SQ20081004137
公开日2010年2月10日 申请日期2008年8月4日 优先权日2008年8月4日
发明者何爱军, 宁新宝, 颖 陈 申请人:南京大学