一种基于眼动数据的疲劳检测方法和装置的制造方法
【专利摘要】本发明公开了一种基于眼动数据的疲劳检测方法和装置。该方法通过与待测人进行UI交互测试待测人反应的敏捷度，在测试的同时通过眼动仪采集眼动基本数据计算出眼动疲劳特征数据，最后再由反应的敏捷度和眼动疲劳特征数据结合采用机器学习算法判断出待测人是否处于疲劳状态。其中，与待测人进行UI交互测试待测人反应的敏捷度的过程由字符搜索测试和阅读理解测试组成。经测试，本发明的检测准确率达到了95.2%，相比于之前的疲劳检测法，具有极高的准确性、实用性、简便性、易学性等优点。
【专利说明】
一种基于眼动数据的疲劳检测方法和装置
技术领域
[0001] 本发明涉及眼动数据分析以及在疲劳检测上的应用。
【背景技术】
[0002] -系列研究表明，与传统的信息浏览及阅读方式不同，使用电子屏幕更容易让用 户产生疲劳感，疲劳度的增加会导致工作效率低下、视力降低甚至更为严重的身体损害，然 而很多用户在生活工作中却并未意识到这一点。因此如何以一种快捷、简便的方式，准确有 效的判断用户的疲劳状态，是目前亟待解决的一个问题。
[0003] 此前已有多项研究提及到了视觉疲劳检测，但是如何得到一个准确而又客观的结 果，多数方法设计并未完美解决此问题。卡内基梅隆研究所经过反复实验和论证，提出了度 量疲劳/瞌睡的物理量PERCLOS(Percentage of Eyelid Closure over the Pupil)。他们 认为，在单位时间内当眼睛闭合所占的时间达到一定比例，则判定产生了视觉疲劳。在 Singh的工作中，认为当眼睛闭合时间大于0.5S时，则很可能产生了疲劳状态。由于此处用 于检测的特征过于单一，因而容易造成误判断。Benedetto等在衡定视觉疲劳时，结合闪光 刺激与眨眼频率进行了分析，但是一方面闪光刺激可能会影响到眼动数据，另一方面影响 眨眼频率的因素很多，疲劳感仅仅是众多因素之一。Di和Mccamy采用了数据分析和问卷调 查结合的方法，以三个小时为一阶段，测算出用户在多个阶段的阅读和扫视速率，并认为当 眼睛处于疲劳状态时，速率结果会大幅降低。然而该方法耗时过长，用户体验极不友好。
【发明内容】
[0004] 本发明所要解决的问题是针对目前现有的疲劳检测法过于主观化，没有定量数据 进行衡定的现象，设计一种检测是否疲劳的方法和装置，该方法和装置能够利用眼动仪对 用户的双眼进行检测，以最为自然、简单的"文本搜索"和"阅读"方式来收集眼动数据，然后 根据这些眼动数据判断是否疲劳。
[0005] 为解决上述问题，本发明采用的方案如下：
[0006] 根据本发明的一种基于眼动数据的疲劳检测方法，包括以下步骤：
[0007] Sl:通过与待测人进行字符搜索任务的UI交互，获得搜索效率数据；
[0008] S2:在执行步骤Sl的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的 时间数据，然后根据眼动基本数据和时间数据计算出搜索眼动疲劳特征数据；
[0009] S3:通过与待测人进行阅读理解任务的UI交互，获得阅读效率数据；
[0010] S4:在执行步骤S3的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的 时间数据，然后根据眼动基本数据和时间数据计算出阅读眼动疲劳特征数据；
[0011] S5:对所述的搜索效率数据、阅读效率数据、搜索眼动疲劳特征数据和阅读眼动疲 劳特征数据采用机器学习算法分析判断待测人是否处于疲劳状态；
[0012] 所述搜索眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数；
[0013] 所述阅读眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数；
[0014] 所述瞳孔直径比为测试时的瞳孔直径和初始的瞳孔直径的比值；
[0015] 所述眨眼频率为平均眨眼的时间间隔；
[0016] 所述兴趣域个数通过统计眼球扫视速度小于特定阈值的个数得到。
[0017] 进一步，根据本发明的基于眼动数据的疲劳检测方法，所述搜索效率数据包括字 符搜索成功率和字符搜索错误率;所述步骤Sl包括：
[0018] Sl 1:从字符搜索文本库中随机抽取搜索文本；
[0019] S12:在屏幕中显示所述的搜索文本供待测人搜索，显示时，从所述的搜索文本中 随机选取5~50个字符，对所选取的字符以区别于正文的样式显示，并对这些以区别于正文 的样式显示的字符构建特殊字符的采样区；
[0020] S13:获取待测人操作的屏幕点击消息，并根据屏幕点击消息是否落入特殊字符的 采样区判断是否为特殊字符点击消息；
[0021 ] S14:根据屏幕点击消息和特殊字符点击消息，统计字符搜索成功率和字符搜索错 误率。
[0022]进一步，根据本发明的基于眼动数据的疲劳检测方法，所述阅读效率数据包括阅 读速率;所述步骤S3包括：
[0023] S31:从阅读理解文本库中随机选取阅读文本和相应的阅读理解题集；
[0024] S32:在屏幕中显示所述的阅读文本和阅读理解题集供待测人阅读和解答阅读理 解题集；
[0025] S33:当所有阅读理解题集被答复正确时，记录步骤S32的阅读理解耗时；
[0026] S34:根据所述的阅读文本的总字数和阅读理解耗时，计算阅读速率。
[0027] 进一步，根据本发明的基于眼动数据的疲劳检测方法，所述阅读眼动疲劳特征数 据还包括回读行数;所述回读行数通过统计眼球扫视速率大于特定阈值，且眼球扫视的起 点和终点的距离大于特定阈值，且终点的横坐标小于起点的横坐标的个数得到。
[0028] 如权利要求1所述的基于眼动数据的疲劳检测方法，其特征在于，所述阅读眼动疲 劳特征数据还包括凝视总时间占比;所述凝视总时间占比为凝视总时间与阅读总时间的占 比；所述凝视总时间通过统计眼球静止状态的总时间获得。
[0029] 根据本发明的一种基于眼动数据的疲劳检测装置，包括以下模块：
[0030] Ml用于:通过与待测人进行字符搜索任务的UI交互，获得搜索效率数据；
[0031] M2用于:在执行模块Ml的同时，通过眼动仪采集待测人的眼动基本数据，并采集相 应的时间数据，然后根据眼动基本数据和时间数据计算出搜索眼动疲劳特征数据；
[0032] M3用于:通过与待测人进行阅读理解任务的UI交互，获得阅读效率数据；
[0033] M4用于:在执行模块M3的同时，通过眼动仪采集待测人的眼动基本数据，并采集相 应的时间数据，然后根据眼动基本数据和时间数据计算出阅读眼动疲劳特征数据；
[0034] M5用于:对所述的搜索效率数据、阅读效率数据、搜索眼动疲劳特征数据和阅读眼 动疲劳特征数据采用机器学习算法分析判断待测人是否处于疲劳状态；
[0035] 所述搜索眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数；
[0036] 所述阅读眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数；
[0037] 所述瞳孔直径比为测试时的瞳孔直径和初始的瞳孔直径的比值；
[0038] 所述眨眼频率为平均眨眼的时间间隔；
[0039] 所述兴趣域个数通过统计眼球扫视速度小于特定阈值的个数得到。
[0040] 进一步，根据本发明的基于眼动数据的疲劳检测装置，所述搜索效率数据包括字 符搜索成功率和字符搜索错误率;所述模块Ml包括：
[0041 ] Ml 1用于:从字符搜索文本库中随机抽取搜索文本；
[0042] M12用于:在屏幕中显示所述的搜索文本供待测人搜索，显示时，从所述的搜索文 本中随机选取5~50个字符，对所选取的字符以区别于正文的样式显示，并对这些以区别于 正文的样式显示的字符构建特殊字符的采样区；
[0043] M13用于:获取待测人操作的屏幕点击消息，并根据屏幕点击消息是否落入特殊字 符的采样区判断是否为特殊字符点击消息；
[0044] M14用于:根据屏幕点击消息和特殊字符点击消息，统计字符搜索成功率和字符搜 索错误率。
[0045] 进一步，根据本发明的基于眼动数据的疲劳检测装置，所述阅读效率数据包括阅 读速率;所述模块M3包括：
[0046] M31用于:从阅读理解文本库中随机选取阅读文本和相应的阅读理解题集；
[0047] M32用于:在屏幕中显示所述的阅读文本和阅读理解题集供待测人阅读和解答阅 读理解题集；
[0048] M33用于：当所有阅读理解题集被答复正确时，记录模块M32的阅读理解耗时；
[0049] M34用于:根据所述的阅读文本的总字数和阅读理解耗时，计算阅读速率。
[0050] 进一步，根据本发明的基于眼动数据的疲劳检测装置，所述阅读眼动疲劳特征数 据还包括回读行数;所述回读行数通过统计眼球扫视速率大于特定阈值，且眼球扫视的起 点和终点的距离大于特定阈值，且终点的横坐标小于起点的横坐标的个数得到。
[0051] 进一步，根据本发明的基于眼动数据的疲劳检测装置，所述阅读眼动疲劳特征数 据还包括凝视总时间占比；所述凝视总时间占比为凝视总时间与阅读总时间的占比；所述 凝视总时间通过统计眼球静止状态的总时间获得。
[0052]本发明的技术效果如下：本发明采取全自动方式收集数据，可以同时对用户当前 的疲劳状态、工作效率进行评估，装置使用流程仅需用户一人即可完成所有操作，经测试， 本发明的检测准确率达到了 95.2%，相比于之前的疲劳检测法，具有极高的准确性、实用 性、简便性、易学性等优点。
【具体实施方式】
[0053]下面对本发明做进一步详细说明。
[0054] 本实施例涉及一种疲劳检测机器，该机器包括:眼动仪、显示器、主机和输入设备。 其中眼动仪用于采集眼动基本数据。显示器和输入设备用于待测人与主机进行UI交互。输 入设备可以是键盘或鼠标，当然假如显示器为触摸屏的话，那么输入设备也可以为该显示 器。主机用于运行程序，通过程序的运行实现:通过显示器和输入设备实现和待测人的UI交 互测试待测人反应的敏捷度，并在测试待测人反应的敏捷度的同时获取眼动仪采集的眼动 基本数据，然后对反应的敏捷度和眼动基本数据进行分析判断出当前待测人是否处于疲劳 状态。上述主机程序所实现的上述过程即为本发明的基于眼动数据的疲劳检测方法。本实 施例中，基于眼动数据的疲劳检测方法包括以下步骤：
[0055] SI:通过与待测人进行字符搜索任务的UI交互，获得搜索效率数据；
[0056] S2:在执行步骤Sl的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的 时间数据，然后根据眼动基本数据和时间数据计算出搜索眼动疲劳特征数据；
[0057] S3:通过与待测人进行阅读理解任务的UI交互，获得阅读效率数据；
[0058] S4:在执行步骤S3的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的 时间数据，然后根据眼动基本数据和时间数据计算出阅读眼动疲劳特征数据；
[0059] S5:对所述的搜索效率数据、阅读效率数据、搜索眼动疲劳特征数据和阅读眼动疲 劳特征数据采用机器学习算法分析判断待测人是否处于疲劳状态。
[0060] 上述步骤中，步骤Sl和S3是两个通过UI交互测试待测人反应的敏捷度的步骤。步 骤S2和S4是分别与步骤Sl和S3同步执行的步骤。因此，步骤S2和Sl实际上可以合为一个，简 称为字符搜索测试;步骤S4和S3也可以合为一个，简称为阅读理解测试。因此整个上述过程 可以理解为:首先字符搜索测试，然后阅读理解测试，最后分析判断。最后的分析判断过程 即为步骤S5。需要指出的是，字符搜索测试和阅读理解测试是两个不分先后的过程，也可以 首先进行阅读理解测试，然后字符搜索测试，最后再分析判断。
[0061] 步骤Sl和S3得到的搜索效率数据和阅读效率数据用以反应待测人的反应敏捷度。 本实施例中，搜索效率数据包括两个指标值:字符搜索成功率和字符搜索错误率。本实施例 的步骤Sl的具体实现采用如下的3101、3102、311、312、313和314步骤。
[0062] S101:通过屏幕显示字符搜索测试任务的说明，并等待接收待测人的开始测试指 令。
[0063] S102:接收到待测人的开始测试指令后，执行步骤S11、S12、S13和S14步骤。
[0064] Sll:从字符搜索文本库中随机抽取搜索文本。字符搜索文本库预先存储有很多篇 文章。搜索文本是供待测人阅读搜索的文章。字符搜索文本库中的文章数量一般不少于 100。文章的语言也是预先设定，比如针对以汉语为母语的待测人时，文章的语言为中文;针 对以英文为母语的待测人时，文章的语言为英文。当然也可以在字符搜索文本库中预先存 储多种语言的文章，然后在随机抽取搜索文本时，可以依据操作系统的语言环境选择与操 作系统的语言类型一致的文章作为搜索文本。字符搜索文本库中的各篇文章的字数相互比 较接近，最大相差也不超过百分之十。
[0065] S12:在屏幕中显示所述的搜索文本供待测人搜索，显示时，从所述的搜索文本中 随机选取5~50个字符，对所选取的字符以区别于正文的样式显示，并对这些以区别于正文 的样式显示的字符构建特殊字符的采样区。随机选取的5~50个字符称为特殊字符。也就 是，显示时，搜索文本中除特殊字符之外的字符采用一种文字样式显示，而对于特殊字符采 用另外一种文字样式显示。比如，除特殊字符之外的字符所采用的文字样式采用小四号的 宋体;而特殊字符有50个字符，该50个字符中，10个字符采用小四号的楷体，10个字符采用 小四号的宋体的斜体字，10个字符采用五号的宋体，10个字符采用四号的宋体，10个字符采 用四号粗体的宋体字。步骤S12之后是等待待测人屏幕操作事件消息。
[0066] S13:获取待测人操作的屏幕点击消息，并根据屏幕点击消息是否落入特殊字符的 采样区判断是否为特殊字符点击消息。具体来说，判断鼠标电机或屏幕触摸点击是否点击 在特殊字符上。这里的特殊字符的采样区由步骤S12生成。
[0067] S14:根据屏幕点击消息和特殊字符点击消息，统计字符搜索成功率和字符搜索错 误率。字符搜索成功率采用公式1?。=1/队计算得到。字符搜索错误率采用公式1=心瓜计 算得到。其中其和心分别表示了待测人搜索到的正确与错误结果个数，Ns表示阅读材料内 特殊字出现的总个数。
[0068]本实施例中，阅读效率数据为阅读速率。本实施例的步骤S3的具体实现采用如下 的 5301、5302、531、532、533和534步骤。
[0069] S301:通过屏幕显示阅读理解测试任务的说明，并等待接收待测人的开始测试指 令。
[0070] S302:接收到待测人的开始测试指令后，执行步骤S31、S32、S33和S34步骤。
[0071] S31:从阅读理解文本库中随机选取阅读文本和相应的阅读理解题集。阅读理解文 本库与前述的字符搜索文本库类同，所不同是，阅读理解文本库中还存储有每篇文章所对 应的阅读理解题集。阅读理解文本库中各篇文章所对应的阅读理解题集的阅读理解题数目 相同。阅读理解题数目一般为8~20个。阅读理解题的形式一般为选择题。
[0072] S32:在屏幕中显示所述的阅读文本和阅读理解题集供待测人阅读和解答阅读理 解题集。然后等待待测人阅读和解答阅读理解题集。每当待测人解答一个阅读理解题时，即 可判断待测人解答是否正确。
[0073] S33:当所有阅读理解题集被答复正确时，记录步骤S32的阅读理解耗时。需要说明 的是，本实施例中，阅读文本和阅读理解题集都是经过特别选择和设计，各个阅读理解题的 答案均能在阅读文本中找到答案。因此，一般智商正常的人不会无法答复。
[0074] S34:根据所述的阅读文本的总字数和阅读理解耗时，计算阅读速率。阅读速率为 阅读文本的总字数与阅读理解耗时的比值。
[0075] 步骤S2和S4得到的搜索眼动疲劳特征数据和阅读眼动疲劳特征数据均为表征疲 劳指数的眼动特征数据。眼动仪采集待测人的眼动基本数据包括实时的瞳孔直径，实时的 眼球扫视点以及实时的眼睛开闭状态。本实施例中，搜索眼动疲劳特征数据包括:瞳孔直径 比、眨眼频率和兴趣域个数。阅读眼动疲劳特征数据包括:瞳孔直径比、眨眼频率、兴趣域个 数、回读行数和凝视总时间占比。搜索眼动疲劳特征数据中的瞳孔直径比、眨眼频率、兴趣 域个数和阅读眼动疲劳特征数据中的瞳孔直径比、眨眼频率、兴趣域个数的获得方式相同。
[0076] 瞳孔直径比为测试时的瞳孔直径和初始的瞳孔直径的比值。初始的瞳孔直径是字 符搜索测试和阅读理解测试之前通过眼动仪采样得到的瞳孔直径。测试时的瞳孔直径是字 符搜索测试和阅读理解测试过程中通过眼动仪采样得到的实时的瞳孔直径中与初始的瞳 孔直径具有最大差异的瞳孔直径。比如，在字符搜索测试中，得到的实时的瞳孔直径为序列 (D 1J2J3, ...，Dn};则可以得到最小瞳孔直径DminzminOhDhDs，...，Dn)，最小瞳孔直径 Dmin即为字符搜索测试时的瞳孔直径。需要说明的是这里的瞳孔直径比包括了左眼的瞳孔 直径比和右眼的瞳孔直径比。
[0077] 眨眼频率为测试时平均眨眼的时间间隔。眨眼通过眼动仪采集实时的眼睛开闭状 态获得。本实施例，眼睛从开状态到闭合状态再到开状态的一次变化作为眼睛的一个眨眼 动作。本实施例"平均眨眼的时间间隔"中的"眨眼"以双眼同时完成一个眨眼动作为一次眨 眼。每次眨眼发生时可以记录时间点，然后根据该时间点计算相邻两次眨眼的时间间隔，从 而得到相邻两次眨眼的时间间隔的序列1〇 1，(：2，(：3，...，〇1}。由此眨眼频率= &￥8((：1，(：2， C3, . . .，Cn)，其中avg为平均值计算公式，具体为
[0078]兴趣域个数通过统计眼球扫视速度小于特定阈值的个数得到。具体到本实施例 中，兴趣域个数的统计采用如下步骤：
[0079] S81:以每250毫秒为时间间隔通过眼动仪采集实时的眼球扫视点，从而得到扫视 点序列{Ρι，Ρ2，Ρ3,...，Ρκ+1};其中，Pi由横坐标和纵坐标组成。
[0080] S82:计算扫视点序列(PllP2J3,...，ρκ+1}中相邻两个扫视点的距离，得到距离序 列{Li，L2，L3,…，Ld ;其中，Li = Dist(Pi，Pi+i)，Dist为距离计算公式。需要说明的是，这里 的ILllL2,L 3,...，LK}虽然代表了相邻两个扫视点的距离，但由于采样眼球扫视点的时间间 隔是固定的，每个距离数据隐含了 250毫秒的时间长度，因此，他们也代表了瞬间的眼球扫 视的速度。
[0081 ] S83:计算距离序列IL1，L2 ,L3，...，LK}的窗口滑动平均值，得到均值序列IV1, V2, V3, · · ·，Vk};其中￥1 = 3￥8〇^-3，1^-2，1^-1，1^，1^+1，1^+2，1^ +3，1^+4)，也即滑动窗口的大小为 8。对于i-3〈I，i +4大于K的情形，则剔除。比如i = 2时，实际统计的V2 = avg(Li-1，Li，Li+1， U+2，U+3，U+4) = avg(Li，L2，L3，L4，L5，L6)。比如i =K-I时，实际统计的Vk-i = avg(LK-4，LK-3， 1^-2丄1(-1丄1()。由于距离序列{1 1丄2丄3，...，1^}中每个距离数据隐含了250毫秒的时间长 度，连续8个250毫秒意味着2秒长度的时间，也就是均值序列IV 1，V2，V3，. . .，Vd每个均值可 以视为2秒长度内的眼球扫视速度。
[0082] 584:计算均值序列{￥1，￥2，￥3，...，￥1(}的最大值￥11^、最小值￥1^11和平均值￥ &%， 然后计算特定阈值 Vlo = (Vmax+3 X Vmin+4X Vavg)/8。
[0083] S85:计算布尔序列（B1J2,B3, . . .，Βκ}，当Vi小于特定阈值Vlo时，布尔值Bi为1，否 则布尔值Bi为0,其中ie[l. .K]。
[0084] S86:从布尔序列B3, ...，Βκ-7}剔除连续重复为1的布尔值后，统计剩余布尔 序列中布尔值为1的个数作为兴趣域个数。这里剔除连续重复为1的布尔值，比如,B1 ,B2 ,B3 均为1，而B4均为0,此时，B2，B3为连续重复为1，剔除B2，B3后剩下Bi，B4,.......
[0085] 阅读眼动疲劳特征数据中的回读行数通过统计眼球扫视速率大于特定阈值，且眼 球扫视的起点和终点的距离大于特定阈值，且终点的横坐标小于起点的横坐标的个数得 到。具体到本实施例中，回读行数的统计通过以下步骤：
[0086] S91:以每250毫秒为时间间隔通过眼动仪采集实时的眼球扫视点，从而得到扫视 点序列{Ρι，Ρ2，Ρ3,...，Ρκ+1};其中，Pi由横坐标和纵坐标组成。该步骤与前述步骤S81相同。 [0087] S92:计算扫视点序列(PllP2J3, ...，ΡΚ+1}中相邻两个扫视点的距离，得到距离序 列{11，1^，1^3，...，1^};其中，1^ = 0丨81:奶，？1+1)，0丨81:为距离计算公式。本步骤与前述步骤 S82相同。
[0088] S93:计算距离序列IL1，L2 ,L3，...，LK}的窗口滑动平均值，得到均值序列IV1, V2, V3,. . .，VK}。本步骤与前述步骤S83相同，不再赘述。
[0089] 594:计算均值序列{￥1，￥2，￥3，...，￥1(}的最大值￥11^、最小值￥1^11和平均值￥ &%， 然后计算特定阈值 Vhi = (2 X Vmax+Vmin+5 X Vavg)/8。
[0090] S95:计算距离序列{Li，L2，L3, · . .，Lk}的最大值Lmax、最小值Lmin和平均值Lavg， 然后计算特定阈值 Lhi = (2 X Lmax+Lmin+5 X Lavg)/8。
[0091] S96:计算布尔序列(B1J2,B3,. . .，Βκ}，当Vi大于特定阈值Vhi时，且Li大于特定阈 值Lhi，且终点Pi+1的横坐标小于起点Pi的横坐标时，计布尔值Bi为1，否则布尔值B i为0。 [0092] S97:统计布尔序列他及而，...，Βκ}中布尔值为1的个数作为回读行数。
[0093] 阅读眼动疲劳特征数据中的凝视总时间占比为凝视总时间与阅读总时间的占比。 凝视总时间通过统计眼球静止状态的总时间获得。凝视总时间占比可以通过前述步骤S82 或S92中的距离序列{LhL 2^3,...，LK}估计得到。具体为：统计距离序列ILhL2^ 3,...，Lk} 中小于0.00001的个数Nz作为凝视总时间，以距离序列ILllL 2^3,...，LK}中的K作为阅读总 时间。由此，凝视总时间占比=Nz/K。
[0094] 经过上述的字符搜索测试和阅读理解测试得到了疲劳特征指标数据。疲劳特征指 标数据包括:搜索效率数据、阅读效率数据、搜索眼动疲劳特征数据和阅读眼动疲劳特征数 据。搜索效率数据包括字符搜索成功率和字符搜索错误率，字符搜索成功率和字符搜索错 误率分别标记为：Res_suc和Res_err。阅读效率数据包括阅读速率，阅读速率标记为R_ speed。搜索眼动疲劳特征数据包括瞳孔直径比、眨眼频率和兴趣域个数，搜索眼动疲劳特 征数据的左眼瞳孔直径比、右眼瞳孔直径比、眨眼频率和兴趣域个数分别标记为SLD、SRD、 S_blinl^PS_A0I。阅读眼动疲劳特征数据包括瞳孔直径比、眨眼频率、兴趣域个数、回读行 数和凝视总时间占比。阅读眼动疲劳特征数据的左眼瞳孔直径比、右眼瞳孔直径比、眨眼频 率、兴趣域个数、回读行数和凝视总时间占比分别标记为:RLD、RRD、R_bI ink、R_A0I、R_sac 和Stare_t〇
[0095] 步骤 S5 也即对上述疲劳特征数据 Res_suc、Res_err、R_speed、SLD、SRD、S_bl ink、 5_八01、此0、1?^、1?_13111^、1^\01、1?_8&(3和3丨 &代_丨采用机器学习算法分析判断待测人是否 处于疲劳状态。本实施例中，机器学习算法采用BP神经网络算法。BP神经网络算法是本领域 技术人员所熟悉的技术，本说明书不再赘述。需要指出的是，在步骤S5进行判断之前，BP神 经网络算法需要经过模型训练，然后根据训练出的模型结果才能对上述疲劳特征数据进行 分类，判断出正常状态与疲劳状态。而对于本实施例的疲劳检测机器而言，BP神经网络算法 的模型训练是已经预先执行过了的。
【主权项】
1. 一种基于眼动数据的疲劳检测方法，其特征在于，包括以下步骤： S1:通过与待测人进行字符搜索任务的UI交互，获得搜索效率数据； S2:在执行步骤S1的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的时间 数据，然后根据眼动基本数据和时间数据计算出搜索眼动疲劳特征数据； S3:通过与待测人进行阅读理解任务的UI交互，获得阅读效率数据； S4:在执行步骤S3的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的时间 数据，然后根据眼动基本数据和时间数据计算出阅读眼动疲劳特征数据； S5:对所述的搜索效率数据、阅读效率数据、搜索眼动疲劳特征数据和阅读眼动疲劳特 征数据采用机器学习算法分析判断待测人是否处于疲劳状态； 所述搜索眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数； 所述阅读眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数； 所述瞳孔直径比为测试时的瞳孔直径和初始的瞳孔直径的比值； 所述眨眼频率为平均眨眼的时间间隔； 所述兴趣域个数通过统计眼球扫视速度小于特定阈值的个数得到。2. 如权利要求1所述的基于眼动数据的疲劳检测方法，其特征在于，所述搜索效率数据 包括字符搜索成功率和字符搜索错误率;所述步骤S1包括： S11:从字符搜索文本库中随机抽取搜索文本； S12:在屏幕中显示所述的搜索文本供待测人搜索，显示时，从所述的搜索文本中随机 选取5~50个字符，对所选取的字符以区别于正文的样式显示，并对这些以区别于正文的样 式显示的字符构建特殊字符的采样区； S13:获取待测人操作的屏幕点击消息，并根据屏幕点击消息是否落入特殊字符的采样 区判断是否为特殊字符点击消息； S14:根据屏幕点击消息和特殊字符点击消息，统计字符搜索成功率和字符搜索错误 率。3. 如权利要求1所述的基于眼动数据的疲劳检测方法，其特征在于，所述阅读效率数据 包括阅读速率;所述步骤S3包括： S31:从阅读理解文本库中随机选取阅读文本和相应的阅读理解题集； S32:在屏幕中显示所述的阅读文本和阅读理解题集供待测人阅读和解答阅读理解题 集； S33:当所有阅读理解题集被答复正确时，记录步骤S32的阅读理解耗时； S34:根据所述的阅读文本的总字数和阅读理解耗时，计算阅读速率。4. 如权利要求1所述的基于眼动数据的疲劳检测方法，其特征在于，所述阅读眼动疲劳 特征数据还包括回读行数;所述回读行数通过统计眼球扫视速率大于特定阈值，且眼球扫 视的起点和终点的距离大于特定阈值，且终点的横坐标小于起点的横坐标的个数得到。5. 如权利要求1所述的基于眼动数据的疲劳检测方法，其特征在于，所述阅读眼动疲劳 特征数据还包括凝视总时间占比；所述凝视总时间占比为凝视总时间与阅读总时间的占 比；所述凝视总时间通过统计眼球静止状态的总时间获得。6. -种基于眼动数据的疲劳检测装置，其特征在于，包括以下模块： Ml用于:通过与待测人进行字符搜索任务的UI交互，获得搜索效率数据； M2用于:在执行模块Ml的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的 时间数据，然后根据眼动基本数据和时间数据计算出搜索眼动疲劳特征数据； M3用于:通过与待测人进行阅读理解任务的UI交互，获得阅读效率数据； M4用于:在执行模块M3的同时，通过眼动仪采集待测人的眼动基本数据，并采集相应的 时间数据，然后根据眼动基本数据和时间数据计算出阅读眼动疲劳特征数据； M5用于:对所述的搜索效率数据、阅读效率数据、搜索眼动疲劳特征数据和阅读眼动疲 劳特征数据采用机器学习算法分析判断待测人是否处于疲劳状态； 所述搜索眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数； 所述阅读眼动疲劳特征数据包括:瞳孔直径比、眨眼频率和兴趣域个数； 所述瞳孔直径比为测试时的瞳孔直径和初始的瞳孔直径的比值； 所述眨眼频率为平均眨眼的时间间隔； 所述兴趣域个数通过统计眼球扫视速度小于特定阈值的个数得到。7. 如权利要求6所述的基于眼动数据的疲劳检测装置，其特征在于，所述搜索效率数据 包括字符搜索成功率和字符搜索错误率;所述模块Ml包括： Ml 1用于:从字符搜索文本库中随机抽取搜索文本； M12用于:在屏幕中显示所述的搜索文本供待测人搜索，显示时，从所述的搜索文本中 随机选取5~50个字符，对所选取的字符以区别于正文的样式显示，并对这些以区别于正文 的样式显示的字符构建特殊字符的采样区； M13用于:获取待测人操作的屏幕点击消息，并根据屏幕点击消息是否落入特殊字符的 采样区判断是否为特殊字符点击消息； M14用于:根据屏幕点击消息和特殊字符点击消息，统计字符搜索成功率和字符搜索错 误率。8. 如权利要求6所述的基于眼动数据的疲劳检测装置，其特征在于，所述阅读效率数据 包括阅读速率;所述模块M3包括： M31用于:从阅读理解文本库中随机选取阅读文本和相应的阅读理解题集； M32用于:在屏幕中显示所述的阅读文本和阅读理解题集供待测人阅读和解答阅读理 解题集； M33用于：当所有阅读理解题集被答复正确时，记录模块M32的阅读理解耗时； M34用于:根据所述的阅读文本的总字数和阅读理解耗时，计算阅读速率。9. 如权利要求6所述的基于眼动数据的疲劳检测装置，其特征在于，所述阅读眼动疲劳 特征数据还包括回读行数;所述回读行数通过统计眼球扫视速率大于特定阈值，且眼球扫 视的起点和终点的距离大于特定阈值，且终点的横坐标小于起点的横坐标的个数得到。10. 如权利要求6所述的基于眼动数据的疲劳检测装置，其特征在于，所述阅读眼动疲 劳特征数据还包括凝视总时间占比;所述凝视总时间占比为凝视总时间与阅读总时间的占 比；所述凝视总时间通过统计眼球静止状态的总时间获得。
【文档编号】A61B3/11GK106073805SQ201610369357
【公开日】2016年11月9日
【申请日】2016年5月30日
【发明人】胡炜, 冯桂焕, 骆斌
【申请人】南京大学