觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置的制作方法

专利名称：觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置的制作方法
技术领域：
本发明涉及一种觉醒状态判断模型生成装置、觉醒状态判 断装置以及警告装置，其中，上述觉醒状态判断模型生成装置
形有关的数据来生成眨眼波形模式模型以及觉醒状态模式模 型，上述觉醒状态判断装置根据使用这些生成的模式模型而求 出的对象者的分析区间的系列中的与每个特定种类的眨眼波形 的发生比率有关的数据，来判断对象者的觉醒状态，上述警告 装置根据上述觉醒状态的判断结果而向对象者提供警告。
背景技术：
近年来，伴随着信息处理技术的发展以及高度化，面向
ITS(Intelligent Transport Systems:智能交通系统)实用化的研究 开发被迅速地展开，作为新市场而来自产业界的关注度也提高 了 。
作为起到ITS的中心作用的系统，存在驾驶辅助/导航系统 等，但是不4又希望与道路/交通状况、车辆的行动相应的辅助、 信息提示，还希望与驾驶员的特性、当时的状态相应的辅助、 信息提示。尤其驾驶员的觉醒程度的评价被视为由来已久的问 题，进行了很多利用脑波、皮肤电活动、心跳、眨眼等生物体/ 生理反应的研究。
特别是，已知表示眨眼的发生模式、眼球运动的波形的参 数根据受验者的觉醒程度而发生变化，正在利用表示眨眼的发 生模式、眨眼时的眼球运动的波形的参数进行驾驶员的瞌睡检
ii测等研究。
另外，作为利用表示眨眼时的眼球运动的波形的参数来判 断觉醒状态的技术，存在专利文献1中记载的动作内容判断装置。
该动作内容判断装置具有眼睛状态判断用HMM(Hidden Markov Model:隐式马尔克夫模型)，所述眼睛状态判断用HMM 对于针对眼部的多帧影像数据的特征量的输入，输出相对于对 象者的眨眼波形种类的似然性(likelihood),上述动作内容判断 装置根据对于上述特征量的输入而从眼睛状态判断用HMM输 出的似然性来判断对象者的觉醒状态。作为与觉醒状态相关联 的眨眼波形，/>开了觉醒时的标准眼电图(EOG)波形、睡意状 态下的代表性的眼电图(EOG)波形等。
在该专利文献1的现有技术中，在生成眼睛状态判断用 HMM时，#^居一次次的眨眼波形中的眨眼的振幅、持续时间以 及速度等参数来判断眨眼波形的种类。
然后，纟艮据该判断结果，对从与上述眨眼波形对应的眼部 的多帧影像数据中提取出的特征量赋予用于识别上述眨眼波形 的种类的识别信息。
并且，将上述这样被赋予了识别信息的特征量作为学习数 据来学习HMM。
然后，对多种眨眼波形中被视为能够充分判断觉醒状态的 特定种类的眨眼生成HMM，才艮据身见定时间内上述特定种类的眨 眼的发生频率的变化来进行觉醒状态的判断。
具体地i兌，通过在失见定时间区间内对每次的眨眼波形的识 别结果进行直方图处理来捕捉眨眼模式的发生频率，在被识别 为不是觉醒时的标准眨眼波形的眨眼波形的发生频率变高的情 况下，判断为觉醒状态变低。专利文献l: WO2005/114576号公报

发明内容
发明要解决的问题
在上述专利文献1中，本发明者以失见定时间单位对每次的眨 眼波形的识别结果进行直方图处理而求出各眨眼波形模式的发 生频率变化，由此判断觉醒状态。
具体地说，7>开了以下情形例如，在多个特定种类的眨 眼波形模式的发生频率变高的情况下，判断为对象者的觉醒状 态变低。
但是，根据生理学知识，由于使用在觉醒度降低时发生的 眨眼波形模式的发生频率变高这种单一的指标，因此难以估计 从觉醒度较高的状态转变为瞌睡状态为止所发生的各种觉醒程 度(状态)。
并且，用于估计觉醒程度(状态)的上述指标按每个对象者 其估计基准不同，另外，即使是相同对象者也因所处状况不同
而其估计基准不同。
因而，对于不特定的对象者，要求不受其所处状况影响的 正确的觉醒程度的估计。
因此，本发明是关注这种现有技术所具有的未解决的问题 而完成的，其目的在于提供一种觉醒状态判断模型生成装置、 觉醒状态判断装置以及警告装置，其中，上述觉醒状态判断模 型生成装置根据与眨眼波形有关的数据来生成眨眼波形模式模 型和觉醒状态模式模型，上述觉醒状态判断装置根据使用该生 成的该模式模型而求出的对象者的分析区间的系列中的与特定 种类的每个眨眼波形的发生比率有关的数据，来判断对象者的 觉醒状态，上述警告装置根据上述觉醒状态的判断结果来向对象者提供警告。
此外，作为生理现象举出眨眼为例，作为生理状态举出觉 醒状态为例，但是并不限于此。 用于解决问题的方案
在上述专利文献l的申请之后，本发明者对使受验者的觉醒 程度发生变化而收集到的眨眼波形的数据进行分析时，发现包 含规定时间区间内的特定种类的眨眼波形的发生比率、发生次 数的时间变化的数据与觉醒程度的变化相应地具有特征性的模 式，根据该知识完成了解决上述问题的本发明。
为了达到上述目的，本发明所涉及的第一发明所述的生理 状态判断模型生成装置生成判断对象者的生理状态的模式模 型，其特征在于，根据生理状态信息数据和生理现象特征量数 据来生成通过统计模型进行了模型化的生理状态模式模型，其 中，上述生理状态信息数据是根据生理数据而求出的数据，上 述生理现象特征量数据包含与生理现象的每个分类项目的发生 比率有关的数据，上述生理状态模式模型输出相对于生理状态 信息的似然性。
并且，为了达到上述目的，第二发明所涉及的发明是一种 觉醒状态判断模型生成装置，生成判断对象者的觉醒状态的模 式模型，其特征在于，根据觉醒状态信息数据和眨眼种类特征
量数据来生成通过统计模型进行了模型化的觉醒状态模式模 型，其中，上述觉醒状态信息数据是根据生理数据求出的数据， 上述眨眼种类特征量数据包含与特定种类的每个眨眼波形的发 生比率有关的数据，上述觉醒状态模式模型输出相对于觉醒状 态信息的似然性。
为了达到上述目的，本发明所涉及的第三发明所述的觉醒
状态判断模型生成装置生成判断对象者的觉醒状态的统计模型，其特征在于，具备
学习数据存储单元，其存储第一特征量数据和眨眼波形识 別信息数据，其中，上述第一特征量数据为从各对象者眨眼时 的至少 一 只眼睛的眨眼数据中拔_耳又出的凄t据，上述眨眼波形识 别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨 眼波形的眨眼波形识别信息而得到的数据；
眨眼波形模式模型生成单元，其将存储在上述学习数据存 储单元中的上述第 一 特征量数据和上述眨眼波形识别信息数据 作为学习数据来学习统计模型，生成第一模式模型，该第一模 式模型将上述第一特征量数据作为输入，将对于该第一特征量 数据的眨眼波形识别信息的似然性作为输出；
特征量数据生成单元，其根据存储在上述学习数据存储单 元中的上述眨眼波形识别信息数据来生成第二特征量数据，该 第二特征量数据包含与分析区间中的每个上述特定种类的眨眼
波形的发生比率有关的数据；以及
觉醒状态模式模型生成单元，其将上述第二特征量数据和 觉醒状态信息数据作为学习数据来学习统计模型，生成第二模 式模型，其中，上述第二特征量数据是由上述特征量数据生成 单元生成的数据，上述觉醒状态信息数据是对上述分析区间的 每个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而 得到的数据，上述第二模式模型将上述第二特征量数据作为输 入，将对于该第二特征量数据的觉醒状态信息的似然性作为输 出。
并且，为了达到上述目的，第四发明所涉及的发明是第三 发明所述的觉醒状态判断模型生成装置，其特征在于，上述眨 眼数据是眼电图(E O G)波形的数据或者眼睛的动态图像。
并且，为了达到上述目的，第五发明所述的觉醒状态判断模型生成装置是第三或第四发明所述的觉醒状态判断模型生成 装置，其特征在于，与上述发生比率有关的数据是发生比率的 时间变化或者发生次数的时间变化。
并且，为了达到上述目的，第六发明所述的觉醒状态判断 模型生成装置是第三至第五发明中的任一项所述的觉醒状态判
断模型生成装置，其特征在于，上述统计才莫型是HMM(Hidden Markov Model)。
并且，为了达到上述目的，第七发明所述的觉醒状态判断 模型生成装置是第三至第六发明中的任一项所述的觉醒状态判 断模型生成装置，其特征在于，
上述觉醒状态判断模型生成装置还具备
眨眼数据存储单元，其存储各上述对象者眨眼时的至少一 只眼睛的上述眨眼数据；
特征量数据提取单元，其从眨眼数据中提取上述第一特征 量数据，其中，从上述眨眼数据存储单元获取该眨眼数据；
第一模式模型存储单元，其存储由上述眨眼波形模式模型 生成单元生成的第一模式模型；
第二特征量数据存储单元，其存储由上述特征量数据生成
单元生成的上述第二特征量数据；以及
第二模式模型存储单元，其存储由上述觉醒状态模式模型 生成单元生成的第二模式模型。
另一方面，为了达到上述目的，第八发明所述的觉醒状态 判断装置是判断对象者的觉醒状态的装置，其特征在于，具备
眨眼数据获取单元，其获取上述对象者眨眼时的至少 一 只 眼睛的眨眼数据；
第一模式模型，其是由第三至第七发明中的任一项所述的 觉醒状态判断模型生成装置生成的模式模型；第 一特征量数据提取单元，其从眨眼数据中提取与上述第 一模式模型对应的第一特征量数据，其中，上述眨眼数据是由
上述眨眼数据获取单元获取到的眨眼数据；
眨眼波形识别单元，其根据由上述第 一 特征量数据提取单 元提取出的第 一特征量数据和上述第 一模式模型来识别与上述 第 一 特征量数据对应的特定种类的眨眼波形；
第二特征量数据生成单元，其根据上述眨眼波形识别单元 对于在分析区间的系列中获取的上述对象者的眨眼数据的识别 结果来生成第二特征量数据，该第二特征量数据包含与每个上
述特定种类的眨眼波形的发生比率有关的数据；
第二模式模型，其是由第三至第七发明中的任一项所述的
觉醒状态判断模型生成装置生成的模式模型；以及
觉醒状态判断单元，其根据由上述第二特征量数据生成单
元生成的第二特征量数据和上述第二模式模型来判断上述对象
者的觉醒状态。
并且，为了达到上述目的，第九发明所涉及的发明是第八
发明所述的觉醒状态判断装置，其特征在于，上述眨眼数据是
眼电图(EOG)波形的数据或者眼睛的动态图像。
并且，为了达到上述目的，第十发明所述的觉醒状态判断
装置是第八或第九发明所述的觉醒状态判断装置，其特征在于，
数的时间变化。
并且，为了达到上述目的，第十一发明所述的觉醒状态判 断装置是第八至第十发明中的任一项所述的觉醒状态判断装 置，其特征在于，上述统计模型是HMM(Hidden Markov Model)。
并且，为了达到上述目的，第十二发明所述的警告装置的 特征在于，具备第八至第十一发明中的任一项所述的觉醒状态判断装置；以及警告单元，其根据上述觉醒状态判断装置中 的上述觉醒状态判断结果来对上述对象者提供警告。
并且，为了达到上述目的，第十三发明所述的车辆的特征 在于，具备第十二发明所述的警告装置。
并且，为了达到上述目的，第十四发明所述的觉醒状态判 断模型生成方法生成判断对象者的觉醒状态的统计模型，其特 征在于，具备以下步骤
学习数据存储步骤，存储第 一 特征量数据和眨眼波形识另'J 信息数据，其中，上述第一特征量数据是从各对象者眨眼时的 至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别 信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨眼 波形的眨眼波形识别信息而得到的数据；
眨眼波形模式模型生成步骤，将在上述学习数据存储步骤 中存储的上述第 一 特征量数据和上述眨眼波形识别信,I;数据作 为学习数据来学习统计模型，生成第一模式模型，该第一模式 模型将上述第一特征量数据作为输入，将对于该第一特征量数 据的眨眼波形识别信息的似然性作为输出；
特征量数据生成步骤，根据在上述学习数据存储步骤中存 储的上述眨眼波形识别信息数据来生成第二特征量数据，该第. 二特征量数据包含与分析区间中的每个上述特定种类的眨眼波 形的发生比率有关的数据；以及
觉醒状态模式模型生成步骤，将上述第二特征量数据和觉 醒状态信息数据作为学习数据来学习统计模型，生成第二模式 模型，其中，上述第二特征量数据是在上述特征量数据生成步
骤中生成的数据，上述觉醒状态信息数据是对上述分析区间的 每个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而 得到的数据，上述第二模式模型将上述第二特征量数据作为输入，将对于该第二特征量数据的觉醒状态信息的似然性作为输出。
并且，为了达到上述目的，第十五发明所述的觉醒状态判 断模型生成方法是第十四发明所述觉醒状态判断模型生成方 法，其特征在于，与上述发生比率有关的数据是发生比率的时 间变化或者发生次数的时间变化。
并且，为了达到上述目的，第十六发明所述的觉醒状态判 断模型生成方法是第十四或第十五发明所述的觉醒状态判断模 型生成方法，其特征在于，
上述觉醒状态判断模型生成方法还具备以下步骤
眨眼数据存储步骤，将各上述对象者眨眼时的至少一只眼 睛的上述眨眼数据存储在眨眼数振存储单元中；
特征量数据提取步骤，从存储在上述眨眼数据存储单元中 的眨眼数据中提取上述第 一特征量数据；
第一模式模型存储步骤，存储在上述眨眼波形模式模型生 成步骤中生成的第 一模式模型；
第二特征量数据存储步骤，存储在上述特征量数据生成步
骤中生成的上述第二特征量数据；以及
第二模式模型存储步骤，存储在上述觉醒状态模式模型生 成步骤中生成的第二模式模型。
并且，为了达到上述目的，第十七发明所述的觉醒状态判 断方法判断对象者的觉醒状态，其特征在于，具备以下步骤
眨眼数据获取步骤，获取上述对象者眨眼时的至少一只眼 睛的眨眼数据；
第一特征量数据提取步骤，从在上述眨眼数据获取步骤中 获取到的眨眼数据中提取与第 一模式模型对应的第 一特征量数 据，其中，上述第一模式模型是通过第十四至第十六发明中的任一项所述的觉醒状态判断模型生成方法而生成的模式模型；
眨眼波形识别步骤，根据在上述第一特征量数据提取步骤 中提取出的第 一特征量数据和上述第 一模式模型来识别与上述
第 一 特征量数据对应的特定种类的眨眼波形；
第二特征量数据生成步骤，根据上述眨眼波形识别步骤对 于在分析区间的系列中获取到的上述对象者的眨眼数据的识别 结果来生成第二特征量数据，该第二特征量数据包含与每个上
述特定种类的眨眼波形的发生比率有关的数据；以及
觉醒状态判断步骤，根据在上述第二特征量数据生成步骤 中生成的第二特征量数据和第二模式模型来判断上述对象者的 觉醒状态，其中，上述第二模式模型是通过第十四至第十六发 明中的任一项所述的觉醒状态判断才莫型生成方法而生成的模式模型。
并且，为了达到上述目的，第十八发明所述的觉醒状态判 断方法是第十七发明所述觉醒状态判断方法，其特征在于，与 上述发生比率有关的数据是发生比率的时间变化或者发生次数 的时间变化。
并且，为了达到上述目的，第十九发明所述的觉醒状态判 断模型生成程序是生成判断对象者的觉醒状态的统计模型，其 特征在于，包含用于使计算机执行由以下步骤构成的处理的程
序
学习数据存储步骤，存储第 一 特征量数据和眨眼波形识另'J 信息数据，其中，上述第一特征量数据是从各对象者眨眼时的 至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别
信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨眼 波形的眨眼波形识别信息而得到的数据；
眨眼波形模式模型生成步骤，将在上述学习数据存储步骤中存储的上述第一特征量数据和上述眨眼波形识别信息数据作 为学习数据来学习统计模型，生成第一模式模型，该第一模式
模型将上述第 一 特征量数据作为输入，将对于该第 一 特征量数
据的眨眼波形识别信息的似然性作为输出；
特征量数据生成步骤，根据在上述学习数据存储步骤中存 储的上述眨眼波形识别信息数据来生成第二特征量数据，该第 二特征量数据包含与分析区间中的每个上述特定种类的眨眼波 形的发生比率有关的数据；以及
觉醒状态模式模型生成步骤，将上述第二特征量数据和觉 醒状态信息数据作为学习数据来学习统计模型，生成第二模式 模型，其中，上述第二特征量数据是在上述特征量数据生成步 骤中生成的数据，上述觉醒状态信息数据是对上述分析区间的 每个系列赋予表示上述各对象者的觉醒状态的觉醒状态信息而 得到的数据，上述第二模式模型将上述第二特征量数据作为输 入，将对于该第二特征量数据的觉醒状态信息的似然性作为输 出。
并且，为了达到上述目的，第二十发明所述的觉醒状态判 断模型生成程序是第十九发明所述的觉醒状态判断模型生成程 序，其特征在于，与上述发生比率有关的数据是发生比率的时 间变化或者发生次数的时间变化。
并且，为了达到上述目的，第二十一发明所述的觉醒状态 判断模型生成程序是第十九或第二十发明所述的觉醒状态判断 模型生成程序，其特征在于，
上述觉醒状态判断模型生成程序还具备以下步骤
眨眼数据存储步骤，将各上述对象者眨眼时的至少一只眼 睛的上述眨眼数据存储在眨眼数据存储单元中；
特征量数据提取步骤，从存储在上述眨眼数据存储单元中的眨眼数据中提取上述第 一特征量数据；
第一模式模型存储步骤，存储在上述眨眼波形模式模型生 成步骤中生成的第一模式模型；
第二特征量数据存储步骤，存储在上述特征量数据生成步
骤中生成的上述第二特征量数据；以及
第二模式模型存储步骤，存储在上述觉醒状态模式模型生
成步骤中生成的第二模式模型。
并且，为了达到上述目的，第二十二发明所述的觉醒状态 判断程序判断对象者的觉醒状态，其特征在于，包含用于使计 算机执行由以下步骤构成的处理的程序
眨眼数据获取步骤，获取上述对象者眨眼时的至少一只眼 睛的眨眼数据；
第一特征量数据提取步骤，从在上述眨眼数据获取步骤中 获取到的眨眼数据中提取与第 一模式模型对应的第 一特征量数 据，其中，上述第一模式模型是通过第十九至二十一发明中的 任一 项所述的觉醒状态判断模型生成程序而生成的模式模型；
眨眼波形识别步骤，根据在上述第一特征量数据提取步骤 中提取出的第一特征量数据和上述第一模式模型来识别与上述 第 一特征量数据对应的特定种类的眨眼波形；
第二特征量数据生成步骤，根据上述眨眼波形识别步骤对 于在分析区间的系列中获取到的上述对象者的眨眼数据的识别 结果来生成第二特征量数据，该第二特征量数据包含与每个上 述特定种类的眨眼波形的发生比率有关的数据；以及
觉醒状态判断步骤，根据在上述笫二特征量数据生成步骤 中生成的第二特征量数据和第二模式模型来判断上述对象者的 觉醒状态，其中，上述第二模式模型是通过第十九至二十一发 明中的任 一 项所述的觉醒状态判断模型生成程序而生成的模式模型。
并且，为了达到上述目的，第二十三发明所述的觉醒状态 判断程序是第二十三发明所述觉醒状态判断程序，其特征在于， 与上述发生比率有关的数据是发生比率的时间变化或者发生次 数的时间变化。
发明的效果
如上所述，根据本发明所涉及的第 一 发明所述的生理状态 判断模型生成装置，能够生成通过统计模型进行了模型化的生 理状态模式模型，该生理状态模式模型是根据生理状态信息数 据(觉醒状态、疲劳度、紧张状态等)和生理现象特征量数据而 生成的，其中，上述生理状态信息数据是根据生理数据求出的 数据，上述生理现象特征量数据包含与生理现象(脑波、皮肤电 活动、心跳、眨眼等)的各分类项目的发生比率有关的数据。并
且，能够使用该生理状态模式模型来判断对象者的生理状态。
另外，根据本发明所涉及的第二发明所述的觉醒状态判断 模型生成装置，能够根据觉醒状态信息数据和眨眼种类特征量 数据来生成通过统计模型进行了模型化的觉醒状态模式模型， 其中，上述觉醒状态信息数据是根据生理数据求出的数据，上 述眨眼种类特征量数据包含与眨眼波形的各分类项目的发生比 率数据有关的数据。并且，能够使用该觉醒状态模式模型来判 断对象者的觉醒状态。
另外，根据本发明所涉及的第三、七发明所述的觉醒状态 判断模型生成装置、第六发明所述的觉醒状态判断装置、第十 四、十六发明所述的觉醒状态判断模型生成方法、第十五、十 七发明所述的觉醒状态判断方法、第十九、二十一发明所述的 觉醒状态判断模型生成程序、以及第二十二发明所述的觉醒状 态判断程序，除了根据在生理学的观点中视为对觉醒状态的判断有效的、特定种类的眨眼的发生频率、特定种类的眨眼的一 连串发生等的规定时间内的特定种类的眨眼的发生频率的变化 以外，还能够根据与分析区间的系列中的各特定种类的眨眼的 发生频率有关的数据来高精确度地判断觉醒状态。
由于从第二特征量数据(第七发明)得出与分析区间的系列 中的对象者的特定种类的眨眼的发生比率有关的数据，因此能
够得到以下效果预先进行实验等、例如通过事先得到与特定 种类的眨眼的发生比率有关的数据、与从高觉醒时转变为瞌睡 为止的各种觉醒程度(状态)相对应的觉醒状态信息数据，根据
第二特征量数据，能够生成用于判断对象者的各种觉醒程度(状 态)的第二模式模型。
也就是说，除了根据在生物体/生理学的观点中视为对觉醒 状态的判断有效的特定种类的眨眼的发生频率、特定种类的眨 眼的一连串发生等的规定时间内的特定种类的眨眼的发生频率 的变化以外，还能够根据与分析区间的系列中的各特定种类的 眨眼的发生比率有关的数据来高精确度地判断觉醒状态。
另外，根据本发明所涉及的第七发明所述的觉醒状态判断 模型生成装置以及第七发明所述的觉醒状态判断装置，使用能 够高精确度地获取眼睑睁开度的时间变化的眼电图(E 0 G)来作 为眨眼数据，因此能够生成可高精确度地对眨眼波形的种类进 行识别的模式模型。另外，由于使用不在对象者上安装电极而 能够以非接触的方式获取眨眼数据的眼睛的动态图像，因此能
够提高对象者的便利性。
另外，根据本发明所涉及的第五发明所述的觉醒状态判断
模型生成装置、第十发明所述的觉醒状态判断装置、第十五发 明所述的觉醒状态判断模型生成方法、第十六发明所述的觉醒 状态判断方法、第二十发明所述的觉醒状态判断模型生成程序以及第二十二发明所述的觉醒状态判断程序，使用发生比率的 时间变化或者发生次数的时间变化作为与发生比率有关的数 据，因此根据与分析区间的系列中的各特定种类的眨眼的发生 比率或者发生次数的局部时间变化，能够更高精确度地判断觉 醒状态。
另外，根据本发明所涉及的第六发明所述的觉醒状态判断 模型生成装置以及第十一发明所述的觉醒状态判断装置，使用
公知的HMM作为统计模型，因此能够得到以下效果能够生成 模式模型，该模式模型能够对眨眼那样伴随时间概念的动作内 容进行眨眼波形的种类的识别。
在此，上述"HMM"是时间序列信号的统计模型，通过在多 个稳定信号源之间转变，能够将不稳定的时间序列信号进行模 型化。例如，由于说话速度而语音的时间长度发生变化，根据 说话内容而在频率上示出特征性的形状(称为频谱包络)，但是 该形状依赖于说话的人、环境、内容等而产生波动。HMM是能 够吸收这种波动的统计一莫型。
另外，根据本发明所涉及的第十二发明所述的警告装置以 及第十三发明所述的车辆，通过警告单元，能够根据上迷觉醒 状态判断装置中的上述觉醒状态判断结果对上述对象者提供警 告。
因而，例如，通过实时地生成包含汽车内的驾驶员的每个 头见定时间单位的上述特定种类的每个眨眼波形的发生比率、发 生次数的时间变化的第二特征量数据，根据该第二特征量数据， 例如能够判断完全成为瞌睡状态之前向瞌睡状态转移中的驾驶 员的觉醒程度(状态)、对抗睡意的觉醒程度(状态)等。
因而，通过对要睡着的状态下的对象者提供警告音、光闪 烁等警告，得到能够预先防止事故发生的效果。


图l是表示本发明所涉及的觉醒状态判断模型生成装置800 的概要的框图。
图2是表示本发明所涉及的觉醒状态判断模型生成装置100 的结构的框图。
图3是表示觉醒状态判断模型生成装置10 0的硬件结构的框图。
图4是表示觉醒状态判断模型生成装置10 0中的第 一 模式模 型生成处理以及第二模式模型生成处理的流程图。
图5是从眼电图(EOG)波形数据中提取的参数的说明图。
图6是表示通过使用了 k-平均法的聚类方法进行的眼电图 (EOG)波形的分类结果的图。
图7是表示固定时间区间内的各眨眼种类的发生频率随着 时间经过而变化的情形的说明图。
图8是第二特征量的说明图。
图9是觉醒状态信息数据的说明图。
图IO是从眼睛的动态图像中提取的特征量数据的说明图。 图ll是表示本发明所涉及的觉醒状态判断装置900的结构 的框图。
图12是表示本发明所涉及的警告装置200的结构的框图。 图13是表示警告装置200的硬件结构的框图。 图14是表示警告装置200中的第一特征量数据的提取处理 的流程图。
图15是表示警告装置200中的第二特征量数据生成处理的 流程图。
图16是表示警告装置200中的觉醒状态判断处理以及警告 处理的流程图。
26图17是表示HMM的一例的图。
图18是表示警告装置200中的第二特征量数据用的储存区 域的图。
图19是表示在眨眼波形数据为眼电图(EOG)波形数据、使 用了特定对象者A的眨眼波形模式模型的情况下固定时间区间 内的各眨眼种类的发生频率的 一 例以及判断该特定对象者A的 觉醒状态的结果的图。
图20是表示在眨眼波形数据为眼睛的动态图像、使用了特 定对象者A的眨眼波形模式模型的情况下固定时间区间内的各 眨眼种类的发生频率的 一 例以及判断该特定对象者A的觉醒状 态的结果的图。
图21是表示在眨眼波形数据为眼睛的动态图像、使用了不
特定对象者的眨眼波形模式模型的情况下固定时间区间内的各 眨眼种类的发生频率的 一 例以及利用现有技术和本发明来判断 对象者A的觉醒状态的结果的图。
图22是表示在眨眼波形数据为眼睛的动态图像、使用了不 特定对象者的眨眼波形模式模型的情况下固定时间区间内的各 眨眼种类的发生频率的 一例以及利用现有技术和本发明来判断 对象者B的觉醒状态的结果的图。
附图标记i兌明
100:觉醒状态判断模型生成装置；200:警告装置；10: 眨眼数据存储部；11:第一特征量数据提取部；12:第一学习 数据存储部；13:眨眼波形模式模型生成部；14:第一模式模 型存储部；15:特征量数据生成部；16:第二学习数据存储部； 17:觉醒状态模式模型生成部；18:觉醒状态模式模型存储部； 20:眨眼数据获取部；21:眨眼波形模式模型存储部；22:特
27征量数据提取部；23:眨眼种类识别部；24:特征量数据生成 部；25:觉醒状态模式模型存储部；26:觉醒状态判断部；27: 警告部；800:觉醒状态判断模型生成装置；80:觉醒状态数据 存储部；81:觉醒状态模式模型生成部；900:觉醒状态判断装 置；90:眨眼种类获取部；91:特征量数据生成部；92:觉醒 状态模式模型存储部；93:觉醒状态判断部。
具体实施例方式
下面，根据

本发明的第一实施方式。图1 图10是 表示本发明所涉及的觉醒状态判断模型生成装置、觉醒状态判 断模型生成程序以及觉醒状态判断模型生成方法的实施方式的图。
首先，根据图l说明本发明所涉及的觉醒状态判断模型生成 装置的概要。
图1是表示本发明所涉及的觉醒状态判断模型生成装置8 0 0 的结构的概要的框图。
觉醒状态数据存储部80存储觉醒状态信息数据和眨眼种类 特征量数据作为学习数据。为了制作该学习数据，例如，首先 对多个对象者进行测量，收集多种眨眼眼电图(EOG)的波形数 据。
并且，对所收集的各眨眼赋予识别眨眼的分类项目的眨眼 波形识别信息来制作生理现象分类项目信息数据。
根据该生理现象分类项目信息数据，对各分析区间求出眨 眼的每个分类项目的发生比率、发生次数，对每个分析区间制 作发生比率、发生次数成为要素的数据。
与连续的分析区间的系列对应的该数据的系列是眨眼种类特征量数据。
另外，对分析区间的每个系列赋予了表示各对象者的觉醒 状态的生理状态信息而得到的数据是觉醒状态信,包、数据。例如，
使用根据收集眼电图(EOG)波形数据时的脑波、皮肤表面电位、 心跳数、呼吸数等生理/生物体数据的判断或根据脸部表情的判 断、观察记录或考察等来判断各对象者的觉醒状态。
在觉醒状态模式模型生成部81中，将存储在觉醒状态数据 存储部80中的眨眼种类特征量数据作为学习数据而存储到后述 的存储装置80的规定区域。
并且，将对分析区间的每个系列赋予了表示各对象者的觉 醒状态的生理状态信息而得到的觉醒状态信息数据作为学习数 据而存储到存储装置40的规定区域。
然后，觉醒状态模式模型生成部81将存储在存储装置40中 的眨眼种类特征量数据和觉醒状态信息数据作为学习数据来学 习统计模型，生成觉醒状态用的模式模型(觉醒状态模式模型)。
根据图2说明本发明所涉及的觉醒状态判断模型生成装置 的结构。
图2是表示本发明所涉及的觉醒状态判断模型生成装置100 的结构的框图。
眨眼数据存储部10将对多个对象者进行测量得到的多种眨 眼的眼电图(EOG)波形数据作为学习数据存储到后述的存储装 置40的^L定区域。
具体地说，例如存储对象者左眼和右眼中的至少一个的眨 眼的眼电图(EOG)波形数据。另外，也能够将表示眼睑峥开度 的时间变化的眨眼数据设为眨眼的动态图〗象，由包含对象者眨 眼时的左眼和右眼中的至少 一 个的动态图像数据构成。另外， 还存4诸各眨眼波形的发生时刻。第一特征量数据提取部11从由眨眼数据存储部10所存储的 眨眼数据中提取特征量数据作为第 一特征量数据。
在本实施方式中，将根据眼电图(EOG)波形的峰高(peak height)的距离数据、从眨眼开始到峰高为止的时间数据、从峰 高到眨眼结束为止的时间数据这三个参数而得到的后述的数据 设为特征量数据。
此外，作为特征量数据，另外还存在从开始到峰高为止的 最大上升角度、从峰高到结束为止的最大下降角度、峰高的50% 高度以上的持续时间、峰高的75%以上的持续时间等以及它们 的组合等。
另外，在眨眼数据为眨眼的动态图^f象的情况下，对眨眼的 动态图像数据的各帧的每个帧算出规定区域的各线的每条线的 亮度合计，将各眨眼影像数据的亮度合计的数据设为特征量数据。
此外，作为特征量数据，另外还存在对眼睛区域图像进行 频率变^:得到的频率频i普成分、该频率频-潜成分与前后帧之间 的帧间差分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC: Me卜Frequency Cepstrum Coefficients)成分、a艮睛区i或图j象的帧 内力矩成分、帧间力矩成分等以及它们的组合等。
第 一 学习数据存储部12将由第 一特征量数据提取部ll提取 出的第一特征量数据作为学习数据而存储到后迷的存储装置40 的规定区域。
并且，学习数据存储部12将眨眼波形识别信息数据作为学 习数据存储到后述的存储装置40的规定区域，其中，上述眨眼 波形识别信息数据是对存储在眨眼数据存储部IO中的眼电图 (EOG)波形数据或者眨眼的动态图像中的各眨眼赋予了识别眨 眼种类的眨眼波形识别信息而得到的数据。
30眨眼波形模式模型生成部13根据眨眼波形模式模型的生成 指示，将存储在第 一 学习数据存储部12中的第 一特征量数据和 眨眼波形识别信息数据作为学习数据来学习统计模型，生成作 为眨眼波形用的模式模型(眨眼波形模式模型)的第 一模式模 型。
此夕卜，在本实施方式中，使用HMM(Hidden Markov Model) 作为统计模型。
眨眼波形模式模型存储部14将在眨眼波形模式模型生成部 13中所生成的第一模式模型存储到后述的存储装置40的规定区 域。
特征量数据生成部15根据存储在第一学习数据存储部12中 的眨眼波形识别信息数据，生成第二特征量数据，该第二特征 量数据包含分析区间的系列中的上述特定种类的每个眨眼波形 的发生比率、发生次数的时间变化。
第二学习数据存储部16将在特征量数据生成部15中生成的 第二特征量数据作为学习数据而存储到后述的存储装置4 0的规 定区域。
并且，第二学习数据存储部16将觉醒状态信息数据作为学 习数据存储到后述的存储装置40的规定区域，其中，上述觉醒 状态信,包、数据是对分析区间的每个系列赋予表示各对象者的觉 醒状态的觉醒状态信息而得到的数据。
觉醒状态模式模型生成部17根据觉醒状态模式模型的生成 指示，将存储在第二学习数据存储部16中的第二特征量数据和 觉醒状态信息数据作为学习数据来学习统计模型，生成作为觉 醒状态用的模式模型(觉醒状态模式模型)的第二模式模型。
此外，在本实施方式中，使用HMM(Hidden Markov Model)
作为统计模型。觉醒状态模式模型存储部1 8将在觉醒状态模式模型生成部
17中生成的第二模式模型存储到后述的存储装置40的规定区域。
并且，觉醒状态判断模型生成装置100具备用于在软件上实 现上述各部的控制的计算机系统，如图3所示，该硬件结构如下 通过由PCI(Peripheral Component Interconnect:夕卜告卩i殳备互连) 总线、ISA(Industrial Standard Architecture:工业标准结构)总线 等构成的各种内外总线3 8连接承担各种控制和运算处理的作为 中央运算处理装置的CPU(Central Processing Unit:中央处理 器)30、构成主存储装置(Main Storage: 主存储器)的RAM (Random Access Memory:随才几存取存储器)32以及作为读取专 用的存储装置的ROM(Read Only Memory:只读存储器)34之间， 并且通过输入输出接口 (1/F)36将HDD(Hard Disk Drive:硬盘驱 动器)等内部或外部存储装置(Secondary Storage :辅助存储 器)40、打印单元、CRT、 LCD显示器等输出装置42、操作面板 或鼠标、键盘、扫描仪等输入装置44以及未图示的用于与外部 装置等进行通信的网络等连接在该总线38上。
并且，当接通电源时，存储在ROM 34等中的BIOS等系统 程序，将预先存储在ROM34中的各种专用计算机程序、或者通 过CD ROM、 DVD ROM、软盘(FD)等存卡者介质或通过因特网 等通信网络L被安装在存储装置40中的各种专用计算机程序加 载到RAM 32中，CPU 30按照加载到该RAM 32中的程序所记述 的命令，驱使各种资源进行规定的控制以及运算处理，由此能 够在软件上实现如上所述的各单元的各功能。
(第一实施方式的动作)
接着，根据图4说明具有上述结构的觉醒状态判断模型生成 装置10 0中的从眨眼波形数据中提取特征量数据的处理的流程。图4是表示觉醒状态判断模型生成装置10 0中的第 一 模式模 型(眨眼波形模式模型)生成处理以及第二模式模型(觉醒状态 模式模型)生成处理的流程图。
第一模式模型生成处理以及第二模式模型生成处理如图4 的流程图所示，首先，在步骤S100中，在眨眼波形模式模型生 成部13中判断是否存在通过输入装置44等的来自用户的眨眼波 形模式模型的生成指示，在判断为存在生成指示的情况下(是)， 转移到步骤S102,在不存在生成指示的情况下(否)，转移到步 骤S108。
在转移到步骤S102的情况下，在眨眼波形模式模型生成部 13中，从第一学习数据存储部12中获取第一特征量数据和眨眼 波形识别信息数据，转移到步骤S104。
在步骤S104中，在眨眼波形模式模型生成部13中，将在步 骤S102中获取到的数据作为学习数据来学习统计模型，生成作 为眨眼波形模式模型的第一模式模型，转移到步骤S106。
在步骤S106中，在眨眼波形模式模型生成部13中，通过眨 眼波形模式模型存储部14将在步骤S104中生成的第 一模式模 型存储到存储装置40的规定区域内，转移到步骤S108。
在步骤S108中，在觉醒状态模式模型生成部17中，判断是 否存在通过输入装置44等的来自用户的觉醒状态模式模型的生 成指示，在判断为存在生成指示的情况下(是)，转移到步骤 S110,在判断为不存在生成指示的情况下(否)，结束处理。
在转移到步骤S110的情况下，从第 一 学习数据存储部12中 获取眨眼波形识别信息数据，转移到步骤S112 。
在步骤S112中，根据在步骤S110中获取到的眨眼波形识别 信息数据来生成第二特征量数据，转移到步骤SU4，其中，上 述第二特征量数据包含分析区间的系列中的上述特定种类的每个眨眼波形的发生比率、发生次数的时间变化。
在步骤S114中，在觉醒状态模式模型生成部17中，通过第 二学习数据存储部16将在步骤S112中生成的第二特征量数据 存储到存储装置40的规定区域内，转移到步骤S116。
在步骤S116中，在觉醒状态模式模型生成部17中，从第二 学习数据存储部16中获取第二特征量数据和觉醒状态信息数 据，转移到步骤S118。
在步骤S118中，在觉醒状态模式模型生成部17中，将在步 骤S116中获取到的数据作为学习数据来学习统计模型，生成作 为觉醒状态用的模式模型的第二模式模型，转移到步骤S120。
在步骤S120中，在觉醒状态模式模型生成部17中，通过第 二模式模型存储部18将在步骤S118中生成的第二模式模型存 储到存储装置40的规定区域内，结束处理。
接着，根据图5 图IO更具体地说明本实施方式的动作。
在觉醒状态判断模型生成装置100中进行上述的第一特征 量数据的提取处理、眨眼波形模式模型的生成处理时，首先， 需要预先准备多个对象者的多种眨眼的眼电图(EOG)波形数据 (眨眼波形数据)。
另外，在进行上述的第二特征量数据的生成处理、觉醒状 态模式模型的生成处理时，也使用眨眼波形数据。
在本实施方式中，预先，对由多名得到知情同意的各种年 龄的健康男女构成的对象者进行从高觉醒状态经过对睡意的对 抗状态、低觉醒状态而进入到入眠为止的各种眨眼的眼电图 (EOG)波形的测量，收集眨眼波形数据。
另外，作为眼电图(EOG)波形(EOG波形)，在对象者的右眼 睑的上下安装电极，使用生物体测量用交流放大器(B-OPAC、 时间常数3.2[sec]、 GAIN5000倍、35[Hz]截止低通滤波器)，利
34用采样频率250Hz来测量垂直EOG波形。然后，从该垂直EOG 波形中才全测眨眼部分。
关于眨眼部分的检测方法，与公知的方法(湯瀬裕昭、田多 英興法Kt含0自動検出&求Kt含波形解析，人間工学， vo130, No5， p.331-337(1994))同才羊i也，利用EOG》皮形的樣i分j直 (一次差分)，将该微分值超过预先设定的开始阈值的时刻设为 眨眼的开始点，将上述微分值再次超过预先设定的结束阈值的 时刻^殳为眨眼的结束点，4企测从开始点至结束点的波形作为眨 眼波形。
将上述那样收集到的眨眼波形数据存储到眨眼数据存储部 10。另外，将检测出的各眨眼波形的发生时刻也存储到眨眼数 据存储部10。
接着，说明在第一特征量数据提取部ll中作为第一特征量 数据而被提取的特征量数据。将从上述获取到的眼电图(EOG) 波形数据中提取出的参数如后述那样变换为特征量数据。
图5是作为眨眼数据而使用眼电图(EOG)波形数据的情况 下的从眨眼波形数据中提取的参数的说明图。
从眨眼波形数据中提取波形的峰值点的高度(距离)数据、 从眨眼的开始点到峰值点为止的时间数据、从峰值点到眨眼的 结束点为止的时间数据这三种参数。
例如，在眨眼波形数据是表示将闭眼方向设为向上的如图5 所示的波形的情况下，将峰值点的高度xl设为眨眼的开始点的 电平(电压或电流)与波形的峰值点的电平之间的差分值。在图5 的例子中，波形的峰值为"xl[mm]"，从眨眼开始点到峰值点的 时间x2(下面是上升时间x2)为28[m sec], 乂人峰值点到眨眼结束 点的时间x3(下降时间x3)为52[m sec〗。
在本实施方式中，峰值点的高度(距离)数据xl直接使用测量得到的值，上升和下降时间数据x2和x3使用对数变换得到的 值。从上述获取到的眨眼波形数据中依次提取这些xl、 x2以及 x3这三种参数。
然后，对收集眨眼波形数据而得到的每个对象者的测量数 据，使用Z分数法(Z-Score)将由上述x 1 x3这三种参数构成的特 征参数归一化。
通过对上述xl x3这三种特征参数进行分布的加工使得各 自的平均值变成0、标准偏差变成1来进行使用Z分数法的归一 化。
具体地说，求出xl x3的各自的特征参数中的平均值ji。另 外，同时求出xl x3的各自的特征参数中的标准分散o。
在此，在xl x3的各自中将各参数设为X,按照下式(l)将参 数X变换成z。
当表示具体数值例时，某个对象者的所有眨眼波形的
xl x3的各自的平均值为(2.2239, 1.3542, 1.5693)、 xl x3的各 自的标准偏差为(0.7396， 0.1000, 0.0709)的情况下，如下式(2) 这样算出z。
z =
2.9653-2.2239 1.3222-1.3542 1.5682-1.5693) 0.7396 ， 0.1000 , 0扁9 J
(2)
=(1.0024, —0.3200,— 0.0155)
对收集到的每个眨眼波形数据算出的z为第 一 特征量数据， 对于存储在眨眼数据存储部10中的眼电图(E 0 G)波形数据中的 各眨眼，该z作为学习数据被存储到第 一 学习数据存储部12 。
36进一步，说明作为学习数据被存储在第一学习数据存储部 1 2中的眨眼波形识别信息数据。
眨眼波形识別信,l数据是对存储在眨眼数据存储部1 0中的
眼电图(EOG)波形数据中的各眨眼赋予识别眨眼种类的眨眼波 形识别信息而得到的数据。
在此，所谓眨眼波形识别信息，具体地说，例如是指识别 后述的被分类的眨眼种类的编号。不仅能够特定存储在数据存 储部10中的各眨眼的眨眼波形识别信息，还能够特定其发生时 刻。
在本实施方式中，根据生理学的观点，将与对象者的觉醒 程度相应的眨眼种类分类成如下。
图6是表示对于某 一 个对象者的第 一 特征量数据z,利用作 为公知的聚类分析法(clustering method)的k-平均法对聚类数 设为12的情况下的眼电图(EOG)波形进行分类的结果的图。
如本例所示那样，将聚类数设为比通常所知的眨眼分类数 还多，由此能够将混入到眨眼EOG波形数据的眼球运动等的误 检测、过度检测分类为与眨眼不同的聚类来进行排除。
Classl(类l):高觉醒时的标准眨眼
Class2(类2):由于睡意眼睑下垂而波高稍樣i变小的眨眼 Class3(类3):为了对抗睡意而有意识的明确的较大眨眼 Class4(类4):在低觉醒状态下发生的波高变得非常小的眨
眼
Class5 7(类5 7):低觉醒状态时的持续时间较长的眨眼 Class8(类8):从低觉醒状态中暂时瞬间觉醒时的眨眼 Class9(类9): 一连串的眨眼
ClasslO(类10) Classl2(类12):在4全测眨眼波形时误一全测、 过度纟企测到的眨眼(受到眨眼以外的眼J求运动的影响的波形，难 以判断是眼球运动还是眨眼的波形等)在上述例子中，十二个聚类被分类成八个眨眼种类，眨眼
波形识别信息表示在眼电图(EOG)波形数据中的各眨眼被分类
到哪种眨眼种类。
眨眼波形模式模型生成部13在收到眨眼波形模式模型的生 成指示的情况下(步骤S100的"是"的分支)，通过第 一学习数据 存储部12从存储装置4 0中获取第 一 特征数据和眨眼波形识别信 息数据(步骤S102)。
然后，将所获取的该第 一特征量数据和眨眼波形识别信息 数据作为学习数据来学习统计模型，生成眨眼波形模式模型(第 一模式模型)(步骤S104),其中，上述眨眼波形模式模型将第一 特征数据作为输入，将对于所输入的第 一特征数据的相对于眨 眼种类(八种)的似然性作为输出。
在本实施方式中，使用HMM作为统计才莫型。
HMM是时间序列信号的概率模型，通过在多个稳定信号源 之间转变而将不稳定的时间序列信号模型化。
例如，由于眨眼的检测状况等，引起一次眨眼时间的眨眼 开始点和结束点多少有些不同等情况，因此与其相应的时间方 向的特征参数也发生变化。
因而，具体地i兌，如图17所示，例如，确定状态it8的HMM, 根据上述获取到的特征参数来计算状态的次数，根据该计算结 果最大似然估计(maxium likelihood estimation)/人某个状态向下 一个状态的转变概率和在某个状态下的特征参数的输出概率， 由此进4亍HMM的学习。
并且，通过该学习而得到的具有转变相克率以及输出相克率的 HMM成为眨眼波形模式模型(第一模式模型)。
如上述那样生成的眨眼波形模式模型(第一模式模型)通过 眨眼波形模式模型存储部14存储到存储装置40的规定区域(步
38骤S106)。
特征量数据生成部15在收到了觉醒状态模式模型的生成指 示的情况下(步骤S108的"是"的分支)，通过第一学习数据存储 部12从存储装置40中获取眨眼波形识别信息数据(步骤S110)。
另外，还能够特定存储在数据存储部10中的各眨眼的发生 时刻。
接着，说明在特征量数据生成部15中作为第二特征量数据 而生成的特征量数据。
在此，图7是表示在从一名对象者收集到的眨眼波形数据中 固定时间区间内的各眨眼种类的发生频率随着时间经过而变化 的情形的说明图。
当对每个眨眼种类的发生频率的经过变化进行分析时，从 实验开始至中盘(20分钟前后)，作为标准眨眼种类的Classl减 少，并且峰高较小的Class2的眨眼种类和明确的较大Class3的眨
眼种类的比率增加。
以20分钟为界限，几乎看不到Classl和Class3的眨眼种类， 之后Class4 7的緩慢的眨眼种类占据大半。
能视为Class8、 Class9的快而小的眨眼种类断续地增减，但 是相对地在实验的后半增加。
根据实验时的考察、观察记录，本对象者从实验初期起感 到较轻的睡意，从中盘至后半感到更强的睡意。
另外，由于外部因素等还发生过暂时的觉醒，但是觉醒状 态继续下降，实验结束之后马上进入睡眠。
才艮据与眨眼种类的特4正的经时变化的对应以及与动态图傳_ 记录的对应，Class2的眨眼中的峥眼状态与觉醒时的标准的 Classl的眨眼中的半睁眼状态类似，认为是由于睡意而眼睑下 垂的状态。与此相对，认为在实^中盘随着Class2的眨眼的增加而增 加的Class3的明确的4交大的眨眼是为了对抗睡意而有意识的眨眼。
从实验的中盘以后到终盘，估计为对象者的觉醒状态显著 下降，因此认为纟皮分类成Class4 7的眨眼是低觉醒时的波形。
因而，通过将固定时间区间内的各眨眼种类的发生比率、 发生次数随着时间经过而变化的情形作为模式识别的对象，能 够判断对象者的觉醒程度。
在本实施方式中，作为使用于模式识别的特征量数据，在 分析区间的系列中求出各眨眼种类的发生比率，使用该发生比 率在某个时间区间内的时间性变化。
图8的(a)是表示作为上述特征量的第二特征量数据的说明图。
作为分析区间，定义单位时间(图中的T)、规定的眨眼次数 等。然后，使分析区间按每个固定的时间间隔(图中的ts)与相邻 的分析区间重叠(overwrap)并求出各眨眼种类的发生比率。
并且，通过将这样求出的各眨眼种类的发生比率汇总少见定 次数(图中的N)来生成第二特征量数据。
如上述那样汇总规定次数而得到的分析区间是分析区间的 系列。例如，在图8的(b)中示出对于八种眨眼种类的第二特征 量数据。
在此，8的(b)的Rj,j表示第j分析区间中的眨眼种类i的发生 比率。在本实施方式中，使用了各眨眼种类的发生比率，但是 由于眨眼的发生频率也赋予到特征量，因此能够使用各眨眼种 类的发生次数(步骤S112)。
进一步，说明作为学习数据而存储在第二学习数据存储部 16中的觉醒状态信息数据。觉醒状态信息数据是对存储在第二学习数据存储部16中的第二特征量数据赋予表示对象者的觉醒 状态的觉醒状态信息而得到的数据。
在本实施方式中，基于根据实验时的生物体/生理数据的判 断、根据考察或观察记录推测出的结果，用高觉醒状态、睡意 对抗状态、低觉醒状态这三种状态来表示实验中的对象者的觉
醒状态，并使用了图9所示的觉醒状态信息数据。在此，眨眼种 类的分类数是9。
另夕卜，在本实施例中将对象者的觉醒状态设为高觉醒状态、 睡意对抗状态、低觉醒状态这三种状态，将眨眼种类的分类数 设为9,但是能够根据应用程序来改变状态数、分类数。
觉醒状态模式模型生成部17通过第二学习数据存储部16将 所生成的第二特征量数据存储到存储装置40的规定区域(步骤 S114)。
接着，觉醒状态模式模型生成部17通过第二学习数据存储 部16从存储装置40中获取第二特征量数据和觉醒状态信息数据 (步骤S116)。
然后，将所获取到的该第二特征量数据和觉醒状态信,包、数 据作为学习数据来学习统计模型，生成眨眼觉醒状态模式模型 (第二模式模型)(步骤S118)，其中，上述觉醒状态模式模型将第 二特征量数据作为输入，将相对于觉醒状态信息的似然性作为 输出。
在本实施方式中，与眨眼波形模式模型(第一模式模型)的 情况同样地，使用HMM作为统计模型。
使用眼电图(EOG)波形lt据作为上述眨眼波形数据，但对 代替它而使用眼睛的动态图像的情况进行说明。
作为具体例，如图10的(a)所示，以眼睛的动态图像中的眼 球部分为中央切出横ll像素x纵30像素的提取区域图像，算出
41构成所切出的提取区域图像的各线(横11像素)的亮度合计值，
例如，生成示出图10的(b)所示的特性的提取区域图像的30条线 的各线的每条线的亮度合计值的数据。
在本实施方式中，对与一次眨眼对应的眨眼波形数据生成 该亮度合计值的数据，成为从各眨眼波形数据中提取的第 一特 征量数据。
此外，作为第一特征量数据，另外还存在对眼睛区域图像 进行频率变换得到的频率频谱成分、该频率频谱成分与前后帧 的帧间差分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC) 成分、眼睛区域图像的帧内力矩成分、帧间力矩成分等以及它 们的组合等。
另外，构成各眨眼波形数据的眨眼图像数据的帧数根据拍 摄单元的性能、眨眼种类等而改变(在使用通常的CCD照相机 (30帧/每秒)的情况下，例如，对于一次眨眼为8 11帧左右)。
在上述第一实施方式中，眨眼数据存々者部10与^又利要求7 所述的眨眼数据存储单元对应，第 一 特征量数据提取部11与权 利要求7所述的特征量数据单元对应，第一学习数据存储部12 与权利要求3所述的学习数据存储单元对应，眨眼波形模式模型 生成部13与权利要求3所述的眨眼波形模式模型生成单元对应， 眨眼波形模式模型存储部16与权利要求7所述的第一模式模型 存储单元对应，特征量数据生成部15与权利要求3所述的特征量 数据生成单元对应，第二学习数据存储部16与权利要求7所述的 第二特征量数据存储单元对应，觉醒状态模式模型生成部17与 权利要求l所述的觉醒状态模式模型生成单元对应，觉醒状态模 式模型存储部18与权利要求7所述的第二模式模型存储单元对 应，觉醒状态模式模型生成部81与权利要求2所述的觉醒状态判 断模型生成装置对应。另外，在上述第一实施方式中，步骤S100 S104与权利要 求14或权利要求19所述的眨眼波形模式模型生成步骤对应，步 骤S106与权利要求16或权利要求21所述的第 一模式模型存储 步骤对应，步骤S108 S112与权利要求14或权利要求19所述的 特征量数据生成步骤对应，步骤S114与权利要求16或权利要求 21所述的第二特征量数据存储步骤对应，步骤S116 S118与权 利要求12或权利要求17所述的觉醒状态模式模型生成步骤对 应，步骤S120与权利要求14或权利要求19所述的第二模式模型 存储步骤对应。
接着，根据

本发明的第二实施方式。图11 图21 是表示本发明所涉及的觉醒状态判断装置、觉醒状态判断程序 以及觉醒状态判断方法的实施方式的图。
首先，根据

本发明所涉及的觉醒状态判断装置的 结构。图11是表示本发明所涉及的觉醒状态判断装置900的结构 的框图。
眨眼种类获取部90获取发生表示各眨眼波形发生的时刻等 的发生时刻信息，其中，上述眨眼波形是伴随着对象者的觉醒 状态的变化的、各分析区间中的被分类为每个特定种类的眨眼 波形。
特征量数据生成部91根据由眨眼种类获取部90获取到的各 眨眼波形的发生时刻信息，对各分析区间求出每个眨眼分类项 目的发生比率、发生次数，对每个分析区间制作发生比率、发 生次数成为要素的数据。该数据是眨眼种类特征量数据。
觉醒状态模式模型存储部92存储在上述第一实施方式的觉 醒状态判断模型生成装置8 0 0中生成的觉醒状态模式模型。
觉醒状态判断部9 3根据在特征量数据生成部91中生成的眨眼种类特征量数据和存储在觉醒状态模式模型存储部92中的觉 醒状态模式模型来判断对象者的觉醒状态。
作为上述进行判断的觉醒状态包含以下状态在从意识明 确的高觉醒状态经过对抗睡意的状态、低觉醒状态等直到瞌睡 为止的期间内阶段性地变化。
例如，包含正常的高觉醒状态、感到睡意的状态、对抗睡 意的状态、感到较强睡意的低觉醒状态、瞌睡状态等。
接着，本实施方式的警告装置具备在上述第一实施方式的 觉醒状态判断模型生成装置10 0中生成的眨眼波形模式模型以 及觉醒状态模式模型，使用这些模式模型，对驾驶员的分析区 间的每个系列的觉醒状态进行识别。
首先，根据

本发明所涉及的警告装置的结构。 图12是表示本发明所涉及的警告装置200的结构的框图。 如图12所示，警告装置200为包括以下部分的结构眨眼数 据获取部20，其获取眨眼数据，该眨眼数据包含驾驶员的至少 一只眼睛的眼睑峥开度的时间变化；眨眼波形模式模型存储部 21,其存储在上述第一实施方式的觉醒状态判断模型生成装置 IOO中生成的眨眼波形模式模型；特征量数据提取部22，其从由 眨眼数据获取部20获取到的眨眼数据中提取第 一特征量数据； 眨眼种类识别部23，其根据存储在眨眼波形模式模型存储部21 中的眨眼波形模式模型和由特征量数据提取部22提取出的第一 特征量数据来识别眨眼波形的种类；特征量数据生成部24，其 根据由眨眼种类识别部23识别的眨眼波形种类的识别结果来生 成第二特征量数据；觉醒状态模式模型存储部25,其存储在上 述第 一 实施方式的觉醒状态判断模型生成装置100中所生成的 觉醒状态模式模型；以及觉醒状态判断部26，其根据在特征量 数据生成部24中生成的第二特征量数据和存储在觉醒状态模式
44模型存储部2 5中的觉醒状态模式模型来判断对象者的觉醒状 太
眨眼数据获取部20具有生物体测量用交流放大器，通过安 装在驾驶员的眼睑的上下的电极，实时地测量垂直EOG(目艮电图 (EOG)波形)。
眨眼波形模式模型存储部21将在上述第一实施方式的觉醒 状态判断模型生成装置100f生成的眨眼波形模式模型存储到 后述的存储装置60的规定区域。
与上述第一实施方式同样地，特征量数据提取部22从由眨 眼数据获取部20获取到的眨眼的眼电图(EOG)波形数据(眨眼 波形数据)中提取第 一特征量数据作为特征量数据，该第 一特征 量数据是根据眨眼波形的峰高(距离)xl 、从眨眼开始到峰高为 止的上升时间x2、 乂人峰高到眨眼结束为止的下降时间x3这三种
特征参数而求出的数据。
眨眼种类识别部23根据存储在眨眼波形模式模型存储部21 中的眨眼波形模式模型和由特征量数据提取部22提取出的第一
特征量数据来识别眨眼波形的种类。
特征量H据生成部2 4根据由眨眼种类识别部2 3识别的眨眼
波形种类的识别结果来生成第二特征量数据，并输出到觉醒状 态判断部26。
即，首先，在分析区间的系列中求出各眨眼种类的识别结 果的发生比率、发生次数，作为第二特征量数据，使用该发生 比率、发生次数的某个时间区间内的时间性变化。
觉醒状态模式模型存储部2 5将在上述第 一 实施方式的觉醒 状态判断模型生成装置10 0中生成的觉醒状态模式模型存储到 后述的存储装置60的规定区域。
觉醒状态判断部26根据在特征量数据生成部24中生成的第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状 态模式模型来判断对象者的觉醒状态。
作为上述进行判断的觉醒状态包含以下状态在从意识明 确的高觉醒状态经过对抗睡意的状态、低觉醒状态等直到瞌睡 为止的期间内阶段性地变化的状态。
例如，包括正常的高觉醒状态、感到睡意的状态、对抗睡 意的状态、感到较强睡意的低觉醒状态、瞌睡状态等。
警告装置200为还包含警告部27的结构，该警告部27根据觉 醒状态判断部2 6的判断结果对驾驶员提供警告。
警告部2 7根据觉醒状态判断部2 6的判断结果对驾驶员提供 与觉醒状态的内容相应的警告。
具体地说，例如，在判断为感到较轻睡意的情况下输出建 议休息的语音消息，在判断为对抗睡意的状态的情况下，用稍 大的音量输出警告音，在判断为感到较强睡意的低觉醒状态或 者瞌睡状态的情况下，用非常大的音量、较强的消息内容输出 警告音。
并且，警告装置200具备用于在软件上实现上述各部的控制 的计算才几系统，如图13所示，该石更件结构为如下通过由 PCI(Peripheral Component Interconnect)总线、ISA(Industrial Standard Architecture)总线等构成的各种内外总线58连接承担 各种控制和运算处理的作为中央运算处理装置的CPU(Central Processing Unit)50 、 构成主存々者装置(Main Storage)的 RAM(Random Access Memory)52和作为读耳又专用的存储装置的 ROM(Read Only Memory)54之间，并且通过#T入输出接口 (I/F)56将HDD(Hard Disk Drive)等内部或外部存储装置 (Secondary Storage)60、 LCD显示器等输出装置62、操作面板或 遥控器等输入装置64以及未图示的用于与外部装置等进行通信的网络L等连接在该总线58上。
然后，当接通电源时，存储在ROM 54等中的BIOS等系统 程序，将预先存储在ROM54中的各种专用计算机程序、或者通 过CD-ROM、 DVD-ROM、软盘(FD)等存+者介质或通过因特网 等通信网络L而安装在存储装置60中的各种专用计算机程序加 载到RAM 52中，CPU 50按照加载在该RAM 52中的程序中所记 述的命令驱使各种资源进行规定的控制以及运算处理，由此能 够在软件上实现上述那样的各单元的各功能。
(第二实施方式的动作)
接着，根据图14说明具有这种结构的警告装置200中的第一 特征量数据的提取处理的流程。
在此，图14是表示警告装置200中的第一特征量数据的提取 处理的流程图。
第一特征量数据的数据提取处理如图14所示，首先转移到 步骤S200,在特征量数据提取部23中获取由眨眼数据获取部21 获取到的眨眼的眼电图(EOG)波形数据(眨眼波形数据)，转移到 步骤S202。
在步骤S202中，在特征量数据提取部22中，与上述第一实 施方式同样地，从在步骤S200中获取到的眨眼波形数据中提取 第一特征量数据作为特征量数据，转移到步骤S204,其中，上 述第一特征量数据是根据不同单位的多个特征参数而求出的数据。
在步骤S204中，在眨眼种类识别部23中，/人眨眼波形才莫式 模型存储部21中获取眨眼波形模式模型，根据所获取到的该眨 眼波形模式模型和在步骤S202中提取出的第一特征量数据，对 与该第 一 特征量数据对应的眨眼种类进行识别，然后结束处理。
在本实施方式中使用HMM作为眨眼波形模式模型，该眨眼
47波形模式模型将第一特征量数据作为输入，将相对于驾驶员的 眨眼种类的似然性作为输出。
图18的(a)是表示第二特征量数据的说明图。作为分析区 间，定义单位时间(图中的T)、身见定的眨眼次凄t等。
并且，4吏分析区间4姿每个固定时间间隔内(图中的ts)与相邻 的分析区间重叠，并求出各眨眼种类的发生比率。
次数(图中的N)来生成第二特征量数据。
上述被汇总规定次数的分析区间是分析区间的系列。例如， 在图18的(b)中示出对于八种眨眼种类的第二特征量数据。
在本实施方式中，使用了各眨眼种类的发生比率，但是还 能够使用各眨眼种类的发生次数。
接着，根据图15说明警告装置200中的第二特征量数据生成 处理的流程。
在此，图15是表示警告装置200中的第二特征量数据生成处 理的流程图。
第二特征量数据生成处理如图15的流程图所示，首先在步 骤S300中，在特征量数据生成部25中判断第二特征量数据生成 处理是否结束，在判断为结束的情况下(是)，结束处理，在判 断为未结束的情况下(否)，转移到步骤S302。
在转移到步骤S 3 02的情况下，在特征量数据生成部2 4中判
断是否从眨眼种类识别部23中获取到了识别结果，在判断为获
取到的情况下(是)，转移到步骤S304,在判断为未获取到的情
况下(否)，待机到获取为止。
在本实施方式中，识别结果包含识别结果的眨眼种类的信 息和与第 一 特征量数据对应的眨眼波形数据的发生时刻的信
自、
48在转移到步骤S 3 04的情况下，在特征量数据生成部2 5中将 识别结果存储到RAM 62或者存储装置60的规定区域中，转移到 步骤S306。
在本实施方式中，优先使用RAM52,根据RAM52的存储 容量而适当地变更存储目的地。
在步骤S306中，在特征量数据生成部24中判断识别结果的 时刻时间是否超过了第二特征量数据更新时刻(tupdate=nts)，在判 断为超过的情况下(是)，转移到步骤S310,在判断为未超过的 情况下(否)，转移到步骤S308。其中，n是O以上的整数，ts是更 新时间间隔。
在本实施方式中，在警告装置200的动作开始时，复位时间
t以及t—ate (t=0、 tupdate=0)。
在转移到步骤S 3 0 8的情况下，在特量数据生成部2 4中使 用在步骤S304中存储的识别结果更新第二特征量数据用的存 储区域，转移到步骤S302。
在图18的(b)中示出该第二特征量数据用的储存区域。第二 特征量数据整体被存储到存储区域70，在构成存储区域70的一 部分的存储区域71中，对与该识别结果所表示的眨眼种类一致 的眨眼种类的识别结果的发生次数加1 。
在转移到步骤S310的情况下，在特征量数据生成部24中， 根据存储在存储区域中的各眨眼种类的识别结果的发生次数， 求出各自的发生比率、发生次数，用该发生比率、该发生次数 来覆盖存储区域，转移到步骤S312。
在步骤S312中，在特征量数据生成部24中，根据存储在储 存区域中的各眨眼种类的识别结果的发生比率的时间变化、发 生次数的时间变化来生成第二特征量数据，转移到步骤S 314 。
在步骤S314中，在特征量数据生成部24中，将在步骤S312中生成的第二特征量数据存储到RAM 52或者存储装置60的规 定区域，转移到步骤S300。
接着，根据图16说明警告装置200中的觉醒状态判断处理以 及警告处理的流程。
在此，图16是表示警告装置200中的觉醒状态判断处理以及 警告处理的流程图。
觉醒状态判断处理以及警告处理如图16的流程图所示，首 先转移到步骤S400，在觉醒状态判断部26中判断觉醒状态判断 处理是否结束，在判断为结束的情况下(是)，结束处理，在判 断为未结束的情况下(否)，转移到步骤S402。
在转移到步骤S 402的情况下，在觉醒状态判断部2 6中判断 是否从特征量数据生成部24中获取了第二特征量数据，在判断 为获取到的情况下(是)，转移到步骤S404,在判断为未获取到 的情况下(否)，待机到获取为止。
在转移到步骤S 404的情况下，在觉醒状态判断部2 6中根据 在步骤S402中获取的第二特征量数据和存储在觉醒状态模式 模型存储部25中的觉醒状态模式模型来判断驾驶员的觉醒状 态，转移到步骤S406。
在本实施方式中，使用HMM作为觉醒状态模式模型，该觉 醒状态模式模型将第二特征量数据作为输入，将相对于表示驾 驶员的觉醒状态的觉醒状态信息的似然性作为输出。
在步骤S406中，在警告部27中根据步骤S404的判断结果来 判断驾驶员是否为感到睡意的状态，在判断为是感到睡意状态 的情况下(是)，转移到步骤S408,在判断为不是感到睡意状态 的情况下(否)，转移到步骤S410。
在转移到步骤S408的情况下，在警告部28中执行警告处理 (1),转移到步骤S400。在此，当执行警告处理(l)时，输出建议休息的语音消息。
另一方面，在转移到步骤S410的情况下，在警告部27中判 断驾驶员是否为对抗睡意的状态，在判断为是对抗睡意状态的 情况下(是)，转移到步骤S412，在判断为不是对抗睡意状态的 情况下(否)，转移到步骤S414。
在转移到步骤S412的情况下，在警告部27中执行警告处理
(2) ,转移到步骤S400。在此，当执行警告处理(2)时，从设置在 车内的扬声器以稍大的音量(例如50%的音量)输出警告音以及 警告消息。
另一方面，在转移到步骤S414的情况下，在警告部27中判 断是否为感到较强睡意的低觉醒状态或者瞌睡状态，在判断为 是感到较强睡意的低觉醒状态或者瞌睡状态的情况下(是)，转 移到步骤S416,在判断为不是感到较强睡意的低觉醒状态或者 瞌睡状态的情况下(否)，转移到步骤S400。
在转移到步骤S416的情况下，在警告部27中执行警告处理
(3) ,转移到步骤S402。在此，当执行警告处理(3)时，从设置在 车内的扬声器以极大的音量(例如70%以上的音量)输出警告音 以及警告消息。
使用了眼电图(EOG)波形数据作为上述眨眼波形数据，但 对代替它而使用眼睛的动态图像的情况进行说明。
眨眼数据获取部20利用设置在汽车内的内视镜上的CCD照 相机以帧单位实时地拍摄坐在驾驶座上的驾驶员的脸部图像。
此外，将所拍摄到的脸部影像作为数字脸部影像数据而输 出。此外，CCD照相机的设置位置并不限于内视镜上，只要是 能够拍摄到包含摄像对象者的脸部整体的图像的位置，也可以 为转向柱位置、中央面板位置、前柱位置等其它位置。
特征量数据提取部22使用SVM从由眨眼数据获取部20拍摄得到的驾驶员的脸部影像数据中提取眼部的影像数据，并且 从所提取出的该眼部影像数据中提取特征量数据。
在上述例子中，在从驾驶员的脸部图像中提取眼部的影像
数据时使用S V M,但是也可以使用其它的脸部器官检测算法进 行眼部的^^是取。
然后，关于特征量数据的提取，具体地说，与已述第一实 施方式同样地，从构成右眼部的影像数据的各眨眼图像数据中， 以眼球为中央切出横ll像素x纵30像素的提取区域图像，算出 该提取区域图像的各像素线(横11像素)的每个像素线的亮度合 计值，将该算出的亮度合计值数据(一次的眨眼影像)作为特征 量数据。
此外，作为特征量数据，另外还存在对眼睛区域图像进行 频率变换而得到的频率频谱成分、该频率频谱成分与前后帧的 帧间差分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC)成 分、眼睛区域图像的帧内力矩成分、帧间力矩成分等以及它们 的组合等。
在警告装置200中，特征量数据提取部22从眨眼数据获取部 21中获取眨眼波形数据(步骤S200)。
然后，与上述第一实施方式的模式模型生成装置100中的第
一特征量数据提取部11同样地，从所获取到的该眨眼波形数据 中提取第一特征量数据作为特征量数据(步骤S202)，该第一特 征量数据是根据眨眼波形的峰高(距离)xl、从眨眼开始到峰高 为止的上升时间x2、从峰高到眨眼结束为止的下降时间x3这三 种特征参数而求出的数据。
当提取特征量数据时，眨眼种类识别部2 3通过眨眼波形模 式模型存储部21获取存储在存储装置60中的眨眼波形模式模 型，对所获取到的该眨眼波形模式模型输入第一特征量数据，根据从眨眼波形模式模型输出的相对于各眨眼种类
(Classl Classl2)的似然性来识别眨眼种类(步骤S204)。然后， 将识别结果输出到特征量数据生成部2 4 。
特征量数据生成部24在每次获取上述识别结果时(步骤 S302的"是"的分支)，将该识别结果存储到RAM 52或者存储装 置60的规定区域(步骤S304)。
在此，如上所述，识别结果是包含与识别时的第一特征量 数据对应的眨眼波形数据的获取时刻信息和识别得到的眨眼种 类信息的信息。
然后，判断识別结果的时刻时间是否超过第二特征量数据 更新时刻(t—ate^nts)(步骤S306)。
在判断为识别结果的时刻时间超过第二特征量数据更新时 刻的情况下(步骤S306的"是"的分支)，根据存储在储存区域中 的各眨眼种类的识别结果的发生次数，求出各自的发生比率、 发生次数，用该发生比率、该发生次数覆盖储存区域(步骤 S310)。
根据如上述那样存储在储存区域中的各眨眼种类的识别结 果的发生比率的时间变化、发生次数的时间变化来生成第二特 征量数据(步骤S312)。
另外，将第二特征量数据存储到RAM 52或者存储装置60 的规定区域(步骤S314)。
另 一 方面，在判断为识别结果的时刻时间未超过第二特征 量数据更新时刻的情况下(步骤S306的"否"的分支)，在特征量 数据生成部24中，使用在步骤S304中存储的识别结果对第二特 征量数据用的储存区域进行更新(步骤S308)。
当从特征量数据生成部24获取第二特征量数据时(步骤 S402的"是"的分支)，觉醒状态判断部26根据第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模式模型来判 断驾驶员的觉醒状态(步骤S404)。
在附图的例子的情况下，从开始阶段起暂时判断为驾驶员 感到较轻睡意(步骤S406的"是"的分支)，在警告部28中执行警 告处理(l)，输出促使休息的语音消息(步骤S408)。
另夕卜，从中途到中盘为止判断为驾驶员感到睡意(步骤S410 的"是，，的分支)，在警告部28中执行警告处理(2),以最大音量 500/()的音量输出警告音(步骤S412)。
另外，从中盘到后半为止判断为驾驶员感到较强睡意或者 是瞌睡状态(步骤S414的"是"的分支)，在警告部28中执行警告 处理(3)，以最大音量70%以上的音量输出警告音(步骤S414)。
在上述例子中，使用了眼电图(EOG)波形数据作为眨眼波 形数据，但对代替它而使用眼睛的动态图像的情况进行说明。
在特征量数据提取部22中，从眨眼数据获取部21中获取眼 睛的动态图像(步骤S200)。并且，特征量数据提取部22使用SVM 从获取到的眼睛的动态图像中检测右眼的眨眼影像数据，从所 检测出的该眨眼影像数据中提取特征量数据(步骤S202)。
该特征量数据的提取使用与已述的第 一 实施方式的觉醒状 态判断模型生成装置100中的第一特征量数据提取部ll相同的 方法。
即，提取构成与一次眨眼对应的眨眼影像数据的、各眨眼 图像数据中的提取区域图像的30条线的各线的每条线的亮度合 计值的数据作为特征量数据。
此外，作为特征量数据，另外还存在对眼睛区域图像进行 频率变换的频率频i普成分、该频率频语成分与前后帧的帧间差
分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC)成分、眼睛 区域图像的帧内力矩成分、帧间力矩成分等以及它们的组合等。接着，为了确认本发明的效果，在图19 图21中示出判断 对象者的觉醒状态得到的结果的例子。
图19的(a)是表示在眨眼波形数据是眼电图(EOG)波形数 据、使用 一 名特定对象者(以下称为对象者A)的眨眼波形模式模 型和觉醒状态模式模型的情况下根据由眨眼种类识别部2 3识另'J 的对象者A的眨眼波形种类的识别结果而得到的固定时间区间 内的各眨眼种类的发生频率的一例的图。
另外，图19的(b)是表示觉醒状态判断部26基于特征量数据 生成部24根据上述的眨眼波形种类的识别结果而生成的第二特 征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模 式模型来判断对象者A的觉醒状态所得到的结果。
另外，图20的(a)是表示在眨眼波形数据是眼睛的动态图 像、使用了与图19相同的特定对象者A的眨眼波形模式模型和 觉醒状态模式模型的情况下根据由眨眼种类识别部2 3识别的对 象者A眨眼波形种类的识别结果而得到的固定时间区间内的各 眨眼种类的发生频率的一例的图。
另外，图20的(b)是表示觉醒状态判断部26基于特征量数据 生成部24根据上述的眨眼波形种类的识别结果而生成的第二特 征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模 式模型来判断对象者A的觉醒状态所得到的结果。
根据这些结果可知在作为眨眼波形数据使用眼电图(E 0 G) 波形数据的情况和使用眼睛的动态图像的情况下，在图19的(b) 和图20的(b)中示出的觉醒状态判断结果都再现了图9中的从根 据实验时的生物体/生理数据的判断、考察、观察记录中推测出 的对象者A的觉醒状态。
并且，示出觉醒状态判断结果判断比图9所示的从根据实验 时的生物体/生理数据的判断、考察、观察记录中推测出的觉醒状态更详细的对象者A的觉醒状态的转移，能够快速地捕捉觉 醒状态变化的前兆。
另 一方面，图21的(a)是表示在眨眼波形数据是与眼睛的动 态图像有关的数据、使用了不特定对象者的眨眼波形模式模型 和觉醒状态模式模型的情况下根据由眨眼种类识别部2 3识别的 对象者A的眨眼波形种类的识别结果而得到的固定时间区间内 的各眨眼种类的发生频率的一例的图。
用于觉醒状态判断模型生成装置IOO生成该不特定对象者 的眨眼波形模式模型而使用的学习数据是从四名对象者(对象 者A、 B、 C、以及D)的眨眼波形数据(眼睛的动态图像)中提取 出的第 一 特征量数据和这些四名对象者的眨眼波形识别信息数 据。
另外，图21的(d)是表示觉醒状态判断部26基于特征量数据 生成部24根据上述的眨眼波形种类的识别结果而生成的第二特 征量数据和存储在觉醒状态模式模型存储部25中的不特定对象 者的觉醒状态模式模型来判断对象者A的觉醒状态所得到的结 果。
觉醒状态判断模型生成装置100使用与四名对象者(对象者 A、 B、 C、以及D)有关的学习数据来生成该不特定的对象者的 觉醒状态模式模型。
可知在使用了不特定对象者用的眨眼波形模式模型和觉醒 状态模式模型的情况下，图21的(d)中示出的觉醒状态判断结果 再现了表示从根据实验时的生物体/生理数据的判断、考察、观 察记录而推测出的对象者A的觉醒状态的图21(b)。
因而，通过在眨眼波形模式模型和觉醒状态模式模型中使 用不特定对象者用模型，不需要预先准备与每个对象者对应的 专用模型就能够判断觉醒状态的转变。在上述例子中，在眨眼波形模式模型和觉醒状态模式模型 这两个模型中都使用了特定对象者模型或者不特定对象者模 型，但是还可以是在一个模型中使用特定对象者模型、在另一 个模型中使用不特定对象者模型的组合。
并且，在图21的(c)、图21的(d)、图22中示出将利用本发明
比较的情况下的例子。在作为比较对象的现有技术中，对多个 特定种类的眨眼波形模式的发生频率设置规定的阈值指标来判 断对象者的觉醒状态。
图21的(c)示出使用现有技术来判断对象者A的觉醒状态的 例子。对象者A的眨眼波形数据是眼睛的动态图像。另外，使 用上述的不特定对象者的眨眼波形模式模型作为眨眼波形模式 模型。
通过对固定时间区间内的各眨眼种类的发生频率i殳置^L定 的阈值指标来进行觉醒状态的判断。
具体地说，规定阈值指标使得与从根据实验时的生物体/ 生理数据的判断、考察、观察记录中推测出的对象者A的觉醒 状态即图21的(b)最接近。
其结果，21的(d)示出与利用本发明进行的对象者A的觉醒 状态的判断结果即图21的(c)进行比较时有若干差异、但类似的 结果。
图2 2的(a)是表示在眨眼波形数据是眼睛的动态图像、使用 了不特定对象者的眨眼波形模式模型和觉醒状态模式模型的情 况下4艮据由眨眼种类识别部23识别的对象者B的眨眼波形种类 的识别结果而得到的固定时间区间内的各眨眼种类的发生频率 的一例的图。察、观察记录中推测出的对象者B的觉醒状态。
图22的(c)表示使用现有技术、使用对对象者A使用的阈值 指标来判断对象者B的觉醒状态的例子。
图22的(d)表示利用本发明来判断对象者B的觉醒状态的例子。
在现有技术中，不仅存在觉醒状态信息数据中的高觉醒状 态区间和低觉醒状态区间两者中分别误判断为低觉醒状态和高 觉醒状态的情况，而且在睡意对抗状态区间中对睡意对抗状态 的判断失败。
即，表示无法将对特定对象者所使用的阈值指标使用于其 它对象者。
另一方面，在本发明中，在觉醒状态信息数据中的高觉醒 状态区间内4又才及短时间误判断为睡意对抗状态，在^f氐觉醒状态 区间内^f又才及短时间误判断为高觉醒状态。
另外，在睡意对抗状态区间的后半中判断为睡意对抗状态。 这样，本发明的觉醒状态的判断结果与现有技术相比更接近觉 醒状态信息数据。即，表示能够进行使用了不特定对象者用模 型的判断。
另外，作为使用以HMM为代表的统计模式模型的识别的应 用而已知有语音识别，但是在本发明的觉醒状态判断和语音识 别中，作为对象的特征量在本质上不同。
具体地说，通常语音识别的识别对象是人发出的音素，作 为音素之间的特征量的差由于发声人、发声状况的差异而即使 是相同音素也分布比较宽，但是每个音素的特征量是离散的。
与此相对，由于眨眼数据是生理/生物体数据，因此成为识 别对象的眨眼波形的变化从与对象者的觉醒状态的变化相应地 从某种种类连续地变化到另外的种类，眨眼种类间的差在本质上是连续的。
在作为两者的识别对象的特征量中存在这种本质上的差， 本发明的觉醒状态判断在以从与对象者的觉醒状态相应地连续 的从某个种类向其它种类变化的眨眼波形作为对象、使用模式 模型对固定时间区间内的各眨眼波形种类的发生频率进行识别 这 一 点上与语音识别的模式识别存在本质上不同。
在上述第二实施方式中，眨眼数据获取部20与权利要求6 所述的眨眼数据获取单元对应，存储在眨眼波形模式模型存储 部21中的眨眼波形模式模型与权利要求6所述的第一模式模型 对应，特征量数据提取部22与权利要求6所述的第 一 特征量数据 提取单元对应，眨眼种类识别部23与权利要求6所述的眨眼波形 识别单元对应，特征量数据生成部24与权利要求6所述的第二特 征量数据生成单元对应，存储在觉醒状态模式模型存储部25中 的觉醒状态模式模型与权利要求6所述的第二模式模型对应，觉 醒状态判断部26与^又利要求6所述的觉醒状态判定单元对应，警 告部27与权利要求10所述的警告单元对应。
另外，在上述第二实施方式中，步骤S200与权利要求15或 权利要求20所述的眨眼数据获取步骤对应，步骤S202与权利要 求15或权利要求20所述的第一特征量数据提取步骤对应，步骤
应，步骤S300 S314与权利要求15或权利要求20所述的第二特 征量数据生成步骤对应，步骤S400 S404与权利要求15或权利 要求20所述的觉醒状态判断步骤对应。
此外，在上述第一实施方式中，对由HMM构成模式模型的 例子进行了说明，但是并不限于此，也可以由SVM、神经网络 等其它统计模型构成。
另外，在上述第一以及第二实施方式中，提取从眼睛的动态图像中切出的提取部分图像的每条线的亮度合计来作为第一 特征量数据，但是并不限于此，也可以对眨眼图像数据进行傅 立叶变换并提取其频率频谱成分作为特征量等提取其它特征量。
另外，在上述第二实施方式中，根据第二特征量数据判断 对象者(驾驶员)的觉醒状态，但是并不限于此，也可以根据第
二特征量数据判断对象者的紧张状态、疲劳状态等对象者的其 它状态。
另外，在上述第一以及第二实施方式中，第二特征量数据 仅由分析区间的系列中的特定种类的每个眨眼波形的发生比 率、发生次数的时间变化构成，但是也可以进一步增加分析区 间的系列中的眨眼次数的时间变化或者闭眼时间的累计值的时 间变化等与觉醒状态有关的特征量。
产业上的可利用性
本发明除了被视为对觉醒状态的判断有效的特定种#的眨 眼的发生频率、特定种类的眨眼的一连串的发生等规定时间内 的特定种类眨眼的发生频率的变化以外，还能够根据与分析区 间的系列中的各特定种类的眨眼的发生比率有关的数据来进行 高精确度的觉醒状态的判断。
因此，能够判断成为完全瞌睡状态之前的向瞌睡状态转移 的驾驶员的觉醒程度(状态)、对抗睡意的觉醒程度(状态)等。
因而，适合于以下技术领域通过对要睡着的状态下的对 象者提供警告音、光的闪烁等警告来预先防止事故发生。
并且，同样地，还能够根据与特定种类的眨眼的发生频率 信息有关的数据来判断驾驶员的紧张状态、疲劳状态等，辅助 驾驶员的驾驶。
权利要求
1.一种生理状态判断模型生成装置，生成判断对象者的生理状态的模式模型，其特征在于，根据生理状态信息数据和生理现象特征量数据来生成通过统计模型进行了模型化的生理状态模式模型，其中，上述生理状态信息数据是根据生理数据而求出的数据，上述生理现象特征量数据包含与生理现象的每个分类项目的发生比率有关的数据，上述生理状态模式模型输出相对于生理状态信息的似然性。
1. (删除)
2. (删除)
3. —种觉醒状态判断模型生成装置，生成判断对象者的觉 醒状态的统计模型，其特征在于，具备学习数据存储单元，其存储第一特征量数据和眨眼波形识 别信息数据，其中，上述第一特征量数据为从各对象者眨眼时 的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识眼波形的眨眼波形识别信息而得到的数据；眨眼波形模式模型生成单元，其将存储在上述学习数据存 储单元中的上述第 一 特征量数据和上述眨眼波形识别信息数据 作为学习数据来学习统计模型，生成第一模式模型，该第一模 式模型将上述第一特征量数据作为输入，将对于该第一特征量 数据的眨眼波形识别信息的似然性作为输出；特征量数据生成单元，其根据存储在上述学习数据存储单 元中的上述眨眼波形识别信息数据来生成第二特征量数据，该 第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及觉醒状态模式模型生成单元，其将上述第二特征量数据和 觉醒状态信息数据作为学习数据来学习统计模型，生成第二模 式模型，其中，上述第二特征量数据是由上述特征量数据生成 单元生成的数据，上述觉醒状态信息数据是对上述分析区间的 每个系列赋予表示上述各对象者的觉醒状态的觉醒状态信息而 得到的数据，上述第二模式模型将上述第二特征量数据作为输 入，将对于该第二特征量数据的觉醒状态信息的似然性作为输 出。
4. 根据权利要求3所述的觉醒状态判断模型生成装置，其特征在于，上述眨眼数据是眼电图(E O G)波形的数据或者眼睛的动态图像。
5.根据权利要求3或4所述的觉醒状态判断模型生成装置， 其特征在于，生次凄t的时间变化。
6. 根据权利要求3至5中的任一项所述的觉醒状态判断模型 生成装置，其特征在于，上述统计模型是HMM(Hidden Markov Model)。
7. 根据权利要求3至6中的任一项所述的觉醒状态判断模型 生成装置，其特征在于，上述觉醒状态判断模型生成装置还具备眨眼数据存储单元，其存储各上述对象者眨眼时的至少一 只眼睛的上述眨眼数据；特征量数据提取单元，其从眨眼数据中提取上述第一特征 量数据，其中，从上述眨眼数据存储单元中获取该眨眼数据；第一模式模型存储单元，其存储由上述眨眼波形模式模型 生成单元生成的第一模式模型；第二特征量数据存储单元，其存储由上述特征量数据生成单元生成的上述第二特征量数据；以及第二模式模型存储单元，其存储由上述觉醒状态模式模型生成单元生成的第二模式模型。
8. —种觉醒状态判断装置，判断对象者的觉醒状态，其特 征在于，具备眨眼数据获取单元，其获取上述对象者的眨眼时的至少一 只眼睛的眨眼数据；第一模式模型，其是由权利要求3至7中的任一项所述的觉醒状态判断模型生成装置生成的模式模型；第 一特征量数据提取单元，其从眨眼数据中提取与上述第 一模式模型对应的第一特征量数据，其中，上述眨眼数据是由上述眨眼数据获取单元获取到的眨眼数据；眨眼波形识别单元，其根据由上述第 一 特征量数据提取单 元提取出的第一特征量数据和上述第一模式模型来识別与上述 第 一特征量数据对应的特定种类的眨眼波形；第二特征量数据生成单元，其根据上述眨眼波形识别单元对于在分析区间的系列中获取到的上述对象者的眨眼数据的识 别结果来生成第二特征量数据，该第二特征量数据包含与每个 上述特定种类的眨眼波形的发生比率有关的数据；第二模式模型，其是由权利要求1至5中的任一项所述的觉 醒状态判断模型生成装置生成的模式模型；以及觉醒状态判断单元，其根据由上述第二特征量数据生成单 元生成的第二特征量数据和上述第二模式模型来判断上述对象 者的觉醒状态。
9. 根据权利要求8所述的觉醒状态判断装置，其特征在于， 上述眨眼数据是眼电图(EOG)波形的数据或者眼睛的动态图像。
10. 根据权利要求6或7所述的觉醒状态判断装置，其特征 在于，与上述发生比率有关的数据是发生比率的时间变化或者发 生次数的时间变化。
11. 根据权利要求6至8中的任一项所述的觉醒状态判断装 置，其特征在于，上述第一模式模型和上述第二模式模型是HMM(Hidden Markov Model)。
12. —种警告装置，其特征在于，具备 权利要求8至11中的任一项所述的觉醒状态判断装置；以及 警告单元，其根据上述觉醒状态判断装置中的上述觉醒状态的判断结果来对上述对象者提供警告。
13. —种车辆，其特征在于， 具备权利要求12所述的警告装置。
14. 一种觉醒状态判断模型生成方法，生成判断对象者的 觉醒状态的统计模型，其特征在于，包括以下步骤学习数据存储步骤，存储第 一 特征量数据和眨眼波形识别 信息数据，其中，上述第一特征量数据是从各对象者的眨眼时 的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识 别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨 眼波形的眨眼波形识别信息而得到的数据；眨眼波形模式模型生成步骤，将在上述学习数据存储步骤 中存储的上述第 一 特征量数据和上述眨眼波形识别信,包、数据作 为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数 据的眨眼波形识别信息的似然性作为输出；特征量数据生成步骤，根据在上述学习数据存储步骤中存 储的上述眨眼波形识别信息数据，生成第二特征量数据，该第 二特征量数据包含与分析区间中的每个上述特定种类的眨眼波 形的发生比率有关的数据；以及觉醒状态模式模型生成步骤，将上述第二特征量数据和觉 醒状态信息数据作为学习数据来学习统计模型，生成第二模式 模型，其中，上述第二特征量数据是在上述特征量数据生成步骤中生成的数据，上述觉醒状态信息数据是对上述分析区间的 每个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而 得到的数据，上述第二模式模型将上述第二特征量数据作为输 入，将对于该第二特征量数据的觉醒状态信息的似然性作为输 出。
15. 根据权利要求14所述的觉醒状态判断模型生成方法，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发 生次数的时间变化。
16. 根据权利要求14或15所述的觉醒状态判断模型生成方 法，其特征在于，上述觉醒状态判断模型生成方法还具备以下步骤眨眼数据存储步骤，将各上述对象者的眨眼时的至少 一只 眼睛的上述眨眼数据存储在眨眼数据存储单元中；特征量数据提取步骤，从存储在上述眨眼数据存储单元中 的眨眼数据中提取上述第 一特征量数据；第一模式模型存储步骤，存储在上述眨眼波形模式模型生 成步骤中生成的第一模式模型；第二特征量数据存储步骤，存储在上述特征量数据生成步骤中生成的上述第二特征量数据；以及第二模式模型存储步骤，存储在上述觉醒状态模式模型生成步骤中生成的第二模式模型。
17. —种觉醒状态判断方法，判断对象者的觉醒状态，其 特征在于，具备以下步骤眨眼数据获取步骤，获取上述各对象者的眨眼时的至少一 只眼睛的眨眼数据；第一特征量数据提取步骤，从在上述眨眼数据获取步骤中获取到的眨眼数据中提取与第一模式模型对应的第一特征量数据，其中，上述第一模式模型是通过权利要求14至16中的任一 项所述的觉醒状态判断模型生成方法而生成的模式模型；眨眼波形识别步骤，根据在上述第 一 特征量数据提取步骤 中提取出的第 一 特征量数据和上述第 一 模式模型来识别与上述 第 一 特征量数据对应的特定种类的眨眼波形；第二特征量数据生成步骤，根据上述眨眼波形识别步骤对 于在分析区间的系列中获取到的上述对象者的眨眼数据的识别 结果来生成第二特征量数据，该第二特征量数据包含与每个上述特定种类的眨眼波形的发生比率有关的数据；以及觉醒状态判断步骤，根据在上述第二特征量数据生成步骤 中生成的第二特征量数据和第二模式模型来判断上述对象者的觉醒状态，其中，上述第二模式模型是通过权利要求14至16中 的任 一 项所述的觉醒状态判断模型生成方法而生成的模式模型。
18. 根据权利要求17所述的觉醒状态判断方法，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发 生次数的时间变化。
19. (修改后)一种觉醒状态判断模型生成程序，生成判断 对象者的觉醒状态的统计模型，其特征在于，使计算机作为如 下单元发挥作用学习数据存储单元，其存储第一特征量数据和眨眼波形识 别信息数据，其中，上述第一特征量数据是从各对象者的眨眼 时的至少一只眼睛的眨眼数据中提耳又出的凄t据，上述眨眼波形 识别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的 眨眼波形的眨眼波形识别信息而得到的数据；眨眼波形模式模型生成单元，其将存储在上述学习数据存储单元中的上述第 一 特征量数据和上述眨眼波形识另'j信,包-数据 作为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数据的眨眼波形识别信息的似然性作为输出；特征量数据生成单元，其根据存储在上述学习数据存储单 元中的上述眨眼波形识别信息数据来生成第二特征量数据，该 第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及觉醒状态模式模型生成单元，将上述第二特征量数据和觉 醒状态信息数据作为学习数据来学习统计模型，生成第二模式 模型，其中，上述第二特征量数据是由上述特征量数据生成单元生成的数据，上述觉醒状态信息数据是对上述分析区间的每 个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而得 到的数据，上述第二模式模型将上述第二特征量数据作为输入， 将该对于第二特征量数据的觉醒状态信息的似然性作为输出。 20.根据权利要求19所述的觉醒状态判断模型生成程序， 其特征在于，生次数的时间变化。
21.(修改后)根据权利要求19或2 0所述的觉醒状态判断模 型生成程序，其特征在于，还使计算机作为如下单元发挥作用眨眼数据存储单元，其存储各上述对象者的眨眼时的至少 一只眼睛的上述眨眼数据；特征量数据提取单元，其从存储在上述眨眼数据存储单元 中的眨眼数据中提取上述第 一 特征量数据；第一模式模型存储单元，其存储由上述眨眼波形模式模型 生成单元生成的第一模式模型；第二特征量数据存储单元，其存储由上述特征量数据生成单元生成的上述第二特征量数据；以及第二模式模型存储单元，其存储由上述觉醒状态模式模型生成单元生成的第二模式模型。
22. (修改后)一种觉醒状态判断程序，判断对象者的觉醒 状态，其特征在于，使计算机作为如下单元发挥作用眨眼数据获取单元，其获取上述对象者的眨眼时的至少一 只 眼睛的眨眼数据；第一特征量数据提取单元，其从由上述眨眼数据获取单元 获取到的眨眼数据中提取与第 一模式模型对应的第 一特征量数 据，其中，上述第一模式模型是通过权利要求19至21中的任一 项所述的觉醒状态判断模型生成程序而生成的模式模型；眨眼波形识别单元，其根据由上述第一特征量数据提取单 元提取出的第 一特征量数据和上述第 一模式模型来识别与上述 第 一特征量数据对应的特定种类的眨眼波形；第二特征量数据生成单元，根据上述眨眼波形识别单元对 于在分析区间的系列中获取到的上述对象者的眨眼数据的识别 结果来生成第二特征量数据，该第二特征量数据包含与每个上 述特定种类的眨眼波形的发生比率有关的数据；以及觉醒状态判断单元，根据由上述第二特征量数据生成单元 生成的第二特征量数据和第二模式模型来判断上述对象者的觉醒状态，其中，上述第二模式模型是通过权利要求19至21中的 任 一 项所述的觉醒状态判断模型生成程序而生成的模式模型。
23. 根据权利要求22所述的觉醒状态判断程序，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发 生次数的时间变化。
全文摘要
提供一种觉醒状态判断模型生成装置、判断对象者的觉醒状态的觉醒状态判断装置以及警告装置，其中，上述上述觉醒状态判断模型生成装置是最优于对不特定的对象者进行正确的觉醒程度的推断估计的装置，基于与眨眼波形有关的数据生成眨眼波形模式模型以及觉醒状态模式模型。在觉醒状态判断模型生成装置中，将从各对象者的眨眼时的至少一只眼的眨眼数据中提取出的第一特征量数据和眨眼波形识别信息作为学习数据来学习统计模型，生成第一模式模型。然后，将包含与分析区间的系列中的特定种类的每个眨眼波形的发生比率有关的数据的第二特征量数据和对分析区间的每个系列赋予了表示各对象者的觉醒状态的觉醒状态信息的觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型。
文档编号G08G1/16GK101583313SQ200880002595
公开日2009年11月18日 申请日期2008年1月21日 优先权日2007年1月19日
发明者野口祥宏, 鲁恩格罗奇·诺波苏万查伊 申请人:旭化成株式会社