数据处理装置、监视系统、唤醒系统、数据处理方法与流程

本发明涉及数据处理装置、监视系统、唤醒系统、数据处理方法及数据处理程序。

背景技术：

下述专利文献1公开了一种目的在于利用伴随着头部运动而诱发的前庭眼动反射来检测车辆的驾驶员等在自知困意之前的征兆的困意征兆检测装置。

专利文献1所述的困意征兆检测装置具备：头部运动检测单元，检测头部运动；眼球运动检测单元，检测眼球运动；理想眼球运动角速度计算单元，根据通过所述头部运动检测单元检测出的头部运动数据来计算理想眼球运动角速度；眼球旋转角速度计算单元，根据通过所述眼球运动检测单元检测出的眼球运动数据来计算眼球旋转角速度；以及困意征兆判定单元，根据理想眼球运动角速度和眼球旋转角速度检测前庭眼动反射(vestibulo-ocularreflex：vor)，并根据该前庭眼动反射判定困意的征兆。

专利文献1公开了使用模拟汽车驾驶时的实验系统、即驾驶模拟器系统，使被试验人进行凝视作为注视点的投影于屏幕的前方车辆的车牌上部等实验任务，并在此状态下进行试验得到的结果。

然而，使用驾驶模拟器系统的仿真实验环境与实际的车辆行驶环境有很大差异。本发明的发明人在实际的车辆行驶环境(以下称为“实际行驶环境”)中进行验证后，结果发现在实际行驶环境中，高精度地获取前庭眼动反射运动是极为困难的。

例如，在眼球运动中，除了前庭眼动反射运动之外，还有扫视运动(也称为“冲动性眼球运动”)及会聚运动等。在实验环境中，为了容易产生前庭眼动反射运动，凝视事先规定的所述注视点即可，而在实际行驶环境中，车外的状况、路面的状况、车辆的举动及驾驶员的头部或眼睛的运动等不是固定不变的，前庭眼动反射运动之外的眼球运动也多有发生。

另外，前庭眼动反射运动伴随着头部运动而被诱发。在实验环境中，使司机座位振动来诱发头部运动，而在实际行驶环境中，未必会产生适于诱发头部运动的振动状态。由此，存在难以高精度地判定眼球运动是否源自前庭眼动反射运动，并难以高精度地检测前庭眼动反射运动的问题。另外，不限于实际行驶环境，在设备等的操作环境或作业环境等各种现实环境中，也难以高精度地判定眼球运动是否为前庭眼动反射运动，存在同样的问题。

专利文献1：日本专利第5255063号公报

技术实现要素：

本发明是鉴于上述问题而作出的，其目的在于提供能够提高现实环境下的前庭眼动反射运动的计算精度的数据处理装置、监视系统、唤醒系统、数据处理方法及数据处理程序。

为了达到上述目的，本公开涉及的数据处理装置(1)进行用于对人进行监视的数据处理，其特征在于，具备：计算部，计算所述人的瞳孔运动及头部运动；评价部，根据所述人的瞳孔运动及头部运动评价计算前庭眼动反射运动时的状况的适应度；赋予部，对由所述计算部计算出的所述人的瞳孔运动及头部运动相关的数据赋予由所述评价部所评价的所述适应度；以及反射运动计算部，考虑所述适应度来根据所述数据计算所述人的前庭眼动反射运动。

根据上述数据处理装置(1)，通过所述评价部评价计算所述前庭眼动反射运动时的状况的适应度，并通过所述赋予部对所述数据赋予所述适应度。因此，能够根据赋予所述数据的所述适应度辨别所述数据作为计算所述前庭眼动反射运动时的状况具有怎样的适应性。然后，通过所述反射运动计算部考虑所述适应度来根据所述数据计算所述人的前庭眼动反射运动。由此，即使在发生复杂的眼球运动等的现实环境下也能够使用所述数据中考虑到所述适应度的合适的数据来提高所述人的前庭眼动反射运动的计算精度。

另外，本公开涉及的数据处理装置(2)在上述数据处理装置(1)中，其特征在于，具备第一存储部，所述第一存储部存储被赋予了所述适应度的所述数据中所述适应度满足规定条件的数据，所述反射运动计算部使用存储于所述第一存储部的所述数据来计算所述人的前庭眼动反射运动。

根据上述数据处理装置(2)，因为将被赋予了所述适应度的所述数据中所述适应度满足规定条件的数据存储于所述第一存储部，因此与将被赋予了所述适应度的所述数据全部进行存储的情况相比，能够减少所述第一存储部的存储容量。然后，使用存储于所述第一存储部的所述数据计算所述人的前庭眼动反射运动。由此，与使用全部被赋予了所述适应度的所述数据来计算所述人的前庭眼动反射运动的情况相比，能够减少运算量，能够高效地进行所述人的前庭眼动反射运动的计算。另外，通过在计算中使用所述适应度满足规定条件的数据，换言之，使用所述适应度被评价为高的数据，从而能够高精度地执行现实环境下的所述人的前庭眼动反射运动的计算。

另外，本公开涉及的数据处理装置(3)在上述数据处理装置(1)中，其特征在于，具备第二存储部，所述第二存储部存储所述数据和所述适应度，所述反射运动计算部使用存储于所述第二存储部的所述数据中所述适应度满足规定条件的数据来计算所述人的前庭眼动反射运动。

根据上述数据处理装置(3)，将所述数据和所述适应度存储于所述第二存储部，使用存储于该第二存储部的所述数据中所述适应度满足规定条件的数据来计算所述人的前庭眼动反射运动。为此，与使用全部被赋予了所述适应度的所述数据来计算所述人的前庭眼动反射运动的情况相比，能够减少运算量，能够高效地进行所述人的前庭眼动反射运动的计算。另外，通过在计算中使用所述适应度满足规定条件的数据，换言之，使用所述适应度被评价为高的数据，从而能够高精度地执行现实环境下的所述人的前庭眼动反射运动的计算。

另外，本公开涉及的数据处理装置(4)在上述数据处理装置(3)中，其特征在于，所述适应度满足规定条件的数据是所述适应度高于规定阈值的数据或从所述适应度高的数据提取出的规定数量的数据。

根据上述数据处理装置(4)，通过使用所述适应度高于规定阈值的数据或从所述适应度高的数据提取出的规定数量的数据，与使用全部被赋予了所述适应度的所述数据来计算所述人的前庭眼动反射运动的情况相比，能够减少运算量，能够高效地进行所述人的前庭眼动反射运动的计算，并且能够高精度地执行现实环境下的所述人的前庭眼动反射运动的计算。

另外，本公开涉及的数据处理装置(5)在上述数据处理装置(1)～(4)的任一中，其特征在于，具备困意检测部，所述困意检测部根据由所述反射运动计算部计算出的所述人的前庭眼动反射运动来检测困意。

根据上述数据处理装置(5)，通过所述困意检测部，现实环境下的所述困意的征兆也能够高精度地检测。

另外，本公开涉及的数据处理装置(6)在上述数据处理装置(5)中，其特征在于，具备唤醒控制部，所述唤醒控制部根据由所述困意检测部检测出的所述困意，进行用于唤醒所述人的控制。

根据上述数据处理装置(6)，因为通过所述唤醒控制部根据所述困意来进行唤醒所述人的控制，所以能够将所述人从困意中唤醒。

另外，本公开涉及的数据处理装置(7)在上述数据处理装置(1)～(6)的任一中，其特征在于，所述评价部根据所述人或该人操作的物体的状态来评价所述适应度。

根据上述数据处理装置(7)，根据所述人或该人操作的物体的状态来评价所述适应度。例如，所述人或该人操作的物体的状态处于适合作为计算所述前庭眼动反射运动时的状况的状态时，所述适应度被评价为高。这样，通过考虑所述人或该人操作的物体的状态，从而可以更为准确地评价作为计算所述前庭眼动反射运动时的状况的适应性，可以更为准确地评价所述适应度，能够进一步提高所述反射运动计算部对所述前庭眼动反射运动的计算精度。

另外，本公开涉及的数据处理装置(8)在上述数据处理装置(7)中，其特征在于，所述物体是车辆，所述人是所述车辆的驾驶员。

根据上述数据处理装置(8)，因为所述物体是车辆，所述人是驾驶车辆的驾驶员，因此能够在实际行驶环境下高效且高精度地计算所述驾驶员的前庭眼动反射运动。

另外，本公开涉及的数据处理装置(9)在上述数据处理装置(8)中，其特征在于，所述评价部根据所述数据中包含的噪声分量、所述驾驶员的视线方向、所述车辆的行驶状态及所述车辆的行进方向上存在的物体的检测状态中至少任一方来评价所述适应度。

根据上述数据处理装置(9)，根据所述数据中包含的噪声分量、所述驾驶员的视线方向、所述车辆的行驶状态及所述车辆的行进方向上存在的物体的检测状态中至少任一方来评价所述适应度。

例如，当所述噪声分量少时，所述适应度被评价为高。另外，例如，当所述驾驶员的视线方向位于前方的一定范围内时、所述车辆正在直线行驶时或所述车辆的行进方向上未检测出所述物体时，所述适应度被评价为高。

因此，通过考虑所述数据中包含的噪声分量、所述驾驶员的视线方向、所述车辆的行驶状态及所述车辆的行进方向上存在的物体的检测状态中至少任一方，从而可以更为准确地评价实际行驶环境中的所述适应度，能够进一步提高所述反射运动计算部对所述前庭眼动反射运动的计算精度。需要说明的是，所述数据中包含的噪声分量包括妨碍所述前庭眼动反射运动的计算的眼球、头部的运动分量，例如包括所述前庭眼动反射运动之外的眼球运动的分量。

另外，本公开涉及的数据处理装置(10)在上述数据处理装置(8)中，其特征在于，具备获取部，所述获取部获取所述车辆的加速度，所述评价部根据从所述车辆获取到的该车辆的加速度的变化与由所述计算部计算出的所述驾驶员的头部运动或瞳孔运动的关系来评价所述适应度。

根据上述数据处理装置(10)，例如，根据所述车辆的加速度的变化，换言之，追随所述车辆产生的振动计算出所述驾驶员的头部运动或瞳孔运动时，所述适应度被评价为高。因此，可以确切地评价在实际行驶环境中容易发生所述前庭眼动反射运动的状况来准确地评价所述适应度，能够进一步提高所述反射运动计算部对所述前庭眼动反射运动的计算精度。

另外，本公开涉及的监视系统(1)其特征在于，包括上述数据处理装置(1)～(10)中任一数据处理装置以及拍摄包括所述人的图像的拍摄装置，所述数据处理装置的所述计算部使用从所述拍摄装置获取到的所述图像来计算所述人的瞳孔运动及头部运动。

根据上述监视系统(1)，由于构成为包括上述数据处理装置(1)～(10)中任一数据处理装置以及所述拍摄装置，所以能够提供可获得上述数据处理装置(1)～(10)中任一数据处理装置的效果的、容易在各种现实环境下引入的系统。

另外，本公开涉及的唤醒系统其特征在于，构成为包括上述数据处理装置(6)以及由该数据处理装置(6)的所述唤醒控制部控制的唤醒装置。

根据上述唤醒系统，因为由所述唤醒控制部控制所述唤醒装置，所以能够通过该唤醒装置使所述人被适当地唤醒。

另外，本公开涉及的数据处理方法用于对人进行监视，其特征在于，包括：计算步骤，计算所述人的瞳孔运动及头部运动；评价步骤，根据所述人的瞳孔运动及头部运动评价计算前庭眼动反射运动时的状况的适应度；赋予步骤，对通过所述计算步骤计算出的所述人的瞳孔运动及头部运动相关的数据赋予通过所述评价步骤所评价的所述适应度；以及反射运动计算步骤，考虑所述适应度来根据所述数据计算所述人的前庭眼动反射运动。

根据上述数据处理方法，通过所述评价步骤评价计算所述前庭眼动反射运动时的状况的适应度，并通过所述赋予步骤对所述数据赋予所述适应度。因此，能够根据赋予所述数据的所述适应度辨别所述数据作为计算所述前庭眼动反射运动时的状况具有怎样的适应性。然后，通过所述反射运动计算步骤考虑所述适应度来根据所述数据计算所述人的前庭眼动反射运动。由此，即使在发生复杂的眼球运动等的现实环境下也能够使用所述数据中考虑到所述适应度的合适的数据来提高所述人的前庭眼动反射运动的计算精度。

另外，本公开涉及的记录介质存储有数据处理程序，所述数据处理程序用于使至少一台计算机执行用于对人进行监视的数据处理，所述记录介质其特征在于，所述数据处理程序使所述至少一台计算机执行：计算步骤，计算所述人的瞳孔运动及头部运动；评价步骤，根据所述人的瞳孔运动及头部运动评价计算前庭眼动反射运动时的状况的适应度；赋予步骤，对通过所述计算步骤计算出的所述人的瞳孔运动及头部运动相关的数据赋予通过所述评价步骤所评价的所述适应度；以及反射运动计算步骤，考虑所述适应度来根据所述数据计算所述人的前庭眼动反射运动。

根据上述记录介质，通过所述评价步骤评价计算所述前庭眼动反射运动时的状况的适应度，并通过所述赋予步骤对所述数据赋予所述适应度。因此，能够根据赋予所述数据的所述适应度辨别所述数据作为计算所述前庭眼动反射运动时的状况具有怎样的适应性。然后，通过所述反射运动计算步骤考虑所述适应度来根据所述数据计算所述人的前庭眼动反射运动。由此，能够实现即使在发生复杂的眼球运动等的现实环境下也能够使用所述数据中考虑到所述适应度的合适的数据来提高所述人的前庭眼动反射运动的计算精度的数据处理装置。

附图说明

图1是示出使用实施方式涉及的数据处理装置的监视系统的一例的示意图。

图2是示出实施方式涉及的监视系统的硬件构成的一例的框图。

图3是示出实施方式涉及的数据处理装置的功能构成的一例的框图。

图4是示出实施方式涉及的数据处理装置的控制单元所进行的处理动作的一例的流程图。

图5是示出实施方式涉及的数据处理装置的控制单元所进行的vor的计算处理动作的第一例的流程图。

图6是示出实施方式涉及的数据处理装置的控制单元所进行的vor的计算处理动作的第二例的流程图。

图7是示出实施方式涉及的数据处理装置的控制单元所进行的vor的计算处理动作的第三例的流程图。

附图标记说明

1…监视系统；2…车辆；3…驾驶员；10…数据处理装置；11…外部接口(外部i/f)；12…控制单元；121…cpu；122…ram；123…rom；12a…图像获取部；12b…数据获取部；12c…适应度评价部(评价部)；12d…计算部；12e…赋予部；12f…反射运动计算部；12g…困意检测部；12h…唤醒控制部；13…存储单元；131…图像存储部；132…获取数据存储部；133…计算数据存储部；134…程序；20…相机；30…车载传感器；31…车外传感器；32…加速度传感器；33…陀螺仪传感器；34…转向传感器；40…启动开关；50…导航装置；60…电子控制单元(ecu)；70…唤醒装置

具体实施方式

下面，根据附图对本发明涉及的数据处理装置、监视系统、唤醒系统、数据处理方法及数据处理程序的实施方式进行说明。

本发明涉及的数据处理装置例如能够广泛应用于监视人(对象者)的系统。例如，除了监视车辆、铁路车辆、飞机及船舶等各种移动体的驾驶员(操纵者)的系统之外，还可以应用于监视对工厂内的机械或装置等各种设备进行操作、监视或进行规定作业的人等的系统等。

[系统构成例]

图1是示出使用实施方式涉及的数据处理装置的监视系统的一例的示意图。

监视系统1为搭载于车辆2的司机监视系统，构成为包括数据处理装置10以及相机20。数据处理装置10是进行用于监视车辆2的驾驶员3的数据处理的计算机。相机20是本发明的“拍摄装置”的一例。相机20与数据处理装置10连接，配置为能够拍摄包括驾驶员3的脸部的图像。

车辆2是汽车，但也可以是两轮车等车辆，对车辆2的种类不做特别限定。另外，车辆2既可以是美国汽车工程师协会(也称为“sae”)所提出的自动驾驶级别中的级别0(无驾驶自动化)的车辆(所谓的手动驾驶车辆)，也可以是自动驾驶车辆。自动驾驶车辆也可以是sae所提出的自动驾驶级别中的级别1(司机辅助)、级别2(部分自动驾驶)、级别3(有条件的自动驾驶)、级别4(高度自动驾驶)及级别5(完全自动驾驶)中任一级别的车辆。

另外，数据处理装置10构成为能够与搭载于车辆2的各种设备，例如车载传感器30、启动开关40及导航装置50等相连。另外，数据处理装置10也可以构成为能够与控制车辆2的驱动部、制动部、转向部或悬架部等各部的一个以上的电子控制单元(ecu：electroniccontrolunit)60相连接。启动开关40例如为点火开关。

数据处理装置10的一个目的在于，提高作为现实环境的一例的实际行驶环境下的驾驶员3的前庭眼动反射运动的计算精度。需要说明的是，前庭眼动反射运动(以下也称为“vor”)为伴随人的头部运动而被诱发的眼球运动，其是通过使眼球向与头部的运动相反的方向运动来抑制视网膜图像模糊的非随意性的眼球运动。

如背景技术部分所述，在实际行驶环境中，车外的状况、路面的状况、车辆的举动及驾驶员的头部或眼睛的运动等不是固定不变的。由此，驾驶员的瞳孔运动及头部运动相关的数据之中包含很多与前庭眼动反射运动不同的运动分量，例如：扫视运动、会聚运动等分量(也称为“噪声分量”)。其结果，存在如下问题：用于检测前庭眼动反射运动的数据的信号噪声(sn)比容易变差，难以高精度地检测驾驶员的前庭眼动反射运动。需要说明的是，信号噪声(sn)中的信号表示显示出前庭眼动反射运动的眼球运动，噪声表示前庭眼动反射运动之外的眼球运动(例如扫视运动、会聚运动等)。

为了解决上述问题，实施方式涉及的数据处理装置10中采用了如下构成。

数据处理装置10从相机20获取拍摄图像，并根据获取到的拍摄图像至少计算驾驶员3的瞳孔运动及头部运动。另外，数据处理装置10根据驾驶员3的瞳孔运动及头部运动检测计算前庭眼动反射运动时的状况的适应度。

该适应度例如根据由拍摄图像检测出的驾驶员3的状态、或由车载传感器30等所检测出的车辆2的状态中至少任一状态进行评价。

驾驶员3的状态包括驾驶员3的视线方向。例如，驾驶员3注视着特定方向或特定部位的状态为不易产生前庭眼动反射运动之外的眼球运动(例如，扫视运动、会聚运动等)的状态，换言之是前庭眼动反射运动的噪声分量小而s/n比易提高的状态。当驾驶员3处于这种状态时，例如判定为有适应性或适应性高，适应度被评价为高。

另外，车辆2的状态包括车辆2的行驶状态、或存在于车辆2的行进方向上的物体(人、其它车辆等)的检测状态等。另外，也可以根据车辆2的加速度的变化与驾驶员3的瞳孔运动或头部运动的关系来评价适应度。

例如，当车辆2的状态处于驾驶员3的头部易于向上下、左右或前后方向、或者偏航或俯仰方向发生位移或振动的状态，换言之，处于前庭眼动反射运动的信号分量、尤其是位移量容易变大的状态时，例如判定为有适应性，或适应性高，适应度被评价为高。

另外，当车辆2的状态处于不易产生驾驶员3的前庭眼动反射运动之外的眼球运动(例如，扫视运动、会聚运动等)的行驶状态，换言之，处于前庭眼动反射运动的噪声分量小的行驶状态，具体而言，处于车辆2正在行驶于直线道路的状态时，例如判定为有适应性，或适应性高，适应度被评价为高。

如上所述评价出的适应度被表示为计算机可识别的数据。适应度例如既可以用示出有无计算vor的适应性、或适应性的高低的二值数据表示，也可以用与适应性的程度相应的(例如，评级或加权的)多值数据表示。适应性的程度例如表示作为计算vor的状态的适应性程度。

然后，数据处理装置10对基于拍摄图像计算出的驾驶员3的瞳孔运动及头部运动相关的数据赋予适应度。被赋予适应度的驾驶员3的瞳孔运动及头部运动相关的数据既可以为驾驶员3的瞳孔运动及头部运动相关的数据，也可以为根据驾驶员3的瞳孔运动及头部运动相关的数据计算出的值或者表示驾驶员3的瞳孔运动和头部运动的关联性的值等。数据处理装置10例如也可以对表示瞳孔运动与头部运动的相关关系的系数等值赋予适应度。

进一步地，数据处理装置10考虑对驾驶员3的瞳孔运动及头部运动相关的数据(以下也称为“计算数据”)赋予的适应度，根据计算数据来计算驾驶员3的前庭眼动反射运动。

例如，使用驾驶员3的瞳孔运动及头部运动相关的数据中适应度满足规定条件的数据计算驾驶员3的前庭眼动反射运动。适应度满足规定的条件的数据例如可列举适应度被评价为高的数据，更具体地，作为计算vor的状态被评价为有适应性、或适应性高的数据。或者，可列举当适应度以示出适应性程度的多值数据表示时，适应度大于等于规定阈值的数据。

根据这种数据处理装置10，通过使用驾驶员3的瞳孔运动及头部运动相关的数据中适应度满足规定条件的数据，从而可以高效且高精度地进行产生复杂的眼球运动等的实际行驶环境下的驾驶员3的前庭眼动反射运动的计算。

[硬件构成例]

图2是示出实施方式涉及的监视系统1的硬件构成的一例的框图。

监视系统1构成为包括数据处理装置10以及相机20。

数据处理装置10由外部接口(也写作“外部i/f”)11、控制单元12及存储单元13被电连接的计算机构成。

控制单元12构成为包括硬件处理器即cpu(centralprocessingunit：中央处理器)121、ram(randomaccessmemory：随机存取存储器)122、rom(readonlymemory：只读存储器)123，进行与数据处理相应的各种控制。需要说明的是，控制单元12也可以包括多个硬件处理器。硬件处理器也可以构成为除了cpu121以外，还包括微处理器、gpu(graphicsprocessingunit：图形处理器)等。

存储单元13例如由ram、rom、硬盘驱动器(hdd)、固态硬盘(ssd)、闪存、其它非易失性存储器或易失性存储器等可通过半导体元件等存储数据的一个以上的存储装置构成。

存储单元13具备有图像存储部131、获取数据存储部132及计算数据存储部133。计算数据存储部133是本发明中的“第一存储部”和“第二存储部”的一例。另外，存储单元13中存储有程序134。程序134是包括用于使数据处理装置10执行用于监视驾驶员3的各种数据处理的命令的程序。需要说明的是，程序134也可以存储在控制单元12的rom123中。另外，存储单元13的各部也可以设于控制单元12的ram122。

外部i/f11是用于与搭载于车辆2的各种设备连接的接口，根据所连接的设备适当地构成。外部i/f11例如经由can(controllerareanetwork：控制器局域网络)等车载网络与相机20、车载传感器30、启动开关40、导航装置50、电子控制单元60及唤醒装置70连接。需要说明的是，外部i/f11也可以对应所连接的每个设备而设置。另外，外部i/f11上也可以连接上述之外的其它设备。

相机20是用于拍摄包括驾驶员3的脸部的图像的装置，例如构成为包括未图示的镜头部、拍摄元件部、光照射部、控制这些各部的控制部等。拍摄元件部构成为包括例如ccd(chargecoupleddevice：电荷耦合器件)、cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)等拍摄元件、滤光器、微透镜等。

拍摄元件部也可以构成为除了包括能够接收可见区域的光而形成拍摄图像的器件以外，还包括能够接收紫外线或红外线而形成拍摄图像的ccd、cmos或者光电二极管等红外线传感器。

光照射部包括led(lightemittingdiode：发光二极管)等发光元件，另外，为了能够不分昼夜地拍摄驾驶员的状态，也可以使用红外线led等。控制部构成为包括例如cpu、存储器、图像处理电路等。

控制部控制拍摄元件部、光照射部，进行从该光照射部照射光(例如近红外线等)并由拍摄元件部拍摄其反射光的控制等。相机20以规定的帧率(例如每秒30～60帧)来拍摄图像，由相机20拍摄到的图像数据被输出到数据处理装置10，并被存储于图像存储部131。

相机20由一台构成，但也可以由两台以上构成。另外，相机20既可以构成为与数据处理装置10分开(单独壳体)，也可以构成为与数据处理装置10一体(同一壳体)。另外，相机20既可以是单目相机，也可以是立体相机。

关于相机20在车室内的设置位置，只要是能够拍摄至少包括驾驶员3的脸部的视野的位置即可，并不特别限定。例如，除了车辆2的仪表盘中央附近以外，还可设置于方向盘部分、驾驶杆部分、仪表面板部分、车内后视镜附近位置、a柱部分或导航装置50等。另外，包括相机20的规格(视角、像素数(纵向×横向)等)及位置姿势(安装角度、距离规定的原点(方向盘中央位置等)的距离等)的信息也可以存储于相机20或数据处理装置10。

车载传感器30包括车外传感器31、加速度传感器32、陀螺仪传感器33及转向传感器34等，但也可以包括除此之外的传感器。

车外传感器31是检测存在于车辆2的周边的对象物的传感器。对象物除了包括其它车辆、自行车、人等移动物体以外、还可以包括白线等路面标识、护栏、中央隔离带、其它对车辆2的行驶带来影响的结构物等。车外传感器31构成为包括前方监视相机、后方监视相机、雷达(radar)、激光雷达(即、lightdetectionandranging或者laserimagingdetectionandranging(lidar))以及超声波传感器中至少之一。由车外传感器31检测出的对象物的检测数据除了被输出至数据处理装置10以外，还可输出至电子控制单元60。

前方监视相机、后方监视相机可采用立体相机、单目相机等。雷达向车辆周围发送毫米波等电波，并接收被存在于车辆周围的对象物反射的电波，从而检测出对象物的位置、方向、距离等。激光雷达向车辆周围发送激光，并接收被存在于车辆周围的对象物反射的光，从而检测出对象物的位置、方向、距离等。

加速度传感器32为检测车辆2的加速度的传感器，既可以使用检测xyz轴三个方向的加速度的三轴加速度传感器，也可以使用二轴、单轴的加速度传感器。三轴加速度传感器除了可以使用静电电容型以外，还可使用压电电阻型等半导体方式的加速度传感器。由加速度传感器32检测出的加速度数据除了输出至数据处理装置10以外，还可以输出至导航装置50或电子控制单元60。

陀螺仪传感器33为检测车辆2的旋转角速度(例如偏航率)的角速度传感器。由陀螺仪传感器33检测出的旋转角速度的信号除了输出至数据处理装置10以外，还可以输出至导航装置50或电子控制单元60。

转向传感器34为检测车辆2相对于方向盘的转向量的传感器，例如设置于车辆2的转向轴，检测驾驶员3施加于方向盘的转向力矩或方向盘的转向角。由转向传感器34检测出的与驾驶员3的方向盘操作相应的信号除了输出至数据处理装置10以外，还可以输出至电子控制单元60。

导航装置50构成为包括未图示的控制部、显示部、语音输出部、操作部、地图数据存储部、gps接收部等。导航装置50例如根据由gps接收部等计测出的车辆2的位置信息和地图数据存储部的地图信息，算出车辆2行驶的道路或车道，运算出从车辆2的当前位置到目的地的路径等，并将该路径显示于显示部(未图示)，由语音输出部(未图示)进行引路等语音输出。构成为由导航装置50求得的车辆2的位置信息、行驶道路的信息或预定行驶路径的信息等向数据处理装置10输出。

电子控制单元60由控制车辆2的驱动部、制动部、转向部或悬架部等车辆2的各部的一台以上的计算机装置构成。

数据处理装置10将从车载传感器30、导航装置50及电子控制单元60等获取的数据存储于获取数据存储部132。

唤醒装置70为被数据处理装置10控制的装置，根据来自数据处理装置10的控制信号，执行用于唤醒驾驶员3的动作。唤醒装置70例如也可以由通过声音或光等向驾驶员3发出警告的警报装置所构成。另外，也可以由将冷风、热风或者包括香气成分或臭气成分的气体等吹向驾驶员3的空调装置所构成。或者，还可以由使方向盘、安全带或座椅等产生振动的振动装置等构成。

[功能构成例]

图3是示出实施方式涉及的数据处理装置10的控制单元12的一例功能构成的框图。

数据处理装置10的控制单元12将存储于图2所示的存储单元13的程序134展开于ram122。然后，控制单元12通过cpu121解释及执行展开于ram122的程序134来控制各构成部分。

由此，数据处理装置10构成为控制单元12具备图3所示的图像获取部12a、数据获取部12b、计算部12c、适应度评价部12d、赋予部12e、反射运动计算部12f、困意检测部12g及唤醒控制部12h的计算机。控制单元12具备的这些各部也可以构成为软件模块。

图像获取部12a从相机20获取拍摄图像。由图像获取部12a获取到的拍摄图像的数据被输出至计算部12c。需要说明的是，也可以将由图像获取部12a获取到的拍摄图像的数据存储于图像存储部131，并从图像存储部131输出至计算部12c。

数据获取部12b从车载传感器30、启动开关40、导航装置50及电子控制单元60等获取表示车辆2的状态的数据。由数据获取部12b所获取的表示车辆2的状态的数据被输出至适应度评价部12d。需要说明的是，也可以将由数据获取部12b获取到的表示车辆2的状态的数据存储至获取数据存储部132，并从获取数据存储部132输出至适应度评价部12d。

计算部12c进行计算驾驶员3的瞳孔运动及头部运动的处理。在本实施方式中，驾驶员3的瞳孔运动及头部运动是通过对从相机20获取的拍摄图像进行图像解析而计算出的。该计算处理例如对拍摄图像的每帧执行，但也可以每隔规定的帧间隔而执行。

下面，对计算部12c进行的瞳孔运动的计算处理的一例进行说明。

计算部12c首先通过模板匹配从由相机20拍摄到的图像中检测出驾驶员3的脸部(例如脸部区域)。脸部区域的检测使用事先准备的脸部的模板图像就好。接着，计算部12c对于从拍摄图像检测出的驾驶员3的脸部区域，通过模板匹配从驾驶员3的脸部区域检测出瞳孔的位置。瞳孔的位置也可以使用事先准备的瞳孔的模板图像来检测。然后，计算部12c对拍摄图像的每帧检测驾驶员3的瞳孔的位置，并从这些每帧的瞳孔的位置变化(移动量)来计算瞳孔运动(例如眼球运动角速度)。

下面，对计算部12c进行的头部运动的计算处理的一例进行说明。

计算部12c首先通过模板匹配从由相机20拍摄到的图像中检测出驾驶员3的脸部(例如脸部区域)。脸部区域的检测使用事先准备的脸部的模板图像就好。另外，也可以使用在上述计算瞳孔运动的处理中检测出的驾驶员3的脸部区域的数据。

接着，计算部12c对于从拍摄图像检测出的驾驶员3的脸部区域，通过模板匹配从脸部区域检测出眼的位置。眼的位置也可以使用事先准备的眼的模板图像来检测。眼的模板图像例如事先与表示外眼角和大眼角的位置的坐标建立关联。可以从眼的模板图像中的外眼角和大眼角的坐标来检测拍摄图像中的驾驶员3的外眼角和大眼角的位置。由于外眼角和大眼角的位置不会因眨眼等眼的开闭动作而移动，所以能够推断外眼角和大眼角的位置变化是由于头部运动而产生的变动。

然后，计算部12c对拍摄图像的每帧检测驾驶员3的外眼角和大眼角的位置，从这些每帧的外眼角和大眼角的位置变化(移动量)计算头部运动(例如头部运动角速度)。需要说明的是，也可以是检测外眼角或大眼角的位置。

需要说明的是，当从拍摄图像检测驾驶员3的外眼角和大眼角的位置时，除了使用二维的图像数据以外，还可以与包含三维的位置信息的距离图像数据组合来进行检测。

为了获取这种距离图像数据，例如也可以在监视系统1中具备三维图像计测部。三维图像计测部构成为获取使拍摄图像的各像素带有至对象物的距离的值(关于深度的信息)的三维图像(距离图像)。这种三维图像计测部例如既可以是立体法等的被动型计测部，也可以是光雷达、投影模式光等光的方式的主动型计测部。

这样，通过将二维图像与距离图像组合，可以高精度地检测驾驶员3的外眼角与大眼角的位置的变化是因头部的平移运动(上下或左右方向的运动)还是因旋转运动(偏航或俯仰方向的运动)。通过这种构成，可以更为准确地计算瞳孔运动及头部运动，能够进一步提高前庭眼动反射运动的监视精度。

需要说明的是，驾驶员3的瞳孔运动及头部运动的计算处理并不限定于上述例子，也可以采用公知的各种方法。例如，如国际公开第2006/051607号小册子、日本特开2007-249280号公报所公开的，也可以对图像的每帧检测脸部的各器官(眼、口、鼻、耳等)的特征点，根据脸部的各器官的特征点的位置求得脸部的朝向，并根据这些每帧的脸部的朝向的变化(移动量)计算头部运动。

另外，计算部12c除了计算驾驶员3的瞳孔运动及头部运动以外，还可以计算视线的方向以及眼的开闭相关的信息。进一步地，也可以通过对从相机20获取到的拍摄图像进行图像解析来计算驾驶员3的瞳孔运动，并根据从佩戴于驾驶员3的头部的陀螺仪传感器等获取到的数据计算驾驶员3的头部运动。

然后，由计算部12c计算出的驾驶员3的瞳孔运动及头部运动相关的数据(计算数据)被输出至赋予部12e和适应度评价部12d。

适应度评价部12d取入由数据获取部12b获取到的表示车辆2的状态的数据以及由计算部12c算出的表示驾驶员3的状态的数据，并使用这些数据进行评价计算驾驶员3的前庭眼动反射运动时的状况的适应度的处理。适应度评价部12d例如通过判定驾驶员3的状态或车辆2的状态是否处于适于计算前庭眼动反射运动的规定的状态等来进行评价适应度的处理。

上述规定的状态包括驾驶员3的头部易于振动的状态，换言之，包括前庭眼动反射运动的信号分量、尤其是位移量变大的状态。更具体地，包括驾驶员3的头部容易在上下、左右或前后方向或者偏航或俯仰方向上产生位移或振动的状态等。

另外，规定的状态包括不易产生前庭眼动反射运动之外的眼球运动(例如，扫视运动、会聚运动等)的状态，换言之，包括前庭眼动反射运动的噪声分量变小的状态。更具体地，包括车辆2正行驶于直线道路的状态或驾驶员3注视着特定部位的状态等。

下面，对适应度评价部12d进行的处理的一例进行说明。

(1)适应度评价部12d判定是否由计算部12c算出了驾驶员3的瞳孔运动及头部运动。如果原本就不能适当地计算出瞳孔运动及头部运动，则不能进行前庭眼动反射运动的计算。

于是，适应度评价部12d在从计算部12c获取到计算数据时，判定通过模板匹配从图像提取出的脸部区域与脸部的模板图像的相似度、或从图像提取出的眼部区域与眼的模板图像的相似度。当各自的相似度低于规定的阈值时，也可以评价为没能从图像适当地获取头部(眼、即外眼角与大眼角)的位置或瞳孔的位置，即不适于作为计算前庭眼动反射运动的状态(例如，无适应性或适应性低)。

(2)适应度评价部12d也可以判定瞳孔运动的数据是否是包含大量前庭眼动反射运动之外的眼球运动、即扫视运动等噪声分量的数据。

例如，在瞳孔的运动量大于头部的运动量的情况等眼球的旋转速度、旋转角等眼球运动大于规定的阈值的情况、或瞳孔跟随头部的移动或旋转方向(即大致同一方向)移动或旋转的情况下，瞳孔运动的数据中含有大量扫视运动等噪声分量。此时，也可以评价为不适于作为计算前庭眼动反射运动的状态。

另外，在脸部的朝向大幅变动时，驾驶员3未处于集中观察一定方向的状态，从而脸部的旋转速度、旋转角等头部的运动大于规定的阈值的情况下，头部运动的数据中包含有大量噪声分量。此时，也可以评价为不适于作为计算前庭眼动反射运动的状态。

(3)适应度评价部12d也可以配合被计算部12c取入的拍摄图像的获取周期，经由数据获取部12b获取车速数据，判定车速数据是否小于规定速度，或车速数据是否大于规定速度。通过该判定，能够评价由计算部12c计算出的数据是否是适于前庭眼动反射运动的计算的数据，即计算前庭眼动反射运动时的状况的适应度(例如，适应性的有无、或者适应性的高低等基于二值判定的适应度或适应性程度等基于多值判定的适应度)。

一般地，当车速大时，驾驶员3倾向于集中观察前方的窄的范围。另一方面，当车速小时，驾驶员3为了确保周边的安全，倾向于随意地环视广的范围。在计算前庭眼动反射运动时，优选使用驾驶员3集中观察窄的范围的状态下的眼球运动及头部运动的数据。

于是，适应度评价部12d也可以在车速数据小于规定速度(例如，慢行速度)时，评价为不适于作为计算前庭眼动反射运动的状态，在车速数据大于规定速度时，评价为适于作为计算前庭眼动反射运动的状态。

另外，适应度评价部12d也可以不是将规定速度作为阈值来对适应性进行二值判定，而是将根据车速进行加权的权重系数用作适应度。例如，也可以是，如果在计算部12c计算瞳孔运动及头部运动时的车速为时速0～20km，则权重系数为0.2，如果时速为20～40km，则权重系数为0.5，如果时速为40～60km，则权重系数为0.8，如果时速在60km以上，则权重系数为1.0，使用这些权重系数作为适应度。

(4)适应度评价部12d也可以配合被计算部12c取入的拍摄图像的获取周期，经由数据获取部12b获取转向数据，并判定转向数据是否大于规定的转向角。通过该判定，能够评价由计算部12c计算出的数据是否是适于前庭眼动反射运动的计算的数据，即计算前庭眼动反射运动时的状况的适应度(例如，适应性的有无、或者适应性的高低等基于二值判定的适应度或适应性程度等基于多值判定的适应度)。

在计算前庭眼动反射运动时，优选使用驾驶员3集中观察前方的窄的范围的状态下的眼球运动及头部运动的数据。相比在连续转弯的道路行驶时，在直线道路行驶时驾驶员3更倾向于集中观察前方的窄的范围。于是，适应度评价部12d也可以在转向数据大于规定的转向角时，判定为不适于作为计算前庭眼动反射运动的状态。

(5)适应度评价部12d也可以配合被计算部12c取入的拍摄图像的获取周期，经由数据获取部12b获取车辆2的位置数据或行驶道路数据等来判定车辆2是否正行驶于直线道路。通过该判定，能够评价由计算部12c所计算出的数据是否为适于前庭眼动反射运动的计算的数据，即计算前庭眼动反射运动时的状况的适应度(例如，适应性的有无、或者适应性的高低等基于二值判定的适应度或适应性程度等基于多值判定的适应度)。车辆2的位置数据或行驶道路数据等从导航装置50获取。

相比在连续转弯的道路行驶时，在直线道路行驶时驾驶员3更倾向于集中观察前方的窄的范围。于是，适应度评价部12d也可以在车辆2未行驶于直线道路时，评价为不适于作为计算前庭眼动反射运动的状态。

(6)适应度评价部12d也可以配合被计算部12c取入的拍摄图像的获取周期，经由数据获取部12b获取通过车外传感器31获取到的周边监视数据来判定车辆2的周边是否存在障碍物、前方行驶车辆等。通过该判定，能够评价由计算部12c所计算出的数据是否为适于前庭眼动反射运动的计算的数据，即计算前庭眼动反射运动时的状况的适应度(例如，适应性的有无、或者适应性的高低等基于二值判定的适应度或适应性程度等基于多值判定的适应度)。

当存在相对于车辆2相对移动的前方行驶车辆、障碍物等时，驾驶员3倾向于用眼睛跟随正在相对移动的前方行驶车辆、障碍物，驾驶员3的眼处于主动地进行运动的状态。使眼主动地进行运动的状态并非是适于前庭眼动反射运动的计算的状态。于是，适应度评价部12d也可以在检测出正相对于车辆2相对移动的前方行驶车辆、障碍物等时，评价为不适于作为计算前庭眼动反射运动的状态。

(7)适应度评价部12d也可以从计算部12c获取驾驶员3的视线的朝向，根据驾驶员3的视线的朝向来评价由计算部12c所计算出的数据是否为适于前庭眼动反射运动的计算的数据，即计算前庭眼动反射运动时的状况的适应度(例如，适应性的有无、或者适应性的高低等基于二值判定的适应度或适应性程度等基于多值判定的适应度)。根据拍摄到驾驶员3的脸部的图像来评价驾驶员3的视线的朝向的方法采用公知的视线检测方法。

例如，当驾驶员3看着地平线方向等前方远的地方时，集中观察前方的可能性大，从而例如也可以在视线的朝向相对于车辆的前方(基准方向)在规定角度(例如，上下±5度、或左右±5度)以内时，评价为处于集中观察前方的状态，即适于作为计算前庭眼动反射运动的状态。

另外，当驾驶员3看着导航装置50等车内的操作部、显示部时，注视着窄的范围的可能性也大。因此，例如也可以在驾驶员3的视线的朝向为导航装置50等的设置方向时，评价为适于作为计算前庭眼动反射运动的状态。不过，在根据注视着车内的装备时的计算数据来计算前庭眼动反射运动时，出于安全性考虑，优选应用于自动驾驶级别为上述的sae级别3以上的自动驾驶车辆等。

(8)适应度评价部12d也可以根据由计算部12c计算出的头部运动的运动量(平移移动或旋转移动)来判定是否为适于前庭眼动反射运动的计算的数据，从而评价计算前庭眼动反射运动时的状况的适应度。

前庭眼动反射运动是如果驾驶员3的头部不运动就不会发生的眼球运动。因此，适应度评价部12d也可以在由计算部12c所计算出的头部运动的运动量(平移移动或旋转移动)小于规定的运动量时，评价为不适于作为计算前庭眼动反射运动的状态。

(9)适应度评价部12d也可以配合被计算部12c取入的拍摄图像的获取周期，经由数据获取部12b获取车辆的加速度数据，并根据车辆2的加速度数据判定由计算部12c计算出的数据是否是适于前庭眼动反射运动的计算的数据，从而来评价计算前庭眼动反射运动时的状况的适应度(例如，适应性的有无、或者适应性的高低等基于二值判定的适应度或适应性程度等基于多值判定的适应度)。

当在车辆2的上下、左右或前后方向上产生了规定的加速度时，驾驶员3的头部处于易于向上下、左右或俯仰方向运动的状态。

因此，适应度评价部12d也可以在车辆2的加速度数据大于易于产生驾驶员3的头部运动的阈值时，评价为适于作为计算前庭眼动反射运动的状态。

另外，适应度评价部12d也可以在由车辆2的加速度数据得到的车辆2的振动与头部运动在相同方向上以同等的频率振动等处于一定的关系时，评价为适于作为计算前庭眼动反射运动的状态。

车辆2的加速度数据除了能够使用来自装设于车辆2的加速度传感器32的数据以外，还可以使用根据与由车外传感器31所识别出的物体的距离的时序变化求得车辆2的速度并根据该速度求得的加速度数据。

这样，在适应度评价部12d中，当判定为作为计算前庭眼动反射运动的状态具有适应性或适应性高时，适应度评价部12d将表示具有适应性或适应性高的判定数据作为适应度输出至赋予部12e。

另一方面，在适应度评价部12d中，当判定为作为计算前庭眼动反射运动的状态无适应性或适应性低时，适应度评价部12d将表示无适应性或适应性低的判定数据作为适应度输出至赋予部12e。

或者，当在适应度评价部12d中评价了表示作为计算前庭眼动反射运动的状态的适应性的程度的适应度时，适应度评价部12d将表示适应性的程度的数据作为适应度输出至赋予部12e。

需要说明的是，适应度评价部12d既可以构成为进行上述(1)～(9)中任一项评价，也可以构成为根据车辆2或驾驶员3的状态，适当地组合执行上述(1)～(9)中两项以上的评价。另外，为了按计算部12c的计算中所使用的每个图像帧获得适应度，控制计算部12c和适应度评价部12d中的处理时机。例如，配合计算部12c对拍摄图像的取入周期，对每个图像帧评价适应度。

赋予部12e在获取到由计算部12c计算出的计算数据和由适应度评价部12d所评价的适应度时，进行对由计算部12c所计算出的驾驶员3的瞳孔运动及头部运动相关的数据(各图像帧的计算数据)赋予由适应度评价部12d评价的适应度的处理。

然后，赋予部12e将驾驶员3的瞳孔运动及头部运动相关的数据和对该数据赋予的适应度以与每个图像帧建立关联的状态输出至反射运动计算部12f。

适应度例如既可以是表示作为计算vor的状态的适应性的有无或适应性的高低的二值数据，也可以是与适应性的程度相应的、换言之被加权的多值数据。当将与适应性的程度相应的多值数据用作适应度时，能够通过加权来细微地辨别作为计算vor的状态的适应性。

反射运动计算部12f根据从赋予部12e获取到的、驾驶员3的瞳孔运动及头部运动相关的数据和赋予该数据的适应度，进行计算驾驶员3的前庭眼动反射运动的处理。

反射运动计算部12f例如将从赋予部12e获取到的数据中适应度满足规定条件的数据依次存储于计算数据存储部133中。之后，在计算数据存储部133中存储了规定时间的、适应度满足规定条件的数据时，反射运动计算部12f用所存储的规定时间量的数据进行计算驾驶员3的前庭眼动反射运动的处理。适应度满足规定条件的数据是指适应度被评价为高的数据。例如，在表示适应性的有无(或高低)的判定结果的二值数据作为适应度被赋予时，为被评价为有适应性(或适应性高)的数据。或者，在表示适应性程度的多值数据作为适应度被赋予时，为适应度高于规定阈值(或大于等于规定阈值)的数据。

另外，反射运动计算部12f也可以将从赋予部12e获取到的数据与适应度相关联地依次存储于计算数据存储部133，之后，在计算数据存储部133中存储了规定时间的数据时，使用所存储的规定时间量的数据中适应度满足规定条件的数据进行计算驾驶员3的前庭眼动反射运动的处理。所存储的规定时间量的数据中适应度满足规定条件的数据例如在表示适应性的有无(或高低)的判定结果的二值数据作为适应度被赋予时，为被评价为有适应性(或适应性高)的数据。或者，在表示适应性程度的多值数据作为适应度被赋予时，既可以为适应度高于规定阈值(或大于等于规定阈值)的数据，也可以为从适应度高的数据提取出的规定帧数的数据等。

反射运动计算部12f在进行了前庭眼动反射运动的计算处理之后，将与前庭眼动反射运动有关的计算数据输出至困意检测部12g。

由反射运动计算部12f计算的与前庭眼动反射运动有关的计算数据中例如包括vor增益、余差标准偏差及延迟时间中至少任一种数据(也称为参数)，优选包括vor增益。

vor增益从原理上来说意为瞳孔运动(眼球旋转角速度)相对于头部运动(头部旋转角速度)的响应程度，能够以瞳孔运动(眼球旋转角速度)/头部运动(头部旋转角速度)来表示。

例如，vor增益，作为目标变量为眼球旋转角速度e(t)、说明变量为理想眼球角速度h(t)和常数项dc的公式[式1]的回归模型的系数g，通过公式[式2]推算最小平方而求出。在此，ε(t)为回归模型的余差。另外，τ为眼球运动相对于理想眼球运动的延迟时间。

眼球旋转角速度e(t)可以根据由计算部12c计算出的瞳孔运动数据求得眼球运动角，并对该眼球运动角进行微分处理而求得。理想眼球角速度h(t)可以根据由计算部12c计算出的头部运动数据求得头部运动角，并对该头部运动角进行微分处理而求得。需要说明的是，对驾驶员3的前后、上下、左右、偏航及俯仰方向中的至少一个方向计算vor增益即可。

[式1]

e(t)＝gh(t-τ)+dc+ε(t)

[式2]

另外，余差标准偏差(sdres)可通过公式[式3]来计算。

[式3]

需要说明的是，对于vor增益和余差标准偏差，为了获得足够的推算精度，也可以将第一时间(例如几十秒或规定帧数)的数据作为一个区间，边给定短于第一时间的第二时间的重叠部分，边对短于第二时间的每一第三时间计算各区间中的值。另外，一般地，当驾驶员3出现困意时，可看到vor增益减少而余差标准偏差增加的趋势。因此，为了高精度地判定困意的征兆，也可以求出vor增益的减少率等变化率、或余差标准偏差的增加率等变化率。

困意检测部12g在从反射运动计算部12f获取到与前庭眼动反射运动相关的计算数据时，使用获取到的与前庭眼动反射运动相关的计算数据来检测驾驶员3的困意。例如，既可以使用vor增益、余差标准偏差及延迟时间中至少任一参数进行与规定阈值的比较等来检测表示驾驶员3的困意程度的困意度，也可以加进前庭眼动反射运动之外的参数，例如眨眼的频率、或眼的开合度等来检测困意度。困意检测部12g在检测出驾驶员3的困意之后，将驾驶员3的困意的检测结果，例如困意度输出至唤醒控制部12h。

唤醒控制部12h根据从困意检测部12g获取到的困意度，进行对唤醒装置70输出用于唤醒驾驶员3的控制信号的处理。

当唤醒装置70例如由通过声音或光等向驾驶员3发出警告的警报装置构成时，唤醒控制部12h将使警报装置工作规定时长的控制信号输出至警报装置。

另外，当唤醒装置70由将冷风、热风或包含香气成分、臭气成分的气体等吹向驾驶员3的空调装置构成时，唤醒控制部12h将使空调装置工作规定时长的控制信号输出至空调装置。

另外，当唤醒装置70由使方向盘、安全带或座椅等振动的振动装置构成时，唤醒控制部12h将使振动装置工作规定时长的控制信号输出至振动装置。

另外，也可以进行对导航装置50输出用于唤醒驾驶员3的控制信号的处理。此时的控制信号包括使导航装置50输出用于唤醒驾驶员3的警告音、警告显示的控制信号等。

[处理动作例]

图4是示出实施方式涉及的数据处理装置10中的控制单元12所进行的一例处理动作的流程图。需要说明的是，以下说明的处理动作只是一个示例，可适当地对处理步骤进行省略、替换及追加等变更。

(监视系统1的启动)

首先，当驾驶员3打开了车辆2的启动开关40时，构成监视系统1的数据处理装置10和相机20启动，数据处理装置10的控制单元12根据程序134开始驾驶员3的监视处理。

在步骤s1中，控制单元12作为图像获取部12a进行动作，进行从配置为拍摄驾驶员3的脸部的相机20获取拍摄图像的处理。在相机20中，每秒拍摄规定帧数的图像。控制单元12按时序获取这些拍摄图像，每帧或每隔规定间隔的帧执行处理。获取到拍摄图像后，控制单元12进入下一步骤s2的处理。

在步骤s2中，控制单元12作为数据获取部12b进行动作，进行从车载传感器30及导航装置50等获取表示车辆2的状态的数据的处理。例如，既可以从车载传感器30获取各传感器的检测数据，也可以从导航装置50获取包括所行驶的道路的形状(直线、弯道等)等的道路数据。在获取到表示车辆2的状态的数据后，控制单元12进入下一步骤s3的处理。

在步骤s3中，控制单元12作为计算部12c进行动作，进行计算驾驶员3的瞳孔运动的处理。计算部12c进行的瞳孔运动的计算采用上述说明的方法。例如，执行对步骤s1中获取到的拍摄图像的每帧计算瞳孔运动的处理。对驾驶员3的瞳孔运动进行了计算后，控制单元12进入下一步骤s4的处理。

在步骤s4中，控制单元12作为计算部12c进行动作，进行计算驾驶员3的头部运动的处理。计算部12c进行的头部运动的计算采用上述说明的方法。例如，执行对步骤s1中获取到的拍摄图像的每帧计算头部运动的处理。对驾驶员3的头部运动进行了计算后，控制单元12进入下一步骤s5的处理。需要说明的是，步骤s3、s4的顺序可以互换。另外，可将步骤s2置换到步骤s4之后。

在步骤s5中，控制单元12作为适应度评价部12d进行动作，进行根据驾驶员3的瞳孔运动及头部运动评价计算前庭眼动反射运动时的状况的适应度的处理。适应度评价部12d所进行的处理既可以通过上面说明的(1)～(9)的任一方法评价适应度，也可以根据车辆2或驾驶员3的状态适当地组合上述(1)～(9)中两种以上的方法评价适应度。在对计算前庭眼动反射运动时的状况的适应度进行了评价后，控制单元12进入下一步骤s6的处理。需要说明的是，在步骤s5中，假设由多值数据表示的适应性的程度(适应性程度)作为适应度被评价。

在步骤s6中，控制单元12作为赋予部12e进行动作，进行对步骤s3、s4中算出的瞳孔运动及头部运动相关的数据赋予在步骤s5中所评价的适应度的处理。对各图像帧的瞳孔运动及头部运动相关的数据赋予了适应度后，控制单元12进入下一步骤s7的处理。

在步骤s7中，控制单元12作为反射运动计算部12f进行动作，考虑在步骤s6中赋予瞳孔运动及头部运动相关的数据(计算数据)的适应度，进行根据计算数据计算驾驶员3的前庭眼动反射运动的处理。关于步骤s7的处理动作的具体例将在后文中描述。与前庭眼动反射运动相关的计算数据(参数)包括上面说明的vor增益、余差标准偏差及延迟时间中至少任一种。在对驾驶员3的前庭眼动反射运动进行了计算后，控制单元12进入下一步骤s8的处理。

在步骤s8中，控制单元12作为困意检测部12g进行动作，进行根据在步骤s7中计算出的驾驶员3的前庭眼动反射运动来检测驾驶员3的困意，例如困意度的处理。

如上所述，驾驶员3的困意度例如既可以使用vor增益、余差标准偏差及延迟时间中至少任一种参数来检测，也可以加进眨眼的频率或眼的开合度等来进行检测。在进行了驾驶员3的困意度的检测处理后，控制单元12进入下一步骤s9的处理。

在步骤s9中，控制单元12作为唤醒控制部12h进行动作，判断步骤s8中所检测出的困意度是否小于规定的阈值(能够判定为产生了困意的阈值)。在步骤s9中，若控制单元12判断为困意度大于等于规定的阈值(产生了困意)，则控制单元12进入下一步骤s10的处理。另一方面，在步骤s9中，若控制单元12判断为困意度小于规定的阈值(未产生困意)，则控制单元12进入步骤s11的处理。

在步骤s10中，控制单元12作为唤醒控制部12h进行动作，进行向唤醒装置70输出用于唤醒驾驶员3的规定的控制信号的处理。在对驾驶员3进行了唤醒控制后，控制单元12进入下一步骤s11的处理。

在步骤s11中，控制单元12判断启动开关40是否关闭，如果判断为启动开关40未被关闭，则控制单元12返回步骤s1的处理。另一方面，在步骤s11中，如果判断为启动开关40被关闭，则控制单元12进入步骤s12的处理。在步骤s12中，控制单元12停止监视动作，之后结束处理。

图5是示出实施方式涉及的数据处理装置10所进行的vor的计算处理动作(图5的步骤s7的处理动作)的第一例的流程图。

在步骤s21中，控制单元12判定对驾驶员3的瞳孔运动及头部运动相关的数据(计算数据)赋予的适应度是否大于规定的阈值。需要说明的是，规定的阈值是用于判定是否适于将计算数据用于vor的计算的值。在步骤s21中，如果判定为适应度大于规定的阈值，则控制单元12进入下一步骤s22的处理。

在步骤s22中，控制单元12进行将被赋予了该适应度的图像帧的计算数据存储于计算数据存储部133的处理，控制单元12之后进入下一步骤s24的处理。

另一方面，在步骤s21中，如果判定为适应度小于等于规定的阈值，则控制单元12进入下一步骤s23的处理。

在步骤s23中，控制单元12进行不将被赋予了该适应度的图像帧的计算数据存储于计算数据存储部133的处理，之后进入下一步骤s24的处理。

在步骤s24中，控制单元12判定在计算数据存储部133中是否存储了规定时间量(例如t秒，t秒表示几秒至几十秒。例如40秒)的被赋予了高于规定阈值的适应度的计算数据。需要说明的是，也可以代替规定时间而判定是否存储了规定的图像帧数的计算数据。

在步骤s24中，如果判定为在计算数据存储部133中未存储t秒的被赋予了高于规定阈值的适应度的计算数据，则控制单元12返回图3的步骤s1，重复进行处理。

另一方面，在步骤s24中，如果判定为在计算数据存储部133中存储了t秒的被赋予了高于规定阈值的适应度的计算数据，则控制单元12进入下一步骤s25的处理。

在步骤s25中，控制单元12使用存储于计算数据存储部133中的t秒量的计算数据进行计算驾驶员3的前庭眼动反射运动的处理。之后，控制单元12结束vor的计算处理，进入图4的步骤s8的处理。

图6是示出实施方式涉及的数据处理装置10所进行的vor的计算处理动作(图5的步骤s7的处理动作)的第二例的流程图。

在步骤s31中，控制单元12进行将驾驶员3的瞳孔运动及头部运动相关的数据(计算数据)与赋予该计算数据的适应度相关联地存储于计算数据存储部133的处理。在进行了向计算数据存储部133的存储处理后，控制单元12进入下一步骤s32的处理。

在步骤s32中，控制单元12判定在计算数据存储部133中是否存储了规定时间量(例如t秒：t秒表示几秒至几十秒。例如40秒)的计算数据。需要说明的是，也可以替代规定时间而判定是否存储了规定的图像帧数的计算数据。

在步骤s32中，如果判定为在计算数据存储部133中未存储t秒的计算数据，则控制单元12返回图3的步骤s1的处理，重复步骤s1～s6的处理。

另一方面，在步骤s32中，如果判定为在计算数据存储部133中存储了t秒的计算数据，则控制单元12进入下一步骤s33的处理。

在步骤s33中，控制单元12进行从存储在计算数据存储部133中的t秒量的计算数据中提取被赋予了高于规定阈值的适应度的计算数据的处理，之后，进入下一步骤s34的处理。

规定阈值既可以是事先设定的阈值，也可以是对赋予给t秒的各计算数据的适应度进行统计处理而求得的值，例如能够根据平均值、中值、众数或标准偏差等适当地变更。例如，也可以设定为适应度的平均值、中值或众数越高，则阈值越高。若适应度的平均值等高，则即使计算数据数少，也可以高精度地计算出vor，另外也可以提高计算处理的效率。另外，当适应度的标准偏差大时，提高阈值，使用被赋予高的适应度的计算数据而能提高vor的计算精度。

在步骤s34中，控制单元12使用在步骤s33中提取出的被赋予了高于规定阈值的适应度的计算数据进行计算驾驶员3的前庭眼动反射运动的处理。之后，结束vor的计算处理，控制单元12进入图3的步骤s8的处理。

图7是示出实施方式涉及的数据处理装置10所进行的vor的计算处理动作(图5的步骤s7的处理动作)的第三例的流程图。

在步骤s41中，控制单元12进行将驾驶员3的瞳孔运动及头部运动相关的数据(计算数据)与赋予该计算数据的适应度相关联地存储于计算数据存储部133的处理。在进行了向计算数据存储部133的存储处理后，控制单元12进入下一步骤s42的处理。

在步骤s42中，控制单元12判定在计算数据存储部133中是否存储了规定时间量(例如t秒，t秒表示几秒到几十秒。例如40秒)的计算数据。需要说明的是，也可以替代规定时间而判定是否存储了规定的图像帧数的计算数据。

在步骤s42中，如果判定为在计算数据存储部133中未存储t秒的计算数据，则控制单元12返回图3的步骤s1，重复处理。

另一方面，在步骤s42中，如果判定为在计算数据存储部133中存储了t秒的计算数据，则控制单元12进入下一步骤s43的处理。

在步骤s43中，控制单元12进行在存储于计算数据存储部133的t秒量的计算数据中从被赋予的适应度最高的数据提取规定帧数的计算数据的处理，之后，进入下一步骤s44的处理。

规定帧数既可以是事先设定的数，也可以是对赋予给t秒的各计算数据的适应度进行统计处理而求得的值，例如能够根据平均值、中值、众数或标准偏差等适当地变更。例如，也可以设定为适应度的平均值、中值或众数越高，则提取的帧数越少。若适应度的平均值等高，则即使计算数据数少，也可以高精度地计算出vor，另外也可以提高计算处理的效率。另外，当适应度的标准偏差大时，提高阈值，使用被赋予高的适应度的计算数据而能提高vor的计算精度。

在步骤s44中，控制单元12使用在步骤s43中提取出的从适应度最高的数据起的规定帧数的计算数据进行计算驾驶员3的前庭眼动反射运动的处理。之后，结束vor的计算处理，控制单元12进入图3的步骤s8的处理。

[作用及效果]

根据上述实施方式涉及的数据处理装置10，通过适应度评价部12d评价计算前庭眼动反射运动时的状况的适应度，并通过赋予部12e对计算数据赋予适应度(例如，表示适应性的有无或适应性的高低的二值数据或者表示适应性的程度的多值数据)。

因此，通过赋予给计算数据的适应度，能够辨别计算数据作为计算前庭眼动反射运动的状态具有怎样的适应性。然后，通过反射运动计算部12f考虑适应度来根据计算数据计算驾驶员3的前庭眼动反射运动。由此，即使是在发生复杂的眼球运动等的实际行驶环境下，通过使用计算数据中的考虑了适应度的合适的数据，从而可以提高驾驶员3的前庭眼动反射运动的计算精度。

另外，根据数据处理装置10进行的第一vor计算处理例，因为将计算数据中被赋予了高于规定阈值的适应度的数据依次存储于计算数据存储部133，所以与将被赋予了适应度的计算数据全部进行存储的情况相比，能够减少计算数据存储部133的存储容量。然后，使用存储于计算数据存储部133的规定时间量的适应度高的计算数据计算驾驶员3的前庭眼动反射运动。由此，与使用全部被赋予了适应度的计算数据来计算vor的情况相比，能够减少运算量，能够高效地进行vor的计算，还能够减轻控制单元12的计算处理的负担。另外，通过使用被赋予了高于规定阈值的适应度的计算数据、即适于vor计算的状态下的计算数据，从而能够高精度地执行实际行驶环境下的驾驶员3的前庭眼动反射运动的计算。

另外，根据数据处理装置10进行的第二、第三vor计算处理例，计算数据和适应度相关联地存储于计算数据存储部133。然后，使用计算数据存储部133中存储的规定时间量的计算数据中被赋予了高于规定阈值的适应度的计算数据、或从适应度最高的数据起规定帧数的计算数据计算驾驶员3的前庭眼动反射运动。由此，与使用全部被赋予了适应度的计算数据来计算vor的情况相比，能够减少运算量，能够高效地进行所述人的前庭眼动反射运动的计算，还能够减轻控制单元12的计算处理的负担。另外，通过使用被赋予了高于规定阈值的适应度的计算数据或从适应度最高的数据起规定帧数的计算数据、即适于vor计算的状态下的计算数据，从而能够高精度地执行实际行驶环境下的驾驶员3的前庭眼动反射运动的计算。

另外，根据数据处理装置10，因为具备困意检测部12g，所以能够高精度地检测实际行驶环境下的驾驶员3的困意度，另外，因为具备唤醒控制部12h，所以能够根据困意度进行适当唤醒驾驶员3的控制。

另外，根据具备数据处理装置10和相机20的监视系统1，能够提供容易在实际行驶环境下引入的司机监视系统。

另外，通过具备数据处理装置10和唤醒装置70的唤醒系统，能够提供在实际行驶环境下可适当唤醒驾驶员3的系统。

[其它实施方式例]

以上虽然已对本发明的实施方式进行了详细说明，但在此之前的说明在任何方面都只是本发明的示例。显而易见地，在不脱离本发明的范围的前提下能够进行各种改良或变更。

(变形例1)

数据处理装置10的控制单元12不需要全部包括图3所示的各部。在其它的实施方式中，控制单元12也可以通过至少具备计算部12c、适应度评价部12d、赋予部12e及反射运动计算部12f的第一结构、在该第一结构中还具备困意检测部12g的第二结构、或在该第二结构中还具备唤醒控制部12h的第三结构来构成。

(变形例2)

在图5中说明的控制单元12进行的第一vor计算处理动作中，构成为在步骤s21中判定适应度是否大于规定的阈值。适应度不限于表示适应性程度的多值数据，还可以是表示适应性的有无或适应性的高低的二值数据。这样，当适应度是二值数据时，也可以在步骤s21中判定适应性的有无或适应性的高低。

(变形例3)

另外，在上述实施方式中，虽然对监视系统1及数据处理装置10搭载于车辆2的情况进行了说明，但监视系统1及数据处理装置10并不限于车载用。

在其它的实施方式中，例如还能够广泛应用于将监视系统1及数据处理装置10设置于工厂内、办公场所内来监视操作装设于工厂内的设备的人、在机器上进行规定作业的人等的困意的系统等。此时，在工厂内由人操作的物体例如可列举生产装置等。另外，在办公场所内由人操作的物体例如可列举个人计算机等办公设备等。

[附录]

本发明的实施方式也可以如以下附录进行记载，但不限于这些内容。

(附录1)

一种数据处理装置(10)，进行用于对人进行监视的数据处理，其特征在于，具备：

计算部(12c)，计算所述人的瞳孔运动及头部运动；

评价部(12d)，根据所述人的瞳孔运动及头部运动评价计算前庭眼动反射运动时的状况的适应度；

赋予部(12e)，对通过所述计算部(12c)计算出的所述人的瞳孔运动及头部运动相关的数据赋予由所述评价部(12d)评价的所述适应度；以及

计算部(12f)，考虑所述适应度，根据所述数据来计算所述人的前庭眼动反射运动。

(附录2)

一种监视系统(1)，其特征在于，包括：

数据处理装置(10)；以及

拍摄包括人的图像的拍摄装置(20)，

所述数据处理装置(10)的所述计算部(12c)使用从所述拍摄装置(20)获取到的所述图像计算所述人的瞳孔运动及头部运动。

(附录3)

一种数据处理方法，用于对人进行监视，其特征在于，包括：

计算步骤(s3、s4)，计算所述人的瞳孔运动及头部运动；

评价步骤(s5)，根据所述人的瞳孔运动及头部运动评价计算前庭眼动反射运动时的状况的适应度；

赋予步骤(s6)，对通过所述计算步骤(s3、s4)计算出的所述人的瞳孔运动及头部运动相关的数据赋予通过所述评价步骤(s5)评价出的所述适应度；以及

计算步骤(s7)，考虑所述适应度，根据所述数据来计算所述人的前庭眼动反射运动。

(附录4)

一种数据处理程序，用于使至少一台计算机(12)执行用于对人进行监视的数据处理，其特征在于，

使所述至少一台计算机(12)执行：

计算步骤(s3、s4)，计算所述人的瞳孔运动及头部运动；

评价步骤(s5)，根据所述人的瞳孔运动及头部运动评价计算前庭眼动反射运动时的状况的适应度；

赋予步骤(s6)，对通过所述计算步骤(s3、s4)计算出的所述人的瞳孔运动及头部运动相关的数据赋予通过所述评价步骤(s5)评价出的所述适应度；以及

计算步骤(s7)，考虑所述适应度，根据所述数据来计算所述人的前庭眼动反射运动。