本发明涉及视线检测装置以及视线检测方法。
背景技术：
提出了一种视线检测装置，该视线检测装置检测操作者或者受检者在监视画面等观察面上注视的位置。作为不在脸部安装装置而以非接触的方式检测受检者的视线方向的方法，存在以下的方法：向受检者的眼球照射检测光，根据被照射检测光的眼球的图像来计算瞳孔中心与角膜曲率中心，检测从角膜曲率中心朝向瞳孔中心的向量并作为受检者的视线方向。以往，在假定左右眼球中角膜曲率半径为相同的值、左右眼球的视线方向相同的情况下，检测出视线方向。
现有技术文献
专利文献
专利文献1：日本专利第2739331号公报。
技术实现要素：
但是，在现有技术中，存在如下问题：对于角膜曲率半径在左右眼球中较大不同的受检者、或者因斜视等的影响而左右眼球的视线方向较大不同的受检者，难以准确地检测视线方向。
本发明的目的在于提供一种对于各种受检者都能够准确地检测视线方向的视线检测装置以及视线检测方法。
本发明提供一种视线检测装置，包括：光源，向受检者的眼球照射检测光；位置检测部，根据被照射所述检测光的所述眼球的图像，检测左右眼球各自的瞳孔中心的位置以及角膜反射中心的位置，所述瞳孔中心表示瞳孔的中心，所述角膜反射中心表示角膜反射的中心；曲率半径计算部，根据所述光源的位置和所述角膜反射中心的位置，计算左右眼球各自的角膜曲率半径；视线检测部，根据所述瞳孔中心的位置和所述角膜曲率半径，检测左右眼球各自的视线方向；视点检测部，根据在所述视线检测部中检测出的所述视线方向，检测左右眼球各自的视点；输出控制部，根据在所述视线检测部中检测出的所述视线方向，将左右眼球各自的所述视点显示于显示部；以及判断部，根据在所述视线检测部中检测出的所述视线方向，判断左右眼球各自是否朝向目标方向。
本发明所涉及的视线检测装置以及视线检测方法起到对于各种受检者都能够准确地检测视线方向这样的效果。
附图说明
图1是示出使用了一个光源的情况下的受检者的眼睛的状况的图；
图2是示出使用了两个光源的情况下的受检者的眼睛的状况的图；
图3是示出本实施方式的显示部、立体相机、红外线光源以及受检者的配置的一个例子的图；
图4是示出本实施方式的显示部、立体相机、红外线光源以及受检者的配置的一个例子的图；
图5是示出诊断支持装置的功能的简要的图；
图6是示出图5所示的各部的详细功能的一个例子的框图；
图7是对假定了使用一个光源的情况下的处理的简要进行说明的图；
图8是对由本实施方式的诊断支持装置执行的处理的简要进行说明的图；
图9是用于对计算瞳孔中心位置与角膜曲率中心位置之间的距离的校准处理进行说明的图；
图10是示出本实施方式的校准处理的一个例子的流程图；
图11是示出了使用预先求出的距离来计算角膜曲率中心的位置的方法的图；
图12是示出本实施方式的视线检测处理的一个例子的流程图；
图13是示出本实施方式的显示部的显示例的图；
图14是示出本实施方式的校准处理的一个例子的流程图；
图15是示出本实施方式的视线检测处理的一个例子的流程图；
图16是示出本实施方式的显示部的显示例的图；
图17是示出本实施方式的显示部的显示例的图；
图18是示出本实施方式的显示部的显示例的图；
图19是示出本实施方式的评价方法的一个例子的流程图；
图20是用于对本实施方式的评价方法的一个例子进行说明的示意图；
图21是用于对本实施方式的评价方法的一个例子进行说明的示意图；
图22是用于对变形例的计算处理进行说明的图；
图23是示出变形例的计算处理的一个例子的流程图。
具体实施方式
以下，参照附图，对本发明所涉及的视线检测装置以及视线检测方法的实施方式进行详细说明。另外，本发明并不由该实施方式限定。此外，以下，对在使用视线检测结果来支持斜视等的诊断的诊断支持装置中使用视线检测装置的例子进行说明。能够应用的装置并不限于诊断支持装置。
根据受检者，存在角膜曲率半径在左右眼球较大不同、或者由于斜视等的影响而左右眼球的视线方向较大不同的情况。本实施方式的诊断支持装置单独地求出左右眼球的角膜曲率半径，进而单独地检测相对监视画面的受检者的左右眼球的视点，由此能够对各种受检者适当地实施视点检测。
本实施方式的视线检测装置使用设置于两处的照明部对视线进行检测。此外，本实施方式的视线检测装置使用测量结果来高精度地计算角膜曲率中心的位置以及角膜曲率半径，该测量结果是在检测视线之前使受检者注视一个点而测量出的结果。
另外，照明部包括光源，是能够向受检者的眼球照射光的元件。光源例如是led(lightemittingdiode，发光二极管)等的发出光的元件。光源可以由一个led构成，也可以通过组合多个led并配置于一处而构成。以下，作为如此表示照明部的术语，存在使用“光源”的情况。
为了高精度地进行视点检测，重要的是能够准确地检测瞳孔的位置。可知在点亮近红外的光源并利用相机进行拍摄的情况下，当相机与光源之间的距离分离一定以上时，瞳孔变得比其他部分暗。使用该特征，对瞳孔位置进行检测。
在本实施方式中，相对于两台相机，在各个相机的外侧在两处配置光源。并且，在彼此不同的时刻点亮这些两个光源，利用离点亮的光源的距离较长(较远)的相机来进行拍摄。由此，能够更暗地拍摄瞳孔，更高精度地区分瞳孔与其他部分。
在该情况下，由于点亮的光源不同，所以无法简单地应用基于通常的立体方式的三维计测。即，无法在世界坐标中计算如下直线：该直线是将在求出视点时的光源与角膜反射连结的直线。因此，在本实施方式中，使两个时刻的、拍摄所使用的相机彼此的位置关系、以及点亮的光源彼此的位置关系分别相对于假想光源位置对称，该假想光源位置表示假想的光源的位置。并且，将在两个光源各自的点亮时所获得的两个坐标值作为基于左相机的坐标值以及基于右相机的坐标值而转换成世界坐标。由此，使用在两个光源各自的点亮时所获得的角膜反射的位置，能够在世界坐标中计算将假想光源与角膜反射连结的直线、以及基于该直线来计算视点。
图1是示出使用了一个光源的情况下的受检者的眼睛11的状况的图。如图1所示，虹膜12与瞳孔13之间的暗度之差并不充分，难以进行区分。图2是示出使用了两个光源的情况下的受检者的眼睛21的状况的图。如图2所示，虹膜22与瞳孔23之间的暗度之差与图1相比变大。
图3以及图4是示出本实施方式的显示部、立体相机、红外线光源以及受检者的配置的一个例子的图。
如图3所示，本实施方式的诊断支持装置包括显示部101、构成立体相机的右相机102a以及左相机102b、led光源103a、103b。右相机102a以及左相机102b配置于显示部101的下方。led光源103a、103b配置于右相机102a以及左相机102b各自的外侧的位置。led光源103a、103b例如是照射波长850[nm]的近红外线的光源。在图3中，示出利用9个led来构成led光源103a、103b的例子。另外，右相机102a以及左相机102b使用能够透射波长850[nm]的近红外光的透镜。另外，也可以将led光源103a、103b与右相机102a以及左相机102b的位置颠倒，将led光源103a、103b配置于右相机102a以及左相机102b各自的内侧的位置。
如图4所示，led光源103a、103b朝向受检者的眼球111照射作为检测光的近红外光。当照射led光源103a时利用左相机102b来进行拍摄，当照射led光源103b时利用右相机102a来进行拍摄。通过适当地设定右相机102a以及左相机102b与led光源103a、103b之间的位置关系，在所拍摄的图像中，瞳孔112以低亮度反射而变暗，在眼球111内作为虚像而产生的角膜反射113以高亮度反射而变亮。因而，能够利用两台相机(右相机102a以及左相机102b)分别获取瞳孔112以及角膜反射113的图像上的位置。
进而，根据由两台相机获得的瞳孔112以及角膜反射113的位置，计算瞳孔112以及角膜反射113的位置的三维世界坐标值。在本实施方式中，作为三维世界坐标，将显示部101的画面的中央位置设为原点，将上下方向设为y坐标(上为+)，将横方向设为x坐标(朝右为+)，将深度方向设为z坐标(跟前侧为+)。
图5是示出诊断支持装置100的功能的简要的图。在图5中，示出图3以及图4所示的结构的一部分、该结构的驱动等中所用的结构。如图5所示，诊断支持装置100包括右相机102a、左相机102b、左相机102b用的led光源103a、右相机102a用的led光源103b、扬声器205、驱动/if(interface，接口)部313、控制部300、存储部150、显示部101。在图5中，显示画面201示出右相机102a以及左相机102b的位置关系以便容易理解，显示画面201是在显示部101中显示的画面。另外，驱动部与if部可以是一体，也可以是分体。
扬声器205作为声音输出部而发挥功能，该声音输出部在校准时等输出用于促使受检者注意的声音等。
驱动/if部313驱动立体相机所含的各部。此外，驱动/if部313成为立体相机所含的各部与控制部300的接口。
控制部300例如能够由包括cpu(centralprocessingunit，中央处理器)等控制装置、rom(readonlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)等存储装置、与网络连接来进行通信的通信if、以及连接各部的总线的计算机等实现。
存储部150存储控制程序、测量结果、诊断支持结果等各种信息。存储部150例如存储显示于显示部101的图像等。显示部101显示用于诊断的对象图像等各种信息。
图6是示出图5所示的各部的详细功能的一个例子的框图。如图6所示，在控制部300连接有显示部101以及驱动/if部313。驱动/if部313包括相机if314、315，led驱动控制部316以及扬声器驱动部322。
在驱动/if部313经由相机if314、315分别连接有右相机102a以及左相机102b。驱动/if部313驱动这些相机，由此对受检者进行拍摄。从右相机102a输出帧同步信号。帧同步信号被输入到左相机102b和led驱动控制部316。由此，使led光源103a、103b发光，与此对应，取入左右相机所产生的图像。
扬声器驱动部322驱动扬声器205。另外，诊断支持装置100也可以包括用于与作为印刷部的打印机连接的接口(打印机if)。此外，也可以构成为在诊断支持装置100的内部包括打印机。
控制部300对诊断支持装置100整体进行控制。控制部300包括点亮控制部351、位置检测部352、曲率半径计算部353、视线检测部354、视点检测部355、输出控制部356、评价部357以及判断部358。
控制部300所含的各元件(点亮控制部351、位置检测部352、曲率半径计算部353、视线检测部354、视点检测部355、输出控制部356、评价部357以及判断部358)可以由软件(程序)来实现，可以由硬件电路来实现，也可以并用软件与硬件电路来实现。
在由程序实现的情况下，该程序被作为可安装的格式或者可执行的格式的文件而存储于cd-rom(compactdiskreadonlymemory，压缩光盘只读存储器)、软盘(fd)、cd-r(compactdiskrecordable，可刻录光盘)、dvd(digitalversatiledisk，数字通用光盘)等的可由计算机读取的存储介质中，并作为计算机程序产品而被提供。也可以构成为将程序保存在与因特网等网络连接的计算机上，通过经由网络下载而提供。此外，也可以构成为将程序经由因特网等网络而提供或者分配。此外，也可以构成为将程序预先装入rom等中而提供。
点亮控制部351使用led驱动控制部316而对led光源103a、103b的点亮进行控制。例如，点亮控制部351对led光源103a、103b进行控制以便在彼此不同的时刻点亮。时刻之差(时间)例如只要设为预先确定的时间即可，该预先确定的时间是作为受检者视线的移动等不对视线检测结果造成影响的时间而预先确定的时间。
位置检测部352根据被照射近红外光并由立体相机拍摄的受检者的左右眼球的图像来检测瞳孔区域和角膜反射区域，该瞳孔区域表示左右眼球各自的瞳孔，该角膜反射区域表示左右眼球各自的角膜反射。此外，位置检测部352基于瞳孔区域来检测左右眼球各自的瞳孔中心的位置，该瞳孔中心表示瞳孔的中心。例如，位置检测部352选择瞳孔区域的轮廓上的多个点，计算通过所选择的多个点的圆的中心并作为瞳孔中心的位置。同样地，位置检测部352基于角膜反射区域来检测左右眼球各自的角膜反射中心的位置，该角膜反射中心表示角膜反射的中心。
曲率半径计算部353根据第一直线来计算角膜曲率中心的位置，该第一直线连结假想光源位置与角膜反射中心。此外，曲率半径计算部353根据假想光源位置与角膜反射中心的位置来计算受检者的左右眼球各自的角膜曲率半径，该角膜曲率半径是角膜表面与角膜曲率中心之间的距离。
曲率半径计算部353使用在使受检者注视目标位置时所计算出的瞳孔中心以及角膜反射中心，来计算第二直线与第一直线的交点，该第二直线连结瞳孔中心与目标位置，该第一直线连结角膜反射中心与假想光源位置。所计算出的交点为角膜曲率中心。曲率半径计算部353计算瞳孔中心与角膜曲率中心之间的距离，并存储于存储部150。此外，曲率半径计算部353计算角膜曲率半径，并存储于存储部150，该角膜曲率半径是角膜表面与角膜曲率中心之间的距离。
目标位置只要是被预先确定且能够计算三维世界坐标值的位置即可。例如，能够将显示画面201的中央位置(三维世界坐标的原点)设为目标位置。在该情况下，例如，输出控制部356在显示画面201上的目标位置(中央位置)上显示使受检者注视的目标图像等。由此，能够使受检者注视目标位置。
目标图像只要是能够使受检者注视的图像即可，可以是任意的图像。例如，能够将亮度、颜色等显示方式变化的图像、以及显示方式与其他区域不同的图像等利用为目标图像。
另外，目标位置并不限于显示画面201的中央位置，可以是任意的位置。如果将显示画面201的中央位置设为目标位置，则与显示画面201的任意的端部之间的距离变为最小。因此，例如，能够使在视线检测时的测量误差变得更小。
例如在开始进行实际视线检测之前，预先执行到瞳孔中心与角膜曲率中心之间的距离的计算以及角膜曲率半径的计算为止的处理。当检测视线时，曲率半径计算部353能够将在第一直线上离瞳孔中心的距离成为预先计算出的距离的位置计算为角膜曲率中心，该第一直线连结假想光源位置与角膜反射中心。曲率半径计算部353根据假想光源位置、表示显示部上的目标图像的预定位置、瞳孔中心的位置以及角膜反射中心的位置，来计算角膜曲率中心的位置，并计算角膜曲率半径。
视线检测部354根据瞳孔中心的位置、以及角膜曲率半径或者角膜曲率中心的位置，检测受检者的左右眼球各自的视线方向。例如，视线检测部354将从角膜曲率中心朝向瞳孔中心的方向检测为受检者的视线方向。
视点检测部355根据由视线检测部354检测出的视线方向，检测受检者的左右眼球各自的视点。视点检测部355例如检测视点(注视点)，该视点是在显示画面201上受检者注视的点。视点检测部355例如将由图2那样的三维世界坐标系表示的视线向量与xy平面的交点检测为受检者的视点。
输出控制部356对相对于显示部101以及扬声器205等的各种信息的输出进行控制。在本实施方式中，输出控制部356使显示部101显示受检者的左右眼球各自的视线方向。输出控制部356使用由视线检测部354检测到的视线方向，将通过视点检测部355来检测出的左右眼球各自的视点显示在显示部101上。此外，输出控制部356向显示部101上的目标位置输出目标图像。此外，输出控制部356对诊断图像、以及评价部357的评价结果等相对于显示部101的输出进行控制。
评价部357根据左右眼球各自的视点的移动轨迹，对左右眼球各自的状态进行评价。例如，评价部357根据左右眼球各自的视点的移动轨迹，对左右眼球的移动方式进行评价，或者对左右眼球的任一方是否为斜视进行评价。
判断部358根据由视线检测部354检测出的视线方向或者由视点检测部355检测出的视点，判断左右眼球各自是否朝向目标方向。例如，判断部358基于左眼球视点的第一移动轨迹以及右眼球视点的第二移动轨迹中的至少一方，判断左右眼球是否朝向目标方向。此处所说的目标方向是指，左右眼球沿着后面叙述的目标轨迹移动的方向。
图7是对假定了使用一个光源的情况下的处理的简要进行说明的图。对在图3至图6中说明的元件标注相同的符号并省略说明。在图7的例子中，代替两个led光源103a、103b，转而使用一个led光源203。
瞳孔中心407以及角膜反射中心408分别表示在点亮一个led光源203时检测出的瞳孔中心以及角膜反射中心。角膜反射中心408存在于连结了led光源203与角膜曲率中心410的直线上，其位置体现为角膜曲率中心410与角膜表面之间的中间点。角膜曲率半径409表示从角膜表面到角膜曲率中心410的距离。led光源203此处设为一个led，但也可以设为组合几个小的led并配置于一处的。
图8是对由本实施方式的诊断支持装置100执行的处理的简要进行说明的图。对在图3至图6中说明的元件标注相同的符号并省略说明。
角膜反射点621表示在由左相机102b拍摄时的图像上的角膜反射点。角膜反射点622表示在由右相机102a拍摄时的图像上的角膜反射点。在本实施方式中，右相机102a与右相机用的led光源103b、以及左相机102b与左相机用的led光源103a例如相对于通过右相机102a与左相机102b的中间位置的直线处于左右对称的位置关系。因此，能够视为在右相机102a与左相机102b的中间位置(假想光源位置)存在假想光源303。角膜反射点624表示与假想光源303对应的角膜反射点。使用转换参数来转换角膜反射点621的坐标值与角膜反射点622的坐标值，由此计算角膜反射点624的世界坐标值，该转换参数是将左右相机的坐标值转换成三维世界坐标的参数。在将假想光源303与角膜反射点624连结的直线523上存在角膜曲率中心505。通过计算角膜曲率中心505的位置以及角膜表面的位置，来计算角膜曲率半径509。这样，能够通过与图7所示那样光源为一处的视线检测方法相同的方法进行视点检测。
另外，右相机102a与左相机102b的位置关系、以及led光源103a与led光源103b的位置关系并不限于上述的位置关系。例如，可以相对于同一条直线，各个位置关系为左右对称的关系，右相机102a与左相机102b、led光源103a与led光源103b也可以不在同一条直线上。
图9是用于对在进行视线检测或者视点检测之前，计算出角膜曲率中心615的位置、以及瞳孔中心611的位置与角膜曲率中心615的位置之间的距离616的校准处理进行说明的图。对在图3至图6中说明的元件标注相同的符号并省略说明。
目标位置605是用于在显示部101上的一个点出现目标图像等而供受检者注视的位置。在本实施方式中，目标位置605是显示部101的画面的中央位置。直线613是将假想光源303与角膜反射中心612连结的直线。直线614是将目标位置605与瞳孔中心611连结的直线，目标位置605是受检者注视的注视点。角膜曲率中心615是直线613与直线614的交点。角膜曲率半径609是角膜表面与角膜曲率中心615之间的距离。曲率半径计算部353计算瞳孔中心611与角膜曲率中心615之间的距离616、以及角膜曲率半径609，并存储于存储部150。
图10是示出本实施方式的校准处理的一个例子的流程图。输出控制部356在显示部101的画面上的一个点再现目标图像(步骤s101)，使受检者注视该一个点。接着，点亮控制部351使用led驱动控制部316，向受检者的眼睛点亮led光源103a、103b中的一者(步骤102)。控制部300利用左右相机(右相机102a、左相机102b)中的离点亮的led光源的距离长的相机，对受检者的眼睛进行拍摄(步骤s103)。接着，点亮控制部351向受检者的眼睛点亮led光源103a、103b中的另一者(步骤s104)。控制部300利用左右相机中的离点亮的led光源的距离长的相机，对受检者的眼睛进行拍摄(步骤s105)。
另外，也可以不停止利用离点亮的led光源的距离长的相机以外的相机进行的拍摄。即，只要能够至少利用离点亮的led光源的距离长的相机而对受检者的眼睛进行拍摄，并将拍摄的图像利用于坐标计算等中即可。
在步骤s105之后，分别实施对左眼球即左眼的处理、对右眼球即右眼的处理。首先，对左眼的校准处理进行说明。
通过led光源103a或者led光源103b的照射，左眼的瞳孔区域被检测为暗的部分(暗瞳孔)。此外，作为led照射的反射，产生左眼的角膜反射的虚像，作为亮的部分检测到角膜反射点(角膜反射中心)。即，位置检测部352根据拍摄的图像来检测左眼的瞳孔区域，并计算坐标，该坐标表示左眼的瞳孔中心的位置。位置检测部352例如在包含左眼的一定区域中，作为瞳孔区域而检测包含最暗的部分在内的预定亮度以下的区域，作为角膜反射而检测包含最亮的部分在内的预定亮度以上的区域。此外，位置检测部352根据拍摄的图像来检测左眼的角膜反射区域，并计算坐标，该坐标表示角膜反射中心的位置。另外，位置检测部352针对由左右相机获取的两个图像的每一个，分别计算左眼的瞳孔中心的坐标值以及角膜反射中心的坐标值(步骤s106l)。
另外，左右相机为了获取三维世界坐标，预先进行基于立体校正法的相机校正，并计算转换参数。立体校正法能够应用使用了tsai的相机校准理论的方法等一直以来使用的所有方法。
位置检测部352使用该转换参数，根据左右相机的坐标，将左眼的瞳孔中心与角膜反射中心转换成三维世界坐标(步骤s107l)。例如，位置检测部352将根据led光源103a点亮时由左相机102b拍摄的图像获得的坐标设为左相机的坐标，将根据led光源103b点亮时由右相机102a拍摄的图像获得的坐标设为右相机的坐标，并使用转换参数来进行向三维世界坐标的转换。其结果为，所获得的世界坐标值对应于根据如下图像获得的世界坐标值：在假定了从假想光源303照射出光时，由左右相机拍摄的图像。曲率半径计算部353求出将所求出的角膜反射中心的世界坐标与假想光源303的中心位置的世界坐标连结的直线(步骤s108l)。接着，曲率半径计算部353计算将在显示部101的画面上的一个点显示的目标图像的中心的世界坐标与左眼的瞳孔中心的世界坐标连结的直线(步骤s109l)。曲率半径计算部353求出步骤s108l中所计算出的直线与步骤s109l中所计算出的直线的交点，并将该交点设为左眼的角膜曲率中心(步骤s110l)。曲率半径计算部353计算此时的瞳孔中心与角膜曲率中心之间的距离，并存储于存储部150(步骤s111l)。此外，曲率半径计算部353计算左眼的角膜曲率半径(步骤s112l)。
在校准处理中注视显示部101上的一个点时的瞳孔中心与角膜曲率中心之间的距离在检测显示部101内的视点的范围内被保持为一定。瞳孔中心与角膜曲率中心之间的距离可以根据在再现目标图像的过程中所计算出的值整体的平均来求出，也可以根据在再现中所计算出的值中的几个值的平均来求出。
以上，对到左眼的角膜曲率半径的计算为止的顺序进行了说明。对右眼，也实施与对左眼的从步骤s106l到步骤s112l相同的顺序(步骤s106r到步骤s112r)，并计算右眼的角膜曲率半径。省略对于到右眼的角膜曲率半径的计算为止的顺序的说明。
在计算出左眼的角膜曲率半径、计算出右眼的角膜曲率半径之后，曲率半径计算部353对左右眼球的角膜曲率半径进行平均化(步骤s113)。即，在将左眼的角膜曲率半径设为r1、右眼的角膜曲率半径设为r2的情况下，曲率半径计算部353实施(r1+r2)/2的运算，并计算被平均化后的角膜曲率半径ra。曲率半径计算部353将被平均化后的角膜曲率半径ra存储于存储部150(步骤s114)。
图11是示出了当进行视点检测时，使用预先求出的瞳孔中心与角膜曲率中心之间的距离，来计算修正后的角膜曲率中心的位置的方法的图。注视点805表示根据使用一般的曲率半径值计算出的角膜曲率中心而求出的注视点。注视点806表示根据使用预先求出的距离计算出的角膜曲率中心而求出的注视点。
瞳孔中心811以及角膜反射中心812分别表示视点检测时所计算出的瞳孔中心的位置以及角膜反射中心的位置。直线813是将假想光源303与角膜反射中心812连结的直线。角膜曲率中心814是根据一般的曲率半径值来计算出的角膜曲率中心的位置。距离815是通过预先的校准处理计算出的瞳孔中心与角膜曲率中心之间的距离。角膜曲率中心816是使用预先求出的距离计算出的角膜曲率中心的位置。角膜曲率中心816根据角膜曲率中心存在于直线813上、以及瞳孔中心与角膜曲率中心之间的距离为距离815而求出。由此，在使用一般的曲率半径值的情况下计算出的视线817被修正为视线818。此外，显示部101的画面上的注视点从注视点805修正为注视点806。
图12是示出本实施方式的视线检测处理的一个例子的流程图。首先，实施图12所示的步骤s201到步骤s204的处理。步骤s201到步骤s204与图10的步骤s102到步骤s105相同，因此省略说明。
在步骤s204之后，分别实施对左眼球即左眼的处理、对右眼球即右眼的处理。首先，说明对左眼的视线检测处理。另外，图12所示的步骤s205l到步骤s207l的处理与图10的步骤s106l到步骤s108l的处理相同，因此省略说明。
曲率半径计算部353作为左眼的角膜曲率中心，计算位于通过步骤s207l计算出的直线上、且与在图10的步骤s114中存储于存储部150的角膜曲率半径ra的角膜曲率中心相同的位置(步骤s208l)。
视线检测部354求出将左眼的瞳孔中心与角膜曲率中心连结的视线向量(步骤s209l)。该向量表示受检者的左眼观察的视线方向。视点检测部355计算该视线方向与显示部101的画面的交点的三维世界坐标值(步骤s210l)。该值是用世界坐标表示受检者的左眼注视的显示部101上的1点的坐标值。视点检测部355将所求出的三维世界坐标值转换成由显示部101的二维坐标系表示的坐标值(x，y)(步骤s211l)。由此，计算受检者的左眼注视的显示部101上的视点(注视点)。
以上，对到左眼的视点的计算为止的顺序进行了说明。对于右眼，也实施与对于左眼的步骤s205l到步骤s211l相同的顺序(步骤s205r到步骤s211r)，计算右眼的视点。省略对于到右眼的视点的计算为止的顺序的说明。
在计算出左眼的视线方向以及视点、并计算出右眼的视线方向以及视点之后，视点检测部355对左右眼球的视点进行平均化(步骤s212)。即，在左眼的注视点的坐标值为(x1，y1)、右眼的注视点的坐标值为(x2，y2)的情况下，视点检测部355实施(x1+x2)/2的运算并计算被平均化后的x坐标xa，实施(y1+y2)/2的运算并计算被平均化后的y坐标ya。输出控制部356将被平均化后的视点的坐标值(xa，ya)显示于显示部101(步骤s213)。
图13是示出在步骤s213中利用输出控制部356显示于显示部101的视点的一个例子的图。如图13所示，在显示部101上显示指标图像c1、c2、c3、c4、c5。为了对受检者的眼球的移动方式进行评价，向受检者发出指示，以使得左右两个眼球的视点按照指标图像c1、c2、c3、c4、c5的顺序移动。
将描绘点p显示于显示部101，该描绘点p表示左右两个眼球的被平均化后的视点。在实施了视点的检测之后，操作者或者受检者操作设置于诊断支持装置100的操作输入部，通过该操作而将描绘点p显示于显示部101。以从左右相机输出的帧同步信号的周期(例如每隔50[msec])实施视点的检测。因而，体现出描绘点p的间隔越大则视点的移动越快。
参照图10以及图12说明的处理对左右眼球的角膜曲率半径进行平均化，并对左右眼球的视线方向或者视点进行平均化。在假定角膜曲率半径在左右眼球为相同的值的情况下，对左右眼球的角膜曲率半径进行平均化，在假定左右眼球的视线方向相同的情况下，对左右眼球的视点进行平均化。在角膜曲率半径在左右眼球大致相等的受检者的情况下、或者在左右眼球的视线方向大致相同的受检者的情况下，在参照图10以及图12说明的处理中也能够准确地检测视线方向。但是，对于角膜曲率半径(角膜曲率中心的位置)在左右眼球较大不同的受检者、或者因斜视等的影响而左右眼球的视线方向较大不同的受检者，如果对左右眼球的角膜曲率半径进行平均化、或者对左右眼球的视线方向或者视点进行平均化，则难以检测准确的视线方向或者视点。
因此，在本实施方式中，控制部300将左眼的角膜曲率半径与右眼的角膜曲率半径单独存储于存储部150，使显示部101单独地显示左眼的视线方向或者视点、以及右眼的视线方向或者视点。
图14是示出将左右眼球的角膜曲率半径单独地存储于存储部150时的校准处理的一个例子的流程图。图15是示出将左右眼球的视点单独地显示于显示部101时的视线检测处理的一个例子的流程图。
首先，参照图14，对本实施方式所涉及的校准处理进行说明。步骤s301到步骤s305的处理与参照图10说明的步骤s101到步骤s105的处理相同，因此省略说明。对于左眼的步骤s306l到步骤s312l的处理与参照图10说明的步骤s106l到步骤s112l的处理相同，因此省略说明。对于右眼的步骤s306r到步骤s312r的处理与参照图10说明的步骤s106r到步骤s112r的处理相同，因此省略说明。
曲率半径计算部353计算受检者的左眼的角膜曲率半径r1(步骤s312l)，并将所计算出的左眼的角膜曲率半径r1存储于存储部150(步骤s313l)。此外，曲率半径计算部353计算受检者的右眼的角膜曲率半径r2(步骤s312r)，并将所计算出的右眼的角膜曲率半径r2存储于存储部150(步骤s313r)。
接着，参照图15，对本实施方式所涉及的视线检测处理进行说明。步骤s401到步骤s404的处理与参照图12说明的步骤s201到步骤s204的处理相同，因此省略说明。对于左眼的步骤s405l到步骤s407l的处理与参照图12说明的步骤s205l到步骤s207l的处理相同，因此省略说明。对于右眼的步骤s405r到步骤s407r的处理与参照图12说明的步骤s205r到步骤s207r的处理相同，因此省略说明。
视线检测部354计算受检者的左眼的瞳孔中心以及角膜反射中心的世界坐标值，并基于在图14的步骤s313l中存储于存储部150的角膜曲率半径r1，计算受检者的左眼的角膜曲率中心(步骤s408l)。
视线检测部354求出将左眼的瞳孔中心与角膜曲率中心连结的视线向量(步骤s409l)。视点检测部355计算左眼的视线向量与显示部101的画面的交点的三维世界坐标值(步骤s410l)。视点检测部355将所求出的三维世界坐标值转换成由显示部101的二维坐标系表示的坐标值(x1，y1)。由此，计算受检者的左眼注视的显示部101上的视点的位置(步骤s411l)。输出控制部356将步骤s411l中所计算出的左眼的视点的坐标值(x1，y1)显示于显示部101(步骤s412l)。
此外，视线检测部354计算受检者的右眼的瞳孔中心以及角膜反射中心的世界坐标值，并基于在图14的步骤s313r中存储于存储部150的角膜曲率半径r2，计算受检者的右眼的角膜曲率中心(步骤s408r)。
视线检测部354求出将右眼的瞳孔中心与角膜曲率中心连结的视线向量(步骤s409r)。视点检测部355计算右眼的视线向量与显示部101的画面的交点的三维世界坐标值(步骤s410r)。视点检测部355将所求出的三维世界坐标值转换成由显示部101的二维坐标系表示的坐标值(x2，y2)。由此，计算受检者的右眼注视的显示部101上的视点的位置(步骤s411r)。输出控制部356将步骤s411r中所计算出的右眼的视点的坐标值(x2，y2)显示于显示部101(步骤s412r)。
图16是示出在步骤s412l、s412r中利用输出控制部356显示于显示部101的视点的一个例子的图。在显示部101显示指标图像c1、c2、c3、c4、c5。为了对受检者的眼球的移动方式进行评价，向受检者发出指示，以使得左右两个眼球的视点按照指标图像c1、c2、c3、c4、c5的顺序移动。
在实施了视点的检测之后，操作者或者受检者操作设置于诊断支持装置100的操作输入部，通过该操作将表示左眼的视点的描绘点p以及表示右眼的视点的描绘点p2分别显示于显示部101。
如图16所示，输出控制部356将表示左右眼球各自的视点的描绘点p1、p2以不同的方式显示于显示部101。显示于显示部101的描绘点p1、p2的方式包含颜色、形状以及大小中的至少一个。例如，描绘点p1可以以“蓝色”显示、描绘点p2以“灰色”显示，描绘点p1可以以“○”显示、描绘点p2以“×”，描绘点p1也可以以大的“○”显示、描绘点p2以小的“○”显示。
此外，如图17所示，输出控制部356能够切换表示左眼的视点的描绘点p1与表示右眼的视点的描绘点p2的显示方式。例如，在图16所示的例子中，在描绘点p1以“蓝色”显示、描绘点p2以“灰色”显示的情况下，如图17所示，输出控制部356能够将描绘点p1以“灰色”显示、将描绘点p2以“蓝色”显示。同样地，输出控制部356能够从描绘点p1以“○”显示、描绘点p2以“×”显示的状态向描绘点p1以“×”显示、描绘点p2以“○”显示的状态切换。
将左右眼球各自的视点以不同的方式显示于显示部101，由此操作者或者受检者能够容易地获知哪个描绘点表示左眼的视点或者右眼的视点。
图18是放大了本实施方式所涉及的显示部101的一部分的图。例如，在因斜视等的影响而左右眼球的视线方向较大不同的受检者中，如图18所示，表示左眼视点的描绘点p1的第一移动轨迹t1与表示右眼视点的描绘点p2的第二移动轨迹t2较大不同的可能性高。如图18所示，例如，在向受检者发出指示以使得视点从指标图像c2向指标图像c3移动的情况下，在右眼为斜视的情况下，如下的可能性高：描绘点p1的第一移动轨迹t1沿着将指标图像c2与指标图像c3连结的直线状的目标轨迹tr移动，该描绘点p1表示不斜视的左眼的注视点，与此相对，描绘点p2的第二移动轨迹t2从目标轨迹tr较大脱离，该描绘点p2表示斜视的右眼的注视点。如果对于第一移动轨迹t1与第二移动轨迹t2较大不同的受检者计算左右眼球的注视点被平均化后的注视点pa，则该注视点pa的移动轨迹ta从准确的第一移动轨迹t1偏离，难以检测准确的视线方向或者视点。
此外，例如在右眼为斜视的情况下，当在显示画面的右侧显示物体a、在左侧显示物体b时，在右眼的视点位于物体a附近时，左眼的视点在显示画面上存在于比物体a更靠近左侧的位置。同样地，在左眼的视点位于物体b附近时，右眼的视点在显示画面上存在于比物体b更靠近右侧的位置。如果对这些视点的位置进行平均化，则被平均化后的视点不存在于物体a、b上，无法实施准确的诊断。
根据本实施方式，将左右眼球各自的角膜曲率半径存储于存储部150，将视线方向或者视点的位置单独地显示于显示部101。因此，能够实施准确的诊断。
接着，对本实施方式所涉及的左右眼球各自的状态的评价方法进行说明。图19是示出本实施方式所涉及的评价方法的一个例子的流程图。图20是用于对本实施方式所涉及的评价方法的一个例子进行说明的示意图。
视点检测部355分别计算表示左眼视点的描绘点p1的第一移动轨迹t1、表示右眼视点的描绘点p2的第二移动轨迹t2(步骤s501)。视点检测部355在预先确定的期间或者视点的移动距离内提取多个描绘点p1，对这些多个描绘点p1进行拟合处理，计算第一移动轨迹t1。同样地，视点检测部355对所提取的多个描绘点p2进行拟合处理，计算第二移动轨迹t2。
例如，如图20所示，在预先确定的期间或者视点的移动距离内提取出7个描绘点p1、并提取出7个描绘点p2的情况下，视点检测部355对7个描绘点p1进行拟合处理而求出表示第一移动轨迹t1的曲线，对7个描绘点p2进行拟合处理而求出表示第二移动轨迹t2的曲线。
视点检测部355计算由第一移动轨迹t1与第二移动轨迹t2限定的面积at(步骤s502)。具体而言，视点检测部355计算由将最接近预先决定的期间或者移动距离的起点的描绘点p1与描绘点p2连结的直线、将最接近该期间或者移动距离的终点的描绘点p1与描绘点p2连结的直线、表示第一移动轨迹t1的曲线、以及表示第二移动轨迹t2的曲线围成的区域的面积at。
判断部358判断步骤s502中所计算出的面积at是否为预先确定的阈值以上(步骤s503)。
在步骤s503中，在判断为面积at为阈值以上的情况下(步骤s503：是)，判断部358判断为左右眼球中的至少一方没有朝向目标方向。
评价部357根据左右眼球各自的视点的移动轨迹t1、t2，对左右眼球各自的状态进行评价。评价部357对第一移动轨迹t1、第二移动轨迹t2以及目标移动轨迹tr进行比较，在第一移动轨迹t1从目标移动轨迹tr的脱离量(偏移量)小、第二移动轨迹t2从目标移动轨迹tr的脱离量大、且面积at为阈值以上的情况下，评价部357评价为右眼的状态为斜视那样的某种非正常状态(步骤s504)。
当在判断部358中判断为左右任一个眼球没有朝向目标方向时，输出控制部356将表示左眼视点的描绘点p1与表示右眼视点的描绘点p2分别显示于显示部101。
在本实施方式中，当在判断部358中判断为左右任一个眼球没有朝向目标方向时，输出控制部356将判断为没有朝向目标方向的眼球的视线方向或者视点、以及判断为朝向目标方向的眼球的视线方向或者视点，以不同的方式显示于显示部101(步骤s505)。例如，在判断为左眼朝向目标方向、右眼没有朝向目标方向(斜视)的情况下，输出控制部356能够以高的亮度显示描绘点p1，或者较大地显示描绘点p1，或者连续点亮显示描绘点p1，由此强调显示描绘点p1，以低的亮度显示描绘点p2，或者较小地显示描绘点p2，或者熄灭显示描绘点p2。此外，输出控制部356也可以显示描绘点p1，不显示描绘点p2。
在步骤s503中，在判断为面积at小于阈值的情况下(步骤s503：否)，判断部358判断为左右两个眼球均朝向目标方向。即，判断部358判断为左眼的视线方向与右眼的视线方向一致。
评价部357对第一移动轨迹t1、第二移动轨迹t2以及目标移动轨迹tr进行比较，在第一移动轨迹t1以及第二移动轨迹t2从目标移动轨迹tr的脱离量小、且面积at小于阈值的情况下，评价部357评价为受检者不斜视，左右眼球各自处于正常状态(步骤s506)。
当在判断部358中判断为左右两个眼球均朝向目标方向时，输出控制部356将左眼球的视线方向与左眼球的视线方向合成的合成视线方向显示于显示部101(步骤s507)。即，在本实施方式中，当判断为受检者不斜视时，输出控制部356不分别显示左眼的视点与右眼的视点，而如参照图13等说明的那样，对右眼球的视点的位置与左眼球的视点的位置进行平均化，将右眼球的视线方向与左眼球的视线方向合成的合成视线方向显示于显示部101。
另外，当在判断部358中判断为左右两个眼球均朝向目标方向时，输出控制部356也可以将左眼球的视线方向或者视点、以及右眼球的视线方向或者视点分别显示于显示部101。
如以上说明的那样，根据本实施方式，计算左右眼球各自的角膜曲率半径并分别存储于存储部150，检测左右眼球各自的视线方向并分别显示于显示部101。由此，对于左右眼球的视线方向较大不同的受检者、以及左右眼球的视线方向大致相同的受检者两者，都能够准确地检测视线方向。
此外，根据本实施方式，将左眼的视线方向或者视点、以及右眼的视点方向或者视点两者显示于显示部101。因而，操作者或者受检者能够观察显示部101而分别掌握左眼的状态以及右眼的状态。
此外，在本实施方式中，左眼的视点与右眼的视点在显示部101中以不同的方式显示，由此，操作者或者受检者能够观察显示部101而容易区分左眼的视点和右眼的视点。
此外，在本实施方式中，分别计算左眼视点的第一移动轨迹t1与右眼视点的第二移动轨迹t2，由此能够单独地评价左眼的状态与右眼的状态。
此外，在本实施方式中，分别检测左眼的视线方向以及右眼的视线方向，由此能够判断左右眼球各自是否朝向目标方向，当判断为左右任一个眼球没有朝向目标方向时，将判断为没有朝向目标方向的眼球的视线方向、以及判断为朝向目标方向的眼球的视线方向以不同的方式显示于显示部101。由此，操作者或者受检者能够观察显示部101而容易掌握左眼以及右眼中的哪只眼没有朝向目标方向。此外，通过强调显示被判断为朝向目标方向的眼的视点、或者不显示被判断为没有朝向目标方向的眼的视点，操作者或者受检者能够观察显示部101而顺利掌握处于正常状态的眼的视点。
此外，在本实施方式中，当判断为左右两个眼球均朝向目标方向时，将右眼球的视线方向与左眼球的视线方向合成的合成视线方向(被平均化后的视点)显示于显示部101。由此，操作者或者受检者能够掌握不斜视的受检者的视线的移动。
此外，在本实施方式中，基于左眼的视点的第一移动轨迹t1、右眼的视点的第二移动轨迹t2、以及由第一移动轨迹t1与第二移动轨迹t2限定的面积at，能够准确地判断左右两个眼球是否朝向目标方向。
另外，在本实施方式中，主要说明了评价受检者是否斜视的例子。在受检者不斜视的情况下，评价部357也能够根据左右眼球各自的视点的移动轨迹，对左右眼球各自的状态进行评价。例如，如图21所示，评价部357能够基于从描绘点p1朝向其相邻的描绘点p1的向量，对左眼的移动方式进行评价，能够基于从描绘点p2朝向其相邻的描绘点p2的向量，对右眼的移动方式进行评价。由于显示描绘点p1与描绘点p2两者，所以能够分别评价左眼的移动方式与右眼的移动方式。此外，存在如下情况：左眼的视点的移动以及右眼的视点的移动中的至少一方摇晃，如图21所示，第一移动轨迹t1与第二移动轨迹t2交叉。此外，由于左右眼的眨眼的长度的不同或者时刻的不同，在预定的期间或者视线的移动距离内，所获取的描绘点数量在左眼与右眼之间可能有所不同。在该情况下，也可以评价为受检者的视点沿着包括第一移动轨迹t1的一部分与第二移动轨迹t2的一部分的直线状的线ts移动。
(变形例)
计算瞳孔中心位置与角膜曲率中心位置之间的距离的校准处理并不限于图9以及图10中说明的方法。以下，使用图22以及图23，对计算处理的其他例子进行说明。
图22是用于对本变形例的计算处理进行说明的图。对在图3至图9中说明的元件标注相同的符号并省略说明。
线段1101是将目标位置605与假想光源位置连结的线段(第一线段)。线段1102是与线段1101平行、且将瞳孔中心611与直线613连结的线段(第二线段)。在本变形例中，如下那样，使用线段1101、线段1102而计算瞳孔中心611与角膜曲率中心615之间的距离616，并对此进行存储。
图23是示出本变形例的计算处理的一个例子的流程图。另外，图23示出对于左右眼球中的一方眼球的处理。
步骤s601至步骤s609与图10的步骤s101到步骤s109相同，因此省略说明。
曲率半径计算部353计算将在显示部101的画面上的一个点显示的目标图像的中心与假想光源位置连结的线段(在图22中为线段1101)，并且计算所计算出的线段的长度(设为l1101)(步骤s610)。
曲率半径计算部353计算通过瞳孔中心611、且与步骤s610中所计算出的线段平行的线段(在图22中为线段1102)，并且计算所计算出的线段的长度(设为l1102)(步骤s611)。
曲率半径计算部353基于将角膜曲率中心615设为顶点且将步骤s610中所计算出的线段设为底边的三角形、以及将角膜曲率中心615设为顶点且将步骤s611中所计算出的线段设为底边的三角形具有相似关系的情况，来计算瞳孔中心611与角膜曲率中心615之间的距离616(步骤s612)。例如，曲率半径计算部353计算距离616，以使得线段1102的长度相对于线段1101的长度的比例、以及距离616相对于目标位置605与角膜曲率中心615之间的距离的比例相等。
距离616能够通过以下的(1)式来计算出。另外，l614是从目标位置605到瞳孔中心611的距离。
距离616＝(l614×l1102)/(l1101-l1102)……(1)
曲率半径计算部353将所计算出的距离616存储于存储部150等(步骤s613)。所存储的距离是为了在之后的视点(视线)检测时计算角膜曲率中心而使用的。
符号说明
11…眼睛，12…虹膜，13…瞳孔，21…眼睛，22…虹膜，23…瞳孔，100…诊断支持装置，101…显示部，102a…右相机，102b…左相机，103a…led光源，103b…led光源，111…眼球，112…瞳孔，113…角膜反射，150…存储部，201…显示画面，203…led光源，205…扬声器，300…控制部，303…假想光源，313…驱动/if部，314…相机if，315…相机if，316…led驱动控制部，322…扬声器驱动部，351…点亮控制部，352…位置检测部，353…曲率半径计算部，354…视线检测部，355…视点检测部，356…输出控制部，357…评价部，358…判断部，407…瞳孔中心，408…角膜反射中心，409…角膜曲率半径，505…角膜曲率中心，509…角膜曲率半径，523…直线，605…目标位置，609…角膜曲率半径，611…瞳孔中心，612…角膜反射中心，613…直线，614…直线，615…角膜曲率中心，616…距离，621…角膜反射点，622…角膜反射点，624…角膜反射点，805…注视点，806…注视点，811…瞳孔中心，812…角膜反射中心，813…直线，814…角膜曲率中心，815…距离，816…角膜曲率中心，817…视线，818…视线。