视线检测装置和视线检测方法

视线检测装置和视线检测方法
【专利摘要】本发明涉及视线检测装置和视线检测方法。提供一种视线检测装置，包括：至少一个光源，其配置为向经由至少一个光学构件观察显示面的用户的眼球照射光；以及成像单元，其配置为通过检测所述光从所述眼球的反射光，获取在所述显示面上检测所述用户的视线用的所述眼球的捕获图像。来自所述眼球的所述反射光至少穿过安装在来自所述显示面的光沿其从所述显示面传播到所述用户的所述眼球的光路中的所述光学构件，并且入射到所述成像单元上。
【专利说明】视线检测装置和视线检测方法
[0001]相关申请的交叉引用
[0002]本申请要求2013年7月5日提交的日本在先专利申请JP2013-141990的权益，该专利申请的全部内容通过引用包含在本申请中。

【技术领域】
[0003]本公开涉及视线检测装置和视线检测方法。

【背景技术】
[0004]用于检测用户对于显示各种内容的显示面的视线并且在各种操作中使用检测到的视线的技术已经被提出。例如，JP H5-333259A公开了一种成像装置，其通过向观察取景器的用户的眼球照射红外波段的光(红外光)，使检测器捕获从眼球反射的光，以检测用户对于显示直通图像的显示面的视线，并且在自动对焦(AF)调节中使用检测到的视线。


【发明内容】

[0005]在JP H5-333259A公开的技术中，在用户的眼球和显示直通图像的显示面之间安装有多个光学构件，如棱镜和透镜。来自显示面的光穿过所述多个光学构件并且入射到用户的眼球，但是作为照射到用户眼球的红外光的反射光，来自眼球的反射光沿着不穿过所述光学构件并且入射到检测器的不同光路。因此，在JP H5-333259A公开的技术中，来自显示直通图像的显示面的光沿其从显示面传播到用户眼球的光路显著不同于照射的红外光从用户眼球反射的光沿其从眼球传播到检测器的光路。光路之间的显著不同恶化对于显示面的视线检测的精度，这是一个问题。
[0006]因此，希望提供一种能够进一步提高视线检测精度的新颖且改进的视线检测装置和新颖且改进的视线检测方法。
[0007]根据本公开的一实施例，提供一种视线检测装置，包括:至少一个光源，其配置为向经由至少一个光学构件观察显示面的用户的眼球照射光；以及成像单元，其配置为通过检测所述光从所述眼球的反射光，获取检测用户对于所述显示面的视线用的所述眼球的捕获图像。来自所述眼球的所述反射光至少穿过安装在来自所述显示面的光沿其从所述显示面传播到所述用户的所述眼球的光路中的所述光学构件，并且入射到所述成像单元上。
[0008]根据本发明的一实施例，提供一种视线检测方法，包括:使来自显示面的光穿过至少一个光学构件并且入射在用户的眼球上；向观察所述显示面的所述用户的所述眼球照射光；以及通过检测所述(照射的)光从所述眼球的反射光，获取在所述显示面上检测所述用户的视线用的所述眼球的捕获图像。来自所述眼球的所述反射光至少穿过安装在来自所述显示面的光沿其从所述显示面传播到所述用户的所述眼球的光路中的所述光学构件，并且被检测。
[0009]根据本发明的一实施例，来自显示面的光沿着穿过至少一个光学构件的第一光路入射到用户的眼球。作为照射到用户眼球的光的反射光，来自眼球的反射光沿着至少穿过安装在第一光路中的光学构件的第二光路被检测。因此，光学构件对第一光路中的光的影响与光学构件对第二光路中的光的影响相似。因此，由于眼球的捕获图像是基于沿着第二光路被检测到的反射光获取的并且显示面上用户的视线是基于该捕获图像检测到的，所以视线检测的精度被进一步提闻。
[0010]根据上述本公开的实施例，可以进一步提高视线检测的精度。

【专利附图】

【附图说明】
[0011]图1是示出根据本公开一实施例的视线检测装置的外观和总体配置的透视图；
[0012]图2A是沿着图1中所示的横截面A-A取得的根据该实施例的视线检测装置的截面图；
[0013]图2B是沿着图1中所示的横截面B-B取得的根据该实施例的视线检测装置的截面图；
[0014]图3是示出根据本公开一实施例的视线检测装置的配置例子的功能框图；
[0015]图4是示出根据该实施例的使用瞳孔角膜反射方法的视线矢量计算处理的说明图；
[0016]图5A是用于描述根据该实施例的视线检测处理中的光源驱动控制的说明图；
[0017]图5B是用于描述根据该实施例的视线检测处理中的光源驱动控制的说明图；
[0018]图5C是用于描述根据该实施例的视线检测处理中的光源驱动控制的说明图；
[0019]图是用于描述根据该实施例的视线检测处理中的光源驱动控制的说明图；
[0020]图5E是用于描述根据该实施例的视线检测处理中的光源驱动控制的说明图；
[0021]图5F是用于描述根据该实施例的视线检测处理中的光源驱动控制的说明图；
[0022]图6A是用于描述根据该实施例的校准处理的说明图；
[0023]图6B是用于描述根据该实施例的校准处理的说明图；
[0024]图6C是用于描述根据该实施例的校准处理的说明图；
[0025]图7是示出当根据该实施例的视线检测处理应用于成像装置的EVF时的另一个配置例子的截面图；
[0026]图8是示出应用根据该实施例的视线检测处理的眼镜式可佩带装置的配置例子的不意图；
[0027]图9A是示出应用根据该实施例的视线检测处理的头戴式显示器的配置例子的示意图；
[0028]图9B是示出应用根据该实施例的视线检测处理的头戴式显示器的配置例子的示意图；
[0029]图9C是示出应用根据该实施例的视线检测处理的头戴式显示器的配置例子的示意图；
[0030]图10是示出根据本公开一实施例的视线检测方法的处理顺序的流程图。

【具体实施方式】
[0031]下面参照附图描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的结构元件用相同的附图标记来表示，并且省略对这些结构元件的重复描述。
[0032]以如下顺序进行描述。
[0033]1.视线检测装置的外观和总体配置
[0034]2.视线检测装置的配置
[0035]3.视线检测处理的细节
[0036]3-1.视线矢量计算处理
[0037]3-2.光源驱动控制
[0038]3-3.计算处理
[0039]3-4.基于虹膜认证读取唯一用户信息的处理
[0040]4.变形例
[0041]4-1.附加IR滤波器
[0042]4-2.应用于可佩带装置
[0043]4-3.应用于头戴式显示器
[0044]5.视线检测方法的处理顺序
[0045]6.结论
[0046]在本公开的优选实施例中，光照射到经由至少一个光学构件观察显示面的用户的眼球。然后，当检测到照射光从用户眼球的反射光时，获取用于检测用户对于显示面的视线的眼球的捕获图像。此外，照射光从用户眼球的反射光穿过安装在来自显示面的光沿其从显示面传播到用户眼球的光路中的光学构件并且被检测。这样，通过使用所获取的用户眼球的捕获图像检测用户对于显示面的视线。在此，观察或观看显示面可以是指观察或观看在显示面上显示的各种内容。在以下描述中，根据实施例的至少包括上述处理中每一个的一系列处理被称为视线检测处理。
[0047]任何已知的方法都可以应用于使用用户眼球的捕获图像的视线检测处理。在实施例中，例如，进行基于瞳孔角膜反射方法的视线检测处理。具体来说，在根据实施例的视线检测处理中，瞳孔角膜反射方法被用于通过基于Purkinje图像和包含在眼球500的捕获图像中的瞳孔的图像计算表示眼球方向(转动角度)的视线矢量来检测用户的视线。然而，对于人类，已经知道，在基于用户的视线矢量取得的用户的视线和用户实际沿其观看显示面的方向之间存在个体不同的误差。因此，在根据实施例的视线检测处理中，除了视线矢量计算处理以外，还进行校准处理，以获取至少包括视线矢量和用户沿其观看显示内容的显示面的方向之间的相关性的与用户的眼球500有关的眼球信息。此外，通过基于眼球信息对计算出的视线矢量进行修正处理来检测用户对于显示面的视线。根据实施例的视线检测处理可以包括视线矢量计算处理、校准处理和基于上述眼球信息的修正处理。将在下面的[3-1.视线矢量计算处理]和[3-3.校准处理]中详细描述视线矢量计算处理、校准处理和基于上述眼球信息的修正处理。
[0048]下面，主要举例说明根据实施例的视线检测处理应用于诸如数字照相机的成像装置的电子取景器(EVF)的情况。因此，在以下描述中，除非另外说明，否则根据实施例的视线检测装置可以是指应用根据实施例的视线检测处理的EVF。当根据实施例的视线检测处理应用于EVF时,显示面上显示的内容可以例如是示出EVF连接到的成像装置的拍摄目标的直通图像。然而，应用根据实施例的视线检测处理的装置不局限于该例子。根据实施例的视线检测处理可以应用于其他装置，只要该装置具有显示功能即可。将在下面的[4-2.应用于可佩戴装置]和[4-3.应用于头戴式显示器]中详细描述根据实施例的视线检测处理应用于其他装置的例子。
[0049]〈1.视线检测装置的外观和总体配置>
[0050]首先，参照图1、图2A和图2B描述作为根据本公开一实施例的视线检测装置的EVF的外观和总体配置。图1是示出根据本公开一实施例的视线检测装置的外观和总体配置的透视图。图2A是沿着图1中所示的横截面A-A取得的根据该实施例的视线检测装置的截面图。图2B是沿着图1中所示的横截面B-B取得的根据该实施例的视线检测装置的截面图。在图1、图2A和图2B中，根据需要，该视线检测装置的每个构成元件的尺寸被适当改变并示出，以使对该视线检测装置的配置描述更清晰。图1、图2A和图2B中所示的该视线检测装置的构成元件之间的尺寸关系不一定精确地表示实际视线检测装置的构成元件之间的尺寸关系。
[0051]参考图1、图2A和图2B，根据本公开一实施例的视线检测装置10包括显示单元110、光路改变元件120、放大器单元130、光源基板140、眼罩150、成像单元160和铰链170。如图1和图2A中所示,在这些构成元件当中，显示单元110、光路改变元件120、放大器单元130、光源基板140和眼罩150以该顺序排列成一条线。显示单元110的显示面111设置为面对光路改变元件120。用户可以从眼罩150经由光源基板140、放大器单元130和光路改变元件120观察显示单元110的显示面111。在图2A中，一起示出了观看其上显示内容的显示面111的用户的眼球500，并且示意性示出视线检测装置10和用户的眼球500之间的位置关系。此外，视线检测装置10可以进一步包括将显示单元110、光路改变元件120、放大器单元130、光源基板140和成像单元160容纳在其中的遮光壳体。然而，在图1、图2A和图2B中，为了示出每个构成元件的配置而没有示出这些单元。
[0052]下面，如图1、图2A和图2B中所示，描述将用户沿其从眼罩150观察显示单元110的显示面111的方向定义为Z轴方向的实施例。此外，将垂直于Z轴方向的平面中的，gp，平行于显示单元I1的显示面111的平面中的观察显示面111的用户观看时的竖直方向和水平方向被分别定义为I轴方向和X轴方向。此外，从显示面I1指向眼罩150的方向被定义为Z轴的正方向，并且用户观看时的向上方向被定义为y轴的正方向。在以下描述中，为了表达构成元件之间的位置关系，将z轴的正方向上的上游侧的位置称为“前级”并且将z轴的正方向上的下游侧的位置称为“后级”。
[0053]在此，用户观察显示单元110的显示面111是指来自显示面111的光穿过光路改变元件120、放大器单元130、光源基板140和眼罩150并且入射到用户的眼球500。因此，上述表达“前级”和“后级”可称为与来自显示单元110的显示面111的光从显示面111传播到用户的眼球500的光路相对应的表达。
[0054]下面详细描述根据本实施例的视线检测装置10的每个构成元件的功能和配置。
[0055]显示单元110是在显示面111上以诸如图像、文本和图形等各种形式显示各种信息以向用户看得见地通知信息的显示单元。所述各种信息可以包括各种内容。如图1和图2A中所示,显示单元110配置为使得显示面111朝向z轴的正方向。在本实施例中，显示单元110可以是各种显示装置。具体来说，例如，有机电致发光显示(OELD)装置被用作显示单元110。然而，本实施例不局限于该例子，并且任何已知的显示装置，如LED显示装置或液晶显示装置，都可以用作显示单元110。
[0056]如上所述，根据本实施例的视线检测装置10是EVF，并且连接到各种成像装置(未示出)，如数字照相机，以使用。在本实施例中，显示在显示单元110的显示面111上的内容是成像装置中的直通图像，即，由包括在成像装置中的图像传感器获取的拍摄目标(物体)的图像。用户可以通过向视线检测装置10的眼罩150里面观看并且在观察显示在显示单元110的显示面111上的直通图像的同时适当调节拍摄条件(例如，在成像装置中设置示出拍摄目标的角度、放大率、曝光和对焦)来获取期望的捕获图像。此外，在显示单元110的显示面111上显示的直通图像中，可以根据用户沿其观察显示面111的方向，将表示显示面111上的竖直方向的边改变90度。这是与以下事实相对应的处理:所获得的图像的画面一般具有矩形形状，并且根据用户是否拍摄所捕获的图像，用户抓握成像装置的方向以及用户观看视线检测装置10的角度可能被转动90度，使得该矩形形状的短边在竖直方向上，或者用户以该矩形形状的长边在竖直方向上的方式拍摄所捕获的图像。例如，可以在视线检测装置10或该成像装置中安装用于检测姿态(倾斜)的传感器装置，并且可以基于由该传感器装置检测到的视线检测装置10的姿态，与用户沿其观察显示单元110的显示面111的方向相对应地改变显示面111上直通图像的显示方向。此外，可以利用已知的通用成像装置的功能和配置进行在成像装置中获取直通图像或捕获图像的具体处理。尽管在图1、图2A和图2B中没有示出，例如，视线检测装置10和该成像装置电连接，使得能够相互发送和接收在根据本实施例的视线检测处理中使用的各种信号，如直通图像的图像信号。将在下面的〈2.视线检测装置的配置 > 中详细描述在视线检测装置10和该成像装置之间各种信号的发送和接收。
[0057]光路改变元件120设置于显示单元110的后级，面对显示单元110的显示面111。光路改变元件120是一种光学构件，并且在本实施例中具有线性地透射在一个方向上入射的光并且在预定方向上反射另一个方向上的光(或者该光的一部分)的镜功能。具体来说，光路改变元件120例如是分束器，并且透射在z轴的负方向上入射的光，同时保持该光的传播方向，并且在I轴的正方向上反射在z轴的正方向上入射的光。因此，来自显示单元110的显示面111的光在z轴的负方向上入射到光路改变元件120上，在z轴的正方向上穿过光路改变元件120内部，并且传播到用户的眼球。当光路改变元件120例如是偏振光束分离器时，可以与偏振光束分离器一起适当地安装用于控制入射光的偏振方向的偏振片，从而实现入射光在期望的方向上的上述透射和反射。
[0058]放大器单元130设置于光路改变元件120的后级。放大器单元130是一种光学构件，并且在本实施例中具有为用户放大并显示显示单元110的显示面111上的内容的功能。具体说来，放大器单元130可以是配置为包括各种透镜的至少之一的透镜系统。在此，当视线检测装置10连接到的成像装置具有用户容易携带的尺寸时，视线检测装置10的尺寸优选为不妨碍用户携带方便性的尺寸。因此，在此情况下，视线检测装置10中显示单元110的显示面111的面积采用具有例如大约几厘米的纵向和横向长度。因此，当显示面111的面积相对较小时，如果不安装放大器单元130，则用户甚至难以观察在显示面111上显示的内容的细节，因此用户观察内容的方便性可能变差。在本实施例中，如上所述，由于在显示单元110和用户的眼球500之间安装放大器单元130，并且显示面111上的内容显示被适当放大以被用户观察，所以用户的方便性被改善。此外，可以适当设置放大器单元130中的诸如透镜的光学构件的具体配置，使得可以根据例如显示单元I1的显示面111的面积或者显示面111和用户眼球(S卩，眼罩150的入口 )之间的距离实现显示面111上的显示内容容易被用户观察的放大率。
[0059]光源基板140设置于放大器单元130的后级。光源基板140包括在其表面(位于z轴正方向上的表面)上的至少一个光源。该光源向观察显示单元110的显示面111的用户的眼球照射光。在本实施例中，该光源可以是LED，其发射具有可见光波段以外的波长波段的光，例如，具有红外波段的光(下文中称为红外光)。然而，本实施例不局限于该例子，并且可以采用各种光学元件作为安装在光源基板140上的光源，只要该光源是发射光的光学元件即可。即使当该光源发射可见光波段以外的波段的光，如红外光，使得从该光源向用户的眼球照射光时，该光也不妨碍用户观察显示单元110的显示面111。
[0060]下面参照图2B更详细地描述光源140的配置。图2B是沿着图1中所示的横截面B-B取得的视线检测装置10的截面图，并且示出当在z轴的正方向观看时穿过光源基板140的表面的横截面的形状。参考图2B，开口 149基本上形成在光源基板140中平板表面的中部。用户可以经由开口 149观察显示单元110的显示面111。可以考虑显示面111的用户可见性等或者显示面111上的显示内容，适当地设置开口 149的尺寸。
[0061]在开口 149之外的光源基板140的表面区域中，以预定的间隔安装作为光源的多个LED141至148。这样，在本实施例中，作为多个光源的LED141至148设置在关于用户的眼球以彼此不同的方向照射光的位置处。这样，通过基于在关于用户的眼球的彼此不同的方向照射的光进行视线检测处理，可以提高视线检测的精度。将在下面的[3-1.视线矢量计算处理]中详细描述通过在关于用户的眼球的彼此不同的方向上照射光来提高视线检测精度优点。
[0062]可以基于预定的驱动条件选择性地驱动所述多个LED141至148。可以根据与用户观察显示单元I1的显示面111的状态有关的观察状态信息设置驱动条件。在此，观察状态信息是对用户唯一的信息，并且包括例如关于用户眼睛的形状的信息、关于用户是否佩戴眼镜的信息以及关于用户沿其观察显示面111的方向的信息中的至少一个。在本实施例中，可以基于这种观察状态信息，针对每个用户设置LED141至148的不同驱动条件。例如，通过基于观察状态信息针对每个用户设置最佳的LED141至148的驱动条件，并且在该驱动条件下进行视线检测处理，可以进一步提高视线检测的精度。
[0063]如图2B中所示，在本实施例中，所述多个LED141至148可以设置为使得光至少在竖直和水平方向上照射到用户的眼球。具体来说，在图2B中所示的例子中，所述多个LED141至148设置为以基本上矩形形状围绕开口 149的周围。LED141、142和143设置在与开口 149的上侧相对应的位置处，LED144设置在与开口 149的右侧相对应的位置处，LED145、146和147设置在与开口 149的下侧相对应的位置处，LED148设置在与开口 149的左侧相对应的位置处。这样，通过将LED141至148设置为使得至少一个LED位于开口 149的右侧、左侧、上侧和下侧中的每一侧，光在右侧、左侧、上侧和下侧中的至少一个方向上照射到用户的眼球。因此，由于可以更详细地设置LED141至148的驱动条件，所以可以设置针对每个用户设置适当的驱动条件。此外，通过在视线检测处理期间或者在视线检测处理之前依次改变要被驱动的LED141至148的组合或者照射光的强度的同时，对用户实际进行视线检测处理，可以基于检测精度等针对每个用户获取针对每个用户最佳的LED141至148的驱动条件。
[0064]例如，可以将用于驱动LED141至148的驱动电路和用于控制该驱动的控制电路(光源驱动控制单元)安装在视线检测装置10或者连接到视线检测装置10的成像装置的其他部分中。由该光源驱动控制单元基于上述预定的驱动条件对LED141至148进行驱动控制。将在下面的[3-2.光源驱动控制]中详细描述对LED141至148的驱动控制。
[0065]将参照图1、图2A和图2B继续描述视线检测装置10的构成元件。眼罩150设置于光源基板140的后级。眼罩150是用户向视线检测装置10中观看并且观察显示单元110的显示面111时与用户的眼睛接触的构件。眼罩150具有杯子形状，其中开口 151形成在底表面并且设置为使得开口 151朝向z轴的负方向。用户可以在眼罩150的杯状开口的方向上经由开口 151观察显示单元110的显示面111。从安装在光源基板140中的LED141至148发射的光经由眼罩150的开口 151照射到用户的眼球500。
[0066]在开口 151中，可以适当地安装透镜，如目镜，以提高显示面111的用户可见性或者防止灰尘等侵入视线检测装置10的内部。可以考虑与安装在视线检测装置10内部的放大器单元130的透镜系统的光学一致性来设置目镜的光学特性。
[0067]在眼罩150中可以安装用于检测与用户的眼睛接触的传感器。具体来说，眼罩150可以包括例如接触传感器，该接触传感器检测物体与位于z轴的正方向并且与该杯子形状的边缘相对应的部位的接触，从而可以通过该接触传感器检测眼罩150与用户眼睛的接触。例如，当检测到眼罩150与用户眼睛接触时，可以在显示单元110的显示面111上显示内容。当检测到眼罩150与用户眼睛接触时，认为用户正在向视线检测装置10内观看。因此，可以仅当检测到与眼睛的接触时才在显示单元110上显示内容，以选择性地驱动显示单元110，从而实现功率消耗的降低。此外，当未检测到眼罩150与用户眼睛的接触时，可以代替显示单元110，例如在视线检测装置10连接到的成像装置中安装的另一个显示单元上显示作为内容的直通图像。
[0068]成像单元160安装在光路改变元件120中与z轴垂直的任何方向上，使得光接收表面朝向光路改变元件120。在图1、图2A和图2B中所示的例子中，成像单元160安装在光路改变元件120上方(y轴的正方向上)。成像单元160例如是图像传感器，如电荷耦合装置(CCD)图像传感器或者互补MOS(CMOS)图像传感器，并且通过输出与包括在光接收表面中的每个像素接收到的光量相对应的强度的信号而获取与光接收表面上的入射光相对应的图像(捕获图像)。在此，在本实施例中，从光源基板140的LED141至148向观察显示单元110的显示面111的用户的眼球500照射光。然后，该光从眼球反射的光当中，在z轴的负方向上反射的成分依次穿过眼罩150、光源基板140和放大器单元130并且入射到光路改变元件120上。在此，光路改变元件120具有在y轴的正方向上反射在z轴的正方向上入射的光的功能。因此，在来自眼球的反射光当中，在z轴的负方向上反射的成分被光路改变元件120在y轴的正方向上反射,到达成像单元160的光接收表面。这样,在本实施例中，在z轴的负方向上穿过视线检测装置10内部传播的光入射在成像单元160上。因此，当成像单元160检测到LED141至148照射的光从用户的眼球500反射的光时，获取检测用户对于显示单元110的显示面111的视线用的用户的眼球500的捕获图像。
[0069]在使用眼球500的捕获图像的视线检测处理中，可以使用任何已知的方法。在本实施例中，使用例如基于包含在眼球500的捕获图像中的瞳孔的图像和Purkinje图像的瞳孔角膜反射方法，计算表示眼球的方向(转动角度)的视线矢量。在根据本实施例的视线检测处理中，除了视线矢量计算处理以外，还进行校准处理，以获取至少包括视线矢量和用户沿其观看显示面111的方向之间的相关性的与用户的眼球500有关的眼球信息。然后，通过基于该眼球信息对计算出的视线矢量进行修正处理来检测用户的视线。为了以较高的精度计算视线矢量，可以根据从LED141至148向眼球500照射的光的强度、眼球500的特性等，适当地改变成像单元160将眼球500成像时的拍摄条件(例如，曝光和增益)。将在下面的[3-1.视线矢量计算处理]和[3-3.校准处理]中详细描述视线矢量计算处理、校准处理和基于眼球信息的修正处理。
[0070]铰链170是将视线检测装置10连接到成像装置的连接构件。尽管在图1和图2A中未示出，铰链170实际上可以是将作为视线检测装置10的外壳的壳体连接到成像装置的壳体的构件。铰链170的具体配置不局限于图1和图2A中所示的例子。可以根据视线检测装置10的壳体和成像装置的壳体的连接形状等适当地设置铰链170。在本实施例中，视线检测装置10和成像装置可以机械连接，并且连接构件不局限于铰链170。可以考虑成像装置的使用、视线检测装置10的壳体和成像装置的壳体的形状等，适当地设置连接构件。
[0071]上文已经参照图1、图2A和图2B描述了根据本公开的实施例的视线检测装置10的外观和总体配置。在实施例中，如上所述，用户经由至少一个光学构件(例如，光路改变元件120或放大器单元130)观察显示单元110的显示面111。然后，当作为光源的LED141至148向观察显示面111的用户的眼球500照射光并且成像单元160检测到照射光从眼球500反射的光时，获取眼球500的捕获图像。
[0072]下面更详细地描述根据该实施例的视线检测装置10中光的光路。在本实施例中，如上所述，当用户观察显示面111时，来自显示面111的光(即，形成在显示面111上显示的内容的光)穿过光路改变元件120、放大器单元130、光源基板140和眼罩150，并且入射到用户的眼球上。在图2A中，用点线箭头表示来自显示面111的光沿其从显示面111传播到用户眼球的光路(下文中也称为第一光路)。在本实施例中，另一方面，来自光源基板140的LED141至148的光(例如，红外光)照射到观察显示面111的用户的眼球。然后，在照射光从眼球反射的光当中，在z轴的负方向上反射的分量依次穿过光源基板140、放大器单元130和光路改变元件120，并且入射到成像单元160上。在图2A中，用短划线箭头表示来自眼球的反射光沿其从眼球传播到成像单元160的光路(下文中也称为第二光路)。
[0073]注意图2A中所示的点线箭头和短划线箭头，在本实施例中，第二光路配置为包括沿着第一光路安装的光学构件的光路。具体说来，第二光路配置为穿过包括在第一光路中的光路改变元件120和放大器单元130 (当眼罩150的开口 151中安装有目镜时，也包括该目镜)的光路。这样，在本实施例中，来自眼球500的反射光穿过安装在其中来自显示面111的光从显示面111传播到用户眼球的空间中的光学构件，并且入射到成像单元160上。
[0074]在此，一般来说，当光穿过一光学构件时，光的特征，如光的强度或波长以及传播方向根据该光学构件的特征(例如，当该光学构件是透镜时的折射率、曲率等)而改变。因此，当观察两束不同的光以研究这两束光之间的关系时，如果一束光穿过的光学构件显著不同于另一束光穿过的光学构件，即，一束光的光路显著不同于另一束光的光路，则由于特征被光学构件的改变彼此独立这一事实而很难以高精度获得光束之间的关系。因此，当检测两束不同的光以研究光束之间的关系时，如果尽可能使这两束光穿过相同的光路以检测光，则由于光学构件对光束的影响相同，所以能够以高精度获得光束之间的关系，而不必过多考虑光学构件对光的影响。
[0075]在本实施例中，用户观察的显示单元110的显示面111上显示的内容可以说是由于安装在第一光路中的光学构件的影响而改变其特征的图像。同样地，由成像单元160获取的用户的眼球500的捕获图像可以说是由于安装在第二光路中的光学构件的影响而改变其特征的图像。在该视线检测处理中，基于由成像单元160获取的用户的眼球500的捕获图像检测显示面111上用户的视线，由于以高精度获取来自显示面111的光和眼球500的捕获图像之间的关系，也可以说视线检测的精度被提高。因此，如现有的一般视线检测技术中那样，当来自其上显示内容的显示面的光沿其从显示面传播到用户的眼球的光路显著不同于来自用户眼球的反射光沿其从眼球传播到检测器的光路时，由于检测用户对显示面的视线时由不同的光路引起的误差，视线检测的精度可能变坏。然而，在本实施例中，如上所述，第二光路配置为包括安装在第一光路中的光学构件的光路。因此，能够以较高的精度检测来自显示单元110的显示面111并且被用户观测到的光和由成像单元160获取的眼球500的捕获图像之间的关系。
[0076]在本实施例中，通过将光源基板140安装于放大器单元130的后级，从LED141至148发射的光照射到用户的眼球500而不会从包括在放大器单元130中的透镜反射。当LED141至148和用户的眼球500之间存在诸如透镜的光学构件时，由于从该光学构件的反射，照射到眼球500的光的效率变坏，并且被该光学构件反射的成分也被成像单元160检测。因此，随之发生的眼球500的捕获图像的质量(图像质量)可能变坏。在本实施例中，通过将光源基板140安装于放大器单元130的后级，能够抑制从诸如透镜的光学构件的反射并且能够以较高的质量获取眼球500的捕获图像。
[0077]通过根据本实施例的视线检测处理检测到的用户的视线可被用于连接到视线检测装置10的成像装置的各种操作。例如，检测到的用户视线可被用于自动对焦调节(AF)功能。具体来说，当在其上显示直通图像的显示面111上检测到用户视线时，可以驱动成像装置的AF功能，以调节对于直通图像中与检测到的用户视线相对应的区域的对焦。也可以根据检测到的用户视线对成像装置进行各种操作输入。具体说来，当在显示面111的预定区域中检测到视线时，例如，可以进行在拍摄模式和拍摄的捕获图像的观看模式之间切换或者在观看模式中切换捕获图像的显示的预定操作。
[0078]<2.视线检测装置的配置>
[0079]接下来，参照图3更详细地描述根据本公开一实施例的视线检测装置的配置。图3是示出根据本公开该实施例的视线检测装置的配置例子的功能框图。在图3中，通过功能框图示出根据本实施例的视线检测装置10和视线检测装置10连接到的成像装置20之间各种信号和指令的发送和接收的关系。在图3中，一起示出了向视线检测装置10中观看的用户的眼球500，以示意性示出视线检测装置10和用户的眼球500之间的关系。
[0080]视线检测装置10包括显示单元110、光学构件180、光源190和成像单元160。在此图3中所示的视线检测装置10具有与图1、图2A和图2B中所示的视线检测装置10相同的配置。具体来说，图3中所示的显示单元110和成像单元160对应于图1、图2A和图2B中所示的显示单元110和成像单元160。图3中所示的光学构件180对应于图1、图2A和图2B中所示的光路改变元件120和放大器单元130。图3中所示的光源190对应于图1、图2A和图2B中所示的光源基板140中安装的LED141至148。光源190可以是LED141至148中的至少一个。在图3中，为了简化而没有示出参照图1、图2A和图2B描述的视线检测装置10的其余配置。
[0081]这样，图3中所示的视线检测装置10对应于由图1、图2A和图2B中所示的视线检测装置10的构成元件的示意性功能框图所示的装置。因此，在图3中，将省略对视线检测装置10和视线检测装置10的构成元件的具体功能和配置的详细描述。
[0082]在图3中，用实线箭头表示各种信息、指令等的信号的发送和接收，并且用点线箭头和短划线箭头示意性地表示用户的眼球500和视线检测装置10以及视线检测装置10的内部之间的光交换。具体来说，图3中所示的点线箭头示意性地表示来自显示单元110的显示面的光沿其穿过光学构件180并且从显示面传播到用户的眼球500的光路。也就是说，由点线箭头表示的光路对应于前述〈1.视线检测装置的外观和总体配置 > 中描述的第一光路。图3中所示的短划线箭头示意性地表示作为从光源190照射到用户的眼球500的光的反射光，从眼球500反射的光沿其从眼球500经由光学构件180到达成像单元160的光路。也就是说，在由短划线箭头表示的光路中，从眼球500到成像单元160的光路对应于前述〈1.视线检测装置的外观和总体配置〉中描述的第二光路。如点线箭头和短划线箭头所表示的，在本实施例中，第二光路配置为包括安装在第一光路中的光学构件180。
[0083]成像装置20是根据本实施例的视线检测装置10机械并电连接到的具有数字照相机等的成像功能的装置。参考图3，成像装置20包括控制单元210。
[0084]控制单元210总体控制视线检测装置10和成像装置20，并且进行根据本实施例的视线检测处理的各种信号处理。因此，在本实施例中，成像装置20中安装的控制单元210可以进行视线检测装置10中的视线检测处理的各种信号处理。在此，在图3中所示的例子中，在成像装置20的配置中，主要示出与根据本实施例的视线检测处理有关的配置，并且未示出其余配置。因此，没有示出与控制单元210和根据本实施例的视线检测处理不直接相关的功能。然而，成像装置20可以具有通常所知的成像装置的各种功能和配置，如获取捕获图像的图像传感器、对所获取的捕获图像进行各种图像处理(例如，调节黑色电平、亮度、白平衡等的信号处理)的图像处理单元以及当图像传感器获取捕获图像时调节各种拍摄条件(例如，曝光和增益)的拍摄条件调节单元。
[0085]下面具体参照图3主要描述与根据本实施例的视线检测处理有关的控制单元210的功能和配置。控制单元210包括显示控制单元211、光源驱动控制单元212、视线检测处理单元213和校准处理单元214。
[0086]显示控制单元211控制视线检测装置10的显示单元110的驱动，并且在显示单元110的显示屏幕上以各种格式显示各种信息，如文本、图像和图形。在本实施例中，显示控制单元211在视线检测装置10的显示单元110的显示面上显示作为示出成像装置20的拍摄目标的图像的直通图像。此外，显示控制单元211根据来自视线检测处理单元213和校准处理单元214的指令，在显示单元110的显示面上显示视线检测处理中的校准处理用的图像(下文中称为校准图像)。
[0087]可以从安装在成像装置20中的图像传感器、图像处理单元等发送与显示单元110上显示的图像有关的各种信息，如形成直通图像或校准图像的图像信号。当成像装置20包括另一个显示单元(未示出)时，显示控制单元211可以控制该另外显示单元上的各种显示。在该另外显示单元上可以显示通常所知的成像装置的显示单元上显示的各种信息，如直通图像、拍摄后的捕获图像以及拍摄条件的设置画面。
[0088]光源驱动控制单元212控制光源190的驱动，使得从光源190向用户的眼球500照射光。光源驱动控制单元212对应于图2B中所示并且在前述〈1.视线检测装置的外观和总体配置 > 中描述的驱动LED141至148的驱动电路和控制电路。然而，该驱动电路可以与光源190 —起包括在视线检测装置10中。光源驱动控制单元212可以在预定的驱动条件下选择性地驱动作为多个光源的LED141至148。对LED141至148的选择性驱动包括切换LED141至148开和关或者调节从LED141至148的每一个发射的光的强度。
[0089]可以根据与用户观察显示单元110的显示面111的状态有关的观察状态信息，设置光源驱动控制单元212驱动LED141至148的驱动条件。在此，观察状态信息是对用户唯一的信息，并且包括例如与用户眼睛的形状有关信息、与用户是否佩戴眼镜有关的信息以及与用户沿其观察显示单元110的显示面的方向有关的信息中的至少一个。例如，光源190的驱动条件可以被设置为使得根据观察状态信息适当地进行用户的视线检测处理。可以从视线检测处理单元213向光源驱动控制单元212指示光源190的具体驱动条件。将在下面的[3-2.光源驱动控制]中详细描述光源驱动控制单元212对光源190的驱动控制。
[0090]视线检测处理单元213基于由视线检测装置10的成像单元160获取的用户眼球500的捕获图像，进行与根据本实施例的视线检测处理有关的各种处理以及在显示单元110的显示面上检测用户视线的处理，并且控制与该视线检测处理有关的各种处理。在本实施例中，在视线检测处理中，使用所谓的瞳孔角膜反射方法进行视线矢量计算处理。具体来说，视线检测处理单元213基于Purkinje图像和包含在眼球500的捕获图像中的瞳孔的图像计算表示眼球的方向(转动角度)的用户视线矢量。然后，视线检测处理单元213通过基于下面描述的由校准处理单元214获取的用户的眼球信息进行修正计算出的视线矢量的处理，检测用户对显示单元110的显示面的视线。眼球信息至少包括用户的视线矢量和用户沿其观看显示面的方向之间的相关性。将在下面的[3-1.视线矢量计算处理]中详细描述由视线检测处理装置213进行的视线矢量计算处理和视线矢量修正处理。
[0091]视线检测处理单元213可以通过向光源驱动控制单元212提供光源190的驱动条件的指令而在获取眼球500的捕获图像时控制向眼球500发射的光。例如，视线检测处理单元213可以通过根据观察状态信息向光源驱动控制单元212提供针对每个用户设置的光源190的驱动条件的指令，在预定的驱动条件下驱动光源190。在本实施例中，可以针对每个用户不同地设置光源190的驱动条件，并且所设置的光源190的驱动条件可以与用户相关联地存储在安装于视线检测装置10或者成像装置20中的存储单元(未示出)等中。当以前具有使用视线检测装置10的经验的用户使用该视线检测装置10时，视线检测处理单元213可以从该存储单元读取与该用户相对应的光源190的驱动条件，并且向光源驱动控制单元212发送对应的驱动条件。
[0092]视线检测处理单元213可以向成像单元160提供眼球500的拍摄条件的指令。用于获取眼球500的清晰的捕获图像的最佳拍摄条件(例如，曝光或增益)据认为根据光源190的驱动条件(例如，被驱动的LED141至148的位置或者光的强度)或者眼球500的特征(例如，从眼球表面的反射率)而不同。因此，为了以较高的精度计算视线矢量，视线检测处理单元213可以根据光源190的驱动条件、眼球500的特征等向成像单元160提供拍摄眼球500时的拍摄条件的指令。由于该拍摄条件也是对用户唯一的信息，所以该拍摄条件可以与用户相关联地存储在安装于视线检测装置10或成像装置20中的存储单元(未示出)中。然后，如光源190的驱动条件中那样，当视线检测装置10被使用时，视线检测处理单元213可以从存储单元读取与用户相对应的成像单元160的拍摄条件。
[0093]校准处理单元214进行获取在视线矢量修正处理中使用的与用户的眼球有关的眼球信息的校准处理，并且控制与校准处理有关的各种处理。由于眼球信息是对用户唯一的信息，所以针对每个用户进行校准处理。
[0094]在本实施例中，例如，基于例如瞳孔角膜反射方法进行视线矢量计算处理，但是在基于用户的视线矢量推断的用户视线与用户实际沿其观看显示面的方向之间存在误差这一事实是已知的。该误差是由用户眼球的形状或尺寸引起的并且对用户是唯一的。在本实施例中，眼球信息可以至少包括视线矢量和用户沿其观看显示面的方向之间的相关性，并且使用该眼球信息进行视线矢量修正处理。这样，在校准处理中，由校准处理单元214获取至少包括用户的视线矢量和用户沿其观看显示单元110的显示面的方向之间的相关性的与用户眼球有关的眼球信息。
[0095]将简要描述在校准处理中获取眼球信息的具体顺序。在校准处理中，首先在显示单元110的显示面上显示以重叠方式在内容上显示标记的校准图像。然后，由用户进行将视线引向校准图像上的该标记的动作，并且由视线检测处理单元213计算已经将其视线引向该标记的用户的视线矢量。校准处理单元214可以通过从视线检测处理单元213接收与视线矢量有关的信息来获取该标记在显示面上的坐标和计算出的用户视线矢量之间的相关性，作为眼球信息。
[0096]校准处理单元214可以通过向和从显示控制单元211和视线检测处理单元213发送和接收各种信息、与驱动控制有关的指令等进行校准处理。具体来说，校准处理单元214可以向显示控制单元211提供在显示单元110的显示面上显示校准图像的指令。当显示校准图像时，校准处理单元214可以指定标记在显示单元110的显示面上的坐标。校准处理单元214还可以向视线检测处理单元213提供进行视线矢量计算处理的指令，并且接收由视线检测处理单元213计算出的与视线矢量有关的信息。
[0097]如上所述，通过校准处理获取的眼球信息是对用户唯一的信息，并且当用户是成年人时，对同一用户是几乎不变的信息。因此，在本实施例中，不必对同一用户多次进行校准处理。所获取的眼球信息可以与用户相关联地存储在安装于视线检测装置10或成像装置20中的存储单元(未示出)中。当以前具有使用视线检测装置10的经验的用户使用视线检测装置10时，进行从该存储单元读取与该用户相对应的参数数据的处理来代替校准处理。当进行存储眼球信息的处理和读取眼球信息的处理时，可以只针对新用户进行校准处理，因此用户的方便性被提高。
[0098]已经参照图3详细描述了根据本实施例的视线检测装置10的总体配置以及与视线检测装置10连接到的成像装置20的信息交换。
[0099]在本实施例中，如上所述，第二光路包括在第一光路中包括的光学构件180。也就是说，来自眼球500的反射光穿过包括在第一光路中的光学构件并且入射到成像单元160上。然后，由视线检测处理单元213基于沿着第二光路并且入射到成像单元160上的光在显示单元110的显示面上进行视线检测处理。因此，可以进一步提高显示面上的视线检测精度。
[0100]在本实施例中，如上所述，基于观察状态信息的光源190的驱动条件和对用户唯一的信息，如眼球信息，可以与用户相关联地存储在存储单元等中。在视线检测处理中可以根据需要读取并使用该驱动条件或眼球信息。为了实现存储驱动条件和眼球信息的处理和读取驱动条件和眼球信息的处理，视线检测装置10或者成像装置20可以具有登记用户的功能或者选择登记用户的功能。代替选择用户的功能，视线检测装置10或者成像装置20可以具有各种个人认证功能或者个体识别功能，使得可以自动认出用户。作为个人认证或者个体识别，例如，可以采用各种生物认证，如指纹认证、血管认证以及基于由成像单元160捕获的用户眼球500的捕获图像的虹膜认证。例如，当使用视线检测装置10时，进行在预先登记的多个用户当中选择一个用户的处理、该用户的个人认证处理或者该用户的个体识别处理，从而可以自动进行读取与所选择或认出的用户相对应的驱动条件和眼球信息的处理。控制单元210可以具有控制每个构成元件的功能或者各种信息处理功能，以进行上述个人认证处理或个体识别处理、读取对用户唯一的信息的处理等。
[0101]上文已经描述了安装于成像装置20中的控制单元210控制成像装置20中的各种处理并且控制包括视线检测处理的视线检测装置10中的各种处理的情况，但是本实施例不局限于该例子。在本实施例中，控制单元210的功能可以任意地分成多个单元，这些单元可以安装在多个装置中。例如，视线检测装置10可以包括单独的控制单元，并且该控制单元可以控制根据本实施例的视线检测处理的各种处理。因此，在本实施例中，视线检测装置10和成像装置20可以分别包括控制单元，并且可以由每个装置中安装的控制单元控制每个装置中的各种处理。例如，视线检测装置10和成像装置20可以以有线或无线方式连接到另一个装置(例如，信息处理装置，如PC或服务器)以与该另外装置通信，并且可以由该另外装置中安装的控制单元控制根据本实施例的视线检测处理的各种处理。在本实施例中，如上文举例说明的，可以进行上述视线检测处理的各种处理，并且用于实现该视线检测处理的具体配置不局限于图3中例示的配置。例如，视线检测装置10和成像装置20可以整体配置为一个装置。控制单元210、安装在上述视线检测装置10中的单独控制单元和安装在另外装置中的控制单元可以例如由各种处理电路来配置，如中央处理单元(CPU)、数字信号处理器(DSP)或者微计算机(微控制器)。
[0102]〈3.视线检测处理的细节〉
[0103]接下来描述根据本实施例的视线检测处理的细节。下面首先在[3-1.视线矢量计算处理]中描述由上述视线检测处理单元213进行的视线矢量计算处理。然后在[3-2.光源驱动控制]中描述在视线矢量计算处理中获取用户眼球的捕获图像时基于预定驱动控制对光源的驱动控制。进而在[3-3.校准处理]中描述由校准处理单元214进行的校准处理。最后，在[3-4.基于虹膜认证读取唯一用户信息的处理]中描述，如校准处理的结果，在读取对用户唯一的信息时的虹膜认证。
[0104][3-1.视线矢量计算处理]
[0105]首先，参照图4描述由视线检测处理单元213进行的视线矢量计算处理。如上所述，在根据本实施例的视线矢量计算处理中使用瞳孔角膜反射方法。图4是示出根据本实施例的使用瞳孔角膜反射方法的视线矢量计算处理的示例图。
[0106]图4示出从光源520向观察显示面530的用户的眼球500照射光并且由成像单元510拍摄眼球500的情况。
[0107]在图4中，在眼球500的结构中示意性示出角膜501、虹膜502和瞳孔503。眼球500对应于图2A和图3中所示的眼球500。向根据本实施例的视线检测装置10中观看的用户的眼球被示出。显示面530对应于图1、图2A和图3中所示的显示单元110的显示面111。在显示面530上显示内容，例如，成像装置200中的直通图像。用户正在观看其上显示该内容的显示面530，并且用户的视线，即，眼球500的方向，朝向显示面530上的预定区域。
[0108]如前述〈2.视线检测装置的配置〉中描述的，通过以瞳孔角膜反射方法基于Purkinje图像和包含在眼球500的捕获图像中的瞳孔的图像计算表示眼球方向(转动角度)的视线矢量来检测用户的视线。为了计算视线矢量，首先从光源520向观察显示面530的用户的眼球500照射光。光源520示意性地表示图2B中所示的LED141至148中的一个。在图4中，用箭头示意性地表示从光源520照射的光的光路。
[0109]之后，当成像单元510检测到，作为从光源520照射到眼球500的光的反射光，从眼球500反射的光时，拍摄眼球500的捕获图像。成像单元510对应于图1、图2A和图3中所示的成像单元160。在图4中，由成像单元510拍摄的捕获图像的例子被示出为捕获图像540。在图4中所示的例子中，捕获图像540是当用户的眼睛基本朝向前方时拍摄的捕获图像，并且拍摄眼球500的角膜501、虹膜502和瞳孔503。在捕获图像540中拍摄作为从光源520向眼球500照射的照射光的光斑的Purkinje图像504。
[0110]之后，基于捕获图像540进行视线矢量计算处理。首先，从捕获图像540检测瞳孔503的图像。在检测瞳孔503的图像的处理中，可以采用通常所知的图像识别技术。例如，在检测瞳孔503的图像的处理中，可以进行一系列处理，如对捕获图像540的各种图像处理(例如，调节变形、黑色电平、白平衡等的处理)、获取捕获图像540中的亮度分布的处理、基于亮度分布检测瞳孔503的图像的轮廓(边缘)的处理以及将检测到瞳孔503的图像的轮廓近似为诸如圆形或椭圆的图形的处理。
[0111]之后，从捕获图像540检测Purkinje图像504。在检测Purkinje图像504的处理中，可以如检测瞳孔中心S的处理中那样，采用通常所知的图像识别技术。例如，在检测Purkinje图像504的处理中，可以基于亮度分布进行一系列处理，如对捕获图像540的各种图像处理、获取捕获图像540中的亮度分布的处理以及检测具有与相邻像素的亮度值显著不同的亮度值的像素的处理。还从检测到的Purkinje图像504检测表示Purkinje图像504的中心点的Purkinje点P。
[0112]之后，计算瞳孔中心S和角膜501的角膜曲率中心C(角膜501被视为球体的一部分时的球心)的三维坐标。基于从捕获图像540检测到的瞳孔503的图像计算瞳孔中心S的三维坐标。具体来说，通过基于诸如成像单元510和眼球500之间的位置关系、角膜501的表面上的光折射以及角膜501的角膜曲率中心C和瞳孔中心S之间的距离等参数，计算捕获图像540中瞳孔503的图像轮廓上每一点的三维坐标并且获得坐标的中心来计算瞳孔中心S的三维坐标。基于从捕获图像540检测到的Purkinje图像504和Purkinje点P计算角膜501的角膜曲率中心C。具体来说，通过基于诸如成像单元510、光源520和眼球500之间的位置关系以及角膜501的曲率半径等参数，计算连接成像单元510和眼球500内部的Purkinje点P的直线的延长线上从角膜501的表面前进角膜501的曲率半径(角膜501被视为球体的一部分时的球的曲率半径)的点的坐标，来计算角膜501的角膜曲率中心C的三维坐标。由于在通常的瞳孔角膜反射方法中使用的已知方法可被应用于根据本实施例的计算瞳孔中心S和角膜501的角膜曲率中心C的三维坐标的处理，所以省略详细描述。
[0113]之后，通过计算从角膜501的角膜曲率中心C指向瞳孔中心S的矢量来计算视线矢量550。通过预先获取显示面530和眼球500之间的位置关系，可以获得视线矢量550的延长线与显示面530相交的区域531的坐标。因此，区域531是表示显示面530上的用户视线的区域。
[0114]图3中所示的并且在前述〈2.视线检测装置的配置 > 中描述的视线检测处理单元213可以通过进行上述处理中的每一个来计算表示用户的眼球500的方向的视线矢量550，并且检测与显示面530 (即，图3中所示的显示单元110的显示面)上的视线矢量550相对应的区域的坐标(即，图4中所示的区域531在显示面530上的坐标)。
[0115]然而,对于人类，已知眼球朝向的方向(即，视线矢量550表不的方向)不一定与人实际视线观看的方向一致。这是由眼球的形状或尺寸(例如，角膜501的角膜曲率中心C和瞳孔中心S之间的距离或者角膜501的曲率半径)、眼球中的视网膜或视觉神经的结构等引起的，因此存在个体差异。因此，在基于用户的视线矢量550推断的用户的视线和用户实际沿其观看显示面的方向之间存在对用户唯一的误差。在本实施例中，考虑到这种情况，针对每个用户进行校准处理，以获取至少包括视线矢量550和用户实际沿其观看显示面530的方向之间的相关性的与用户的眼球500有关的眼球信息。然后，通过基于所获取的作为对用户唯一的信息的眼球信息进行修正视线矢量550的处理来检测用户的视线。因此，在本实施例中，能够以较高的精度进行视线检测处理。
[0116][3-2.光源驱动控制]
[0117]接下来描述在视线矢量计算处理中获取用户眼球的捕获图像时基于预定的驱动条件对光源的驱动控制。如前述〈1.视线检测装置的外观和总体配置〉和〈2.视线检测装置的配置〉中描述的，如图2B中所示，多个LED141至148被设置为本实施例中的光源。由图3中所示的光源驱动控制单元212基于预定的驱动条件选择性地控制LED141至148的驱动。
[0118]将参照图5A至图5F描述光源驱动控制单元212对LED141至148的驱动控制。图5A至图5F是用于描述根据本实施例的视线检测处理中对光源的驱动控制的示例图。在图5A至图5F中，示意性示出图1、图2A和图2B中所示的光源基板140和LED141至158，并且示出在对LED141至148的驱动控制中可以进行的LED141至148的光发射模式。在图5A至图5F中，用影线表示LED141至148当中发光的LED，S卩，向用户的眼球照射光的LED。
[0119]参考图5A，LED141至148都没被驱动的光发射模式被示出。例如，当不进行视线检测处理时，光源驱动控制单元212在图5A中所示的驱动条件下驱动LED141至148。当不进行视线检测处理时，由于不驱动LED141至148这一事实，功率消耗被减小。
[0120]参考图5B，LED141至148中只有一个LED被驱动的光发射模式被示出。在图5B中所示的例子中，LED141至148当中只有LED142被驱动。这样，光源驱动控制单元212可以选择性地驱动多个LED141至148当中的任一个LED。
[0121]参考图5C和图5D，LED141至148中只有两个LED被驱动的光发射模式被示出。在图5C中所示的例子中，LED141至148当中只有位于竖直方向上的LED142和146被驱动。在图中所示的例子中，LED141至148当中只有位于水平方向上的LED144和148被驱动。因此，光源驱动控制单元212可以通过只驱动位于关于用户眼球的竖直方向上的两个LED或者只驱动位于关于用户眼球水平方向上的两个LED，使得在关于用户眼球对称的两个方向上照射光。
[0122]参考图5E和图5F，LED141至148当中只有四个LED被驱动的光发射模式被示出。在图5E中所示的例子中，LED141至148当中只有位于垂直和水平方向上的LED142、144、146和148被驱动。在图5F中所示的例子中，LED141至148当中只有位于基本矩形的开口149的顶点附近的LED141、143、145和147被驱动。因此，光源驱动控制单元212可以通过只驱动位于关于用户眼球的竖直方向和水平方向上的四个LED或者只驱动关于用户眼球的倾斜方向上的四个LED，使得在关于用户眼球对称的四个方向上照射光。
[0123]在此，如前述[3-1.视线矢量计算处理]中参照图4描述的，在视线矢量计算处理中基于由光源520照射的光形成的Purkinje图像504计算角膜501的角膜曲率中心C的三维坐标。在图4中所示的例子中，基于由一个光源520照射的光形成的一个Purkinje图像504进行该计算处理。然而，当存在多个Purkinje图像时,可以针对每个Purkinje图像进行计算角膜501的角膜曲率中心C的三维坐标的处理。然后，可以通过获得基于Purkinje图像的计算结果的平均值、中值等，计算角膜501的角膜曲率中心C的最终三维坐标。因此，通过使用多个不同的Purkinje图像，可以进一步提高计算出的角膜501的角膜曲率中心C的三维坐标的精度。在本实施例中，例如，如图5C至图5F中所示，可以通过驱动多个LED141至148来形成多个不同Purkinje图像。因此，可以进一步提高计算出的角膜501的角膜曲率中心C的三维坐标的精度。
[0124]在本实施例中，如图2B和图5A到5F中所示，沿着开口 149的边缘安装LED141至148。因此，在相对于用户眼球的角膜的大致前侧，即，在靠近用户眼球的视轴(视线矢量的方向)的方向上照射光。通过在靠近用户眼球的视轴的方向上照射光，并且根据照射光从眼球反射的光获取眼球的捕获图像，可以在大致前侧拍摄眼球。因此，由于眼球的捕获图像的中心附近的变形等被减小，所以可以进一步提高瞳孔图像的检测精度。
[0125]在本实施例中，可以根据与用户观察显示面的状态有关的观察状态信息设置作为光源的LED141至148的驱动条件。在此，观察状态信息是对用户唯一的信息，并且包括与用户眼睛的形状有关的信息、与用户是否佩戴眼镜有关的信息和与用户沿其观察视线检测装置10的显示面的方向有关的信息中的至少一个。
[0126]与用户眼睛的形状有关的信息包括例如与眼球、角膜和眼睑的尺寸或形状以及眼球和角膜之间的位置关系、比例等有关的信息。前述[3-1.视线矢量计算处理]中已经描述了计算角膜501的角膜曲率中心C的处理。然而，考虑到计算原则，捕获图像540中的Purkinje图像504优选位于角膜501。眼睛的形状存在个体差异。例如，当从一个光源照射光时，根据光源和眼球之间的位置关系，在有些情况下，Purkinje图像504可能不位于角膜501。例如，当用户具有相对薄的眼睛形状时，根据眼睑的形状，从安装在预定位置处的一个光源照射的光可能被认为被眼睑阻挡，并且该光可能不会适当地照射到用户的眼球。因此，在本实施例中，如图5A至图5F中所示，选择性地驱动关于眼球设置在不同位置处的多个LED141至148。因此，可以根据与用户眼睛的形状有关的信息适当选择要被驱动的LED141至148，使得Purkinje图像504位于适当位置。因此，在本实施例中，由于可以根据与用户眼睛的形状有关的信息进行光源的驱动控制，所以在角膜501上可靠地检测到Purkinje图像 504。
[0127]例如，当用户佩戴眼镜并且光从光源照射到他或她的眼球时，由于来自眼镜的透镜的反射光，可能难以从他或她的眼球的捕获图像检测他或她的瞳孔的图像或者Purkinje图像。而在本实施例中，例如，如图5A至图5F中所示，通过选择性地驱动关于眼球设置在不同位置处的多个LED141至148来实现多种光发射模式。因此，在该视线矢量计算处理中，可以在多种光发射模式中适当选择来自眼镜的透镜的光反射对瞳孔图像或Purkinje图像的检测具有相对较小影响的光发射模式。由于优选的光发射模式根据眼镜框、透镜等的形状而不同，所以可以针对每个用户设置实现最佳光发射模式的LED141至148的驱动条件。例如，通过实际使LED141至148依次向佩戴眼镜的用户发射光来指定妨碍检测瞳孔图像或Purkinje图像的LED141至148的位置，从而搜索到最佳光发射模式。当以最佳光发射模式驱动的LED141至148的数量小并且光量不足时，可以适当地进行增加驱动用于LED的输出或者增加成像单元160的曝光或增益的处理。当可以根据用户是否佩戴眼镜在某种程度上设置相当适当的光发射模式时，可以预先设置用于在佩戴眼镜时实现相当适当的光发射模式的驱动条件以及用于在用裸眼观看时实现相当适当的光发射模式的驱动条件，并且可以根据与用户是否佩戴眼镜有关的信息，从这些驱动条件中选择适当的光发射模式。因此，在本实施例中，由于可以根据与用户是否佩戴眼镜有关的信息进行光源的驱动控制，所以能够以较高的精度从眼球的捕获图像检测瞳孔图像或Purkinje图像。
[0128]例如，当根据本实施例的视线检测装置10是连接到成像装置20的EVF时，由于用户沿其观察视线检测装置10的显示面的方向根据用户是在横向方向还是在纵向方向抓握成像装置20而改变，所以用户和光源之间的位置关系可能改变。例如，当用户在横向方向上抓握成像装置20时，图1中所示的视线检测装置10的y轴方向对用户来说可能成为竖直方向。而当用户在纵向方向上抓握成像装置20时，对用户来说竖直方向和水平方向之间的关系可能颠倒，并且图1中所示的视线检测装置10的X轴方向对用户来说可能成为竖直方向。因此，当用户沿其观察视线检测装置10的显示面的方向改变时，用户的眼睛和LED141至148之间的位置关系改变，因此LED141至148的适当驱动条件也可能改变。在本实施例中，可以适当地选择要被驱动的LED141至148，使得可以根据与用户沿其观察视线检测装置10的显示面的方向有关的信息适当地进行视线矢量计算处理。例如，通过安装用于检测视线检测装置10或成像装置20的姿态的传感器装置，可以基于由该传感器装置检测到的视线检测装置10的姿态获取与用户沿其观察视线检测装置10的显示面的方向有关的信肩、O
[0129]在本实施例中，如上所述，可以基于作为对用户唯一的信息的观察状态信息，针对每个用户适当地设置光源的最佳驱动条件。因此，通过基于观察状态信息针对每个用户设置光源的最佳驱动条件，视线矢量计算处理的精度被进一步提高，并且视线检测处理的精度被进一步提高。可以通过在依次改变要被驱动的LED141至148的组合或者照射光的强度的同时实际进行视线检测处理并且比较检测结果，在根据本实施例的视线检测处理期间或之前获取基于观察状态信息的针对每个用户的光源的最佳驱动条件。当在视线检测处理期间获取LED141至148的驱动条件时，可以在视线检测处理(视线矢量计算处理)期间基于所获取的驱动条件动态改变LED的驱动条件。
[0130][3-3.校准处理]
[0131]接下来，详细描述由校准处理单元214进行的校准处理。如前述〈2.视线检测装置的配置 > 中描述的，在校准处理中获取至少包括用户的视线矢量和用户沿其观看显示单元110的显示面的方向之间的相关性的与用户的眼球有关的眼球信息。具体来说，在根据本实施例的校准处理中，在视线检测装置10的显示单元110的显示面上显示校准图像，在该校准图像中，在内容上叠加并显示标记。然后，当在视线被引向该标记的同时视线检测处理单元213计算用户的视线矢量时，获取用户的视线矢量和该标记在显示面上的显示位置的坐标之间的相关性。
[0132]将参照图6A至图6C描述校准处理的细节。图6A至图6C是用于描述根据本实施例的校准处理的示例图。
[0133]参考图6A至图6C，在执行校准处理时用户观察的显示面610被示出。显示面610对应于图1、图2A和图3中所示的视线检测装置10的显示单元110的显示面111。可以根据来自校准处理单元214的指令，由图3中所示的显示控制单元211控制执行校准处理时显示面610的显示。
[0134]图6A示出校准处理之前的步骤的显示面610。在校准处理之前的该步骤，在显示面610上显示直通图像611。
[0135]图6B示出校准处理执行期间的显示面610。在校准处理执行期间，在显示面610上显示校准图像。在校准图像中，以暗状态(亮度降低的状态)在显示面610上显示直通图像611。在校准图像中，在暗直通图像611上依次显示标记612a至612e。例如，标记612a至612e被显示为具有预定面积的光斑。当在校准图像中以暗状态显示直通图像611时，用户可以将他或她的视线引向标记612a至612e而不被直通图像611分散注意力，因此能够有效地进行校准处理。在校准图像中，可以暂时不显示直通图像611，并且可以在显示面610上只依次显示标记612a至612e。
[0136]具体来说，当校准处理开始时，根据来自校准处理单元214的指令，首先在显示面610上显示校准图像，在该校准图像中，标记612a叠加在暗直通图像611上。校准处理单元214可以指示显示控制单元211在显示面610上显示标记612a的坐标。例如,如图6B中所示，标记612a显示在显示面610的大致中心处。当标记612a被显示时,用户进行将他或她的视线引向标记612a的动作。由视线检测处理单元213计算视线被引向标记612a时用户的视线矢量，并且将计算结果发送到校准处理单元214。由于校准处理单元214具有与标记612a在显示面610上的显示位置的坐标有关的信息，所以校准处理单元214可以获取用户的视线矢量和用户实际观看到的标记612a在显示面610上的显示位置的坐标之间的相关性。
[0137]当关于标记612a的前述相关性被获取时，根据来自校准处理单元214的指令改变显示面619的显示。具体来说,标记612a的显示从显示面610消失,并且新显示标记612b。在图6B中所示的例子中，标记612b显示在显示面610的上侧的大致中心附近。然后，如标记612a的情况中那样，校准处理单元214获取关于标记612b的用户的视线矢量和标记612b在显示面610上的显示位置的坐标之间的相关性。
[0138]之后，同样地,依次显示标记612c、612d和612e,并且校准处理单元214针对每个标记获取基于用户眼球方向的视线矢量和每个标记在显示面610上的显示位置的坐标之间的相关性。在图6B中所示的例子中，标记612c、612d和612e显示在显示面610的右侧、下侧和左侧的大致中心附近。当校准处理单元214获取关于标记612a至612e每一个的相关性时，校准处理结束。如图6B中所示，通过在显示面610的大致中心和各侧附近显示标记612a?612e，获取显示面610的几乎整个区域上的相关性，因此视线检测的精度被进一步提闻。
[0139]如图6C中所示，当校准处理结束时，显示面610的显示回到正常亮度的直通图像611。在校准处理结束之后，通过基于在校准处理中获取的相关性适当修正用户的视线矢量来检测显示面610上用户的视线。具体来说，视线检测处理单元213可以进行将从显示面610上用户的视线矢量推定的坐标修正为用户在显示面610上实际观看到的坐标的处理。如图6C中所示，例如，表示用户视线的标记613可以显示在与经过修正处理的显示面610上用户的视线相对应的区域中。
[0140]上文已经参照图6A至图6C描述了根据本实施例的校准处理的细节。如上所述，在根据本实施例的校准处理中，例如，多个标记612a至612e依次显示在显示面610的不同位置处，并且关于每个标记612a至612e获取用户的视线矢量和每个标记612a至612e在显示面610上的显示位置的坐标之间的相关性。由于根据眼球的形状或尺寸该相关性具有不同的值，所以该相关性是对用户唯一的信息。在本实施例中，通过基于至少包括该相关性的与用户的眼球有关的眼球信息进行修正视线矢量的处理来检测显示面610上用户的视线。因此，由于考虑到用户的个体差异进行视线检测处理，所以视线检测的精度被进一步提高。眼球信息可以包括表示用户眼球结构的各种参数(例如，角膜的角膜曲率中心C和瞳孔中心S之间的距离以及角膜的曲率半径)。这些参数是具有对用户唯一的数值并且在视线矢量计算处理中使用的参数。在视线矢量修正处理中，可以进一步进行基于这些参数修正计算出的视线矢量的处理。
[0141]在图6B中所示的校准图像中，标记612a至612e的显示可以被控制为使得当用户将他或她的视线引向标记612a至612e时标记612a至612e的颜色改变。当标记612a至612e的颜色改变时，用户可以识别出他或她的视线当前正被检测。例如，可以由视线检测处理单元213基于在眼球的捕获图像中用户眼球的运动停止进行与用户是否将他或她的视线引向标记612a至612e的判断，作为标记612a至612e的颜色改变的标准。
[0142]在图6B中所示的例子中，在校准处理中使用五个标记612a至612e，但是本实施例不局限于该例子。在本实施例中，在视线检测处理中可以获得预定精度，并且可以适当设置在校准处理中显示的标记的数量或标记的显示位置。
[0143][3-4.基于虹膜认证读取唯一用户信息的处理]
[0144]在本实施例中，如上所述，基于观察状态信息和对用户唯一的信息如眼球信息的光源190的驱动条件可以与用户相关联地存储在存储单元等中。在视线检测处理中可以根据需要读取并使用对用户唯一的信息。使用虹膜认证的个人认证或个体识别可应用于读取对用户唯一的信息的处理中。例如，当使用视线检测装置10时，使用虹膜认证进行用户的个人认证处理或个体识别处理，并且基于该处理的结果读取对用户唯一的相关信息。如前述[3-1.视线矢量计算处理]中描述的，在根据本实施例的视线检测处理中，在视线矢量计算处理中由成像单元160获取用户的眼球500的捕获图像。因此，可以在个人认证或个体识别中使用包括在捕获图像中的虹膜的图像。因此，在本实施例中，可以基于由成像单元160获取的用户的眼球500的捕获图像进行视线矢量计算处理和虹膜认证处理二者。通过基于在视线矢量计算处理中使用的用户的眼球500的捕获图像进行虹膜认证处理，可以进行用户的个人认证或个体识别而不必提供单独的配置。
[0145]下面简要描述虹膜认证处理的概要。在根据本实施例的虹膜认证处理中，例如，可以使用Daugman算法。
[0146]在根据本实施例的虹膜认证处理中，首先从用户眼球的捕获图像提取与虹膜相对应的部分的图像。用户眼球的捕获图像可以是在视线矢量计算处理中拍摄的捕获图像。在与虹膜相对应的部分的检测中，可以使用前述[3-1.视线矢量计算处理]中描述的检测瞳孔503的图像或Purkinje图像504的处理中使用的各种图像处理方法。
[0147]接下来，基于预定的数学方法通过无损压缩处理将所提取的虹膜部分的图像(虹膜图像)转换为包括表示对用户唯一的特征的信息的数字信息(例如，位串)。通过以这种方式对虹膜图像进行数学处理而产生的数字信息被提取作为对个体唯一的特征，并且还被称为数字模板。作为该数字模板的位串包括基本信息，只要与其他虹膜图像相比较可以进行有统计意义的比较即可。例如,在Daugman算法中,通过利用Gabor滤波器使用小波变换，从虹膜图像中提取具有考虑到成像单元160的性能如分辨率的预定SN比的空间频率范围，获得包括虹膜图像的局部振幅和相位信息的多个复数组。然后，基于所述多个复数组，获取只包括表达Gabor区域的复数的符号位而不包括振幅信息的2048位的位串，作为与虹膜图像相对应的位串。由于通过使该位串不包括振幅信息，可以排除拍摄眼球时虹膜照度或颜色差异的影响，所以获取长时间使用的更稳定的数字模板。
[0148]接下来，比较基于虹膜图像获取的位串的值与预先登记为数字模板的位串的值。当这两个位串的值的Hamming距离小于预定的阈值时，这两个位串被判断为相同。基于虹膜图像获取的位串的值可以与预先登记的多个位串的值相比较(个体识别:一对多匹配)或者可以与预先登记的并且与特定用户相对应的特定位串的值相比较(个人认证:一对一匹配)。由于Daugman算法是在通常的虹膜认证处理中广泛使用的方法，所以在本部分中省略对Daugman算法的进一步详细描述。
[0149]在本实施例中，可以基于上述虹膜认证处理指定尝试使用视线检测装置10的用户，并且可以读取与该用户相对应的唯一信息。然后，使用所读取的对该用户唯一的信息，进行视线矢量修正处理。
[0150]在此，该位串可以例如是以2维形式排列的位序列。通过检测从用户的虹膜图像获取的位序列和预先登记为数字模板的位序列之间的偏移量，可以计算用户眼球的角度(方向)。在本实施例中，在视线矢量修正处理中可以进一步使用与在虹膜认证处理中获得的用户眼球的角度有关的信息。
[0151]〈4.变形例〉
[0152]接下来描述根据本实施例的视线检测处理的变形例。在下面的[4-1.附加IR滤波器]中，将描述根据本实施例的视线检测处理同样地应用于成像装置的EVF时的其他配置例子。在下面的[4-2.应用于可佩戴装置]和[4-3.应用于头戴式显示器]中，将描述根据本实施例的视线检测处理应用于其他装置的情况。
[0153][4-1.附加IR滤波器]
[0154]在根据本实施例的视线检测装置的一个变形例中，来自光源的红外光照射到用户的眼球。在成像单元的前级安装有屏蔽具有红外波段以外的波长的光的红外光通过机构。因此，来自用户眼球的红外光的反射光穿过红外光通过机构，并且随后入射到成像单元上。因此，当在成像单元的前级安装有红外光通过机构时，防止可能是噪声的红外光以外的光入射到成像单元上。因此，能够更清晰地获取用户眼球的捕获图像。
[0155]将参照图7描述根据本实施例的视线检测装置的这样的一个变形例的具体配置。图7是示出当根据本实施例的视线检测处理应用于成像装置的EVF时的另一个配置例子的截面图。
[0156]参考图7，根据本实施例的变形例的视线检测装置70包括显示单元110、光路改变元件120、放大器单元130、光源基板140、眼罩150、成像单元160、铰链170和红外滤波器(IR滤波器)710。在此，由于根据该变形例的视线检测装置70的构成元件当中的显示单元110、光路改变元件120、放大器单元130、光源基板140、眼罩150、成像单元160和铰链170的配置和功能与图1、图2A和图2B中所示的视线检测装置10的显示单元110、光路改变元件120、放大器单元130、光源基板140、眼罩150、成像单元160、铰链170的功能和配置相同，所以将省略对这些构成元件的详细描述。根据该变形例的视线检测装置70对应于图1、图2A和图2B中所示的视线检测装置10附加了 IR滤波器710的装置。图7中所示的截面图对应于图2A中所示的截面图，并且是由根据该变形例的视线检测装置70的y轴和z轴限定的平面(y_z平面)上的截面图。
[0157]如图7中所示，IR滤波器710设置在根据该变形例的视线检测装置70中的光路改变元件120和成像单元160之间。IR滤波器710是具有使红外光通过并且屏蔽具有红外光以外的波长的光的功能的红外光通过机构的例子。
[0158]另一方面，在该变形例中，设置在光源基板140中的光源(图7中未示出)由发射红外光的LED配置而成。因此，在该变形例中，当红外光照射到用户的眼球并且成像单元160检测到该红外光从眼球的反射光时，获取用户眼球的捕获图像。通过使用具有可见光波段的光以外的光，如红外光，作为照射到用户眼球的光，用户不会被从光源照射的光惊扰，因此照射的光不妨碍用户观察显示面111。由于具有红外光以外的波长并且因此可能是噪声的光被安装在光路改变元件120和成像单元160之间的IR滤波器710屏蔽，所以成像单元160以较高的精度检测来自眼球的反射光，并且因此可以获取更清晰的眼球的捕获图像。
[0159]上文已经描述了 IR滤波器710用作红外光通过机构的配置。然而，在该变形例中，可以应用各种其他光学构件，只要该光学构件是具有屏蔽红外光以外的波长的光的功能的光学构件即可。例如，在该变形例中，可以不安装IR滤波器710，光路改变元件120可以改为具有在预定方向上反射红外光并且使具有其他波长的光线性通过的红外光通过机构的功能。例如，光路改变元件120可以是分色镜或者具有在I轴的正方向上反射在z轴方向入射的红外光并且使在z轴方向上入射并具有其他波长带的光通过，同时保持该光的传播方向的功能。当光路改变元件120具有这种功能时，具有红外光以外的波长并因此可能是噪声的光被屏蔽，并且红外光因此有效地入射到成像单元160上。因此，如安装有IR滤波器710的情况中那样，成像单元160能够以较高的精度检测来自眼球的反射光，并且因此获取更清晰的眼球的捕获图像。
[0160]如上文参照图7描述的，根据该变形例，从光源向用户的眼球照射红外光，在成像单元的前级安装有屏蔽具有红外波段以外的波长的光的红外光通过机构，并且该红外光从用户的眼球反射的光穿过该红外光通过机构并随后入射到成像单元上。因此，除了根据本实施例的视线检测装置10获得的优点以外，还可以获得获取更清晰的眼球的捕获图像的优点。
[0161][4-2.应用于可佩戴装置]
[0162]接下来将描述根据本实施例的视线检测处理应用于成像装置以外的装置的变形例。根据本实施例的视线检测处理可以应用于例如眼镜式可佩戴装置。
[0163]将参照图8描述根据本实施例的视线检测处理应用于的眼镜式可佩戴装置的总体配置。图8是示出根据本实施例的视线检测处理应用于的眼镜式可佩戴装置的配置例子的示意图。在对该变形例的描述中，除非另外说明，否则根据本实施例的视线检测装置是指根据本实施例的视线检测处理应用于的眼镜式可佩戴装置。
[0164]参考图8，视线检测装置80是眼镜式可佩戴装置，并且包括显示单元810、透镜820、光导构件830、视线检测单元840和光源850。在图8中，佩戴视线检测装置80的用户800与视线检测装置80 —起被示出。用箭头表示视线检测装置80和用户800的眼球之间的光在视线检测装置80内的光路。图8示意性示出从上方观看佩戴视线检测装置80的用户800的情况。在以下对该变形例的描述中，如图8中所示，用户800面对的方向被定义为Z轴方向。当用户800观看时，水平方向被定义为X轴方向，竖直方向被定义为Y轴方向。用户观看的Z轴的方向被定义为Z轴的正方向，并且用户观看时X轴的右侧被定义为X轴的正方向。
[0165]显示单元810对应于图1和图2A中所示的视线检测装置10的显示单元110。例如，显示单元810设置在用户800的旁边，并且显示面811设置在Z轴的正方向上。显示单元810的显示面811上可以显示任何内容。来自显示面811的光(即，形成内容的光)在Z轴的正方向上依次穿过视线检测单元840、透镜820和光导构件830，并入射到用户800的眼球。在图8中，用点线箭头表示来自显示面811的光的光路。
[0166]视线检测单元840包括光路改变元件841和成像单元842。来自显示单元810的显示面811的光在Z轴的正方向上线性地透过光路改变元件841，并且入射到透镜820上。光路改变元件841和成像单元842对应于图1和图2A中所示的视线检测装置10的光路改变元件120和成像单元160。光路改变元件841具有与光路改变元件120相同的功能和配置，并且是具有线性地透射在一个方向上入射的光并且在预定方向上反射来自另一个方向的光(或者该光的一部分)的镜功能的光学构件。具体来说，光路改变元件841例如是分束器，并且透射在Z轴的负方向上入射的光，同时保持该光的传播方向，并且在X轴的正方向上反射在Z轴的正方向上入射的光。成像单元842安装在X轴的正方向上，与光路改变元件841相邻，使得光接收表面面对光路改变元件841。
[0167]透镜820是具有以预定放大率放大显示单元810的显示面811上的内容显示的功能的光学构件。透镜820对应于图1和图2A中所示的视线检测装置10的放大器单元130。在图8中所示的例子中，透镜820被示出为单个透镜。然而，在视线检测装置80中，可以代替透镜820安装透镜系统，在该透镜系统中，多个各种透镜被组合并且被适当调节以预定放大率放大和显示内容。来自显示面811的光在Z轴的正方向上穿过透镜820并且入射到光导构件830上。
[0168]光导构件830是板状或片状光学构件，并且可以在该板或该片内平行于平面的方向上引导光。在该变形例中，例如，将全息片用作光导构件830。光导构件830被设置为基本平行于X-Y平面(由X轴和Y轴限定的平面)，并且光导构件830的局部区域面向用户800的眼球。来自显示面811的光透射透镜820，在Z轴的正方向上传播，然后入射到光导构件830上。例如，由图8中的点线箭头表示的，入射到光导构件830上的光在光导构件830内平行于X-Y平面的方向上被引导，然后到达用户800的眼球。因此，用户可以经由光路改变元件841、透镜820和光导构件830观察显示单元810的显示面811。
[0169]光源850向观察显示单元810的显示面811的用户的眼球照射光。例如，光源850可以是LED并且可以照射红外光。光源850对应于图2B中所示的作为视线检测装置10的光源的LED141至148。在图8中所示的例子中，示出单个光源850。然而，如视线检测装置10中那样，视线检测装置80可以包括从不同方向向用户800的眼球照射光的多个光源。光源850可以通过支撑构件(未示出)固定到视线检测装置80的另一个构成元件(包括将视线检测装置80安置于用户800的框架或边撑(未示出))。
[0170]作为从光源850照射的光的反射光，从用户800的眼球反射的光在相反方向上沿着来自显示单元810的显示面811的光所沿着的光路并且到达光路改变元件841。也就是说，来自用户800的眼球的反射光依次穿过光导构件830和透镜820，并且到达光路改变元件841。如上所述，由于光路改变元件841具有在X轴的正方向上反射在Z轴的正方向上入射的光的功能，所以反射光的光路被光路改变元件841改变，并且反射光入射到成像单元842上。因此，成像单元842检测到来自用户800的眼球的反射光，并且获取用户800的眼球的捕获图像。在图8中，用短划线箭头表示从光源850照射的光沿其从用户800的眼球反射并到达成像单元842所沿着的光路。
[0171]如视线检测装置10中那样，视线检测装置80也基于由成像单元842获取的用户800的眼球的捕获图像，在显示单元810的显示面811上对用户800进行视线检测处理。作为视线检测装置80的视线检测处理，可以进行与前述〈3.视线检测处理的细节〉中描述的视线检测装置10的视线检测处理相同的处理。
[0172]已经参照图8描述了根据本实施例的变形例的视线检测装置80的总体配置。在该变形例中，如上所述，用户800经由至少一个光学构件(例如，光路改变元件841、透镜820和光导构件830)观察显示单元810的显示面811。然后，由光源850向观察显示面811的用户800的眼球照射光，并且该照射光从眼球反射的光被成像单元842检测，从而获取眼球的捕获图像。
[0173]在此，如图8中的点线箭头和短划线箭头表示的，在该变形例中，来自显示单元810的显示面811的光沿其从显示面811传播到用户800的眼球所沿着的光路(第一光路)和作为从光源850照射的光的反射光，从用户800的眼球反射的光沿其从眼球传播到成像单元842所沿着的光路(第二光路)经过相同的光学构件。因此，在该变形例中，来自眼球的反射光穿过安装在第一光路中的光学构件并且入射到成像单元842上。因此，在根据该变形例的视线检测装置80中，如视线检测装置10中那样，可以获得进一步提高视线检测精度的优点。
[0174][4-3.应用于头戴式显示器]
[0175]接下来，将描述根据本实施例的视线检测处理应用于成像装置之外的另一装置的另一个变形例。根据本实施例的视线检测处理可以应用于例如头戴式显示器(HMD)装置。
[0176]将参照图9A至图9C描述根据本实施例的视线检测处理应用于的头戴式显示装置的总体配置。图9A至图9C是示出根据本实施例的视线检测处理应用于的头戴式显示装置的一个例子的示意图。在对该变形例的描述中，除非另外说明，否则根据本实施例的视线检测装置是指根据本实施例的视线检测处理应用于的头戴式显示装置。
[0177]参考图9A至图9C，视线检测装置90a、90b和90c分别是根据本实施例的视线检测处理应用于的头戴式显示装置，并且具有部分不同的配置。在图9A至图9C中，佩戴视线检测装置90a、90b和90c的用户900与视线检测装置90a、90b和90c —起被示出。用箭头表示用户900的眼球和每个视线检测装置90a、90b和90c之间的光在视线检测装置90a、90b和90c内的光路。图9A至图9C示意性示出从上方观看佩戴视线检测装置90a、90b和90c的用户900的情况。在以下对该变形例的描述中，如图9A至图9C中所示，用户900面对的方向被定义为Z轴方向。当用户900观看时,水平方向被定义为X轴方向，竖直方向被定义为Y轴方向。用户观看的Z轴的方向被定义为Z轴的正方向，并且用户观看时X轴的右侧被定义为X轴的正方向。
[0178]下面参照图9A至图9C依次分别描述根据该变形例的视线检测装置90a、90b和90c的配置。
[0179]参考图9A，视线检测装置90a是头戴式显示装置，并且包括显示单元910a和910b、透镜920a和920b、箱体930、视线检测单元940a和光源950a。
[0180]显示单元910a和910b对应于图1和图2A中所示的视线检测装置10的显示单元110。显示单元910a和910b设置在显示面911a和911b在Z轴的负方向上面对用户900的左眼球和右眼球的位置处。在显示单元910a和910b的显示面911a和911b上可以显示任何内容。用户900通过观察设置在用户的眼睛前方的显示单元910a和910b的显示面911a和911b来观察显示在显示面911a和911b上的各种内容。
[0181 ] 透镜920a和920b是具有以预定放大率放大显示单元910a和910b的显示面911a和911b上的内容显示的功能的光学构件。透镜920a和920b对应于图1和图2A中所示的视线检测装置10的放大器单元130。如图9A中所示，透镜920a和920b分别设置在用户900的左眼球和右眼球的前方，并且放大显示面911a和911b上的内容显示。在图9A中所示的例子中，透镜920a和920b每个都被示出为单个透镜。然而，在视线检测装置90a中，可以代替透镜920a和920b安装透镜系统，在该透镜系统中，多个各种透镜被组合并且被适当调节以预定放大率放大和显示内容。
[0182]箱体930例如是头戴式显示装置的箱体并且是安置于用户900的眼镜式箱体。显示单元910a和910b、透镜920a和920b以及视线检测单元940a设置在箱体930内的预定位置处。
[0183]视线检测装置90a对用户900的一个眼球进行视线检测处理。在图9A中所示的例子中，视线检测装置90a具有对用户900的右眼球进行视线检测处理的配置。视线检测装置90a包括与用户900的右眼球相对应的在显示单元910b和透镜920b之间的视线检测单元940a。如图9A中所示,在视线检测装置90a中，来自显示单元910a的显示面911a的光在Z轴的负方向上穿过透镜920a并且入射到用户900的左眼球。来自显示单元910b的显示面911b的光在Z轴的负方向上依次穿过视线检测单元940a和透镜920b并且入射到用户900的右眼球。在图9A中，用点线箭头表示来自显示面911a和911b的光的光路。
[0184]视线检测单元940a包括光路改变元件941b和成像单元942b。来自显示单元910b的显示面911b的光在Z轴的负方向上线性地透射光路改变元件941b，入射到透镜920b，然后到达用户的右眼球。成像单元942b的光路改变元件941b对应于图1和图2A中所示的视线检测装置10的光路改变元件120和成像单元160。光路改变元件941b具有与光路改变元件120相同的功能和配置，并且是具有线性地透射在一个方向上入射的光并且在预定方向上反射来自另一个方向的光(或该光的一部分)的镜功能的光学构件。具体来说，光路改变元件941b例如是分束器，并且透射在Z轴的正方向上入射的光，同时保持该光的传播方向，并且在X轴的负方向上反射在Z轴的负方向上入射的光。成像单元942b安装在X轴的负方向上，与光路改变元件941b相邻，使得光接收表面面对光路改变元件941b。
[0185]光源950b向观察显示单元910b的显示面911b的用户的右眼球照射光。例如，光源950b可以是LED并且可以照射红外光。光源950b对应于图2B中所示的作为视线检测装置10的光源的LED141至148。在图9A中所示的例子中，示出单个光源950b。然而，如视线检测装置10中那样，视线检测装置90a可以包括从不同方向向用户900的眼球照射光的多个光源。光源950b可以通过支撑构件(未示出)固定在箱体930的局部区域中。
[0186]作为从光源950b照射的光的反射光，来自用户900的右眼球的反射光在相反方向上沿着来自显示单元910b的显示面911b的光所沿着的光路,并且到达光路改变元件941b。也就是说，来自用户900的右眼球的反射光穿过透镜920b并且到达光路改变元件941b。如上所述，由于光路改变元件941b具有在X轴的负方向上反射在Z轴的负方向上入射的光的功能，所以反射光的光路被光路改变元件941b改变，并且反射光入射到成像单元942b上。因此，成像单元942b检测到来自用户900的右眼球的反射光，并且获取用户900的右眼球的捕获图像。在图9A中，用短划线箭头表示从光源950b照射的光沿其从用户900的右眼球反射，然后到达成像单元942b的光路。
[0187]图9B是示出具有与图9A中所示的视线检测装置90a不同的配置并且根据本实施例的视线检测处理应用于的头戴式显示装置的总体配置的图。参考图9B，视线检测装置90b包括显示单元910a和910b、透镜920a和920b、箱体930、视线检测单元940b和光源950a 和 950b ο
[0188]在此，图9B中所示的视线检测装置90b对应于视线检测单元940a改变为视线检测单元940b并且光源950a附加到图9A中所示的视线检测装置90a的装置。因此，在对视线检测装置90b的描述中，将主要描述视线检测单元940b和光源950a，并且将省略对其余配置的详细描述。
[0189]视线检测装置90b对用户900的两个眼球进行视线检测处理。因此，视线检测装置90b包括与用户900的左眼球和右眼球相对应的在显示单元910a和910b与透镜920a和920b之间的视线检测单元940b。如图9B中所示，在视线检测装置90b中，来自显示单元910a的显示面911a的光在Z轴的负方向上依次穿过视线检测单元940b和透镜920b，然后入射到用户900的左眼球。此外，来自显示单元910b的显示面911b的光在Z轴的负方向上依次穿过视线检测单元940b和透镜920b，然后入射到用户900的右眼球。在图9B中，用点线箭头表示来自显示面911a和911b的光的光路。
[0190]视线检测单元940b包括光路改变元件941a和941b以及成像单元942a和942b。光路改变元件941a和941b以及成像单元942a和942b对应于图1和图2A中所示的视线检测装置10的光路改变元件120和成像单元160。
[0191]在此，视线检测单元940b具有与用户900的左眼球相对应的光路改变元件941a和成像单元942a附加到图9A中所示的视线检测单元940a的配置。具体来说，在视线检测单元940b中，光路改变元件941b安装在显示单元910b的显示面911b和透镜920b之间，并且光路改变元件941a安装在显示单元910a的显示面911a和透镜920a之间。因此，来自显示单元910b的显示面911b的光在Z轴的负方向上直线透过光路改变元件941b，入射到透镜920b上，然后到达用户的右眼球。此外，来自显示单元910a的显示面911a的光在Z轴的负方向上直线透过光路改变元件941a，入射到透镜920a上，然后到达用户的左眼球。光路改变元件941a和941b具有与光路改变元件120相同的功能和配置，并且是具有线性地透射在一个方向上入射的光并且在预定方向上反射来自另一个方向的光(或该光的一部分)的镜功能的光学构件。具体来说，光路改变元件941a透射在Z轴的正方向上入射的光，同时保持该光的传播方向，并且在X轴的正方向上反射在Z轴的负方向上入射的光。此外，光路改变兀件941b透射在Z轴的正方向上入射的光，同时保持该光的传播方向，并且在X轴的负方向上反射在Z轴的负方向上入射的光。
[0192]在视线检测装置90b中，光源950a附加到图9A中所示的视线检测装置90a。光源950a向观察显示装置910a的显示面911a的用户的左眼球照射光。例如，光源950a可以是LED，并且可以照射红外光。光源950a对应于图2B中所示的作为视线检测装置10的光源的LED141至148。光源950b可以通过支撑构件(未示出)固定在箱体930的局部区域中。在图9B中所示的例子中，分别针对左眼球和右眼球示出光源950a和950b。然而，如视线检测装置10中那样，视线检测装置90b可以包括从不同方向向用户900的左眼球和右眼球照射光的多个光源。
[0193]作为从光源950a照射的光的反射光，来自用户900的左眼球的反射光在相反方向上沿着来自显示单元910a的显示面91 Ia的光所沿着的光路,并且到达光路改变元件941a。然后，该反射光的光路被光路改变元件941a改变到X轴的正方向上，并且该反射光入射到成像单元942a上。此外，作为从光源950b照射的光的反射光，来自用户900的右眼球的反射光在相反方向上沿着来自显示单元910b的显示面911b的光所沿着的光路,并且到达光路改变元件941b。然后，该反射光的光路被光路改变元件941b改变到X轴的负方向上，并且该反射光入射到成像单元942b上。因此，在视线检测装置90b中，来自光源950a和950b的光分别照射到用户的左眼球和右眼球，并且成像单元942a和942b分别检测来自左眼球和右眼球的反射光，从而获取左眼球和右眼球的捕获图像。在图9B中，用短划线箭头表示从光源950a和950b照射的光沿其从用户900的左眼球和右眼球反射，然后到达成像单元942a和942b的光路。
[0194]图9C是示出具有与图9A和图9B中所示的视线检测装置90a和90b不同的配置并且根据本实施例的视线检测处理应用于的头戴式显示装置的总体配置的图。参考图9C，视线检测装置90c包括显示单元910a和910b、透镜920a和920b、箱体930、视线检测单元940c 和光源 950a 和 950b。
[0195]在此，与图9B中所示的视线检测装置90b相比，图9C中所示的视线检测装置90c对应于视线检测单元940b改变为视线检测单元940c的装置。因此，在对视线检测装置90c的描述中，将主要描述视线检测单元940c的配置，并且将省略对其余配置的详细描述。
[0196]视线检测单元940c包括光路改变元件941a、941b和943以及成像单元942。光路改变元件941a和941b和成像单元942对应于图1和图2A中所示的视线检测装置10的光路改变元件120和成像单元160。
[0197]在此，图9C中所示的视线检测单元940c对应于光路改变元件943进一步附加到图9B中所示的视线检测单元940b并且用成像单元942代替成像单元942a和942b的单元。视线检测单元940c的光路改变元件941a和941b的功能和配置与视线检测单元940b的光路改变元件941a和941b的功能和配置相同。因此，在视线检测装置90c中，来自显示单元910b的显示面911b的光在Z轴的负方向上线性地透过光路改变元件941b，入射到透镜920b上，然后到达用户的右眼球。此外，来自显示单元910a的显示面911a的光在Z轴的负方向上线性地透过光路改变元件941a，入射到透镜920a上，然后到达用户的左眼球。在图9C中，用点线箭头表示来自显示面911a和911b的光的光路。
[0198]在视线检测单元940c中，光路改变元件943安装在光路改变元件941a和941b之间。光路改变元件943具有在Z轴的负方向上反射从光路改变元件941a和942b入射的光的功能。成像单元942设置在光路改变元件943的Z轴的负方向上，使得光接收表面朝向Z轴的正方向。因此，作为从光源950a照射的光的反射光，来自用户900的左眼球的反射光在相反方向上沿着来自显示单元910a的显示面911a的光所沿着的光路,并且到达光路改变元件941a。然后，反射光的光路被光路改变元件941a改变到X轴的正方向上，反射光的光路进一步被光路改变元件943改变到Z轴的负方向上，然后反射光入射到成像单元942a上。此外，作为从光源950b照射的光的反射光，来自用户900的右眼球的反射光在相反方向上沿着来自显示单元910b的显示面911b的光所沿着的光路,并且到达光路改变元件941b。然后，反射光的光路被光路改变元件941b改变到X轴的负方向上，反射光的光路进一步被光路改变元件943改变到Z轴的负方向上，然后反射光入射到成像单元942b上。因此，在视线检测装置90c中，来自左眼球和右眼球的反射光被单个成像单元942检测，而不是如视线检测装置90b中那样被针对左眼球和右眼球安装的成像单元942a和942b检测，从而获取左眼球和右眼球的捕获图像。在图9C中，用短划线箭头表示从光源950a和950b照射的光沿其从用户900的左眼球和右眼球反射并且到达成像单元942的光路。
[0199]如上所述，视线检测装置90a、90b和90c通过在头戴式显示装置中检测来自用户眼球的反射光而获取用户眼球的捕获图像。然后，如视线检测装置10中那样，视线检测装置90a、90b和90c基于捕获图像在显示单元910a和910b的显示面91 Ia和911b上针对用户900进行视线检测处理。作为视线检测装置90a、90b和90c的视线检测处理，可以进行与前述〈3.视线检测处理的细节 > 中描述的视线检测装置10的视线检测处理相同的处理。
[0200]已经参照图9A至图9C描述了根据该变形例的视线检测装置90a、90b和90c的总体配置。在该变形例中，如上所述，用户900经由至少一个光学构件(例如，光路改变元件941a和941b以及透镜920a和920b)观察显示单元910a和910b的显示面911a和911b。然后，由光源950a和950b向观察显示面911a和911b的用户900的眼球照射光，并且该照射光从眼球反射的光被成像单元942，942a和942b检测，从而获取眼球的捕获图像。
[0201]在此，如图9A至图9C中的点线箭头和短划线箭头表示的，在该变形例中，作为从光源950a和950b照射的光的反射光，来自用户900的眼球的反射光穿过安装在来自显示单元910a和910b的显示面911a和911b的光沿其从显示面911a和911b传播到用户900的眼球的光路中的光学构件，然后入射到成像单元942，942a和942b上。因此，在根据该变形例的视线检测装置90a、90b和90c中，如视线检测装置10和80中那样，可以获得进一步提闻视线检测精度的优点。
[0202]在该变形例中，如图9B和图9C中所示的视线检测装置90b和90c中那样，光可以从光源950a和950b照射到用户的左眼球和右眼球，并且来自左眼球和右眼球的反射光被成像单元942a和942b检测，从而可以分别获取左眼球和右眼球的捕获图像。然后，可以分别针对左眼球和右眼球进行视线检测处理。因此，通过分别针对左眼球和右眼球进行视线检测处理，可以进一步提高视线检测处理的精度。此外，通过分别针对左眼球和右眼球进行视线矢量计算处理，例如可以进一步获取信息，如视差信息。
[0203]在该变形例中，如图9C中所示的视线检测装置90c中那样，视线检测单元940c的配置可以比图9B中所示的视线检测装置90b更简化。因此，利用这种更简化的配置，能够以与视线检测装置90b的精度相同的精度进行视线检测处理。
[0204]在视线检测装置80、90a、90b和90c中检测到的用户的视线可被用在作为视线检测装置80、90a、90b和90c的眼镜式可佩戴装置和头戴式显示装置的各种操作中。例如，检测到的用户视线可被用作用户在眼镜式可佩戴装置和头戴式显示装置上进行进行各种操作输入的输入单元。具体来说，通过检测显示面811、911a和911b的上端区域、下端区域、右端区域和左端区域中的任一区域中的视线，可以在检测到视线的方向上滚动和显示显示面811、911a、911b上显示的内容。此外，通过在显示面811、911a和911b上显示与由眼镜式可佩戴装置和头戴式显示装置进行的各种操作相对应的图标，并且在预定时间连续检测用户对于图标的视线，可以进行与图标相对应的操作。与图标相对应的操作可以例如是在诸如通用PC的信息处理装置中进行的各种操作，如将眼镜式可佩戴装置和头戴式显示装置关电(关机)或者启动各种应用。检测到的用户视线可被用作移动显示在显示面811、911a和911b上的指针的指示装置。例如，该指针可以根据检测到的用户视线的变化而在显示面811、911a和911b上移动。
[0205]〈5.视线检测方法的处理顺序〉
[0206]接下来将参照图10描述根据本公开一实施例的视线检测方法的处理顺序。图10是示出根据本公开该实施例的视线检测方法的处理顺序的流程图。在以下对根据本实施例的视线检测方法的处理顺序的描述中，将描述视线检测装置10是连接到成像装置的EVF的情况，图10中流程图的步骤可以由图1、图2A、图2B和图3中所示的视线检测装置10和成像装置20的构成元件进行。然而，在以下描述中，将省略对这些构成元件的功能和配置的详细描述。
[0207]参考图10，首先在步骤S301中判断是否检测到用户的眼睛与眼罩150的接触。例如可以由安装在眼罩150中的接触传感器检测用户的眼睛与眼罩150的接触。当在步骤S301中检测到用户的眼睛的接触时，认为用户正在向视线检测装置10中观看。因此，处理前进到步骤S303，并且在显示单元110的显示面111上显示作为内容的直通图像。当在步骤S301中未检测到用户的眼睛的接触时，认为用户没在使用视线检测装置10。因此，显示单元110的显示面111上什么都不显示，并且保持该状态直到检测到用户的眼睛与眼罩150的接触。
[0208]在本实施例中，可以不进行步骤S301和步骤S303的处理。当不进行步骤S301和步骤S303的处理时，在视线检测装置10的显示单元110的显示面111上正常显示内容。然而，如步骤S301和步骤S303中描述的，通过根据视线检测装置10的使用状态选择性地驱动显示单元110，可以减小功率消耗。
[0209]当在步骤S303中在显示单元110的显示面111上显示直通图像时，随后在步骤S305中针对尝试使用视线检测装置10的用户判断是否存在先前获取的对该用户唯一的信息。在此，对用户唯一的信息可以是诸如在根据本实施例的视线检测处理中使用的观察状态信息、光源的驱动条件或者在前述〈3.视线检测处理的细节〉中描述的眼球信息等信息。一旦获取对用户唯一的信息之后，将该对用户唯一的信息与该用户相关联地存储在视线检测装置10或成像装置20中安装的存储单元中。在步骤S305中，指定尝试使用视线检测装置10的用户，并且判断存储单元中是否存储有与所指定的用户相关联的唯一信息。在指定尝试使用视线检测装置10的用户的处理中，例如，视线检测装置10或者成像装置20可以具有用户登记功能和用户选择功能。通过利用用户登记功能和用户选择功能手动选择用户，可以指定用户。在指定尝试使用视线检测装置10的用户的处理中，视线检测装置10或成像装置20可以具有各种生物认证功能，如虹膜认证、血管认证和指纹认证。通过利用生物认证功能对用户自动进行个人认证或个体识别，可以指定用户。
[0210]当在步骤S305中判断出不存在尝试使用视线检测装置10的用户的唯一信息时，该处理前进到步骤S307，并且针对该用户进行校准处理。在步骤S307的校准处理中，例如，进行前述[3-3.校准处理]中描述的每个处理，并且获取在视线检测处理中使用的对该用户唯一的信息。当校准处理结束时，该处理前进到步骤S311。
[0211]反之，当在步骤S305中判断出存在尝试使用视线检测装置10的用户的唯一信息时，该处理前进到步骤S309，并且从其中存储对用户唯一的信息的存储单元中读取对该用户唯一的对应信息。从存储单元中读取对该用户唯一的信息之后，该处理前进到步骤S311。
[0212]在步骤S311中，使用在步骤S307中获取的对该用户唯一的信息和在步骤S309中读取的对该用户唯一的信息进行计算显示单元110的显示面111上的用户视线矢量的处理和视线矢量修正处理。在步骤S311中的视线矢量计算处理和视线矢量修正处理中，例如，进行前述[3-1.视线矢量计算处理]、[3-2.光源驱动控制]和[3-3.校准处理]中描述的每个处理。在视线矢量计算处理中使用的观察状态信息、基于观察状态信息的光源的驱动条件等可以在图10中所示的系列处理之前被单独获取，并且可以存储在存储单元中，并且在步骤S309中读取，或者可以在图10中所示的系列处理期间的任何时刻单独获取。例如，观察状态信息、驱动条件等可以在步骤S307中的校准处理时获取。
[0213]上文已经描述了根据本实施例的视线检测方法的处理顺序。如上所述，可以由图1、图2A、图2B和图3中所示的视线检测装置10和成像装置20的每个构成元件进行根据上述实施例的视线检测方法。因此，在步骤S311中所示的视线矢量计算处理中，来自显示单元110的显示面111的光沿着穿过至少一个光学构件的第一光路并且入射到用户的眼球上。然后，向观察显示面111的用户的眼球照射光，并且检测该照射光从用户眼球反射的光，从而获取检测显示面111上的用户视线用的眼球的捕获图像。该照射光从眼球反射的光沿着至少穿过安装在第一光路中的光学构件的第二光路，并且入射到成像单元上。因此，根据本实施例，视线检测精度被进一步提闻。
[0214]<6.结论〉
[0215]在本实施例中，如上所述，向经由至少一个光学构件观察显示面的用户的眼球照射光。然后，当检测到该照射光从该用户的眼球反射的光时，获取在显示面上检测用户视线用的眼球的捕获图像。该照射光从用户眼球反射的光沿着至少穿过安装在第一光路中的光学构件的第二光路以被检测，第一光路是来自显示面的光沿其从显示面传播到用户的眼球的光路。然后，基于以这种方式获取的用户眼球的捕获图像，检测显示面上的用户视线。在本实施例中，对于上述配置，第一和第二光路包括几乎相同的光学构件，因此是光学上相似的光路。因此，视线检测精度被进一步提闻。
[0216]在本实施例中，多个光源设置为使得在多个不同方向上向用户的眼球照射光。此夕卜，可以根据对用户唯一的驱动条件选择性地驱动多个光源。因此，由于可以照射适合于诸如用户眼睛的形状、用户是否佩戴眼镜以及用户沿其观察显示面的方向等用户状态的光，所以视线检测的精度被进一步提闻。
[0217]在本实施例中，通过进行获取用于修正由用户眼睛的形状或尺寸引起的误差的眼球信息并且基于该眼球信息修正视线矢量的校准处理来检测用户的视线。因此，以较高的精度实现视线检测。
[0218]上文已经参照附图详细描述了本公开的优选实施例，但是本公开的技术范围不局限于此。本领域的技术人员应当清楚，在所附权利要求中描述的技术精神的范围内，可以进行各种变形和修改，并且这些变形和修改应当被理解为属于本公开的技术范围。
[0219]例如，如图1、图2A、图2B和图7中所示，上文已经描述了显示单元110的显示面111和用户的眼球500位于同一直线的配置，但是本公开的实施例不局限于该实施例。例如，显示面111和用户的眼球500可以不位于同一直线。可以在显示面111和用户的眼球500之间适当安装改变光路的光学构件，如镜或棱镜，使得来自显示面111的光被引导到用户的眼球500。因此，在本实施例中，在视线检测装置10中显示面111和用户的眼球500之间的位置关系不局限于如图1、图2A、图2B和图7中所示的特定位置关系。因此，由于视线检测装置10中构成元件的配置的设计自由度增加，所以能够实现具有小尺寸和优良便携性的视线检测装置10的配置。
[0220]上文已经描述了成像装置、眼镜式可佩戴装置和头戴式显示装置，作为根据实施例的视线检测处理应用于的装置，但是实施例不局限于这些例子。根据实施例的视线检测处理可以应用于其他设备或装置，只要该设备或装置具有在其上显示各种内容的显示面111和用户的眼球500之间安装有至少一个光学构件的配置即可。在这种设备或装置中，通过适当提供向用户的眼球500照射光的光源和检测该照射光从眼球500反射的光并获取眼球500的捕获图像的成像单元，使得保持上述第一和第二光路之间的关系，就可以应用根据本实施例的视线检测处理。
[0221]另外，本技术还可以配置如下。
[0222](I) 一种视线检测装置，包括:
[0223]至少一个光源，其配置为向经由至少一个光学构件观察显示面的用户的眼球照射光；以及
[0224]成像单元，其配置为通过检测所述光从所述眼球的反射光，获取在所述显示面上检测所述用户的视线用的所述眼球的捕获图像，
[0225]其中来自所述眼球的所述反射光至少穿过安装在来自所述显示面的光沿其从所述显示面传播到所述用户的所述眼球的光路中的所述光学构件，并且入射到所述成像单元上。
[0226](2)根据(I)的视线检测装置，其中多个所述光源安装在使所述光沿彼此不同的方向照射到所述用户的所述眼球的位置处。
[0227](3)根据(2)的视线检测装置，其中所述多个光源根据与所述用户观察所述显示面的状态有关的观察状态信息被选择性地驱动。
[0228](4)根据(3)的视线检测装置，其中所述观察状态信息包括与所述用户的眼睛的形状有关的信息、与所述用户是否佩戴眼镜有关的信息和与所述用户沿其观察所述显示面的方向有关的信息中的至少一个。
[0229](5)根据⑵至(4)中任一项的视线检测装置，其中所述多个光源在关于所述用户的所述眼球的垂直方向或水平方向上照射所述光。
[0230](6)根据(2)至(4)中任一项的视线检测装置，其中所述多个光源在关于所述用户的所述眼球的四个彼此不同的方向上照射所述光。
[0231](7)根据⑴至(6)中任一项的视线检测装置，其中通过基于由所述成像单元获取的所述眼球的所述捕获图像中包含的瞳孔的图像和Purkinje图像计算表示所述用户的所述眼球的方向的视线矢量在所述显示面上检测所述用户的所述视线。
[0232](8)根据(7)的视线检测装置，其中通过基于至少包括所述视线矢量和所述用户沿其观看所述显示面的方向之间的相关性的与所述用户的所述眼球有关的眼球信息，对所述视线矢量进行修正处理在所述显示面上检测所述用户的所述视线。
[0233](9)根据⑶的视线检测装置，
[0234]其中通过对每个用户进行校准处理来获取所述眼球信息，并且
[0235]其中根据观察所述显示面的所述用户来读取与该用户相对应的所述眼球信息，并且在所述修正处理中使用所读取的眼球信息。
[0236](10)根据(9)的视线检测装置，其中基于由所述成像单元获取的所述捕获图像中包含的所述用户的所述眼球的虹膜进行所述用户的认证处理，并且基于所述认证处理的结果读取与该用户相对应的所述眼球信息。
[0237](11)根据⑴至(10)中任一项的视线检测装置，其中安装在来自所述显示面的光沿其从所述显示面传播到所述用户的所述眼球的第一光路中的所述光学构件包括放大器单元，所述放大器单元配置为针对所述用户放大并显示在所述显示面上显示的内容。
[0238](12)根据(I)至(11)中任一项的视线检测装置，进一步包括:
[0239]眼罩，其配置为当所述用户观察所述显示面时与所述用户的眼睛接触，
[0240]其中当检测到所述眼罩与所述用户的所述眼睛的接触时，在所述显示面上显示内容。
[0241](13)根据⑴至(12)中任一项的视线检测装置，
[0242]其中所述光源向所述用户的所述眼球照射具有红外波段的光，并且
[0243]其中在来自所述眼球的反射光沿其从所述眼球传播到所述成像单元的光路中在所述成像单元的前级安装有屏蔽具有所述红外波段以外的波长的光的红外光通过机构。
[0244](14)根据(I)至(13)中任一项的视线检测装置，进一步包括:
[0245]视线检测处理单元，其配置为基于由所述成像单元获取的所述眼球的所述捕获图像中包含的瞳孔图像和Purkinje图像，计算表示所述用户的所述眼球的方向的视线矢量；以及
[0246]校准处理单元，其配置为获取作为与所述用户的所述眼球有关的信息至少包括所述视线矢量和所述用户沿其观看所述显示面的方向之间的相关性的眼球信息，
[0247]其中所述视线检测处理单元通过基于所述眼球信息对所述视线矢量进行修正处理在所述显示面上检测所述用户的所述视线。
[0248](15)根据⑴至(14)中任一项的视线检测装置，
[0249]其中所述视线检测装置是电子取景器，所述电子取景器连接到获取拍摄目标的捕获图像的成像装置，并且
[0250]其中示出由包括在所述成像装置中的图像传感器获取的拍摄目标的直通图像显示在所述显示面上。
[0251](16)根据⑴至(14)中任一项的视线检测装置，
[0252]其中所述视线检测装置是至少覆盖所述用户的所述眼球前方区域的眼镜式可佩戴装置，并且
[0253]其中通过包括在该可佩戴装置中的显示单元将特定内容显示在所述显示面上。
[0254](17)根据⑴至(14)中任一项的视线检测装置，
[0255]其中所述视线检测装置是以所述显示面安装在朝向所述眼球的位置处的方式安放于所述用户的头部的头戴式显示装置，并且
[0256]其中通过包括在该头戴式显示装置中的显示单元将特定内容显示在所述显示面上。
[0257](18) —种视线检测方法，包括:
[0258]使来自显示面的光穿过至少一个光学构件并且入射在用户的眼球上；
[0259]向观察所述显示面的所述用户的所述眼球照射光；以及
[0260]通过检测所述(照射的)光从所述眼球的反射光，获取在所述显示面上检测所述用户的视线用的所述眼球的捕获图像，
[0261]其中来自所述眼球的所述反射光至少穿过安装在来自所述显示面的光沿其从所述显示面传播到所述用户的所述眼球的光路中的所述光学构件，并且被检测。
【权利要求】
1.一种视线检测装置，包括: 至少一个光源，其配置为向经由至少一个光学构件观察显示面的用户的眼球照射光；以及 成像单元，其配置为通过检测所述光从所述眼球的反射光，获取用于检测用户对于所述显示面的视线的所述眼球的捕获图像， 其中来自所述眼球的反射光至少穿过安装在来自所述显示面的光从所述显示面传播到所述用户的眼球的光路上的所述光学构件，并且入射到所述成像单元上。
2.根据权利要求1所述的视线检测装置，其中多个所述光源被安装在使光沿彼此不同的方向照射到所述用户的眼球的位置处。
3.根据权利要求2所述的视线检测装置，其中所述多个光源在与和所述用户观察所述显示面的状态有关的观察状态信息相应的驱动条件下被选择性地驱动。
4.根据权利要求3所述的视线检测装置，其中所述观察状态信息包括与所述用户的眼睛的形状有关的信息、与所述用户是否佩戴眼镜有关的信息以及与所述用户观察所述显示面的方向有关的信息中的至少一个。
5.根据权利要求2所述的视线检测装置，其中所述多个光源在相对于所述用户的眼球的垂直方向或水平方向上照射所述光。
6.根据权利要求2所述的视线检测装置，其中所述多个光源在相对于所述用户的眼球的四个彼此不同的方向上照射所述光。
7.根据权利要求1所述的视线检测装置，其中通过基于由所述成像单元获取的所述眼球的所述捕获图像中包含的瞳孔的图像和Purkinje图像计算表示所述用户的眼球的方向的视线矢量，来检测用户对于所述显示面的视线。
8.根据权利要求7所述的视线检测装置，其中通过基于至少包括所述视线矢量和用户观看所述显示面的方向之间的相关性的与用户的眼球有关的眼球信息对所述视线矢量进行修正处理，来检测用户对于所述显示面的视线。
9.根据权利要求8所述的视线检测装置， 其中通过对每个用户进行校准处理来获取所述眼球信息，并且 其中根据观察所述显示面的用户来读取与该用户相对应的眼球信息，并且在所述修正处理中使用所读取的眼球信息。
10.根据权利要求9所述的视线检测装置，其中基于由所述成像单元获取的所述捕获图像中包含的所述用户的眼球的虹膜进行所述用户的认证处理，并且基于所述认证处理的结果读取与该用户相对应的眼球信息。
11.根据权利要求1所述的视线检测装置，其中安装在来自所述显示面的光从所述显示面传播到所述用户的眼球的光路上的所述光学构件包括放大器单元，所述放大器单元被配置为针对所述用户放大并显示在所述显示面上显示的内容。
12.根据权利要求1所述的视线检测装置，进一步包括: 眼罩，其配置为当所述用户观察所述显示面时与所述用户的眼睛接触， 其中当检测到所述眼罩与所述用户的眼睛的接触时，在所述显示面上显示内容。
13.根据权利要求1所述的视线检测装置， 其中所述光源向所述用户的眼球照射红外波段的光，并且 其中在来自所述眼球的反射光从所述眼球传播到所述成像单元的光路上在所述成像单元的前级安装有屏蔽所述红外波段以外的波长段的光的红外光通过机构。
14.根据权利要求1所述的视线检测装置，进一步包括: 视线检测处理单元，其配置为基于由所述成像单元获取的所述眼球的捕获图像中包含的瞳孔图像和Purkinje图像，计算表示所述用户的眼球的方向的视线矢量；以及 校准处理单元，其配置为获取作为与所述用户的眼球有关的信息的至少包括所述视线矢量与所述用户观看所述显示面的方向之间的相关性的眼球信息， 其中所述视线检测处理单元通过基于所述眼球信息对所述视线矢量进行修正处理来检测用户对于所述显示面的视线。
15.根据权利要求1所述的视线检测装置， 其中所述视线检测装置是电子取景器，所述电子取景器连接到获取拍摄目标的捕获图像的成像装置，并且 其中在所述显示面上显示示出由包括在所述成像装置中的图像传感器获取的拍摄目标的直通图像。
16.根据权利要求1所述的视线检测装置， 其中所述视线检测装置是至少覆盖所述用户的眼球的前方区域的眼镜式可佩戴装置，并且 其中通过包括在该可佩戴装置中的显示单元将给定内容显示在所述显示面上。
17.根据权利要求1所述的视线检测装置， 其中所述视线检测装置是以所述显示面安装在面对所述眼球的位置处的方式安放于所述用户的头部的头戴式显示装置，并且 其中通过包括在该头戴式显示装置中的显示单元将给定内容显示在所述显示面上。
18.一种视线检测方法，包括: 使来自显示面的光穿过至少一个光学构件并且入射在用户的眼球上； 向观察所述显示面的所述用户的眼球照射光；以及 通过检测所述光从眼球的反射光，获取用于检测用户对于所述显示面的视线的眼球的捕获图像， 其中来自所述眼球的反射光至少穿过安装在来自所述显示面的光从所述显示面传播到所述用户的眼球的光路上的所述光学构件，并且被检测。
【文档编号】A61B3/00GK104274151SQ201410299568
【公开日】2015年1月14日 申请日期:2014年6月27日 优先权日:2013年7月5日
【发明者】野田卓郎, 渡边明香, 长谷野慎一, 片方健太 申请人:索尼公司