视线检测设备和摄像设备的制作方法

1.本发明涉及一种能够检测视线的视线检测设备。


背景技术：

2.在诸如机动车等的驾驶员的视线检测、人类视线行为的研究以及用于支持残疾人的技术等的领域中，已经研究了视线检测技术，并且已经取得了实际的进展。角膜反射方法是针对视线检测提出的多个方法中的一个，并且在精度和小型化方面是有利的。角膜反射方法是一种根据近红外眼球图像来计算视线信息的方法，并且是基于眼球图像中的浦肯野(purkinje)图像布置的。
3.为了使用角膜反射方法获取视线信息，需要在眼球图像中形成多个浦肯野图像。例如，在日本特开2019-139743中，这是通过在眼镜上布置多个红外光源来实现的。
4.然而，虽然对于视线检测技术需要一种更小且视线检测的精度更高的设备，但是由于需要大量光源并且光源布置的自由度低，因此难以用已知技术实现这样的更小且精度更高的设备。


技术实现要素：

5.本发明是考虑到上述问题而提出的，并且提供了一种具有小尺寸并且能够以高精度检测视线的视线检测设备。
6.根据本发明的第一方面，提供了一种视线检测设备，其包括：获取部件，其被配置为获取眼球图像；照射部件，其被配置为用红外波段的光照射眼球，在所述眼球图像上形成多个点状的光学图像；以及计算部件，其被配置为基于所述眼球图像和所述多个点状的光学图像来计算视线信息，其中，所述照射部件包括：至少一个单个光源，其被配置为发射红外波段的光；以及分割元件，其被配置为将从单个光源发射的光分割成发射光的多个光束以形成所述多个点状的光学图像。
7.根据本发明的第二方面，提供了一种摄像设备，其包括：摄像部件，其被配置为拍摄被摄体的图像；显示设备，其被配置为能够显示所述摄像部件所拍摄的所述图像；以及上述视线检测设备。
8.根据本发明的第三方面，提供了一种视线检测设备，其包括：获取部件，其被配置为获取眼球图像；照射部件，其被配置为用红外波段的光照射眼球，在所述眼球图像上形成多个点状的光学图像；以及计算部件，其被配置为基于所述眼球图像和所述多个点状的光学图像来计算视线信息，其中，所述照射部件是包括以二维阵列布置的微小光源的微小光源阵列。
9.根据本发明的第四方面，提供了一种摄像设备，其包括：摄像部件，其被配置为拍摄被摄体的图像；显示设备，其被配置为能够显示所述摄像部件所拍摄的所述图像；以及上述视线检测设备。
10.本发明进一步的特征将参考附图从以下示例性实施例的描述中变得明显。
附图说明
11.图1a是示出根据本发明的第一实施例的视线检测设备的配置的示意图。
12.图1b是示出根据第一实施例的变形例的视线检测设备的配置的示意图。
13.图2是示出眼球图像的示例的示意图。
14.图3是示出已知视线检测设备的示例的图。
15.图4是示出根据第一实施例的眼球图像的示例的示意图。
16.图5a是示出用于描述人眼中的个体差异的眼球图像的示意图。
17.图5b是示出用于描述人眼中的个体差异的眼球图像的示意图。
18.图6是示出难以减小人眼的个体差异的浦肯野图像的示意图。
19.图7a是示出眼球图像上的二维阵列形式的浦肯野图像的示意图。
20.图7b是示出眼球图像上的二维阵列形式的浦肯野图像的示意图。
21.图8是示出根据第三实施例的视线检测设备的配置的示意图。
22.图9是示出根据第四实施例的视线检测设备的配置的示意图。
23.图10是示出根据第五实施例的摄像设备的配置的示意图。
具体实施方式
24.在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不对需要所有这样的特征的发明进行限制，并且可以适当地组合多个这样的特征。此外，在附图中，对相同或相似的配置给予相同的附图标记，并且省略了其冗余的描述。
25.第一实施例
26.下面将描述本发明的第一实施例。
27.视线检测设备
28.图1是示出本发明的视线检测设备的第一实施例的配置的图。在本实施例中，采用通过使用角膜反射方法来识别眼球102a的视线位置的配置。
29.眼球102a在眼睛的白色部分中包括虹膜部102b，其中虹膜部102b包括瞳孔。本实施例的视线检测设备101包括单个光源101e，其中该单个光源101e被配置为用近红外波段的光101f照射眼球表面(包括角膜的表面部分)。从单个光源101e发射的光101f被照射光分割元件101g分割成两个方向上的光，并且被发射到眼球102a的表面上。
30.照射光分割元件101g不限于特定元件，并且可以使用诸如使用光学干涉的衍射光学元件(doe)或微扫描器元件等的对光进行分割的任意元件。
31.在图1a所示的配置中，发射到眼球表面的光被眼球表面部分反射，然后被反射镜101c进一步反射，通过成像透镜101b到达用作眼球图像获取单元的图像传感器101a。本实施例的点照射单元包括单个光源101e和照射光分割元件101g。
32.视线信息包括视轴的方向/角度、在面向眼球的画面区域上的视线穿过画面的位置等。基于由图像传感器101a获取的眼球图像，从视线信息计算单元103获取视线信息。
33.在本实施例中，反射镜101c是反射近红外光并透射可见光的分色镜，从而实现了被检者可以通过该镜看到景色的情况。然而，本实施例不一定限于涉及使用分色镜来进行波长选择的配置。图1a所示的配置不应被解释为限制意义，并且例如可以采用图1b所示的
配置，其中来自眼球的近红外反射光通过仅红外光通过的带通滤波器101h入射到图像传感器101a上。
34.利用该配置，视线信息计算单元103可以获得近红外眼球图像。
35.图2所示的眼球图像301是利用图1a或图1b所示的配置获得的眼球图像的示例。在眼球图像301中，拍摄眼睑部305、其中的眼球的眼白部304和其中的虹膜部303、以及虹膜部303的中心附近的为开口部的瞳孔302。本示例是通过角膜反射方法获得的眼球图像的典型示例。
36.在眼球图像301上，由照射光分割元件101g分割成两部分的光形成作为两个点状的光学图像的浦肯野图像306。这里，一对浦肯野图像306在与图2中的x方向基本上平行的方向上形成，并且被调整为夹着眼球图像的中心或瞳孔区域。这允许使用眼球图像上的浦肯野图像306的位置以及瞳孔302的轮廓形状和位置来计算x方向上的视线信息。
37.在本实施例中，通过设置照射光分割元件101g，可以实现单元小型化。利用图3所示的已知配置，由于不存在照射光分割元件，因此需要与各个浦肯野图像相对应的光源来形成多个浦肯野图像，从而难以实现单元小型化。
38.如图4所示，通过照射光以在眼球图像上以瞳孔302为中心的至少分别在水平方向和垂直方向上形成二维布置的浦肯野图像对，可以检测至少x方向和y方向上的视线信息。因此，可以检测二维视线信息。
39.在图4中，所述一对浦肯野图像306用于x方向上的视线信息，并且所述一对浦肯野图像401用于y方向上的视线信息。注意，所述一对浦肯野图像401也形成为以眼球图像中心处的瞳孔302介于两者之间的状态彼此相对。
40.已知视线检测的检测精度在很大程度上受到被检者(即人)之间眼睛的个体差异的影响。特别地，眼睑对眼球的覆盖量在人之间是不同的，因此覆盖量在很大程度上影响视线检测的精度。图5a示出眼睑理想地打开的人的眼球图像的示例。图5b示出眼球被他或她的眼睑相对很大程度地覆盖的人的眼球图像的示例。
41.人的眼球被上眼睑覆盖是相对常见的，但是眼球被下眼睑很大程度覆盖是罕见的。在图5a中，拍摄的图像清楚地包括如预期的四个浦肯野图像。另一方面，在图5b中，被认为在+y侧的浦肯野图像501(浦肯野图像之一)被上眼睑隐藏。
42.然而，即使在图5b的情况下，根据本实施例的四个浦肯野图像的布置，存在-y侧的浦肯野图像，并且仅隐藏+y侧的浦肯野图像。因此，所拍摄的图像包括一对浦肯野图像306和一个浦肯野图像401，并且浦肯野图像中的三个浦肯野图像被二维地布置，由此能够获取x方向和y方向上的视线信息。
43.图6示出形成在x方向和y方向上成对的浦肯野图像的情况，但是在各个方向上，浦肯野图像不是以眼球图像301的中心处的瞳孔302介于两者之间的状态彼此相对地形成。在图6所示的情况下不能获得二维视线信息，这是因为四个目标浦肯野图像601和601'中的+y侧的浦肯野图像601'被隐藏。
44.如上所述，利用本实施例的视线检测设备，在x方向和y方向上的两对浦肯野图像各自形成为以瞳孔302介于该对浦肯野图像之间的状态彼此相对，使得即使当由于眼睑而在眼球图像上发生渐晕时，也可以以高精度进行视线检测。
45.利用本实施例的视线检测设备，如图7a和图7b所示，在眼球图像上以二维阵列形
式形成浦肯野图像，使得可以更高精度地获取视线信息。二维阵列形式的布置的示例包括但不限于图7a所示的格子形式、如图7b所示的浦肯野图像各自布置在通过中心的直线中的相应一条直线上的同心形式，等等。
46.当使用多个相应的单个光源来形成多个浦肯野图像组时，可以通过改变浦肯野图像组之间的形成时间来抑制杂散光和散射光的影响。
47.第二实施例
48.视线检测设备
49.第二实施例的视线检测设备通过利用二维微小光源阵列代替第一实施例的视线检测设备101中的点照射单元来配置。形成二维微小光源阵列的微小光源可以是发光二极管或垂直腔面发射激光二极管(vcsel)。在与基板平行的平面中二维布置的光源可以用作二维微小光源阵列。此外，作为在基板上一维布置的边发射型激光元件的堆叠的激光棒堆叠可以用作二维微小光源阵列。利用这样的用作点照射单元的二维微小光源阵列，可以以紧凑的配置高效地在眼球图像上形成点状的光学图像的阵列。
50.第三实施例
51.电子设备
52.图8是示出根据第三实施例的视线检测设备701的配置的示意图。第三实施例涉及通过为第一实施例的视线检测设备设置能够显示图像的显示设备而获得的配置。
53.在图8中，视线检测设备701包括用作显示设备的显示器801和用于控制显示器上显示的内容的控制器802。在显示器801上显示视频等的状态下，观察者可以通过分色镜101c观察显示器801上的视频。
54.在本实施例中，视线信息计算单元103从由图像传感器101a获取的眼球图像来计算观察者的视线方向。利用发送到显示控制器802的与该视线方向有关的信息，可以在显示器上以叠加方式实时地显示视线位置。利用图8所示的配置，电视监视器、用于个人计算机的监视器等可以用作显示器801。
55.第四实施例
56.电子设备
57.图9是示出根据第四实施例的视线检测设备901的配置的示意图。通过为第三实施例的视线检测设备701设置目镜902而获得第四实施例的配置，其中利用目镜902来优化显示设备801上的视频并将视频传送到眼球。
58.当视线检测设备并入形成为诸如照相机电子取景器等的小型单元的设备中时，用于视线检测设备的显示设备是小的。因此，在本实施例中，目镜902布置在显示设备801的前面，使得观察者可以舒适地观看小型显示设备801上的视频。
59.在本实施例的配置中，设置了两个单个光源101e和两个照射光分割元件101g，以使用来自各个单个光源的发射光如图4所示在眼球图像上形成浦肯野图像306和401。
60.第五实施例
61.摄像设备
62.图10是示出根据第五实施例的包括电子取景器1020的摄像设备1000的配置的图。视线检测设备901并入在电子取景器1020中。
63.在图10中，摄像设备1000包括：图像传感器1001，其被配置为拍摄图像；mpu 1011，
其被配置为对用于摄像设备的各种信号、数据等进行处理；液晶显示器1013，其负责与外部的输入/输出；操作开关组1014；以及存储器1015。还提供了被配置为驱动图像传感器1001的图像传感器驱动电路1008和被配置为对来自图像传感器1001的图像信号进行处理的图像处理电路1009。
64.当通过包括用于焦点检测操作的按钮等的焦点检测操作单元1012来指示焦点检测操作时，基于来自图像传感器1001的所拍摄图像信号进行焦点检测。图像传感器1001是被配置为获取图像的元件，其不同于被配置为对在电子取景器1020中的视线检测设备901中设置的眼球图像进行拍摄的图像传感器。
65.在本实施例中，焦点检测和焦点调整是使用像面相位差方法来进行的。通过进行焦点检测、计算聚焦所需的成像光学系统1003中的聚焦透镜的驱动量、以及将聚焦透镜移动到聚焦位置来进行焦点调整。
66.通过成像光学系统1003由图像传感器1001获取的图像数据被图像处理电路1009处理为待存储的图像数据，然后存储在可拆卸地附接到摄像设备1000的存储器1015(诸如sd卡等)中。未按下拍摄按钮的状态的实时取景数据被处理为显示在电子取景器1020或液晶显示器1013上，然后显示在显示器上。正在观看电子取景器1020的用户可观察以与视频叠加的方式显示的他或她的视线位置指针。
67.利用在电子取景器1020的显示器上实时显示的用户的视线位置指针，可以通过视线来选择要聚焦的区域。本实施例的摄像设备1000设置有视线操作单元1016，利用该视线操作单元1016可以进行视线的区域选择操作以确定照相机的焦点检测区域。摄像设备1000对由此确定的区域进行焦点检测。
68.如第一实施例至第四实施例中所述，用于本实施例的摄像设备1000的视线检测设备901可以具有小尺寸，并且以不太可能受人之间的个体差异影响的高精度进行视线检测。因此，可以提高由本实施例的摄像设备1000进行的诸如自动聚焦和被摄体选择等的一系列操作的精度和速度。
69.其他实施例
70.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中心处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
71.虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以便涵盖所有这样的修改和等效结构和功能。