护目镜式显示装置、视线检测方法以及视线检测系统与流程

本发明涉及护目镜式显示装置、视线检测方法以及视线检测系统。

背景技术：

已知有使用vr(virtualreality：虚拟现实)、ar(augmentedreality：增强现实)等技术，使3d影像(图像)显示于头戴显示器的影像显示装置。在这样的影像显示装置中，检测用户观察显示图像内的哪个位置(以下，称为用户的视线位置)，并通过“+”记号等将检测出的用户的视线位置重叠于显示图像进行显示。

通过利用照相机拍摄用户的眼睛，并基于网膜、虹膜的动作等眼睛的影像来推定视线的位置从而进行用户的视线位置的检测。例如，提出了利用瞳孔用的照相机获取瞳孔图像并且利用鼻孔用的照相机获取鼻孔图像，检测对象者的视线以及面部的姿势的面部检测方法(例如，专利文献1)。

然而，在将vr眼镜、ar眼镜那样的护目镜式(眼镜型)的显示器佩戴于面部的影像显示装置中，需要在狭窄的空间中，在不容易进入用户的视场的位置配置照相机，眼睛与照相机的位置变近。

因此，提出了使用半透明反射镜延长眼睛与照相机之间的距离，并拍摄用户的眼睛进行视线位置的检测的头戴显示器(例如，专利文献2)。

另外，作为在眼睛与照相机的位置近的状态下拍摄用户的眼睛的其它的方法，认为为了拓宽照相机的视场角而使用广角透镜进行拍摄的方法、使用许多的照相机对眼睛整体进行分割拍摄的方法。

专利文献1：日本特开2015－232771号公报

专利文献2：日本专利第5824697号公报

在如上述那样使用了半透明反射镜的头戴显示器中，半透明反射镜位于眼睛与画面之间，所以有画质降低的顾虑。另外，存在增加了与半透明反射镜相应的成本，vr盒子(护目镜)的尺寸增大这样的问题。

另外，在使用广角透镜、许多照相机的情况下，存在增加了与广角透镜、照相机的台数相应的成本这样的问题。

技术实现要素：

本发明是鉴于上述问题点而完成的，其目的在于提供能够抑制画质的降低、成本及尺寸的增大，并且能够进行用户的视线位置的检测的护目镜式显示装置、视线检测方法以及视线检测系统。

本发明所涉及的护目镜式显示装置的特征在于，具有：护目镜式的镜架，其能够佩戴于用户的头部；显示器，其配置为位于佩戴着上述镜架的用户的至少一只眼睛的前方；拍摄部，其配置在上述镜架内，并拍摄佩戴了上述镜架的用户的面部来获取包含上述至少一只眼睛和鼻梁的面部图像；以及视线位置推定部，其基于上述面部图像，推定上述用户目视上述显示器上的哪个位置作为视线位置。

本发明所涉及的视线检测方法是具有护目镜式的镜架以及显示器，且能够佩戴于用户的头部的护目镜式显示装置的视线检测方法，其特征在于，包含：拍摄佩戴着上述镜架的用户的面部来获取包含至少一只眼睛和鼻梁的上述用户的面部图像的步骤；以及基于上述面部图像，推定表示上述用户目视上述显示器上的哪个位置的视线位置的步骤。

本发明所涉及的视线检测系统的特征在于，具有：拍摄部，其拍摄用户的面部，获取包含上述用户的至少一只眼睛和鼻梁的面部图像；对象部位检测部，其从上述面部图像检测上述至少一只眼睛的图像和上述鼻梁的图像；以及视线位置检测部，其基于上述至少一只眼睛的图像和上述鼻梁的图像，检测上述用户的视线位置。

根据本发明所涉及的护目镜式显示装置、视线检测方法以及视线检测系统，能够抑制画质的降低、成本及尺寸的增大，并且能够进行用户的视线位置的检测。

附图说明

图1是示意地表示本实施例的护目镜式显示装置的外形的图。

图2是示意地表示照相机与用户的眼睛的位置关系的图。

图3是表示本实施例的护目镜式显示装置的构成的框图。

图4是表示通过照相机拍摄到的右眼的图像的例子的图。

图5是表示护目镜式显示装置的各部进行的处理的流程图。

图6是示意地表示实施例2的照相机与用户的眼睛的位置关系的图。

图7是表示实施例2的护目镜式显示装置的构成的框图。

图8是表示进行ar显示的情况下的护目镜式显示装置的构成的框图。

附图标记说明

100、200…护目镜式显示装置，ca1～ca4…照相机，10、20…图像处理部，11、11a、11b…对象部位检测部，12、12a、12b…对象坐标生成部，13…基准信息存储器，14…视线坐标生成部，15…影像合成部，16…视线位置推定部，ds…画面。

具体实施方式

以下，参照附图对本发明的实施例进行说明。此外，在以下的各实施例中的说明以及附图中，对实际上相同或者等效的部分附加相同的参照附图标记。

【实施例1】

图1是示意地表示本实施例的护目镜式显示装置100的外形的图。护目镜式显示装置100例如是vr(virtualreality：虚拟现实)的影像显示所使用的vr护目镜，由能够佩戴于用户的头部的护目镜式镜架构成。

护目镜式镜架具有在佩戴时挂在用户的耳朵上的部分亦即左右的脚丝(镜腿)tl以及tr，并以鼻架(鼻托)部分的左右(在图中作为bl、br示出)与鼻梁紧贴的状态佩戴于用户的头部。在左右的脚丝tl以及tr之间并且在佩戴时位于用户的眼睛的前方的部分设有显示器(画面ds)。

在护目镜式镜架内的右侧的脚丝tr的内侧侧面的接近画面ds的位置配置有照相机ca1。在护目镜式镜架内的左侧的脚丝tl的内侧侧面接近的画面ds的位置配置有照相机ca2。另外，在护目镜式镜架的脚丝tr以及tl的任意一方(例如，右侧的脚丝tr)的内侧侧面设有包含的图像处理部10的芯片。

图2(a)在从用户的头顶部朝向脚尖的方向俯视佩戴着护目镜式镜架的状态的用户的双眼以及鼻子与照相机ca1以及ca2的位置关系的示意图。照相机ca1从用户的右眼的右侧拍摄用户的右眼以及鼻梁。照相机ca2从用户的左眼的左侧拍摄用户的左眼以及鼻梁。

图2(b)是表示照相机ca1、画面ds、用户的右眼以及鼻梁的位置关系的图。照相机ca1拍摄包含用户的右眼的瞳孔、虹膜(眼黑)、上下眼睑以及鼻梁的面部的一部分。在画面ds显示有示出用户目视画面上的哪个位置的视线位置的信息(在图中，以“+”标记示出)。此外，照相机ca2与画面ds、用户的左眼以及鼻梁的位置关系也与此相同。

护目镜式显示装置100在包含照相机ca1的右侧部分和包含照相机ca2的左侧部分具有相同的构成。以下，对护目镜式显示装置100的右侧部分的构成以及动作进行说明，对左侧部分省略说明。

图3是表示本实施例的护目镜式显示装置100的右侧部分的构成的框图。护目镜式显示装置100具有照相机ca1、画面ds以及图像处理部10。图像处理部10由对象部位检测部11、对称坐标生成部12、基准信息存储器13、视线坐标生成部14、以及影像合成部15构成。对象部位检测部11、对称坐标生成部12以及视线坐标生成部14构成推定用户的视线位置的视线位置推定部16。

照相机ca1例如由近红外线照相机构成。照相机ca1拍摄用户的包含右眼(图中，作为eye示出)以及鼻梁的用户的面部来获取面部图像fi，并供给至对称部位检测部11。

图4(a)～(e)是示意地表示面部图像fi的例子的图。图4(a)是用户观察前方的状态，图4(b)是用户观察右侧的状态，图4(c)是用户观察左侧的状态，图4(d)是用户观察上侧的状态，图4(e)是用户观察下侧的状态的面部图像fi。

如图4(a)～(c)所示，能够基于瞳孔、虹膜的椭圆图像的位置以及纵横比来求出眼睛的左右方向的动作。另一方面，如图4(a)、(d)以及(e)所示，能够基于瞳孔、虹膜的椭圆图像的位置以及椭圆的斜率来求出眼睛的上下方向的动作。另外，由于上眼睑以及下眼睑与眼睛的上下的动作联动，所以也能够根据从侧面捕捉的上眼睑以及下眼睑的位置以及角度来求出眼睛的上下方向的动作。

另外，通过获取以鼻梁为基准的上下的眼睑、瞳孔以及虹膜的相对位置，即使在照相机ca1产生了位置偏移的情况下，也能够求出眼睛的上下左右的移动。

再次参照图3，对象部位检测部11是通过图像识别从面部图像fi检测鼻梁、上下眼睑、瞳孔以及虹膜(以下，将它们总称为“对象部位”)的图像的图像检测部。对象部位检测部11例如在照相机ca1为近红外线照相机的情况下，基于面部图像fi内的颜色的浓淡来检测(提取)对象部位的图像。

对象坐标生成部12基于检测出的对象部位的图像，生成表示对象部位的各个位置的坐标信息。另外，对称坐标生成部12除此之外还计算上下眼睑的图像的角度、瞳孔以及虹膜的图像的椭圆的宽度以及斜率。

基准信息存储器13存储通过校准得到的信息作为基准信息。例如在用户刚佩戴护目镜式显示装置100之后进行校准。在校准中，例如使画面ds显示注视点的标记，使用户的视线的位置移动到画面的中心、上/下/左/右，斜率的右上/左上/右下/左下这九个点并拍摄用户的面部图像，得到包含各个的面部图像中的鼻梁、上下眼睑、瞳孔以及虹膜的椭圆的坐标信息、上下眼睑的图像的角度、瞳孔以及虹膜的椭圆的宽度以及斜率的信息的基准信息。

视线坐标生成部14基于对象坐标生成部12生成的鼻梁、上下眼睑、瞳孔以及虹膜的椭圆的坐标信息、上下眼睑的图像的角度、瞳孔以及虹膜的椭圆的宽度以及斜率的信息，生成视线坐标。此时，视线坐标生成部14基于储存于基准信息存储器13的基准信息进行图像偏移的修正，生成视线坐标。

影像合成部15将通过视线坐标生成部14生成的视线位置的坐标信息和从影像输出部(未图示)供给的影像信息vd合成。由此，除了基于影像信息vd的影像之外，在画面ds显示图2(b)所示那样的视线位置的图像(例如“+”标记)。

接下来，参照图5的流程图对本实施例的护目镜式显示装置100的对象部位检测部11、对象坐标生成部12以及视线坐标生成部14的处理动作进行说明。

对象部位检测部11从面部图像fi检测“鼻梁”作为用户的面部的轮廓(步骤s101)。

然后，对称部位检测部11从面部图像fi检测用户的上眼睑以及下眼睑(步骤s102)。

然后，对称部位检测部11从面部图像fi检测用户的瞳孔以及虹膜，并作为椭圆图像进行提取(步骤s103)。

对象坐标生成部12将对称部位检测部11检测出的用户的鼻梁(面部的轮廓)转换为坐标信息(步骤s201)。

对象坐标生成部12将对称部位检测部11检测出的用户的上眼睑以及下眼睑的位置转换为坐标信息(步骤s202)。另外，对称坐标生成部12计算以鼻梁为基准的上眼睑以及下眼睑的图像的角度。

对象坐标生成部12将对称部位检测部11检测出的用户的瞳孔以及虹膜的位置转换为坐标信息(步骤s203)。另外，对称坐标生成部12计算瞳孔以及虹膜的椭圆的宽度以及以鼻梁为基准的斜率。

视线坐标生成部14对在步骤s201获取的鼻梁(面部的轮廓)的坐标信息和储存于基准信息存储器13的基准信息所包含的校准时的鼻梁的坐标信息进行比较。然后，视线坐标生成部14生成表示校准时的面部图像与实际动作时由照相机ca1获取的面部图像fi的图像的偏移的图像偏移修正信息(步骤s301)。

视线坐标生成部14基于在步骤s301生成的图像偏移修正信息，修正在步骤s202获取的上下眼睑的位置坐标以及角度、和在步骤s203获取的瞳孔以及虹膜的位置坐标、椭圆的宽度以及斜率(步骤s302)。

视线坐标生成部14基于在步骤s302修正后的上下眼睑的位置坐标、角度、瞳孔以及虹膜的位置坐标、椭圆的宽度以及斜率的信息、在校准时得到的这些信息，生成视线坐标(步骤s303)。

通过以上的处理动作，生成右眼的视线坐标。此外，对于左眼也通过相同的处理动作生成视线坐标。

如以上那样，在本实施例的护目镜式显示装置100中，照相机配置在用户的眼睛的侧面，并与用户的眼睛(瞳孔、虹膜、上下眼睑)一起拍摄鼻梁。然后，图像处理部10基于瞳孔、虹膜以及上下眼睑的位置的信息、瞳孔以及虹膜的图像的宽度的信息、以鼻梁为基准的瞳孔以及虹膜的图像的斜率、上下眼睑的角度的信息，来推定视线位置。

在本实施例的护目镜式显示装置100中，以不与视线联动的鼻梁为基准计算与视线联动的瞳孔、虹膜以及上下眼睑的动作。根据该构成，不需要利用照相机捕捉瞳孔、虹膜的整体所以能够在距离用户的眼睛比较远的位置配置照相机，能够不使用广角透镜、半透明反射镜、许多照相机等，而检测用户的视线位置。

因此，根据本实施例的护目镜式显示装置100，能够抑制画质的降低、成本以及尺寸的增大，并且能够进行用户的视线位置的检测。

【实施例2】

本实施例的护目镜式显示装置在除了照相机ca1以及ca2之外，还具有从左侧拍摄右眼的照相机ca3、从右侧拍摄左眼的照相机ca4这一点，与实施例1的护目镜式显示装置100不同。照相机ca3例如配置在图1所示的鼻架(鼻托)部的右侧部分br。照相机ca4例如配置在图1所示的鼻架(鼻托)部的左侧部分bl。

图6是在从用户的头顶部朝向脚尖的方向俯视本实施例的护目镜式显示装置中的各照相机与用户的眼睛以及鼻的位置关系的示意图。与实施例1相同，照相机ca1从右侧拍摄用户的右眼以及鼻梁。照相机ca2从左侧拍摄用户的左眼以及鼻梁。

与此相对，照相机ca3从左侧拍摄用户的右眼。照相机ca4从右侧拍摄用户的左眼。通过照相机ca3以及ca4的拍摄，获取包含用户的眼梢或者脸颊的轮廓的面部图像。

本实施例的护目镜式显示装置在包含照相机ca1以及ca3的右侧部分和包含照相机ca2以及ca4的左侧部分具有相同的构成。以下，对右侧部分的构成以及动作进行说明，对左侧部分省略说明。

图7是表示本实施例的护目镜式显示装置200的右侧部分的构成的框图。护目镜式显示装置200具有照相机ca1以及ca3、画面ds以及图像处理部20。图像处理部20由对象部位检测部11a以及11b、对称坐标生成部12a以及12b、基准信息存储器13、视线坐标生成部14以及影像合成部15构成。对象部位检测部11a以及11b、对称坐标生成部12a以及12b、以及视线坐标生成部14构成推定用户的视线位置的视线位置推定部16。

照相机ca1拍摄包含用户的右眼以及鼻梁的用户的面部获取面部图像fia，并供给至对称部位检测部11a。

对象部位检测部11a通过图像识别从面部图像fia检测鼻梁、上下眼睑、瞳孔以及虹膜的图像。

对象坐标生成部12a基于检测出的图像，生成表示鼻梁、上下眼睑、瞳孔以及虹膜的各个位置的坐标信息。另外，对称坐标生成部12a计算上下眼睑的图像的角度、瞳孔以及虹膜的图像的椭圆的宽度以及斜率。

照相机ca2拍摄包含用户的右眼、眼梢或者脸颊的轮廓的用户的面部获取面部图像fib，并供给至对象部位检测部11b。

对象部位检测部11b通过图像识别从面部图像fib检测眼梢或者脸颊的轮廓、上下眼睑、瞳孔以及虹膜的图像。

对象坐标生成部12b基于检测出的图像，生成表示眼梢或者脸颊的轮廓、上下眼睑、瞳孔以及虹膜的各个位置的坐标信息。另外，对称坐标生成部12b计算上下眼睑的图像的角度、瞳孔以及虹膜的图像的椭圆的宽度以及斜率。

此外，照相机ca1、对称部位检测部11a、对象坐标生成部12a、照相机ca3、对称部位检测部11b以及对象坐标生成部12b与实施例1相同，除了实际动作时进行上述的各动作之外，在校准时也进行上述的各动作。

基准信息存储器13储存对象坐标生成部12a在校准中生成的鼻梁、上下眼睑、瞳孔以及虹膜的坐标信息、上下眼睑的角度信息、瞳孔以及虹膜的椭圆的宽度以及斜率的信息、和对象坐标生成部12b在校准中生成的眼梢或者脸颊的轮廓、上下眼睑、瞳孔以及虹膜的坐标信息、上下眼睑的角度信息、瞳孔以及虹膜的椭圆的宽度以及斜率的信息作为基准信息。

视线坐标生成部14基于通过照相机ca1、对称部位检测部11a以及对象坐标生成部12a获取的鼻梁、上下眼睑、瞳孔以及虹膜的坐标信息、上下眼睑的角度信息、瞳孔以及虹膜的椭圆的宽度以及斜率的信息和在校准时得到的这些信息，生成第一视线位置坐标。此外，与实施例1相同，经由图5所示的s101～s303的各步骤进行第一视线位置坐标的生成。

另外，视线坐标生成部14基于通过照相机ca3、对称部位检测部11b以及对象坐标生成部12b获取的眼梢或者脸颊的轮廓、上下眼睑、瞳孔以及虹膜的坐标信息、上下眼睑的角度信息、瞳孔以及虹膜的椭圆的宽度以及斜率的信息和在校准时得到的这些信息，生成第二视线位置坐标。经由将图5所示的s101～s303中的“鼻梁”变更为“眼梢或者脸颊的轮廓”后的各步骤进行第二视线位置坐标的生成。

视线坐标生成部14将以鼻梁为基准生成的第一视线位置坐标和以眼梢或者脸颊的轮廓为基准生成的第二视线位置坐标合成，生成视线位置的坐标。

影像合成部15将通过视线坐标生成部14生成的视线位置的坐标信息与从影像输出部(未图示)供给的影像信息vd合成。由此，除了基于影像信息vd的本来的影像之外，还在画面ds显示视线位置的图像。

通过以上的各部的动作，生成右眼的视线坐标，并显示在画面ds。此外，对于左眼也同样地进行视线坐标的生成以及在画面ds的显示。

在本实施例的护目镜式显示装置200中，根据基于配置在右眼的右侧的照相机ca1(或者配置在左眼的左侧的照相机ca2)拍摄到的图像得到的以鼻梁为基准的视线位置、和基于配置在右眼的左侧的照相机ca3(或者配置在左眼的右侧的照相机ca4)拍摄到的图像得到的以眼梢或者脸颊的轮廓为基准的视线位置双方，生成视线位置的坐标。因此，与仅将鼻梁作为基准的情况相比，能够生成精度更高的视线位置的坐标。

此外，本发明并不限定于上述实施方式。例如，在上述实施例中，以护目镜式显示装置100是vr的影像显示所使用的vr护目镜，并将视线位置的坐标信息与影像信息vd合成并进行显示的情况为例进行了说明。但是，也能够将本发明例如应用于ar(augmentedreality：增强现实)的影像显示所使用的ar护目镜，如图8所示那样将光学影像ov与视线位置的坐标信息合成并使其显示。

另外，在上述实施例中，以具有护目镜式的镜架的显示装置为例进行了说明，但镜架的形状并不限定于护目镜式，也可以是眼镜式的镜架。即，只要具有具备了具有能够佩戴于用户的头部的左右的脚丝的镜架、和配置在佩戴时的用户的眼睛的前方的位置的画面或者眼镜部分的外形即可。

另外，在上述实施例中，以使用上下眼睑的位置以及角度、和瞳孔以及虹膜的椭圆图像的位置、宽度以及斜率来生成用户的视线位置的坐标的情况为例进行了说明。但是，也可以构成为使用上下眼睑的信息或者瞳孔以及虹膜的信息的任意一方生成视线位置的坐标。

另外，在上述实施例中，以使用瞳孔以及虹膜的椭圆图像的位置、宽度以及斜率来生成用户的视线位置的坐标的情况为例进行了说明。但是，只要使用瞳孔或虹膜的任意一方的图像的位置、宽度以及斜率来生成用户的视线位置的坐标即可。

另外，在上述实施例1中，对护目镜式显示装置100具有照相机ca1以及ca2的情况进行了说明。但是，也可以构成为仅具有照相机ca1以及ca2的任意一方，并仅检测左右眼其中之一的视线位置。此时，画面ds配置在该任意一方的眼睛的前方即可。

同样地，虽然在实施例2中以具有照相机ca1、ca2、ca3以及ca4的情况为例进行了说明，但也可以构成为仅具有照相机ca1以及ca3、和照相机ca2以及ca4的任意一方的组合。

另外，在上述实施例2中，对生成针对照相机ca1以及ca3的各个的视线位置(第一视线位置、第二视线位置)的坐标，其后将它们合成的情况进行了说明。但是，也可以不生成每个照相机的视线位置的坐标并合成，而构成为基于通过对称坐标生成部12a得到的信息和通过对象坐标生成部12b得到的信息，生成一个视线位置坐标。