视线方向计测方法和视线方向计测装置的制作方法

专利名称：视线方向计测方法和视线方向计测装置的制作方法
技术领域：
本发明涉及计测映入影像中的人物视线朝向多少度的方向的视线 方向计测方法和进行该计测的视线方向计测装置，尤其是涉及在垂直 方向的计测方法中适用的有效的技术。
背景技术：
通过计测映入图像中的人物的视线方向能够推测人物的兴趣对象 和心理状态。作为计测人物的视线方向的一种方法，有通过分别计测 面部方向和眼睛方向并对它们进行合成来计测视线方向的方法[特开
2007-6427号公报(专利文献l)]。在该专利文献l中，虽然能够不需 要事前校正就实现水平方向的面部 视线方向计测，但是没有公开关 于垂直方向的计测。
作为水平 垂直方向的面部方向计测方法，有通过在眼睛、口等 的特征点位置对对象物体的三次元模型进行投影，计测面部的方向的 方法[特开2006-227739号公报(专利文献2)]。
专利文献1:特开2007-6427号公报
专利文献2:特开2006-227739号公报

发明内容
但是在专利文献2中，事前首先需要使用眼睛、口等的特征点构 筑计测对象的面部的三次元模型。通过将该三次元模型投影在某二次 元图像平面上，生成任意的面部方向的图像，将其与作为计测对象的 图像进行比较，通过找到与计测对象的图像最类似的投影图像，推测 计测对象的面部方向。
像这样，通过现有方法在垂直方向的计测中存在需要事前对每个 人物构筑三次元模型的问题。计测中使用的三次元模型是以眼睛、鼻、 口等的特征点位置的三次元坐标为基础构筑模型，并在其上贴上面部图像的肌理而作成的，但是由于每个人物面部的样子有很大不同，所 以每当计测的人物改变时必须进行模型构筑。
另外，在模型构筑时必须朝向正面时的面部。当面部朝向侧面图 像上没有出现特征点的情况下，对三次元模型粘贴肌理变得很困难。 如果以错误的模型进行计测，就会存在面部方向计测 视线方向计测 的精度显著劣化的问题。
另外，还存在表情变化弱的问题。如果表情发生变化，则即使同 一人物各个特征点的位置关系和视觉效果也发生变化。在这种情况下， 即使正确地旋转三次元模型进行比较处理也会丧失类似性，使计测结 果产生很大误差。
因此，本发明不使用每个人物的发生较大变化的面部表面的视觉 效果的信息，通过推测表示垂直方向变化的变位量，实现不需要事前 校正的面部 视线方向计测。并且，表示该垂直方向变化的变位量的 推定是使用由表情变化引起的变动少的特征点而实现的。
在本申请中公开的发明中，简要说明代表性的内容概要如下。
艮口，代表性内容的概要是新设置面部垂直变位量计测部，其对被 输入的面部图像，首先计测面部的水平方向的角度，根据通过该计测 得到的头部的半径信息和人物的肩位置等的信息推定相对于头部姿势 变化不发生变动的基准位置，计测表示垂直方向的变化的点相对于该 基准位置发生多少变位。由此，了解垂直方向的变位并决定面部的垂 直方向的角度。
根据所得的面部方向能够计测视线的水平方向的角度、眼球的半 径，通过视线垂直变位量计测部，同样地能够求得垂直方向的变位、 决定视线的垂直方向的角度。
在面部垂直变位量计测部中，通过以相对于人物的肩位置一定位 置的地方为基准位置，能够在头部的上下决定不左右偏移的成为基准 的点。
在视线垂直变位量计测部中，根据眼球的半径或面部的垂直方向、 内眼角和外眼角的位置推定眼球的中心位置，根据眼球位置和瞳孔的 中心位置求得视线的垂直方向的变位，决定垂直方向的角度。
这些垂直变位量计测中使用来自肩位置的变位、内眼角 外眼角的位置使表情变化的影响减低，进行高精度的计测。
在本申请中公开的发明中，简单说明通过代表性的内容得到的效 果如下。
艮P，通过代表性的内容所得的效果是，能够实现不需要事前校正 很难受到人物的表情变化造成的影响的高精度的视线方向计测方法。


图1是表示本发明的实施方式1的视线方向计测装置的结构的结 构图。
图2是表示本发明的实施方式1的视线方向计测装置的面部方向 和视线方向计测的概念图。
图3是表示本发明的实施方式1的视线方向计测装置的面部的水 平方向计测的流程的流程图。
图4是表示本发明的实施方式1的视线方向计测装置的面部图像 中的面部区域和面部器官中心位置的定义的一例的图。
图5是表示用于本发明的实施方式1的视线方向计测装置的面部 的水平方向推定的面部模型的一例的图。
图6是表示本发明的实施方式1的视线方向计测装置的面部图像 中的基准位置和计测点的定义的一例的图。
图7是表示用于本发明的实施方式1的视线方向计测装置的面部 的垂直方向推定的面部模型的一例的图。
图8是表示本发明的实施方式1的视线方向计测装置的垂直水平 方向变化引起的计测点的变化的图。
图9是表示本发明的实施方式1的视线方向计测装置的视线的水 平方向计测的流程的流程图。
图IO是表示用于本发明的实施方式1的视线方向计测装置的视线 的水平方向计测的眼球模型的一例的图。
图11是表示用于本发明的实施方式1的视线方向计测装置的视线 的水平方向计测的眼球模型的一例的图。
图12是表示用于本发明的实施方式1的视线方向计测装置的视线 的垂直方向计测的眼球模型的一例的图。图13是表示本发明的实施方式2的视线方向计测装置的结构的结 构图。
图14是表示本发明的实施方式3的视线方向计测装置的结构的结 构图。
图15是表示用于说明本发明的实施方式4的视线方向计测装置的 视线方向的计测的眼球模型的一例的图。
具体实施例方式
以下，基于附图对本发明的实施方式进行详细的说明。并且，在 用于说明实施方式的全部附图中，原则上对同一部件标注同一符号， 并省略对其进行重复说明。 (实施方式1)
利用图1，对本发明的实施方式1涉及的视线方向计测装置的结构 进行说明。图1是表示本发明的实施方式1涉及的视线方向计测装置 的结构的结构图。
在图1中，视线方向计测装置由摄像部101、面部检测部102、面 部方向计测部103、视线方向计测部104构成，由面部检测部102、面 部方向计测部103、视线方向计测部104构成视线方向演算部110。
面部方向计测部103由面部水平方向计测部201、面部垂直变位计 测部202、面部垂直方向计测部203、面部方向决定部204构成。
视线方向计测部104由视线水平方向计测部205、视线垂直变位计 测部206、视线垂直方向计测部207、视线方向决定部208构成。
摄像部101是照相机，具有通过总线 LAN等将所拍摄的影像数 据传送到面部检测部102的功能。摄像部由一台或者多台的照相机构 成。
面部检测部102，具有对从摄像部101传送来的图像进行图像处 理，检测出图像中的面部的功能。
在面部方向计测部103中，取得在面部检测部102中被检测出的 面部的图像，进行面部方向计测。面部方向计测也可以使用现有的计 测方法，但是也可以通过以下的计测方法进行不需要事前校正的高精 度的计测。首先，由面部水平方向计测部201进行水平方向的面部方向计测。 在面部垂直变位计测部202中利用由201所得的头部的信息，求得相 对于面部的上下的变化成为基准的面部基准位置。在面部垂直方向计 测部203中，由在面部垂直变位计测部202中求得的相对于面部基准 位置的上下变位量计测垂直方向的面部方向。最后，在面部方向决定 部204中，以所得的垂直 水平方向的变化为基础对计测角度进行修 正，决定最终的面部方向。
在视线方向计测部104中，首先在视线水平方向计测部205中以 面部方向的信息为基础计测水平方向的视线方向。接着，在视线垂直 变位计测部206中，以视线水平方向计测部205中所得的眼球的信息 为基础，求得视线垂直方向计测所需要的基准位置。在视线垂直方向 计测部207中，以上述信息为基础计测垂直方向的视线方向。上述视 线方向计测的处理是关于左右双眼进行。并且，在视线方向决定部208 中，综合左右双眼的视线方向决定最终的视线方向。
像这样，对于由摄像部101得到的人物的图像，由面部检测部102 进行面部检测处理。其结果是，如果在图像中检测出面部，则由面部 方向计测部103计测面部方向。最后在视线方向计测部104中，使用 面部方向计测结果计测视线的方向。
按照这样的流程，基于面部方向信息推测眼球的形状，根据所推 测的眼球的样子能够计测视线方向。另外，由于在人的行动、面部的 移动和视线的移动中存在密切的关系，因此通过计测面部方向，能够 将视线的移动的范围限定在某一程度，提高计测精度。
接着，依据图2 图12，对本发明的实施方式1涉及的视线方向 计测装置的面部方向计测部 视线方向计测部中的计测方法的详细内 容进行说明。图2 图12是用于说明本发明的实施方式1涉及的视线 方向计测装置的面部方向计测部 视线方向计测部中的计测方法的说 明图，图2是面部方向和视线方向计测的概念图，图3是表示面部的 水平方向计测的流程的流程图，图4是面部图像中的面部区域和面部 器官中心位置的定义的一例的示意图，图5是用于面部的水平方向推 定的面部模型的一例的示意图，图6是面部图像中的基准位置和计测 点的定义的一例的示意图，图7是表示用于面部的垂直方向推定的面部模型的一例的示意图，图8是表示由于垂直水平方向变化引起的计 测点的变化的示意图，图9是表示视线的水平方向计测的流程的流程 图，图IO是表示用于视线的水平方向计测的眼球模型的一例的示意图， 图11是表示用于视线的水平方向计测的眼球模型的一例的示意图，图 12是表示用于视线的垂直方向计测的眼球模型的一例的示意图。
在本实施方式的视线方向计测中，假想如图2所示的模型，分别 计测面部的水平 垂直方向的角度、视线的水平 垂直方向的角度。 并且，水平方向的角度记作4)，垂直方向的角度记作8，面部方向标 注下标"face"表示，视线方向标注下标"eye"表示。面部的水平方 向 垂直方向的角度分别为cbf^、 efaee。另外，面部的旋转角度Wf^ 也可以同时求得。
首先，面部水平方向计测部201中的水平方向的面部方向计测的 流程，如图3所示，例如按照专利文献l中所记载的方法等进行。
首先，在步骤301中，根据面部图像重新推定正确的面部区域。 面部区域的推定例如使用背景差分、肤色区域抽出和椭圆霍夫变换 (Hough Transform)等的方法进行。这里所说的面部区域是如图4所 示的与头部外接的四角形区域。
该面部区域的中心位置称作面部区域中心位置，在步骤302中决 定该位置。接着，在步骤303中检测出面部器官中心位置。所谓面部 器官中心位置是指通过如图4所示的两眉的中心、鼻梁、唇的凹处部 分的直线的位置。通过从面部图像中对眉、内眼角、鼻、口的轮廓等 的面部器官进行检测，能够根据各个面部器官的位置关系推定该面部 器官中心位置。
面部的各器官，是通过使用利用亮度值将面部图像2值化的图像、 边缘图像、实施分离度过滤的图像等的现有的方法进行检测的。根据 在步骤304中所得到的面部区域和面部器官中心位置计算水平方向的 面部方向。
面部水平方向的计算通过参考图5所示的面部椭圆模型的公式决
定。图5是从正上方向下看水平方向向右朝向4) faee时的头的映像。此
时图像中出现的面部区域的两端为F1、 F2，面部器官中心位置为C。 此时，面部区域的中心位置为椭圆的中心位置Of^，是F1和F2的中点。Wk是面部区域的宽度，Cfece是COfeee间的距离。椭圆模型的短直
径的一半为a，长直径的一半为b，该a和b的比为面部椭圆比k，通 过以下的公式1能够求得面部方向4> face。
公
式l:
A = sin
、 i i 乂 i 力c一
在本实施方式中椭圆比k约为1.25。其是根据人物的统计数据测 定的平均的头部椭圆比的值。依据人物的不同该k的值多少有所不同， 但是其差异在0.1以下的范围内，对面部方向精度的影响在本系统中是 在容许的范围内。依据该系统结构，不是既定值，而是实际地求出该 面部椭圆比k。
在本方法中，摄像部被设置在上方向，即使在各器官难以检测的 情况下，仅使用鼻子等易于检测的器官也能够决定面部器官中心位置， 因此能够推定精确的面部方向。并且，根据图像上的二次元的关系能 够求得表示头部的深度方向的长度b。并且，在本计测中不仅可以使用 面部器官中心位置，也可以使用耳的位置。通过使用耳的位置，能够 高精度地推定朝向横45度以上的情况下的方向。
在面部垂直变位计测部202中，对于面部的垂直方向的变化检测 出作为被固定的点的面部基准位置和根据面部方向的变化而变化的计 测点这两点。将该两点的变位量作为面部的垂直方向变化引起的变位
作为面部基准位置的检测机构，例如如图6所示，使用人物的肩
位置。此时，面部基准位置Of^能够定义为在距离肩位置一定的变位
bXd的地方。这里b是通过面部水平方向计测部201得到的深度方向 的长度，d是计算相对于肩的基准位置的地方的参数。
该参数d称作基准位置计算常数，使用既定值。该基准位置计算 常数d通过因子分解法等从多个帧信息选择最适当的值，也可以构筑 能够自动校正的系统结构并针对每个受验者计算最适当的值。如上所 述，通过针对每个同一人物连续场景适当地切换参数值，能够进一步 提高计测精度。使用来自肩的变位定义基准位置，由此能够推定不依赖面部的垂直方向的移动的固定点，能够在垂直方向计测中使用。
并且，由此所得的基准位置具有不受面部的表情变化的影响的优 点。另外，例如在利用自动校正处理等针对每个人物校正参数的情况 下，由于仅知道肩位置和面部方向也能够校正，因此即使除正面方向 以外的面部也能够校正。
另外，作为基准位置的推定机构，例如也可以使用来自耳的位置 的变位、头部整体的轮廓的中心位置等。并且也可以基于根据上述多 个特征求得的基准位置的平均、或者通过图像处理的上述特征的检测 结果决定使用的基准位置。在该情况下，例如基于图像处理的特征点 检测的结果，不能检测出耳，但是如果能够良好的检测出肩，则成为 采用根据肩位置求得的基准位置的流程。
图6中的计测点也同样地进行决定。其由双眼的内眼角位置的中 心决定。
在面部垂直方向计测部203中，参考如图7所示的面部垂直方向
计测中使用的椭圆模型，根据基准位置Ofeee和计测点C计测面部的垂 直方向。对于图像中出现的基准点位置Of^和计测点C，在模型上分 别成为O'feee、 C'的关系。相对于Ofeee的计测点C的变位为OfeeeC，通 过以下的公式2的式子能够计测面部的垂直方向。 公式2:
力C6 T
这里b是在水平方向计测中求得的头部的深度方向的半径。根据 相对于b的基准位置和计测位置的变位能够计测垂直方向的面部方向
9 facec
由于在面部水平方向计测部201中能够推定半径，因此通过重新 得到不依赖面部的垂直变化的基准位置和反映垂直变化的计测点的变 位量，能够实现垂直方向的计测。由此能够实现不固定多个人物的计 测。并且，能够实现基准位置不依据表情变化的高精度的计测。
在面部方向决定部204中，基于求得的水平方向 垂直方向的面 部方向进行修正处理，决定最终的面部方向。在水平方向和垂直方向
1都变化的情况下，发生计测点的变位比设想的变得小的情况。
图8是表示水平 垂直方向变化时的计测点的样子。这里，面部 方向的角度如果是(4>faee、 6face)，则计测点的变位(x、 y) = (bsin
(^ face) COS ( 6 face)、 bsin ( 0 face) COS ( 4>face))。
即变位量的绝对值X减小COS ( 6faee)， y减小cos (4>faee)。因此， 通过除以各自的值之后的值作为实际的变位量，在水平方向计测的情 况下抑制垂直方向变化的影响，在垂直方向计测的情况下抑制水平方 向变化的影响，并再次重新计测。通过以上的修正处理，能够得到更 加正确的面部方向。
另外，根据通过双眼的内眼角，外眼角的线的倾斜、表示面部器 官中心位置的线段的倾斜等能够求得面部的旋转Wfeee，即使使用面部 的旋转角度也能够进行修正处理。
在视线方向计测部104中，基于由面部方向计测部103所得的面
部方向(4faee、 9 face)的信息，进行视线方向计测。并且，在视线方 向计测部104中，根据通过上述以外的既存的计测方法计算出的面部 方向对视线方向进行计测。
在视线水平方向计测部205中的视线方向计测的流程如图9所示， 在步骤901中，首先从面部图像中检测出瞳孔的中心位置。在步骤902 中，根据在步骤901中检测出的瞳孔的数目进行条件分支。
在左右两方瞳孔捡测都失败的情况下，成为视线方向检测失败， 作为在步骤906中不能进行计测而结束。如果仅一只眼睛或者双眼检 测成功，则进入作为下一流程的步骤903。
在步骤903中基于通过步骤902求得的瞳孔位置求得各个瞳孔所 属的眼睛区域。步骤904是根据在步骤903中检测出的眼睛区域进行 条件分支。在不能正确地检测出眼镜区域的情况下，成为视线方向检 测失败。如果即使仅单只眼睛也能够正确地检测到眼睛区域则进入步 骤卯5，根据瞳孔的中心位置和眼睛区域计算水平方向的视线方向。
这里，对在步骤905中进行的视线方向计算的方法进行说明。其 中使用面部方向、通过步骤901、步骤903求得的瞳孔位置、眼镜区域 的信息，利用基于图IO所示的眼球模型的公式进行计算。
由于眼球被皮肤覆盖，所以在图像中实际出现的眼睛区域仅是眼角膜部分。其在图10的眼球模型中为弧ErE2、部分。该E1、和E2、的 位置在从各个眼球的水平线开始角度为a的地方。
在图10中Oeye、 I分别是图像中的眼球的中心位置和瞳孔的中心
位置，Oeye、成为实际的眼球的中心。4)faee是通过上述面部方向检测得 到的面部方向的角度，小eye是视线方向的角度，Weye是图像中的眼区域 的宽度，Ceye是图像中的眼球中心位置与瞳孔中心位置的长度。此时视 线方向的角度小eye通过以下的公式3的式子决定。这里眼球的隐没部 分的角度(X为既定值。 公式3:
<formula>formula see original document page 14</formula>
并且，在公式3中，Ceye由I-El表示。这在后述的公式4和公式5 的式子中也是同样。
另外，在面部的中心侧和外侧，也可以使眼球的隐没部分的角度 不同而计算视线的方向。此时，双眼的眼球如图ll所示。使面部的中
心侧的隐没部分的角度为P，外侧为ct。以与公式2的式子相同的方式
建立公式，则在左眼和右眼公式变得不同。左眼的视线方向的角度4)eye 能够通过以下的公式4求得。 公式4:
<formula>formula see original document page 14</formula>
同样地，右眼的视线方向的角度能够通过以下的公式5求得 公式5:
<formula>formula see original document page 14</formula>
眼球的隐没部分a、 J3使用既定值(例如cf03、卩=40)。其能够根 据一般的眼球的半径的值和图像上的眼睛区域的位置的值等推定。
另外，视线水平方向计测部205中，通过以下的公式6的式子计 算在后述的视线垂直变位计测部206、视线垂直方向计测部207中使用的眼球的半径的值feye。 公式6:
^cos("- ce) + C0S(A + ^/acJ
接下来，在视线垂直变位计测部206中，进行垂直方向的视线方 向计测中必要的基准位置和计测点的检测。
图12中表示垂直方向的视线方向计测模型、和基准位置、计测点 的位置。图12的视线方向计测模型是从头部的左侧看眼球的示意图。 视线基准位置Oeye是在眼球的中心位置的点，计测点是瞳孔的中心I 的位置。另外计测点I在视线水平方向计测部205的瞳孔检测中己经被 检测出来。
视线基准位置根据内眼角、外眼角的高度决定。图12中所示点E、 是在图11的水平方向计测模型的Er、 E2、的点，是表示内眼角、外眼 角的位置的点。现在，使左眼的内眼角、外眼角的点的y坐标为El、 E2，能够通过以下的公式7的式子求得视线基准位置CTeye的图像平面 上的y坐标Oeye。
公式7:
e = (A + cos 〃 sin e + ￡2 + cos " sin 、 ) / 2
同样地通过以下公式8的式子能够求得右眼的视线基准位置Oeye。 公式8:
e = (A + V cos " sin "+ A + V cos》sin ) /2
公式7的式子、公式8的式子表示，根据眼的两端El、 E2的高度 和面部的垂直方向的角度分别推定基准位置，将其平均值作为最终的 基准位置。依据情况，也可以仅根据E1或者E2中任一点求得基准位 置。例如，在面部朝向非常侧方的情况下等，由于一侧的端点隐没， 所以这时能够根据能够看到的一方的端点求得。
在视线垂直方向计测部207中，根据所得到的视线基准位置Oeye 和计测点I决定垂直方向的视线方向。如果使相对于视线基准位置Oeye 的计测点I的变位为OeyeI，则能够通过以下的公式9的式子求得垂直方向的视线方向的角度e,
公式9:
通过定义如图12所示的计测模型，能够通过水平方向计测求得的 眼球的半径和利用内眼角外眼角的y坐标值推定视线基准位置(y坐标 系中的眼球中心位置)，由相对于基准位置的瞳孔中心的变位能够计测 垂直方向的视线方向。在本实施方式中，能够不受眼睑的开闭的影响 推定眼球中心位置。因此，眼睑的变位也能够应用于瞳孔的变位的推 定，由此能够实现计测的高精度化。
在视线方向决定部208中，根据双眼的视线方向决定最终的视线 方向。在视线水平方向计测部205中，不能检测瞳孔，眼睛区域，判 定为视线方向检测失败的情况下，不能进行计测。
如果即使单只眼也能够计测视线方向，则将该单只眼的视线方向 作为最终的视线方向加以采用。在双眼都能够计测视线方向的情况下， 对双眼的视线方向进行加权、通过加算(足L合b甘3)来决定最终 的视线方向。视线方向具有的比重通过面部的方向决定。
在面部朝向右方的情况下，由于右眼几乎在图像上不显现，因此 对于左眼的比重增加，以左眼的视线方向信息为主要的视线方向。当 面部朝向正面时，视线方向为双眼的平均。并且，该双眼的视线方向 的决定关于垂直方向、水平方向分别进行。
通过以上的流程，能够不需要事前校正就计测单眼照相机影像中 的人物的水平 垂直方向的视线方向。并且在本实施方式中，由于在 面部方向计测中没有使用眼睛或者口等具有变动性的特征，因此能够 在表情变化中实现精准的面部方向计测，由于在视线方向计测中没有 使用眼睑的开闭等，因此能够高精度地计测视线方向。 (实施方式2)
利用图13，对本发明的实施方式2涉及的视线方向计测装置的结 构进行说明。图13是表示本发明的实施方式2涉及的视线方向计测装 置的结构的结构图。在图13中，视线方向计测装置1300，由图像输入部1301、图像 存储器1302、 CPU1303、 RAM1304、 ROM1305、计测结果记录部1306、 接口 1307和输出装置1308构成。
在本实施方式的视线方向计测装置1300中，计测由作为摄像部 101的照相机得到的图像中的人物的视线方向。本实施方式的视线方向 计测装置1300中的CPU1303相当于实施方式1的图1所示的视线方 向演算部110，视线方向演算部110的各演算处理作为程序执行并通过 CPU1303进行演算处理而实现。
在本实施方式中，依据视线方向演算部110中的计测方法在 CPU1303中进行演算处理，计测视线方向。
针对每个人物、场景的视线方向计测结果被记录在计测结果记录 部1306中。计测结果通过接口 1307进行数据变换为适当的形式，输 出到输出装置1308中。这里，作为输出装置考虑显示器、打印机、PC 等。
在本实施方式中，通过计算机等的信息处理装置，能够进行作为 视线方向计测装置的演算处理。 (实施方式3)
利用图14对本发明的实施方式3涉及的视线方向计测装置的结构 进行说明。图14是表示本发明的实施方式3涉及的视线方向计测装置 的结构的结构图。
实施方式3的特征在于，在实施方式1中作为输入重新设置注视 判定部1401、在视线方向计测部中设置模型校正部1402。由此，提供 在模型校正部1402中例如能够针对每个计测对象自动校正在面部垂直 方向计测中的面部基准位置计算常数d等的参数，能够实现更高精度 的视线方向计测的视线方向计测装置。
注视判定部1401是例如由LED光源投光器和红外线照相机等构 成，在将视线朝向注视判定部1401的情况下，能够检测出视线的装置。 如果预先知道注视判定部1401和摄像部101的位置关系，则当注视注 视判定部1401时就能够知道由摄像部得到的面部图像的视线方向，将 其作为校正参数进行参数的校正处理。
模型校正部1402具有根据由注视判定部1401所得的校正参数，对面部方向计测部103或者视线方向计测部104中使用的参数进行校 正的功能。
接下来，以面部基准位置计算常数d的校正为例说明模型校正部 1402内的处理的流程。
当注视判定部1401被注视时，从面部检测部102取得注视注视判 定部1401的帧的面部图像。根据取得的图像按实施方式1的倒过来的 顺序进行演算，由此决定面部基准位置的参数d。
现在，由于视线方向(4)eye、6eye)为已知，首先通过视线方向计
测部的公式5的式子、公式9的式子的逆运算求得面部方向(4>faee、 efa(:e)。根据所得的面部方向能够推定深度方向的半径b的值，根据该 b的值和面部方向能够求得最适当的面部基准位置的参数d。其他的参 数也同样地能够通过进行逆运算加以校正。
如果是在线计测所必需的系统，至通过注视判定部1401的注视进 行参数校正为止使用平均的参数，在参数校正之后在进行同一人物的 计测期间使用相同的参数。
另外，在容许顾客的兴趣分析等在线计测的系统中，在进行利用 上述处理的参数校正之后，可以从映照该人物的最初的帧开始重新计 测视线方向，在对象人物出现的场景内即使一次看注视判定部1401也 能够进行校正。
在本实施方式中，因为没有使用眼、鼻、口等的由于角度而消失 较多的特征点，所以即使正面方向以外的面部也能够进行参数的校正。 因此，即使在摄像部101和注视判定部1401为稍微离开的位置也能够 进行自动校正。由此，能够在受验者必须注视的位置设置注视判定部 1401,能够在不使受验者意识到的情况下自动地进行校正处理。 (实施方式4)
本实施方式是在实施方式1中准备有新的参数，而视线方向计测 装置的结构与实施方式l相同。
利用图15对本发明的实施方式4涉及的视线方向计测装置的视线 方向的计测进行说明。图15是用于说明本发明的实施方式4涉及的视 线方向计测装置的视线方向的计测的眼球模型的一例的图，表示左眼 的眼球模型的例子。图15中所示的眼球模型是内眼角和外眼角位置从眼球的中心在垂
直方向上偏移Y度的模型。像这样，通过重新准备参数Y，能够更加正 确地推定眼球的形状，能够高精度地计测视线方向。
首先，根据内眼角El和外眼角E2的x坐标Elx、 E2x与面部方 向(4>face、 eface)，利用以下的公式10的式子计算出眼球的半径r。
公式10:
<formula>formula see original document page 19</formula>
根据由此求得的眼球的半径r，通过以下的公式11的式子计算出 眼球中心位置O的位置。 公式11:
<formula>formula see original document page 19</formula>
如上所述，能够计算出眼球的半径r和眼球中心位置O，能够推定 眼球的形状。接下来，根据图像中的瞳孔的中心位置I，利用以下的公
式12的式子分别计测视线方向的水平成分4)eye、垂直成分9eye。 公式12:
<formula>formula see original document page 19</formula>
如上所述，在内眼角*外眼角的位置根据人物而不同的情况下， 通过自动地求得最适当的参数Y，能够更高精度地计测视线方向。
以上，基于实施方式具体地说明由本发明者完成的发明，但是本 发明并不局限于上述实施方式，当然在不脱离其主要内容的范围内能 够有各种变更。
权利要求
1. 一种视线方向计测装置中的视线方向计测方法，所述视线方向计测装置具备摄像部、面部方向计测部和视线方向计测部，根据从拍摄过人物的所述摄像部中所得的图像决定所述人物的视线方向，所述视线方向计测方法的特征在于，包括通过所述面部方向计测部，根据从所述摄像部所得的图像中的面部计测面部方向的角度的步骤；通过所述视线方向计测部，根据所述面部方向的信息、所述图像中的瞳孔中心位置和内眼角与外眼角的信息，决定视线水平方向的角度和眼球的半径的步骤；根据所述面部方向的信息、所述内眼角与外眼角的信息和所述眼球的半径的信息推定眼球的中心位置的步骤；根据所述眼球的中心位置和所述瞳孔的中心位置计测瞳孔的垂直方向的变位的值的步骤；基于所述瞳孔的垂直方向的变位的信息和所述眼球的半径的信息决定视线垂直方向的角度的步骤；基于所述面部方向的信息综合双眼的视线方向的角度的步骤；和决定所述人物的视线方向的步骤。
2. 根据权利要求1所述的视线方向计测方法，其特征在于-通过所述视线方向计测部，以表示所述内眼角和外眼角的位置从所述眼球的中心向垂直方向的偏移的信息作为参数，决定所述眼球的 半径。
3. 根据权利要求1所述的视线方向计测方法，其特征在于，还包括通过所述面部方向计测部，根据从所述摄像部所得的图像中的面 部计测面部水平方向的步骤；基于所述面部水平方向的角度和头部的半径的信息计测表示面部 垂直方向的变位的值的步骤；根据表示所述面部垂直方向的变位的值计测面部垂直方向的角度 的步骤；和基于所述面部水平方向的角度和所述面部垂直方向的角度，分别 对所述面部水平方向的角度和所述面部垂直方向的角度进行修正，决 定最终的所述面部方向的步骤。
4. 根据权利要求3所述的视线方向计测方法，其特征在于 通过所述面部方向计测部，检测所述人物的肩的位置，以从所述肩的位置有一定变位的地方作为垂直方向的面部基准位置，以与相对 于该基准位置的眼的位置的变位作为面部的垂直方向的变位。
5. 根据权利要求3所述的视线方向计测方法，其特征在于 通过所述面部方向计测部，以从所述人物的耳位置有一定变位的地方作为面部基准位置，以与相对于该基准位置的眼的位置的变位作 为面部的垂直方向的变位。
6. 根据权利要求3所述的视线方向计测方法，其特征在于 通过所述面部方向计测部，根据所述人物的头部的轮廓的形状推定面部基准位置，以与相对于该基准位置的眼的位置的变位作为面部 的垂直方向的变位。
7. 根据权利要求3所述的视线方向计测方法，其特征在于-通过所述面部方向计测部，根据图像检测所述肩、耳、人物的头部的轮廓形状，基于该检测处理的可靠性，切换面部的基准位置推定 中使用的特征。
8. —种视线方向计测装置，其特征在于，包括 摄像部；面部水平方向计测部，其根据从所述摄像部所得的图像中的面部 计测面部水平方向的角度；面部垂直变位计测部，其基于通过所述面部水平方向计测部所得的水平方向的角度和头部的半径的信息，计测表示面部垂直方向的变位的值；面部垂直方向计测部，其根据由所述面部垂直变位计测部所得的 所述面部垂直方向的变位的值计测面部垂直方向的角度；面部方向决定部，其基于所述面部水平方向的角度和所述面部垂 直方向的角度，分别修正所述面部水平方向的角度和面部垂直方向的 角度，决定最终的面部方向；视线水平方向计测部，其根据所述面部方向的信息、所述图像中 的瞳孔中心位置和内眼角与外眼角的信息，决定视线水平方向的角度 和眼球的半径；视线垂直变位计测部，其根据由所述视线水平方向计测部所得的 所述眼球的半径信息和所述面部方向，计测瞳孔的垂直方向的变位的 值；视线垂直方向计测部，其基于所述瞳孔的垂直方向的变位的信息 决定视线垂直方向的角度；和视线方向决定部，其基于所述面部方向的信息，综合双眼的视线 方向的角度，决定人物的视线方向。
9. 根据权利要求8所述的视线方向计测装置，其特征在于 所述视线水平方向计测部，以表示所述内眼角和外眼角的位置从眼球的中心向垂直方向的偏移的信息作为参数，决定所述眼球的半径。
10. 根据权利要求8所述的视线方向计测装置，其特征在于，还包括检测出人物对于某确定的位置的注视的注视判定部；和 模型校正部，其使用通过所述注视判定部检测出的特定的视线方 向时的面部图像校正视线方向计测中使用的参数。
全文摘要
本发明提供视线方向计测装置，其不使用每个人物的发生较大变化的面部表面的视觉效果的信息，通过推测表示垂直方向变化的变位量，实现不需要事前校正的面部·视线方向计测。在视线方向计测装置中，对于从摄像部所得的面部图像，由面部水平方向计测部计测面部的水平方向角度。根据由该计测所得的头部的半径信息和人物的肩位置的信息，根据由计测与头部姿势无关面部的垂直方向的变位的面部垂直变位计测部所得的变位量，决定面部垂直方向角度。根据所得的面部方向计测视线的水平方向的角度、眼球的半径，通过设置视线垂直变位计测部，计测作为视线的垂直方向的变位的对于眼球中心的位置的瞳孔的中心位置。根据该变位量计测视线的垂直方向的角度。
文档编号G06K9/00GK101419664SQ20081014683
公开日2009年4月29日 申请日期2008年8月25日 优先权日2007年10月25日
发明者佐山千春, 吉永智明, 长屋茂喜 申请人:株式会社日立制作所