视线检测装置以及视线检测方法

专利名称：视线检测装置以及视线检测方法
技术领域：
本发明涉及视线检测装置以及视线检测方法，求得输入图像中的摄影 者的视线坐标，该输入图像来自装着在摄影者头部上的摄像单元。
背景技术：
例如专利文献1所公开的那样， 一直以来提出一种头部装着型照相机， 通过将摄像单元装着在头部上，而具有的优点为，在摄影时两手变得自由，
能够一边进行其他作业一边进行摄影。并且，在专利文献2中提出如下发 明，通过使摄像单元的摄影位置根据摄影者的视线位置而移动，即使摄影 者在摄影中活动头部，也能够进行摄像位置不变化的稳定的摄影。
作为实际地根据视线位置而使摄影位置正确移动的方法之一为，对实 际空间中的摄影者的视线位置与从摄像单元取得的输入图像上的哪个位置 相当进行检测，并以检测的位置成为中心的方式来控制摄影位置。作为实 际空间中的摄影者的视线位置与输入图像上的视线位置的校正方法的例 子，存在以下的专利文献3、专利文献4等。
在专利文献3中记载的技术为，在校正时，在显示器上显示由多个点 构成的任意的校正图形，取得被验者看到这些点时的水平方向以及垂直方 向的眼球运动数据，根据这些数据求得校正参数。作为取得眼球运动数据 的方法可以举出基于角膜反射法的方法、利用角膜与强膜的反射率不同的 方法、使用隐形镜片的方法或者使用角膜与视网膜之间的产生电位的EOG (Electro-Oculography )法等。
在专利文献4中所记载的技术中，作为计测的准备，在周围空间中准 备多个在视野图像中成为特征点那样的目标，被测定者将眼部照相机(eye camera)设置在头部上，而依次注视这些目标。所注视的目标的作为视野 图像中的特征点的坐标、与注视时的眼部标记信号的坐标被分别赋予对应， 并依次存储到表存储单元中。在计测时，使用该所存储的修正表，对从眼部照相机送来的眼部标记信号进行修正。
专利文献1:日本特公平3-62356号公报
专利文献2:日本特开平8-84280号公报
专利文献3:日本专利第2615831号说明书
专利文献4:日本特开昭62-176427号公报
但是，在上述现有技术中，存在以下所示的课题。
在专利文献3中，由于将校正图形显示在显示器上，因此在头部装着 型照相机那样的无显示器的状态下，不能够向摄影者提示校正图形，不能 够取得校正参数。
并且，在专利文献4中，摄影者需要预先设置成为特征点那样的目标， 且必须使该目标映出在装着在头部上的摄像单元中，不但不能够立即进行 摄影，还需要某种程度的习惯。
这样，在上述现有技术中，需要用于决定校正参数的前期准备、且很 复杂，不但成为摄影者的负担，而且如果摄影者不习惯操作，就难以容易 地计算校正参数。

发明内容
因此，本发明就是为了解决上述课题而进行的，其目的在于提供视线 检测装置以及视线检测方法，能够在短期间内准确地计算出用于对来自摄 影者所装着的摄像单元的输入图像中的摄影者的视线坐标进行检测的校正 参数。
为了解决上述课题，本发明的视线检测装置为，对来自用户所装着的 摄像部的输入图像中的上述用户的视线坐标进行检测，其具备眼球运动 检测部，通过检测上述用户的眼球运动，来取得表示该眼球运动的眼球运 动信息；校正物体检测部，取得上述输入图像，并判断取得的输入图像是 否包含能够利用为校正物体的物体，在判断为包含的情况下，输出表示该 物体位置的位置坐标；指示部，指示上述用户看由上述位置坐标所表示的 校正物体；校正参数计算部，使用接受了上述指示部的指示的上述用户的 眼球运动信息和上述校正物体的位置坐标，计算出在将上述眼球运动信息 校正为上述视线坐标时使用的校正参数；以及校正部，使用由上述校正参数计算部计算的校正参数，将上述眼球运动信息校正为上述视线坐标。
由此，仅通过用户根据来自指示部的指示看所指示的校正物体，本发
明的视线检测装置在短时间内准确地计算出校正参数。因此，用户不需要
高度的知识，谁都能够容易地利用本发明的视线检测装置。
并且，也可以为，上述校正物体检测部，在判断为包含上述物体的情
况下，进一步输出表示校正物体的检测完成这一情况的完成信号，上述校
正参数计算部在接受了上述完成信号的情况下，使用上述眼球运动信息和
上述校正物体的位置坐标，来计算出上述校正参数。
由此，在校正参数计算部接受了完成信号之后进行校正参数的更新，
因此能够防止在用户看校正物体之前开始更新处理。因此，能够更准确地
计算出校正参数。
并且，也可以为，上述校正物体检测部，提取上述输入图像的图像特 征量，并判断是否存在提取的图像特征量达到规定阈值的区域，在判断为 存在的情况下，输出该区域的位置坐标，作为能够利用为上述校正物体的 物体的位置坐标。
由此，能够判断图像特征量达到规定阈值的区域为包含校正物体的区 域，因此能够容易地检测校正物体的位置坐标和特征量。
并且，也可以为，上述校正物体检测部，在判断为存在上述区域的情 况下，进一步将提取的图像特征量输出到上述指示部，上述指示部指示上 述用户看由上述位置坐标以及上述图像特征量所表示的校正物体。
由此，不仅是位置坐标，还能够使用特征量向用户指示校正物体，因 此接受了指示的用户能够更简单地找到校正物体。因此，本发明的视线检 测装置能够在更短时间内更准确地计算出校正参数。
并且，也可以为，上述指示部生成引导信息，并使用声音或者骨传导 向上述用户指示生成的引导信息，该引导信息表示由上述位置坐标以及上 述图像特征量所表示的校正物体的信息。
由此，利用声音或者骨传导来指示用户，因此接受了指示的用户能够 更简单地找到校正物体。并且，通过利用骨传导，即使在周围为吵闹的状 况、或者为不能发出声音的状况，或者对于听不到声音的听觉障碍者，也 能够指示看校正物体。并且，也可以为，上述校正物体检测部，提取边缘信息、颜色信息、 亮度等级信息以及活动信息的至少一个，作为上述输入图像的图像特征量。
由此，例如通过提取亮度等级信息，能够将视觉上醒目的区域、例如 亮度等级比周围高的区域，检测为包含校正物体的区域。因此，用户能够 更简单地找到校正物体。使用了其他信息的情况也相同。
并且，也可以为，上述校正物体检测部，作为能够利用为上述校正物 体的物体，判断上述输入图像中是否包含人脸、上述用户身体的一部分、 或者上述用户装着或保持的物体。
并且，也可以为，上述视线检测装置还具备输出上述校正物体的校正 物体输出部，上述指示部指示上述用户看由上述校正物体输出部输出的校 正物体。
由此，例如在不能够检测校正物体等情况下，通过输出校正物体，能 够使用输出的校正物体可靠地更新校正参数。
并且，也可以为，上述视线检测装置还具备计测到上述校正物体为止 的距离的校正物体距离计测部，上述校正参数计算部，还是用由上述校正 物体距离计测部计测的距离，而计算出上述更新参数。
由此，即使在从摄影者的眼球位置到摄像部为止的距离较大的情况下， 也能够根据眼球运动信息正确地计算出视线坐标。
并且，也可以为，上述眼球运动检测部，取得表示上述用户的眼电位 或者眼球移动量的信息，作为上述眼球运动信息。
由此，例如在使用眼电位的情况下，能够不依存于用户眼睛的形状以 及摄影环境等地取得眼球运动信息。并且，在使用眼球移动量的情况下， 能够取得更高精度的眼球运动信息。
并且，也可以为，上述校正参数为将上述用户的眼球运动信息与上述 视线坐标赋予对应的表，上述校正参数计算部，使用接受了上述指示部的 指示的上述用户的眼球运动信息和上述校正物体的位置坐标，更新上述表， 上述校正部，通过参照由上述校正参数计算部更新的表，将上述眼球运动 信息校正为上述视线坐标。
由此，通过保持将眼球运动信息与视线坐标赋予对应的表，能够縮短 校正所用的时间。另外，本发明不仅能够实现为这种视线检测装置，还能够实现为将这 种视线检测装置具备的特征单元作为步骤的视线检测方法，或者还能够实
现为使计算机执行这些步骤的程序。并且,这种程序当然能够经由CD-ROM 等记录介质或互联网等传送介质进行发布。 发明的效果
如上所述，根据本发明的视线检测装置，能够在短期间内准确地计算 出用于对来自摄影者所装着的摄像单元的输入图像中的摄影者的视线坐标 进行检测的校正参数。


图1是表示本实施方式的视线检测装置的构成的一个例子的框图。
图2是表示本实施方式的视线检测装置的使用例子的图。
图3是用于说明使用了 EOG法的眼电位的计测方法的图。
图4A是表示将眼电位与眼球移动角赋予对应的表的图。
图4B是表示将眼电位与视线坐标赋予对应的表的图。
图4C是表示将眼球移动量与眼球移动角赋予对应的表的图。
图4D是表示将眼球移动量与视线坐标赋予对应的表的图。
图5是表示本实施方式的视线检测装置的动作的一个例子的流程图。
图6是表示本实施方式的校正物体的检测处理的详细情况的流程图。
图7是表示本实施方式的视线检测装置的构成的变形例的框图。
图8是表示本实施方式的视线检测装置的构成的变形例的框图。
图9是表示本实施方式的视线检测装置的构成的变形例的框图。
图10A是表示将眼电位与眼球移动角以及距离信息赋予对应的表的图。
图10B是表示将眼球移动量与眼球移动角以及距离信息赋予对应的表 的图。
符号说明
100、 200、 300、 400视线检测装置 101眼球运动检测部 102、 402校正部103校正参数更新指示部 104摄像部
105、 305、 405校正物体检测部
106、 406校正参数计算部 107开关
108声音指示部 209校正物体输出部 310校正物体登记部 410校正物体距离计测部
具体实施例方式
以下，参照

本发明的实施方式。
图1是表示本实施方式的视线检测装置ioo的构成的一个例子的框图。 该图所示的视线检测装置100具有眼球运动检测部101、校正部102、校正 参数更新指示部103、摄像部104、校正物体检测部105、校正参数计算部 106、开关107以及声音指示部108。
另外，本实施方式的视线检测装置100，例如如图2所示那样，装着 在摄影者的头部上，对摄影者的视线方向进行摄影。
眼球运动检测部101，通过检测用户(摄影者)的眼球运动来取得眼 球运动信息。例如，眼球运动检测部IOI，通过使用利用角膜与视网膜之间 的产生电位的EOG法、通过使聚光灯向眼球入射而检测在角膜内部产生的 虚像的活动的角膜反射法、利用角膜与强膜的反射率的不同的强反射法、 以及使用隐形镜片的方法，而取得摄影者的眼球运动信息。
眼球运动信息，如果是EOG法则包括眼电位，如果是其他方法则包括 眼球的移动量等，是表示摄影者的眼球运动的信息。在本实施方式中，作 为一个例子举出眼球运动检测部101使用了 EOG法的情况。
所谓EOG法，是利用人的角膜相对于视网膜带正电这一情况的眼球运 动检测方法。具体地说，在人眼球附近粘贴至少1个电极，基于使用该电 极计测的电位的变化而检测眼球运动。
图3表示使用了 EOG法的眼球运动检测方法的例子。图3是在摄影者的右眼外侧和内侦lj，离眼球的中心等距离地粘贴2个电极时的例子，外侧 用电极A表示，内侧用电极B表示。
当设电极A产生的眼电位为Va、电极B产生的眼电位为Vb时，如图 3 (a)所示，在摄影者的眼球位于正中位置时，Va与Vb相等，所计测的 眼电位Va-b (-Va-Vb)为0V。
如图3 (b)所示，在摄影者向右看时，电极A接近右眼的角膜，因此 Va>Vb，计测的眼电位Va-b表示为正值。相反，在摄影者向左看时，Va <Vb，计测的眼电位Va-b表示为负值。即，如果计测的眼电位Va-b表示 为正值，则可知摄影者向右活动眼，如果表示为负值，则可知向左活动眼。
在EOG法中，通过利用这种计测眼电位Va-b的变化，检测摄影者的 眼球运动。 一般已知，如果眼球的移动角6在一定的范围内，则计测眼电 位Va-b线性地变化。即，计测眼电位Va-b能够使用常数a和眼球的移动角 e而通过(公式l)进行近似。<formula>formula see original document page 12</formula>在本实施方式中，将常数a称为校正系数。
返回到图1，校正部102使用由校正参数计算部106计算的校正参数 和来自摄像部104的摄像部信息，将眼球运动信息校正到视线坐标。艮口， 校正部102根据由眼球运动检测部101取得的眼球运动信息，使用校正参 数以及摄像部信息，计算出来自摄像部104的输入图像中的摄影者的视线 坐标。
此处，所谓校正参数是用于将眼球运动信息变换为眼球的移动角的参 数。即，校正参数是表示眼球运动信息与视线坐标的对应关系的参数。作 为校正参数的一个例子，可以举出在(公式1)中使用的校正系数a。并且， 所谓摄像部信息是输入图像的视场角、析像度、透镜特性等的从摄像部104 取得的信息。
使用EOG法时的校正部102的动作的一个例子如下所述。在作为眼球 运动信息而向校正部102输入眼电位Ve (=Va-b)时，使用(公式l)计算
出眼球的移动角ee (=e)。然后，使用摄像部信息工具移动角ee求得视线
坐标。通过以上的步骤，能够根据眼球运动信息计算出视线坐标。
另外，在本实施方式中，对使用(公式1)的校正方法进行了说明，但是不限于此。例如，如图4A 图4D所示那样，也可以使用将眼球运动信 息与视线坐标赋予对应的表。图4A是表示将眼电位与眼球移动角赋予对应 的表的图。图4B是表示将眼电位与视线坐标赋予对应的表的图。图4C是 表示将眼球移动量与眼球移动角赋予对应的表的图。图4D是表示将眼球移 动量与视线坐标赋予对应的表的图。另外，此处为了简单，对于眼球移动 角以及视线坐标仅表示水平或垂直的一个方向。
眼球移动量，例如表示在将朝向正面时的瞳孔中心作为基准位置时的 瞳孔中心的移动量。眼球移动量，例如通过使用眼部照相机对摄影者的眼 进行摄影而取得。并且，视线坐标，例如表示将输入图像的右上端作为基 准坐标(0， 0)时的水平方向或者垂直方向的位置。另外，基准位置以及 基准坐标以哪里为基准都可以。
校正部102，例如根据由眼球运动检测部101取得的眼电位、通过参 照图4A的表而取得眼球移动角。然后，使用摄像部信息根据眼球移动角计 算出视线坐标。
校正参数更新指示部103,在摄影开始时、摄影者的指示等的产生了 预定的事件的情况下，向校正物体检测部105、校正参数计算部106以及开 关107输出校正参数更新指示。
摄像部104装着在摄影者的头部上，对摄影者的周围进行摄影。所摄 影的输入图像输出到校正物体检测部105.并且，摄像部104将摄像部信息 输出到校正部102和校正参数计算部106。
校正物体检测部105，在接受到校正参数更新指示时，判断来自摄像 部104的输入图像中是否含有能够利用为校正物体的物体。关于具体判断 的详细情况，将使用附图在后面说明。此处，所谓校正物体，是在摄影者 周围的实际空间上存在的立体或者平面的物体，是具有特征性的形状、颜 色、明亮度等的物体， 一边摄影者容易找到，且通过图像处理容易从输入 图像提取。
在判断为含有能够利用为校正物体的物体时，校正物体检测部105， 将校正物体坐标和校正物体特征量输出到声音指示部108和校正参数计算 部106 。并且，校正物体检测部105向校正参数计算部106输出表示校正 物体的检测完成了的检测完成信号。另外，校正物体坐标，是输入图像内的、表示被判断为能够利用为校 正物体的物体的位置的信息，例如表示该物体的位置坐标。并且，校正物 体特征量，是表示被判断为能够利用为校正物体的物体的图像特征量的信 息。图像特征量例如为边缘、颜色信息、亮度等级等。另外，以下将校正 物体坐标和校正物体特征量都记载为校正物体信息。
校正参数计算部106，在从校正物体检测部105接收到了检测完成信 号时，使用接受了声音指示部108的指示的摄影者的眼球运动信息、校正 物体坐标以及摄像部信息，更新校正参数。具体地说，校正参数计算部106， 在从正物体检测部105接收到了检测完成信号的情况下，开始校正参数的 更新。此处，表示使用EOG法时的校正参数之一、即校正系数a的计算例。
首先，使用输入图像的视场角、析像度、镜头特性等摄像部信息，根 据校正物体坐标求得看校正物体时的摄影者的眼球移动角ec。然后，将作 为眼球运动信息输入的眼电位Vc以及眼球移动角6c代入(公式1)，由此 计算出校正系数a。
另外，在校正部102使用如图4A 图4D所示的表来根据眼球运动信 息计算出视线坐标时，校正参数计算部106更新图4A 图4D所示的表。例 如，在图4A的例子中，通过将在校正时得到的眼电位和眼球移动角写入到 表中，而更新表的值。
开关107，根据校正参数更新指示，切换将眼球运动检测部101取得 的眼球运动信息发送到校正部102以及校正参数计算部106的哪个。具体 地说，在输出了校正参数更新指示的情况下，开关107向校正参数计算部 106发送眼球运动信息。并且，在未输出校正参数更新指示的情况下，开关 107向校正部102发送眼球运动信息。
声音指示部108利用声音等指示摄影者，在从校正物体检测部105接 受了校正物体坐标和校正物体特征量时，看由校正物体检测部105检测的 物体、即由校正物体坐标和校正物体特征量所表示的物体。例如，在校正 物体检测部105将处于输入图像右侧的人脸检测为校正物体时，声音指示 部108输出"请看右侧能看到的人脸"等声音引导。
接着，说明本实施方式的视线检测装置100的动作。
图5是表示本实施方式的视线检测装置100的动作的流程图。校正参数更新指示部103，判断是否发生了预定的事件(步骤SIOI)。 所谓事件是摄影开始的指示、来自摄影者的进行校正参数的更新的指示等。
在未发生事件时(步骤S101中否)，视线检测装置100不进行校正参 数的更新处理，而进行通常的视线坐标的检测处理。此时，校正参数更新 指示部103进行待机直到发生事件。并且，开关107向校正部102发送眼 球运动信息。
在发生了事件时(步骤S101中是)，校正参数更新指示部103向开关 107以及校正物体检测部105输出校正参数更新指示(步骤S102)。开关 107接受校正参数更新指示，并通过将眼球运动检测部101与校正参数计算 部106连接，而将眼球运动信息发送到校正参数计算部106.
校正物体检测部105接受校正参数更新指示，并检测东摄像部104取 得的输入图像内的校正物体(步骤S103)。校正物体检测部105，在检测到 校正物体的情况下，向声音指示部108和校正参数计算部106输出校正物 体信息。并且，向校正参数计算部106输出检测完成信号。校正物体的检 测处理的详细情况将使用图6在后面说明。
声音指示部108接受来自校正物体检测部105的校正物体信息，并通 过声音指示摄影者，使摄影者看接受的校正物体信息表示的校正物体(步 骤S104)。
校正参数计算部106，在从校正物体检测部105接受了检测完成信号 时，使用眼球运动信息、校正物体坐标以及摄像部信息，计算出校正参数 (步骤S105)。
如以上那样，本实施方式的视线检测装置100，在较正时计算出校正 参数，在通常时使用计算出的校正参数，进行眼球运动信息和视线坐标的 校正。
下面，使用图6说明校正物体检测部105进行的校正物体的检测处理 的详细情况。图6是表示本实施方式的校正物体的检测处理的详细情况的 详细情况的流程图。另外，以下作为一个例子，对通过提取输入图像的图 像特征量来检测校正物体时的动作进行说明。
首先，校正物体检测部105，判断是否存在校 参数更新指示，如果 没有则结束处理。如果存在校正参数更新指示，则从来自摄像部104的输入图像提取图像特征量(步骤S201)。将边缘、颜色信息、亮度等级以及 活动量等信息用作为图像特征量。
然后，校正物体检测部105，通过从提取的图像特征量中检索能够利 用为校正物体的图像特征量，来判断输入图像中是否存在能够利用为校正 物体的特征量(步骤S202)。例如，在使用边缘信息的情况下，判断是否 存在圆形或者三角形、四方形等多边形这种规定形状。在使用颜色信息的 情况下，判断是否存在色度为规定值以上的颜色。在使用亮度等级信息的 情况下，判断是否存在比周围明亮的场所、即亮度值比周围区域高的区域。 在使用活动量信息的情况下，判断是否存在活动量为规定值以下的物体、 即静止的物体。并且，也可以使用人脸、动物等。如此，校正物体检测部 105判断在输入图像中是否存在这些图像特征量达到规定阈值的区域。
如果在输入图像内未检测到以上那样的图像特征量(步骤S202中否)， 则校正物体检测部105通过从下一输入图像求得图像特征量来重复能够利 用为校正物体的物体检测(返回步骤S201)。
如果检测到能够利用为校正物体的特征量(步骤S202中是)，则校正 物体检测部105将具有所检测的特征量的物体(区域)的位置坐标周围校 正物体坐标，输出到校正参数计算部106以及声音指示部108(步骤S103)。 并且，将从所检测的特征量得到的信息周围校正物体特征量，输出到声音 指示部108 (步骤S204)。并且，校正物体检测部105，将表示校正物体的 检测完成的检测完成信号输出到校正参数计算部106 (步骤S205)。
如以上那样，在本实施方式的视线检测装置100中，检测输入图像内 的校正物体，并向摄影者指示检测的校正物体的特征量以及实际空间上的 位置等。然后，使用摄影者根据指示看校正物体时的眼球运动信息、校正 物体坐标以及摄像部信息等，计算出校正参数。
由此，在校正参数的更新时，摄影者仅根据本实施方式的视线检测装 置100的声音引导活动眼，视线检测装置100能够自动地在短时间内可靠 地更新校正参数。
并且，在本实施方式的视线检测装置100中，校正物体检测部105从 输入图像中检测出摄影者在实际空间上容易找到的物体，因此能够减轻摄 影者的负担。具体地说，校正物体检测部105，将亮度值比周围区域高的区域所含有的物体、圆形或者多边形等特定形状的物体、人脸等检测作为校 正物体。
并且，在本实施方式的视线检测装置100中，从由摄像部104对实际 空间上存在的物体进行摄像而取得的输入图像中检测校正物体。即，不需 要如以往那样，需要用于显示校正物体的显示器，何时何地都能够容易地 更新校正参数。
以上，对本发明的视线检测装置以及视线检测方法根据实施方式进行 了说明，但本发明并不限于这些实施方式。在不脱离本发明精神的范围内， 本领域技术人员想到的对该实施方式施加的各种变形，都包含在本发明的 范围内。
例如，声音指示部108通过生成声音引导并输出，来对摄影者进行指 示，但是也可以生成声音以外的引导信息来对摄影者进行指示。例如，本 实施方式的视线检测装置100被假设装着在摄影者的头部上，因此也可以 利用骨传导来对摄影者进行指示。或者，也可以不利用摄影者的听觉而利 用摄影者的视觉。作为一个例子，也可以通过用激光指示器来指出检测出 的校正物体，由此指示摄影者应该看的校正物体。
并且，为了对应于在摄影者周围不存在能够成为校正物体的物体的情 况，本发明的视线检测装置也可以具有输出校正物体的功能。图7是表示 本实施方式的视线检测装置的构成的变形例的框图。该图所示的视线检测 装置200，与图1所示的视线检测装置IOO相比较，不同点在于还具备校正 物体输出部209。
校正物体输出部209，在从校正参数更新指示部103接受了校正参数 更新指示的情况下，向实际空间上输出校正物体。校正物体例如是使用激 光指示器、投影仪等输出的标示。
由此，摄影者仅看从校正物体输出部209输出的校正物体，视线检测 装置IOO就能够自动地在短时间内可靠地更新校正参数。
另外，校正物体输出部209，在不存在能够被校正物体检测部105利 用为校正物体的特征量的情况下(步骤S202中否)，也可以输出校正物体。 由此，假设即使在周围不存在能够利用为校正物体的物体的情况下，视线 检测装置200也能够更新校正参数。并且，在存在能够利用为校正物体的物体的情况下，校正物体输出部209不输出校正物体，因此视线检测装置 200能够抑制校正物体的输出所需要的消耗电力。
另外，声音指示部108，在校正物体输出部209输出了校正物体的情 况下，也可以向摄影者指示所输出的校正物体的方向。由此，摄影者能够 更容易地看到校正物体。
并且，作为校正物体检测部105的动作，表示了使用图像特征量的例 子，但是也可以使用进行预先登记的校正物体的像素值的比较的样板匹配 等。
并且，校正物体检测部105,也可以从输入图像检测存在与预先登记 的特征量一致的特征量的输入图像。图8是表示本实施方式的视线检测装 置100的构成的变形例的框图。该图所示的视线检测装置300与图1所示 的视线检测装置100相比较，不同点在于，代替校正物体检测部105而具 备校正物体检测部305、以及新具有校正物体登记部310.
校正物体登记部310具备缓存器,在该缓存器中预先存储有摄像部104 摄像能够成为校正物体的物体时的图像特征量。例如，校正物体登记部310， 将摄像部104对摄影者身体的一部分、装着或者保持的戒指或遥控器等进 行了摄像时的图像特征量，预先登记为校正物体。
并且，声音指示部108也可以接受检测完成信号，并向摄影者通知校 正物体检测部105检测到了校正物体。此时的通知不需要用声音来进行， 例如也可以是警报等的声音，或者是震动器的震动。
并且，校正物体检测部105，作为校正物体坐标，也可以输出来自摄 像部104的输入图像中的校正物体的位置坐标、实际空间中的到校正物体 的距离信息。图9是表示本实施方式的视线检测装置100的构成的变形例 的框图。该图所示的视线检测装置400与图1所示的视线检测装置100相 比较，不同点为，代替校正物体检测部105、校正参数计算部106以及校正 部102，而具备校正物体检测部405、校正参数计算部406以及校正部402， 以及新具备校正物体距离计测部410。
校正物体距离计测部410,通过红外线传感器等，计测从本视线检测 装置400到由校正物体检测部405所检测的校正物体间的距离。
校正物体检测部405，作为校正物体坐标向校正参数计算部406输出检测的校正物体在输入图像中的位置坐标、从校正物体距离计测部410输出的距离信息DIS。
校正参数计算部406，使用校正物体的位置坐标和输入图像的视场角、析像度、镜头特性等摄像部信息，求得以摄像部104的光线为基准的校正物体的角度ecam。然后，使用校正物体的距离信息DIS，通过以下的(公式2)求得看校正物体时的摄影者的眼球移动角ee。
tanee=tanecam+L/DIS (公式2 )
此处，L表示从摄影者的眼球位置到摄像部104为止的距离。然后，校正参数计算部406，对图IOA或者图IOB所示的表的值进行更新。例如，在图10A的例子中，通过将在校正时得到的眼电位、看校正物体时的眼球移动角、到校正物体为止的距离信息写入到表中，来更新表的值。
并且，校正部402，在周围眼球运动信息向校正部402输出了眼电位Ve (=Va-b)时，使用图1OA的表求得眼球移动角0e和距离信息DIS。然后，将移动角ee和距离信息DIS代入(公式2)，来求得校正物体的角度ecam，并进一步使用摄像部信息求得视线坐标。通过以上的步骤，即使在从摄影者的眼球位置到摄像部104为止的距离L大的情况下，也能够根据眼球运动信息正确地计算出视线坐标。
另外，本实施方式的视线检测装置100也可以不具有图1所示那样的摄像部104。此时，校正物体检测部105例如取得能够从外部的摄像装置得到的输入图像。并且，校正部102以及校正参数计算部106从外部的摄像装置取得摄像部信息。(其他变形例)
另外，根据实施方式说明了本发明，但是本发明当然不限定于上述实施方式。以下的情况也包含于本发明。
(1)上述各装置，具体地说，是具有微处理器、ROM、 RAM (RandomAccess Memory)、硬盘单元、显示器单元、键盘、鼠标等的计算机系统。RAM或者硬盘单元中存储有计算机程序。上述微处理器按照上述计算机程序进行动作，由此各装置实现其功能。此处，计算机程序为了实现规定的功能，组合多个表示对于计算机的指令的命令代码而构成。(2) 构成上述各装置的构成要素的一部分或者全部，也可以由1个系统LSI (Large Scale Integration:大规模集成电路)构成。系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体地说，是包括微处理器、ROM、 RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。上述微处理器通过根据上述计算机程序进行动作，系统LSI实现其功能。
例如，构成图1所示的视线检测装置100的构成要素中、除了摄像部104和声音指示部108的声音输出功能之外的构成要素，也可以由l个系统LSI构成。
(3) 构成上述各装置的构成要素的一部分或者全部，也可以由能够相对于各装置装卸的IC卡或者单个的模块构成。上述IC卡或者上述模块是由微处理器、ROM、 RAM等构成的计算机系统。上述IC卡或者上述模块也可以包括上述的超多功能LSI。微处理器通过根据计算机程序进行动作，上述IC卡或者上述模块实现其功能。该IC卡或者该模块也可以具有耐震性。
(4) 本发明也可以是上述所示的方法。并且，也可以是通过计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成数字信号。
并且，本发明也可以是，上述计算机程序或者上述数字信号能够记录在计算机能够读取的记录媒介中，例如软盘、硬盘、CD-ROM、 MO
(Magneto-Optical disk)、 DVD (Digital Versatile Disc)、 DVD-ROM、DVD-RAM、 BD (Blu-ray Disc)、半导体存储器等。并且，也可以是这些记录媒介中所记录的上述数字信号。
并且，本发明也可以是，经由电通信线路、无线或有线通信线路、因特网为代表的网络、数据广播等，传送上述计算机程序或者上述数字信号。
并且，本发明也可以是，具备微处理器和存储器的计算机系统，上述存储器存储上述计算机程序，上述微处理器根据上述计算机程序进行动作。
并且，通过将上述程序或者上述数字信号记录到上述记录媒体中进行移送，或者将上述程序或者上述数字信号经由上述网络等进行移送，由此也可以通过独立的其他计算机来实施。
(5) 也可以将上述实施方式以及上述变形例分别组合。工业实用性
本发明，在播放、通信以及蓄积领域中，作为对映像、声音进行记录再生的设备等是有用的。并且，也可以适用为静止图像记录再生设备。并且，也可以使用为健康医疗设备。
权利要求
1、一种视线检测装置，对来自用户所安装的摄像部的输入图像中的上述用户的视线坐标进行检测，具备眼球运动检测部，通过检测上述用户的眼球运动，取得表示该眼球运动的眼球运动信息；校正物体检测部，取得上述输入图像，并判断取得的输入图像是否包含能够利用为校正物体的物体，在判断为包含的情况下，输出表示该物体的位置的位置坐标；指示部，指示上述用户看由上述位置坐标所表示的校正物体；校正参数计算部，使用接受了上述指示部的指示的上述用户的眼球运动信息和上述校正物体的位置坐标，计算出在将上述眼球运动信息校正为上述视线坐标时使用的校正参数；以及校正部，使用由上述校正参数计算部计算的校正参数，将上述眼球运动信息校正为上述视线坐标。
2、 如权利要求1所述的视线检测装置，其特征在于， 上述校正物体检测部，在判断为包含上述物体的情况下，进一步输出表示校正物体的检测完成这一情况的完成信号，上述校正参数计算部在接受了上述完成信号的情况下，使用上述眼球 运动信息和上述校正物体的位置坐标，计算上述校正参数。
3、 如权利要求2所述的视线检测装置，其特征在于， 上述校正物体检测部，提取上述输入图像的图像特征量，并判断是否存在提取的图像特征量达到规定阈值的区域，在判断为存在的情况下，输 出该区域的位置坐标，作为能够利用为上述校正物体的物体的位置坐标。
4、 如权利要求3所述的视线检测装置，其特征在于， 上述校正物体检测部，在判断为存在上述区域的情况下，进一步将提取的图像特征量输出到上述指示部，上述指示部指示上述用户看由上述位置坐标以及上述图像特征量所表 示的校正物体。
5、 如权利要求4所述的视线检测装置，其特征在于， 上述指示部生成引导信息，并使用声音或者骨传导向上述用户指示生成的引导信息，该引导信息表示由上述位置坐标以及上述图像特征量所表 示的校正物体的信息。
6、 如权利要求3所述的视线检测装置，其特征在于， 上述校正物体检测部，提取边缘信息、颜色信息、亮度等级信息以及活动信息中的至少一个，作为上述输入图像的图像特征量。
7、 如权利要求2所述的视线检测装置，其特征在于， 上述校正物体检测部，判断上述输入图像中是否包含人脸、上述用户身体的一部分、或者上述用户安装或保持的物体作为能够利用为上述校正 物体的物体。
8、 如权利要求2所述的视线检测装置，其特征在于， 上述视线检测装置还具备输出上述校正物体的校正物体输出部， 上述指示部指示上述用户看由上述校正物体输出部输出的校正物体。
9、 如权利要求2所述的视线检测装置，其特征在于， 上述视线检测装置还具备计测到上述校正物体为止的距离的校正物体距离计测部，上述校正参数计算部，还使用由上述校正物体距离计测部计测的距离， 计算上述校正参数。
10、 如权利要求2所述的视线检测装置，其特征在于， 上述眼球运动检测部，取得表示上述用户的眼电位或者眼球移动量的信息，作为上述眼球运动信息。
11、 如权利要求2所述的视线检测装置，其特征在于， 上述校正参数为将上述用户的眼球运动信息与上述视线坐标建立了对应的表，上述校正参数计算部，使用接受了上述指示部的指示的上述用户的眼 球运动信息和上述校正物体的位置坐标，更新上述表，上述校正部，通过参照由上述校正参数计算部更新的表，将上述眼球 运动信息校正为上述视线坐标。
12、 一种视线检测方法，对来自用户所安装的摄像部的输入图像中的上述用户的视线坐标进行检测，具备眼球运动检测步骤，通过检测上述用户的眼球运动，取得表示该眼球 运动的眼球运动信息；校正物体检测步骤，取得上述输入图像，并判断取得的输入图像是否 包含能够利用为校正物体的物体，在判断为包含的情况下，输出表示该物 体的位置的位置坐标；指示步骤，指示上述用户看由上述位置坐标所表示的校正物体；校正参数计算步骤，使用接受了上述指示的上述用户的眼球运动信息 和上述校正物体的位置坐标，计算在将上述眼球运动信息校正为上述视线 坐标时使用的校正参数；以及校正步骤，使用在上述校正参数计算步骤中计算的校正参数，将上述 眼球运动信息校正为上述视线坐标。
13、 一种程序，其特征在于， 使计算机执行权利要求12所述的视线检测方法。
14、 一种集成电路，对来自用户所安装的摄像部的输入图像中的上述 用户的视线坐标进行检测，具备眼球运动检测部，通过检测上述用户的眼球运动，取得表示该眼球运 动的眼球运动信息；校正物体检测部，取得上述输入图像，并判断取得的输入图像是否包 含能够利用为校正物体的物体，在判断为包含的情况下，输出表示该物体的位置的位置坐标；指示部，指示上述用户看由上述位置坐标所表示的校正物体； 校正参数计算部，使用接受了上述指示部的指示的上述用户的眼球运动信息和上述校正物体的位置坐标，计算在将上述眼球运动信息校正为上述视线坐标时使用的校正参数；以及校正部，使用由上述校正参数计算部计算的校正参数，将上述眼球运动信息校正为上述视线坐标。
全文摘要
一种视线检测装置，能够在短时间内准确地计算出用于对来自装着在摄影者头部上的摄像部的输入图像中的摄影者的视线坐标进行检测的校正参数。该视线检测装置(100)，对来自用户所装着的摄像部(104)的输入图像中的用户的视线坐标进行检测，其具备眼球运动检测部(101)，检测用户的眼球运动；校正物体检测部(105)，取得输入图像，并判断取得的输入图像是否包含能够利用为校正物体的物体，在判断为包含的情况下，输出表示该物体位置的位置坐标；指示部(108)，指示用户看由上述位置坐标所表示的校正物体；校正参数计算部(106)，使用接受了指示的用户的眼球运动信息和上述校正物体的位置坐标，计算出校正参数；以及校正部(102)，使用计算的校正参数将眼球运动信息校正为视线坐标。
文档编号G06F3/033GK101677762SQ200980000280
公开日2010年3月24日 申请日期2009年2月25日 优先权日2008年2月28日
发明者佐藤大将, 杉尾敏康 申请人:松下电器产业株式会社