三维上的凝视点的位置确定方法与流程

本发明涉及在立体影像中的用户的凝视点的确定方法。

背景技术：

在头戴式显示器(HMD)等显示装置中，已知有追踪用户的视线的装置，但实际上用户所凝视的点与装置所识别的用户的视线之间存在误差，因此无法准确地确定用户的视线。

一般而言，作为模拟出与通过机器显示的角色之间的通信的装置，已知有模拟游戏等。

例如，关于对用户的眼睛进行摄像的用户界面装置，已知有现有技术文献1中所记载的装置。在该用户界面装置中，用户的视线用作对装置的输入机构。

并且，关于通过用户的视线进行输入的装置，已知还有现有技术文献2中所记载的装置。在该装置中，通过用户的视线位置检测机构、影像显示机构及视线位置与影像两者的一致检测机构而能够实现由用户视线进行的输入。

作为现有利用虚拟角色进行通信模拟的装置已知有例如如现有技术文献3那样，将通过键盘的文字输入作为主要输入且将用户的脉搏、体温、出汗作为辅助输入的装置。

现有技术文献

专利文献

专利文献1:日本公开专利公报2012-008745号

专利文献2:日本公开专利公报平09-018775号

专利文献3:日本公开专利公报2004-212687号

技术实现要素：

发明要解决的问题

在包括头戴式显示器的显示器中，当追踪用户的视线时，用户的两眼的瞳孔方向与用户所凝视的点不一定一致，因此，谋求确定准确的用户的凝视点的坐标的技术。

当人用眼睛看事物时，根据与对象物之间的距离调整晶状体的厚度，调节焦距以清晰地结像出对象物的像。由此，针对从视点远离的对象物，焦距未对准，依稀可见。

然而，在现有立体影像的情况下，仅通过对两眼提供不同的影像来演出立体感，针对应从视点远离的对象物的焦距也对准，清晰可见。

为了进行通过机器的通信模拟，必须对模拟体系中导入现实的通信要素。尤其，在现实的通信中，由于相互视线识别起很大作用，因而，如何将用户的视线检测及判定导入到模拟中成为技术课题。

并且，在实际的通信中，使脸部方向朝向对方也是重要的，因此，如何检测并判定这一点而导入到模拟中也是技术课题之一。

用于解决问题的方案

上述目的由凝视点算出方法实现，所述凝视点算出方法包括：通过来自摄像用户的眼睛的摄影机的数据算出用户的两眼的视线数据；通过光线投影法或Z缓存法对所算出的视线数据与游戏引擎所管理的三维空间的深度数据进行对照；及计算用户所凝视的三维空间中的三维坐标位置。

根据本发明的凝视点算出方法，优选地，利用通过视线检测方法确定出的三维上的坐标位置信息来对该坐标的场面施加伴随深度信息的模糊表现，从而虚拟性地导入聚焦表现。

根据本发明的凝视点算出方法，优选地，显示交互的对象物，在用户的视线和脸部方向与显示在影像显示单元的对象物的特定部位一致一定时间以上的情况下，判定为用户与所述对象物进行交互。

本发明的由具有视线检测功能的显示装置的模拟通过来自用于检测用户的脸部方向的方向传感器的数据算出用户的脸部方向，在用户的视线和脸部方向与显示在影像显示单元的对象物的特定部位一致一定时间以上的情况下，判定为用户与对象物进行交互。

本发明的由具有视线检测功能的显示装置的模拟通过来自用于检测用户的脸部方向的方向传感器的数据算出用户的脸部方向，在用户的视线、脸部方向和位置与显示在影像显示单元的对象物的特定部位一致一定时间以上的情况下，判定为用户与对象物进行交互。

根据本发明的凝视点算出方法，优选内装在头戴式显示器(HMD)，所述头戴式显示器(HMD)包括影像显示单元和用于对用户的眼睛进行摄像的摄影机，其中，影像显示单元和摄影机容纳于被固定在用户的头部的壳体。

发明效果

在利用HMD等3D影像装置的立体影像中，当算出用户的凝视点时，如果仅摄像用户的眼睛，就在实际用户的凝视点和所算出的凝视点之间产生误差，但通过对在影像中的对象进行对照而算出用户的凝视点，从而能够准确地算出用户的凝视点。

在影像中用户的焦点和在影像空间中的深度隔开的位置添加模糊，从而提供立体影像。为此，必需准确地算出用户的焦点，但若作为焦点只简单算出两眼视线的最短距离点或交点，则与用户实际凝视的焦点之间产生误差，因此，通过本发明的方法补正该误差。

根据所述构成，当通过根据本发明的具有视线检测功能的显示装置进行通信模拟时，通过具备用于显示角色的影像显示单元和用于对用户的眼睛进行摄像的摄影机，检测用户的视线，并算出用户在看所显示的影像中哪一部分。

从而，当用户的视线在一定时间范围内朝向显示在影像显示单元的角色的特定部位时，尤其，当用户看见角色的眼睛或脸部的中心附近时，就判定为适当进行通信。

由此，与不伴随视线输入步骤的现有通信模拟相比，能够实现更接近现实通信的模拟。

在通信模拟中，通过包括用于检测用户的脸部方向的方向传感器并通过方向传感器分析用户的脸部方向，从而判定是否不仅用户的视线朝向角色而且用户的脸部朝向角色。

由此，当用户变更脸部方向时，可以根据用户的脸部方向改变影像。并且，通过只有用户的脸部朝向角色就判定进行通信，能够实现更准确的通信模拟。

在影像显示单元和摄影机容纳于固定在用户的头部的壳体且整体上为HMD的情况下，可以将现有HMD技术直接应用到本发明中，从而无需利用大型屏幕，也能够向用户的视野以较宽的角度显示影像。

附图说明

图1为本发明的焦点识别功能的方法的简化流程图。

图2为本发明的焦点识别功能的方法的流程图。

图3为模拟的流程图。

图4为本发明的第一实施方式的具有视线检测功能的HMD型显示装置的安装图。

图5为本发明的第二实施方式的具有视线检测功能的眼镜型显示装置的安装图。

图6为对用户的两眼进行摄像的本发明的结构图。

具体实施方式

图1为本发明的焦点识别功能的方法的简化流程图。

摄影机10通过对用户的两眼进行摄像来算出视线数据。接着，通过光线投影法11或Z缓存法13将所述视线数据与游戏引擎内的三维空间中深度数据12进行对照，通过凝视点算出处理法14算出凝视点，确定用户所凝视的三维空间中的三维坐标位置。

摄影机10对用户的两眼进行摄像来算出用户的两眼的视线的最短距离点或交点，参照与用户的两眼的视线的最短距离点或交点最接近的影像部的Z缓冲值。然后，根据所述Z缓冲值和其他影像部的Z缓冲值之差而对其他影像部添加模糊。

图2为更详细地示出图1中的方法的流程图。首先，通过Z缓存法或光线投影法输入游戏中的一点。

根据Z缓存法，将用户的视线投影到设定有Z缓冲值的游戏中对象200，算出游戏中作为对象的表面设定的点的坐标201，并作为Z点输入202。

根据光线投影法，向游戏引擎中的三维空间引入投影线203，在游戏中的物理线上作为P点输入视线与游戏中对象的交点的坐标204。

判定P点或Z点是否存在至少一点205，而且，在存在至少一点的一致点的情况下，判定是否一致点有两点且所述两点是否为小于阈值α的距离206，在一致点有两点且所述两点的距离小于α的情况下，作为焦点输出该两点的中点207或作为焦点输出该两点的重点208。

另一方面，在P点和Z点的一致点小于或等于一点时，或在虽然是两点但所述两点的距离以阈值α以上隔开时，算出两眼视线的最短距离点或交点(CI)209并输入两眼视线的最短距离点或交点(CI)210。

判定CI是否具有起源点211，若不具有起源点，则视为未确定焦点，从而输出从焦点的值远离的点212。

另一方面，在CI存在起源点的情况下，判定是否在从CI距离较近的范围存在Z点213，若Z点的距离在较近的范围存在，作为焦点输出Z点214，若Z点的距离在较近的范围不存在，则对CI施加过滤215，对该被过滤的值施加混合来输出216。

图3为示出通过根据本发明的具有视线检测功能的显示装置的通信模拟的流程图。

在图3中，在模拟启动后，通过借助点击或键盘的输入步骤31，开始模拟而转移到开始画面32。

从开始画面32起，经过由用户的角色探索步骤33、角色显示画面34、由用户视线的输入步骤35、适当通信的判定步骤36、在通信成功时的画面37或在通信失败时的画面38，最终转移到模拟结束39。

图4为根据本发明的第一实施方式的安装图。具有视线检测功能的显示装置40包括用于检测脸部方向的传感器41，并且影像显示单元和摄影机10容纳于被固定在用户的头部的壳体，且作为整体而言为HMD型。

图5为根据本发明的第二实施方式的安装图。具有视线检测功能的显示装置采用用于个人计算机的显示器等除了HMD之外的影像显示装置，且作为整体而言为眼镜型。在角色的探索画面中，用户通过鼠标或键盘的操作，操作并探索显示在影像显示装置的焦点。

在第二实施方式中，对通过摄影机10摄像到的眼睛的图像和用于检测脸部方向的传感器41的信息进行分析，从而分析出用户的视线。

图6为摄影机10对两眼进行摄像的结构图。通过视差62算出用户的视线的最短距离点或交点63在空间上的坐标。

例如在通信的判定步骤36中，若最短距离点或交点63的坐标朝向显示在影像显示单元的角色的特定部位一定时间以上，则判定为用户与所述角色进行通信。

通过包括用于检测用户的脸部方向的传感器41并利用传感器41分析用户的脸部方向，若用户的视线和脸部方向朝向显示在所述影像显示单元的角色的特定部位一定时间以上，则判定为用户与所述角色进行通信。

在实施本发明的情况下的角色的探索步骤33中，若用户改变脸部方向，则沿着脖子的方向所显示的画面发生变化。由此，在现实空间中改变脸部方向时投射到眼睛的视野变化的现象就再现在通过HMD的影像表现上。

在角色探索步骤33中，由于在开始时设定为角色在视野外存在，因而角色不显示在画面上，但通过用户回头看的行为，在背景影像变化的同时显示角色。

在本发明中的摄影机10为对用户的眼睛进行摄像的小型摄影机，通过用摄影机10摄像的图像算出用户的视线。

在根据本发明的模拟中，将用户的视线当作模拟的主要输入要素。

在视线输入步骤35中，对由摄影机10的用户视线进行分析，以被输入为视线数据。

在通信判定步骤36中，若用户的视线朝向显示在影像显示单元的角色的特定部位一定时间以上，则判定为用户与角色进行通信。

在通信判定步骤36中，角色看着用户约15秒。

在所述约15秒的时间内，若用户的视线朝向角色脸部的中心附近约1秒以上，则判定为通信成功。

另一方面，若在用户的视线不朝向角色脸部的中心附近1秒以上的状态下经过15秒，则判定为通信失败。

而且，在用户的视线移动太快或过渡凝视角色的情况下，也就判定为通信失败。

在通信成功时的画面37上，角色与用户打招呼。另一方面，在通信失败时的画面38上，角色不与用户打招呼，直接走了过去。

在开始模拟之前，为了准确的视线输入，设置调整步骤。

在本发明中，为了由视线的输入，从用摄影机摄像的瞳孔的影像算出用户的视线方向。在此，通过分析用户的眼睛40的影像来算出计算上的视线，该计算上的视线与用户实际凝视的实际视线之间有可能发生差异。

由此，在调整这种差异的步骤中，使用户凝视显示在画面上的指针，从而算出用户凝视的实际视线的位置与计算上的视线的位置之间的差异。

然后，在模拟中，在计算上的视线的位置，修正所算出的差值，从而将装置所识别的焦点的位置对准到用户实际凝视的一点。

附图标记说明

10：摄影机

11：光线投影法

12：三维空间的深度数据

13：Z缓存法

14：凝视点算出处理法

15：用户所凝视的三维空间中的坐标位置

200：向Z缓存器投影视线

201：算出游戏中的Z点

202：输入Z点

203：通过光线投影法引出投影线

204：输入P点

205：是否P点或Z点存在至少一点？

206：是否存在一对的P点或Z点且距离小于阈值α？

207：算出P点或Z点的中点

208：输出P点或Z点的中点

209：算出视线以算出最短距离点或交点(CI)

210：输入CI值

211：CI是否具有起源点？

212：将远处的点作为焦点输出

213：P点或Z点是否在从CI较近的距离内存在？

214：输出P点或Z点

215：过滤CI值

216：输出被过滤的CI值

30：启动

31：开始输入步骤

32：开始画面

33：由用户的探索

34：角色显示画面

35：视线输入步骤

36：通信判定步骤

37：在通信成功时的画面

38：在通信失败时的画面

39：模拟结束

40：具有视线检测功能的HMD型显示装置

41：用于检测脸部方向的传感器

50：具有视线检测功能的眼镜型显示装置

52：屏幕

60：眼睛

61：镜片

62：视差

63：最短距离点或交点