头戴式显示设备的制作方法
【专利摘要】本发明提供一种头戴式显示设备，所述头戴式显示设备包括：显示屏幕；眼球跟踪单元，跟踪眼球视线位置，并提供眼球视线位置信息；控制器，接收所述眼球视线位置信息，判断眼球视线落在所述显示屏幕的显示区域之外是否超过预定时间，如果超过预定时间，则控制所述显示屏幕的显示区域进入无显示模式。
【专利说明】头戴式显示设备
【技术领域】
[0001 ] 本发明属于自动电源管理领域，涉及一种头戴式显示设备。
【背景技术】
[0002]头戴式显示设备(Head Mounted Display,HMD)指的是可以戴在头上的显示设备。HMD—般使用“近眼光学系统”来在距离眼球几厘米的显示屏幕(例如镜片)上显示图形图片等多媒体信息。根据显示屏幕的数量，HMD可以细分为“单镜片HMD”和“双镜片HMD”。一些HMD只显示一张“计算机生成图像”(CGI)，而一些种类的HMD则可以以“现实世界视角”的方式显示叠加的CGI。后者一般又称为“增强的现实”，因为使用者的对于现实世界的图像信息被附着在显示设备上的图像给“强化”了。具体来说，就是用户既可以通过透明的镜片观看自己周围的外部世界，也可以通过控制系统在镜片上显示一些多媒体信息，例如文字(在前方看到的一座大厦的名字，距离自己最近的餐馆的位置以及其招牌菜、菜单等即时信息)。
[0003]HMD具有许多实用性的和娱乐性的应用。例如，航天应用允许飞行员在眼光不从飞行路线上移开的前提下，查看至关重要的飞行控制信息。公共安全应用可以包括跟踪显示地图信息以及犯罪嫌疑人的面部自动识别匹配信息等。其他应用领域也可以包括视频游戏、远程医疗、远程控制等。由于该技术还处于早期阶段，随着该技术的发展，将会有更多的实用性和娱乐性的应用出现。但是，目前这些应用被限制在成本、尺寸、显示区域、以及用来实现当前HMD的传统光学设备的效率问题等。并且，其他一些尚未彻底解决的技术问题将会随着HMD的迅猛发展而被逐步攻克并实现其在市场上的广泛应用。
[0004]另一方面，眼球跟踪技术近期被广泛关注。某些便携式设备(例如三星galaxy s4手机)已经集成该功能，实现诸如用户兴趣点记录、屏幕控制(如翻页、下拉显示)等诸多功倉泛。
[0005]头戴式显示设备中的电池的续航能力直接影响着用户的使用体验。然而，目前使用手指触摸式控制或者声音控制的电源管理，需要用户主动付出比较多的交互成本，从而降低了用户使用可头戴式显示设备的体验效果。
【发明内容】
[0006]针对上述问题，本发明提出一种头戴式显示设备，通过眼球跟踪技术来自动控制头戴式显示设备的电源，从而节省用户的交互成本。
[0007]根据本发明的一方面，一种头戴式显示设备包括:显示屏幕；眼球跟踪单元，跟踪眼球视线位置，并提供眼球视线位置信息；控制器，接收所述眼球视线位置信息，判断眼球视线落在所述显示屏幕的显示区域之外是否超过预定时间，如果超过预定时间，则控制所述显示屏幕的显示区域进入无显示模式。
[0008]如果眼球视线落在所述显示屏幕的显示区域之外超过第一预定时间，则控制器控制所述显示屏幕的显示区域进入暗化模式；如果在第一预定时间之后眼球视线落在所述显示屏幕的显示区域之外超过第二预定时间，则控制器控制所述显示屏幕的显示区域进入无显示模式。
[0009]如果在第一预定时间之后的第二预定时间内眼球视线落在所述显示屏幕的显示区域内，则控制器控制所述显示屏幕的显示区域进入亮化显示模式。
[0010]眼球跟踪单元包括:红外光源，朝向用户的眼睛发射红外光；红外摄像头，接收被用户眼球瞳孔反射的红外光，并提供眼球视线位置信息。
[0011]如果红外摄像头在与显示屏幕的预定距离内没有捕获到用户眼球超过预定时间，则控制器控制所述显示屏幕的显示区域进入无显示模式。
[0012]如果红外摄像头在与显示屏幕的预定距离内没有捕获到用户眼球超过第三预定时间，则控制器控制所述显示屏幕的显示区域进入暗化模式；如果红外摄像头在第三预定时间之后在与显示屏幕的预定距离内没有捕获到用户眼球超过第四预定时间，则控制器控制所述显示屏幕的显示区域进入无显示模式。
[0013]如果红外摄像头在第三预定时间之后的第四预定时间内捕获到用户的眼球视线位置位于显示屏幕的显示区域内，则控制器控制所述显示屏幕的显示区域进入亮化显示模式。
[0014]在显示屏幕的显示区域处于无显示模式下，用户通过下列方式中的一种重新开启显示屏幕的显示区域:用户通过触摸设置在头戴式显示设备中的触摸板使得显示屏幕的显示区域进入开启状态；用户通过语音开启指令使得显示屏幕的显示区域进入开启状态。
[0015]可头戴式显示设备还包括:存储器，存储关于用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系的数据。眼球跟踪单元捕获用户眼球的图像，控制器根据捕获的用户眼球的图像确定用户眼球的移动方向，将确定的用户眼球的移动方向与存储器中存储的用户眼球的移动方向进行匹配；如果匹配，则控制器根据存储器中存储的用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系，来开启/关闭显示屏幕。
[0016]控制器从捕获的用户眼球的图像识别用户眼球的位置，以确定用户眼球的移动方向。眼球位置的识别包括眼球图像捕获、眼球类似物估计和眼球边界检测。眼球图像捕获包括:眼球跟踪单元捕获一帧用户眼球的图像；控制器将捕获的图像转换为灰度图像；控制器对灰度图像进行高斯模糊过滤。眼球类似物估计包括:对于用户眼球图像中的每一个当前像素，分别基于当前像素在横向和纵向绘制两条直线，得到当前像素周围的8个相邻区域；分别计算所述8个相邻区域的像素的灰度的平均值；将当前像素的灰度与所述8个相邻区域的像素的灰度的平均值进行比较，如果当前像素的灰度比所述8个相邻区域中的6个相邻区域的像素的灰度的平均值大，则将当前像素估计为眼球类似物像素。眼球边界检测包括:将眼球类似物像素转换成斑点区域集合；去除宽度大于2w或者高度大于2h的斑点、宽度小于w/4或者高度小于w/4的斑点以及取向大于45度的斑点；如果只剩最后一个斑点，则所述斑点被确定为与眼球对应的图像；如果多于一个斑点，则去除斑点区域集合中最上面的斑点，或者去除形状最不接近圆或椭圆的斑点，直到只剩最后一个斑点，所述斑点被识别为用户眼球，其中，w表示用户眼球图像中眼球的宽度，h表示用户眼球图像中眼球的高度。
[0017]控制器从识别的用户眼球确定用户眼球瞳孔的位置，以获得用户的眼球移动方向，其中，对于被识别为眼球的斑点，控制器构建瞳孔识别三角形，将所述三角形的中心点识别为瞳孔的中心点，从而得到瞳孔的位置。
[0018]眼球跟踪单元捕获用户眼球的图像，控制器根据捕获的用户眼球的图像确定用户快速连续眨眼次数，如果用户快速连续眨眼次数达到预定次数，则控制器切换显示屏幕的开启/关闭状态。
[0019]根据本发明的另一方面，一种头戴式显示设备包括:显示屏幕；眼球跟踪单元，捕获用户眼球的图像；控制器，从捕获的用户眼球的图像识别用户眼球的位置，以确定用户眼球的移动方向，存储器，存储关于用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系的数据，其中，控制器将确定的用户眼球的移动方向与存储器中存储的用户眼球的移动方向进行匹配；如果匹配，则控制器根据存储器中存储的用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系，来开启/关闭显示屏幕。
[0020]根据本发明的另一方面，提供一种头戴式显示设备的自动电源管理方法，所述头戴式显示设备包括显示屏幕、眼球跟踪单元以及控制器，所述方法包括:眼球跟踪单元跟踪眼球视线位置，并提供眼球视线位置信息；控制器接收所述眼球视线位置信息，判断眼球视线落在显示屏幕的显示区域之外是否超过预定时间，如果超过预定时间，则控制显示屏幕的显示区域进入无显示模式。
[0021]本发明可以有效地根据用户眼球视线位置的变化，来自动控制头戴式显示设备的电源管理以及显示屏幕的显示区域的明亮灰度控制，在无需用户主动提供触屏操作或者声音控制等的前提下，能够达到更好的用户体验效果。本发明能够自动识别用户眼球位置和瞳孔位置，并基于眼球位置和瞳孔位置来自动控制显示屏幕的显示区域的开启/关闭。本发明可以更好地取代目前用户主动控制的交互方式，降低了用户的使用成本。
【专利附图】
【附图说明】
[0022]通过结合附图，从下面的实施例的描述中，本发明这些和/或其它方面及优点将会变得清楚，并且更易于理解，其中:
[0023]图1是示出根据本发明实施例的头戴式显示设备的前向视角示意图；
[0024]图2是示出根据本发明实施例的用户的眼球视线位置从显示屏幕2的显示区域内变化到显示区域外的示意图(前向视角示意图)；
[0025]图3是示出根据本发明实施例的用户的眼球视线位置从显示屏幕2的显示区域内变化到显示区域外的示意图(用户视角示意图)；
[0026]图4示出根据本发明实施例的头戴式显示设备的自动电源管理方法的流程图；
[0027]图5是头戴式显示设备的眼球跟踪单元和控制器的交互过程；
[0028]图6示出了处理前的一帧彩色用户眼球图像和处理后的一帧黑白灰度的用户眼球图像；
[0029]图7示出了根据本发明的用户眼球图像中的每一个当前像素的8个相邻区域的划分；
[0030]图8示出了根据本发明的眼球类似物像素的估计结果；
[0031]图9示出了根据本发明的确定斑点是否接近圆或椭圆的示例；
[0032]图10示出了根据本发明的确定用户眼球瞳孔位置的示例；
[0033]图11示出了根据本发明的眼球位置和瞳孔位置的识别结果的示例。【具体实施方式】
[0034]以下参照附图来详细描述本发明的实施例。根据HMD的显示屏幕的数量，HMD可以细分为单镜片HMD和双镜片HMD。本发明可同时适用于单镜片HMD以及双镜片HMD。
[0035]图1是示出根据本发明实施例的头戴式显示设备的前向视角示意图。
[0036]参照图1，头戴式显示设备可包括显示屏幕2、眼球跟踪单元3和控制器4。图1中的标号I表示头戴式显示设备的框架。框架I可由特定材料(例如碳纤维等轻质材料)制成。显示屏幕2、眼球跟踪单元3和控制器4可安装在头戴式显示设备的框架I中。
[0037]显示屏幕2可被设置有触摸式控制界面或者麦克风配合声音识别模块等来接受用户的触摸式以及声音等控制信息，实现交互。
[0038]显示屏幕2可以是一个显示屏幕或两个显示屏幕(即，左显示屏幕21和右显示屏幕22)，分别对应于单镜片HMD和双镜片HMD。
[0039]眼球跟踪单元3跟踪眼球视线位置，并提供眼球视线位置信息。
[0040]具体地，眼球跟踪单元3可包括红外光源31和红外摄像头32。红外光源31朝向用户的眼睛发射红外光。红外摄像头32接收被用户眼球瞳孔反射的红外光，并提供眼球视线位置信息。红外摄像头32可以是针孔式红外摄像头。红外光源31可以是红外发光二极管或红外激光二极管。
[0041]控制器4接收眼球视线位置信息，判断眼球视线是否落在显示屏幕2的显示区域之内，如果眼球视线落在显示屏幕2的显示区域之外超过预定时间，则控制相应的显示屏幕2的显示区域进入无显示模式。显示屏幕2的显示区域可以是矩形显示区域。此外，如果确定用户的眼球视线落在显示屏幕2的显示区域之内，可确定用户佩戴了头戴式显示设备，用户的眼球与显示屏幕2的距离基本保持不变。
[0042]具体地，如果眼球视线落在显示屏幕2的显示区域之外超过第一预定时间(例如2秒)，则控制器4控制相应的显示屏幕2的显示区域进入暗化模式。如果在第一预定时间之后的第二预定时间内眼球视线落在显示屏幕2的显示区域内，则控制器4控制相应的显示屏幕2的显示区域进入亮化显示模式。如果在第一预定时间之后眼球视线落在显示屏幕2的显示区域之外超过第二预定时间(例如I秒)，则控制器4控制相应的显示屏幕2的显示区域进入无显示模式。此时，显示屏幕2可变为普通的透明镜片，控制器4可进入休眠状态。
[0043]此外，如果用户没有佩戴头戴式显示设备超过预定时间，即，如果红外摄像头32在与显示屏幕2的预定距离内没有捕获到用户眼球超过预定时间，则控制器4控制相应的显示屏幕2的显示区域进入无显示模式(头戴式显示设备进入待机模式)。
[0044]具体地，如果红外摄像头32在与显示屏幕2的预定距离内没有捕获到用户眼球超过第三预定时间(例如2秒)，则控制器4控制相应的显示屏幕2的显示区域进入暗化模式。如果红外摄像头32在第三预定时间之后在与显示屏幕2的预定距离内没有捕获到用户眼球超过第四预定时间(例如I秒)，则控制器4控制相应的显示屏幕2的显示区域进入无显示模式。此时，显示屏幕2可变为普通的透明镜片，控制器4可进入休眠状态(待机模式)。
[0045]如果红外摄像头32在第三预定时间之后的第四预定时间内捕获到用户的眼球视线位置位于显示屏幕2的显示区域内(“捕获到用户的眼球视线位置位于显示屏幕2的显示区域内”则意味着“用户的眼球在与显示屏幕2的预定距离内”)，则控制器4控制相应的显示屏幕2的显示区域进入亮化显示模式。
[0046]图2是示出根据本发明实施例的用户的眼球视线位置从显示屏幕2的显示区域内变化到显示区域外的示意图(前向视角示意图)。图3是示出根据本发明实施例的用户的眼球视线位置从显示屏幕2的显示区域内变化到显示区域外的示意图(用户视角示意图)。图2和图3中的矩形方框表示显示屏幕2的显示区域。
[0047]例如，当用户的眼球视线位置从显示屏幕2的显示区域移动到显示区域之外(夕卜部世界)的时候，对应的显示屏幕2在第一预定时间的延迟(例如2秒)之后转暗，之后再经历第二预定时间的延迟(例如I秒)之后，显示区域彻底消失。
[0048]图4示出根据本发明实施例的头戴式显示设备的自动电源管理方法的流程图。
[0049]参照图4，在步骤401，眼球跟踪单元3跟踪用户的眼球视线位置，并提供用户的眼球视线位置信息。
[0050]在步骤402，控制器4接收用户的眼球视线位置信息，判断用户的眼球视线是否落在显示屏幕2的显示区域之内。
[0051]如果用户的眼球视线落在显示屏幕2的显示区域之外，则在步骤403，控制器4确定用户的眼球视线落在显示屏幕2的显示区域之外是否超过第一预定时间。
[0052]如果用户的眼球视线落在显示屏幕2的显示区域之外超过第一预定时间，则在步骤404，控制器4控制相应的显示屏幕2的显示区域进入暗化模式。
[0053]接着，在步骤405，确定在第一预定时间之后用户的眼球视线位置位于显示屏幕2的显示区域之外是否超过第二预定时间(例如I秒)。
[0054]如果确定在第一预定时间之后用户的眼球视线位置位于显示屏幕2的显示区域之外超过第二预定时间，则在步骤406，控制器4控制相应的显示屏幕2的显示区域进入无显示模式。
[0055]另外，如果在步骤402确定用户的眼球视线落在显示屏幕2的显示区域之内，则在步骤407，控制器4控制相应的显示屏幕2的显示区域进入亮化显示模式。此外，如果在步骤405确定在第二预定时间期间用户的眼球视线落在显示屏幕2的显示区域之内，则在步骤407，控制器4控制相应的显示屏幕2的显示区域进入亮化显示模式。
[0056]图5是头戴式显示设备的眼球跟踪单元和控制器的交互过程。眼球跟踪3 (例如可以是红外摄像头32)可按照脉冲信号的频次来定期地向控制器4传送“是”或“否”这两种信号；高频次代表“是”信号，“是”信号表示“用户的眼球视线落在显示屏幕的显示区域之内”;低频次代表“否”信号，“否”信号表示“用户的眼球视线落在显示屏幕的显示区域之外/在预定距离内没有捕获到用户的眼球”。
[0057]此外，在显示屏幕2的显示区域处于无显示模式下，用户可以以如下任何一种方式重新开启显示屏幕2的显示区域:
[0058]1、触摸板控制，可在头戴式显示设备的框架I上设置一个可感知的触摸板，在显示屏幕2的显示区域处于无显示模式下(头戴式显示设备处于待机模式下)，如果用户主动触摸(例如划线或者点击)该触摸板，则显示屏幕2的显示区域进入开启状态；
[0059]2、声音控制，通过用户的语音开启指令(例如用户说“开启”)来让显示屏幕2的显示区域进入开启状态。
[0060]除了头戴式显示设备检测用户眼球视线的位置以进行自动电源管理之外，还可通过用户眼球的定向移动或用户有规律的眨眼来进行可头戴式显示设备的自动电源管理(即，控制是点亮还是变暗可头戴式显示设备的显示屏幕2的显示区域)。
[0061]对于用户眼球的定向移动，可头戴式显示设备的存储器(未示出)可存储关于用户眼球的移动方向与显示屏幕2的开启/关闭之间的对应关系的数据。用户眼球的定向移动可以是从左下到右上移动、从左上到右下移动等。例如，眼球从左下到右上移动可对应于显示屏幕2的开启，眼球从左上到右下移动可对应于显示屏幕2的关闭，反之亦然，本发明不限于此。用户可通过输入装置更改这种对应关系。
[0062]眼球跟踪单元3 (红外摄像头32)捕获用户眼球的图像，控制器4根据捕获的用户眼球的图像确定用户眼球的移动方向，将确定的用户眼球的移动方向与存储器中存储的用户眼球的移动方向进行匹配。如果匹配，则控制器4根据存储器中存储的用户眼球的移动方向与显示屏幕2的开启/关闭之间的对应关系，来开启/关闭显示屏幕2。
[0063]在可头戴式显示设备最初被手动通过电源开关开启的时候，可提示用户登记多种用来控制显示屏幕2的开启/关闭的眼球移动方向。这样，在以后的使用中，当用户眼球移动方向和已经登记的多种用于开启/关闭功能的眼球移动方向相匹配时，开启/关闭功能直接被执行。这样，可以简单而快捷地让用户快速而简便地控制可头戴式显示设备的显示屏幕2的开启/关闭。
[0064]对于用户有规律的眨眼，控制器4可根据用户的眨眼次数控制显示屏幕2的开启/关闭。
[0065]具体地，眼球跟踪单元3 (红外摄像头32)捕获用户眼球的图像，控制器4根据捕获的用户眼球的图像确定用户快速连续眨眼次数，如果用户快速连续眨眼次数达到预定次数(例如2次)，则控制器4切换显示屏幕2的开启/关闭状态(例如，如果显示屏幕2的当前状态是开启状态，则控制器4将显示屏幕2切换为关闭状态；如果显示屏幕2的当前状态是关闭状态，则控制器4将显示屏幕2切换为开启状态)。
[0066]此外，控制器4根据捕获的用户眼球的图像确定用户闭眼持续时间，如果用户闭眼持续时间超过预定时间(例如2秒)，则控制器4将显示屏幕2切换为关闭状态。
[0067]特别地，在显示屏幕2关闭时，为了防止误操作引起的误关机，在用户连续快速眨眼达到预定次数之后，如果用户再次快速眨眼达到预定次数，则可头戴式显示设备彻底进入关闭状态；否则，可头戴式显示设备对用户最初的预定次数的快速眨眼不进行响应。
[0068]下面描述识别用户眼球和瞳孔的处理。识别出用户眼球之后，可以获得用户的闭眼时间以及眨眼次数；识别出瞳孔的位置之后，可以获得到用户的眼球移动(视线移动)方向，从而为随后的方向匹配做好准备。
[0069]眼球位置的识别处理主要包括眼球图像捕获、眼球类似物估计和眼球边界检测。
[0070]眼球图像捕获包括如下处理:眼球跟踪单元3 (红外摄像头32)捕获一帧用户眼球的图像；控制器4将捕获的图像转换为灰度图像；控制器4对灰度图像进行高斯模糊过滤，得到处理后的用户眼球的图像。
[0071]图6中的(a)和(b)分别示出了处理前的一帧彩色用户眼球图像和处理后的一帧黑白灰度的用户眼球图像。
[0072]眼球类似物估计包括如下处理:对于用户眼球图像中的每一个当前像素(假设其坐标为(a，b))，分别基于当前像素在横向和纵向绘制两条直线(纵向两条直线分别为x=a-l, x=a+l;横向两条直线分别为y=b-l, y=b+l),从而得到当前像素周围的8个相邻区域(即，左上区域、正上区域、右上区域、右中区域、右下区域、正下区域、左下区域、左中区域)；分别计算8个相邻区域的像素的灰度的平均值；将当前像素的灰度与8个相邻区域的像素的灰度的平均值进行比较，如果当前像素的灰度比8个相邻区域中的6个相邻区域的像素的灰度的平均值大(灰度更深)，则将当前像素估计为眼球类似物像素。
[0073]所述眼球类似物估计基于下面的事实:眼球的颜色(灰度)接近于一个黑色的圆形/椭圆形，圆形/椭圆形“黑色”眼球的周围是灰度更浅的眼白，因此圆形/椭圆形区域上的每个像素都比圆形/椭圆形之外的像素灰度更深一些。
[0074]图7示出了根据本发明的用户眼球图像中的每一个当前像素的8个相邻区域的划分。优选地，如果期望的眼球大小是wXh像素(S卩，w表示用户眼球图像中眼球的宽度，h表示用户眼球图像中眼球的高度)，则8个相邻区域中的左上区域、右上区域、右下区域、左下区域的尺寸为(w/2)X(h/2)，正上区域和正下区域的尺寸为IX (h/2)，右中区域和左中区域的尺寸为(w/2) XI。
[0075]图8示出了根据本发明的眼球类似物像素的估计结果。
[0076]眼球边界检测包括如下处理:将眼球类似物像素转换成斑点区域集合；去除宽度大于2w或者高度大于2h的斑点、宽度小于w/4或者高度小于w/4的斑点以及取向大于45度的斑点；如果只剩最后一个斑点，则所述斑点被确定为与眼球对应的图像；如果多于一个斑点，则去除斑点区域集合中最上面的斑点，或者去除形状最不接近圆或椭圆的斑点，直到只剩最后一个斑点，所述斑点被识别为用户眼球。
[0077]在判断一个斑点是否是接近圆或者椭圆的时候，可采用如下方式:1、斑点的最左边的点和最右边的点的连线的线段长度和斑点的最上边的点以及最下边的点的线段长度相比较，优先选择差异最小的斑点；2、确定如上的两个线段的交点以及交点附近的区域的点是否都在这基于两个线段所绘制的圆形区域以及椭圆形区域以内，优先选择像素数匹配度高的斑点。图9示出了上述确定过程。
[0078]在识别出用户眼球之后，可以获得用户的闭眼时间以及眨眼次数。
[0079]对于用户瞳孔的位置，采用和眼球定位类似的方式，因为瞳孔相对于眼白和眼黑部分，其灰度存在进一步变化。对于被识别为眼球的斑点，构建瞳孔识别三角形，将三角形的中心点识别为瞳孔的中心点，进而得到瞳孔的位置，如图10所示。
[0080]在识别出瞳孔的位置之后，可以获得用户的眼球移动(视线移动)方向。
[0081]图11示出了眼球位置和瞳孔位置的识别结果。
[0082]虽然上面描述了本发明的实施例，但是本发明不限于此，可以有其它变型。例如，眼球跟踪单元捕获用户眼球的图像，控制器从捕获的用户眼球的图像识别用户眼球的位置，以确定用户眼球的移动方向，将确定的用户眼球的移动方向与存储器中存储的用户眼球的移动方向进行匹配；如果匹配，则控制器根据存储器中存储的用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系，来开启/关闭显示屏幕。眼球位置的识别包括眼球图像捕获、眼球类似物估计和眼球边界检测，这些处理与前述相同，因此不再重复描述。
[0083]本发明可以有效地根据用户眼球视线位置的变化，来自动控制头戴式显示设备的电源管理以及显示屏幕的显示区域的明亮灰度控制，在无需用户主动提供触屏操作或者声音控制等的前提下，能够达到更好的用户体验效果。本发明能够自动识别用户眼球位置和瞳孔位置，并基于眼球位置和瞳孔位置来自动控制显示屏幕的显示区域的开启/关闭。本发明可以更好地取代目前用户主动控制的交互方式，降低了用户的使用成本。
[0084]虽然本发明是参照其示例性的实施例被具体描述和显示的，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。
【权利要求】
1.一种头戴式显示设备，包括: 显示屏幕； 眼球跟踪单元，跟踪眼球视线位置，并提供眼球视线位置信息； 控制器，接收所述眼球视线位置信息，判断眼球视线落在所述显示屏幕的显示区域之外是否超过预定时间，如果超过预定时间，则控制所述显示屏幕的显示区域进入无显示模式。
2.根据权利要求1所述的头戴式显示设备，其中，如果眼球视线落在所述显示屏幕的显示区域之外超过第一预定时间，则控制器控制所述显示屏幕的显示区域进入暗化模式；如果在第一预定时间之后眼球视线落在所述显示屏幕的显示区域之外超过第二预定时间，则控制器控制所述显示屏幕的显示区域进入无显示模式。
3.根据权利要求2所述的头戴式显示设备，其中，如果在第一预定时间之后的第二预定时间内眼球视线落在所述显示屏幕的显示区域内，则控制器控制所述显示屏幕的显示区域进入亮化显示模式。
4.根据权利要求1-3中任意一项所述的头戴式显示设备，其中，眼球跟踪单元包括:红外光源，朝向用户的眼睛发射红外光；红外摄像头，接收被用户眼球瞳孔反射的红外光，并提供眼球视线位置信息。
5.根据权利要求4所述的头戴式显示设备，其中，如果红外摄像头在与显示屏幕的预定距离内没有捕获到用户眼球超过预定时间，则控制器控制所述显示屏幕的显示区域进入无显示模式。
6.根据权利要求5所述的头戴式显示设备，其中，如果红外摄像头在与显示屏幕的预定距离内没有捕获到用户眼球超过第三预定时间，则控制器控制所述显示屏幕的显示区域进入暗化模式；如果红外摄像头在第三预定时间之后在与显示屏幕的预定距离内没有捕获到用户眼球超过第四预定时间，`则控制器控制所述显示屏幕的显示区域进入无显示模式。
7.根据权利要求6所述的头戴式显示设备，其中，如果红外摄像头在第三预定时间之后的第四预定时间内捕获到用户的眼球视线位置位于显示屏幕的显示区域内，则控制器控制所述显示屏幕的显示区域进入亮化显示模式。
8.根据权利要求1所述的头戴式显示设备，其中，在显示屏幕的显示区域处于无显示模式下，用户通过下列方式中的一种重新开启显示屏幕的显示区域: 用户通过触摸设置在头戴式显示设备中的触摸板使得显示屏幕的显示区域进入开启状态； 用户通过语音开启指令使得显示屏幕的显示区域进入开启状态。
9.根据权利要求1所述的头戴式显示设备，可头戴式显示设备还包括:存储器，存储关于用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系的数据， 眼球跟踪单元捕获用户眼球的图像，控制器根据捕获的用户眼球的图像确定用户眼球的移动方向，将确定的用户眼球的移动方向与存储器中存储的用户眼球的移动方向进行匹配；如果匹配，则控制器根据存储器中存储的用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系，来开启/关闭显示屏幕。
10.根据权利要求9所述的头戴式显示设备，其中，控制器从捕获的用户眼球的图像识别用户眼球的位置，以确定用户眼球的移动方向，眼球位置的识别包括眼球图像捕获、眼球类似物估计和眼球边界检测， 眼球图像捕获包括:眼球跟踪单元捕获一帧用户眼球的图像；控制器将捕获的图像转换为灰度图像；控制器对灰度图像进行高斯模糊过滤， 眼球类似物估计包括:对于用户眼球图像中的每一个当前像素，分别基于当前像素在横向和纵向绘制两条直线，得到当前像素周围的8个相邻区域；分别计算所述8个相邻区域的像素的灰度的平均值；将当前像素的灰度与所述8个相邻区域的像素的灰度的平均值进行比较，如果当前像素的灰度比所述8个相邻区域中的6个相邻区域的像素的灰度的平均值大，则将当前像素估计为眼球类似物像素， 眼球边界检测包括:将眼球类似物像素转换成斑点区域集合；去除宽度大于2w或者高度大于2h的斑点、宽度小于w/4或者高度小于w/4的斑点以及取向大于45度的斑点；如果只剩最后一个斑点，则所述斑点被确定为与眼球对应的图像；如果多于一个斑点，则去除斑点区域集合中最上面的斑点，或者去除形状最不接近圆或椭圆的斑点，直到只剩最后一个斑点，所述斑点被识别为用户眼球，其中，w表示用户眼球图像中眼球的宽度，h表示用户眼球图像中眼球的高度。
11.根据权利要求10所述的头戴式显示设备，其中，控制器从识别的用户眼球确定用户眼球瞳孔的位置，以获得用户的眼球移动方向， 其中，对于被识别为眼球的斑点，控制器构建瞳孔识别三角形，将所述三角形的中心点识别为瞳孔的中心点，从而得到瞳孔的位置。
12.根据权利要求1所述的头戴式显示设备，其中，眼球跟踪单元捕获用户眼球的图像，控制器根据捕获的用户眼球的图像确定用户快速连续眨眼次数，如果用户快速连续眨眼次数达到预定次数，则控制器切换显示屏幕的开启/关闭状态。
13.一种头戴式显示设备，包括:显示屏幕； 眼球跟踪单元，捕获用户眼球的图像； 控制器，从捕获的用户眼球的图像识别用户眼球的位置，以确定用户眼球的移动方向， 存储器，存储关于用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系的数据， 其中，控制器将确定的用户眼球的移动方向与存储器中存储的用户眼球的移动方向进行匹配；如果匹配，则控制器根据存储器中存储的用户眼球的移动方向与显示屏幕的开启/关闭之间的对应关系，来开启/关闭显示屏幕。
14.根据权利要求13所述的头戴式显示设备，其中，眼球位置的识别包括眼球图像捕获、眼球类似物估计和眼球边界检测， 眼球图像捕获包括:眼球跟踪单元捕获一帧用户眼球的图像；控制器将捕获的图像转换为灰度图像；控制器对灰度图像进行高斯模糊过滤， 眼球类似物估计包括:对于用户眼球图像中的每一个当前像素，分别基于当前像素在横向和纵向绘制两条直线，得到当前像素周围的8个相邻区域；分别计算所述8个相邻区域的像素的灰度的平均值；将当前像素的灰度与所述8个相邻区域的像素的灰度的平均值进行比较，如果当前像素的灰度比所述8个相邻区域中的6个相邻区域的像素的灰度的平均值大，则将当前像素估计为眼球类似物像素，眼球边界检测包括:将眼球类似物像素转换成斑点区域集合；去除宽度大于2w或者高度大于2h的斑点、宽度小于w/4或者高度小于w/4的斑点以及取向大于45度的斑点；如果只剩最后一个斑点，则所述斑点被确定为与眼球对应的图像；如果多于一个斑点，则去除斑点区域集合中最上面的斑点，或者去除形状最不接近圆或椭圆的斑点，直到只剩最后一个斑点，所述斑点被识别为用户眼球，其中，w表示用户眼球图像中眼球的宽度，h表示用户眼球图像中眼球的高度。
15.根据权利要求14所述的头戴式显示设备，其中，控制器从识别的用户眼球确定用户眼球瞳孔的位置，以获得用户的眼球移动方向， 其中，对于被识别为眼球的斑点，控制器构建瞳孔识别三角形，将所述三角形的中心点识别为瞳孔的中心点，从而得到瞳孔的位置。
16.根据权利要求13所述的头戴式显示设备，其中，眼球跟踪单元捕获用户眼球的图像，控制器根据捕获的用户眼球的图像确定用户快速连续眨眼次数，如果用户快速连续眨眼次数达到预定次数，则控制器切换显示屏幕的开启/关闭状态。
【文档编号】G06F3/01GK103593051SQ201310556394
【公开日】2014年2月19日 申请日期:2013年11月11日 优先权日:2013年11月11日
【发明者】吴先超 申请人:百度在线网络技术（北京）有限公司