人眼三维位置信息的确定方法和装置的制造方法

文档序号:10625013
人眼三维位置信息的确定方法和装置的制造方法
【专利摘要】本发明提供了一种人眼三维位置信息的确定方法和装置,所述方法包括:从拍摄的人脸图像中检测出人眼区域;从所述人眼区域中确定出二维人眼关键点;根据二维人眼关键点拟合出目标三维人眼模型后,基于所述目标三维人眼模型确定人眼三维位置信息。进一步地,将所述人眼三维位置信息转换到所述移动设备的显示屏的三维坐标系中;根据转换后的人眼三维位置信息,对所述显示屏显示的三维图像内容进行调整或重新绘制。应用本发明,可以获取准确度更高、精度更高的人眼三维位置信息,并提高用户观看三维图像时的活动空间和舒适度。
【专利说明】
人眼Ξ维位置信息的确定方法和装置
技术领域
[0001] 本发明设及Ξ维立体显示技术领域,具体而言,本发明设及一种人眼Ξ维位置信 息的确定方法和装置。
【背景技术】
[0002] 与二维显示技术相比,Ξ维显示技术能够一定程度上真实地再现客观世界的景 象,让人们有身临其境的感觉,因此,在科研、娱乐、医疗、军事等领域都受到越来越多的关 注。根据成像原理的不同,Ξ维显示技术可W划分为:基于双目视差的非裸眼Ξ维显示技 术;第二类类是W全息式、体Ξ维式和光栅式为代表的裸眼Ξ维显示技术。
[0003] 由于非裸眼Ξ维显示系统中需要用户佩戴特殊设备(比如偏光眼镜或头盎)才能 看到Ξ维立体成像,减少了观看时的娱乐性和自然性,且长时间观看还伴随视觉疲劳、舒适 度下降等问题。因此,裸眼Ξ维显示技术在近来得到了快速发展。目前,在消费电子市场, 逐步出现一些裸眼Ξ维显示设备。比如,具有裸眼Ξ维显示功能的平板电脑和智能手机等 移动设备。
[0004] 为了方便二维显示模式与Ξ维显示模式的切换,W及保证在Ξ维显示模式下具有 较高的显示分辨率,运些移动设备通常是基于狭缝光栅来实现Ξ维显示,并且大多采用液 晶方式实现狭缝光栅。但采用上述方式进行Ξ维显示,用户只能在某一固定位置(本文中 可W称为最佳观看位置)才能观看到正确的Ξ维图像,稍微移动一下位置就会看到重影, 严重降低Ξ维显示效果,甚至会让用户感觉头晕。 阳0化]为了提高用户观看时的自由度,现有提出一种基于人眼位置的裸眼Ξ维显示方 法,可W利用摄像头进行用户人眼区域的跟踪拍摄,从拍摄的二维图像获取二维人眼位置, 并根据二维图像中的瞳距简单推算出人眼相对显示屏的距离。运样,移动显示设备可W根 据推算出的人眼相对显示屏的距离,调整狭缝光栅相对显示屏的位置,W此实现根据人眼 位置调整最佳观看位置。
[0006] 但是,本发明的发明人发现,该方法对改善用户Ξ维观看的效果有较大局限性:例 如,当用户的头部发生一定角度的前后扭转、或者头部侧向一边时,用户仍然会看到重影或 显示不清,降低Ξ维显示效果,用户的Ξ维观看体验不佳。

【发明内容】

[0007] 针对上述现有技术存在的缺陷,本发明提供了一种人眼Ξ维位置信息的确定方法 和装置,能够获取更高准确度、精度的人眼Ξ维位置信息,基于获取的人眼位置信息,移动 设备可W更为精确地调整Ξ维图像内容,使得用户一直处于最佳观看位置,提高用户观看 Ξ维图像时的活动空间和舒适度。
[0008] 本发明提供了一种人眼Ξ维位置信息的确定方法,包括:
[0009] 从拍摄的人脸图像中检测出人眼区域;
[0010] 从所述人眼区域中确定出二维人眼关键点;
[0011] 根据二维人眼关键点拟合出目标Ξ维人眼模型后,基于所述目标Ξ维人眼模型确 定人眼Ξ维位置信息。
[0012] 本发明方案还提供了一种人眼Ξ维位置信息的确定装置,包括:
[0013] 人眼区域检测模块,用于从拍摄的人脸图像中检测出人眼区域;
[0014] 人眼关键点确定模块,用于从所述人眼区域检测模块检测出的人眼区域中确定出 二维人眼关键点;
[0015] 人眼Ξ维位置信息确定模块,用于根据所述人眼关键点确定模块确定的二维人眼 关键点拟合出目标Ξ维人眼模型后,基于所述目标Ξ维人眼模型确定人眼Ξ维位置信息。
[0016] 本发明的技术方案中,确定出从拍摄的人脸图像中检测出的人眼区域中的二维人 眼关键点后,根据二维人眼关键点拟合出目标Ξ维人眼模型;并基于目标Ξ维人眼模型确 定人眼Ξ维位置信息。相比现有的从拍摄的二维图像中简单推算出的二维人眼位置、W及 人眼相对显示屏的距离,本发明确定出的从一定程度上能够反映用户头部偏转情况的人眼 Ξ维位置信息精度更高、准确度更高。
[0017] 进一步地,本发明的技术方案中,基于更高准确度、精度的人眼Ξ维位置信息,对 显示屏显示的Ξ维图像内容进行调整或重新绘制;相比现有狭缝光栅相对显示屏的位置的 粗略调整方式,本发明根据更加精细的人眼位置针对性地调整Ξ维显示图像,使得用户在 显示屏前一直都能观看到正确的Ξ维图像,增强了用户体验。
[0018] 本发明附加的方面和优点将在下面的描述中部分给出,运些将从下面的描述中变 得明显,或通过本发明的实践了解到。
【附图说明】
[0019] 图la为本发明实施例的人眼Ξ维位置信息的确定方法的流程示意图;
[0020] 图化为本发明实施例的二维人眼关键点示意图;
[0021] 图Ic为本发明实施例的50帖人眼区域的图像的归一化相关系数示意图;
[0022] 图Id为本发明实施例的目标Ξ维人眼模型示意图;
[0023] 图2为本发明实施例的SDM模型训练方法的流程示意图;
[0024] 图3为本发明实施例的人眼Ξ维位置信息的确定装置的结构示意图;
[0025] 图4为本发明实施例的人眼Ξ维位置信息确定模块的结构示意图。
【具体实施方式】
[0026] W下将结合附图对本发明的技术方案进行清楚、完整的描述,显然,所描述的实施 例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普 通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保 护的范围。
[0027] 本申请使用的"模块"、"系统"等术语旨在包括与计算机相关的实体,例如但不限 于硬件、固件、软硬件组合、软件或者执行中的软件。例如,模块可W是,但并不仅限于:处理 器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说,计 算设备上运行的应用程序和此计算设备都可W是模块。一个或多个模块可W位于执行中的 一个进程和/或线程内,一个模块也可W位于一台计算机上和/或分布于两台或更多台计 算机之间。
[0028] 本发明的发明人发现,现有基于人眼位置的裸眼Ξ维显示方法的Ξ维显示效果不 佳的关键原因在于:通过上述方法得到的人眼位置信息较为粗略,仅基于人眼到显示屏的 距离的信息进行简单的光栅位置调整。当用户的头部发生一定角度的前后扭转、或者头部 侧向一边时,用户的双眼相对显示屏的距离是不同的。现有方法使用一个距离调整狭缝光 栅相对显示屏的位置,由于调整过程不能兼顾用户双眼相对显示屏的距离,容易导致用户 看到重影或显示不清;此外,当用户的头部发生一定角度的前后扭转或头部侧向一边时,用 户与显示屏的视角会发生变化,而现有仅仅通过单一的距离参数对狭缝光栅相对显示屏的 位置进行调整的方法,无法针对视角发生变化的情况来调整Ξ维显示调整手段,导致用户 仍然看到重影或显示不清,降低用户观看Ξ维显示图像的效果,造成用户的Ξ维观看体验 不佳。
[0029] 因此,有必要提供一种能够获取更高准确度、精度的人眼位置信息的方法,从而基 于获取的人眼位置信息,移动设备可W更为精确地调整Ξ维图像内容,使得用户一直处于 最佳观看位置,提高用户的Ξ维观看体验。
[0030] 本发明的发明人考虑到,可W利用摄像机对移动设备的当前用户的人脸进行拍摄 后,从拍摄的人脸图像中检测出人眼区域,并从检测出的人眼区域中确定出二维人眼关键 点;继而,可W根据二维人眼关键点拟合出目标Ξ维人眼模型;并基于目标Ξ维人眼模型 确定人眼Ξ维位置信息。
[0031] 相比现有反映人眼相对显示屏的距离的人眼位置信息,本发明基于二维人眼关键 点的人眼Ξ维位置信息精度更高,而且由于其能够反映出用户的头部发生一定角度的前后 扭转、或者头部侧向一边的情况下的人眼位置,因此准确度更高。
[0032] 进一步地,移动设备可W基于获取的人眼Ξ维位置信息,对显示屏显示的Ξ维图 像内容进行调整或重新绘制。相比现有简单的光栅位置调整,本发明的方案中针对性地根 据人眼位置调整Ξ维显示图像,从而使得用户在显示屏前的任意位置都能观看到正确的Ξ 维图像,增强了用户体验。
[0033] 下面结合附图详细说明本发明的技术方案。
[0034] 本发明实施例中,移动设备进行人眼Ξ维位置信息确定的具体方法流程,如图la 所示,包括如下步骤:
[003引 S101 :从拍摄的人脸图像中检测出人眼区域。
[0036] 考虑到目前移动设备,尤其是手机、平板电脑等通常配有摄像机(比如,前置摄像 头)。因此,本步骤中,移动设备可W利用其前置摄像头对用户的人脸进行拍摄,在拍摄的人 脸图像中进行人眼的检测,在检测到人眼后,可W将人脸图像中检测为人眼的部分直接从 拍摄的人脸图像中枢取出,并作为检测出的人眼区域。
[0037] 更优地,为了提高人眼区域的检测效率和准确度,移动设备可W基于上一次的人 眼定位结果,生成虚拟人眼包围框;根据生成的虚拟人眼包围框,从当前帖人脸图像中枢取 图像,得到人眼区域。
[0038] 其中,上一次的人眼定位结果具体是指根据上一帖人脸图像确定出的二维人眼关 键点的位置信息。运样,通过具有较高精度和准确度的二维人眼关键点的位置信息所生成 的虚拟人眼包围框来枢取人眼区域的图像,可W提高人眼区域的检测效率和准确度。
[0039] S102 :从人眼区域中确定出二维人眼关键点。
[0040] 本步骤中,移动设备可W利用预先训练的海森矩阵和残差项从人眼区域中确定出 二维人眼关键点;为便于描述,本文将海森矩阵和残差项统称为SDM(Supervised Descent Method,监督下降法)模型。
[0041] 具体地,移动设备利用预先训练的SDM模型确定二维人眼关键点的过程包括:从 人眼区域中提取精细特征,比如LBP (Local Binary化ttern,局部二值模式)特征;根据提 取出的精细特征,利用预先训练的SDM模型进行迭代计算,将计算得到的二维人眼关键点 作为输出结果,如图化所示。
[0042] 本发明实施例中,为了提高利用SDM模型计算出的二维人眼关键点的准确度,在 步骤S101根据生成的虚拟人眼包围框,从当前帖人脸图像中枢取图像之后,从人眼区域中 确定出二维人眼关键点之前,移动设备可W将枢取的图像缩放到特定大小后,作为检测出 的人眼区域的图像。其中,特定大小由本领域技术人员预先设定。
[0043] 实际应用中,考虑到用户的双眼相对摄像机可能并不是平视的状态,比如头部偏 向一侧。运样,在步骤S101获取人眼区域后,移动设备可W对获取的人眼区域的图像进行 一定角度的旋转,使得旋转后的人眼区域的图像中人眼相对摄像机是平视的状态。相应地, 在利用SDM模型计算出旋转后的人眼区域中的二维人眼关键点之后,可W进行逆旋转操 作,确定出步骤S101获取的人眼区域中的二维人眼关键点。
[0044] 本发明的发明人发现,用户在观看视频时,头部大部分时间处于相对固定的位置, 期间人眼相对移动设备的显示屏的位置是相同的;因此,考虑到如果能将运一状态检测出 来,则可W直接输出前一帖人眼区域确定出的人眼Ξ维位置信息,从而节省定位二维人眼 关键点、W及基于二维人眼关键点确定人眼Ξ维位置信息的过程,提高效率。
[0045] 因此,更优地,本发明实施例中,在执行步骤S102之前,移动设备可W根据人眼区 域的前后帖相似性或帖间运动信息判断人眼是否为静止状态。运样,在判断出不是静止状 态后,可W执行步骤S102 :从人眼区域中确定出二维人眼关键点。若判断人眼是静止状态, 则可W将上次确定出的人眼Ξ维位置信息,作为拍摄的当前帖人脸图像的人眼Ξ维位置信 息。
[0046] 为了判断人眼是否为静止状态,可W将当前帖人眼区域(即步骤S101检测出的人 眼区域),与上一帖人眼区域的图像进行比对,确定是否存在帖间运动信息,如果图像之间 不存在帖间运动信息,则可W直接判定人眼为静止状态。其中,帖间运动信息具体可W根据 图像之间的像素变化进行判断,具体判断过程为本领域技术人员所公知的常识,在此不再 寶述。
[0047] 或者,更优地,移动设备可W通过计算出当前帖人眼区域的图像、与上一帖人眼区 域的图像之间的归一化相关系数来表示前后帖相似性;若计算出的归一化相关系数大于设 定阔值,则判断人眼为静止状态;否则,判断人眼不是静止状态。
[0048] 具体地,根据如下公式1,可W计算出当前帖人眼区域的图像与上一帖人眼区域的 图像之间的归一化相关系数NCC :
[0049]
[0050] 式中,(:^,7)、口知,7)分别为当前帖人眼区域的图像、上一帖人眼区域中的图像中 坐标为(X,y)处像素的灰度值;6、P分别为当前帖人眼区域的图像、上一帖人眼区域的 图像的灰度平均值。
[0051] 本发明实施例中,图Ic给出了一段50帖的人眼区域的图像的归一化相关系数。 从图Ic的实验结果来看,当人眼静止不动时,前后帖的归一化相关系数非常高,在0. 995 W 上。当出现睁闭眼动作时,归一化相关系数会有明显的下降,如图Ic中第32帖相对于前一 帖的归一化相关系数降为0. 78,比静止状态下的归一化相关系数0. 995低了很多。在图Ic 中,取阔值0.99可W很好的区分出静止状态与活动状态的人眼。因此,本发明实施例中,用 于判定人眼是否为静止状态的设定阔值具体可W由本领域技术人员预先根据经验进行设 定,比如可W设定为0.99。
[0052] 为了提高后续确定出的人眼Ξ维位置信息的准确度,本发明实施例提供了一种更 优的实施方式,在通过步骤S102确定出二维人眼关键点之后,在通过步骤S103根据二维人 眼关键点拟合出目标Ξ维人眼模型之前,移动设备可W通过如下方法对确定出的二维人眼 关键点进行置信度评估:
[0053] 获取SDM模型在确定二维人眼关键点的过程中提取的LBP特征;利用SVM分类器, 根据LBP特征对确定出的二维人眼关键点的位置信息进行置信度评估。
[0054] 由于步骤S102在利用SDM模型确定二维人眼关键点的过程中,需要从人眼区域中 提取LBP特征;根据提取出的LBP特征,利用预先训练的SDM模型进行迭代计算,得到二维 人眼关键点。因此,可W直接获取步骤S102中进行迭代计算时所使用的LBP特征。 阳化5] 继而,利用预先训练的SVM(Suppcxrt Vector Machine,支持向量机)分类器,针对 步骤S102中提取的LBP特征进行分类后,可W确定该LBP特征是否为能够正确反映出用户 人眼的真实形状的人眼区域的LBP特征,若是,则置信度评估通过,评估结果为二维人眼关 键点匹配,即二维人眼关键点的置信度高;否则,置信度评估不通过,评估结果为二维人眼 关键点不匹配,即二维人眼关键点的置信度低。相应地,在评估结果为二维人眼关键点的置 信度高后,执行步骤S103 :根据二维人眼关键点拟合出目标Ξ维人眼模型。
[0056] 进一步地,在评估结果为二维人眼关键点的置信度低后,可W返回步骤S101、 S102,重新进行人眼区域的检测、W及二维人眼关键点的确定。
[0057] 本发明实施例中,SVM分类器是利用预先采集的正、负样本特征训练得到的。其中, 可W将能够正确反映出用户人眼的真实形状的人眼区域标定为正样本,而将不能够正确反 映出用户人眼的真实形状的人眼区域标定为负样本,比如,人眼区域的图像中的人眼的大 小、角度不同于真实形状,人眼区域的图像中手遮住了部分人眼,其他用户的人眼区域的图 像等等。
[005引继而,可W针对标定为正样本的人眼区域提取LBP特征,作为正样本特征;针对标 定为负样本的人眼区域提取LBP特征,作为负样本特征。
[0059] S103 :根据二维人眼关键点拟合出目标Ξ维人眼模型。
[0060] 本步骤中,移动设备可W运用通用Ξ维人眼模型拟合步骤S102所确定出的二维 人眼关键点,求解出人眼参数。其中,通用Ξ维人眼模型可W预先从通用人脸Ξ维模型中截 取,由通用人脸Ξ维模型中与人眼相关的顶点所组成通用Ξ维人眼模型。
[0061] 具体地,可W根据如下模型方程求解人眼参数σ和α :
[0062] g(〇-, α) = + S伊 + A巧
[0063] 其中,g(〇, α)为通用人眼Ξ维模型,g为通用的Ξ维平均人眼形状,S为表示脸 型的形状向量,A为表示表情的表情向量,σ和α是分别对应形状向量S、表情向量A的人 眼参数。
[0064] 实际应用中,移动设备可W根据之前拍摄的人脸图像预先拟合得到形状向量S; 根据之前拍摄的多帖人脸图像预先拟合得到表情向量A。
[00化]继而,移动设备可W根据求解出的人眼参数σ和α,通用的Ξ维平均人眼形状i ,预先拟合得到的形状向量S、表情向量A,构建得到目标Ξ维人眼模型g' (0, α),如图Id 所示。
[0066] S104 :基于目标;维人眼模型确定人眼S维位置信息。
[0067] 具体地,移动设备可W利用目标Ξ维人眼模型,W及步骤S102所确定出的二维人 眼关键点,求解人眼刚体变换矩阵;并根据人眼刚体变换矩阵、W及步骤S103拟合出的目 标Ξ维人眼模型,确定出人眼Ξ维位置信息。
[0068] 本步骤中,人眼刚体变换矩阵可W通过如下目标函数最小化问题来求解:
[0069] min I I S' -P (Q (g' (。,α ))) I 12
[0070] 其中,Ρ为常用的透视投影变换矩阵,Q为人眼刚体变换矩阵,g' ( σ,α )为构建 的目标Ξ维人眼模型;s'为由S102所确定的、与构建的目标Ξ维人眼模型中的顶点重合 的二维人眼关键点。
[0071] 更优地,本发明实施例中,还可W基于确定出的人眼Ξ维位置信息进行Ξ维显示, W此提高用户观看时的自由度和舒适度。具体地,在步骤S104确定出人眼Ξ维位置信息之 后,可W通过如下步骤S105、S106来进行Ξ维显示。
[0072] S105:将人眼Ξ维位置信息转换到移动设备的显示屏的Ξ维坐标系中。
[0073] 考虑到通过步骤S104所确定出的人眼Ξ维位置信息是基于移动设备的摄像机的 Ξ维坐标系的;而用户观看的Ξ维图像是基于移动设备的显示屏的Ξ维坐标系。因此,移动 设备可W根据预先收集的摄像机的Ξ维坐标系相对显示屏的Ξ维坐标系的刚体变换矩阵, 将人眼Ξ维位置信息转换到移动设备的显示屏的Ξ维坐标系中。
[0074] S106:根据转换后的人眼Ξ维位置信息,对显示屏显示的Ξ维图像内容进行调整 或重新绘制。
[0075] 实际应用中,可W结合摄像机的内部参数,比如相机主点位置、相机焦距等,根据 转换后的人眼Ξ维位置信息,确定出人眼相对移动设备的显示屏的Ξ维位置信息。继而,根 据人眼相对移动设备的显示屏的Ξ维位置信息,对显示内容进行调整或重新绘制,W此实 现用户在当前位置能够看到正确的Ξ维图像,提升用户的体验和舒适度。
[0076] 其中,根据人眼相对显示屏的Ξ维位置信息,对显示内容进行调整或重新绘制的 方法,可W采用本领域技术人员常用的技术手段,在此不再寶述。
[0077] 事实上,上述步骤S102中所提到的SDM模型是预先训练出来的。SDM模型既可W 是在移动设备中训练出来,也可W是在其它设备中训练出来后存储到移动设备中。关于SDM 模型的训练方法,如图2所示,其流程具体可W包括如下步骤:
[007引 S201 :从拍摄的样本人脸图像中检测出人眼区域,作为样本区域。
[0079] 本步骤中,可W利用图像采集设备(比如摄像机)针对用户预先采集样本人脸图 像。例如,在样本人脸图像采集过程中,用户可W进行头部的常规移动,同时,摄像机对各种 头部姿态下的用户的人脸进行拍摄,W此得到人脸相对摄像机的样本人脸图像。
[0080] 继而,针对每一个样本人脸图像进行人眼的检测,并将从样本人脸图像中检测出 的人眼区域作为样本区域。
[0081] 进一步地,在采集到样本区域后,可W对每个样本区域进行样本关键点的标定,即 将样本区域中的人眼关键点标定为样本关键点。其中,样本区域中的人眼关键点可W由本 领域技术人员根据经验来确定。
[0082] 实际应用中,在针对每一个样本人脸图像进行人眼的检测之前,还可W将拍摄的 样本人脸图像进行瞳距归一化处理,使得瞳距归一化处理后的每个样本人脸图像中人眼具 有相同的瞳距。
[0083] S202 :利用在样本区域中标定的样本关键点,对SDM模型进行迭代训练。
[0084] 具体地,根据迭代的时间先后将SDM模型的训练过程划分为两个阶段:初始迭代 阶段、后续迭代阶段。为了提高SDM模型的鲁棒性和精度,在初始迭代阶段,可W针对样本 区域提取粗略特征,用于对SDM模型进行训练;在后续迭代阶段,针对样本区域提取精细特 征,用于对SDM模型进行训练。
[00化]其中,粗略特征至少包括如下一种特征:册G化istogram of Oriented Gradient, 方向梯度直方图)特征、MBLBP (Multiple block Local Binary化ttern,多重区块局部二 值模式)特征、SURF (Speeded Up Robust Fea1:ures,快速鲁棒特征)特征、ORB (Oriented 化iet面向短暂)特征等。
[0086] 精细特征至少包括如下一种特征:LBP特征、G油or (伽柏)小波特征、 DCT值iscrete Cosine Transformation,离散余弦转换)特征、BRIEF度inary Robust Incbpendent Elementary Fea1:ures,二值鲁棒独立基础特征)特征等。
[0087] 关于样本区域的精细特征、粗略特征,均可W采用本领域技术人员所熟知的技术 手段进行提取,在此不再详述。
[0088] 本步骤中,在一次迭代过程中,可W按照设定的缩放比例,对样本区域进行缩放, 得到不同的尺度空间下的样本区域。继而,在不同的尺度空间下,针对样本区域提取特征, 用于对上一次迭代过程中得到的SDM模型进行训练。其中,对样本区域提取的特征可W是 粗略特征、或精细特征。
[0089] 进而,在各尺度空间下,利用该尺度空间下训练得到的SDM模型,在该尺度空间下 的样本区域的图像上进行迭代计算,将计算出的二维人眼关键点作为该尺度空间下训练出 的SDM模型的输出结果。其中,利用已经训练得到的SDM模型在样本区域的图像上进行迭 代计算的具体方法为本领域技术人员所公知的技术,在此不再详述。
[0090] 运样,后续可則尋各尺度空间下训练出的SDM模型的输出结果,分别与预先标定 的样本关键点比较相似度;将相似度最高的输出结果所对应的SDM模型,应用于下次迭代 过程。其中,关于输出结果与样本关键点之间的相似度,可W采用本领域技术人员所熟知的 技术手段进行比较,在此不再详述。
[0091] 实际应用中,对于相似度最高的输出结果所对应的SDM模型,可W将训练出该SDM 模型所采用的样本区域的尺度空间作为该SDM模型的最优尺度空间;并将最优尺度空间下 的该样本区域作为下次迭代过程的样本区域。
[0092] 运样,通过使用两种特征先后训练SDM模型;在每次迭代训练时,选取出最优尺度 空间,并将最优尺度空间下训练出的SDM模型作为下一次迭代训练的基础,可W提高后续 利用训练得到的SDM模型所计算出的二维人眼关键点的准确度。
[0093] 基于上述人眼Ξ维位置信息的确定方法,本发明实施例提供了一种可W应用并设 置于移动设备中的人眼Ξ维位置信息的确定装置,如图3所示,具体可W包括:人眼区域检 测模块301、人眼关键点确定模块302、W及人眼Ξ维位置信息确定模块303。
[0094] 其中,人眼区域检测模块301用于从拍摄的人脸图像中检测出人眼区域。
[0095] 人眼关键点确定模块302用于从人眼区域检测模块301检测出的人眼区域中确定 出二维人眼关键点。具体地,人眼关键点确定模块302可W利用预存的SDM模型从人眼区 域中确定出二维人眼关键点。
[0096] 人眼Ξ维位置信息确定模块303用于根据人眼关键点确定模块302确定的二维人 眼关键点拟合出目标Ξ维人眼模型后,基于拟合出的目标Ξ维人眼模型确定人眼Ξ维位置 信息。
[0097] 考虑到用户在观看视频时,头部大部分时间处于相对固定的位置,期间人眼相对 移动设备的显示屏的位置是相同的;因此,为了提高确定人眼Ξ维位置信息的检测效率,更 优地,人眼Ξ维位置信息的确定装置中还可W包括:人眼静止判断模块304。
[0098] 人眼静止判断模块304用于根据人眼区域检测模块检测出的人眼区域的前后帖 相似性或帖间运动信息判断人眼是否为静止状态,并输出判断结果。
[0099] 具体地,人眼静止判断模块304可W根据人眼区域的前后帖相似性或帖间运动信 息判断人眼是否为静止状态。例如,可W计算当前帖人眼区域中的图像、与上一帖人眼区域 中的图像之间的归一化相关系数;在归一化相关系数超过设定阔值时,判断人眼为静止状 态。
[0100] 相应地,人眼关键点确定模块302在人眼静止判断模块304输出的判断结果为:人 眼不是静止状态后,从人眼区域中确定出二维人眼关键点。人眼关键点确定模块302在人 眼静止判断模块304输出的判断结果为:人眼是静止状态后,将上次确定出的人眼Ξ维位 置信息,作为拍摄的当前帖人脸图像的人眼Ξ维位置信息。 阳101] 进一步地,由于人眼Ξ维位置信息确定模块303确定的人眼Ξ维位置信息是基于 移动设备的摄像机的Ξ维坐标系的,因此,为了获得人眼相对移动设备的显示屏的Ξ维位 置,人眼Ξ维位置信息的确定装置中还可W包括:坐标系转换模块305、W及显示内容调整 模块306。 阳102] 其中,坐标系转换模块305用于将人眼Ξ维位置信息确定模块303确定的人眼Ξ 维位置信息转换到移动设备的显示屏的Ξ维坐标系中;
[0103] 显示内容调整模块306用于根据坐标系转换模块305转换后的人眼Ξ维位置信 息,对显示屏显示的Ξ维图像内容进行调整或重新绘制。
[0104] 较佳地,为了提高最终确定出的人眼Ξ维位置信息的准确度,人眼Ξ维位置信息 的确定装置中还可W包括:置信度评估模块(图中未标)。 阳105] 置信度评估模块用于获取人眼关键点确定模块302利用SDM模型确定二维人眼关 键点的过程中提取出的LBP特征;并利用SVM分类器,根据获取的LBP特征对人眼关键点确 定模块302确定出的二维人眼关键点的位置信息进行置信度评估。
[0106] 具体地,置信度评估模块利用预存的SVM分类器,针对置信度评估模块中提取的 LBP特征进行分类后,可W确定该LBP特征是否为能够正确反映出用户人眼的真实形状的 人眼区域的LBP特征,若是,则置信度评估通过,评估结果为二维人眼关键点匹配,即评估 结果为二维人眼关键点的位置信息的置信度高;否则,置信度评估不通过,评估结果为二维 人眼关键点不匹配,即二维人眼关键点的位置信息的置信度低。运样,人眼Ξ维位置信息确 定模块303在置信度评估模块输出的评估结果为:二维人眼关键点的置信度高后,根据二 维人眼关键点拟合出目标Ξ维人眼模型。
[0107] 进一步地,在评估结果为人眼Ξ维位置信息的置信度低后,置信度评估模块可W 向人眼区域检测模块301输出重新进行人眼区域的检测的通知。
[0108] 其中,置信度评估模块中预存的SVM分类器可W由其他设备训练后存储,也可W 由人眼Ξ维位置信息的确定装置预先训练。
[0109] 因此,进一步地,人眼Ξ维位置信息的确定装置中还可W包括:SVM分类器训练模 块。
[0110] SVM分类器训练模块用于针对标定为正样本的人眼区域提取LBP特征,作为正样 本特征;针对标定为负样本的人眼区域提取LBP特征,作为负样本特征;利用正、负样本特 征训练SVM分类器。 阳11U 本发明实施例中,人眼关键点确定模块302中所利用的SDM模型是预存的,可W由 其他设备训练,也可W由人眼Ξ维位置信息的确定装置预先训练。 阳11引因此,更优地,在人眼Ξ维位置信息的确定装置中还可W包括:SDM模型训练模块 (图中未标)。
[011引SDM模型训练模块用于从拍摄的样本人脸图像中检测出人眼区域,作为样本区域; 利用在样本区域中标定的样本关键点,对SDM模型进行迭代训练。
[0114] 具体地,SDM模型训练模块具体包括:样本采集单元、初始迭代单元、W及后续迭 代单元。
[0115] 其中,样本采集单元用于从拍摄的样本人脸图像中检测出人眼区域,作为样本区 域。
[0116] 初始迭代单元用于在初始迭代阶段,针对样本采集单元输出的样本区域提取粗略 特征,利用提取出的粗略特征对SDM模型进行训练。
[0117] 后续迭代单元用于在后续迭代阶段,针对样本采集单元输出的样本区域提取精细 特征,利用提取出的精细特征对SDM模型进行训练。
[0118] 其中,粗略特征至少包括如下一种特征HOG特征、MBLBP特征、SURF特征、ORB特征 等;精细特征至少包括如下一种特征:LBP特征、G油or小波特征、DCT特征、BRIEF特征等。
[0119] 实际应用中,在一次迭代过程中,初始迭代单元、或后续迭代单元可W按照设定的 缩放比例,对样本区域进行缩放,得到不同的尺度空间下的样本区域。继而,在不同的尺度 空间下,针对样本区域提取特征,用于对上一次迭代过程中得到的SDM模型进行训练。进 而,在各尺度空间下,利用该尺度空间下训练得到的SDM模型,在该尺度空间下的样本区域 的图像上进行迭代计算,将计算出的二维人眼关键点作为该尺度空间下训练出的SDM模型 的输出结果。最后,将各尺度空间下训练出的SDM模型的输出结果,分别与预先标定的样本 关键点比较相似度;将相似度最高的输出结果所对应的SDM模型,应用于下次迭代过程。 [0120] 运样,通过使用两种特征先后训练SDM模型;在每次迭代训练时,选取出最优尺度 空间,并将最优尺度空间下训练出的SDM模型作为下一次迭代训练的基础,可W提高后续 利用训练得到的SDM模型所计算出的二维人眼关键点的准确度。 阳121] 本发明实施例中,为了提高人眼区域的检测效率和准确度,人眼区域检测模块301 可W基于上一次的人眼定位结果进行人眼区域的检测。
[0122] 具体地,人眼区域检测模块301可W包括:人眼包围框计算单元、人眼区域获取单 J L· 〇
[0123] 人眼包围框计算单元用于基于上一次的人眼定位结果,生成虚拟人眼包围框。其 中,上一次的人眼定位结果是根据上一帖人脸图像确定出的二维人眼关键点的位置信息。
[0124] 人眼区域获取单元用于根据人眼包围框计算单元生成的虚拟人眼包围框,从当前 帖人脸图像中枢取图像,得到人眼区域。
[01巧]实际应用中,人眼区域获取单元还可W进一步将枢取的图像缩放到特定大小后, 作为检测出的人眼区域的图像。 阳126] 本发明实施例中,如图4所示,人眼Ξ维位置信息确定模块303可W包括:人眼模 型构建单元401、刚体变换矩阵计算单元402、W及位置信息确定单元403。
[0127] 其中,人眼模型构建单元401用于拟合人眼关键点确定模块302确定出的二维人 眼关键点,求解出人眼参数;根据求解出的人眼参数,构建出目标S维人眼模型。其中,人眼 模型构建单元401可W运用通用Ξ维人眼模型拟合二维人眼关键点,通用Ξ维人眼模型可 W预先从通用人脸Ξ维模型中截取,由通用人脸Ξ维模型中与人眼相关的顶点所组成通用 Ξ维人眼模型。
[0128] 刚体变换矩阵计算单元402用于利用人眼模型构建单元401构建的目标Ξ维人眼 模型,W及人眼关键点确定模块302确定出的二维人眼关键点,求解人眼刚体变换矩阵。
[0129] 位置信息确定单元403用于根据人眼模型构建单元401构建的目标Ξ维人眼模 型,W及刚体变换矩阵计算单元402求解出的人眼刚体变换矩阵,确定出人眼Ξ维位置信 息。
[0130] 本发明实施例中,人眼Ξ维位置信息的确定装置中的各模块、W及各模块下的各 单元的具体功能实现,可W参照上述人眼Ξ维位置信息的确定方法的具体步骤,在此不再 寶述。 阳131] 本发明的技术方案中,确定出从拍摄的人脸图像中检测出的人眼区域中的二维人 眼关键点后,根据二维人眼关键点拟合出目标Ξ维人眼模型;并基于目标Ξ维人眼模型确 定人眼Ξ维位置信息。相比现有的从拍摄的二维图像中简单推算出的二维人眼位置、W及 人眼相对显示屏的距离,本发明确定出的从一定程度上能够反映用户头部偏转情况的人眼 Ξ维位置信息精度更高、准确度更高。
[0132] 进一步地,本发明的技术方案中,基于更高准确度、精度的人眼Ξ维位置信息,对 显示屏显示的Ξ维图像内容进行调整或重新绘制;相比现有狭缝光栅相对显示屏的位置的 粗略调整方式,本发明针对性地调整Ξ维显示图像,使得用户在显示屏前的任意位置都能 观看到正确的Ξ维图像,增强了用户体验。
[0133] 本技术领域技术人员可W理解,本发明包括设及用于执行本申请中所述操作中的 一项或多项的设备。运些设备可w为所需的目的而专口设计和制造,或者也可w包括通用 计算机中的已知设备。运些设备具有存储在其内的计算机程序,运些计算机程序选择性地 激活或重构。运样的计算机程序可W被存储在设备(例如,计算机)可读介质中或者存储 在适于存储电子指令并分别禪联到总线的任何类型的介质中,所述计算机可读介质包括但 不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM巧eacK)nly Memo巧, 只读存储器)、RAM (Random Access Memoir,随即存储器)、EPROM 巧 ras 油 le Programm 油 le Read-Only Memory,可擦写可编程只读存储器)、EEPROM巧lectrically liras油le Programm油le ReacH3nly Memcxry,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡 片。也就是,可读介质包括由设备(例如,计算机)W能够读的形式存储或传输信息的任何 介质。
[0134] 本技术领域技术人员可W理解,可W用计算机程序指令来实现运些结构图和/或 框图和/或流图中的每个框W及运些结构图和/或框图和/或流图中的框的组合。本技术 领域技术人员可W理解,可W将运些计算机程序指令提供给通用计算机、专业计算机或其 他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处 理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
[0135] 本技术领域技术人员可W理解,本发明中已经讨论过的各种操作、方法、流程中的 步骤、措施、方案可W被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各 种操作、方法、流程中的其他步骤、措施、方案也可W被交替、更改、重排、分解、组合或删除。 进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案 也可W被交替、更改、重排、分解、组合或删除。
[0136] W上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人 员来说,在不脱离本发明原理的前提下,还可W作出若干改进和润饰,运些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种人眼三维位置信息的确定方法,其特征在于,包括: 从拍摄的人脸图像中检测出人眼区域; 从所述人眼区域中确定出二维人眼关键点; 根据二维人眼关键点拟合出目标三维人眼模型后,基于所述目标三维人眼模型确定人 眼三维位置信息。2. 如权利要求1所述的方法,其特征在于,所述根据二维人眼关键点拟合出目标三维 人眼模型,包括: 拟合所述二维人眼关键点,求解出人眼参数; 根据求解出的人眼参数,构建出所述目标三维人眼模型。3. 如权利要求1或2所述的方法,其特征在于,所述基于所述目标三维人眼模型确定人 眼三维位置信息,包括: 利用所述目标三维人眼模型,以及所述二维人眼关键点,求解人眼刚体变换矩阵; 根据所述目标三维人眼模型,以及所述人眼刚体变换矩阵,确定出人眼三维位置信息。4. 如权利要求1所述的方法,其特征在于,所述从所述人眼区域中确定出二维人眼关 键点之前,还包括: 根据人眼区域的前后帧相似性或帧间运动信息判断所述人眼是否为静止状态;以及 所述从所述人眼区域中确定出二维人眼关键点,具体包括: 在判断出不是静止状态后,从所述人眼区域中确定出二维人眼关键点。5. 如权利要求4所述的方法,其特征在于,所述根据人眼区域的前后帧相似性或帧间 运动信息判断所述人眼是否为静止状态后,还包括: 在判断出所述人眼是静止状态后,将上次确定出的人眼三维位置信息,作为拍摄的当 前帧人脸图像的人眼三维位置信息。6. 如权利要求4所述的方法,其特征在于,所述根据人眼区域的前后帧相似性判断所 述人眼是否为静止状态,包括: 计算当前帧人眼区域的图像、与上一帧人眼区域的图像之间的归一化相关系数; 在归一化相关系数超过设定阈值时,判断所述人眼为静止状态。7. 如权利要求1-6任一所述的方法,其特征在于,所述人眼三维位置信息是基于移动 设备的摄像机的三维坐标系的;以及所述方法还包括: 将所述人眼三维位置信息转换到所述移动设备的显示屏的三维坐标系中; 根据转换后的人眼三维位置信息,对所述显示屏显示的三维图像内容进行调整或重新 绘制。8. 如权利要求1-6任一所述的方法,其特征在于,所述从所述人眼区域中确定出二维 人眼关键点,具体包括: 利用监督下降法SDM模型从所述人眼区域中确定出二维人眼关键点。9. 如权利要求8所述的方法,其特征在于,所述SDM模型根据如下方法预先训练得到: 从拍摄的样本人脸图像中检测出人眼区域,作为样本区域; 利用在样本区域中标定的样本关键点,对SDM模型进行迭代训练。10. 如权利要求9所述的方法,其特征在于,所述对SDM模型进行迭代训练,包括: 在初始迭代阶段,针对样本区域提取粗略特征,用于对SDM模型进行训练; 在后续迭代阶段,针对样本区域提取精细特征,用于对SDM模型进行训练; 其中,所述粗略特征至少包括如下一种特征:方向梯度直方图HOG特征、多重区块局部 二值模式MBLBP特征、鲁棒特征SURF特征、面向短暂ORB特征; 所述精细特征至少包括如下一种特征:局部二值模式LBP特征、伽柏Gabor小波特征、 离散余弦转换DCT特征、二值鲁棒独立基础特征BRIEF特征。11. 如权利要求10所述的方法,其特征在于,在一次迭代过程中: 在不同的尺度空间下,针对样本区域提取特征,用于对上一次迭代过程中得到的SDM 模型进行训练; 将各尺度空间下训练出的SDM模型的输出结果,分别与预先标定的样本关键点比较相 似度; 将相似度最高的输出结果所对应的SDM模型,应用于下次迭代过程。12. 如权利要求1-6任一所述的方法,其特征在于,所述从拍摄的人脸图像中检测出人 眼区域,包括: 基于上一次的人眼定位结果,生成虚拟人眼包围框; 根据所述虚拟人眼包围框,从当前帧人脸图像中抠取图像,得到所述人眼区域; 其中,所述上一次的人眼定位结果是根据上一帧人脸图像确定出的二维人眼关键点的 位置信息。13. 如权利要求12所述的方法,其特征在于,所述从当前帧人脸图像中抠取图像,得到 所述人眼区域,包括: 将抠取的图像缩放到特定大小后,作为检测出的人眼区域的图像。14. 如权利要求8所述的方法,其特征在于,所述根据二维人眼关键点拟合出目标三维 人眼模型之前,还包括: 获取所述SDM模型在确定二维人眼关键点的过程中提取的LBP特征; 利用支持向量机SVM分类器,根据LBP特征对确定出的二维人眼关键点的位置信息进 行置信度评估;以及 所述根据二维人眼关键点拟合出目标三维人眼模型,具体包括: 在置信度评估通过后,根据所述二维人眼关键点拟合出目标三维人眼模型。15. 如权利要求14所述的方法,其特征在于,所述SVM分类器是根据如下方法预先训练 的: 针对标定为正样本的人眼区域提取LBP特征,作为正样本特征; 针对标定为负样本的人眼区域提取LBP特征,作为负样本特征; 利用所述正、负样本特征训练所述SVM分类器。16. -种人眼三维位置信息的确定装置,其特征在于,包括: 人眼区域检测模块,用于从拍摄的人脸图像中检测出人眼区域; 人眼关键点确定模块,用于从所述人眼区域检测模块检测出的人眼区域中确定出二维 人眼关键点; 人眼三维位置信息确定模块,用于根据所述人眼关键点确定模块确定的二维人眼关键 点拟合出目标三维人眼模型后,基于所述目标三维人眼模型确定人眼三维位置信息。17. 如权利要求16所述的装置,其特征在于,所述人眼三维位置信息确定模块包括: 人眼模型构建单元,用于拟合所述二维人眼关键点,求解出人眼参数;根据求解出的人 眼参数,构建出目标三维人眼模型; 刚体变换矩阵计算单元,用于利用所述目标三维人眼模型,以及所述二维人眼关键点, 求解人眼刚体变换矩阵; 位置信息确定单元,用于根据所述目标三维人眼模型,以及所述人眼刚体变换矩阵,确 定出人眼三维位置信息。18. 如权利要求16或17所述的装置,其特征在于,还包括: 人眼静止判断模块,用于根据所述人眼区域检测模块检测出的所述人眼区域的前后帧 相似性或帧间运动信息判断所述人眼是否为静止状态,并输出判断结果;以及 所述人眼关键点确定模块具体用于在所述人眼静止判断模块输出的判断结果为:所述 人眼不是静止状态后,从所述人眼区域中确定出二维人眼关键点。19. 如权利要求18所述的装置,其特征在于, 所述人眼关键点确定模块还用于在所述人眼静止判断模块输出的判断结果为:所述人 眼是静止状态后,将上次确定出的人眼三维位置信息,作为拍摄的当前帧人脸图像的人眼 三维位置信息。20. 如权利要求18所述的装置,其特征在于, 所述人眼静止判断模块具体用于计算当前帧人眼区域中的图像、与上一帧人眼区域中 的图像之间的归一化相关系数;在归一化相关系数超过设定阈值时,判断所述人眼为静止 状态。21. 如权利要求16-20任一所述的装置,其特征在于,所述人眼三维位置信息确定模块 确定的所述人眼三维位置信息是基于移动设备的摄像机的三维坐标系的;以及 所述系统还包括: 坐标系转换模块,用于将所述人眼三维位置信息确定模块确定的所述人眼三维位置信 息转换到所述移动设备的显示屏的三维坐标系中; 显示内容调整模块,用于根据所述坐标系转换模块转换后的人眼三维位置信息,对所 述显示屏显示的三维图像内容进行调整或重新绘制。22. 如权利要求16-20任一所述的装置,其特征在于, 所述人眼关键点确定模块具体用于利用SDM模型从所述人眼区域中确定出二维人眼 关键点。23. 如权利要求22所述的装置,其特征在于,还包括: SDM模型训练模块,用于从拍摄的样本人脸图像中检测出人眼区域,作为样本区域;利 用在样本区域中标定的样本关键点,对SDM模型进行迭代训练。24. 如权利要求23所述的装置,其特征在于,所述SDM模型训练模块具体包括: 样本采集单元,用于从拍摄的样本人脸图像中检测出人眼区域,作为样本区域; 初始迭代单元,用于在初始迭代阶段,针对所述样本采集单元输出的样本区域提取粗 略特征,利用提取出的粗略特征对SDM模型进行训练; 后续迭代单元,用于在后续迭代阶段,针对所述样本采集单元输出的样本区域提取精 细特征,利用提取出的精细特征对SDM模型进行训练; 其中,所述粗略特征至少包括如下一种特征:HOG特征、MBLBP特征、SURF特征、ORB特 征; 所述精细特征至少包括如下一种特征:LBP特征、Gabor小波特征、DCT特征、BRIEF特 征。25. 如权利要求16-20任一所述的装置,其特征在于,所述人眼区域检测模块包括: 人眼包围框计算单元,用于基于上一次的人眼定位结果,生成虚拟人眼包围框;其中, 所述上一次的人眼定位结果是根据上一帧人脸图像确定出的二维人眼关键点的位置信 息; 人眼区域获取单元,用于根据所述人眼包围框计算单元生成的所述虚拟人眼包围框, 从当前帧人脸图像中抠取图像,得到所述人眼区域。26. 如权利要求25所述的装置,其特征在于, 所述人眼区域获取单元还用于将抠取的图像缩放到特定大小后,作为检测出的人眼区 域的图像。27. 如权利要求22所述的装置,其特征在于,还包括: 置信度评估模块,用于获取所述人眼关键点确定模块利用所述SDM模型确定二维人眼 关键点的过程中提取出的LBP特征;并利用SVM分类器,根据所述LBP特征对确定出的二维 人眼关键点的位置信息进行置信度评估;以及 所述人眼三维位置信息确定模块具体用于在置信度评估通过后,根据所述二维人眼关 键点拟合出目标三维人眼模型。28. 如权利要求27所述的装置,其特征在于,还包括: SVM分类器训练模块,用于针对标定为正样本的人眼区域提取LBP特征,作为正样本特 征;针对标定为负样本的人眼区域提取LBP特征,作为负样本特征;利用所述正、负样本特 征训练所述SVM分类器。
【文档编号】G06K9/00GK105989326SQ201510048245
【公开日】2016年10月5日
【申请日】2015年1月29日
【发明人】周明才, 許珍九, 洪涛, 刘志花, 马赓宇, 李炜明, 薛康, 王西颖, 南東暻, 王海涛
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社
再多了解一些
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1