头部和眼睛跟踪的制作方法_5

文档序号:9568683阅读:来源:国知局
值的情况下,运两个峰值将被丢弃。
[0166] 对于固定刺激,速度迹线或者不通过该算法W允许沁的估计(3/5迹线)或嚴不 超过阔值(2/5迹线,|心I<0:6像素/帖)。所有运动刺激的方向被检测器正确分类并 且用于5度/秒试验的II值不与用于10度/秒试验的I装I值有显著差异巧度/秒意味 着I孩I= 2.38,SD= 0.巧;10 度/秒意味着I穿I= 2.85,SD=O.62;t=i.45,P= 0. 22)O
[0167] 当具有参与者观看方波光栅刺激的网络摄像录像时,OKN检测器对OKN的存在或 不存在是敏感的。在其中有效OKN被检测到的情况下,由OKN检测器产生的II值在刺激 速度加倍时没有变化,运表明用于检测OKN的该测量对刺激速度是相对稳健的。
[016引因此,测试指示本文所述的实施例可W检测由RDK和方波光栅引起的0KN,并且具 有与有经验的人类观察者可比的准确度。因此,幼儿中视觉功能的客观评估通过使用OKN 的非自愿、反射性眼睛运动是可能的。特别地,2岁或大约2岁的孩子已被发现尤其受益于 本发明可W提供的信息。
[0169] 上述实施例在广告和安全领域中都有用处。例如,人的凝视方向可W被跟踪,W确 定与消费者的兴趣或行为相关的信息。
[0170] 头部跟臣示
[0171] 如前面所讨论的,孩子不能忍受腮托或头戴式眼睛跟踪装备。另外,利用上述OKN 检测处理的视频录像内的头部运动可能会无意中被解释为眼睛运动并且有害地影响眼睛 运动测量的准确度。但是,运种装备W前被认为是从不能保持静止的人获取眼睛运动的稳 定视频录像的唯一方法。
[0172] 本发明的进一步实施例设及视频录像内头部运动的确定,并且可选地补偿所确定 的头部运动。头部运动的准确确定允许忽略腮托或头戴式装备,并且允许上述OKN检测处 理被优化。
[0173] 在一些应用中,头部运动信息被量化并结合上述OKN分析系统使用,W减轻由于 无意中被确定为眼睛运动的过度头部运动引起的误差。在其它应用中,头部运动信息与上 述OKN分析系统独立地被使用。
[0174] 根据特定的实施例中,头部运动信息通过一个过程从视频录像获得,该过程理想 地由计算系统承担,所述过程包括:
[0175] ?在视频录像的至少两帖中检测相同面部区域的至少一部分,
[0176] ?确定在所述至少两帖之间该相同面部区域的所述至少一部分的运动的测量,W 及
[0177] ?确定对应于所确定的运动的测量的变换信息。
[0178] 稳健的面部特征包括容易被相机识别的具有独特颜色或明暗对比度的区域。照明 调整可选地应用到受试者和/或视频录像被处理W改善面部特征的区别。在一些实施例 中,面部区域内一个或多个稳健的面部特征被确定,使得它们的运动可W被跟踪。
[0179] 面部特征在视频录像的至少两帖中被识别并且通过确定所述至少两帖之间的与 那些面部特征相关的运动信息来跟踪。运动信息通过度量(诸如帖中像素的数目)来量化。 运动信息设及平面运动并且可W可选地还设及旋转或缩放运动。
[0180] 变换信息设及视频帖内头部的运动。通过移动或修剪帖W补偿头部的运动,变换 信息被用来稳定帖内的头部运动。
[0181] 在一些实施例中,运动信息被用来产生包含数据的变换映射图,该数据设及视频 录像内面部特征,并且因此头部,的旋转、缩放和平移运动当中一个或多个。针对视频录像 的每一帖关于第一或前一帖所确定的相似性变换映射图为所述帖内的头部图像提供旋转、 缩放和平移运动信息。
[0182] 在一些实施例中,视频录像由能够承担计算指令的计算机或控制设备(控制器) 处理。控制器计算并应用变换映射图的逆,W偏移视频录像中的每一帖来生成新的帖位置。 其结果是,帖内录像的头部部分保持相对静止并且因此被稳定到一个位置,同时帖移动经 变换的量。在一些实施例中,控制器计算并应用变换映射图的逆,W主动修剪并使每一帖关 于感兴趣的区域(诸如面部区域或眼睛区域)居中,W产生那部分在每一帖中居中并且稳 定的新的视频录像。
[0183] 由于头部运动基本上不再影响从处理后的录像获得的眼睛运动数据,因此稳定的 头部位置对于改善例如上面提到的OKN检测处理的性能是有用的。在一些实施例中,包含 眼睛的帖的部分被修剪,使得稳定的眼睛录像被获得W用于进一步的OKN分析,诸如与上 述自动化的OKN检测方法一起使用。通过该过程收集的信息与当人将其头部通过腮托固定 在适当位置或使用头戴式装备时所收集的信息是相似或相同的。但是,运个过程不需要运 类装备的负担。
[0184] 在一些实施例中,非反射相似性变换映射图是利用POS口算法创建的,该算法从 2D视频帖估计3D对象的平移和旋转信息。为了准确的估计,需要至少四个3D模型点(世 界空间坐标)和对应的2D图像点,相机的焦距和主点。3D模型点(modelpoint)坐标,例 如,标记角点(markercorner),是固定的并且对应的2D图像点被识别。相机属性是利用如 下所示的等式巧)-(11)来估计的。
[018引在运些等式中,项和fy分别是X和y方向中的焦距(假定为相等)并W像素为 单位表示。图像维度由(w,h)给出,相机的主点由(Cx,Cy)给出。Ro化igues旋转公式被用 来分别检索X、Y、Z方向的旋转。POSIT误差评估是通过经由等式(12)中给出的变换将3D 模型点重新投影到2D图像平面来执行的。
[0190] 在等式中,S是像素尺寸,X和y是2D图像点,X、Y和Z是3D模型坐标,r。 是旋转参数并且Tx、Ty和是平移。
[0191] 在一种示例性实施例中,脸部区域是利用由计算机视觉工具箱(ComputerVision ToolBox)MATLAB(MathWorks,化tick,VA)提供的Viola-Jones算法,W及Pit证attSDK版 本5. 2. 2 (由Google获取)从视频录像的视频帖内检测的。帖内稳健的面部特征是利用Harris角点检测算法识别的。稳健的面部特征是利用也在MATLAB中可用的KanadeLucas TomasUKLT)点跟踪器在连续帖之间被跟踪。在一些实施例中,非反射相似性变换是利用 POSIT算法从后续帖之间的被跟踪点的变化而生成的。然后,逆相似性变换作为偏移被应用 到每一帖,W补偿后续帖之间面部特征位置的变化。由此,面部特征通过计算被保持在初始 位置。每只眼睛周围的区域能够在每一帖中被修剪,W隔离眼睛运动与头部运动。
[0192]图13概述了比较自动化示例性过程的准确性的人工过程。图13(d)示出了在记 录视频录像之前被人工放在受试者脸上的视觉标记。视觉标记在所记录的录像中提供从 其运动可W被测量的清晰的点。对于所记录的录像中的每一帖,每个标记的五个角点利用 MATLABginput命令被人工选择。特征被选择的次序跨帖是一致的,W维持从帖到帖特征的 对应性。Kalman过滤器被用来平滑特征跟踪,因为人工点选择引入噪声。四个参考点被插 入每个记录并且跨每个视频帖被跟踪。叠加运些点允许计算人工和自动稳定之间的差异。 运些点的坐标在人工稳定的帖与自动稳定的帖之间进行比较。
[019引图13(a)示出了位于自动检测到的面部区域中的Harris角点。图13(b)示出了 眼睛区域"被锁定"至晦一帖的中屯、的稳定视频。图13(c)示出了眼睛周围的区域被修剪。 图13(d)示出了具有人工选择的中屯、点的标记。图13(e)示出了 3D姿态估计通过POSIT 算法被确定,其中单位是厘米。图13(f)示出了人工选择的标记点的重新投影,示出了估计 的头部姿态。图14示出了用于3D空间中一定长度的视频录像的头部轨迹估计。
[0194] 图12用"+ "符号表示示例长度的视频录像内所确定的面部特征的轨迹。符号 表示在逆变换映射图应用到每一帖之后被有效稳定的结果。
[0195] 在图12中,面部在稳定化之前被局部化到坐标巧23. 8037, 253. 3558) ± (18. 6676 ,8. 9088)像素,并且在稳定化之后在(500. 4114, 260. 0309) ± (1. 8828, 1. 4282)像素。结果 产生的稳定化的录像呈现出面部特征位置的紧密分组,运又说明了与原始录像相比而言头 部部分的基本稳定。然后,稳定的录像能够被一致地修剪为期望的区域。
[0196] 自动和人工稳定之间的平均均方差为7. 7494个像素。3D姿态估计的百分比误差 为0. 2428%。运个数据指示,设及标记的更劳动密集型人工跟踪方法虽然稳健,但是对于获 得对许多目的有用,并且对于与上述OKN检测过程一起使用特别有用的稳定视频录像不再 是必要的。
[0197] 在一些实施例中,头部轨迹信息被用来改善眼睛速度信息。在一些实施例中,头部 轨迹信息相对眼睛跟踪信息偏移,W基本上除去由头部运动造成的眼睛速度信息。例如,与 头部运动的速度相关的数据可W相对与眼睛运动有关的数据偏移,使得由非零头部速度造 成的误差被大大减少或基本上从眼睛速度信息除去。
[019引在前面的描述中已经对具有已知等同物的元件或整体进行参考的地方,运种等同 物就像它们被单独阐述一样被包括。虽然已经通过示例并参考特定的实施例对本发明进行 了描述,但是应当理解,在不背离如权利要求中所阐述的本发明范围的情况下,可W进行修 改和/或改进。
【主权项】
1. 一种从具有多个帧的视频录像提取眼睛速度信息的方法,所述方法包括: 在视频录像的至少两帧中检测眼睛的至少一部分, 对视频录像的所述至少两帧应用光流算法以提取像素速度信息,以及 从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量结果。2. -种眼睛跟踪系统,包括: 相机,被布置为捕获眼睛的录像, 控制器,被配置为接收眼睛的录像并且执行以下步骤: 在录像的至少两帧中检测眼睛的至少一部分, 对录像应用光流算法,以由此确定录像的所述至少两帧之间的像素速度信息,以及 从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量结果。3. -种控制器设备,所述控制器设备被编程为执行以下步骤: 在录像的至少两帧中检测眼睛的至
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1