头部和眼睛跟踪的制作方法
【技术领域】
[0001] 本发明一般设及用于处理对确定视动性眼震（optokineticnystagmus)和头部运 动有用的视频信息的系统和方法。
【背景技术】
[0002] 幼儿视觉功能的准确评估尤其具有挑战性。存在几种可用的方法，但是没有一种 特别适于被没有对小儿眼科、验光学和/或视觉电生理学进行过广泛培训的卫生保健提供 者使用。
[0003] 视动性眼震（OKN)是由连续移动的图案或刺激触发的不自主的眼睛运动现象，并 且可W被用来评估视觉功能。OKN是眼睛移动W平滑地追寻视觉刺激中的目标然后是其中 眼睛固定到新刺激目标的重置事件（扫视）的重复。图1(b)示出了随时间推移的眼睛位 移的图，示出了作为OKN眼睛运动的特点的银齿OKN曲线图。
[0004]OKN的存在或不存在是视觉性能的客观指示并且也会对评估神经障碍有用。在人 的一生中视力问题的早期检测对于显著改善继续治疗的结果也是已知的。
[0005]OKN视觉刺激由具有可修改的属性，包括对比度、频率或相干性，的线或点的排列 组成。操纵运些参数允许测量OKN在其不再存在的阔值。运个阔值是视觉性能的量度。
[0006]引起OKN的一种方法是使用具有视觉刺激的手持转鼓。临床医生观察眼睛运动， W做出关于OKN存在或不存在的决定。
[0007] 检测OKN的另一种方法被称为眼电图法。放在眼睛周围的电极在眼睛（强偶极 子）响应于视觉刺激而移动时测量电势的变化。由电极产生的信号被分析，W确定OKN的 存在或不存在。
[0008] 检测OKN的另一种方法是使用视频眼震图技术。眼睛的位置通过检查观察直播 或录制的视频来跟踪。视频眼震图是有吸引力的，因为它是非侵入性的并且可W利用低成 本和基本的视频硬件来实现。美国专利7, 380, 938描述了一种视频眼震图技术，其中眼睛 的视频录像被记录，眼睛的垂直和水平运动被隔离并且眼睛在水平和垂直方向的位移被测 量。位移测量可W被分析，W确定OKN图案的存在或不存在。
[0009] 视频眼震图技术的一个缺点是它们要求在相机与眼睛之间的固定位置关系，W便 消除由头部运动引入的性能误差。为了防止头部运动，常常需要受试者将他们的头部放在 固定的腮托中或者佩戴头戴式装备，诸如相机和照明装备，W改善视频记录。幼儿和婴儿不 能忍受头部固定或头戴式装置（gear)，运阻碍了利用视频眼震图技术对其视觉功能的客观 评估。
[0010] 本发明的目标设及克服或至少改善一些上述缺点或者至少为公众提供有用选择 的评估视动性眼震的途径。
[0011]在本说明书中，其中对外部信息源，包括专利说明书和其它文件，进行的引用，运 一般而言是为了给讨论本发明的特征提供背景。除非另有说明，否则对运些信息源的引用 在任何司法管辖范围中都不应当被解释为承认运些信息源是现有技术或者构成本领域的 公知常识的一部分。
【发明内容】
[0012] 在一个广泛的方面，本发明包括从具有多个帖的视频录像提取眼睛速度信息的方 法，包括在视频录像的至少两帖中检测眼睛的至少一部分，对视频录像的所述至少两帖应 用光流算法W提取像素速度信息，W及从所检测的眼睛的所述至少一部分内的像素速度信 息确定统计测量。
[0013] 在另一个广泛的方面，本发明包括眼睛跟踪系统，包括布置为捕获眼睛的录像的 相机、被配置为接收眼睛的录像并且执行W下步骤的控制器：在录像的至少两帖中检测眼 睛的至少一部分、对该录像应用光流算法W从而确定录像的所述至少两帖之间的像素速度 信息、W及从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量。
[0014] 在另一个广泛的方面，本发明包括被编程为执行W下步骤的控制器设备：在录像 的至少两帖中检测眼睛的至少一部分、对该录像应用光流算法W从而确定录像的所述至少 两帖之间的像素速度信息、W及从被检测的眼睛的至少一部分内的像素速度信息确定统计 测量。
[0015] 一些实施例还包括一个或多个步骤（W任何次序）：
[0016] 从速度信息确定眼睛的至少一部分的速度量值W及方向、从速度信息确定任何速 度最大值和最小值、比较任何最大值或最小值与下速度阔值并且丢弃低于该阔值的任何最 大值或最小值、比较任何最大值或最小值与上速度阔值并且丢弃高于该阔值的任何最大值 或最小值、比较相邻的最大值或最小值之间的帖间距离与帖阔值并且丢弃低于该帖阔值的 任何最大值或最小值、确定速度信息中的任何单独的最大值或单独的最小值并且丢弃单独 的最大值或单独的最小值、将最大值或最小值速度量值求平均、和/或规格化最大值或最 小值速度量值。
[0017] 在一些实施例中，像素速度信息的统计测量是平均像素速度。
[0018] 在一些实施例中，眼睛的至少一部分是眼睛的对比度不连续的区域。
[0019] 在一些实施例中，眼睛的至少一部分是眼睛的角膜缘部分。
[0020] 一些实施例还包括为视频录像中每个连续的帖生成像素速度平均值的列表。
[0021] 一些实施例还包括比较所确定的速度信息与健康速度信息，W确定眼睛和/或视 觉通路的健康状况。
[0022] -些实施例还包括比较所确定的速度信息与健康速度信息，W确定OKN的存在性 和/或强度。
[0023] 在一些实施例中，眼睛的角膜缘部分由边缘检测算法确定。
[0024] 在一些实施例中，边缘检测通过Prewitt算子的应用来执行。
[00巧]在一些实施例中，光流算法是Lucas-Kanade光流算法。
[0026] 在一些实施例中，光流算法被用来确定对应于若干重置事件的一定长度的视频录 像的连续帖之间的像素速度信息。
[0027] -些实施例还包括布置在眼睛前面的视觉刺激，该刺激可操作为引起视动性眼 震。
[0028] 一些实施例还包括比较平均速度信息与已知的视动性眼震速度信息，W响应于刺 激而确定眼睛的健康状况。
[0029] 在一些实施例中，视频录像是从观看刺激的受试者获得的。
[0030] 在一些实施例中，刺激是屏幕。
[0031] 在一些实施例中，相机和屏幕被包含在外壳内。
[0032] 在一些实施例中，相机、屏幕和控制器集成在外壳内。
[0033] 在一些实施例中，外壳是智能电话、平板电脑或便携式计算设备当中任何一个或 多个。
[0034] 在一些实施例中，检测眼睛的至少一部分不包括眼睛的特征的检测。
[0035] 在另一个广泛的方面，本发明包括改善受试者对眼睛跟踪的关注的方法，包括操 作至少一个显示器显示具有获得观看者的关注的功能的视频的视频、操作至少一个显示器 W示出OKN刺激视频、W及利用相机记录观看OKN刺激视频的眼睛。
[0036] 在一些实施例中，具有获得观看者的关注的功能的视频是动画视频。
[0037] 在一些实施例中，该方法还包括根据权利要求1的从眼睛的记录提取眼睛速度信 息的方法。
[0038] 在一些实施例中，统计测量被用来确定与人的行为、人对广告的响应、安全目的、 或消费者关注当中一个或多个相关的信息。
[0039] 一些实施例还包括通过一种方法从视频录像提取头部图像轨迹信息，该方法包 括：在视频录像的至少两帖中检测头部的面部区域的至少一部分、确定在所述至少两帖之 间的面部区域的所述至少一部分的运动的测量、W及从运动的测量确定变换映射图。
[0040] -些实施例还包括确定变换映射图的逆、将变换的逆应用到视频录像中的每一 帖，使得帖内面部区域基本保持恒定。
[0041] 一些实施例还包括利用Viola-Jones算法从视频录像的帖内检测面部区域。
[0042] 一些实施例还包括利用Harris角点检测算法在帖内检测面部区域的一个或多个 特定部分。
[0043] -些实施例还包括利用KanadeLucasTomasi化11')点跟踪器确定连续视频帖之 间的面部区域或面部区域的一个或多个特定部分的运动的测量。
[0044] 在一些实施例中，运动的测量包括旋转、缩放和/或平移运动当中一个或多个。
[0045] 在一些实施例中，变换映射图是从运动信息创建的。
[0046] -些实施例还包括应用逆相似性变换来偏移视频录像中每一帖，使得帖内的面部 区域关于每一帖基本上保持恒定。
[0047] -些实施例还包括应用逆相似性变换来修剪视频录像中每一帖W生成新的帖，使 得帖内的面部区域关于每一帖基本上保持恒定。
[0048] 在一些实施例中，头部轨迹信息被用来改善眼睛速度信息。
[0049] 在一些实施例中，头部轨迹信息相对于眼睛跟踪信息偏移，W基本上除去由头部 运动造成的眼睛速度信息。
[0050] 在另一个广泛的方面，本发明包括处理具有多个帖的视频录像W确定OKN的存在 性的方法，该方法包括：通过一种方法提取头部轨迹信息，该方法包括：在视频录像的至少 两帖中检测头部图像的面部区域的至少一部分、确定所述至少两帖之间的面部区域的所述 至少一部分的运动的测量W及从运动的测量确定变换映射图、W及通过一种方法提取眼睛 速度信息，该方法包括：在视频录像的至少两帖中检测眼睛的至少一部分、对视频录像的所 述至少两帖应用光流算法W提取像素速度信息、W及从所检测的眼睛的所述至少一部分内 的像素速度信息确定统计测量。
[0051] 在一些实施例中，头部轨迹信息相对于眼睛跟踪信息偏移，W基本上除去由头部 运动造成的眼睛速度信息。
[0052] 在另一个广泛的方面，本发明包括从具有多个帖的视频录像中提取头部图像轨迹 信息的方法，该方法包括：在视频录像的至少两帖中检测头部图像的面部区域的至少一部 分、确定在所述至少两帖之间的面部区域的所述至少一部分的运动的测量、W及从运动的 测量确定变换映射图。
[0053] 在另一方面，本发明包括从具有多个帖的视频录像中提取头部图像轨迹信息的方 法，该方法包括：在视频录像的至少两帖中检测头部图像的面部区域的至少一部分、确定