本发明涉及计算机技术领域，尤其涉及一种眼球追踪功能检测方法和系统。
背景技术
眼球追踪技术，广泛应用于手机、笔记本、以及虚拟现实(virtualreality，简称vr)、增强现实(augmentedreality，简称ar)等各类电子产品中，基于该技术可以提供新的人机交互方式，即以人眼代替传统的鼠标、触控等交互方式，通过识别眼球的运动轨迹来对交互对象进行交互控制，从而可以将人的双手解放出来。
当某个产品中提供眼球追踪功能时，一般需要对该产品所提供的眼球追踪功能进行合格性检测，即检测该产品的眼球追踪功能能否正确识别出眼球的运动轨迹。而目前并未见有相关的检测方案。
技术实现要素：
有鉴于此，本发明实施例提供一种眼球追踪功能检测方法和系统，用于实现对产品的眼球追踪功能是否合格的检测。
第一方面，本发明实施例提供一种眼球追踪功能检测系统，包括：
具有眼球追踪功能的待检测产品、显示屏、控制设备；
其中，所述显示屏的位置与所述待检测产品的位置相对固定，所述控制设备分别与所述显示屏和所述待检测产品连接；
所述控制设备，用于控制所述显示屏显示预设的第一眼球运动视频，以及触发所述待检测产品对所述第一眼球运动视频进行眼球追踪，以及根据所述待检测产品输出的与所述第一眼球运动视频对应的第一眼球运动轨迹和所述第一眼球运动视频对应的预设理论眼球运动轨迹确定所述待检测产品是否合格；
所述待检测产品，用于采集所述第一眼球运动视频，识别所述第一眼球运动视频的各帧图像中的眼球位置，根据所述各帧图像中的眼球位置拟合获得所述第一眼球运动轨迹。
第二方面，本发明实施例提供一种眼球追踪功能检测方法，应用于待检测产品，该方法包括：
采集显示屏上显示的预设的第一眼球运动视频；
识别所述第一眼球运动视频的各帧图像中的眼球位置；
根据所述各帧图像中的眼球位置拟合获得与所述第一眼球运动视频对应的第一眼球运动轨迹；
将所述第一眼球运动轨迹发送至控制设备，以使所述控制设备根据所述第一眼球运动轨迹和所述第一眼球运动视频对应的预设理论眼球运动轨迹确定所述待检测产品是否合格。
本发明实施例提供的眼球追踪功能检测方法和系统，当需要对待检测产品所提供的眼球追踪功能进行合格性检测时，至少需要辅助以控制设备和显示屏来进行该检测。其中，显示屏的位置与待检测产品的位置相对固定，以此避免检测过程中显示屏、待检测产品的位置移动、姿态改变对检测结果造成的影响。具体地，与显示屏和待检测产品连接的控制设备先控制显示屏显示预设的第一眼球运动视频，并且触发待检测产品对显示屏显示的第一眼球运动视频进行眼球追踪，其中，第一眼球运动视频为表现眼球运动情况的视频画面。待检测产品对该第一眼球运动视频进行眼球追踪的过程具体为：待检测产品采集第一眼球运动视频，识别第一眼球运动视频的各帧图像中的眼球位置，根据各帧图像中的眼球位置拟合获得与该第一眼球运动视频对应的第一眼球运动轨迹，并将该第一眼球运动轨迹发送至控制设备。控制设备进而根据该第一眼球运动轨迹和第一眼球运动视频对应的预设理论眼球运动轨迹确定该待检测产品的眼球追踪功能是否合格，即如果该第一眼球运动轨迹和预设理论眼球运动轨迹匹配，则认为该待检测产品的眼球追踪功能合格，从而实现了对待检测产品提供的眼球追踪功能的合格性检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种眼球追踪功能检测系统的组成示意图；
图2为本发明实施例提供的另一种眼球追踪功能检测系统的组成示意图；
图3为与图2对应的一种眼球追踪功能检测系统的结构示意图；
图4为本发明实施例提供的又一种眼球追踪功能检测系统的组成示意图；
图5为本发明实施例提供的一种与第一眼球运动视频对应的眼球运动情况的示意图；
图6为本发明实施例提供的一种与第二眼球运动视频对应的眼球运动情况的示意图；
图7为本发明实施例提供的一种眼球追踪功能检测方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图1为本发明实施例提供的一种眼球追踪功能检测系统的组成示意图，如图1所示，该系统中包括：
具有眼球追踪功能的待检测产品11、显示屏12、控制设备13。
其中，显示屏12的位置与待检测产品11的位置相对固定，控制设备13分别与显示屏12和待检测产品11连接。
控制设备13，用于控制显示屏12显示预设的第一眼球运动视频，以及触发待检测产品11对第一眼球运动视频进行眼球追踪，以及根据待检测产品11输出的与第一眼球运动视频对应的第一眼球运动轨迹和第一眼球运动视频对应的预设理论眼球运动轨迹确定待检测产品11的眼球追踪功能是否合格。
待检测产品11，用于采集第一眼球运动视频，识别第一眼球运动视频的各帧图像中的眼球位置，根据各帧图像中的眼球位置拟合获得第一眼球运动轨迹。
其中，显示屏12的位置与待检测产品11的位置相对固定，是为了避免检测过程中显示屏12、待检测产品11的位置移动、姿态改变对检测结果造成不利影响。
可以理解的是，本发明实施例中通过显示屏12显示上述第一眼球运动视频以及后续实施例提到的第二眼球运动视频，相当于是模拟真正的人的眼球运动情况，那么为了检测待检测产品11提供的眼球追踪功能是否合格，该待检测产品11首先需要能够拍摄采集到显示屏12上显示的视频，因此此时，显示屏12的位置与待检测产品11的位置相对固定，一方面是指保持待检测产品11与显示屏12的相对位置不变，另一方面也是指待检测产品11内的摄像头能够以合适的角度拍摄到显示屏11上显示的视频。
实际应用中，待检测产品11可能不止一种产品，比如待检测产品11可以是vr眼镜，还可以是手机，还可以是平板电脑，等等，因此，而不同种类的待检测产品11的尺寸可能各不相同，但这些待检测产品11可以共用显示屏12，因此，为了使得当前的待检测产品11与显示屏12之间保持合适的位置关系，可选地，本发明实施例还提供了如图2所示的检测系统，该系统还包括：光学平台1以及固定在光学平台1上的产品载台2和位移移动组件3。
如图3所示，待检测产品11(图2和图3中未示出)承载于产品载台2上，显示屏12承载于位移移动组件3上。基于此，实际应用中，控制设备13还可以用于：确定与待检测产品11对应的位移参数，根据该位移参数控制位移移动组件3移动。
其中，光学平台1可以提供稳定的检测环境，确保显示屏12的移动以及整个检测过程中无外部振动干扰。
其中，图3示意了两块显示屏12，这两块显示屏12用于模拟人的双眼，也就是说，这两块显示屏12上显示的视频反映了人的双眼的眼球运动情况。该两块显示屏12的设置可以适用于诸如vr眼镜这类的待检测产品的眼球追踪功能的检测，因为vr眼镜中一般具有与左眼对应的摄像头以及与右眼对应的摄像头，这两个摄像头分别用于采集对应的显示屏12上显示的视频。
另外，如图2和图3所示，产品载台2可以固定设置在光学平台1，该产品载台的具体结构与待检测产品的结构适配，另外，实际应用中，该产品载台的高度也保证待检测产品11与显示屏12的高度适配，如此可以使得待检测产品11的摄像头的拍摄视角与显示屏12的尺寸相匹配。
如图2和图3所示，可选地，位移移动组件3可以包括左右位移组件31和前后位移组件32，其中，左右位移组件31用于实现显示屏12的左右移动，前后位移组件32用于实现显示屏12的前后移动。左右位移组件31和前后位移组件32的比如可以实现为位移电机与位移滑条组成的结构，其中，位移电机控制位移滑条移动。
当显示屏12具有如图2和图3中所示意的两块时，可选地，每块显示屏12可以各自对应有一个前后位移组件32，而这两个前后位移组件32可以共用一个左右位移组件31。为描述方便，以下将左右位移组件31和前后位移组件32等同于图3所示意的两种滑条结构，如此，可选地，如图3所示，左右位移组件31可以在光学平台1上进行左右移动，此时，光学平台1上可以设置有与左右位移组件32匹配的位移刻度；同理，当前后位移组件32可以在左右位移组件31上滑动时，前后位移组件32上也可以设置有位移刻度。
如此，控制设备13中可以预先存储有不同类型的待检测产品11各自对应的位移参数，该位移参数即可以体现为左右位移组件31和前后位移组件32分别移动到什么刻度。
另外，在一可选实施例中，如图4所示，该检测系统还可以包括：
分别与显示屏12和控制设备13连接的图像处理芯片4，以及分别与位移移动组件3和控制设备13连接的可编程逻辑控制器(programmablelogiccontroller，简称plc)5。此时，控制设备13具体用于：通过图像处理芯片4控制显示屏12显示预设的第一眼球运动视频，以及通过plc5控制位移移动组件3移动。
另外，可选地，如图4所示，可以设置一个电控箱6，用于容纳图像处理芯片4和plc5。
以上介绍了眼球追踪功能检测系统的几种可选的组成结构，下面具体说明该检测系统的工作过程，即具体是怎么样实现待检测产品11的眼球追踪功能的合格性检测的。
概括来说，预先设置好一个或多个用于对待检测产品11的眼球追踪功能进行检测的眼球运动视频，以下称为第一眼球运动视频，其中，每个第一眼球运动视频表现为一种眼球运动情况的视频画面。可选地，该一个或多个第一眼球运动视频可以是反映眼球最大运动范围的眼球运动视频，如图5所示，图5中示意了几种反映眼球最大运动范围的双眼的眼球极限运动情形：分别向上、向下、向左、向右进行极限运动能够达到的运动位置，以及顺时针和/或逆时针极限旋转运动的情形。从而，上述多个第一眼球运动视频包括：分别对应于向上、向下、向左、向右进行极限运动的第一眼球运动视频，以及对应于顺时针和/或逆时针极限旋转运动的第一眼球运动视频。
可选地，控制设备13可以依次控制显示屏12显示这多个第一眼球运动视频，并在每次控制显示屏12显示某个第一眼球运动视频时，向待检测产品11发送触发信号，以触发该待检测产品11对当前显示的第一眼球运动视频中的眼球画面进行眼球追踪处理。
可选地，控制设备13也可以从该多个第一眼球运动视频中随机选择出部分比如选择出一个，以基于该选择的第一眼球运动视频对待检测产品11的眼球追踪功能进行测试，即控制显示屏12显示选择出的第一眼球运动视频，并触发待检测产品11对该显示的第一眼球运动视频进行眼球追踪处理。
实际应用中，当需要显示至少两个第一眼球运动视频时，控制设备可以以预先设定的播放间隔控制显示屏12依次显示各第一眼球运动视频。
当待检测产品11接收到控制设备13的触发信号(可以是控制设备13通过图像处理芯片4触发的)时，通过摄像头采集显示屏12上显示的第一眼球运动视频，并识别其中的各帧图像中的眼球位置，根据各帧图像中的眼球位置拟合获得与该第一眼球运动视频对应的第一眼球运动轨迹。其中，由于第一眼球运动视频反映了眼球从某位置移动到另一位置的运动过程，因此，待检测产品11对采集到的第一眼球运动视频进行图像帧分割处理，得到的每帧图像中眼球的位置都会略有不同，识别出各帧图像中眼球的位置，从而对依次得到的各眼球位置进行拟合，即可得到反映该第一眼球运动视频中眼球运动情况的第一眼球运动轨迹。其中，眼球的位置可以用眼球圆形区域的中心的像素坐标来表示。
基于此，在一可选实施例中，待检测产品11可以将得到的与每个第一眼球运动视频对应的第一眼球运动轨迹发送至控制设备13，以使控制设备13可以根据各第一眼球运动轨迹对待检测产品11的眼球追踪功能进行合格性判定。
具体地，控制设备13中可以预先存储有与每个第一眼球运动视频对应的预设理论眼球运动轨迹，该预设理论眼球运动轨迹可以是以与待检测产品11对应的某个合格产品预先对各第一眼球运动视频进行测量得到的，或者通过其他方式得到的。基于此，控制设备13可以通过对比待检测产品11发送来的与某个第一眼球运动视频对应的第一眼球运动轨迹与该第一眼球运动视频对应的预设理论眼球运动轨迹，以确定该待检测产品11的眼球追踪功能是否合格，比如当两个轨迹的误差小于预设值时，认为该待检测产品11的眼球追踪功能合格。当采用多个第一眼球运动视频来对待检测产品11的眼球追踪功能进行检测时，可选地，当控制设备13接收到待检测产品11发送的与这多个第一眼球运动视频分别对应的第一眼球运动轨迹后，若该多个第一眼球运动轨迹与相对应的预设理论眼球运动轨迹间的误差均小于预设值，则认为该待检测产品11的眼球追踪功能合格。
在另一可选实施例中，当采用上述反映眼球最大运动范围的多个第一眼球运动视频来对待检测产品11的眼球追踪功能进行检测时，待检测产品11在得到与每个第一眼球运动视频对应的第一眼球运动轨迹后，还可以进一步根据该多个第一眼球运动视频各自对应的第一眼球运动轨迹确定出该多个第一眼球运动视频对应的眼球最大运动范围，进而将该眼球最大运动范围发送至控制设备13。相应地，控制设备13具体用于：根据该眼球最大运动范围和多个第一眼球运动视频对应的预设理论眼球最大运动范围确定待检测产品11的眼球追踪功能是否合格，即若待检测产品11确定出的眼球最大运动范围与该预设理论眼球最大运动范围的误差小于预设值，则认为待检测产品11的眼球追踪功能合格。
其中，比如基于图5中示意的眼球的几种极限运动所能够达到的位置，相应的预设理论眼球最大运动范围可以是基于顺时针或逆时针极限旋转运动的轨迹而绘制出的椭圆，而该预设理论眼球最大运动范围对应的中心点为基于上、下、左、右运动所能达到的极限位置作为边界绘制出的一个矩形区域的中心点。值得说明的是，该预设理论眼球最大运动范围对应于合格产品的成像坐标系中的一个区域，即该预设理论眼球最大运动范围不但具有一定的覆盖面积，而且具有相应的坐标范围，而上述中心点即为成像坐标系的原点。
而对于待检测产品11来说，其得到多个第一眼球运动轨迹后，也可以根据上述过程根据得到的旋转轨迹(对应于顺时针、逆时针旋转运动的眼球运动视频)或直线轨迹的终点(对应于向上、下、左、右运动的眼球运动视频)绘制出眼球最大运动范围，进而将该眼球最大运动范围发送至控制设备13，其中，该眼球最大范围可以以一定的参数来表示，比如当该眼球最大范围为矩形区域时，可以将矩形的中心点坐标以及长度和宽度发送至控制设备13即可；当该眼球最大范围为椭圆时，可以将椭圆的焦点、轴长发送至控制设备13即可。
其中，上述预设理论眼球最大运动范围可以是以与待检测产品11对应的某个合格产品预先对各第一眼球运动视频进行测量得到的，即以测得的各条理论眼球运动轨迹确定出的该预设理论眼球最大运动范围。一般地，该预设理论眼球最大运动范围的中心与合格产品的成像坐标系中心重合。
在一可选实施例中，控制设备13也可以将预设理论眼球最大运动范围发送至待检测产品11，使得待检测产品11比较该预设理论眼球最大运动范围与自己得到的眼球最大运动范围的误差是否小于预设值来确定自己的眼球追踪功能是否合格。
综上，可以通过显示屏显示预设设置后的第一眼球运动视频供待检测产品针对该第一眼球运动视频进行眼球追踪处理以得到实际测得的眼球运动轨迹，进而通过比较该实际测得的眼球运动轨迹与第一眼球运动视频对应的理论眼球运动轨迹实现对该待检测产品的眼球追踪功能是否合格的检测。
实际上，前述提及的多个第一眼球运动视频可以是根据实际应用场景中的真实用户群体的普遍眼球运动特征而制作的视频资源，比如针对成年人的瞳距、针对儿童的瞳距、针对不同瞳孔颜色等因素而制作的视频资源。从而，上述多个第一眼球运动视频可以是针对某种瞳孔颜色的成年人的瞳距而制作的反映几种可能的极限眼球运动情况的视频；上述多个第一眼球运动视频也可以是针对某种瞳孔颜色的儿童的瞳距而制作的反映几种可能的极限眼球运动情况的视频，等等。从而，可以基于上述制作得到的视频对待检测产品的眼球追踪功能进行检测，以实现对该眼球追踪功能在多种可能情形下的合格性检测。
另外，上述检测过程中待检测产品11获得眼球最大运动范围的过程也可以视为是让待检测产品11学习眼球的可运动范围的过程，亦即可以视为是校准待检测产品的眼球追踪功能的过程。基于此，在一可选实施例中，为实现对待检测产品11的眼球追踪功能的合格性检测，在前述实施例的基础上，上述控制设备13和待检测产品11还可以继而执行如下功能：
控制设备13还用于：控制显示屏12显示预设的第二眼球运动视频，以及触发待检测产品11对第二眼球运动视频进行眼球追踪，以及根据待检测产品11输出的与第二眼球运动视频对应的第二眼球运动轨迹和前述眼球最大运动范围确定待检测产品11的眼球追踪功能是否合格；其中，第二眼球运动视频与第一眼球运动视频所对应的眼球运动轨迹不同；
待检测产品11还用于：采集第二眼球运动视频，识别第二眼球运动视频的各帧图像中的眼球位置，根据各帧图像中的眼球位置拟合获得第二眼球运动轨迹。
可选地，如图6所示，第二眼球运动视频对应的眼球运动情况比如可以是图6中示意的向左上方45度方向运动，向右下方45度方向运动，向左下方45度方向运动，向右上方45度方向运动，其中，该45度仅为一种举例，不以此为限。
其中，第二眼球运动轨迹的获得过程可以参考第一眼球运动轨迹的获得过程，不再赘述。
具体地，控制设备13具体可以根据第二眼球运动视频对应的预设眼球运动参数在眼球最大运动范围内确定与第二眼球运动视频对应的参考眼球运动轨迹；若第二眼球运动轨迹和该参考眼球运动轨迹的误差小于预设值，则确定待检测产品11的眼球追踪功能合格。
其中，对应于图6中的举例，上述预设眼球运动参数比如为运动方向和角度，如左上方，45度，从而，相应地，可以从上述眼球最大运动范围的中心点绘制一条沿其左上方45度方向延伸的线段，该线段的另一端点与该预眼球最大运动范围的边界线相交，该条线段即为与向左上方运动45度的第二眼球运动视频对应的参考眼球运动轨迹。进而，若比较发现待检测产品11实际测得的第二眼球运动轨迹与基于该过程计算出的参考眼球运动轨迹误差较小，则说明待检测产品11之前生成的眼球最大运动范围是正确的，亦说明该待检测产品11的眼球追踪功能合格。
图7为本发明实施例提供的一种眼球追踪功能检测方法的流程图，该方法可以由前述实施例中的待检测产品来执行，如图7所示，该方法可以包括如下步骤：
701、采集显示屏上显示的预设的第一眼球运动视频。
702、识别第一眼球运动视频的各帧图像中的眼球位置。
703、根据各帧图像中的眼球位置拟合获得与第一眼球运动视频对应的第一眼球运动轨迹。
704、将第一眼球运动轨迹发送至控制设备，以使控制设备根据第一眼球运动轨迹和第一眼球运动视频对应的预设理论眼球运动轨迹确定待检测产品的眼球追踪功能是否合格。
其中，可选地，所述第一眼球运动视频为反映眼球最大运动范围的多个第一眼球运动视频，相应地，在拟合得到多个第一眼球运动视频各自对应的第一眼球运动轨迹后，还可以根据拟合获得的多个第一眼球运动视频各自对应的第一眼球运动轨迹确定出多个第一眼球运动视频对应的眼球最大运动范围，从而，可以将该眼球最大运动范围发送至控制设备，以使控制设备根据该眼球最大运动范围和多个第一眼球运动视频对应的预设理论眼球最大运动范围确定待检测产品的眼球追踪功能是否合格。
可选地，在得到上述眼球最大运动范围后，还可以包括如下步骤：
采集显示屏上显示的预设的第二眼球运动视频，第二眼球运动视频与第一眼球运动视频所对应的眼球运动轨迹不同；
识别第二眼球运动视频的各帧图像中的眼球位置；
根据各帧图像中的眼球位置拟合获得与第二眼球运动视频对应的第二眼球运动轨迹；
将第二眼球运动轨迹发送至控制设备，以使控制设备根据第二眼球运动视频对应的预设眼球运动参数在眼球最大运动范围内确定与第二眼球运动视频对应的参考眼球运动轨迹以及在第二眼球运动轨迹和参考眼球运动轨迹的误差小于预设值时确定待检测产品的眼球追踪功能合格。
上述方法实施例中未尽的描述可以参考前述相关系统实施例中的说明，在此不赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。