一种眼球跟踪的方法及装置的制造方法
【专利摘要】本发明公开了一种眼球跟踪的方法及装置，该方法包括获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。
【专利说明】
一种眼球跟踪的方法及装置
技术领域
[0001 ] 本发明涉及视觉跟踪技术领域，尤其涉及一种眼球跟踪的方法及装置。
【背景技术】
[0002]眼球跟踪是跟踪眼球运动的一种算法，该算法可以对视频录像中的每一帧图片进行眼球虹膜轮廓检测和定位，然后在使用最优的框去拟合和标记出来，并且可以计算出瞳孔中心的位置。
【发明内容】
[0003]本发明实施例提供一种眼球跟踪的方法及装置，用以实现自动检测眼球的起始点，在眼球轮廓识别错误时自动进行调整。
[0004]本发明实施例提供的一种眼球跟踪的方法，包括:
[0005]获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
[0006]判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
[0007]若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
[0008]在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
[0009]根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
[0010]较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
[0011]在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
[0012]根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
[0013]较佳地，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括:
[0014]将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
[0015]根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
[0016]将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
[0017]根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
[0018]根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
[0019]较佳地，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括:
[0020]去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
[0021]较佳地，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括:
[0022]对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
[0023]其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
[0024]较佳地，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括:
[0025]对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
[0026]其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
[0027]较佳地，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括:
[0028]从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
[0029]将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
[0030]较佳地，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，包括:
[0031]以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
[0032]将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
[0033]较佳地，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括:
[0034]以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
[0035]若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点旧为正整数；
[0036]根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
[0037]较佳地，所述预设条件为al+(x_l) λ，每次移动距离为d，其中，al为第一角度阈值，X为移动的次数，λ为第二角度阈值；
[0038]当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
[0039]其中，所述a2为第三角度阈值，a2大于al，a2大于λ。
[0040]相应地，本发明实施例提供了一种眼球跟踪的装置，包括:
[0041]获取单元，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
[0042]判断单元，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓#为正整数；
[0043]中心位置确定单元，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
[0044]眼球窗口确定单元，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
[0045]眼球轮廓确定单元，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
[0046]较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第Ν+1帧面部灰度图中眼球瞳孔的中心位置；
[0047]眼球窗口确定单元还用于在所述第Ν+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
[0048]眼球轮廓确定单元还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第Ν+1帧面部灰度图中的眼球虹膜的轮廓。
[0049]较佳地，所述中心位置确定单元具体用于:
[0050]将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
[0051]根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
[0052]将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
[0053]根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
[0054]根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
[0055]较佳地，所述中心位置确定单元具体用于:
[0056]去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
[0057]较佳地，所述中心位置确定单元具体用于:
[0058]对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
[0059]其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
[0060]较佳地，所述中心位置确定单元具体用于:
[0061]对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
[0062]其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
[0063]较佳地，所述中心位置确定单元具体用于:
[0064]从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
[0065]将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
[0066]较佳地，所述眼球窗口确定单元具体用于:
[0067]以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
[0068]将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
[0069]较佳地，所述眼球轮廓确定单元具体用于:
[0070]以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
[0071]若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点旧为正整数；
[0072]根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
[0073]较佳地，所述预设条件为al+(x_l) λ，每次移动距离为d，其中，al为第一角度阈值，X为移动的次数，λ为第二角度阈值；
[0074]所述眼球轮廓确定单元还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
[0075]其中，所述a2为第三角度阈值，a2大于al，a2大于λ。
[0076]本发明实施例表明，通过获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位，避免了出现眼球虹膜的轮廓的跟踪错误无法进行自动调整的情况。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。
【附图说明】
[0077]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0078]图1为本发明实施例提供的一种眼球跟踪的方法的流程示意图；
[0079]图2为本发明实施例提供的一种预处理前的水平投影曲线示意图；
[0080]图3为本发明实施例提供的一种预处理后的水平投影曲线示意图；
[0081]图4为本发明实施例提供的一种眼球跟踪的装置的结构示意图。
【具体实施方式】
[0082]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部份实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0083]图1示出了本发明实施例提供的一种眼球跟踪的流程，该流程可以由眼球跟踪的装置执行。
[0084]如图1所述，该流程的具体步骤包括:
[0085]步骤101，获取待检测的面部灰度图集合。
[0086]步骤102，判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓。
[0087]步骤103，对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置。
[0088]步骤104，在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域。
[0089]步骤105，根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
[0090]步骤106，将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置。
[0091]步骤107，在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域。
[0092]步骤108，根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
[0093]在步骤101中，该待检测的面部灰度图集合中包括多帧面部灰度图。将视频切分为一帧帧的图片，将这些一帧帧的图片组成集合，如果该一帧帧的图片都是彩色的，则需要将还一帧帧的彩色图片转换为灰度图，即可以获得待检测的面部灰度图。
[0094]在步骤102中，判断步骤101中获取的待检测的面部灰度图集合中的第N帧面部灰度图是否可以确定出眼球虹膜的轮廓来，如果可以确定出眼球虹膜的轮廓，说明该第N帧面部灰度图的眼球跟踪没有出现错误，可以进行第N+1帧面部灰度图的眼球跟踪。如果不能确定出眼球虹膜的轮廓，则可能是该第N帧面部灰度图的眼球跟踪出现错误，需要重新确定该第N帧面部灰度图的眼球瞳孔的中心位置，也可能是该第N帧面部灰度图是第I帧面部灰度图，对于第I帧面部灰度图需要确定该第I帧面部灰度图的眼球瞳孔的中心位置。其中，N为正整数。
[0095]在步骤103中，若步骤102中判断出该待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则需要对该第N帧面部灰度图进行眼球瞳孔检测，确定出该第N帧面部灰度图中眼球瞳孔的中心位置。
[0096]具体的，将该第N帧面部灰度图进行水平积分投影，获取该第N帧面部灰度图的水平投影曲线。在进行水平积分投影之前，需要去除第N帧面部灰度图中灰度值大于第一阈值的像素，然后再将去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，即可以获取该第N帧面部灰度图的水平投影曲线。该第一阈值可以根据经验进行设置，如可以设置为100的灰度值。去除灰度值大于第一阈值的第N帧面部灰度图表示对该第N帧面部灰度图进行去噪。可以得到一个平滑的曲线。
[0097]在获取水平投影曲线之后，根据该第N帧面部灰度图的水平投影曲线，可以确定眼球位于该第N帧面部灰度图的垂直方向上的坐标。对该第N帧面部灰度图的水平投影曲线进行预处理，将该预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的该第N帧面部灰度图中的坐标，确定为该眼球位于所述第N帧面部灰度图的垂直方向上的坐标。其中，对第N帧面部灰度图的水平投影曲线进行预处理为选取第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。该第二阈值可以根据经验进行设定，只有确定波谷到波峰的距离大于该第二阈值的峰值才可以保留。如图2和图3所示，图2为预处理前的水平投影曲线，图3为预处理后的水平投影曲线，图中的“ + ”表示峰值所在的位置，经过预处理之后，图3中的“ + ”去除了一部分。
[0098]举例来说，图3示出了一种水平投影曲线，灰度值表示纵坐标，横坐标表示面部灰度图的垂直方向的坐标，峰值在左侧的是波谷，峰值在右侧的是波峰。如图3所示，第一个波谷表示头发所在的位置，第二个波谷表示眉毛所在的位置，第二个波谷和第三个波谷之间的位置表示眼球，即可以确定出该眼球位于第N帧面部灰度图的垂直方向上的坐标。
[0099]将眼球位于第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取第N帧面部灰度图的垂直投影曲线。垂直投影曲线的横坐标表示面部灰度图的水平方向上的坐标，纵坐标表示灰度值。
[0100]根据第N帧面部灰度图的垂直投影曲线，确定眼球位于第N帧面部灰度图的水平方向上的坐标。对第N帧面部灰度图的垂直投影曲线进行预处理，将预处理后的第N帧面部灰度图的垂直投影曲线中以第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的第N帧面部灰度图中的坐标，确定为眼球位于第N帧面部灰度图的水平方向上的坐标。该中轴线为该第N帧面部灰度图的垂直投影曲线的中轴线，在该中轴线两侧，相互对此的两个波谷所在的坐标，即是左右两个眼睛所在的水平坐标，即可以确定出眼球位于该第N帧面部灰度图的水平方向上的坐标。其中，对第N帧面部灰度图的垂直投影曲线进行预处理为选取第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
[0101]上述水平积分投影和垂直积分投影的过程中，由于眼球是黑色，灰度值较低，因此，可以通过查找投影曲线中波谷的方式，探测到眼睛的大概位置。但是，在实际观测中，由于背景和人脸的干扰，曲线波动一般比较大，在一个大的波谷中，实际上由很多干扰的小波谷，不利于获取眼睛的真实位置，因此，需要对上述水平积分投影曲线和垂直积分投影曲线进行预处理。
[0102]根据眼球位于所述第N帧面部灰度图的垂直方向上的坐标和眼球位于第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。从眼球位于第N帧面部灰度图的垂直方向上的坐标和眼球位于第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将灰度值小于第三阈值的像素的坐标组成眼球瞳孔的位置集合。将眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。该第三阈值可以根据经验进行设定。灰度值小于第三阈值的像素表示黑色虹膜所在的位置，可以选取每一行中灰度值小于第三阈值的像素最长的长条，然后组成集合，该集合的质心就是眼球瞳孔的中心位置。
[0103]在步骤104中，在步骤103中确定出眼球瞳孔的中心位置之后，可以以眼球瞳孔的中心位置为中心，在第N帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧面部灰度图的垂直方向上向上下扩展第二预设距离。将以眼球瞳孔的中心位置为中心，在第N帧面部灰度图上扩展的灰度图区域，确定为眼球窗口对应的灰度图区域。该第一预设距离和该第二预设距离可以根据经验进行设置。
[0104]以眼球瞳孔的中心位置为中心，在该第N帧的水平方向上分别向左和向右扩展第一预设距离，在垂直方向上分别向下和向上扩展第二预设距离，经过两次扩展后确定出的一个灰度图区域可以确定为眼球窗口对应的灰度图。
[0105]在步骤105中，在步骤104中确定出眼球窗口对应的灰度图之后，可以以该眼球瞳孔的中心位置为出发点，根据预设条件，在眼球窗口对应的灰度图区域内移动，将每次移动后对应的灰度值作为比较灰度值。若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点。其中，M为正整数，该第四阈值可以根据经验进行设定。由于在眼球虹膜与眼球眼白的灰度值不同，因此，通过比较两次相邻移动的点的灰度值的差值变化比较大，说明处于眼球虹膜边缘位置。根据眼球虹膜边缘处的点，确定第N帧面部灰度图中的眼球虹膜的轮廓。
[0106]上述预设条件为al+ (X-1) λ，每次移动距离为d，其中，al为第一角度阈值，x为移动的次数，λ为第二角度阈值。当移动角度大于等于a2时，停止在眼球窗口的灰度图区域内移动。其中，a2为第三角度阈值，a2大于al，a2大于λ。上述第一角度阈值、第二角度阈值、第三角度阈值和每次移动距离可以依据经验进行设定。
[0107]在步骤106中，在步骤102中判断出待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则可以进行第Ν+1帧面部灰度图的眼球跟踪。然后将根据第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为第Ν+1帧面部灰度图中眼球瞳孔的中心位置。
[0108]在步骤107中，在步骤106中确定出第Ν+1帧面部灰度图中眼球瞳孔的中心位置之后，以眼球瞳孔的中心位置为中心，在第Ν+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第Ν+1帧面部灰度图的垂直方向上向上下扩展第二预设距离。将以所述眼球瞳孔的中心位置为中心，在第Ν+1帧面部灰度图上扩展的灰度图区域，确定为眼球窗口对应的灰度图区域。
[0109]以眼球瞳孔的中心位置为中心，在该第Ν+1帧的水平方向上分别向左和向右扩展第一预设距离，在垂直方向上分别向下和向上扩展第二预设距离，经过两次扩展后确定出的一个灰度图区域可以确定为眼球窗口对应的灰度图。
[0110]在步骤108中，在步骤107中确定出眼球窗口对应的灰度图之后，可以以该眼球瞳孔的中心位置为出发点，根据预设条件，在眼球窗口对应的灰度图区域内移动，将每次移动后对应的灰度值作为比较灰度值。若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点。其中，M为正整数，该第四阈值可以根据经验进行设定。由于在眼球虹膜与眼球眼白的灰度值不同，因此，通过比较两次相邻移动的点的灰度值的差值变化比较大，说明处于眼球虹膜边缘位置。根据眼球虹膜边缘处的点，确定第Ν+1帧面部灰度图中的眼球虹膜的轮廓。
[0111]上述预设条件为al+(X-1) λ，每次移动距离为d，其中，al为第一角度阈值，X为移动的次数，λ为第二角度阈值。当移动角度大于等于a2时，停止在眼球窗口的灰度图区域内移动。其中，a2为第三角度阈值，a2大于al，a2大于λ。上述第一角度阈值、第二角度阈值、第三角度阈值和每次移动距离可以依据经验进行设定。
[0112]上述实施例表明，通过获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位，避免了出现眼球虹膜的轮廓的跟踪错误无法进行自动调整的情况。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。
[0113]基于相同的技术构思，图4示出了本发明实施例提供的一种眼球跟踪的装置的结构，该装置可以执行眼睛跟踪的流程。
[0114]如图4所示，该装置具体包括:
[0115]获取单元401，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
[0116]判断单元402，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓#为正整数；
[0117]中心位置确定单元403，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
[0118]眼球窗口确定单元404，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
[0119]眼球轮廓确定单元405，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
[0120]优选地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元403还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
[0121]眼球窗口确定单元404还用于在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
[0122]眼球轮廓确定单元405还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
[0123]优选地，所述中心位置确定单元403具体用于:
[0124]将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
[0125]根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
[0126]将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
[0127]根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
[0128]根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
[0129]优选地，所述中心位置确定单元403具体用于:
[0130]去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
[0131]优选地，所述中心位置确定单元403具体用于:
[0132]对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
[0133]其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
[0134]优选地，所述中心位置确定单元403具体用于:
[0135]对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
[0136]其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
[0137]优选地，所述中心位置确定单元403具体用于:
[0138]从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
[0139]将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
[0140]优选地，所述眼球窗口确定单元404具体用于:
[0141]以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
[0142]将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
[0143]优选地，所述眼球轮廓确定单元405具体用于:
[0144]以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
[0145]若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点旧为正整数；
[0146]根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
[0147]优选地，所述预设条件为al+(x_l) λ，每次移动距离为d，其中，al为第一角度阈值，X为移动的次数，λ为第二角度阈值；
[0148]所述眼球轮廓确定单元405还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
[0149]其中，所述a2为第三角度阈值，a2大于al，a2大于λ。
[0150]本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0151]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0152]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0153]尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
[0154]显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
【主权项】
1.一种眼球跟踪的方法，其特征在于，包括: 获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图； 判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数； 若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置； 在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域； 根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。2.如权利要求1所述的方法，其特征在于，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置； 在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域； 根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。3.如权利要求1所述的方法，其特征在于，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括: 将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线； 根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标； 将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线； 根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标； 根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。4.如权利要求3所述的方法，其特征在于，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括: 去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。5.如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括: 对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标； 其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。6.如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括: 对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标； 其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。7.如权利要求3所述的方法，其特征在于，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括: 从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合； 将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。8.如权利要求1或2所述的方法，其特征在于，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，包括: 以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离； 将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。9.如权利要求1或2所述的方法，其特征在于，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括: 以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值； 若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点旧为正整数； 根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。10.如权利要求9所述的方法，其特征在于，所述预设条件为al+(X-1)λ，每次移动距离为d，其中，al为第一角度阈值，X为移动的次数，λ为第二角度阈值； 当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动； 其中，所述a2为第三角度阈值，a2大于al，a2大于λ。11.一种眼球跟踪的装置，其特征在于，包括: 获取单元，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图； 判断单元，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓#为正整数； 中心位置确定单元，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置； 眼球窗口确定单元，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域； 眼球轮廓确定单元，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。12.如权利要求11所述的装置，其特征在于，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置； 眼球窗口确定单元还用于在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域； 眼球轮廓确定单元还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。13.如权利要求11所述的装置，其特征在于，所述中心位置确定单元具体用于: 将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线； 根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标； 将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线； 根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标； 根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。14.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于: 去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。15.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于: 对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标； 其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。16.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于: 对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标； 其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。17.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于: 从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合； 将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。18.如权利要求11或12所述的装置，其特征在于，所述眼球窗口确定单元具体用于: 以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离； 将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。19.如权利要求11或12所述的装置，其特征在于，所述眼球轮廓确定单元具体用于: 以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值； 若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点旧为正整数； 根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。20.如权利要求19所述的装置，其特征在于，所述预设条件为al+(χ-1) λ，每次移动距离为d，其中，al为第一角度阈值，X为移动的次数，λ为第二角度阈值； 所述眼球轮廓确定单元还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动； 其中，所述a2为第三角度阈值，a2大于al，a2大于λ。
【文档编号】G06K9/00GK105930762SQ201510875607
【公开日】2016年9月7日
【申请日】2015年12月2日
【发明人】蔡子豪, 冯亮
【申请人】中国银联股份有限公司