提高视线跟踪系统准确度的补偿方法与装置制造方法
【专利摘要】本发明针对目前视线跟踪系统中存在的以上影响系统精确度的问题，公开了一些补偿性方法的关键性设计，特别是根据利用环境亮度的外部自适应设计和根据获得眼部图片质量的内部自适应设计，从多种途径反馈改变外加光源的亮度进行补偿和实时测量用户瞳孔半径和与屏幕间的距离，利用线性插值进行注视点补偿。改善了获得图片质量，提高了系统鲁棒性。
【专利说明】提高视线跟踪系统准确度的补偿方法与装置
一、【技术领域】
[0001]本发明属于视线跟踪【技术领域】，具体涉及一种使用补偿方法以提高视线跟踪系统准确度的方法与装置。
二、【背景技术】
[0002]眼睛是人类从外界获取信息的重要器官，也是反映人的心理活动的窗口。科学研究表明，大脑中约有80%?90%的知识和记忆都是通过眼睛获取的。作为人类心灵的窗户，眼睛的运动测量和视线跟踪正受到国内外有关学者越来越多所关注与研究，已成为模式识别和计算机视觉领域中研究十分活跃的课题。
[0003]在人眼检测过程中，一个重要的环节是利用摄像头获取的眼睛图像，从而计算得出眼睛图像中的瞳孔中心位置。为了更精确的检测瞳孔中心，改善图像传感器的成像质量，往往会采用外加的主动光源作为补光源，利用产生的明瞳或者暗瞳效应，增大图像中瞳孔与虹膜的颜色对比度。通过标定过程，将图像处理后获得的瞳孔中心点与屏幕上的对应特征点进行映射，得到映射关系，以计算用户的实时注视点位置。
[0004]然而在现有的视线跟踪系统中，还存在一些问题，导致了现有系统精确性的不足。
[0005](1)现有系统所使用的外加光源亮度往往是光强不可变的。当用户需要在不同的时间或者场所使用视线跟踪系统时，由于外界环境光照情况不可能一样，常常会出现获得的眼部图像过亮或是过暗的情况，为后续的图像处理带来了很大的难度和额外计算量。而若采用每次使用前实时调整光强的方法，又过于繁琐。
[0006](2)由于外界光源和外加主动光源的影响，不同环境不同时间进行的实验中，用户的瞳孔大小会发生变化，若不考虑该变化，会影响到系统的精确度。
[0007](3)现有的视线跟踪系统在标定过程及视线跟踪过程中，对头部静止性的要求较高。用户的头部运动，尤其是前后运动，会很大程度上影响到实验结果，造成错误的注视点计算。
[0008]本发明针对目前视线跟踪系统中存在的以上影响系统精确度的问题，公开了一些补偿性方法的关键性设计，特别是根据利用环境亮度的外部自适应设计和根据获得眼部图片质量的内部自适应设计，从多种途径反馈改变外加光源的亮度进行补偿和实时测量用户瞳孔半径和与屏幕间的距离，利用线性插值进行注视点补偿。改善了获得图片质量，提高了系统鲁棒性。
三、
【发明内容】
[0009]本发明的目的是针对上述现有视线跟踪系统存在的准确度问题，提出了一种有效的自适应补偿方法与装置，重点解决了在不同环境亮度下，得到眼部图像的质量差异不可预测的问题以及用户不同瞳孔半径和头部位置造成的注视点误差问题。大大提高了视线跟踪系统的鲁棒性和准确性，对所获取眼部图像的质量也有明显改善作用。
[0010]本发明的技术方案是:围绕影响视线跟踪系统准确度的几个主要因素，采用反馈和补偿的方法提高系统准确性，主要分为三个方面:1)利用外界环境光强检测及获取眼部图像质量检测控制外加主动光源的强度。2)利用实时测量用户瞳孔大小，对注视点结果进行补偿。3)利用实时测量用户头部与屏幕的距离，对注视点结果进行补偿。本发明公开了视线跟踪系统中以上几种有效的自适应补偿方法与装置，可以提高系统鲁棒性和眼部图像的成像质量。
[0011]图1给出了本发明的系统功能结构图。系统由外界环境光源测量模块、眼部图像质量检测模块、瞳孔半径测量模块、用户头部与屏幕距离检测模块以及线性补偿与修正模块五部分组成，系统结构图如图1所示。
[0012]具体来说:
[0013](1)外界环境光源测量模块的功能是:实时地检测用户与系统当前所处环境下的外界光照情况(由环境光源与外加主动光源叠加形成)。并将检测得到的结果反馈给外加光源强度修正模块。如图2所示。
[0014](2)眼部图像质量检测模块及眼部图像质量检测模块的功能是:检测在当前环境光照和外加光源共同作用下所获得的眼部图像。眼部图像质量检测模块判定图像是否出现欠曝或者过曝现象。并将所得的结果反馈给外加光源强度修正子模块，决定当前的外光源强度是否合适以及是否需要调节。眼部图像质量检测模块检测获取眼部图像中用户的瞳孔半径，与理想状态下瞳孔半径进行比较，并由此对注视点结果进行补偿性修正。如图3所
0
[0015](3)用户头部与屏幕距离检测单元的功能是:实时检测当前状态下用户头部与屏幕之间的距离，若该距离与标定时距离有所改变，则需要对注视点结果进行补偿性修正。如图4所示。
[0016](4)外加光源强度修正子模块的功能是:实时地接受上述的外界环境光源测量模块及图像质量检测单元所反馈的信息，以决定是否需要变更当前的光照强度。当图像出现过曝情况时，需要适当将光源强度减弱；当图像出现欠曝情况时，则需要适当将光源强度加强；当图像满足要求时，保持当前强度不变。如图5所示。
[0017]本发明的有益效果是:通过在视线跟踪光照系统中对外加光源强度、用户瞳孔半径和用户距离屏幕的距离，对光源强度和注视点结果进行实时补偿性修正，并且在此基础上提出了多种实施方法。设计低成本、低功耗，但有效的提高了整个视线跟踪系统的鲁棒性和精确性。
四、【专利附图】
【附图说明】
[0018]图1系统功能结构图
[0019]图2外界环境光源测量模块的系统功能结构图
[0020]图3眼部图像质量检测模块及瞳孔半径测量模块的系统功能结构图
[0021]图4用户头部与屏幕距离检测单元的系统功能结构图
[0022]图5外加光源强度修正子模块的系统功能结构图
[0023]图6外界环境光源测量模块实现步骤图
[0024]图7可编程光频转换器131230系列芯片引脚图
[0025]图8注视点坐标线性补偿示意图五、
【具体实施方式】
[0026]1)外界环境光源测量模块的实施用例
[0027]原理:通过光敏感器件或是可编程光频转换芯片提取外界环境的光照程度，将所得测量值与事先设定的光强阈值进行对比，并将结果进行反馈。
[0028]具体实现步骤如图6所示。
[0029]利用外围硬件电路实现环境光照程度的检测，通过光敏感电路元件或芯片进行模数转换，将检测到的光照程度进行量化，以方便评测外界环境的光照强度。同时，确定理想光照情况下的数值，设定阈值。
[0030]将实时监测得到的光强数值与之前设定的阈值进行比较。设定的阈值包括低门限值！'1以及高门限值I冊。当所检测得到的环境光照强度在区间〔0，时，需要反馈增强主动光源亮度的信息；当所检测得到的环境光照强度在区间〔1冊，⑴)时，需要反馈减弱主动光源亮度的信息；当所检测得到的环境光照强度在区间〔II，I冊]时，表示当前为理想外界光照强度。
[0031]将以上反馈信号传递到外加光源强度修正子模块，以实现总光照亮度的平衡。
[0032]实施举例1:选用可编程光频转换器11230系列的芯片作为光敏感器件。该芯片能够测量光的波长为300?1100=%它无需任何外接元件，就能将光强直接转换为频率(约从1取到1册信号输出。芯片具体引脚见图7。再利用集成式频率/电压转换器]2907，将频率信号转换为直流电压信号。将该信号进行模数转换，并与阈值进行比较，确定反馈值。根据反馈值确定外加光源调节程度大小。
[0033]实施举例2:选用光敏二极管作为光敏感器件。常用的光敏二极管的管芯是一个具有光敏特征的结，具有单向导电性，因此可以利用光照强弱来改变电路中的电流。与示例1类似，将二极管的输出电流进行模数转换，并与设定的阈值比较，确定反馈值。根据反馈值确定外加光源调节程度大小。
[0034]2)眼部图像质量检测模块实施用例
[0035]原理:从采集得到的眼部图像中提取出与光照强度相关的数据。可以通过绘制图像灰度值直方图，灰度值均值，灰度值方差等标准确定理想状态下的阈值，并将实时得到的图像数据与阈值进行对比，并将结果进行反馈。
[0036]测定光照强度的具体实施步骤如下:
[0037](1)利用视线跟踪系统的摄像头获取眼部图像，从中提取与光照强度相关的有用信息。
[0038](2)有用信息的获取方法可以是绘制图像灰度直方图。我们主要需要关注的是两个指标:眼部图像的灰度均值以及眼部图像的灰度方差值。
[0039](3)眼部图像的灰度均值反映了图像的曝光程度。当外加光源强度过强时，图像形成过曝现象，使得图像整体的灰度均值偏低；当外加光源强度过弱时，图像形成欠曝现象，使得图像整体的灰度均值偏高。将测量得到的理想眼部图像灰度均值的上下界点设为阈值。凡是测量值低于下阈值的，反馈外光源光强过强信号。凡是测量值高于上阈值的，反馈外光源光强过弱信号。根据测量值确定调节外加光源程度的大小。
[0040](4)眼部图像的灰度方差值反映了眼部图像中瞳孔与虹膜的亮度对比情况，即亮瞳或者暗瞳效果。以暗瞳为例，理想状况下，瞳孔亮度应远低于虹膜亮度，因此瞳孔区域灰度值较高，整张图片的方差较大。方便进行瞳孔中心的检测。若图像灰度方差值较小，则说明图像中瞳孔区域与虹膜区域灰度值相差不大，会给后期检测瞳孔中心带来一定麻烦。
[0041]3)瞳孔半径测量模块实施用例:
[0042]原理:对采集得到的眼部图像中的瞳孔半径进行计算，并与标准瞳孔半径进行比较，补偿修正注视点位置。
[0043]具体实施步骤如下:
[0044]在前期标定过程中，首先改变外加光源的亮度。由于对于头戴式视线跟踪系统，摄像头与眼睛距离始终保持一定，不存在获得图像近大远小的问题，所得图像中的瞳孔大小只取决于当时的光照情况。当外加光源亮度不同时，用户瞳孔半径会产生显著变化:当光强提高时，瞳孔进行收缩；当光强降低时，瞳孔进行扩张。
[0045]在标定过程中，分别记下瞳孔强光和弱光状态下的瞳孔半径值，并记录两种状态下计算得到的注视点位置。
[0046]在实验中发现，瞳孔半径的大小与此时计算所得的注视点位置存在线性关系。因此，在实际实验中，实时测量用户的瞳孔半径，并与标定时得到的两瞳孔半径进行比对。在
与的线性范围内，设定参数[，当尺=时，I = 1 = 时，I = 0。设瞳孔半径最大和最小时计算得到的注视点坐标分别为7和17，则在瞳孔半径为I？时，注视点坐标为:
[0047]=
[0048]注视点坐标线性补偿示意图如图8所示。
[0049]4)用户屏幕距离测量单元实施用例
[0050]原理:实时对用户头部与计算机屏幕间的距离进行检测，通过与标定时距离值的比较，对注视点结果进行补偿性修正。
[0051]具体实施步骤如下:
[0052](1)在最初的标定过程中，首先用户采用正常距离进行标定。之后用户将头部靠近屏幕及远离屏幕，分别再进行一次标定。同时，利用场景摄像头获得三次标定时，用户头部与计算机屏幕之间的距离。
[0053](2)与瞳孔大小对注视点产生的影响类似，用户头部距离计算机屏幕的大小同样与用户注视点存在着线性的关系。在实验中，实时得到用户头部与计算机屏幕之间的距离，并与标定时得到的距离进行比较，对得到的注视点结果进行线性的修正。修正方法与3)瞳孔半径测量模块中提及的方法一致，在此不再赘述。
[0054]5)外加光源强度修正子模块实施用例
[0055]原理:外加光源强度修正子模块首先接受上述检测单元送来的反馈值。以反馈值为标准，对当前的外加光源亮度进行调节。
[0056]实施举例1:利用脉冲宽度调制(^丽)实现对外加光源亮度的修正。脉冲幅度调制的功能是改变脉冲的高电平的时间。信号调节[￡0光源的亮度时，信号频率是不变的，改变的是脉冲的高电平的时间，即[￡0的导通时间。这种相当于调节[￡0的平均电流，高电平时间越长，平均电流值越大，[￡0光源的亮度越强。利用单片机即可实现，方法简单。
[0057]实施举例2:利用程控电源实现对外加光源亮度的修正。根据反馈值的不同，直接控制加在光源[￡0的电压值。电压值越高，流过1^0的电流也就越大，光源亮度越高。但同时需要注意，过大的外加电压会损坏[￡0光源。因此需要防止外加电压超过[￡0的电压阈值。
【权利要求】
1.提高视线跟踪系统准确度的补偿方法与装置，其特征是系统由外界环境光源测量模块、眼部图像质量检测模块、瞳孔半径测量模块、用户头部与屏幕距离检测模块以及线性补偿与修正模块五部分组成。
2.根据权利要求1所述的提高视线跟踪系统准确度的补偿方法与装置，其特征是:所述外界环境光源测量模块，其功能是实时地检测用户与系统当前所处环境下的外界光照情况，并将检测得到的结果反馈给光源强度的控制单元。
3.根据权利要求1所述的提高视线跟踪系统准确度的补偿方法与装置，其特征是:所述眼部图像质量检测模块，其功能是获取当前环境光照和外加光源共同作用下的眼部图像；并进行曝光补偿和图像瞳孔修正图像处理。
4.根据权利要求1所述的提高视线跟踪系统准确度的补偿方法与装置，其特征是:所述用户头部与屏幕距离检测单元，其功能是实时检测当前状态下用户头部与屏幕之间的距离，若该距离与标定时距离有所改变，则需要进行对注视点结果进行补偿性修正。
5.根据权利要求1所述的提高视线跟踪系统准确度的补偿方法与装置，其特征是:所述光源强度控制单元，其功能是实时地接受上述的外界环境光源测量模块及图像质量检测单元所反馈的信息，以决定是否需要变更当前的光照强度。当图像出现过曝情况时，需要适当将光源强度减弱；当图像出现欠曝情况时，则需要适当将光源强度加强；当图像满足要求时，保持当前强度不变。
6.根据权利要求3所述曝光补偿，其原理在于判定图像是否出现欠曝或者过曝现象，并将所得的结果反馈给光源强度控制单元，。
7.根据权利要求4所述图像补充修正，检测获得图像中用户的瞳孔半径，与标准瞳孔半径进行比较，并由此对注视点结果进行补偿性修正。
【文档编号】G06T5/00GK104360732SQ201410545580
【公开日】2015年2月18日 申请日期:2014年10月16日 优先权日:2014年10月16日
【发明者】王健, 范晨阳, 丁峰, 苏金星 申请人:南京大学