专利名称：基于人脸识别技术的自适应视线跟踪装置的制作方法
技术领域：
本实用新型涉及一种基于人脸识别技术的自适应视线跟踪装置。
背景技术：
视线跟踪技术是未来智能人机接口的关键技术之一。由于人的视线具有直接性、自然性和双向性等其它信息所无法具备的特点，人们对视线的研究有着浓厚的兴趣。视线跟踪是根据眼睛的特征和位置以及其他一些脸部线索来决定用户注视的方向，获得用户的意图。视线跟踪技术可分为以硬件为基础的和以软件为基础的两种。以硬件为基础的方法需要用户戴上特制的头盔、置于用户头顶的摄像机、或者使用头部固定支架等，对用户的干扰很大。以软件为基础的视线跟踪方法是利用摄像机获取人眼或脸部图像，用软件实现图像中人脸和人眼的定位与跟踪，估算用户的注视位置。该方法虽然摆脱了头盔等对用户的束缚，对用户的限制大大降低，用户的头部可以移动，但视线跟踪精度相对较低，对于用户头部运动的影响等关键技术问题还尚未解决。人脸识别技术作为生物识别技术的一种，以其特有的稳定性、方便性、唯一性等特点被愈来愈广泛地应用在不同的身份识别领域，它的研究涉及模式识别、图像处理、生理学、认知科学，并且与其他生物识别技术及计算机人机感知交互技术都有着密切的联系。人脸识别在模式识别领域的发展和应用都有着重要的意义，一是可以推进对人类视觉系统本身的认识，二是可以满足人工智能应用的需要。采用人脸识别技术，建立自动人脸识别系统，用计算机实现对人脸图像的自动识别有着广阔的应用领域和诱人的应用前景。校准是视线跟踪技术中的一个重要技术环节，记录了和用户相关的人眼结构等参数数据，将人脸识别技术引入视线跟踪系统，实现系统校准数据对用户的自适应，对自适应视线跟踪技术的建立无疑具有重要价值。将来，基于人脸识别技术与视线跟踪技术的结合研究势必会更加得到人们的重视，有很大的发展空间。为克服头动影响，减少对用户的限制，提高视线跟踪精确度，研究者进行了大量工作。近年来神经网络技术也被应用于视线跟踪领域。Zhi wei Zhu和Qiang Ji利用GRNN网络进行视线跟踪，但精度较低。意大利的Diego Torricelli提出了基于神经网络的视线跟踪技术，在用户头动的状态下视线跟踪精度可达到2。。目前，视线跟踪技术虽取得了较大进展，但如何在不干扰用户的前提下，克服头动影响，获得准确的注视焦点是视线跟踪技术相关研究人员需要解决的重要问题。
发明内容本实用新型要解决的技术问题是提供一种基于人脸识别技术的自适应视线跟踪
>J-U装直。[0009]本实用新型为解决公知技术中存在的技术问题所采取的技术方案是本实用新型的基于人脸识别技术的自适应视线跟踪装置，包括摄像机，与摄像机连接的图像采集卡和计算机；该装置还包括由计算机控制的自动移动平台；所述的摄像机设置在自动移动平台上，随平台一起移动，摄像机设置有由计算机控制的可调节镜头。 所述的摄像机为(XD摄像机。本实用新型具有的优点和积极效果是本实用新型的基于人脸识别技术的自适应视线跟踪装置，在用户头部位置及姿态变化情况下，能够获得人眼注视焦点的准确位置。用户头部正常活动状态下视线跟踪精度达到1°。提高了对用户无干扰条件下视线跟踪的精确度、可靠性及便利性，为其在人机交互、虚拟现实、医学、军事等多领域的广泛应用奠定技术基础。
图I是本实用新型的基于人脸识别技术的自适应视线跟踪装置的结构框图。
具体实施方式
以下参照附图和实施例对本实用新型进行详细说明。图I是本实用新型的基于人脸识别技术的自适应视线跟踪装置的结构框图。如图I所示，本实用新型的基于人脸识别技术的自适应视线跟踪装置，包括摄像机，与摄像机连接的图像采集卡和计算机；该装置还包括由计算机控制的自动移动平台；所述的摄像机设置在自动移动平台上，随平台一起移动，摄像机设置有由计算机控制的可调节镜头。所述的摄像机为CCD摄像机。CCD是Charge Coupled Device (电荷稱合器件)的缩写，它是一种半导体成像器件，因而具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点。本实用新型用自动移动平台和可调节物镜的CCD摄像机自动扫描跟踪用户的眼睛，以捕获高质量面部图像。由图像采集卡传送到计算机进行图像处理和特征检测。由于人的内眼角点是非常稳定的面部特征点，人脸表情的变化基本不会引起它的位置改变。因此，计算机进行分析后，依据摄像机捕获到的人眼视频图像中两个内眼角点特征，调节摄像机镜头的焦距及控制自动移动平台，使光学成像系统放大率保持不变，根据提取的图像特征实现自动聚焦及调整图像亮度，构成闭环的反馈控制系统。一个完整的人脸识别系统，首先需要对原图像进行必要的预处理。对图像进行有针对性的预处理工作，如图像去噪、图像增强和图像配准等等，最大程度上改善图像质量，为人脸识别提供必要的前期准备。本实用新型的自适应视线跟踪装置的计算机工作过程如下(一)利用2DPCA，2DNMF算法的融合对原图像进行必要的预处理先利用小波变换对原图像进行处理，得到4个子图。对于LL子图，采用2DPCA进行特征抽取，而对其他3个高频子图，为了减少计算量，采用基于领域窗口的方法进行融合，再采用2DNMF方法进行特征抽取。然后用最近邻分类方法分别进行分类。最后通过计算融合子图的熵和LL子图的熵的比值作为它们的加权值进行处理。 人脸识别部分采用小波变换对原图像分解得出4幅子图，其中LL子图含有整体能量比较多，是原图像的近似；其他3个高频子图，为了减少计算量，融合为I个子图，融合的高频子图含有细节能量比较多。通过实验发现，新子图含有比未融合前更多的能量。主分量分析法和非负矩阵分解这两种算法理论已经相当完善，目前也已广泛应用于诸多领域。由于传统子空间算法提取图像特征时，往往使得二维图像变成了高维向量，丢失了图像结构信息，对系统性能带来不利影响。为了解决此类问题，本发明采用二维方法(2DPCA、2DNMF)，大大减少图像矩 阵维数，降低计算的时间花费，且考虑了图像结构信息，提高了分解精度。理论上PCA是基于整体的一种识别方法，而NMF是一种基于局部构成整体的方法。综合考虑，本发明采用2DPCA对LL子图进行特征抽取，用2DNMF对融合的高频子图进行特征抽取，理论上能够对原图像提取更多的能量信息，从而实现有效的人脸识别。通过与其他方法的分析比较，该方法有更好的效果。(二)人眼及面部图像特征的高精度检测采用新型图像表示工具-Directionlet进行图像去噪和增强处理。对视
频图像进行有效的预处理工作，在保留有效信息的前提下，最大程度上改善图像质量。Directionlet保留了二代小波在图像分解方面的优势，其基函数的支撑域为不同规格的长条形，每个长条形的方向与包含于该区域内曲线的走向大体一致，表现出更高的方向敏感性和更优的非线性逼近性能，相比传统方法，采用Directionlet进行图像去噪和增强处理可得到更好的效果。采用自适应的方法选取Directionlet分解层数,可提高图像的处理效果和算法的智能化程度。人眼及面部图像特征的检测精度是实现高精度视线跟踪技术的基础和关键。引入先进的多尺度几何分析工具，对输入图像进行预处理后提取人眼及面部图像特征，生成具有平移、尺度不变的形状链状表达，进而建立人眼及面部图像特征的高精度检测算法，可充分发挥多尺度几何分析工具在图像表达上所特有的优势。从检测效果、运行时间和算法实现难度等方面考虑，选用Directionlet进行边缘检测，以达到快速而准确检测目标的目的。使用Directionlet进行图像的多尺度分解，利用其在图像分解方面具有的高方向敏感性和高数据压缩率等方面的优势，提高自适应视线跟踪系统的精度和运算速度。(三)面向头动情况下进行自适应视线跟踪揭示用户头动情况下人眼及面部图像特征和眼睛注视点间复杂的非线性映射关系，是实现对用户无干扰视线跟踪技术的核心和关键。在已有的基于头部静止及头部平动情况下的视线传感模型的基础上，通过对头部转动情况下图像特征和眼睛注视点间关系进行分析，在用户头部处于空间不同位置及注视屏幕不同位置情况下，建立了图像特征和眼睛注视点间关系数据库，通过计算机仿真实验，利用神经网络建立用户头动情况下人眼及面部图像特征和眼睛注视点间映射关系，并进行多种情况下神经网络结构、参数、输入特征向量的选取、训练、验证及优化，建立依据图像特征自适应选择网络结构及参数的智能化神经网络，建立基于智能化神经网络的自适应视线跟踪系统，实现系统校准数据对用户的自适应。在视线跟踪快速实现算法方面，采用一种基于遗传算法的快速相关跟踪算法。针对图像数据的特点，采用编码方式，定义交叉和变异算子，采用抽样法的初始化种群方式，并引入竞争进化策略，减少迭代次数，以有效降低计算量。本实用新型利用人脸识别技术提取的一些基本的脸部线索及眼睛的位置信息，传递给视线跟踪模块，从而缩短直接由视线跟踪模块确定眼睛位置所需要的时间，提高系统 的实时性；并依据图像特征自适应选择网络结构及参数的智能化神经网络，增强了神经网络的适应能力，在用户头部位置及姿态变化情况下，能够获得人眼注视焦点的准确位置。用户头部正常活动状态下视线跟踪精度达到1°。
权利要求1.一种基于人脸识别技术的自适应视线跟踪装置，包括摄像机，与摄像机连接的图像采集卡和计算机；其特征在于该装置还包括由计算机控制的自动移动平台；所述的摄像机设置在自动移动平台上，随平台一起移动，摄像机设置有由计算机控制的可调节镜头。
2.根据权利要求I所述的基于人脸识别技术的自适应视线跟踪装置，其特征在于所述的摄像机为CCD摄像机。
专利摘要本实用新型公开了一种基于人脸识别技术的自适应视线跟踪装置，包括摄像机，与摄像机连接的图像采集卡和计算机；该装置还包括由计算机控制的自动移动平台；所述的摄像机设置在自动移动平台上，随平台一起移动，摄像机设置有由计算机控制的可调节镜头。本实用新型具有的优点和积极效果是本实用新型的基于人脸识别技术的自适应视线跟踪装置，在用户头部位置及姿态变化情况下，能够获得人眼注视焦点的准确位置。用户头部正常活动状态下视线跟踪精度达到1°。提高了对用户无干扰条件下视线跟踪的精确度、可靠性及便利性，为其在人机交互、虚拟现实、医学、军事等多领域的广泛应用奠定技术基础。
文档编号G06K9/00GK202385184SQ201220002228
公开日2012年8月15日 申请日期2012年1月5日 优先权日2012年1月5日
发明者刘瑞安, 孙瑞, 张君生, 王磊 申请人:天津师范大学