专利名称：驾驶员视线自动校准和跟踪系统的制作方法
技术领域：
本发明涉及驾驶员视线自动校准和跟踪系统，尤其涉及一种集合人和车的关键部件位置信息并通过统计和学习的方法确定驾驶员的注视点位置的算法和装置。
背景技术：
驾驶员的视线跟踪对研究驾驶员的注意力和疲劳状况有重要意义。但由于传统的视线技术都对头部运动、光线或应用场景等有一定的限制条件，例如最为广泛应用的基于红外光源的瞳孔角膜反射方法，为了达到较高的精度，要求人的头部不能移动(采用腮托等方法固定头部)；为了保证光线的稳定和避免阳光的影响，一般采用红外光源，并在室内进行；视线跟踪的目标也比较确定，一般为位于室内的显示器屏幕和投影屏幕等；如果要提高注视目标的灵活性，一般采用头戴式视线跟踪仪，这种头戴式视线跟踪仪也采用红外光源的角膜反射方法。另外一个主要问题是以上方法需要严格的校准过程，例如要求观察者依次注视顺序显示在屏幕上的6-12个不同的校准点，从而确定瞳孔和角膜反射点之间的矢量与屏幕上注视点之间的对应关系。这个校准过程一般需要1-2分钟左右才能较好地完成，比较繁琐。在真实的驾驶环境下，上述方法并不能很好地完成。例如在车内无法进行校准，驾驶员的头部有较大范围的运动(观察左右后视镜，甚至有时向后看)、光线也不均勻，尤其是阳光可以消弱红外光源对角膜反射的效果，因此广泛应用的基于红外的角膜反射方法在真实的驾驶环境下不再有效。
发明内容
针对如何校准和跟踪驾驶员视线的问题，本发明旨在提供一种在真实的驾驶环境下使用的驾驶员视线自动校准和跟踪系统，其可利用驾驶员注视点的统计规律，根据驾驶员头部位置图像和驾驶员经常注意的部件来计算出驾驶员的注视点。本发明的技术解决方案是这样实现的一种驾驶员视线自动校准和跟踪系统，其特征在于，包括以下四个组成部分—部为信息采集单元，用于采集驾驶员头部及眼部运动的视频图像信息，包括眼睛的位置、头部的偏转角度；摄像头可以安装在汽车面板的上方也可以附加在在驾驶室内的后视镜上或安装在车内后视镜的镜片的后面(在镜片上留有摄像头用的小孔或镜片单向用透光)；二部为数据特征提取单元，用于提取驾驶员头部及眼部特征；三部为数据处理单元，用于结合驾驶员的头部及眼部图像信息，计算头部位置和视线之间的关系，即通过图像处理，计算驾驶员视线跟踪内容及视觉显著区域，以识别和标注注视内容；经信息整合比较，识别驾驶员的注视点位置，并进行自动学习，提高注视点位置的准确率；四部为输出单元，用于输出驾驶员的视线区域。
具体的，所述数据处理单元的图像处理包括如下过程(1)对输入的图像信息进行低分辨率分析；(2)对低分辨率图像进行主成分分析，得到针对驾驶员不同注视区域的标准头部图像；(3)在标准头部图像中获取头部和眼睛的子图像，用以定位驾驶员的眼睛；(4)采用粒子滤波方法对眼睛进行跟踪，以预测出头部的特征点位置，进而检测出脸部特征点；(5)对检测到的眼睛个数进行识别检测到双眼，则继而根据瞳孔和眼角位置计算头部姿势；检测到一只眼睛或没有检测到眼睛，则继而根据主成分分析方法检测到头部位置特征；(6)对头部和眼睛特征区域进行显著图分析，基于显著图估计头部位置；结合头部位置的先验图像，对其特征进行统计和学习，计算出驾驶员头部的三维空间位置，实现对视线的跟踪。进一步的，所述信息采集单元，还用于通过连接线读取车辆状态信息，包括转向灯开关、速度、刹车踏板等；相应的，所述数据特征提取单元，还用于提取所述车辆状态信息；所述数据处理单元，识别整合所述车辆状态信息，提高数据处理的准确率。具体的，所述的视线区域包括驾驶员头部上下左右注视区域Z1-Z12，具体的，如左后视镜、右后视镜、中间后视镜、仪表盘、中控台、副驾驶、前挡风玻璃的不同区域及后挡风玻璃区域等。所述信息采集单元还包括光线自动感应器，可以感应外界光线，并根据光线强弱自动打开和关闭红外光源。所述信息采集单元还包括集成GPS全球定位系统模块，和内置GIS地理信息系统和三维加速仪，用以获取车辆转弯和飘移信息，并为信息和数据处理部所识别整合，提高校准系统的准确率。所述信息采集单元还包括集成OpenCV开源计算机视觉库，采用图像处理的方法完成人脸和头部特征点的检测功能。与现有技术相比，本发明具有下述显著的技术效果本发明操作简单，克服了传统的视线跟踪方法需要复杂的校准过程的缺陷；本发明实用性强，解决了在驾驶过程中驾驶员头部的转动角度大、光线不均勻、阳光强烈等条件造成传统的基于红外光线的角膜反射方法失效的难题；本发明具有较高的准确性，由于其根据驾驶员视线的统计信息进行自动校准，可根据驾驶时间的增长，自动改善驾驶员的注视点信息，也就是驾驶时间越长，计算的注视点位置越准确。本发明可安装三维加速仪，可以自动识别车辆的飘移及转弯情况，并可以与车辆转向信号灯相结合，进一步改善驾驶员头部位置的变化和驾驶员视线之间的映射关系，提高视线跟踪的准确度。总之，本发明在驾驶环境下对驾驶员的视线进行自动校准和跟踪，利用开车时驾驶员的头部位置具有一定的统计规律，进行注视点的学习和训练，采用头部位置和后视镜等关键部件的相互位置关系，进行驾驶员的视线自动校准和跟踪，较好地解决了驾驶员的视线校准和跟踪难题。本发明装置适用性好，可以应用任何车辆上，包括轿车、卡车、货车及公共汽车等，也就是只要驾驶员在开车时注视点时间符合一定的统计规律，并有转向灯、后视镜等关键部件就可以适用本发明。
图1是实施例的装置示意图；图2实施例的工作原理图；图3是实施例中驾驶员视线自动校准系统处理流程图。图中，100.驾驶员；200.头部摄像机；300.场景摄像机；Zl.左后视镜；Z2.右后视镜； Z4.后视镜；23，25，26，27，28.前挡风玻璃的不同区域；Z9.仪表盘区域；Z10.副驾驶区域； Zll.后挡风玻璃区域；Z12.中控台。
具体实施例方式现结合附图以本发明作进一步的具体描述一种驾驶员视线自动校准和跟踪系统，其装置如图1所示，所述装置的主体1集成了输入输出装置和处理器，内部安装了三维加速仪4，其显示屏1. 1作为人机交互的界面， 可为触摸屏，用以显示输入输出内容，如显示摄像头所采集的图像或注视点区域。显示屏侧可设置多个按钮1. 3，包括“设置”按钮，用以设置输入输出方式及内容， 如输入摄像头的参数(焦距、分辨率等)，输出图像和注视点区域等，或输出实时视线跟踪的准确率曲线等；包括“切换”按钮，用以切换输入输出内容；包括“模式”按钮，用以校准模式、运行模式及图像信息显示模式等选择；包括“静音”按钮，用以控制是否静音；还可包括 “清零”按钮，用以重新进行校准；还可包括“开关”按钮，用以独立控制所述装置的启动和关闭。所述装置主体1 一侧还安装有固定焦距的红外光源摄像机1. 2，用于获取驾驶员的头部和眼部动作信息。该摄像头也可以采用分体式安装，如将所述摄像头安装在车内后视镜上，或安装于仪表盘上方，或面板上方等位置，并通过电缆和主体连接。另外，主体1上还安装了扬声器1.4，兼作声音报警装置，用以对识别驾驶员注意力不集中或注视点过于固定(即瞌睡状态)等状态下自动报警；本装置还可集成GPS全球定位系统模块，和内置GIS地理信息系统，用以获取车辆位置和道路转弯信息，并为处理器所识别整合，提高自动校准的准确率。所述驾驶员视线自动校准和跟踪系统的工作原理，现结合图2，具体分析如下驾驶员在开车时注意力会经常集中在几个区域，如前风档玻璃的不同区域、后视镜和仪表盘等地方。当驾驶员观察这些不同位置时，如左后视镜、右后视镜、中间后视镜、仪表盘、中控台、副驾驶及档风玻璃的不同区域，驾驶员图像中的头部位置是不同的。本发明根据上述关键部件的信息将驾驶员的注视区域分为图2所示的12个不同的区域Zl Z12， 这些区域用来对驾驶员的视线进行校准。
所述驾驶员视线自动校准和跟踪系统的信息采集单元可为具有红外光源的固定焦距相机，红外光源保证了系统在夜间或光线较暗的情况下也可以正常使用。红外光线对驾驶员是不可见光，因此不会影响驾驶。该摄像机记录的驾驶员的头部和眼睛的位置和动作，并计算驾驶员观察不同区域的情况。现结合图3对所述驾驶行为信息处理过程及道路场景信息处理过程描述如下。上述驾驶员视线自动校准过程是这样实现的安装在面板上的摄像机可以检测驾驶员的头部位置信息，通过图像处理技术，不仅可以识别驾驶员的头部和眼部运动，也可以计算出驾驶员的头部特征点在图像中的位置。计算过程如下首先对输入图像进行低分辨率分析，然后对低分辨率图像进行主成分分析，得到针对图2所示的12个区域的标准头部图像。在标准头部图像中获取头部和眼睛的子图像，即可定位驾驶员的眼睛，然后采用粒子滤波的方法对眼睛进行跟踪，从而可以预测出头部的特征点位置，进一步检测出脸部的特征点。对检测的眼睛个数进行识别，如果没有检测到眼睛或只检测到一只眼睛，说明驾驶员在侧头或向后看，可以根据主成分分析方法检测到头部位置特征。如果检测到二只眼睛，则可以根据瞳孔和眼角位置计算头部姿势。 对头部和眼睛特征区域进行显著图分析，基于显著图可以估计头部的位置。利用头部位置的先验图像，对其特征进行统计和学习，就可以计算出驾驶员头部的三维空间位置，从而对视线进行跟踪。该视线跟踪的结果为图3所示的是各个区域。为了对驾驶员的注视内容进行准确的识别和标注，可以对驾驶员头部图像进行视觉显著区域处理，找到驾驶员头部位置与注视的感兴趣区域之间(图2)的对应关系。本发明的信息采集单元还包括集成GPS全球定位系统模块，和内置GIS地理信息系统(Geographic Information System)，用以获取车辆位置和道路信息，并为信息和数据处理部所识别整合，从而用以判断汽车所在位置的道路转弯情况；还可包括集成OpenCV开源计算机视觉库，采用图像处理的方法完成人脸和头部特征点检测功能。以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
权利要求
1.一种驾驶员视线自动校准和跟踪系统，其特征在于，包括以下四个组成部分一部为信息采集单元，用于采集驾驶员头部及眼部运动的视频图像信息，包括眼睛的位置、头部的偏转角度；二部为数据特征提取单元，用于提取驾驶员头部及眼部特征； 三部为数据处理单元，用于结合驾驶员的头部及眼部图像信息，计算头部位置和视线之间的关系，即通过图像处理，计算驾驶员视线跟踪内容及视觉显著区域，以识别和标注注视内容；经信息整合比较，识别驾驶员的注视点位置，并进行自动学习，提高注视点位置的准确率；四部为输出单元，用于输出驾驶员的视线区域； 所述数据处理单元的图像处理包括如下过程(1)对输入的图像信息进行低分辨率分析；(2)对低分辨率图像进行主成分分析，得到针对驾驶员不同注视区域的标准头部图像；(3)在标准头部图像中获取头部和眼睛的子图像，用以定位驾驶员的眼睛；(4)采用粒子滤波方法对眼睛进行跟踪，以预测出头部的特征点位置，进而检测出脸部特征点；(5)对检测到的眼睛个数进行识别检测到双眼，则继而根据瞳孔和眼角位置计算头部姿势；检测到一只眼睛或没有检测到眼睛，则继而根据主成分分析方法检测到头部位置特征；(6)对头部和眼睛特征区域进行显著图分析，基于显著图估计头部位置；结合头部位置的先验图像，对其特征进行统计和学习，计算出驾驶员头部的三维空间位置，实现对视线的跟踪。
2.如权利要求1所述的驾驶员视线自动校准和跟踪系统，其特征在于 所述信息采集单元，还用于通过连接线读取车辆状态信息；所述数据特征提取单元，还用于提取所述车辆状态信息；所述数据处理单元，还用于识别整合所述车辆状态信息，提高数据处理的准确率。
3.如权利要求1所述的驾驶员视线自动校准和跟踪系统，其特征在于所述的视线区域包括左后视镜、右后视镜、中间后视镜、仪表盘、中控台、副驾驶、前挡风玻璃的不同区域及后挡风玻璃区域。
4.如权利要求1所述的驾驶员视线自动校准和跟踪系统，其特征在于所述信息采集单元包括光线自动感应器，用于感应外界光线，并根据光线强弱自动打开和关闭红外光源。
5.如权利要求2所述的驾驶员视线自动校准和跟踪系统，其特征在于所述信息采集单元还包括集成GPS全球定位系统模块，和内置GIS地理信息系统和三维加速仪，用以获取包括车辆转弯和飘移信息的车辆状态信息。
6.如权利要求2所述的驾驶员视线自动校准和跟踪系统，其特征在于所述信息采集单元还包括集成OpenCV开源计算机视觉库，利用图像处理的方法完成人脸和头部特征点的检测功能。
全文摘要
本发明涉及一种驾驶员视线自动校准和跟踪系统，是一种将驾驶员头部位置和汽车关键部件信息相结合对驾驶员视线自动进行校准的系统。所述系统的驾驶员视线校准过程，没有校准点的设定和视线对齐过程，而是根据驾驶过程中驾驶员的头部位置信息和汽车倒车镜、仪表盘等相关部件的相对位置自动进行校准。为了提高头部特征的识别效果，本发明采用根据外界光强的变化自动控制的光源系统，即白天光线较好时采用可见光进行识别，当夜间和光线较弱时采用红外光源。夜间采用红外光源也可以避免汽车大灯对头部特征识别的影响。本发明对驾驶员注意力研究和基于视线的疲劳驾驶等方面有重要的意义。
文档编号B60R11/04GK102510480SQ20111034650
公开日2012年6月20日 申请日期2011年11月4日 优先权日2011年11月4日
发明者付先平, 袁国良 申请人:大连海事大学