技术领域本发明涉及车载系统技术领域,特别是涉及一种通过识别眼睛动作实现车载系统控制的人机交互技术。
背景技术:
随着汽车的广泛普及,人们对车载系统的功能实用性和操作便捷性提出了更高的要求,例如日常使用的车载多媒体、导航系统、GPS等车载系统既能监控车速,又能实时定位、指引方向、以及提供最短路径等。由于车辆行驶过程中,驾驶员对目的地、行驶路径的改变;或者驾驶员需要对车载系统的功能进行切换,进而需要对车载系统进行手动操作,由此对安全驾驶产生了隐患。CN102609305A公开了一种基于眼动和头部检测的新型人机交互装置,其通过检测眼动和头动信号实现对计算机系统设备的实时控制,该系统代替了传统的鼠标、键盘等外接设备进行人机交互,利用头动来进行信号检测,模拟鼠标左右键。CN201220002430公开了一种基于云计算的车载语音交互系统,主要利用语音进行人机交互。CN103336581A公开了一种基于人体眼动特征设计的人机交互方法及系统,主要针对计算机进行交互,在实现方案上,其主要模拟鼠标来控制。GB1418891A中提出了将对平视系统应用在汽车上的改进,根据对汽车挡风玻璃的弧度、驾驶员视线角度等参数的调整,提供将平视系统应用在汽车上的具体技术方案,实现计算机对人的动作应答,但对人有意识的复杂操作并未提及,如打开多媒体或导航系统等。另外,各汽车公司还研究在HUD上实现不同的功能,例如,日产汽车公司的JPH07257228A专利中提出在HUD上实现路径导航的功能,并根据视线追踪判断驾驶员所需要的信息进行显示,进行人机交互是利用手或声音。本田汽车公司的JPH1096776A专利中提出通过在HUD显示的不同颜色标识与前车的距离,提醒驾驶员注意车距,针对的对象是车外环境与计算机的交互来显示给人看。
技术实现要素:
本发明的目的是提供一种车载系统人眼控制方法及装置,通过识别眼部动作来模拟对透明显示器的控制,实现人眼控制车载系统。解决本发明的技术问题所采用的方案是:一种车载系统人眼控制装置,装置包括摄像头、车载系统、透明显示器,车载系统包括视频采集模块、图像处理模块、眼控系统模块。摄像头用于扫描驾驶区域,采集1秒以内的图像,车载系统处理采集的图像并根据眼部运动信息判断车载系统控制指令,由透明显示器反馈车载系统信息,以便驾驶员控制,从开启透明显示器到关闭,全程通过眼部动作对车载系统进行控制。视频采集模块:采集图像并以矩阵或数组形式将图像传递给图像处理模块。图像处理模块:对图像中的眼部特征进行识别与保存,该特征主要包括瞳孔位置、光斑、眼球等。完成包括头部位置识别、眼位识别、瞳孔位置识别、滤除眨眼和视线落点信息定位的图像信息处理,并将处理信息传递给眼控系统模块。首先,通过对头部轮廓和人的肤色匹配判断来识别出人的头部位置。其次,通过人脸形态学提取包含眼睛的局部区域,进行眼位识别,同时对眼位进行标定并判断出平衡位置。然后,在定位瞳孔前,利用二维Gabor滤波算法先识别虹膜,根据识别到的虹膜进行瞳孔定位。瞳孔定位步骤为:首先,通过高斯滤波器对虹膜图像进行预处理;基于Canny算子的边缘检测算法进行图像处理,制定每个边缘点的梯度方向;最后,根据梯度方向信息,确定瞳孔中心点位置,瞳孔中心是先由霍夫变换得到一系列离散的瞳孔半径,再根据瞳孔比周围的眼白的灰度值低的灰度特性精确得到瞳孔中心点位置坐标。再然后,根据人的自然眨眼一次时间在0.2-0.6秒之间,人有意识眨眼和因强光照射而产生的条件反射眨眼一般在1秒左右的生理特性,进行去噪、滤波等处理,去除人眼自然眨眼对图像的影响,判断有意识眨眼或凝视进而识别眼部控制车载系统的具体操作指令。最后,根据瞳孔中心——角膜反射法,使用瞳孔中心到一个或两个角膜反射点的矢量通过映射函数来估计注视落,确定视线落点信息。眼控系统模块:通过人眼来控制在车上的透明显示器,由摄像头扫描到的图像,识别出有视线向上移动动作,开启透明显示器。通过人眼瞳孔移动来跟踪视线来控制显示器鼠标移动。根据滤除眨眼特性的图像,判断有意识眨眼或凝视进而识别眼部控制车载系统的具体操作指令。将视线落点位置的坐标翻译成鼠标位置,将眼部动作翻译成相对应的鼠标操作指令,并在透明显示器上显示,实现眼部运动对车载系统的操控。操作完成后可以用系统内软件关闭显示器,或长时间没有视线落在显示屏幕位置则自动进入休眠。解决本发明的技术问题所采用的方法包括以下步骤:(a)开启车载系统后,车载系统采集人眼标定图像,即驾驶员注视屏幕上的固定点,摄像头采集此时的图像作为标定图像。(b)摄像头主动对驾驶区域进行定时图像采集,用函数回调对驾驶区域进行每秒25-30帧的图像采集并保存。然后,对保存的图像进行眼位识别和视线倾斜角度分析,实时判断是否已开启透明显示器;若已开启透明显示器,车载系统执行步骤(d);若还未开启透明显示器显示器,执行步骤(c)。(c)摄像头继续扫描驾驶区域,判断是否满足抬头条件,控制透明显示器开关。其中,抬头条件是根据1秒内眼球位置是否由平衡位置向上移动并超过阈值进行判断,阈值根据人上下眼皮的距离及瞳孔位置确定,阈值定为离上眼皮距离占上下眼皮的30%为准,大于等于该值视为超过阈值且视线位置在显示屏幕内,满足抬头条件。若开启透明显示器,车载系统执行步骤(d);若不开启透明显示器,车载系统跳转回步骤(b);(d)定位视线投影到透明显示器位置:通过对比分析步骤(b)存储的图像和步骤(a)人眼的标定图像,完成视线跟踪和瞳孔位置识别;瞳孔位置识别,具体操作过程如下:(1)确定滤波窗口函数,进行线性滤波;(2)利用大津算法(Otsu)进行区域分割,实现二值化;(3)从图像的中心点开始进行边界跟踪,获得瞳孔范围;(4)采用重心法计算瞳孔中心点的坐标。在瞳孔中心点位置确定过程中,Otsu算法如下:设图象包含L个灰度级(0,1…,L-1),灰度值等于i的象素点数表示为Ni,图象总的象素点数为N=N0+N1+...+N(L-1)。灰度值等于i的点的概率为:P(i)=N(i)/N,门限t将整幅图象分为暗区c1和亮区c2两类,则类间方差σ是t的函数:σ=a1*a2(u1-u2)2。式中,aj为类cj的面积与图象总面积之比,a1=Σi=0tp(i)a2=1-a1;uj]]>为类cj的均值,u1=Σi=0ti*p(i)/a1,]]>式中j表示分区标号,j取1或2;该法选择最佳门限t使类间方差最大,即:令Δu=u1-u2,σb=max{a1(t)*a2(t)Δu2