一种基于RGBD的汽车驾驶员状态检测和识别系统的制作方法

本发明涉及到电子电路设计、图像软件处理、计算机图形学和光学等多学科，将复杂的多学科交叉研究结果应用在新一代的智能汽车的辅助驾驶adas(advancedrivingassistancesystem)领域。

背景技术：

随着汽车的普及与数目的增多，对汽车的智能化和安全性业界普遍要求越来越高。自动驾驶和辅助驾驶正在成为汽车行业的一个标准，对驾驶舱内驾驶员和乘客的状态监测和疲劳监测能够有效的提高汽车的安全性。目前对于汽车内的电器操控主要是通过按键来进行控制，非接触式的手势控制和人机交互也是汽车正在智能化的一个体现，能够给驾驶员提供一个更便捷的控制方式。

现有的单一rgb彩色图像传感器只能够获得二维的彩色图像，存在着很多弊端，包括：在进行图像识别时，由于所获得的信息维度不够而误判；没有办法判断所成像的人或者物体的大小、身高和三维轮廓；手势识别的误判。

目前所存在的三维成像方式，技术主要包括双目相机、结果光法和飞行时间。飞行时间发通过发射激光束测量激光返回的时间来测量物体或人的三维结构，建立人体的三维模型，通过三维模型在空间中的位置变化来识别人的手势变化。飞行时间法具有高灵敏度、抗强光性、高精度等优点。但是仅仅通过飞行时间三维相机的深度信息一般分辨率较低、不能识别环境色彩和人体或人体表面图像、不能获得人体脸部详细特征。

目前在基于图像信息的驾驶员疲劳驾驶识别研究中，已有方案大多直接采用摄像头直接拍摄的2d图像进行处理和识别，如采用摄像头拍摄的2d图像通过目前比较成熟的图像处理软件库opencv进行图像特征提取及切割，提取驾驶员睁眼状态及嘴巴闭合程度，通过支持向量机等机器学习算法训练模型，从而判断驾驶员疲劳程度。然而，此类方法由于仅采用2d图像信息，容易产生误判。另有一些方案中采用双目摄像头的方法采集3d深度图像信息进行处理分析，此类方法提高了疲劳程度判断的准确性，然而由于双目算法需要大量的计算量得到深度信息，通常无法做到实时性，采样率通常不高。另有一些方案采用心率监测等多模态检测，需要的设备复杂，通常不便于一般车辆安装。以上所述的基于图像信息的驾驶员疲劳驾驶方案中一个重要不足是无法工作在无光或弱光环境中。然而，通常车辆在行驶于夜晚或隧道等环境中时，是驾驶员最容易发生疲劳驾驶的环境。此时，已有的基于图像信息采集的方案通常无法奏效。本专利提出的基于tof技术的3d方案基于主动发射的不可见近红外光源，可不受影响的工作在无光环境中，并可提供实时的3d信息采集。

同时，在有光环境下，tof深度信息结合二维的rgb相机能够更高分辨率的识别人脸表情和获得更多数据信息，从而提高测量的精度。

技术实现要素：

本发明目的为解决上述所述的仅仅通过彩色图像传感器所获得的信息不足的问题，提供一个高灵敏的、高信息密度的人机交互解决方案和人脸识别状态识别系统。

为了实现上述目的，提供以下技术方案：

一种基于rgbd的汽车驾驶员状态检测和识别系统，包括：

rgb(red，green，blue)彩色图像传感器、tof飞行时间传感器、近红外发射器和微处理器；

所述近红外发射器向被检测人或物发射调制频率的近红外光线，波长在800nm至1000nm左右，调制频率在1mhz到100mhz；飞行时间传感器通过监测反射回来的近红外光线获得物体或者人体表面的深度信息，将数据传递给微处理器；

所述tof飞行时间传感器感应被检测人或物表面发射回来的近红外光，通过对比调制光波的相位差计算出物体距离模块的深度图(depthdata)和反射光的强度图(confidencedata)；

所述rgb彩色图像传感器通过感应物体发射回来的自然光或者近红外光对物体彩色的成像；

所述微处理器具有图像数据接口、i2c和普通的输入输出口(i/o)，能够控制近红外发射器、向下一单元传递rgbd信息，以及对rgb彩色图像传感器和tof飞行时间传感器传导过来的信号进行处理和整合，以实现对驾驶员身份和体态、驾驶状态以及手势进行识别检测。

所述微处理器将通过tof传感器获得的深度信息(depth)、光强度信息(confidence)与对rgb彩色图像信息(red,green,blue)进行合成算法处理：将彩色图像和深度图像的信息相融合，通过人体轮廓边缘对齐和分割的方式，解析出两个图像的重叠区域，把两种图像的像素点对应上；对每个像素点的数据进行滤波、过采样和光滑处理，得到稳定的底噪数据，使最终获得的点云光滑、均匀，所获得的点云数据包含了rgbd的彩色和深度信息；将深度信息依据横纵坐标转化为空间的三维坐标，将所得到的数据合成空间的三维点云图(x,y,z)；进一步的，通过合成算法将色彩(r,g,b)、三维坐标(x,y,z)和光强度(c)信息整合获得空间彩色三维点云图。

具体方法包括人或者物体与背景的图像合成，边缘分割，过采样，滤波去噪和光滑处理；

1)通过深度飞行时间相机获得深度数据d和强度数据c，并将d和c与高分辨率的rgb相融合，获取人体的轮廓(主要是人脸或者手)；

2)高分辨率的rgb色彩图像传感器比飞行时间(tof)具有较好的粒子性，本发明中提供了过采样(upsampling)的过滤方式来提供合成图像的粒子性与图像的平滑性；

3)利用提取多帧数据并作加权平均的方式来对图像进行滤波降噪。

所述微处理器通过所获得的空间彩色三维点云图辨别人脸和轮廓，对人脸特征和五官细节的数据进行提取，传递到下一级系统进行身份识别。其中，rgb彩色图像信息包含驾驶员的脸部细节特征信息、人脸五官细节的形状和位置。

所述微处理器通过所获得的空间彩色三维点云图进行建模分析，获得高精度的人体轮廓数据，将数据传递到下一级系统，对人体进行体态、体型和身高的分析。

所述微处理器通过所获得的空间彩色三维点云图对驾驶员脸部和进行高频采样分析；进一步的，在多个维度精细地获得驾驶员脸部的面部表情变化、眨眼情况；进一步的，将信息传递到下一级系统，系统通过驾驶员眨眼频率和打哈欠的状态来分析驾驶员疲劳驾驶的程度。采样的频率每秒钟在10帧以上。

所述微处理器通过所获得的空间彩色三维点云图进行建模；进一步的，生成人体的上肢轮廓和骨骼图，下一级系统通过分析上肢和手在汽车内的位置和转动方向盘的状态，来对驾驶员的疲劳驾驶状态进行检测和分析。

所述微处理器通过所获得的空间彩色三维点云图进行建模分析；生成人体的骨骼图，通过对彩色三维图像的高频采样，来判断驾驶员所操作的手势控制。采样频率可以达到每秒10帧以上。所述手势控制是指驾驶员通过一些特定的手势来对汽车的中控系统进行一些非接触式的控制，包括接打电话、音量调整、多媒体系统控制以及一些自定义的手势等人机交互方案。

附图说明

图1是基于rgbd的飞行时间传感器和彩色图像传感器相结合的成像系统示意图；

图2是本发明tof图像传感器所获得的深度图、强度图以及3d头部信息提取；

图3是本发明所拍摄人体轮廓的一部分；

图4是本发明通过修正值和强度值获得的人体与背景的边界；

图5是本发明近距离和远距离的深度矢量图；

图6是本发明驾驶员室内脸部表情图。

具体实施方式

为了使本领域的技术人员更好地理解本发明，下面结合附图和实施方案对本发明内容作进一步的详细说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为一种基于rgbd的汽车驾驶员状态检测和识别系统的示意图。其中：1为被测人或物体，2为近红外光波发射及反射路径，3为光学透镜，4为近红外发射器，5为tof飞行时间传感器，6为rgb彩色图像传感器，7为微处理器；

所述的rgb彩色图像传感器6能够获得驾驶室内传感器所接受范围内的图像彩色信息，rgb的像素点的尺寸一般在2umx2um左右，分辨率可以达到50万像素或者更高；激光或led的近红外发射器4能够发射850nm或者940nm波长的光波，通过路径2至被测人或物体1，850nm波长的光波具有更好的灵敏性，940nm的光波主要用于强日光鲁棒性，发射的光波到达物体或者人身上反射回系统上的tof飞行时间传感器5；tof飞行时间传感器5是对近红外光线具有一定敏感性的光感器件，像素点的尺寸一般在10umx10um或者更大，能够通过对比光线发射出去和接收的时间得到光线在空气中传播的时间t，可通过以下计算：

在本发明所应用的tof传感器一般分辨率是在qvga(320x240)级别像素左右或者更高，因此系统可以获得tof传感器视场角内的深度信息值(d)；

tof模块(包含近红外光波发射源和tof传感器)采用了主动发射红外线接收的原理，所发射出去的红外线会因物体或人表面的距离、材质等不同，每个像素点接收到不同的光线强度值(c)，光强度信息在后期的数据处理和补偿中能够发挥重要作用；

图2所示为在机动车驾驶室内由tof传感器探测到的驾驶员深度图像(左)和强度图像(右)以及3d头部信息的提取。本发明基于如图2所示探测到的深度信息及光强度信息进行驾驶员特征的提取。

由于同时采集了深度信息以及rgb信息，通常rgb2d图像信息的分辨率大于深度信息分辨率，这意味这在同样大小的屏幕上，rgb可以采集到更多的像素点。对单个像素点来说，深度传感器采集到的单个像素点大于rgb传感器采集到的单个像素点。本发明提供高分辨率rgb图像和低分辨率的深度图像合成技术，具体步骤：

图3为人体肖像肩膀处的轮廓的一部分，9阴影部分为人体肩膀部分，8为背景部分，10为rgb传感器的单个像素点。阴影区域为人体区域，深度距离值低，白色为远距离背景值(在驾驶舱内可能是座位或后排乘客及其他背景)。彩色图像传感器的分辨率很高于是得到很详细的数据，在所提取的方格中，所有的rgb都会附带一个d值，这样每个rgb像素点都会增加一个深度(距离)值，即rgbijd(i∈1,2,3,j∈1,2,3,4,5)。

在实际测量过程中，d值得方格边缘和rgb的小格的边缘很少会重合,每个小的rgb方格即视场角fov可能会同时占有几个不同的深度值。如图4所示，11为深度传感器采集的深度信息d-map，12为深度传感器采集的光强信息c-map，13为rgb传感器采集的2d信息，14为深度信息中的一个像素点，15为深度信息单个像素点在rgb多个更小像素点上的映射，16为合成的边缘检测信息图，17为合成后处理得到的系统边缘，18为深度信息映射在rgb图像上的合成图，19为光强信息映射在rgb图像上的合成图，20为映射。图4为通过修正值和强度值获得的人体与背景的边界，将人体(头部与手)分离出来，也是本系统所要进行分析的区域。本发明通过动态的多次计算方式来对每一di相邻的值进行过取样也就是插值滤波(interpolationfiltering)；

应用高斯分布n(μ，σ)，其中μ值为分布的中心，σ为方差。方差值可以合理的取定，比方说是rgb像素和tof像素的比例的3倍，也可以是其合理的值来得到合理的数值取样；

每个rgbij像素点的深度值经过差值滤波后的深度值被修正到：

每个rgbij像素点的深度值经过差值滤波后的强度值被修正到：

从而对rgb分辨率的像素点获得高精度的rgbdc值。

本发明提供利用光强度值对图像进行分割的技术，选取强度图像中光强度最强的4x4个像素点的值，作为图像中光强的峰值cmax，将图像中的所有值ci与cmax相比，比值大于一定阈值即为系统所要探测的区域(人脸或着手)，即是距离tof深度传感器较近的一个区域内，因人体坐在驾驶室内，手或脸通常在一个固定的距离范围内。

本发明在人体图像处理上还提供了降噪处理，也就是将高精度的rgbdc值通过取多帧然后进行加权平均来进行噪声处理；

图3和图4中深度值为近距离和远距离的深度矢量值，如图5所示,

在应用在同一物体或者人的时候，一般rgb的值不会变化太大，rgb值的变化是比较稳定平滑的，因此在深度值中加入平滑处理来让本系统在测量同一物体时能够让深度值也变化的平滑，也就是梯度变化最小：

同理应用在亮度矢量上，亮度平滑公式为：

本发明所提供的人体表面和手势识别的处理方法能够获得精确的空间三维信息和彩色信息，包括了彩色和三维空间(r,g,b,x,y,z,c)多重信息，进而可以通过计算机生成高精度高分辨率的三维色彩点云图，用于下次层处理器的应用。

通过处理器处理和过滤后的图像信息，包括彩色图像(r,g,b)、三维信息(x,y,z)和强度信息(c)，能够高精度的提供驾驶员的人物肖像特征，包括人脸五官信息，通过将该信息与系统的数据库里的数据进行对比，从而知道驾驶员的身份信息。

同时通过对三维点云数据的分析和建模，提取出人体三维轮廓和身材体型等信息，将信息传递至微处理器，可以用于汽车自动调节座椅和后视镜等启动设置。

所应用的rgb传感器和tof传感器，速度设置在每秒10帧或者更高，可用来实时的对信息进行采样。

在采集到的人面部特征信息后，通过锁定人脸五官特征来分析人物面部表情，通过彩色数据和深度数据来对人脸信息进行锁定，包括眼部位置、口腔位置、脸部颧骨位置情况，来分析人体的面部表情能够反应驾驶员的眨眼情况，采用公式其中pc代表眼球区域的亮度平均值，n代表眼球区域的像素数，通过计算cb<c阈值的频率来计算驾驶员眨眼的频率，通过判断人眨眼的频率及眼部亮度值判断人是否处于疲惫状态，从而进行疲劳提示，在人眼闭合的紧急情况下可主动刹车。

图6所示为驾驶员面部表情的识别及疲劳识别。其中，25为驾驶员面部提取分割。26为驾驶员眼部闭合检测。27为眨眼频率分析。28为通过嘴部及眼部检测判断驾驶员打哈欠。

首先，通过综合rgb2d和深度3d(x,y,z)信息检测驾驶员面部信息，通过图4所示方法进行边缘检测。在定位到驾驶员面部信息后和训练过的驾驶员面部模型进行比对，得到驾驶员面部模型。其次，由于驾驶员可能佩戴眼镜等物品，需要通过rgb2d信息检测人眼部像素数，从而判断驾驶员眨眼频率，若眨眼过快，则进行疲劳提示，若检测不到高于阈值的眼部像素，意味着人眼闭合的紧急情况，需要进行主动刹车。同时，通过3d信息判断驾驶员面部中嘴部张大，通过与训练模型的比对判断是否处于闭眼张嘴的打哈欠阶段，并进行提示。最后，通过面部模型移动判断是否处于频繁低于阈值的点头，从而进行疲劳提示。若以上频繁眨眼、打哈欠、点头同时被监测到，则可以基本判断驾驶员处于疲劳驾驶状态。

对于处于夜晚中驾驶机动车的情况下，rgd传感器通常由于曝光不足等原因无法采集到可靠的2d图像像素信息，此时需要通过深度信息d以及光强信息c来判断驾驶员的驾驶状态。如打哈欠，点头等状态的检测。

通过对所获得的彩色三维点云图进行三维建模，应用实时的高频采样，进而知道驾驶员头部转动情况和手臂在方向盘上转动的情况，将数据传递到下一级进行疲劳驾驶的分析。

同样的，通过对所获得的彩色三维点云图进行三维建模，获得手部骨骼图，通过对手指关节和手指的位置变化分析出驾驶员所在操作的手势；

将驾驶员的手势信息传递到下一级，与信息库的手势进行比对，进行手势控制的汽车驾驶室内的人机交互应用。

本发明通过飞行时间tof传感器获得驾驶员的人体和手指的空间三维信息，进一步的，结合了rgb图像传感器的彩色信息，能够更多维度的、更多信息的对驾驶员在车内的信息进行高精度、高灵敏度和高信息量的数据采集。