一种基于TOF摄像模组的防疲劳驾驶方法与流程

本发明涉及驾驶辅助技术领域，尤其涉及一种基于tof摄像模组的防疲劳驾驶方法。

背景技术：

疲劳驾驶是人们长期处于一种心理以及生理机能失调的状态下，仍然继续长时间地、不间断地驾驶的一种驾驶状态，当司机处于疲劳驾驶时会导致动作迟缓、反应不灵敏、躯体乏力、视力模糊、腿脚麻木等现象，极大影响驾驶操作。为降低疲劳驾驶风险，需要对驾驶员疲劳状态进行识别。

疲劳识别方法可以分成两大类，接触式和非接触式。接触式的通常采用穿戴设备或其他与驾驶员直接接触的设备，以对驾驶员的心电图、脑电图、肌电图等生理信号进行监测，从而判定驾驶员是否处于疲劳状态。非接触式的会采用与驾驶员非直接接触的设备对疲劳状态进行识别，如图像识别方法、汽车行为检测方法、汽车操控行为方法等。这两种方法各有优缺点，接触式的准确性高，但实用性较低，非接触式的由于采用外在特征识别技术(如2d摄像头图像识别技术，用于实现驾驶员疲劳检测，其算法相对复杂，预警准确度在光线不足条件下相对较低)，准确性较接触式低，但实用性高。

目前仍未存在一种兼有高实用性和高准确性的疲劳驾驶识别方法。

技术实现要素：

本发明提供一种基于tof摄像模组的防疲劳驾驶方法，解决的技术问题是，现有接触式和非接触式疲劳驾驶识别方法，均难以兼有高实用性和高准确性。

为解决以上技术问题，本发明提供一种基于tof摄像模组的防疲劳驾驶方法，包括以下步骤：

s1.安装第一tof摄像头模组于车身侧向检测位，以及安装第二tof摄像头模组于车身正向检测位；

s2.在车速不为零时，确定驾驶员头部在侧向检测坐标系中的侧向特征面，以及确定所述驾驶员头部在正向检测坐标系中的正向特征面；所述侧向检测坐标系以所述第一tof摄像头模组为坐标原点，以所述第一tof摄像头模组扫描的径向为x轴、横向为y轴，以垂直于所述y轴、x轴向上为z轴；所述正向检测坐标系以所述第二tof摄像头模组为坐标原点，以所述第二tof摄像头模组扫描的横向为x轴、径向为y轴，以垂直于所述y轴、x轴向上为z轴；

s3.判断所述驾驶员头部的侧向特征面是否偏离了侧向安全角度，若是则进行报警提示，若否则不反应；

s4.判断所述驾驶员头部的正向特征面是否偏离了正向安全角度，若是则进行报警提示，若否则不反应。

进一步地，在所述步骤s3中，所述判断所述驾驶员头部的侧向特征面是否偏离了侧向安全角度，具体为：

判断所述驾驶员头部发生右偏时右侧向特征面是否满足右偏预警条件

其中，l0为所述第一tof摄像头模组到侧向参考特征面中心点的距离；l4为所述侧向参考特征面的宽度；α为所述侧向安全角度；分别为所述第一tof摄像头模组的水平视场角和垂直视场角；d5为所述第一tof摄像头模组到右偏安全极限平面中心点的距离；d6为所述第一tof摄像头模组到所述右偏安全极限平面顶边中心点的距离；d7为所述第一tof摄像头模组到所述右偏安全极限平面前边中心点的距离。

进一步地，在所述步骤s3中，所述判断所述驾驶员头部的侧向特征面是否偏离了侧向安全角度，具体为：

判断所述驾驶员头部发生左偏时右侧向特征面是否满足左偏预警条件

其中，l0为所述第一tof摄像头模组到侧向参考特征面中心点的距离；l4为所述侧向参考特征面的宽度；α为所述侧向安全角度；分别为所述第一tof摄像头模组的水平视场角和垂直视场角；d5’为所述第一tof摄像头模组到左偏安全极限平面中心点的距离；d8为所述第一tof摄像头模组到所述左偏安全极限平面前边中心点的距离；d9为tof1模组到所述左偏安全极限平面顶边中心点的距离。

进一步地，在所述步骤s4中，判断所述驾驶员头部的正向特征面是否偏离了正向安全角度，具体为：

判断所述驾驶员头部发生前垂时前向特征面是否满足前垂预警条件

其中，l01为所述第二tof摄像头模组到前向参考特征面中心点的距离；l7为所述前向参考特征面的宽度；β为所述正向安全角度；σ、γ分别为所述第二tof摄像头模组的水平视场角和垂直视场角；d51为所述第二tof摄像头模组到前垂安全极限平面中心点的距离；d61为所述第二tof摄像头模组到所述前垂安全极限平面顶边中心点的距离；d71为所述第二tof摄像头模组到所述前垂安全极限平面左边中心点的距离。

进一步地，在所述步骤s4中，判断所述驾驶员头部的正向特征面是否偏离了正向安全角度，具体为：

判断所述驾驶员头部发生后仰时前向特征面是否满足后仰预警条件

其中，l01为所述第二tof摄像头模组到前向参考特征面中心点的距离；l7为所述前向参考特征面的宽度；β为所述正向安全角度；σ、γ分别为所述第二tof摄像头模组的水平视场角和垂直视场角；d51’为所述第二tof摄像头模组到后仰安全极限平面中心点的距离；d81为所述第二tof摄像头模组到所述后仰安全极限平面顶边中心点的距离；d91为所述第二tof摄像头模组到所述后仰安全极限平面左边中心点的距离。

优选地，在所述步骤s1中，所述车身侧向检测位为副驾驶车门顶部，所述车身正向检测位为主驾驶正前方挡风玻璃上方不影响驾驶员视线处。

本发明提供的一种基于tof摄像模组的防疲劳驾驶方法，分别用第一tof摄像头模组和第二tof摄像头模组构建侧向检测模型和正向检测模型，通过确定用于参照的侧向特征面和正向特征面，对驾驶员在行驶过程中的侧向特征面和正向特征面进行检测和计算，当满足预设的预警条件时进行报警提示。本发明提供的一种基于tof摄像模组的防疲劳驾驶方法，能够弥补图像处理方式中摄像头在夜间或者光线较暗情况下对驾驶员监测失效的不足，利用有效且可行的数学模型通过机器学习的算法判定车主是否疲劳，而且不受环境光线的影响，准确性较高，且采用非接触式检测方法，实用性较高，且可以有效地降低因疲劳驾驶带来的交通事故，减小由此带来的财产损失。

附图说明

图1是本发明实施例提供的一种基于tof摄像模组的防疲劳驾驶方法的步骤流程图；

图2是本发明实施例提供的tof摄像头模组的安装位置及其参考坐标系的示意图；

图3是本发明实施例提供的图1中驾驶员头部检测区域的示意图；

图4是本发明实施例提供的图1中驾驶员头部右偏时的计算模型图；

图5是本发明实施例提供的图1中驾驶员头部左偏时的计算模型图；

图6是本发明实施例提供的图1中驾驶员头部前垂时的计算模型图；

图7是本发明实施例提供的图1中驾驶员头部后仰时的计算模型图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

本发明实施例提供一种基于tof摄像模组的防疲劳驾驶方法，其步骤流程如图1所示，包括以下步骤：

s1.安装第一tof摄像头模组于车身侧向检测位，以及安装第二tof摄像头模组于车身正向检测位；

s2.在车速不为零时，确定驾驶员头部在侧向检测坐标系中的侧向特征面，以及确定所述驾驶员头部在正向检测坐标系中的正向特征面；

s3.判断所述驾驶员头部的侧向特征面是否偏离了侧向安全角度，若是则进行报警提示，若否则不反应；

s4.判断所述驾驶员头部的正向特征面是否偏离了正向安全角度，若是则进行报警提示，若否则不反应。

需要说明的是，如图2所示，在所述步骤s2中，所述侧向检测坐标系o-xyz以所述第一tof摄像头模组(tof1)为坐标原点，以所述第一tof摄像头模组(tof1)扫描的径向为x轴、横向为y轴，以垂直于所述y轴、x轴向上为z轴；所述正向检测坐标系o1-x1y1z1以所述第二tof摄像头模组(tof2)为坐标原点，以所述第二tof摄像头模组(tof2)扫描的横向为x轴、径向为y轴，以垂直于所述y轴、x轴向上为z轴。所谓的tof摄像头模组，tof是timeofflight的缩写，直译为飞行时间，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。

作为本发明的一优选实施例，再次参见图2，在所述步骤s1中，所述车身侧向检测位为副驾驶车门顶部，所述车身正向检测位为主驾驶正前方挡风玻璃上方不影响驾驶员视线处。

需要进一步说明的是，本实施例在判断驾驶员头部的动作形态时需要建立用于参照的侧向参考特征面和前向参考特征面(驾驶员以标准姿态行驶时，固定不动的右侧面和前面，因为都是曲面，为了便于计算和对比，需要将曲面等效为平面，即所述侧向参考特征面和前向参考特征面)。

一、头部右偏、左偏检测

如图3所示，具体地，在所述侧向检测坐标系中，所述侧向参考特征面rsvl的确定过程为：

s31.确定在正常姿态下所述驾驶员头部的右侧面点云中y坐标最小值和最大值(大于最小值3cm，这个值可以由经验值设定)之间的y坐标范围；

s32.计算落入所述y坐标范围内的所述右侧面点云的y坐标平均值，作为所述侧向参考特征面rsvl的y坐标；

s33.按照y坐标取为所述y坐标平均值、x坐标不变、z坐标不变的规则，重新确定y坐标落在所述y坐标范围的所有右侧面点云的坐标。

驾驶员头部侧向参考特征面rsvl为驾驶员头部侧面的轮廓点云，通过所述第一tof摄像头模组(tof1)获取。例如，探测到的驾驶员头部点云坐标的y值最小为yy1(落在头部侧右侧的耳朵上)，最大值为yy2(可能落在头顶或者下颚某处)，yy2-yy1＝3cm，然后取平均值得到yy0＝(yy1+yy2)/2，距离tof摄像头坐标原点yy0相同的面就是驾驶员头部右侧向特征面，将其他点云的y坐标值落在yy1和yy2之间的坐标点映射到这个面，就组成了驾驶员头部侧向特征面。例如，检测到r'点坐标为(xr,yr,zr)，通过比较yr和yy0的大小，如果不相等，则将yr值用yy0代替，这样就将r'点云映射到r点，类似可以将其他点映射，由此可以确定驾驶员头部侧向参考特征面rsvl。

如图所示，在所述侧向参考特征面rsvl中，r点表示头部最上面靠头部最后面的点，s点表示头部最上面靠头部最前面的点，v点表示头部最下面靠头部最后面的点，l点表示头部最下面靠头部最前面的点。r、s、v、l四点分别由r’、s’、v’、l’四个点(图中未标示，但易于想象)映射过来，r’点为驾驶员头部点云中x绝对值最大且z最大的点，s’点为驾驶员头部点云中x绝对值最小且z最大的点，v’点为驾驶员头部点云中x绝对值最大且z最小的点，l’为驾驶员头部点云中y最小且z最小的点。

确定了侧向参考特征面后，根据侧向安全角度α(根据经验设定为10°范围以内)即可确定右偏时的右偏安全极限平面uwvl以及左偏时的左偏安全极限平面u'w'vl。

确定了侧向参考特征面后，还需要确定在驾驶过程中驾驶员头部的侧向特征面(随驾驶员头部位置的变化而变化)。

1)检测右偏

在所述侧向检测坐标系中，如图4所示，在所述步骤s3中，所述判断所述驾驶员头部的侧向特征面是否偏离了侧向安全角度α，具体为：

判断所述驾驶员头部发生右偏时所述右侧向特征面是否满足右偏预警条件

其中，l0为所述第一tof摄像头模组(tof1)到所述侧向参考特征面rsvl中心点q1的距离；l4为所述侧向参考特征面rsvl的宽度；α为所述侧向安全角度；分别为所述第一tof摄像头模组(tof1)的水平视场角和垂直视场角；d5为所述第一tof摄像头模组(tof1)到所述右偏安全极限平面uwvl中心点q3的距离；d6为所述第一tof摄像头模组(tof1)到所述右偏安全极限平面uwvl顶边uw中心点q2的距离；d7为所述第一tof摄像头模组(tof1)到所述右偏安全极限平面uwvl前边lw中心点q4的距离。

2)检测左偏

如图5所示，在所述步骤s3中，所述判断所述驾驶员头部的侧向特征面是否偏离了预设的侧向安全角度α，具体为：

判断所述驾驶员头部发生左偏时所述右侧向特征面是否满足左偏预警条件

其中，l0为所述第一tof摄像头模组(tof1)到所述侧向参考特征面rsvl中心点q1的距离；l4为所述侧向参考特征面rsvl的宽度；α为所述侧向安全角度；分别为所述第一tof摄像头模组(tof1)的水平视场角和垂直视场角，d5’为所述第一tof摄像头模组(tof1)到所述左偏安全极限平面u'w'vl中心点q6的距离；d8为所述第一tof摄像头模组(tof1)到所述左偏安全极限平面u'w'vl前边w'l中心点q7的距离；d9为tof1模组到所述左偏安全极限平面u'w'vl顶边w'u'中心点q5的距离。

二、头部前垂、后仰检测

如图3所示，前向参考特征面stml的确定过程为：

s31.确定在正常姿态下所述驾驶员头部的正前面点云中y坐标最小值和最大值(大于最小值3cm，这个值可以由经验值设定)之间的y坐标范围；

s32.计算落入所述y坐标范围内的所述右侧面点云的y坐标平均值，作为所述前向参考特征面stml的y坐标；

s33.按照y坐标取为所述y坐标平均值、x坐标不变、z坐标不变的规则，重新确定y坐标落在所述y坐标范围的所有正前面点云的坐标。

驾驶员头部前向参考特征面stml是驾驶员头部正面的轮廓点云，通过第二tof摄像头模组(tof2)获取。例如，检测到s’点坐标为(xs,ys,zs)，通过比较xs和xx0的大小，如果不相等，则将xs值用xx0代替，这样就将s’点云映射到s点，类似可以将其他点映射，由此可以确定驾驶员头部前向参考特征面stml。

如图所示，在所述前向参考特征面stml中，s点表示头部最上面靠头部最右边的点和驾驶员头部侧向特征面rslv相交，t点表示头部最上面靠头部最左边的点，m点表示头部最下面靠头部最左边的点，l点表示头部最下面靠头部最右边的点和驾驶员头部侧向特征面rslv相交。s、t、m、l四点分别由s’、t’、m’、l’四个点(图中未标示，但易于想象)映射过来，s’点为驾驶员头部点云中x最小且z最大的点，t’点为驾驶员头部点云中x最大且z最大的点，m’点为驾驶员头部点云中x最小且z最小的点，l’为驾驶员头部点云中x值最大且z最小的点。

确定了前向参考特征面stml后，根据正向安全角度β(根据经验设定为20°范围以内)即可确定前垂时的前垂安全极限平面knlm以及后仰时的后仰安全极限平面k'n'lm。

确定了前向参考特征面stml后，还需要确定在驾驶过程中驾驶员头部的前向特征面(随驾驶员头部位置的变化而变化)。

1)前垂检测

参见图6，在所述步骤s4中，判断所述驾驶员头部的前向特征面是否偏离了预设的正向安全角度β，具体为：

判断所述驾驶员头部发生前垂时所述前向特征面是否满足前垂预警条件

其中，l01为所述第二tof摄像头模组(tof2)到所述前向参考特征面stml中心点q9的距离；l7为所述前向参考特征面stml的宽度；β为所述正向安全角度；σ、γ分别为所述第二tof摄像头模组(tof2)的水平视场角和垂直视场角；d51为所述第二tof摄像头模组(tof2)到所述前垂安全极限平面knml中心点q10的距离；d61为所述第二tof摄像头模组(tof2)到所述前垂安全极限平面knml顶边kn中心点q8的距离；d71为所述第二tof摄像头模组(tof2)到所述前垂安全极限平面knml左边nm中心点q11的距离。

2)后仰检测

参见图7，在所述步骤s4中判断所述驾驶员头部的前向特征面是否偏离了预设的正向安全角度，具体为：

判断所述驾驶员头部发生后仰时所述前向特征面是否满足后仰预警条件

其中，l01为所述第二tof摄像头模组(tof2)到所述前向参考特征面stml中心点q9的距离；l7为所述前向参考特征面stml的宽度；β为所述正向安全角度；σ、γ分别为所述第二tof摄像头模组(tof2)的水平视场角和垂直视场角，d51’为所述第二tof摄像头模组(tof2)到所述后仰安全极限平面k'n'ml中心点q12的距离；d81为所述第二tof摄像头模组(tof2)到所述后仰安全极限平面k'n'ml顶边k'n'中心点q11的距离；d91为所述第二tof摄像头模组(tof2)到所述后仰安全极限平面k'n'ml左边n'm中心点q13的距离。

本发明实施例提供的一种基于tof摄像模组的防疲劳驾驶方法，分别用第一tof摄像头模组(tof1)和第二tof摄像头模组(tof2)构建侧向检测模型和正向检测模型，通过确定用于参照的侧向特征面和正向特征面，对驾驶员在行驶过程中的侧向特征面和正向特征面进行检测和计算，当满足预设的预警条件时进行报警提示。本发明提供的一种基于tof摄像模组的防疲劳驾驶方法，能够弥补图像处理方式中摄像头在夜间或者光线较暗情况下对驾驶员监测失效的不足，利用有效且可行的数学模型通过机器学习的算法判定车主是否疲劳，而且不受环境光线的影响，准确性较高，且采用非接触式检测方法，实用性较高，且可以有效地降低因疲劳驾驶带来的交通事故，减小由此带来的财产损失。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，所述可开合部件还可以为引擎盖、天窗等，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。