一种基于视觉传感器的驾驶员监控系统的制作方法

本发明涉及一种基于视觉传感器的驾驶员监控系统，属于计算机技术领域。

背景技术：

随着我国经济社会的快速发展和人民生活水平的不断提高，我国的汽车保有量呈现快速增长的态势。随着汽车保有量的增多，交通事故的发生量也随之增加。

引起交通事故的原因多种多样，排除天气和道路状况等不可改变因素，大部分原因都和驾驶员本身有关。两个最重要的原因是分神和疲劳驾驶，因此，需要对驾驶员的行为和状态进行监控，必要时警示驾驶员甚至用辅助驾驶功能接管，从而有效防止交通事故的发生。

目前主流的驾驶员监控系统一般采用视觉传感器，主要集中在驾驶员疲劳检测方面。一般在车辆驾驶室内安装一个红外摄像头采集驾驶员正面头像，再交给疲劳检测装置处理。

然而，驾驶员监控系统只集中在驾驶员疲劳检测方面，而驾驶员分神也是引起交通事故的重要原因，因此，通过驾驶员监控系统实现对驾驶员分神进行检测是亟待解决的问题。

技术实现要素：

本发明的目的在于提供一种基于视觉传感器的驾驶员监控系统的技术方案。为达到上述目的，本发明提供如下技术方案：所述系统包括：红外摄像头模块、可见光摄像头模块、监控控制器和报警模块，所述红外摄像头模块、所述可见光摄像头模块和所述报警模块分别与所述监控控制器之间通信连接；

所述红外摄像头模块，用于采集驾驶员的第一图像；将所述第一图像发送至所述监控控制器；

所述可见光摄像头模块，用于采集所述驾驶员的第二图像；将所述第二图像发送至所述监控控制器；

所述监控控制器，用于获取所述第一图像和所述第二图像；根据所述第一图像确定所述驾驶员单位时间内眼睛闭合一定比例所占的时间perclos；对所述第二图像进行预处理；将预处理后的第二图像输入分类模型得到分类结果，所述分类结果用于指示所述驾驶员是否处于疲劳状态和/或分神状态；根据所述perclos和所述分类结果确定报警级别；

所述报警模块，用于获取所述报警级别；根据所述报警级别控制对应的报警组件进行报警。

可选地，所述疲劳状态包括：打哈欠和点头中的至少一种。

所述分神状态包括：打电话、看手机、抽烟和左顾右盼中的至少一种。

可选地，所述监控控制器采用多核异构系统级芯片soc，所述soc包括进阶精简指令集机器arm核、第一数字信号处理器dsp核和第二dsp核；

所述第一dsp核，用于对所述驾驶员的视线进行跟踪，并执行所述根据所述第一图像确定所述perclos的步骤；

所述第二dsp核，用于执行所述对所述第二图像进行预处理；将预处理后的第二图像输入分类模型得到分类结果的步骤，所述分类模型为卷积神经网络cnn模型；

所述arm核，用于执行所述根据所述perclos和所述分类结果确定报警级别的步骤。

可选地，所述报警级别包括轻度、中度和重度；所述报警模块分别与仪表盘、扬声器和座椅振动器相连；所述报警模块，用于：

在所述报警级别为轻度时，触发所述仪表盘指示灯亮并触发所述扬声器输出第一时长的声音警示；

在所述报警级别为中度时，触发所述扬声器输出第二时长的声音警示并触发所述座椅振动器进行第三时长的座椅震动，所述第二时长大于所述第一时长；

在所述报警级别为重度时，触发所述扬声器输出声音警示并触发所述座椅振动器进行座椅震动，直至所述监控触发器后续检测出报警级别降低时停止。

可选地，所述红外摄像头模块和所述可见光摄像头模块以相同的图像采集帧率采集图像，所述图像采集帧率根据所述监控控制器的图像处理能力确定。

可选地，所述红外摄像头模块连接有近红外发光二极管led模块，所述近红外led模块，用于：

接收所述红外摄像头模块的同步开关控制信号；

根据所述同步开关控制信号通过led驱动电路控制led灯发射近红外光照射所述驾驶员；或者，通过led驱动电路控制led灯停止发射近红外光。

可选地，所述红外摄像头模块和所述近红外led模块安装于所述车辆中仪表盘的上方。

可选地，所述可见光摄像头模块安装于所述车辆的左侧a柱或者后视镜位置。

可选地，所述监控控制器安装于所述车辆的驾驶舱前部。

可选地，所述红外摄像头模块和所述可见光摄像头模块分别通过线缆与所述监控控制器相连。

本发明的有益效果在于：通过设置两个图像采集模块，即红外摄像头模块和可见光摄像头模块分别采集驾驶员的图像；通过监控控制器对两个图像分别进行分析，确定驾驶员是否处于疲劳状态和/或分神状态；可以解决已有的驾驶员监控系统无法对驾驶员的分神状态进行检测的问题；可以提高驾驶员监控系统监控驾驶员驾驶状态的全面性，从而提高驾驶安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的一种基于视觉传感器的驾驶员监控系统的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本申请一个实施例提供的一种基于视觉传感器的驾驶员监控系统的结构示意图，如图1所示，该系统用于车辆中，该系统至少包括：红外摄像头模块110、可见光摄像头模块120、监控控制器130和报警模块140。

其中，红外摄像头模块110、可见光摄像头模块120和报警模块140分别与监控控制器130之间通信连接。可选地，红外摄像头模块110和可见光摄像头模块120分别通过线缆与监控控制器130相连。报警模块140可以通过线缆与监控控制器130相连；或者，也可以通过接口与监控控制器130相连；或者，还可以通过无线方式与监控控制器130相连，本申请不对红外摄像头模块110、可见光摄像头模块120和报警模块140分别与监控控制器130之间通信连接的方式作限定。

红外摄像头模块110，用于采集驾驶员的第一图像；将第一图像发送至监控控制器。可选地，第一图像可以为驾驶员的正面头部图像。

可选地，红外摄像头模块110还连接有近红外发光二极管(lightemittingdiode，led)模块150。红外摄像头模块110与近红外led模块150之间通过有线或者无线的方式相连，本实施例不对红外摄像头模块110与近红外led模块150之间的连接方式作限定。

可选地，近红外led模块150，用于：接收红外摄像头模块110的同步开关控制信号；根据同步开关控制信号通过led驱动电路控制led灯发射近红外光照射驾驶员；或者，通过led驱动电路控制led灯停止发射近红外光。

可选地，红外摄像头模块110和近红外led模块安装于车辆中仪表盘的上方。

可见光摄像头模块120，用于采集驾驶员的第二图像；将第二图像发送至监控控制器。第二图像与第一图像不同，第二图像可以为驾驶员正面上半身图像。

可选地，红外摄像头模块110和可见光摄像头模块120以相同的图像采集帧率采集图像。图像采集帧率根据监控控制器的图像处理能力确定。比如：图像采集帧率为每秒10帧。可见光摄像头模块120安装于车辆的左侧a柱或者后视镜位置。其中，左侧a柱是指前挡风玻璃和左前车门之间的柱子。

监控控制器130，用于获取第一图像和第二图像；根据第一图像确定驾驶员单位时间内眼睛闭合一定比例所占的时间(percentageofeyelidclosureoverthepupil，overtime，perclos)；对第二图像进行预处理；将预处理后的第二图像输入分类模型得到分类结果；根据perclos和分类结果确定报警级别。其中，分类结果用于指示驾驶员是否处于疲劳状态和/或分神状态。

perclos的计算方式参考下述公式：

perclos＝眼睛闭合帧数/检测时间段总帧数*100％

可选地，监控控制器130通过图像识别算法检测眼睑遮住瞳孔的面积是否超过预设阈值；若超过预设阈值即为驾驶员的眼睛闭合。预设阈值可以为70％、80％、90％等，本实施例不对预设阈值的取值作限定。

可选地，预处理包括但不限于：色彩空间转换和图像缩放中的至少一种。

可选地，疲劳状态包括：打哈欠和点头中的至少一种。分神状态包括：打电话、看手机、抽烟和左顾右盼中的至少一种。

可选地，监控控制器130采用多核异构系统级芯片(systemonchip，soc)，soc包括进阶精简指令集机器arm核131、第一数字信号处理器(digitalsignalprocessing，dsp)核132和第二dsp核133。

第一dsp核131，用于对驾驶员的视线进行跟踪，并执行根据第一图像确定perclos的步骤。

第二dsp核132，用于执行对第二图像进行预处理；将预处理后的第二图像输入分类模型得到分类结果的步骤。

可选地，分类模型为卷积神经网络cnn模型；当然，分类模型也可以为其它类型的用于进行分类的模型，本实施例不对分类模型的类型作限定。

arm核133，用于执行根据perclos和分类结果确定报警级别的步骤。

可选地，监控控制器130安装于车辆的驾驶舱前部。

报警模块140，用于获取报警级别；根据报警级别控制对应的报警组件进行报警。

可选地，报警级别包括轻度、中度和重度；报警模块分别与仪表盘、扬声器和座椅振动器相连；报警模块140，用于：

在报警级别为轻度时，触发仪表盘指示灯亮并触发扬声器输出第一时长的声音警示；

在报警级别为中度时，触发扬声器输出第二时长的声音警示并触发座椅振动器进行第三时长的座椅震动，第二时长大于第一时长；

在报警级别为重度时，触发扬声器输出声音警示并触发座椅振动器进行座椅震动，直至监控触发器后续检测出报警级别降低时停止。

本实施例提供的一种基于视觉传感器的驾驶员监控系统的工作流程如下：

步骤1，驾驶员启动车辆后，监控控制器130上电开始工作。

步骤2，监控控制器130上电后开始供电给驾驶员监控系统中的其它组件；红外摄像头模块110给近红外led模块150供电；近红外led模块150开始正常工作发出近红外光，照射驾驶员面部。

步骤3，红外摄像头模块110开始采集驾驶员正面头部图像，可见光摄像头模块120开始采集驾驶员正面上半身图像，两者的图像采集帧率保持一致。

步骤4，监控控制器130soc中的第一dsp核131接收红外摄像头模块110采集的驾驶员正面头部图像(即第一图像)，做perclos度量和视线跟踪，第二dsp核132接收可见光摄像头模块120采集的驾驶员正面上半身图像(即第二图像)，经图像预处理后做cnn分类。

步骤5，监控控制器130soc中的arm核133融合两个dsp核算法处理的结果进行逻辑判断以决定当前驾驶员处于什么状态，需要触发什么级别的报警。

步骤6，报警模块140根据融合逻辑判断的结果触发报警，报警级别分为轻度、中度和重度三级，会触发仪表盘指示灯、声音和座椅震动以警示驾驶员。

综上所述，本实施例提供的基于视觉传感器的驾驶员监控系统，通过设置两个图像采集模块，即红外摄像头模块和可见光摄像头模块分别采集驾驶员的图像；通过监控控制器对两个图像分别进行分析，确定驾驶员是否处于疲劳状态和/或分神状态；可以解决已有的驾驶员监控系统无法对驾驶员的分神状态进行检测的问题；可以提高驾驶员监控系统监控驾驶员驾驶状态的全面性，从而提高驾驶安全性。

另外，通过在监控控制器中设置第一dsp核和第二dsp核，使得监控控制器130可以同时并行处理两张图像，提高监控控制器130得到分类结果的实时性。

另外，基于本申请提供的驾驶员监控系统，监控控制器还可以监测除打哈欠、点头、打电话、看手机、抽烟、左顾右盼这六种驾驶员疲劳和分神状态之外的其它状态；另外还可以进一步支持人脸识别、虹膜识别等功能模块，具有可扩展性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。