行车提醒方法、装置及设备与流程

本发明涉及交通设备技术领域，具体而言，涉及一种行车提醒方法、装置及设备。

背景技术：

现有的交通设备中的行车提醒技术，主要是对于行车速度、车辆与障碍物的距离等因素进行监测并提醒。但是，驾驶者的疲劳因素也是交通安全中的一个重要因素。因为当驾驶者处于疲劳状态时，对周围环境的感知能力以及车辆的操控能力都会降低，容易导致交通事故的发生。因此，现有技术的行车提醒技术无法对驾驶者的疲劳程度进行监测，无法降低驾驶者疲劳程度引起的交通事故的发生率。

技术实现要素：

有鉴于此，本发明实施例提供了一种行车提醒方法、装置及设备，以解决上述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种行车提醒方法，所述方法包括：获取图像采集模块在预设时间内按照预设时间间隔采集的第一帧数的驾驶者的人脸图像；获取所述第一帧数的驾驶者的人脸图像中左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数；计算所述第二帧数与所述第一帧数的第一比值，作为眼睛闭合时间比率；判断所述眼睛闭合时间比率是否大于预设时间比率；若是，则判定所述驾驶者为疲劳驾驶，作出提示动作。

一种行车提醒装置，所述装置包括图像获取单元、帧数获取单元、比值获取单元、比值判断单元以及提示执行单元，其中，所述图像获取单元用于获取图像采集模块在预设时间内按照预设时间间隔采集的第一帧数的驾驶者的人脸图像；所述帧数获取单元用于获取所述第一帧数的驾驶者的人脸图像中左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数；所述比值获取单元用于计算所述第二帧数与所述第一帧数的第一比值，作为眼睛闭合时间比率；所述比值判断单元用于判断所述眼睛闭合时间比率是否大于预设时间比率；所述提示执行单元用于若是，则判定所述驾驶者为疲劳驾驶，作出提示动作。

一种行车提醒设备，所述行车提醒设备包括存储器、处理器以及图像采集模块，所述存储器以及所述图像采集模块连接到所述处理器，所述图像采集模块用于在预设时间内按照预设时间间隔采集第一帧数的驾驶者的人脸图像，所述存储器存储指令，当所述指令由所述处理器执行时使所述处理器执行上述的行车提醒方法。

本发明实施例提供的行车提醒方法、装置及设备，通过获取图像采集模块在预设时间内按照预设时间间隔采集的第一帧数的驾驶者的人脸图像，然后获取第一帧数的驾驶者的人脸图像中左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数，再计算第二帧数与第一帧数的第一比值，作为眼睛闭合时间比率，接着判断眼睛闭合时间比率是否大于预设时间比率，若是，则判定该驾驶者为疲劳驾驶，作出提示动作。从而，可以实现对驾驶者的疲劳驾驶行为进行监测，并对疲劳驾驶行为进行提示，解决现有技术中的行车提醒技术无法对驾驶者的疲劳程度进行监测，无法降低驾驶者疲劳程度引起的交通事故的发生率的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的行车提醒设备的方框示意图；

图2示出了本发明实施例提供的行车提醒方法的流程图；

图3示出了本发明实施例提供的行车提醒方法中步骤s120的流程图；

图4示出了本发明实施例提供的行车提醒方法中步骤s120的步骤s121的流程图；

图5示出了本发明实施例提供的行车提醒装置的模块图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了一种可应用于本发明实施例中的行车提醒设备的结构框图。如图1所示，行车提醒设备100包括存储器102、存储控制器104，一个或多个(图中仅示出一个)处理器106、外设接口108、射频模块110、音频模块112、显示单元114、图像采集模块117、距离测量模块118等。这些组件通过一条或多条通讯总线/信号线116相互通讯。

存储器102可用于存储软件程序以及模块，如本发明实施例中的行车提醒方法及装置对应的程序指令/模块，处理器106通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理，如本发明实施例提供的行车提醒装置。

存储器102可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。

外设接口108将各种输入/输出装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108，处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

射频模块110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。

音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元114在行车提醒设备100与用户之间提供一个显示界面。具体地，显示单元114向用户显示视频输出，这些视频输出的内容可包括文字、图形、视频及其任意组合。

图像采集模块117用于采集驾驶者的人脸图像，例如可以为cmos摄像头。距离测量模块118用于测量车辆与车辆周围的物体间的距离，例如可以为距离测量传感器。

可以理解，图1所示的结构仅为示意，行车提醒设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

如图2示出了本发明实施例提供的行车提醒方法的流程图。请参见图2，该方法包括：

步骤s110：获取图像采集模块在预设时间内按照预设时间间隔采集的第一帧数的驾驶者的人脸图像。

判断人的疲劳状态，通常眼睛的状态较为具有说服力和代表性。因此，可以通过检查驾驶者眼睛的状态来判断驾驶者的疲劳程度。而对于眼睛的状态的检测，通过包括眼睛的人脸图像来检测眼睛的状态可靠性高。另外，对于驾驶者的疲劳状态的检测，通过在一定时间内的眼睛的状态就可以判定出驾驶者是否为疲劳状态。

因此，可以控制图像采集模块在预设时间内按照预设时间间隔采集第一帧数的驾驶者的人脸图像。

具体的，预设时间可以为5s～10s，预设时间间隔可以为0.2s～0.4s。第一帧数为预设时间与预设时间间隔的比值。例如，预设时间为4s，预设时间间隔为0.33s，则第一帧数为12。当然，预设时间、预设时间间隔以及第一帧数的具体数值在本发明实施例中并不作为限定。

从而，可以获取到图像采集模块在预设时间段内按照预设时间间隔采集的第一帧数的驾驶者的人脸图像。

步骤s120：获取所述第一帧数的驾驶者的人脸图像中左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数。

在获取到第一帧数的驾驶者的人脸图像后，再对第一帧数的人脸图像进行处理，以获得人脸图像中左眼的状态以及右眼的状态均为闭合的人脸图像的帧数。

具体的，请参见图3，步骤s120可以包括：

步骤s121：获取所述第一帧数的驾驶者的人脸图像中每帧所述人脸图像中的左眼的状态以及右眼的状态。

获取人脸图像中左眼的状态以及右眼的状态均为闭合的人脸图像的帧数，需要先获取每帧人脸图像中的左眼的状态以及右眼的状态。

具体的，请参见图4，步骤s121可以包括：

步骤s121a：提取所述人脸图像中的左眼所在区域以及右眼所在区域。

为获取人脸图像中左眼的状态以及右眼的状态，需要获取出人脸图像中左眼所在区域以及右眼所在区域。

具体的，步骤s121a可以包括：对所述人脸图像进行二值分割，获得所述人脸图像中人脸所在区域；确定所述人脸所在区域中上半部分区域作为人眼所在第一位置区域；获取所述第一位置区域中的第一连通区域以及第二连通区域，分别作为左眼所在区域以及右眼所在区域。

具体的，对人脸图像进行二值分割可以为，可以将肤色模型中色彩的均值作为阈值，并根据此阈值对人脸图像进行二值分割，以获得人脸图像中的人脸区域。从而，可以除去人脸图像中的背景。

然后，可以根据获得的人脸图像中的人脸区域，确定人脸区域中的上半部分作为人眼所在的第一位置区域，以减少后续处理的计算量。

再在确定的第一位置区域中像素值为0的点，粗略作为眼睛区域，并寻找连通区域。在粗略确定的眼睛区域中，将图像翻转并寻找各个连通区域。当寻找的两个连通区域的面积接近，并且两个连通区域的质心的连线与水平轴的夹角不大于20°，两个连通区域的质心在水平轴的坐标不同，则可以将两个连通区域作为眼睛所在区域。

并且，可以将上述两个连通区域中质心在水平轴的坐标值较小的质心对应的连通区域作为第一连通区域，另外一个连通区域作为第二连通区域。

最后，可以将第一连通区域作为左眼所在区域，将第二连通区域作为右眼所在区域。

步骤s121b：提取所述左眼所在区域以及右眼所在区域对应的垂直积分投影曲线的特征参数。

由于，眼睛在不同的状态，例如睁眼和闭眼状态时，对应的垂直积分投影曲线的特征参数不同，从而可以据此来判定眼睛的状态。

因此，在获得左眼所在区域以及右眼所在区域之后，可以提取左眼所在区域以及右眼所在区域对应的垂直积分投影曲线的特征参数。

具体的，步骤s121b可以包括：基于第一预设函数获取所述左眼所在区域以及所述右眼所在区域分别对应的垂直积分投影曲线；获取所述垂直积分投影曲线的扁平度以及曲线投影面积与外接矩阵的面积的第二比值，作为所述垂直积分投影曲线的特征参数。

在本发明实施例中，在获取眼睛所在区域的垂直积分投影曲线时，可以根据垂直积分投影函数获取垂直积分投影曲线。

具体的，可以假定g(x，y)为左眼所在区域或者右眼所在区域中在(x，y)出的像素值，则对x∈[x1,x2]在区间[y1,y2]的垂直积分投影函数

然后，再获取垂直积分投影曲线的扁平度以及曲线投影面积与外接矩阵的面积的第二比值。具体的，曲线的扁平度为曲线的上半部分的高度与下半部分的高度的比值。外接矩阵为垂直积分投影曲线的外接矩阵，计算垂直积分投影曲线的面积以及外接矩阵的面积，再将垂直积分投影曲线的面积除以外接矩阵的面积获得的值，作为第二比值。

从而，获得垂直积分投影曲线的扁平度以及曲线投影面积与外接矩阵的面积的第二比值，作为垂直积分投影曲线的特征参数。

步骤s121c：根据所述特征参数确定所述左眼对应的状态以及所述右眼对应的状态。

在获取垂直积分投影曲线的特征参数后，再根据特征参数确定左眼对应的状态以及右眼对应的状态。

具体的，步骤s121c可以包括：执行判断所述第二比值是否大于第一预设值；若是，则判定所述特征参数对应的垂直积分投影曲线对应的眼睛为闭合状态；若否，则执行判断所述扁平度是否小于第二预设值；若是，则判定所述特征参数对应的垂直积分投影曲线对应的眼睛为张开状态；若否，则判定所述特征参数对应的垂直积分投影曲线对应的眼睛为半开半闭状态。

在本发明实施例中，第一预设值可以为0.7～0.9，第二预设值可以为0.4～0.6。例如，第一预设值可以为0.8，第二预设值可以为0.5。当然，第一预设值以及第二预设值的具体数值在本发明实施例中并不作为限定。

需要说明的是，在上述的获取每帧所述人脸图像中的左眼的状态以及右眼的状态的过程中，可以是每获取一帧人脸图像，则获取人脸图像中的左眼的状态以及右眼的状态；也可以是获取到第一帧数的人脸图像后，再依次获取第一帧数的人脸图像中左眼的状态以及右眼的状态。

步骤s122：基于所述每帧人脸图像中的左眼的状态以及右眼的状态，获得左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数。

在获得第一帧数的人脸图像中的每帧人脸图像中左眼的状态以及右眼的状态后，可以判断出左眼的状态以及右眼的状态均为闭合状态的人脸图像的帧数，作为第二帧数。

步骤s130：计算所述第二帧数与所述第一帧数的第一比值，作为眼睛闭合时间比率。

在获得所述第一帧数的驾驶者的人脸图像中左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数后，可以将第二帧数除以第一帧数获得第二比值，作为眼睛闭合时间比率，即双眼闭合的时间占总时间的比。

步骤s140：判断所述眼睛闭合时间比率是否大于预设时间比率。

在获得眼睛闭合时间比率后，可以判断眼睛闭合时间比率是否大于预设时间比率。

在本发明实施例中，预设时间比率可以为18％～26％。例如，预设时间比率可以为20％。当然，预设时间比率的具体数值在本发明实施例中并不作为限定。

步骤s150：若是，则判定所述驾驶者为疲劳驾驶，作出提示动作。

当步骤s140中判断结果为眼睛闭合时间比率大于预设时间比率时，则可以判定该驾驶者为疲劳驾驶，并且作出提示动作。

另外，在本发明实施例中，该行车提醒方法还可以包括：获取距离测量模块获取的车辆与所述车辆的周边的物体之间的第一距离；判断所述第一距离是否大于预设距离；若是，则判定所述驾驶者为危险驾驶，作出提示动作。其中，预设距离可以为0.5m～2m。

在本发明实施例中，所述作出提示动作，具体可以包括：控制音频模块播放提示语音，以对驾驶者作出提示。

第二实施例

本发明第二实施例提供了一种行车提醒装置200，请参见图5，该行车提醒装置200包括像获取单元210、帧数获取单元220、比值获取单元230、比值判断单元240以及提示执行单元250。其中，所述图像获取单元210用于获取图像采集模块在预设时间内按照预设时间间隔采集的第一帧数的驾驶者的人脸图像；所述帧数获取单元220用于获取所述第一帧数的驾驶者的人脸图像中左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数；所述比值获取单元230用于计算所述第二帧数与所述第一帧数的第一比值，作为眼睛闭合时间比率；所述比值判断单元240用于判断所述眼睛闭合时间比率是否大于预设时间比率；所述提示执行单元250用于若是，则判定所述驾驶者为疲劳驾驶，作出提示动作。

在本发明实施例中，帧数获取单元220包括状态获取子单元以及帧数获取子单元。其中，状态获取子单元用于获取所述第一帧数的驾驶者的人脸图像中每帧所述人脸图像中的左眼的状态以及右眼的状态；帧数获取子单元用于基于所述每帧人脸图像中的左眼的状态以及右眼的状态，获得左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数。

进一步的，状态获取子单元包括区域提取子单元、参数提示子单元以及状态确定子单元。其中，区域提取子单元用于提取所述人脸图像中的左眼所在区域以及右眼所在区域；参数提示子单元用于提取所述左眼所在区域以及右眼所在区域对应的垂直积分投影曲线的特征参数；状态确定子单元用于根据所述特征参数确定所述左眼对应的状态以及所述右眼对应的状态。

具体的，所述提取所述人脸图像中的左眼所在区域以及右眼所在区域，包括：对所述人脸图像进行二值分割，获得所述人脸图像中人脸所在区域；确定所述人脸所在区域中上半部分区域作为人眼所在第一位置区域；获取所述第一位置区域中的第一连通区域以及第二连通区域，分别作为左眼所在区域以及右眼所在区域。

具体的，所述提取所述左眼所在区域以及右眼所在区域对应的垂直积分投影曲线的特征参数，包括：基于第一预设函数获取所述左眼所在区域以及所述右眼所在区域分别对应的垂直积分投影曲线；获取所述垂直积分投影曲线的扁平度以及曲线投影面积与外接矩阵的面积的第二比值，作为所述垂直积分投影曲线的特征参数。

具体的，所述根据所述特征参数确定所述左眼对应的状态以及所述右眼对应的状态，包括：执行判断所述第二比值是否大于第一预设值；若是，则判定所述特征参数对应的垂直积分投影曲线对应的眼睛为闭合状态；若否，则执行判断所述扁平度是否小于第二预设值；若是，则判定所述特征参数对应的垂直积分投影曲线对应的眼睛为张开状态；若否，则判定所述特征参数对应的垂直积分投影曲线对应的眼睛为半开半闭状态。

在本发明实施例中，行车提醒装置200还可以包括距离获取单元、距离判断单元以及动作判断单元。距离获取单元用于获取距离测量模块获取的车辆与所述车辆的周边的物体之间的第一距离；距离判断单元用于判断所述第一距离是否大于预设距离；动作判断单元用于若是，则判定所述驾驶者为危险驾驶，作出提示动作。

在本发明实施例中，提示执行单元250作出提示动作，具体包括：控制音频模块播放提示语音，以对驾驶者作出提示。

第三实施例

本发明第三实施例提供了一种行车提醒设备100，请参见图1，该行车提醒设备100包括存储器102、处理器106以及图像采集模块117，所述存储器102以及所述图像采集模块117连接到所述处理器106，所述图像采集模块117用于在预设时间内按照预设时间间隔采集第一帧数的驾驶者的人脸图像，所述存储器102存储指令，当所述指令由所述处理器106执行时使所述处理器106执行本发明第一实施例提供的行车提醒方法。

在本发明实施例中，请参见图1，该行车提醒设备100还包括距离测量模块118。距离测量模块118与处理器106连接。距离测量模块118用于检测车辆与所述车辆的周边的物体之间的第一距离。

在本发明实施例中，请参见图1，该行车提醒设备100还包括音频模块112。音频模块112与处理器106连接。用于播放提示语音，以对驾驶者作出提示。

综上所述，本发明实施例提供的行车提醒方法、装置及设备，通过获取图像采集模块在预设时间内按照预设时间间隔采集的第一帧数的驾驶者的人脸图像，然后获取第一帧数的驾驶者的人脸图像中左眼的状态以及右眼的状态均为闭合状态的人脸图像对应的第二帧数，再计算第二帧数与第一帧数的第一比值，作为眼睛闭合时间比率，接着判断眼睛闭合时间比率是否大于预设时间比率，若是，则判定该驾驶者为疲劳驾驶，作出提示动作。从而，可以实现对驾驶者的疲劳驾驶行为进行监测，并对疲劳驾驶行为进行提示，解决现有技术中的行车提醒技术无法对驾驶者的疲劳程度进行监测，无法降低驾驶者疲劳程度引起的交通事故的发生率的问题。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。