一种基于驾驶员监控系统的安全带检测方法以及相应的设备与流程

本发明涉及智能交通领域，尤其是智能驾驶领域。具体地，本发明涉及一种基于驾驶员监控系统的安全带检测方法以及相应的设备。对本领域技术人员而言，显而易见的是，本发明亦可应用于其它领域。

背景技术：

随着驾驶员监控系统(drivermonitoringsystem，简称dms)的发展与推广，是否佩带全安带，成为驾驶员驾驶行为安全监控的一项重要指标。如果正确佩带了安全带，驾驶员在正面撞车事故中伤亡率可以减少75％，在翻车伤事故中伤亡率可以减少80％。因此，督促驾驶员在开车过程中佩戴安全带，对保障驾驶员生命安全具有重要意义。

目前，主流的驾驶员安全带检测方法主要依托交通卡口的电子警察系统，利用高清摄像头采集通过交通卡口的车辆驾驶状态的图像，通过图像处理技术来分析驾驶员是否佩带安全带。例如，申请公布号为cn106650567a的中国专利申请提供的方法是，首先获取道路上车辆行驶情况的图像，然后通过图像分割和图像检测确定安全带检测区域并且在安全带检测区域中提取直线段，最后基于所述直线段来确定驾驶员是否包含安全带。但是，这种方法的准确率较低，实时性较差，容易受到外界光线、拍摄角度、车辆行驶速度和天气情况等外界因素和条件的影响，无法对驾驶员是否佩戴安全带实施准确高并且实时性强的检测和监控。

技术实现要素：

针对现有技术中的上述缺陷，本发明提供一种基于驾驶员监控系统(dms)的安全带检测方法以及相应的设备，所述方法和设备能够解决现有技术中安全带检测的准确率和实时性容易受到外界因素和条件影响的问题。

根据本发明的第一个方面，本发明提供一种基于dms的安全带检测方法，所述基于dms的安全带检测方法包括以下步骤：(1)获取驾驶员的dms注册图像并且对所述dms注册图像中驾驶员佩戴的安全带进行分段标注；(2)将所述驾驶员的身份信息与所述安全带进行绑定；(3)获取目标dms图像并且基于所述目标dms图像中的安全带第一部分图像确定安全带的第一部分与垂直方向的夹角值，其中，所述第一部分为所述安全带的最上端至所述安全带与驾驶员肩膀交界处；(4)将所述安全带的第一部分与垂直方向的夹角值与预设夹角阈值进行比较，以便判断所述夹角值是否小于所述预设夹角阈值；以及(5)在所述夹角值小于所述预设夹角阈值的情况下，判定所述驾驶员未正常佩戴安全带。

根据本发明的第二个方面，本发明提供一种基于dms的安全带检测设备，所述基于dms的安全带检测设备能够实现上述安全带检测方法。

与现有技术相比，根据本发明的基于dms的安全带检测方法以及相应的系统或者设备至少具有以下优点：

(1)根据本发明的方法或者设备基于dms，对驾驶员佩戴安全带的状态进行了分段标注，采用了dms设备的红外图像，从而克服了外界因素和条件(例如光线)，对安全带检测的干扰，提高了安全带检测的准确率。

(2)根据本发明的方法或者设备采用由易到难的顺序，分步骤检测驾驶员是否佩戴了安全带，提高了安全带检测的实时性和准确率。

(3)根据本发明的方法或者设备充分利用了dms收集的驾驶员安全带历史视频数据，在时域维度上对驾驶员是否佩戴安全带的情况进行了检测，进一步提高了安全带检测的准确率。

附图说明

下面参考附图通过举例的方式(但并不限于此)阐述本发明，其中：

图1示例性示出一种根据本发明的基于dms的安全带检测方法的流程图。

图2示例性示出另一种根据本发明的基于dms的安全带检测方法的流程图。

图3示例性示出对dms注册图像中驾驶员佩戴的安全带进行分段标注的示意图。

图4示例性示出一种根据本发明的基于dms的安全带检测设备的示意性结构框图。

图5示例性示出一种根据本发明的计算机设备的示意性结构框图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解的是，给出的这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明公开得更加透彻和完整，并且能够将本发明公开的范围完整地传达给本领域的技术人员。

本领域的技术人员显然知道，本发明的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

虽然本发明提供了下述实施例或者附图所示的方法步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的方法步骤或者模块单元。在逻辑性上不存在必要因果关系的方法步骤或装置结构中，这些方法步骤的执行顺序或装置的模块结构不限于本发明实施例描述及附图所示的执行顺序或模块结构。

图1示例性示出一种根据本发明的基于dms的安全带检测方法的流程图。具体地，如图1所示，所述根据本发明的基于dms的安全带检测方法100可以包括以下步骤：(1)获取目标dms图像，如步骤101所示；(2)识别所述目标dms图像中的安全带的第一部分，其中，所述第一部分为所述安全带的最上端至所述安全带与驾驶员肩膀交界处，如步骤102所示；(3)从所述目标dms图像中提取与所述第一部分对应的安全带第一部分图像，并且基于所述安全带第一部分图像确定所述安全带的第一部分与垂直方向的夹角值，如步骤103所示；(4)判断所述夹角值是否小于预设夹角阈值，如步骤104所示；以及(5)在所述夹角值小于所述预设夹角阈值的情况下，判定所述驾驶员未正常佩戴安全带，如步骤105所示。

具体地，本领域技术人员可以从dms设备获取目标dms图像，然后识别所述目标dms图像中的安全带的第一部分，其中，所述第一部分为安全带的最上端至安全带与驾驶员肩膀交界处。在根据本发明的一种实施例中，所述目标dms图像是红外图像。在此，dms设备采集的红外图像能够大大降低外界光线和噪声对安全带检测的干扰，有效提高安全带检测的准确率。同时，红外图像本身是单通道的，不需进行预处理，从而有利于提高后续进行图像处理的效率和实时性。在识别所述第一部分之后，可以从所述目标dms图像中提取与所述第一部分对应的安全带第一部分图像。例如，在根据本发明的一种实施例中，可以将目标dms图像中从安全带的最上端至安全带与驾驶员肩膀交界处的安全带图像标注为安全带第一部分图像，其中，所述安全带的最上端可以是安全带与驾驶舱靠背或座椅的连接点，也可以是所述安全带在目标dms图像中可见的最上端。基于所述安全带第一部分图像确定所述安全带的第一部分与垂直方向的夹角值，进而判断所述夹角值是否小于预设夹角阈值，在确定所述夹角值小于所述预设夹角阈值的情况下，判定驾驶员未正常佩戴安全带。

在上述具体实施方案中，识别dms图像中的安全带的第一部分并且根据所述安全带的第一部分与垂直方向的夹角值是否小于预设夹角阈值来确定驾驶员是否未正常佩戴安全带，能够简单快速并且方便可靠地判断驾驶员是否未正常佩戴安全带。由于dms设备安装在车辆内部，所以基于dms图像进行安全带检测能够有效降低外界光线、天气情况等因素的干扰，有效提高安全带检测的准确率。

进一步地，在根据本发明的一种实施例中，所述步骤(3)中基于所述安全带第一部分图像确定所述安全带的第一部分与垂直方向的夹角值可以包括以下次级子步骤：(3-1)使用canny边缘检测算法提取所述安全带第一部分图像的边缘；(3-2)使用hough变换识别所述安全带第一部分图像中的直线，从而得到所述安全带第一部分图像中的多个直线段；(3-3)确定所述多个直线段中各个直线段的长度值；(3-4)选取所述多个直线段中长度值大于预设长度阈值的多个目标直线段，并且确定所述多个目标直线段中各个目标直线段与垂直方向的夹角值，从而得到所述各个目标直线段的夹角值；以及(3-5)根据所述各个目标直线段的夹角值和所述各个目标直线段的长度值确定所述安全带的第一部分与垂直方向的夹角值。通过上述具体实施方式，能够更加准确地确定所述安全带的第一部分与垂直方向的夹角。

canny边缘检测算法是本领域技术人员广泛使用的边缘检测的一种标准算法，它是johncanny在1986年提出的。图像的边缘是指图像局部区域亮度变化显著的部分，该局部区域的灰度剖面一般可以看作是一个阶跃，即从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。图像的边缘部分集中了图像的大部分信息，图像边缘的确定和提取对于整个图像场景的识别和理解是非常重要的，同时也是图像分割所依赖的重要特征，边缘检测主要是图像的灰度变化的度量、检测和定位。canny检测算法通常处理的图像为灰度图，因此如果摄像机获取的是彩色图像，那首先就得进行灰度化。对一幅彩色图进行灰度化，就是根据图像各个通道的采样值进行加权平均。在根据本发明的上述具体实施例中，利用hough变换来进行直线拟合。hough变换是一种在图像中寻找直线、圆以及其它简单形状的方法。在本领域技术人员对图像进行边缘检测之后，可以使用hough变换识别图像中的简单形状，例如直线段。hough变换的基本原理在于，利用点与线的对偶性，将图像空间的线条变为参数空间的聚集点，从而检测给定图像是否存在给定性质的曲线。在根据本发明的上述具体实施例中，在进行hough变换之前，先使用canny检测边缘，然后再对边缘图像进行hough变换操作。

进一步地，在根据本发明的一种实施例中，所述次级子步骤(3-5)根据所述各个目标直线段的夹角值和所述各个目标直线段的长度值确定所述安全带的第一部分与垂直方向的夹角值包括：将所述各个目标直线段的长度值与所述多个目标直线段的总长度值的比值确定为所述各个目标直线段的权重系数；将所述各个目标直线段的夹角值与相应的权重系数相乘并求和，以得到所述安全带的第一部分与垂直方向的夹角值。在此，易于理解的是，线段的长度值越大，在hough变换时被识别为直线的可能性就越大，相应地，它所占的权重系数也就越大，即权重越高。

进一步地，在根据本发明的一种实施例中，在所述夹角值不小于所述预设夹角阈值的情况下，所述安全带检测方法包括以下第一级子步骤：(1)识别所述驾驶员的脸部特征并且获取与所述脸部特征关联的预设标识信息，其中，所述预设标识信息设置在所述安全带的第二部分上，所述第二部分为所述安全带与驾驶员肩膀交界处至所述安全带的最下端；(2)识别所述目标dms图像中所述安全带的第二部分；(3)从所述目标dms图像中提取与所述第二部分对应的安全带第二部分图像，并且基于所述安全带第二部分图像检测所述安全带第二部分图像中出现所述预设标识信息的最大置信度；(4)判断所述最大置信度是否大于预设置信度阈值；以及(5)在所述最大置信度大于所述预设置信度阈值的情况下，判定所述驾驶员正常佩戴了安全带。

在根据本发明的一种实施例中，可以先将驾驶员身份信息与预设标识信息进行绑定或者关联，即，使得驾驶员与所述预设标识信息之间具有对应关系或者关联关系。在确定所述夹角值不小于所述预设夹角阈值的情况下，可能需要执行后续步骤来进一步确定驾驶员是否正常佩戴安全带。所述驾驶员身份信息可以是在驾驶舱内安装dms设备或者注册驾驶员身份时采集和存储的驾驶员身份信息，例如所述驾驶员的脸部特征。所述预设标识信息设置在安全带的第二部分上，它可以是印制或者印刷在安全带的第二部分上的图案。在根据本发明的一种实施例中，所述预设标识信息可以是使用红外敏感涂料或者油漆涂覆或者印制的条形码或二维码。在获取与驾驶员对应或关联的预设标识信息之后，从目标dms图像中提取与安全带的第二部分对应的安全带第二部分图像。基于所述安全带第二部分图像可以检测出所述安全带第二部分图像中出现所述预设标识信息的最大置信度，从而可以进一步判断所述最大置信度是否大于预设置信度阈值。在确定所述最大置信度大于所述预设置信度阈值的情况下，即表明所述第二部分图像中存在所述安全带的第二部分，据此可以判定所述驾驶员正常佩戴了安全带。通过上述具体实施方式，采用了由易到难的顺序，分步骤检测驾驶员是否佩戴了安全带，提高了安全带检测方法或相应设备的实时性和准确率，能够更加准确和快速地判断驾驶员是否正常佩戴了安全带。

对本领域技术人员来说，易于理解的是，置信度表示某个事件有多大程度上值得可信。在检测或者判断所述安全带第二部分图像中是否出现所述预设标识信息时，需要利用置信度来给出检测结果或者判断结果的可信程度。所述置信度显示了所述检测结果或者判断结果的准确性。例如，一种分类器可以给出预测类别的概率，而分类器本身的结果是否可靠可以根据置信度来评判。

在根据本发明的一种优选实施例中，所述预设置信度阈值可以设置为85％。对本领域技术人员来说，易于理解的是，所述预设置信度阈值可以根据实际需要进行设置，例如也可以设置为80％、90％、95％等。

进一步地，在根据本发明的一种实施例中，所述第一级子步骤(3)中基于所述安全带第二部分图像检测所述安全带第二部分图像中出现所述预设标识信息的最大置信度可以包括：利用滑动窗口检测来获取所述安全带第二部分图像中出现所述预设标识信息的多个置信度；将所述多个置信度中数值最大的置信度确定为所述最大置信度。在此，实现所述滑动窗口检测的具体方式有很多种，其中最简单的一种方式是模板匹配检测。所述模板匹配检测能够根据模板图像在所述目标dms图像中寻找与所述模板图像相似的图像。具体地，在根据本发明的一种具体实施例中，可以例如通过人脸识别从特征图像数据库中调取模板图像(所述模板图像例如可以是从驾驶员正常佩戴安全带的注册图像中截取的安全带第二部分图像)，然后在所述目标dms图像中所述安全带第二部分图像的区域内，利用所述模板图像以滑动窗口的方式遍历检测所述安全带第二部分图像，以获取所述安全带第二部分图像中出现所述预设标识信息的多个匹配置信度。此外，利用svm分类器等也可以实现所述滑动窗口检测。在所述滑动窗口检测的过程中会输出多个置信度，数值最大的置信度即为所述最大置信度。

进一步地，在根据本发明的一种实施例中，在所述最大置信度不大于所述预设置信度阈值的情况下，所述安全带检测方法还包括以下第二级子步骤：(1)获取已经训练好的分类器；(2)将所述安全带第二部分图像输入所述已经训练好的分类器中进行识别，以输出分类结果；(3)根据所述分类结果，判定所述驾驶员是否正常佩戴安全带。例如，在根据本发明的一种优选实施例中，当分类结果为1时，可以判定所述驾驶员正常佩戴了安全带，而当分类结果为0时，则可以判定所述驾驶员未正常佩戴安全带。通过上述具体实施方式，采用了由易到难的顺序，分步骤检测驾驶员是否佩戴了安全带，提高了安全带检测方法或相应设备的实时性和准确率，能够更加准确和快速地判断驾驶员是否正常佩戴了安全带。

进一步地，在根据本发明的一种优选实施例中，所述第二级子步骤(1)获取已经训练好的分类器包括：获取当前驾驶员的历史视频数据；从所述历史视频数据中收集多个正样本和多个负样本，其中，在所述正样本中驾驶员正常佩戴了安全带，在所述负样本中驾驶员未正常佩戴安全带；利用所述多个正样本和所述多个负样本训练一个基于深度卷积神经网络(cnn)的分类器。通过上述具体实施方式，充分利用了dms收集的驾驶员佩戴或者未佩戴安全带的历史视频数据来训练分类器，能够在时域维度上对驾驶员是否佩戴安全带进行检测，从而进一步提高了安全带检测方法或相应设备的准确率。

例如，具体地，在根据本发明的一种实施例中，利用dms收集当前驾驶员的历史视频数据，所述历史视频数据可以包含由上面所描述的步骤(即从步骤(1)至第一级子步骤(5))尚无法判定驾驶员是否佩戴安全带的dms图像，并且所述历史视频数据包含安全带第二部分的视频。针对所述历史视频数据，以每5秒为单位，每秒采样3帧静态图像，共得到15帧静态图像，然后将所述静态图像归一化为大小为56*14像素的图像，从而得到数量为15帧大小为56*14像素的静态图像组成的图像序列，接下来把这15帧静态图像组成的图像序列按时间顺序水平拼接成大小为56*(14*15)像素的图像，以此作为一个图像样本。通过这样的方式，从所述历史视频数据中收集多个正样本和多个负样本，例如正负样本各至少5000个，其中，正负样本的含义为：在所述正样本中驾驶员正常佩戴了安全带，在所述负样本中驾驶员未正常佩戴安全带。利用所述多个正样本和所述多个负样本训练一个基于深度卷积神经网络(cnn)的分类器，所述分类器只输出两类结果。在训练成功之后，所述基于深度cnn的分类器就能够用于检测目标dms图像中的驾驶员是否佩带了安全带，当所述分类器输出结果为1(即output＝1时)，判定结果为驾驶员佩戴了安全带，当所述分类器输出结果为其他数字例如0时，判定结果为驾驶员未佩戴安全带。

下面再结合一个具体实施例对根据本发明的安全带检测方法和相应设备进行详细说明，然而，值得注意的是，该具体实施例仅仅是为了更好地说明本发明，并不构成对本发明的不当限定。

图2示例性示出另一种根据本发明的基于dms的安全带检测方法的流程图。另外，图3示例性示出对dms注册图像中驾驶员佩戴的安全带进行分段标注的示意图。

如图2所示，根据本发明的基于dms的安全带检测方法200可以包括以下步骤：

(1)获取驾驶员的dms注册图像并且对所述dms注册图像中驾驶员佩戴的安全带进行分段标注，如图2中步骤201所示。

在根据本发明的一种实施例中，所述dms注册图像可以是在车辆的驾驶舱内安装dms设备时或者注册驾驶员人脸特征时采集的驾驶员正确佩戴安全带的图像。基于所述dms注册图像，可以对驾驶员佩戴的安全带进行分段标注。在根据本发明的一种具体实施例中，可以根据所述dms注册图像中所述安全带的实际位置来确定所述安全带的最上端、所述安全带与肩膀的交界处以及所述安全带的最下端，例如锁扣处。在某些特定情况下，如果所述锁扣处不在所述dms注册图像中，可以标注出所述安全带的可见的最下端即可。在根据本发明的一种具体实施例中，当在车辆的驾驶舱内安装dms设备时或者注册驾驶员脸部特征时，可以对所述dms设备的安装角度进行调整并且同时采集注册的驾驶员正确佩戴安全带的图像，该图像即为dms注册图像。基于所述dms注册图像，可以对所述dms注册图像中驾驶员佩戴的安全带进行分段标注。如图3所示，将安全带的最上端(例如安全带与驾驶舱靠背或座椅的连接点)至安全带与驾驶员肩膀的交界处标注为安全带的第一部分，将安全带与驾驶员肩膀的交界处至安全带锁扣处或者安全带的可见的最下端标注为安全带第二部分。在根据本发明的一种具体实施例中，在安全带的第二部分(这里是指安全带实物的第二部分)上设置有预设标识信息，所述预设标识信息可以例如是使用红外敏感涂料或者油漆涂覆或者印制的条形码或者红外可见的其他标识性图案。所述标识性图案也可以是条纹码或者二维码。

(2)将所述驾驶员的身份信息与所述安全带进行绑定，如图2中步骤202所示。

所述步骤202的目的在于，建立所述安全带上的预设标识信息与所述驾驶员脸部特征的对应关系或关联关系，并且同时将所述对应关系或关联关系存储起来。在根据本发明的一种具体实施例中，可以将所述安全带第二部分上设置的红外敏感条形码或者其他标识性图案特征码或者特征矢量与当前注册的驾驶员脸部特征信息进行绑定，以使得它们两者之间关联起来。

(3)基于目标dms图像中的安全带第一部分图像确定安全带的第一部分与垂直方向的夹角值，如图2中步骤203所示。

具体地，在步骤203中，先从dms设备获取目标dms图像，然后从所述目标dms图像中提取与安全带的第一部分对应的安全带第一部分图像。在根据本发明的一种具体实施例中，使用canny边缘检测算法提取所述安全带第一部分图像的边缘，再使用直接hough变换来识别所述安全带第一部分图像中的直线，从而得到所述安全带第一部分图像中的多个直线段，接下来，选取所述多个直线段中长度值大于预设长度阈值(line_threshold)的多个目标直线段，并且计算所述多个目标直线段与垂直方向的夹角值arctan(△x/△y)，其中，△x为相应目标直线段在x轴方向上的长度值，△y为相应目标直线段在y轴方向(即垂直方向)上的长度值。在一种具体实施例中，所述预设长度阈值设置为line_threshold＝max(10,0.3*part1_height)，其中，数字10表示10个像素，数字0.3为乘法系数，part1_height表示所述安全带第一部分图像中所述安全带第一部分的长度(例如安全带第一部分的斜边长度)，该长度以像素为单位。所述安全带的第一部分与垂直方向的夹角值为所述多个目标直线段与垂直方向的夹角值的加权平均值，其中，所述各个目标直线段的权重系数为所述各个目标直线段的长度值与所有的所述多个目标直线段的总长度值(即长度累加和)的比值。

(4)将所述安全带的第一部分与垂直方向的夹角值与预设夹角阈值进行比较，以便判断所述夹角值是否小于所述预设夹角阈值。

具体地，在图2所示的具体实施例中，如图2中步骤204所示，在基于目标dms图像中的安全带第一部分图像确定安全带的第一部分与垂直方向的夹角值(belt_angle)之后，判断所述夹角值是否满足预设条件：belt_angle>＝belt_angle_reg*0.7，其中，belt_angle是基于所述目标dms图像的安全带第一部分与垂直方向的夹角值，belt_angle_reg*0.7是所述预设夹角阈值，其中，belt_angle_reg是使用所述dms注册图像替换上一个步骤(3)中的所述目标dms图像而计算得到的安全带第一部分与垂直方向的夹角值，即基于dms注册图像的安全带第一部分与垂直方向的夹角值。如果基于所述目标dms图像的安全带第一部分与垂直方向的夹角值满足上述预设条件belt_angle>＝belt_angle_reg*0.7时，则进入步骤205，如果否，则运行结束，输出驾驶员未佩戴安全带的判定结果，如图2中的步骤210所示。

(5)基于安全带第二部分图像检测所述安全带第二部分图像中出现所述预设标识信息的最大置信度，如图2中步骤205所示。在步骤205中，通过dms设备的人脸识别模块获取当前驾驶员的身份信息，例如识别当前驾驶员的人脸特征，并且根据当前驾驶员的人脸特征读取已与所述人脸特征绑定的、设置在安全带的第二部分(part2)上的红外敏感条形码或者其他标识性图案特征码或者特征矢量。在根据本发明的一种具体实施例中，利用滑动窗口检测来获取所述安全带第二部分图像中出现所述预设标识信息的多个置信度(confidence)，然后将所述多个置信度中数值最大的置信度确定为所述最大置信度(max_confidence)。所述滑动窗口检测的一种实现方式为模板匹配检测。

(6)将所述最大置信度与预设置信度阈值进行比较，以便判断所述最大置信度是否大于预设置信度阈值。具体地，在图2所示的具体实施例中，如图2中步骤206所示，在确定所述最大置信度之后，将所述最大置信度与预设置信度阈值进行比较，判断所述最大置信度是否满足预设条件：max_confidence<＝confidence_threshold，其中，max_confidence是所述最大置信度，confidence_threshold是预设置信度阈值。如果所述最大置信度满足上述预设条件，则进入步骤207，如果否，则运行结束，输出驾驶员正常佩戴了安全带的判定结果，如图2中的步骤209所示。所述预设置信度阈值可以根据实际需要进行设置，例如可以设置为80％至95％之间，例如可以设置为80％、85％、90％、95％。

(7)拼接多帧安全带第二部分图像以形成多个正负样本，基于多个正负样本获得训练好的的分类器，并且将目标dms图像中的安全带第二部分图像输入所述训练好的分类器中，如图2中步骤207所示。

具体地，在图2所示的具体实施例中，如图2中步骤207所示，利用dms收集当前驾驶员的历史视频数据，所述历史视频数据可以包含由上面所描述的步骤(即从步骤(1)至步骤(6))尚无法判定驾驶员是否佩戴安全带的dms图像，并且所述历史视频数据包含安全带第二部分的视频。针对所述历史视频数据，以每5秒为单位，每秒采样3帧静态图像，共得到15帧静态图像，然后将所述静态图像归一化为大小为56*14像素的图像，从而得到数量为15帧大小为56*14像素的静态图像组成的图像序列，接下来把这15帧静态图像组成的图像序列按时间顺序水平拼接成大小为56*(14*15)像素的图像，以此作为一个图像样本。通过这样的方式，从所述历史视频数据中收集多个正样本和多个负样本，例如正负样本各至少5000个，其中，正负样本的含义为：在所述正样本中驾驶员正常佩戴了安全带，在所述负样本中驾驶员未正常佩戴安全带。利用所述多个正样本和所述多个负样本训练一个基于深度卷积神经网络(cnn)的分类器，所述分类器只输出两类结果。在训练成功之后，所述基于深度cnn的分类器就能够用于检测目标dms图像中的驾驶员是否佩带了安全带，然后将待评判的目标dms图像中的安全带第二部分图像输入所述训练好的分类器中，如图2中步骤207所示。

(8)将所述训练好的分类器的输出结果与预设数字(例如1)进行比较，以判定所述驾驶员是否正常佩戴了安全带，如图2中步骤208所示。例如，如果所述分类器输出结果为1(即output＝1)，则判定驾驶员佩戴了安全带，如步骤209所示。如果所述分类器输出结果为其他数字例如0，则判定驾驶员未佩戴安全带，如步骤210所示。

在步骤209判定驾驶员佩戴了安全带和步骤210判定驾驶员未佩戴安全带之后，可以返回步骤203，继续获取目标dms图像并进行新一轮的安全带检测。

基于同一发明构思，本发明还提供了一种基于dms的安全带检测设备，详情请参见下面的实施例。由于根据本发明的所述基于dms的安全带检测设备所要解决的技术问题和相应的技术方案以及技术原理均与根据本发明的基于dms的安全带检测方法相似，因此所述基于dms的安全带检测设备的具体实施方式和相应的技术效果可以参考所述基于dms的安全带检测方法的实施方式和技术效果，重复之处在此不再赘述。下文中使用的术语“单元”或者“模块”可以是能够实现预定功能的软件和/或硬件的组合。

图4示例性示出一种根据本发明的基于dms的安全带检测设备的示意性结构框图。具体地，如图4所示，所述根据本发明的基于dms的安全带检测设备400包括：获取模块401，所述获取模块401被配置用于获取目标dms图像；识别模块402，所述识别模块402被配置用于识别所述目标dms图像中的安全带的第一部分，其中，所述第一部分为所述安全带的最上端至所述安全带与驾驶员肩膀交界处；第一确定模块403，所述第一确定模块403被配置用于从所述目标dms图像中提取与所述第一部分对应的安全带第一部分图像，并且基于所述安全带第一部分图像确定所述安全带的第一部分与垂直方向的夹角值；第二确定模块404，所述第二确定模块404被配置用于判断所述夹角值是否小于预设夹角阈值；以及第三确定模块405，所述第三确定模块405被配置用于在所述夹角值小于所述预设夹角阈值的情况下，判定所述驾驶员未正常佩戴安全带。

在此，对本领域技术人员来说，易于理解的是，上述根据本发明的基于dms的安全带检测设备不仅包含了所述安全带检测设备的各个组成部分的结构和功能特征，而且包含了所述目标dms图像在所述各个组成部分之间被传输和处理的图像数据传输和处理特征，所以对上述安全带检测设备的描述中暗含了所述安全带检测设备的各个组成部分之间的电连接关系。同时，从与所述安全带检测设备对应的安全带检测方法的描述(例如对图1和图2的描述)中，本领域技术人员容易获知所述安全带检测设备所处理的图像数据在所述各个组成部分之间被传输和处理的过程以及所产生的技术效果，由此，为了避免赘述和不必要地造成具体实施方式难于理解，申请人在后续对所述安全带检测设备的描述将会采取适当简化的方式。

在根据本发明的一种实施例中，所述第一确定模块403所完成的下述功能，即，基于所述安全带第一部分图像确定所述安全带的第一部分与垂直方向的夹角值，包括：使用canny边缘检测算法提取所述安全带第一部分图像的边缘；使用hough变换识别所述安全带第一部分图像中的直线，从而得到所述安全带第一部分图像中的多个直线段；确定所述多个直线段中各个直线段的长度值；选取所述多个直线段中长度值大于预设长度阈值的多个目标直线段，并且确定所述多个目标直线段中各个目标直线段与垂直方向的夹角值，从而得到所述各个目标直线段的夹角值；以及根据所述各个目标直线段的夹角值和所述各个目标直线段的长度值确定所述安全带的第一部分与垂直方向的夹角值。

进一步，在根据本发明的一种实施例中，所述根据所述各个目标直线段的夹角值和所述各个目标直线段的长度值确定所述安全带的第一部分与垂直方向的夹角值包括：将所述各个目标直线段的长度值与所述多个目标直线段的总长度值的比值确定为所述各个目标直线段的权重系数；将所述各个目标直线段的夹角值与相应的权重系数相乘并求和，以得到所述安全带的第一部分与垂直方向的夹角值。

进一步地，在根据本发明的一种实施例中，在所述夹角值不小于所述预设夹角阈值的情况下，所述安全带检测设备400还被配置用于：(1)识别所述驾驶员的脸部特征并且获取与所述脸部特征关联的预设标识信息，其中，所述预设标识信息设置在所述安全带的第二部分上，所述第二部分为所述安全带与驾驶员肩膀交界处至所述安全带的最下端；(2)识别所述目标dms图像中所述安全带的第二部分；(3)从所述目标dms图像中提取与所述第二部分对应的安全带第二部分图像，并且基于所述安全带第二部分图像检测所述安全带第二部分图像中出现所述预设标识信息的最大置信度；(4)判断所述最大置信度是否大于预设置信度阈值；以及(5)在所述最大置信度大于所述预设置信度阈值的情况下，判定所述驾驶员正常佩戴了安全带。

进一步地，在根据本发明的一种实施例中，在所述最大置信度不大于所述预设置信度阈值的情况下，所述安全带检测设备400还被配置用于：(1)获取已经训练好的分类器；(2)将所述安全带第二部分图像输入所述已经训练好的分类器中进行识别，以输出分类结果；(3)根据所述分类结果，判定所述驾驶员是否正常佩戴安全带。

进一步地，在根据本发明的一种实施例中，所述获取已经训练好的分类器包括：获取当前驾驶员的历史视频数据；从所述历史视频数据中收集多个正样本和多个负样本，其中，在所述正样本中驾驶员正常佩戴了安全带，在所述负样本中驾驶员未正常佩戴安全带；利用所述多个正样本和所述多个负样本训练一个基于深度卷积神经网络(cnn)的分类器。

在根据本发明的一种优选实施例中，所述基于所述安全带第二部分图像检测所述安全带第二部分图像中出现所述预设标识信息的最大置信度包括：利用滑动窗口检测来获取所述安全带第二部分图像中出现所述预设标识信息的多个置信度；将所述多个置信度中数值最大的置信度确定为所述最大置信度。

在根据本发明的另一种优选实施例中，所述基于所述安全带第二部分图像检测所述安全带第二部分图像中出现所述预设标识信息的最大置信度包括：利用模板匹配检测来获取所述安全带第二部分图像中出现所述预设标识信息的多个置信度；将所述多个置信度中数值最大的置信度确定为所述最大置信度。

进一步地，在根据本发明的一种优选实施例中，所述预设置信度阈值为80％、85％、90％或95％。

进一步地，在根据本发明的一种优选实施例中，所述目标dms图像为红外图像，所述预设标识信息为使用红外敏感涂料或者油漆涂覆或者印制的条形码或二维码。

从以上对所述安全带检测设备400的详细描述中，可以看出，根据本发明的上述实施例至少能够实现以下技术效果：识别dms图像中的安全带的第一部分并且根据所述安全带的第一部分与垂直方向的夹角值是否小于预设夹角阈值来确定驾驶员是否未正常佩戴安全带，能够方便可靠地判断驾驶员是否未正常佩戴安全带。由于dms设备安装在车辆内部，所以基于dms图像进行安全带检测能够有效降低外界光线、天气情况等因素的干扰，有效提高安全带检测的准确率。

此外，本发明还提供一种计算机设备，所述计算机设备包括处理器和用于存储可执行指令的存储器，所述处理器执行所述指令时能够实现根据本发明的基于dms的安全带检测方法。图5示例性示出一种根据本发明的计算机设备的示意性结构框图。如图5所示，根据本发明的计算机设备500能够实现根据本发明的基于dms的安全带检测方法100和200。具体地，所述计算机设备500可以包括输入设备501、处理器502和存储器503，其中，所述存储器503用于存储处理器可执行指令。所述处理器502执行所述指令时能够实现上述任意实施例中所述的安全带检测方法的各个步骤。

在本发明的具体实施方式中，所述计算机设备实现的具体功能和技术效果可以参照其它实施方式加以理解，在此不再赘述。

此外，本发明还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被执行时能够实现根据本发明的基于dms的安全带检测方法。

在本发明的具体实施方式中，所述计算机存储介质存储的程序指令实现的具体功能和技术效果可以参照其它实施方式加以理解，在此不再赘述。

以上所有的描述仅仅是本发明的优选实施例而已，并不能用于限制本发明。对于本领域技术人员来说，显而易见的是，本发明的实施例可以有各种更改和变化。凡在本发明的精神和原则之内的，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。