基于改进的Yolov3驾驶员关键子区域识别和定位方法与流程

本发明涉及图像识别技术领域，特别是涉及一种基于改进的yolov3驾驶员关键子区域识别和定位方法。

背景技术：

随着社会经济的快速发展，城市之间基本实现了高速公路的互联互通，城市内部也出现很多快速公路，如封闭型道路、高架路等，机动车在这些快速路上行驶，不仅要限其最高速度，而且要限制其最低速度，即机动车必须保持一定的速度行驶，由于机动车在快速路上行驶时速度很快，稍有差错就容易发生重大交通事故，导致车毁人亡，超速行驶、疲劳驾驶之发道路交通事故的一个主要因素，特别是在校车、班车、长途客车、长途货车等的驾驶过程中，因驾驶员疲劳造成的交通事故屡屡发生，给广大人民的生命财产安全造成了极为严重的损失。因此，亟需一种能够对驾驶员异常驾驶行为识别的方法。不同于其他的图像分类任务，驾驶员行为识别中不同类别的行为往往取决于一个很小的动作，这样很小的类间差异极大增加了识别难度，同时，驾驶员身体的不同区域状态对分类的影响差异极大，譬如，驾驶员手上拿着手机，虽然身体是端正的，其结果还是异常的驾驶状态，因此，不同区域动作判定驾驶员是否异常驾驶的标准不同，难以对驾驶员的异常驾驶行为进行快速准确的识别。事先将对异常驾驶识别影响比重较大的区域进行识别和定位，能够有效提高异常驾驶行为的识别精度，但现有技术中识别步骤较为复杂，处理单张图片的耗时较高，无法做到对数据的实时处理。

因此，如何快速准确地对驾驶员进行关键子区域的识别和定位是目前亟待解决的技术问题。

技术实现要素：

本发明的目的是提供一种基于改进的yolov3驾驶员关键子区域识别和定位方法，以解决现有技术中存在的技术问题，能够有效提高对驾驶员关键子区域识别和定位的实时性和准确性。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于改进的yolov3驾驶员关键子区域识别和定位方法，包括如下步骤：

获取不同场景下的驾驶员图像，并将驾驶员从背景中进行分割；

将分割出来的驾驶员图像输入卷积神经网络，通过弱监督的卷积神经网络弱学习建立驾驶员的热成像图,通过热成像图获取驾驶员的关键子区域；

基于改进的yolov3算法构建驾驶员关键子区域定位模型，并通过驾驶员关键子区域对驾驶员关键子区域定位模型进行训练；

实时采集驾驶员图像，将分割后的驾驶员图像输入卷积神经网络，获取驾驶员的关键子区域，将驾驶员的关键子区域输入训练好的驾驶员关键子区域定位模型，得到驾驶员的关键子区域图像。

优选地，通过弱监督的卷积神经网络弱学习建立驾驶员的热成像图的过程中，通过平均值池化层进行识别驾驶员图像各区域的激活情况，确定激活区域位置，得到驾驶员的热成像图。

优选地，改进的yolov3算法包括如下改进：

1)对yolov3损失函数的修改：yolov3损失函数由类别损失函数和位置损失函数相加组成，通过增大类别损失函数的比重，完成yolov3损失函数的修改；

2)对yolov3输出层参数的调整：根据驾驶员的关键子区域的数量将yolov3的出层参数调整成特定的维度。

优选地，所述驾驶员关键子区域定位模型包括改进的darknet-53、若干组残差网络、卷积层网络，所述darknet-53、残差网络、卷积层网络顺次连接。

优选地，驾驶员关键子区域定位模型的训练包括如下步骤：

1)采用基于弱监督的图像区域自动标注算法对所获取的驾驶员关键子区域进行标注，得到训练样本集；

2)将训练样本集输入改进的darknet-53，提取驾驶员的多尺度图像特征；

3)将驾驶员的多尺度图像特征分别输入若干组残差网络，得到驾驶员的多组特征图，并对多组特征图进行多尺度特征融合；

4)将多组特征图进行多尺度特征融合结果输入卷积层网络，完成驾驶员关键子区域的识别定位，得到驾驶员关键子区域图像；

5)通过对驾驶员关键子区域定位模型的输出结果进行后验分析，完成驾驶员关键子区域定位模型的剪枝；

6)重复步骤2)-步骤5)，完成驾驶员关键子区域定位模型的训练。

优选地，通过pytorch训练深度学习模型对驾驶员关键子区域定位模型的输出结果进行后验分析。

本发明公开了以下技术效果：

(1)本发明通过对yolov3网络模型的损失函数进行比重修改，提高类别损失函数的比重，能够使驾驶员关键子区域定位模型对类别上的偏差更加敏感，有效提高了驾驶员关键子区域的识别精度；

(2)本发明根据驾驶员关键子区域的数量将yolov3网络模型的输出层参数调整成特定的维度，有效提高了驾驶员关键子区域的识别效率，保证了模型的实时性；

(3)本发明通过对驾驶员关键子区域定位模型的输出结果进行后验分析，对模型的参数数量进行删减，完成驾驶员关键子区域定位模型的剪枝，并对剪枝后的模型进行重复训练，从而在保证识别精度的前提下，有效提高了驾驶员关键子区域的识别效率，保证了模型的实时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于改进的yolov3驾驶员关键子区域识别和定位方法流程图；

图2为本发明驾驶员关键子区域定位模型训练流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1-2所示，本实施例提供一种基于改进的yolov3驾驶员关键子区域识别和定位方法，具体包括如下步骤：

s1、获取不同场景下的驾驶员图像，并将驾驶员从背景中分割出来；其中不同场景包括不同光线、不同时间段、不同设备、不同驾驶员、不同动作等。

s2、将分割出来的驾驶员图像输入卷积神经网络，通过弱监督的卷积神经网络弱学习建立驾驶员的热成像图,通过热成像图获取驾驶员的关键子区域。

关键动作是指驾驶员的某些驾驶动作直接决定了当前的驾驶行为，比如单手握方向盘的动作、打电话的动作、转头的动作等，这些标志性的动作是判断驾驶员是否属于异常驾驶的重要标准，找出这些动作所在的区域，即关键子区域，是驾驶异常行为识别的基础。

在卷积神经网络中，由于所有的神经元共同组成了一个二维的特征图，不同的神经元代表着图像中的相对位置，根据神经元所在区域的激活状态，进行活跃区域的识别定位，所述活跃区域即关键子区域。

弱监督定位问题利用卷积神经网络中的最后一个特征图发现图像中的活跃区域；获得卷积神经网络最后的特征图后，连接平均值池化层，通过平均值池化层发现一个区域的激活情况，能够更好的表示活跃区域的位置信息。经过平均值池化层，每一个特征图大小变为1×1，每一个1×1的神经元代表着所对应的特征图权重，对特征图结果加权，得到驾驶员的热成像图，将热成像图叠加在卷积神经网络所输入的原图上，根据图中颜色的鲜艳度得到活跃区域，即驾驶员的关键子区域。

s3、基于改进的yolov3算法构建驾驶员关键子区域定位模型，并通过步骤s2中所获取的驾驶员关键子区域对驾驶员关键子区域定位模型进行训练。

yolov3在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。yolov3采用darknet-53的网络结构(含有53个卷积层)，利用多尺度特征进行目标的检测。

驾驶员关键子区域定位模型包括改进的darknet-53、若干组残差网络、卷积层网络，所述darknet-53、残差网络、卷积层网络顺次连接。

改进的darknet-53的获取过程包括：

1)修改darknet-53的损失函数；

darknet-53的损失函数由类别损失函数和位置损失函数相加组成，对类别损失函数所占比重进行调整，增大类别损失函数的比重，从而能够让算法对类别上的偏差更加敏感，有效提高驾驶员关键子区域的识别精度。

2)调整darknet-53的输出层参数；

基于步骤s2中所获取的驾驶员关键子区域的数量将darknet-53的输出层参数调整成特定的维度，例如，原darknet-53的输出层维度为80，而步骤s2中所获取的驾驶员关键子区域为4个位置，则将darknet-53输出层的维度调整成4，从而能够有效提高识别效率。

驾驶员关键子区域定位模型的训练包括如下步骤：

1)采用基于弱监督的图像区域自动标注算法对步骤s2中所获取的驾驶员关键子区域进行标注，得到驾驶员关键子区域定位模型的训练样本集。通过标注后的图像对算法进行训练，能够使算法能够针对特定的应用或场景，快速准确地进行目标识别，从而有效提高了算法的识别精度及识别效率。

2)将训练样本集输入改进的darknet-53，提取驾驶员的多尺度图像特征；

3)将驾驶员的多尺度图像特征分别输入若干组残差网络，得到驾驶员的多组特征图，并对多组特征图进行多尺度特征融合；

4)将多组特征图进行多尺度特征融合结果输入卷积层网络，完成驾驶员关键子区域的识别定位，得到驾驶员关键子区域图像，例如头部、手部等区域的图像；

5)通过对驾驶员关键子区域定位模型的输出结果进行后验分析，完成驾驶员关键子区域定位模型的剪枝；

本实施例通过pytorch训练深度学习模型，对识别精度达到预设阈值的驾驶员关键子区域定位模型进行后验分析，得出所述驾驶员关键子区域定位模型的不同部分对识别结果所占比重，基于比重计算结果对部分网络层进行删除，完成驾驶员关键子区域定位模型的压缩与剪枝，从而有效实现驾驶员关键子区域定位模型的实时性。

6)重复步骤2)-步骤5)，完成驾驶员关键子区域定位模型的训练。

s4、实时采集驾驶员图像，将分割后的驾驶员图像输入卷积神经网络，获取驾驶员的关键子区域，将驾驶员的关键子区域输入训练好的驾驶员关键子区域定位模型，得到驾驶员的关键子区域图像。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。