一种基于Mask-RCNN改进的驾驶员背景分割方法与流程

本发明涉及图像分割技术领域，特别是涉及一种基于mask-rcnn改进的驾驶员背景分割方法。

背景技术：

随着社会经济的快速发展，城市之间基本实现了高速公路的互联互通，城市内部也出现很多快速公路，如封闭型道路、高架路等，机动车在这些快速路上行驶，不仅要限其最高速度，而且要限制其最低速度，即机动车必须保持一定的速度行驶，由于机动车在快速路上行驶时速度很快，稍有差错就容易发生重大交通事故，导致车毁人亡，超速行驶、疲劳驾驶之发道路交通事故的一个主要因素，特别是在校车、班车、长途客车、长途货车等的驾驶过程中，因驾驶员疲劳造成的交通事故屡屡发生，给广大人民的生命财产安全造成了极为严重的损失。因此，亟需一种能够对驾驶员异常驾驶行为识别的方法，然而，由于驾驶室复杂多变的环境干扰，难以对驾驶员的异常驾驶行为进行准确识别，需要先将驾驶员从驾驶室的背景中分割出来，但现有技术无法快速准确地将驾驶员从复杂多变的驾驶室背景中分割出来。

因此如何快速准确地将驾驶员从复杂多变的驾驶室背景中分割出来是目前亟待解决的技术问题。

技术实现要素：

本发明的目的是提供一种基于mask-rcnn改进的驾驶员背景分割方法，以解决现有技术中存在的技术问题，能够快速准确地将驾驶员从复杂多变的驾驶室背景中分割出来。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于mask-rcnn改进的驾驶员背景分割方法，包括如下步骤：

获取包含驾驶员的驾驶室图像样本集，并对所获取的样本集进行图像预处理；

构建并训练mask-rcnn驾驶员背景分割模型，所述mask-rcnn驾驶员背景分割模型包括特征提取模块、目标区域粗提取模块、驾驶员背景分割模块；所述特征提取模块基于深度残差网络resnet进行构建；所述目标区域粗提取模块基于特征金字塔网络fpn、轻量级区域提取网络rpn_tiny、兴趣区域匹配网络roialign进行构建；所述驾驶员背景分割模块基于全连接层网络、卷积层网络、损失函数模块进行构建；

实时采集包含驾驶员的驾驶室图像，通过训练好的mask-rcnn驾驶员背景分割模型对所采集的图像进行分割，将驾驶员从驾驶室的背景中分割出来。

优选地，所述特征提取模块包括第一resnet、对第一resnet进行剪枝后所得到的第二resnet、损失函数。

优选地，特征提取模块的训练过程具体包括：

将样本集图像分别输入第一resnet、第二resnet，利用第一resnet的输出结果作为监督信号，将第一resnet、第二resnet所输出的特征图像输入损失函数，通过损失函数计算第一resnet和第二resnet的输出误差，基于损失函数的输出结果对第二resnet进行训练，通过训练好的第二resnet获取驾驶员的特征图像。

优选地，目标区域粗提取模块的训练过程具体包括：

将驾驶员的特征图像输入fpn，通过fpn将特征图像切分为不同尺度大小的图像；

将不同尺度大小的特征图像输入rpn_tiny，通过rpn_tiny计算驾驶员的目标预选区域，基于不同尺度大小的特征图像以及目标预选区域进行多尺度特征融合，得到特征张量；

将特征张量输入roialign，通过roialign对目标预选区域进行修正，得到调整后的目标区域特征图像。

优选地，驾驶员背景分割模块的训练过程具体包括：

将调整后的目标区域特征图像分别输入全连接层网络和卷积层网络，通过全连接层网络对目标区域特征图像中的驾驶员进行目标识别，通过卷积层网络分割驾驶员在目标区域特征图像中的区域；

将驾驶员目标识别结果、驾驶员区域分割结果、样本集图像均输入损失函数模块，进行误差的计算，误差计算结果小于预设阈值，则完成驾驶员背景分割模块的训练。

优选地，rpn_tiny通过减少rpn的锚点anchor获得。

优选地，所述损失函数模块包括类别损失函数、定位损失函数、平均二值交叉熵损失函数；所述定位损失函数的权重大于所述类别损失函数的权重。

本发明公开了以下技术效果：

(1)本发明通过基于深度残差网络的特征提取模块对图像进行特征提取，通过特征金字塔网络fpn、轻量级区域提取网络rpn_tiny进行目标预选区域提取，并通过兴趣区域匹配网络roialign对目标预选区域进行修正，基于全连接层网络、卷积层网络进行图像分割，从而能够准确地将驾驶员从复杂多变的驾驶室背景中分割出来。

(2)本发明通过对现有的mask-rcnn图像特征提取网络resnet101进行剪枝，有效提高了模型的运算速度；同时，本发明将剪枝前的特征提取网络作为教师模型，剪枝后的特征提取网络作为学生模型，利用剪枝前的特征提取网络的输出结果作为监督信号，对剪枝后的特征提取网络进行训练，使剪枝后的特征提取网络的精度不断逼近剪枝前的特征提取网络，因此，本发明在保证特征提取精度的前提下，能够有效提高计算速度。

(3)本发明提出轻量级区域提取网络rpn_tiny，通过对尺寸较小的锚点anchor进行剔除，能够有效减少运算步骤，从而极大提高了驾驶员背景分割的计算效率。

(4)本发明通过加大定位损失函数的权重，减小类别损失函数的权重，有效提高了驾驶员背景分割的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明mask-rcnn驾驶员背景分割模型整体结构示意图；

图2为本发明特征提取模块结构示意图；

图3为本发明目标区域粗提取模块结构示意图；

图4为本发明驾驶员背景分割模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1-4所示，本实施例提供一种基于mask-rcnn改进的驾驶员背景分割方法，具体包括如下步骤：

s1、获取包含驾驶员的驾驶室图像样本集，并对所获取的样本集进行图像预处理。其中，图像样本集为多种环境及背景下的图像。

图像预处理包括：

1)对通过补零操作将所有输入图像大小设置为1024×1024；

2)对补零操作后的图像进行加标签处理；

3)采用数据增强，对输入图像进行旋转、比例缩放、剪裁、移位、加噪声处理，增加样本集的图像数量。

s2、构建并训练mask-rcnn驾驶员背景分割模型，所述mask-rcnn驾驶员背景分割模型包括特征提取模块、目标区域粗提取模块、驾驶员背景分割模块；

s2.1、基于深度残差网络resnet构建特征提取模块，并通过预处理后的图像样本集对特征提取模块进行训练，获取驾驶员的特征图像。

所述特征提取模块包括第一resnet、对第一resnet进行剪枝后所得到的第二resnet、损失函数；本实施例中，第一resnet采用resnet101，对第一resnet进行剪枝后所得到的第二resnet为resnet32，采用均方误差函数作为损失函数。

特征提取模块的训练过程具体包括：

将样本集图像分别输入第一resnet、第二resnet，利用第一resnet的输出结果作为监督信号，将第一resnet、第二resnet所输出的特征图像输入损失函数，通过损失函数计算第一resnet和第二resnet的输出误差，基于损失函数的输出结果对第二resnet进行训练，通过训练好的第二resnet获取驾驶员的特征图像。

相对于现有技术，本发明通过对现有的mask-rcnn图像特征提取网络resnet101进行剪枝，有效提高了模型的运算速度；同时，本发明将resnet101作为教师模型，resnet32作为学生模型，利用resnet101的输出结果作为监督信号，对resnet32进行训练，使参数量少的resnet32的精度不断逼近resnet101，因此，本发明在保证特征提取精度的前提下，能够有效提高计算速度。

s2.2、基于fpn(featurepyraminetwork，特征金字塔网络)、rpn_tiny、roi(regionofinterests，兴趣区域)匹配网络构建目标区域粗提取模块，并对目标区域粗提取模块进行训练。

rpn_tiny通过减少rpn(regionproposalnetwork,区域提取网络)的锚点anchor获得；其中，anchor表示特征图像上进行点观测时大小和长宽比例不同的k个窗口，将k个窗口按尺寸从大到小的顺序进行排序，按预设比例将排在后面的窗口进行删除，得到rpn_tiny，本实施例中预设比例设为50％，即将排在后面的k/2个anchor进行删除。由于待分割的目标主要为驾驶员，在环境中待分割目标比较大，因此，通过减少rpn的anchor，能够有效减少运算步骤，从而极大提高了计算效率。

目标区域粗提取模块的训练过程具体包括：

将驾驶员的特征图像输入fpn，通过fpn将特征图像切分为不同尺度大小的图像；

将不同尺度大小的特征图像输入rpn_tiny，通过rpn_tiny计算驾驶员的目标预选区域，基于不同尺度大小的特征图像以及目标预选区域进行多尺度特征融合，得到特征张量；

将特征张量输入roi(regionofinterests，兴趣区域)匹配网络，通过roi匹配网络，对目标预选区域进行修正，得到调整后的目标区域特征图像。

s2.3、基于全连接层网络、卷积层网络、损失函数模块构建驾驶员背景分割模块，并对驾驶员背景分割模块进行训练。

所述损失函数模块包括类别损失函数、定位损失函数、平均二值交叉熵损失函数；由于待分割的目标主要为驾驶员，在环境中待分割目标比较大，因此，本实施例加大定位损失函数的权重，减小类别损失函数的权重，从而使图像分割更加精准。

驾驶员背景分割模块的训练过程具体包括：

将调整后的目标区域特征图像分别输入全连接层网络和卷积层网络，通过全连接层网络对目标区域特征图像中的驾驶员进行目标识别，通过卷积层网络分割驾驶员在目标区域特征图像中的区域；

将驾驶员目标识别结果、驾驶员区域分割结果、样本集图像均输入损失函数模块，进行误差的计算，误差计算结果小于预设阈值，训练完成；其中，预设阈值根据实际应用中对分割精度的需求进行设定，本实施例设为3％。

s3、实时采集包含驾驶员的驾驶室图像，通过训练好的mask-rcnn驾驶员背景分割模型对所采集的图像进行分割，将驾驶员从驾驶室的背景中分割出来。

具体分割过程如下：

将实时采集包含驾驶员的驾驶室图像输入第二resnet，得到驾驶员的特征图像；

将驾驶员的特征图像输入fpn,通过fpn将特征图像切分为不同尺度大小的图像；通过rpn_tiny计算出驾驶员的目标预选区域，并基于不同尺度大小的特征图像以及目标预选区域进行多尺度特征融合，得到特征张量；

将特征张量输入roi匹配网络，通过roi匹配网络，对目标预选区域进行修正，得到调整后的目标区域特征图像；

将调整后的目标区域特征图像分别输入全连接层网络和卷积层网络，将驾驶员从驾驶室的背景中分割出来。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。