基于机器视觉安全带佩戴检测方法、装置及相关设备与流程

1.本发明涉及道路交通安全领域，特别涉及一种基于机器视觉安全带佩戴检测方法、装置及相关设备。


背景技术：

2.安全带是交通工具上的主动式安全装备，当交通工具发生碰撞或者遇到意外情况紧急刹车时，其可通过约束作用，将驾驶人员或者乘客束缚在座椅上，从而避免驾驶人员或者乘客受到二次碰撞，甚至被甩出交通工具的情况。因此，对驾驶人员或者乘客是否佩戴安全带进行识别是非常重要的，比如，在未佩戴安全带时进行提醒或者警告，在保证安全驾驶的同时，还可以提高人们遵守交通法规的意识。目前采用的深度网络进行识别检测，神经网络越深、越宽的话，性能就越好。但是，这样做会带来计算量的显著增加，对于有些任务（如目标检测）来说就比较昂贵。人们越来越需要计算量较低的模型，因为现实环境中的应用程序通常运行在小型设备上，而且推理时间不能长，这给计算机视觉算法带来了不小的挑战。尽管有一些方法是针对移动端cpu设计的，它们所采用的 depth-wise separable convolution 与工业界在边缘计算上的ic设计（如application-specific integrated circuit, asic）不兼容，以上原因造成系统可靠性低和成本高等缺陷。


技术实现要素：

3.本发明的目的在于提供一种基于机器视觉安全带佩戴检测方法、装置及相关设备 ,用以解决道路交通视频监控系统对行驶车辆的乘员进行安全带佩戴状态的检测等问题。同时设计了计算效率比较高的组件，使这些网络可以部署在cpu和移动端gpu上，而不牺牲性能。
4.在现实中，物体检测的发展始终围绕着精度与速度这两个指标，新提出的算法要么在检测的精度上有了新的突破，要么大幅提升了检测的速度。然而，在当前的物体检测大框架下，精度与速度往往不可兼得，精度的提升往往伴随着计算量的增加，例如cascade rcnn增加了网络阶数，fpn增加了特征之间的融合计算等。速度的提升往往会有精度的牺牲，如网络参数的量化和通道数的减少等。
5.虽然当前通用的检测框架已经较为成熟，检测指标也难有突破性的提升，但在特定的难点问题上仍有广阔的提升空间，这也是当前检测算法的薄弱环节。例如在智能安防、智能驾驶领域中，行人、车辆的多尺度与遮挡问题非常严重，检测器可以更好地与实际场景做结合。
6.本发明在实际工程应用中，达速度、召回率、边框精准度、移动部署的性能综合平衡，其中速度需求：自动驾驶等场景下，通常需要对图像处理达到非常低的时延才能保证足够的安全，这时检测器需要达到实时性；而在机械臂自动分拣等系统中，速度并不是第一考虑因素；召回率：在交通流量统计系统中，首先需要保障的指标是车辆、行人等物体的召回率，这会直接影响流量统计，相比之下，检测的边框精准度是次要的指标；边框精准度：在智
能测量、机械臂自动分拣等应用中，检测边框的精准度直接影响系统的成功率，因此需要选择边框精准度更高的网络，这是首要因素；移动端：当前，移动端的检测算法需求越来越高，如手机等arm平台、边缘计算平台等，这对于模型的移动部署、轻量化提出了更高的需求。利用两阶的结构，在arm平台上实现了实时的物体检测。本发明对上述情况实现性能综合平衡，有效解决以上存在的缺点，达到工程实用效果。
7.实现本发明目的的具体技术方案是：基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于，该方法包括以下具体步骤：步骤1：在输入端模块中，从道路交通视频监控系统中调取ip视频流，对视频流进行抽帧，对抽帧的图像进行清洗处理得到的待测图像，待测图像分成训练集图片、测试集图片、验证集图片三部分，其中训练集图片占比是85%、测试集图片占比是13%、验证集图片占比是2%，在训练集图片和测试集图片中将识别目标做好标注，形成最终的训练集图片和测试集图片，验证集图片不进行识别目标的标注。本步骤完成训练集图片和测试集图片的生成。
8.步骤2：将步骤1标注好的训练集图片组成训练集，放入主干模块中通过深度网络训练得到模型；训练过程分别采用mosaic数据增强、自适应锚框计算、自适应图片缩放三种技术方法；一是使用mosaic数据增强技术，通过随机缩放、随机裁剪、随机排布的方式进行拼接，使小目标识别性能提升，实现对于小目标的训练效果的提高；二是使用自适应锚框计算技术，在训练时，自适应的计算不同训练集的最佳锚框值；三是使用自适应图片缩放技术，对图片进行缩放，对黑边进行缩减，进行像素取余，减小cpu和gpu推理时的计算量，将要识别的图片转换成416*x的尺寸(其中x是32的倍数)，具体实施时，第一步：计算缩放比例，当输入为800*600图片时，目标缩放尺寸是416*416，除以原始图像的尺寸后(416/800=0.52 ；416/600=0.69)，可以得到0.52，和0.69两个缩放系数，选择小的缩放系数0.52；第二步：计算缩放后的尺寸, 原始图片的长宽（800*600）都乘以最小的缩放系数0.52，宽变成了416，而高变成了312; 第三步：计算黑边填充数值, 将416-312=104，得到原本需要填充的高度；再采用numpy中np.mod操作，取余数的方式，得到8个像素，结果是np.mod（104，32）=8，再除以2，即得到图片高度两端需要填充的数值, 填充灰色，即（114,114,114），并得到自适应图片缩放处理后的图片。通过本步骤使用训练集图片对主干模块进行训练得到训练模型。
9.步骤3：将步骤1标注好的测试集图片组成测试集，放入主干模块中通过深度网络测试得到模型的测试初筛结果；测试初筛过程分别采用focus技术和cspnet深度网络两种技术方法；其中focus技术是切片操作；cspnet深度网络是跨阶段局部网络，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播，作用是极大地降低cpu和gpu的计算量，提升推理速度和准确率。具体实施时，调用步骤2训练好的训练模型进行测试，第一步采用 focus技术，将608*608*3的图像输入focus网络结构中，进行切片操作，变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，转换成304*304*32的特征图；再放入基于cspnet深度网络中，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播。通过变换concat操作通过张量拼接实现维度扩充以及transition操作，使传播后的梯度流会
有较大的相关性差异，极大地降低cpu和gpu的计算量，提升推理速度和准确率；通过以上操作，测试集在主干模块中使用训练模型得到模型初筛结果。
10.步骤4：将步骤3得到的模型初筛结果，放入中间模块中进行融合特征的加强，作用是为了更好的提取融合特征，中间模块中分别采用spp池化技术、fpn技术和pan技术三种技术方法；其中在spp池化技术中，使用k={1
×
1,5
×
5,9
×
9,13
×
13}的最大池化的方式，再将不同尺度的特征图进行concat操作通过张量拼接实现维度扩充，通过发明人对比测试，采用spp池化技术，比单纯的使用k
×
k最大池化的方式，更有效的增加主干特征的接收范围，显著的分离了特征图中的最重要的上下文特征，在实施中，使用608
×
608大小的图像进行测试时发现，在coco目标检测任务中，以0.5%的额外计算代价将ap50增加了2.7%；fpn技术中主要使用特征金字塔技术，对图像中存在不同尺寸的目标，而不同的目标具有不同的特征，利用浅层的特征就可以将简单的大尺寸目标的区分开来；利用深层的特征可以将复杂的精细目标区分开来，fpn技术自顶向下传达强语义特征，能够提升小目标的检测效果；pan技术中主要使用自底向上的特征金字塔技术，通过增加了一个低层到高层的通道，将低层信息直接向上进行传递，提高底层信息的利用率，实现强定位特征；通过以上操作，测试集在中间模块中加强网络特征融合的能力，使用训练模型得到模型初步结果。
11.步骤5：将步骤4得到的模型初步结果，放入输出端模块中进行输出结果预测，得到类别及可信度参数，并于图片上标出目标框；为提高输出准确度，在输出端模块中分别使用kiou_loss预测框技术和diou_nms非极大值抑制技术两种技术方法；其中kiou_loss技术的方法是对现有两个任意的目标框a和b，找到一个最小的封闭形状c，让c可以将a和b包围在里面，然后我们计算c中没有覆盖a和b的面积占c总面积的比例，然后用a和b的iou值减去这个比值，实现预测精度的提高。
12.步骤6：对图片上标出目标框的区域采用机器视觉方法进行二值化和斜线轮廓闭合操作，在拟合斜线的区域取设定角度符合安全带佩戴可信的方法得到较为准确的识别结果，并在电子设备上输出驾驶员佩戴安全带的最终结果。
13.步骤7：将步骤6得到的最终结果，记录到存储器中。
14.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：步骤5中，具体是：在输出端模块中使用kiou_loss预测框技术,提高目标检测的准确性。oss预测框技术,提高目标检测的准确性。
15.其中，distace_c是目标框的对角线距离；distace_2是预测框中心点与目标框中心点的欧氏距离；v是衡量长宽比一致性的参数，wgt 是预测框的宽度；hgt 是预测框的高度；wp是目标框的宽度;hp是目标框的高度。
16.设置kiou_loss阈值，根据输出端模块kiou_loss的值的大小，通过阈值滤掉得分低的区域，对保留的区域进行非极大值抑制处理，得到yolo-k算法的检测结果。
17.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：步骤6中，具体是：在得到清晰的yolo-k算法筛选过的疑似区域之后，先对图像进行边缘增强及锐化，
再根据安全带的色值做灰度化以及二值化分割，将安全带与浅色背景分割开来，再通过canny算子对其进行轮廓提取，在得到清晰轮廓后，则在轮廓上随机取点进行长条形拟合，若拟合长条形区域与二值化后安全带所在拟合长条形的区域重叠部分超过一定值时，则可以判断此区域内的形状大致为长条形，同时长条形呈一定角度，即符合安全带的形状特点可将其判定为安全带。
18.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：若拟合长条形区域与二值化后安全带所在拟合长条形的区域重叠部分超过95％以上，则可以判断此区域内的形状大致为长条形，即符合安全带的形状特点可将其判定为安全带。
19.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：在步骤6中，还设置长宽比阈值并通过轮廓的旋转矩形有效筛选掉光线及阴影干扰。
20.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：长宽比阈值设为：5：1至20：1之间。
21.基于机器视觉安全带佩戴检测装置，其特征在于，该装置由输入端模块、主干模块、中间模块、输出端模块、存储器组成，所述输入端模块与道路交通视频监控系统连接；所述输入端模块、主干模块、中间模块、输出端模块依序连接； 所述输出端模块与存储器连接，将输出端模块得到的最终结果，记录到存储器中。
22.同时，一种电子设备，其特征在于，所述电子设备包括：处理器和与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的基于机器视觉安全带佩戴检测方法的程序，所述处理器执行所述基于机器视觉安全带佩戴检测方法的程序时实现以上任意一项所述的基于机器视觉安全带佩戴检测方法的步骤。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于机器视觉安全带佩戴检测方法的程序，所述基于机器视觉安全带佩戴检测方法的程序可被处理器执行，以实现以上任意一项所述的基于机器视觉安全带佩戴检测方法的步骤。
24.本发明的有益效果：本发明涉及一种基于机器视觉安全带佩戴检测方法、装置及相关设备，该方法针对道路交通视频监控系统对行驶车辆的乘员进行安全带佩戴状态的检测等问题，提出以cspnet网络模型与yolo-k算法取出疑似目标，再结合传统机器视觉算法进行筛选从而达到准确、快速、智能化的诊断方式。yolo-k算法的检测速度比传统算法提高了上百倍，可满足道路交通监控系统的高效需求，再加入机器视觉算法对目标做形状拟合，对角度、色值、轮廓、大小等维度做判断，从而进一步提升检测准确率与检出率。经过自建样本数据训练以及大量实验表明，本发明对安全带的识别算法准确率高达98%以上，检出率达95%以上。
25.将此算法应用于实际检测中时，是人手检测速度的三倍以上。
附图说明
26.图1为本发明的系统结构图。
27.图2为本发明的运行流程图。
28.图3为本发明的系统流程图。
具体实施方式
29.为了更加清楚地说明本发明的技术手段及有益效果，以下结合附图，以安全带识别为例，对本发明进行详细的说明。
30.以下具体步骤：步骤1：在输入端模块中，从道路交通视频监控系统中调取ip视频流，对视频流进行抽帧，对抽帧的图像进行清洗处理得到的待测图像，共10000张，待测图像分成训练集图片、测试集图片、验证集图片三部分，其中训练集图片占比是85%（8500张）、测试集图片占比是13%（1300张）、验证集图片占比是2%（200张），在训练集图片和测试集图片中将识别目标做好标注，形成最终的训练集图片和测试集图片，验证集图片不进行识别目标的标注。本步骤完成训练集图片和测试集图片的生成。
31.步骤2：将步骤1标注好的训练集图片组成训练集，放入主干模块中通过深度网络训练得到模型；训练过程分别采用mosaic数据增强、自适应锚框计算、自适应图片缩放三种技术方法；一是使用mosaic数据增强技术，通过随机缩放、随机裁剪、随机排布的方式进行拼接，使小目标识别性能提升，实现对于小目标的训练效果的提高；二是使用自适应锚框计算技术，在训练时，自适应的计算不同训练集的最佳锚框值；三是使用自适应图片缩放技术，对图片进行缩放，对黑边进行缩减，进行像素取余，减小cpu和gpu推理时的计算量，将要识别的图片转换成416*x的尺寸(其中x是32的倍数)，具体实施时，第一步：计算缩放比例，当输入为800*600图片时，目标缩放尺寸是416*416，除以原始图像的尺寸后(416/800=0.52 ；416/600=0.69)，可以得到0.52，和0.69两个缩放系数，选择小的缩放系数0.52；第二步：计算缩放后的尺寸, 原始图片的长宽（800*600）都乘以最小的缩放系数0.52，宽变成了416，而高变成了312; 第三步：计算黑边填充数值, 将416-312=104，得到原本需要填充的高度；再采用numpy中np.mod操作，取余数的方式，得到8个像素，结果是np.mod（104，32）=8，再除以2，即得到图片高度两端需要填充的数值, 填充灰色，即（114,114,114），并得到自适应图片缩放处理后的图片。通过本步骤使用训练集图片对主干模块进行训练得到训练模型。
32.步骤3：将步骤1标注好的测试集图片组成测试集，放入主干模块中通过深度网络测试得到模型的测试初筛结果；测试初筛过程分别采用focus技术和cspnet深度网络两种技术方法；其中focus技术是切片操作；cspnet深度网络是跨阶段局部网络，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播，作用是极大地降低cpu和gpu的计算量，提升推理速度和准确率。具体实施时，调用步骤2训练好的训练模型进行测试，第一步采用 focus技术，将608*608*3的图像输入focus网络结构中，进行切片操作，变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，转换成304*304*32的特征图；再放入基于cspnet深度网络中，通过网络后，基础层的特征图划分为两个部分，然后再通过一个跨阶段级连将这两个部分整合起来，通过分开梯度流，使梯度流可以在不同的网络路径上传播。通过变换concat操作通过张量拼接实现维度扩充以及transition操作，使传播后的梯度流会有较大的相关性差异，极大地降低cpu和gpu的计算量，提升推理速度和准确率；通过以上操作，测试集在主干模块中使用训练模型得到模型初筛结果。
33.步骤4：将步骤3得到的模型初筛结果，放入中间模块中进行融合特征的加强，作用是为了更好的提取融合特征，中间模块中分别采用spp池化技术、fpn技术和pan技术三种技
术方法；其中在spp池化技术中，使用k={1
×
1,5
×
5,9
×
9,13
×
13}的最大池化的方式，再将不同尺度的特征图进行concat操作通过张量拼接实现维度扩充，通过发明人对比测试，采用spp池化技术，比单纯的使用k
×
k最大池化的方式，更有效的增加主干特征的接收范围，显著的分离了特征图中的最重要的上下文特征，在实施中，使用608
×
608大小的图像进行测试时发现，在coco目标检测任务中，以0.5%的额外计算代价将ap50增加了2.7%；fpn技术中主要使用特征金字塔技术，对图像中存在不同尺寸的目标，而不同的目标具有不同的特征，利用浅层的特征就可以将简单的大尺寸目标的区分开来；利用深层的特征可以将复杂的精细目标区分开来，fpn技术自顶向下传达强语义特征，能够提升小目标的检测效果；pan技术中主要使用自底向上的特征金字塔技术，通过增加了一个低层到高层的通道，将低层信息直接向上进行传递，提高底层信息的利用率，实现强定位特征；通过以上操作，测试集在中间模块中加强网络特征融合的能力，使用训练模型得到模型初步结果。
34.步骤5：将步骤4得到的模型初步结果，放入输出端模块中进行输出结果预测，得到类别及可信度参数，并于图片上标出目标框；为提高输出准确度，在输出端模块中分别使用kiou_loss预测框技术和diou_nms非极大值抑制技术两种技术方法；其中kiou_loss技术的方法是对现有两个任意的目标框a和b，找到一个最小的封闭形状c，让c可以将a和b包围在里面，然后我们计算c中没有覆盖a和b的面积占c总面积的比例，然后用a和b的iou值减去这个比值，实现预测精度的提高。
35.步骤6：对图片上标出目标框的区域采用机器视觉方法进行二值化和斜线轮廓闭合操作，在拟合斜线的区域取设定角度符合安全带佩戴可信的方法得到较为准确的识别结果，并在电子设备上输出驾驶员佩戴安全带的最终结果。
36.步骤7：将步骤6得到的最终结果，记录到存储器中。
37.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：步骤5中，具体是：在输出端模块中使用kiou_loss预测框技术,提高目标检测的准确性。具体是：在输出端模块中使用kiou_loss预测框技术,提高目标检测的准确性。
38.其中，distace_c是目标框的对角线距离；distace_2是预测框中心点与目标框中心点的欧氏距离；v是衡量长宽比一致性的参数，wgt 是预测框的宽度；hgt 是预测框的高度；wp是目标框的宽度;hp是目标框的高度。
39.设置kiou_loss阈值，根据输出端模块kiou_loss的值的大小，通过阈值滤掉得分低的区域，对保留的区域进行非极大值抑制处理，得到yolo-k算法的检测结果。
40.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：步骤6中，具体是：在得到清晰的yolo-k算法筛选过的疑似区域之后，先对图像进行边缘增强及锐化，再根据安全带的色值做灰度化以及二值化分割，将安全带与浅色背景分割开来，再通过canny算子对其进行轮廓提取，在得到清晰轮廓后，则在轮廓上随机取点进行长条形拟合，若拟合长条形区域与二值化后安全带所在拟合长条形的区域重叠部分超过一定值时，则可以判断此区域内的形状大致为长条形，同时长条形呈一定角度，即符合安全带的形状特点可将其判定为安全带。
41.所述基于机器视觉安全带佩戴检测方法，应用于电子设备，其特征在于：若拟合长条形区域与二值化后安全带所在拟合长条形的区域重叠部分超过95％以上，则可以判断此区域内的形状大致为长条形，即符合安全带的形状特点可将其判定为安全带。
42.经过10000张图片数据集实验表明，本发明对安全带的识别算法准确率高达98%以上，检出率达95%以上。
43.将此算法应用于实际检测中时，是人手检测速度的三倍以上。
44.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。