一种基于随机蕨融合多特征的安全帽检测方法与流程

本发明属于计算机视觉、机器学习等技术领域，更为具体地讲，涉及一种基于随机蕨多特征融合的安全帽检测方法。

背景技术：

随着计算机信息技术的发展，图像识别技术获得了越来越广泛的应用，比如医疗诊断、指纹识别、交通导航以及视频监控等方面。这对于工业生产，安全生产是至关重要的。

在一些高危现场，工作人员配戴安全帽是必要的安全措施。现今，许多工业生产现场都设有监管体系，以监控工作人员是否佩戴安全帽，监控主要以人工值守和视频监控两种方式实施。由于人工值守易出现监控疏漏且监控范围有限、耗费人力物力，现在更多倾向于借助计算机视觉方法，采用视频监控实现监管。

针对是否佩戴安全帽的检测问题，现有的方法大多基于区域定位和检测的基本思想。

对于区域定位环节，很多方法选择先检测人体目标区域，从而判断待检测安全帽区域。常用的方法有基于方向梯度直方图(histogramoforientedgradient,hog)特征，直接使用支持向量机(supportvectormachine,svm)分类器检测人体目标，或使用码本分离算法及帧间差分提取图像中的前景或运动区域，再根据hog直方图特征结合svm分类器或运动区域形状特征判断是否为人体目标。这些方法缺点是基于传统svm分类器的检测效果易受复杂的检测场景干扰，实时性较差。同样也有方法选择采用肤色检测来进行区域定位，使用ycbcr检测空间检测人脸区域从而确定待检测安全帽区域。这一类方法的局限性在于人脸区域的识别只适用于工人正面面对摄像头的情况，而现实工业场景中，工人不可能都是正面面对摄像头，可能是背影和侧影，这也就对人脸的识别造成了干扰，从而影响安全帽的检测。

对于检测环节，大多方法选用单一特征。例如最常见的是选用简单的颜色分布直方图特征，统计检测区域内像素的颜色分布从而判断是否配戴安全帽。也有选用hu不变矩或haar-like特征，基于svm或adaboost级联分类器检测安全帽。这些方法缺点是只采用了单一特征，对安全帽目标的特征表征能力不足，当遇到诸如强烈光照，复杂的监控环境，低分辨率较模糊的图像等影响时，不能够准确的识别安全帽。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种基于随机蕨多特征融合的安全帽检测方法，结合基于深度学习的目标检测与随机蕨多特征融合分类的方法，以准确检测工业生产中工作人员是否配戴安全帽。

为实现上述发明目的，本发明基于随机蕨多特征融合的安全帽检测方法，其特征在于，包括以下步骤：

(1)、随机蕨分类器训练

1.1)、采集安全帽与非安全帽两个类别各n1、n2个样本，分别提取样本的hsi(色调hue、饱和度saturation、亮度intensity)颜色直方图特征、hog(histogramoforientedgradient，方向梯度直方图)特征以及hof(histogramsoforientedopticalflow，光流直方图)特征，并分别构成hsi颜色直方图特征集合、hog特征集合以及hof特征集合；

1.2)、构造随机蕨及特征值计算：针对每一类别样本，单独的每种直方图特征，根据半朴素贝叶斯法从直方图特征集合的m个直方图特征中随机抽取2b个直方图特征构成一组直方图特征子集，其中，b<m/2，相同方式随机抽取l次，得到l组直方图特征子集，每个直方图特征子集为一个随机蕨，从而构造出一个类别、一种直方图特征的l个随机蕨；

在随机蕨中，随机选取b对直方图特征，并进行二值测试(计算特征值)，得到b个测试值随机组合，从而得到该随机蕨的特征值；

对于一个随机蕨，其构造方式及特征值计算一旦确定，就不再随机；

1.3)、对于步骤1.1)得到两个类别各n1、n2个样本、每个样本的三种直方图特征集合，依据步骤1.2)方法，计算出每个样本的l个随机蕨的特征值，然后，统计每个类别、每种直方图特征下，所有n1、n2样本的l个随机蕨的特征值概率分布，得到hsi颜色直方图特征的安全帽概率分布p(fj^hsi|c1)以及非安全帽概率分布hog特征的安全帽概率分布以及非安全帽概率分布和hof特征的安全帽概率分布以及非安全帽概率分布其中，分别表示第j个随机蕨下hsi颜色直方图特征值变量、hog特征值变量、hof特征值变量，c1表示安全帽、c2表示非安全帽，一个概率分布构成一个随机蕨分类器；

(2)、安全帽检测

2.1)、采用yolo深度学习框架的改进版本yolov2人体目标检测算法，获得图像中工作人员即人体目标区域，然后通过滑动窗口方法从人体目标区域提取多个安全帽检测候选区域分别作为一个待检测样本，分别提取hsi颜色直方图特征、hog特征以及hof特征，并分别构成hsi颜色直方图特征集合、hog特征集合以及hof特征集合；

2.2)、待检测样本是否是安全帽的检测

2.2.1)、对于一个待检测样本，依据步骤1.2)方法，计算出其在每种直方图特征下的l个随机蕨的特征值：其中，分别表示待检测样本第j个随机蕨下hsi颜色直方图特征值、hog特征值、hof特征值；

2.2.2)、将分别赋值给依据步骤(1)训练得到的分类器，即hsi颜色直方图特征的安全帽概率分布以及非安全帽概率分布hog特征的安全帽概率分布以及非安全帽概率分布和hof特征的安全帽概率分布以及非安全帽概率分布分别得到待检测样本第j个随机蕨的后验概率以及

2.2.3)、对单一直方图特征，每个类别所有l个随机蕨的联合似然分布为：

2.2.4)、基于多特征的随机蕨分类器的融合：

待检测样本的三种特征随机蕨分类器的样本分类置信度为：

其中，p(c1)、p(c2)分别为安全帽、非安全帽的先验概率，在总样本集中的占比：

待检测样本的最终分类置信度为：

如果待检测样本的最终分类置信度大于设定的阈值，则认为是安全帽，否则认为不是安全帽；

2.3)、根据步骤2.1)得到每个安全帽检测候选区域作为待检测样本，分别按照步骤2.2)进行是否是安全帽的检测，如果有一个待检测样本为安全帽，则认为图像中工作人员佩戴了安全帽，否则，认为没有佩戴。

本发明的目的是这样实现的。

本发明基于随机蕨多特征融合的安全帽检测方法，通过提取样本的hsi颜色直方图特征、hog特征以及hof特征，然后针对每个类别、每种直方图特征的随机蕨分类器进行训练；根据深度学习的yolov2获取人体目标，作为待检测样本，基于多特征的随机蕨分类器的融合，从而构建出安全帽检测框架。该方法基于深度学习，快速准确的检测出人体目标区域，从而提高了安全帽位置定位的准确度和速度；根据随机蕨分类器算法，融合多种特征训练分类器，提高了分类的准确定。该方法简单有效，实时性好，具有很好的应用前景。

附图说明

图1是本发明基于随机蕨多特征融合的安全帽检测方法一种具体实施方式流程图；

图2是特征直方图二值测试示意图；

图3是基于随机蕨结构的决策融合准则示意图；

图4是工业生产监控红色安全帽的实验结果；

图5是工业生产监控白色安全帽的实验结果。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

近年来得益于深度学习的发展，基于深度学习的目标检测方法也取得了巨大的突破。现有的基于深度学习的目标检测方法主要分为两类。一类是基于regionproposal的方法，具有代表性的有r-cnn,spp-net,fastr-cnn,fasterr-cnn等。另一类是基于回归方法，例如yolo和ssd。fasterr-cnn虽然是目前主流的目标检测方法，但是速度上并不能满足实时的要求。基于回归的方法将目标检测任务转换成一个回归问题，大大加快了检测的速度。

随机蕨(randomferns)算法用于分类，是随机森林算法的改进，又称为半朴素贝叶斯分类器。训练的过程是从样本特征到样本类别的映射。通过随机化的方式在特征点的邻域图像块中获得二值特征集合，使用非层次化的蕨结构代替基于树的层次化结构，利用朴素贝叶斯模型代替决策树模型来构建分类器，以此获得更好的结果。

基于上述特性，本发明旨在将深度学习与随机蕨算法结合起来，提出一种有效准确的基于随机蕨框架融合多特征的安全帽检测方法。本发明的主要特点在于：1)使用深度学习方法检测人体目标，并以此获得安全帽检测的感兴趣(regionofinterest，roi)区域即人体目标区域，提高准确性和实时性；2)根据现实复杂检测环境，提出多特征融合检测方法，训练随机蕨分类器，整合分类结果，提高分类的准确定。

图1是本发明基于随机蕨多特征融合的安全帽检测方法一种具体实施方式流程图。

本发明的重点在于如何训练随机蕨分类器。首先提取样本的hsi颜色直方图特征、hog特征以及hof特征。对于单独一种直方图特征，考虑到直方图bin分量间的相互依赖信息，从直方图特征集合中随机抽取多组大小固定的直方图特征子集，每个子集从直方图特征集合中随机选取多对bin分量进行二值测试，得到对应测试值作为直方图特征子集的特征值，这些特征值即作为随机蕨分类器的训练样本特征值。统计这些特征值的数值分布，即可获得对应类别样本在随机蕨的后验概率。假设提取的三种特征相互独立，则对于待检测样本最终分类参考的结果即为三种特征训练出的分类器输出结果的融合。

在本实施例中，如图1所示，本发明基于随机蕨多特征融合的安全帽检测方法包括以下步骤：

一、随机蕨分类器训练

步骤s101：采集安全帽与非安全帽两个类别各n1、n2个样本，分别提取样本的hsi(色调hue、饱和度saturation、亮度intensity)颜色直方图特征、hog(histogramoforientedgradient，方向梯度直方图)特征以及hof(histogramsoforientedopticalflow，光流直方图)特征，并分别构成hsi颜色直方图特征集合、hog特征集合以及hof特征集合。

由于监控场景中复杂的工业生产环境，对安全帽检测常常会受到诸如光照变化、监控视频像素低、视频模糊、背景复杂等问题的影响，采用单一特征的检测方法并不能取得较好的识别准确度。本发明参考实际的监控场景，有针对性的选择了hsi颜色直方图特征、hog特征、hof特征这三种特征去表征待检测安全帽。

根据安全帽颜色标准，安全帽只有白、红、蓝、黄四色，因此在安全帽检测中使用颜色特征会取得较好效果。传统rgb颜色模型可分辨的色差是非线性的，不是很好的颜色描述系统，而hsi色彩模型从人类感知的角度定义色彩空间，具有自然性，方便进行对比，因此本发明选择hsi颜色直方图特征。

在本实施例中，针对采集到的安全帽、非安全帽样本以及后面步骤中的待检测样本，统计像素的hsi颜色分布直方图。将色调h分量区间(0～180)划分为6个子区间，每个子区间依次增加30，将饱和度s和亮度i分量区间(0～255)各自划分为8个子区间，每个子区间依次增加32，则整体hsi颜色直方图一共有384(6*8*8)个bin子区间，最后统计落入每个bin子区间的像素数量作为直方图纵坐标。用f^hsi代表获得的hsi颜色直方图特征。

由于工业生产现场会有强烈光照和夜间监控黑白图像等原因，单独使用颜色特征并不能很好地完成安全帽检测，在本发明中额外采用了安全帽的轮廓特征，hog特征。hog方法是基于对稠密网格中归一化的局部方向梯度直方图的计算，局部目标的外表和形状可以被局部梯度或边缘方向的分布很好的描述，具体算法原理参加：dalaln,triggsb.histogramsoforientedgradientsforhumandetection[c]//computervisionandpatternrecognition,2005.cvpr2005.ieeecomputersocietyconferenceon.ieee,2005:886-893。我们先将采集到的安全帽样本灰度化，然后使用gamma校正法对样本图像进行颜色空间的标准化，计算图像像素的梯度。因为所采集样本大小为21*21，选用细胞单元(cell)大小为7*7，步长为7，生成3*3个cell。统计每个cell的梯度直方图，再将2*2个cell组成一个block。每个cell分为9个bin。最后所有block的hog特征descriptor串联起来就可以得到图像的hog特征descriptor。图像的hog直方图共有144(4*9*2*2)个bin，直方图纵坐标为落入每个bin子区间的像素数量，用f^hog代表获得的hog特征。

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。本发明中，提取安全帽样本的hof特征，hof与hog特征类似，是对光流方向进行加权统计，得到光流方向信息直方图。先计算样本图像对应的光流场，光流场计算方式采用sun等人提出的稠密光流方法，具体算法原理参见：sund,roths,blackmj.aquantitativeanalysisofcurrentpracticesinopticalflowestimationandtheprinciplesbehindthem[j].internationaljournalofcomputervision,2014,106(2):115-137。

计算光流矢量v(v＝[x,y]^t，其中x，y为对应水平与垂直方向速度分量)与横轴的夹角以横轴为基准计算夹角能够使hof特征对运动方向(向左和向右)不敏感。角度值区间(-90度～90度)划分成30个bin子区间，每个子区间依次增加6度。根据计算得到的角度值将其投影到对应的直方图bin中，并根据对应光流的赋值进行加权，当角度落在范围时，其幅值作用到直方图第d个bin中(1≤d≤d，d＝30)。用f^hof代表获得的hof特征。

步骤s102：构造随机蕨及特征值计算：针对每一类别样本，单独的每种直方图特征，根据半朴素贝叶斯法从直方图特征集合的m个直方图特征中随机抽取2b个直方图特征构成一组直方图特征子集，其中，b<m/2，相同方式随机抽取l次，得到l组直方图特征子集，每个直方图特征子集为一个随机蕨，从而构造出一个类别、一种直方图特征的l个随机蕨。

在随机蕨中，随机选取b对直方图特征，并进行二值测试(计算特征值)，得到b个测试值随机组合，从而得到该随机蕨的特征值。

对于一个随机蕨，其构造方式及特征值计算一旦确定，就不再随机。需要说明的是，不同直方图特征，其直方图特征数量m、直方图特征对数b以及随机蕨个数l可以不相同。

为了融合上述提取安全帽样本的三种直方图特征并进行分类，本发明采用随机蕨算法分类器。随机蕨算法类似于随机森林(randomforest)，区别在于随机森林的树中每层节点判断准则不同，而随机蕨的“蕨”中每层只有一种判断准则，所以蕨是线性结构，随着训练深度的增加，训练耗时只是线性增长。

在本发明中，先对每种特征单独训练随机蕨分类器，在本实施例中，以hsi颜色直方图特征为例，其他两种特征以此类推。假设我们获得带有类别标签的样本库s，两个类别各n1、n2个样本，总计为n＝n1+n2个，表示为其中为第i个样本hsi颜色特征直方图对应的特征向量，共有m维，对应直方图所划分的bin数，则第i个样本的特征向量表示为：c为样本类别，类别数为2，c1代表安全帽，c2代表非安全帽，则第i个样本的类别数表示为ci∈{c1,c2}；分类器为classifier：f^hsi→c。随机蕨分类器从大小为m的特征集合中随机抽取l组大小相同的特征子集，每个子集从特征集合中随机选取b对分量进行二值测试，如下所示：

得到b个测试值作为特征子集的特征值，b<(m/2)。二值测试公式如下所示：

其中，r1、r2∈{1,…,384}，如图2所示。value表示经过二值测试后得到的测试值，b个测试值组合得到落在区间[0,2^b-1]的值即为随机蕨分类器的训练样本特征值。每个子集称为一个随机蕨，第j个随机蕨的特征表示为fj^hsi＝{f′j,1,f′j,2,…,f′j,b}，j∈{1,…,l}，第j个随机蕨中第b个测试值表示为f′j,b∈{0,1}，该值经过二值测试计算得到。

经过上述处理后，每个样本的第j个随机蕨fj^hsi包含的特征可形成一个b位二进制码，其对应的十进制数有2^b种可能的数值即特征值。

步骤s103：对于步骤s101得到两个类别各n1、n2个样本、每个样本的三种直方图特征集合，依据步骤s102方法，计算出每个样本的l个随机蕨的特征值，然后，统计每个类别、每种直方图特征下，所有n1、n2样本的l个随机蕨的特征值概率分布，得到hsi颜色直方图特征的安全帽概率分布p(fj^hsi|c1)以及非安全帽概率分布hog特征的安全帽概率分布以及非安全帽概率分布和hof特征的安全帽概率分布以及非安全帽概率分布其中，分别表示第j个随机蕨下hsi颜色直方图特征值变量、hog特征值变量、hof特征值变量，c1表示安全帽、c2表示非安全帽，一个概率分布构成一个随机蕨分类器；

二、安全帽检测

步骤s201：采用yolo深度学习框架的改进版本yolov2人体目标检测算法，获得图像中工作人员即人体目标区域，然后通过滑动窗口方法从人体目标区域提取多个安全帽检测候选区域分别作为一个待检测样本，分别提取hsi颜色直方图特征、hog特征以及hof特征，并分别构成hsi颜色直方图特征集合、hog特征集合以及hof特征集合。

安全帽检测中安全帽位置的定位是保证安全帽识别准确度的前提。yolov2算法用于多分类目标检测，是yolo算法的改进版。针对yolo目标检测存在精确度不够的问题，yolov2引入了batchnormalization减少过拟合，采用高分辨率输入适应网络，使用固定框来预测boundingboxes及多尺度训练等优化方法，提高检测精度。由于人体目标检测只是二分类问题，不需要识别多类别目标，所以我们在不降低人体目标检测准确率的前提下，简化网络模型降低复杂度，去除部分卷积层，提高网络的训练和检测速度。为了训练人体检测版本的yolo，我们使用在分类训练集和检测训练集上进行联合训练的方法。在分类训练时采用随机梯度下降学习策略，设置0.1的初始学习率，初始权值为4的多项式衰减率，0.005的初始权重衰减率和0.9的初始冲量，并在imagenet数据集中的人体分类上进行训练。在训练期间还采用标准数据增强技巧(包括随机裁剪、旋转和色调饱和度曝光度的变换)。而在检测训练环节，除了采用voc标注数据外，还引入了工业生产现场中自主采集标定的人体目标集，以此增加网络对实际场景人体检测的准确率(两个训练环节的数据集的训练集，验证集和测试集的比例都为2:1:1)。

在本实施例中，先基于深度学习yolov2方法，对人体目标进行检测，再根据获得到的人体目标区域确定安全帽检测的roi区域。考虑到实际工业生产场景的视频监控中人体目标非固定姿态问题，传统方法往往因为人体目标非站立等状态对安全帽定位的准确率大大下降，从而影响安全帽的识别。先获得人体目标矩形区域(x,y,w,h)，其中x和y表示矩形框左上点坐标，w和h分别表示矩形框宽度和高度，然后选取区域(x+w*0.15,y–h*0.1,w*0.7,h*0.4)，使用21*21像素大小的滑动窗口遍历该区域得到待检测安全帽候选样本。使用训练好的随机蕨分类器计算候选区域分类的置信度，若存在对应置信度满足预设阈值的检测样本，选择其中置信度最高的检测样本作为检测得到的安全帽区域，否则即为未佩戴安全帽，完成检测。

步骤s202：、待检测样本是否是安全帽的检测

对于一个待检测样本，依据步骤s102的方法，计算出其在每种直方图特征下的l个随机蕨的特征值：其中，分别表示待检测样本第j个随机蕨下hsi颜色直方图特征值、hog特征值、hof特征值。

将分别赋值给依据步骤一训练得到的分类器，即hsi颜色直方图特征的安全帽概率分布以及非安全帽概率分布hog特征的安全帽概率分布以及非安全帽概率分布和hof特征的安全帽概率分布以及非安全帽概率分布分别得到待检测样本第j个随机蕨的后验概率以及

单一随机蕨分类精度不高，可以将多个随机蕨分类结果进行整合，获得最终的分类结果。假设多个随机蕨之间条件独立，随机蕨结构的决策融合准则如图3所示，其中红色直方图代表对应安全帽类别的随机蕨分布，蓝色直方图代表对应非安全帽类别的随机蕨分布，则对单一直方图特征，每个类别所有l个随机蕨的联合似然分布为：

基于多特征的随机蕨分类器的融合：待检测样本的三种特征随机蕨分类器的样本分类置信度为：

其中，p(c1)、p(c2)分别为安全帽、非安全帽的先验概率，在总样本集中的占比：

待检测样本的最终分类置信度为：

如果待检测样本的最终分类置信度大于设定的阈值，则认为是安全帽，否则认为不是安全帽；

2.3)、根据步骤2.1)得到每个安全帽检测候选区域作为待检测样本，分别按照步骤2.2)进行是否是安全帽的检测，如果有一个待检测样本为安全帽，则认为图像中工作人员佩戴了安全帽，否则，认为没有佩戴。

为了验证本发明，针对实际工业生产视频监控序列做了相关实验。图4、5所示为部分实验结果，其中，小白色矩形框代表检测到的安全帽区域。从图4、5中可看出实际应用场景中，存在图像目标模糊，图像色彩饱和度低，背景复杂等干扰因素。针对安全帽检测定位环节，所采用的yolov2检测算法能对图像中的人体有很好的检测效果，定位准确，实时性强。在分类环节中，多特征的融合能够更好的表征待检测目标，提升分类器性能，很好地检测出了安全帽是否佩戴，整体上，本发明能够更加准确的检测安全帽，并对光照、复杂环境等影响具有鲁棒性，实时性好。

尽管上面对本发明说明性的具体实本发明基于随机蕨多特征融合的安全帽检测方法施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。