一种安全带识别方法、设备及计算机可读存储介质与流程

本发明涉及图像识别技术领域，特别是涉及安全带识别方法、设备及计算机可读存储介质。

背景技术：

随着社会的飞速发展，衍生出越来越多的高空作业者，而安全带是高空作业中必不可少的防护设备。据高空坠落事故统计分析，5m以上的高空坠落事故约占20％，5m以下的占80％左右，前者大多数是致死的事故。由此可见，防止高处坠落和采取个人防护措施是十分必要的。不仅在作业人员作业前需对安全带佩戴情况进行检测，高空作业时也需要实时监控。

然而，目前通常会直接对监控图像进行安全带目标检测，但由于电力场景背景杂乱，电线杆，高压电线均可能成为干扰，直接目标检测容易造成误检、漏检，导致安全带的识别精度降低。

技术实现要素：

本发明主要解决的技术问题是提供一种安全带识别方法、设备及计算机可读存储介质，能够提高安全带的识别精度。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种安全带识别方法，该安全带识别方法包括获取待检测图像；对图像进行安全带及安全绳分割，得到图像的掩膜图；对掩膜图进行分类，以对安全带进行识别。

其中，对图像进行安全带及安全绳分割，得到图像的掩膜图包括：利用堆叠沙漏网络对图像进行安全带及安全绳分割，得到图像的掩膜图。

其中，利用堆叠沙漏网络对图像进行安全带及安全绳分割，得到图像的掩膜图包括：对输入图像进行多次下采样处理得到第一图像数据，其中，每次下采样之前分出一路原尺度中间图像数据，并分别提取每路中间图像数据的特征信息；对第一图像数据进行多次上采样处理，每次上采样之后得到过程图像数据，并将过程图像数据的特征信息和与过程图像数据相同尺度的中间图像数据的特征信息相加，得到第二图像数据，第二图像的尺度与输入图像的尺度相同。

其中，利用堆叠沙漏网络对图像进行安全带及安全绳分割，得到图像的掩膜图包括：堆叠沙漏网络输出的掩膜图为一位有效编码图。

其中，利用堆叠沙漏网络对图像进行安全带及安全绳分割，得到图像的掩膜图包括：堆叠沙漏网络包括两次堆叠的四阶沙漏网络，堆叠沙漏网络的输出层包括两个输出通道。

其中，对掩膜图进行分类，以对安全带进行识别包括：分别计算掩膜图中不包含安全带以及包含哪种类型安全带的概率；选取概率值最大的状态作为图像的安全带状态。

其中，分别计算掩膜图中不包含安全带以及包含哪种类型安全带的概率包括：利用resnet18网络对掩膜图进行识别分类；输出掩膜图中不包含安全带以及包含哪种类型安全带的概率。

其中，获取待检测图像包括：获取监控视频，抽取视频中的每帧图像；利用深度学习算法对每帧图像进行人体检测，获取感兴趣区域图像，将感兴趣区域图像作为待检测图像。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种安全带识别设备，安全带识别设备包括处理器，处理器用于执行指令以实现上述的安全带识别方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现上述的安全带识别方法。

本发明的有益效果是：区别于现有技术的情况，本发明对待检测图像中的安全带及安全绳进行分割，只提取出目标前景即安全带及安全绳的掩膜图，极大避免了背景干扰，同时考虑到不同类型的安全带对应的安全绳可能不同，考虑了安全绳对之后进行分类的影响，也对安全绳进行分割，进一步增强识别准确度，将精确分割后的掩膜图进行安全带分类，能够更精确地识别安全带状态。

附图说明

图1是本申请实施方式中一安全带识别方法的流程示意图；

图2是本申请实施方式中另一安全带识别方法的流程示意图；

图3是本申请实施方式中堆叠沙漏网络模型的示意图；

图4是本申请实施方式中堆叠沙漏网络模型中沙漏网络的示意图；

图5是本申请实施方式中堆叠沙漏网络模型中残差模块的示意图；

图6是本申请实施方式中安全带识别装置的结构示意图；

图7是本申请实施方式中安全带识别设备的结构示意图；

图8是本申请实施方式中计算机可读存储介质的结构示意图。

具体实施方式

为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。

本申请提供一种安全带识别方法，对待检测图像中的安全带及安全绳进行分割，只提取出目标前景(安全带及安全绳)的掩膜图，极大避免了背景干扰，同时考虑到安全绳对之后进行分类的影响，也对安全绳进行分割，之后将精确分割后的掩膜图进行安全带分类，能够提高安全带状态的识别精度。

请参阅图1，图1是本申请实施方式中一安全带识别方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施方式包括：

s110：获取待检测图像。

其中，可以利用监控摄像头拍摄的监控视频获取图像，也可以从本地获取图像。为了描述方便，在本申请实施例中，均以监控视频为例进行说明。获取监控摄像头拍摄的监控视频，并对视频进行抽帧处理，获得每一帧监控视频图像作为待检测图像。

s120：对图像进行安全带及安全绳分割，得到图像的掩膜图。

从待检测图像中识别安全带及安全绳，以此对图像进行掩膜处理。用选定的图像(掩膜)分别对安全带以外区域及安全绳以外区域进行遮挡，来控制将安全带及安全绳从待检测的图像中分割出来，掩膜处理之后得到待检测图像的掩膜图。

s130：对掩膜图进行分类，以对安全带进行识别。

目前高空作业人员佩戴的安全带种类不一，如腰带式安全带，交叉背带式安全带等。安全带的类别不同，所对应的安全带及安全绳的位置和结构也不同，若直接根据图像进行分类，难以对安全带状态精准分类。因此，先对待检测图像中安全带及安全绳进行分割，得到含有安全带及安全绳的掩膜图，根据掩膜图中安全带及安全绳的位置和结构对安全带状态进行分类识别。该实施方式中，按照掩膜图中是否包含安全带以及包含哪种类型的安全带对掩膜图进行分类。

该实施方式中，通过对待检测图像中的安全带及安全绳进行分割，极大避免了背景干扰，只提取出目标前景(安全带及安全绳)的掩膜图，同时考虑到安全绳对之后进行分类的影响，也对安全绳进行分割，之后将精确分割后的掩膜图进行安全带分类，能够提高安全带状态的识别精度。

请参阅图2，图2是本申请实施方式中另一安全带识别方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：

s211：获取监控视频图像。

目前高空作业活动中，多使用监控来实时监测作业情况以及作业人员安全情况。该实施方式中，利用监控摄像头拍摄的监控视频获取图像，监控视频图像实时连续，便于对高空作业人员安全带进行实时监测。获取监控摄像头拍摄的监控视频，并对视频进行抽帧，获得每一帧监控视频图像。

s212：对监控视频图像进行人体检测，截取感兴趣区域图像。

具体地，从监控视频中得到的图像中，可能存在电线杆，高压电线等杂乱背景，对后续图像分割分类造成干扰。因此，可利用深度学习算法将抽取中的每帧图像送入卷积神经网络进行人体检测。获取人体检测框，并截取该检测框的感兴趣区域图像(regionofinterest，roi)。人体相对于安全带像素占比更多，目标更大，更易检出。对此，不对人体检测具体使用的卷积神经网络模型进行限定。

s220：对感兴趣区域图像进行安全带及安全绳分割，得到感兴趣区域图像的掩膜图。

该实施方式中，可利用堆叠沙漏网络模型识别roi图像中的安全带及安全绳并进行掩膜处理，将安全带及安全绳从roi图像中分割出来，得到掩膜图。其中，利用沙漏网络识别安全带安全绳的过程包括：对输入图像进行多次下采样处理得到第一图像数据，其中，每次下采样之前分出一路原尺度中间图像数据，并分别提取每路中间图像数据的特征信息；对第一图像数据进行多次上采样处理，每次上采样之后得到过程图像数据，提取过程图像数据的特征信息，并将过程图像数据的特征信息和与过程图像数据相同尺度的中间图像数据的特征信息相加，得到第二图像数据，第二图像的尺度与输入图像的尺度相同。

其中，可以采用一个沙漏网络，也可以堆叠多个沙漏网络，所用沙漏网络可以是一阶沙漏网络、二阶沙漏网络、四阶沙漏网络等，具体可根据需要设定。其中，使用几阶沙漏网路即对图像进行几次上采样和下采样处理。本申请将以由四阶沙漏网络堆叠两次构成的网络模型为例进行说明。

具体请结合参阅图3，4，5，图3是本申请实施方式中堆叠沙漏网络模型的示意图。图4是本申请实施方式中堆叠沙漏网络模型中沙漏网络的示意图。图5是本申请实施方式中堆叠沙漏网络模型中残差模块的示意图。

如图3所示，本申请实施方式中堆叠沙漏网络模型对输出层中卷积层的通道数进行修改，在输出层两通道分别对安全带以外区域及安全绳以外区域进行遮挡，实现安全带及安全绳的分割，输出roi图像一位有效(one-hot编码)形式的掩膜图。

具体的，将roi图像数据输入到堆叠沙漏网络模型中，首先输入到残差模块31进行特征提取，输出的数据分为上下两分路，上分路保持原有图像特征数据不变，送入加法器。下分路将数据依次输入沙漏网络32和残差模块33进行特征提取，输出的特征数据再次分为上下两分路，上分路图像的特征数据连续两次与1×1大小的卷积核做卷积运算，得到的图像数据送入加法器。下分路的图像数据与1×1大小的卷积核做卷积运算，得到的图像数据也送入加法器，将上述三个数据相加。求和得到的图像数据再次进入沙漏网络34和残差模块35，再将运算结果与1×1大小的卷积核做卷积运算，输出roi图像的掩膜图。

如图4所示，上述沙漏网络均采用四阶沙漏网络。具体地，将图像数据输入沙漏网络中，分为上下两分路，上分路保持原尺度信息(即分出中间图像数据)，输入残差模块中进行特征提取，下分路进行下采样处理，变为1/2的原有尺度信息，输入残差模块中进行特征提取。输出的图像信息再次分为上下两分路，对图像数据进行四次分路和下采样之后，得到第一图像数据。其中，每次下采样之后进行一次残差模块特征提取。再一次进行残差模块特征提取之后，对第一图像数据进行上采样，变为1/8的原有尺度信息，得到的数据与同样尺度信息的中间图像数据一起送入加法器，进行相加。对图像数据进行四次上采样和加法运算之后，得到第二图像数据，第二图像的尺度与输入图像的尺度相同。其中，每次上采样之前进行一次残差模块特征提取。通过四阶沙漏网络模型提取了从原有尺度信息到1/16的原有尺度信息的图像数据。

如图5所示，上述堆叠沙漏网络模型中残差模块均采用该结构。具体地，将图像数据输入残差模块进行特征提取时，将数据分为上下两分路，上分路为卷积路，卷积路的数据与3×3大小的卷积核做卷积运算，得到的数据送入加法器。下分路为跳级路，跳级路的数据与1×1大小的卷积核做卷积运算，得到的数据也送入加法器，将上述两个数据相加。输出求和得到的图像数据。

s230：对掩膜图进行分类，以对安全带进行识别。

安全带的类别不同，所对应的安全带及安全绳的位置和结构也不同，得到掩膜图也不同。根据掩膜图的不同，对roi图像中安全带佩戴类型按预设类别进行分类。预设类别包括：未穿戴安全带、穿戴腰带式安全带及穿戴交叉背带式安全带。

分别输出未穿戴安全带、穿戴腰带式安全带及穿戴交叉背带式安全带的概率，三种状态概率和为1，选取概率值最大的状态作为该帧图像的安全带状态。在一实施例中，对从监控视频中得到的一帧图像进行分割分类处理，输出的结果为：未穿戴安全带概率0.1，穿戴腰带式安全带概率0.1，穿戴交叉背带式安全带概率0.8，则该帧图像中高空作业人员的安全带状态为穿戴交叉背带式安全带。

具体地，该实施方式采用resnet18网络作为骨干模型。resnet18网络包含17个卷积层和1个全连接层。可以使用完整的resnet18网络，也可对resnet18网络进行剪裁，如减少卷积层或/和减少通道数等。

s240：如果安全带状态为未穿戴安全带，则将该帧图像上传系统，保存并报警。

若当前帧图像识别结果为未佩戴安全带时，将该帧图像上传系统保存，并进行报警。若当前帧图像识别结果为穿戴腰带式安全带或穿戴交叉背带式安全带，则将该高空作业人员穿戴的安全带类别上传至系统保存。

以上实施方式中，利用深度学习设计一个网络结构实现端到端识别安全带状态。通过识别人体，截取roi图像，缩小安全带及安全绳检测范围，之后识别roi图像中的安全带及安全绳并进行分割，将分割后的掩膜图进行安全带分类，对未穿戴安全带情况进行报警。本申请先截取人体区域，并且只对目标前景进行分类识别，极大避免了背景干扰，能够更精确地识别安全带状态。同时不仅实现了对未穿戴安全带进行报警的功能，而且实现了识别安全带时输出安全带细类别的功能。

请参阅图6，图6是本申请实施方式中安全带识别装置的结构示意图。该实施方式中，人脸识别装置包括获取模块61、分割模块62和分类模块63。

其中获取模块61用于获取待检测图像；分割模块62用于对图像进行安全带及安全绳分割，得到图像的掩膜图；分类模块63用于对掩膜图进行分类，以对安全带进行识别。该安全带识别装置用于安全带识别时，对待检测图像中的安全带及安全绳进行分割，只提取出目标前景即安全带及安全绳的掩膜图，极大避免了背景干扰，同时考虑到安全绳对之后进行分类的影响，也对安全绳进行分割，进一步增强识别准确度，将精确分割后的掩膜图进行安全带分类，能够更精确地识别安全带状态。

请参阅图7，图7是本申请实施方式中安全带识别设备的结构示意图。该实施方式中，安全带识别设备71包括处理器72。

处理器72还可以称为cpu(centralprocessingunit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器72也可以是任何常规的处理器等。

安全带识别设备71可以进一步包括存储器(图中未示出)，用于存储处理器72运行所需的指令和数据。

处理器72用于执行指令以实现上述本申请安全带识别方法任一实施例及任意不冲突的组合所提供的方法。

请参阅图8，图8为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质81存储有指令/程序数据82，该指令/程序数据82被执行时实现本申请安全带识别方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据82可以形成程序文件以软件产品的形式存储在上述存储介质81中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质81包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。