着装安全检测方法、装置、存储介质及计算机设备与流程

1.本发明涉及目标检测技术领域，尤其涉及一种着装安全检测方法、装置、存储介质及计算机设备。


背景技术：

2.工业生产与建设过程中，工作服和安全帽在安全事故防范中起到了举足轻重的作用。根据大量数据统计，许多安全生产事故常常是由人为因素造成的。因此，按规定穿着工作服和佩戴安全帽，是安全生产的必要措施。统一颜色和标志的工作服，不仅利用作业人员的生命安全，便于管理，也起到快速对现场人员身份进行识别的作用，在一定程度上可以防范外来人员入侵。
3.目前，国内外已有一些学者对计算机视觉下安全着装检测进行了研究，通过目标检测技术实现工业生产和建设现场的安全行为检测。但是，当前主流的目标检测技术主要存在以下几点不足：(1)由于待检测人员距离监控摄像头的距离的改变，导致人体目标尺度出现大幅变化的情况下，无法对安全着装进行准确、鲁棒的检测；(2)当变电站施工人员较多，待检测人员的着装情况可能较为繁杂，且人与人之间可能存在相互的遮挡，使得安全着装检测的结果会出现较大偏差；(3)随着天气的变化，光线随之会发生改变，导致提取的特征信息发生变化，进而影响目标检测精度。


技术实现要素：

4.本发明的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中对工业生产和建设现场的安全行为进行检测时，无法对着装安全进行准确、鲁棒的检测，且安全着装检测结果容易出现较大偏差，进而影响目标检测精度的技术缺陷。
5.本发明提供了一种着装安全检测方法，包括：
6.利用获取到的训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型，其中，所述神经网络模型为双阶段的双流卷积神经网络；
7.获取待检测图像，将所述待检测图像输入到所述双流卷积神经网络的一路分支中提取多层级的深度特征图，使用特征金字塔对各层级的深度特征图融合后逐层进行特征增强及提取感兴趣区域；
8.选取融合后的单层深度特征图输入到所述双流卷积神经网络的另一路分支中，并使用类别注意力机制提取类别注意力特征图，将所述类别注意力特征图与提取到的感兴趣区域进行加权求和后确定最终的检测结果，根据所述检测结果确定着装安全情况。
9.可选地，所述利用获取到的训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型的步骤，包括：
10.获取训练图像，对所述训练图像进行标注后确定对应的对象位置和对象类别，依据所述训练图像、对象位置和对象类别得到训练数据集；
11.将所述训练数据集中的训练图像输入到神经网络模型中，将对应的对象位置和对象类别作为所述神经网络模型的输出，对所述神经网络模型进行训练；
12.根据训练后得到的总体损失函数调整所述神经网络模型中的参数，并利用调整后的参数继续对所述神经网络模型进行训练，直到所述总体损失函数达到目标值为止，得到训练好的神经网络模型。
13.可选地，所述总体损失函数包括所述神经网络模型中一路分支对应的分类损失函数以及另一路分支对应的类别注意力损失函数。
14.可选地，将所述待检测图像输入到所述双流卷积神经网络的一路分支中提取多层级的深度特征图，使用特征金字塔对各层级的深度特征图融合后逐层进行特征增强及提取rois的步骤，包括：
15.将所述待检测图像输入到所述双流卷积神经网络的一路分支，利用所述分支中的resnext提取深度特征图，并使用fpn特征金字塔将resnex中至少两个层级的深度特征图进行自上而下的融合；
16.使用高斯非局部注意力机制对融合后的深度特征度进行逐层特征增强，并利用rpn逐层提取特征增强后的深度特征图中的感兴趣区域，对所述感兴趣区域的特征继续进行提取后得到多特征的感兴趣区域。
17.可选地，所述利用rpn逐层提取特征增强后的深度特征图中的感兴趣区域，对所述感兴趣区域的特征继续进行提取后得到多特征的感兴趣区域的步骤，包括：
18.利用rpn逐层提取特征增强后的深度特征图中的感兴趣区域，得到不同尺度的感兴趣区域；
19.将单个尺度的感兴趣区域送入具有通道注意力机制的卷积层，利用所述卷积层中的多个通道对所述感兴趣区域的特征图进行拼接，得到多特征的感兴趣区域。
20.可选地，所述特征金字塔为fpn特征金字塔；
21.所述选取融合后的单层深度特征图输入到所述双流卷积神经网络的另一路分支中，并使用类别注意力机制提取类别注意力特征图的步骤，包括：
22.选取融合后的p2层级深度特征图输入到所述双流卷积神经网络的另一路分支，利用所述分支中专注于类别的卷积层提取所述p2层级深度特征图中不同类别的响应图；
23.将所述响应图输入到全局池化层中进行全局池化后得到相应的置信度，将不同类别的响应图对应的置信度进行排序后，选取置信度最高的响应图作为目标对象的类别注意力特征图。
24.可选地，将所述类别注意力特征图与提取到的感兴趣区域进行加权求和后确定最终的检测结果的步骤，包括：
25.将提取到的感兴趣区域映射到所述类别注意力特征图中，得到感兴趣注意力特征图，根据所述感兴趣注意力特征图确定目标位置和目标类别，并将所述目标位置和目标类别作为最终的检测结果。
26.本发明还提供了一种着装安全检测装置，包括：
27.模型训练单元，用于利用获取到的训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型，其中，所述神经网络模型为双阶段的双流卷积神经网络；
28.目标检测单元，用于获取待检测图像，将所述待检测图像输入到所述双流卷积神经网络的一路分支中提取多层级的深度特征图，使用特征金字塔对各层级的深度特征图融合后逐层进行特征增强及提取感兴趣区域；
29.着装安全检测单元，用于选取融合后的单层深度特征图输入到所述双流卷积神经网络的另一路分支中，并使用类别注意力机制提取类别注意力特征图，将所述类别注意力特征图与提取到的感兴趣区域进行加权求和后确定最终的检测结果，根据所述检测结果确定着装安全情况。
30.本发明还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述着装安全检测方法的步骤。
31.本发明还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述着装安全检测方法的步骤。
32.从以上技术方案可以看出，本发明实施例具有以下优点：
33.本发明提供的着装安全检测方法、装置、存储介质及计算机设备，包括：利用获取到的训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型，其中，所述神经网络模型为双阶段的双流卷积神经网络；获取待检测图像，将所述待检测图像输入到所述双流卷积神经网络的一路分支中提取多层级的深度特征图，使用特征金字塔对各层级的深度特征图融合后逐层进行特征增强及提取感兴趣区域；选取融合后的单层深度特征图输入到所述双流卷积神经网络的另一路分支中，并使用类别注意力机制提取类别注意力特征图，将所述类别注意力特征图与提取到的感兴趣区域进行加权求和后确定最终的检测结果，根据所述检测结果确定着装安全情况。
34.与现有技术相比，本发明在神经网络模型的第一路分支中，待检测图像经提取并融合后，将融合后的特征金字塔各个层级分别单独进行特征增强，这样不仅能够提炼目标特征，同时还能够抑制非目标、背景区域；除此之外，还对各个层级特征金字塔中的特征图提取感兴趣区域，实现针对特定目标更加精准的检测，在保证检测速度的前提下，显著提升安全着装检测的精度和鲁棒性；在另外一路分支，通过端到端训练，可以专注于特定类别的注意力特征图，最后将第一路分支的感兴趣区域与第二路分支的类别注意力特征图进行加权求和，从而可以得到专注于特定类别的检测结果，有效提升目标检测精度。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
36.图1为本发明实施例提供的一种着装安全检测方法的流程示意图；
37.图2为本发明实施例提供的注意力特征和深度特征的两阶段双流卷积实现安全着装检测算法流程图；
38.图3为本发明实施例提供的一种着装安全检测装置的结构示意图；
39.图4为本发明实施例提供的一种计算机设备的内部结构示意图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
42.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像本申请实施例中一样被特定定义，否则不会用理想化或过于正式的含义来解释。
43.工业生产与建设中，安全一直是永恒不变的主题，而工作服和安全帽在安全事故的防范当中起到了举足轻重的作用。根据大量数据统计，许多安全生产事故常常是由人为因素造成的。因此，按规定穿着工作服和佩戴安全帽，是安全生产的必要措施。统一颜色和标志的工作服，不仅利用作业人员的生命安全，便于管理，也起到快速对现场人员身份进行识别的作用，在一定程度上可以防范外来人员入侵。
44.当前，工业生产和建设现场的安全行为检测通常利用摄像头采集视频数据，然后通过人工监管来判断人或物的不安全行为和状态。但人工监管存在着诸多的缺点：首先，采用人工监管势必将增加大量的人力成本；其次，人工监管的时间一旦过长就会出现疲劳的情况，这很容易导致监管的误判，甚至疏忽和遗漏；另外，人工监管的过程会受到监控人员情绪、状态、工作经验、性格和生活条件等的影响，这使得安全判别带有强烈的主观性，从而使判别缺乏客观性。
45.目前国内外已有一些学者对计算机视觉下安全着装检测进行了研究，大体可以分为基于传统方法的目标检测，以及基于深度学习的目标检测。传统方法的安全着装检测，包含以下几种：第一种是结合目标检测和颜色特征的检测方法，该方法确定了完整的人体目标之后，选择人体的特定区域进行颜色特征检测；第二种是结合了特征和分类器的检测方法，提取正确穿着安全服的人体目标特征，然后训练分类器(adaboost或svm等)进行分类；第三种是基于颜色区域与目标位置关系的方法，该方法的前提是已知安全服装颜色，然后提取人员目标区域，得到识别结果；第四种是基于安全服装的边缘检测方法，通过分割实现安全着装检测。
46.近些年流行的深度学习算法，可以自主学习目标特征，检测精度高，鲁棒性强，已经广泛应用于计算机视觉的各个领域。基于cnn的目标检测算法，可以分为单阶段、双阶段的目标检测。单阶段检测算法包含ssd系列、yolo系列、retinanet等，能够快速检测目标位置；双阶段目标检测算法，包含fast r
‑
cnn、faster r
‑
cnn、sds
‑
rcnn、r
‑
fcn、mask r
‑
cnn
等，虽然检测速度较慢，但是检测精度和鲁棒性，普遍优于单阶段的目标检测算法。
47.但是，当前主流的目标检测技术主要存在以下几点不足：(1)由于待检测人员距离监控摄像头的距离的改变，导致人体目标尺度出现大幅变化的情况下，无法对安全着装进行准确、鲁棒的检测；(2)当变电站施工人员较多，待检测人员的着装情况可能较为繁杂，且人与人之间可能存在相互的遮挡，使得安全着装检测的结果会出现较大偏差；(3)随着天气的变化，光线随之会发生改变，导致提取的特征信息发生变化，进而影响目标检测精度。
48.因此，本发明旨在解决现有技术中对工业生产和建设现场的安全行为进行检测时，无法对着装安全进行准确、鲁棒的检测，且安全着装检测结果容易出现较大偏差，进而影响目标检测精度的技术问题，具体技术方案如下：
49.示意性地，请参阅图1，图1为本发明实施例提供的一种着装安全检测方法的流程示意图，本发明提供了一种着装安全检测方法，具体包括如下步骤：
50.s110：利用获取到的训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型，其中，所述神经网络模型为双阶段的双流卷积神经网络。
51.本步骤中，利用神经网络模型对待检测人员的着装情况进行检测之前，需要通过大量的训练数据对预先建立的神经网络模型进行训练，以便后续使用该神经网络模型进行着装安全检测。
52.具体地，该训练数据集包括获取到的训练图像，以及标注后的、与该训练图像对应的对象位置和对象类别；其中，获取的训练图像包括但不限于施工现场的人员穿着安全服、未穿着安全服、佩戴安全帽、未佩戴安全帽等多个类别的图像，每个类别大约含有2000张以上的图像；训练图像应满足具有不同尺度(即区域大小)的目标，光线应包含晴天、阴天、下雨等多种类型，从而丰富训练样本的特征信息，有效增强深度学习模型的精度和鲁棒性。
53.进一步地，这里的对象位置指的是训练图像中出现的人体目标区域，包括头部区域和身体区域；这里的对象类别指的是根据头部区域划分的佩戴安全帽和未佩戴安全帽，以及根据身体区域划分的穿着安全服、未穿着安全服这几种类别；这里的对象位置和对象类别的获取过程包括但不限于对获取的训练图像进行手工标定，在手工标注的过程中，应保证标签的正确性，以及标定框的准确性，从而形成深度学习算法的训练数据集。
54.当获取到训练数据集后，利用该训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型，其中，本申请中的神经网络模型为双阶段的双流卷积神经网络，利用双流卷积神经网络对待检测人员的着装进行检测，能够有效提高检测精度和鲁棒性。
55.s120：获取待检测图像，将所述待检测图像输入到所述双流卷积神经网络的一路分支中提取多层级的深度特征图，使用特征金字塔对各层级的深度特征图融合后逐层进行特征增强及提取感兴趣区域。
56.本步骤中，通过步骤s110对双流卷积神经网络进行训练后，可将获取到的待检测图像输入至双流卷积神经网络的一路分支中进行目标检测，判断待检测图像中的待检测目标可能所在的区域。
57.具体地，在利用摄像头等采集到待检测人员的待检测图像后，可将其输入到双流卷积神经网络中，利用其中的一个支路的深度卷积层来提取待检测图像中的特征信息，进
而得到多层级的深度特征图，然后使用特征金字塔对各层级的深度特征图进行融合，并对融合后的深度特征图进行特征增强剂提取感兴趣区域。
58.进一步地，这里得特征金字塔是用于检测不同尺度的对象的识别系统中的基本组件；本申请利用深层卷积网络固有的多尺度金字塔层次结构来构造具有边际额外损失的特征金字塔，该特征金字塔具有横向连接的自上而下的架构，用于在所有尺度上构建高级语义特征图，并且，这种称为特征金子塔网络(fpn)的体系结构在几个应用中作为普通特征提取器显示出显著的改进。
59.更进一步地，将fpn各个层级的参考特征图，分别单独进行特征增强，例如可以逐层级地使用高斯非局部注意力机制。在简化网络参数的同时，抑制了非目标、以及背景区域，使得特征图中的目标区域更为显著，实现对安全着装的精确、鲁棒的检测。
60.对于待检测目标可能所在的区域的提取，可通过在特征增强后的各个金字塔层级上，分别滑动一组相同尺度的锚框，映射到原始图像中，可以得到不同尺度的感兴趣区域rois。
61.另外，对于提取到的感兴趣区域rois，可再次将其送入具有通道注意力机制的卷积层，进一步提取特征信息，且拼接后的每个roi都包含多个通道的特征图，这样不仅可以丰富高层级的语义特征信息，还实现了基于通道的注意力机制。
62.s130：选取融合后的单层深度特征图输入到所述双流卷积神经网络的另一路分支中，并使用类别注意力机制提取类别注意力特征图，将所述类别注意力特征图与提取到的感兴趣区域进行加权求和后确定最终的检测结果，根据所述检测结果确定着装安全情况。
63.本步骤中，通过步骤s120将待检测图像输入到双流卷积神经网络的一路分支中进行目标检测，判断待检测图像中的待检测目标可能所在的区域后，进一步地，可选取融合后的单层深度特征图输入到双流卷积神经网络的另一路分支中，以便在另一路分支中使用类别注意力机制来提取类别注意力特征图。
64.当提取到类别注意力特征图后，需要将双流卷积神经网络的两个分支中检测的结果进行融合，进而得到最终的检测结果。例如，将类别注意力特征图与提取到的感兴趣区域进行加权融合，即可得到感兴趣注意力特征图，该感兴趣注意力特征图中框选出目标位置和目标类别，根据该目标位置和目标类别，即可确认当前待检测图像中的待检测人员身体区域是否穿着安全服、头部区域是否佩戴安全帽。
65.与现有技术相比，本实施例在神经网络模型的第一路分支中，待检测图像经提取并融合后，将融合后的特征金字塔各个层级分别单独进行特征增强，这样不仅能够提炼目标特征，同时还能够抑制非目标、背景区域；除此之外，还对各个层级特征金字塔中的特征图提取感兴趣区域，实现针对特定目标更加精准的检测，在保证检测速度的前提下，显著提升安全着装检测的精度和鲁棒性；在另外一路分支，通过端到端训练，可以专注于特定类别的注意力特征图，最后将第一路分支的感兴趣区域与第二路分支的类别注意力特征图进行加权求和，从而可以得到专注于特定类别的检测结果，有效提升目标检测精度。
66.在一个实施例中，步骤s110中利用获取到的训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型的步骤，可以包括：
67.s111：获取训练图像，对所述训练图像进行标注后确定对应的对象位置和对象类别，依据所述训练图像、对象位置和对象类别得到训练数据集；
68.s112：将所述训练数据集中的训练图像输入到神经网络模型中，将对应的对象位置和对象类别作为所述神经网络模型的输出，对所述神经网络模型进行训练；
69.s113：根据训练后得到的总体损失函数调整所述神经网络模型中的参数，并利用调整后的参数继续对所述神经网络模型进行训练，直到所述总体损失函数达到目标值为止，得到训练好的神经网络模型。
70.本实施例中，利用神经网络模型对待检测人员的着装情况进行检测之前，需要通过大量的训练数据对预先建立的神经网络模型进行训练，以便后续使用该神经网络模型进行着装安全检测。
71.具体地，该训练数据集包括获取到的训练图像，以及标注后的、与该训练图像对应的对象位置和对象类别；其中，获取的训练图像包括但不限于施工现场的人员穿着安全服、未穿着安全服、佩戴安全帽、未佩戴安全帽等多个类别的图像，每个类别大约含有2000张以上的图像；训练图像应满足具有不同尺度(即区域大小)的目标，光线可以包含晴天、阴天、下雨等多种类型，从而丰富训练样本的特征信息，有效增强深度学习模型的精度和鲁棒性。
72.当获取到训练数据集后，将训练数据集中的训练图像作为神经网络模型的输入，将与该训练图像对应的对象位置和对象类别作为神经网络模型的输出，进而对该神经网络模型进行迭代训练，每次训练后计算该神经网络模型的总体损失函数，通过寻找总体损失函数的最小值，来寻求最优解，并根据总体损失函数的当前值调整神经网络模型中的参数，直到总体损失函数达到最优解后结束迭代过程，得到训练好的神经网络模型。
73.在一个实施例中，所述总体损失函数可以包括所述神经网络模型中一路分支对应的分类损失函数以及另一路分支对应的类别注意力损失函数。
74.本实施例中，由于本申请使用的神经网络模型为双流卷积神经网络，因而，该双流卷积神经网络包含两路分支，其中一路分支用于对待检测图像进行目标检测，另一路分支用于类别注意力检测，最后将两个分支检测的结果进行融合后得到最终的检测结果。
75.因而，在模型训练的过程中，计算总体损失函数时，需要分别计算一路分支对应的分类损失函数以及另一路分支对应的类别注意力损失函数，对分类损失函数与类别注意力损失函数进行加权求和，作为整个神经网络目标检测的总体损失函数。
76.举例来说，由于本申请提出的算法是基于两阶段的目标检测算法，该目标检测算法可进一步包含rpn网络和目标检测器，其中，rpn阶段的分类损失定义如下：
[0077][0078]
如上式所示，其中，i表示在一个小的训练批次中anchors的序号，p
i
是预测第i个anchor为目标的概率，用于区分正负锚点，t
i
表示rpn阶段预测得到的边界框，表示目标真实的边界框位置，n
cls
为训练的一个小批次的大小，n
reg
是anchors的数量，λ是平衡参数，用于平衡分类损失和回归损失。
[0079]
进一步地，l
cls1
分类损失函数采用了指数损失，定义如下：
[0080]
l
cls1
＝
‑
log(p
i
)
[0081]
其中，p
i
是预测第i个anchor为目标的概率。
[0082]
而l
loc1
回归损失函数则采用smoothl1损失，计算公式如下：
[0083][0084]
其中，x表示归一化后的距离，本文计算了归一化距离δ[0]，δ[1]，δ[2]，δ[3]，计算公式如下：
[0085][0086][0087]
其中，a
x
，a
y
，a
w
，a
h
分别表示锚框中心位置的横坐标，纵坐标，锚框的宽度和高度，t
x
，t
y
，t
w
，t
h
分别表示真实目标区域的中心点横坐标，纵坐标，真实区域的宽度和高度。
[0088]
将归一化后的距离δ[0]，δ[1]，δ[2]，δ[3]分别代入smooth l1损失函数，i表示每组归一化距离的序号，得到边界框分支的回归损失函数l
loc1
，计算公式为：
[0089][0090]
更进一步地，目标检测器的损失函数定义如下：
[0091]
l(p,u,t
u
,v)＝l
cls2
(p,u)+δ[u≥1]l
loc2
(t
u
,v)+θl
acl
[0092]
其中，p是预测目标的置信度，u是目标的真实类别，t
u
表示对应u类别的预测边界框，v表示对应u类别的真实边界框所在位置，l
cls2
为分类损失(计算方式与l
cls1
相同)，是对应真实类别的对数损失，δ、θ是平衡参数(本文中，选取δ＝θ＝1)，l
loc2
是smooth l1回归损失函数(计算方式与l
loc1
相同)，[u≥1]是等级指示函数，当u≥1时，等级指示函数值为1，否则，函数值为0，从而可以只对前景目标计算边界框损失，而不计算背景的回归损失。
[0093]
式中的l
acl
是类别注意力损失函数，定义如下：
[0094][0095]
其中，n
roi
是roi数目，是第个roi的注意力得分，l
cls2
是分类损失，p
i
是第i个roi预测目标类别的置信度，u
i
是第i个预测目标的真实类别。
[0096]
预测目标的置信度可通过神经网络模型的另一路分支中专注于类别的卷积层，提取各个特定类别的响应图，然后将响应图送入全局池化层，将全局池化后的数值作为目标的置信度。
[0097]
roi的注意力得分的计算过程为：选取置信度最高的响应图，作为目标的类别注意力特征图，对于每一个待检测目标类别，将所有的rois区域映射到目标的类别注意力特征图，进而可以得到所有的rois注意力特征图；接着，对rois注意力特征图进行全局平均池化，提取所有rois的注意力分数，即可得到roi的注意力得分。
[0098]
在一个实施例中，如图2所示，图2为本发明实施例提供的注意力特征和深度特征的两阶段双流卷积实现安全着装检测算法流程图；步骤s120中将所述待检测图像输入到所述双流卷积神经网络的一路分支中提取多层级的深度特征图，使用特征金字塔对各层级的深度特征图融合后逐层进行特征增强及提取rois的步骤，可以包括：
[0099]
s121：将所述待检测图像输入到所述双流卷积神经网络的一路分支，利用所述分支中的resnext提取深度特征图，并使用fpn特征金字塔将resnex中至少两个层级的深度特征图进行自上而下的融合；
[0100]
s122：使用高斯非局部注意力机制对融合后的深度特征度进行逐层特征增强，并利用rpn逐层提取特征增强后的深度特征图中的感兴趣区域，对所述感兴趣区域的特征继续进行提取后得到多特征的感兴趣区域。
[0101]
本实施例中，在传统的提高模型准确率的方式中，一般都会加深或加宽网络，但是随着超参数数量的增加(比如channels数，filter size等等)，网络设计的难度和计算开销也会增加，因此本申请中，对待检测图像进行特征提取时，选用resnext结构，该结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。
[0102]
使用resnext提取深度特征图后，可利用fpn特征金字塔将resnex中至少两个层级的深度特征图进行自上而下的融合。进一步地，可将resnext的c2
‑
c4层级的参考特征图，使用1
×
1卷积层变化至相同的维度，自上而下的对特征图进行融合，该过程显著地增强了低层级特征图的语义信息。
[0103]
需要说明的是，这里没有使用resnext中的c1层级，是因为该层的特征图尺度过大，会明显减慢神经网络的计算速度。
[0104]
利用fpn特征金字塔将resnex中至少两个层级的深度特征图进行自上而下的融合后，可使用高斯非局部注意力机制对融合后的深度特征度进行逐层特征增强，并利用rpn逐层提取特征增强后的深度特征图中的感兴趣区域，对所述感兴趣区域的特征继续进行提取后得到多特征的感兴趣区域。
[0105]
具体地，将fpn特征金字塔中各个层级的参考特征图，逐层级地使用高斯非局部注意力机制进行特征增强，使用高斯非局部注意力机制进行特征增强后，不仅能够简化网络参数，还能够抑制非目标以及背景区域，使得特征图中的目标区域更为显著，实现对安全着装的精确、鲁棒的检测。
[0106]
接着，将特征增强后的深度特征图通过多尺度rpn提取感兴趣区域rois(即待检测目标可能所在的区域)，该操作过程可以通过在特征增强后的各个金字塔层级上，分别滑动一组相同尺度的锚框，映射到原始图像中，进而得到不同尺度的感兴趣区域rois。
[0107]
更进一步地，为了丰富高层级的语义特征信息，并实现基于通道的注意力机制，可将rois送入具有通道注意力机制的卷积层，进一步提取特征信息，且拼接后的每个roi都包含多个通道的特征图。
[0108]
在一个实施例中，步骤s122中利用rpn逐层提取特征增强后的深度特征图中的感兴趣区域，对所述感兴趣区域的特征继续进行提取后得到多特征的感兴趣区域的步骤，可以包括：
[0109]
s221：利用rpn逐层提取特征增强后的深度特征图中的感兴趣区域，得到不同尺度的感兴趣区域；
[0110]
s222：将单个尺度的感兴趣区域送入具有通道注意力机制的卷积层，利用所述卷积层中的多个通道对所述感兴趣区域的特征图进行拼接，得到多特征的感兴趣区域。
[0111]
本实施例中，将特征增强后的深度特征图通过多尺度rpn提取感兴趣区域rois(即待检测目标可能所在的区域)，该操作过程可以通过在特征增强后的各个金字塔层级上，分
别滑动一组相同尺度的锚框，映射到原始图像中，进而得到不同尺度的感兴趣区域rois。
[0112]
进一步地，为了丰富高层级的语义特征信息，并实现基于通道的注意力机制，可将rois送入具有通道注意力机制的卷积层，进一步提取特征信息，且拼接后的每个roi都包含多个通道的特征图。
[0113]
该拼接操作包括但不限于squeeze操作和excitation操作，其中，squeeze操作是将各通道的全局空间特征作为该通道的表示，使用全局平均池化生成各通道的统计量；excitation操作是学习各通道的依赖程度，并根据依赖程度对不同的特征图进行调整，得到最后的输出。
[0114]
可以理解的是，注意力机制是一种资源分配的机制，可以理解为对于原本平均分配的资源根据注意力对象的重要程度重新分配资源，重要的单位就多分一点，不重要或者不好的单位就少分一点，在深度神经网络的结构设计中，注意力所要分配的资源一般指的是权重。
[0115]
通道注意力可以理解为让神经网络在看什么，典型的代表是senet。卷积网络的每一层都有很多卷积核，每个卷积核对应一个特征通道，相对于空间注意力机制，通道注意力在于分配各个卷积通道之间的资源，分配粒度上比前者大了一个级别。
[0116]
在一个实施例中，如图2所示，所述特征金字塔为fpn特征金字塔；步骤s130中选取融合后的单层深度特征图输入到所述双流卷积神经网络的另一路分支中，并使用类别注意力机制提取类别注意力特征图的步骤，可以包括：
[0117]
s131：选取融合后的p2层级深度特征图输入到所述双流卷积神经网络的另一路分支，利用所述分支中专注于类别的卷积层提取所述p2层级深度特征图中不同类别的响应图；
[0118]
s132：将所述响应图输入到全局池化层中进行全局池化后得到相应的置信度，将不同类别的响应图对应的置信度进行排序后，选取置信度最高的响应图作为目标对象的类别注意力特征图。
[0119]
本实施例中，取融合后的单层深度特征图输入到双流卷积神经网络的另一路分支的过程中，可优先选取fpn特征金字塔的p2层级深度特征图，作为另一路分支的输入，然后利用该分支中专注于类别的卷积层提取p2层级深度特征图中不同类别的响应图。
[0120]
需要说明的是，由于通过fpn特征金字塔融合后的深度特征图增强了低层级特征图的语义信息，且选取的p2层级的参考特征图，其对应的特征信息的分辨率较高，因此，将p2层级的参考特征图输入到专注于类别的卷积层中，更有利于对不同类别的响应图的提取。
[0121]
提取到不同类别的响应图后，可将对应类别的响应图输入到全局池化层中进行全局池化后得到相应的置信度，然后将不同类别的响应图对应的置信度进行排序后，选取置信度最高的响应图作为目标对象的类别注意力特征图。
[0122]
在一个实施例中，步骤s130中将所述类别注意力特征图与提取到的感兴趣区域进行加权求和后确定最终的检测结果的步骤，包括：
[0123]
将提取到的感兴趣区域映射到所述类别注意力特征图中，得到感兴趣注意力特征图，根据所述感兴趣注意力特征图确定目标位置和目标类别，并将所述目标位置和目标类别作为最终的检测结果。
[0124]
本实施例中，对于双流卷积神经网络来说，得到其中一个分支的目标检测结果以及另一个分支的类别注意力结果后，需要将两者进行融合，以便得到最终的检测结果。
[0125]
其中，将第一路分支中提取到的感兴趣区域与第二路分支得到的类别注意力特征图进行融合时，可选取当前类别中置信度最高的响应图，作为目标的类别注意力特征图，对于每一个待检测的目标类别，将所有的rois区域映射到目标的类别注意力特征图，进而可以得到所有的感兴趣注意力特征图，即rois注意力特征图；接着对rois注意力特征图进行全局平均池化，提取所有rois的注意力分数，即可得到roi的注意力得分。
[0126]
将roi的注意力得分作为类别注意力特征图加权融合时的权重，进而可以得到加权融合后的检测结果。
[0127]
在一个实施例中，如图3所示，图3为本发明实施例提供的一种着装安全检测装置的结构示意图；本发明还提供了一种着装安全检测装置，包括模型训练单元110、目标检测单元120、着装安全检测单元130，具体包括如下：
[0128]
模型训练单元110，用于利用获取到的训练数据集对神经网络模型进行迭代训练，直到迭代停止条件满足为止，得到训练好的神经网络模型，其中，所述神经网络模型为双阶段的双流卷积神经网络；
[0129]
目标检测单元120，用于获取待检测图像，将所述待检测图像输入到所述双流卷积神经网络的一路分支中提取多层级的深度特征图，使用特征金字塔对各层级的深度特征图融合后逐层进行特征增强及提取感兴趣区域；
[0130]
着装安全检测单元130，用于选取融合后的单层深度特征图输入到所述双流卷积神经网络的另一路分支中，并使用类别注意力机制提取类别注意力特征图，将所述类别注意力特征图与提取到的感兴趣区域进行加权求和后确定最终的检测结果，根据所述检测结果确定着装安全情况。
[0131]
与现有技术相比，本实施例在神经网络模型的第一路分支中，待检测图像经提取并融合后，将融合后的特征金字塔各个层级分别单独进行特征增强，这样不仅能够提炼目标特征，同时还能够抑制非目标、背景区域；除此之外，还对各个层级特征金字塔中的特征图提取感兴趣区域，实现针对特定目标更加精准的检测，在保证检测速度的前提下，显著提升安全着装检测的精度和鲁棒性；在另外一路分支，通过端到端训练，可以专注于特定类别的注意力特征图，最后将第一路分支的感兴趣区域与第二路分支的类别注意力特征图进行加权求和，从而可以得到专注于特定类别的检测结果，有效提升目标检测精度。
[0132]
在一个实施例中，本发明还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述着装安全检测方法的步骤。
[0133]
在一个实施例中，本发明还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述着装安全检测方法的步骤。
[0134]
示意性地，如图4所示，图4为本发明实施例提供的一种计算机设备的内部结构示意图，该计算机设备200可以被提供为一服务器。参照图4，计算机设备200包括处理组件202，其进一步包括一个或多个处理器，以及由存储器201所代表的存储器资源，用于存储可由处理组件202的执行的指令，例如应用程序。存储器201中存储的应用程序可以包括一个
或一个以上的每一个对应于一组指令的模块。此外，处理组件202被配置为执行指令，以执行上述任意实施例的着装安全检测方法。
[0135]
计算机设备200还可以包括一个电源组件203被配置为执行计算机设备200的电源管理，一个有线或无线网络接口204被配置为将计算机设备200连接到网络，和一个输入输出(i/o)接口205。计算机设备200可以操作基于存储在存储器201的操作系统，例如windows server tm、mac os xtm、unix tm、linuxtm、free bsdtm或类似。
[0136]
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0137]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。