一种工地扬尘探测处理方法、装置、存储介质以及系统与流程

1.本发明涉及工地扬尘探测处理技术领域，尤其涉及一种工地扬尘探测处理方法、装置、存储介质及系统。


背景技术：

2.人工智能技术是用于模拟、延伸和扩展人的智能的技术科学，属于计算机科学的分支，它通过了解智能的实质，生产出能与人类智能相似的方式做出反应的智能机器，研究方向包括机器人、语言识别、图像识别、自然语言处理和专家系统等。运用人工智能技术中的深度卷积神经网络技术可以更好地提取图像特征，同时对网络结构进行特别的设计就可以实现对人脸图像中细粒度特征地提取，使得人脸识别地效果更加准确有效。小波分析理论作为一种时频分析工具,在信号分析和处理中得到了很好的应用。平面图像可以看成是二维信号，因此，小波分析很自然地应用到了图像处理领域。图像去噪和边缘检测是图像预处理中应用非常广泛的技术，其作用是为了提高信噪比，突出图像的期望特征，以便对其进行更高层次的处理。小波变换由于其自身的优良特性而在图像处理中得到了越来越多的应用。智慧工地是当前非常热门的概念，各种新技术被用来解决施工现场的安全、卫生等问题。工地中的正常作业任务如倾倒/搅拌砂石水泥，或者市拆除废弃建筑，通常会引起大规模的扬尘，不仅造成现场施工人员的呼吸困难，还容易导致施工现场周边环境污染。工地扬尘探测与消除是智慧工地需要处理的一个普遍问题。目前常用的方式是在施工工地的围墙上面安装喷水装置，减少扬尘。
3.在现有技术中，通常通过运行传统喷雾装置的方式进行除尘。
4.但是，现有技术仍存在如下缺陷：不进行尘土探测，无法实现区域针对性处理，从而导致除尘效率较低；且长期运行传统喷雾装置的方式浪费水资源。
5.因此，当前需要一种工地扬尘探测处理方法、装置、计算机可读存储介质以及系统，从而克服现有技术中存在的上述缺陷。


技术实现要素：

6.本发明实施例提供一种工地扬尘探测处理方法、装置、计算机可读存储介质以及系统，从而提升工地上的除尘效率。
7.本发明一实施例提供一种工地扬尘探测处理方法，所述探测处理方法包括：获取待探测处理的工地视频帧；根据预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数；所述特征识别模型包括cnn层、区域建议网络以及池化层；其中，所述cnn层为预设的小波卷积神经网络；根据所述边界框位置以及所述扬尘分数，确定除尘方案并根据所述除尘方案进行除尘。
8.作为上述方案的改进，根据预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数，具体包括：将所述工地视频帧输入所述小波卷积神经网络以进行特征提取，获得特征金字塔网络；通过所述区域建议网络
对所述特征金字塔网络进行特征映射，获得第一感兴趣区域以及对应的区域特征；根据所述区域特征，对所述第一感兴趣区域进行位置修正，获得待除尘区域、对应的边界框位置以及扬尘分数。
9.作为上述方案的改进，将所述工地视频帧输入所述小波卷积神经网络以进行特征提取，获得特征金字塔网络，具体包括：通过卷积层，对所述工地视频帧进行卷积变换以获取卷积特征；所述小波卷积神经网络包括卷积层和小波变换层；根据所述卷积特征以及所述小波变换层，对所述工地视频帧进行三次小波变换和特征连接，获取特征金字塔网络。
10.作为上述方案的改进，通过所述区域建议网络对所述特征金字塔网络进行特征映射，获得第一感兴趣区域以及对应的区域特征，具体包括：将所述特征金字塔输入所述区域建议网络中，获取建议边界框以及对应的对象性分数；通过预设的非最大抑制算法，根据对象性分数对建议边界框进行筛选，获得第一感兴趣区域以及对应的区域特征。
11.作为上述方案的改进，根据所述区域特征，对所述第一感兴趣区域进行修正，获得待除尘区域、对应的边界框位置以及扬尘分数，具体包括：将所述区域特征输入所述第一感兴趣区域的头部，确定所述第一感兴趣区域对应的类别并计算所述第一感兴趣区域的对象性得分，并根据所述类别、所述对象性得分，计算扬尘分数；根据预设的边界框回归方法，对所述第一感兴趣区域进行偏移预测以获得预测结果，并根据所述预测结果修正所述第一感兴趣区域以获取除尘区域以及对应的边界框位置。
12.作为上述方案的改进，根据所述边界框位置以及所述扬尘分数，确定除尘方案并根据所述除尘方案进行除尘，具体包括：根据所述扬尘分数以及所述边界框位置，确定各个除尘区域的除尘顺序；根据所述除尘顺序，依次对各个除尘区域进行除尘。
13.作为上述方案的改进，在获取待探测处理的工地视频帧之后，所述探测处理方法还包括：将所述工地视频帧裁剪为预设尺寸。
14.本发明另一实施例对应提供了一种工地扬尘探测处理装置，所述探测处理装置包括图像获取单元、区域识别单元以及除尘处理单元，其中，所述图像获取单元用于获取待探测处理的工地视频帧；所述区域识别单元用于根据预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数；所述特征识别模型包括cnn层、区域建议网络以及池化层；其中，所述cnn层为预设的小波卷积神经网络；所述除尘处理单元用于根据所述边界框位置以及所述扬尘分数，确定除尘方案并根据所述除尘方案进行除尘。
15.作为上述方案的改进，所述区域识别单元还用于：将所述工地视频帧输入所述小波卷积神经网络以进行特征提取，获得特征金字塔网络；通过所述区域建议网络对所述特征金字塔网络进行特征映射，获得第一感兴趣区域以及对应的区域特征；根据所述区域特征，对所述第一感兴趣区域进行位置修正，获得待除尘区域、对应的边界框位置以及扬尘分数。
16.作为上述方案的改进，所述区域识别单元还用于：通过卷积层，对所述工地视频帧进行卷积变换以获取卷积特征；所述小波卷积神经网络包括卷积层和小波变换层；根据所述卷积特征以及所述小波变换层，对所述工地视频帧进行三次小波变换和特征连接，获取特征金字塔网络。
17.作为上述方案的改进，所述区域识别单元还用于：将所述特征金字塔输入所述区
域建议网络中，获取建议边界框以及对应的对象性分数；通过预设的非最大抑制算法，根据对象性分数对建议边界框进行筛选，获得第一感兴趣区域以及对应的区域特征。
18.作为上述方案的改进，所述区域识别单元还用于：将所述区域特征输入所述第一感兴趣区域的头部，确定所述第一感兴趣区域对应的类别并计算所述第一感兴趣区域的对象性得分，并根据所述类别、所述对象性得分，计算扬尘分数；根据预设的边界框回归方法，对所述第一感兴趣区域进行偏移预测以获得预测结果，并根据所述预测结果修正所述第一感兴趣区域以获取除尘区域以及对应的边界框位置。
19.作为上述方案的改进，所述除尘处理单元还用于：根据所述扬尘分数以及所述边界框位置，确定各个除尘区域的除尘顺序；根据所述除尘顺序，依次对各个除尘区域进行除尘。
20.作为上述方案的改进，所述探测处理装置还包括输入处理单元，所述输入处理单元用于将所述工地视频帧裁剪为预设尺寸。
21.本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如前所述的工地扬尘探测处理方法。
22.本发明另一实施例提供了一种工地扬尘探测处理系统，所述探测处理系统包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的工地扬尘探测处理方法。
23.与现有技术相比，本技术方案存在如下有益效果：
24.本发明提供了一种工地扬尘探测处理方法、装置、计算机可读存储介质以及系统，通过根据包括预设的小波卷积神经网络、区域建议网络以及池化层的预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数，并根据边界框位置以及扬尘分数识别待探测处理工地中需要除尘的工地区域的紧急程度以进行针对性除尘，该探测处理方法、装置、计算机可读存储介质以及系统提升了工地上的除尘效率。
附图说明
25.图1是本发明一实施例提供的一种工地扬尘探测处理方法的流程示意图；
26.图2是本发明一实施例提供的一种工地扬尘探测处理装置的结构示意图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.具体实施例一
29.本发明实施例首先描述了一种工地扬尘探测处理方法。图1是本发明一实施例提供的一种工地扬尘探测处理方法的流程示意图。
30.如图1所示，所述工地扬尘探测处理方法包括：
31.s1:获取待探测处理的工地视频帧。
32.为了能够识别工地扬尘密度较高的区域，首先获取待探测处理的工地视频，并从工地视频中获取工地视频帧以进行图像分析。在一个实施例中，也可以直接获取工地图像等其他可以描述工地扬尘情况的图像作为本发明实施例中的工地视频帧。
33.在一个实施例中，在获取待探测处理的工地视频帧之后，所述探测处理方法还包括：将所述工地视频帧裁剪为预设尺寸。
34.在一个实施例中，预设尺寸为224*224。
35.s2:根据预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数。
36.所述特征识别模型包括cnn层、区域建议网络以及池化层；其中，所述cnn层为预设的小波卷积神经网络；预设的小波卷积神经网络通过将小波层和神经网络卷积层连接起来构成，从而更好地分析扬尘的光谱特征。
37.在获得工地视频帧后即可对该工地视频帧进行图像分析，本发明实施例采用的图像分析至少包括提取图像的特征金字塔网络、特征映射以生成区域建议以及分类回归获得待除尘区域、边界框位置以及扬尘分数。其中，特征金字塔网络是一种自上而下的体系结构，具有横向连接，用于在所有尺度上构建高层语义特征图。
38.预设的特征识别模型可通过如下的训练过程得到：数据加载、预处理以及初始化模型的参数；模型得到数据，提取特征，将特征输入rpn网络，最终输出embedding，embedding包含分类分数(概率值)、边界框坐标、关键点坐标这三类信息；embedding和标签进入multitask loss(classification loss和bbox regression loss)损失函数计算损失；根据损失反向传播调整参数并重复前述步骤，直到模型收敛。
39.在数据加载过程中，加载图片和label中的信息，随后转为pytorch训练的格式并进行数据归一化；数据预处理的步骤包括：采用翻转、旋转和裁剪等标准数据增强方法，使输入图像的大小达到224
×
224；初始化模型参数的步骤包括：初始化模型的主干网络backbone_net、小波层、特征金字塔网络,全连接网络层full_net。
40.在一个实施例中，根据预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数，具体包括：将所述工地视频帧输入所述小波卷积神经网络以进行特征提取，获得特征金字塔网络；通过所述区域建议网络对所述特征金字塔网络进行特征映射，获得第一感兴趣区域以及对应的区域特征；根据所述区域特征，对所述第一感兴趣区域进行位置修正，获得待除尘区域、对应的边界框位置以及扬尘分数。
41.在一个实施例中，将所述工地视频帧输入所述小波卷积神经网络以进行特征提取，获得特征金字塔网络，具体包括：通过卷积层，对所述工地视频帧进行卷积变换以获取卷积特征；所述小波卷积神经网络包括卷积层和小波变换层；根据所述卷积特征以及所述小波变换层，对所述工地视频帧进行三次小波变换和特征连接，获取特征金字塔网络。在实际应用中，先通过所述小波卷积神经网络对所述工地视频帧进行第一次小波变换，得到四个小波特征：ll1、hl1、lh1和hh1，每个特征有3个通道，大小为112
×
112。这些小波特征使用固定参数进行分解，而不会显著增加计算复杂度。然后，将这12个通道特征与相同大小的卷积特征连接起来。为了保持下一个卷积层的参数不变，本发明从原始卷积特征中删除了12
个通道。对ll1进行第二次小波变换，得到大小为56
×
56的ll2、hl2、lh2和hh2。然后将这些小波特征与相同大小的卷积特征连接起来。类似地，执行第三次小波变换。
42.在获取特征金字塔网络后，使用提取的特征映射，区域建议网络(rpn)可以提出一定数量的roi(兴趣区域，也即扬尘区域)。从wavelet-cnn(小波-cnn)中提取的特征映射被输入到rpn模块，以同时学习对象的类别以及相关的边界框。输出是一组候选边界框，每个框都有一个对象性分数，表示对象属于某个类的概率。通过这种端到端的训练过程，整体计算复杂度显著降低，同时性能得到改善。rpn为每个图像生成1000个建议，有些建议相互重叠。为了减少冗余，常用的方法是非最大抑制(nms)算法。将提案1000框列表表示为b，并将过滤后的提案列表表示为d(最初为空)。nms的过程如下。首先，选择置信度最高的方案框，将其从b中删除并添加到d中。然后，计算该方案与其他所有方案的iou(联合交叉)。如果iou大于阈值n，则从b中删除该提案。再次从b中的剩余提案中获取具有最高可信度的提案，并将其从b中删除，然后将其添加到d中。再次使用b中的所有提案计算该提案的iou，并删除iou高于阈值的框。重复这个过程，直到b中没有更多的方案。
43.在一个实施例中，通过所述区域建议网络对所述特征金字塔网络进行特征映射，获得第一感兴趣区域以及对应的区域特征，具体包括：将所述特征金字塔输入所述区域建议网络中，获取建议边界框以及对应的对象性分数；通过预设的非最大抑制算法，根据对象性分数对建议边界框进行筛选，获得第一感兴趣区域以及对应的区域特征。
44.在获得roi(第一感兴趣区域)后，池化层将roi和特征图进行池化，然后输入到roi头部(由完全连接的层和softmax层组成)，以确定这些roi的类别并微调其位置，类别指扬尘含量或浓度的不同等级，等级分为三个层级，由0到2，0指没有扬尘，1指扬尘占roi面积的25％到50％，2指扬尘含量所占roi面积高于50％。
45.在一个实施例中，根据所述区域特征，对所述第一感兴趣区域进行修正，获得待除尘区域、对应的边界框位置以及扬尘分数，具体包括：将所述区域特征输入所述第一感兴趣区域的头部，确定所述第一感兴趣区域对应的类别并计算所述第一感兴趣区域的对象性得分，并根据所述类别、所述对象性得分，计算扬尘分数；根据预设的边界框回归方法，对所述第一感兴趣区域进行偏移预测以获得预测结果，并根据所述预测结果修正所述第一感兴趣区域以获取除尘区域以及对应的边界框位置。
46.s3:根据所述边界框位置以及所述扬尘分数，确定除尘方案并根据所述除尘方案进行除尘。
47.在一个实施例中，根据所述边界框位置以及所述扬尘分数，确定除尘方案并根据所述除尘方案进行除尘，具体包括：根据所述扬尘分数以及所述边界框位置，确定各个除尘区域的除尘顺序；根据所述除尘顺序，驱动喷洒装置转至所述边界框位置，从而依次对各个除尘区域进行除尘。
48.本发明实施例描述了一种工地扬尘探测处理方法，通过根据包括预设的小波卷积神经网络、区域建议网络以及池化层的预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数，并根据边界框位置以及扬尘分数识别待探测处理工地中需要除尘的工地区域的紧急程度以进行针对性除尘，该探测处理方法提升了工地上的除尘效率。
49.具体实施例二
50.除上述方法外，本发明实施例还公开了一种工地扬尘探测处理装置。图2是本发明一实施例提供的一种工地扬尘探测处理装置的结构示意图。
51.如图2所示，所述探测处理装置包括图像获取单元11、区域识别单元12以及除尘处理单元13。
52.其中，图像获取单元11用于获取待探测处理的工地视频帧。
53.区域识别单元12用于根据预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数。所述特征识别模型包括cnn层、区域建议网络以及池化层；其中，所述cnn层为预设的小波卷积神经网络。
54.在一个实施例中，所述区域识别单元12还用于：将所述工地视频帧输入所述小波卷积神经网络以进行特征提取，获得特征金字塔网络；通过所述区域建议网络对所述特征金字塔网络进行特征映射，获得第一感兴趣区域以及对应的区域特征；根据所述区域特征，对所述第一感兴趣区域进行位置修正，获得待除尘区域、对应的边界框位置以及扬尘分数。
55.在一个实施例中，区域识别单元12还用于：通过卷积层，对所述工地视频帧进行卷积变换以获取卷积特征；所述小波卷积神经网络包括卷积层和小波变换层；根据所述卷积特征以及所述小波变换层，对所述工地视频帧进行三次小波变换和特征连接，获取特征金字塔网络。
56.在一个实施例中，区域识别单元12还用于：将所述特征金字塔输入所述区域建议网络中，获取建议边界框以及对应的对象性分数；通过预设的非最大抑制算法，根据对象性分数对建议边界框进行筛选，获得第一感兴趣区域以及对应的区域特征。
57.在一个实施例中，区域识别单元12还用于：将所述区域特征输入所述第一感兴趣区域的头部，确定所述第一感兴趣区域对应的类别并计算所述第一感兴趣区域的对象性得分，并根据所述类别、所述对象性得分，计算扬尘分数；根据预设的边界框回归方法，对所述第一感兴趣区域进行偏移预测以获得预测结果，并根据所述预测结果修正所述第一感兴趣区域以获取除尘区域以及对应的边界框位置。
58.除尘处理单元13用于根据所述边界框位置以及所述扬尘分数，确定除尘方案并根据所述除尘方案进行除尘。
59.在一个实施例中，除尘处理单元13还用于：根据所述扬尘分数以及所述边界框位置，确定各个除尘区域的除尘顺序；根据所述除尘顺序，依次对各个除尘区域进行除尘。
60.在一个实施例中，所述探测处理装置还包括输入处理单元，所述输入处理单元用于将所述工地视频帧裁剪为预设尺寸。
61.其中，所述探测处理装置集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如前所述的工地扬尘探测处理方法。
62.其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够
携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
63.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，单元之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
64.本发明实施例描述了一种工地扬尘探测处理装置及计算机可读存储介质，通过根据包括预设的小波卷积神经网络、区域建议网络以及池化层的预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数，并根据边界框位置以及扬尘分数识别待探测处理工地中需要除尘的工地区域的紧急程度以进行针对性除尘，该探测处理装置及计算机可读存储介质提升了工地上的除尘效率。
65.具体实施例三
66.除上述方法和装置外，本发明实施例还描述了一种工地扬尘探测处理系统。
67.所述探测处理系统包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的工地扬尘探测处理方法。
68.当部署在边缘设备端推理时，为了降低成本，会选择在一些嵌入式平台进行部署，部署端也要有与训练时相同的深度学习环境，如pytorch，tensorflow等。由于训练的网络模型可能会很大，参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。这对于高实时性的应用场合是致命的。而tensorrt则是对训练好的模型进行优化,优化加速推理的速度。tensorrt是一个高性能的深度学习推理(inference)优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。tensorrt可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。
69.本发明的扬尘探测模型部署在nx、agx等主机上，该类主机装载linux系统以开发和调用机器人的底层控制包，但此设备进行深度模型推理相较而言没有那么高效，因此需要做模型的tensorrt加速，以保证在边缘硬件设备上做到和电脑主机上较为接近的推理速度。
70.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置的控制中心，利用各种接口和线路连接整个装置的各个部分。
71.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
72.本发明实施例描述了一种工地扬尘探测处理系统，通过根据包括预设的小波卷积神经网络、区域建议网络以及池化层的预设的特征识别模型，对所述工地视频帧进行特征提取分析，确定获取待除尘区域的边界框位置以及扬尘分数，并根据边界框位置以及扬尘分数识别待探测处理工地中需要除尘的工地区域的紧急程度以进行针对性除尘，该探测处理系统提升了工地上的除尘效率。
73.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。