强夯作业区安全隐患监测方法、系统、设备及存储介质与流程

1.本发明涉及图像识别领域，具体涉及一种强夯作业区安全隐患监测方法、系统、设备及存储介质。


背景技术：

2.建设机场、港口、高速公路及工业厂房等大面积需要复合地基承载力的地基处理不适合采用打桩工艺，因其需要复合地基承载力均匀，大多需要独立基础，“强夯法”地基施工这种工法应运而生。强夯法是用起重机械(起重机或起重机配三角架、龙门架)将大吨位(一般8～25t)夯锤起吊到6～30m高度后，自由落下，给地基土以强大的冲击能量的夯击，使土中出现冲击波和很大的冲击应力，迫使主体孔隙压缩，排除孔隙中的水，使土粒重新排列，迅速固结，从而提高地基承载力，降低其压缩性的一种地基加固方法。其质量好、效率高、造价低等优点，在机场、港口等行业的地基处理上被广泛应用。
3.随着我国基础设施建设进程的不断推进，各种复杂的施工作业环境应运而生，在强夯施工的作业区域内，夯锤砸中伤人、机械设备伤人、石子飞溅伤人及其他安全隐患给作业人员的安全保障提出了极大的挑战，通常为了在一定程度上有效的减少或避免在作业区内作业人员的安全事故的发生，作业区内安全隐患的检测通常成为最重要的工作之一。


技术实现要素：

4.本发明的目的是提供一种强夯作业区安全隐患监测方法、系统、设备及存储介质，解决现有技术中强夯作业区安全隐患难以监测并及时报警的技术问题。
5.为实现上述目的，本发明提供一种强夯作业区安全隐患监测方法，包括：获取强夯作业区广角监测视频，所述强夯作业区广角监测视频包含多帧作业区原始图像；对所述多帧作业区原始图像进行畸变矫正，得到对应的多帧作业区矫正图像；在所述多帧作业区矫正图像上标定安全隐患检测区域；检测一帧所述作业区矫正图像，根据已确定的异物的特征，识别其中是否包含入侵所述安全隐患检测区域的所述异物：如否，检测下一帧所述作业区矫正图像；如是，报警提示。
6.本发明还提供一种强夯作业区安全隐患监测系统，包括：视频监测模块，用于获取强夯作业区广角监测视频，所述强夯作业区广角监测视频包含多帧作业区原始图像；图像矫正模块，用于对所述多帧作业区原始图像进行畸变矫正，得到对应的多帧作业区矫正图像；区域标定模块，用于在所述多帧作业区矫正图像上标定安全隐患检测区域；异物检测模块，用于检测一帧所述作业区矫正图像，根据已确定的异物的特征，识别其中是否包含入侵所述安全隐患检测区域的所述异物：如否，检测下一帧所述作业区矫正图像；如是，报警提示。
7.本发明还提供一种计算机可读存储介质，用于保存计算机程序，当其在计算机上运行时，使得计算机执行所述强夯作业区安全隐患监测方法。
8.本发明还提供一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执
行所述计算机程序，以实现所述强夯作业区安全隐患监测方法。
9.相比于现有技术，本发明的有益效果在于：
10.本发明的强夯作业区安全隐患监测方法，可实现强夯作业现场安全风险控制及预警警示，基于视频监视的非接触式检测技术，在一定范围内能精确的智能检测强夯作业区安全隐患，有效的降低安全事故发生的概率。基于深度学习技术的机器学习模型通过各层之间耦合所形成的复杂的映射函数实现有效特征的自动提取和组合，能够找到更加适合于异物识别任务的相关的特征表达，让模型达到更好的性能。基于机器学习的方法在处理对在强夯作业环境下存在光影变化、风吹草动等环境噪声的干扰问题时表现更优，此外由于其特征是自学习的、不需要人工选取，可以显著提升识别效果，避免异物入侵漏判错判发生。
11.优选的，所述检测一帧所述作业区矫正图像，根据已确定的异物的特征，判断其中是否包含入侵所述安全隐患检测区域的所述异物包括：获取所述入侵所述安全隐患检测区域的第一对象的特征，所述第一对象的特征用于确定所述第一对象的类别；根据所述第一对象的特征和所述异物的特征，确定所述第一对象为所述异物。
12.优选的，当所述第一对象的特征和所述异物的特征匹配度大于或等于第一阈值时，确定所述第一对象为所述异物。
13.优选的，所述方法还包括：根据所述作业区矫正图像中检测到的所述异物的标注信息，更新所述异物的特征。将所述作业区矫正图像及其标注信息补充进入用于训练机器学习模型的样本集，可进一步扩充用于模型训练的样本量，并不断补充和更新样本集，更有效地克服少样本学习问题，有利于模型的训练和验证。
14.优选的，所述异物检测模块包括：特征获取单元，用于获取所述入侵所述安全隐患检测区域的第一对象的特征，所述第一对象的特征用于确定所述第一对象的类别；异物识别单元，用于根据所述第一对象的特征和所述异物的特征，确定所述第一对象为所述异物。
15.优选的，所述系统还包括特征匹配单元，用于当所述第一对象的特征和所述异物的特征匹配度大于或等于第一阈值时，确定所述第一对象为所述异物。
16.优选的，所述系统还包括：异物特征更新模块，用于根据所述作业区矫正图像中检测到的所述异物的标注信息，更新所述异物的特征。
附图说明
17.为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明的一个实施例中强夯作业区安全隐患监测方法的流程示意图；
19.图2为本发明的一个实施例中鱼眼镜头成像的球面坐标模型示意图；
20.图3为本发明的一个实施例中安全隐患检测区域布置示意图；
21.图4为本发明的一个实施例中强夯作业区安全隐患监测系统的结构示意图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.图1为本发明强夯作业区安全隐患监测方法的流程示意图。如图1所示，本实施例公开一种强夯作业区安全隐患监测方法，包括：
24.s11，获取强夯作业区广角监测视频，所述强夯作业区广角监测视频包含多帧作业区原始图像。
25.需要获取强夯作业区的全景视频才能有效实现实时监测。强夯作业区场地通常较大，使用常规的视频相机拍摄，存在视觉盲区，需要额外对多台相机拍摄的视频图像进行拼接，才能得到作业区全景视频图像，难以满足后续异物入侵的自动识别和及时报警的需要。因此，有必要采用广角拍摄设备来获取广角监测视频，使得单帧原始图像可覆盖强夯作业区的全部区域。本实施例采用鱼眼相机进行广角监测视频的拍摄。
26.s12，对所述多帧作业区原始图像进行图像矫正，得到对应的多帧作业区矫正图像。
27.由于广角拍摄设备焦距越短、视角越广，获取的图像畸变程度就会越大，不能满足正常的视觉效果，因此需将广角设备拍摄的每张作业区原始图像进行畸变校正，对应得到正常视觉效果的作业区矫正图像。
28.图2为鱼眼镜头成像的球面坐标模型示意图。如图2所示，xcycz
c-oc为相机坐标系，xy-o为成像平面。现实世界一点p,入射角为θ。按照普通相机的针孔相机模型，入射光线poc经过镜头后不改变路线，p、oc、p0三点共线，p0为p的像点；但是对鱼眼相机，入射光线poc经过镜头后会发生折射，因此p的像点在鱼眼视觉成像点为p'。其成像算法包括如下步骤：
29.s121、根据针孔相机模型成像原理，可以求得未发生畸变时，点p的像点p0(a,b)，极坐标形式表示为(r,ψ)，以及点p的投影入射角θ；
30.s122、实际上由于畸变的存在，光线入射角θd≠θ，实际的像点p'(x',y')；
31.s123、利用等距离投影公式以及泰勒展开式，可求得:θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)，其中k1、k2、k3、k4是畸变参数；
32.s124、基于rd＝θd，所以点p'的极坐标为(θd,ψ)，从而求得卡迪尔坐标值x'＝(θd/r)a,y'＝(θd/r)b。
33.然后，计算作业区矫正图像的坐标点的位置与作业区原始图像上的坐标点的对应关系，将像点p'矫正为像点p0，包括以下步骤：
34.s125、由于相机参数已知，可根据相机焦距以及像点位置p'(x',y')，求得θd的值；畸变参数由相机标定结果提供，通过求解一元高次方程求得θ；以牛顿迭代求解为例，f(θ)＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)-θd，，通过循环迭代直到f(θ)≈0，或达到迭代次数上限,求得θ；
35.s126、求得未畸变的像点p0到像平面中心的距离r＝tanθ，其p0的坐标为：a＝(r/θd)x',b＝(r/θd)y'；
36.s127、利用相机参数将p0(a,b)转换到像素坐标，即可得到未畸变的像素坐标。
37.然后，把作业区原始图像上的该点位置上记录图像信息的数据赋值给作业区矫正
图像的对应点，得到正常视觉效果的作业区矫正图像。
38.s13，在所述多帧作业区矫正图像上标定安全隐患检测区域。
39.图3为本实施例的安全隐患检测区域布置示意图。如图3所示，鱼眼相机设置于夯点a正上方，鱼眼相机与夯点a的距离为强夯机的臂头高度h。可根据相关规范标准，选择距离夯点预设距离r以内的圆形区域为安全隐患检测区域。根据h值和实际作业区矫正图像尺寸，在作业区矫正图像上标定相应的安全隐患检测区域。
40.需要说明的是，安全隐患检测区域的形状、选择方式不限于本实施例，也可根据实际情况，采用其他方式进行选择。
41.s14，检测一帧所述作业区矫正图像，根据已确定的异物的特征，识别其中是否包含入侵所述安全隐患检测区域的所述异物：如否，检测下一帧所述作业区矫正图像；如是，报警提示。
42.具体的，所述检测一帧所述作业区矫正图像，根据已确定的异物的特征，判断其中是否包含入侵所述安全隐患检测区域的所述异物包括：
43.s41，获取所述入侵所述安全隐患检测区域的第一对象的特征，所述第一对象的特征用于确定所述第一对象的类别；
44.s42，根据所述第一对象的特征和所述异物的特征，确定所述第一对象为所述异物。
45.具体的，当所述第一对象的特征和所述异物的特征匹配度大于或等于第一阈值时，确定所述第一对象为所述异物。
46.其中，可根据现有技术选择匹配度的具体计算方式，例如特征数量、相似性距离或相似度概率。
47.可以采用gmm、vibe等基于背景建模的运动目标检测方法，或hog-svm、faster-rcnn、yolo等基于机器学习的目标检测方法，对入侵所述安全隐患检测区域的所述异物进行检测。
48.以yolo方法进行检测为例。首先，训练述机器学习模型，具体方法如下：
49.s51，拍摄强夯作业区现场视频或照片，得到强夯作业区现场图像；对现场图像进行归一化、去噪、相关性分析等预处理后，利用矩形框框出其中的异物，保存矩形框的起点位置、宽和高，作为该图像的标注信息，用于记录所述异物的位置；
50.s52，构建第一样本集，所述第一样本集包括强夯作业区现场图像及其标注信息；第一样本集中的图像及其标注信息进一步划分为训练集和测试集，以备模型训练使用；
51.s53，将所述第一样本集输入至以yolov3模型的darknet-53为主干的网络进行学习训练，以平均检测精度(map)为指标对检测精度进行评价标准，测试模型结果评价通过后，输出所述机器学习模型。
52.然后，加载预先完成训练的机器学习模型，加载预先完成训练的机器学习模型的结果为经过上述模型训练方法得到的所述机器学习模型各卷积层的权重值，所述权重值包括上百万个权重值参数。
53.然后，将标定了安全隐患检测区域的各帧所述作业区矫正图像输入至所述机器学习模型，识别安全隐患检测区域中的所述异物。通过增加异物入侵检测网络层，对输入至所述机器学习模型的作业区矫正图像中的异物进行自动识别，以便对识别结果进行约束。
54.如果一帧所述作业区矫正图像中不包含入侵所述安全隐患检测区域的所述异物，检测下一帧所述作业区矫正图像；否则，报警提示。其中，各帧图像按在视频中呈现的时间顺序依次进行检测。
55.一些优选的实施例中，所述方法还包括：根据所述作业区矫正图像中检测到的所述异物的标注信息，更新所述异物的特征。
56.首先，在检测到所述作业区矫正图像中包含入侵所述安全隐患检测区域的所述异物后，对所述异物进行标注，得到所述异物的标注信息。在本实施例中，对所述异物进行标注即利用矩形框框出其中的异物，得到矩形框的起点位置、宽和高。
57.然后，将作业区矫正图像及其标注信息进行后台编码存储，以备后续使用。后台编码存储方式可以为在内存储器中进行临时存储或在外存储器中进行永久存储。
58.在一个可行的实施方式中，将标注后的作业区矫正图像进行存储备用，得到的标注前及标注后的作业区矫正图像、以及对应的标注信息，可以通过标准的检索工具进行检索，能实现对已被记录的特定事件的查询。此外，上述图像和标注信息还作为异物入侵分析的大数据来源，用于对异物入侵特征统计与分析。
59.然后，将所述作业区矫正图像及其标注信息输入至所述第一样本集，得到第二样本集。
60.将所述作业区矫正图像及其标注信息补充进入用于训练机器学习模型的样本集，可进一步扩充用于模型训练的样本量，并不断补充和更新样本集，更有效地克服少样本学习问题，有利于模型的训练和验证。在一个可行的实施方式中，亦可将标注后的作业区矫正图像存储并输入至所述第一样本集，得到包含标注后的作业区矫正图像的第二样本集，从而更新所述异物的特征。
61.根据预设条件，将所述第二样本集输入至卷积网络中进行学习训练，更新所述机器学习模型。
62.所述预设条件包括时间周期、检测次数或其他动态触发条件。
63.将作业区矫正图像及其标注信息补充进入用于训练机器学习模型的样本集，可进一步扩充用于模型训练的样本量，并不断补充和更新样本集，更有效地克服少样本学习问题，有利于模型的训练和验证。
64.需要说明的是，模型加载是一个动态过程，根据需要按照固定周期等动态触发条件对所述机器学习模型进行动态更新，加载更新后的模型得到新的权重值，定期删除旧的模型。通常情况下上述模型训练过程与模型加载使用过程是滚动进行，即根据时间的推移，在加载使用过程中穿插上述训练过程，以保证模型的精确性。当然，有关上述模型的训练过程与模型加载使用过程之间具体的执行先后需要根据实际情况自行设定，在此不做具体限定。
65.采用本发明的强夯作业区安全隐患监测方法，可实现强夯作业现场安全风险控制及预警警示，基于视频监视的非接触式检测技术，在一定范围内能精确的智能检测强夯作业区安全隐患，有效的降低安全事故发生的概率。基于深度学习技术的机器学习模型通过各层之间耦合所形成的复杂的映射函数实现有效特征的自动提取和组合，能够找到更加适合于异物识别任务的相关的特征表达，让模型达到更好的性能。基于机器学习的方法在处理对在强夯作业环境下存在光影变化、风吹草动等环境噪声的干扰问题时表现更优，此外
由于其特征是自学习的、不需要人工选取，可以显著提升识别效果，避免异物入侵漏判错判发生。
66.图4为本发明的一个实施例中强夯作业区安全隐患监测系统的结构示意图。如图4所示，本实施例还公开一种强夯作业区安全隐患监测系统，包括：
67.视频监测模块401，用于获取强夯作业区广角监测视频，所述强夯作业区广角监测视频包含多帧作业区原始图像；
68.图像矫正模块402，用于对所述多帧作业区原始图像进行畸变矫正，得到对应的多帧作业区矫正图像；
69.区域标定模块403，用于在所述多帧作业区矫正图像上标定安全隐患检测区域；
70.异物检测模块404，用于检测一帧所述作业区矫正图像，根据已确定的异物的特征，识别其中是否包含入侵所述安全隐患检测区域的所述异物：如否，检测下一帧所述作业区矫正图像；如是，报警提示。
71.具体的，所述异物检测模块404包括：
72.特征获取单元501，用于获取所述入侵所述安全隐患检测区域的第一对象的特征，所述第一对象的特征用于确定所述第一对象的类别；
73.异物识别单元502，用于根据所述第一对象的特征和所述异物的特征，确定所述第一对象为所述异物。
74.具体的，所述异物检测模块404还包括特征匹配单元，用于当所述第一对象的特征和所述异物的特征匹配度大于或等于第一阈值时，确定所述第一对象为所述异物。
75.具体的，所述系统还包括：异物特征更新模块，用于根据所述作业区矫正图像中检测到的所述异物的标注信息，更新所述异物的特征。
76.本实施例还公开一种计算机可读存储介质，用于保存计算机程序，当其在计算机上运行时，使得计算机执行所述强夯作业区安全隐患监测方法。
77.本实施例还公开一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现所述强夯作业区安全隐患监测方法。
78.需要说明的是，本发明实施例公开的一种强夯作业区安全隐患监测系统、电子设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种强夯作业区安全隐患监测方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
79.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
80.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应
认为超出本发明的范围。
81.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
82.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
83.上面对本发明的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本发明的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本发明旨在包括在此已经讨论过的本发明的所有替代、修改和变化，以及落在上述申请的精神和范围内的其它实施方式。
84.虽然通过实施方式描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。