一种施工场景监控方法、装置、设备及存储介质

1.本技术涉及计算机技术领域，具体而言，涉及一种施工场景监控方法、装置、设备及存储介质。


背景技术：

2.目前，在建筑施工时，往往还是采用人为监督机制或者是个人自觉机制来控制施工的安全以及施工的质量。
3.然而，无论是通过人为监督机制或者是个人自觉机制，在施工过程发生事故的事时有发生，且施工质量也因为人为因素存在质量问题的事件较为常见。
4.因此，如何解决上述问题是目前亟需解决的问题。


技术实现要素：

5.本技术提供一种施工场景监控方法、装置、设备及存储介质，旨在改善上述问题。
6.第一方面，本技术提供的一种施工场景监控方法，所述方法包括：
7.实时采集第一施工图像和第二施工图像；
8.将所述第一施工图像和所述第二施工图像输入预训练卷积神经网络模型，输出目标图像；
9.确定所述目标图像中的施工对象的施工动作和/或运动姿态；
10.根据所述施工动作确定施工质量；和/或，
11.根据所述运动姿态预测所述施工对象的施工安全。
12.在一可能的实施例中，所述第一施工图像的尺寸规格小于所述第二施工图像的尺寸规格。
13.在一可能的实施例中，将所述第一施工图像和所述第二施工图像输入预训练卷积神经网络模型，输出目标图像，包括：
14.分别确定所述第一施工图像和所述第二施工图像中的目标图像位置；
15.按照预设裁剪尺寸以所述目标图像位置为中心，裁剪出与所述第一施工图像对应的第一目标图像和与所述第二施工图像对应的第二目标图像；
16.将所述第一目标图像和所述第二目标图像输入预训练卷积神经网络模型，输出目标图像。
17.在一可能的实施例中，所述预训练卷积神经网络模型包括5个卷积层和3个全连接层。
18.在一可能的实施例中，将所述第一目标图像和所述第二目标图像输入预训练卷积神经网络模型，输出目标图像，包括：
19.利用5个所述卷积层分别提取所述第一目标图像和所述第二目标图像对应的第一卷积特征和第二卷积特征；
20.基于互相关运算将所述第一卷积特征和所述第二卷积特征进行关联，生成第三特
征；
21.将所述第三特征输入到3个所述全连接层，输出目标图像。
22.在一可能的实施例中，根据所述施工动作确定施工质量，包括：
23.获取所述施工动作匹配的施工力度数据；
24.获取所述施工力度数据对应的施工质量。
25.在一可能的实施例中，所述方法还包括：
26.在确定所述施工质量和/或所述施工对象的施工安全不满足预设条件时，发送报警信息至所述施工对象以及监控中心。
27.第二方面，本技术还提供一种施工场景监控装置，所述装置包括：
28.实时采集模块，用于实时采集第一施工图像和第二施工图像；
29.第一处理模块，用于将所述第一施工图像和所述第二施工图像输入预训练卷积神经网络模型，输出目标图像；
30.第二处理模块，用于确定所述目标图像中的施工对象的施工动作和/或运动姿态；
31.第三处理模块，用于根据所述施工动作确定施工质量；和/或，
32.第四处理模块，用于根据所述运动姿态预测所述施工对象的施工安全。
33.第三方面，本技术还提供一种电子设备，包括：
34.存储器，用于存储可执行指令；
35.处理器，用于执行所述存储器中存储的可执行指令时，实现如第一方面任一项所述的施工场景监控方法。
36.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理设备运行时执行如第一方面的任一项所述的施工场景监控方法的步骤。
37.上述本技术提供的一种施工场景监控方法、装置、设备及存储介质，本技术通过实时采集第一施工图像和第二施工图像，以利用预训练卷积神经网络模型对该第一施工图像和第二施工图像进行处理，输出目标图像，便于目标图像来确定施工对象的施工动作和/或运动姿态；根据所述施工动作确定施工质量；和/或，根据所述运动姿态预测所述施工对象的施工安全，从而使得在进行建筑施工时，无需再安排固定的人员进行监督，可以有效降低人工成本；另外，通过图像处理可以做到实时监控，降低人为因素所导致的施工安全事故以及施工质量低下的概率，有效提高施工质量，保证施工安全。本技术能够更好地提高监理的效率，工作人员可以快捷地排查安全隐患，加强了施工过程质量和进度控制，极大节省了人力和物力。
附图说明
38.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
39.图1为本技术第一实施例提供的一种电子设备的结构示意图；
40.图2为本技术第二实施例提供的一种施工场景监控方法的流程图；
41.图3为图2所示的一种施工场景监控方法中的卷积神经网络模型的示意图。
42.图4为本技术第三实施例提供的一种施工场景监控装置的功能模块示意图。
具体实施方式
43.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.第一实施例
45.图1为本技术实施例提供的一种电子设备的结构示意图，在本技术中可以通过图1所示的示意图来描述用于实现本技术实施例的施工场景监控方法、装置的示例的电子设备100。
46.如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、图像采集装置106，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出的其他组件和结构。
47.所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
48.应理解，在本技术实施例中的处理器102可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
49.所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质。
50.应理解，本技术实施例中的存储装置104可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，ram)可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
51.其中，在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本技术实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。
52.图像采集装置106用于实时采集施工图像，例如，该图像采集装置106可以是摄像头，如单目摄像头或双目摄像头。
53.第二实施例：
54.参照图2所示的一种施工场景监控方法的流程图，该方法具体包括如下步骤：
55.步骤s201，实时采集第一施工图像和第二施工图像。
56.可选地，该第一施工图像和第二施工图像的采集可以是安装在施工场所的摄像头所采集，也可以是通过无人机来采集，在此，不作具体限定。
57.在一实施例中，所述第一施工图像的尺寸规格小于所述第二施工图像的尺寸规格。
58.举例来说，假设第一施工图像的尺寸规格为：127*127*3。第二施工图像的尺寸规格为：227*227*3。
59.步骤s202，将所述第一施工图像和所述第二施工图像输入预训练卷积神经网络模型，输出目标图像。
60.可选地，所述预训练卷积神经网络模型包括5个卷积层和3个全连接层。
61.作为一种实施方式，步骤s202，包括：分别确定所述第一施工图像和所述第二施工图像中的目标图像位置；按照预设裁剪尺寸以所述目标图像位置为中心，裁剪出与所述第一施工图像对应的第一目标图像和与所述第二施工图像对应的第二目标图像；将所述第一目标图像和所述第二目标图像输入预训练卷积神经网络模型，输出目标图像。
62.应理解，目标图像位置是指施工图像中包括施工对象和/或施工设备的区域。
63.可选地，预设裁剪尺寸可以根据实际需求进行设置，在此，不作具体限定。
64.继续以上述例子为例，假设预设裁剪尺寸为w*h，则按照预设裁剪尺寸以所述目标图像位置为中心，裁剪出与所述第一施工图像对应的第一目标图像和与所述第二施工图像对应的第二目标图像：即为：在第一施工图像中以目标图像位置为中心剪裁大小为2w*2h的图像，同理，在第二施工图像中以目标图像位置为中心剪裁大小为2w*2h的图像。最后将两个2w*2h的图像输入到预训练卷积神经网络模型进行卷积提取目标特征，以便于输出目标图像。
65.在上述实现过程中，通过预训练卷积神经网络模型对两个施工图像进行处理，可以有效提高对图像处理的精度，以便于提高对施工现场的施工质量和/或施工安全的监控效率，以保证施工人员的施工安全以及提高施工质量。
66.可选地，将所述第一目标图像和所述第二目标图像输入预训练卷积神经网络模型，输出目标图像，包括：利用5个所述卷积层分别提取所述第一目标图像和所述第二目标图像对应的第一卷积特征和第二卷积特征；基于互相关运算将所述第一卷积特征和所述第二卷积特征进行关联，生成第三特征；将所述第三特征输入到3个所述全连接层，输出目标图像。
67.举例来说，如图3所示，layer1(卷积层1)：卷积层分先后顺序将两个输入进行卷积特征提取，先使用11*11*96的卷积核进行卷积，卷积步长为4，使用relu函数作为激活函数，
最大池化操作，再使用3*3的核步长为2，再进行正则化后输入到layer2中。
68.layer2(卷积层2)：使用5*5*256的卷积核进行卷积，边缘补充2行2列，卷积步长为2，relu激活函数，最大池化，采用3*3的核，步长为2，再进行正则化输入到layer3中。
69.layer3(卷积层3)：卷积核为3*3*384，激活函数为relu，并输出到卷积层4。
70.layer4(卷积层4)：卷积核为3*3*384，激活函数为relu，依次输出到下一层。
71.layer5(卷积层5)：卷积核为3*3*256，补充边缘一行一列进行卷积操作，激活函数为relu，最大池化，采用3*3的核，步长为2。
72.然后将2个输入经过卷积得到数据互相关运算到一起，接着将互相关运算之后的数据输入到全连接层：fc-layer6输出4维图像数据，激活函数为relu，drop_out_ratio为0.5。fc-layer7输出4维图像数据，激活函数为relu，drop_out_ratio为0.5。fc-layer8输出4维图像数据(目标框的左上角和右下角的坐标位置)。
73.应理解，上述的举例仅为示例，而非限定。
74.步骤s203，确定所述目标图像中的施工对象的施工动作和/或运动姿态。
75.步骤s204，根据所述施工动作确定施工质量。
76.作为一种实施方式，步骤s204，包括：获取所述施工动作匹配的施工力度数据；获取所述施工力度数据对应的施工质量。
77.可选地，施工力度数据可以是预先存储的。
78.应理解，若该施工力度数据为预先存储，其必然是基于不同施工动作所得到的历史的施工力度数据。
79.同理，施工力度数据对应的施工质量也可以是预先存储的。即预先将不同施工力度数据所得到的不同的施工质量建立关系表，以便于根据该施工力度数据来快速确认其施工质量，以提高施工质量的监管力度。
80.和/或，步骤s205，根据所述运动姿态预测所述施工对象的施工安全。
81.在一可能的实施例中，该施工场景监控方法，还包括：在确定所述施工质量和/或所述施工对象的施工安全不满足预设条件时，发送报警信息至所述施工对象以及监控中心。
82.应理解，每一施工对象(即施工人员)身上都携带有一报警终端，该报警终端在接收到报警信息后会进行报警，以警示该施工人员，降低安全事故发生的概率，或者是当出现施工质量问题时，警示该施工人员，提高或降低施工力度，以达到较优的施工质量。
83.其中，预设条件可以根据实际需求进行设置。例如，施工质量符合验收标准。或者是将施工质量设置为多个等级，该预设条件为某一等级，如等级5，即当施工质量达到等级5时才满足条件。
84.可以理解的是，本技术会根据施工质量与施工安全所分别发出不同形式的报警信息。如出现施工质量问题时，发送信号闪烁指示，以使得施工对象绑定的终端设备闪烁对应颜色，如闪烁黄色。若出现施工安全问题时，发送语音报警，以使得施工对象绑定的终端设备发出语音报警，如：请注意施工安全/前方危险等。又例如，如果此时还能正确地识别出是谁的话，将会播报出姓名，并记录行为，方便后期考核和对个别人员着重加强安全风险防范的意识。
85.第三实施例：
86.参见图4所示的一种施工场景监控装置，该施工场景监控装置500，包括：实时采集模块510、第一处理模块520、第二处理模块530、第三处理模块540和/或第四处理模块550。
87.其中，实时采集模块510，用于实时采集第一施工图像和第二施工图像；
88.第一处理模块520，用于将所述第一施工图像和所述第二施工图像输入预训练卷积神经网络模型，输出目标图像；
89.第二处理模块530，用于确定所述目标图像中的施工对象的施工动作和/或运动姿态；
90.第三处理模块540，用于根据所述施工动作确定施工质量；和/或，
91.第四处理模块550，用于根据所述运动姿态预测所述施工对象的施工安全。
92.需要说明的是，本实施例提供的该施工场景监控装置500的具体功能请参照方法实施例的描述，在此，不再赘述。
93.进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述实施例提供的任一项施工场景监控方法的步骤。
94.本技术实施例所提供的一种施工场景监控方法、装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
95.需要说明的是，上述实施例，可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质。半导体介质可以是固态硬盘。
96.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a,b可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
97.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
98.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施
过程构成任何限定。
99.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
100.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
101.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
102.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
103.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
104.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。