基于区块链的智慧工地钢材堆积高度预警系统的制作方法

本发明涉及人工智能、区块链、cim、智慧工地技术领域，具体涉及一种基于区块链的智慧工地钢材堆积高度预警系统。

背景技术：

在建筑施工过程中，存在众多安全隐患，例如钢材堆积过高，一方面钢材堆积超过安全高度易引发钢材坠落砸伤人员的事故，另一方面，钢材堆积过高容易造成地面以及楼板等支撑物出现裂缝。因此对钢材堆积高度进行检测，具有一定的应用价值。然而实际工况中，在工地人员管理、环境管理方面的技术手段还不够完善，主要以人为监督方式来预警堆积高度，不具实时性、监测效率低、监测精度也不高。而且，目前的工地监测通常只返回异常结果，结果反馈单一。并且，用于计算的集群，信息易被泄露、安全性能较低。因此，现有工地钢材堆积监测技术存在监测实时性差和监测效率低下、结果反馈单一、数据处理及传输过程中安全性能低的问题。

得益于人工智能、物联网等技术的发展，智慧工地成为了一种崭新的工程全生命周期管理理念。本发明就智慧工地中钢材堆积监测，从结果反馈、监测精度效率以及系统安全性等方面对现有技术进行改进。

技术实现要素：

本发明提供了一种基于区块链的智慧工地钢材堆积高度预警系统，不仅结果反馈多元，而且提高了监测精度、监测效率和数据处理传输过程中的安全性、保密性。

一种基于区块链的智慧工地钢材堆积高度预警系统，包括终端集群与服务器集群，服务器集群载入搭建智慧工地钢材堆积高度预警深度神经网络所需参数；配置智慧工地钢材堆积高度预警深度神经网络推理区块链私链，并执行智慧工地钢材堆积高度预警深度神经网络推理；当钢材堆积高度估计结果高于阈值时，发出预警信息；

其中，智慧工地钢材堆积高度预警深度神经网络的输入为终端采集的监控区域钢材堆积图像，输出包括钢材堆积高度估计结果、钢材分割图像，由多个模块组成，包括钢材语义分割编码器、钢材语义分割解码器、钢材堆积高度特征编码器、第一全连接网络；

钢材语义分割编码器，用于对钢材堆积图像的rgb三通道数据进行编码特征提取，得到钢材语义分割特征图；

钢材语义分割解码器，用于对钢材语义分割特征图进行解码还原，得到钢材分割图像，用于区分钢材与其他元素的语义；

钢材堆积高度特征编码器，用于对钢材堆积图像的深度图数据与钢材分割图像相乘后得到的钢材区域深度图进行编码特征提取，得到钢材堆积高度特征图；

第一全连接网络，用于对钢材堆积高度特征图进行加权分类，得到钢材堆积高度估计结果。

配置智慧工地钢材堆积高度预警深度神经网络推理区块链私链包括：针对每一个智慧工地钢材堆积高度预警深度神经网络推理请求，从服务器集群中选择多个可用节点，将分别分布于不同可用节点的钢材语义分割编码器、钢材语义分割解码器、钢材堆积高度特征编码器、第一全连接网络所需参数作为对应节点的区块数据，按照智慧工地钢材堆积高度预警深度神经网络推理顺序，生成智智慧工地钢材堆积高度预警深度神经网络推理区块链私链。

所述区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密，对其从上一区块接收到的神经网络推理中间结果数据进行解密。

采用aes加密机制进行加密解密。

基于cim技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维空间建模信息、监控区域信息、钢材堆积高度估计结果信息；利用可视化单元结合webgis技术对城市工地信息模型进行渲染，展示在前台页面。

可视化单元包括：

初始化模块，用于从城市工地信息模型获取城市工地三维空间建模信息，结合webgis技术对城市工地信息模型进行渲染，展示在前台web页面，得到城市工地信息模型的初始可视化结果；

数据获取模块，用于从城市工地信息模型获取监控区域信息以及钢材堆积高度估计结果信息；

可视化模块，用于根据地理位置将监控区域信息以及钢材堆积高度估计结果集成在城市工地信息模型的初始可视化结果。

对钢材语义分割编码器、钢材语义分割解码器、钢材堆积高度特征编码器、第一全连接网络分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为区块数据，按照智慧工地钢材堆积高度预警深度神经网络推理顺序，生成智慧工地钢材堆积高度预警深度神经网络推理区块链私链。

本发明的有益效果在于：

1.本发明对工地钢材进行堆积分级，保证合理的堆积数量，即有利于工地环境的管理，又能体现出智慧工地的理念，推动智慧城市的发展，利用计算机视觉技术与深度学习技术实现对工地钢材堆积高度的监测，能够保证其堆积数量的合理性，且能实时监测，成本低，应用方便。

2.本发明采用语义分割技术分割出钢材区域，并将语义分割结果与深度数据相乘，能够有效分割出钢材区域深度数据，使钢材高度估计结果更准确。

3.本发明基于区块链技术，对智慧工地钢材堆积高度预警深度神经网络进行合理划分，针对每个网络推理请求，动态生成区块链私链，相比于传统的单机执行，不仅提高了系统的并行性能，而且由于区块链私链是动态的，当某一节点出现故障，系统能够及时感知，不会影响其他推理请求的计算，具有更好的容错性能。

4.本发明的区块链私链根据计算集群中可用节点实时生成，相比于传统的固定分配，不易被攻击破解，提高了系统数据的保密性能。

5.本发明对网络推理区块链私链之间的数据进行加密，防止区块链私链区块之间传输数据的泄露，保证传输数据的保密性。

6.本发明基于cim技术设计城市工地信息模型存储工地钢材堆积高度监测结果，并对城市工地信息模型进行可视化，相比于传统的结果反馈，本发明的反馈结果更加多元化，包括工地区域三维展示、警示标记、监控区域图像，能够使监管人员更加清晰明确地了解工地钢材堆积情况。

附图说明

图1为本发明系统的智慧工地钢材堆积高度预警深度神经网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于区块链的智慧工地钢材堆积高度预警系统。图1为本发明系统的深度神经网络结构图。下面通过具体实施例来进行说明。

实施例一：

一种基于区块链的智慧工地钢材堆积高度预警系统，包括终端集群与计算集群，计算集群载入智慧工地钢材堆积高度预警深度神经网络所需参数，通过配置智慧工地钢材堆积高度预警深度神经网络区块链私链，执行智慧工地钢材堆积高度预警深度神经网络推理。终端设置于监控区域，能够采集监控区域图像，并具有一定的计算能力。

本发明主要针对工地钢材堆积高度进行预警，从而实现对工地环境的安全管理。终端采集的钢材堆积图像包括rgb三通道数据以及深度数据，也就是说，终端的相机传感器采用rgb-d传感器。智慧工地钢材堆积高度预警深度神经网络的输入为终端采集的监控区域钢材堆积图像，输出包括钢材堆积高度等级结果、钢材分割图像，由多个模块组成，包括钢材语义分割编码器、钢材语义分割解码器、钢材堆积高度特征编码器、第一全连接网络。钢材语义分割编码器、钢材语义分割解码器是右路子网络，钢材堆积高度特征编码器、第一全连接网络是左路子网络。钢材语义分割编码器，用于对钢材堆积图像的rgb三通道数据进行编码特征提取，得到钢材语义分割特征图；钢材语义分割解码器，用于对钢材语义分割特征图进行解码还原，得到钢材分割图像，用于区分钢材与其他元素的语义；钢材堆积高度特征编码器，用于对钢材堆积图像的深度图数据与钢材分割图像结合后得到的特征图进行编码特征提取，得到钢材堆积高度特征图；第一全连接网络，用于对钢材堆积高度特征图进行加权分类，得到钢材堆积高度等级估计结果。

工地钢材堆积高度预警深度神经网络采用双路结构网络设计的原因是：如图1所示，右路网络可以实现对工地钢材的分割，分割后再经过argmax操作得到钢材的分割图像，因为是二分类，所以分割图像属于二值化图。将该分割图与depth图像(深度图)相乘，可以减小depth图像中非钢材类别的值，如果不是钢材其值就会变低，并且depth图像特征对高度预警起到十分重要的作用，因此将其与分割图像相乘可以得到十分有效的钢材类别的高度特征信息。钢材有着许多特点，如强度高、整体刚度好等，因此采用语义分割可以有效地区分钢材与其他类别的物体。

由于本实施例获得的钢材堆积图像包括r、g、b、d四个通道的数据，在将其输入不同的网络支路之前需要对其进行通道分离。之所以采用通道分离(channelsplit)的原因是工地钢材的语义提取与深度无关，不会因为高度的不同而导致工地钢材的不同。

智慧工地钢材堆积高度预警深度神经网络双路结构中的每一路都代表一个子网络模型，左路网络的输入数据需要右路网络的输出结果。

智慧工地钢材堆积高度预警深度神经网络的训练过程如下：将采集的图像数据进行通道分离，即得到rgb图像与depth图像，并经过归一化处理，即将图片矩阵变为[0,1]之间的浮点数，以便模型更好地收敛。右路网络即钢材语义分割网络的标签数据像素类别分为两类，标注时候只要标注钢材类别即可，另一类为其它，通过程序标注。像素值0代表钢材，1代表其它。左路网络的标签数据即为当前图像钢材堆积的高度信息，采用分级思想，根据高度来分级，由数字表示，例如分为5个等级，则用0，1，2，3，4来代替。实施者可以根据实施需要设置相应的等级，例如0级为小于1m，1级为高度在1-1.5m之间，2级为高度为1.5-2m之间，3级为2-2.5m，4级为2.5-3m。然后将处理后的图像数据与标签数据(要经过one-hot编码)送到右路网络中，对钢材语义分割编码器、钢材语义分割解码器进行训练，以获得工地钢材的分割图像。钢材语义分割编码器是对rgb图像进行特征提取，输入为归一化的rgb图像数据，输出为钢材语义分割特征图featuremap1；钢材语义分割解码器对featuremap进行上采样并实施像素级分类，输入为钢材语义分割编码器产生的featuremap1，输出为分割的概率图。

得到钢材分割图像后，将其与depth图像进行相乘得到钢材区域深度图，并与标签数据(要经过one-hot编码)一同输入到左路网络的钢材堆积高度特征编码器、第一全连接网络中训练，钢材堆积高度特征编码器对深度图再次进行特征提取，输入为钢材区域深度图，输出为钢材堆积高度特征图featuremap2。第一全连接网络fc起到将特征映射到样本标记空间的作用，输入为钢材堆积高度特征编码器产生的featuremap2经过flatten操作的结果，输出即钢材堆积高度各个等级的概率。全连接fc最后的分类函数采用softmax。左路、右路网络的损失函数均采用交叉熵。

左路、右路网络输出的结果都为概率值，需要经过argmax操作得到其标签，左路网络标签即钢材堆积高度等级，右路网络标签即钢材的分割图像。当输出高度估计结果高于阈值的时候，发出预警信息到城市工地信息模型。例如当得到高度估计结果大于设定阈值2、为3/4级时，发出预警。至此，即可完成对工地钢材语义的提取与堆积高度的等级。

众所周知，编码器用于提取特征，解码器用于对特征进行重构还原，实现种类有许多，如residualblock、bottleneckblock、cnnblock等。本发明的编码器、解码器具体采用何种网络设计，实施者可以根据具体实施需求选择，其模块化思想为本发明保护内容。本实施例为了兼顾工地钢材分割的效率，右路子网络推荐采用跳级连接结构，并采用senet网络的block设计，实现通道与空间的注意力机制，提高钢材分割的准确率。最终，实施者也可套用icnet，deeplab等语义分割网络来提取特征。左路钢材堆积高度特征编码器建议套用efficientnet图像分类网络来提取特征，该网络以较小的计算代价获得了优秀的性能。

本发明考虑到了当下工地不可能搭建临时机房用于钢材堆积监测的计算，且工地供电不稳定、没有无尘环境，所以机架服务器放在工地是容易宕机的(湿度低导致静电、湿度高导致连接器老化、灰尘导致静电吸附、昆虫、老鼠等动物导致链路损坏，不适合集中计算)，所以采用计算集群计算。为了提高本发明系统的保密性能，防止数据泄露，并提高系统的并行性，本发明结合区块链技术设计了区块链私链。分布式存储可以在进行，分布式计算在多个相机端、服务器进行。每个设备负责一部分工作，降低了工作负荷。分布式以及区块链私链思想的使用，拥有信息加密、高容灾等优秀性能。

在此，针对本发明区块链技术与dnn技术结合进行详细阐述。区块链采用块分割数据，使用链式数据结构，将数据作为块进行验证和存储，整个数据结构汇总不存在中心化的硬件和管理机构，实现了去中心化。一代区块链技术主要在分布式账本上进行应用，二代区块链技术主要实现智能合约，三代区块链技术可以将区块链思想与其他领域技术结合，有越来越多的呈现形式，更加注重为系统功能服务。区块链私链完整地继承了公链的特性，而且私链没有博弈机制的束缚，更关注实际应用的数据传输、加解密处理，能够更好地与其他领域的技术结合。对于深度神经网络计算而言，不必要存储中间结果数据，保留链式的逻辑以匹配神经网络前向传播的原理。

本发明考虑到了若将数据直接上传到计算集群进行处理，上传过程以及处理过程会产生明文的图像数据内容泄露问题，因此使用区块链私链的形式，将深度神经网络的不同模块作为区块，进行分散的推理，并对区块之间传输的数据进行加密处理，从而实现并行推理、容错、防止数据泄露的优秀性能。

基于上述思想，首先需要将智慧工地钢材堆积高度预警深度神经网络进行模块划分。将钢材语义分割编码器、钢材语义分割解码器、钢材堆积高度特征编码器、第一全连接网络作为网络的不同模块。如此，根据图1中所示的神经网络的推理顺序，即可得到智慧工地钢材堆积高度预警深度神经网络推理链。

计算集群中的所有节点载入智慧工地钢材堆积高度预警深度神经网络所需权重等参数。针对每一个智慧工地钢材堆积高度预警深度神经网络推理请求，从计算集群中选择多个可用节点，将终端的相机参数以及分别分布于不同可用节点的钢材语义分割编码器、钢材语义分割解码器、钢材堆积高度特征编码器、第一全连接网络所需参数作为对应节点的区块数据。如此，可以得到终端区块以及分布于不同节点的钢材语义分割编码器区块、钢材语义分割解码器区块、钢材堆积高度特征编码器区块、第一全连接网络区块。根据智慧工地钢材堆积高度预警深度神经网络推理顺序将区块连接，生成智慧工地钢材堆积高度预警深度神经网络推理区块链私链，并执行智慧工地钢材堆积高度预警深度神经网络推理。区块链链序与网络推理链序是一致的。网络推理链序如图1所示。例如，可用节点有10个，从中挑选4个节点，首先，将推理请求对应对端的相机参数作为区块数据，该区块为第一区块；从挑选的节点中取一节点，将节点中钢材语义分割编码器所需权重等参数作为区块数据，将其链接到终端所在区块；随机取另一节点，将节点中钢材语义分割解码器所需权重等参数作为区块数据，并与钢材语义分割编码器所在区块链接；以此类推，按照神经网络推理顺序，生成了对应的智慧工地钢材堆积高度预警深度神经网络推理区块链私链。由此可见，可以同时存在多个针对不同请求生成的智慧工地钢材堆积高度预警深度神经网络推理区块链私链，并且，该区块链私链是动态生成的，不易被攻击破解，保密性能更好。

在可用节点选择中，节点的选择是随机化的，此处采用哈希方法，即首先对摄像头采集的图像数据提取g(绿色)单通道，再进行采样，采样到固定的大小，然后计算像素的最大值max、最小值min，通过该公式(max+min)/2来设置阈值，以进行二值化处理，再将二值化的数据进行flatten操作变成一维序列数据，并将其转换为二进制数据作为随机数的种子，根据该随机数种子生成随机数序列，根据随机数序列中数值的大小索引选择相应索引的节点即可，每次按照新的顺序进行链式推理，进一步增加被解密的难度。

如果将可用节点选择操作置于一个节点进行，当该节点发生故障，那么神经网络推理操作陷入停滞。而且，当把计算集中在一个节点时，很容易被攻击和破解。因此，为了实现区块链的去中心化，在每一个深度神经网络推理请求的推理过程结束之后，可以由最后一个节点执行可用节点选择操作。

将终端所在节点加入区块链私链，相机参数作为区块数据。这样做的目的是通过加密策略保证终端的输出是保密的，不易被截获、篡改。还可以将接收监测结果的监控中心所在节点加入区块链私链，这样做的目的是保证系统分析结果能够安全地传输到监控中心。

在对深度神经网络进行模块划分时，神经网络的某些模块很难一次性放进一个节点，即某些模块的运算量较大，很难在短时间内完成计算。因此，可以对钢材语义分割编码器、钢材语义分割解码器、钢材堆积高度特征编码器、第一全连接网络所需参数分别进行适当细分，增加神经网络切分块数，减小任务粒度，提高并行性。即可得到钢材语义分割编码器子模块组、钢材语义分割解码器子模块组、钢材堆积高度特征编码器子模块组、第一全连接网络子模块组所需参数。如此，根据神经网络的推理顺序，即可得到更加细分的智慧工地钢材堆积高度预警深度神经网络推理链。相应地，针对每一个智慧工地钢材堆积高度预警深度神经网络推理请求，从计算集群中选择多个可用节点，将分别分布于不同可用节点的细分后的子模块所需权重、参数作为区块数据，根据智慧工地钢材堆积高度预警深度神经网络推理顺序，生成智慧工地钢材堆积高度预警深度神经网络推理区块链私链。

进一步地，为了保证各个区块所接收到数据的完整性和安全性，防止在数据在传输过程中被攻击和篡改，需要对区块间传输的数据进行加密。具体地，本发明采用aes加密机制对区块之间的传输数据进行加密、解密。其中节点到节点之间的数据传输是需要使用加密手段的，在此使用aes128加解密算法，aes算法实现模式有多种，实施者可以根据需求选择具体的aes加密算法。由于接收网络结果数据的监控中心是可信的，因此监控中心定期广播128位字节作为密钥，在此举例说明：即假设中间数据的一个字节为0b11001100，该字节称为明文，将其与128位字节密钥输入到aes加密函数中，得到密文(即加密后的数据)，当下一节点接收时，对其解密，即将密文与128位字节密钥输入到aes解密函数中，就得到了0b11001100，即复原了原来的数据。对所有区块之间的数据传输进行加密、解密操作，可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后，首先进行解密操作，然后进行后续处理。

cim(cityinformationmodeling，城市信息模型)技术是以三维城市空间地理信息为基础，叠加城市建筑、地上地下设施的cim信息以及城市物联网信息，构建起三维数字空间的城市信息模型。本发明基于cim技术对智慧工地钢材堆积监测结果进行展示和预警。通过cim城市信息模型结合webgis技术将工地钢材堆积监测系统的结果展现在web中，实现工地状况以及数据的可视化。在本发明系统中，cim技术通过构建城市区域内建筑的三维模型，实现对城市中建筑的数据化、信息化，为后续工地钢材堆积高度监测提供地理位置信息，并结合dnn技术，实现全天候工地钢材堆积监测，应用方便，成本低。

因此，本发明设计了城市工地信息模型。城市工地信息模型主要包含三维城市空间模型和区域内工地信息，会随着施工进度的不断推进，实时更新其模型和信息内容。城市工地信息模型基于cim技术，包括工地三维空间建模信息、监控区域信息、工地钢材堆积监测结果。其中，工地三维空间建模信息包括区域内各个工地的工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息，这些类型信息中同时包含相应的地理位置信息，结合webgis技术通过可视化软件可以对城市区域内各个工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的城市工地信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像，例如俯视图等。工地钢材堆积监测结果，用于将工地钢材堆积监测结果集成到匹配的监控区域，以供监管人员查看。在本发明中，工地钢材堆积监测结果实时传输至城市工地信息模型。

本发明的系统还包括使用可视化单元结合webgis技术对城市工地信息模型进行可视化，展示在监控页面。具体地，可视化单元包括：初始化模块，用于从城市工地信息模型获取工地三维空间建模信息，结合webgis技术对城市工地信息模型进行渲染，展示在前台web页面，得到城市工地信息模型的初始可视化结果；数据获取模块，用于从城市工地信息模型获取监控区域信息以及工地钢材堆积高度估计结果；可视化模块，用于将监控区域信息以及工地钢材堆积高度估计结果集成在城市工地信息模型的初始可视化结果。管理员可以通过可视化结果对区域内工地钢材堆积高度详情进行查看。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。