利用区块链的智慧工地施工人员聚集监测系统的制作方法

本发明涉及人工智能、区块链、智慧工地、cim技术领域，具体涉及一种利用区块链的智慧工地施工人员聚集监测系统。

背景技术：

长期以来，人员聚集场所一直是安全、治安管理的重点与难点，一旦发生安全事故，如火灾、爆炸、踩踏等安全事故，人员伤亡和财产损失非常重大。工地作为劳动场所，与其他劳动场所相比，其本身就具有一定的危险性，人员聚集加上安全事故带来的人员伤亡、财产损失会更大。因此，对工地中人员聚集情况进行监测十分必要。目前工地对智能视频分析人员聚集的技术方案很少，基本靠人为监督，人为监督方式不仅效率低而且很难及时准确反映工地的实时人员聚集情况。一些方案采用基于高精度定位系统进行人员聚集监测，由于高精度定位装置成本较高，抗干扰能力差，监测精度低，不适合推广应用。

而且，目前的工地安全监测通常只返回异常结果，结果反馈单一。并且，用于计算的集群，信息易被泄露、安全性能较低。因此，现有施工人员聚集监测技术存在监测精度和监测效率低下、结果反馈单一、数据处理及传输过程中安全性能低的问题。

得益于人工智能、物联网等技术的发展，智慧工地成为了一种崭新的工程全生命周期管理理念。本发明就智慧工地中施工人员聚集监测，从结果反馈、监测精度效率以及系统安全性等方面对现有技术进行改进。

技术实现要素：

本发明提供了一种利用区块链的智慧工地施工人员聚集监测系统，不仅结果反馈多元，而且提高了监测精度、监测效率和数据处理传输过程中的安全性、保密性。

一种利用区块链的智慧工地施工人员聚集监测系统，包括终端集群与计算集群，在终端集群与计算集群上配置施工人员聚集监测深度神经网络区块链私链，并执行施工人员聚集监测深度神经网络推理，得到施工人员聚集监测结果；

施工人员聚集监测深度神经网络的输入为终端采集的监控区域图像，监控区域图像包括人员热成像以及人员图像，输出包括人员密度图、施工人员聚集程度估计结果，由多个模块组成，包括：

人员密度编码器，用于对人员热成像与人员图像rgb三通道数据的联合输入进行编码提取特征，得到人员密度特征图；

人员密度解码器，用于对人员密度特征图与人员聚集程度特征图接合得到的联合特征图进行解码表征，得到人员密度图；

人员聚集程度编码器，用于对人员图像rgb三通道数据进行特征提取，人员聚集程度特征图；

第一全连接网络，用于对人员聚集程度特征图展开后得到的特征向量进行加权分类，输出施工人员聚集程度估计结果。

配置施工人员聚集监测深度神经网络区块链私链包括：

计算集群载入施工人员聚集监测深度神经网络所需参数；

针对每一个施工人员聚集监测深度神经网络推理请求，从计算集群中选择多个可用节点，将终端的相机参数以及分别分布于不同可用节点的人员密度编码器、人员密度解码器、人员聚集程度编码器、第一全连接网络所需参数作为终端、对应节点的区块数据，按照施工人员聚集监测深度神经网络推理顺序将区块连接，生成施工人员聚集监测深度神经网络区块链私链。

区块链私链中的区块对其要传输至下一区块的神经网络推理中间结果数据进行加密，对其从上一区块接收到的神经网络推理中间结果数据进行解密。

采用张量重塑形机制进行加密解密，包括：针对每一个网络推理请求，生成张量重塑形参数表，并发送至区块链私链所在节点，区块链私链中所有节点按照该参数表设置待传输张量元数据中的张量尺寸，并按照该参数表解析其接收到的张量数据；张量重塑形参数表中存储每一区块输出张量的重塑形参数。

基于cim技术构建城市工地信息模型，城市工地信息模型包括：城市工地三维空间建模信息、监控区域信息、施工人员聚集监测结果；利用可视化单元结合webgis技术对城市工地信息模型进行渲染，展示在前台页面。

可视化单元包括：

初始化模块，用于从城市工地信息模型获取城市工地三维空间建模信息，结合webgis技术对城市工地信息模型进行渲染，展示在前台web页面，得到城市工地信息模型的初始可视化结果；

数据获取模块，用于从城市工地信息模型获取监控区域信息以及施工人员聚集监测结果；

聚集可视化模块，用于根据地理位置将监控区域信息以及施工人员聚集监测结果集成在城市工地信息模型的初始可视化结果。

对人员密度编码器、人员密度解码器、人员聚集程度估计编码器、第一全连接网络分别进行适当细分，将分别分布于不同节点的细分后的每一模块的参数作为对应节点的区块数据，按照施工人员聚集检测深度神经网络推理顺序，生成施工人员聚集监测深度神经网络区块链私链。

人员密度编码器、人员密度解码器构成人员密度估计子网络，训练该子网络时，首先对样本图像中行人的头部位置进行标注，然后将标注行人头部的散点图与高斯核卷积得到标注图像人员密度图，将样本图像与标注图像输入该子网络，基于均方误差函数对该子网络进行训练。

人员聚集程度编码器、第一全连接网络构成人员聚集程度预测子网络，训练该子网络时，将人员图像样本集以及对应的经过独热编码的人员聚集程度标签数据输入该子网络，基于交叉熵损失函数训练该子网络。

本发明的有益效果在于：

1.本发明采用深度神经网络对监控区域图像进行分析，相比于传统的基于定位装置的监测方法，不仅成本更低，具有更准确的结果响应和更高的监测效率。

2.本发明对热成像与rgb数据进行分析，利用人员密度估计子网络辅助训练，加速整个网络以及人员聚集程度预测子网络收敛。

3.本发明基于区块链技术，对施工人员聚集监测深度神经网络进行合理划分，针对每个网络推理请求，动态生成区块链私链，相比于传统的单机执行，不仅提高了系统的并行性能，而且由于区块链私链是动态的，当某一节点出现故障，系统能够及时感知，不会影响其他推理请求的计算，具有更好的容错性能。

4.本发明的区块链私链根据计算集群中可用节点实时生成，相比于传统的固定分配，不易被攻击破解，提高了系统数据的保密性能。

5.本发明对网络推理区块链私链之间的数据进行加密，防止区块链私链区块之间传输数据的泄露，保证传输数据的保密性。

6.本发明使用张量重塑形方法对区块链私链之间传输数据进行加密解密，由于张量重塑形方法仅改变元数据，计算量小，在提高保密性能和安全性能的同时不会增加系统负担。

7.本发明基于cim技术设计城市工地信息模型存储施工人员聚集监测结果，并对城市工地信息模型进行可视化，相比于传统的结果反馈，本发明的反馈结果更加多元化，包括工地区域三维展示、警示标记、监控区域图像，能够使监管人员更加清晰明确地了解施工人员聚集情况。

附图说明

图1为本发明系统的施工人员聚集监测深度神经网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种利用区块链的智慧工地施工人员聚集监测系统。图1为本发明系统的深度神经网络结构图。下面通过具体实施例来进行说明。

实施例一：

一种利用区块链的智慧工地施工人员聚集监测系统，包括终端集群与计算集群，终端集群与计算集群通过网络互连并载入施工人员聚集监测深度神经网络所需参数，通过配置施工人员聚集监测深度神经网络区块链私链，执行施工人员聚集监测深度神经网络推理。终端设置于监控区域，能够采集监控区域图像，并具有一定的计算能力。

本发明主要对工地人员聚集进行监测，实现对人员聚集的预警。工地人员聚集监测之所以没有使用目标检测技术的原因是其对不同尺度的人员检测较难，计算量大，没有小样本训练特性，应用价值低。本发明基于施工人员聚集监测深度神经网络进行施工人员聚集程度监测。施工人员聚集监测深度神经网络的输入为终端采集的监控区域图像，输出包括施工人员聚集程度估计结果。本发明用于采集监控区域图像的终端中采用热成像与rgb二合一的传感器，因此监控区域图像包括人员热成像、人员图像rgb三通道数据。施工人员聚集监测深度神经网络包括：人员密度编码器、人员密度解码器、人员聚集程度编码器、第一全连接网络。

人员密度编码器、人员密度解码器构成人员密度估计子网络，其输入为人员热成像、人员图像rgb三通道数据，输出为人员密度图。人员密度估计子网络通过对热成像与摄像头拍摄的图像进行特征提取，并最终生成人员密度图，为开发的系统提供数据可视化功能。使用热成像可以更有效地对人员进行区分，为后续网络提供更明显的特征。具体地，人员密度编码器，用于对人员热成像与人员图像rgb三通道数据的联合输入进行编码提取特征，得到人员密度特征图。人员密度解码器，用于对人员密度特征图与人员聚集程度特征图接合得到的联合特征图进行解码表征，得到人员密度图。

人员聚集程度编码器、第一全连接网络构成人员聚集程度预测子网络，其输入为人员图像的rgb三通道数据，输出为施工人员聚集程度估计结果。具体地，人员聚集程度编码器对人员图像进行特征提取，得到人员聚集程度特征图。第一全连接网络，用于对人员聚集程度特征图展开后得到的特征向量进行加权分类，输出施工人员聚集程度估计结果。

下面对施工人员聚集监测深度神经网络的训练过程进行说明。施工人员聚集监测深度神经网络可以分为人员密度估计子网络以及人员聚集程度子网络。先对人员密度估计子网络的训练过程进行说明。首先，生成标签数据。具体地，人员密度图的标签分为两步，第一步进行行人标注，标记在人头的位置，即x,y的坐标；第二步，将标注的人头散点图与高斯核卷积，即进行高斯模糊，得到人员密度图。然后，将采集的数据经过归一化处理，即将图片矩阵变为[0,1]之间的浮点数，以便模型更好地收敛。接着，将处理后的图像数据与标签数据送到人员密度估计子网络中对人员密度编码器、人员密度解码器进行训练。人员密度编码器实现对图像进行特征提取，输入为归一化的图像数据，包含热成像与rgb数据，且需要保证分辨率一致，通过concatenate操作输入到网络中，输出为特征图；人员密度解码器进行上采样并最终生成人员密度图，输入为人员密度编码器与人员聚集程度编码器输出的特征图接合concatenate操作后得到的特征图，输出为人员密度图；人员密度图的像素值值域为[0,1]之间的浮点数。损失函数采用l2loss，有助于得到网络的稳定解，其数学公式如下：其中，yi为目标值，f(xi)为模型输出(估计值)。需要注意的是，网络输出的人员密度图的像素值值域为[0,1]之间的浮点数，如果要进行可视化，需要将像素值乘255。

人员聚集程度预测子网络对监控图像进行分类，依据人员聚集程度的不同，分为多个聚集等级。建议参考城市工地的人数来划分，例如0-10人为1级，11-20为2级，20-35人为3级，35-50人为4级，50人以上为5级，越高等级代表人员聚集程度越严重。

下面对人员聚集程度预测子网络的训练过程进行说明。首先，对摄像头采集的数据同样经过归一化处理，以便模型更好地收敛。然后处理后的图像数据与经过one-hot编码的标签数据送入到人员聚集程度预测子网络中进行训练。人员聚集程度编码器对人员图像rgb数据进行特征提取，输入为经过归一化后处理的图像数据，输出为人员聚集程度特征图。第一全连接网络起到将featuremap映射到样本标记空间的作用，输入为人员聚集程度特征图(在此需要进行flatten展开操作，将其转化为一维向量)，输出即人员聚集各个程度的概率。损失函数采用交叉熵。第一全连接网络输出的是人员聚集各个程度的概率，再经过argmax操作后就可以得到具体的人员聚集程度等级，即施工人员聚集程度聚集结果。

人员密度估计子网络对人员聚集程度预测子网络起到辅助训练、加速收敛的作用。由于人员密度解码器的输入是要联合人员聚集程度编码器输出的特征图的，因此，人员聚集程度编码器的训练受到两个项的监督，其产生的人员聚集程度特征图会更有利于第一全连接网络的训练。

需要说明的是，编码器用于扩增通道提取特征，解码器用于上采样对特征图进行解码重构。编码器、解码器的实现有多种，本发明为了兼顾网络的速度与精度，建议采用沙漏网络来提取特征，实施者也可根据图像大小和显存占用选取合适的神经网络内部的模块设计，如residualblock、bottleneckblock、cnnblock等。本发明的编码器、解码器具体采用何种网络设计，实施者可以根据具体实施需求选择，其模块化思想为本发明保护内容。例如，人员密度编码器-人员密度解码器采用跳级结构设计，block采用shufflenet、mobilenet等轻量级网络的block设计。人员聚集程度编码器建议套用efficientnet图像分类网络来提取特征。

本发明考虑到了当下工地不可能搭建临时机房用于人员聚集监测的计算，且工地供电不稳定、没有无尘环境，所以机架服务器放在工地是容易宕机的(湿度低导致静电、湿度高导致连接器老化、灰尘导致静电吸附、昆虫、老鼠等动物导致链路损坏，不适合集中计算)，所以采用计算集群计算。具体地，计算集群可以采用公有云计算，公有云主机实例作为一个计算节点。为了提高本发明系统的保密性能，防止数据泄露，并提高系统的并行性，本发明结合区块链技术设计了区块链私链。分布式存储可以在进行，分布式计算在多个相机端、服务器进行。每个设备负责一部分工作，降低了工作负荷。分布式以及区块链私链思想的使用，拥有信息加密、高容灾等优秀性能。

在此，针对本发明区块链技术与dnn技术结合进行详细阐述。区块链采用块分割数据，使用链式数据结构，将数据作为块进行验证和存储，整个数据结构汇总不存在中心化的硬件和管理机构，实现了去中心化。一代区块链技术主要在分布式账本上进行应用，二代区块链技术主要实现智能合约，三代区块链技术可以将区块链思想与其他领域技术结合，有越来越多的呈现形式，更加注重为系统功能服务。区块链私链完整地继承了公链的特性，而且私链没有博弈机制的束缚，更关注实际应用的数据传输、加解密处理，能够更好地与其他领域的技术结合。对于深度神经网络计算而言，不必要存储中间结果数据，保留链式的逻辑以匹配神经网络前向传播的原理。

本发明考虑到了若将数据直接上传到计算集群进行处理，上传过程以及处理过程会产生明文的图像数据内容泄露问题，因此使用区块链私链的形式，将深度神经网络的不同模块作为区块，进行分散的推理，并对区块之间传输的数据进行加密处理，从而实现并行推理、容错、防止数据泄露的优秀性能。

基于上述思想，首先需要将施工人员聚集监测深度神经网络进行模块划分。将人员密度编码器、人员密度解码器、人员聚集程度编码器、第一全连接网络作为网络的不同模块。如此，根据图1中所示的神经网络的推理顺序，即可得到施工人员聚集监测深度神经网络推理链。

计算集群中的所有节点载入施工人员聚集监测深度神经网络所需权重等参数。针对每一个施工人员聚集监测深度神经网络推理请求，从计算集群中选择多个可用节点，将终端的相机参数以及分别分布于不同可用节点的人员密度编码器、人员密度解码器、人员聚集程度编码器、第一全连接网络所需参数作为对应节点的区块数据。也就是说，人员密度编码器所需参数作为一个区块的数据，人员密度解码器所需参数作为一个区块的数据，以此类推，得到分别分布在4个不同节点的四个区块。根据施工人员聚集监测深度神经网络推理顺序，生成施工人员聚集监测深度神经网络区块链私链，并执行施工人员聚集监测深度神经网络推理。也就是说，将上述分别分布在4个不同节点的4个区块按照推理顺序连接起来，得到相应的区块链私链。在选择可用节点以及进行节点排序时，优选地，对计算集群中可用的节点进行随机排序，从中挑选与区块数相同个数的计算节点。例如，可用节点有10个，从中挑选4个节点，首先将推理请求对应终端的相机参数作为区块数据，生成第一区块；从4个节点中随机取一节点，将节点中人员密度编码器所需权重等参数作为区块数据，连接到第一区块；随机取另一节点，将节点中人员密度解码器所需权重等参数作为区块数据，并与人员密度编码器所在区块链接，以此类推，根据神经网络推理顺序，生成了对应的施工人员聚集监测深度神经网络区块链私链，区块链链序与神经网络推理顺序是一致的，网络推理链序如图1所示。由此可见，可以同时存在多个针对不同请求生成的施工人员聚集监测深度神经网络区块链私链，并且，该区块链私链是动态生成的，不易被攻击破解，保密性能更好。在可用节点选择中，还可以使用洗牌算法打乱节点顺序。具体操作为将节点按编号顺序依次排列作为函数输入，经shuffle函数运算，得到重新排序的节点序列。

如果将可用节点选择操作置于一个节点进行，当该节点发生故障，那么神经网络推理操作陷入停滞。而且，当把计算集中在一个节点时，很容易被攻击和破解。因此，为了实现区块链的去中心化，在每一个深度神经网络推理请求的推理过程结束之后，可以由最后一个节点执行可用节点选择操作。在本实施例中，可以将接收人员密度图与施工人员聚集程度估计结果的监控中心加入区块链私链，由监控中心所在节点执行可用节点选择操作。

为了进一步增强系统的保密性能，可以将终端所在节点加入区块链私链，相机参数作为区块数据。这样做的目的是通过加密策略保证终端的输出是保密的，不易被截获、篡改。

在对深度神经网络进行模块划分时，神经网络的某些模块很难一次性放进一个节点，即某些模块的运算量较大，很难在短时间内完成计算。因此，可以对人员密度编码器、人员密度解码器、人员聚集程度编码器、第一全连接网络分别进行适当细分，增加神经网络切分块数，减小任务粒度，提高并行性。即可得到人员密度编码器子模块组、人员密度解码器子模块组、人员聚集程度编码器子模块组、第一全连接网络子模块组。如此，根据神经网络的推理顺序，即可得到更加细分的施工人员聚集监测深度神经网络推理链。相应地，针对每一个施工人员聚集监测深度神经网络推理请求，从计算集群中选择多个可用节点，将终端的相机参数以及分别分布于不同可用节点的细分后的人员密度编码器、人员密度解码器、人员聚集程度编码器、第一全连接网络的子模块所需权重、参数作为对应节点的区块数据，根据施工人员聚集监测深度神经网络推理顺序将区块连接，生成施工人员聚集监测深度神经网络区块链私链。

进一步地，为了保证各个区块所接收到数据的完整性和安全性，防止在数据在传输过程中被攻击和篡改，需要对区块间传输的数据进行加密。本发明使用张量混淆加密处理。具体地，本实施采用张量重塑形的方法进行张量混淆加密处理。张量重塑形是对节点产生的数据进行有规则的形状变换，张量重塑形仅对元数据进行变换，具体变换过程包括：由于各节点加载的是训练好的神经网络，因此各区块节点输出的张量尺寸是已知的，因此，针对每一个网络推理请求，生成张量重塑形参数表，并发送至区块链私链所在节点，私链中所有节点按照该参数表设置待传输张量的元数据，并按照该参数表解析其接收到的张量数据；张量重塑形参数表中存储每一区块输出张量的重塑形参数。例如，人员密度编码器输出张量尺寸为[12,256,256](即12通道、宽高分别为256、256的张量)，其张量重塑形参数为[6,512,256],则人员密度编码器所在区块节点输出的加密后的张量元数据中张量尺寸为[6,512,256],而人员密度解码器在获得人员密度编码器传输的张量后，需要根据其收到的张量重塑形参数表中的解密参数[12,256,256]去解密张量数据，而非根据其收到的张量元数据中的张量尺寸去解析张量。需要说明的是，对于输出为一个数据的情况，可以选择通用加密算法对该数据进行加密，例如字节遮罩加密机制或des加密机制。字节遮罩加密即假设中间数据的一个字节为0b11001100,8-bitmask为0b10101010,对其做异或运算得到加密的字节0b01100110，以此类推加密整个数据，当下一节点接收时，对其解密：0b01100110与8-bitmask0b10101010做异或运算，得到0b11001100，即复原了原来的数据。对所有区块之间的数据传输进行加密、解密操作，可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后，首先进行解密操作，然后进行后续处理。

cim(cityinformationmodeling，城市信息模型)技术是以三维城市空间地理信息为基础，叠加城市建筑、地上地下设施的cim信息以及城市物联网信息，构建起三维数字空间的城市信息模型。本发明基于cim技术对智慧工地施工人员聚集监测结果进行展示和预警。通过cim城市信息模型结合webgis技术将工地施工人员聚集监测系统的结果展现在web中，实现工地人员状况以及数据的可视化。在本发明系统中，cim技术通过构建城市区域内建筑的三维模型，实现对城市中建筑的数据化、信息化，为后续工地人员聚集监测提供地理位置信息，并结合dnn技术，实现全天候工地人员聚集监测，应用方便，成本低。

因此，本发明设计了城市工地信息模型。城市工地信息模型主要包含三维城市空间模型和区域内工地信息，会随着施工进度的不断推进，实时更新其模型和信息内容。城市工地信息模型基于cim技术，包括工地三维空间建模信息、监控区域信息、施工人员聚集监测结果。其中，工地三维空间建模信息包括区域内各个工地的工地建筑物信息、工地建材放置信息、工人工作区域信息等各种工地场景信息，这些类型信息中同时包含相应的地理位置信息，结合webgis技术通过可视化软件可以对城市区域内各个工地的三维场景进行还原展示。监控区域信息包括监控区域地理位置信息监控视觉传感器摄取的图像、坐标变换矩阵。监控区域信息用于在可视化的工地区域建筑信息模型中还原监控区域图像。坐标变化矩阵用于将监控图像转换为可视化效果更好的图像，例如俯视图等。施工人员聚集监测结果，用于将施工人员聚集监测结果集成到匹配的监控区域，以供监管人员查看。在本发明中，施工人员聚集监测结果实时传输至城市工地信息模型。

本发明的系统还包括使用可视化单元结合webgis技术对城市工地信息模型进行可视化，展示在监控页面。具体地，可视化单元包括：初始化模块，用于从城市工地信息模型获取工地三维空间建模信息，结合webgis技术对城市工地信息模型进行渲染，展示在前台web页面，得到城市工地信息模型的初始可视化结果；数据获取模块，用于从城市工地信息模型获取监控区域信息；聚集可视化模块，用于将监控区域信息以及施工人员聚集监测结果集成在城市工地信息模型的初始可视化结果。管理员可以通过可视化结果对区域内工地人员聚集详情进行查看。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。