一种基于计算机视觉的楼盘吊车作业防意外辅助系统的制作方法

本发明涉及吊车设备技术领域，尤其涉及一种基于计算机视觉的楼盘吊车作业防意外辅助系统。

背景技术：

随着我国经济水平的飞速发展，城市建设正如火如荼的进行着。楼盘建筑作为城市建设的重要组成部分，普遍存在于我们日常生活中，而吊车作为起吊搬运器械，广泛用于建筑工地等场所，尤其是在城乡建筑建设中。

目前，传统的吊车作业方式是吊车将所需建筑材料如泥浆、预制板等建筑材料吊至在建楼层平台，由建筑工人指挥吊车司机将材料运至相应区域。由于吊车司机在平地作业的时候视线受阻，不能完全了解建筑平台上的具体环境，且工人指挥时仅通过喊话、对讲机等方式和吊车司机沟通，往往会因沟通有误或不及时而发生货物碰伤工人或将工人推下建筑摔伤等意外状况，从而导致施工效率受影响，而且依靠人力进行实时监督成本较高，效率低下。

技术实现要素：

本发明提供一种基于计算机视觉的楼盘吊车作业防意外辅助系统,解决的技术问题是，传统吊车作业中通过人眼判断安全距离不准确且存在观测死角、存在极大的安全隐患及观测效率较低、沟通困难。

为解决上述技术问题，本发明提供了一种基于计算机视觉的楼盘吊车作业防意外辅助系统，包括可视化模块，还包括依次连接的关键点检测模块、模型计算模块、判断处理模块、以及与所述模型计算模块连接的包围框检测模块；

所述关键点检测模块用于将采集的图像输入第一卷积神经网络进行训练，获取关键点位置数据，并将所述关键点位置数据输入所述模型计算模块；

所述包围框检测模块用于将采集的图像输入第二卷积神经网络进行训练，得到货物包围框数据，并将其输入所述模型计算模块；

所述模型计算模块用于根据所述关键点位置数据和所述货物包围框数据训练得到旋转模型和倾斜模型，并估算安全范围；

所述判断处理模块用于根据所述安全范围判断人是否处于危险范围。

本技术方案基于神经网络建立的吊车作业防意外辅助系统，通过检测建筑平台工人以及吊运货物的位置信息，替代了传统的人工实时监督指挥工作，在避免了工人和货物发生碰撞，降低作业风险的同时，解放了劳动力，减少了人工成本，同时解决了传统吊车作业中通过人眼判断安全距离不准确且存在观测死角、存在极大的安全隐患及观测效率较低、沟通困难的问题。

在进一步的实施方案中，所述将采集的图像输入第一卷积神经网络进行训练包括：

a1.对第一关键点进行标注，得到关键点标注数据；

a2.将采集的图像与所述关键点标注数据作为样本数据集，基于交叉熵损失函数对深度神经网络进行训练；

a3.输出第一关键点热力图；

a4.对所述第一关键点热力图进行后处理，得到关键点位置数据。

其中，所述第一关键点包括人双脚、绳结、货物角及其中心点；

所述第一关键点热力图包括人双脚、绳结、货物角及其中心点热力图；

所述关键点位置数据包括人双脚、绳结、货物角及其中心点位置数据。

本技术方案通过基于卷积神经网络的目标检测网络，即编码器解码器处理得到工人双脚关键点、绳结关键点和货物角及其中心点关键点的热力图，从而得到人和货物的精确位置，相比于传统人工指挥的方式，定位更准确、快速，同时节省了时间。

在进一步的实施方案中，所述将采集的图像输入第二卷积神经网络进行训练包括：

b1.对货物包围框进行标注，得到包围框标注数据；

b2.将采集的图像与所述包围框标注数据作为样本数据集，基于均方差损失函数对深度神经网络进行训练；

b3.输出货物包围框热力图；

b4.对所述货物包围框热力图进行后处理，得到货物包围框数据。

其中，所述货物包围框数据包括货物包围框的宽高及其中心点坐标。

本技术方案借鉴centernet的思想，通过卷积神经网络训练出吊运货物的目标检测网络，得到货物包围框的中心坐标以及包围框的宽高尺寸，从而根据此数据得出倾斜模型的安全范围，相比于人工判断更准确，安全性更强。

在进一步的实施方案中，所述旋转模型根据所述货物中心点位置数据及其中一角位置数据得到第一角度，并根据第一角度设定旋转最大危险半径；

所述第一角度为所述货物中心点至所述货物一角的角度。

相比于现有技术，本技术方案的旋转模型进一步考虑了货物发生大幅度旋转的情况；本方案通过旋转模型判断货物是否发生旋转，并根据旋转的角度进行相应的处理，避免了因货物旋转幅度大而造成不必要的人员伤亡事故的发生，且整个旋转模型简单、通用性好，大大提高了吊车作业的安全系数。

在进一步的实施方案中，所述倾斜模型根据所述货物包围框的中心点坐标以及所述绳结的投影坐标计算得到倾斜最大危险半径。

本技术方案通过倾斜模型判断货物是否发生倾斜以及倾斜的程度，相比于现有技术，本系统避免了人工忽视等问题，使得作业过程安全系数更高，且后期维护成本低；本方案通过关键点的位置坐标训练获得旋转模型和倾斜模型，进而通过两个模型实时获取危险范围，使得吊车在吊装作业时，始终保持与人的安全距离，避免事故的发生，以进一步保证吊车吊装过程安全高效。

在进一步的实施方案中，所述判断处理模块用于将所述人脚关键点和所述货物包围框投影至建筑信息模型，以及根据两者在建筑信息模型中的位置坐标计算得到两者的距离，以判断人是否处于危险状态。

更进一步地，所述判断处理模块还用于将所述货物包围框投影至建筑信息模型之前，对所述货物包围框进行微调。

在本技术方案中，判断处理模块实时将人脚关键点和所述货物包围框投影至建筑信息模型，此投影坐标随着吊车吊装目标对象移动的位置的不同而不同，判断处理模块实时测算货物与建筑工人之间的距离是否大于危险范围，若否，则开启预警机制以提醒工作人员停止操作，使得吊车吊装作业始终保持在安全范围内，对减少不必要的财产损失或人员伤亡具有重要意义。

在进一步的实施方案中，所述可视化模块用于从所述建筑信息模型获取相关数据，对所述建筑信息模型进行渲染，并将建筑三维模型和人脚位置展示在可视化页面。

本技术方案通过webgis等技术对建筑信息模型内的各种信息进行可视化，使其能够更加直观、全面地展示人以及货物的位置；在可视化模块中，吊装工作人员可看到吊装全程的实景与安全提示，根据主控画面即可高效安全完成吊装作业；当出现预警时，判断处理模块可自动启动预警提示与处理，保障吊装过程安全高效。

附图说明

图1是本发明实施例提供的一种基于计算机视觉的楼盘吊车作业防意外辅助系统框图；

图2是本发明实施例提供的关键点检测模块训练流程图；

图3是本发明实施例提供的包围框检测模块训练流程图；

图4是本发明实施例提供的旋转模型流程示意图；

图5是本发明实施例提供的倾斜模型流程示意图；

图6是本发明实施例提供的倾斜模型结构示意图；

图7是本发明实施例提供的倾斜模型椭圆模型简单说明图；

图8是本发明实施例提供的判断处理模块的简单示意图。

图形标注：

可视化模块1；关键点检测模块2；模型计算模块3；判断处理模块4；包围框检测模块5。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

针对传统吊车作业中通过人眼判断安全距离不准确且存在观测死角、存在极大的安全隐患及观测效率较低、沟通困难的问题，本发明实施例提供了一种基于计算机视觉的楼盘吊车作业防意外辅助系统，包括可视化模块1，如图1所示，还包括依次连接的关键点检测模块2、模型计算模块3、判断处理模块4、以及与所述模型计算模块3连接的包围框检测模块5；

所述关键点检测模块2用于将采集的图像输入第一卷积神经网络进行训练，获取关键点位置数据，并将所述关键点位置数据输入所述模型计算模块3；

所述包围框检测模块5用于将采集的图像输入第二卷积神经网络进行训练，得到货物包围框数据，并将其输入所述模型计算模块3；

所述模型计算模块3用于根据所述关键点位置数据和所述货物包围框数据训练得到旋转模型和倾斜模型，并估算安全范围；

所述判断处理模块4用于根据所述安全范围判断人是否处于危险范围。

需要说明的是，为了实现本实施例所述防意外辅助系统，需要先构建建筑信息模型bim、信息交换模块及其内部之间的关系。

所述建筑信息模型bim指以在建的建筑信息数据为基础，建立起三维的建筑模型，并包含所安装的相机设施等信息。

所述信息交换模块是一种基于建筑信息模型bim的数据交换平台，包含建筑生命周期各阶段所涵盖的信息。

本发明实施例通过建筑平台安装的摄像头进行图像采集；另外，考虑到工地环境较为复杂，外界环境光线的变化，空气中的大量灰尘等因素的干扰，需对采集的图像进行预处理；

如图2所示，在本发明实施例中，所述将采集的图像输入第一卷积神经网络进行训练包括：

a1.对第一关键点进行标注，得到关键点标注数据；

a2.将采集的图像与所述关键点标注数据作为样本数据集，基于交叉熵损失函数对深度神经网络进行训练；

a3.输出第一关键点热力图；

a4.对所述第一关键点热力图进行后处理，得到关键点位置数据；

其中，采集的图像与所述关键点标注数据在输入深度神经网络之前，需将其归一化到0～1之间，以便模型更好地收敛；

所述第一关键点包括人双脚、绳结、货物角及其中心点；

所述第一关键点热力图包括人双脚、绳结、货物角及其中心点热力图；

所述关键点位置数据包括人双脚、绳结、货物角及其中心点位置数据。

在所述a2中，本发明实施例端到端地训练人双脚、绳结、货物角及其中心点检测编码器encoder，和人双脚、绳结、货物角及其中心点检测解码器decoder；

其中，编码器encoder对图像进行特征提取，输入为经过归一化处理的图像数据；解码器decoder是对中间特征进行上采样与特征提取并最终生成所述第一关键点热力图。

需要说明的是，由于热力图本身的特点，所述第一关键点热力图的像素值符合高斯分布，其值域在0～1之间。

本实施例通过编码器解码器处理得到工人双脚关键点、绳结关键点和货物角及其中心点关键点的热力图，从而得到人和货物的精确位置，相比于传统人工指挥的方式，本实施例实现了吊车作业现场的智能化监控，其定位更准确，安全性也更高，且方便日常管理。

如图3所示，在本发明实施例中，所述将采集的图像输入第二卷积神经网络进行训练包括：

b1.对货物包围框进行标注，得到包围框标注数据；

b2.将采集的图像与所述包围框标注数据作为样本数据集，基于均方差损失函数对深度神经网络进行训练；

b3.输出货物包围框热力图；

b4.对所述货物包围框热力图进行后处理，得到货物包围框数据。

其中，所述货物包围框数据包括货物包围框的宽高及其中心点坐标。

本发明实施例借鉴centernet的思想，采用基于编码器-解码器的卷积神经网络训练出吊运货物的目标检测网络，得到货物包围框的中心坐标o(x0，y0)以及包围框的宽高尺寸w0、h0，从而根据此数据得出倾斜模型的安全范围，相比于人工判断更准确，安全性更强。

其中，数据标签为x0、y0、w0、h0；

货物包围框中心的坐标为o(x0，y0)；

货物包围框的宽为w0，货物包围框的高为h0。

在本发明实施例中，如图4所示，所述旋转模型根据所述货物中心点位置数据及其中一角位置数据，得到所述货物中心点至所述货物一角的角度，并将此角度和初始位置的货物角度进行对比，当在预先设定的角度阈值范围内时，可判断出货物轻微旋转，不作处理；当大于预先设定的角度阈值范围时，可以判断出货物旋转幅度较大，此时可计算出包围框斜线长度的一半，并确定以r1为半径的圆内为危险范围，即r1为旋转最大危险半径；

相比于现有技术，本实施例增加了旋转模型，以进一步判断货物是否发生旋转，并根据旋转的角度进行不同的处理，从而避免了吊车作业过程中货物大幅度旋转导致的安全隐患，进一步保证了吊车作业的安全性，设计合理，范围更广，可靠性更高。

在本发明实施例中，如图5所示，所述包围框检测模块得到包围框中心点坐标后，将其与绳结在二维图片上的投影坐标(x1，y1)进行差值计算，训练出倾斜模型。

在所述倾斜模型中，为方便计算并得到倾斜最大危险半径r2，本实施例假定在所述绳结与货物包围框的中心发生偏移时，货物仍处于水平方向，如图6所示，本实施例通过函数模型fr计算倾斜最大危险半径r2，其中，

式中，fr表示此时货物处于水平方向时的最大旋转半径长度，即p点到s点距离；

货物包围框中心点坐标为o(x0，y0)；

绳结在包围框上的垂直坐标为s(x1，y1)；

δdx、δdy是点s的坐标与o点坐标在x轴和y轴方向上的差值分量；

如图7所示，在实际实施过程中，当绳结点偏离货物中心点后，货物开始倾斜，最大旋转半径长度fr增大，此时倾斜后的危险范围也随之减小，即倾斜最大危险半径r2随着最大旋转半径长度fr的增大而减小，最大旋转半径长度fr和倾斜最大危险半径r2的关系类似于椭圆曲线，因此，为了便于运算，本实施例将二者的关系表示为图7中椭圆在第一象限的曲线；

即，本发明实施例根据椭圆的标准公式计算倾斜最大危险半径r2：

设(x，y)为椭圆上任意一点，所述椭圆的标准公式为：

式中，a代表长轴长，b代表短轴长；

在图7中，椭圆的长半轴为最大旋转半径长度fr的最大距离，即2r1，故长轴长a＝4r1；短半轴为倾斜最大危险半径r2的最大距离，即r1，故短轴长b＝2r1；

设(fr，r2)为椭圆上任意一点，因此，最大危险半径r2为：

即

其中，r1为货物包围框斜线的一半长度；

需要说明的是，为了更好地反映其属性以及运算，本实施例根据最大旋转半径长度fr和倾斜最大危险半径r2的曲线特性，选取椭圆模型作为反映r2随着fr的增大而减小的非线性关系的模型，但是，在实际实施实施中，椭圆模型并非唯一，本领域技术人员可根据具体的曲线特性构建模型。

本实施例通过倾斜模型判断货物是否发生倾斜以及倾斜的程度，相比于现有技术，本系统通过旋转模型和倾斜模型实时获取危险范围，避免了在吊车在作业过程中，货物发生大幅度旋转或者倾斜，但由于盲区的原因而导致吊车偏离安全范围，发生安全事故；本实施例通过旋转模型和倾斜模型进一步减小了安全风险，且经济性好，使用灵活，适合任何施工区域。

由于吊运货物在运送过程中存在摇摆活动且吊臂可能伸缩，因此实际需要考虑的货物包围框应进行适当微调。以吊车工作中常见的预制板为例，规定其左右摇摆角度最多各为30°；

利用参数offset对包围框微调的方法为：

w0＝w0×(1+offset)；1-5

h0＝h0×(1+offset)；1-6

在本实施例中，offset取值优选0.3。

在本发明实施例中，所述判断处理模块4通过相机标定将所述人脚关键点和微调后的所述货物包围框投影至建筑信息模型bim地面上得到各自的位置坐标，以及根据两者的位置坐标计算得到两者的距离l，然后比较距离l的值是否大于r1或r2，如图8所示，当大于r1或r2时则可判断人不处于危险范围内，否则即判断吊车在作业时人处于危险范围内，需及时预警制动防止意外发生。

在本发明实施例中，判断处理模块4实时测定人和货物包围框之间的距离是否处于大于旋转最大危险半径r1或倾斜最大危险半径r2，若是，则开启预警机制，本实施例不仅提高了数据的准确度，也提高了周围工作人员以及设备的安全系数。其中，当作业人员操作操纵杆移动或伸缩吊臂时，系统自动开启预警机制，当吊臂不再移动时，系统自动关闭预警机制。

为了方便管理与可视化，本发明实施例结合webgis等技术，从所述建筑信息模型bim获取相关数据，通过调用所述信息交换模块实时更新建筑三维模型和工人位置等相关信息，同时可查看相机感知信息，从而对当前检测的结果信息进行可视化，使其能够更加直观、全面地展示人以及货物的位置，使作业人员能够从全局把握建筑平台上的具体环境，提高安全系数。

本发明实施例提供了一种基于计算机视觉的楼盘吊车作业防意外辅助系统，包括依次连接的关键点检测模块2、模型计算模块3、判断处理模块4、以及与所述模型计算模块3连接的包围框检测模块5，解决了传统吊车作业中通过人眼判断安全距离不准确且存在观测死角、存在极大的安全隐患及观测效率较低、沟通困难的问题；本发明实施例提供的防意外辅助系统避免了人眼误差，通过旋转模型和倾斜模型进一步提高了吊车作业的安全系数，更具有实时性和安全性；本发明实施例在作业过程中无需进行人工沟通，极大地增加了人以及货物位置信息更新的实时性，减少了人工成本，缩短了作业周期，提高了作业效率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。