基于机器视觉的装配式建筑智能吊装方法与系统与流程

本发明涉及一种装配式建筑智能吊装方法，具体涉及一种基于机器视觉的装配式建筑智能吊装方法与系统。属于智能建筑技术领域。

背景技术：

节能减排是推进经济结构调整、转变发展方式、实现经济和社会可持续发展的必然要求。装配式建筑是发展节能减排，降低能源消耗，促进我国经济可持续发展的一种新方式。装配式建筑是用预制件在工地装配而成的建筑，由于预制件是根据市场和用户需求提前制作出来，所以具有建筑速度快、成本小、受气候天气影响较小、节约劳动力、降低施工现场的工作量和复杂度并且可以提高建筑质量等一系列优点。目前装配式建筑在我国建筑工程建设中被越来越多的采用。

目前，装配式建筑的吊装还主要是以人工吊装的方式为主，而人工吊装有着一系列的问题，劳动强度大、效率低、工期长、吊装准确性不佳等问题严重拖慢了装配式建筑的吊装效率。装配式建筑的人工吊装主要基于人工视觉来判断装配式建筑预制件的吊装路径，而随着机器视觉的发展，用机器视觉的方法把人解放出来，自动实现障碍物识别及吊装路径规划，有助于装配式建筑吊装智能化，改善人工吊装的缺点。但现有装配式建筑吊装技术并未考虑这一问题，且在机器视觉基础上，如何在复杂的装配场景中进行障碍物识别及吊装路径规划也需要给出合理的解决方案。

技术实现要素：

本发明的目的是为克服上述现有技术的不足，提供一种基于机器视觉的装配式建筑智能吊装方法。

本发明还提供了上述吊装方法对应的基于机器视觉的装配式建筑智能吊装系统。

为实现上述目的，本发明采用下述技术方案：

基于机器视觉的装配式建筑智能吊装方法，包括步骤：

(1)图像采集模块通过安装在装配式建筑吊装施工现场的摄像头采集图像，构建施工现场的机器视觉数据库，并通过第一通信模块传输给图像处理和决策模块；

(2)图像处理和决策模块进行图像分析，找出装配式建筑的预制件最佳吊装路径，并通过第二通信模块发送给设备控制模块；

(3)设备控制模块计算出具体吊装所需数据，进而利用塔吊控制模块实现预制件吊装；

(4)在吊装过程中，摄像头控制模块控制摄像头获取实时图像，并经图像处理和决策模块判断预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。

作为优选技术方案之一，针对会对预制件吊装路径造成影响的设备、装配式建筑的外墙以及预制件的外表面，提前进行图像采集，进而与步骤(1)中采集到的图像一并构建施工现场的机器视觉数据库。

作为优选技术方案之一，步骤(2)的具体方法是：图像处理和决策模块利用卷积神经网(cnn)和二型模糊神经网络(t2fnn)构成的深度学习模型对图像采集模块采集到的装配式建筑吊装施工现场的实时图像进行分析，找出影响装配式建筑吊装的障碍物，通过栅格表确定障碍物位置；并通过蚁群算法找出装配式建筑的预制件最佳吊装路径；最后，通过第二通信模块将装配式建筑预制件最佳吊装路径发送给设备控制模块。具体包括步骤：

(21)将装配式建筑吊装施工现场的实时图像的横向与纵向等分，将其划分为二维图像矩阵块；

(22)通过基于cnn+t2fnn的深度学习模型，确定障碍物在施工现场的各图像矩阵块中是否存在，若存在则用二维栅格表示出该障碍物的二维位置，进而构建出整个施工现场的二维栅格表；

(23)通过分析不同角度摄像头传来的施工现场的实时图像进而构建不同的二维栅格表，将不同角度的二维栅格表转化成一个标有障碍物的三维栅格表；

(24)根据三维栅格表，得出装配式建筑吊装施工现场障碍物的数量、大小以及具体位置，进而用蚁群算法计算预制件最佳吊装路径，该最佳吊装路径需使得预制件吊装时间最短、预制件避开所有现场障碍物。

作为进一步优选技术方案之一，cnn部分包括六层，具体如下：第一层为输入层，输入为灰度化后的场景图像；第二层与第四层同为卷积层，对上层输出进行卷积操作；第三层与第五层同为采样层，对上层输出进行采样操作；最后一层为光栅化层，将上层输出特征排成一列，分别与下一部分相连，该层共有n个特征，n为大于2的整数。

作为进一步优选技术方案之一，t2fnn部分包括三层，具体如下：

第一层为模糊化层，将cnn部分中光栅化层的每一个输出特征进行模糊化，将其映射为二型模糊集；

第二层为规则层，第j条规则r^j的具体规则形式如下

r^j：若x1为x2为为则y为

其中，xi为光栅化层的第i个输出特征，其中i＝1,2,…,n，n为特征个数；为第i个输出特征对应的第j个二型模糊集，其中j＝1,2,…,m，m为规则个数，为规则r^j的输出区间权重；

第三层为降型输出层，该层输出y(x)＝ξ(x,θ)^tw，其中ξ(x,θ)为激活强度标准化后的强度向量，θ为所有二型模糊集的中心及宽度的参数向量，为区间权重构成的向量。

基于cnn+t2fnn的深度学习模型的训练过程如下：

从机器视觉数据库中任取一场景图像样本(vk,yk)，其中，vk为原始图像，yk为障碍物标签，对该样本进行灰度化操作，使样本由rgb图像转化为灰度图像，灰度化后的图像表示为(vk′,yk)，通过(vk′,yk)对深度学习模型进行训练。该模型的训练分为两部分进行，其中一部分为cnn的训练，另一部分为t2fnn的训练。

cnn部分的参数训练方法如下：

①对该部分所有的连接权重进行初始化，一般采用的方法为在较小的区间内随机生成；

②将vk′作为输入，根据随机生成的初始权重，得到网络的实际输出标签ok；

③计算网络的实际输出标签ok与期望输出标签yk的差值，即输出误差；

④通过最小化误差的反向传播方法调节cnn部分的连接权重参数矩阵；

⑤遍历机器视觉库中的所有场景图片样本，训练结束；

t2fnn部分的参数训练方法如下：

①计算机器视觉数据库中所有样本的误差平方和e(w)：

其中，l为训练样本数目，φ＝[ξ(x1,θ),ξ(x2,θ),…,ξ(xl,θ)]^t，xl＝[xl1,xl2,…,xln]^t为第l个样本的特征向量，y＝[y1,y2,…,yl]^t且yl为第l个样本的输出标签；

②采用最小二乘算法对e(w)进行求解，得到t2fnn的最佳参数向量

w＝φ⁺y

其中，φ⁺为矩阵φ的广义逆。

作为进一步优选技术方案之一，通过蚁群算法找出装配式建筑的预制件最佳吊装路径的具体方法如下：

①参数初始化：蚂蚁生成时间间隔t、迭代次数nc＝0、最大迭代次数ncmax、预制件放置节点(a0,b0,c0)以及吊装目的地节点(a,b,c)，即在三维栅格表中通过蚂蚁寻找到从(a0,b0,c0)到(a,b,c)的最佳路径；

②在(a0,b0,c0)节点上等时间间隔t生成蚂蚁，蚂蚁根据状态转移概率选择下一节点，并将走过的节点加入禁忌表中，其中蚂蚁在转移过程中会在路径上留有信息素，状态转移概率随信息素浓度而改变；

③当蚂蚁到达目的地节点(a,b,c)时，按原路返回；当蚂蚁返回节点(a0,b0,c0)时，更新信息素浓度，并令nc＝nc+1；

④若nc＞ncmax，则迭代结束，输出最佳路径；否则，返回②。

作为优选技术方案之一，步骤(3)的具体方法是：

(31)设备控制模块利用接收到的装配式建筑预制件最佳吊装路径，计算出设备控制模块所需数据；

(32)塔吊控制模块将预制件起吊，严格按照步骤(31)所得具体数据，进行所述预制件的吊装工作。

步骤(31)中的数据包括：启停时间、启停位置、预制件吊起高度、摄像头需要转动的角度以及监控吊装路径的拍摄位置。

作为优选技术方案之一，步骤(4)的具体方法是：吊装过程中，根据步骤(3)所得数据，摄像头控制模块控制摄像头获取实时施工现场所述预制件的吊装过程的图像，图像处理与决策模块判断该预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。

上述吊装方法对应的基于机器视觉的装配式建筑智能吊装系统，包括图像采集模块、图像处理和决策模块以及设备控制模块，其中，图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。

所述设备控制模块包括塔吊控制模块和摄像头控制模块。

所述摄像头为360°高清摄像头。

在摄像头的周围布置可随摄像头转动而360°旋转的探照灯，以便摄像头在光线不佳的情况下更好的采集装配式建筑施工现场的图像信息，防止因光线不佳的因素导致后期图像分析误差过大。

所述吊装系统还包括第一通信模块和第二通信模块，分别用于图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。

所述第一通信模块和第二通信模块分别包括一对无线发射子模块和无线接收子模块。

本发明的有益效果：

本发明采用机器视觉代替了在装配式建筑吊装过程中对人类视觉的依赖。利用机器视觉，通过cnn+t2fnn深度学习模型在复杂的装配场景中进行障碍物识别，利用蚁群算法进行预制件吊装路径规划，进而根据决策结果来控制现场的设备动作。本发明利用摄像头代替人眼从复杂的场景中分析得到最佳的方案，能更好地规划预制件吊装的路径，大大提高了装配式建筑的吊装效率和准确性，实现装配式建筑吊装智能化，改善人工吊装的缺点。具体如下：

1)用摄像头代替人眼，靠摄像头采集装配式建筑吊装施工现场的图像，实现装配式建筑的吊装智能化，节省了人力，避免了人工吊装的缺点，缩短吊装时间。

2)在吊装过程中，采用基于卷积神经网络+二型模糊神经网络的深度学习模型实现基于机器视觉的障碍物识别，充分发挥了卷积神经网络的强大学习功能及二型模糊神经网络的复杂环境建模能力，有助于提高识别效果，确保吊装过程的安全性。

3)给出了基于蚁群算法的最佳吊装路径规划方法，所得到的最佳吊装路径确保了预制件吊装时间最短且吊装过程中避开所有现场障碍物，有助于提高装配式建筑的吊装效率、准确性，降低吊装难度。

附图说明

图1是本发明的流程图；

图2是基于cnn+t2fnn的深度学习模型。

具体实施方式

下面结合附图和实施例对本发明进行进一步的阐述，应该说明的是，下述说明仅是为了解释本发明，并不对其内容进行限定。

如图1所示，基于机器视觉的装配式建筑智能吊装方法，包括步骤：

(1)图像采集模块通过安装在装配式建筑吊装施工现场的摄像头采集图像，构建施工现场的机器视觉数据库，并通过第一通信模块传输给图像处理和决策模块。

针对会对预制件吊装路径造成影响的设备、装配式建筑的外墙以及预制件的外表面，提前进行图像采集，进而与步骤(1)中采集到的图像一并构建施工现场的机器视觉数据库。

(2)图像处理和决策模块进行图像分析，找出装配式建筑的预制件最佳吊装路径，并通过第二通信模块发送给设备控制模块。

具体方法是：图像处理和决策模块利用卷积神经网(cnn)和二型模糊神经网络(t2fnn)构成的深度学习模型(图2)对图像采集模块采集到的装配式建筑吊装施工现场的实时图像进行分析，找出影响装配式建筑吊装的障碍物，通过栅格表确定障碍物位置；并通过蚁群算法找出装配式建筑的预制件最佳吊装路径；最后，通过第二通信模块将装配式建筑预制件最佳吊装路径发送给设备控制模块。具体包括步骤：

(21)将装配式建筑吊装施工现场的实时图像的横向与纵向等分，将其划分为二维图像矩阵块；

(22)通过基于cnn+t2fnn的深度学习模型，确定障碍物在施工现场的各图像矩阵块中是否存在，若存在则用二维栅格表示出该障碍物的二维位置，进而构建出整个施工现场的二维栅格表；

(23)通过分析不同角度摄像头传来的施工现场的实时图像进而构建不同的二维栅格表，将不同角度的二维栅格表转化成一个标有障碍物的三维栅格表；

(24)根据三维栅格表，得出装配式建筑吊装施工现场障碍物的数量、大小以及具体位置，进而用蚁群算法计算预制件最佳吊装路径，该最佳吊装路径需使得预制件吊装时间最短、预制件避开所有现场障碍物。

其中，cnn部分包括六层，具体如下：第一层为输入层，输入为灰度化后的场景图像；第二层与第四层同为卷积层，对上层输出进行卷积操作；第三层与第五层同为采样层，对上层输出进行采样操作；最后一层为光栅化层，将上层输出特征排成一列，分别与下一部分相连，该层共有n个特征。

t2fnn部分包括三层，具体如下：

第一层为模糊化层，将cnn部分中光栅化层的每一个输出特征进行模糊化，将其映射为二型模糊集；

第二层为规则层，第j条规则r^j的具体规则形式如下

r^j：若x1为x2为为则y为

其中，xi为光栅化层的第i个输出特征，其中i＝1,2,…,n，n为特征个数；为第i个输出特征对应的第j个二型模糊集，其中j＝1,2,…,m，m为规则个数，为规则r^j的输出区间权重；

第三层为降型输出层，该层输出y(x)＝ξ(x,θ)^tw，其中ξ(x,θ)为激活强度标准化后的强度向量，θ为所有二型模糊集的中心及宽度的参数向量，为区间权重构成的向量。

基于cnn+t2fnn的深度学习模型的训练过程如下：

从机器视觉数据库中任取一场景图像样本(vk,yk)，其中，vk为原始图像，yk为障碍物标签，对该样本进行灰度化操作，使样本由rgb图像转化为灰度图像，灰度化后的图像表示为(vk′,yk)，通过(vk′,yk)对深度学习模型进行训练。该模型的训练分为两部分进行，其中一部分为cnn的训练，另一部分为t2fnn的训练。

cnn部分的参数训练方法如下：

①对该部分所有的连接权重进行初始化，一般采用的方法为在较小的区间内随机生成；

②将vk′作为输入，根据随机生成的初始权重，得到网络的实际输出标签ok；

③计算网络的实际输出标签ok与期望输出标签yk的差值，即输出误差；

④通过最小化误差的反向传播方法调节cnn部分的连接权重参数矩阵；

⑤遍历机器视觉库中的所有场景图片样本，训练结束；

t2fnn部分的参数训练方法如下：

①计算机器视觉数据库中所有样本的误差平方和e(w)：

其中，l为训练样本数目，φ＝[ξ(x1,θ),ξ(x2,θ),…,ξ(xl,θ)]^t，xl＝[xl1,xl2,…,xln]^t为第l个样本的特征向量，y＝[y1,y2,…,yl]^t且yl为第l个样本的输出标签；

②采用最小二乘算法对e(w)进行求解，得到t2fnn的最佳参数向量

w＝φ⁺y

其中，φ+为矩阵φ的广义逆。

作为进一步优选技术方案之一，通过蚁群算法找出装配式建筑的预制件最佳吊装路径的具体方法如下：

①参数初始化：蚂蚁生成时间间隔t、迭代次数nc＝0、最大迭代次数ncmax、预制件放置节点(a0,b0,c0)以及吊装目的地节点(a,b,c)，即在三维栅格表中通过蚂蚁寻找到从(a0,b0,c0)到(a,b,c)的最佳路径；

②在(a0,b0,c0)节点上等时间间隔t生成蚂蚁，蚂蚁根据状态转移概率选择下一节点，并将走过的节点加入禁忌表中，其中蚂蚁在转移过程中会在路径上留有信息素，状态转移概率随信息素浓度而改变；

③当蚂蚁到达目的地节点(a,b,c)时，按原路返回；当蚂蚁返回节点(a0,b0,c0)时，更新信息素浓度，并令nc＝nc+1；

④若nc＞ncmax，则迭代结束，输出最佳路径；否则，返回②。

(23)将装配式建筑的预制件最佳吊装路径经第二通信模块发送给设备控制模块。

(3)设备控制模块计算出具体吊装所需数据，进而利用塔吊控制模块实现预制件吊装。

具体方法是：

(31)设备控制模块利用接收到的装配式建筑的预制件最佳吊装路径，计算出设备控制模块所需数据(包括：启停时间、启停位置、预制件吊起高度、摄像头需要转动的角度以及监控吊装路径的拍摄位置)；

(32)塔吊控制模块将预制件起吊，严格按照步骤(31)所得具体数据，进行所述预制件的吊装工作。

(4)吊装过程中，摄像头控制模块控制摄像头获取实时图像，并经图像处理和决策模块判断预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。

具体方法是：吊装过程中，根据步骤(3)所得数据，摄像头控制模块控制摄像头获取实时施工现场所述预制件的吊装过程的图像，图像处理与决策模块判断该预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。

上述吊装方法对应的基于机器视觉的装配式建筑智能吊装系统，包括图像采集模块、图像处理和决策模块以及设备控制模块，其中，图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。

其中，设备控制模块包括塔吊控制模块和摄像头控制模块。

摄像头为360°高清摄像头；在摄像头的周围布置可随摄像头转动而360°旋转的探照灯，以便摄像头在光线不佳的情况下更好的采集装配式建筑施工现场的图像信息，防止因光线不佳的因素导致后期图像分析误差过大。

该吊装系统还包括第一通信模块和第二通信模块，分别用于图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。第一通信模块和第二通信模块分别包括一对无线发射子模块和无线接收子模块。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。