基于两阶段视觉伺服的自动砌墙方法及系统

本发明涉及建筑，特别涉及一种基于两阶段视觉伺服的自动砌墙方法及系统。

背景技术：

1、建筑行业作为世界上数字化，自动化最低的行业之一，更多作业仍然是依靠手工完成。伴随着各种危险的同时，恶劣的工作环境也严重影响着工作人员的身心健康，加之劳动力短缺，建筑行业智能化势在必行。

2、砖墙砌筑是建筑业工程施工的一个缩影。传统多采用人工砌墙方式，手工作业有脏、累、慢的缺点，因此，通过机器视觉与移动机器人结合，给机器人感知环境的“眼睛”，构建视觉伺服闭环控制系统，赋予机器人实时环境感知能力，以适应非结构化的施工环境。现阶段国内对于砌墙机器人的研究主要集中在机械结构和传统传感控制上，利用视觉传感器的解决方案的研究仍然很薄弱，多数砌墙机器人普遍存在定位不准确、智能化程度低等缺点。

3、现有的墙体砌筑机器人大多基于工业机械手改装而成，一般具有“移动平台+递送系统+机械臂”的体系结构。美国construction robotics公司的sam，是一款半自动的人机协同砌墙系统，由于sam100采用轨道式移动机构，工作范围及灵活性受到一定限制，且需要工人将砖块放置到传送带上，属于半自动系统。

4、澳大利亚fastbrick robotics limited公司研制的hadrian x墙体施工机器人由运载装置、6轴工业机械臂、机械手三部分组成，适用于户外单体小型房屋建筑的高效率自动墙体施工。通过cad指令和激光引导系统来快速精确地砌筑砖块。系统稳态控制复杂，成本高。

5、瑞典的in-situ fabricator是一套用于非确定环境下砌筑作业的全自主机器人系统，由履带式地盘和机械臂组成。通过2d激光雷达建图，实现机器人的自定位。存在激光雷达成本高的问题。

6、国内，砌墙机器人主要集中于机械结构设计、传统控制定位系统研发和任务规划。如上海建工四建集团研发的砌砖机器人，主要实现基于ros自动导航的自主移动，对于切青任务，本质上是按照程序设定运动的，难以满足非结构化环境施工，鲁棒性差。

7、如何高效而精确地提取接触重叠砖块的轮廓特征是砌墙机器人在恶劣环境中进行作业时所面临的重要问题。由于砌墙机器人的作业环境通常较为恶劣，图像信息的采集容易受到环境变化的干扰，因此所选用的特征提取算法必须具备较强的鲁棒性。传统图像处理方法在复杂环境中往往稳定性和精度都会受到很大的影响。因此，在砖块图像特征提取的过程中，寻求一种合适的算法显得至关重要。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种通过综合运用双目深度视觉、2.5d视觉伺服控制和已知平面法向的单应性矩阵估计方法，成功平衡了系统的效率和稳定性的基于两阶段视觉伺服的自动砌墙方法，并提供利用该方法实现的自动砌墙系统。

2、本发明的目的是通过以下技术方案来实现的：基于两阶段视觉伺服的自动砌墙方法，包括取砖过程和砌砖过程，所述取砖过程包括如下步骤：

3、a、利用双目相机采集储砖区图像；

4、b、图像预处理：对采集到的砖区图像进行cnn实例分割，得到砖块表面的轮廓特征；

5、c、进行两阶段视觉伺服定位：将砖块表面的轮廓特征分为两个支路，一个支路输入双目视觉粗定位模块，求出空间上点的三维坐标；另一个支路输入通过单应性矩阵计算得到平移和旋转分量，以空间上点的三维坐标为目标坐标，通过2.5d视觉伺服精定位控制相机的移动速度，移动到目标坐标；

6、d、抓取目标坐标位置的砖块；

7、砌砖过程包括如下步骤：

8、a、利用双目相机采集砌筑位置的图像；

9、b、图像预处理：将砌筑位置的图像输入yoyo-v8实例分割模型，得到砌筑位置的轮廓特征；

10、c、进行两阶段视觉伺服定位：将砌筑位置的轮廓特征分为两个支路，一个支路输入双目视觉粗定位模块，求出空间上点的三维坐标；另一个支路输入通过单应性矩阵计算得到平移和旋转分量，以空间上点的三维坐标为目标坐标，通过2.5d视觉伺服精定位控制相机的移动速度，移动到目标坐标；

11、d、将砖块放置到目标坐标的位置。

12、本发明的另一个目的在于提供一种基于两阶段视觉伺服的自动砌墙系统，包括工业相机、海绵吸盘、agv移动小车、机器臂，机械臂安装在agv移动小车上，海绵吸盘和工业相机安装在机械臂的末端，agv移动小车内安装有机器人自动砌墙控制系统；

13、机器人自动砌墙控制系统用于对图像进行处理，执行视觉伺服算法，从而控制机器臂的运动；

14、相机用于实时采集墙体砌筑过程中储砖区和砌墙区的图像信息；

15、海绵吸盘，通过吸附砖块表面，实现对砖块的牢固吸取；

16、agv移动小车，负责在施工现场自主移动，实现路径规划和导航；

17、机器臂，由视觉控制模块控制，实现对砖块的定位、抓取、搬运和放置。

18、本发明的有益效果是：通过综合运用双目深度视觉、2.5d视觉伺服控制和已知平面法向的单应性矩阵估计方法，本发明成功平衡了系统的效率和稳定性，为机器臂抓取问题提供了一种高效而可靠的解决方案。

技术特征：

1.基于两阶段视觉伺服的自动砌墙方法，其特征在于，包括取砖过程和砌砖过程，所述取砖过程包括如下步骤：

2.根据权利要求1所述的基于两阶段视觉伺服的自动砌墙方法，其特征在于，所述双目视觉粗定位的方法为：点ol为左边镜头的投影中心，点or为右边镜头的投影中心，t为两个镜头的投影中心连线的距离；砖块位置/砖块放置位置记为p，点p为两个镜头中同一时间节点所捕获的空间中的一点，点p的坐标为(x,y,z)；点p在左右两幅成像平面上对应的点分别为pl＝[xl yl]和pr＝[xr yr]；cl和cr分别为左右两个相机的成像平面的中心点；假设左右镜头坐标系之间的旋转变换矩阵r和平移变换矢量t分别为：

3.根据权利要求1所述的基于两阶段视觉伺服的自动砌墙方法，其特征在于，所述2.5d视觉伺服精定位包括三部分内容：单应性矩阵计算、单应性分解、视觉伺服控制律设计；

4.基于两阶段视觉伺服的自动砌墙系统，其特征在于，包括工业相机、海绵吸盘、agv移动小车、机器臂，机械臂安装在agv移动小车上，海绵吸盘和工业相机安装在机械臂的末端，agv移动小车内安装有机器人自动砌墙控制系统；

技术总结
本发明公开了一种基于两阶段视觉伺服的自动砌墙方法，包括取砖过程和砌砖过程，取砖过程包括如下步骤：A、利用双目相机采集储砖区图像；B、图像预处理：对采集到的砖区图像进行CNN实例分割；C、进行两阶段视觉伺服定位；D、抓取目标坐标位置的砖块；砌砖过程包括如下步骤：a、利用双目相机采集砌筑位置的图像；b、图像预处理：将砌筑位置的图像输入YOYO‑V8实例分割模型；c、进行两阶段视觉伺服定位；d、将砖块放置到目标坐标的位置。通过综合运用双目深度视觉、2.5D视觉伺服控制和已知平面法向的单应性矩阵估计方法，本发明成功平衡了系统的效率和稳定性，为机器臂抓取问题提供了一种高效而可靠的解决方案。

技术研发人员：孟祥印,石岩,王志高
受保护的技术使用者：西南交通大学
技术研发日：
技术公布日：2024/4/17