一种塔机施工区域目标识别定位方法及系统与流程

本发明属于起重机检测，具体涉及一种塔机施工区域目标识别定位方法及系统。

背景技术：

1、随着社会的发展，电力建设、民用建筑、大型施工现场等场景中高层建筑工程施工的数量不断增加，而塔式起重机具有施工效率高、占地面积小、作业范围广等诸多优点，因此塔式起重机逐渐成为高层建筑工地必不可少的施工机械之一。建筑施工工地作为一个高危场景，其安全性保障的要求也在不断提高，由于建筑工地场景复杂，各种行人、施工机械的管理监控非常困难。

2、目前智慧工地逐渐普及，利用视频分析监控或者雷达扫描施工地场景的方法不断引起重视。利用视频或者雷达对建筑工地进行分析，可有效地提高工地上的塔机等施工机械操作员对于工地信息感知的全面性和准确性。现有技术中提供了一种建筑工地行人检测方案，实时获取从建筑工地安装的摄像头采集到的视频流中捕获的帧图像；在获取的帧图像上划定行人徘徊检测区域；通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪；计算跟踪的行人的轨迹距离和滞留时间，若轨迹距离大于设定距离阈值，同时滞留时间大于设定时间阈值时，则识别行人为徘徊；在识别出行人为徘徊后，连接报警器进行预警。该方案通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪计算，这样基于行人在检测区域的行为分析可以实时监测行人是否徘徊，提高了检测结果的精度，提升了跟踪效果，解决现有技术中的方法出现大量漏识和误识别的问题。

3、但是现有技术中还存在很多不足：目前已有的塔式起重机施工场景的监控方案，只能检测监控区域内是否有人员或车辆，无法检测到行人或车辆在塔机施工建筑工地上的具体的三维坐标，也无法确定行人或者车辆所处的位置与塔机吊钩所吊重物的危险区域的距离。另外，已有的监控方案往往只是单一的使用相机进行目标识别，而相机极易受到环境因素的影响，天气情况、昼夜交替都会影响成像，施工地的环境极为复杂，单一的相机模型无法满足监控要求，有些使用雷达的监控方案，由于大量的点云处理，导致对计算机性能的要求很高，并且无法满足实时报警的需求，错过最佳预警时间。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种塔机施工区域目标识别定位方法及系统，能够实时检测塔机施工区域的行人、车辆等障碍物，并准确计算障碍物在塔机坐标系下的三维位置，从而判断该目标是否位于塔机施工的危险区域内，提高塔机施工的效率以及安全性。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，提供一种塔机施工区域目标识别定位方法，包括：

4、获取塔机施工区域地平面的相机图像和雷达点云信息；

5、对获取的雷达点云信息进行预处理，得到雷达图像；

6、基于相机图像确定目标物在相机图像坐标系中的像素位置以及目标物种类；

7、基于雷达图像确定目标物在塔机三维坐标系中的位置以及目标物的尺寸；

8、对相机和雷达进行联合标定，然后将目标物在相机图像坐标系中的像素位置与目标物在塔机三维坐标系中的位置以及目标物的尺寸进行数据融合，得到目标检测信息；

9、基于目标检测信息确定目标物是否处于塔机施工的危险区域内。

10、进一步的，获取塔机施工区域地平面的相机图像的方法包括：

11、获取塔机三维坐标系；

12、获取相机三维坐标系和相机图像坐标系；

13、对塔机三维坐标系中的三维坐标和相机图像坐标系中的二维坐标进行转换，转换关系为：

14、

15、式中，z为尺度因子，f为相机的焦距，dx、dy分别为x轴、y轴方向上的一个像素在感光板上的物理长度，(u0,v0)为相机感光板中心在像素坐标系下的坐标，r1为塔机三维坐标系至相机三维坐标系的旋转矩阵，t为塔机三维坐标系至相机三维坐标系的平移向量，k为相机的内参矩阵，t1为塔机三维坐标系至相机三维坐标系的变换矩阵，(xw,yw,zw)为塔机三维坐标系的三维坐标点位置，(ui,vi)为相机图像坐标系的二维坐标点位置。

16、进一步的，对雷达点云信息进行预处理的方法包括：

17、将雷达三维坐标系下的雷达点云信息转换为塔机三维坐标系下的点云数据；

18、将塔机三维坐标系下的点云数据转换为雷达图像。

19、进一步的，将雷达三维坐标系下的雷达点云信息按照以下转换关系转换为塔机三维坐标系下的点云数据：

20、

21、式中，r2为雷达三维坐标系至塔机三维坐标系的旋转矩阵，t2为雷达三维坐标系至塔机三维坐标系的平移向量，(xl,yl,zl)为雷达三维坐标系的坐标点位置，(xt,yt,zt)为塔机三维坐标系的坐标点位置；

22、将塔机三维坐标系下的点云数据转换为雷达图像的方法包括：将塔机三维坐标系中的x轴坐标和y轴坐标作为在雷达图像坐标系中的横坐标和纵坐标；

23、雷达图像坐标系中rgb三通道数据分别由点云的高度(在塔机三维坐标系中的z轴坐标)、点云的反射率、点云的密集度表示。

24、进一步的，基于相机图像确定目标物在相机图像坐标系中的像素位置以及目标物种类时，采用基于yolo和transformer融合的深度学习模型进行目标物识别，包括：

25、基于yolo增加一个预测头检测不同尺度的目标；

26、在yolo中结合transformer的预测头，提升模型的自注意力能力，精确定位高密度场景中的目标；

27、利用自训练分类器提升容易混淆的类别间的分类能力；

28、在yolo中结合卷积块注意模型搜索密集区域的感兴趣区域；

29、利用验证图像的多尺度变换对基于yolo和transformer融合的深度学习模型进行测试反馈，提升模型对于尺度剧烈变化的适应性。

30、进一步的，基于雷达图像确定目标物在塔机三维坐标系中的位置以及目标物的尺寸时，采用带有偏航角的目标识别模型进行目标物识别，带有偏航角的目标识别模型包括：

31、输出层：

32、

33、输出层的导数为：

34、

35、偏航角的误差函数为：

36、lossrz＝sin2(truthrz-rz)

37、式中，h(x)为层间输出结果，x为层间输入参数，truthrz为偏航角的真值，rz为偏航角。

38、进一步的，对相机和雷达的联合标定包括时间标定和空间标定；

39、时间标定包括同步化相机和雷达的数据采集的时间；

40、空间标定包括将相机和雷达所在的空间数据进行映射对应，将基于目标物在雷达三维坐标系中的识别结果转换至相机图像坐标系中。

41、进一步的，时间标定的方法包括：

42、创建三个线程，分别为相机数据采集线程、雷达数据采集线程以及数据处理线程；

43、雷达数据采集线程每10hz触发一次，触发后采集当前时刻雷达点云信息数据并触发相机数据采集线程，触发相机数据采集线程后阻塞，等待下一次触发；

44、相机数据采集线程初始状态为阻塞状态，等待雷达数据采集线程触发后采集当前时刻相机图像数据，然后将当前时刻相机图像数据与当前时刻雷达点云信息数据一起添加到缓冲区的队尾；

45、数据处理线程循环运行，不间断的从缓冲区的队头获取相机和雷达同一时刻的数据，完成数据处理的工作。

46、进一步的，将基于目标物在雷达三维坐标系中的识别结果按照以下转换关系转换至相机图像坐标系中：

47、

48、式中，为雷达三维坐标系与相机图像坐标系之间的旋转矩阵，为雷达三维坐标系与相机图像坐标系之间的平移向量。

49、第二方面，本发明提供一种塔机施工区域目标识别定位系统，包括：

50、数据获取模块，用于获取塔机施工区域地平面的相机图像和雷达点云信息；

51、数据预处理模块，用于对获取的雷达点云信息进行预处理，得到雷达图像；

52、相机图像目标识别模块，用于基于相机图像确定目标物在相机图像坐标系中的像素位置以及目标物种类；

53、雷达图像目标识别模块，用于基于雷达图像确定目标物在塔机三维坐标系中的位置以及目标物的尺寸；

54、数据融合模块，用于对相机和雷达进行联合标定，然后将目标物在相机图像坐标系中的像素位置与目标物在塔机三维坐标系中的位置以及目标物的尺寸进行数据融合，得到目标检测信息；

55、目标危险状态确定模块，用于基于目标检测信息确定目标物是否处于塔机施工的危险区域内。

56、与现有技术相比，本发明的有益效果是：

57、(1)本发明公开了一种塔机施工区域目标识别定位方法及系统，用于检测人员或车辆等障碍物与塔机的距离，从而判定塔机施工过程中危险区域内是否有人员或车辆等障碍物，有效提升塔机监控系统的智能化水平，提高塔机施工的效率，确保塔机施工的安全性；

58、(2)相机图像目标识别模块采用基于深度学习模型融合的算法进行图像目标识别，可以有效解决目标尺度变化过大以及大量小目标的问题，在保证准确率的同时，满足实时检测障碍物的需求；

59、(3)将雷达点云数据转换成雷达图像，在保留目标特征的同时，可以解决点云数据量庞大的问题，有效降低对于计算机算力的要求，再针对雷达图像设计的带有旋转角的目标识别算法，可以进一步提升目标识别位置的精准度；

60、(4)对相机与雷达的两个传感器的目标识别结果进行联合标定和数据融合，使得每一个检测目标都带有图像位置、大小以及在塔机三维坐标系下的实际位置、大小、偏航角等信息，大大提升了目标检测的信息丰富度和目标识别的准确率；

61、(5)通过目标危险状态确定模块给出目标当前状态是否需要预警的结论以及发出警报信号，确保塔机施工的安全性。