风力发电机组智能辅助吊装系统、方法、设备及存储介质与流程

本发明属于工程建设，尤其涉及一种基于计算机视觉的风力发电机组智能辅助吊装系统、方法、电子设备及存储介质。

背景技术：

1、清洁能源的开发利用越来越受到世界各国的重视。风力发电是指将风的动能转换为电能，风能是一种清洁能源，在全球能效管理与能源数字化转型背景的驱动下，风电建设并行加速，风机需求指数式增长。

2、目前，单台风机吊装作业通常需要20人以上的班组协作完成。在效率方面，吊车司机在驾驶室内无法看到吊装全景，无法自主实现快速就位，完全依赖于地面指挥员的调度指挥；特别是对于第三、四节塔筒，由于其就位高度在50m以上，地面指挥员对于距离的观测误差较大，导致吊装效率低；同时，就位过程需与塔筒内指挥员互相配合完成，步骤繁琐且耗时较长。在施工安全方面，吊装过程中无法对作业人员安全与吊装目标碰撞进行实时监管，对于存在安全隐患的违规施工行为并无警示提醒，易导致安全事故的发生。在环境条件方面，目前风机吊装只能在白天进行，夜间、阴天或雾天由于能见度低，补光难度较大，吊装存在定位难、危险系数高等问题。

3、因此，亟需研发一种风机智能辅助吊装系统，实现夜间、雾天等复杂工况的风机吊装目标定位与引导，提升风机吊装作业的效率、安全性与环境适应性。

技术实现思路

1、本发明的目的在于提供一种风力发电机组智能辅助吊装系统、方法、设备及存储介质，以解决传统风机吊装技术中依赖指挥员调度指挥且指挥员观测误差大导致吊装效率低、步骤繁琐且耗时较长，吊装过程无法实时监管导致危险系数高，以及无法在复杂工况下进行吊装的问题。

2、本发明是通过如下的技术方案来解决上述技术问题的：一种风力发电机组智能辅助吊装系统，包括云台高清相机、定位装置以及设于吊装工具内的控制台；所述云台高清相机、定位装置分别与所述控制台连接；

3、所述云台高清相机，用于拍摄吊装作业现场图像以及跟踪目标的连续视频帧；

4、所述定位装置，用于定位跟踪目标及其对应的就位目标的空间位置；

5、所述控制台，用于实时获取并可视化所述吊装作业现场图像以及跟踪目标的连续视频帧，调整所述云台高清相机的参数和拍摄角度，使所述吊装作业现场图像清晰且至少包含一个待吊装目标，以及使所述连续视频帧包含跟踪目标且所述跟踪目标始终位于每帧图像的中心；识别出所述吊装作业现场图像中的所有检测目标，确定跟踪目标；根据所述连续视频帧对所述跟踪目标进行实时跟踪；获取所述跟踪目标及其对应的就位目标的空间位置，根据所述跟踪目标及其对应的就位目标的空间位置计算出实时相对位置信息，显示所述实时相对位置信息和连续视频帧中的对应帧图像，以指导所述跟踪目标的吊装作业。

6、进一步地，所述定位装置包括uwb控制模块、m个uwb基站以及多个uwb标签，m≥3；m个所述uwb基站分别与所述uwb控制模块连接，所述uwb控制模块与所述控制台连接；

7、m个所述uwb基站设于吊装作业区域外围，并位于同一高度且不共线；在每个所述待吊装目标及其对应的就位目标的配合面上均设于所述uwb标签，每个所述uwb标签具有唯一id，且所述待吊装目标上的uwb标签的id与和该待吊装目标匹配的就位目标上的uwb标签的id对应；

8、所述uwb控制模块，用于根据跟踪目标上的uwb标签与每个uwb基站之间的通讯时间差计算出跟踪目标与每个uwb基站之间的距离，根据与所述跟踪目标对应的就位目标上的uwb标签与每个uwb基站之间的通讯时间差计算出就位目标与每个uwb基站之间的距离；

9、获取每个所述uwb基站的空间位置，并将计算出的各距离以及每个所述uwb基站的空间位置发送给所述控制台，使所述控制台根据各距离以及每个所述uwb基站的空间位置计算出跟踪目标及其对应的就位目标的空间位置。

10、进一步地，所述空间位置是指在wgs坐标系下或自定义坐标系下的空间位置；

11、所述自定义坐标系是以某个uwb基站为原点，所有uwb基站位于同一高度且不共线所构成的三维坐标系。

12、基于同一构思，本发明还提供一种风力发电机组智能辅助吊装方法，所述方法包括以下步骤：

13、获取吊装作业现场图像，其中所述吊装作业现场图像至少包含一待吊装目标；

14、识别出所述吊装作业现场图像中的所有检测目标，并从所述检测目标中确定跟踪目标；

15、获取所述跟踪目标的连续视频帧，根据所述连续视频帧对所述跟踪目标进行实时跟踪，并调整云台高清相机的参数和拍摄角度，使所述跟踪目标始终位于每帧图像的中心；

16、获取所述跟踪目标及其对应的就位目标的空间位置，根据所述跟踪目标及其对应的就位目标的空间位置计算出所述跟踪目标及其对应的就位目标之间的实时相对位置信息；

17、显示所述实时相对位置信息以及连续视频帧中的对应帧图像，以指导所述跟踪目标的吊装作业。

18、进一步地，识别出所述吊装作业现场图像中的所有检测目标的具体实现过程为：

19、构建目标识别模型，并对所述目标识别模型进行训练；

20、利用训练后的目标识别模型识别出所述吊装作业现场图像中的所有检测目标。

21、进一步地，所述目标识别模型为yolov5模型。

22、进一步地，利用所述目标识别模型和deepsort算法对所述跟踪目标进行实时跟踪，具体实现过程为：

23、将所述连续视频帧的每帧图像输入至目标识别模型，得到检测目标的矩形框；

24、将所述检测目标的矩形框作为deepsort算法的输入，deepsort算法根据所述检测目标的矩形框以及前后帧图像中检测目标的移动轨迹确定对应帧图像中的跟踪目标；

25、调整云台高清相机的拍摄角度和参数，使跟踪目标位于对应帧图像的中心。

26、进一步地，以吊装工具吊钩下方的检测目标为跟踪目标，或者手动选择任意检测目标为跟踪目标。

27、基于同一构思，本发明提供一种电子设备，包括：

28、存储器，用于存储计算机程序；

29、处理器，用于执行所述计算机程序时实现如上所述的风力发电机组智能辅助吊装方法。

30、基于同一构思，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的风力发电机组智能辅助吊装方法。

31、有益效果

32、与现有技术相比，本发明的优点在于：

33、本发明通过控制云台高清相机开启夜视或红外模式以及调整焦距来捕获清晰的吊装作业现场图像和跟踪目标的连续视频帧，有利于夜间、雨雾雪天等复杂工况下进行吊装作业，提高了系统的环境适应性，解决了复杂工况下吊装作业困难的问题；

34、本发明将控制台设于吊装工具内，为吊装工具内的驾驶员提供待吊装目标(包括跟踪目标)的视觉画面，并同步显示跟踪目标与就位目标之间的相对位置信息，实现了吊装作业指导的可视化，提高了指导精度和吊装效率，节约了大量的人力物力投入；整个吊装作业过程在控制台可视化，实现了吊装过程的实时监管，提高了吊装作业的安全性。