基于多源数据分析的智能巡检机器人及其方法与流程

本申请涉及智能巡检，且更为具体地，涉及一种基于多源数据分析的智能巡检机器人及其方法。

背景技术：

1、风力发电是一种清洁、可再生的能源，对于现代社会的可持续发展具有重要意义。随着新能源产业迅猛发展，风力发电规模日益扩大，风电机舱的安全巡检逐渐成为保障风电设备正常运营的重要举措。

2、为了满足对风电机舱的运行维护和安全管理需要，需要定期对风电机舱进行例行巡检。然而，传统的巡检方式主要依赖人工，而人工巡检的劳动强度大，效率降低，且巡检结果容易受主观因素影响，难以保证巡检的质量和实时性。因此，为了提高对风电机舱的管理效率，可以引入巡检机器人来代替或者补充人工对风电机舱进行日常巡检工作。

3、因此，期待一种基于多源数据分析的智能巡检机器人及其方法。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多源数据分析的智能巡检机器人及其方法，其基于机器学习算法，通过巡检机器人上部署的可见光摄像机、红外热像仪对风电机舱内部设施进行表面外观与实时发热情况分析，并结合超声传感器对风电机舱内部的结构缺陷和设备的状态进行综合监测与分析诊断，以实现风电机舱的安全巡检和报警。这样，能够有效提高风电机舱的运行维护水平，提升安全管理效率，并降低人工劳动强度。

2、相应地，根据本申请的一个方面，提供了一种基于多源数据分析的智能巡检机器人，其包括：

3、风电机舱检测模块，用于通过巡检机器人实时获取风电机舱内部设施的可见光图像、热红外图像和超声波探测信号；

4、图像分析模块，用于从所述风电机舱内部设施的可见光图像和所述风电机舱内部设施的热红外图像中提取出风电机舱可见光图像-热力特征向量；

5、超声波探测信号处理模块，用于从所述风电机舱内部设施的超声波探测信号中提取出超声波探测信号时频特征向量；

6、信息交互模块，用于对所述风电机舱可见光图像-热力特征向量和所述超声波探测信号时频特征向量进行特征节点间的拓扑信息交互以得到风电机舱多源数据融合特征矩阵；

7、检测结果生成模块，用于基于所述风电机舱多源数据融合特征矩阵，确定风电机舱是否存在安全隐患。

8、在上述基于多源数据分析的智能巡检机器人中，所述图像分析模块，包括：可见光图像语义理解单元，用于提取所述风电机舱内部设施的可见光图像的图像语义特征以得到风电机舱可见光图像特征向量；风电机舱热力特征提取单元，用于将所述热红外图像通过基于卷积神经网络模型的热力特征提取器以得到风电机舱热力特征向量；融合单元，用于融合所述风电机舱可见光图像特征向量和所述风电机舱热力特征向量以得到风电机舱可见光图像-热力特征向量。

9、在上述基于多源数据分析的智能巡检机器人中，所述可见光图像语义理解单元，用于：将所述风电机舱内部设施的可见光图像通过基于vit模型的图像语义编码器以得到所述风电机舱可见光图像特征向量。

10、在上述基于多源数据分析的智能巡检机器人中，所述融合单元，用于：将所述风电机舱可见光图像特征向量和所述风电机舱热力特征向量进行级联以得到所述风电机舱可见光图像-热力特征向量。

11、在上述基于多源数据分析的智能巡检机器人中，所述超声波探测信号处理模块，包括：si ft变换单元，用于计算所述超声波探测信号的si ft变换时频图；超声波探测信号时频特征提取单元，用于将所述si ft变换时频图通过基于卷积神经网络模型的超声波特征提取器以得到超声波探测信号时频特征向量。

12、在上述基于多源数据分析的智能巡检机器人中，所述超声波探测信号时频特征提取单元，用于：使用所述基于卷积神经网络模型的超声波特征提取器的各层在层的正向传递中分别对输入数据进行二维卷积处理、沿通道维度的各个特征矩阵的全局池化处理和非线性激活处理以由所述基于卷积神经网络模型的超声波特征提取器的最后一层输出所述超声波探测信号时频特征向量。

13、在上述基于多源数据分析的智能巡检机器人中，所述信息交互模块，用于：以如下交互公式对所述风电机舱可见光图像-热力特征向量和所述超声波探测信号时频特征向量进行特征节点间的拓扑信息交互以得到风电机舱多源数据融合特征矩阵；其中，所述交互公式为：

14、

15、其中，v1表示所述风电机舱可见光图像-热力特征向量，v2表示所述超声波探测信号时频特征向量，v2t表示所述超声波探测信号时频特征向量的转置向量，表示向量乘法，d(v1,v2)表示计算所述风电机舱可见光图像-热力特征向量和所述超声波探测信号时频特征向量的欧式距离，λ是超参数，log表示以2为底的对数函数值，mc表示所述风电机舱多源数据融合特征矩阵。

16、在上述基于多源数据分析的智能巡检机器人中，所述检测结果生成模块，用于：将所述风电机舱多源数据融合特征矩阵通过分类器以得到分类结果，所述分类结果用于表示风电机舱是否存在安全隐患。

17、在上述基于多源数据分析的智能巡检机器人中，所述检测结果生成模块，包括：矩阵展开单元，用于将所述风电机舱多源数据融合特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；概率化单元，用于将所述全连接编码特征向量输入所述分类器的softmax分类函数以得到所述风电机舱多源数据融合特征矩阵归属于各个分类标签的概率值，所述分类标签包括风电机舱状态正常和风电机舱存在安全隐患；分类结果确定单元，用于将所述概率值中最大者对应的分类标签确定为所述分类结果。

18、根据本申请的另一个方面，提供了一种基于多源数据分析的智能巡检机器人的巡检方法，其包括：

19、通过巡检机器人实时获取风电机舱内部设施的可见光图像、热红外图像和超声波探测信号；

20、从所述风电机舱内部设施的可见光图像和所述风电机舱内部设施的热红外图像中提取出风电机舱可见光图像-热力特征向量；

21、从所述风电机舱内部设施的超声波探测信号中提取出超声波探测信号时频特征向量；

22、对所述风电机舱可见光图像-热力特征向量和所述超声波探测信号时频特征向量进行特征节点间的拓扑信息交互以得到风电机舱多源数据融合特征矩阵；

23、基于所述风电机舱多源数据融合特征矩阵，确定风电机舱是否存在安全隐患。

24、与现有技术相比，本申请提供的基于多源数据分析的智能巡检机器人及其方法，其基于机器学习算法，通过巡检机器人上部署的可见光摄像机、红外热像仪对风电机舱内部设施进行表面外观与实时发热情况分析，并结合超声传感器对风电机舱内部的结构缺陷和设备的状态进行综合监测与分析诊断，以实现风电机舱的安全巡检和报警。这样，能够有效提高风电机舱的运行维护水平，提升安全管理效率，并降低人工劳动强度。

技术特征：

1.一种基于多源数据分析的智能巡检机器人，其特征在于，包括：

2.根据权利要求1所述的基于多源数据分析的智能巡检机器人，其特征在于，所述图像分析模块，包括：

3.根据权利要求2所述的基于多源数据分析的智能巡检机器人，其特征在于，所述可见光图像语义理解单元，用于：将所述风电机舱内部设施的可见光图像通过基于vit模型的图像语义编码器以得到所述风电机舱可见光图像特征向量。

4.根据权利要求3所述的基于多源数据分析的智能巡检机器人，其特征在于，所述融合单元，用于：将所述风电机舱可见光图像特征向量和所述风电机舱热力特征向量进行级联以得到所述风电机舱可见光图像-热力特征向量。

5.根据权利要求4所述的基于多源数据分析的智能巡检机器人，其特征在于，所述超声波探测信号处理模块，包括：

6.根据权利要求5所述的基于多源数据分析的智能巡检机器人，其特征在于，所述超声波探测信号时频特征提取单元，用于：使用所述基于卷积神经网络模型的超声波特征提取器的各层在层的正向传递中分别对输入数据进行二维卷积处理、沿通道维度的各个特征矩阵的全局池化处理和非线性激活处理以由所述基于卷积神经网络模型的超声波特征提取器的最后一层输出所述超声波探测信号时频特征向量。

7.根据权利要求6所述的基于多源数据分析的智能巡检机器人，其特征在于，所述信息交互模块，用于：以如下交互公式对所述风电机舱可见光图像-热力特征向量和所述超声波探测信号时频特征向量进行特征节点间的拓扑信息交互以得到风电机舱多源数据融合特征矩阵；其中，所述交互公式为：

8.根据权利要求7所述的基于多源数据分析的智能巡检机器人，其特征在于，所述检测结果生成模块，用于：将所述风电机舱多源数据融合特征矩阵通过分类器以得到分类结果，所述分类结果用于表示风电机舱是否存在安全隐患。

9.根据权利要求8所述的基于多源数据分析的智能巡检机器人，其特征在于，所述检测结果生成模块，包括：

10.一种基于多源数据分析的智能巡检机器人的巡检方法，其特征在于，包括：

技术总结
本申请涉及智能巡检技术领域，其具体地公开了一种基于多源数据分析的智能巡检机器人及其方法，其基于机器学习算法，通过巡检机器人上部署的可见光摄像机、红外热像仪对风电机舱内部设施进行表面外观与实时发热情况分析，并结合超声传感器对风电机舱内部的结构缺陷和设备的状态进行综合监测与分析诊断，以实现风电机舱的安全巡检和报警。这样，能够有效提高风电机舱的运行维护水平，提升安全管理效率，并降低人工劳动强度。

技术研发人员：赵伟东,单宏胜,李海鹏,张宁,李良钰,梁振飞,史春来
受保护的技术使用者：中国华电集团有限公司青海分公司
技术研发日：
技术公布日：2024/3/27