基于人工智能的光伏组件上多机器人协同清洁方法及装置与流程

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的光伏组件上多机器人协同清洁方法及装置。

背景技术：

太阳能作为清洁能源之一，太阳能发电是新能源利用的重要技术。在国家政策的支持下，中国的光伏产业飞速发展。然而，太阳能电池板在进行太阳能发电是安装在露天处，光伏电池板清洁也成为了重要的一环。传统的光伏清洁技术采用人工清洁，机械清洁，是对人力物力极大的消耗，而且可能因操作不当造成光伏电池板隐裂。一个20mw太阳能光伏电站采用人工水洗，至少需要20名清洁工人不间断的工作。

现有的太阳能清洁装置虽然可以对太阳能电池板进行清洁，但是在多清洁机器人之间缺乏对脏污区域的任务区域路线分配，不能高效快速的引导清洁机器人进行清洁。

技术实现要素：

为了解决上述问题，本发明提出了一种基于人工智能的光伏组件上多机器人协同清洁方法及装置，具体方案如下：

第一方面，本发明一个实施例提供了一种基于人工智能的相机快门速度调节方法包含以下步骤：

获取光伏电池板的表面rgb图像；

对所述表面rgb图像进行灰度化和阈值分割，获取所述光伏电池板脏污区域的面积，确定所述脏污区域的几何中心并计算清洁机器人到每一个所述脏污区域的几何中心的距离；

获取脏污图像，将所述脏污图像进行hsv颜色空间转换得到第二脏污图像，用深度神经网络对脏污类别进行划分，根据所述第二脏污图像的亮度和饱和度、脏污类别的影响系数得到反映所述脏污区域的不透光程度的度量值；

根据所述脏污区域的不透光程度的度量值、所述脏污区域的面积和所述距离获取总权重系数；

通过km算法利用所述总权重系数作为所述清洁机器人和所述脏污区域的边权对所述清洁机器人进行最大权分配，使每个所述清洁机器人到对应所述脏污区域位置进行清洁。

优选的，所述获取脏污图像还包括以下步骤：

将所述阈值分割所得到的图像进行编码，得到掩膜图像，将所述掩膜图像与所述表面rgb图像相乘获得所述脏污图像。

优选的，所述脏污区域的不透光程度的度量值为：

其中，ω2为脏污区域的不透光程度的度量值，δ为脏污类别的影响系数，l0为正常光伏电池板的明度通道的值，l为脏污区域的明度通道分析值，为脏污图像的饱和度均值，s为正常图像的饱和度均值。

优选的，所述总权重系数为：

ω＝αω2+βω3+γω1

其中，α，β，γ为自适应系数，满足α+β+γ＝1且α＞β＞γ，ω1为所述脏污区域的面积与所述光伏电池板面积的比值，ω2为所述脏污区域的不透光程度的度量值，ω3为所述距离。

优选的，所述脏污类别包括鸟粪、浮灰和油污，其中，所述油污的影响系数为0.5，所述浮灰的影响系数为0.3，所述鸟粪的影响系数为0.2。

第二方面，本发明另一实施例还包括了一种基于人工智能的光伏组件上多机器人协同清洁装置，该装置包含以下模块：

图像检测模块，用于获取光伏电池板的表面rgb图像；

面积距离计算模块，用于对所述表面rgb图像进行灰度化和阈值分割，获取所述光伏电池板脏污区域的面积，确定所述脏污区域的几何中心并计算清洁机器人到每一个所述脏污区域的几何中心的距离；

透光分析模块，用于获取脏污图像，将所述脏污图像进行hsv颜色空间转换得到第二脏污图像，用深度神经网络对脏污类别进行划分，根据所述第二脏污图像的亮度和饱和度、脏污类别的影响系数得到反映所述脏污区域的不透光程度的度量值；

权重计算模块，用于根据所述脏污区域的不透光程度的度量值、所述脏污区域的面积和所述距离获取总权重系数；

分配模块，用于通过km算法利用所述总权重系数作为所述清洁机器人和所述脏污区域的边权对所述清洁机器人进行最大权分配，使每个所述清洁机器人到对应所述脏污区域位置进行清洁。

优选的，所述透光分析模块还包括：

图像相乘单元，用于将所述阈值分割所得到的图像进行编码，得到掩膜图像，将所述掩膜图像与所述表面rgb图像相乘获得所述脏污图像。

脏污分类单元，用于将脏污类别分为鸟粪、浮灰和油污，其中，所述油污的影响系数为0.5，所述浮灰的影响系数为0.3，所述鸟粪的影响系数为0.2。

透光分析模型构建单元，用于构建透光分析模型，公式如下：

其中，ω2为脏污区域的不透光程度的度量值，δ为脏污类别的影响系数，l0为正常光伏电池板的明度通道的值，l为脏污区域的明度通道分析值，为脏污图像的饱和度均值，s为正常图像的饱和度均值。

优选的，所述权重计算模块还包括：

总权重系数构建单元，用于构建总权重系数，公式如下：

ω＝αω2+βω3+γω1

其中，α，β，γ为自适应系数，满足α+β+γ＝1且α＞β＞γ，ω1为所述脏污区域的面积与所述光伏电池板面积的比值，ω2为所述脏污区域的不透光程度的度量值，ω3为所述距离。

本发明实施例至少存在以下有益效果：

本发明实施例通过无人机对光伏电池板的进行图像采集得到rgb图像，将图像进行灰度化，通过阈值分割得到脏污的roi区域，通过得到的脏污的roi区域绘制最小的包围框，对包围框中的像素点进行集合得到脏污的面积，得到脏污的面积占比，计算脏污的几何中心点距离清洁机器人的距离，利用深度神经网络对脏污区域进行透光度分类，分析脏污的透光程度，通过km算法进行最大权值匹配得到每个清洁机器人的最优分配任务区域，引导机器人开始清洁工作。本发明实施例利用km算法对脏污区域的不透光程度的度量值、脏污区域的面积和距离构建总权重系数作为清洁机器人和脏污的边权进行最大权分配能够有效实时的得到多台光伏清洁机器人工作过程中的最优路线分配，实现多台清洁机器人配合高效快速的达到清洁目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一实施例所提供的一种基.于人工智能的多机器人协同的光伏组件清洁方法的整体流程图；

图2为本发明一实施例所提供的一种基于人工智能的光伏组件上多机器人协同清洁方法的流程图；

图3为本发明一实施例所提供的一种基于人工智能的光伏组件上多机器人协同清洁装置的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的光伏组件上多机器人协同清洁方法及装置，其具体实施方式、结构、特征及其功效，详细说明如下，在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

请参阅图1和图2，图1示出了本发明一实施例所提供的一种基于人工智能的光伏组件上多机器人协同清洁方法的系统整体流程图。图2示出了本发明一实施例所提供的一种基于人工智能的光伏组件上多机器人协同清洁方法的流程图，该方法包括以下步骤：

步骤s1:获取光伏电池板的表面rgb图像；

具体的，通过无人机自带的摄像机对多个光伏电池板组成的大型的光伏电池板阵列进行图像采集，得到光伏电池板的rgb图像imi，从而不需要再利用巡检机器人进行图像采集拼接，解决了清洁机器人的视角受限的问题。

步骤s2：对rgb图像进行灰度化和阈值分割，获取光伏电池板脏污区域的面积，确定脏污区域的几何中心并计算清洁机器人到每一个脏污区域的几何中心的距离。

优选的，为了减少模型的计算复杂程度，对rgb图像imi进行灰度化得到灰度图gi(x，y)。

具体的，由于脏污与电池板的像素值有明显差别，通过设定合适的阈值t对灰度图进行阈值分割得到光伏电池板脏污的roi区域，对脏污的roi区域进行边缘检测绘制最小的多边形包围框。

优选的，在本发明实施例中阈值t设为100，在其他实施例中阈值t可根据实际情况进行微调。

通过统计不同roi区域的像素点个数来得到每一片脏污的面积为si。计算脏污面积与光伏电池板阵列的总面积的比值ω1，公式如下：

其中，si表示第i片脏污的面积，s表示光伏电池板阵列的总面积。

需要说明的是，由于无人机在工作过程中无法对清洁机器人准确的区分，需要对参加协同工作的机器人进行编号，并在每一个清洁机器人身上安装定位传感器，在图像中可以得到每一个带编号的清洁机器人的位置点。

具体的，统计已经得到的脏污的roi区域的像素点的分布值计算得到每片脏污的几何中心ci(x，y)。设机器人的位置点为bi(x，y)，通过计算两位置点的欧式距离来得到清洁机器人到每一片脏污的距离di，将每一片脏污距离清洁机器人的距离di作为清洁机器人目标选择的权重ω3。

步骤s3：获取脏污图像，将脏污图像进行hsv颜色空间转换得到第二脏污图像，用深度神经网络对脏污类别进行划分，根据第二脏污图像的亮度和饱和度、脏污类别的影响系数得到反映所述脏污区域的不透光程度的度量值。

具体的，对阈值分割所获得图像进行编码，将大于阈值t的像素点设为1，小于阈值t的设为0，得到一个脏污的掩膜图像。将掩膜图像与原图像imi相乘得到脏污图像imj(x，y)，然后将脏污图像imj(x，y)进行hsv颜色空间转换，公式如下：

v＝max(r，g，b)

具体的，为了避免出现h＜0的结果，进行以下计算：

需要说明的是，hsv是一种比较直观的颜色模型，这个模型中颜色的参数分别是：色调h、饱和度s和明度v，其取值范围为：

0≤h≤360，0≤s≤1，0≤v≤1

优选的，由于脏污区域不同位置色调通常变化不大，而饱和度与明度会存在一定幅度的变化，建立脏污透光程度分析模型来反映脏污的厚度，具体步骤如下：

s101：计算电池板区域的明度值，公式如下：

其中，l为明度通道的分析值，v(x，y)为坐标为(x，y)的像素点的明度通道值。

优选的，明度通道的分析值在[0，1]区间内单调递减。

s102：使用饱和度均值对脏污图像imj(x，y)的饱和度进行分析，公式如下：

其中，s(x，y)为坐标为(x，y)的像素点的饱和度通道值。

s103：通过深度神经网络dnn采用encoder-fc的结构实现对脏污类别的分类。

具体的，本发明实施例以将脏污划分为鸟粪，油灰，浮灰为例，对网络的训练过程如下：

s201：对网络进行训练，对采集到的图像imj(x，y)进行标注，分别将正常图像标注为0、浮灰图像标注为1、鸟粪图像标注为2、油灰图像标注为3。

s202：将标注后的图像进行图像增强操作；

s203：将数据集进行shuffle打乱后，将待识别标签的图像作为训练集，未识别的图像作为测试集，其中训练集和测试集的比例为8∶2，经过batch-normal送入网络训练，批次大小为20，将图像数据归一化；

s204：采用交叉熵损失函数作为loss函数对脏污识别编码器进行训练，通过多组卷积池化操作对图像采样，采集图像的深度语义特征，经过全连接fc输出得到图像的特征向量，通过softmax函数将图像特征向量分类，得到图像的类别标签。

s104：建立透光程度分析模型，公式如下：

其中，ω2为脏污区域的不透光程度的度量值，δ为影响系数，l0为正常光伏电池板的明度通道的值，l为脏污区域的明度通道分析值，为脏污图像的饱和度均值，s为正常图像的饱和度均值，作为权重调节参数，|l-l0|表示明度差值。

优选的，本发明实施例中取l0＝140，|l-l0|经验值域在[0，100]之间。

需要说明的是，由于不同的脏污表面反应的明度特征可能不一样，例如浮灰和油污，在相同明度下，油污的明度对应的厚度值可能比浮灰对应的厚度值更小，透光程度可能较大，故针对不同的类别设置影响系数值，油污影响系数为0.5，浮灰的影响系数为0.3，鸟粪的影响系数为0.2。

步骤s4：根据脏污区域的不透光程度的度量值、脏污区域的面积和距离获取总权重系数。

具体的，设定清洁机器人的总权重系数为：

ω＝αω2+βω3+γω1

其中，α、β、γ为自适应系数，满足α+β+γ＝1且α＞β＞γ。

优选的，在本发明实施例中α的取值为0.5，β的取值为0.3，γ的取值为0.2。

需要说明的是，为了排除量纲数值之间的影响，此处的ω1、ω2、ω3统一进行归一化处理，排除量纲之间的影响。

步骤s5：通过km算法利用总权重系数作为边权对清洁机器人进行最大权分配，使每个清洁机器人到对应脏污区域位置进行清洁。

具体的，通过km算法进行清洁机器人的分配，本发明实施例以4个初始的清洁机器人为例，用权重系数ω作为清洁机器人和脏污对应的边权来进行最大权匹配，具体实现步骤如下：

s301：选择清洁机器人为x部，对每一个顶点设置顶标，顶标的值为该点关联的最大边的权值，选择脏污作为y部，设置顶点顶标为0；

s302：对x部中的每一个顶点在相等子图中利用匈牙利算法找到一条增广路径，如果没找到修改顶标，扩大相等子图继续找增广路径；

s303：重复步骤s302，直到每个点都找到增广路径时则认为完成每个点的匹配，则认为得到二分图的完备匹配。

具体的，指令每个编号的清洁机器人清洁对应脏污区域，实现最优的多清洁机器人协同工作分配。

综上所述，本发明实施例通过无人机对光伏电池板的进行图像采集得到rgb图像，将图像进行灰度化，通过阈值分割得到脏污的roi区域，通过得到的脏污的roi区域绘制最小的包围框，对包围框中的像素点进行集合得到脏污的面积，得到脏污的面积占比，计算脏污的几何中心点距离清洁机器人的距离，利用深度神经网络对脏污区域进行透光度分类，分析脏污的透光程度，通过km算法进行最大权值匹配得到每个清洁机器人的最优分配任务区域，通过无人机发送反馈信号引导机器人开始清洁工作。本发明实施例利用km算法对脏污区域的不透光程度的度量值、脏污区域的面积和距离构建总权重系数作为清洁机器人和脏污的边权进行最大权分配能够有效实时的得到多台光伏清洁机器人工作过程中的最优路线分配，实现多台清洁机器人配合高效快速的达到清洁目的。

基于与上述方法实施例相同的发明构思，本发明的另一个实施例还提供了一种基于人工智能的光伏组件上多机器人协同清洁装置。

请参阅图3，其示出了一种基于人工智能的光伏组件上多机器人协同清洁装置的结构框图，该装置包括图像检测模块101、面积距离计算模块102、透光分析模块103、权重计算模块104和分配模块105。

图像检测模块101用于获取光伏电池板的表面rgb图像。面积距离计算模块102用于对表面rgb图像进行灰度化和阈值分割，获取光伏电池板脏污区域的面积，确定脏污区域的几何中心并计算清洁机器人到每一个脏污区域的几何中心的距离。透光分析模块103用于获取脏污图像，将脏污图像进行hsv颜色空间转换得到第二脏污图像，用深度神经网络对脏污类别进行划分，根据第二脏污图像的亮度和饱和度、脏污类别的影响系数得到反映脏污区域的不透光程度的度量值。权重计算模块104用于根据脏污区域的不透光程度的度量值、脏污区域的面积和距离获取总权重系数。分配模块105用于通过km算法利用总权重系数作为清洁机器人和脏污区域的边权对清洁机器人进行最大权分配，使每个清洁机器人到对应脏污区域位置进行清洁。

优选的，透光分析模块103还包括：

图像相乘单元，用于将阈值分割所得到的图像进行编码，得到掩膜图像，将掩膜图像与表面rgb图像相乘获得脏污图像。

脏污分类单元，用于将脏污类别分为鸟粪、浮灰和油污，其中，油污的影响系数为0.5，浮灰的影响系数为0.3，鸟粪的影响系数为0.2。

透光分析模型构建单元，用于构建透光分析模型，公式如下：

其中，ω2为脏污区域的不透光程度的度量值，δ为脏污类别的影响系数，l0为正常光伏电池板的明度通道的值，l为脏污区域的明度通道分析值，为脏污图像的饱和度均值，s为正常图像的饱和度均值。

优选的，权重计算模块104还包括：

总权重系数构建单元，用于构建总权重系数，公式如下：

ω＝αω2+βω3+γω1

其中，α，β，γ为自适应系数，满足α+β+γ＝1且α＞β＞γ，ω1为脏污区域的面积与光伏电池板面积的比值，ω2为脏污区域的不透光程度的度量值，ω3为距离。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。