巡检机器人智能巡检方法及系统与流程

1.本发明涉及太阳能巡检技术领域，具体涉及一种巡检机器人智能巡检方法及系统。


背景技术：

2.目前，光伏电板的应用较为广泛，在使用过程中，需要对光伏电板进行定期的巡检，排查问题。目前的巡检方式多为人工定期巡检，其存在效率低下的问题，巡检耗时较长，往往存在人为不易察觉的问题，巡查质量不能保证。


技术实现要素：

3.本发明要解决的技术问题是：克服现有技术的不足，提供一种巡检机器人智能巡检方法及系统。
4.本发明为解决其技术问题所采用的技术方案为：巡检机器人智能巡检方法，包括以下步骤：步骤一：全局路径规划：确定巡检机器人当前坐标点及要行进的终点坐标,计算巡检机器人从当前坐标点到终点坐标的最优路径，沿最优路径行进；步骤二：沿最优路径行进过程中对路径上的光伏板进行图像采集，获取光伏板图像；步骤三：对光伏板图像进行空间变换处理，对变换后的图像进行分析处理，得出检测结果。
5.所述步骤一中，包括以下子步骤：1-1：确定巡检机器人当前坐标点及要行进的终点坐标，采用a*算法计算出最有效的路径，作为巡检机器人的全局路线；1-2：本地的实时规划：利用trajectory rollout 和dynamic window approaches算法计算每个周期内巡检机器人行驶速度和角速度w，选取最优路径；1-3：沿最优路径行进。
6.巡检机器人行驶速度和角速度w通过以下公式计算：
式中，为巡检机器人行驶速度，w为角速度，为左轮速度，为右轮速度，r为巡检机器人圆弧运动的半径，l为巡检机器人左右轮之间的间距。
7.所述步骤三包括以下子步骤：3-1：颜色空间变换，将图像进行颜色空间变换，变换到hsv空间；3-2：选择v分量，对v分量图像进行去噪处理；防止设备噪声干扰后续特征提取。使用总变分去噪，能够在去噪的同时保留纹理和细节；3-3：频域中滤除光伏板规则条纹；3-4：定位滤除纹理后的异常区域，输出检测结果。
8.光伏板图像有方向显著的纹理特征，其频谱图像在于纹理垂直方向初呈现显著的亮纹带。
9.频域中滤除光伏板规则条纹的步骤为：所述步骤3-3包括以下子步骤：3-3-1：将图像进行快速傅里叶变换，得到频谱和相位谱；3-3-2：将频谱亮纹处数值用该区域两侧一定范围内的幅度谱中值来代替；3-3-3：保持处理后的频谱相位不变，进行傅里叶逆变换。
10.所述步骤3-4包括以下子步骤：图像后处理过程定位除纹理后的异常区域，包括：3-4-1：使用canny算子进行边缘检测；3-4-2：填充图像中的空洞；3-4-3：形态学开运算去除毛刺等干扰；3-4-4：去除在光伏板边框线位置处的检测结果；3-4-5：根据掩膜标定异常位置，输出检测结果。
11.一种应用于上述巡检机器人智能巡检方法的巡检机器人智能巡检系统，包括巡检机器人，所述巡检机器人包括驱动机构驱动的两组驱动轮，巡检机器人内设置有控制器，所述巡检机器人上安装有实感追踪摄像头、里程计、cmos传感器及惯性传感器；所述实感追踪摄像头、里程计、cmos传感器及惯性传感器均连接控制器；所述控制器搭载定位系统及导航系统。
12.所述实感追踪摄像头为t265英特尔实感追踪摄像头。
13.所述里程计为差速轮式里程计。
14.与现有技术相比，本发明具有以下有益效果：本发明提供一种巡检机器人智能巡检方法，通过定位系统及导航系统实现对巡检机器人所处位置的掌握及路径的规划，使得巡检机器人可以按照规划好的路径自行巡检，无需人为干预，在巡检过程中对经过的光伏电板逐一进行图像采集并进行系统分析，保证了巡检的质量及全面性，提高巡检效率。
附图说明
15.图1是本发明巡检机器人在两个相邻时刻的位姿示意图。
16.图2是本发明掩膜标定示意图。
具体实施方式
17.下面结合附图对本发明实施例做进一步描述：实施例1参照图1至图2，包括以下步骤：步骤一：全局路径规划：确定巡检机器人当前坐标点及要行进的终点坐标，计算巡检机器人从当前坐标点到终点坐标的最优路径，沿最优路径行进；所述步骤一中，包括以下子步骤：1-1：确定巡检机器人当前坐标点及要行进的终点坐标，采用a*（即a-star）算法计算出最有效的路径，作为巡检机器人的全局路线；1-2：本地的实时规划：利用trajectory rollout 和dynamic window approaches算法计算每个周期内巡检机器人行驶速度和角速度w，利用一些评价标准（是否撞击障碍物、所需时间等）选取最优路径；1-3：沿最优路径行进。
18.巡检机器人行驶速度和角速度w通过以下公式计算：式中，为巡检机器人行驶速度，w为角速度，为左轮速度，为右轮速度，r为巡检机器人圆弧运动的半径，l为巡检机器人左右轮之间的间距。
19.具体计算过程如下：将两相邻时刻巡检机器人圆弧运动的旋转角度记为，是两相邻时刻巡检机器人航向角（朝向角head）的变化量记为，巡检机器人左右轮之间的间距记为l，根据巡检机器人实际走向将右轮比左轮多走的距离（或左轮比右轮多走的距离）记为d，巡检机器人圆弧运动的半径记为r；巡检机器人行驶速度记为，角速度记为w，将巡检机器人的左轮速度记为，将巡检机器人的右轮速度记为。
20.在假设已知巡检机器人行驶速度和角速度w的情况下，对巡检机器人航迹推演的位姿进行推导。参照图1，是巡检机器人在两个相邻时刻的位姿，其中是两相邻时刻
移动机器人绕圆弧运动的角度，是两相邻时刻移动机器航向角（朝向角head）的变化量。l是左右轮之间的间距，图1中巡检机器人是左转，d是右轮比左轮多走的距离。r是移动机器人圆弧运动的半径。
21.巡检机器人行驶速度等于左右轮速度的平均，即然后推导巡检机器人航向角以及角速度w，参照图1，把两个时刻的巡检机器人位置叠加在一起，可以清楚的看到巡检机器人航向角变化量是。从图中的几何关系可以得到：也就是说巡检机器人航向角变化了多少角度，它就绕其运动轨迹的圆心旋转了多少角度。例如：我们让机器人做圆周运动，从起点出发绕圆心一圈回到起点处，在这过程中机器人累计的航向角为360度，同时它也确实绕轨迹圆心运动了360度，说明机器人航向角变化多少度，就绕圆心旋转了多少度。由于相邻时刻时间很短，角度变化量很小，有下面的近似公式：式中，为巡检机器人行进时间。
22.机器人绕圆心运动的角速度w，也是机器人航向角变化的速度，计算公式为：移动机器人圆弧运动的半径r计算公式为：从公式（3）可以发现当左轮速度等于右轮速度时，半径无穷大，即直线运动。最后将公式（1）、（2）、（3）综合起来，可以得到左右轮速度和角速度之间的关系如下：
步骤二：沿最优路径行进过程中对路径上的光伏板进行图像采集，获取光伏板图像；步骤三：对采集的光伏板图像进行空间变换处理，对变换后的图像进行分析处理，得出检测结果。所述步骤三包括以下子步骤：3-1：颜色空间变换，将图像进行颜色空间变换，变换到hsv空间；3-2：选择v分量，对v分量图像进行去噪处理；防止设备噪声干扰后续特征提取。使用总变分去噪，能够在去噪的同时保留纹理和细节。
23.3-3：频域中滤除光伏板规则条纹；3-4：定位滤除纹理后的异常区域，输出检测结果。
24.光伏板图像有方向显著的纹理特征，其频谱图像在于纹理垂直方向初呈现显著的亮纹带，亮纹带对应原图中的横纵纹理。
25.频域中滤除光伏板规则条纹的步骤为：所述步骤3-3包括以下子步骤：3-3-1：将图像进行快速傅里叶变换，得到频谱和相位谱；3-3-2：将频谱亮纹处数值用该区域两侧一定范围内的幅度谱中值来代替。
26.3-3-3：保持处理后的频谱相位不变，进行傅里叶逆变换。
27.所述步骤3-4包括以下子步骤：图像后处理过程定位除纹理后的异常区域，包括：3-4-1：使用canny算子进行边缘检测；3-4-2：填充图像中的空洞；3-4-3：形态学开运算去除毛刺等干扰；步骤3-4-3中形态学开运算即先对图片进行腐蚀处理，然后再进行膨胀处理。腐蚀是图像中的高亮部分被腐蚀掉，领域缩减，效果图拥有比原图更小的高亮区域；操作的时候表现为相邻区域用极小值代替,高亮区域减少。膨胀是对图像中的高亮部分进行膨胀，领域扩张，使得效果图拥有比原图更大的高亮区域；操作的时候表现为相邻区域用极大值代替，高亮区域增加，由此去除毛刺等的干扰。
28.通过开运算先腐蚀再膨胀，具有以下优点：
①ꢀ
开运算能够除去孤立的小点、毛刺等，而总的位置和形状不便；
②ꢀ
开运算是一个基于几何运算的滤波器；
③ꢀ
结构元素大小的不同将导致滤波效果的不同；
④ꢀ
不同的结构元素的选择导致了不同的分割，即提取出不同的特征。
29.3-4-4：去除在光伏板边框线位置处的检测结果；
3-4-5：根据掩膜标定异常位置，输出检测结果。
30.掩膜标定：用选定的图像、图形或物体，对处理的图像（全部或局部）进行遮挡，来控制图像处理的区域或处理过程。数字图像处理中,掩膜为二维矩阵数组,有时也用多值图像。
31.参照图2，以3 x 3的掩膜为例，该过程为计算系数和由掩膜覆盖区域所包含的灰度级的乘积之和。换言之,掩膜在该图像中任何一点处的响应n由下式给出:其中，z是与掩膜系数m相关的像素的亮度，i为与掩膜系数对应的像素矩阵数。
32.在具体的计算过程中，掩膜会与图形中3*3的像素矩阵进行卷积并将结果赋值给像素矩阵的中间值，详细地说，以图2为例，图2中源像素中框选的3*3矩阵中的每个元素分别与掩膜（图2中卷积内核所在矩阵）中的对应元素相乘，其乘积依次相加即得到新的元素值，即图2新像素值中的-8，其具体计算步骤如图2右上角公式。
33.实施例2一种应用于实施例1巡检机器人智能巡检方法的巡检机器人智能巡检系统，包括巡检机器人，所述巡检机器人包括驱动机构驱动的两组驱动轮，巡检机器人内设置有控制器，所述巡检机器人上安装有实感追踪摄像头、里程计、cmos传感器（即complementary metal-oxide-semiconductor）及惯性传感器；所述实感追踪摄像头、里程计、cmos传感器、惯性传感器均连接控制器；所述控制器搭载导航系统及定位系统。
34.实施例1中的步骤一全局路径规划，通过定位系统及导航系统实现，定位系统用于确定巡检机器人当前坐标点及要行进的终点坐标, 导航系统用于确定巡检机器人从当前坐标点到终点坐标的最优路径，然后发送到控制器，控制器通过驱动机构控制巡检机器人沿最优路径行进。
35.使用过程中，首先会通过全局路径规划，计算出巡检机器人到目标位置的全局路径。这一功能采用成熟的astar最短路径算法，计算出最优最少花费的路径，作为巡检机器人的全局路线。而本地的实时规划，则利用trajectory rollout 和dynamic window approaches算法计算每个周期内巡检机器人应行驶速度和角度（dx，dy，dtheta velocities）,利用一些评价标准（是否撞击障碍物、所需时间等）选取最优路径。里程计分别测量左右驱动轮的行进距离及行进时间，控制器接收采集的行进距离及行进时间，计算出巡检机器人相应的左右驱动轮速度。巡检机器人行驶速度和角速度w实施例1中的公式计算，公式的推导计算过程参考实施例1,。基于公知的角速度w与行进时间及角度之间的关系，得出周期内巡检机器人应行驶的角度，从而最终选取最优路径。
36.实感追踪摄像头及对cmos传感器用于对路径上的光伏进行图像采集，采集的图像进行发到到控制器中，进行实施例1中的空间变换等处理，对变换后的图像进行分析处理，得出检测结果，其具体步骤实施例1中的步骤三。
37.惯性传感器主要用于保证巡检机器人在行进过程中的平衡。
38.激光雷达（即lidar：laser radar）在开发全自动巡检机器人中变得非常受欢迎。lidar通常由旋转/扫描激光束组成，它们采用短光脉冲或频率调制，以毫米级精度测量到
周围对象的距离。但基于光伏板上缺少上边界，无法使用小型的单线激光雷达对环境进行匹配定位，而多线激光雷达体积笨重，对光伏板所能承载的重量显然不太合适。
39.基于上述原因，本发明将cmos传感器充当感知周围环境的眼睛；惯性传感器（即imu：inertial measurement unit）作为内耳来感知平衡和方向；以及一个充当大脑，将信息融合到瞬时位置和映射中的计算组件即控制器，由此实现了视觉惯性里程计（vio：visual-inertial odometry），与现有的激光雷达解决方案相比，系统体积更小，成本和功耗更低，并且它们可以通过根据视觉特征来识别并重新定位其在大范围映射中的位置，从而提供了卓越的重新定位潜力。
40.所述实感追踪摄像头为t265英特尔实感追踪摄像头。英特尔实感追踪摄像头t265适用于需要精确位置追踪的用例，尤其是缺乏gps服务的地方，如仓库或远程室外区域。t265的设计同时考虑了灵活的实施应用，可轻松添加至巡检机器人和无人机等小型设备。这款内向外追踪设备采用了专有的v-slam视觉技术（视觉惯性测距即时定位与地图构建；visual inertial odometry simultaneous localization and mapping），可在边缘执行计算任务，并为需要高精度低延迟追踪解决方案的用例提供强大的基础，如增强现实和虚拟现实，以及巡检机器人和无人机。英特尔实感追踪摄像头t265采用了movidius myriad 2视觉处理单元（vpu：video processing unit），可直接在设备上处理追踪所需的数据。这使得t265成为一种尺寸小、功耗低的解决方案，可帮助开发者轻松利用现有的设计或自行构建需要丰富视觉智能的产品。
41.所述里程计为差速轮式里程计。