一种基于Python的巡检机器人的机器视觉系统的制作方法

本发明涉及机器人视觉系统，尤其涉及一种基于python的巡检机器人的机器视觉系统。

背景技术：

1、机器人技术在现代社会中的应用越来越广泛，尤其在工业制造、设施管理、仓储物流等领域，机器人被广泛用于自动化生产和服务。其中，巡检机器人可以在各种环境下进行自动化的巡检和监测，以发现和解决各种问题，提高效率和安全性。然而，对于巡检机器人来说，能够准确地感知和理解环境信息是其完成任务的关键。

2、目前，大部分巡检机器人依赖于各种传感器（如摄像头、激光雷达、超声波传感器等）来获取环境信息。然而，这些传感器获取的信息通常是原始的、未处理的，如图像、距离数据等，需要通过复杂的处理和分析，才能转换成对机器人有用的信息，如物体的位置、形状、颜色、运动状态等。

3、在这个处理和分析过程中，机器视觉和机器学习技术起到了关键的作用。机器视觉技术可以对图像进行处理，提取出图像中的关键特征；而机器学习技术可以对这些特征进行学习和分类，以识别出图像中的物体。然而，现有的机器视觉和机器学习技术通常需要大量的计算资源和时间，这对于实时性要求较高的巡检任务来说，往往难以满足需求。

4、此外，巡检机器人还需要能够根据环境信息和任务需求，生成合适的决策，如路径规划、避障等。现有的决策算法通常需要大量的计算资源，而且往往依赖于精确的环境信息，这在复杂的实际环境中往往难以获取。

5、总的来说，当前的巡检机器人技术面临的主要问题是如何在有限的计算资源下，准确地感知和理解环境信息，以及根据这些信息生成合适的决策。这就需要开发出更高效、更准确、更鲁棒的机器视觉系统。

技术实现思路

1、基于上述目的，本发明提供了一种基于python的巡检机器人的机器视觉系统。

2、一种基于python的巡检机器人的机器视觉系统，包括实时的图像处理和分析平台，所述图像处理和分析平台基于python编程语言，图像处理和分析平台通过视觉传感器获取环境图像，通过预设的机器学习模型进行图像分析和处理，以识别环境中的障碍物和其他重要特征，对机器人的运动路径和行为模式的实时调整，提升巡检机器人的任务执行效率，其特征在于，该系统包括视觉传感器模块，图像处理模块，机器学习算法模块以及控制模块，其中，

3、所述视觉传感器模块用于采集环境图像；

4、所述图像处理模块用于对采集的图像进行预处理；

5、所述机器学习算法模块用于对预处理的图像进行分析和理解；

6、所述控制模块用于根据机器学习算法模块的分析结果，调整机器人的运动路径和行为模式。

7、进一步的，所述视觉传感器模块包括一种或多种类型的视觉传感器，包括摄像头、深度传感器、激光雷达，以获取环境的多角度、多层次的图像信息。

8、进一步的，所述图像处理模块包括图像预处理单元和特征提取单元，

9、a所述图像预处理单元用于对从视觉传感器模块采集的原始图像进行初步处理，包括噪声滤除、亮度调整、图像标准化，以提升图像的质量和可分析性，其中，

10、a1噪声滤除基于中值滤波、高斯滤波，去除图像中的随机噪声；

11、a2亮度调整根据环境光照条件的变化，动态调整图像的亮度，使图像在任何光照条件下保持清晰；

12、a3图像标准化通过拉伸图像的灰度级别，使图像在整个灰度范围内均匀分布，提升图像的对比度，使图像特征更加明显；

13、b所述特征提取单元用于从预处理过的图像中提取出重要的视觉特征，包括边缘特征、角点特征、纹理特征，该特征帮助机器学习模型更准确地识别图像中的障碍物、地标目标，

14、b1边缘特征通过sobel算子、canny算子，提取出图像中的边缘信息；

15、角点特征通过harris角点检测、fast角点检测，提取出图像中的角点信息；

16、b2纹理特征通过glcm、lbp方法，提取出图像中的纹理信息，纹理信息可以反映出图像的表面特性，包括粗糙度、方向性。

17、进一步的，所述机器学习模型基于支持向量机模型，

18、支持向量机模型用于分类和回归分析的监督学习模型，支持向量机模型通过找到一个超平面，使该超平面将不同类别的样本最大程度地分隔开，对于线性可分的样本，支持向量机模型找到一个超平面进行分隔，对于线性不可分的样本，支持向量机模型通过引入核函数，将样本映射到高维空间中，使样本在高维空间中变得线性可分，支持向量机模型模型用于对视觉特征进行分类，包括识别障碍物、地标；

19、训练支持向量机模型模型时，准备训练样本，每个样本包括一个视觉特征向量和一个标签，视觉特征向量从图像中提取出的视觉特征，包括边缘特征、角点特征、纹理特征，标签是样本对应的类别，包括障碍物、地标，进而，使用smo算法对训练样本进行学习，找到最优超平面，该超平面用于分隔开不同类别的样本；

20、使用支持向量机模型模型进行图像分析时，首先从图像中提取出视觉特征，将该视觉特征作为支持向量机模型模型的输入，支持向量机模型模型输出特征对应的类别，包括障碍物、地标，从而对图像的分析和理解。

21、进一步的，所述sobel算子分别用于检测图像中的水平方向和垂直方向的边缘，其水平方向和垂直方向的算子分别表示为：

22、g_x = [[-1, 0, +1], [-2, 0, +2], [-1, 0, +1]]

23、g_y = [[+1, +2, +1], [0, 0, 0], [-1, -2, -1]]

24、其中，g_x 和 g_y 分别为图像在x方向和y方向上的梯度，再通过以下公式求取图像在某点的梯度幅值和方向：

25、梯度幅值：g = sqrt(g_x^2 + g_y^2)

26、梯度方向：θ = atan2(g_y , g_x)

27、所述canny边缘检测算子检测步骤包括：噪声减少、梯度计算、非极大值抑制、双阈值处理、滞后阈值，梯度采用sobel算子，非极大值抑制、双阈值处理、滞后阈值步骤；

28、所述harris角点检测算法包括计算图像的梯度，并构建梯度协方差矩阵，利用如下公式计算harris响应值：

29、r = det(m) - k * (trace(m))^2

30、其中，m为梯度协方差矩阵，det(m)表示m的行列式，trace(m)表示m的迹（即主对角线上元素之和），k为一个经验常数，通常取值为0.04-0.06，如果r值较大，那么就可以认为该点是角点；

31、svm (support vector machines): svm的目标函数为：

32、min 1/2 ||w||^2 + c * σξ_i

33、s.t. y_i * (w^t x_i + b) ≥ 1 - ξ_i, ξ_i ≥ 0

34、其中，c>0为惩罚参数，用于控制模型的复杂度和误差之间的权衡；ξ_i是松弛变量，用于处理不完全线性可分的情况；y_i是样本的标签；x_i是样本的特征向量；w和b是模型的参数，该目标函数是一个凸二次规划问题，通过smo算法算法求解；

35、所述 glcm用于描述图像局部纹理特性，glcm中的每个元素p(i, j)表示在空间关系下，灰度值为i和灰度值为j的像素对出现的频次或概率，基于glcm计算出各种纹理特性参数，包括能量、对比度、相关性；

36、所述lbp算法将中心像素的邻域像素的灰度值与中心像素的灰度值进行比较，若邻域像素的灰度值大于或等于中心像素的灰度值，则该邻域像素的位置被标记为1，否则被标记为0，再将这些二进制位组合成一个二进制数，作为中心像素的lbp值，具体的lbp值计算公式为：

37、lbp = σs(g_c - g_i) * 2^i

38、其中，s(x)是一个符号函数，当x≥0时，s(x)=1，否则s(x)=0；g_c是中心像素的灰度值；g_i是邻域像素的灰度值；i是邻域像素的序号。

39、进一步的，所述控制模块还包括决策模子块，所述决策子模块用于根据从机器学习模型模块获取的图像分析结果，结合任务需求和环境条件，生成针对性的决策，以控制机器人的运动，

40、所述决策模块包括路径规划单元和运动控制单元；

41、路径规划单元负责根据任务需求和环境条件，计算出一条从起点到目标点的最优路径；

42、路径规划单元采用dijkstra路劲规划算法；

43、运动控制单元采用pid控制算法。

44、进一步的，该系统还包括云端平台，所述云端平台用于存储和更新机器学习模型，以及接收并处理来自机器人的图像信息。

45、进一步的，所述云端平台通过互联网与机器人进行连接，用于图像信息的实时传输和处理。

46、进一步的，该系统还包括通信模块，所述通信模块用于机器人与外部设备的信息交换，

47、通信模块支持有线通信、无线通信；

48、通信模块支持机器人与其他机器人之间的通信，以进行机器人的协同工作；

49、通信模块支持远程控制和监控。

50、本发明的有益效果：

51、本发明，通过使用优化的图像处理和机器学习算法，该机器视觉系统可以在较短的时间内处理大量的图像数据，并从中准确地提取出关键的环境信息，如物体的位置、形状、颜色、运动状态。这不仅可以大大提高巡检机器人的工作效率，还可以提高巡检的准确性，从而减少因为误检或漏检导致的问题，通过使用支持向量机(svm)和决策树等机器学习算法，机器视觉系统可以根据实际环境自动调整其参数和策略，以适应各种复杂的环境和任务需求。这使得巡检机器人具有更好的自适应能力和鲁棒性，能够在各种复杂的环境中有效地工作。

52、本发明，通过结合环境信息和任务需求，机器视觉系统的决策模块可以生成精确的路径规划和运动控制指令。这使得巡检机器人可以精确地导航和控制，避免与环境中的物体发生碰撞，更有效地完成各种巡检任务，通过实现机器人与外部设备以及其他机器人之间的信息交换，机器视觉系统可以提高机器人的工作效率，实现协同工作，并通过实时监测和远程控制，及时处理遇到的问题，提高工作的安全性。