一种机器人自动排障方法与流程

本发明属于机器人技术领域，具体涉及一种机器人自动排障方法。

技术背景

随着科学技术的发展，机器人正发展成为一个日益庞大的家族，代替人类从事各种各样的工作，在生产生活方面，特别是在危险环境和极限环境作业中，有着广泛的应用前景。特别是利用机器人排障、机器人救援等方面，不仅解放了劳动力，提高了工作效率，还保障了生命安全。

对于机器人排障工作而言，因需求目的不同，对排障的功能复杂程度要求也不同。在有些重要场合的排障，为了确保准确和安全，需要人工的实时参与而对机器人本身功能要求不高。而在一些普通场合，因为让机器人自由工作而无需人员参与，对机器人本身排障分析能力要求较高。上述两种情况下如何功能兼容，是现代机器人需要解决的一个问题。目前，现有技术的机器人排障功能大都单一，智能化程度不足，灵活性低。

申请号为cn201420569430.0的中国专利申请公开了一种机械臂排障灭火机器人，该机器人具备实时监控的能力，但不具有图像处理分析能力，无法识别障碍物也无法保证机械手的控制精度，需要人工的全程参与。申请号为cn201610131450.3的中国专利申请公开了一种自主排障式智能车系统，虽然不需要人工参与，但该系统利用的激光测距模块只能获得正前方障碍物的距离，无法获得障碍物的三维坐标，影响机械臂的抓取精度，且排障目标也被固定为正前方的障碍物，同时采用的履带式结构使得转向范围有限，排障区域小。

技术实现要素：

本发明的目的在于克服现有技术的缺陷，提供一种机器人自动排障方法，该排障方法能根据选择进行自主或人工工作，通过视觉系统智能化判断障碍物，可依据指令进行360度全方向移动，利用视觉反馈保证机器人机器臂的控制精度，智能化程度高，灵活性好。

为了解决上述技术问题，本发明采用以下技术方案。

本发明的一种机器人自动排障方法，所述的机器人包括全向移动底盘、机械手排障装置、图像采集装置、机器人控制系统；所述的全向移动底盘包括mecanum轮、减速电机、h型悬架、车身、避震器；

所述的车身：设置有机器人控制系统、内嵌显示屏、四周装有测距传感器；所述车身通过h型悬架与mecanum轮及减速电机相连；

所述的机械手排障装置包括末端执行机构、六自由度机械臂，所述六自由度机械臂安装在车身的顶部前端；所述末端执行机构上设置有视觉标识物；

所述的图像采集装置包括固定在车身下面的支架、安装在支架上面的双目摄像机；图像采集装置可通过支架来调节双目摄像机的位置，并将图像实时传输给控制系统处理分析；

所述机器人控制系统设置有arm处理器，通过无线网络与pc机进行通信；

其特征在于：

所述机器人控制系统包括欠压报警模块，图像采集模块，测距模块，驱动模块，所述欠压报警装置用以对电源检测并作欠压提示，所述图像采集模块用以将双目摄像机采集图像信号传输给控制系统和pc机处理；所述测距模块用以检测在机械手操作空间范围的物体并给控制系统触发信号停止前进，所述驱动模块用以驱动电机使机器人实现全向移动；

所述方法包括以下步骤：

步骤1，开启机器人控制系统，并选择其工作模式，通过对末端执行机构上视觉标识物的角点检测，利用视觉反馈对六自由度机械臂的初始化位置进行确定；

步骤2，首先进行排障工作模式选择：包括自主控制和人工模式；然后所述的arm处理器对步骤1所获取图像进行初步处理分析以获取抓取点坐标，并将该图像实时传输给pc机进行进一步处理分析识别，以便获得判断结果；

步骤3，pc机与arm通信并传输所述的判断结果，机器人控制系统依据该判断结果进行下一步工作；

步骤4，在排障作业过程中，通过对末端执行机构上视觉标识物的角点检测，利用视觉反馈控制六自由度机械臂趋近并抓取目标物。

所述步骤1具体包括：

s11：首先对双目摄像机进行标定，并获取双目摄像机内外参数，建立图像坐标系与世界坐标系的转换关系，确定六自由度机械臂初始化位置o(x1,y1,z1)；

s12：开启机器人控制系统，对末端执行机构上视觉标识物进行角点检测，计算出与初始位置m(x2,y2,z3)的偏差(δx,δy,δz)，并反馈给机器人控制系统形成视觉闭环控制回路以控制六自由度机械臂准确到达初始位置。

在所述步骤2中，若排障工作模式选择为人工时，其过程包括：

s22、arm处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：

s221、利用dp算法获得大致轮廓；

s222、对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；

s223、对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；

s224、将图像点二维坐标转换为机械臂三维坐标t(x,y,z)；

s225、遍历所有y值，选择最小的作为抓取点坐标；

s225、对y值设置了阈值ny，若|y|＜ny，则横向右移，移动时间若|y|＞ny，则横向左移，移动时间其中w1、w2、w3、w4为全向移动底盘(10)的四个mecanum轮(12)转速；

s226、将判断结果直接设置为“1”，即抓取点坐标位置为人工在图像上确定的点三维坐标。

进一步的，在所述步骤2中，若排障工作模式选择为自主控制时，其过程包括：

s22、arm处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：

s221、利用一个dp算法获得大致轮廓；

s222、对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；

s223、对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；

s224、将图像点二维坐标转换为机械臂三维坐标t(x,y,z)；

s225、遍历所有y值，选择最小的作为抓取点坐标；

s225、对y值设置了阈值ny，若|y|＜ny，则横向右移，移动时间若|y|＞ny，则横向左移，移动时间其中w1、w2、w3、w4为全向移动底盘(10)的四个mecanum轮(12)转速；

s23、在arm处理器将所述图像实时传输给pc机后，pc机进行进一步处理分析识别获得识别结果，其过程包括：采用了改进canny与sift组合算法进行特征点提取，进而作为输入进入一个模糊神经网络中进行图像识别，所述的改进canny与sift组合算法包括以下步骤：

(1)尺度空间极值检测：通过不同尺度因子的高斯核函数的差分和图像的卷积得到，计算公式为：

d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)

＝l(x,y,kσ)-l(x,y,σ)

式中，d(x,y)为高斯差分尺度空间，为一个变化尺度的高斯函数，l(x,y)为一个图像的尺度空间，i(x,y)为图像数据，*为卷积，k为相邻尺度空间倍数的常数，σ是尺度空间因子；

(2)检测尺度空间中的关键点：将尺度空间上的每个特征点与周围以及上下层共26个邻域点比较，如果此点为最大或是最小点，则确定为关键点，否则舍弃；

(3)边缘检测算法获得边缘点：采用各向异性高斯滤波器进行去噪工作平滑图像，采用与所述关键点检测相同的5x5领域计算梯度幅值和方向，通过线性插值进行非极大值抑制，运用ostu自适应设定高低阈值，对经过非极大抑制后的梯度图像检测和连接边缘得到边缘点；

(4)精确关键点：对上述两步中的关键点和边缘点进行比较，判断是否去除关键点；

s231、对检测出的候选关键点，利用高斯函数滤掉一部分边缘响应点，然后再计算每一个特征点在原图中的位置；

s232、对检测出的每一个边缘点计算出其3x3临域内的位置点；

s233、对在s231和s232两步中所述的关键点与边缘点进行比较，判断位置坐标是否相等，若相等则舍弃关键点；若不相等则将关键点继续与边缘点和领域点集比较，若相等则舍弃，不相等则关键点继续与步骤s32检测出其它边缘点位置比较，相等则舍弃，否则保留；

s234、得到的特征点集作为输入进入模糊神经网络进行图像识别以获得判断结果。

所述步骤3具体包括：

s31、pc机将判断结果传输给机器人控制系统，机器人控制系统若接受到的判断结果为"0"则返回步骤2，若接受到“1”则进行步骤s32；

s32、机器人控制系统利用逆向运动学原理，求解得到各关节指令以控制六自由度机械臂进行作业。

与现有技术相比，本发明包括以下优点和有益效果：

1.本发明的一种机器人自动排障方法，能根据需要进行工作模式选择，功能多样化；在自主控制模式时，利用视觉反馈对机械手进行自主控制，提高了机器人运动控制效率以及机械手重复定位精度；在图像采集上，有效地解决了复杂背景图像对目标物识别的干扰问题，提高了识别精度，确保了障碍物信息的精准性，且保证了机器人排障时机械手控制的准确性；能够智能化判断障碍物，提高了工作效率，具有较高的智能性；全向移动的特性确保了机器人能在狭小空间进行作业，灵活性好。

2.本发明在图像分析处理中，采用改进canny与sift组合算法进行特征点提取，进而作为输入进入模糊神经网络中进行图像识别。该算法与传统检测算法相比，有利于在复杂环境中检测目标，提高了特征提取的抗噪声能力，检测效果好。

附图说明

图1是本发明一实施例的机器人结构示意图。其中，10全向移动底盘，11为h型悬架，12为mecanum轮，13避震器，14减速电机，15测距传感器，16显示屏，17车身；20机械手排障装置；21末端执行机构，22六自由度机械臂；30图像采集装置，31支架，32双目摄像机。

图2是本发明一实施例的机器人自动排障方法流程图。

图3是本发明一实施例的机器人自动排障控制系统框图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，是本发明一实施例的机器人自动排障方法流程图。该实施例方法，用于对障碍物的检测以及排除，其机器人包括全向移动底盘10、机械手排障装置20、图像采集装置30、机器人控制系统；

所述的全向移动底盘10包括mecanum轮12、减速电机14、h型悬架11、车身17等；全向移动底盘10安装有避震器13，确保机器人在不平衡地面的平稳行进；

所述的车身17内设置有采用arm处理器的机器人控制系统，车身上内嵌显示屏16用于显示机器人运动状态，车身17四周装有测距传感器15，用于检测机器人周围环境以防触碰；所述车身17通过h型悬架11与mecanum轮12及减速电机14相连；

机械手排障装置20包括末端执行机构21、六自由度机械臂22，所述六自由度机械臂22安装在车身17的顶部前端，所述末端执行机构21上设置有视觉标识物；所述机械手排障装置20，利用控制系统逆向运动学原理来求解三维坐标，从而得到六自由度机械臂22各关节指令。然后利用末端执行机构21视觉标识物的角点检测，实现视觉反馈实时地控制机械手排障装置20完成排障作业。

图像采集装置30包括支架31、双目摄像机32，支架31固定在车身17下面，双目摄像机32安装在支架31上；图像采集装置30可通过支架31可水平调节双目摄像机32的位置，并将图像实时传输给控制系统处理分析；本发明可根据选择进行自主或者人工的自动排障，提高了机器人排障的智能化程度，增加了功能多样性，既可应用于地上排障也可用于地下探测，降低了劳动强度、提升了工作效率。

所述机器人控制系统设置有arm处理器，通过无线网络与pc机进行通信，所述控制系统包括欠压报警模块，图像采集模块，测距模块，驱动模块，所述欠压报警装置用以对电源检测并作欠压提示，所述图像采集模块用以将双目摄像机采集图像信号传输给控制系统和pc机处理；所述测距模块用以检测在机械手操作空间范围的物体并给控制系统触发信号停止前进，所述驱动模块用以驱动电机完成机器人的全向移动。

图2是本发明一实施例的机器人自动排障方法流程图。图3是本发明一实施例的机器人自动排障控制系统框图。如图2和3所示，本实施例方法包括以下四个步骤：

步骤1：开启机器人控制系统，选择工作模式，通过对末端执行机构21视觉标识物的角点检测，利用视觉反馈对六自由度机械臂22初始化位置进行确定，具体过程为：

s11：对双目摄像机32进行标定，获得双目摄像机32内外参数，建立图像坐标系与世界坐标系的转换关系，确定六自由度机械臂22初始化位置o(x1,y1,z1)。

s12：开启系统，对末端执行机构21视觉标志物进行角点检测，计算出与初始位置m(x2,y2,z3)的偏差(δx,δy,δz)，并反馈给机器人控制系统形成视觉闭环控制回路以控制六自由度机械臂22准确到达初始位置。

步骤2：arm处理器对图像进行第一步处理分析以获取抓取点坐标，并图像实时传输给pc机进行进一步处理分析识别获得识别结果。所述步骤2具体过程为：

s21：首先进行排障工作模式选择；

若工作模式为自主控制，则依次进行下述步骤s22和s23；

若工作模式为人工则只进行步骤s22，并将判断结果直接设置为：其抓取点坐标位置为人工在图像上确定的点三维坐标。

s22：arm处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：

s221：利用dp算法获得大致轮廓；所述的dp(dynamicprogramming，动态规划)算法是解决多阶段决策过程最优化问题的一种常用方法。其基本思想是：将待求解的问题分解成若干个相互联系的子问题，先求解子问题，然后从这些子问题的解得到原问题的解；对于重复出现的子问题，只在第一次遇到的时候对它进行求解，并把答案保存起来，让以后再次遇到时直接引用答案，不必重新求解。动态规划算法将问题的解决方案视为一系列决策的结果，并且还要考察每个最优决策序列中是否包含一个最优决策子序列，即问题是否具有最优子结构性质。

s222：对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；

s223：对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；

s224：将图像点二维坐标转换为机械臂三维坐标t(x,y,z)；

s225：遍历所有y值，选择最小的作为抓取点坐标；

s225：对y值设置了阈值ny，若|y|＜ny，则横向，移动时间若|y|＞ny，则横向左移，移动时间其中w1、w2、w3、w4为全向移动底盘(10)的四个mecanum轮(12)转速；

s23：在arm处理器将所述图像实时传输给pc机后，pc机进行进一步处理分析识别获得识别结果，其过程包括：采用了改进canny与sift组合算法进行特征点提取，进而作为输入进入一个模糊神经网络中进行图像识别，所述的改进canny与sift组合算法包括以下步骤：

(1)尺度空间极值检测。可以通过不同尺度因子的高斯核函数的差分和图像的卷积得到，

计算公式如下

d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)

＝l(x,y,kσ)-l(x,y,σ)

式中，d(x,y)为高斯差分尺度空间，为一个变化尺度的高斯函数，l(x,y)为一个图形的尺度空间，i(x,y)为图像数据，*为卷积，k为相邻尺度空间倍数的常数，σ是尺度空间因子；

(2)检测尺度空间中的关键点。将尺度空间上的每个特征点与周围以及上下层共26个邻域点比较，如果此点为最大或是最小点，则确定为关键点，否则舍弃。

(3)边缘检测算法获得边缘点。采用各向异性高斯滤波器进行去噪工作平滑图像，采用与关键点检测相同的5x5领域计算梯度幅值和方向，通过线性插值进行非极大值抑制，运用ostu自适应设定高低阈值，对经过非极大抑制后的梯度图像检测和连接边缘得到边缘点。

(4)精确关键点。对前两步中的关键点和边缘点进行比较，判断是否去除关键点。

s231：对检测出的候选关键点，利用高斯函数滤掉一部分边缘响应点，然后再计算每一个特征点在原图中的位置；

s232：对检测出的每一个边缘点计算出其3x3临域内的位置点；

s233：对前两步的关键点和边缘点进行比较，判断位置坐标是否相等，若等则舍弃关键点，若不等则将关键点继续与边缘点领域点集比较，若等则舍弃，不等则关键点继续与步骤s32检测出其它边缘点位置比较，相等则舍弃，否则保留；

s234：得到的特征点集作为输入进入模糊神经网络进行图像识别以获得判断结果。

步骤3：pc机与arm通信告之判断结果，机器人控制系统依据结果进行下一步工作；所述步骤3具体过程为：

s31、pc机将判断结果传输给机器人控制系统，机器人控制系统若接受到的判断结果为字符"0"则返回步骤2，若接受到字符“1”则进行步骤s32；

s32：控制器进行逆向运动学求解得到各关节指令以控制六自由度机械臂进行作业；

步骤4：在作业过程中，通过对末端执行机构视觉标识物的角点检测，利用视觉反馈控制六自由度机械臂趋近并抓取目标物。