一种基于视觉识别的辅助抓取方法与流程

本发明涉及机械臂领域，尤其涉及一种基于视觉识别的辅助抓取方法。

背景技术：

多输电架空线路位于野外山区丛林内，悬挂在电线上的杂物与过长的树枝，造成输电线路对植物放电跳闸，影响电网运行。使用无人机辅助机械臂的方法清除线路飘挂物、干扰树枝等，既缩短了消缺时间，也大大降低了工作的劳动强度。而且，清理时间很短，对线路本体不造成任何损伤。本发明主要提供一种使用无人机辅助机械臂清除障碍物的方法。

技术实现要素：

本发明目的是提供一种基于视觉识别的辅助抓取方法，本发明通过无人机辅助机械臂的方法清除，清理时间很短，且通过深度学习框架，训练后，达到使得障碍物的识别抓取更精准的有益效果。

一种基于视觉识别的辅助抓取方法，包括以下步骤；

1)搭建深度学习框架及网络架构；

2)采集线路图像信息；

3)根据采集到的信息进行训练识别；

4)利用摄像头捕捉目标路段图像信息；

5)对获取的图像进行分析；

6)获取待处理线路的图像及位置信息；

7)利用超声波测距模块测算与目标物体距离；

8)向机械臂发送抓取指令；

9)机械臂的电机驱动机械臂运动；

10)抓取目标物体。

进一步的，采集线路图像信息，包括采集正常图像信息，比如采集架空线路直行处、拐弯处、交越处、终点处的图像；还包括采集异常线路信息，比如线路上面的异常物体。

进一步的，根据采集到的信息进行训练识别之后，还包括获得识别模型及抓取模型。。

进一步的，在利用摄像头捕捉目标路段图像信息之前，还包括进行GPS定位,进行航向控制。

进一步的，在机械臂的电机驱动机械臂运动之后，还包括，将机械臂的抓取关节微调至最佳抓取位置。

进一步的，在抓取目标物体之后，还包括记录本次图像识别信息，并利用该信息进行识别深度学习训练。

进一步的，记录本次图像识别信息之后，还包括记录机械臂抓取信息，并利用该抓取信息进行抓取深度学习训练。

进一步的，将机械臂的抓取关节微调至最佳抓取位置之前，还包括机械臂轨迹跟踪。

进一步的，在利用超声波测距模块测算与目标物体距离之前，还包括下达无线传输指令与处理任务指令。

本发明目的是提供一种基于视觉识别的辅助抓取方法及系统，与现有技术相比，有以下优点：

1、利用深度学习框架，并训练后，使得障碍物的识别抓取更精准；

2、每次抓取目标物体后，记录信息，可以作为查询依据，也可做为训练的依据；

附图说明

图1是本发明一种基于视觉识别的辅助抓取方法流程示意图1；

图2是本发明一种基于视觉识别的辅助抓取方法流程示意图2；

具体实施方式

为了使本发明的目的.技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施用例一

如图1所示，图1是本发明一种基于视觉识别的辅助抓取方法流程示意图1。

一种基于视觉识别的辅助抓取方法，包括以下步骤；

步骤S101,搭建深度学习框架及网络架构；

步骤S102，采集线路图像信息；

步骤S103，根据采集到的信息进行训练识别；

步骤S104，利用摄像头捕捉目标路段图像信息；

步骤S105，对获取的图像进行分析；

步骤S106，获取待处理线路的图像及位置信息；

步骤S107，利用超声波测距模块测算与目标物体距离；

步骤S108，向机械臂发送抓取指令；

步骤S109，机械臂的电机驱动机械臂运动；

步骤S110，抓取目标物体。

实施用例二

如图2所示，图2是本发明一种基于视觉识别的辅助抓取方法流程示意图2。

步骤S201,搭建深度学习框架及网络架构；

采用caffe深度学习框架和Faster-RCNN网络架构，但不限于使用此深度学习方法及此此网络架构；像加州伯克利分校的Caffe、蒙特利尔理工学院的Theano、瑞士人工智能实验室IDSIA的Brainstorm、是普林斯顿大学Marvin等任一都可以作为此深度学习的框架；像 SSD、Faster-RCNN等可以作为此建模的一个网络架构。

步骤S202，基于深度学习框架及网络架构,根据采集到的信息进行训练识别,训练得到识别模型；

采集多组不同场景下线路图像信息,包括采集正常图像信息，比如采集架空线路直行处、拐弯处、交越处、终点处的正常图像；还包括采集异常线路信息，比如线路上面的异常物体等的图像；

根据采集到的信息进行深度学习，训练识别,输出各特征点；设置各项特征点，平原、丘陵等不同环境下线路高度、形状、粗细特征点；拐弯、交越、终点不同形态下的高度、形状、粗细等特征点；训练后得到识别模型。

步骤S203，基于深度学习框架及网络架构,进行抓取训练,得到抓取模型；

根据采集到的信息进行深度学习，训练识别,输出各特征点；设置各项特征点，各机械臂关节与目的物的水平距离、垂直距离、关节水平移动距离、关节垂直移动距离、抓取的强度等；训练后得到抓取模型。

步骤S204，进行GPS定位，进行航向控制；

无人机得到指令后，根据目标任务，进行GPS定位，控制航向到达目的位置。

步骤S205，利用摄像头捕捉目标路段图像信息；

到达目的位置后，通过机械臂上的摄像头拍摄目标路段图像信息。

步骤S206,获取待处理线路的图像及位置信息。

步骤S207，对获取的图像进行分析；

通过识别模块获取图像特征信息；识别模型分析后识别出线路是正常还是异常，如果是正常的，继续下个目标任务，如果是异常的，进入下个处理流程。

步骤S208，下达无线传输指令与处理任务指令；

如果是异常信息，下达无线传输指令与处理任务指令。

步骤S209，利用超声波测距模块测算与目标物体距离；

接收到处理任务指令后，利用超声波测距模块测算与目标物体距离。

步骤S210，向机械臂发送抓取指令；

无人机向机械臂发送抓取指令。

步骤S211，机械臂的电机驱动机械臂运动；

根据采集到的距离信息进行，依据抓取模型，机械臂的电机驱动机械臂运动。

步骤S212，机械臂轨迹跟踪；

记录下机械臂关节移动轨迹。

步骤S213，将机械臂的抓取关节微调至最佳抓取位置；

将机械臂的抓取关节微调至最佳抓取位置，抓取模型通过训练可以得到在哪个位置抓取是最佳位置。

步骤S214，抓取目标物体；

依据抓取模型的结果，实施抓取，并将抓取到的物体，如树枝等异物从线路上移除。

步骤S215，记录本次抓取结果；

抓取成功，录入抓取成功信息库；抓取失败，录入抓取失败信息库；同时拍照为证。

步骤S216，记录本次图像识别信息，并利用该信息进行识别深度学习训练。

步骤S217，记录机械臂抓取信息，并利用该抓取信息进行抓取深度学习训练。

步骤S218，反馈本次抓取任务完成情况给任务发布方；

抓取任务完成后，将线路清理完成情况反馈给任务发布者，完成本次任务。

本发明目的是提供一种基于视觉识别的辅助抓取方法及系统，本发明通过无人机辅助机械臂的方法清除，清理时间很短，且通过深度学习框架，训练后，达到使得障碍物的识别抓取更精准的有益效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改.等同替换和改进等，均应包含在本发明的保护范围之内。