一种基于识别模板的机械臂控制方法与流程

1.本发明涉及机械臂控制技术领域，特别是一种基于识别模板的机械臂控制方法。


背景技术：

2.随着机械臂技术的日新月异与工业机械臂的不断发展，将机械臂投入到工业生产中已经基本实现了，但是在复杂的生产环境中使用机械臂对目标部件进行抓取还是一项难以攻克的难题。特别是在生产输送带中，在输送带上存在有众多不同的零部件，不同的机械臂需要抓取不同的零部件。
3.目前在复杂的环境的输送带中主要影响机械臂对于零部件的识别原因有两个：
4.1.零部件在输送带上的摆放角度，因为摆放的角度不同，在套用识别模板时，识别模板的识别点会对应在零部件错误的地方。
5.2.同时输送带上的零部件是随着输送带的传输带运动的，而摄像机是周期性获取输送带上的图片，对图片进行识别判断是否存在待抓取的零部件。这样导致了当零部件出现在图片的边缘时，由于零部件的像素距离出现变化，导致机械臂内存储的识别模板无法有效识别出零部件。


技术实现要素：

6.针对上述缺陷，本发明的目的在于提出一种基于识别模板的机械臂控制方法及，以消除因零部件在被拍摄角度以及零部件摆放角度对识别模板的影响，提高机械臂对待抓取零部件的识别率。
7.为达此目的，本发明采用以下技术方案：一种基于识别模板的机械臂控制方法，运用于搬运的机械臂，包括以下步骤：
8.所述输送带的带体设置有距离识别标识，所述距离识别标识随带体的传送而移动，所述输送带间距设置有多个不随带体移动的规定距离点；
9.步骤s1：对输送带入口处进行周期性拍摄，获取第一图片，判断第一图片是否存在物体，若存在，则获取物体此时在输送带上的距离识别标识；
10.步骤s2：对所述距离识别标识进行跟踪拍摄，当跟踪拍摄到所述距离识别标识出现在第一规定距离点时，获取此时的跟踪拍摄视频的当前帧图片，作为第二图片；
11.步骤s3：对所述第二图片进行识别，判断第二图片中的物体是否为待抓取目标，若是，则根据识别结果生成抓取指令，并对所述距离识别标识继续进行跟踪拍摄；
12.步骤s4：当跟踪拍摄到所述距离识别标识出现在第二规定距离点时，触发所述机械臂执行抓取指令，对所述待抓取目标进行抓取。
13.优选的，所述第一规定距离点设置有多个；
14.当在某个第一规定距离点获取的第二图片中识别出存在有所述待抓取目标，则不再后续其他第一规定距离点的获取第二图片。
15.优选的，判断第一图片中是否存在有物体的步骤如下：
16.采用one-stage算法对第一图片上输送带入口处进行识别框提取，若存在识别框，则说明所述第一图片中存在有物体；若不存在识别框，则说明所述第一图片中不存在有物体。
17.优选的，所述距离识别标识出现在第一规定距离点的判断步骤如下：
18.获取跟踪拍摄视频的某一帧，并获取距离识别标识在该帧中像素距离，根据像素距离与距离的线型关系获取得到摄像头与距离识别标识的距离，并判断摄像头与距离识别标识的之间的距离落入到距离阈值点，若是，则所述距离识别标识到达所述第一规定距离点。
19.优选的，所述机械臂对所述图片进行识别前，还包括以下步骤：
20.步骤s31：根据待抓取目标制作识别模板，对识别模板以及识别模板对应的掩码图进行边缘扩充，设置识别模板的角度以尺度范围属性，得到360个旋转角度的识别模板；对360个识别模板进行特征提起，并保存在配置文件中；
21.步骤s32：对识别模板进行训练，获取得到识别模板中的识别特征，并将识别特征写入配置文件。
22.优选的，所述步骤s32中，对识别模板进行训练的过程如下：
23.步骤s321：对识别模板进行第一层金字塔方向梯度量化，在第一层金字塔中对识别模板的识别特征进行提取；
24.步骤s322：对识别模板进行第二层金字塔方向梯度量化，在第二层金字塔中对识别模板的识别特征进行提取；
25.步骤s323：保存当前角度下识别模板在第一层金字塔与第二层金字塔所提取的识别特征；
26.步骤s324：获取下一张不同旋转角度的识别模板，重复步骤s321～s323，直到获取识别模板所有角度的识别特征。
27.优选的，所述对第二图片进行识别，判断第二图片中是否存在有待抓取目标的过程如下：
28.步骤s33：采用one-stage算法对第二图片中的物体进行识别框提取；
29.步骤s34：调用所述配置文件中的360个模板的识别特征，分别使用360个识别模板的所述识别特征与所述识别框的内容进行匹配，获取最高匹配得分；
30.步骤s35：判断所述最高匹配得分是否大于阈值，若大于阈值，则说明当前图片中存在有待抓取目标，若最高匹配得分小于阈值，则对所述最高匹配得分进行修正，再次判断修正后所述最高匹配得分是否大于阈值，若大于则说明当前图片中存在有待抓取目标，若否则说明当前图片中不存在待抓取目标。
31.优选的，所述步骤s34中获取最高匹配得分的具体步骤如下：
32.通过360个识别模板中分别与所述识别框进行匹配，其中获取匹配得分的具体公式如下：
33.其中表示识别框与第i个模板的匹配得分，i与n为自然整数，表示识别框中第n识别点，yi(n)表示第i个识别模板中的第n个识别特征；
34.得出360个识别模板相对于识别框的匹配得分，并按照所述匹配得分的大小进行顺序排列。
35.优选的，对所述最高匹配得分进行修正的具体公式如下：
[0036][0037]
其中为修正后的最高匹配得分，为最高匹配得分，λ为调整系数，调整系数λ的获取公式如下；
[0038][0039]
其中b为识别模板在机械臂正下方时宽度的像素距离，c为识别框在所述第二图片中长度的像素距离，a为识别模板在机械臂正下方时长度的像素距离，d为识别框在所述第二图片中宽度的像素距离。
[0040]
优选的，当最后一个规定距离点所拍摄的第二图片中未识别出所述待抓取目标，则重复步骤s1。
[0041]
上述技术方案中的一个技术方案具有如下优点或有益效果：1.对运输带上的运输物体进行多次识别，增加识别的次数，提高对待抓取目标的识别效果。
[0042]
2.制作360个不同旋转角度的模板图，能够有效覆盖较多在真实情况下待识别目标所处在的状态，通过增加识别的模板数量来提高识别的精准。
[0043]
3.采用调整系数对最高匹配得分进行一定程度的修正，以减少因拍摄角度而出现误判的情况发生。
附图说明
[0044]
图1是本发明的一个实施例中方法的流程图。
[0045]
图2是本发明的一个实施例中识别过程的流程图。
[0046]
图3是本发明的一个实施例中系统的结构示意图。
[0047]
其中：机械臂1、摄像头2、距离识别标识3。
具体实施方式
[0048]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0049]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0050]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0051]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0052]
如图1～3所示，一种基于识别模板的机械臂控制方法，运用于搬运的机械臂(1)，包括以下步骤：
[0053]
所述输送带的带体设置有距离识别标识(3)，所述距离识别标识(3)随带体的传送而移动，所述输送带间距设置有多个不随带体移动的规定距离点；
[0054]
步骤s1：对输送带入口处进行周期性拍摄，获取第一图片，判断第一图片是否存在物体，若存在，则获取物体此时在输送带上的距离识别标识(3)；
[0055]
步骤s2：对所述距离识别标识(3)进行跟踪拍摄，当跟踪拍摄到所述距离识别标识(3)出现在第一规定距离点时，获取此时的跟踪拍摄视频的当前帧图片，作为第二图片；
[0056]
步骤s3：对所述第二图片进行识别，判断第二图片中的物体是否为待抓取目标，若是，则根据识别结果生成抓取指令，并对所述距离识别标识(3)继续进行跟踪拍摄；
[0057]
步骤s4：当跟踪拍摄到所述距离识别标识(3)出现在第二规定距离点时，触发所述机械臂(1)执行抓取指令，对所述待抓取目标进行抓取。
[0058]
在本技术中，是通过摄像头(2)对输送带进行拍摄，当输送带启动时，所述摄像头(2)会周期性的拍摄输送带入口处，得到第一图片，若第一图片中的输送带上存在有物体，则说明输送带开始运作，有东西传入到输送带上，此时只需要识别该物体是否为待抓取的零部件，即可调用机械臂(1)对该物体进行抓取。而所述摄像头(2)拍摄的周期性可以根据输送带的运作速度来进行调节，例如，在生产流程中是每10秒钟会向输送带投放物体，则所述摄像头(2)的拍摄周期则设置为10秒。与生产的频率达到一致，避免多余拍摄，导致存储内容以及运行内存的浪费。
[0059]
而由于摄像头(2)的拍摄角度问题，导致了在识别过程中，导致误判的情况发生。如图3所示为本技术中输送带的结构俯视图。在输送带的带体沿其长度会设置有多个距离识别标识(3)，所述距离识别标识(3)为涂抹有特定颜色的区域，而每个距离识别标识(3)都采用不同的颜色作为区分，方便对所述距离识别标识(3)进行追踪识别以及距离的判断，所述距离识别标识(3)由于设置在带体上，能够随着了带体一起移动，使得距离识别标识(3)与物体能够保持相对静止的状态，从而能够有效帮助所述摄像头(2)进行追踪拍摄。
[0060]
当识别出第一图片存在有物体后，此刻获取追踪物体一侧的所述距离识别标识(3)。然后所述摄像头(2)对距离识别标识(3)跟踪拍摄，摄像头(2)实时获取与距离识别标识(3)的距离，待该距离到达规定的第一规定距离点时，提取出此时视频的当帧作为第二图片，并对所述第二图片进行识别，判断是否有待抓取目标。由于在获取第二图片时，所述摄像头(2)与物体之间的距离缩短，拍摄角度逐渐缩小，使其的识别实际过程逐渐趋向于识别的训练过程，能够有效提高所述第二图片的识别效率。当识别出有待抓取目标后实现机械臂(1)对待抓取目标的抓取。
[0061]
当识别出存在有待抓取目标后就会生产所述抓取指令，当抓取指令生产后，摄像
头(2)就会持续跟踪所述距离识别标识(3)，判断其是否到达所述第二规定距离点处，所述第二规定距离点设置在所述机械臂(1)抓取范围的边缘，当所述距离识别标识(3)到达第二规定距离点时，说明待抓取目标准备进入到所述机械臂(1)的抓取范围内，所述抓取指令此时会传递给所述机械臂(1)，而由于传递时的延迟，当传递到所述机械臂(1)时，所述待抓取目标已经进入到机械臂(1)的抓取范围内。机械臂(1)接收到所述抓取指令，被控制对待抓取目标进行抓取。实现了目标零件的自动抓取。
[0062]
优选的，所述第一规定距离点设置有多个；
[0063]
当在某个第一规定距离点获取的第二图片中识别出存在有所述待抓取目标，则不再后续其他第一规定距离点获取第二图片。
[0064]
在本发明中，所述第一规定距离点设置有多个，能够增加所述第二图片的数量以及识别的次数，每一个第一规定距离点获取的第二图片的拍摄角度都不同，能够提高识别率，避免因拍摄角度不同而影响识别结果。而所述规定距离点可以根据摄像头(2)与输送带入口处的距离长度设置。当摄像头(2)与输送带入口处的距离越长，所述第一规定距离点之间的间距就越长，同理反之。
[0065]
优选的，判断第一图片中是否存在有物体的步骤如下：
[0066]
采用one-stage算法对第一图片上输送带入口处进行识别框提取，若存在识别框，则说明所述第一图片中存在有物体；若不存在识别框，则说明所述第一图片中不存在有物体。
[0067]
在本发明中所使用的one-stage算法是在使用前已经对运输带上输送的货物进行识别训练，能够识别出运输带上是否存在有物体以及物体在运输带上的位置，当所述第二图片中识别出有所述抓取目标后，可以继续再次使用one-stage算法获取所述待抓取目标的运输带的具体位置，然后将具体位置增加到所述抓取指令内，当解析所述抓取指令后会得到所述待抓取目标在运输带上的具体位置，然后控制所述机械臂(1)根据具体位置对待抓取目标进行抓取。
[0068]
优选的，所述距离识别标识(3)出现在第一规定距离点的判断步骤如下：
[0069]
获取跟踪拍摄视频的某一帧，并获取距离识别标识(3)在该帧中像素距离，根据像素距离与距离的线型关系获取得到摄像头(2)与距离识别标识(3)的距离，并判断摄像头(2)与距离识别标识(3)的之间的距离落入到距离阈值点，若是，则所述距离识别标识(3)到达所述第一规定距离点。
[0070]
在本发明中是采用摄像头(2)与距离识别标识(3)之间的距离来判断所述距离识别标识(3)是否到达所述第一规定距离点，例如所述第一规定距离点设置有多个，其中第一个所述第一规定距离点的距离阈值点为10m，第二所述所述第一规定距离点的距离阈值点为8m。当所述距离识别标识(3)与所述摄像头(2)之间的距离为10m时，所述距离识别标识(3)落入到第一个所述第一规定距离点的距离阈值点，此时获取所述摄像头(2)拍摄视频的当前帧作为第一张第二图片，当所述距离识别标识(3)与所述摄像头(2)之间的距离为8m时，所述距离识别标识(3)落入到第二个所述第一规定距离点的距离阈值点，此时获取所述摄像头(2)拍摄视频的当前帧作为第二张所述第二图片。
[0071]
在使用本发明前需要提前获取摄像头(2)中像素距离与距离之间的线型关系。在一个实施例中，是使用一个已知尺寸的标定物，在摄像头(2)距离标定物d＝1,2,3,4,5m时
分别对标定物进行拍照，使用图片工具计算出宽x和高y在图像中的像素距离。如标定物的实际宽，高分别为0.285m,0.289m，，当摄像头(2)距离标定物d＝1m时，像素距离x＝200pixels，y＝300pixels；摄像头(2)距离标定物d＝2m时，像素距离x＝100pixels，y＝150pixels。由于像素距离与实际距离之间具有线性关系，之后可以算出d＝3m时，x＝66pix，y＝100pix；d＝4m时，x＝50pix，y＝75pix；d＝5m时，x＝40pix，y＝60pix。一米垂直距离下，1个像素代表的实际距离为：x＝0.285m
÷
200，y＝0.289m
÷
300。两米垂直距离下，1个像素代表的实际距离为：x＝0.285m
÷
100＝0.285
÷
(200/d)，y＝0.289m
÷
150＝0.289
÷
(300/d)。n米垂直距离下，1个像素代表的实际距离为：x＝0.285
÷
(200/n)，y＝0.289
÷
(300/n)。由于每一台摄像头(2)的像素距离有所差别，所述在使用前需要使用上述方法测量其像素距离。
[0072]
优选的，所述机械臂(1)对所述图片进行识别前，还包括以下步骤：
[0073]
步骤s31：根据待抓取目标制作识别模板，对识别模板以及识别模板对应的掩码图进行边缘扩充，设置识别模板的角度以尺度范围属性，得到360个旋转角度的识别模板；对360个识别模板进行特征提起，并保存在配置文件中；
[0074]
步骤s32：对识别模板进行训练，获取得到识别模板中的识别特征，并将识别特征写入配置文件。
[0075]
本发明是基于现有的二维图像识别进行改进，在现有的二维的图像识别中，是通过制作相应的识别模型对相机获取的目标图像进行识别，在识别模型中通常只有一个单一的训练模板，通过提起训练模板中的特征实现图像识别，但是在工业输送带上的零部件通常有比较相似的零部件需要机械臂(1)所抓取，这些零部件不规则的散落在输送带上，零部件在被机械臂(1)所识别时并非以一个完美的角度进行识别，当零部件旋转后，有些识别特征会与其他零部件的识别特征在位置上实现重合，导致了机械臂(1)的识别精度有所降低。而本技术所改进的方案为，在识别模型中制作360个旋转角度的识别模板，并获取360个识别模板中的识别特征。在识别是机械臂(1)获取目标图像对360个识别模板中的识别特征进行比对，判断当前的目标图像是否为待识别目标。制作360个不同旋转角度的识别模板，能够有效覆盖较多在真实情况下待识别目标所处在的转态，通过增加识别的模板数量来提高识别的精准。
[0076]
优选的，所述步骤s32中，对识别模板进行训练的过程如下：
[0077]
步骤s321：对识别模板进行第一层金字塔方向梯度量化，在第一层金字塔中对识别模板的识别特征进行提取；
[0078]
步骤s322：对识别模板进行第二层金字塔方向梯度量化，在第二层金字塔中对识别模板的识别特征进行提取；
[0079]
步骤s323：保存当前角度下识别模板在第一层金字塔与第二层金字塔所提取的识别特征；
[0080]
步骤s324：获取下一张不同旋转角度的识别模板，重复步骤s321～s323，直到获取识别模板所有角度的识别特征。
[0081]
本技术中采用双层金字塔梯度的方式来获取识别特征，在识别时，会先采用第一层金字塔中的识别特征进行识别，当从第一层金字塔中的获取得到的识别特征与目标图像中的识别特征吻合后，在使用第二层金字塔获取得到的识别特征进行进一步的识别。通过
两次识别，能够有效提高识别的精准度。
[0082]
优选的，所述对第二图片进行识别，判断第二图片中是否存在有待抓取目标的过程如下：
[0083]
步骤s33：采用one-stage算法对第二图片中的物体进行识别框提取；
[0084]
步骤s34：调用所述配置文件中的360个模板的识别特征，分别使用360个识别模板的所述识别特征与所述识别框的内容进行匹配，获取最高匹配得分；
[0085]
步骤s35：判断所述最高匹配得分是否大于阈值，若大于阈值，则说明当前图片中存在有待抓取目标，若最高匹配得分小于阈值，则对所述最高匹配得分进行修正，再次判断修正后所述最高匹配得分是否大于阈值，若大于则说明当前图片中存在有待抓取目标，若否则说明当前图片中不存在待抓取目标。
[0086]
由于在本技术中设置有360个不同角度的识别模板，而每一个模板不可能与待抓取目标的识别框内的内容进行完美的匹配，只有相近角度识别模板才能有效识别出所述待抓取目标。故在本技术的一个实施例中，采用了模板匹配得分的方式来判断360个识别模板中是否存在有与待抓取目标相匹配的识别模板。首先通过360个识别模板中分别与所述识别框进行匹配，其中获取匹配得分，然后对所有的匹配得分进行大小顺序的统计，获取得到最高匹配得分，若这个匹配得分大于设定的阈值，则说明该最高匹配得分对应的识别模板与待抓取目标相似，可以判断当前图片中存在有待抓取目标。若最高匹配得分低于阈值，此时有可能搜到摄像头(2)拍摄角度的影响，影响了该识别框的在图片中的像素距离，因此本技术还会对其进行进一步的修正，采用调整系数对最高匹配得分进行一定程度的修正，以减少因拍摄角度而出现误判的情况发生。
[0087]
优选的，所述步骤s34中获取最高匹配得分的具体步骤如下：
[0088]
通过360个识别模板中分别与所述识别框进行匹配，其中获取匹配得分的具体公式如下：
[0089]
其中表示识别框与第i个模板的匹配得分，i与n为自然整数，表示识别框中第n识别点，yi(n)表示第i个识别模板中的第n个识别特征；
[0090]
得出360个识别模板相对于识别框的匹配得分，并按照所述匹配得分的大小进行顺序排列。
[0091]
优选的，对所述最高匹配得分进行修正的具体公式如下：
[0092][0093]
其中为修正后的最高匹配得分，为最高匹配得分，λ为调整系数，调整系数λ的获取公式如下；
[0094][0095]
其中b为识别模板在机械臂(1)正下方时宽度的像素距离，c为识别框在所述第二图片中长度的像素距离，a为识别模板在机械臂(1)正下方时长度的像素距离，d为识别框在
所述第二图片中宽度的像素距离。
[0096]
优选的，当最后一个规定距离点所拍摄的第二图片中未识别出所述待抓取目标，则重复步骤s1。
[0097]
由于本发明中引入了调整系数对识别结果进行调整，提高识别的效率，所以所述待抓取目标可能会在非最后一个规定距离点被识别出来。当识别出来后，若继续该规定距离点以后的规定距离点的第二图片进行识别，则会浪费运行内存。所以当识别出有待抓取目标后，该规定距离点以后的规定距离点就无需进行匹配识别。
[0098]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0099]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。