一种提高矩形包装盒的码垛效率机械臂控制系统及方法与流程

1.本发明涉及机械臂控制技术领域，特别是一种提高矩形包装盒的码垛效率机械臂控制系统及方法。


背景技术：

2.随着机械臂技术的日新月异与工业机械臂的不断发展，将机械臂投入到工业生产中已经基本实现了。机械臂能够高效保运货物，是码垛中更是机械零件之一。而很多商品在被工人包装进入到包装盒后就会放置在流水线上，在流水线上还设置有机械臂，机械臂会对包装盒进行抓取，放置在容器内。最后通过机械臂进行搬运，实现快速的码垛。
3.在糖果或茶叶的生产包装过程中，大多数是采用矩形的包装盒对产品进行包装，然后逐排横向放置在流水线上，但是由于放置时流水线与运输件的高度差以及流水线上履带的抖动关系，矩形包装盒在被放置在流水线后会发生位姿的偏移，导致了机械臂无法对位姿改变的包装盒进行抓取。需要工人在流水线的末端捡起剩下的包装盒放入容器中，极大的降低了码垛的效率。


技术实现要素：

4.针对上述缺陷，本发明的目的在于提出一种提高矩形包装盒的码垛效率机械臂控制系统及方法，以提高矩形包装盒的码垛效率。
5.为达此目的，本发明采用以下技术方案：一种提高矩形包装盒的码垛效率机械臂控制系统，包括包装盒状态检测设备以及与其电联接的机械臂；
6.所述机械臂包括多个抓取机械臂以及推动机械臂，其中多个所述抓取机械臂依次设置于流水线的前端，所述推动机械臂位于流水线的后端；
7.所述包装盒状态检测设备包括包装盒获取模块、位姿识别模块、指令分析模块以及指令发出模块；
8.所述包装盒获取模块用于获取流水线上同一排矩形包装盒的图像信息；
9.所述位姿识别模块用于根据所述图像信息分析得到在流水线上同一排中各个矩形包装盒的位姿信息，其中位姿信息包括矩形包装盒的位姿以及位姿距离差值；
10.所述指令分析模块用于根据所述矩形包装盒的位姿和位姿距离差值分析得到抓取机械臂以及推动机械臂的组合控制指令；
11.所述指令发出模块用于向所述机械臂发出所述组合控制指令；
12.所述机械臂接收并解析所述组合控制指令，得到第一抓取指令以及推动指令，根据所述第一抓取指令对抓取机械臂进行控制，抓取所有满足位姿条件的矩形包装盒，根据所述推动指令对推动机械臂进行控制，将剩余的矩形包装盒推出流水线。
13.优选的，所述包装盒获取模块包括第一图片获取子模块和第二图片获取子模块；
14.所述第一图片获取子模块用于拍摄矩形包装盒进入到流水线后的图像信息，并发送给所述位姿识别模块；
15.所述第二图片获取子模块用于拍摄抓取机械臂抓取矩形包装盒后的图像信息，并发送给所述位姿识别模块。
16.优选的，所述位姿识别模块包括目标框体获取子模块、匹配子模块以及标记子模块；
17.所述目标框体获取子模块用于使用one-stage算法对图像信息进行识别框体提取，将流水线上的矩形包装盒以框体的方式展现；
18.所述匹配子模块用于对框体内的矩形包装盒进行姿态匹配识别，获取在同一排中，所有矩形包装盒的姿态；
19.所述标记子模块用于从流水线宽度方向的一侧向另一侧顺序判断矩形包装盒的框体是否落入到抓取位姿档位中，若矩形包装盒的框体的抓取位姿档位则对该框体进行符号标记，所述符号标记为数字、英文字母、希腊字母的一种或多种的组合。
20.优选的，所述匹配子模块包括模板制作子单元、识别特征提取子单元、存储子单元、姿态得分计算子单元以及判断子单元；
21.所述模板制作子单元用于制作360个模板图，其中每一个模板图对应一个不同的整数角度；
22.所述识别特征提取子单元包括梯度量化模块以及提起模块；
23.所述梯度量化模块用于对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，所述提起模块根据量化后的模板图分别获取360个模板图所对应的识别特征；
24.所述识别特征提取子单元用于以当前角度为表列获取所述识别特征，并进行保存；
25.所述存储子单元用于存储不同角度表列中的所有识别特征；
26.所述姿态得分计算子单元用于调用所述存储子单元中的每一个角度的识别特征，计算框体与每一个角度识别特征的相似度得分，并判断最高相似度得分是否满足得分阈值，若满足得分阈值则将最高相似度得分所对应的角度作为该框体的姿态角度，若不满足，向管理人员发送错误指令；
27.所述判断子单元用于根据所述第一图片获取子模块的图像信息获取得到所有矩形包装盒的初始位姿；根据所述第二图片获取子模块的图像信息获取得到所有矩形包装盒的被搬运后位姿；
28.将被搬运后矩形包装盒的位姿与矩形包装盒的初始位姿，或被搬运后矩形包装盒的位姿与下一次矩形包装盒被搬运后位姿进行比较，判断剩余的矩形包装盒的位姿是否发生改变，若存在位姿变化，则对矩形包装盒的框体进行重新符号标记。
29.优选的，指令分析模块包括机械臂指令分析子模块以及信息更新子模块；
30.所述机械臂指令分析子模块用于获取框体的符号标记，判断当前一排矩形包装盒中是否存在有满足抓取机械臂抓取姿态的矩形包装盒，若存在有满足抓取机械臂抓取姿态的矩形包装盒，则按该矩形包装盒的符号标记的顺序生成所述抓取机械臂对矩形包装盒的抓取顺序，生成第一抓取控制指令；
31.若不存在，则获取同一排矩形包装盒的框体位置，根据框体位置得到横向的位姿距离差值，判断所述横向的位姿距离差值是否超出距离阈值；
32.若超出距离阈值，则获取所述抓取机械臂对框体位置距离最远的两个矩形包装盒抓取的位置，生成第二抓取控制指令，并发送给所述抓取机械臂对位置距离最远的两个矩形包装盒进行抓取，抓取后再次获取并判断位姿距离差值，直到位姿距离差值没有超出距离阈值；
33.若没有超出距离阈值，则生成所述推动机械臂启动的推动指令；
34.将所述第一抓取控制指令、第二抓取控制指令与推动指令组合，形成所述组合控制指令；
35.所述信息更新子模块用于在所述抓取机械臂抓取矩形包装盒后，使用所述第二图片获取子模块的图像信息对矩形包装盒的位姿以及位姿距离差值进行更新，并将更新后的结果发送给所述机械臂指令分析子模块。
36.优选的，所述机械臂还包括指令接收模块与指令解析模块；
37.所述指令接收模块用于接收所述组合控制指令并发送给所述指令解析模块；
38.所述指令解析模块用于判断所述组合控制指令中是否存在有所述第一抓取控制指令，若存在则解析第一抓取控制指令得到所述抓取机械臂对矩形包装盒的抓取顺序以及抓取对象位置，控制所述抓取机械臂对抓取对象进行抓取；
39.若无第一抓取指令与第二抓取指令若存在则解析第二抓取控制指令得到所述抓取机械臂抓取位姿距离差值最大的两个矩形包装盒的位置，控制所述抓取机械臂对其进行抓取；
40.若无第一抓取指令与第二抓取指令，则触发推动指令调用所述推动机械臂推动，将同一排的矩形包装盒推出流水线。
41.一种提高矩形包装盒的码垛效率机械臂控制方法，应用于上述一种提高矩形包装盒的码垛效率机械臂控制系统，所述系统包括包装盒状态检测设备以及与其电联接的机械臂；
42.所述机械臂包括多个抓取机械臂以及推动机械臂，其中多个所述抓取机械臂依次设置于流水线的前端，所述推动机械臂位于流水线的后端；
43.所述控制方法包括以下步骤：
44.步骤s1：通过所述包装盒状态检测设备获取流水线上同一排矩形包装盒的图像信息，所述图像信息包括拍摄矩形包装盒进入到流水线后的图像信息以及拍摄抓取机械臂抓取矩形包装盒后的图像信息；
45.步骤s2：根据所述图像信息分析得到在流水线上同一排中各个矩形包装盒的位姿信息，其中位姿信息包括矩形包装盒的位姿以及位姿距离差值；
46.步骤s3：根据所述矩形包装盒的位姿和位姿距离差值分析得到抓取机械臂以及推动机械臂的组合控制指令；
47.步骤s4：机械臂接收并解析所述组合控制指令，得到第一抓取指令以及推动指令，根据所述第一抓取指令对抓取机械臂进行控制，抓取所有满足位姿条件的矩形包装盒，根据所述推动指令对推动机械臂进行控制，将剩余的矩形包装盒推出流水线。
48.优选的，所述步骤s1还包括如下步骤：
49.根据矩形包装盒首次进入到流水线的图像信息获取得到所有矩形包装盒的初始位姿；根据矩形包装盒被所述抓取机械臂抓取后的图像信息获取得到所有矩形包装盒的被
搬运后位姿；
50.将被搬运后位的位姿与初始位姿或被搬运后位姿进行比较，或被搬运后位姿与下一次被搬运后位姿进行比较，判断剩余的矩形包装盒的位姿是否发生改变，若改变，则再次执行步骤s3，更新所述组合控制指令。
51.优选的，所述步骤s2的具体步骤如下：
52.步骤s21：使用one-stage算法对图像信息进行识别框体提取，将流水线上的矩形包装盒以框体的方式展现；
53.步骤s22：对框体内的矩形包装盒进行姿态匹配识别，获取在同一排中，所有矩形包装盒的姿态；
54.步骤s23：从流水线宽度方向的一侧向另一侧顺序判断矩形包装盒的框体是否落入到抓取位姿档位中，若矩形包装盒的框体的抓取位姿档位则对该框体进行符号标记，所述符号标记为数字、英文字母、希腊字母的一种或多种的组合；
55.在执行步骤s22前还需要执行如下步骤：
56.步骤a1：制作360个模板图，其中每一个模板图对应一个不同的整数角度；
57.步骤a2：对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征，以当前角度为表列获取所述识别特征，并进行保存；
58.所述步骤s22的具体步骤如下：调用中的每一个角度的识别特征，计算框体与每一个角度识别特征的相似度得分，并判断最高相似度得分是否满足得分阈值，若满足得分阈值则将最高相似度得分所对应的角度作为该框体的姿态角度，若不满足，向管理人员发送错误指令，其中相似度得分计算公式如下：
59.其中，l为框体，t表示模板图，c是模板图中识别特征的位置，p代表的是以c为中心的领域，o为框体中识别特征的位置，r为框体识别特征与模板图识别特征对比后的偏移位置，sori()表示梯度幅值。
60.优选的，所述步骤s3的具体步骤如下：
61.步骤s31：获取框体的符号标记，判断当前一排矩形包装盒中是否存在有满足抓取机械臂抓取姿态的矩形包装盒，若存在有满足抓取机械臂抓取姿态的矩形包装盒，则按该矩形包装盒的符号标记的顺序生成所述抓取机械臂对矩形包装盒的抓取顺序，生成第一抓取控制指令；
62.若不存在，则获取同一排矩形包装盒的框体位置，根据框体位置得到横向的位姿距离差值，判断所述横向的位姿距离差值是否超出距离阈值；
63.若超出距离阈值，则获取所述抓取机械臂对框体位置距离最远的两个矩形包装盒抓取的位置，生成第二抓取控制指令，并发送给所述抓取机械臂对位置距离最远的两个矩形包装盒进行抓取，抓取后再次获取并判断位姿距离差值，直到位姿距离差值没有超出距离阈值；
64.若没有超出距离阈值，则生成所述推动机械臂启动的推动指令；
65.将所述第一抓取控制指令、第二抓取控制指令与推动指令组合，形成所述组合控制指令；
66.步骤s32：当所述抓取机械臂抓取后的剩余矩形包装盒位姿发生改变，则重新执行所述步骤s31。
67.所述步骤s4的具体步骤如下：
68.步骤s41：判断所述组合控制指令中是否存在有所述第一抓取控制指令，若存在则解析第一抓取控制指令得到所述抓取机械臂对矩形包装盒的抓取顺序以及抓取对象位置，控制所述抓取机械臂对抓取对象进行抓取；
69.步骤s42：判断所述组合控制指令中是否存在有所述第二抓取控制指令，若存在则解析第二抓取控制指令得到所述抓取机械臂抓取位姿距离差值最大的两个矩形包装盒的位置，控制所述抓取机械臂对其进行抓取；
70.步骤s43：判断所述组合控制指令中是否存在有所述第二抓取控制指令，若无，则触发推动指令调用所述推动机械臂推动，将同一排的矩形包装盒推出流水线。
71.上述技术方案中的一个技术方案具有如下优点或有益效果：本技术能够识别出矩形包装盒的位姿，并根据矩形包装盒的位姿组合抓取机械臂与推动机械臂对矩形包装盒进行封装码垛，避免了人工对其进行修正，大大提高了码垛的效率。
附图说明
72.图1是本发明系统的一个实施例的结构示意图。
73.图2是本发明的一个实施例中矩形包装盒被推动机械臂推动的过程示意图。
74.图3是本发明的一个实施例的中矩形包装盒符号标记过程的俯视视角图。
75.图4是本发明的一个实施例的中获取位姿距离差值过程的俯视视角图。
76.图5是本发明控制方法一个实施例的流程图。
具体实施方式
77.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
78.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
79.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
80.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
81.如图1～4所示，一种提高矩形包装盒的码垛效率机械臂控制系统，包括包装盒状态检测设备以及与其电联接的机械臂；
82.所述机械臂包括多个抓取机械臂以及推动机械臂，其中多个所述抓取机械臂依次设置于流水线的前端，所述推动机械臂位于流水线的后端；
83.所述包装盒状态检测设备包括包装盒获取模块、位姿识别模块、指令分析模块以及指令发出模块；
84.所述包装盒获取模块用于获取流水线上同一排矩形包装盒的图像信息；
85.所述位姿识别模块用于根据所述图像信息分析得到在流水线上同一排中各个矩形包装盒的位姿信息，其中位姿信息包括矩形包装盒的位姿以及位姿距离差值；
86.所述指令分析模块用于根据所述矩形包装盒的位姿和位姿距离差值分析得到抓取机械臂以及推动机械臂的组合控制指令；
87.所述指令发出模块用于向所述机械臂发出所述组合控制指令；
88.所述机械臂接收并解析所述组合控制指令，得到第一抓取指令以及推动指令，根据所述第一抓取指令对抓取机械臂进行控制，抓取所有满足位姿条件的矩形包装盒，根据所述推动指令对推动机械臂进行控制，将剩余的矩形包装盒推出流水线。
89.由于放置时，流水线与运输件的高度差以及流水线上履带的抖动关系，矩形包装盒在被放置在流水线后会发生位姿的偏移，导致了机械臂无法对位姿改变的包装盒进行抓取。需要工人在流水线的末端捡起剩下的包装盒放入容器中，极大的降低了码垛的效率。为解决上述问题，在本技术中设置有包装盒状态检测设备，所述包装盒状态检测设备包括包装盒获取模块、位姿识别模块、指令分析模块以及指令发出模块。所述包装盒获取模块设置有多个拍摄的零部件，能够对流水线进行拍摄。在矩形包装盒成排进入到流水线的一刻，所述包装盒获取模块会对进入流水线的这一排矩形包装盒进行拍摄，拍摄得到图像信息。而在本技术中所述位姿识别模块会对同一排中的矩形包装盒进行姿态的识别，指令分析模块通过矩形包装盒的姿态判断当前一排的矩形包装盒中是否存在有需要抓取的矩形包装盒，而由于在本技术的所述位姿识别模块中能够识别出矩形包装盒的姿态，所述抓取机械臂可以根据所述矩形包装盒的姿态，作出自适应的旋转，使得所述抓取机械臂上的抓手能够抓起矩形包装盒。而抓取机械臂在抓取矩形包装盒后可以将其放入容器中，进行下一步的包装。当同一排矩形包装盒中需要被抓取的矩形包装盒都被装完全抓取后。剩下矩形包装盒的位姿偏移不大，所以可以使用所述推动机械臂从流水线的一侧将剩下的矩形包装盒推出。剩下的矩形包装盒在被推动时，要求能够并排于一起，更加方便后续容器的安装放置。在此过程中机械臂能够对位姿偏移的矩形包装盒进行有效的抓取，无需人工干预，大大提高码垛的效率。另外由于本技术中是使用推动机械臂将包装盒推出流水线，若包装盒的形态为非矩形，有可能在推动时包装盒发生翻转，降低码垛的效率。
90.另外值得一提的是，在本发明中所提及的抓取机械臂以及推动机械臂均为现有技术，其结构也为现有技术结构，可以通过外购的方式进行获取，因其结构不在本发明的保护范围内，故在本发明中不做过多的解释。
91.优选的，所述包装盒获取模块包括第一图片获取子模块和第二图片获取子模块；
92.所述第一图片获取子模块用于拍摄矩形包装盒进入到流水线后的图像信息，并发送给所述位姿识别模块；
93.所述第二图片获取子模块用于拍摄抓取机械臂抓取矩形包装盒后的图像信息，并发送给所述位姿识别模块。
94.所述第一图片获取子模块获取这一排矩形包装盒首次进入到流水线后的图像信息，然后传输给所述位姿识别模块对进入流水线后的矩形包装盒进行位姿识别。再根据所述矩形包装盒的位姿，分析出是否需要对矩形包装盒进行抓取。而所述第二图片获取子模块用于拍摄抓取机械臂抓取矩形包装盒后的图像信息。是因为抓取机械臂只能抓取一个矩形包装盒，而且由于机械臂具有一定的体积，机械臂只能沿流水线的方向设置多个，所以矩形包装盒只能逐个被抓取。而在抓取时，抓取机械臂的抓手有可能会触碰到需要被抓取矩形包装盒隔壁的矩形包装盒，导致隔壁的矩形包装盒位姿发生变化，因此需要设置所述第二图片获取子模块，在每一次抓取机械臂抓取动作执行后，再次对获取矩形包装盒后的图像信息，然后再输入到位姿识别模块和指令分析模块，对组合控制指令进行更新。提高了系统的容错率，避免了人工对其进行修正，大大提高了码垛的效率。
95.优选的，所述位姿识别模块包括目标框体获取子模块、匹配子模块以及标记子模块；
96.所述目标框体获取子模块用于使用one-stage算法对图像信息进行识别框体提取，将流水线上的矩形包装盒以框体的方式展现；
97.所述匹配子模块用于对框体内的矩形包装盒进行姿态匹配识别，获取在同一排中，所有矩形包装盒的姿态；
98.所述标记子模块用于从流水线宽度方向的一侧向另一侧顺序判断矩形包装盒的框体是否落入到抓取位姿档位中，若矩形包装盒的框体的抓取位姿档位则对该框体进行符号标记，所述符号标记为数字、英文字母、希腊字母的一种或多种的组合。
99.若直接使所述匹配子模块对图像信息进行匹配识别的话，有可能被流水线上的履带干扰，因为在某些履带上会存在有凸起，以方便物件的摆放。这些凸起会增加所述匹配子模块的识别数量，影响处理速度。为此在本技术中采用了现有的one-stage算法对图像信息进行提取，其中所述one-stage算法是通过该条流水线的虚拟模型进行训练得出one-stage算法的训练结果，能够识别流水线上物体，通过one-stage算法获取流水线上物体的框体。在此处可以对框体的大小或者形状进行限定。在一个实施例中履带上的凸起是沿履带的宽度方向延伸设置的，只需要长度接近履带宽度大小的框体进行去除，即可减少匹配子模块的识别数量。所述匹配子模块中设置有训练好的匹配子模块，使用匹配模板可实现位姿的快速匹配，提高识别的效率。在匹配得到矩形包装盒的姿态后，所述标记子模块会对矩形包装盒的位姿进行位姿档位判断，其中位姿档位的获取是根据模拟环境中对不同姿态的矩形包装盒的侧方中心点进行推动，若在推动的过程中，矩形包装盒的姿态变化趋向竖直方向，则该姿态下的姿态档位不落入到抓取范围内，反之。
100.下面以一个实施过程作为解释：
101.以竖直方向为0度，如图2所示，从右向左看，当存在有偏移角度为15
°
的矩形包装盒，在其侧面的中心被推动时，由于流水线履带的摩擦力影响，该矩形包装盒会逐渐向竖直方向偏移变化。而当在有偏移角度为45
°
的矩形包装盒，在其侧面的中心被推动时，其会有可能会向0
°
方向偏移、90
°
方向偏移或者保持不变。只有90％情况下是姿态变化趋向竖直方向的角度才不落入抓取范围内。在本技术的虚拟环境中测试得出，只有偏移角度为[-19
°
～
19
°
]的姿态是不落入到抓取位姿档位的。
[0102]
当识别出矩形包装盒位于抓取位姿档位后，会对框体进行符号标记，例如一个从左到右的顺序存在有偏移角度为45
°
、15
°
、27
°
、-12
°
的矩形包装盒，其中偏移角度为45
°
、27
°
的矩形包装盒是满足位姿条件的，45
°
、27
°
的矩形包装盒落入到抓取位姿档位的，被识别出来后，偏移角度为45
°
的矩形包装盒对应的框体会被标记为a1、而偏移角度为27
°
的矩形包装盒对应的框体会被标记为a2，而偏移角度为15
°
、-12
°
的矩形包装盒对应的框体不会被符号标记。符号标记后的框体更加容易被后续指令分析模块所识别，提高数据的处理速度,随后根据符号标记的大小进行顺序生成所述第一抓取指令，如a1为第一个所述第一抓取指令，a2为第二个所述第一抓取指令。
[0103]
优选的，所述匹配子模块包括模板制作子单元、识别特征提取子单元、存储子单元、姿态得分计算子单元以及判断子单元；
[0104]
所述模板制作子单元用于制作360个模板图，其中每一个模板图对应一个不同的整数角度；
[0105]
所述识别特征提取子单元包括梯度量化模块以及提起模块；
[0106]
所述梯度量化模块用于对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，所述提起模块根据量化后的模板图分别获取360个模板图所对应的识别特征；
[0107]
所述识别特征提取子单元用于以当前角度为表列获取所述识别特征，并进行保存；
[0108]
所述存储子单元用于存储不同角度表列中的所有识别特征；
[0109]
所述姿态得分计算子单元用于调用所述存储子单元中的每一个角度的识别特征，计算框体与每一个角度识别特征的相似度得分，并判断最高相似度得分是否满足得分阈值，若满足得分阈值则将最高相似度得分所对应的角度作为该框体的姿态角度，若不满足，向管理人员发送错误指令；
[0110]
所述判断子单元用于根据所述第一图片获取子模块的图像信息获取得到所有矩形包装盒的初始位姿；根据所述第二图片获取子模块的图像信息获取得到所有矩形包装盒的被搬运后位姿；
[0111]
将被搬运后矩形包装盒的位姿与矩形包装盒的初始位姿，或被搬运后矩形包装盒的位姿与下一次矩形包装盒被搬运后位姿进行比较，判断剩余的矩形包装盒的位姿是否发生改变，若存在位姿变化，则对矩形包装盒的框体进行重新符号标记。
[0112]
在所述模板制作子单元中制作了360个模板图，360个所述模板图分别对应-180
°
～180
°
中每一个角度，增加了匹配模板图的数量，使得所述模板图能够覆盖每一个矩形包装盒的摆放角度，避免因存在部分角度导致矩形包装盒无法别识别出来。
[0113]
所述梯度量化模块能够对模板图进行梯度量化，更好得获取模板图中的识别特征。在一个是实施例中，所述第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化的过程如下：
[0114]
通过sobel计算梯度图像的梯度，若模板图为三通道图像，则由x和y方向的梯度求平方和的非最大抑制算法提取出单通道梯度幅值最大的图像矩阵；
[0115]
由x和y方向的梯度图像矩阵得到角度图像矩阵；
[0116]
角度图像矩阵范围从0-360度量化成1-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，在像素领域取多于5个相同方向，并对该方向进行赋值，并对索引进行00000001～10000000的移位编码；
[0117]
其中所述梯度幅值最大值图像矩阵计算公式如下：
[0118][0119][0120]
x代表位置，为x位置梯度值，{r,g,b}为r通道、g通道、b通道、ori()为梯度方向。
[0121]
在进行完梯度量化后，所述模板图中的识别特征在像素点数值上与其他像素点有明显的区别，为此，本技术中提起模块对于识别特征的过程如下：梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外像素点的梯度幅值设置为零；
[0122]
判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；
[0123]
获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征合集中并保存至配置文件；若否，则判断识别特征在距离阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离阈值内的识别特征进行剔除，若不存在，则将该识别特征保存至所述存储子单元。
[0124]
在存储子单元内的识别特征会以角度作为每一组存储识别特征的分组。姿态得分计算子单元识别模块识别的过程中，会调用所述存储子单元内的识别特征，以每一组的识别特征与所述第一图片获取子模块的图像信息上的框体进行识别匹配。在本技术中会通过相似度的计算方式来计算第一图片中是否存在有矩形包装盒，
[0125]
其中在本技术的相似度得分计算公式如下：
[0126]
其中，l为框体，t表示模板图，c是模板图中识别特征的位置，p代表的是以c为中心的领域，o为框体中识别特征的位置，r为框体识别特征与模板图识别特征对比后的偏移位置，sori()表示梯度幅值；
[0127]
分别对360个模板图中的识别特征进行相似度计算后，得到360个相似度得分，找出360个相似度得分最大的数值，并判断该数值是否大于得分阈值，若大于得分阈值，则说明该输入框体中的内容为矩形包装盒，且相似度得分最大的数值对应的角度就是该矩形包装盒的姿态所对应的偏移角度。反之则说明，所述框体内的内容为非矩形包装盒，有异物进入到流水线中。需要通知管理人员进行人工干预。
[0128]
当矩形包装盒首次进入到流水线后，所述判断子单元首先会获取第一图片获取子
模块的图像信息在所述姿态得分计算子单元中的位姿状况，当有矩形包装盒被抓取机械臂抓取后，所述判断子单元会将所述第二图片获取子模块的图像信息输入到所述姿态得分计算子单元进行矩形包装盒的位姿状况，然后进行比较，判断剩余的矩形包装盒中是否发生位姿的变化。下面以一个实施例作为解释，例如所述位姿状况计算第一图片获取子模块输入的图像信息后，得到4个矩形包装盒的位姿转态，从左到右矩形包装盒分别为偏移角度为45
°
、15
°
、27
°
、-12
°
，此时所述标记子模块将偏移角度为45
°
与27
°
的矩形包装盒的框体标记为a1和a2，当抓取机械臂对a1矩形包装盒进行抓取后对剩余的角度进行保存记录，即记录下15
°
、27
°
、-12
°
。所述判断子单元会将所述第二图片获取子模块的图像信息输入到所述姿态得分计算子单元中获取矩形包装盒的位姿状态，例如根据第二图片获取子模块的图像信息分析得从左到右的顺序还是偏移角度为15
°
、27
°
、-12
°
，则说明位姿没有变化，不对矩形包装盒进行重新的符号标记，若第二图片获取子模块的图像信息分析得从左到右到还是偏移角度为26
°
、27
°
、-12
°
，此时由于偏移角度发生变化，则需要对剩余的矩形包装盒的框体进行重新的符号标记，而此时的符号标记为a3、a2、-12
°
，-12
°
的矩形包装盒对应的框条也可以不进行重新的符号标记。
[0129]
优选的，指令分析模块包括机械臂指令分析子模块以及信息更新子模块；
[0130]
所述机械臂指令分析子模块用于获取框体的符号标记，判断当前一排矩形包装盒中是否存在有满足抓取机械臂抓取姿态的矩形包装盒，若存在有满足抓取机械臂抓取姿态的矩形包装盒，则按该矩形包装盒的符号标记的顺序生成所述抓取机械臂对矩形包装盒的抓取顺序，生成第一抓取控制指令；
[0131]
若不存在，则获取同一排矩形包装盒的框体位置，根据框体位置得到横向的位姿距离差值，判断所述横向的位姿距离差值是否超出距离阈值；
[0132]
若超出距离阈值，则获取所述抓取机械臂对框体位置距离最远的两个矩形包装盒抓取的位置，生成第二抓取控制指令，并发送给所述抓取机械臂对位置距离最远的两个矩形包装盒进行抓取，抓取后再次获取并判断位姿距离差值，直到位姿距离差值没有超出距离阈值；
[0133]
若没有超出距离阈值，则生成所述推动机械臂启动的推动指令；
[0134]
将所述第一抓取控制指令、第二抓取控制指令与推动指令组合，形成所述组合控制指令；
[0135]
所述信息更新子模块用于在所述抓取机械臂抓取矩形包装盒后，使用所述第二图片获取子模块的图像信息对矩形包装盒的位姿以及位姿距离差值进行更新，并将更新后的结果发送给所述机械臂指令分析子模块。
[0136]
在所述标记子模块中已经对落入到抓取位姿档位矩形包装盒的框体进行符号标记。所述机械臂指令分析子模块先获取框体的符号标记，判断这一排的矩形包装盒是否存在有需要抓取机械臂抓取的矩形包装盒，若存在有符号标记，则按照符号标记的顺序，对应生成第一抓取控制指令安排抓取机械臂对其进行抓取。而框体的具体位置可以通过现有的定位传感器进行空间定位，其中定位传感器为现有的以成熟的技术设备，定位传感器可以安装在流水线的正上方，实时获取矩形包装盒在流水线上的位置。在抓取机械臂对有符号标记的全部框体所对应的矩形包装盒抓取后。机械臂指令分析子模块会获取剩下的所述框体的横向的位姿距离差值，然后判断出所述位姿距离差值是否超出距离阈值，因为所述推
动机械臂从一侧推动边缘矩形包装盒侧面的中心点，当存在有横向的位姿距离超出距离阈值的矩形包装盒时，超出距离阈值的矩形包装盒可能在被推动时发生横向方向的翻转，导致有部分矩形包装盒不能被推出流水线或者推出流水线的矩形包装盒没有同一的方向，不方便后续将矩形包装盒放进容器中进行码垛。为此需要生成第二抓取控制指令对框体位置距离最远的两个矩形包装盒进行抓取，直到位姿距离差值没有超出距离阈值。在生成完第一抓取指令与第二抓取指令后，若水流线上还存在有矩形包装盒，则机械臂指令分析子模块生成所述推动指令，控制推动机械臂将剩余的矩形包装盒推出流水线。无需再使用抓取机械臂对矩形包装盒进行逐一抓取，大大提高了同一姿态矩形包装盒的分拣效率。其中信息更新子模块在获取第二图片获取子模块的图像信息后会将第二图片获取子模块的图像信息发送给所述机械臂指令分析子模块，所述机械臂指令分析子模块根据第二图片获取子模块的图像信息再次的逻辑判断，是否需要更新生成第一抓取控制指令或第二抓取控制指令，对于更新生成后的第一抓取控制指令或第二抓取控制指令需要重新进行组合成为组合控制指令，并再次发送给所述指令接收模块。
[0137]
以上述偏移角度为45
°
、15
°
、27
°
、-12
°
的矩形包装盒为例子，如图3中所示，所述偏移角度为45、27
°
的矩形包装盒对应的框体被标记为a1和a2，此时所述机械臂指令分析子模块会对a1和a2按照数字大小的顺序生成所述第一抓取指令，顺序对a1和a2进行抓取，当然在抓取a1后会获取所述第二图片，将第二图片输入到所述信息更新子模块，对剩余是15
°
、27
°
、-12
°
的矩形包装盒进行再次位姿识别，若存在位姿变化，则重新对框体进行符号标记，若没有位姿变化，则继续执行原有的符号标记生成的第一抓取指令操作，继续对a2的框体进行抓取，同样的，在抓取后也会使用第二图片进行位姿更新。抓取完a1与a2框体对应的矩形包装盒后。获取位姿距离差值，如图4所示，h为位姿距离差值，此时若h超出距离阈值，则生成所述第二抓取指令，对15
°
、-12
°
的矩形包装盒进行抓取，由于抓取后流水线上不在存在矩形包装盒，所以所述机械臂指令分析子模块不在生成推动指令。若此时若h没有超出距离阈值，则不生成所述第二抓取指令，转而生成推动指令，控制所述推动机械臂将剩余的矩形包装盒推出流水线。
[0138]
优选的，所述机械臂还包括指令接收模块与指令解析模块；
[0139]
所述指令接收模块用于接收所述组合控制指令并发送给所述指令解析模块；
[0140]
所述指令解析模块用于判断所述组合控制指令中是否存在有所述第一抓取控制指令，若存在则解析第一抓取控制指令得到所述抓取机械臂对矩形包装盒的抓取顺序以及抓取对象位置，控制所述抓取机械臂对抓取对象进行抓取；
[0141]
若无第一抓取指令与第二抓取指令若存在则解析第二抓取控制指令得到所述抓取机械臂抓取位姿距离差值最大的两个矩形包装盒的位置，控制所述抓取机械臂对其进行抓取；
[0142]
若无第一抓取指令与第二抓取指令，则触发推动指令调用所述推动机械臂推动，将同一排的矩形包装盒推出流水线。
[0143]
值得一提的是，运用本发明系统的流水线上履带的运送速度不宜过快，否则在所述推动机械臂推动矩形包装盒时，离推动机械臂的矩形包装盒发生位移，使该矩形包装盒的位置超出距离阈值。
[0144]
一种提高矩形包装盒的码垛效率机械臂控制方法，应用于上述一种提高矩形包装
盒的码垛效率机械臂控制系统，所述系统包括包装盒状态检测设备以及与其电联接的机械臂；
[0145]
所述机械臂包括多个抓取机械臂以及推动机械臂，其中多个所述抓取机械臂依次设置于流水线的前端，所述推动机械臂位于流水线的后端；
[0146]
所述控制方法包括以下步骤：
[0147]
步骤s1：通过所述包装盒状态检测设备获取流水线上同一排矩形包装盒的图像信息，所述图像信息包括拍摄矩形包装盒进入到流水线后的图像信息以及拍摄抓取机械臂抓取矩形包装盒后的图像信息；
[0148]
步骤s2：根据所述图像信息分析得到在流水线上同一排中各个矩形包装盒的位姿信息，其中位姿信息包括矩形包装盒的位姿以及位姿距离差值；
[0149]
步骤s3：根据所述矩形包装盒的位姿和位姿距离差值分析得到抓取机械臂以及推动机械臂的组合控制指令；
[0150]
步骤s4：机械臂接收并解析所述组合控制指令，得到第一抓取指令以及推动指令，根据所述第一抓取指令对抓取机械臂进行控制，抓取所有满足位姿条件的矩形包装盒，根据所述推动指令对推动机械臂进行控制，将剩余的矩形包装盒推出流水线。
[0151]
优选的，所述步骤s1还包括如下步骤：
[0152]
根据矩形包装盒首次进入到流水线的图像信息获取得到所有矩形包装盒的初始位姿；根据矩形包装盒被所述抓取机械臂抓取后的图像信息获取得到所有矩形包装盒的被搬运后位姿；
[0153]
将被搬运后位的位姿与初始位姿或被搬运后位姿进行比较，或被搬运后位姿与下一次被搬运后位姿进行比较，判断剩余的矩形包装盒的位姿是否发生改变，若改变，则再次执行步骤s3，更新所述组合控制指令。
[0154]
优选的，所述步骤s2的具体步骤如下：
[0155]
步骤s21：使用one-stage算法对图像信息进行识别框体提取，将流水线上的矩形包装盒以框体的方式展现；
[0156]
步骤s22：对框体内的矩形包装盒进行姿态匹配识别，获取在同一排中，所有矩形包装盒的姿态；
[0157]
步骤s23：从流水线宽度方向的一侧向另一侧顺序判断矩形包装盒的框体是否落入到抓取位姿档位中，若矩形包装盒的框体的抓取位姿档位则对该框体进行符号标记，所述符号标记为数字、英文字母、希腊字母的一种或多种的组合；
[0158]
在执行步骤s22前还需要执行如下步骤：
[0159]
步骤a1：制作360个模板图，其中每一个模板图对应一个不同的整数角度；
[0160]
步骤a2：对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征，以当前角度为表列获取所述识别特征，并进行保存；
[0161]
所述步骤s22的具体步骤如下：调用中的每一个角度的识别特征，计算框体与每一个角度识别特征的相似度得分，并判断最高相似度得分是否满足得分阈值，若满足得分阈值则将最高相似度得分所对应的角度作为该框体的姿态角度，若不满足，向管理人员发送错误指令，其中相似度得分计算公式如下：
[0162]
其中，l为框体，t表示模板图，c是模板图中识别特征的位置，p代表的是以c为中心的领域，o为框体中识别特征的位置，r为框体识别特征与模板图识别特征对比后的偏移位置。
[0163]
优选的，所述步骤s3的具体步骤如下：
[0164]
步骤s31：获取框体的符号标记，判断当前一排矩形包装盒中是否存在有满足抓取机械臂抓取姿态的矩形包装盒，若存在有满足抓取机械臂抓取姿态的矩形包装盒，则按该矩形包装盒的符号标记的顺序生成所述抓取机械臂对矩形包装盒的抓取顺序，生成第一抓取控制指令；
[0165]
若不存在，则获取同一排矩形包装盒的框体位置，根据框体位置得到横向的位姿距离差值，判断所述横向的位姿距离差值是否超出距离阈值；
[0166]
若超出距离阈值，则获取所述抓取机械臂对框体位置距离最远的两个矩形包装盒抓取的位置，生成第二抓取控制指令，并发送给所述抓取机械臂对位置距离最远的两个矩形包装盒进行抓取，抓取后再次获取并判断位姿距离差值，直到位姿距离差值没有超出距离阈值；
[0167]
若没有超出距离阈值，则生成所述推动机械臂启动的推动指令；
[0168]
将所述第一抓取控制指令、第二抓取控制指令与推动指令组合，形成所述组合控制指令；
[0169]
步骤s32：当所述抓取机械臂抓取后的剩余矩形包装盒位姿发生改变，则重新执行所述步骤s31。
[0170]
所述步骤s4的具体步骤如下：
[0171]
步骤s41：判断所述组合控制指令中是否存在有所述第一抓取控制指令，若存在则解析第一抓取控制指令得到所述抓取机械臂对矩形包装盒的抓取顺序以及抓取对象位置，控制所述抓取机械臂对抓取对象进行抓取；
[0172]
步骤s42：判断所述组合控制指令中是否存在有所述第二抓取控制指令，若存在则解析第二抓取控制指令得到所述抓取机械臂抓取位姿距离差值最大的两个矩形包装盒的位置，控制所述抓取机械臂对其进行抓取；
[0173]
步骤s43：判断所述组合控制指令中是否存在有所述第二抓取控制指令，若无，则触发推动指令调用所述推动机械臂推动，将同一排的矩形包装盒推出流水线。
[0174]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0175]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。