基于并联视觉伺服的自动挂装系统控制方法和控制装置

1.本发明涉及装备自动挂装技术领域，尤其涉及基于并联视觉伺服的自动挂装系统控制方法和控制装置。


背景技术：

2.视觉伺服是指通过光学的装置和非接触的传感器自动地接受和处理一个真实物体的图像，通过图像反馈的信息，来让机器系统对机器做进一步控制或相应的自适应调整的行为。
3.目前，常通过视觉伺服和与激光标记融合的方式来实现装备(挂装件)的自动挂装。但是，这种方式存在以下弊端：(1)对接的上下挂钩发生遮挡时，上下挂钩识别定位效果不稳定，需要人工辅助操作；(2)一些挂装任务中，不允许安装激光标志，使用受到限制。
4.因此，亟需提供一种可在狭窄空间操作的成熟可靠的快速挂装技术，从而保障自动挂装的顺利实现。


技术实现要素：

5.本发明的目的是提供一种基于并联视觉伺服的自动挂装系统控制方法和控制装置，以解决不允许使用激光标记时装备无法实现智能化挂装的问题，以及对接的上下挂钩发生遮挡时需要人工辅助操作的问题，进而提高挂装精度和效率，降低人工劳动强度。
6.第一个方面，本发明实施例提供一种基于并联视觉伺服的自动挂装系统控制方法，包括：
7.获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；
8.基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；
9.根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；
10.其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。
11.根据本发明提供的基于并联视觉伺服的自动挂装系统控制方法，所述挂钩对由上挂钩和下挂钩组成；
12.所述基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿，包括：
13.根据所述图像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况；
14.利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心；
15.基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿。
16.根据本发明提供的基于并联视觉伺服的自动挂装系统控制方法，所述根据所述图
像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况，包括：
17.基于二维图像分割技术和三维点云分割技术，对所述图像信息进行边缘提取，得到所述各挂钩对的平面轮廓图像和三维点云图；
18.对所述各挂钩对的平面轮廓图像和三维点云图进行识别；
19.对于每一个挂钩对，若识别出所述挂钩对中上挂钩与下挂钩无遮挡，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况；
20.若识别出所述挂钩对中上挂钩与下挂钩有遮挡且被遮挡挂钩的被遮挡面积和总面积之间的比例未超过预设比例，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况；
21.否则，所述挂钩对中上挂钩与下挂钩的遮挡情况为第三类遮挡情况。
22.根据本发明提供的基于并联视觉伺服的自动挂装系统控制方法，所述利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心，包括：
23.若所述挂钩对中上挂钩与下挂钩的遮挡情况不为第三类遮挡情况，则利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心；
24.否则，利用所述挂钩对的平面轮廓图像以及所述挂钩对的平面轮廓图像中像素点之间的距离，确定所述挂钩对的上挂钩圆心和下挂钩圆心；
25.其中，所述挂钩对的平面轮廓图像中像素点之间的距离，是基于所述挂钩对经历第一类遮挡情况或第二类遮挡情况时的平面轮廓图像及其对应的上挂钩圆心和下挂钩圆心的实际位置确定的。
26.根据本发明提供的基于并联视觉伺服的自动挂装系统控制方法，所述利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心，包括：
27.对所述挂钩对的三维点云图中上/下挂钩点云进行下采样，并对下采样后的上/下挂钩点云进行法线估计；
28.根据所述下采样后的上/下挂钩点云中各点的法线，采用聚类方式对所述下采样后的上/下挂钩点云进行点云分割，得到分割的最大点云块；
29.当所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况时：
30.利用所述最大点云块确定上/下挂钩的外表面的内边界；
31.利用所述内边界进行平面圆的拟合，并将所述平面圆的圆心作为上/下挂钩圆心；
32.当所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况时：
33.对所述最大点云块中各点法线作平均处理，得到平均法线；
34.基于所述平均法线和所述挂钩对的平面轮廓图像，采用霍夫圆检测算法确定平面霍夫圆；
35.计算所述平面霍夫圆的三维投影；
36.根据所述平面霍夫圆的三维投影，确定所述平面霍夫圆的圆心对应的空间圆心；
37.将所述空间圆心作为上/下挂钩圆心。
38.根据本发明提供的基于并联视觉伺服的自动挂装系统控制方法，所述基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿，包括：
39.将全部挂钩对中上挂钩圆心共处的平面作为上平面，建立以全部挂钩对中上挂钩
圆心中心为原点的上平面坐标系；
40.对于每一个挂钩对，按照标准坐标系建立规则，建立与所述挂钩对中上挂钩对应的上挂钩坐标系；
41.基于所述挂钩对中上挂钩圆心在相机坐标系下的坐标，确定所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，并基于所述挂钩对中上挂钩圆心在所述上平面坐标系中的坐标，确定所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵；
42.基于所述挂钩对中下挂钩圆心在相机坐标系下的坐标，以及所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标；
43.基于所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标，以及所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上平面坐标系中的坐标；
44.利用全部挂钩对中下挂钩圆心在所述上平面坐标系中的坐标拟合下平面，并确定所述下平面相对于所述上平面的旋转矩阵；
45.其中，所述下平面相对于所述上平面的旋转矩阵，用来表征所述上平台与所述下平台的相对位姿。
46.根据本发明提供的基于并联视觉伺服的自动挂装系统控制方法，所述标准坐标系建立规则为：
47.原点位于所述挂钩对中上挂钩圆心，x轴方向、y轴方向与z轴方向与所述上平面的x轴方向、y轴方向与z轴方向一致。
48.第二个方面，本发明实施例提供一种基于并联视觉伺服的自动挂装系统控制装置，所述装置包括：
49.上下平台相对位姿确定模块，用于获取各目标位置的图像信息，并基于所述各目标位置的图像信息确定自动挂装系统中上平台与下平台的相对位姿；
50.运动控制量确定模块，用于基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；
51.运动控制模块，用于根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩的对接；
52.其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。
53.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于并联视觉伺服的自动挂装系统控制方法。
54.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述基于并联视觉伺服的自动挂装系统控制方法。
55.本发明提供的一种基于并联视觉伺服的自动挂装系统控制方法和控制装置，获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；利用多目并联伺服结构以及纯视觉算法对各挂钩对中的上挂钩和下挂钩的定位跟踪，在一定程度上补偿挂装件变形导致对准困难的问题，且无需布置各类标记，特殊挂装要
求下相对安全方便；基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。通过对接各挂钩对实现了无标记的挂装件的自动挂装，提高了挂装精度和效率，降低人工劳动强度。
附图说明
56.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1是本发明提供的基于并联视觉伺服的自动挂装系统控制方法的流程示意图；
58.图2是本发明提供的上下位姿拟合示意图；
59.图3是本发明提供的基于并联视觉伺服的自动挂装系统控制装置的结构示意图；
60.图4是本发明提供的基于并联视觉伺服的自动挂装系统控制装置的实体图；
61.图5是本发明提供的人机交互界面示例图；
62.图6是本发明提供的实现基于并联视觉伺服的自动挂装系统控制方法的电子设备的结构示意图。
具体实施方式
63.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
64.自动挂装系统中设定有多个由上挂钩和下挂钩组成的挂钩对，每一个挂钩对中上挂钩固定在上平台，下挂钩固定在承载装备的下平台。在整个挂装过程中，控制上平台始终处于静止状态，并控制位姿调整机构的各关节运动来推动下平台运动，以实现各挂钩对中上挂钩和下挂钩的对接，进而实现装备的挂装。
65.下面结合图1-图6描述本发明。
66.第一方面，如图1所示，本发明提供的基于并联视觉伺服的自动挂装系统控制方法，包括：
67.s11、获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；
68.本发明采用并联视觉伺服的方式实现装备的自动挂装，即分别监视各挂钩对，确定自动挂装系统中上平台与下平台的相对位姿；利用上下平台的相对位姿实现位姿调整机构的各关节运动控制，以此实现自动挂装系统中挂钩的对接。
69.s12、基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；
70.可以理解，预存的运动学模型为位姿调整机构的解耦运动学模型，其在自动挂装
系统在布置完成后由相关人员建立。
71.本发明在已知位姿调整机构的解耦运动学模型和所述上平台与所述下平台的相对位姿的情况下，采用现有算法计算位姿调整机构中各关节的运动控制量，在此不作赘述。
72.s13、根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；
73.其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。
74.本发明提供的一种基于并联视觉伺服的自动挂装系统控制方法和控制装置，获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；利用多目并联伺服结构以及纯视觉算法对各挂钩对中的上挂钩和下挂钩的定位跟踪，在一定程度上补偿挂装件变形导致对准困难的问题，且无需布置各类标记，特殊挂装要求下相对安全方便；基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定位姿调整机构中各关节的运动控制量；根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。通过对接各挂钩对实现了无标记的挂装件的自动挂装，提高了挂装精度和效率，降低人工劳动强度。
75.在上述各实施例的基础上，作为一种可选的实施例，所述挂钩对由上挂钩和下挂钩组成；
76.所述基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿，包括：
77.根据所述图像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况；
78.可以理解的是，在挂装件举升阶段，上下挂钩影像从无遮挡状态向完全遮挡状态过渡，上下挂钩的遮挡情况会对上下挂钩位置的精准定位产生影响，进而影响上下挂钩对接效果。
79.因此，本发明在确定上下平台相对位姿时，将各挂钩对中上下挂钩的遮挡情况作为关键要素。
80.利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心；
81.可以理解的是，各挂钩对中上下挂钩对接等同于各挂钩对中上下挂钩对接孔的对准，因此，将上挂钩对接孔的圆心作为上挂钩圆心，指代上挂钩位置，将下挂钩对接孔的圆心作为下挂钩圆心，指代下挂钩位置；上挂钩和下挂钩圆心之间的相对位置即为上下挂钩相对位姿。
82.为保证对接过程的精确性与稳定性，本发明依据上下挂钩的遮挡情况，针对性的给出上下挂钩圆心相对位置的计算方式，为上下平台的相对位姿的确定奠定基础。
83.基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿。
84.将各挂钩对的上下挂钩相对位姿融合成上下平台的相对位姿，为位姿调整机构的各关节的运动控制提供数据依据，保障了挂装件的自动挂装的顺利执行。
85.本发明在挂装过程中依据上下挂钩的遮挡情况，针对性的确定上下挂钩相对位姿计算方式，进而提高上下平台的相对位姿的计算准确度，解决了挂装末期因上下挂钩遮挡的原因而导致的上下挂钩对接孔无法自动对准，必须由人工辅助对准的问题。
86.在上述各实施例的基础上，作为一种可选的实施例，所述根据所述图像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况，包括：
87.基于二维图像分割技术和三维点云分割技术，对所述图像信息进行边缘提取，得到所述各挂钩对的平面轮廓图像和三维点云图；
88.本发明可以采用基于mask-rcnn plus的深度学习实例分割结合传统区域生长算法目标分割方案，实现上下挂钩的二维图像像素级分割及相应的三维点云分割。
89.可以理解的是，二维图像分割技术和三维点云分割技术均是视觉检测技术中的一种，本发明以纯视觉的方法进行上下挂钩的定位跟踪，无需布置各类标记，特殊挂装要求下相对安全方便。
90.对所述各挂钩对的平面轮廓图像和三维点云图进行识别；
91.经过边缘提取处理得到的平面轮廓图像和三维点云图中挂钩对中上下挂钩的位置关系清晰，可以直截了当的确定挂钩对中上下挂钩的遮挡情况。
92.对于每一个挂钩对，若识别出所述挂钩对中上挂钩与下挂钩无遮挡，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况；
93.若识别出所述挂钩对中上挂钩与下挂钩有遮挡且被遮挡挂钩的被遮挡面积和总面积之间的比例未超过预设比例，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况；
94.否则，所述挂钩对中上挂钩与下挂钩的遮挡情况为第三类遮挡情况。
95.挂装件举升阶段可以分为三个小阶段，假设预设比例为50％，挂装末期下挂钩被遮挡；那么第一阶段上下挂钩未重合，即上挂钩与下挂钩无遮挡；第二阶段下挂钩开始进入上挂钩凹槽，即下挂钩被上挂钩遮挡且下挂钩被遮挡面积不超过下挂钩总面积的一半；第三阶段下挂钩被上挂钩遮挡且下挂钩被遮挡面积超过下挂钩总面积的一半；第一阶段与第二阶段，上下挂钩所处的平面呈现相交关系，第三阶段上下挂钩所处的平面呈现平行关系。
96.本发明通过视觉检测进行各挂钩对中上下挂钩分割，并以分割结果识别上下挂钩遮挡情况，识别准确度高。
97.在上述各实施例的基础上，作为一种可选的实施例，所述利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心，包括：
98.若所述挂钩对中上挂钩与下挂钩的遮挡情况不为第三类遮挡情况，则利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心；
99.对于不符合第三类遮挡情况的挂钩对，需要通过点云处理计算上下挂钩相对位姿。
100.否则，利用所述挂钩对的平面轮廓图像以及所述挂钩对的平面轮廓图像中像素点之间的距离，确定所述挂钩对的上挂钩圆心和下挂钩圆心；
101.其中，所述挂钩对的平面轮廓图像中像素点之间的距离，是基于所述挂钩对经历第一类遮挡情况或第二类遮挡情况时的平面轮廓图像及其对应的上挂钩圆心和下挂钩圆心的实际位置确定的。
102.符合第三类遮挡情况，代表上下挂钩所处的平面呈现平行关系，这种情况下不需要计算姿态，只需要计算上下平台之间的左右和上下移动关系，此时基于二维的平面轮廓图像以及平面轮廓图像中像素点的距离可以确定出上下挂钩相对位姿。
103.需要理解的是，挂钩对在经历第三种遮挡情况的时候，必然已经经历过第一种遮挡情况和第二种遮挡情况，在这样的情况下，利用处于第一种遮挡情况或第二种遮挡情况时的挂钩对的平面轮廓图像和通过点云处理得到的挂钩对中上下挂钩圆心实际位置，就能推理出挂钩对的平面轮廓图像的尺度信息(即像素点之间的距离)。
104.本发明通过点云处理与二维图像处理结合的方式，识别各挂钩对的上下挂钩相对位姿，为上下平台的相对位姿计算奠定基础。
105.在上述各实施例的基础上，作为一种可选的实施例，所述利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心，包括：
106.对所述挂钩对的三维点云图中上/下挂钩点云进行下采样，并对下采样后的上/下挂钩点云进行法线估计；
107.对三维点云图中上/下挂钩点云进行下采样的目的是在保持拓扑特征的基础上降低三维点云图中上/下挂钩点云的规模；法线估计采用常规算法，这里不再赘述。
108.根据所述下采样后的上/下挂钩点云中各点的法线，采用聚类方式对所述下采样后的上/下挂钩点云进行点云分割，得到分割的最大点云块；
109.点云分割后可以得到若干较为平滑的点云块，这里选用最大的一个点云块。
110.当所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况时：
111.利用所述最大点云块确定上/下挂钩的外表面的内边界；
112.此时，先通过平面拟合得到上/下挂钩外表面；然后对投影点进行向量构建，计算相邻向量之间的夹角；最后根据夹角的大小来确定边缘点，完成边缘提取，得到上/下挂钩外表面的内边界。
113.利用所述内边界进行平面圆的拟合，并将所述平面圆的圆心作为上/下挂钩圆心；
114.可以根据内边界，根据ransac算法拟合平面圆，确定圆心。
115.当所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况时：
116.对所述最大点云块中各点法线作平均处理，得到平均法线；
117.基于所述平均法线和所述挂钩对的平面轮廓图像，采用霍夫圆检测算法确定平面霍夫圆；
118.计算所述平面霍夫圆的三维投影；
119.根据所述平面霍夫圆的三维投影，确定所述平面霍夫圆的圆心对应的空间圆心；
120.将所述空间圆心作为上/下挂钩圆心。
121.本发明针对不同的上下挂钩的遮挡情况，采用不同的上下挂钩相对位姿确定方式，以此提高各挂钩对的上下挂钩相对位姿的识别精度，保证对接过程的精确性与稳定性。
122.在上述各实施例的基础上，作为一种可选的实施例，所述基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿，包括：
123.将全部挂钩对中上挂钩圆心共处的平面作为上平面，建立以全部挂钩对中上挂钩圆心中心为原点的上平面坐标系；
124.对于每一个挂钩对，按照标准坐标系建立规则，建立与所述挂钩对中上挂钩对应的上挂钩坐标系；
125.基于所述挂钩对中上挂钩圆心在相机坐标系下的坐标，确定所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，并基于所述挂钩对中上挂钩圆心在所述上平面坐标
系中的坐标，确定所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵；
126.基于所述挂钩对中下挂钩圆心在相机坐标系下的坐标，以及所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标；
127.基于所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标，以及所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上平面坐标系中的坐标；
128.利用全部挂钩对中下挂钩圆心在所述上平面坐标系中的坐标拟合下平面，并确定所述下平面相对于所述上平面的旋转矩阵；
129.其中，所述下平面相对于所述上平面的旋转矩阵，用来表征所述上平台与所述下平台的相对位姿。
130.本发明通过坐标系的建立以及坐标的转换，确定下平面相对于所述上平面的旋转矩阵，以此来表示上下平台相对位姿，为位姿调整机构的各关节运动控制奠定基础。图2示例了一种上下位姿拟合示意图，其对应的自动挂装系统有四个挂钩对，以第一个挂钩对为例，上挂钩用up1表示，下挂钩用down1，相机坐标系用c1表示，上平面坐标系用up表示；
131.因此，上挂钩圆心在相机坐标系的坐标可以表示为：
[0132][0133]
下挂钩圆心在相机坐标系的坐标可以表示为：
[0134][0135]
上挂钩对应的上挂钩坐标系在相机坐标系中的表示如下式：
[0136][0137]
其中，和分别表示上挂钩坐标系各坐标轴单位长度在相机坐标系x、y和z轴上的投影矢量；
[0138]
因此，下挂钩圆心在上挂钩坐标系中的表示可以如下式：
[0139][0140]
假设上平面为矩形，且长短边分别为a和b，那么上挂钩坐标系在上平面坐标系中
的表示为：
[0141][0142]
通过下式计算下挂钩圆心在上平面坐标系中的坐标：
[0143][0144]
至此，求得了四个下挂钩中心点在上平面坐标系中的坐标，通过四组坐标值拟合下平面，并计算下平面相对上平面的旋转矩阵
[0145]
因为下平台(运动平台)的运动量是相对于与地面平行的基准坐标系的，在上平台与地面平行的假设下，可以通过计算运动控制量。
[0146]
在上述各实施例的基础上，作为一种可选的实施例，所述标准坐标系建立规则为：
[0147]
原点位于所述挂钩对中上挂钩圆心，x轴方向、y轴方向与z轴方向与所述上平面的x轴方向、y轴方向与z轴方向一致。
[0148]
本实施例仅给出一种可行的标准坐标系建立规则，实际应用时，可以根据工况自由设定可达到相同目的的标准坐标系建立规则。
[0149]
第二方面，对本发明提供的基于并联视觉伺服的自动挂装系统控制装置进行描述，下文描述的基于并联视觉伺服的自动挂装系统控制装置与上文描述的基于并联视觉伺服的自动挂装系统控制方法可相互对应参照。图3示例了一种基于并联视觉伺服的自动挂装系统控制装置的结构示意图，如图3所示，该装置包括：上下平台相对位姿确定模块21、运动控制量确定模块22和运动控制模块23；
[0150]
其中，上下平台相对位姿确定模块21，用于获取各目标位置的图像信息，并基于所述各目标位置的图像信息确定自动挂装系统中上平台与下平台的相对位姿；
[0151]
运动控制量确定模块22，用于基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；
[0152]
运动控制模块23，用于根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩的对接；
[0153]
其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。
[0154]
在上述各实施例的基础上，作为一种可选的实施例，所述挂钩对由上挂钩和下挂钩组成；所述上下平台相对位姿确定模块21，包括：
[0155]
视觉检测单元，用于根据所述图像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况；
[0156]
上下挂钩圆心位置确定单元，用于利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心；
[0157]
上下平台相对位姿确定单元，用于基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿。
[0158]
在上述各实施例的基础上，作为一种可选的实施例，所述视觉检测单元，包括：所
述视觉检测单元，包括：
[0159]
图像分割子模块，用于基于二维图像分割技术和三维点云分割技术，对所述图像信息进行边缘提取，得到所述各挂钩对的平面轮廓图像和三维点云图；
[0160]
识别子模块，用于对所述各挂钩对的平面轮廓图像和三维点云图进行识别；
[0161]
上下挂钩遮挡情况确定子模块，用于对于每一个挂钩对，若识别出所述挂钩对中上挂钩与下挂钩无遮挡，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况；
[0162]
若识别出所述挂钩对中上挂钩与下挂钩有遮挡且被遮挡挂钩的被遮挡面积和总面积之间的比例未超过预设比例，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况；
[0163]
否则，所述挂钩对中上挂钩与下挂钩的遮挡情况为第三类遮挡情况。
[0164]
在上述各实施例的基础上，作为一种可选的实施例，上下挂钩圆心位置确定单元，包括：
[0165]
判断子模块，用于判定所述挂钩对中上挂钩与下挂钩的遮挡情况是否为第三类遮挡情况；
[0166]
执行子模块，用于若是，则分析所述挂钩对的平面轮廓图像，确定所述挂钩对的上挂钩圆心和下挂钩圆心；
[0167]
若否，则利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心。
[0168]
在上述各实施例的基础上，作为一种可选的实施例，所述执行子模块，具体包括：
[0169]
法线估计子单元，用于对所述挂钩对的三维点云图中上/下挂钩点云进行下采样，并对下采样后的上/下挂钩点云进行法线估计；
[0170]
点云分割子单元，用于根据所述下采样后的上/下挂钩点云中各点的法线，采用聚类方式对所述下采样后的上/下挂钩点云进行点云分割，得到分割的最大点云块；
[0171]
内边界确定子单元，用于当所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况时，利用所述最大点云块确定上/下挂钩的外表面的内边界；
[0172]
拟合子单元，用于利用所述内边界进行平面圆的拟合，并将所述平面圆的圆心作为上/下挂钩圆心；
[0173]
平均法线确定子单元，用于当所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况时，对所述最大点云块中各点法线作平均处理，得到平均法线；
[0174]
霍夫圆检测子单元，用于基于所述平均法线和所述挂钩对的平面轮廓图像，采用霍夫圆检测算法确定平面霍夫圆；
[0175]
计算子单元，用于计算所述平面霍夫圆的三维投影；
[0176]
空间圆心确定子单元，用于根据所述平面霍夫圆的三维投影，确定所述平面霍夫圆的圆心对应的空间圆心；
[0177]
设定子单元，用于将所述空间圆心作为上/下挂钩圆心。
[0178]
在上述各实施例的基础上，作为一种可选的实施例，上下平台相对位姿确定单元，包括：
[0179]
上平面坐标系建立子模块，用于将全部挂钩对中上挂钩圆心共处的平面作为上平面，建立以全部挂钩对中上挂钩圆心中心为原点的上平面坐标系；
[0180]
上挂钩坐标系建立子模块，用于对于每一个挂钩对，按照标准坐标系建立规则，建立与所述挂钩对中上挂钩对应的上挂钩坐标系；
[0181]
坐标系之间的转换关系矩阵确定子模块，基于所述挂钩对中上挂钩圆心在相机坐标系下的坐标，确定所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，并基于所述挂钩对中上挂钩圆心在所述上平面坐标系中的坐标，确定所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵；
[0182]
第一坐标变换子模块，用于基于所述挂钩对中下挂钩圆心在相机坐标系下的坐标，以及所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标；
[0183]
第二坐标变换子模块，用于基于所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标，以及所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上平面坐标系中的坐标；
[0184]
旋转矩阵确定子模块，用于利用全部挂钩对中下挂钩圆心在所述上平面坐标系中的坐标拟合下平面，并确定所述下平面相对于所述上平面的旋转矩阵；
[0185]
其中，所述下平面相对于所述上平面的旋转矩阵，用来表征所述上平台与所述下平台的相对位姿。
[0186]
在上述各实施例的基础上，作为一种可选的实施例，所述标准坐标系建立规则为：
[0187]
原点位于所述挂钩对中上挂钩圆心，x轴方向、y轴方向与z轴方向与所述上平面的x轴方向、y轴方向与z轴方向一致。
[0188]
图4提供了一种基于并联视觉伺服的自动挂装系统控制装置的实体图，如图4所示，该实体包括：多个前置视觉处理模组，工控机、路由器、运动控制器和人机交互界面；
[0189]
其中，每个前置视觉处理模组与一个挂钩对对应，其内包括一个双目摄像头和一个图像前置处理器，该双目摄像头用于对相应挂钩对进行摄像，该图像前置处理器用于处理相应拍摄图像；
[0190]
另外，前置视觉处理模组采用基于深度学习的高性能边缘计算框架，其内双目摄像头可采用intel realsense系列深度摄像头，图像前置处理器可采用以nvidia jetson系列芯片为核心的高性能计算机。
[0191]
工控机，根据前置视觉处理模组提供的挂钩图的二维平面轮廓图和三维点云图，依次执行上下挂钩圆心位置确定单元、上下平台相对位姿确定单元和运动控制模块的相应功能，得到位姿调整机构各关节的运动控制量；
[0192]
路由器将工控机发出的位姿调整机构各关节的运动控制量中转至运动控制器；
[0193]
运动控制器基于所述运动控制量，通过内置的运动控制卡和执行机构进行位姿调整机构各关节的自动控制，即执行运动控制模块的相应功能；
[0194]
人机交互界面，位于外接计算机中，直接向运动控制器发送人机交互指令，以进行位姿调整机构各关节的人工控制，或者控制状态切换。
[0195]
需要说明的是，自动挂装系统控制装置的实体，在工况允许的情况下也可以两个双目摄像头共用一个图像前置处理器。
[0196]
图5是示例了一种人机交互界面，界面中有举升、前进、左移、友谊、自动对准的操作指令；
[0197]
可以理解，本发明也可以将人机交互的功能内设于运动控制器中，具体如何设置以实际工况为准。
[0198]
第三方面，图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于并联视觉伺服的自动挂装系统控制方法，该方法包括：获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。
[0199]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0200]
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于并联视觉伺服的自动挂装系统控制方法，获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。
[0201]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0202]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0203]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。