一种机械臂视觉伺服控制方法、装置及电子设备与流程

1.本技术涉及图像识别的领域，尤其是涉及一种机械臂视觉伺服控制方法、装置及电子设备。


背景技术：

2.遥操作过程中，机器人通过无线网络接入通信系统，通信过程中的数据、指令传输存在着突发的通信延迟与不确定性，这对遥操作过程中的作业稳定性会造成不良影响。
3.此外，当需要使用机械手臂操作电柜设备的操作面板上的多个开关按钮时，由于开关按钮相对于机械臂来说体积较小和手动操作时的不稳定性与熟练度影响，仅依靠人工目测手动操作的方式来控制机械臂到达指定位置效率较低，定位结果的准确性也无法保证。


技术实现要素：

4.为了提高遥操作作业时的稳定性，本技术提供一种机械臂视觉伺服控制方法、装置及电子设备。
5.第一方面，本技术提供一种机械臂视觉伺服控制方法，采用如下的技术方案：一种机械臂视觉伺服控制方法，包括：获取待识别目标的目标图像，并确定所述目标图像的中心点；基于预设的颜色识别模型，识别所述目标图像中的目标轮廓；确定所述目标轮廓与所述中心点的相对位置；根据预设的空间坐标系确定机械臂末端和待识别目标的空间相对位置；根据预设的控制规则、所述相对位置和所述空间相对位置预测机械臂末端的实时位置；根据机械臂末端的实时位置和d-h 逆运动学输出控制指令。
6.通过采用上述技术方案，在通过机械臂操作电柜设备时，首先控制机械臂末端移动到预设位置，此时获取待识别目标的目标图像，并确定所述目标图像的中心点，获取到目标图像后通过预设的颜色识别模型识别目标图像中的目标轮廓，确定目标轮廓后，确定目标轮廓与目标图像中心点的相对位置，之后根据预设的空间坐标系，确定出机械臂末端和待识别目标的空间相对位置，之后根据相对位置确定机械臂末端的移动方向，再根据预设的控制规则控制机械臂末端每次移动预设距离，再根据移动的距离和方向实时预测机械臂末端移动后的实际位置，根据机械臂末端的实时位置和d-h 逆运动学输出控制指令，控制机械臂其他关节动作带动机械臂末端到达指定位置，采用上述方案，确定机械臂的移动方向后，结合预设的控制规则预测机械臂末端移动后的实际位置，再解析机械壁其他关节的移动方式，实现控制机械臂的动作直至末端到达待识别目标位置，采用上述方式，实现对机械臂各关节的精确控制，提高遥操作作业时的稳定性。
7.可选的，所述获取待识别区域的目标图像，并确定所述目标图像的中心点，具体包
括：获取设置在机械臂末端的摄像头在预设位置拍摄并上传的图像，所述图像即为目标图像；确定目标图像对角线的交点，所述交点为目标图像的中心点。
8.可选的，所述基于预设的颜色识别模型，识别所述目标图像中的目标轮廓方法，具体包括：获取设定指令，分别设定色调、饱和度和亮度的阈值区间；通过预设的hsv 模型，过滤所述目标图像的背景区域，确定目标轮廓，所述背景区域为目标图像中除待识别目标外其余所有区域。
9.可选的，所述确定所述目标轮廓与所述中心点的相对位置，包括：以目标图像中心点为原点，垂直于目标图像的宽度方向为x轴，垂直于目标图像长度方向为y轴，建立直角坐标系；确定所述目标轮廓的中心点坐标和所述目标图像的中心点的坐标；根据所述目标轮廓的中心点坐标和所述目标图像的中心点的坐标，确定所述目标轮廓与所述中心点的相对位置。
10.可选的，所述根据预设的空间坐标系确定机械臂末端和待识别目标的空间相对位置，包括：获取选定指令，并根据所述选定指令确定预设的空间坐标系；分别确定所述机械臂末端和待识别目标在所述预设的空间坐标系中的三维坐标；根据机械臂末端和待识别目标的三维坐标确定机械臂末端和待识别目标的空间相对位置。
11.可选的，所述预设的控制规则为：每次伺服调整的空间移动幅度为1cm。
12.第二方面，本技术提供一种机械臂视觉伺服控制装置，采用如下的技术方案：一种机械臂视觉伺服控制装置，包括：获取模块，用于获取待识别目标的目标图像，并确定所述目标图像的中心点；识别模块，用于基于预设的颜色识别模型，识别所述目标图像中的目标轮廓；第一位置确定模块，用于确定所述目标轮廓与所述中心点的相对位置；第二位置确定模块，用于根据预设的空间坐标系确定机械臂末端和待识别目标的空间相对位置；第三位置确定模块，用于根据预设的控制规则、所述相对位置和所述空间相对位置预测机械臂末端的实时位置；控制模块，用于根据机械臂末端的实时位置和d-h 逆运动学输出控制指令。
13.第三方面，本技术提供一种电子设备，采用如下的技术方案：一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行基于用户画像的账号安全监测方法的计算机程序。
14.第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行基于用户画像的账号安全监测方法的计算机程序。
15.综上所述，本技术包括以下有益技术效果：通过识别目标图像中，目标轮廓与目标图像中心点的相对位置确定机械臂的移动方向，之后再结合预设的控制规则预测机械臂末端移动后的实际位置，再解析机械壁其他关节的移动方式，实现控制机械臂的动作直至末端到达待识别目标位置，采用上述方式，实现对机械臂各关节的精确控制，提高遥操作作业时的稳定性。
附图说明
16.图1是本技术提供的机械臂视觉伺服控制方法的流程图。
17.图2是本技术提供的机械臂视觉伺服控制装置的结构框图。
18.图3是电子设备的结构示意图。
19.附图标记说明：200、机械臂视觉伺服控制装置；201、获取模块； 202、识别模块；203、第一位置确定模块；204、第二位置确定模块；205、第三位置确定模块；206、控制模块；301、cpu；302、rom；303、ram；304、i/o接口；305、输入部分；306、输出部分；307、存储部分；308、通信部分；309、驱动器；310、可拆卸介质。
具体实施方式
20.以下结合附图1-3对本技术作进一步详细说明。
21.机器臂是具有多个关节的空间机构，为描述机械臂末端关节或是执行器在空间的位置和姿态，在每个连杆末端的转动关节上建立空间坐标系，利用坐标系之间的关系来描述机械臂末端的位置。一般采用 d-h法建立坐标系并推导机械臂的运动方程，d-h 法一种建立相对位姿的矩阵方法，利用齐次变换描述各个连杆相对于固定参考坐标系的空间几何关系，用一个4
×
4 的齐次变换矩阵描述相邻两连杆的空间关系，从而推导出机械臂末端坐标系相对于基坐标系的等价齐次坐标变换矩阵，建立操作臂的运动方程。
22.本技术实施例公开一种机械臂视觉伺服控制方法，为了便于该方法的执行，在机械臂末端设置有摄像头，摄像头的位置与机械臂机械臂末端的位置一致，参照图1，机械臂视觉伺服控制方法包括：s101：获取机械臂末端的预设位置。
23.具体的，在通过机械臂操作电柜设备的操作面板上的多个开关按钮时，首先控制机械臂末端移动到预设位置，预设位置为要操作的按钮附近位置，预设位置的获取可通过获取操作机械臂时工作人员输入的位置信息得到。
24.s102：获取待识别目标的目标图像，并确定目标图像的中心点。
25.具体的，控制机械臂末端移动到预设位置后，此时设置在机械臂末端的摄像头的摄像端与待识别目标所在的平面垂直，此时输出拍摄指令，摄像头启动，获取待识别目标的目标图像，摄像头拍摄的目标图像整体为矩形状，因此分别确定目标图像的两条对角线，对角线的交点即为目标图像的中心点。
26.s103：基于预设的颜色识别模型，识别目标图像中的目标轮廓。
27.具体的，由于摄像头存在一定的广角而待识别目标又较小，因此拍摄的目标图像中不仅仅包括待识别目标还有其他背景，需要对图像中的待识别目标的目标轮廓进行识别，本实施例中，待识别目标为操作面板上的多个开关按钮，通常开关按钮的颜色都较鲜亮
与电柜的金属外壳区分度显著，因此采用预设的颜色识别模型识别目标图像中的目标轮廓。
28.进一步的，本实施例中，预设的颜色识别模型为hsv 模型，hsv模型是一种颜色空间，也称六角锥体模，hsv 模型中颜色的参数分别是：色调、饱和度和亮度。其中，色调，用角度度量，取值范围为 0
°
～360
°
，从红色开始按逆时针方向计算，红色为 0
°
，绿色为 120
°
，蓝色为 240
°
；它们的补色是，黄色为 60
°
，青色为 180
°
，品红为 300
°
；饱和度：取值范围为0～255，值越大，颜色越饱和；亮度：取值范围为 0（黑色）～255（白色）。因此在读取目标图像的色彩信息后，可通过设置合理的阈值区间来区分不同颜色区域。
29.进行目标轮廓确定时，首先，获取针对待识别目标的设定指令，设定指令包含设定hsv 模型中色调、饱和度和亮度对应的阈值区间，例如：以配电柜绿色按钮作为例，针对操作面板绿色开关进行颜色识别并定位，在 hsv 模型中，绿色的 hsv 阈值范围分别是色调，78
°‑
99
°
，饱和度（43-255），v（46-255），阈值区间设定完成后，通过hsv模型对图像进行处理，即可过滤掉背景区域，背景区域为目标图像中除待识别目标外其余所有区域，过滤掉背景区域后，使得图像中只余下绿色像素部分，完成对目标轮廓的提取。
30.s104：确定目标轮廓与中心点的相对位置。
31.具体的，确定目标图像中心点之后以目标图像的中心点为原点，垂直于目标图像的宽度方向为x轴，垂直于目标图像长度方向为y轴，在目标图像中建立直角坐标系，直角坐标系建立完成后，在直角坐标系中确定目标轮廓的坐标和目标图像的中心点的坐标，根据两点的坐标即可确定目标轮廓和中心点在目标图像中的相对位置，由于此时摄像头与待识别目标所在平面垂直，且摄像头的位置与机械臂末端的位置一致，因此确定目标图像中心点与目标轮廓的相对位置后，即可等同为机械臂末端和待识别目标在垂直与机械臂末端的面内的相对位置，本实施例中，目标轮廓的坐标为目标轮廓中心点的坐标，目标轮廓为矩形或圆形。
32.s105：根据预设的空间坐标系确定机械臂末端和待识别目标的空间相对位置。
33.具体的，获取选定指令，选定指令可由工作人员手动输入，根据选定指令确定空间坐标系，本实施例中，预设的空间坐标系为在机械臂的基座关节上建立的空间坐标系，分别确定机械臂末端和待识别目标在该空间坐标系中的三维坐标，即可确定出机械臂末端和待识别目标的空间相对位置，同时根据机械臂末端和待识别目标在该空间坐标系中的三维坐标可计算出机械臂末端距离待识别目标的空间距离。
34.s106：根据预设的控制规则、相对位置和空间相对位置预测机械臂末端的实时位置。
35.具体的，确定相对位置关系后即可确定机械臂末端的移动放向，例如，当确定目标轮廓在上述直角坐标系的第三象限时，确定待识别目标在机械臂末端的左下方，此时机械臂末端需要向左移和向下，当确定目标轮廓在上述直角坐标系的第一象限时，确定待识别目标在机械臂末端的右上方，此时机械臂末端需要向右移和向上，确定机械臂末端的移动方向后，控制机械臂末端朝向待识别目标靠近，每次伺服调整使得机械臂末端距离待识别目标的空间距离缩小1cm，在上述三维空间坐标系中，当机械臂末端移动时，可以实时确定出机械臂末端在三维空间坐标中的坐标，即机械臂末端的实时位置，械臂末端在三维空间坐标中的坐标可通过三角函数计算得出，该计算方式为本领域技术人员公知的技术手段，
在此不做详细赘述。
36.s107：根据机械臂末端的实时位置和d-h 逆运动学输出控制指令。
37.具体的，根据预测出的机械臂末端的实时位置，根据d-h 逆运动原理可以计算出机械臂其他关节的运动方式，该运动方式包括移动的距离以及方向。由于采用d-h法建立坐标系并推导机械臂的运动方程，因此当确定机械臂末端的运动方向以及距离后，可根据d-h 逆运动原理可以计算出机械臂其他关节的运动方式，并输出相应的控制指令控制机械臂动作。
38.本实施例中，使用robotics toolbox 工具箱对机械臂逆运动学进行仿真求解，工具箱提供了fkine 函数与 ikine 函数，其中 fkine 函数根据机械臂关节角度 θ 向量正解计算机械臂位姿，ikine 函数则是根据机械臂位姿逆解各关节角度 θ。d-h 逆运动原理为本领域技术人员公知的技术手段，在此对于逆向求解过程不做具体赘述。
39.实施原理：机械臂的伺服调整过程中，首先将机械臂移动到预设位置调整摄像头使之与待识别目标所在平面垂直，之后机械臂移动过程中始终保持摄像机与待识别目标所在平面垂直，移动过程中拍摄目标图像并识别目标轮廓，可根据目标轮廓与目标图像的中心点的相对位置来判断机械臂末端的待移动的方向。并在每次伺服过程中缩短空间距离，逐渐靠近目标，设置每次伺服调整的空间移动幅度为1cm，在已有的摄像机空间坐标值上根据移动方向分别加上移动幅度即可得到待移动位置的机械臂末端的坐标，即为机械臂末端的实际位置，已有的摄像机的空间坐标值与上述确定的机械臂末端在预设的空间坐标系中的坐标一致。
40.通过 d-h 逆运动学即可求解计算机械臂的关节偏转角度，控制机械臂末端到达相应的位置，完成一次视觉伺服调整，重复上述过程直至目标轮廓调整至图像中心位置，且机械臂末端与待识别目标空间距离小于规定阈值。
41.本技术实施例公开了一种机械臂视觉伺服控制装置，参照图2，机械臂视觉伺服控制装置200包括：获取模块201，用于获取待识别目标的目标图像，并确定目标图像的中心点；识别模块202，用于基于预设的颜色识别模型，识别目标图像中的目标轮廓；第一位置确定模块203，用于确定目标轮廓与中心点的相对位置；第二位置确定模块204，用于根据预设的空间坐标系确定机械臂末端和待识别目标的空间相对位置；第三位置确定模块205，用于根据预设的控制规则、相对位置和空间相对位置确定机械臂末端的实时位置；控制模块206，用于根据机械臂末端的实时位置和d-h 逆运动学输出控制指令。
42.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
43.本技术实施例公开一种电子设备。参照图3，电子设备包括，包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储部分307加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram 303中，还存储有系统操作所需的各种程序和数据。cpu 301、rom 302以及ram 303通过总线彼此相连。输入/输出(i/o)接口304也连接至总线。
44.以下部件连接至i/o接口304：包括键盘、鼠标等的输入部分305；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分306；包括硬盘等的存储部分307；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分308。通信部分308经由诸如因特网的网络执行通信处理。驱动器309也根据需要连接至i/o接口304。可拆卸介质310，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器309上，以便于从其上读出的计算机程序根据需要被安装入存储部分307。
45.特别地，根据本技术的实施例，上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分308从网络上被下载和安装，和/或从可拆卸介质310被安装。在该计算机程序被中央处理单元(cpu)301执行时，执行本技术的装置中限定的上述功能。
46.需要说明的是，本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
47.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。