基于双目相机的视觉识别定位及机械臂运动轨迹规划方法

本发明涉及机器人，特别涉及基于双目相机的视觉识别定位及机械臂运动轨迹规划方法。

背景技术：

1、传统的机械臂运动控制方法通常采用编程控制或传感器反馈等方法进行机械臂的定位和轨迹规划。然而，这些方法存在一些限制和问题：一方面，传统的编程控制方法需要事先编写复杂的代码来定义机械臂的运动轨迹，这对于非专业人士来说具有较高的门槛。另外，固定编程的方式无法适应复杂环境中目标位置变化的情况，因此对于灵活性要求较高的场景相对不适用。另一方面，传统的传感器反馈方法通常使用位置传感器或力传感器等设备获取机械臂的位置或力信息，并根据反馈信息进行实时调整和控制。然而，这些方法存在定位精度有限、传感器成本高昂、安装和校准复杂等问题。

2、为了克服这些问题，基于视觉系统的控制方法近年来得到了广泛关注和应用。视觉系统通过机器视觉技术和图像处理算法，能够实现对环境和目标的感知和识别，从而实现机械臂的定位和轨迹规划。与传统方法相比，基于视觉系统的控制方法具有以下优点：首先，视觉系统可以提供高精度的目标定位和姿态信息，能够检测和识别不同形状、大小和颜色的目标物体；其次，相比于传感器反馈方法，视觉系统的成本相对较低，通常只需要使用相机等标准设备；最后，基于视觉系统的控制方法具有很强的灵活性和适应性，能够适应复杂环境中目标位置变化的需求。

3、然而，基于视觉系统的机械臂定位和轨迹规划方法也面临着一些挑战。首先，图像处理和目标识别算法需要具备较高的计算能力和实时性，以满足实时应用的要求。其次，由于环境的复杂性和目标物体多样性，视觉系统需要具备较高的鲁棒性和泛化能力。此外，视觉系统还需要与机械臂控制系统进行有效的集成和通信，以实现准确的机械臂运动控制。

技术实现思路

1、本发明意在提供基于双目相机的视觉识别定位及机械臂运动轨迹规划方法，解决了现有视觉系统控制方法不够灵活、精确的问题。

2、为了达到上述目的，本发明的技术方案如下：基于双目相机的视觉识别定位及机械臂运动轨迹规划方法，包括如下步骤：

3、s1、搭建双目相机系统，并将所述双目相机连接至上位机，进行双目相机标定，然后采集目标图像；

4、s2、根据所述双目相机采集的图像得出目标空间位置信息；

5、s3、根据目标空间位置信息计算出机械臂的运动轨迹规划，并得到机械臂运动信息；

6、s4、将得到的机械臂运动信息进行解析；

7、s5、根据解析后的机械臂运动信息来驱动机械臂按照规划的运动轨迹移动，并将机械臂的实时位姿回传至上位机。

8、进一步的，步骤s1中的方法如下：

9、s1.1、采集棋盘图：所述双目相机标定时左右相机同时拍摄，棋盘需要多占照片画面，多角度拍摄，照片数量5对以上；

10、s1.2、利用opencv提供的stereocalibrate函数获取相机内参矩阵a、外参矩阵[r|t]、畸变系数[k，k2，k3，～，p1，p2，～]；

11、s1.3、将opencv求解出来的外参矩阵[r|t]分解成左右相机各旋转和平移一半的矩阵r1,t1与r2,t2；

12、s1.4、通过内参矩阵a将源图像像素坐标系转化成相机坐标系，通过r1和r2进行平行极线校正，通过畸变系数校正图像的相机坐标；

13、s1.5、将校正后的相机坐标系再转换成图像像素坐标系，并根据源图像坐标的像素值赋值给新的图像坐标。

14、通过上述设置，双目相机标定的主要目的是获取相机的内参矩阵a、外参矩阵[r|t]和畸变系数[k，k2，k3，～，p1，p2，～]。这些参数是进行双目视觉处理的基础，用于校正成像仪上的畸变点位置，以及实现极限校正，使得同一物体在左右两幅图像中的大小一致，并且位于一条水平线上。相机内参矩阵a包含了相机的焦距、光心位置等信息。它描述了相机的内部几何特征，通过标定可以得到准确的内参矩阵a，使得后续的图像处理和计算更加精确和可靠。

15、同时，这种基于双目相机的视觉识别定位及机械臂运动轨迹规划方法，通过标定和校正双目相机的畸变，实现了同一物体在左右两幅图像中的一致性和水平位置对齐，提供了准确的图像信息作为后续处理的基础，从而在工业自动化和机器人应用中发挥重要作用。

16、进一步的，步骤s2的方法如下：将所述双目相机采集的图片送入yolov5网络进行训练，然后对目标进行定位标记识别，给出目标空间位置信息。

17、通过上述设置，通过yolov5网络可以精确地检测和定位多个目标物体，并得到它们的类别信息。结合双目相机的视觉信息和几何关系，可以计算出目标物体的空间位置，从而为机械臂运动轨迹规划提供准确的空间位置信息。

18、进一步的，步骤s3的方法如下：将获得的目标空间位置信息传递给moveit模块，然后利用rrt算法进行运动轨迹规划，从而得到机械臂运动信息。

19、通过上述设置，可以实现机械臂的自动化移动和定位，这种方法结合了双目相机的视觉识别定位和moveit模块的路径规划能力，为机械臂的精确操作提供了可靠的解决方案。这样机械臂能够根据目标物体的位置信息，通过规划出的轨迹实现准确的抓取、放置或其他操作任务。

20、进一步的，步骤s4的方法如下：将获得的机械臂运动信息通过ads通信通道传递至倍福控制器,然后倍福控制器将信息解析后传递给汇川驱动器。

21、通过上述设置，倍福控制器作为一个中间设备，接收并解析这些运动信息，并将其转发给汇川驱动器。最终，汇川驱动器执行适当的控制信号，驱动机械臂按照规划的轨迹进行运动。同时，视觉识别定位和运动规划的结果可以实时传递给机械臂的控制系统，从而实现快速、准确的机械臂运动控制。这个流程保证了从视觉识别到机械臂执行之间的信息传递和协调，使得机械臂能够根据视觉感知结果准确地进行运动和操作。

22、进一步的，步骤s5的方法如下：汇川驱动器接收解析后的机械臂运动信息，同时驱动机械臂按照规划的路径执行运动，并将机械臂的实时位姿回传至上位机。

23、通过上述设置，汇川驱动器承担着重要的角色，它接收并解析经过处理的机械臂运动信息，然后驱动机械臂按照事先规划好的路径进行运动。一旦汇川驱动器接收到运动信息并进行解析，它会发送适当的控制信号以驱动机械臂执行规划路径上的运动。这些控制信号会直接影响机械臂的关节角度、速度和加速度等参数，从而实现精确的运动控制。同时，汇川驱动器还负责监控机械臂的实时位姿。它会不断地读取机械臂的当前位置和方向信息，并将这些实时位姿数据回传给上位机，该方法能够提供对机械臂运动过程的实时监控和反馈。这样，上位机可以实时获取机械臂的姿态信息，以便进行进一步的处理、分析或决策。此外，实时位姿回传也为机械臂的位置闭环控制提供了必要的反馈信息，以保证运动的稳定性和准确性。

24、进一步的，还包括在linux下配置所述双目相机在ros系统下的使用环境；所述双目相机采用海康威视生产的型号为mv-ca13-20gc的工业相机。

25、通过上述设置，可以充分利用ros的强大功能和丰富资源，实现基于双目相机的视觉识别定位及机械臂运动轨迹规划方法。

26、与现有技术相比，本方案的有益效果：

27、本方案提出了一种基于双目相机的视觉识别定位及机械臂运动轨迹规划方法，通过双目相机系统和相应的图像处理与算法，实现了高精度的目标识别和定位，并利用rrt算法进行运动轨迹规划，从而提供了一种精确、灵活和高效的机械臂运动控制解决方案。