一种基于单目视觉的运动工件姿态估计方法及装置

本发明属于工业自动化领域，具体的说是一种基于单目视觉的运动工件姿态估计方法及装置，应用于工业传送带上运动工件的姿态估计，便于对工件进行进一步的加工操作。

背景技术：

运动工件姿态估计是工业自动化产线上的重要一环。工件进行加工过程中，需要在传送带上完成运输。为了方便下一步的加工，例如抓取、打磨等操作，需要确定工件在传送带上的姿态。由于工件在传送带上处于运动状态，因此如何对运动状态下的工件进行姿态估计，是非常重要的问题。

针对工件姿态估计的方法主要有两种。第一种方法是基于激光扫描仪的方法。该方法通过线激光或者点激光对加工工件进行扫描，获取加工工件的三维点云数据，结合点云数据进行工件的姿态估计，可以灵活运用于静止或者运动工件，缺点是成本过高；第二种方法是基于双目立体视觉的方法进行姿态估计。该方法通过双目摄像头采集工件的左图和右图，利用视差计算出深度图，恢复深度信息，进一步结合几何模型进行姿态估计，该方法的缺点是双目相机多是固定安装在某一位置，对工件进行图像采集。固定安装的方式使得双目相机的视野范围有限，灵活性不够，同时相比单目相机成本较高。

技术实现要素：

根据上述提出的技术问题，提出一种基于单目视觉的运动工件姿态估计方法及装置，用于解决现有的运动工件姿态估计方法中采用激光扫描仪的方法成本过高的问题，同时解决了采用固定安装方式下双目相机视野范围有限，灵活性不够的问题。本发明采用的技术手段如下：

一种基于单目视觉的运动工件姿态估计装置，包括：cpld控制模块、单目图像采集模块、cpld姿态估计模块，cpld控制模块控制单目图像采集模块的运动控制机构带动单目摄像头移动从而实时采集运动工件图像，cpld姿态估计模块对采集的运动工件图像进行姿态估计判别工件姿态。

所述cpld控制模块包括相机运动控制电路和相机采集控制电路，相机运动控制电路用于单目摄像头的运动控制，相机采集控制电路用于控制单目摄像头进行图像采集。

所述cpld姿态估计模块、cpld控制模块均采用cpld实现。

所述单目图像采集模块包括运动控制机构和单目摄像头，运动控制机构包括伺服电机、横向直线运动模组和纵向运动模组，摄像头固定在纵向运动模组的下方，通过伺服电机驱动横向直线运动模组和纵向运动模组运动，从而调整单目摄像头的位置分别获取等效于双目相机采集下的当前运动工件的左图和右图。

所述cpld姿态估计模块包括深度估计单元和姿态分析单元，所述深度估计单元结合左图和右图的视差，计算得到图像中的深度信息；所述姿态分析单元用于处理包括深度信息的三维图像，获取当前运动工件的姿态估计结果。

一种基于单目视觉的运动工件姿态估计方法，包括以下步骤：

控制摄像头移动和采集图像的步骤：cpld控制模块根据传送带的工作时序，通过相机运动控制电路输出指令控制运动控制机构运动，从而带动单目摄像头移动至待检测工件上方，使得单目摄像头对传送带上的待检测工件采集其左图像和右图像；

运动工件的姿态估计的步骤：cpld姿态估计模块根据接收的左图像和右图像的视差计算得到图像的深度信息，并结合姿态分析单元进行工件的姿态估计，最终输出姿态估计结果。

所述控制摄像头移动的步骤具体包括：

当传送带载着工件移动时，cpld控制模块根据传送带的工作时序，通过相机运动控制电路输出指令控制伺服电机驱动横向直线运动模组加速运动，并与传送带的速度相同时停止加速并保持匀速运动，同时，控制伺服电机驱动纵向直线运动模组使得摄像头分别运动到纵向的两个采集位置，单目摄像头采集两个图像后，相机运动控制电路控制运动控制机构带动单目摄像头返回初始位置。

所述姿态分析单元进行工件的姿态估计步骤如下：

将左右图像信息和深度信息，与预设几何模型进行比较，通过特征点匹配在模型和图像之间建立对应关系，获取工件姿态角度变化。

所述预设几何模型是通过solidworks绘制的工件的3d图像，并设置好初始姿态。

本发明的有益效果是：

1.本发明建立了针对传送带上运动工件进行姿态估计的装置，可以灵活根据传送带等设备的空间位置，传送带的运动状态，通过cpld控制模块进行运动控制机构的运动控制和单目相机的采集控制，具有较强的灵活性和适应性。

2.本发明的一种基于单目视觉的运动工件姿态估计方法及装置，通过cpld控制模块、单目图像采集模块和cpld姿态估计模块，构建起了一套基于可移动的单目视觉系统的运动工件姿态估计方法及装置，能够对传送带上的运动工件进行姿态估计，当获取到工件的姿态信息后，会将姿态数据传送至下一个加工环节的控制中心，方便进行下一步的加工操作。

附图说明

图1为本发明运动工件姿态估计装置的工作流程图；

图2为本发明运动工件姿态估计装置的结构示意图；

图3为本发明单目相机采集左图和右图时的位置示意图；

图4为本发明单目相机获取的左图和右图的示意图；

图中，1为待检测工件，2为纵向运动模组，3为横向运动模组，4为单目摄像头,x为横向，y为纵向。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

一种基于单目视觉的运动工件姿态估计装置，工作流程图如图1所示，包括：cpld控制模块，包含基于cpld的相机运动控制电路和相机采集控制电路。相机运动控制电路用于单目摄像头的运动控制。相机采集控制电路用于控制单目摄像头进行图像采集；单目图像采集模块，包含一套运动控制机构，用于固定摄像头，并通过调整单目摄像头的位置分别获取等效于双目相机采集下的当前运动工件的左图和右图；cpld姿态估计模块，通过深度估计单元获取当前运动工件图像中的深度信息，结合姿态分析单元进一步处理三维信息，获取当前运动工件的姿态估计结果。

相机运动控制电路和相机采集控制电路均是在cpld上设计实现。其中，相机运动控制电路用于单目摄像头的运动控制。为了获取等效于双目相机采集下的当前运动工件的左图和右图，需要控制单目摄像头到达两个相应位置分别获取两幅图像；相机采集控制电路用于控制单目摄像头到达合适位置后采集图像，获取运动工件的图像数据，采集并完成图像数据传输后关闭摄像头。

运动工件姿态估计装置的结构示意图如图2所示。其中，单目图像采集模块包含一套运动控制机构和单目相机。运动控制机构包括伺服电机、横向直线运动模组和纵向运动模组，摄像头固定在纵向运动模组的下方，通过伺服电机驱动横向直线运动模组和纵向运动模组运动，从而调整单目摄像头的位置分别获取等效于双目相机采集下的当前运动工件的左图和右图。单目相机接收到采集控制信号后，会进行运动工件的图像采集，整个采集过程中会进行两次采集，分别获取运动工件的左图和右图。两次采集时的位置示意图如图3所示。采集完成后，将获取的图像传输至cpld姿态估计模块。

cpld姿态估计模块是在cpld上设计完成的姿态估计模块。该模块接收来自单目相机传输的图像数据。将左图和右图输入至深度估计单元，结合左图和右图的视差，计算得到图像中的深度信息；将运动工件图像信息和深度信息输入至姿态分析单元，采用基于模型的方法进行工件的姿态估计。

运动工件姿态估计方法的具体步骤如下：s1cpld控制模块结合传送带的工作时序，通过相机运动控制电路输出指令控制伺服电机驱动横向直线运动模组加速运动，并与传送带的速度相同时停止加速并保持匀速运动，使相机在该方向上与工件相对静止；同时控制伺服电机驱动纵向直线运动模组运动到达纵向的坐标位置，到达垂直方向相应的左图采集位置后，停止该方向上的运动；

s2cpld控制模块结合传送带的工作时序，通过相机采集控制电路，控制单目相机在相应时刻进行图像采集。采集并传输图像至cpld姿态估计模块。相机采集控制电路控制单目相机停止采集；

s3cpld控制模块控制相机沿纵向运动模组移动，到达垂直方向相应的右图采集位置后，停止该方向上的运动；

s4重复步骤s2，获取运动工件右图图像并传输至cpld姿态估计模块；

s5cpld控制模块通过相机运动控制电路，控制运动控制机构运动使得相机回到初始位置，此时相机和运动控制机构均恢复到步骤s1之前的初始位置；同时cpld姿态估计模块根据传输得到的左图和右图，计算得到图像中的深度信息，并进一步结合姿态分析单元中基于模型的方法进行工件的姿态估计，最终输出姿态估计结果。

步骤s2中需要预先多次实验，使得获取的图像中除了工件以外，只有传送带作为背景。目的是为了在获取左图和右图后，避免图像中存在因工件运动导致的背景不同而无法进行匹配的问题。获取的左图和右图的示意图如图4所示。

8.步骤s5中cpld姿态估计模块进行图像深度信息计算前，需要结合预先通过张正友标定法获取的相机内外参数矩阵进行图像的校正。同时，步骤s5中姿态分析单元需要结合工件几何模型进行姿态估计。将左右图像信息和深度信息，与预设几何模型进行比较，通过特征点匹配在模型和图像之间建立对应关系，获取工件姿态角度变化。该预设几何模型是通过solidworks绘制的工件的3d图像，并设置好初始姿态。

本发明的一种基于单目视觉的运动工件姿态估计方法及装置，通过cpld控制模块、单目图像采集模块和cpld姿态估计模块，构建起了一套基于可移动的单目视觉系统的运动工件姿态估计方法及装置，在不影响工件在传送带上运输效率的同时，获取工件在传送带上的姿态信息，并及时传输至下一加工流程。本发明针对运动工件进行姿态估计的方法，解决了采用激光扫描仪的方法成本过高的问题，克服了采用固定安装方式下双目相机视野范围有限，灵活性不够的问题，同时有效避免了因为姿态估计而影响加工效率的问题。本发明具有实用性强，成本低的优点。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。