输送线上运动目标的视觉同速跟踪拍摄方法及装置

本发明属于计算机视觉与图像处理领域，具体涉及到一种输送线上运动目标的视觉同速跟踪拍摄方法及装置。

背景技术：

1、在生产制造过程中，普遍存在对输送线上的产品进行外观质量检测或尺寸测量等需求。传统的人工目检或抽检的方式，不仅效率低下，而且准确性较差，人工成本较高。利用视觉传感器，可以取代人工，对输送线上的运动目标进行自动检测和测量。但由于目标物体在持续运动，普通的视觉传感器在拍摄图像时会产生拖影和运动模糊等问题，导致无法实现精确地检测和测量。现有的解决方案有两类：1.根据位置传感器信号，判断目标物体进入视觉传感器的视野范围后，控制输送线停止运动，在静止状态下拍摄图像；这类方法虽然可以获取清晰准确的图像，但需要改变输送线的运动方式，打破原有的生产节律，影响生产效率。2.采用高速视觉传感器拍摄运动目标，这类方法的问题在于高速视觉传感器的成本较高。因此急需开发一种新型的拍摄方法，在不干扰原有的生产节律的前提下，使用非高速视觉传感器，实现对输送线上运动目标的在线拍摄。

技术实现思路

1、为解决上述问题，本发明提出一种输送线上运动目标的视觉同速跟踪拍摄方法及装置，

2、该方法包括如下步骤：

3、步骤s1：将安装有视觉传感器的二自由度运动模组部署在输送线的适当位置，避免运动模组与输送线存在运动干涉，保证视觉传感器能够完整地拍摄到下方到达的目标物体；

4、步骤s2：将位置传感器固定在输送线的适当位置，以便检测目标物体是否运动到视觉传感器视野范围内，当位置传感器检测到目标物体时，触发启动信号，运动模组开始进行水平方向上的运动，追赶运动目标，并开启视觉传感器采集目标物体图像；

5、步骤s3：在采集的图像中识别目标物体，并获取目标物体的位置和速度，将其作为反馈信号，控制运动模组驱动视觉传感器水平运动，实现对目标追及和同速拍摄；

6、进一步地，步骤s3具体包括如下步骤：

7、步骤3-1：利用目标识别算法，对所采集图像中的目标物体进行识别，所述的目标识别算法包括但不限于yolo、fasterrcnn的基于深度学习的算法和模板匹配、特征识别的基于图像处理的算法；

8、所识别目标物体的中心位置在图像中的坐标为(xo,yo)，所采集图像的中心位置坐标为(xi,yi)，xi＝w/2,yi＝h/2，其中w,h分别表示采集图像的宽和高。

9、步骤3-2：计算目标物体的中心位置和图像中心位置之间x坐标差值e＝xo-xi，并利用预先标定得到的比例系数sx(单位：毫米/像素)，将以像素为单位的相对坐标差值e转换为以毫米为单位的相对位置差值e＝e×sx；

10、步骤3-3：利用差分方法计算，在当前时刻k，视觉传感器和运动目标之间的相对速度差值vk：

11、

12、其中，ek和ek-1分别为当前时刻k和上一时刻k-1的相对位置差值，t为采样时间间隔；

13、步骤3-4：利用pid算法控制运动模组在水平方向上的运动，第k时刻的水平运动速度控制量uk计算过程如下式：

14、

15、其中，vk和vk-1分别为当前时刻k和上一时刻k-1的相对速度差值，kp、ki、kd分别为比例增益、积分、微分增益，三个增益系数可以通过试凑法、响应曲线法、临界比例度法、模糊自适应法、强化学习法等方法获取；

16、将控制量uk循环输入运动模组的电机控制器，以驱动视觉传感器追赶运动的目标物体；

17、步骤3-5：重复执行上述步骤3-1至步骤3-4，直至相对位置差值e小于阈值m，且维持达到一定时间n，此时视觉传感器与目标物体已同速，即相对静止状态。

18、步骤s4：根据目标识别结果和预设的目标规格数据，匹配、判断目标物体的规格，然后根据预设的标定数据，确定当前规格下目标物体所对应的最佳拍摄距离，控制竖直运动模组运动驱动视觉传感器调节拍摄高度，接着，采集符合检测、测量要求的图像，完成目标的检测或测量，最后，运动模组带动视觉传感器复位，等待下一个目标物体到达，重复执行步骤s3、s4。

19、输送线上运动目标的视觉同速跟踪拍摄装置包括部署在输送线上的视觉传感器、位置传感器；其中所述视觉传感器安装在二自由度运动模组上用于拍摄其下方到达的目标物体，位置传感器布置在视觉传感器的初始位置的下方，输送线的两侧，用于检测目标物体是否运动到视觉传感器视野范围内。

20、所述二自由度运动模组由水平运动模组和竖直运动模组组成，水平运动模组上设置有水平运动滑台由水平运动模组电机驱动，竖直运动模组上设置有竖直运动滑台由竖直运动模组电机驱动，所述视觉传感器固定在竖直运动滑台上，可随竖直运动滑台沿竖直方向运动，视觉传感器和竖直运动模组组成的整体安装在水平运动滑台上，可随水平运动滑台沿水平方向运动。

21、所述的视觉传感器包括但不限于工业相机、红外相机；所述的位置传感器包括但不限于接近开关、光电传感器。

22、有益效果：利用相对运动的原理，驱动视觉传感器做加速直线移动追赶输送线上匀速传输的目标，直至追及目标，保持与目标的相对静止并进行同速拍摄。该方案相较于现有方案具备更高的性价比，无需使用高速高性能视觉传感器，只采用非高速视觉传感器就可以保证采集图像的质量和目标物体成像的清晰度，并能够在不干扰原有生产节律的条件下，完成在线高精度的检测和测量任务。

技术特征：

1.一种输送线上运动目标的视觉同速跟踪拍摄方法，其特征在于，利用相对运动的原理，由二自由度运动模组驱动的视觉传感器做加速直线移动追赶输送线上匀速传输的目标，追及目标后，保持与目标同速状态下进行相对静止的拍摄，完成在线检测或测量任务，该方法具体包括如下步骤：

2.根据权利要求1所述的输送线上运动目标的视觉同速跟踪拍摄方法，其特征在于：步骤s3具体包括如下步骤：

3.一种用于权利要求1-2之一所述的输送线上运动目标的视觉同速跟踪拍摄方法的装置，其特征在于，该拍摄装置包括部署在输送线(7)上的视觉传感器(4)、位置传感器(8)；其中所述视觉传感器(4)安装在二自由度运动模组(1)上用于拍摄其下方到达的目标物体(9)，位置传感器(8)布置在视觉传感器(4)的初始位置的下方，输送线(7)的两侧，用于检测目标物体(9)是否运动到视觉传感器(4)视野范围内。

4.根据权利要求3所述的输送线上运动目标的视觉同速跟踪拍摄装置，其特征在于，所述二自由度运动模组(1)由水平运动模组(2)和竖直运动模组(3)组成，水平运动模组(2)上设置有水平运动滑台(6)由水平运动模组电机(10)驱动，竖直运动模组(3)上设置有竖直运动滑台(5)由竖直运动模组电机(11)驱动，所述视觉传感器(4)固定在竖直运动滑台(5)上，可随竖直运动滑台(5)沿竖直方向运动，视觉传感器(4)和竖直运动模组(3)组成的整体安装在水平运动滑台(6)上，可随水平运动滑台(6)沿水平方向运动。

5.根据权利要求3或4所述的输送线上运动目标的视觉同速跟踪拍摄装置，其特征在于，所述的视觉传感器(4)包括但不限于工业相机、红外相机；所述的位置传感器(8)包括但不限于接近开关、光电传感器。

技术总结
本发明提出一种输送线上运动目标的视觉同速跟踪拍摄方法及装置，将带有视觉传感器和位置传感器的二自由度运动模组部署在输送线的适当位置，运动模组可驱动视觉传感器执行水平和竖直方向的直线移动；当位置传感器检测到目标物体时，开启视觉传感器采集图像；在采集的图像中识别目标物体，获取目标物体的位置和速度，将其作为反馈信号，控制水平运动模组对目标追及并实现同速拍摄；根据目标识别结果，确定最佳拍摄距离，控制竖直运动模组驱动视觉传感器调节拍摄高度，采集图像并完成目标的检测或测量；运动模组复位，等待下一次拍摄；本发明采用非高速视觉传感器，并在不干扰原有生产节律的条件下，实现输送线上运动目标的视觉同速跟踪拍摄。

技术研发人员：李俊,冯云剑,秦天为
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/3/24