一种通过传感器对目标进行检测跟踪行走的方法与流程

本发明涉及目标跟踪领域，尤其涉及一种通过传感器对目标进行检测跟踪行走的方法。

背景技术：

1、近年来，随着智能机器人视觉跟踪领域的飞速发展，使得传统静态的目标跟踪方式，已无法满足需要，因而如何实现机器人运动目标跟踪一时间备受青睐。当前较流行的机器人运动目标跟踪方法，虽在机器人领域取得了一定成果，但移动机器人运动在障碍物下的运动目标跟踪过程中存在一些问题。通常的目标跟踪算法都是基于像素的全局搜索，然而该方法计算量大，耗时满足不了移动机器人控制的实时性要求，并且其易受到背景中相似特征物体的干扰。一部分采用视觉传感器和超声波传感器结合的方案，根据人体目标的颜色和纹理信息来识别目标并利用超声波传感器获取距离信息；一部分利用装有彩色相机和激光传感器的移动机器人实现目标跟踪，采用多层mean-shift算法跟踪目标，然后利用激光传感器获得目标的距离信息；也有部分利用颜色信息和深度信息来对目标进行建模，然后利用粒子滤波对目标进行跟踪。

2、一方面在跟踪的过程中，跟踪模型的跟踪算法无法很好地应对移动机器人目标跟踪过程中的光照变化、尺度变化和遮挡等复杂环境因素干扰，另一方面需要增加其他传感器来进行测算，既增加了成本也影响整个机器算力的运行。

技术实现思路

1、为了解决以上技术问题，本发明提供了一种通过传感器对目标进行检测跟踪行走的方法，让机器人通过传感器跟踪目标，使机器人跟随目标进行移动，从而减轻人力。

2、本发明的技术方案是：

3、一种通过传感器对目标进行检测跟踪行走的方法，

4、一是利用相机进行视觉检测跟踪，得出目标在相机中的位置，并计算出追踪的目标距离机器人的距离和角度；二是根据相机检测的距离和角度来控制机器人的运动，从而达到控制机器人运动到追踪目标前方的位置。

5、进一步的，

6、利用相机进行视觉检测跟踪

7、通过深度相机的驱动节点astra_camera，将深度相机的rgb图像信息和深度信息deepth发布出来，两个发布的信息分别用作目标检测跟踪与距离计算；

8、rgb图像信息主要用于目标检测与跟踪，rgb信息是一帧一帧的图片信息，通过深度相机的驱动程序将图像信息发布出来，订阅图像信息/camera/rgb/image_raw；订阅此话题发布的图像信息，此时得到的就是相机实时获取到的图像。

9、进一步的，

10、将ros中的rgb信息的图像信息进行数据格式的转换，转换成opencv使用的图像格式数据，获取当前帧的图像数据；

11、数据转换完成，就要单独的来处理图像数据，从当前的图像数据中检测跟随的目标以及后续的跟随该目标；取得图像数据后，使用yolox来进行目标的检测和跟随。

12、创建yolox目标检测器，传入获取的图像信息，使用目标检测方法获取图像信息中的目标，并在图像中标记出来目标，记录下目标框的位置；在机器人不断的前进中，获取的图像信息一直输入到目标检测器中，实时的在跟踪目标框中选定目标的位置，从而达到目标检测与跟踪的目的。

13、再进一步的，

14、运动控制过程：

15、在起用相机传出图像信息的同时，图像的深度信息也发布出来，此时需要订阅相机发布的深度信息/camera/depth/image来进行目标距离的计算，从而进行运动控制。

16、计算目标的距离方法是根据深度信息的距离来进行计算的，在目标检测过程中已经将跟踪目标用目标框标记出来，此时需要用到标记的目标框来进行深度图像的提取。

17、计算标记框中的深度信息采用如下方法：

18、在标记框中按照倒金字塔的形式来选取标记框中的坐标位置，选择标记框中的十个深度信息，求取标记框中跟踪目标和机器人的位置；

19、得到标记框中各点坐标之后，获取深度图中坐标位置的深度值；在计算均值时，引入计数器，当深度值为零时，计数器自减；累加深度值进行平均，求得此时的距离值，由此计算出目标框中目标距离机器人的距离值。

20、再进一步的，

21、运动控制计算：

22、根据计算出来的目标距离distance来计算机器人运动的线速度和角速度，控制机器人运动到目标前方。

23、本发明的有益效果是

24、让机器人通过传感器跟踪目标，使机器人跟随目标进行移动，从而减轻人力。如：机场中行李车跟随人到达出站口，商场中购物车跟随人员进行购物，机房中机器人跟随人员进行现场维修检查等。机器人目标跟踪方法主要分为两大模块，一是利用相机进行视觉检测跟踪，得出目标在相机中的位置，并计算出追踪的目标距离机器人的距离和角度；二是根据相机检测的距离和角度来控制机器人的运动，从而达到控制机器人运动到追踪目标前方的位置。

技术特征：

1.一种通过传感器对目标进行检测跟踪行走的方法，其特征在于，

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求4所述的方法，其特征在于，

6.根据权利要求5所述的方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，

8.根据权利要求7所述的方法，其特征在于，

技术总结
本发明提供一种通过传感器对目标进行检测跟踪行走的方法，属于目标跟踪领域，主要分为两部分，一是利用相机进行视觉检测跟踪，得出目标在相机中的位置，并计算出追踪的目标距离机器人的距离和角度；二是根据相机检测的距离和角度来控制机器人的运动，从而达到控制机器人运动到追踪目标前方的位置。

技术研发人员：华逢彬,马辰,程瑶
受保护的技术使用者：山东新一代信息产业技术研究院有限公司
技术研发日：
技术公布日：2024/1/13