目标跟踪装置的制作方法

本实用新型涉及机器人技术领域，特别涉及一种目标跟踪装置。

背景技术：

目标跟踪技术是一种基于图像序列处理，从复杂背景中识别出目标，并对目标的运动规律加以预测，实现对目标的连续准确的跟踪的技术。目标跟踪技术作为人机交互领域中的一个重要部分，常常用于实现多种用途。比如，该目标跟踪技术能够用于实现物品搬运的用途，人员(如老人及儿童)看护的用途以及追踪儿童玩具的用途等。

现有技术中有一种目标跟踪装置，该目标跟踪装置主要包括视觉传感器(或红外传感器)、处理器和移动台，视觉传感器和处理器设置在移动台上。视觉传感器用于采集目标对象的图像数据，并将该图像数据发送至处理器，处理器根据该图像数据生成包括目标跟踪装置需要移动到的目标位置的命令，并将该命令发送至移动台，移动台再根据该命令进行移动以跟踪目标对象。

但由于视觉传感器(或红外传感器)可观察的视角是有限的，导致视觉传感器总会存在视觉盲区，也就是说，当目标对象不在视觉传感器的视线范围内时，视觉传感器无法采集到目标对象的图像，这样一来，目标跟踪装置无法跟踪目标，因此，目标跟踪装置跟踪目标对象的效果较差。

技术实现要素：

为了解决现有技术中目标跟踪装置跟踪目标对象的效果较差的问题，本实用新型提供了一种目标跟踪装置。所述技术方案如下：

一方面，提供了一种目标跟踪装置，所述装置包括：第一传感器、处理器和移动台，

所述第一传感器设置在所述移动台上，且与所述处理器连接，所述第一传感器能够将采集的环境数据发送至所述处理器，所述环境数据为反映所述第一传感器周围360度环境的数据，所述处理器根据所述环境数据生成提示命令，再将所述提示命令发送至所述移动台，所述提示命令用于指示所述移动台需要移动到的目标位置。

可选的，所述装置还包括：第二传感器，

所述第二传感器设置在所述移动台上，且与所述处理器连接，所述第二传感器将采集的目标对象的图像数据发送至所述处理器，所述处理器能够根据所述图像数据和所述环境数据生成所述提示命令。

可选的，所述移动台呈圆柱状，所述第一传感器设置在所述移动台的上底面中心位置，所述第一传感器的中心点在所述移动台的上底面的投影与所述移动台的上底面的圆心重合。

可选的，所述装置还包括第三传感器，

所述第三传感器设置在所述移动台的侧面，所述第三传感器能够在检测到所述目标跟踪装置周边的障碍物时，向所述移动台发送告警命令，所述告警命令用于指示所述移动台避开所述障碍物移动。

可选的，所述装置还包括支撑架，

所述支撑架设置在所述移动台的上底面，所述支撑架的高度方向与所述移动台的高度方向平行，所述处理器和所述第二传感器设置在所述支撑架上。

可选的，所述移动台包括：控制器和与所述控制器连接的移动本体，所述移动本体为轮式结构，

所述控制器与所述处理器连接，所述控制器能够接收所述处理器发送的提示命令，并根据所述提示命令控制所述移动本体移动至所述目标位置。

可选的，所述第一传感器通过第一接口组件将所述环境数据发送至所述处理器；

所述第二传感器通过第二接口组件将所述图像数据发送至所述处理器。

可选的，所述第一传感器为激光雷达传感器；

所述第二传感器为单目视觉传感器。

可选的，所述第三传感器为超声波避障传感器。

可选的，所述第一接口组件为串行接口、以太网接口或通用串行总线USB接口；

所述第二接口组件为串行接口、以太网接口或USB接口。

本实用新型提供的技术方案带来的有益效果是：

由于目标跟踪装置的第一传感器能够将采集的环境数据发送至处理器，处理器能够根据环境数据生成提示命令，再将提示命令发送至移动台，使得移动台移动到目标位置，相较于现有技术，能够实时跟踪目标对象，提高了目标跟踪装置跟踪目标对象的效果。

附图说明

为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本实用新型实施例提供的一种目标跟踪装置的结构示意图；

图2是本实用新型实施例提供的另一种目标跟踪装置的结构示意图；

图3是本实用新型实施例提供的又一种目标跟踪装置的结构示意图；

图4是本实用新型实施例提供的一种移动台的结构示意图；

图5是本实用新型实施例确定第一区域和第二区域的重叠率的示意图；

图6是本实用新型实施例提供的一种目标位置坐标的示意图。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型实施方式作进一步地详细描述。

本实用新型实施例提供了一种目标跟踪装置100，如图1所示，该目标跟踪装置100包括：第一传感器110、处理器120和移动台130。第一传感器110设置在移动台130上，且与处理器120连接。

第一传感器110能够将采集的环境数据发送至处理器120，该环境数据为反映第一传感器110周围360度环境的数据，处理器120根据环境数据生成提示命令，再将提示命令发送至移动台130，该提示命令用于指示移动台130需要移动到的目标位置。

综上所述，本实用新型实施例提供的目标跟踪装置，由于第一传感器能够将采集的环境数据发送至处理器，处理器能够根据环境数据生成提示命令，再将提示命令发送至移动台，使得移动台移动到目标位置，相较于现有技术，能够实时跟踪目标对象，提高了目标跟踪装置跟踪目标对象的效果。

具体的，处理器能够根据环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令。示例的，处理器可以为笔记本及工控机等具有处理能力的设备。

由于激光雷达传感器的测距精度较高，实时性较高，且对阴影和光照变化不敏感，所以可以将激光雷达传感器作为第一传感器。激光雷达传感器利用光频波段的电磁波向目标对象发射探测信号，再将接收到的同波信号与发射信号进行比较，以获得目标对象的位置等信息。

进一步的，如图2所示，该目标跟踪装置100还包括：第二传感器140。第二传感器140设置在移动台130上，且与处理器120连接。第二传感器140将采集的目标对象的图像数据发送至处理器120，处理器120能够根据图像数据和环境数据生成提示命令。具体的，处理器能够根据图像数据确定目标对象在当前帧图像中的第二分布参数，并根据第一分布参数和第二分布参数生成提示命令。第二传感器将采集的目标对象的图像数据发送至处理器，第一传感器将采集的环境数据发送至处理器，使得处理器能够根据环境数据和目标对象的图像数据生成提示命令。示例的，第二传感器为单目视觉传感器。单目视觉传感器可以通过颜色识别出目标对象，但相较于激光雷达传感器，单目视觉传感器对光线较敏感。

参见图2，移动台130呈圆柱状，第一传感器110可以设置在移动台130的上底面中心位置，第一传感器110的中心点在移动台130的上底面的投影与移动台110的上底面的圆心重合，这样一来，能够简化后续的坐标转换过程，即将目标对象在当前帧图像(即图像坐标系)中的坐标转换为目标对象在世界坐标系中的坐标。

进一步的，如图3所示，该目标跟踪装置100还包括第三传感器150。第三传感器150设置在移动台130的侧面，第三传感器150能够在检测到目标跟踪装置周边的障碍物时，向移动台130发送告警命令，该告警命令用于指示移动台避开障碍物移动。第三传感器避免了目标跟踪装置因碰撞障碍物而损坏导致无法实时跟踪目标对象。示例的，第三传感器为超声波避障传感器。目标跟踪装置上可以设置多个第三传感器，本实用新型实施例对第三传感器的数量不做限定。

进一步的，如图3所示，该目标跟踪装置100还包括支撑架160。支撑架160设置在移动台130的上底面，支撑架160的高度方向(如图3中k1所指示的方向)与移动台130的高度方向(如图3中k2所指示的方向)平行，处理器120和第二传感器140设置在支撑架160上。此外，处理器120也可以设置在移动台130上，本实用新型实施例对此不作限定。

可选的，如图4所示，移动台130包括：控制器131和与控制器131连接的移动本体132，移动本体132为轮式结构。

控制器131与处理器连接，控制器131能够接收处理器发送的提示命令，并根据提示命令控制移动本体132移动至目标位置。示例的，该移动本体可以为三轮结构，也可以为四轮结构，该移动本体的驱动方式可以为差动驱动方式，也可以为全方位驱动方式，本实用新型实施例对移动本体的结构以及驱动方式不做限定。

可选的，第一传感器通过第一接口组件将环境数据发送至处理器。示例的，第一接口组件可以为串行接口、以太网接口或通用串行总线(英文：Universal Serial Bus；简称：USB)接口；第二传感器通过第二接口组件将图像数据发送至处理器。示例的，第二接口组件可以为串行接口、以太网接口或USB接口。

具体的，处理器120用于：

根据图像数据采用预测跟踪算法，确定目标对象在当前帧图像中的第二分布参数。示例的，该预测跟踪算法可以为均值偏移算法、光流算法或卡尔曼(英文：Kalman)算法等。关于预测跟踪算法可以参考现有技术，本实用新型实施例在此不再赘述；

根据环境数据确定目标对象，以及目标对象在当前帧图像中的第一分布参数；

根据第二分布参数和第一分布参数确定目标对象在当前帧图像中的目标分布参数；

根据目标分布参数生成提示命令。处理器可以根据目标分布参数对目标对象在当前帧图像中的坐标进行转换，得到目标对象在世界坐标系(该世界坐标系的原点为移动台的上底面的圆心)中的坐标，再生成提示命令，并将提示命令发送至移动台，以便于移动台移动到目标位置。

可选的，第一分布参数包括：目标对象在当前帧图像中的第一位置和第一大小，第二分布参数包括：目标对象在当前帧图像中的第二位置和第二大小，其中，位置指的是目标对象的中心点在当前帧图像中的坐标，大小指的是目标对象在当前帧图像中的长度和宽度。相应的，处理器还用于：

计算第一分布参数对应的第一区域和第二分布参数对应的第二区域的重叠率；

判断重叠率是否大于预设阈值；

当重叠率大于预设阈值时，将第一分布参数和第二分布参数的加权平均值作为目标分布参数；

当重叠率不大于预设阈值时，确定第一区域的第一相似度，以及第二区域的第二相似度；

将第一相似度和第二相似度中的较大值对应的分布参数作为目标分布参数。

进一步的，处理器还用于：

对环境数据进行处理，得到环境中n个对象，n大于或等于1，该n个对象包括目标对象；

确定每个对象的相似度以及每个对象在当前帧图像中的分布参数；

将相似度最大的对象作为目标对象。目标对象在当前帧图像中的分布参数即为目标对象在当前帧图像中的第一分布参数。

进一步的，处理器120还存储有第二传感器的内部参数，以及第二传感器和第一传感器的联合外部参数。相应的，处理器还用于：

采用预先存储的内部参数和联合外部参数将n个对象映射到一个图像上，得到n个区域；

对每个区域进行粒子撒播处理，计算每个区域中的粒子的相似度，并根据粒子的相似度确定对应粒子的权重；

根据每个区域中粒子的权重，以及粒子在当前帧图像中的分布参数，确定对应区域在当前帧图像中的分布参数，并将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数；

确定每个区域的相似度，并将区域的相似度作为对象的相似度。

其中，第二传感器的内部参数，以及第二传感器和第一传感器的联合外部参数的确定过程涉及三个坐标系和两个坐标系转换过程，三个坐标系分别为：图像坐标系、第二传感器坐标系和第一传感器坐标系，两个坐标系转换过程为：第一传感器坐标系到第二传感器坐标系的转换过程，第二传感器坐标系到图像坐标系的转换过程。第一传感器坐标系的原点为第一传感器的中心点在移动台的上底面的投影。

参考现有技术，假设空间中某一点P在第一传感器坐标系中的坐标为P_L，＝[X_L，Y_L，Z_L]，那么第一传感器坐标系到第二传感器坐标系的转换的关系式为：

P_L＝φP_C+Δ；

其中，P_C为点P在第二传感器坐标系中的坐标，且P_C＝[X_C，Y_C，Z_C]，φ为第二传感器坐标系到第一传感器坐标系的旋转矩阵，Δ为第二传感器坐标系到第一传感器坐标系的平移向量，且该平移向量是三行三列的向量。旋转矩阵φ和平移向量Δ为联合外部参数(即第二传感器和第一传感器的联合外部参数)。

再假设点P在图像坐标系中的坐标为(u，v)，那么第二传感器坐标系到图像坐标系的转换的关系式为：

其中，参数a_x，参数a_y，参数u₀以及参数v₀为第二传感器的内部参数。

可见，在得到旋转矩阵φ，平移向量Δ，参数a_x，参数a_y，参数u₀以及参数v₀之后，就可以将第一传感器坐标系中的点投影至图像坐标系中，进而达到将n个对象映射到一个图像上，得到n个区域的。

示例的，确定第二传感器的内部参数时，可以采用张正友标定法来确定。确定第二传感器和第一传感器的联合外部参数时，可以将标定板放置在第二传感器和第一传感器都能够捕获到图像信息的位置，确定时可以先采用处理器同时捕获第二传感器和第一传感器采集到的标定板上的图像信息，再采用处理器分析两者采集的图像信息之间的几何约束关系，求出旋转矩阵φ和平移向量Δ。其中，采用的标定板可以为棋盘标定板、三角形标定板、V型标定板以及正方体标定板等，本实用新型实施例对标定板的类型不做限定。另外，关于根据图像信息之间的几何约束关系，求出旋转矩阵φ和平移向量Δ的具体过程可以参考现有技术，本实用新型实施例在此不再赘述。

进一步的，处理器还用于：

在未接收到环境数据，且接收到图像数据时，根据图像数据生成提示命令。处理器将该提示命令发送至移动台，以使移动台移动到目标位置，避免处理器未接收到环境数据而导致目标跟踪装置无法跟踪目标对象。

本实用新型实施例以该目标跟踪装置跟踪一个老人R为例，对该目标跟踪装置的工作过程进行说明。假设当前时刻，老人R旁边还有两个人，这两个人分别为A和B。

参见图3，1)第一传感器110采集环境数据，该环境数据为反映第一传感器110周围360度环境的数据，第一传感器110再将该环境数据发送至处理器120。

2)处理器120根据接收到的环境数据确定目标对象(如R的腰部区域)，以及R的腰部区域在当前帧图像中的第一位置和第一大小。

具体的，处理器120先对环境数据依次进行预处理、聚类处理、特征提取处理及特征匹配处理，得到环境中的3个对象：R的腰部区域，A的腰部区域，以及B的腰部区域。

处理器120再采用预先存储的第二传感器的内部参数，以及第二传感器和第一传感器的联合外部参数，将该3个对象映射到一个图像上，得到3个区域：区域S1，区域S2和区域S3。其中，区域S1为R的腰部区域映射到图像上的区域，区域S2为A的腰部区域映射到图像上的区域，区域S3为B的腰部区域映射到图像上的区域。处理器120再向3个区域中每个区域撒播M(M大于1)个粒子，并计算每个粒子的相似度，然后根据粒子的相似度确定对应粒子的权重，粒子的相似度越大，粒子的权重就越大。在确定了每个区域中各个粒子的权重后，可以根据粒子的权重，以及粒子在当前帧图像中的位置和大小，确定每个区域在当前帧图像中的位置和大小。假设M等于2，区域S1中的2个粒子分别为：粒子11和粒子12，粒子11的权重为q1，且粒子11的大小为p1，粒子12的权重为q2，且粒子12的大小为p2，那么，区域S1的大小为：q1*p1+q2*p2。确定了区域S1在当前帧图像中的位置和大小，区域S2在当前帧图像中的位置和大小以及区域S3在当前帧图像中的位置和大小之后，再将区域S1在当前帧图像中的位置作为R的腰部区域在当前帧图像中的位置，将区域S1在当前帧图像中的大小作为R的腰部区域在当前帧图像中的大小，同样的，将区域S2在当前帧图像中的位置作为A的腰部区域在当前帧图像中的位置，将区域S2在当前帧图像中的大小作为A的腰部区域在当前帧图像中的大小，将区域S3在当前帧图像中的位置作为B的腰部区域在当前帧图像中的位置，将区域S3在当前帧图像中的大小作为B的腰部区域在当前帧图像中的大小。然后处理器120确定每个区域的相似度，并将区域的相似度作为对象的相似度。其中，区域的相似度等于区域与模板区域的相似度，该模板区域为上一帧图像区域。

假设R的腰部区域的相似度等于0.9，A的腰部区域的相似度等于0.3，B的腰部区域的相似度等于0.5，那么R的腰部区域的相似度最大，所以处理器120将R的腰部区域作为目标对象。R的腰部区域在当前帧图像中的位置即为第一位置，R的腰部区域在当前帧图像中的大小即为第一大小，上述第一分布参数包括该第一位置和该第一大小。

3)第二传感器140采集R的腰部区域的图像数据，并将R的腰部区域的图像数据发送至处理器120。

4)处理器120根据R的腰部区域的图像数据，采用预测跟踪算法，确定R的腰部区域在当前帧图像中的第二位置和第二大小，上述第二分布参数包括该第二位置和该第二大小。

5)处理器120根据第二分布参数，以及第一分布参数确定R的腰部区域在当前帧图像中的目标分布参数。

具体的，处理器120先计算第一分布参数对应的第一区域和第二分布参数对应的第二区域的重叠率，计算第一区域和第二区域的重叠率C可以参考图5，采用如下公式来计算：

该公式中的Y1为第一区域601的面积，Y2为第二区域602的面积，Y1∩Y2表示Y1与Y2的交集，Y1∪Y2表示Y1与Y2的并集。图5中的实线围成的区域为第一区域，虚线围成的区域为第二区域。

处理器120再判断第一区域和第二区域的重叠率C是否大于预设阈值；

当第一区域和第二区域的重叠率C大于预设阈值时，处理器120将第一分布参数和第二分布参数的加权平均值作为目标分布参数。该目标分布参数包括R的腰部区域在当前帧图像中的目标位置和目标大小。

假设第一区域的中心点在当前帧图像中的坐标为O1，第二区域的中心点在当前帧图像中的坐标为O2，第一分布参数的第一大小中的长度为w1，宽度为h1，第二分布参数中的第二大小的长度为w2，宽度为h2，那么目标分布参数的目标大小的长度w＝a*w1+b*w2，宽度h＝a*h1+b*h2，其中，a大于0且小于1，b大于0且小于1。优选的，a和b均等于0.5。目标分布参数的目标位置，即目标对象的中心点在当前帧图像中的坐标O＝a*O1+b*O2，其中，a大于0且小于1，b大于0且小于1。优选的，a和b均等于0.5。

当第一区域和第二区域的重叠率C不大于预设阈值时，处理器120确定第一区域的第一相似度，以及第二区域的第二相似度。其中，第一区域的第一相似度为第一区域与模板区域的相似度，第二区域的第二相似度为第二区域与模板区域的相似度，该模板区域为上一帧图像区域。比如，第二区域的相似度可以采用如下公式来计算：

其中，Sim为第二区域的相似度，f1_i为第二区域中第i个像素的像素值，f2_i为模板区域中第i个像素的像素值，M为每一列像素的个数，N为每一行像素的个数。

6)处理器120根据目标分布参数生成提示命令，再将提示命令发送至移动台130的控制器，控制器根据该提示命令控制移动本体移动至目标位置。示例的，如图6所示，处理器根据目标分布参数得到R的腰部区域在世界坐标系中的坐标为(x，y)，处理器向控制器发送提示命令，该提示命令包括：坐标(x，y-d)，控制器根据该提示命令控制移动本体移动至坐标(x，y-d)所对应的位置。其中，d为移动台与R的腰部区域的跟踪距离，d的大小可以根据实际应用来确定，本实用新型实施例对此不作限定。图6中的圆圈表示R的腰部区域的位置，五角星表示移动台需要移动到的目标位置。该过程需要完成图像坐标系到世界坐标系的转换，具体的，可以对图像坐标系与第一传感器坐标系进行联合标定，完成图像坐标系到世界坐标系的转换。其中，第一传感器坐标系的原点与世界坐标系的原点重合。

需要补充说明的是，参见图3，当处理器120未接收到R的腰部区域的图像数据，且接收到环境数据时，处理器120可以将第一分布参数作为目标分布参数，再根据该目标分布参数生成提示命令，再将提示命令发送至移动台130；当处理器120接收到R的腰部区域的图像数据，且未接收到环境数据时，处理器120可以将第二分布参数作为目标分布参数，再根据该目标分布参数生成提示命令，再将提示命令发送至移动台130。这样一来，提高了目标跟踪装置的鲁棒性，提高了跟踪目标对象的可靠性。

需要补充说明的是，本实用新型实施例提供的目标跟踪装置包括用于采集环境数据的第一传感器(如激光雷达传感器)，能够实现360度无盲点的检测与跟踪，即使目标对象消失在目标跟踪装置的视线范围内，该目标跟踪装置仍能够基于环境数据跟踪目标对象。该目标跟踪装置还融合了第二传感器(如单目视觉传感器)，使得跟踪结果更加精确，更加可靠，目标跟踪装置的鲁棒性更好。

综上所述，本实用新型实施例提供的目标跟踪装置，由于第一传感器能够将采集的环境数据发送至处理器，处理器能够根据环境数据生成提示命令，再将提示命令发送至移动台，使得移动台移动到目标位置，相较于现有技术，能够实现360度无盲点的检测与跟踪，实时跟踪目标对象，提高了目标跟踪装置跟踪目标对象的效果。

以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。