目标跟踪方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及人工智能领域，具体涉及计算机视觉领域，尤其涉及一种目标跟踪的方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着计算机视觉理论与技术的发展，目标跟踪成为了当前计算机视觉研究的热门课题之一，在视频监控、虚拟现实、人机交互、无人驾驶等领域有着广泛应用。其目的在于通过对传感器获得的视频或图像序列进行分析，从每幅图像的背景中识别出感兴趣的目标，提取出目标的信息，从而实现对目标连续、准确的跟踪。
3.当前，光流法是最常用的目标跟踪算法之一，光流是空间中运动物体在成像平面上像素运动的瞬时速度。光流法是利用图像序列中像素强度在时域上的变化以及相邻帧的相关性，计算得到相邻帧之间物体的运动信息。但实际应用中，在选取目标跟踪的特征点时，由于视频或图像中的背景较为复杂多变，在一定程度上会使无效的像素点也被当作特征点，以致跟踪精度下降。
4.因此，如何有效的提高目标跟踪的精度，是亟待解决的问题。


技术实现要素：

5.本技术提供一种目标跟踪方法、装置、设备及计算机可读存储介质，可以提高目标跟踪的精度。
6.第一方面，本技术提供了一种目标跟踪方法，该方法可包括：
7.对第一图像中的目标进行检测，得到目标的检测区域和目标的属性信息；根据目标的属性信息确定提取模型；根据提取模型确定第一特征点集；根据第一特征点集确定第二图像中目标的第二特征点集；根据第二特征点集确定目标在第二图像中的位置区域；其中，第一特征点集分布在目标的检测区域内，检测区域包括第一区域和除第一区域之外的第二区域，第一区域中目标的特征点个数大于第二区域中目标的特征点个数；第二图像为第一图像的下一帧图像。
8.第一方面提供的方法中，在选取目标跟踪特征点时，根据目标的属性信息确定提取模型，并采用该提取模型来提取特征点，能够提取出更合理、更准确的特征点。特征点分布在中心区域、特征明显的区域以及未被遮挡的区域，使得特征点分布更合理、更精准，从而提高目标跟踪的准确性。
9.在一种可能的实现方式中，上述目标的属性信息包括目标的遮挡信息、目标的航向角、目标的类别信息中的一种或多种。该方式中，通过目标的遮挡信息能够使提取模型提取的特征点更多的分布在目标未被遮挡的区域内，以提高特征点分布的合理性；通过目标的航向角能够确定提取模型提取的特征点更多的分布在特征更明显的区域内，以提高特征点分布的准确性；通过目标的类别信息能够使提取模型提取的特征点有针对的分布在目标的区域中。进而，能够提高目标跟踪的精度。
10.在一种可能的实现方式中，根据上述目标的属性信息确定提取模型，包括：根据上述目标的属性信息，确定提取特征点的中心位置。该方式中，通过改变提取模型提取的特征点的中心位置的参数来提升特征点分布的合理性，从而提高目标跟踪的准确性。并且通过提取模型来提取特征点，特征点的提取与目标的尺寸和像素个数无关，能够提高方法的运行效率，以便应用在实时目标跟踪的场景，实时性强。
11.在一种可能的实现方式中，目标的遮挡信息包括目标的遮挡比例和所述目标的遮挡区域信息；在这种情况下，根据目标的属性信息，确定提取特征点的中心位置，包括：获取提取特征点的初始中心位置，并且根据遮挡比例与调整距离的对应关系，确定目标的遮挡比例对应的调整距离，根据提取特征点的初始中心位置、该目标遮挡比例对应的调整距离和与遮挡区域信息对应方向的相反方向来确定出提取特征点的中心位置。该方式中，将提取的特征点的初始中心位置调整至更靠近未被遮挡部分的中心的位置，从而使提取的特征点更多的分布在未被遮挡的区域，有利于提高目标跟踪的准确性。
12.在一种可能的实现方式中，根据目标的属性信息，确定提取特征点的中心位置，包括：获取提取特征点的初始中心位置；根据目标的航向角确定目标的特征区域；根据提取特征点的初始中心位置、预设的调整距离和特征区域的中心的方向，确定提取特征点的中心位置。其中，特征区域为除背景区域外，与预设的特征信息匹配的区域。该方式中，可以通过航向角能确定出目标的朝向，根据目标的朝向可以确定目标特征明显的区域，进而可以调整提取的特征点的中心位置靠近目标的特征更明显的区域的中心的位置，使得特征点可以分布在目标的特征比较明显的区域，有利于提高目标跟踪的精度。
13.在一种可能的实现方式中，根据目标的属性信息，确定提取的特征点分布在目标的检测区域中各个区域的密集程度，包括：根据所述目标的属性信息，确定提取的特征点分布在所述目标的检测区域中各个区域的密集程度；根据所述提取的特征点分布在所述目标的检测区域中各个区域的密集程度，确定提取模型。该方式中，根据目标的检测区域中各个区域的密集程度来确定出模型的参数，从而确定出包含确定出的参数的提取模型。从而能够确定出提取模型能够在特征点总个数一定的情况下，提取的特征点在目标的中心所在的区域分布更密集，在其他区域分布得更分散和稀疏，从而能够保证目标跟踪的效果。并且，通过模型来提取特征点运行效率高，实时性强。
14.在一种可能的实现方式中，根据目标的属性信息，确定提取的特征点分布在目标的检测区域中各个区域的密集程度，包括：获取提取的特征点分布在目标的检测区域中各个区域的初始密集程度，根据类别信息与调整参数的对应关系，确定目标的类别信息对应的第一调整参数，进而根据提取的特征点分布在目标的检测区域中各个区域的初始密集程度和目标的类别信息对应的第一调整参数，由第一调整参数确定出提取的特征点分布在目标的检测区域中各个区域的密集程度。该方式中，不同类别的目标有不同的特征点的分布，以满足不同类别信息的目标的需求；不同类别信息确定出的调整参数不同，从而得到的提取模型不同，保证了不同的类别信息的目标的跟踪精度。
15.在一种可能的实现方式中，根据目标的属性信息，确定提取的特征点分布在目标的检测区域中各个区域的个数；根据提取的特征点分布在目标的检测区域中各个区域的个数，确定提取模型。该方式中，特征点的总个数一定时，进而可以根据不同的类别的目标进行各个区域中特征点个数的设置，以满足不同种类别的目标的跟踪的需求；通过模型来提
取特征点，运行效率高，实时性强。
16.在一种可能的实现方式中，根据目标的属性信息，确定提取的特征点分布在所述目标的检测区域中各个区域的个数，包括：获取提取的特征点分布在目标的检测区域中各个区域的初始个数；根据类别信息与调整参数的对应关系，确定目标的类别信息对应的第二调整参数；根据提取的特征点分布在目标的检测区域中各个区域的初始个数和目标的类别信息对应的第二调整参数，确定提取的特征点分布在目标的检测区域中各个区域的个数。该方式中，通过类别信息对应的第二调整参数来确定目标的检测区域中各个区域中特征点个数，能够让本技术的方法适应于不同的类型信息的目标跟踪的场景，适用性广；并且可以使在目标的中心所在的区域分布的特征点个数更多，在其他的区域分布的特征点个数更少，使得特征点的分布更准确，提高了目标跟踪的精度。
17.在一种可能的实现方式中，根据特征点集确定第二图像中目标的第二特征点集，可以是进行两次光流估计，分布是前向估计和反向估计：根据金字塔光流算法对第一特征点集中的所有特征点进行前向估计，在第二图像中确定第一特征点集中每一个特征点分别对应的特征点，得到第三特征点集；根据金字塔光流算法对第三特征点集中的所有特征点进行反向估计，在第一图像中确定第三特征点集中每一个特征点分别对应的特征点，得到第四特征点集；根据第一特征点集、第三特征点集和第四特征点集，确定第二特征点集。该方式中，用反向估计出的特征点集去筛选出前向估计中因为光流估计误差较大的特征点，能够得到估计出的精确度更高的特征点集，达到提高目标跟踪准确性的目的。
18.在一种可能的实现方式中，根据第一特征点集、第三特征点集和第四特征点集，得到第二特征点集，包括：确定第一特征点集中每一个特征点与第四特征点集中对应的特征点之间的距离；去除第三特征点集中距离大于预设阈值对应的特征点，得到第二特征点集。该方式中，由于距离越大，光流估计出的误差越大。因此，去除掉存在较大误差的特征点得到第二特征点集，能够减小特征点在前向估计和反向估计时产生的误差，有利于提高了跟踪的准确性。
19.在一种可能的实现方式中，根据第二特征点集确定目标在第二图像中的位置区域，包括：根据距离与权重的映射关系，确定第二特征点集中每个特征点对应的距离映射的权重；根据第二特征点集中每个特征点对应的距离映射的权重和目标在第一图像中的检测区域，确定目标在第二图像中的位置区域。该方式中，当计算出反向估计得到的第四特征点集与第一图像中的第一特征点集之间的对应特征点之间的距离越大，则误差越大，因此，可以设置距离越大时，映射的权重越小，从而能够提高确定目标在第二图像中的位置区域更加准确性，减小因为前向估计和反向估计过程中产生的误差。
20.在一种可能的实现方式中，根据第二特征点集中每个特征点对应的权重和目标在第一图像中的检测区域，确定目标在第二图像中的位置区域，包括：根据第二特征点集中每个特征点的位置和对应的权重，确定第二图像中目标的中心位置；确定检测区域的尺寸和形状；根据第二图像中目标的中心位置、检测区域的尺寸和形状，确定目标在第二图像中的位置区域。该方式中，用加权平均的方式确定第二图像中目标的中心位置，并假定目标在相邻两帧中检测区域的尺寸和形状是不会改变的，根据第二图像中目标的中心位置、目标的检测区域的尺寸和形状确定目标的位置区域。能够在进行第二图像的下一帧图像的目标跟踪时，使用精准度更高的位置区域对目标进行跟踪，从而能够持续优化目标跟踪的准确性
和稳定性。
21.在一种可能的实现方式中，将第一图像输入至预设的目标检测模型，得到检测结果，检测结果包括目标的检测区域和目标的属性信息。该方式中，使用预设的目标检测模型可以提高整个算法运行的效率，能够尽可能地满足实时性的要求。
22.第二方面，本技术实施例一种目标跟踪装置，该装置可包括：
23.检测单元，用于对第一图像中的目标进行检测，得到所述目标的检测区域和所述目标的属性信息；第一确定单元，用于根据所述目标的属性信息确定提取模型；第二确定单元，用于根据所述提取模型确定第一特征点集；所述第一特征点集分布在所述目标的检测区域内，所述检测区域包括第一区域和除所述第一区域之外的第二区域，所述第一区域中所述目标的特征点个数大于所述第二区域中所述目标的特征点个数；第三确定单元，用于根据所述第一特征点集确定第二图像中所述目标的第二特征点集，所述第二图像为所述第一图像的下一帧图像；第四确定单元，用于根据所述第二特征点集确定所述目标在所述第二图像中的位置区域。
24.在一种可能的实现方式中，所述目标的属性信息包括所述目标的遮挡信息、所述目标的航向角、所述目标的类别信息中的一种或多种。
25.在一种可能的实现方式中，所述第一确定单元，具体用于：根据所述目标的属性信息，确定提取特征点的中心位置；根据所述提取特征点的中心位置，确定提取模型。
26.在一种可能的实现方式中，所述目标的遮挡信息包括所述目标的遮挡比例和所述目标的遮挡区域信息；所述第一确定单元，具体用于：获取提取特征点的初始中心位置；根据遮挡比例与调整距离的对应关系，确定所述目标的遮挡比例对应的调整距离；根据所述提取特征点的初始中心位置、所述目标的遮挡比例对应的调整距离和所述遮挡区域信息对应方向的反方向，确定提取特征点的中心位置。
27.在一种可能的实现方式中，所述第一确定单元，具体用于：获取提取特征点的初始中心位置；根据所述目标的航向角确定所述目标的特征区域，所述特征区域为除背景区域外，与预设的特征信息匹配的区域；根据所述提取特征点的初始中心位置、预设的调整距离和所述特征区域的中心的方向，确定提取特征点的中心位置。
28.在一种可能的实现方式中，所述第一确定单元，具体用于：根据所述目标的属性信息，确定提取的特征点分布在所述目标的检测区域中各个区域的密集程度；根据所述提取的特征点分布在所述目标的检测区域中各个区域的密集程度，确定提取模型。
29.在一种可能的实现方式中，所述第一确定单元，具体用于：获取提取的特征点分布在所述目标的检测区域中各个区域的初始密集程度；根据类别信息与调整参数的对应关系，确定所述目标的类别信息对应的第一调整参数；根据提取的特征点分布在所述目标的检测区域中各个区域的初始密集程度和所述目标的类别信息对应的第一调整参数，确定所述提取的特征点分布在所述目标的检测区域中各个区域的密集程度。
30.在一种可能的实现方式中，所述第一确定单元，具体用于：根据所述目标的属性信息，确定提取的特征点分布在所述目标的检测区域中各个区域的个数；根据所述提取的特征点分布在所述目标的检测区域中各个区域的个数，确定提取模型。
31.在一种可能的实现方式中，所述第一确定单元，具体用于：获取提取的特征点分布在所述目标的检测区域中各个区域的初始个数；根据类别信息与调整参数的对应关系，确
定所述目标的类别信息对应的第二调整参数；根据提取的特征点分布在所述目标的检测区域中各个区域的初始个数和所述目标的类别信息对应的第二调整参数，确定所述提取的特征点分布在所述目标的检测区域中各个区域的个数。
32.在一种可能的实现方式中，所述第三确定单元，具体用于：根据金字塔光流算法对所述第一特征点集中的所有特征点进行前向估计，在所述第二图像中确定所述第一特征点集中每一个特征点分别对应的特征点，得到第三特征点集；根据所述金字塔光流算法对所述第三特征点集中的所有特征点进行反向估计，在所述第一图像中确定所述第三特征点集中每一个特征点分别对应的特征点，得到第四特征点集；根据所述第一特征点集、所述第三特征点集和所述第四特征点集，确定所述第二特征点集。
33.在一种可能的实现方式中，所述第三确定单元，具体用于：确定所述第一特征点集中每一个特征点与所述第四特征点集中对应的特征点之间的距离；去除所述第三特征点集中所述距离大于预设阈值对应的特征点，得到所述第二特征点集。
34.在一种可能的实现方式中，所述第四确定单元，具体用于：根据距离与权重的映射关系，确定所述第二特征点集中每个特征点对应的距离映射的权重；根据所述第二特征点集中每个所述特征点对应的距离映射的权重和所述目标在所述第一图像中的检测区域，确定所述目标在所述第二图像中的位置区域。
35.在一种可能的实现方式中，所述第四确定单元，具体用于：根据所述第二特征点集中每个所述特征点的位置和对应的权重，确定所述第二图像中目标的中心位置；确定所述检测区域的尺寸和形状；根据所述第二图像中目标的中心位置、所述检测区域的尺寸和形状，确定所述目标在所述第二图像中的位置区域。
36.在一种可能的实现方式中，所述检测单元，具体用于：将所述第一图像输入至预设的目标检测模型，得到检测结果，所述检测结果包括所述目标的检测区域和所述目标的属性信息。
37.第三方面，本技术实施例还提供一种计算机设备，该计算机设备可以包括存储器和处理器，所述存储器用于存储支持设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面任一项所述的方法。
38.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面任一项所述的方法。
39.第五方面，本技术实施例还提供了一种计算机程序，所述计算机程序包括计算机软件指令，所述计算机软件指令当被计算机执行时使所述计算机执行如第一方面或第二方面任一项所述的任一种光流估计方法。
40.第六方面，本技术还提供一种芯片，所述芯片用于实现上述第一方面或者第一方面的任一种可能的设计中所述的方法。
附图说明
41.图1是一种图像金字塔的结构示意图。
42.图2是本技术实施例提供的一种目标跟踪系统架构示意图。
43.图3是本技术实施例提供的一种图目标跟踪方法的流程示意图。
44.图4a是本技术实施例提供的一种目标跟踪方法的应用场景示意图。
45.图4b是本技术实施例提供的一种第一图像的示意图。
46.图5是是本技术实施例提供的一种二维高斯分布的模型示意图。
47.图6a是本技术实施例提供的一种前向估计和反向估计的示意图。
48.图6b是本技术实施例提供的一种位置区域的确定示意图。
49.图7a是本技术实施例提供的一种根据期望调整特征点的中心位置的示意图。
50.图7b是本技术实施例提供的一种根据车辆航向角调整特征点的中心位置的示意图。
51.图8a是本技术实施例提供的一种根据目标的特征点分布在不同区域的密集程度确定提取模型的示意图。
52.图8b是本技术实施例提供的另一种根据目标的特征点分布在不同区域的密集程度确定提取模型的示意图。
53.图8c是本技术实施例提供的又一种根据不同区域的特征点个数来确定提取模型确定提取模型的示意图。
54.图8d是本技术实施例提供的再一种根据不同区域的特征点个数来确定提取模型确定提取模型的示意图。
55.图9是本技术实施例提供的一种目标跟踪装置的结构示意图。
56.图10是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
57.下面结合附图对本技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
58.本技术的说明书以及附图中的术语“第一”和“第二”等是用于区分不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。此外，本技术的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一些列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。需要说明的是，本技术实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方法不应被解释为比其他实施例或设计方案更优地或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。在本技术实施例中，“a和/或b”表示a和b，a或b两个含义。“a，和/或b，和/或c”表示a、b、c中的任一个，或者，表示a、b、c中的任两个，或者，表示a和b和c。下面结合附图，对本技术中的技术方案进行描述。
59.首先，对本技术中的部分用语进行解释说明，以便于本领域技术人员理解。
60.1、特征点集
61.特征点集也可以描述为特征点的集合。为从图像中筛选出来用于目标跟踪的像素点的集合，其中，某个特征点也可以代表该像素点所在图像位置中的灰度值。
62.应用在本技术中，根据提取模型确定第一特征点集。示例性的，以提取模型为截断
高斯模型为例，则特征点集为从图像中提取到满足高斯分布的多个像素点的集合。其中，每个特征点携带特征点所在图像的位置，以及该特征点对应的像素点的灰度值。
63.2、金字塔光流算法
64.光流，是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧图像之间的相关性来找到上一帧图像跟当前帧图像之间存在的对应关系，从而计算出相邻帧图像之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、或者相机的运动、或者两者的共同运动所产生的。需要说明的是，本技术实施例的金字塔光流算法通过估计两幅图像之间的目标的光流来实现目标跟踪，可以应用于无人驾驶、运动检测、动作捕获与识别、增强现实(augmented reality，ar)等领域。
65.光流估计算法，本技术所使用的光流估计算法是稀疏光流估计算法(lucas-kanade method，lk)是基于三个基本假设构建光流方程，其中，三个基本假设为：
66.(1)亮度恒定：图像中物体的像素亮度在连续帧之间不会发生变化，即图像的像素看起来在帧到帧移动是不发生改变，对于灰图像这意味着像素的灰度值不会随着帧的跟踪改变。
67.(2)空间一致性：相邻像素具有相似的运动，即当前帧相邻的像素在下一帧应该也是相邻的。
68.(3)短距离(短时)运动：相邻帧之间的时间足够短，物体运动较小。即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移要比较小。
69.由此，可以构建出光流方程如公式1.1所示：
70.i(x，y，t)＝i(x+dx，y+dy，t+dt)
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式1.1
71.其中，i(x，y，t)是t时刻图像中在(x，y)位置的像素点的灰度值。通过一阶泰勒将公式1.1的i(x+dx，y+dy，t+dt)在(x，y，t)展开如公式1.2所示：
[0072][0073]
由此可得如公式1.3所示：
[0074][0075]
记u和v即为所要求解的该像素点在x方向上和y方向上的光流。其中，为像素灰度空间的微分，为像素坐标点的时间灰度微分。记则可以将公式1.3简写为矩阵形式如公式1.4所示：
[0076][0077]
由前述空间一致性的假设，对于该点周围的多个点，均可以构建光流方程。简写成矩阵形式如公式1.5所示：
[0078][0079]
由于上述公式1.4中包含两个未知数(u和v)，因此，通过多个点的线性方程，可以使用最小二乘法求解也可以迭代求解，得到u和v。
[0080]
由于光流算法要求相邻帧之间的时间足够短，物体运动较小。当物体运动较大时，即物体运动较快时，基本假设不成立，使得最终求解出的光流的值具有较大的误差。因此，可以结合图像金字塔，将原本的大运动缩减为满足光流的基本假设的小运动，再进行光流估计。
[0081]
图像金字塔，是一个图像集合，集合中所有的图像都源于同一个原始图像，而且是通过对原始图像连续降采样获得。图像降采样，也可以描述成降采样、图像下采样、下采样、缩小图像。通过对图像进行降采样，可以缩小图像的尺寸。例如，假设某一帧图像的大小为m*n，通过对该图像进行s倍降采样，可以使得图像a缩小s倍，也即：图像a的长和宽同时缩小s倍。那么，经过降采样之后的图像的大小为(m/s)*(n/s)。当图像尺寸被缩小，物体运动就能缩小，因此对足够小的图像就可以使用光流估计算法。需要说明的是，图像金字塔用于对灰度图像进行处理。若获取到的第一图像和第二图像为彩色图像，则可以将第一图像和第二图像转化为灰度图像，根据转化后的图像构建图像金字塔。
[0082]
请参阅图1，图1是一种图像金字塔的结构示意图。如图1所示，有两个图像金字塔，其中，左边的图像金字塔为第一图像的图像金字塔，右边的图像金字塔为第二图像的图像金字塔，第二图像为第一图像的下一帧图像。在两个图像金字塔的底层为原始尺寸的图像，即i0为原始尺寸的图像。每向上一层的图像都是由下一层的图像进行2倍降采样得到的，即图像i1的宽度和高度均为i0的一半，以此类推，则依次可以得到i0，i1，i2，...，i
l
，...，i
n-1
的图像序列。在图像序列中，第l层图像与上一层图像(l-1层)的关系可以如公式1.6所示：
[0083][0084]
其中，对于在i0中的特征点p(x，y)，在l层图像i
l
有p
l
(x，y)与p对应，其中x
l
＝x/2
l
，y
l
＝y/2
l
。为了避免图像中包含的信息大量丢失，图像金字塔的层数一般不超过4层，如图1所示的4层图像金字塔(i0，i1，i2，i3)。
[0085]
在金字塔光流算法中，记第l层的初始光流为顶层i
n-1
的初始光流g
n-1
＝[0 0]
t
。则相邻两层之间的光流计算可以如公式1.7所示：
[0086]gl-1
＝2(g
l
+d
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1.7
[0087]
其中，d
l
为相邻两帧图像(第一图像和第二图像)i
t-1
和i
t
在第l层经光流估计算法计算得到的光流增量。以此类推，从顶层向下层开始迭代，直到计算到底层，则底层的光流可以是如公式1.8所示：
[0088]
[0089]
将计算出的底层的光流与第一图像i
t-1
中特征点所在的位置相加，得到该特征点在第二图像i
t
中的光流估计的位置。
[0090]
为了便于理解本技术实施例，下面先对本技术实施例所基于的其中一种目标跟踪系统架构进行描述。目标跟踪系统可以部署在任意一个涉及目标跟踪的计算机设备中。例如，可以部署在云环境上的一个或多个计算设备(例如中心服务器)，或者边缘环境中的一个或多个计算设备(边缘计算设备)上，边缘计算设备可以为服务器。其中，云环境是指云服务提供商拥有的，用于提供计算、存储、通信资源的中心计算设备集群，云环境中具备较多的存储资源和计算资源。边缘环境是指在地理位置上距离原始数据采集设备较近的，用于提供计算、存储、通信资源的边缘计算设备集群。本技术中的目标跟踪系统还可以部署在一个或多个终端设备上，例如，目标跟踪系统可以部署在一个终端设备上，该终端设备具有一定的计算、存储和通信资源，可以是计算机、车载终端等。
[0091]
请参阅图2，图2是本技术实施例提供的一种目标跟踪系统架构示意图。如图2所示，目标跟踪系统包括云端和智能车辆20。智能车辆20上部署有目标跟踪装置201和采集装置202。目标跟踪装置201可以通过采集装置202获取交通道路上的图像，并且将采集到的图像存储在本地或者存储在云端。进一步的，目标跟踪装置201根据获取到的交通道路上的图像，对相邻两帧图像中的交通道路上的行人、车辆等目标进行跟踪，确定目标在每一帧图像中的位置区域，得到每一帧图像的目标跟踪结果。并且目标跟踪装置201还可以将每一帧图像的目标跟踪结果存储在本地和云端。
[0092]
其中，采集装置202用于以自身视角采集交通道路的图像。采集装置202可以包括但不限于摄像机、红外相机、激光雷达等。
[0093]
可以理解的是，图2中的目标跟踪系统架构用于举例，并不构成对本技术实施例的限定。
[0094]
本技术实施例提供的目标跟踪方法可以跟踪目标在两幅图像之间的位置区域的变化。本技术所描述的目标跟踪方法，可以应用于无人驾驶、运动检测、动作捕获与识别、增强现实(augmented reality，ar)等诸多领域，以实现特定功能。
[0095]
示例性的，应用场景为无人驾驶场景。
[0096]
无人驾驶场景是指：智能车辆可以依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。智能车辆在行驶的过程中，智能车辆中部署的目标跟踪装置可以实时的获取到采集装置采集到的交通道路上的图像。例如，可以获取到行驶在当前智能车辆前方的车辆的图像。进而从获取到的连续图像中选取相邻的两帧图像，对选取的图像中的目标进行跟踪，得到目标在两幅图像之间的位置区域的变化结果。然而，目前的目标跟踪在获取到连续的两帧图像后，会在前一帧图像中按照均匀分布的方式选取特征点，并进行目标跟踪。但是，均匀分布选取的特征点在一定程度上会选取到背景区域的特征点，导致目标跟踪的精度低。
[0097]
此时，可以对前一帧图像中的目标进行检测，得到目标的属性信息，然后根据目标的属性信息确定提取模型的参数，从而确定提取模型；并用提取模型在第一图像中提取特征点，使得特征点更多分布在目标的区域，从而在目标跟踪时，提高跟踪的精度。进而智能车辆能根据目标跟踪的结果生成相应的驾驶指令。
[0098]
示例性的，智能车辆中的目标跟踪装置可以从第一幅图像中检测出前方的目标，
例如，智能车辆前方的行人、轿车、自行车等。根据检测结果中的属性信息能够确定出提取特征点的中心位置、密集程度、特征点个数等，从而根据中心位置、密集程度、特征点个数可以确定提取模型的参数，得到包含特定参数的提取模型。并用特定参数的提取模型提取特征点进行目标跟踪，得到第二幅图像中目标所在的位置区域。进一步地，对第二幅图像中目标所在的位置区域进行分析和处理，生成无人驾驶的指令，例如加速、减速、制动、转弯等，以保证该智能车辆能够平稳安全的行驶。
[0099]
需要说明的是，上述所描述的应用场景用于举例，并不构成对本技术实施例的限定。
[0100]
基于图2提供的目标跟踪系统的架构，结合本技术中提供的目标跟踪方法，对本技术中提出的技术问题进行具体分析和解决。请参阅附图3，图3是本技术实施例提供的一种目标跟踪方法的流程示意图。该方法可以包括以下步骤s301-步骤s305。
[0101]
步骤s301、目标跟踪装置对第一图像中的目标进行检测，得到上述目标的检测区域和所述目标的属性信息。
[0102]
目标，也可以描述为对象，为一幅图像中的视觉目标。示例性的，目标可以是图像中的车辆、人、动物等等。在本技术实施例中，目标可以在第一图像中的车辆，也可以是在第一图像中的行人等。
[0103]
具体的，目标跟踪装置可以获取第一图像，第一图像可以是拍摄到的图像，也可以是从云端获取到的图像。并对第一图像中的目标进行检测。其中，对第一图像中的目标进行检测是使用预设的目标检测模型检测，得到检测结果。预设的目标检测模型可以是基于区域的卷积神经网络模型(region-based convolutional neural network，rcnn)，也可以是单次检测器模型(single shot multibox detector，ssd)，还可以是单次检测模型(you only look once，yolo),这里不做限定。通过预设的检测模型检测之后，得到的检测结果包括目标的检测区域和目标的属性信息。目标的检测区域可以是在第一图像中包括目标的矩形框，目标的属性信息可以包括目标的遮挡信息、目标的航向角和目标的类别信息等。
[0104]
步骤s302、目标跟踪装置根据上述目标的属性信息确定提取模型。
[0105]
在一种可能的实现方式中，目标的属性信息可以包括目标的遮挡信息，目标的遮挡信息包括目标的遮挡比例和目标的遮挡区域信息。请一并参阅图4a，图4a是本技术实施例提供的一种目标跟踪的应用场景示意图。如图4a所示，智能车辆401中的目标跟踪装置可以获取到采集装置采集的交通道路上的图像，并对获取到的图像进行检测。例如，智能车辆401可以获取到行驶在智能车辆401前方的车辆402的图像，并对获取到的图像中的车辆402进行检测。请一并参阅图4b，图4b是本技术实施例提供的一种第一图像的示意图。如图4b所示，第一图像可以包括行驶在智能车辆401的前方的车辆402。可选的，第一图像还可以包括车辆402被遮挡的区域和车辆402的检测区域，例如，图4b中阴影部分为车辆402被遮挡的部分，20％标识检测出车辆402被遮挡的比例，围绕车辆402的黑色的矩形框为车辆402的检测区域。
[0106]
其中，在目标跟踪装置中可以存储有预设的提取模型，提取模型可以是高斯模型、韦伯模型、三角形模型、莱斯模型、拉普拉斯模型等。提取模型中包含预设的初始参数，初始参数可以确定提取特征点的初始中心位置、特征点在目标的检测区域中各个区域的密集程度和特征点个数。
[0107]
示例性的，为了描述方便，本技术以一维高斯模型为例进行讲解，需要说明的是，在实际使用过程中使用二位高斯模型提取特征点，如图5所中的二维高斯分布的模型所示。其中，一维高斯模型的函数可以如公式4.1所示：
[0108][0109]
其中，公式4.1中的φ(
·
)为标准正态分布的累积分布函数；a,b为范围参数；μ为期望；σ2为方差。需要说明的是，范围参数a,b相当于高斯模型的截断值，用于确定提取特征点在目标的检测区域中。
[0110]
下面以一维高斯分布为例对提取模型的两个参数进行介绍。
[0111]
参数一：期望μ
[0112]
高斯模型中的期望μ用于确定模型的中心位置。例如，在一维高斯分布模型中，正态分布的曲线的中心是由期望μ确定的，正态分布的曲线关于期望μ对称。同理，二维高斯模型中的期望也是用于确定模型的中心所在的位置，即提取的特征点的中心位置。在本技术中，通过对目标的属性信息中的目标的遮挡信息和目标的航向角，可以确定出提取特征点的中心位置。进而将模型的中心的位置确定为特征点的中心位置，得到模型的期望，从而得到包含确定的期望的提取模型。
[0113]
在一种可能的实现方式中，提取模型包括初始的期望，即提取特征点的初始中心位置，示例性的，提取特征点的初始中心位置可以是目标的检测区域的中心。其中，目标的属性信息包括目标的遮挡信息，目标的遮挡信息可以包括目标的遮挡比例和目标的遮挡区域的信息。为了提高目标跟踪的精度，可以将提取特征点的中心位置从初始的中心位置向未被遮挡的区域的方向进行调整，得到新的提取特征点的中心位置，从而确定出提取模型的期望，得到包含确定的期望的提取模型。使用包含确定的期望的提取模型可以使更多的特征点分布在未被遮挡的区域，提高目标跟踪的精度。对于根据遮挡信息确定提取模型，可参见实施例1的具体描述。
[0114]
在一种可能的实现方式中，目标的属性信息包括目标的航向角。目标的航向角可以用于表示目标的朝向。可以理解的是，目标在不同的朝向有不同的特征信息，特征信息可以是目标在图像中具有明显特征的信息，例如，当目标是车辆时，特征信息可以是车头、车身以及车尾。若第一图像中显示该车辆的车头，则可以把车头的区域作为特征区域；当第一图像中显示该车辆的部分车尾和部分车身，则可以将显示的部分车身或者显示的部分车尾作为特征区域。将目标的特征比较明显的区域作为特征区域，可以将提取模型的中心位置从初始的中心位置向目标的特征区域的中心的方向进行调整，得到确定的期望，从而得到包含确定的期望的提取模型。对于根据航向角确定提取模型，可参见实施例2的具体描述。
[0115]
参数二：方差σ2[0116]
高斯模型中的方差σ2用于确定模型的形状。例如在一维高斯分布模型中，正态分布的曲线的波形的平缓/尖锐的程度，是由方差σ2的值来确定的，方差σ2的值越大，则正态分布的曲线越平缓，方差σ2的值越小，则正态分布的曲线越尖锐。同理，二维高斯模型中方差也是用于确定如图5的模型的尖锐或者矮胖的程度。在本技术实施例中，通过对目标的属性信息中的对应的第一调整参数和第二调整参数，可以确定出提取特征点分布在各个区域的密集程度和特征点的个数。进而用第一调整参数和/或第二调整参数来确定提取模型的方
差，从而可以确定出包含确定出的方差的提取模型。对于根据特征点分布在不同区域的密集程度来确定提取模型，可参见实施例3的具体描述。对于根据特征点分布在不同区域的个数来确定提取模型，可参见实施例4的具体描述。
[0117]
步骤s303、目标跟踪装置根据上述提取模型确定第一特征点集，上述第一特征点集分布在上述目标的检测区域内，上述检测区域包括第一区域和除上述第一区域之外的第二区域，上述第一区域中上述目标的特征点个数大于上述第二区域中上述目标的特征点个数。
[0118]
具体的，目标跟踪装置根据提取模型确定第一特征点集，以高斯模型为例，可以是在第一图像中随机获取一个像素点的坐标，判断该像素点的坐标是否满足高斯模型对应的函数，若满足，则将该点确定为特征点，然后再随机获取一个像素点的坐标，再次判断；若该像素点的坐标不满足高斯模型对应的函数，则重新随机获取一个像素点的坐标进行判断，直到满足高斯模型对应的函数的特征点个数为设定的总个数。其中，通过上述包含特定期望和特定的方差的提取模型提取到的特征点，分布在目标的检测区域中的第一区域和第二区域，特征点在第一区域中目标的特征点个数大于第二区域中目标的特征点个数。
[0119]
步骤s304、目标跟踪装置根据上述第一特征点集确定第二图像中上述目标的第二特征点集，上述第二图像为上述第一图像的下一帧图像。
[0120]
在一种可能的实现方式中，目标跟踪装置估计第一特征点集中每一个特征点的光流。光流估计包括前向估计和反向估计。前向估计为使用金字塔光流算法根据上一帧图像对下一帧图像中的目标进行估计。例如，第一图像为第二图像的上一帧图像为例，前向估计为估计第一图像中的目标在第二图像中的位置区域。反向估计为使用金字塔光流算法根据下一帧图像对上一帧图像中的目标进行估计。例如，估计第二图像中的目标在第一图像中的位置区域。可以一并参阅图6a，图6a是本技术实施例提供的一种前向估计和反向估计的示意图。如图6a所示，左边的粗线代表第一图像，右边的粗线代表第二图像，第一图像为第二图像的上一帧图像。对在第一图像中提取到的第一特征点集中的每一个特征点使用金字塔光流算法进行前向估计，得到第一图像中第一特征点集中每一个特征点分别对应在第二图像中的位置的第三特征点集。然后，对在第二图像中提取到的第三特征点集中的每一个特征点进行反向估计，得到第二图像中第三特征点集中每一个特征点分别对应在第一图像中的位置的第四特征点集。
[0121]
进一步地，为了减小因为金字塔光流算法在光流估计过程中产生的误差，可以去除掉存在较大误差的特征点，目标跟踪装置可以分别计算第一特征点集中的每一个特征点对应的在第四特征点集中的特征点之间的距离。其中计算距离可以通过欧式距离、曼哈顿距离和余弦距离等计算方式来计算两个特征点之间的距离。
[0122]
以欧式距离为例，在第一特征点集中的特征点a(x
i,1
，y
i,1
)，对应在第四特征点集中的特征点b(x
i,2
，y
i,2
)，则特征点a和特征点b之间的距离di的计算可以如公式4.2所示：
[0123][0124]
在第三特征点集中，即第二图像中的特征点集中去除di大于预设阈值的特征点，得到第二特征点集。具体的，目标跟踪装置可以记录大于预设阈值的特征点的索引，放入索引集合中，并剔除在第三特征点集中记录中的索引的特征点，得到第二特征点集。
[0125]
可以理解的是，剔除之前和剔除之后，第二特征点集中每一个特征点都分别与第
一特征点集和第四特征点集中每一个特征点一一对应。
[0126]
步骤s305、目标跟踪装置根据上述第二特征点集确定上述目标在上述第二图像中的位置区域。
[0127]
在一种可能的实现方式中，为了减少光流估计的误差，目标跟踪装置可以获取距离与权重的映射关系。可以理解的是，当计算出的距离越大，则误差越大，因此，可以构建一个减函数来计算权重，可以满足距离越小，权重越大的需求。在本技术实施例中，距离和权重的映射关系可以满足公式4.3所示的减函数的映射关系：
[0128][0129]
其中，wi为第i个特征点的权重，di为第i个特征点的距离。
[0130]
进一步的，可以一并参阅图6b，图6b是本技术实施例提供的一种位置区域的确定示意图。如图6b所示，7个圆圈表示7个特征点，每一个特征点的包含该特征点的坐标和对应的权重，通过加权平均计算得到第二图像中目标的中心位置，即图6b中五角星的位置。进一步的，目标跟踪装置根据第一图像中目标的检测区域的尺寸和形状，确定在第二图像中目标的位置区域。可以是将第二图像中目标的中心位置为中心，以确定出的第一图像中的检测区域的尺寸和形状的区域确定为第二图像中目标的位置区域。
[0131]
下面对实施例1-实施例4进行详细的描述。
[0132]
实施例1-根据遮挡信息确定提取模型
[0133]
如图4b所示，遮挡信息中可以包括遮挡比例(20％)和遮挡区域信息。遮挡区域信息，可以是左边被遮挡，也可以是右边被遮挡。需要说明的是，在本技术实施例提供的场景中，遮挡区域信息可以包括两个方向的信息：左边方向和右边方向。如图4b所示，车辆的左边被遮挡一部分。为了使更多的特征点分布在目标未被遮挡的区域，目标跟踪装置可以将提取特征点的中心位置确定为未被遮挡区域的中心，也可以是朝着未被遮挡区域中心的方向调整初始特征点的中心位置。然后根据调整后的提取特征点中心位置来确定模型的期望，得到包含确定出的期望的提取模型。
[0134]
具体的，目标跟踪装置可以根据遮挡比例与调整距离的对应关系，确定目标的遮挡比例对应的调整距离；并且根据目标的遮挡区域信息对应的反方向，确定提取特征点的中心位置的调整方向，进而根据调整距离和调整方向确定提取模型提取特征点的中心位置。其中，调整距离可以是人为设置的与遮挡比例对应的数值，也可以是将提取特征点的中心位置调整至检测区域内目标未被遮挡部分的中心所对应的调整距离的数值。
[0135]
进一步地，目标的遮挡比例与期望的调整数值有一一对应的关系，提取特征点的中心位置的调整方向与期望的调整符号有对应关系，则目标跟踪装置可以根据初始期望、期望的调整数值以及期望的调整符号，确定期望。例如，目标的遮挡区域信息对应方向为向左方向时，对应期望的调整数值的符号可以是负号，也可以是正号。当符号是负号时，期望＝初始期望-期望的调整数值；反之，当符号是正号时，期望＝初始期望+期望的调整数值。进而得到包含确定出的期望的提取模型。
[0136]
请一并参阅图7a，图7a是本技术实施例提供的一种根据期望调整特征点的中心位置的示意图。如图7a所示，目标是车辆，初始的中心位置为灰色圆圈所在的位置，即目标检测区域的中心；根据遮挡比例20％可以确定调整距离，即期望的调整数值，可以是如图7a中
的d。调整方向为遮挡区域信息对应方向的相反方向，即图7b中箭头所示的向右方向，得到期望的调整符号，从而得到期望的值，也得到提取特征点的中心位置，即黑色圆圈的位置。从而能够得到包含确定出的期望的提取模型。采用本技术实施例1的方式，可以将提取模型提取特征点的中心位置调整至未被遮挡区域，从而使特征点分布在未被遮挡的区域，使得特征点的分布更准确，提高了目标跟踪的精度。
[0137]
实施例2-根据航向角确定提取模型
[0138]
航向角为目标运动方向与图像水平方向的夹角，航向角的范围为(0
°
，360
°
)。当目标处于不同航向角时，可以在图像中显示不同的特征区域。其中，特征区域中可以是包含目标明显的特征的区域，即是在第一图像中除背景区域以外，与特征信息匹配的区域。
[0139]
当目标是车辆时，车辆的特征区域可以是车头所在的区域、车辆侧面所在的区域、车尾所在的区域。示例性的，当目标是车辆时，车辆的航向角为0
°
或180
°
时，车辆的侧面可以是特征区域；当车辆的航向角为(0
°
，180
°
)范围内时，车尾可以是特征区域；当车辆的航向角为(180
°
，360
°
)范围内时，车头可以是特征区域。可选的，可以根据航向角确定目标的特征信息，进而可以对目标进行识别和检测，得到特征区域。请一并参阅图7b，图7b为本技术实施例提供的一种根据车辆航向角调整特征点的中心位置的示意图。如图7b所示，目标的属性信息中航向角可以是120
°
，则车尾为该车辆比较明显的区域，即特征区域。进而，提取特征点的中心位置可以由目标检测区域的中心，即灰色圆圈的位置，朝特征区域的中心的方向，调整一个预设的距离，为图7b中黑色圆圈的位置。
[0140]
其中，可以根据预设的调整距离确定期望的调整数值，根据特征点提取中心的调整方向确定期望的调整符号。当符号是负号时，期望＝初始期望-期望的调整数值；反之，当符号是正号时，期望＝初始期望+期望的调整数值，进而，得到包括确定出的期望的提取模型。采用本技术实施例2的方式，可以将提取模型提取特征点的中心位置调整至目标特征更明显的区域，使得特征点的分布更合理，提高了目标跟踪的准确性。
[0141]
实施例3-根据特征点分布在不同区域的密集程度来确定提取模型
[0142]
目标跟踪装置在对第一图像检测之后，得到目标的类别信息。例如，类别信息可以包括目标的类别，如车辆、行人、自行车等等。其中，目标的类别信息与第一调整参数有对应关系，第一调整参数可以用于确定提取特征点分布在目标检测区域中各个区域的密集程度。并且可以根据第一调整参数的值来调整初始方差，得到提取模型的方差。需要说明的是，用第一调整参数调整高斯模型的方差，可以是将原始方差修改为第一调整参数，也可以根据第一调整参数来调整高斯模型的方差，得到提取模型的方差。
[0143]
其中，目标的检测区域可以包括第一区域和第二区域。第一区域可以是以目标的检测区域的中心为中心，以检测区域的矩形框的长和宽的10％或者20％的区域。第二区域为目标的检测区域中除第一区域以外的区域。
[0144]
示例性的，请一并参阅图8a和图8b，图8a和图8b均是本技术实施例提供的一种根据目标的特征点分布在不同区域的密集程度确定提取模型的示意图。当目标的类别信息是行人时，目标跟踪装置确定行人对应的第一调整参数，则可以通过第一调整参数确定高斯模型中的方差，进而得到包含确定出的方差的提取模型，如图8a左边所示的高斯模型；用图8a左边所示的高斯模型提取的特征点分布在行人的检测区域中第一区域和第二区域的密集程度可以如图8a右边所示。
[0145]
当目标的类别信息是车辆时，目标跟踪装置通过车辆对应的第一调整参数确定高斯模型中的方差，进而得到包含确定出的方差的提取模型，如图8b左边所示的高斯模型；用图8b左边所示的高斯模型提取车辆的检测区域中第一区域和第二区域中特征点的密集程度，得到如图8b右边所示灰色圆圈的特征点。其中，虚线矩形框为第一区域，第二区域为在目标的检测区域中除第一区域以外的区域，如图8b所示第一区域四周的区域。可见，第一区域的特征点的密集程度大于第二区域的特征点的密集程度。采用本技术实施例3的方式，可以将提取模型提取特征点的在中心区域分布得更密集，在四周区域分布得更分散和稀疏，使用分布在目标中心的区域，减少分布在目标除中心以外的区域和背景区域，提高了目标跟踪的准确性。
[0146]
实施例4-根据特征点分布在不同区域的个数来确定提取模型
[0147]
以一维高斯模型为例，公式4.1中的范围参数a,b是高斯模型的截断参数，用于限制所有特征点在目标的检测区域内。同理，还可以增加两个范围参数来限制目标检测区域中第一区域和第二区域的特征点个数。其中，第一区域可以是以目标的检测区域的中心为中心，以检测区域的矩形框的长和宽的10％或者20％的区域，第二区域则为目标检测区域中除第一区域以外的区域。通过增加的两个范围参数，限制在第一区域内的特征点个数，从而根据总特征点个数和第一区域内特征点的个数，可以限制第二区域内的特征点个数。在范围参数确定的情况下，通过调整高斯模型的方差来调整特征点分布在目标的检测区域中第一区域和第二区域中的特征点个数。
[0148]
示例性的，请一并参阅图8c和图8d，图8c和图8d均是本技术实施例提供的一种根据不同区域的特征点个数来确定提取模型的示意图。当目标的类别信息是行人时，确定行人对应的第二调整参数，则可以通过第二调整参数确定高斯模型中的方差，进而得到包含确定的方差的提取模型，如图8c左边所示的高斯模型。提取的特征点分布在行人的检测区域中第一区域和第二区域的特征点个数可以如图8c右边所示，其中图8c中的虚线框为第一区域，灰色的圆圈为特征点。当目标的类别信息是车辆时，目标跟踪装置确定车辆对应的第一调整参数确定高斯模型中的方差，进而得到包含确定的方差的提取模型，如图8d左边所示的高斯模型；用图8d左边所示的高斯模型提取车辆的检测区域中第一区域和第二区域中特征点，得到如图8d右边所示的灰色圆圈所示的特征点。其中，虚线矩形框为第一区域的区域，第二区域为在第一区域四周的区域。
[0149]
需要说明的是，用第二调整参数调整高斯模型的方差，可以是将原始方差修改为第二调整参数，也可以根据第二调整参数来调整高斯模型的方差。采用本技术实施例4的方式，可以将提取模型提取的特征点更多的分布在目标的中心区域，减少分布在目标的四周区域和背景区域的特征点个数，从而提高了特征点的利用率，也提高了目标跟踪的准确性。
[0150]
上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的相关装置。
[0151]
请参见图9，图9是本技术实施例提供的一种目标跟踪装置的结构示意图，该目标跟踪装置90可以包括检测单元901、第一确定单元902、第二确定单元903、第三确定单元904、第四确定单元905，其中，各个单元的详细描述如下：
[0152]
检测单元901，用于对第一图像中的目标进行检测，得到上述目标的检测区域和上述目标的属性信息；第一确定单元902，用于根据上述目标的属性信息确定提取模型；第二确定单元903，用于根据上述提取模型确定第一特征点集；上述第一特征点集分布在上述目
标的检测区域内，上述检测区域包括第一区域和除上述第一区域之外的第二区域，上述第一区域中上述目标的特征点个数大于上述第二区域中上述目标的特征点个数；第三确定单元904，用于根据上述第一特征点集确定第二图像中上述目标的第二特征点集，上述第二图像为上述第一图像的下一帧图像；第四确定单元905，用于根据上述第二特征点集确定上述目标在上述第二图像中的位置区域。
[0153]
在一种可能的实现方式中，上述目标的属性信息包括上述目标的遮挡信息、上述目标的航向角、上述目标的类别信息中的一种或多种。
[0154]
在一种可能的实现方式中，上述第一确定单元902，具体用于：根据上述目标的属性信息，确定提取特征点的中心位置；根据上述提取特征点的中心位置，确定提取模型。
[0155]
在一种可能的实现方式中，上述目标的遮挡信息包括上述目标的遮挡比例和上述目标的遮挡区域信息；上述第一确定单元902，具体用于：获取提取特征点的初始中心位置；根据遮挡比例与调整距离的对应关系，确定上述目标的遮挡比例对应的调整距离；根据上述提取特征点的初始中心位置、上述目标的遮挡比例对应的调整距离和上述遮挡区域信息对应方向的反方向，确定提取特征点的中心位置。
[0156]
在一种可能的实现方式中，上述第一确定单元902，具体用于：获取提取特征点的初始中心位置；根据上述目标的航向角确定上述目标的特征区域，上述特征区域为除背景区域外，与预设的特征信息匹配的区域；根据上述提取特征点的初始中心位置、预设的调整距离和上述特征区域的中心的方向，确定提取特征点的中心位置。
[0157]
在一种可能的实现方式中，上述第一确定单元902，具体用于：根据上述目标的属性信息，确定提取的特征点分布在上述目标的检测区域中各个区域的密集程度；根据上述提取的特征点分布在上述目标的检测区域中各个区域的密集程度，确定提取模型。
[0158]
在一种可能的实现方式中，上述第一确定单元902，具体用于：获取提取的特征点分布在上述目标的检测区域中各个区域的初始密集程度；根据类别信息与调整参数的对应关系，确定上述目标的类别信息对应的第一调整参数；根据提取的特征点分布在上述目标的检测区域中各个区域的初始密集程度和上述目标的类别信息对应的第一调整参数，确定上述提取的特征点分布在上述目标的检测区域中各个区域的密集程度。
[0159]
在一种可能的实现方式中，上述第一确定单元902，具体用于：根据上述目标的属性信息，确定提取的特征点分布在上述目标的检测区域中各个区域的个数；根据上述提取的特征点分布在上述目标的检测区域中各个区域的个数，确定提取模型。
[0160]
在一种可能的实现方式中，上述第一确定单元902，具体用于：获取提取的特征点分布在上述目标的检测区域中各个区域的初始个数；根据类别信息与调整参数的对应关系，确定上述目标的类别信息对应的第二调整参数；根据提取的特征点分布在上述目标的检测区域中各个区域的初始个数和上述目标的类别信息对应的第二调整参数，确定上述提取的特征点分布在上述目标的检测区域中各个区域的个数。
[0161]
在一种可能的实现方式中，上述第三确定单元904，具体用于：根据金字塔光流算法对上述第一特征点集中的所有特征点进行前向估计，在上述第二图像中确定上述第一特征点集中每一个特征点分别对应的特征点，得到第三特征点集；根据上述金字塔光流算法对上述第三特征点集中的所有特征点进行反向估计，在上述第一图像中确定上述第三特征点集中每一个特征点分别对应的特征点，得到第四特征点集；根据上述第一特征点集、上述
第三特征点集和上述第四特征点集，确定上述第二特征点集。
[0162]
在一种可能的实现方式中，上述第三确定单元904，具体用于：确定上述第一特征点集中每一个特征点与上述第四特征点集中对应的特征点之间的距离；去除上述第三特征点集中上述距离大于预设阈值对应的特征点，得到上述第二特征点集。
[0163]
在一种可能的实现方式中，上述第四确定单元905，具体用于：根据距离与权重的映射关系，确定上述第二特征点集中每个特征点对应的距离映射的权重；根据上述第二特征点集中每个上述特征点对应的距离映射的权重和上述目标在上述第一图像中的检测区域，确定上述目标在上述第二图像中的位置区域。
[0164]
在一种可能的实现方式中，上述第四确定单元905，具体用于：根据上述第二特征点集中每个上述特征点的位置和对应的权重，确定上述第二图像中目标的中心位置；确定上述检测区域的尺寸和形状；根据上述第二图像中目标的中心位置、上述检测区域的尺寸和形状，确定上述目标在上述第二图像中的位置区域。
[0165]
在一种可能的实现方式中，上述检测单元901，具体用于：将上述第一图像输入至预设的目标检测模型，得到检测结果，上述检测结果包括上述目标的检测区域和上述目标的属性信息。
[0166]
需要说明的是，本技术实施例中所描述的目标跟踪装置900中各功能单元的功能可参见上述图3中上述的方法实施例中步骤s301-步骤s305的相关描述，此处不再赘述。
[0167]
请参阅图10，图10是本技术实施例提供的一种计算机设备的结构示意图。如图10所示，该计算机设备1000包括：处理器1001、通信接口1002以及存储器1003，上述处理器1001、通信接口1002以及存储器1003通过内部总线1004相互连接。
[0168]
上述处理器1001可以由一个或者多个通用处理器构成，例如中央处理器(central processing unit，cpu)，或者cpu和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，asic)、可编程逻辑器件(programmable logic device，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)、现场可编程逻辑门阵列(field-programmable gate array，fpga)、通用阵列逻辑(generic array logic，gal)或其任意组合。
[0169]
总线1004可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。上述总线1004可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但不表示仅有一根总线或一种类型的总线。
[0170]
存储器1003可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，ram)；存储器1003也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，rom)、快闪存储器(flash memory)、硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；存储器1003还可以包括上述种类的组合。程序代码可以是用来实现图3所示的目标跟踪方法实施例中以计算设备为执行主体的方法步骤。
[0171]
需要说明的是，本技术实施例中所描述的计算机设备1000中各功能单元的功能可参见上述图3中上述的方法实施例中的步骤s301-步骤s305相关描述，此处不再赘述。
[0172]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序
被处理器执行时，可以实现上述方法实施例中记载的任意一种的部分或全部步骤，以及实现上述图9所描述的任意一个功能模块的功能。
[0173]
本技术实施例还提供了一种计算机程序产品，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。上述所涉及的设备的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。
[0174]
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0175]
应理解，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本技术的范围。
[0176]
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0177]
还应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0178]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0179]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0180]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0181]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0182]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0183]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0184]
本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0185]
本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0186]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。