一种非机动车目标的跟踪方法、装置和电子设备与流程

1.本技术涉及目标检测与定位技术领域，尤其涉及一种非机动车目标的跟踪方法、装置和电子设备。


背景技术：

2.随着城市人口越来越密集，非机动车数量日益增加，对于非机动车的违反交通法规的行为也更加重视。
3.相关技术中，通常是依赖非机动车目标的检测结果进行前后帧的匹配。但是，目前城市非机动车道狭窄，在等红灯或者人群密集时，前后非机动车交叉，非机动车车牌和非机动车很容易被后面的车遮挡导致跟踪目标轨迹丢失，无法保持跟踪连续性，绿灯通行时前后距离拉开时车牌较小无法检测内容，难以与之前的目标对应，导致跟踪效果不好。


技术实现要素：

4.本技术实施例提供一种非机动车目标的跟踪方法、装置和电子设备，用以提高非机动车目标跟踪的连续性、稳定性和准确性。
5.第一方面，本技术一实施例提供了一种非机动车目标的跟踪方法，包括：针对当前帧图像，确定所述当前帧图像中各个目标的检测框信息；按照预设划分规则将所述当前帧图像划分为至少两个跟踪区域；根据所述跟踪区域中包括的检测框的类型，确定所述跟踪区域对应的匹配方式；针对每个所述跟踪区域，基于所述跟踪区域对应的匹配方式，将所述当前帧图像中所述跟踪区域内的目标的检测框信息和上一帧图像中所述跟踪区域内的目标的检测框信息进行匹配；根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
6.第二方面，本技术一实施例提供了一种非机动车目标的跟踪装置，包括：目标检测模块，用于针对当前帧图像，确定所述当前帧图像中各个目标的检测框信息；区域划分模块，用于按照预设划分规则将所述当前帧图像划分为至少两个跟踪区域；匹配方式确定模块，用于根据所述跟踪区域中包括的检测框的类型，确定所述跟踪区域对应的匹配方式；匹配模块，用于针对每个所述跟踪区域，基于所述跟踪区域对应的匹配方式，将所述当前帧图像中所述跟踪区域内的目标的检测框信息和上一帧图像中所述跟踪区域内的目标的检测框信息进行匹配；跟踪模块，用于根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
7.第三方面，本技术一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
8.第四方面，本技术一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
9.本技术实施例具备如下有益效果：由于整个跟踪区域中的，不同位置的不同目标的遮挡情况不同，因此，将当前图像帧的跟踪区域划分为至少两个跟踪区域，再根据每个区域中包括的检测框的类型，确定每个跟踪区域对应的匹配方式。针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配；根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。这样，非机动车密集遮挡场景中利用多目标分区域跟踪，提高目标跟踪连续性、稳定性和准确性。
附图说明
10.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本技术实施例提供的一种非机动车目标跟踪方法的应用场景示意图；图2为本技术一实施例提供的一种非机动车目标的跟踪方法的流程示意图；图3为本技术一实施例提供的一种跟踪区域划分的示意图；图4为本技术一实施例提供的一种目标关联关系确定方法的流程示意图；图5为本技术一实施例提供的一种非机动车目标的跟踪装置的结构示意图；图6为本技术一实施例提供的一种电子设备的结构示意图。
具体实施方式
12.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
13.为了方便理解，下面对本技术实施例中涉及的名词进行解释：交并比：在检测任务中，使用交并比（intersection of union，iou）作为衡量指标，来描述两个框之间的重合度。
14.附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
15.在具体实践过程中，随着城市人口越来越密集，非机动车数量日益增加，对于非机动车的违反交通法规的行为也更加重视。相关技术中，通常是依赖非机动车目标的检测结果进行前后帧的匹配。但是，目前城市非机动车道狭窄，在等红灯或者人群密集时，前后非机动车交叉，非机动车车牌和非机动车很容易被后面的车遮挡导致跟踪目标轨迹丢失，无法保持跟踪连续性，绿灯通行时前后距离拉开时车牌较小无法检测内容，难以与之前的目
标对应，导致跟踪效果不好。导致违反交通法规事件抓拍证据链不完整。
16.为此，本技术提供了一种非机动车目标的跟踪方法，该方法中，针对当前帧图像，提取其中的各个目标的检测框信息（包括人头目标、头肩目标、车体目标和车牌目标中的至少一个），再按照预设划分规则将当前帧图像划分为至少两个跟踪区域，进而可以根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式。这样，针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配。最后，根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。避免了由于遮挡或者等红灯的过程中，仅依赖非机动车车体单类别的检测造成的目标轨迹不连续情况的发生，维持了跟踪连续性，提高了目标跟踪效果。
17.在介绍完本技术实施例的设计思想之后，下面对本技术实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
18.参考图1，其为本技术实施例提供的非机动车目标跟踪方法的应用场景示意图。该场景中，密集遮挡情况下，非机动车车体和人体下半身完全遮挡，无法保证非机动车的检测稳定性的情况下，只依赖非机动车单类别的检测结果进行前后帧匹配已经难以维持目标的轨迹连续性。而如何维持非机动车骑手在被遮挡和等红灯的过程中的跟踪连续性，是后续判断目标是否违章的重要基础。
19.当然，本技术实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本技术实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
20.为进一步说明本技术实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本技术实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本技术实施例提供的执行顺序。
21.下面结合图1所示的应用场景，对本技术实施例提供的技术方案进行说明。
22.参考图2，本技术实施例提供一种非机动车目标的跟踪方法，包括以下步骤：s201、针对当前帧图像，确定当前帧图像中各个目标的检测框信息。
23.s202、按照预设划分规则将当前帧图像划分为至少两个跟踪区域。
24.s203、根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式。
25.s204、针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配。
26.s205、根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
27.本技术实施例，由于整个跟踪区域中的，不同位置的不同目标的遮挡情况不同，因此，将当前图像帧的跟踪区域划分为至少两个跟踪区域，再根据每个区域中包括的检测框的类型，确定每个跟踪区域对应的匹配方式。针对每个跟踪区域，基于跟踪区域对应的匹配
方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配；根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。这样，非机动车密集遮挡场景中利用多目标分区域跟踪，提高目标跟踪连续性、稳定性和准确性。
28.涉及到s201，在本技术实施例中，目标包括人头目标、头肩目标、车体目标和车牌目标中的至少一个。应用过程中，图像采集设备实施采集相应抓拍区域的视频流，对视频流进行解析，从视频流中获取图像帧数据，得到一帧一帧的图像。针对当前帧图像，应用设定检测算法确定当前帧图像中的各个目标的检测框信息，其中，设定检测算法比如是yolo系列或者faster rcnn（region-based convolutional neural networks，回归卷积神经网络）系列的基于深度学习目标检测算法，这样，应用设定检测算法得到当前帧图像的初始检测框信息，各个初始检测框信息包括了相应的检测框的类型和坐标信息。这样，得到各个目标的检测框信息，这里的各个目标的检测框信息为相应目标的坐标信息。
29.示例性的，表示车体目标集合，m表示车体目标的数量，表示第i个车体目标；表示人头目标集合，n表示人头目标的数量，为第j个人头目标；表示头肩目标集合，表示第k个头肩目标，o表示头肩目标的数量；表示车牌目标集合，表示第t个车牌目标，t表示车牌目标的数量。另外，还可应用lstm等cnn模型算法进行车牌号检测，，其中，为车牌号集合，为第q个车牌号，q为车牌号的数量。
30.涉及到s202，为了提高匹配的针对性和准确度，按照预设划分规则将当前帧图像划分为至少两个跟踪区域。其中，预设划分规则比如是检测框的类型和数量。
31.参照图3，示出了一种跟踪区域划分的示意图，典型的非机动车交通抓拍场景使用的图像采集设备是固定枪击摄像头s，不需在画面中多次设定跟踪区域，将非机动车行驶区域划分为第一跟踪区域r1、第二跟踪区域r2和第三跟踪区域r3。比如，目标距离摄像头较近的区域，车牌像素多且清晰度高，这样车牌号的检测精度高，可以划定为第一跟踪区域；在人行道的区域，车体目标之间相互遮挡严重，只有处于最后不被遮挡的车牌目标才可以被检测到车牌信息，而骑手的头部和头肩是相对遮挡不严重的，因此，可以划定为第二跟踪区域；在过了红绿灯后的区域，得机动车距离摄像头较远，人头目标、头肩目标和车牌像素较少，不清晰。但是车体目标在行驶过程中相互遮挡的情况较轻，因此划定为第三跟踪区域。其中，第一跟踪区域、第二跟踪区域和第三跟踪区域与采集当前帧图像的图像采集设备的距离依次增大。
32.涉及到s203，根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式。
33.由于第一跟踪区域的车牌信息检测精度高的情况多，但是也可能存在车牌信息检测不到或者检测不准确的情况，因此，第一跟踪区域的匹配方式为基于车牌号进行匹配的匹配方式、基于人头目标或头肩目标进行匹配的匹配方式中的至少一个。比如，针对当前帧图像的第一跟踪区域中能检测到车牌号的每个车牌目标的检测框，应用基于车牌号进行匹配的方式；针对当前帧图像中的第一跟踪区域不能检测到车牌号（没有车牌或者车牌号检
测结果未知）的每个车牌目标的检测框，应用基于人头目标或头肩目标进行匹配的匹配方式。
34.由于第二跟踪区域中，车体目标之间相互遮挡严重，骑手的头部和头肩是相对遮挡不严重的。因此匹配方式为基于人头目标或头肩目标进行匹配的匹配方式。
35.由于在第三跟踪区域中，车体目标在行驶过程中相互遮挡的情况较轻，非机动车距离摄像头较远，头部和头肩及车牌像素较少，目标不清晰，但是利用车体目标仍然可以进行正常的关联匹配。非机动车的检测稳定性和效果是可以保证的。因此，匹配方式为基于车体目标进行匹配的匹配方式。
36.需要说明的是，为了提高匹配精度，在确定跟踪区域对应的匹配方式时，应用的检测框可以是未被遮挡的检测框。
37.涉及到s204、针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配。
38.接下来对各个跟踪区域的匹配的方法和过程进行说明：（1）针对第一跟踪区域：在第一跟踪区域中，目标距离摄像头距离较近，车牌像素多且清晰度高，车牌检测的精度是有保证的。比如，第一跟踪区域中检测到了20个检测框，包括5个车牌目标检测框、5个车体目标检测框、5个人头目标检测框和5个头肩目标检测框。在这5个车牌目标检测框中，能检测到车牌号的车牌目标有3个，不能检测到车牌号的车牌目标有2个。
39.针对当前帧图像的第一跟踪区域中能检测到车牌号的每个车牌目标的检测框（上述示例中的3个车牌目标），采用第一优先级的匹配方式m1：若车牌目标的检测框对应的车牌号中，与上一帧图像中的车牌号的最大相似子串同位置的相同字符的个数大于设定阈值，则确定车牌目标匹配成功。
40.示例性的，车牌号为浙a12345，在上一帧图像中的全部车牌号中进行匹配，如果存在这样一个车牌号，其与浙a12345最大相似子串同位置的相同字符的个数大于设定阈值，则确定二者匹配成功。
41.针对当前帧图像中的第一跟踪区域不能检测到车牌号的每个车牌目标的检测框（上述示例中的2个车牌目标），采用第二优先级的匹配方式m2：示例性的，对于这两个不能检测到车牌号的车牌目标的检测框，先根据目标关联关系（人头目标a0、头肩目标b0、车体目标c0和车牌号d0属于同一个追踪目标），确定其分别关联的人头目标或头肩目标，再基于人头目标或头肩目标进行匹配的匹配方式，以将关联的人头目标或头肩目标的检测框信息与上一帧图像中的人头目标或头肩目标的检测框信息进行匹配。
42.其中，由于在第一跟踪区域和第二跟踪区域均用到基于人头目标或头肩目标的进行匹配方式，接下来对该匹配方式的过程进行说明，如果是针对第一跟踪区域，则相应跟踪区域是指第一跟踪区域，如果是针对第二跟踪区域，则相应跟踪区域是指第二跟踪区域。以其中的任意一个跟踪区域为例进行说明。
43.a、基于当前帧图像的相应跟踪区域的人头目标的检测框信息，和上一帧图像的相应跟踪区域的人头目标的检测框信息，确定至少一个人头交并比；基于当前帧图像的相应
跟踪区域的头肩目标的检测框信息，和上一帧图像的相应跟踪区域的头肩目标的检测框信息，确定至少一个头肩交并比。
44.相应跟踪区域以第二跟踪区域为例，基于当前帧图像的人头目标或头肩目标的检测框信息，和上一帧图像的人头目标或头肩目标的检测框信息，确定人头交并比和确定头肩交并比的过程如下：（1）确定人头交并比：针对上一帧图像中的相应跟踪区域的每个人头目标，计算人头目标的检测框与当前帧图像中的相应跟踪区域的每个人头目标的检测框的交并比，得到对应的人头交并比。
45.具体的，比如上一帧图像中的第二跟踪区域有5个人头目标，上一帧图像中的第二跟踪区域有6个人头目标，则应用交并比的计算方式，可以得到30个人头交并比。
46.（2）确定头肩交并比：针对上一帧图像中相应跟踪区域的每个头肩目标，计算头肩目标的检测框与当前帧图像中相应跟踪区域的每个头肩目标的检测框的交并比，得到对应的头肩交并比。
47.具体的，比如上一帧图像中的第二跟踪区域有7个头肩目标，上一帧图像中的第二跟踪区域有8个头肩目标，则应用交并比的计算方式，可以得到56个人头交并比。
48.b、根据预设头匹配权重、预设肩匹配权重、至少一个目标人头交并比和至少一个目标头肩交并比，确定第一匹配分数矩阵；其中，若当前跟踪区域内不存在人头目标，则目标人头交并比为第一基准交并比；若当前跟踪区域内不存在头肩目标，则目标头肩交并比为第二基准交并比；若当前跟踪区域内存在人头目标，则目标人头交并比为人头交并比；若当前跟踪区域内存在头肩目标，则目标人头交并比为头肩交并比。
49.首先说明在当前跟踪区域存在人头目标和头肩目标的情况下，第一匹配分数矩阵的确定过程：（1）针对得到的每个人头交并比，根据目标关联关系，确定对应的头肩交并比。
50.由于目标关联关系为人头目标、头肩目标、车体目标和车牌号的对应关系，也就是说哪个人头目标、哪个头肩目标、哪个车体目标和哪个车牌号隶属于同一个非机动车。这样，针对得到的每个人头交并比，根据目标关联关系，可以确定该人头目标关联的头肩目标，获取该关联的头肩目标对应的头肩交并比。
51.（2）将每个人头交并比乘以预设人头匹配权重，与对应的头肩交并比乘以预设头肩匹配权重求和，得到对应的人头匹配分数为。
52.其中，为人头交并比，也即，该种情况中的目标人头交并比；为头肩交并比，也即，这种情况中的目标头肩交并比。另外，预设人头匹配权重和预设头肩匹配权重可以根据人头目标和头肩目标的检测结果适应性调整。
53.（3）基于各个人头匹配分数，以及对应的人头目标的标识和头肩目标的标识，确定第一匹配分数矩阵。
54.比如，确定第一匹配分数矩阵中各个元素时，将人头目标的标识作为矩阵中的元素的行号，将头肩目标的标识作为矩阵中的元素的列号。这样基于各个人头匹配分数确定第一匹配分数矩阵。
55.另外，在当前跟踪区域只存在人头目标或者只存在头肩目标的情况下，应用第一
基准交并比和第二基准交并比来代替相应的人头交并比或头肩交并比。
56.没有人头目标时的情况：，其中，为不存在人头目标时的预先设定的第一基准交并比。
57.没有头肩目标时的情况：，其中，为不存在头肩目标时的预先设定的第二基准交并比。
58.c、若第一匹配分数矩阵满足第一设定匹配条件，则确定人头头肩匹配成功。
59.其中，第一设定匹配条件可以是大于预设阈值的元素的数量满足一定条件，则可以确定人头头肩匹配成功。
60.上述为第一跟踪区域或第二跟踪区域的基于人头目标或头肩目标进行匹配的过程。接下来对基于车体目标进行匹配的过程进行说明：针对上一帧图像中的每个车体目标，计算车体目标的检测框与当前帧图像中的每个车体目标的检测框的交并比，得到对应的车体交并比；若根据车体交并比确定的第二匹配分数矩阵满足预设第二设定匹配条件，则确定车体匹配成功。其中，车体交并比的数量可以是一个，也可以是多个，这里不限定；另外，计算交并比的原理与前述人头目标或头肩目标计算交并比的原理相同，这里不赘述。
61.涉及到s205，如上，可以确定匹配成功的当前帧图像中的目标，则可以根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
62.具体实现方式如下：基于当前帧图像的目标关联关系，确定上一帧图像中的对应的目标的检测框信息中，与匹配成功的目标的检测框信息对应的上一帧目标；将匹配成功的目标的检测框信息替换上一帧目标的检测框信息。
63.在一个具体的例子中，当前帧图像比如是第u帧，则基于第u帧图像的目标关联关系，确定第u-1帧图像中的各个目标的检测框信息中，与匹配成功的目标z的检测框对应的上一帧目标z，这样，可以将第u帧图像中的目标z的检测框信息替换第u-1帧图像中的目标z的检测框信息。
64.另外，维持目标跟踪连续性需要保证在跟踪区域切换时，目标可以顺利的进行不同匹配方式的切换，因此跟踪目标需要准确的关联和维护每个非机动车目标的头部、头肩、车牌和车牌号。因此，在上述实施例中，应用到了目标关联关系。
65.在实际的应用过程中，目标关联关系是对当前帧图像中的各个目标执行如下操作后建立的，参照图4，对建立过程进行说明：s401、将人头目标和头肩目标进行关联，得到人头头肩融合目标以及第一目标关联关系。
66.该步骤主要确定哪个人头目标和哪个头肩目标是属于同一个人的，具体的，根据各个人头目标检测框的坐标、各个头肩目标检测框的坐标和当前帧图像的宽度和高度，确定人头头肩关联系数。
67.示例性的，每个人头头肩关联系数计算过程如下：
其中为人头目标的检测框的中心点横坐标，为人头目标的检测框的中心点纵坐标；为头肩目标的检测框的中心点横坐标，为头肩目标的检测框的中心点纵坐标；为当前帧图像的宽度；为当前帧图像的高度。
68.在得到多个人头头肩关联系数后，再根据预设匹配算法和人头头肩关联系数确定人头头肩融合目标和第一目标关联关系。
69.其中，预设匹配算法可以是匈牙利算法，这样可以确定当前帧图像中的哪个人头目标和哪个头肩目标可以关联以及未关联的人头和未关联的头肩。第一目标关联关系可以是关联成功的人头目标和头肩目标的标识之间的关联关系。未关联的单独的目标（人头目标、头肩目标）作为独立的目标继续进行后续关联。
70.s402、将人头头肩融合目标、未关联的人头目标、未关联的头肩目标分别与车体目标进行关联，得到非机动车融合目标以及第二目标关联关系。
71.在将人头目标和头肩目标进行关联后，得到人头头肩融合目标、未关联的人头目标以及未关联的头肩目标，此时，将三者分别与车体目标进行关联。
72.具体的，根据各个参考目标的检测框的坐标、各个车体目标的检测框的坐标和当前帧图像帧的宽度和高度，确定非机动车关联系数。
73.示例性的，每个非机动车关联系数的计算过程如下：其中，为参考目标的检测框的中心点横坐标，为参考目标的检测框的中心点纵坐标，为车体目标的检测框的上边界中心点横坐标，为车体目标的检测框的上边界中心点纵坐标。参考目标包括人头头肩融合目标、未关联的人头目标、未关联的头肩目标中的任意一个。
74.在得到多个非机动车关联系数后，根据预设匹配算法和非机动车关联系数确定非机动车融合目标和第二目标关联关系。
75.其中，预设匹配算法可以是匈牙利算法，这样可以确定当前帧图像中的哪个人头头肩目标、哪个人头目标和哪个头肩目标可以与车体目标关联。第二目标关联关系可以是关联成功的参考目标和车体目标的标识之间的关联关系。
76.由于单独的人头目标、单独的头肩目标和人头头肩融合目标和车牌目标没有明确的位置关系，因此，这三者不参与下一阶段的关联。与车体目标关联成功的目标作为一个整体继续与车牌目标进行关联。
77.s403、将非机动车融合目标和车牌目标进行关联，得到整体融合目标和第三目标关联关系。
78.非机动车融合目标包括人头目标与车体目标的融合、头肩目标与车体目标的融合、人头头肩融合目标与车体目标的融合。
79.具体的，根据各个非机动车融合目标检测框的坐标、各个车牌目标的检测框坐标和当前帧图像的宽度和高度，确定整体融合系数。
80.示例性的，每个整体融合系数的计算过程如下：其中为车体目标的检测框的下边界的中心点的横坐标，为车体目标的检测框的下边界的中心点的纵坐标，为车牌目标的检测框的中心点的横坐标，为车牌目标的检测框的中心点的纵坐标。
81.在得到多个整体融合系数后，根据预设匹配算法和整体融合确定整体融合目标和第三目标关联关系。
82.其中，预设匹配算法可以是匈牙利算法，这样可以确定当前帧图像中的哪个非机动车融合目标可以与车牌目标关联。第三目标关联关系可以是关联成功的非机动车融合目标和车牌目标的标识之间的关联关系。
83.s404、根据第一目标关联关系、第二目标关联关系和第三目标关联关系，建立目标关联关系。
84.如上，基于各个目标的标识，根据第一目标关联关系、第二目标关联关系和第三目标关联关系，确定目标关联关系，比如，人头目标a1、头肩目标b1、车体目标c1和车牌目标d1属于同一个非机动车目标，是一组关联关系。
85.上述实施例，实现了从人体部位（人头目标、头肩目标）到非机动车体，然后再到车牌的联系，可以利用跟踪目标内缓存的关联信息（目标关联关系）进行跟踪目标的切换。因此，可以保持目标在密集遮挡场景中的跟踪稳定性，稳定准确的目标跟踪轨迹是非机动车违反交通法规行为的重要依据之一。
86.如图5所示，基于与上述非机动车目标的跟踪方法相同的发明构思，本技术实施例还提供了一种非机动车目标的跟踪装置，包括目标检测模块51、区域划分模块52、匹配方式确定模块53、匹配模块54和跟踪模块55。
87.其中，目标检测模块51，用于针对当前帧图像，确定当前帧图像中各个目标的检测框信息；区域划分模块52，用于按照预设划分规则将当前帧图像划分为至少两个跟踪区域；匹配方式确定模块53，用于根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式；匹配模块54，用于针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配；
跟踪模块55，用于根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
88.在一些示例性的实施方式中，跟踪区域的数量包括第一跟踪区域、第二跟踪区域和第三跟踪区域，第一跟踪区域、第二跟踪区域和第三跟踪区域与采集当前帧图像的图像采集设备的距离依次增大：第一跟踪区域的匹配方式为基于车牌号进行匹配的匹配方式、基于人头目标或头肩目标进行匹配的匹配方式中的至少一个；第二跟踪区域的匹配方式为基于人头目标或头肩目标进行匹配的匹配方式；第三跟踪区域的匹配方式为基于车体目标进行匹配的匹配方式。
89.在一些示例性的实施方式中，匹配模块54具体用于：针对当前帧图像的第一跟踪区域中能检测到车牌号的每个车牌目标的检测框，若车牌目标的检测框对应的车牌号中，与上一帧图像中的车牌号的最大相似子串同位置的相同字符的个数大于设定阈值，则确定车牌目标匹配成功；针对当前帧图像中的第一跟踪区域不能检测到车牌号的每个车牌目标的检测框，根据目标关联关系，确定车牌目标检测框关联的人头目标和头肩目标；基于人头目标或头肩目标进行匹配的匹配方式，以将关联的人头目标或头肩目标的检测框信息与上一帧图像中的人头目标或头肩目标的检测框信息进行匹配。
90.在一些示例性的实施方式中，匹配模块54具体用于：基于当前帧图像的相应跟踪区域的人头目标的检测框信息，和上一帧图像的相应跟踪区域的人头目标的检测框信息，确定至少一个人头交并比；基于当前帧图像的相应跟踪区域的头肩目标的检测框信息，和上一帧图像的相应跟踪区域的头肩目标的检测框信息，确定至少一个头肩交并比；根据预设头匹配权重、预设肩匹配权重、至少一个目标人头交并比和至少一个目标头肩交并比，确定第一匹配分数矩阵；其中，若当前跟踪区域内不存在人头目标，则目标人头交并比为第一基准交并比；若当前跟踪区域内不存在头肩目标，则目标头肩交并比为第二基准交并比；若当前跟踪区域内存在人头目标，则目标人头交并比为人头交并比；若当前跟踪区域内存在头肩目标，则目标人头交并比为头肩交并比；若第一匹配分数矩阵满足第一设定匹配条件，则确定人头头肩匹配成功。
91.在一些示例性的实施方式中，还包括匹配分数矩阵确定模块，用于在当前跟踪区域存在人头目标和头肩目标时，通过如下方式确定第一匹配分数矩阵：针对得到的每个人头交并比，根据目标关联关系，确定对应的头肩交并比；将每个人头交并比乘以预设人头匹配权重，与对应的头肩交并比乘以预设头肩匹配权重求和，得到对应的人头匹配分数；基于各个人头匹配分数，以及对应的人头目标的标识和头肩目标的标识，确定第一匹配分数矩阵。
92.在一些示例性的实施方式中，匹配模块54具体用于：针对上一帧图像中的每个车体目标，计算车体目标的检测框与当前帧图像中的每个车体目标的检测框的交并比，得到对应的车体交并比；若根据车体交并比确定的第二匹配分数矩阵满足预设第二设定匹配条件，则确定
车体匹配成功。
93.在一些示例性的实施方式中，还包括关联关系确定模块，用于对当前帧图像中的各个目标执行如下操作后建立目标关联关系：将人头目标和头肩目标进行关联，得到人头头肩融合目标以及第一目标关联关系；将人头头肩融合目标、未关联的人头目标、未关联的头肩目标分别与车体目标进行关联，得到非机动车融合目标以及第二目标关联关系；将非机动车融合目标和车牌目标进行关联，得到整体融合目标和第三目标关联关系；根据第一目标关联关系、第二目标关联关系和第三目标关联关系，建立目标关联关系。
94.在一些示例性的实施方式中，关联关系确定模块具体用于：根据各个人头目标检测框的坐标、各个头肩目标检测框的坐标和当前帧图像的宽度和高度，确定人头头肩关联系数；根据预设匹配算法和人头头肩关联系数确定人头头肩融合目标和第一目标关联关系。
95.在一些示例性的实施方式中，关联关系确定模块具体用于：根据各个参考目标的检测框的坐标、各个车体目标的检测框的坐标和当前帧图像帧的宽度和高度，确定非机动车关联系数；其中，参考目标包括人头头肩融合目标、未关联的人头目标、未关联的头肩目标中的任意一个；根据预设匹配算法和非机动车关联系数确定非机动车融合目标和第二目标关联关系。
96.在一些示例性的实施方式中，关联关系确定模块具体用于：根据各个非机动车融合目标检测框的坐标、各个车牌目标的检测框坐标和当前帧图像的宽度和高度，确定整体融合系数；根据预设匹配算法和整体融合确定整体融合目标和第三目标关联关系。
97.在一些示例性的实施方式中，跟踪模块具体用于：基于当前帧图像的目标关联关系，确定上一帧图像中的对应的目标的检测框信息中，与匹配成功的目标的检测框信息对应的上一帧目标；将匹配成功的目标的检测框信息替换上一帧目标的检测框信息。
98.本技术实施例提的非机动车目标的跟踪装置与上述非机动车目标的跟踪方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
99.基于与上述非机动车目标的跟踪方法相同的发明构思，本技术实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理（personal digital assistant，pda）、服务器等。如图6所示，该电子设备可以包括处理器601和存储器602。
100.处理器601可以是通用处理器，例如中央处理器（cpu）、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑
器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
101.存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器（random access memory，ram）、静态随机访问存储器（static random access memory，sram）、可编程只读存储器（programmable read only memory，prom）、只读存储器（read only memory，rom）、带电可擦除可编程只读存储器（electrically erasable programmable read-only memory，eeprom）、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
102.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器（ram，random access memory）、磁性存储器（例如软盘、硬盘、磁带、磁光盘（mo）等）、光学存储器（例如cd、dvd、bd、hvd等）、以及半导体存储器（例如rom、eprom、eeprom、非易失性存储器（nand flash）、固态硬盘（ssd））等各种可以存储程序代码的介质。
103.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本技术各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器（ram，random access memory）、磁性存储器（例如软盘、硬盘、磁带、磁光盘（mo）等）、光学存储器（例如cd、dvd、bd、hvd等）、以及半导体存储器（例如rom、eprom、eeprom、非易失性存储器（nand flash）、固态硬盘（ssd））等各种可以存储程序代码的介质。
104.以上实施例仅用以对本技术的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本技术实施例的方法，不应理解为对本技术实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本技术实施例的保护范围之内。