目标跟踪方法、装置、电子装置和存储介质与流程

1.本技术涉及图像处理领域，特别是涉及目标跟踪方法、装置、电子装置和存储介质。


背景技术：

2.随着数字社会化发展，图像数据在视频通讯，安防监控等领域有着不可替代的作用，多目标跟踪在各种应用系统当中起到了举足轻重的作用。多目标跟踪是将视频中每一帧的物体都赋予一个标识，并且得到每个标识的行为轨迹，其输入为视频序列，输出为物体的行为轨迹和标识。
3.跟踪算法是目标跟踪中的一个经典高效的方式，通过相似度(位置、外观、运动等信息)来关联检测框得到跟踪轨迹。由于视频中场景的复杂性，目标检测器无法得到完美的检测结果，漏检和虚检及检测框偏差在场景当中经常出现并且难以避免。为了处理漏检和虚检的问题，目前大部分跟踪方法会选择一个阈值，只保留高于这个阈值的检测结果来做关联得到跟踪结果，低于这个阈值的检测结果直接丢弃，这种方式的优势是很大程度上去除了虚检，但是又将低于这个阈值的检测结果直接丢弃，很容易去除真实目标的检测结果，进而造成了跟踪目标的跟踪轨迹连续性差。
4.针对相关技术中存在跟踪目标的跟踪轨迹连续性差的问题，目前还没有提出有效的解决方案。


技术实现要素：

5.在本实施例中提供了一种目标跟踪方法、装置、电子装置和存储介质，以解决相关技术中跟踪目标的跟踪轨迹连续性差的问题。
6.第一个方面，在本实施例中提供了一种目标跟踪方法，包括：
7.将待处理图像输入到预设的深度学习模型中，得到跟踪目标的初始检测区域图像；
8.确定所述初始检测区域图像的质量参考值；
9.响应于所述质量参考值小于预设参考值，从历史检测区域图像中确定出与所述初始检测区域图像匹配度最高的历史检测区域图像；
10.基于确定出的所述历史检测区域图像，对所述初始检测区域图像进行修正，得到目标检测区域图像；
11.基于所述目标检测区域图像，对所述跟踪目标进行跟踪。
12.在其中的一些实施例中，所述初始检测区域图像包括：所述跟踪目标的n个构件区域图像，所述构件区域图像包括所述跟踪目标的至少一个构件；所述n为大于0的整数。
13.在其中的一些实施例中，确定所述初始检测区域图像的质量参考值包括：
14.确定所述初始检测区域图像中的所述n个构件区域图像；
15.确定所述n个构件区域图像中各个所述n个构件区域图像的子质量参考值；
16.基于确定的各个子质量参考值，确定所述初始检测区域图像的质量参考值。
17.在其中的一些实施例中，所述跟踪目标包括人体；所述n个构件区域图像包括：所述人体对应的头肩区域图像和躯干区域图像。
18.在其中的一些实施例中，响应于所述质量参考值小于预设参考值，从历史检测区域图像中确定出与所述初始检测区域图像匹配度最高的历史检测区域图像包括：
19.在所述初始检测区域图像的质量参考值小于第一子预设参考值的情况下，获取所述跟踪目标的头肩区域图像的头肩特征；
20.根据所述头肩特征，从历史检测区域确定出与所述头肩特征匹配度最高的关联躯干特征所对应的历史检测区域图像。
21.在其中的一些实施例中，响应于所述质量参考值小于预设参考值，从历史检测区域图像中确定出与所述初始检测区域图像匹配度最高的历史检测区域图像包括：
22.在所述初始检测区域图像的质量参考值小于第二子预设参考值的情况下，获取所述跟踪目标的头肩区域图像的头肩特征；
23.确定所述待处理图像中所述头肩特征的当前质量参考值，以及确定所述历史检测区域图像中所述头肩区域图像对应的平均头肩特征；
24.根据所述待处理图像中的所述头肩特征的当前质量参考值、所述头肩特征和所述平均头肩特征，得到目标头肩特征；
25.根据所述目标头肩特征，从历史检测区域确定出与所述目标头肩特征匹配度最高的躯干特征所对应的历史检测区域图像。
26.在其中的一些实施例中，基于所述目标检测区域图像，对所述跟踪目标进行跟踪包括：
27.将所述目标检测区域图像输入到预设的跟踪神经网络中，得到所述跟踪目标的跟踪轨迹；
28.根据所述跟踪轨迹，对所述跟踪目标进行跟踪。
29.在其中的一些实施例中，根据所述跟踪轨迹，对所述跟踪目标进行跟踪还包括；
30.确定所述跟踪轨迹的跟踪等级和所述初始检测区域图像的质量参考值所在的质量参考值等级区间；
31.根据所述跟踪轨迹的跟踪等级和所述初始检测区域图像的质量参考值所在的质量参考值等级区间，对所述跟踪目标进行跟踪。
32.第二个方面，在本实施例中提供了一种目标跟踪装置，其特征在于，包括：
33.输入模块，用于将待处理图像输入到预设的深度学习模型中，得到跟踪目标的初始检测区域图像；
34.第一确定模块，用于确定所述初始检测区域图像的质量参考值；
35.第二确定模块，用于响应于所述质量参考值小于预设参考值，从历史检测区域图像中确定出与所述初始检测区域图像匹配度最高的历史检测区域图像；
36.修正模块，用于基于确定出的所述历史检测区域图像，对所述初始检测区域图像进行修正，得到目标检测区域图像；
37.跟踪模块，用于基于所述目标检测区域图像，对所述跟踪目标进行跟踪。
38.第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在
所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的目标跟踪方法。
39.第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的目标跟踪方法。
40.与相关技术相比，在本实施例中提供目标跟踪方法、装置、电子装置和存储介质，通过将待处理图像输入到预设的深度学习模型中，得到跟踪目标的初始检测区域图像；确定初始检测区域图像的质量参考值；响应于质量参考值小于预设参考值，从历史检测区域图像中确定出与初始检测区域图像匹配度最高的历史检测区域图像；基于确定出的历史检测区域图像，对初始检测区域图像进行修正，得到目标检测区域图像；基于目标检测区域图像，对跟踪目标进行跟踪的方式，对跟踪目标进行补全，解决了相关技术中跟踪目标的跟踪轨迹连续性差的问题，提高了跟踪目标的跟踪轨迹连续性。
41.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
42.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
43.图1是本实施例的目标跟踪方法的终端的硬件结构框图；
44.图2是本实施例的目标跟踪方法的流程图；
45.图3是本实施例的跟踪目标头肩序列对齐及跟踪目标序列整体对齐的对比图；
46.图4是本实施例的初始检测区域图像的质量参考值的划分示意图；
47.图5是本实施例的初始检测区域图像的质量参考值与跟踪轨迹匹配的示意图；
48.图6是本实施例的交互场景下的跟踪目标拍摄示意图；
49.图7是本实施例的不同场景下的跟踪目标拍摄示意图；
50.图8是本实施例的目标跟踪装置的结构框图。
具体实施方式
51.为更清楚地理解本技术的目的、技术方案和优点，下面结合附图和实施例，对本技术进行了描述和说明。
52.除另作定义外，本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。通常情况下，
字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
53.在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的目标跟踪方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
54.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的目标跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
55.传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
56.在本实施例中提供了一种目标跟踪方法，图2是本实施例的目标跟踪方法的流程图，如图2所示，该流程包括如下步骤：
57.步骤s201，将待处理图像输入到预设的深度学习模型中，得到跟踪目标的初始检测区域图像。
58.在本步骤之前，可以获取图像序列中的待处理图像。其中，图像序列中可以是实时获取的，如可以将实时获取的视频流作为上述图像序列；图像序列也可以是从存储有图像序列的数据库中获取到的。
59.需要说明的是，待处理图像可以是从图像序列中随机获取的，也可以是根据用户的实际需要进行获取的。
60.在本步骤中，预设的深度学习模型为预先进行训练之后且具有一定识别度的深度学习模型，通过该预设的深度学习模型可以一定程度的提高初始检测区域图像提取的准确度。
61.步骤s202，确定初始检测区域图像的质量参考值。
62.在本步骤中，可以根据初始检测区域图像的完整度、清晰度等中的至少一个来确定该检测区域图像的质量参考值，如以初始检测图像的完整度确定对应的质量参考值时，完整度和对应的质量参考值可以呈正相关，即初始检测区域图像的完整度越高，则该初始检测区域图像的质量参考值越高。
63.步骤s203，响应于质量参考值小于预设参考值，从历史检测区域图像中确定出与
初始检测区域图像匹配度最高的历史检测区域图像。
64.在本步骤中，基于对初始检测区域图像的质量参考值的判断，并在初始检测区域图像的质量参考值小于预设质量参考值的情况下，从历史检测区域图像中确定出与初始检测区域图像匹配度最高的历史检测区域图像的方式，可以便于后续对该初始检测区域图像进行补全，从而提高该初始检测区域图像中的跟踪连续性。
65.需要说明的是，历史检测区域图像是与该待处理图像处于同一图像序列中并在待处理图像之前进行目标跟踪之后的图像。
66.步骤s204，基于确定出的历史检测区域图像，对初始检测区域图像进行修正，得到目标检测区域图像。
67.在本步骤中，通过基于确定出的历史检测区域图像对初始检测区域图像进行修补，得到目标检测区域图像的方式，实现了对初始检测区域图像的补全，保证了跟踪目标的完整性，进而达到提高了跟踪目标的跟踪轨迹连续性的效果。
68.需要说明的是，基于确定出的历史检测区域图像对初始检测区域图像进行修补的方式可以是基于确定出的历史检测区域图像对初始检测区域图像中未检测到区域图像部分进行修补，从而来提高跟踪目标的完整性。
69.步骤s205，基于目标检测区域图像，对跟踪目标进行跟踪。
70.在本步骤中，通过修补之后的目标检测区域图像，对跟踪目标进行跟踪的方式，保证了跟踪目标的完整性，进而达到提高了跟踪目标的跟踪轨迹连续性的效果。
71.基于上述步骤s201至步骤s205，通过响应于质量参考值小于预设参考值，从历史检测区域图像中确定出与初始检测区域图像匹配度最高的历史检测区域图像，并基于确定出的历史检测区域图像，对初始检测区域图像进行修正，得到目标检测区域图像，最后再基于目标检测区域图像，对跟踪目标进行跟踪的方式，实现了对质量参考值低的初始检测区域图像的补全，进而提高了跟踪目标对应的待检测区域图像的完整性，解决了相关技术中跟踪目标的跟踪轨迹连续性差的问题，同时也提高了跟踪目标的跟踪轨迹连续性。
72.在其中的一些实施例中，初始检测区域图像包括：跟踪目标的n个构件区域图像，构件区域图像包括跟踪目标的至少一个构件；n为大于0的整数。
73.在本实施例中，一个跟踪目标可能存在一个或多个构件，因此在本实施例中，通过获取跟踪目标的至少一个构件来的方式，可以便于后续根据该至少一个构件来实现对跟踪目标，从而达到提高目标跟踪的效果。
74.在其中的一些实施例中，确定初始检测区域图像的质量参考值包括：确定初始检测区域图像中的n个构件区域图像；确定n个构件区域图像中各个n个构件区域图像的子质量参考值；基于确定的各个子质量参考值，确定初始检测区域图像的质量参考值。
75.在本实施例中，通过结合n个构件区域图像中各个n个构件区域图像的子质量参考值，来实现对初始检测区域图像的质量参考值计算的方式，提高了初始检测区域图像的质量参考值的准确度。
76.在其中的一些实施例中，跟踪目标包括人体；n个构件区域图像包括：人体对应的头肩区域图像和躯干区域图像。
77.在本实施例中，通过基于人体对应头肩区域图像和躯干区域图像，来实现对跟踪目标的检测的方式，可以便于在检测到头肩区域图像和躯干区域图像中的某一个时，基于
两者的关联对未检测出的另一个进行补全，从而提高跟踪目标的抗遮挡，进而提高跟踪目标的跟踪轨迹连续性。
78.需要说明的是，每个跟踪目标的头肩区域图像和躯干区域图像均为关联状态。例如，在某一个场景下，同时检测到跟踪的头肩区域图像和躯干区域图像时，则可以将该头肩区域图像和躯干区域图像进行关联，以便于后续在检测到其中一个时，基于该关联关系对另一个未检测到的进行补全。
79.在本实施例中，根据头肩区域图像和躯干区域图像，确定初始检测区域图像的质量参考值可以根据以下公式(1)：
[0080][0081]
其中，为用户预设系数，dconf
head
表示头肩区域图像的质量参考值，dconf
body
表示躯干区域图像的质量参考值，dconf
total
表示初始检测区域图像的质量参考值。
[0082]
在其中的一些实施例中，响应于质量参考值小于预设参考值，从历史检测区域图像中确定出与初始检测区域图像匹配度最高的历史检测区域图像包括：在初始检测区域图像的质量参考值小于第一子预设参考值的情况下，获取跟踪目标的头肩区域图像的头肩特征；根据头肩特征，从历史检测区域确定出与头肩特征匹配度最高的关联躯干特征所对应的历史检测区域图像。
[0083]
在大多数的场景下，跟踪目标的躯干部分可能会存在遮挡，而头肩部分并未被遮挡，因此，在本实施例中，通过在初始检测区域图像的质量参考值小于第一子预设质量参考值的情况下，根据头肩特征，从历史检测区域确定出与头肩特征匹配度最高的关联躯干特征所对应的历史检测区域图像的方式，进而确定了与头肩特征匹配度最高的关联躯干特征所对应的历史检测区域图像，以便于后续根据该确定出的历史检测区域图像进行补全，从而达到提高目标跟踪的连续性的效果。
[0084]
在其中的一些实施例中，响应于质量参考值小于预设参考值，从历史检测区域图像中确定出与初始检测区域图像匹配度最高的历史检测区域图像包括：在初始检测区域图像的质量参考值小于第二子预设参考值的情况下，获取跟踪目标的头肩区域图像的头肩特征；确定待处理图像中头肩特征的当前质量参考值，以及确定历史检测区域图像中头肩区域图像对应的平均头肩特征；根据待处理图像中的头肩特征的当前质量参考值、头肩特征和平均头肩特征，得到目标头肩特征；根据目标头肩特征，从历史检测区域确定出与目标头肩特征匹配度最高的躯干特征所对应的历史检测区域图像。
[0085]
在本实施例中，通过在初始检测区域图像的质量参考值小于第二子预设质量参考值的情况下，根据待处理图像中的头肩特征的当前质量参考值、头肩特征和平均头肩特征，得到目标头肩特征；然后再根据目标头肩特征，从历史检测区域确定出与目标头肩特征匹配度最高的躯干特征所对应的历史检测区域图像的方式，实现了基于头肩特征的当前质量参考值、头肩特征和平均头肩特征，确定与目标头肩特征匹配度最高的躯干特征所对应的历史检测区域图像，以便于后续根据该确定出的历史、检测区域图像进行补全，从而达到提高目标跟踪的连续性的效果。
[0086]
需要说明的是，第一子预设质量参考值的值大于第二字预设质量参考值，以便于后续在初始检测区域图像的质量参考值小于第二子预设质量参考值的情况下，基于头肩特征的当前质量参考值、头肩特征和平均头肩特征，来进一步确定与目标头肩特征匹配度最
高的躯干特征所对应的历史检测区域图像，以便于后续根据该确定的历史检测区域图像进行补全，从而提高目标跟踪的连续性。
[0087]
reid又称为“跨镜追踪技术”，它是现在计算机视觉研究的热门方向，主要解决跨摄像头跨场景下行人的识别与检索。该技术可以作为人脸识别技术的重要补充，可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性。行人reid是属于行人识别，是继人脸识别后的一个重要研究方向。研究的对象是人的整体特征，主要的特征变化包括衣着、体形、发行、姿态等等。本案借助于reid技术解决单摄像头场景下的目标跟踪问题。
[0088]
reid特征测不准的问题很大程度是受遮挡和虚假背景等因素的影响，为此，本实施例中不再像之前的跟踪方案一样使用跟踪目标的检测进行reid，转而改用部件的reid特征(即上述实施例的头肩特征)，通过该方式可以削弱目标的特征退化；同时还能解决跟踪目标特征比对对齐问题；以及降低网络的图像输入大小，减少特征提取的输入个数，减少耗时。
[0089]
如图3所示，展示了跟踪目标部位及跟踪目标序列对比，跟踪目标之间的交互很容易在跟踪目标的检测框上引入噪声，而且随着遮挡的区域越多，引入的噪声也就越多，因而很容易带来跟踪目标特征的退化；但是，研究人员发现跟踪目标的头肩在大部分图像是不会被遮挡的，存在着很强的抗遮挡性，且头肩特征对应的图像序列在跟踪目标遮挡交互的过程中引入的噪声也少。其次，本实施例中对跟踪目标提取reid特征，并使用如下公式(2)进行特征的融合，其中conf表示头肩区域图像的质量参考值，表示历史检测区域图像中该头肩特征的平均头肩特征，为待处理图像通过网络输出的头肩特征，通过结合平均头肩特征和待处理图像通过网络输出的头肩特征的方式，加权了头肩特征的质量参考值的输出，避免了因为遮挡导致的单帧图像特征明显退化带来的波动，又在最大程度上实现了特征的更新，避免了头肩特征退化的问题。
[0090][0091]
跟踪目标的目标检测框通常会在位置和宽高上产生波动，如果图像质量不佳或者目标之间存在遮挡，这种效应会更加明显，例如刚开始跟踪目标在没有被遮挡，然后过度到躯干区域被遮挡的情况下，此时提取的是跟踪目标的部分区域特征，然而之前的特征来自于跟踪目标的全部，这就会带来跟踪目标的特征比对和对齐的问题，从而造成特征差异性；但是，在本实施例中通过改用抗遮挡强的头肩特征，再结合之前的平均头肩特征来实现抗特征衰减的方式，可以避免特征对齐的问题。
[0092]
同时，本实施例中通过改用抗遮挡强的头肩特征进行输入，避免了跟踪目标整体的输入，进而减少了神经网络前向推理的时间，加快了网络处理的速度；其次是在匹配过程中需要使用特征进行匹配的检测和跟踪目标时才进行特征提取，减少了需要计算reid特征的个数。
[0093]
在其中的一些实施例中，基于目标检测区域图像，对跟踪目标进行跟踪包括：将目标检测区域图像输入到预设的跟踪神经网络中，得到跟踪目标的跟踪轨迹；根据跟踪轨迹，对跟踪目标进行跟踪。
[0094]
在本实施例中，通过将目标检测区域图像输入到预设的跟踪神经网络中，得到跟
踪目标的跟踪轨迹；根据跟踪轨迹，对跟踪目标进行跟踪的方式，实现了对目标跟踪，同时基于补全之后的目标检测区域图像来进行跟踪，可以达到提高目标跟踪的连续性。
[0095]
在其中的一些实施例中，确定跟踪轨迹的跟踪等级和初始检测区域图像的质量参考值所在的质量参考值等级区间；根据跟踪轨迹的跟踪等级和初始检测区域图像的质量参考值所在的质量参考值等级区间，对跟踪目标进行跟踪。
[0096]
如图4所示，将初始检测区域图像的质量参考值低于低分检测框阈值时该初始检测区域图像可以被丢弃，在该情况下初始检测区域图像可以认定为虚检；当初始检测区域图像的质量参考值在(λ1，λ2]之间，归类为低分检测框；当初始检测区域图像的质量参考值在(λ2，λ3]之间，归类为中分检测框；当初始检测区域图像的质量参考值在(λ3，1]之间，归类为高分检测框。
[0097]
历史跟踪目标轨迹的得分来自于混合检测得分，在目标跟踪中，需要预测跟踪目标轨迹在待处理图像的得分，本实施例中采用历史跟踪目标轨迹进行系数衰减，如下公式(3)采用长度为4的窗口计算历史跟踪目标轨迹得分，再叠加得分进行预测，当tconf
i+1
大于高分轨迹阈值τ时，判断为高分轨迹，当tconf
i+1
小于高分轨迹阈值τ时，判断为低分轨迹。
[0098]
tconf
i+1
＝a*tconf
i-3
+b*tconf
i-2
+c*tconf
i-1
+(1-a-b-c)*tconfi+(tconf
i-tconf
i-3
)/3
ꢀꢀꢀꢀ
(3)
[0099]
其中，tconf表示初始检测区域图像的质量参考值，a、b和c为得分融合系数(a＜b＜c)，下标i表示当前待处理图像的序号。
[0100]
本实施例将每个头肩及躯干对应的检测框根据得分分成三类组合，高分检测框、中分检测框和低分检测框，总共进行三次匹配，整个匹配流程包括：
[0101]
步骤1，第一次匹配使用高分检测框和所有的跟踪轨迹进行匹配，如图5连线编号1。
[0102]
步骤2，第二次使用中分检测框和第一次没有匹配上高分检测框的剩余高分跟踪轨迹进行匹配，如图5连线2。
[0103]
步骤3，对未匹配到检测目标的跟踪轨迹部件进行特征提取构造特征底库，即对图5中高分轨迹的二次剩余和低分轨迹的首次剩余提取特征；在未匹配的中分框和低分检测框上提取部件特征，即对图5中的中分检测框的首次剩余和低分检测框进行特征提取，利用特征将检测结果与未匹配的跟踪轨迹进行匹配，综合低分检测框和跟踪轨迹之间的相似性，利用了部件的特征从低分框中挖掘出真正的物体。
[0104]
步骤4，对于没有匹配上跟踪轨迹，得分又足够高的检测框，如图5中首次剩余部分，其新建一个跟踪轨迹对象。对于没有匹配上检测框的跟踪轨迹，如图5中高分轨迹的三次剩余和低分轨迹的二次剩余，保留36帧，等待检测再次出现时再进行匹配。
[0105]
在本实施例中，通过上述方式，实现了目标检测区域图像与跟踪轨迹之间的匹配，从而实现了对目标检测区域图像对应的跟踪目标的跟踪。同时，检测区域图像和跟踪轨迹结合质量参考值多次关联，避免一次的混合关联带来的竞争错误，其次部件特征抗遮挡削弱了特征退化，加快的网络推理，同时绑定到头肩区域图像和躯干区域图像供匹配比对使用，使得抗遮挡的部件特征能寻找一定帧数范围内的丢失目标。
[0106]
通过上述实施例，本技术通过从图像序列中获取输入待处理图像，将待处理图像输入到行人多部位检测算法，得到头肩区域图像和躯干区域图像，然后再基于深度学习模
型完成目标检测，在目标检测算法当中同时输出每个跟踪目标的头肩区域图像和躯干区域图像。然后将检测得到的头肩区域图像和躯干区域图像进行数据关联，确定头肩区域图像和躯干区域图像与对应跟踪目标的关系，再基于头肩区域图像和躯干区域图像的质量参考值对跟踪目标行人进行补全，最后再基于之前头肩区域图像和躯干区域图像的关联结果进行质量参考值混合计算将检测结果划分得分区间，低分区间子部位送入到reid网络当中优先进行外观特征提取，为每个子部位绑定其拥有的外观特征。最后预测目标在下一次场景当中的位置，使用得分区间划分的方式对检测结果和跟踪轨迹建立三次匹配完成跟踪关联。
[0107]
在一些实施例中，行人多目标跟踪的难点在于目标之间的遮挡及交互导致的目标检测准确率问题，此种情况下易导致跟踪轨迹断开或者关联错误，当行人a被其它行人和物体遮挡时，对于检测网络来讲检测输出的结果质量参考值低或者是漏检，这种情况下对于目标跟踪来讲当前场景无法再次匹配到正确的目标，其次是仅凭借检测框之间的匹配易造成关联错误。
[0108]
本技术中使用较为常用的yolox作为目标检测网络(即上述实施例中的预设的深度学习模型)。如下图6所示，展示了在密集遮挡场景下的跟踪目标检测结果(为了清晰展示，仅显示部分的检测框)，最小的检测框对应的跟踪目标大部分被遮挡，已经导致无法检测出躯干，但是对于头肩区域仍然可见，可以检测到跟踪目标的头肩部位，这是因为拥挤密集场景跟踪目标的头肩部位相对对于躯干的其抵抗遮挡的能力较强，网络在检测跟踪目标时往往会因为部分的遮挡削弱其检测效果。
[0109]
目标检测会同时输出跟踪目标的部件头肩区域及躯干区域，需要将头肩区域及躯干区域进行关系构建，确定它们是否是属于同一身份，同时可借助于跟踪目标的头肩区域及躯干区域弥补丢失的另一方检测，增加检测的连续性；如果一方检测结果的质量参考值低可用另一方鉴别是否存在该真实目标。如图7所示，正常的独立跟踪目标会同时检测输出其头肩区域及躯干区域，通过将其关联确定是同一个目标，当目标发生交互遮挡时，都能检测出跟踪目标的头肩区域，但是由于存在部分跟踪目标的躯干遮挡过于严重，无法检测得到躯干区域，此时可以借助于头肩区域关联的躯干区域进行躯干区域补全，改善目标检测网络的输入；当人体被物体遮挡时，也通过能检测得到的结果输出对应的躯干。
[0110]
根据跟踪目标的头肩区域应该在跟踪目标内部先验信息构建基本的关联条件，本技术在头肩区域及躯干区域关联时也会结合质量参考值进行修补关联，如上图7交互遮挡场景当两个质量参考值较高的头肩区域同时竞争一个躯干时，可以再结合位置关系分配给其中一个头肩区域，而另外一个头肩区域会结合自身检测结果和之前关联的生成一个的检测结果，从而保证检测输出的连续性。
[0111]
在本实施例中还提供了一种目标跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0112]
图8是本实施例的目标跟踪装置的结构框图，如图8所示，该装置包括：
[0113]
输入模块81，用于将待处理图像输入到预设的深度学习模型中，得到跟踪目标的初始检测区域图像；
[0114]
第一确定模块82，耦合至输入模块81，用于确定初始检测区域图像的质量参考值；
[0115]
第二确定模块83，耦合至第一确定模块82，用于响应于质量参考值小于预设参考值，从历史检测区域图像中确定出与初始检测区域图像匹配度最高的历史检测区域图像；
[0116]
修正模块84，耦合至第二确定模块83，用于在基于确定出的历史检测区域图像，对初始检测区域图像进行修正，得到目标检测区域图像；
[0117]
跟踪模块85，耦合至修正模块84，用于根基于目标检测区域图像，对跟踪目标进行跟踪。
[0118]
在其中的一些实施例中，初始检测区域图像包括：跟踪目标的n个构件区域图像，构件区域图像包括跟踪目标的至少一个构件；n为大于0的整数。
[0119]
在其中的一些实施例中，第一确定模块82包括：第一确定单元，用于确定初始检测区域图像中的n个构件区域图像；第二确定单元，用于确定n个构件区域图像中各个n个构件区域图像的子质量参考值；第三确定模块，用于基于确定的各个子质量参考值，确定初始检测区域图像的质量参考值。
[0120]
在其中的一些实施例中，跟踪目标包括人体；n个构件区域图像包括：人体对应的头肩区域图像和躯干区域图像。
[0121]
在其中的一些实施例中，第二确定模块83包括：获取单元，用于在初始检测区域图像的质量参考值小于第一子预设参考值的情况下，获取跟踪目标的头肩区域图像的头肩特征；第一匹配单元，用于根据头肩特征，从历史检测区域确定出与头肩特征匹配度最高的关联躯干特征所对应的历史检测区域图像。
[0122]
在其中的一些实施例中，第二确定模块83还包括：第二获取单元，用于在所述初始检测区域图像的质量参考值小于第二子预设参考值的情况下，获取所述跟踪目标的头肩区域图像的头肩特征；第四确定模块，用于确定所述待处理图像中所述头肩特征的当前质量参考值，以及确定所述历史检测区域图像中所述头肩区域图像对应的平均头肩特征；计算单元，用于根据所述待处理图像中的所述头肩特征的当前质量参考值、所述头肩特征和所述平均头肩特征，得到目标头肩特征；第二匹配单元，用于根据所述目标头肩特征，从历史检测区域确定出与所述目标头肩特征匹配度最高的躯干特征所对应的历史检测区域图像。
[0123]
在其中的一些实施例中，跟踪模块85包括：输入单元，用于将目标检测区域图像输入到预设的跟踪神经网络中，得到跟踪目标的跟踪轨迹；跟踪单元，用于根据跟踪轨迹，对跟踪目标进行跟踪。
[0124]
在其中的一些实施例中，跟踪单元包括；确定子单元，用于确定跟踪轨迹的跟踪等级和初始检测区域图像的质量参考值所在的质量参考值等级区间；跟踪子单元，用于根据跟踪轨迹的跟踪等级和初始检测区域图像的质量参考值所在的质量参考值等级区间，对跟踪目标进行跟踪。
[0125]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0126]
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0127]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0128]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0129]
步骤s201，将待处理图像输入到预设的深度学习模型中，得到跟踪目标的初始检测区域图像。
[0130]
步骤s202，确定初始检测区域图像的质量参考值。
[0131]
步骤s203，响应于质量参考值小于预设参考值，从历史检测区域图像中确定出与初始检测区域图像匹配度最高的历史检测区域图像。
[0132]
步骤s204，基于确定出的历史检测区域图像，对初始检测区域图像进行修正，得到目标检测区域图像。
[0133]
步骤s205，基于目标检测区域图像，对跟踪目标进行跟踪。
[0134]
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
[0135]
此外，结合上述实施例中提供的目标跟踪方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种目标跟踪方法。
[0136]
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。
[0137]
显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本技术公开的内容不足。
[0138]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
[0139]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。