目标跟踪方法及相关装置与流程

1.本技术属于目标跟踪技术领域，具体涉及一种目标跟踪方法及相关装置。


背景技术：

2.运动目标自动跟踪是一种对运动目标检测、提取、识别和跟踪的技术，该技术是计算机视觉系统的核心，在军事、交通、生物、医学等多种领域得到广泛的应用。
3.目前，为了提高跟踪目标的精度、防止出现跟踪目标被混淆的情况，一般采取在跟踪前提高跟踪模型精度的方法。该方式无法对跟踪过程中的跟踪状态进行实时判别。


技术实现要素：

4.本技术提供一种目标跟踪方法及相关装置，以对跟踪过程中跟踪状态进行实时判别，及时停止异常跟踪。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种目标跟踪方法，包括：响应于当前时刻下图像采集装置采集获得的第一图像中包含跟踪目标，使所述图像采集装置对所述跟踪目标持续进行跟踪；利用所述第一图像以及历史图像获取与所述跟踪目标所对应的目标框相关的位置信息；根据所述位置信息获得当前时刻下的跟踪评分；响应于所述跟踪评分低于预设值，判定当前跟踪处于异常状态，并使所述图像采集装置停止跟踪。
6.其中，所述利用所述第一图像以及历史图像获取与所述跟踪目标所对应的目标框相关的位置信息的步骤，包括：获得所述第一图像的中心点与所述第一图像中的所述目标框的中心点之间的偏移值、以及获得所述当前时刻之前的历史时间段内的所有历史图像，并利用所述第一图像和所有所述历史图像获得所述目标框位置的总调整值；其中，所述位置信息包括所述偏移值和所述总调整值。
7.其中，所述根据所述位置信息获得当前时刻下的跟踪评分的步骤，包括：获得第一系数与所述偏移值之间的第一比值、以及第二系数与所述总调整值之间的第二比值；其中，所述第一系数与所述第二系数大于0，且之和为1；将所述第一比值与所述第二比值之和作为所述跟踪评分。
8.其中，所述根据所述位置信息获得当前时刻下的跟踪评分的步骤之前，还包括：从所述第一图像中获得与所述目标框对应的子图像；获得所述子图像的清晰度；所述根据所述位置信息获得当前时刻下的跟踪评分的步骤，包括：根据所述位置信息和所述清晰度获得所述跟踪评分。
9.其中，所述根据所述位置信息和所述清晰度获得所述跟踪评分的步骤，包括：获得第一系数与所述偏移值之间的第一比值、第二系数与所述总调整值之间的第二比值、第三系数与所述清晰度之间的第一乘积；其中，所述第一系数、所述第二系数、所述第三系数大于0，且之和为1；将所述第一比值、所述第二比值与所述第一乘积之和作为所述跟踪评分。
10.其中，所述第一系数大于0且小于0.6，所述第二系数大于0且小于0.6，所述第三系
数大于0且小于0.4。
11.其中，所述获得所述第一图像的中心点与所述第一图像中的所述目标框的中心点之间的偏移值的步骤，包括：从所述第一图像中获得与所述跟踪目标对应的目标框；获得所述第一图像的中心点和所述目标框的中心点在水平方向上的第一差值、以及在垂直方向上的第二差值；将所述第一差值的绝对值与所述第二差值的绝对值之和作为所述偏移值。
12.其中，所述利用所述第一图像和所有所述历史图像获得所述目标框位置的总调整值的步骤，包括：对于所述第一图像和所有所述历史图像中任意相邻两个时刻下的两张图像，获得所述两张图像中的所述目标框的上边界之间的第一距离、下边界之间的第二距离、左边界之间的第三距离、右边界之间的第四距离的和值，并获得所述和值与常数之间的第三差值；将所有所述第三差值的绝对值之和作为所述总调整值。
13.其中，所述第一图像包括热成像图像。
14.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种目标跟踪装置，包括：处理器和存储器，其中，所述处理器与所述存储器耦接，用于实现上述任一实施例中所述的目标跟踪方法。
15.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种具有存储功能的装置，其上存储有程序数据，所述程序数据能够被处理器执行以实现上述任一实施例中所述的目标跟踪方法。
16.区别于现有技术，本技术的有益效果是：本技术会在跟踪过程中，利用当前时刻采集获得的第一图像以及历史图像获取与跟踪目标所对应的目标框相关的位置信息，并根据该位置信息获得当前时刻下的跟踪评分，而在跟踪评分小于预设值时，判定为当前跟踪处于异常跟踪状态，并立即停止跟踪，从而可以及时截断异常状态下的无意义的跟踪过程，提高总体跟踪效率。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
18.图1为本技术目标跟踪方法一实施方式的流程示意图；
19.图2为本技术目标跟踪框架一实施方式的结构示意图；
20.图3为本技术目标跟踪装置一实施方式的结构示意图；
21.图4为本技术具有存储功能的装置一实施方式的结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
23.热成像跟踪技术可穿透薄雾、伪装等，具有一定的目标识别，并且能提供全天候的
服务。但是在实际使用中，热成像图像对于跟踪的物体无法进行细致的观察，只能看见大体的轮廓，尤其在远距离情况下。当跟踪目标温度与环境温度接近时，传统的跟踪过程中容易把高速运动中模糊的物体与环境相混淆，导致出现跟踪异常状态。本技术所提供的目标跟踪方法可以有效解决上述热成像跟踪方面容易混淆的问题。当然，本技术所提供的目标跟踪方法也可适用于其他图像跟踪技术方面。
24.请参阅图1，图1为本技术目标跟踪方法一实施方式的流程示意图，该目标跟踪方法具体包括：
25.s101：响应于当前时刻下图像采集装置采集获得的第一图像中包含跟踪目标，使图像采集装置对跟踪目标持续进行跟踪。
26.具体地，在本实施例中，上述第一图像可以为热成像图像或者可见光图像等。上述步骤s101的具体实现过程可以为：获得当前时刻下图像采集装置采集获得的第一图像，将该第一图像输入至图像识别模块中，以识别出至少一个目标；响应于该至少一个目标中包含跟踪目标，则驱动云台运动以使得图像采集装置对识别出的跟踪目标进行持续跟踪。当然，将该第一图像输入至图像识别模块中，也可能识别出零个目标，或者，上述识别出的至少一个目标中并不包含跟踪目标，则此时可以保持云台位置不动，图像采集装置继续采集获得该时刻下的第一图像，并返回至将该第一图像输入至图像识别模块中的步骤。
27.s102：利用第一图像以及历史图像获取与跟踪目标所对应的目标框相关的位置信息。
28.具体地，上述步骤s102的具体实现过程可以为：获得第一图像的中心点与第一图像中的目标框的中心点之间的偏移值b、以及获得当前时刻之前的历史时间段内的所有历史图像，并利用第一图像和所有历史图像获得目标框位置的总调整值t；其中，位置信息包括偏移值b和总调整值t。上述历史时间段可以为1秒钟等，上述历史时间段内所有历史图像的个数与图像采集装置的帧率相关，例如，1秒钟内，图像采集装置可以采集10张历史图像、25张历史图像等。一般而言，在正常跟踪情况下，目标框一般处于图像的中心位置，一段时间内的目标框的位置应保持在一定程度内的稳定的波动调整。偏移值b越大，则当前跟踪目标被混淆的概率越大，当前处于异常跟踪状态的概率越大；总调整值t越大，则当前跟踪目标被混淆的概率越大，当前处于异常跟踪状态的概率越大。此外，本技术对于获得偏移值b和总调整值t的先后顺序并无太大限定；可以先获得偏移值b，再获得总调整值t，也可以先获得总调整值t，再获得偏移值b。
29.进一步，上述获得偏移值b的具体过程可以为：从第一图像中获得与跟踪目标对应的目标框；获得第一图像的中心点和目标框的中心点在水平方向上的第一差值δx、以及在垂直方向上的第二差值δy；将第一差值δx的绝对值与第二差值δy的绝对值之和作为偏移值b，用公式表示如下：
30.b＝|x1‑
x2|+|y1‑
y2|；其中，x1为第一图像的中心点在水平方向上的坐标值，x2为第一图像上的与跟踪目标对应的目标框的中心点在水平方向上的坐标值；y1为第一图像的中心点在垂直方向上的坐标值，y2为第一图像上的与跟踪目标对应的目标框的中心点在垂直方向上的坐标值。上述获得偏移值b的过程较为简单，且计算量较小。
31.当然，在其他实施例中，偏移值b的计算方式也可为其他，例如，将第一图像的中心点和目标框的中心点之间的距离作为偏移值b，用公式表示如下：
32.其中，x1为第一图像的中心点在水平方向上的坐标值，x2为第一图像上的与跟踪目标对应的目标框的中心点在水平方向上的坐标值；y1为第一图像的中心点在垂直方向上的坐标值，y2为第一图像上的与跟踪目标对应的目标框的中心点在垂直方向上的坐标值。
33.另外，当目标框为矩形时，上述获得总调整值t的具体过程可以为：对于第一图像和所有历史图像中任意相邻两个时刻下的两张图像，获得两张图像中的目标框的上边界之间的第一距离、下边界之间的第二距离、左边界之间的第三距离、右边界之间的第四距离的和值，并获得和值与常数之间的第三差值；将所有第三差值的绝对值之和作为总调整值；而由于第一图像和各个历史图像的尺寸相同，其可以处于同一坐标系中，具体第一距离、第二距离、第三距离和第四距离可以利用目标框边界的坐标值计算获得。上述总调整值t的计算公式表示如下：
[0034][0035]
其中，l
i
为第i时刻获得的图像中跟踪目标对应的目标框的左边界的值(该值可以理解为坐标)，b
i
为第i时刻获得的图像中跟踪目标对应的目标框的下边界的值，r
i
为第i时刻获得的图像中跟踪目标对应的目标框的右边界的值，u
i
为第i时刻获得的图像中跟踪目标对应的目标框的上边界的值，ε为目标框调整的正常波动值，即上述提及的常数。上述获得总调整值t的过程较为简单。
[0036]
当然，在其他实施例中，总调整值t的计算方式也可为其他，例如，对于第一图像和所有历史图像中任意相邻两个时刻下的两张图像，获得两张图像中的目标框中心点之间的距离，并获得该距离与常数之间的第三差值；将所有第三差值的绝对值之和作为总调整值t。用公式表示如下：
[0037]
其中，x
i
、y
i
分别为第i时刻获得的图像中跟踪目标对应的目标框的中心点坐标值，ε为目标框调整的正常波动值，即上述提及的常数。
[0038]
s103：根据位置信息获得当前时刻下的跟踪评分。
[0039]
具体地，在本实施例中，上述步骤s103的具体实现过程可以为：获得第一系数α与偏移值b之间的第一比值、以及第二系数γ与总调整值t之间的第二比值；其中，第一系数与第二系数大于0，且之和为1；将第一比值与第二比值之和作为跟踪评分s。用公式表示如下：
[0040]
其中，α、γ代表在跟踪评分中不同因素所占的比重，一般而言α+γ＝1且0<α<0.6，0<γ<0.6，在此式中α、γ的具体取值取决于实际环境对跟踪效果的影响。利用上述计算公式可以较为准确的评估出当前跟踪状态。
[0041]
当然，在其他实施例中，上述跟踪评分还可与其他因素相关。例如，在上述步骤s103之前，还包括：从第一图像中获得与目标框对应的子图像，获得子图像的清晰度。具体获得清晰度的过程可以为：将该子图像输入至质量分析模块以分析获得画面的清晰度d。在正常跟踪情况下，画面应尽量看清跟踪的目标，即清晰度d越大，本次跟踪评分越高。基于此，上述步骤s103具体为根据位置信息和清晰度获得跟踪评分s。
[0042]
进一步，根据位置信息和清晰度获得跟踪评分s的具体实现过程可以为：获得第一
系数α与偏移值b之间的第一比值、第二系数γ与总调整值t之间的第二比值、第三系数β与清晰度d之间的第一乘积；其中，第一系数α、第二系数γ、第三系数β大于0，且之和为1；将第一比值、第二比值与第一乘积之和作为跟踪评分s。用公式表示如下：
[0043]
其中，α、β、γ代表在跟踪评分中不同因素所占的比重，一般而言α+β+γ＝1且0<α<0.6，0<β<0.4，0<γ<0.6，在此式中α、β、γ的具体取值取决于实际环境对跟踪效果的影响。一般而言，对跟踪效果影响较大的因素是目标框的位置是否准确，因此α和γ的值可以大于β；例如，当第一图像为热成像图像时，α＝0.4、β＝0.2、γ＝0.4。
[0044]
s104：响应于跟踪评分低于预设值，判定当前跟踪处于异常状态，并使图像采集装置停止跟踪。
[0045]
具体地，上述预设值的大小可根据经验进行设定；在上述使图像采集装置停止跟踪之后，还可驱动云台回复到初始位置。此外，与上述步骤s104同步的还有，响应于跟踪评分大于或等于预设值，判定当前跟踪处于正常状态，并使图像采集装置继续跟踪。
[0046]
请参阅图2，图2为本技术目标跟踪框架一实施方式的结构示意图。该目标跟踪框架包括：
[0047]
第一执行模块10，用于在当前时刻下图像采集装置采集获得的第一图像中包含跟踪目标时，使图像采集装置对跟踪目标持续进行跟踪。
[0048]
第一获取模块12，与第一执行模块10连接，用于利用第一图像以及历史图像获取与跟踪目标所对应的目标框相关的位置信息，并根据位置信息获得当前时刻下的跟踪评分；
[0049]
第二执行模块14，与第一获取模块12连接，用于在跟踪评分低于预设值时，判定当前跟踪处于异常状态，并使图像采集装置停止跟踪。
[0050]
请参阅图3，图3为本技术目标跟踪装置一实施方式的结构示意图。该目标跟踪装置包括相互耦接的处理器20和存储器22，用于相互配合以实现上述任一实施例中所述的目标跟踪方法。在本实施例中，处理器20还可以称为cpu(central processing unit，中央处理单元)。处理器20可能是一种集成电路芯片，具有信号的处理能力。处理器20还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0051]
此外，本技术所提供的目标跟踪装置还可包括其他结构，例如，常见的显示屏、通信电路等，本技术对此不作过多说明。
[0052]
请参阅图4，图4为本技术具有存储功能的装置一实施方式的结构示意图。该具有存储功能的装置30上存储有程序数据300，程序数据300能够被处理器执行以实现上述任一实施例中所述的目标跟踪方法。其中，该程序数据300可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计
算机、服务器、手机、平板等终端设备。
[0053]
以上仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本技术的专利保护范围内。