目标跟踪方法、目标跟踪装置及存储装置与流程

本发明涉及目标跟踪技术领域，特别是涉及一种目标跟踪方法、目标跟踪装置及存储装置。

背景技术：

现有的目标大小发生快速变化时，通过可见光进行球机变倍跟踪，由于变倍不准确，经常导致目标丢失。为了解决现有的目标跟踪问题，目标大小发生快速变化的跟踪主要是从算法层面上做改进，然而算法存在目标距离球机距离较近时丢失了目标原有特征，而目标距离球机距离迅速变远时，无法迅速响应变倍值从而导致难以跟踪的难题。同时算法层面所做的改进方法会增加系统耗时。

技术实现要素：

有鉴于此，本发明主要解决的技术问题是提供一种目标跟踪方法、目标跟踪装置及存储装置，能够提高目标跟踪准确率。

为解决上述技术问题，本发明采用的一个技术方案是：提供了一种目标跟踪方法，所述方法包括：采集当前场景的可见光图像和红外光图像；跟踪获取所述可见光图像上的第一目标框；根据所述第一目标框确定所述红外光图像中的第二目标框；选取所述第二目标框内的核心区域，以及所述第二目标框的扩展区域；以所述核心区域的像素值为标准对所述扩展区域的像素点进行划分，确定第二调整目标框；基于所述第二调整目标框对所述第一目标框进行调整，得到所述第一调整目标框；根据所述第一调整目标框确定跟踪目标。

为解决上述技术问题，本发明采用的又一个技术方案是：提供了一种目标跟踪装置，包括相互耦合的存储器和处理器；所述处理器用于执行所述存储器存储的程序指令，以实现上述所述目标跟踪的方法。

为解决上述技术问题，本发明采用的又一个技术方案是：提供了一种存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述所述的目标跟踪方法。

本发明的有益效果是：区别于现有技术的情况，本发明提供一种目标跟踪方法、图像处理目标跟踪装置及存储装置。跟踪获取可见光图像上的第一目标框；根据第一目标框确定红外光图像中的第二目标框；选取第二目标框内的核心区域，以及第二目标框的扩展区域；以核心区域的像素值为标准对扩展区域的像素点进行划分，确定第二调整目标框；基于第二调整目标框对第一目标框进行调整，得到第一调整目标框；根据第一调整目标框确定跟踪目标。通过可见光图像和红外光图像相结合，红外光图像上获取的第二目标调整框来调整可见光图像上的第一目标框，能提高目标跟踪准确率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。此外，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

图1是本发明目标跟踪方法第一实施例的流程示意图；

图2是图1中步骤s16一实施例的流程示意图；

图3是图1中步骤s15一实施例的流程示意图；

图4是本发明目标跟踪方法第二实施例的流程示意图；

图5是本发明目标跟踪装置一实施例的框架示意图；

图6是本发明存储装置一实施例的框架示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本发明目标跟踪方法第一实施例的流程示意图。需要说明的是，本实施例所阐述目标跟踪的尺度估计方法并不局限于以下步骤：

s11：采集当前场景的可见光图像和红外光图像。

本实施例中，采集当前处于同一场景中的可见光图像和红外光图像。场景可以处于白天和晚上的任何时间段内，也不限定室内或室外，只要能采集到当前场景的可见光图像和红外光图像均可。其中，可见光图像通过普通摄像机采集，红外光图像通过红外摄像机等采集。由于红外光图像具有不受背景干扰的特性，能应用于全天24小时目标跟踪。

s12：跟踪获取可见光图像上的第一目标框。

本实施例中，通过跟踪算法跟踪获取可见光图像上的第一目标框的位置信息。其中，跟踪算法可以为kcf算法、siamrpn算法，tld算法，dat算法等。跟踪算法可以根据需求进行选定，具体不做限定。

具体地，通过跟踪算法能获取可见光图像上的第一目标框的中心坐标及宽高信息，如第一目标框中心点位置与其宽高为：(x1,y1,w1,h1)。

进一步地，为了判断可将光图像目标跟踪尺度变化是否准确，跟踪算法除了计算第一目标框中心坐标及宽高信息外，还同时计算第一目标框的第一置信度。通过比较第一置信度和第一阈值，若第一置信度小于等于第一阈值，则进入后续步骤s13中；若第一置信度大于第一阈值，则可见光图像目标跟踪尺度变化准确，即确定第一目标框表示跟踪目标，然后继续进行跟踪。通过比较第一置信度和第一阈值，能快速分析可将光图像目标跟踪的有效性，当第一置信度不能满足第一阈值要求时，能快速与红外光图像相结合，来完成对第一目标框的进一步跟踪，提高了目标跟踪的效率。其中，第一阈值为经验值，为每帧可见光图像跟踪可信的阈值。通过比较第一置信度与第一阈值，能够提高可见光图像目标跟踪的有效性，提升目标跟踪整体准确度。

s13:根据第一目标框确定红外光图像中的第二目标框。

本实施例中，根据可见光图像上的第一目标框位置来计算第一目标在红外光图像中的第二目标框位置。具体地，通过图像标定算法能够通过第一目标框信息来确定第二目标框信息，当然也可以采用其他方式获取第二目标框在红外光图像上的信息，在此不做限定。

s14:选取第二目标框内的核心区域，以及第二目标框的扩展区域；以核心区域的像素值为标准对扩展区域的像素点进行划分，确定第二调整目标框。

本实施例中，在第二目标框的基础上分别形成核心区域和扩展区域，其中扩展区域必定大于核心区域。通过核心区域的像素值来划分扩展区域的像素点信息，进而来形成第二调整目标框。

具体地，对第二目标框进行第一倍数的缩小以获得核心区域，对第二目标框进行第二倍数的放大以确定扩展区域，核心区域、扩展区域和第二目标框的中心点相同。其中，第二目标框缩小的第一倍数具体不做限定，小于1即可，第二目标框放大的第二倍数具体也不做限定，大于1即可。

具体地，根据核心区域的像素值的平均值对扩展区域进行二值化处理；对二值化处理后的扩展区域进行连通域分析，获取最大连通域对应的最小外接矩形，以最小外接矩形为第二调整目标框。即获取第二调整目标框不涉及复杂的数学运算，因此速度快，耗时低，使用平台上适用范围更广，进而减小计算量。

s15:基于第二调整目标框对第一目标框进行调整，得到第一调整目标框。

本实施例中，利用红外光图像获取的第二调整目标框的估计目标尺度，并将该第二调整目标框的估计目标尺度传递给可见光图像的第一目标框后，形成第一调整目标框。

s16:根据第一调整目标框确定跟踪目标。

本实施例中，第一调整目标框确定为跟踪目标，则继续进行跟踪。具体地，为了实现目标跟踪的可连续性。目标跟踪方法还包括更新步骤s12中跟踪获取可见光图像上的第一目标框，即重新获取新的第一目标框，然后对第一目标框重新进行继续跟踪，重新执行s13、s14和s15之后的步骤。

请参阅图2，图2是图1中步骤s16一实施例的流程示意图。具体而言，上述步骤s16可以包括如下步骤：

s161：计算第一调整目标框的第二置信度。

本实施例中，为了提高红外光图像目标跟踪的效率，第一调整目标框重新运行目标跟踪方法第一实施例中步骤s12中跟踪算法，通过跟踪算法重新获取第一调整目标框的中心点位置以及宽高，同时获取第二置信度。其中，第二阈值为经验值，为每帧目标图像跟踪结构可信的阈值。

s162：比较第二置信度和第二阈值，若第二置信度大于第二阈值，则确定第一调整目标框表示跟踪目标；若第二置信度小于等于第二阈值，则丢失跟踪目标。

本实施例中，通过比较第二置信度和第二阈值之间大小，能进一步提高红外光目标跟踪的效率。当第二置信度大于第二阈值时，则第一调整目标框为跟踪目标，否则目标跟踪丢失。通过比较第二置信度和第二阈值大小，能够快速分析可见光图像与红外光图像结合使用后，红外光图像估算尺度变化的有效性，从而提升目标跟踪整体准确度，并具有较优异的鲁棒性。

请参阅图3，图3是图1中步骤s15一实施例的流程示意图。具体而言，上述步骤s15可以包括如下步骤：

s151：计算第二调整目标框相较于上一帧目标框的变化尺度。

本实施例中，变化尺度为第二调整目标框面积除以上一帧目标框面积，假设第二调整目标框面积为最小外接矩形框面积为sm，即s2＝sm/(w*h)，s2为变化尺度，w和h为第二目标框的宽和高。通过计算第二目标框在红外光图像上的第二调整目标框，能有效的估算变化尺度，使得红外光图像具有高精度响应快的特点。

s152：基于变化尺度调整第一目标框，得到第一调整目标框。

本实施例中，将红外图像获取的变化尺度s2传递给可见光图像中的第一目标框上，得到第一调整目标框位置为(x1，y1，w1*s2，h1*s2)，其中假设第一目标框位置为(x1，y1，w1，h1)。

通过计算红外光图像上的第二目标框的变化尺度，通过该变化尺度调整第一目标框，从而能提升跟中整体准确度，并具有较优异的鲁棒性。

请参阅图4，图4是本发明目标跟踪方法第二实施例的流程图。具体而言，包括以下步骤：

s101：采集当前场景的可见光图像和红外光图像。

s102：跟踪获取可见光图像上第一目标框的中心坐标及宽高信息。

本实施例中，通过跟踪算法获取第一目标框。假设第一目标框的中心点位置与其宽高为：(x1，y1，w1，h1)。

s103：计算第一目标框的第一置信度。

其中，通过跟踪算法计算第一置信度。

s104：比较第一置信度和第一阈值大小。

其中，比较第一置信度与第一阈值之间的大小，若第一置信度大于第一阈值，则进入步骤s105中；否则进入到步骤s106中。

s105：确定第一目标框表示跟踪目标。

其中，第一目标框表示跟踪目标，则可见光图像跟踪尺度变化准确，可以继续对可见光图像进行跟踪。

s106：根据第一目标框确定红外光图像中的第二目标框。

其中，假设第一目标框在可见光图像上的中心点位置和宽高为：(x1，y1，w1，h1)，第一目标框经过转换后形成第二目标框。假设第二目标框在红外光图像上的中心位置和宽高为：(x2，y2，w2，h2)。

s107：对第二目标框进行第一倍数的缩小以获得核心区域，对第二目标框进行第二倍数的放大以确定扩展区域，核心区域、扩展区域和第二目标框的中心点相同。

举例而言，如将第二目标框缩小二分之一以形成核心区域，核心区域位置为((max(0，(x2-w2)/4)，max(0，(y2-h2)/4))，(min(width，(x2+w2)/4)，min(height，(y2+h2)/4)))。第二目标框以两倍范围扩大形成扩展区域，扩展区域位置为((max(0，x2-w2)，max(0，y2-h2))，(min(width，x2+w2)，min(height，y2+h2)))。其中核心区域、扩展区域和第二目标框的中心点相同。

s108：根据核心区域的像素值的平均值对扩展区域进行二值化处理。

其中，核心区域的像素值取平均值后再对扩展区域进行二值化处理，以便形成二值图像。

s109：对二值化处理后的扩展区域进行连通域分析，获取最大连通域对应的最小外接矩形，以最小外接矩形为第二调整目标框。

其中，假设获取的最小外接矩形为sm，该sm即为第二调整目标框。

s110：计算第二调整目标框相较于上一帧目标框的变化尺度。

其中，假设变化尺度为s2，则s2＝sm/(w*h)，其中上一帧目标框威第二目标框的宽和高。

s111：基于变化尺度调整第一目标框，得到第一调整目标框。

其中，s2传递给第一目标框后，第一调整目标框的中心点位置和宽高为(x1,y1,w1*s2,h1*s2)。

s112：计算第一调整目标框的第二置信度。

其中，重新计算第一调整目标框的第二置信度。

s113：比较第二置信度和第二阈值大小。

其中，第二置信度大于第二阈值，若第二置信度大于第二阈值，则进入步骤s115中；若第二置信度小于等于第二阈值，则进入步骤s114中。其中，第二置信度与上述第一置信度可以相等或者不等，可以根据实际情况进行选取。

s114：丢失跟踪目标。

其中，丢失跟踪目标即为该帧目标丢失，然后继续进行下一帧判断。

s115：根据第一调整目标框确定跟踪目标。

其中，跟踪目标没有丢失，该第一调整目标框确定为跟踪目标。

本实施例中，使用红外光图像估算变化尺度，同时通过比较第二置信度和第二阈值大小来估计准确性，使得整体跟踪准确率上升，另一方面在夜晚状态下可以开启红外摄像头从而实现夜晚跟踪。同时，本实施例中，通过红外光图像估算变化尺度，不涉及复杂的数学运算，速度快，耗时低，使用平台上适用范围更广。

请参阅图5，图5是本发明目标跟踪装置一实施例的框架示意图。

本实施例中，目标跟踪装置200包括相互耦合的存储器210和处理器220；处理器220用于执行存储器210存储的程序指令，以实现上述任一实施例中的目标跟踪方法。

具体而言，处理器220用于控制其自身以及存储器210以实现上述任一实施例中的目标跟踪方法。如：采集当前场景的可见光图像和红外光图像；跟踪获取可见光图像上的第一目标框；根据第一目标框确定红外光图像中的第二目标框；选取第二目标框内的核心区域，以及第二目标框的扩展区域；以核心区域的像素值为标准对扩展区域的像素点进行划分，确定第二调整目标框；基于第二调整目标框对第一目标框进行调整，得到第一调整目标框；根据第一调整目标框确定跟踪目标。

处理器220还可以称为cpu(centralprocessingunit，中央处理单元)。处理器220可能是一种集成电路芯片，具有信号的处理能力。处理器220还可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器220可以由多个集成电路芯片共同实现。

请参阅图6，图6是本发明存储装置一实施例的框架示意图。

本实施例中，存储装置300用于存储程序指令310，程序指令310在被处理器执行时，用以实现任一实施例中的目标跟踪方法。

此外，在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”、“层叠”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。