对象追踪方法、追踪处理方法、相应的装置、电子设备与流程

本申请涉及计算机视觉技术领域，具体而言，本申请涉及一种对象追踪方法、追踪处理方法、相应的装置、电子设备。

背景技术：

对象跟踪是计算机视觉技术领域中一个热门的研究课题。对象跟踪的基本流程是，对于一个实时的视频流，在某一帧给定一个初始跟踪框来框出某个对象，并在随后的每一帧中不断地更新跟踪框，以保持不断地跟随着这个对象。对象跟踪技术在安防、视频编辑等应用场景都有着重要的作用。

不过，本申请的发明人发现，现有的对象跟踪方案仍旧存在一些问题：当对象跟踪丢失(例如离开摄像头可见视野)再回归时，现有方案无法实现继续跟踪。

技术实现要素：

为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：

第一方面，本申请实施例提供了一种对象追踪方法，该方法包括：

对于视频流中初始目标对象区域所在的第一图像帧，提取初始目标对象区域内的目标对象的第一局部特征；

根据初始目标对象区域在第一图像帧中的位置，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

其中，在跟踪过程中，若目标对象在第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：

根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧；

基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置；

根据第三图像帧中目标对象区域的位置，在第三图像帧之后的图像帧中继续进行目标对象的跟踪。

在一种可选的实现方式中，根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧，包括：

从第二后续图像帧中的第二图像帧开始，重复执行提取图像帧中的第二局部特征，并将第二局部特征与第一局部特征进行匹配，得到匹配结果的步骤，直至匹配结果为匹配成功，匹配成功时对应的图像帧为第三图像帧。

在一种可选的实现方式中，将第二局部特征与第一局部特征进行匹配，得到匹配结果，包括：

确定第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离；

根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对；

若特征点匹配对的数量大于第一阈值，则得到匹配成功的匹配结果；

若特征点匹配对的数量不大于第一阈值，则得到匹配失败的匹配结果。

在一种可选的实现方式中，根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对，包括：

针对第二局部特征中的每个特征点，确定每个特征点与第一局部特征的各个特征点之间的距离中的次小距离与最小距离的比值；

对于每个特征点，若该特征点所对应的比值大于第二阈值，则确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对。

在一种可选的实现方式中，确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对之后，还包括：

若该一个特征点匹配对为误匹配对，则对该一个特征点匹配进行过滤；

确定第二局部特征与第一局部特征之间的特征点匹配对，包括：

将过滤后的各个特征点匹配对作为第二局部特征与第一局部特征之间的特征点匹配对。

在一种可选的实现方式中，基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置，包括：

根据特征点匹配对，确定第三图像帧与第一图像帧之间的单应矩阵；

基于初始目标对象区域在第一图像帧中的位置，及单应矩阵，确定第三图像帧中目标对象所在的目标对象区域的位置。

在一种可选的实现方式中，该方法还包括：通过以下方式确定目标对象在第一后续图像帧中的跟踪状态，其中，跟踪状态包括跟踪成功或跟踪丢失：

对于第一后续图像帧中的第四图像帧，根据第四图像帧的上一图像帧中的目标对象区域的位置，在第四图像帧中确定对上一图像帧中的目标对象区域的目标响应值；

若目标响应值不大于第三阈值，则确定目标对象在第四图像帧中跟踪丢失；

若目标响应值大于第三阈值，则确定目标对象在第四图像帧中跟踪成功。

在一种可选的实现方式中，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪，包括：

通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪之前，还包括：

根据设备信息，确定kcf参数；

根据kcf参数，初始化kcf算法。

在一种可选的实现方式中，根据设备信息，确定kcf参数，包括：

根据设备信息，确定设备级别；

根据设备级别，确定kcf参数。

在一种可选的实现方式中，根据设备信息，确定设备级别，包括：

根据预设的映射表和设备信息，确定设备级别；

其中，预设的映射表包含各种设备信息与各种设备级别之间的对应关系。

在一种可选的实现方式中，kcf参数包括kcf特征和滤波核，根据设备级别，确定kcf参数，包括：

若确定出设备级别为第一级别，则将方向梯度直方图hog特征确定为kcf特征，并将高斯核确定为滤波核；

若确定出设备级别为第二级别，则将灰度像素确定为kcf特征，并将高斯核确定为滤波核；

若确定出设备级别为第三级别，则将灰度像素确定为kcf特征，并将线性核确定为滤波核；

其中，第一级别的设备的性能高于第二级别的设备的性能，第二级别的设备的性能高于第三级别的设备的性能。

在一种可选的实现方式中，设备信息包括以下至少一项：

设备的机型、设备的型号、设备的配置信息。

在一种可选的实现方式中，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪，包括：

通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪之前，还包括：

根据设置的候选kcf参数对应的测试帧率，从候选kcf参数中确定kcf参数；

根据kcf参数，初始化kcf算法。

在一种可选的实现方式中，第二局部特征与第一局部特征相对应，第一局部特征包括以下任一种：

orb局部特征、surf局部特征、sift局部特征。

第二方面，本申请实施例提供了一种追踪处理方法，该方法包括：

确定目标对象在视频流的各个图像帧中的位置信息，位置信息是通过第一方面或第一方面的任一可选的实现方式中所示的方法确定的；

根据位置信息，对目标对象进行相应的处理。

在一种可选的实现方式中，对目标对象进行相应的处理，包括以下至少一种：

确定目标对象的运动轨迹；

在位置信息对应的图像帧添加与目标对象关联的关联对象。

第三方面，本申请实施例提供了一种对象追踪装置，该装置包括：

提取模块，用于对于视频流中初始目标对象区域所在的第一图像帧，提取初始目标对象区域内的目标对象的第一局部特征；

对象跟踪模块，用于根据初始目标对象区域在第一图像帧中的位置，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

对象重追踪模块，用于在跟踪过程中，若目标对象在第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：

根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧；

基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置；

根据第三图像帧中目标对象区域的位置，在第三图像帧之后的图像帧中继续进行目标对象的跟踪。

在一种可选的实现方式中，对象重追踪模块在用于根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧时，具体用于：

从第二后续图像帧中的第二图像帧开始，重复执行提取图像帧中的第二局部特征，并将第二局部特征与第一局部特征进行匹配，得到匹配结果的步骤，直至匹配结果为匹配成功，匹配成功时对应的图像帧为第三图像帧。

在一种可选的实现方式中，对象重追踪模块在用于将第二局部特征与第一局部特征进行匹配，得到匹配结果时，具体用于：

确定第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离；

根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对；

若特征点匹配对的数量大于第一阈值，则得到匹配成功的匹配结果；

若特征点匹配对的数量不大于第一阈值，则得到匹配失败的匹配结果。

在一种可选的实现方式中，对象重追踪模块在用于根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对时，具体用于：

针对第二局部特征中的每个特征点，确定每个特征点与第一局部特征的各个特征点之间的距离中的次小距离与最小距离的比值；

对于每个特征点，若该特征点所对应的比值大于第二阈值，则确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对。

在一种可选的实现方式中，对象重追踪模块在用于确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对之后，还用于若该一个特征点匹配对为误匹配对，则对该一个特征点匹配进行过滤；

对象重追踪模块在用于确定第二局部特征与第一局部特征之间的特征点匹配对时，具体用于将过滤后的各个特征点匹配对作为第二局部特征与第一局部特征之间的特征点匹配对。

在一种可选的实现方式中，对象重追踪模块在用于基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置时，具体用于：

根据特征点匹配对，确定第三图像帧与第一图像帧之间的单应矩阵；

基于初始目标对象区域在第一图像帧中的位置，及单应矩阵，确定第三图像帧中目标对象所在的目标对象区域的位置。

在一种可选的实现方式中，对象重追踪模块还用于：通过以下方式确定目标对象在第一后续图像帧中的跟踪状态，其中，跟踪状态包括跟踪成功或跟踪丢失：

对于第一后续图像帧中的第四图像帧，根据第四图像帧的上一图像帧中的目标对象区域的位置，在第四图像帧中确定对上一图像帧中的目标对象区域的目标响应值；

若目标响应值不大于第三阈值，则确定目标对象在第四图像帧中跟踪丢失；

若目标响应值大于第三阈值，则确定目标对象在第四图像帧中跟踪成功。

在一种可选的实现方式中，对象跟踪模块在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪时，具体用于：

通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

该装置还包括设置模块，在对象跟踪模块通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪之前，用于：

根据设备信息，确定kcf参数；

根据kcf参数，初始化kcf算法。

在一种可选的实现方式中，设置模块在用于根据设备信息，确定kcf参数时，具体用于：

根据设备信息，确定设备级别；

根据设备级别，确定kcf参数。

在一种可选的实现方式中，设置模块在用于根据设备信息，确定设备级别时，具体用于：

根据预设的映射表和设备信息，确定设备级别；

其中，预设的映射表包含各种设备信息与各种设备级别之间的对应关系。

在一种可选的实现方式中，kcf参数包括kcf特征和滤波核，设置模块在用于根据设备级别，确定kcf参数时，具体用于：

若确定出设备级别为第一级别，则将方向梯度直方图hog特征确定为kcf特征，并将高斯核确定为滤波核；

若确定出设备级别为第二级别，则将灰度像素确定为kcf特征，并将高斯核确定为滤波核；

若确定出设备级别为第三级别，则将灰度像素确定为kcf特征，并将线性核确定为滤波核；

其中，第一级别的设备的性能高于第二级别的设备的性能，第二级别的设备的性能高于第三级别的设备的性能。

在一种可选的实现方式中，设备信息包括以下至少一项：

设备的机型、设备的型号、设备的配置信息。

在一种可选的实现方式中，设置模块还用于：

根据设置的候选kcf参数对应的测试帧率，从候选kcf参数中确定kcf参数；

根据kcf参数，初始化kcf算法。

在一种可选的实现方式中，第二局部特征与第一局部特征相对应，第一局部特征包括以下任一种：

orb局部特征、surf局部特征、sift局部特征。

第四方面，本申请实施例提供了一种追踪处理装置，该装置包括：

确定模块，用于确定目标对象在视频流的各个图像帧中的位置信息，位置信息是通过第一方面或第一方面的任一可选的实现方式中所示的方法确定的；

处理模块，用于根据位置信息，对目标对象进行相应的处理。

在一种可选的实现方式中，处理模块在用于对目标对象进行相应的处理时，具体用于以下至少一种：

确定目标对象的运动轨迹；

在位置信息对应的图像帧添加与目标对象关联的关联对象。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括：

处理器和存储器，存储器存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现本申请实施例的第一方面或第一方面的任一可选的实现方式中所示的方法。

第六方面，本申请实施例提供了一种电子设备，该电子设备包括：

处理器和存储器，存储器存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现本申请实施例的第二方面或第二方面的任一可选的实现方式中所示的方法。

第七方面，本申请实施例提供了一种计算机可读存储介质，计算机存储介质用于存储计算机指令、程序、代码集或指令集，当其在计算机上运行时，使得计算机执行以实现本申请实施例的第一方面或第一方面的任一可选的实现方式中所示的方法。

第八方面，本申请实施例提供了一种计算机可读存储介质，计算机存储介质用于存储计算机指令、程序、代码集或指令集，当其在计算机上运行时，使得计算机执行以实现本申请实施例的第二方面或第二方面的任一可选的实现方式中所示的方法。

本申请实施例提供的对象追踪方法、追踪处理方法、相应的装置、电子设备，能够在对象跟踪丢失时，通过提取的目标对象的第一局部特征，实现丢失对象的检测与重定位，以对目标对象进行重新跟踪，有效地解决现有技术方案在对象跟踪丢失时难以继续跟踪的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图做简单的介绍。

图1为本申请实施例提供的对象追踪方法的流程示意图；

图2为本申请实施例提供的特征点检测的示意图；

图3a为本申请实施例提供的重新获取跟踪框的示意图一；

图3b为本申请实施例提供的重新获取跟踪框的示意图二；

图3c为本申请实施例提供的重新获取跟踪框的示意图三；

图4为本申请实施例提供的对象追踪流程图；

图5为本申请实施例提供的对象追踪装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种对象追踪方法，如图1所示，该方法包括：

步骤s101：对于视频流中初始目标对象区域所在的第一图像帧，提取初始目标对象区域内的目标对象的第一局部特征；

步骤s102(也可称为对象跟踪步骤)：根据初始目标对象区域在第一图像帧中的位置，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

步骤s103：在跟踪过程中，若目标对象在第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：

步骤s1031：根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧；

步骤s1032：基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置；

步骤s1033：根据第三图像帧中目标对象区域的位置，在第三图像帧之后的图像帧中继续进行目标对象的跟踪。

本申请实施例提供的对象追踪方法，能够在对象跟踪丢失时，通过提取的目标对象的第一局部特征，实现丢失对象的检测与重定位，以对目标对象进行重新跟踪，有效地解决现有技术方案在对象跟踪丢失时难以继续跟踪的问题。

对于本申请实施例，不具体限定视频流的类型。作为示例，视频流可以为实时视频流数据，例如可以为视频监控系统中的视频采集设备实时采集的数据；或者视频流数据也可以为历史视频流数据，例如为本地存储的视频流数据、或者从网上下载的数据、或者从其他设备接收到的视频流数据。

本申请实施例中，目标对象区域即图像中目标对象所在的区域，也就是目标对象标记。为描述方便，下文中以跟踪框来代表目标对象区域进行描述，如初始目标对象区域即初始跟踪框，也就是开始进行目标对象跟踪时，视频流中目标对象所在的第一帧图像中的目标对象区域。

本申请实施例中，第一图像帧、初始跟踪框(初始目标对象区域)和/或目标对象，可以为用户指定的或者根据预定算法确定出的，例如在视频流开始播放后，用户可以在某一帧(对应第一图像帧)框定一个包含目标对象的跟踪框(对应初始跟踪框)，以进行目标对象的跟踪。又例如可以通过识别视频流中的特定对象，并在该特定对象首次出现的视频帧(对应第一图像帧)中通过预定算法确定跟踪框(对应初始跟踪框)，将该特定对象作为目标对象进行跟踪。其中，第一图像帧可能是视频流的第一个图像帧，也可能是第一个图像帧外的任一个图像帧，为便于描述，本申请实施例的下文描述中可以将第一图像帧表述为第k帧；目标对象是指图像帧中可被识别的物体，例如车辆、人脸、建筑、天空等；本申请实施例中，对这些内容不作具体限定。

本申请实施例的步骤s101中，对于视频流中初始跟踪框所在的第一图像帧(第k帧)，需要提取初始跟踪框内的目标对象的第一局部特征。其中，提取的局部特征是指目标对象对应的一部分具有不变形和差异性的特征，可以采用局部特征描述子进行描述。本申请实施例中，可以使用的局部特征描述子包括但不限于orb(orientedfastandrotatedbrief，快速定向快速旋转)局部特征描述子、surf(speeduprobustfeatures，加速稳健特征)局部特征描述子、sift(scaleinvariantfeaturetransform，尺度不变特征变换)局部特征描述子等。也就是说，第一局部特征可以为以下任一种：orb局部特征、surf局部特征、sift局部特征。

本申请实施例中，提取的第一局部特征可以预先进行缓存，以便在步骤s103中可以进行至少一次的使用。

本申请实施例的步骤s102中，即对象跟踪步骤中，根据初始目标对象区域(初始跟踪框)在第一图像帧中的位置，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪。

其中，第一后续图像帧是指从第一图像帧的下一图像帧开始的连续图像帧(第k+1帧～第k+n帧，n≥2)。

本申请实施例中，可以通过预定跟踪算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪。预定跟踪算法可以采用相关滤波算法，与基于cnn的方案需要依赖一个高复杂度的cnn模型而导致实时性不佳，以及基于光流的方案准确性有所欠缺相比，采用相关滤波算法在性能和速度上可以取得很好的折中。

本申请实施例中，以预定跟踪算法采用kcf(kernelizedcorrelationfilters，核化相关滤波器)算法为例，介绍对象跟踪步骤的实现方式，具体地，通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪，其中，kcf算法的基本思想是利用核相关滤波，不断在上一帧输出跟踪框(第一次则是初始跟踪框)的基础上，更新计算当前帧的跟踪框的位置，同时利用时域转频域的操作加速计算，可以使地跟踪过程快速且准确。

具体地，结合第一图像帧(第k帧)和初始跟踪框第一图像帧上的位置，采样出正负样本，训练一个面向目标对象的分类器(回归器)；在每一帧(对应第一后续图像帧中的任一图像帧)，对上一帧跟踪框的位置进行扩大得到一个扩大范围，该扩大范围内包含与跟踪框大小相同的多个滑窗，利用已训练好的分类器(回归器)计算每个滑窗的响应值，并确定响应值最大的滑窗的响应值，当响应值足够大时，将该滑窗作为跟踪结果(即确定更新的跟踪框)。结合更新的跟踪框的位置和这一图像采样出正负样本，用于更新分类器(回归器)，用于下一帧执行类似过程，以进行目标对象的跟踪。

本申请实施例中，不限定步骤s101和步骤s102的执行顺序，例如步骤s101和步骤s102可以同时执行，也可以分别执行，本领域技术人员可以根据实际情况进行设置。

本申请实施例的步骤s103中，在跟踪过程中，若目标对象在第一后续图像帧中的第二图像帧中跟踪丢失，则执行步骤s1031至步骤s1033。

其中，第二图像帧是指在对第一后续图像帧进行连续跟踪的过程中，出现对象跟踪丢失的第一个图像帧，可能是第k+1帧～第k+n帧中的任一帧，为描述方便，下文中以第二图像帧是第k+n帧为例。

本申请实施例中，目标对象在图像帧中的跟踪状态包括跟踪成功或跟踪丢失，例如第二图像帧的跟踪状态为跟踪丢失，第二图像帧的前一个图像帧的跟踪状态为跟踪成功，可以通过以下方式确定目标对象在第一后续图像帧中的跟踪状态：

以每个当前帧作为第四图像帧进行描述，对于第一后续图像帧中的第四图像帧，根据第四图像帧的上一图像帧中的目标对象区域的位置，在第四图像帧中确定对上一图像帧中的目标对象区域的目标响应值，例如可以对于第一后续图像帧中的第四图像帧，根据第四图像帧的上一图像帧中的跟踪框的位置，在第四图像帧中确定对上一图像帧中的跟踪框的目标响应值。

结合上文可知，对当前帧的跟踪过程中，会对上一帧跟踪框的位置进行扩大得到一个扩大范围，该扩大范围内包含与跟踪框大小相同的多个滑窗，利用已训练好的分类器(回归器)计算每个滑窗的响应值，并确定响应值最大的滑窗，将其响应值作为目标响应值，当目标响应值足够大时，确定出对象未跟踪丢失，此时可以将该滑窗作为当前帧的跟踪结果(即确定更新的跟踪框)，本申请实施例中，在响应值最大的滑窗的目标响应值过小时，确定出对象跟踪丢失。具体地，可以通过设置的第三阈值来确定目标响应值足够大还是过小。若目标响应值不大于第三阈值，则确定目标对象在第四图像帧中跟踪丢失；若目标响应值大于第三阈值，则确定目标对象在第四图像帧中跟踪成功。对于第一后续图像帧中的每个图像帧的跟踪状态，都可以通过上述第四图像帧的处理方式来确定。即第四图像帧可以是第一后续图像帧中的任意图像帧。

本申请实施例的步骤s1031中，根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧；

其中，第二后续图像帧是指从第二图像帧开始的连续图像帧(第k+n帧～第k+n+m帧)。

第三图像帧是指对象跟踪丢失后，在第二后续图像帧中重新检测到目标对象的第一个图像帧。

实际应用中，在第二后续图像帧中从第二图像帧开始逐帧检测是否存在目标对象，直到在第三图像帧中检测到目标对象后，停止继续检测。

本申请实施例中，步骤s1031可通过以下方式实现：

从第二后续图像帧中的第二图像帧开始，重复执行提取图像帧中的第二局部特征，并将第二局部特征与第一局部特征进行匹配，得到匹配结果的步骤，直至匹配结果为匹配成功，匹配成功时对应的图像帧为第三图像帧。

也就是说，在从第二图像帧开始到第三图像帧中，对于每一图像帧，都会全图提取第二局部特征，并将第二局部特征与第一局部特征进行匹配，其中，由于第三图像帧之前的图像帧中不存在目标特征，提取的第二局部特征与第一局部特征会匹配失败，直至第三图像帧提取的第二局部特征与第一局部特征匹配成功，即可确定出第三图像帧中存在目标对象。

本申请实施例的步骤s1032中，基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置，进而在步骤s1033中，根据第三图像帧中目标对象区域的位置，在第三图像帧之后的图像帧中继续进行目标对象的跟踪。

本申请实施例中，可以基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置，将第三图像帧中目标对象区域的位置作为新的目标对象区域，将第三图像帧作为新的第一图像帧，继续执行对象跟踪步骤。即类似步骤s102的处理过程，根据新的跟踪框在第三图像帧中的位置，通过预定跟踪算法在视频流中第三图像帧的第三后续图像帧中进行目标对象的跟踪。进一步地，若在跟踪过程中，目标对象再一次跟踪丢失，则可以继续执行类似步骤s103的过程。循环执行这些过程，直至接收到用户的停止跟踪指令或者视频流播放结束。

下面以提取的局部特征是为orb特征为例，介绍提取局部特征以及基于局部特征进行匹配来重新查找目标对象的过程。

由上文的介绍可知，局部特征的提取主要发生在两种阶段。一种是初次标定初始跟踪框的阶段，这一阶段只需要提取初始跟踪框内的所有orb局部特征(对应第一局部特征)即可，同时需要记录每个orb局部特征在原图的坐标以及初始跟踪框的左上角和右下角在原图的坐标。另一种是当对象跟踪丢失后，需要在特定图像帧的全图上提取orb局部特征(对应第二局部特征)。

具体地，orb特征提取包括特征点检测和特征点描述两个过程。

特征点检测：orb采用改进的fast算法来检测关键点(即特征点)的位置。具体计算过程如下，如图2所示：

1、选取图像中的一个像素点p，把它的灰度值计为ip；

2、以p的位置为圆心，3像素为半径画一个圆，记录圆对应的16个像素点的灰度值(ii，1≤i≤16)；

3、设定一个合适的阈值t，当ii与ip差的绝对值大于t时，认为这ii对应的像素点与p点不相同；

4、检查位置1、9、5和13四个像素点与p点是否相同(可以先检查1和9是否与p点相同，如果是，再检查5和13)。如果该四个像素点中至少有3个和p点相同，则认为p点是一个关键点。

特征点描述：orb采用改进的brief算法来计算关键点的描述子。具体计算过程如下：

1、计算关键点p的方向(可以是通过统计关键点p的质心和原点的向量方向得到的)；

2、将关键点p的方向朝预定方向进行旋转；

3、在旋转后的关键点p的周围以一定的模式选取l个点对，把这l个点对的比较结果组合起来作为二值化的描述子，即brief描述子，该brief描述子具有旋转不变性。

作为示例地，图3a示出了包含同一目标对象(图中所示的卡通人像)的两幅图像(图中只简单示出了目标图像部分)，分别针对图3a中两幅图像中的该目标对象进行局部特征的提取，特征点的提取结果如图中的黑色符号“×”所示，由图中可以看出其中，两个图的局部特征是相对应的。

本申请实施例中，在提取第二局部特征之后，将第二局部特征与第一局部特征进行匹配，得到匹配结果的过程包括：

(1)确定第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离。

其中，确定的距离可以包括但不限于汉明距离、欧式距离等。本申请实施例中以汉明距离为例进行介绍。

即对于提取到的第二局部特征中的每个特征点，都与缓存好的第一局部特征的各个特征点进行比对，计算汉明距离。

(2)根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对，如图3b所示，在图3a的基础上，两个图的局部特征中的各个特征点基于相似度进行匹配，得到特征点匹配对(对应图3b中左图和右图之间的连线，每条两线上的两个特征点即为一个特征点匹配对)。

具体地，针对第二局部特征中的每个特征点，确定每个特征点与第一局部特征的各个特征点之间的距离中的次小距离与最小距离的比值；

作为示例地，对于第二局部特征中的特征点a，在第一局部特征中确定与特征点a汉明距离最小的特征点c以及与特征点a汉明距离次小的特征点b，确定特征点a和特征点b之间的第一汉明距离，特征点a和特征点c之间的第二汉明距离，并计算第一汉明距离与第二汉明距离的比值。

进一步地，对于每个特征点，若该特征点所对应的比值大于第二阈值，则确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对。

接上例，当第一汉明距离与第二汉明距离的比值大于预设阈值(第二阈值)时，则认为a和c是一个特征点匹配对。对第二局部特征中的每一个特征点均采用上述过程进行处理，即可得到第二局部特征与第一局部特征之间的全部特征点匹配对。

本申请实施例中，可以直接根据全部特征点匹配对来得到匹配结果，或者可以对得到的全部特征点匹配对进行几何校验，确定过滤后的特征点匹配对，用来得到匹配结果，例如如图3b中，四条连线中的最下方一条连线显然是误匹配，可以进行过滤。

具体地，在确定出一个特征点匹配对之后，若该一个特征点匹配对为误匹配对，则对该一个特征点匹配进行过滤；总的来说，将过滤后的各个特征点匹配对作为第二局部特征与第一局部特征之间的特征点匹配对，用来得到匹配结果。

可选地，得到所有匹配对以后，利用ransac算法过滤其中的误匹配，具体计算过程如下：

1、从候选特征点匹配对中确定匹配对样本，计算匹配对样本的变换矩阵，例如从候选特征点匹配对中随机抽出4个匹配对样本，计算其变换矩阵，将计算出的变换矩阵记为m。

2、确定候选特征点匹配对中符合该变换矩阵的匹配对，得到内点集合，即计算候选特征点匹配对中第一组数据利用m投影之后，与第二组数据的投影误差，若数据的投影误差小于设定的阈值，则将该数据加入内点集合i。

3、将内点集合中的各个特征点匹配对，通过过程1和2进行迭代，更新内点集合；即重新利用内点集合i内的特征点匹配对计算变换矩阵m并计算投影误差，直到迭代次数达到预设值。

4、根据最终得到的内点集合，得到匹配结果，即在内点集合i内的特征点匹配对才是过滤后的特征点匹配对。

(3)根据特征点匹配对的数量与第一阈值的关系，得到匹配结果。

具体地，若特征点匹配对的数量大于第一阈值，则得到匹配成功的匹配结果；这时可以匹配成功时对应的图像帧为第三图像帧，重新对目标对象进行跟踪。

若特征点匹配对的数量不大于第一阈值，则得到匹配失败的匹配结果。这是可以进入下一个图像帧继续提取第二局部特征，并与第一局部特征进行匹配。

其他实施例中，还可以通过其他方法将第二局部特征中的每个特征点与第一局部特征的各个特征点基于相似度进行匹配，确定第二局部特征与第一局部特征之间的特征点匹配对。

本申请实施例中，在第三图像帧的第二局部特征与第一局部特征匹配成功后，可以基于初始跟踪框在第一图像帧中的位置，在第三图像帧中确定目标对象所在的新的跟踪框的位置，用来重新对目标对象进行跟踪。

具体地，根据特征点匹配对，确定第三图像帧与第一图像帧之间的单应矩阵，即根据每个特征点匹配对分别对应第一图像帧和第三图像帧的坐标，计算两个图像帧之间单应矩阵。

基于初始目标对象区域在第一图像帧中的位置及单应矩阵，确定第三图像帧中目标对象所在的目标对象区域的位置，即根据单应矩阵，将初始跟踪框的左上角坐标和右下角坐标投影到第三图像帧上，得到第三图像帧中新的跟踪框的左上角坐标和右下角坐标，也就是得到了第三图像帧中确定新的跟踪框的位置，例如如图3c所示(该图中是基于过滤后的特征点匹配对来确定两幅图像之间的单应矩阵的)，根据左图中跟踪框的左上角坐标和右下角坐标，得到右图中对应的跟踪框的左上角坐标和右下角坐标，实现了第三图像帧中目标对象的重定位，进而可以根据新的跟踪框在第三图像帧中的位置，通过预定跟踪算法在视频流中第三图像帧的后续图像帧中继续进行目标对象的跟踪。

对于本申请实施例，上述方法的执行主体可以为服务器，该服务器可以包括物理服务器和/或云端服务器，具体的，服务器可以基于本申请实施例所提供的方法，对数据库中或接收到的视频流进行处理，并将追踪处理结果发送给终端设备进行展示。或者，上述方法的执行主体也可以为终端设备，例如移动终端等，或者也可以为安装于终端设备上的应用程序。实际应用中，移动终端可以包括诸如移动电话、智能电话、平板电脑、笔记本电脑、个人数字助理、便携式多媒体播放器、导航装置等。本领域技术人员可以理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端，诸如数字电视、台式计算机等。

实际应用中，上述预定跟踪算法可以采用lk(lucas-kanade)光流法，通过计算光流特征点进行匹配的方式，实现跟踪框的定位。或者，也可以采用基于相关滤波的对象跟踪算法，其具有速度快、精度高的特点，或者也可以采用基于cnn(convolutionalneuralnetworks，卷积神经网络)的对象跟踪算法，能够在场景中均取得非常好的效果。

考虑到在上述几类对象跟踪方案中，基于cnn的方案需要依赖一个高复杂度的cnn模型，而基于lk光流的方案准确性有所欠缺，因此本申请实施例结合基于相关滤波的跟踪方法，针对不同设备算力差异较大的情况，还提出了一种根据设备的机型确定预定跟踪算法的跟踪参数的方案，下面以预定跟踪算法为kcf算法为例进行介绍。

一种可行的实现方式中，在上述各实施例执行之前，或者在步骤s102执行之前，需要读取设备信息，包括但不限于设备的机型、设备的型号、设备的配置信息中的至少一项。

根据设备信息，确定kcf参数；根据kcf参数，初始化kcf算法，以通过kcf算法进行目标对象的跟踪。

具体而言，可以根据设备信息，确定设备级别；根据设备级别，确定kcf参数。

影响kcf速度的相关参数包含特征的选取以及滤波核的选择，不同参数配置下的kcf跟踪的速度和精度将会有所区别，速度越快则精度越低。本申请实施例中，确定的kcf参数包括kcf特征和滤波核。

若确定出设备级别为第一级别，则将hog(方向梯度直方图)特征确定为kcf特征，并将高斯核确定为滤波核。此时跟踪效果最佳，配置要求高。

若确定出设备级别为第二级别，则将灰度像素确定为kcf特征，并将高斯核确定为滤波核。此时跟踪效果为中档，配置要求为中档。

若确定出设备级别为第三级别，则将灰度像素确定为kcf特征，并将线性核确定为滤波核。此时跟踪效果最差，但配置要求低，速度最快。

其中，第一级别的设备的性能高于第二级别的设备的性能，第二级别的设备的性能高于第三级别的设备的性能。

为便于描述，下文中将第一级别的设备称为高端机，第二级别的设备称为中端机，第三级别的设备称为低端机。

本申请实施例中根据预设的映射表和设备信息来确定设备级别。其中，预设的映射表包含各种设备信息与各种设备级别之间的对应关系。作为示例地，若设备信息为cpu(centralprocessingunit，中央处理器)主频，可以将cpu主频>2ghz的设备定为高端机，1.5ghz<cpu主频<2ghz的设备定为中端机，cpu主频<1.5ghz的设备定为低端机。

另一种可行的实现方式中，在上述各实施例执行之前，或者在步骤s102执行之前，根据设置的候选kcf参数对应的测试帧率，从候选kcf参数中确定kcf参数；根据kcf参数，初始化kcf算法，以通过kcf算法进行目标对象的跟踪。

即通过实时运行三种类型的候选kcf参数，动态计算帧率来测试设备适合的kcf参数。作为示例地，首先设置kcf特征选取为hog特征，同时滤波核选取为高斯核，若此时测试帧率大于30fps，则采用该kcf参数作为kcf参数；否则设置kcf特征为灰度像素(将跟踪框调整大小至固定尺度，并灰度化)，同时滤波核选取为高斯核，若此时测试帧率大于30fps，则采用该kcf参数作为kcf参数；否则设置kcf特征为灰度像素，同时滤波核选取为线性核，作为kcf参数。

本申请实施例中，通过针对不同的设备采用不同的跟踪算法参数，能够将上述方法可伸缩、自适应地运行在不同的设备上，达到良好的适配效果和兼容效果。

需要说明的是，第一局部特征和第二局部特征仅表示从不同类型的图像帧中提取的局部特征，而不能理解为对局部特征数量或类型的限定。实际应用中，第二局部特征是一个或多个图像帧中都会分别全图提取的局部特征，且第一局部特征和第二局部特征是对应于同一种局部特征描述子的局部特征，是用于相互匹配的。

同理地，第一图像帧、第二图像帧、第三图像帧和第四图像帧用来表示不同进度和情形下的图像帧，而不能理解为对图像帧顺序或位置或数量的限定。实际应用中，第一图像帧、第二图像帧、第三图像帧和第四连续帧可以是视频流中的连续图像帧，也可以是包含间隔图像帧的，还可能是重叠的图像帧。且第二图像帧和第三图像帧可能在视频流中不出现，或出现一次或多次。在第一次出现第二图像帧和第三图像帧后，还可能再次出现第二图像帧和第三图像帧，第二图像帧和第四图像帧可能为同一图像帧等。

同理地，第一阈值、第二阈值和第三阈值表示不同情境下设置的阈值，而不能理解为阈值大小的限定。

为了更好的说明本申请实施例的方案，下面结合一个具体示例对本申请实施例的方案进行进一步详细描述。具体的，该示例中，对象追踪方法的执行主体为智能手机，图4中示出了本示例中的一种对象追踪方法的流程示意图。其中，对象追踪可理解为追索对象踪迹，包括连续跟踪过程以及对象跟踪丢失时的重新追踪。具体而言，流程描述如下，其中，各步骤之间不限定执行顺序，以实际运用的流程顺序为准。

1、应用开始时，读取相应设备(图4中以手机为例)的型号，并根据手机型号确定设备级别(高端机型、中端机型还是低端机型)，根据设备级别设置kcf参数。具体设置方法参数上文中的描述，在此不再赘述。

2、实时视频流开始后，用户在某一个帧(指定为第k帧)框定一个初始跟踪框，跟踪算法启动：kcf算法根据初始跟踪框和kcf参数，初始化kcf算法，训练后续所使用的kcf分类器/回归器，进行对象跟踪。同时对初始跟踪框跟踪框内的对象提取orb局部特征(对应图中的待跟踪对象的orb局部特征)。

3、从第k+1帧开始，kcf算法不断在上一帧输出跟踪框(第k帧则是用户标定的初始跟踪框)的基础上进行相关滤波，更新计算当前帧新的跟踪框位置，并返回该跟踪框位置的响应值。

4、如果响应值大于阈值，则系统认为跟踪成功，对象未跟踪丢失，下帧继续跟踪。

5、如果响应值不大于阈值，则针对当前帧全图提取orb局部特征，并和预先缓存好的待跟踪对象的orb局部特征进行匹配。

6、当进入orb局部特征匹配的步骤后，判断匹配对个数是否大于预设阈值，如果没有，则认为对象已经跟踪丢失，则从下一帧开始不断进行全图orb特征提取及匹配的操作。

7、否则，认为orb特征匹配成功，根据orb特征匹配的结果计算单应矩阵，并根据单应矩阵计算当前帧新的跟踪框的位置，并利用这个新的跟踪框的位置和kcf参数(可以是获取之前已经设置好的，也可以重新进行设置)，重新初始化kcf算法，训练kcf分类器/回归器，进行对象跟踪。

8、此时对象跟踪又回到利用kcf算法跟踪的状态，直到对象下一次跟踪丢失(响应值小于阈值)。

本申请实施例提供的对象追踪方法，根据设备的机型确定跟踪算法参数来实现对象跟踪；当对象跟踪丢失时，通过局部描述子匹配的方法丢失对象的检测与重定位，以对目标对象进行重新跟踪，有效地解决现有技术方案在对象跟踪丢失时难以继续跟踪的问题。

本申请实施例提供的对象追踪方法，可应用在安防、短视频、视频编辑等应用场景中。

具体而言，本申请实施例还提供了一种追踪处理方法，该方法包括：

步骤s201：确定目标对象在视频流的各个图像帧中的位置信息，位置信息是通过上述任一实施例所示的追踪处理方法确定的；

对于本申请实施例，不具体限定视频流的类型。作为示例地，视频流可以为实时视频流数据，例如为视频监控系统中的采集设备实时采集的数据；或者视频流数据也可以为历史视频流数据，例如为存储的或者下载的数据。

目标对象为视频流的各个图像帧中可被识别的物体，例如车辆、人脸、建筑、天空等。

一种可行的实现方式中，可以直接根据追踪处理方法中使用的跟踪框来确定目标对象在图像帧中的位置信息。

另一种可行的实现方式中，可以重新提取各个图像帧的局部特征，与预先提取的目标对象的局部特征进行匹配，确定目标对象在各个图像帧中的位置。其中，局部特征的提取方式和匹配方式可参见上文中的介绍，在此不再赘述。

结合上文中的各实施例可知，在某些图像帧中对象可能跟踪丢失，此时确定的位置信息可以为空。

步骤s202：根据位置信息，对目标对象进行相应的处理。

在一种可选的实现方式中，对目标对象进行相应的处理，包括以下至少一种：

(1)确定目标对象的运动轨迹。

例如可以应用在安防场景下。在该场景中，目标对象即为被跟踪者，目标对象的运动轨迹即被跟踪者的行动轨迹。本申请实施例可以通过对象跟踪方法确定的位置信息来管理被跟踪者的行动轨迹。

其中，当某些图像帧的位置信息为空时，这些图像帧的轨迹可以进行根据之前的图像帧的运动轨迹和之后的图像帧的运动轨迹进行预测，也可以直接得到分段运动轨迹。

(2)在位置信息对应的图像帧添加与目标对象关联的关联对象。

例如可以应用在短视频、视频编辑等场景中。在这些场景中，目标对象即用户拍摄的对象，目标对象关联的关联对象可以为贴纸、挂件、特效等展示效果，也可以为其他素材。本申请实施例可以通过对象跟踪方法确定的位置信息来实现关联对象紧紧跟随用户拍摄的对象的效果，或者实现按照特定轨迹展示关联对象的效果。即使某些图像帧的位置信息为空，也不影响后续图像帧的展示效果。

本申请实施例提供的追踪处理方法，在对视频流的相应处理过程中，及时对象跟踪丢失也可以继续进行追踪，从而实现完整的处理效果，有效提升用户体验。

本领域技术人员应能理解，上述业务场景仅为举例，可以基于该范例进行的适当变化以用于其他场景，也可以属于本申请的精神或范畴。

本申请实施例还提供了一种对象追踪装置，如图5所示，该对象追踪装置50可以包括：提取模块501、对象跟踪模块502和对象重追踪模块503，其中，

提取模块501用于对于视频流中初始目标对象区域所在的第一图像帧，提取初始目标对象区域内的目标对象的第一局部特征；

对象跟踪模块502用于根据初始目标对象区域在第一图像帧中的位置，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

对象重追踪模块503用于在跟踪过程中，若目标对象在第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：

根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧；

基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置；

根据第三图像帧中目标对象区域的位置，在第三图像帧之后的图像帧中继续进行目标对象的跟踪。

在一种可选的实现方式中，对象重追踪模块503在用于根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧时，具体用于：

从第二后续图像帧中的第二图像帧开始，重复执行提取图像帧中的第二局部特征，并将第二局部特征与第一局部特征进行匹配，得到匹配结果的步骤，直至匹配结果为匹配成功，匹配成功时对应的图像帧为第三图像帧。

在一种可选的实现方式中，对象重追踪模块503在用于将第二局部特征与第一局部特征进行匹配，得到匹配结果时，具体用于：

确定第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离；

根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对；

若特征点匹配对的数量大于第一阈值，则得到匹配成功的匹配结果；

若特征点匹配对的数量不大于第一阈值，则得到匹配失败的匹配结果。

在一种可选的实现方式中，对象重追踪模块503在用于根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对时，具体用于：

针对第二局部特征中的每个特征点，确定每个特征点与第一局部特征的各个特征点之间的距离中的次小距离与最小距离的比值；

对于每个特征点，若该特征点所对应的比值大于第二阈值，则确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对。

在一种可选的实现方式中，对象重追踪模块503在用于确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对之后，还用于若该一个特征点匹配对为误匹配对，则对该一个特征点匹配进行过滤；

对象重追踪模块503在用于确定第二局部特征与第一局部特征之间的特征点匹配对时，具体用于将过滤后的各个特征点匹配对作为第二局部特征与第一局部特征之间的特征点匹配对。

在一种可选的实现方式中，对象重追踪模块503在用于基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置时，具体用于：

根据特征点匹配对，确定第三图像帧与第一图像帧之间的单应矩阵；

基于初始目标对象区域在第一图像帧中的位置，及单应矩阵，确定第三图像帧中目标对象所在的目标对象区域的位置。

在一种可选的实现方式中，对象重追踪模块503还用于：通过以下方式确定目标对象在第一后续图像帧中的跟踪状态，其中，跟踪状态包括跟踪成功或跟踪丢失：

对于第一后续图像帧中的第四图像帧，根据第四图像帧的上一图像帧中的目标对象区域的位置，在第四图像帧中确定对上一图像帧中的目标对象区域的目标响应值；

若目标响应值不大于第三阈值，则确定目标对象在第四图像帧中跟踪丢失；

若目标响应值大于第三阈值，则确定目标对象在第四图像帧中跟踪成功。

在一种可选的实现方式中，对象跟踪模块在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪时，具体用于：

通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；

该装置还包括设置模块，在对象跟踪模块通过核化相关滤波器kcf算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪之前，用于：

根据设备信息，确定kcf参数；

根据kcf参数，初始化kcf算法。

在一种可选的实现方式中，设置模块在用于根据设备信息，确定kcf参数时，具体用于：

根据设备信息，确定设备级别；

根据设备级别，确定kcf参数。

在一种可选的实现方式中，设置模块在用于根据设备信息，确定设备级别时，具体用于：

根据预设的映射表和设备信息，确定设备级别；

其中，预设的映射表包含各种设备信息与各种设备级别之间的对应关系。

在一种可选的实现方式中，kcf参数包括kcf特征和滤波核，设置模块在用于根据设备级别，确定kcf参数时，具体用于：

若确定出设备级别为第一级别，则将方向梯度直方图hog特征确定为kcf特征，并将高斯核确定为滤波核；

若确定出设备级别为第二级别，则将灰度像素确定为kcf特征，并将高斯核确定为滤波核；

若确定出设备级别为第三级别，则将灰度像素确定为kcf特征，并将线性核确定为滤波核；

其中，第一级别的设备的性能高于第二级别的设备的性能，第二级别的设备的性能高于第三级别的设备的性能。

在一种可选的实现方式中，设备信息包括以下至少一项：

设备的机型、设备的型号、设备的配置信息。

在一种可选的实现方式中，设置模块还用于：

根据设置的候选kcf参数对应的测试帧率，从候选kcf参数中确定kcf参数；

根据kcf参数，初始化kcf算法。

在一种可选的实现方式中，第二局部特征与第一局部特征相对应，第一局部特征包括以下任一种：

orb局部特征、surf局部特征、sift局部特征。

所属领域的技术人员可以清楚地了解到，本申请实施例提供的对象追踪装置，其实现原理及产生的技术效果和前述方法实施例相同，为描述的方便和简洁，装置实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

本申请实施例提供的对象追踪装置，能够在对象跟踪丢失时，通过提取的目标对象的第一局部特征，实现丢失对象的检测与重定位，以对目标对象进行重新跟踪，有效地解决现有技术方案在对象跟踪丢失时难以继续跟踪的问题。

本申请实施例还提供了一种追踪处理装置，该追踪处理装置可以包括：确定模块以及处理模块，其中，

确定模块用于确定目标对象在视频流的各个图像帧中的位置信息，位置信息是通过第一方面或第一方面的任一可选的实现方式中所示的方法确定的；

处理模块用于根据位置信息，对目标对象进行相应的处理。

在一种可选的实现方式中，处理模块在用于对目标对象进行相应的处理时，具体用于以下至少一种：

确定目标对象的运动轨迹；

在位置信息对应的图像帧添加与目标对象关联的关联对象。

所属领域的技术人员可以清楚地了解到，本申请实施例提供的追踪处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为描述的方便和简洁，装置实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述方法实施例中相应内容。

可选地，电子设备还可以包括收发器。处理器和收发器相连，如通过总线相连。需要说明的是，实际应用中收发器不限于一个，该电子设备的结构并不构成对本申请实施例的限定。

其中，处理器可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请实施例公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。

总线可包括一通路，在上述组件之间传送信息。总线可以是pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。存储器可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom、cd-rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

本申请实施例提供的电子设备，能够有效挖掘自然语言描述信息的词性序列和待描述视频的视频特征序列之间的语义关系，并提供给解码器更多的特征利用空间，与现有技术中仅利用了视频级别的视觉特征，而忽略了自然语言中词性的影响相比，本申请实施例可以对待描述视频生成准确的自然语言描述信息，提高视频描述信息生成的性能，从而有助于对视频进行理解和分析，例如进行视频分类和检索等，具有潜在的经济效益。

本申请实施例还提供了一种可读存储介质，例如为计算机可读存储介质，该计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。