目标跟踪方法以及相关装置与流程
本申请涉及计算机视觉技术领域，特别是涉及一种目标跟踪方法以及相关装置。
背景技术：
视觉目标跟踪是对人眼视觉系统运动感知功能的一种模仿，通过对摄像头捕捉到的图像序列进行分析，获取目标在每一帧图像上的位置。近年来，相关滤波方法因其出色的算法效率成为视觉目标跟踪领域的研究热点，但是，相关滤波方法存在一个弊端，即只能定位目标的位置。
然而，实际应用时，在摄像头拍摄目标的过程中，发生改变的往往不仅仅是目标的位置，目标的角度和尺度也往往会发生变化。例如，无人机在拍摄行驶中的车辆时，往往会由于无人机摄像头远景/近景的切换拍摄，或者车辆拐弯等因素，而造成拍摄到的车辆在图像中呈现出不同的角度和尺度。长此以往，容易目标跟踪误差，甚至导致跟踪漂移。有鉴于此，如何提高目标跟踪的准确性成为亟待解决的问题。
技术实现要素：
本申请主要解决的技术问题是提供一种目标跟踪方法以及相关装置，能够提高目标跟踪的准确性。
为了解决上述问题，本申请第一方面提供了一种目标跟踪方法，包括：利用相关滤波方法对目标进行跟踪，得到当前帧的目标位置；利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框，其中，第一目标模板为当前帧的前一帧的目标模板；将第一搜索框转换到对数极坐标系后提取当前帧的第一特征；获取当前帧的第一特征与前一帧的第一特征之间互相关结果响应图；确定互相关结果响应图中最大值的极坐标；利用极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化；至少利用尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板。
为了解决上述问题，本申请第二方面提供了一种目标跟踪装置，包括相互耦接的存储器和处理器，特征图像处理器用于执行特征图像存储器存储的程序指令，以实现上述第一方面中的目标跟踪方法。
为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，特征图像程序指令用于实现上述第一方面中的目标跟踪方法。
上述方案，通过利用相关滤波方法对目标进行跟踪，而得到当前帧的目标位置，从而利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框，并将第一搜索框转到到对数极坐标系后提取当前帧的第一特征，获取当前帧的第一特征与前一帧的第一特征之间的互相关结果响应图，从而确定互相关结果响应图中最大值的极坐标，进而利用获取到的极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化，故此，对当前帧目标的跟踪能够适应目标的尺度和角度变化，此外，还进一步至少利用获取到的尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板，从而使得后续对目标的持续跟踪过程中能够适应目标尺度和角度的变化，提高目标跟踪的准确性。
附图说明
图1是本申请目标跟踪方法一实施例的流程示意图；
图2是当前帧中目标的状态一实施例的示意图；
图3是前一帧中目标的状态一实施例的示意图；
图4是图1中步骤s17一实施例的流程示意图；
图5是本申请目标跟踪装置一实施例的框架示意图；
图6是本申请目标跟踪装置另一实施例的框架示意图；
图7是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请目标跟踪方法一实施例的流程示意图，具体而言，本实施例目标跟踪方法可以包括如下步骤：
步骤s11：利用相关滤波方法对目标进行跟踪，得到当前帧的目标位置。
本实施例中，当前帧和当前帧的前一帧等图像是由摄像器件拍摄得到的，摄像器件包括但不限于：监控相机、无人机摄像头等。此外，本实施例中的目标可以是车辆、人等等，本实施例在此不做具体限制。
本实施例中的相关滤波方法可以是kcf(kernelizedcorrelationfilters，核相关滤波器)算法，在其他实施场景中，相关滤波方法还可以是mosse(minimumoutputsumofsquarederrorfilter)算法、dsst(discriminativescalespacetracker)算法，本实施例在此不做具体限制。关于kcf算法、mosse算法、dsst算法的具体技术细节为本领域的现有技术，本实施例在此不做具体限制。
此外，在当前帧为摄像器件拍摄的图像序列中的第一帧时，由于当前帧之前并无前一帧，则可以直接接受用户在当前帧所设定的目标位置，例如，接受用户在当前帧所设置的包含目标的目标区域。
请结合参阅图2和图3，图2是当前帧中目标状态一实施例的示意图，图3是前一帧中目标状态一实施例的示意图。如图2和图3所示，前一帧和当前帧中目标是一在道路上行驶的车辆，前一帧中目标刚通过路口，即将进入车道，而图3中目标已经进入车道。通过对图2进行相关滤波方法的处理，得到图2中目标的目标位置，即location01。图3中的虚线框表示包含前一帧中包含目标的目标区域。
步骤s12：利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框。
本实施例中，第一目标模板为当前帧的前一帧的目标模板。在一个实施场景中，第一目标模板可以包括但不限于：前一帧目标的角度、尺度、宽高比，基于前一帧中目标区域的图像数据所训练得到的滤波器模板，以及基于前一帧中目标区域的图像数据所提取得到的目标特征模板，其中，目标区域可以利用目标的角度、尺度和宽高比确定。此外，利用前一帧中目标区域的图像数据所训练得到的滤波器模板用于在上述步骤中采样相关滤波方法对目标进行跟踪时使用。
在一个实施场景中，为了后续准确地确定当前帧的目标模板，在进行特征提取时需要尽可能完整地提取目标的特征，因此，可以以所得到的当前帧的目标位置为中心确定一个第一搜索框，且第一搜索框的尺寸与第一目标模板的尺寸的比值在第一预设范围内，本实施例中，第一预设范围为大于等2，且小于等于3，例如：2、2.5、3，本实施例在此不做具体限制。其中，第一目标模板的尺寸可以通过第一模板的角度、尺度、宽高比而确定得到，
在另一个实施场景中，为了预先补偿目标角度的变化，还可以用前一帧的第一目标模板的角度来补偿当前帧的目标。具体地，可以首先以当前帧的目标位置为中心确定搜索区域，并以第一目标模板的角度为旋转角度进行旋转，得到第二搜索框，或者，还可以首先以第一目标模板的角度为旋转角度进行旋转，得到一个搜索框，然后将该搜索框的中心与当前帧的目标位置重合，得到第二搜索框，得到第二搜索框之后，再对第二搜索框进行归一化处理，得到第一搜索框，其中，第二搜索框的尺寸与第一目标模板的尺寸的比值在第一预设范围内，第一预设范围可以大于等于2，且小于等于3，即两者的比值可以大于等于2，且小于等于3，例如：2、2.5、3，本实施例在此不做具体限制。请结合参阅图2，为了预先补偿当前帧中目标的角度变化，可以以location01的中心，并以前一帧的目标模板的角度为旋转角度进行旋转，从而得到rect02，在此基础上再进行扩大、并归一化。由此可见，经过预先补偿的处理，能够使得第一搜索框的角度更加趋近于当前帧的目标角度。
步骤s13：将第一搜索框转换到对数极坐标系后提取当前帧的第一特征。
本实施例中，为了更加适应于目标在图像中的角度变化，可以将第一搜索框转换到对数极坐标系。具体可以参考如下公式：
其中，(x0,y0)表示枢轴点，(x,y)表示笛卡尔坐标系下像素点，(s,θ)表示像素点(x,y)对应在对数坐标系下的像素点。
在将第一搜索框转换到对数极坐标系后，还可以进一步提取第一搜索框的图像数据的第一特征，本实施例中，第一特征可以hog(histogramoforientedgradient，方向梯度直方图)特征。本实施例中，提取hog特征的具体技术细节为本领域的现有技术，本实施例在此不再赘述。此外，还可以提取灰度特征，并将灰度特征和hog特征作为当前帧的第一特征，提取灰度特征的具体技术细节为领域的现有技术，本实施例在此不再赘述。
步骤s14：获取当前帧的第一特征与前一帧的第一特征之间互相关结果响应图。
本实施例中，前一帧的第一特征可以是前一帧的第一目标模板中所包含目标特征模板，本实施例中，当前帧的第一特征和前一帧的第一特征可以均是hog特征。
具体地，可以首先计算当前帧的第一特征和前一帧的第一特征之间的互功率谱，然后计算得到的互功率谱进行傅里叶逆变换得到互相关结果响应图。本实施例中，求取互功率谱r具体可以参阅如下计算公式：
其中，dft表示离散傅里叶变换，上标*表示复共轭。
此外，傅里叶逆变换的具体技术细节为本领域的现有技术，本实施例在此不再赘述。
步骤s15：确定互相关结果响应图中最大值的极坐标。
在获得当前帧的第一特征和前一帧的第一特征之间的互相关结果响应图之后，可以进一步确定互相关结果响应图中最大值的极坐标，例如：(λ,α)。
步骤s16：利用极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化。
在获得互相关结果响应图中最大值的极坐标之后，即可以利用极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化。
具体地，可以利用下式和所求得的极坐标计算当前帧的目标相对于前一帧的目标的尺度变化：
σ＝e(λ-h/2)log(w/2)/w
并可以利用下式和所求的极坐标计算当前帧的目标相对于前一帧的目标的角度变化：
其中，σ为尺度变化，
步骤s17：至少利用尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板。
在一个实施场景中，可以利用获得的尺度变化和角度变化对第一目标模板进行更新，从而得到当前帧的目标模板。具体地，可以利用计算得到的当前帧目标的角度变化和尺度变化，获取当前帧目标的角度和尺度，并利用当前帧目标的角度、尺度和目标位置确定当前帧的目标区域，然后利用当前帧的目标区域的图像数据进行训练，得到滤波器模板，再利用当前帧的目标区域的图像数据进行特征提取，得到目标特征模板，从而得到当前帧的目标模板中的尺度、角度、滤波器模板和目标特征模板。
在另一个实施场景中，考虑到由于存在摄像头在不同角度对目标进行拍摄等情况，可能导致图像中包含目标的目标区域的宽高比发生变化，还可以在利用尺度变化和角度变化对第一目标模板进行更新得到第二目标模板之后，进一步基于第二目标模板和深度信息获取当前帧的宽高比，并利用当前帧的宽高比对第二目标模板进行更新得到当前帧的目标模板，从而进一步提高目标跟踪的准确性。
在又一个实施场景中，当得到当前帧的目标目模板之后，为了实现对目标的持续跟踪，还可以将当前帧的下一帧作为新的当前帧，当前帧作为新的前一帧，重新执行上述步骤s11～步骤s17，依次类推，直至完成对目标的跟踪为止。
上述方案，通过利用相关滤波方法对目标进行跟踪，而得到当前帧的目标位置，从而利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框，并将第一搜索框转到到对数极坐标系后提取当前帧的第一特征，获取当前帧的第一特征与前一帧的第一特征之间的互相关结果响应图，从而确定互相关结果响应图中最大值的极坐标，进而利用获取到的极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化，故此，对当前帧目标的跟踪能够适应目标的尺度和角度变化，此外，还进一步至少利用获取到的尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板，从而使得后续对目标的持续跟踪过程中能够适应目标尺度和角度的变化，提高目标跟踪的准确性。
请参阅图4，图4是图1中步骤s17一实施例的流程示意图。本实施例中，考虑到由于存在摄像头在不同角度对目标进行拍摄等情况，可能导致图像中包含目标的目标区域的宽高比发生变化，还可以利用尺寸变化和角度变化对第一目标模板进行更新得到第二目标模板，具体地，可以利用计算得到的当前帧目标的角度变化和尺度变化，以及前一帧第一目标目模板的角度和尺度，获取当前帧第二目标模板的角度和尺度。
在此基础上，还可以基于第二目标模板和深度信息获取当前帧的宽高比，具体地，可以包含如下步骤：
步骤s171：以当前帧的目标位置为中心确定第三搜索框。
本实施例中，第三搜索框的尺寸与第二目标模板的尺寸的比值在第二预设范围内。在一个实施场景中，第二预设范围为大于等于1.5，且小于等于2.5，例如：1.5、2、2.5，本实施例在此不再一一举例。本实施例中，通过当前帧的目标位置，以及第二目标模板的尺度和角度可以确定一个包含目标的目标区域，第三搜索框可以是在此基础上进行扩大后而得到的，且第二目标模板的尺寸即为该目标区域的尺寸。
步骤s172：基于像素点的深度值与前一帧的目标深度分布区间之间的关系对第三搜索框进行二值化处理得到二值化图像。
本实施例中，前一帧的目标深度分布区间是前一帧中所有像素点深度信息集中的区间，目标深度分布区间满足超过预设比例的像素点的深度信息在该区间内，例如，超过50％的像素点的深度信息在某一区间内，则该区间可以称之为目标深度分布区间。
具体地，可以按照步长将前一帧的目标区域中像素点的深度值的分布范围划分为多个区间，统计属于每个区间的像素点点数，并且计算拥有最多像素点的区间中像素点占前一帧的目标区域中总像素点数的比例，若比例小于预设阈值，则扩大步长后重复执行上述步骤直至比例大于或等于预设阈值，然后将拥有最多像素点的区间作为前一帧的目标深度分布区间。在一个实施场景中，预设阈值可以是50％，在其他实施场景中，预设阈值还可以是其他值，例如：55％、60％，本实施例在此不做具体限制。
例如，前一帧的目标区域中像素点的深度值的最小值为a，最大值为b，并且以步长step构建深度信息直方图，该直方图共有
di＝a+step×(i-1)
然后，再统计属于每个区间的像素点数，并且找出拥有最多像素点数的区间interk，计算该区间中像素点数占目标区域总像素点数的比例，当所占比例小于预设阈值时，扩大步长，重新划分区间，并重新统计各个区间中像素点数占目标区域总像素点数的比例，直至区间interk内像素点数占目标区域的总像素点数大于或等于预设阈值，则将该区间interk作为前一帧的目标深度分布区间。具体扩大步长的方式可以将步长乘以一个步长扩展系数。
本实施例中，对第三搜索框进行二值化处理得到二值化图像具体可以判断第三搜索框中像素点的深度值是否在前一帧的目标深度分布区间之内，若是，则在二值化图像中将对应像素点的像素值置为第一值，若否，则在二值化图像中将对应像素点的像素值置为第二值，且第一值和第二值不同，例如：第一值为255，第二值为0，或者第一值为0，第二值为255，本实施例在此不做具体限制。
步骤s173：对二值化图像进行形态学处理得到候选目标区域。
图像的形态学处理为本领域的现有技术，本实施例在此不再赘述。具体地，候选区域是经形态学处理之后的二值化图像中面积最大的连通区域的最小外接矩形。
步骤s174：利用候选目标区域的宽高比与所第一目标模板的宽高比获取当前帧的宽高比。
具体地，可以判断候选目标区域的宽高比与第一目标模板的宽高比之间差值的绝对值，若绝对值不小于宽高比阈值，则将第一模板的宽高比作为当前帧的宽高比，若绝对值小于宽高比阈值，则将候选区域的宽高比作为当前帧的宽高比。
在一个实施场景中，在获取当前帧的宽高比之后，还可以利用当前帧的宽高比对第二目标模板进行更新，从而得到当前帧的目标模板，具体地，可以利用获取到的宽高比结合第二目标模板的尺度、角度重新确定一个包含目标的目标区域，然后利用重新确定的目标区域的图像数据进行训练，得到滤波器模板，再利用重新确定的目标区域的图像数据进行特征提取，得到目标特征模板，从而得到当前帧的目标模板中的尺度、角度、滤波器模板和目标特征模板。
在另一个实施场景中，还可以进一步利用当前帧的目标区域和当前帧的目标模板确定当前帧的目标区域，并利用当前帧的目标区域中像素点的深度值计算当前帧的目标深度分布区间，从而在计算当前帧的下一帧的宽高比时，可以利用当前帧的目标深度分布区间。具体地，可以参照上述前一帧的目标深度分布区间的获取方式来获取当前帧的目标深度分布区间，可以包括：按照步长将当前帧的目标区域中的像素点深度值的分布范围划分为多个区间，统计属于每个区间的像素点数，并且计算拥有最大像素点数的区间中像素点占当前帧的目标区域中的总像素点数的比例，若比例小于预设阈值，则扩大步长后重复执行上述步骤直至比例大于等于预设阈值，再将拥有最多像素点数的区间作为当前帧的目标深度分布区间，并将获取到的当前帧的目标深度分布区间更新至当前帧的目标模板中，从而使目标模板包括但不限于：当前帧目标的角度、尺度和宽高比，以及利用当前帧目标的角度、尺度和宽高比所确定的目标区域的图像数据进行训练得到的滤波器模板，以及利用当前帧的目标区域的图像数据进行特征提取而得到的目标特征模板，以及当前帧的目标深度分布区间。
区别于前述实施例，上述方案，以当前帧的目标位置为中心确定第三搜索框，基于像素点的深度值与前一帧的目标深度分布区间之间的关系对第三搜索框进行二值化处理得到二值化图像，对二值化图像进行形态学处理得到候选目标区域，利用候选目标区域的宽高比与所第一目标模板的宽高比获取当前帧的宽高比，从而可以在当前帧的目标的尺度和角度得到更新之后，进一步估计出目标形状表达，从而可以在模板更新时，尽可能地保留完整的目标特征，滤除不必要的背景信息，有利于进一步提高目标跟踪的准确性。
请参阅图5，图5是本申请目标跟踪装置50一实施例的框架示意图。本实施例中，目标跟踪装置50包括目标位置获取模块51、搜索框获取模块52、特征提取模块53、特征互相关模块54、坐标确定模块55、计算模块56和模板更新模块57，目标位置获取模块51用于利用相关滤波方法对目标进行跟踪，得到当前帧的目标位置；搜索框获取模块52用于利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框，其中，第一目标模板为当前帧的前一帧的目标模板；特征提取模块53用于将第一搜索框转换到对数极坐标系后提取当前帧的第一特征；特征互相关模块54用于获取当前帧的第一特征与前一帧的第一特征之间互相关结果响应图；坐标确定模块55用于确定互相关结果响应图中最大值的极坐标；计算模块56用于利用极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化。模板更新模块57用于至少利用尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板。
上述方案，通过利用相关滤波方法对目标进行跟踪，而得到当前帧的目标位置，从而利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框，并将第一搜索框转到到对数极坐标系后提取当前帧的第一特征，获取当前帧的第一特征与前一帧的第一特征之间的互相关结果响应图，从而确定互相关结果响应图中最大值的极坐标，进而利用获取到的极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化，故此，对当前帧目标的跟踪能够适应目标的尺度和角度变化，此外，还进一步至少利用获取到的尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板，从而使得后续对目标的持续跟踪过程中能够适应目标尺度和角度的变化，提高目标跟踪的准确性。
在一些实施例中，搜索框获取模块52包括第二搜索框获取子模块，用于以当前帧的目标位置为中心确定搜索区域，并以第一目标模板的角度为旋转角度进行旋转，得到第二搜索框，其中，第二搜索框的尺寸与第一目标模板的尺寸的比值在第一预设范围内，搜索框获取模块52还包括第一搜索框获取子模块，用于对第二搜索框进行归一化处理得到第一搜索框。在一个实施场景中，第一预设范围为大于等于2，且小于等于3。
在一些实施例中，计算模块56包括尺度变化计算子模块，用于利用下式和极坐标计算当前帧的目标相对于前一帧的目标的尺度变化：
σ＝e(λ-h/2)log(w/2)/w
计算模块56还包括角度变化计算子模块，用于利用下式和极坐标计算当前帧的目标相对于前一帧的目标的角度变化：
其中，σ为尺度变化，
在一些实施例中，模板更新模块57包括第一更新子模块，用于利用尺度变化和角度变化对第一目标模板进行更新得到第二目标模板，模板更新模块57还包括宽高比获取子模块，用于基于第二目标模板和深度信息获取当前帧的宽高比，模板更新模块57还包括第二更新子模块，用于利用当前帧的宽高比对第二目标模板进行更新得到当前帧的目标模板。
在一些实施例中，宽高比获取子模块包括第三搜索框获取单元，用于以当前帧的目标位置为中心确定第三搜索框，其中，第三搜索框的尺寸与第二目标模板的尺寸的比值在第二预设范围内，宽高比获取子模块还包括二值化处理单元，用于基于像素点的深度值与前一帧的目标深度分布区间之间的关系对第三搜索框进行二值化处理得到二值化图像，宽高比获取子模块还包括形态学处理单元，用于对二值化图像进行形态学处理得到候选目标区域，宽高比获取子模块还包括宽高比获取单元，用于利用候选目标区域的宽高比与所第一目标模板的宽高比获取当前帧的宽高比。在一个实施场景中，第二预设范围为大于等于1.5且小于等于2.5。在一个实施场景中，候选目标区域为经形态学处理之后的二值化图像中面积最大的连通区域的最小外接矩形。
区别于前述实施例，上述方案，以当前帧的目标位置为中心确定第三搜索框，基于像素点的深度值与前一帧的目标深度分布区间之间的关系对第三搜索框进行二值化处理得到二值化图像，对二值化图像进行形态学处理得到候选目标区域，利用候选目标区域的宽高比与所第一目标模板的宽高比获取当前帧的宽高比，从而可以在当前帧的目标的尺度和角度得到更新之后，进一步估计出目标形状表达，从而可以在模板更新时，尽可能地保留完整的目标特征，滤除不必要的背景信息，有利于进一步提高目标跟踪的准确性。
在一些实施例中，二值化处理单元具体用于在第三搜索框中像素点的深度值在前一帧的目标深度分布区间之内时，将二值化图像中对应像素点的像素值为第一值；在第三搜索框中像素点的深度值不在前一帧的目标深度分布区间之内时，将二值化图像中对应像素点的像素值为第二值。
在一些实施例中，宽高比获取单元具体用于在候选目标区域的宽高比与第一目标模板的宽高比之间差值的绝对值不小于宽高比阈值时，将第一目标模板的宽高比作为当前帧的宽高比，在候选目标区域的宽高比与第一目标模板的宽高比之间差值的绝对值小于宽高比阈值时，将候选目标区域的宽高比作为当前帧的宽高比。
在一些实施例中，目标跟踪装置50还包括目标区域确定模块，用于利用当前帧的目标位置和当前帧的目标模板确定当前帧的目标区域，目标跟踪装置50还包括目标深度分布区间获取模块，用于利用当前帧的目标区域中像素点的深度值计算当前帧的目标深度分布区间。
在一些实施例中，目标深度分布区间获取模块包括区间划分子模块，用于按照步长将当前帧的目标区域中像素点深度值的分布范围划分为多个区间，目标深度分布区间获取模块还包括统计计算子模块，用于统计属于每个区间的像素点数，并且计算拥有最多像素点数的区间中像素点数占当前帧的目标区域中总像素点数的比例，目标深度分布区间获取模块还包括步长扩大子模块，用于在比例小于预设阈值时，扩大步长，并结合区间划分子模块、统计计算子模块重新工作，直至比例大于或等于预设阈值，目标深度分布区间获取模块还包括目标深度分布区间确定子模块，用于将拥有最多像素点数的区间作为当前帧的目标深度分布区间。
请参阅图6，图6是本申请目标跟踪装置60一实施例的框架示意图。本实施例中，目标跟踪装置60包括相互耦接的存储器61和处理器62，处理器62用于执行存储器61存储的程序指令，以实现上述任一目标跟踪方法实施例中的步骤。
具体而言，处理器62用于控制其自身以及存储器61以实现上述任一目标跟踪方法实施例中的步骤。处理器62还可以称为cpu(centralprocessingunit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由多个集成电路芯片共同实现。
本实施例中，处理器62还用于利用相关滤波方法对目标进行跟踪，得到当前帧的目标位置；处理器62还用于利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框，其中，第一目标模板为当前帧的前一帧的目标模板；处理器62还用于将第一搜索框转换到对数极坐标系后提取当前帧的第一特征；处理器62还用于获取当前帧的第一特征与前一帧的第一特征之间互相关结果响应图；处理器62还用于确定互相关结果响应图中最大值的极坐标；处理器62还用于利用极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化。处理器62还用于至少利用尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板。
上述方案，通过利用相关滤波方法对目标进行跟踪，而得到当前帧的目标位置，从而利用当前帧的目标位置和第一目标模板对当前帧进行处理，得到当前帧的第一搜索框，并将第一搜索框转到到对数极坐标系后提取当前帧的第一特征，获取当前帧的第一特征与前一帧的第一特征之间的互相关结果响应图，从而确定互相关结果响应图中最大值的极坐标，进而利用获取到的极坐标计算当前帧的目标相对于前一帧的目标的尺度变化和角度变化，故此，对当前帧目标的跟踪能够适应目标的尺度和角度变化，此外，还进一步至少利用获取到的尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板，从而使得后续对目标的持续跟踪过程中能够适应目标尺度和角度的变化，提高目标跟踪的准确性。
在一些实施例中，处理器62还用于以当前帧的目标位置为中心确定搜索区域，并以第一目标模板的角度为旋转角度进行旋转，得到第二搜索框，其中，第二搜索框的尺寸与第一目标模板的尺寸的比值在第一预设范围内；处理器62还用于对第二搜索框进行归一化处理得到第一搜索框。在一个实施场景中，第一预设范围为大于等于2，且小于等于3。
在一些实施例中，处理器62还用于利用下式和极坐标计算当前帧的目标相对于前一帧的目标的尺度变化：
σ＝e(λ-h/2)log(w/2)/w
处理器62还用于利用下式和极坐标计算当前帧的目标相对于前一帧的目标的角度变化：
其中，σ为尺度变化，
在一些实施例中，处理器62还用于利用尺度变化和角度变化对第一目标模板进行更新得到第二目标模板；处理器62还用于基于第二目标模板和深度信息获取当前帧的宽高比；处理器62还用于利用当前帧的宽高比对第二目标模板进行更新得到当前帧的目标模板。
在一些实施例中，处理器62还用于以当前帧的目标位置为中心确定第三搜索框，其中，第三搜索框的尺寸与第二目标模板的尺寸的比值在第二预设范围内；处理器62还用于基于像素点的深度值与前一帧的目标深度分布区间之间的关系对第三搜索框进行二值化处理得到二值化图像；处理器62还用于对二值化图像进行形态学处理得到候选目标区域；处理器62还用于利用候选目标区域的宽高比与所第一目标模板的宽高比获取当前帧的宽高比。在一个实施场景中，第二预设范围为大于等于1.5且小于等于2.5。在一个实施场景中，候选目标区域为经形态学处理之后的二值化图像中面积最大的连通区域的最小外接矩形。
区别于前述实施例，上述方案，以当前帧的目标位置为中心确定第三搜索框，基于像素点的深度值与前一帧的目标深度分布区间之间的关系对第三搜索框进行二值化处理得到二值化图像，对二值化图像进行形态学处理得到候选目标区域，利用候选目标区域的宽高比与所第一目标模板的宽高比获取当前帧的宽高比，从而可以在当前帧的目标的尺度和角度得到更新之后，进一步估计出目标形状表达，从而可以在模板更新时，尽可能地保留完整的目标特征，滤除不必要的背景信息，有利于进一步提高目标跟踪的准确性。
在一些实施例中，处理器62还用于在第三搜索框中像素点的深度值在前一帧的目标深度分布区间之内时，将二值化图像中对应像素点的像素值为第一值；处理器62还用于在第三搜索框中像素点的深度值不在前一帧的目标深度分布区间之内时，将二值化图像中对应像素点的像素值为第二值；其中，第一值与第二值不同。
在一些实施例中，处理器62还用于在候选目标区域的宽高比与第一目标模板的宽高比之间差值的绝对值不小于宽高比阈值时，将第一目标模板的宽高比作为当前帧的宽高比；处理器62还用于在候选目标区域的宽高比与第一目标模板的宽高比之间差值的绝对值小于宽高比阈值时，将候选目标区域的宽高比作为当前帧的宽高比。
在一些实施例中，处理器62还用于利用当前帧的目标位置和当前帧的目标模板确定当前帧的目标区域；处理器62还用于利用当前帧的目标区域中像素点的深度值计算当前帧的目标深度分布区间。
在一些实施例中，处理器62还用于按照步长将当前帧的目标区域中像素点深度值的分布范围划分为多个区间；处理器62还用于统计属于每个区间的像素点数，并且计算拥有最多像素点数的区间中像素点数占当前帧的目标区域中总像素点数的比例；处理器62还用于在比例小于预设阈值时，扩大步长后重复执行上述步骤直至比例大于或等于预设阈值；处理器62还用于将拥有最多像素点数的区间作为当前帧的目标深度分布区间。
请参阅图7，图7为本申请存储装置70一实施例的框架示意图。存储装置70存储有能够被处理器运行的程序指令71，程序指令71用于实现上述任一目标跟踪方法实施例中的步骤。
上述方案，对当前帧目标的跟踪能够适应目标的尺度和角度变化，此外，还进一步至少利用获取到的尺度变化和角度变化对第一目标模板进行更新得到当前帧的目标模板，从而使得后续对目标的持续跟踪过程中能够适应目标尺度和角度的变化，提高目标跟踪的准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
- 还没有人留言评论。精彩留言会获得点赞！