一种在线跨尺度多流体目标匹配跟踪方法与流程

本发明涉及，尤其涉及一种在线跨尺度多流体目标匹配跟踪方法。

背景技术：

目前，多目标跟踪技术由四步骤组成：目标检测、关联权重计算、目标匹配、目标轨迹跟踪。多目标跟踪问题已取得很多研究成果，但其跟踪目标如飞机、行人、车辆等采用的模型为点目标、刚体目标或多刚体组成的可形变目标。流体目标与这些目标存在较大差异。流体目标的形状、强度分布会持续变化，不同目标的尺度差异很大。

现有经典的目标检测方法需要识别各个目标单体。但流体目标在运动过程中形态时刻变化，且存在分离融合判断问题，即在运动过程中可由单个目标分裂成多个目标，或多个目标融合成单个；且不同单体之间的融合、大流体目标分离成小目标会造成目标的尺寸、形态、强度、关键点等重要特征发生剧烈变化，这会造成不同时刻之间提取的流体目标的形态、强度、位置均存在较大差异，关联特征选择与目标匹配难度大，难以进行匹配跟踪。此外，不同的流体目标尺度跨度较大，最小的流体目标可能在观测图像上仅为几个像素点。这类目标与观测的噪声难以有效区分，常常造成不同帧之间检测结果的跳变、丢失等情况。因此现有在线多目标跟踪方法的检测、匹配方法不适用于流体目标跟踪。

技术实现要素：

本发明的目的是针对现有技术存在的问题，提供一种在线跨尺度多流体目标匹配跟踪方法，其能够有效提高多流体目标的匹配跟踪精度，解决了由于流体目标分离融合导致长时间跨度目标难以匹配问题。

本发明的目的通过如下技术方案实现：

本发明提供一种在线跨尺度多流体目标匹配跟踪方法，其包括：

步骤s101，采用滑窗提取关联对象，对关联对象影像上的特定特征进行匹配跟踪，提取出不同尺度的流体目标特征；

步骤s102，针对不同尺度的流体目标特征，选用基础特征参量进行特征提取；

步骤s103，根据连续两帧特征信息计算复合关联权重，通过复合关联权重提取到不同体目标之间的空间关联与时间关联信息，并基于该关联信息构建基于相邻两帧的加权二分图；

步骤s104，采用稀疏加权二分图匹配算法进行在线目标匹配，在目标匹配过程中将孤立节点排除，并基于匹配到的目标构建稀疏加权二分图；

步骤s105，基于构建的稀疏加权二分图，采用卡尔曼滤波算法进行目标跟踪与轨迹预测。

更优选地，所述复合关联权重为形态关联参量、运动关联参量与运动平滑关联参量的加权求和，权重系数为常数。

更优选地，所述形态关联参量为形状特征与值分布特征的加权求和，权重系数为常数；

所述形状特征向量包括矩形窗长、宽、窗内的目标占比、窗内目标形心位置，计算权重采用余弦距离；

所述值分布特征向量包括矩形窗长、宽以及窗内的图像强度分布，计算权重采用高斯距离。

更优选地，所述运动关联参量为运动方向约束。采用光流法计算连续两帧的形势场，统计出所有矩形窗内的平均运动场。矩形窗可选择多个特征点，包括角点、形心、中心等，计算高斯距离作为运动参量。

更优选地，所述运动平滑关联参量采用形势场估计的速度进行描述。

更优选地，所述步骤s101中的采用滑窗提取关联对象的过程包括：

在图像金字塔上进行滑窗；多尺度滑窗通过将图像缩放不同尺度实现，矩形窗尺寸保持不变；

滑窗位置在各个尺度上进行均匀格点采样，格点位置保证相邻滑窗重叠一半区域；

每个格点上多规格矩形滑窗，规格由矮扁矩形向高窄矩形逐渐过渡；规格个数由矩形窗尺寸与滑窗总个数共同确定。

更优选地，所述步骤s104中的采用稀疏加权二分图匹配算法进行在线目标匹配的过程包括：

根据节点物理运动极限确定无法关联的目标，去除这些目标对应的边，将孤立节点予以排除，构建稀疏加权二分图；

对所述稀疏加权二分图采用稀疏kuhn-munkres匹配算法进行在线目标匹配。

由上述本发明的技术方案可以看出，本发明具有如下技术效果：

1、本发明依据分离融合过程中流体局部特征不变性，通过密集滑窗提取局部特征，规避对分离融合事件的判断，转而匹配跟踪局部特征；对于不同尺度流体特征，采用多层图像金字塔收集各尺度目标。因此本发明能够根据流体受外部形势场驱动过程中流体形态特征持续变化特点，利用多流体目标整体特征的时空连续性，有效提高多流体目标匹配跟踪精度。

2、计算复杂度低，可实现在线跟踪。该方法的计算瓶颈在于大量矩形窗匹配耗时长，采用稀疏kuhn-munkres算法可将方法运行时间降低至秒级，满足在线算法要求。

3、本发明对各类流体目标均通用。只要满足观测频率高于流体形态变化速率的前提，即可使用本发明进行在线匹配跟踪，与目标本身特性无关。

附图说明

图1为本发明的流程图；

图2为本发明的跨尺度多流体目标匹配跟踪方法对应的模块结构图；

图3为本发明中的目标特征提取流程。

具体实施方式

以下将结合附图对本发明的技术方案做进一步详细说明。

实施例一

本发明提供一种在线跨尺度多流体目标匹配跟踪方法，该方法如图1所示，其包括如下步骤：

步骤s101，采用滑窗提取关联对象，对关联对象影像上的特定特征进行匹配跟踪，提取出不同尺度的流体目标特征。

在图像金字塔上进行滑窗；多尺度滑窗通过将图像缩放不同尺度实现，矩形窗尺寸保持不变。滑窗位置在各个尺度上进行均匀格点采样，格点位置保证相邻滑窗重叠一半区域。每个格点上多规格矩形滑窗，规格由矮扁矩形向高窄矩形逐渐过渡；规格个数由矩形窗尺寸与滑窗总个数共同确定。

本发明采用滑窗进行目标检测，规避了现有跟踪方法对目标个体的识别的特点，转为对影像上特定特征的匹配跟踪。在观测图像上选择目标存在特征区域，可通过简单阈值法或排除法等粗略获取目标存在区域，并在区域内进行滑窗采样。为保证提取目标特征不出现遗漏和丢失，相邻矩形窗应重叠1/2的区域。滑窗采样的位置采用格点采样。若观测图像尺度为l，窗尺寸为h，则格点起始位置为(h/2,h/2)，随后以h/2的间隔移动，直至观测图像边界。在每个格点上进行不同规格的滑窗。以h＝5为例，则包含(2,8),(3,7),(4,6),(5,5),(6,4),(7,3),(8,2)的窗来捕捉不同形状的特征。

对于不同尺度的流体目标特征，滑窗在不同尺度上进行采样。构建n层图像金字塔，在原图基础上缩小若干倍，滑窗尺寸不变，重复上述格点化采样过程，即可获得不同尺度的特征。通常这种采样方式将输出数千乃至数万个特征。

步骤s102，针对不同尺度的流体目标特征，选用基础特征参量进行特征提取。

本发明特征提取选用基础特征参量而不使用整体图像。基于卷积神经网络方法对整体图像进行特征提取计算量大，且卷积方法不适用于不同尺度的矩形框。基础特征参量可保持不同矩形框输出的特征向量长度相同，方便后续处理。

步骤s103，根据连续两帧特征信息计算复合关联权重，通过复合关联权重提取到不同体目标之间的空间关联与时间关联信息，并基于该关联信息构建基于相邻两帧的加权二分图。

形态关联参量由形状特征与值分布特征组成。其中的形状特征向量包括矩形窗长、宽、窗内的目标占比、窗内目标形心位置，计算权重采用余弦距离。其中的值分布特征向量包括矩形窗长、宽以及窗内的图像强度分布，计算权重采用高斯距离。图像强度分布对于单通道可采用灰度值或观测的强度值；对于多通道观测结果采用颜色分布或多维联合分布等，输出固定长度的向量进行计算。形态关联参量为上述形状特征与值分布特征两种特征的加权求和，权重系数为常数。

运动关联参量为运动方向约束。采用光流法计算连续两帧的形势场，统计出所有矩形窗内的平均运动场。矩形窗可选择多个特征点，包括角点、形心、中心等，计算高斯距离作为运动参量。

运动平滑关联参量采用形势场估计的速度进行描述。计算历史记录中的运动速度与当前估计速度的高斯距离。

复合关联权重包括上述形态关联参量、运动关联参量与运动平滑关联参量。复合关联权重是三种参量的加权求和，权重系数为常数，因此复合关联权重能够同时提取不同体目标之间的空间关联与时间关联信息。

图块关联需评估相邻两帧间所有滑窗内的特征关联权重。每个滑窗的特征参量记为f，两个矩形窗间的特征关联权重定义如下：

a(fi,fj)＝ω1aappearance(fi,fj)+ω2amotion(fi,fj)+ω3asmooth(fi,fj)(1)

其中aappearance为形态关联参量，amotion为运动关联参量，asmooth为运动平滑关联参量，ωi是三类参量的系数，根据实际跟踪目标特性设定。

形态关联参量aappearance采用形状特征与值分布特征。形状特征向量包括矩形窗长、宽、窗内的目标占比、窗内目标形心位置，计算权重采用余弦距离。值分布特征向量包括矩形窗长、宽以及窗内的图像强度分布，计算权重采用高斯距离。图像强度分布对于单通道可采用灰度值或观测的强度值，对于多通道观测结果可以采用颜色分布或多维联合分布等，输出固定长度的向量进行计算。则形态关联参量定义为：

其中计算时选用f特定位的特征向量；w为权重系数；<fi,fj>表示2个特征向量的内积；|fi|表示fi这个特征向量的模；σa为高斯距离的权重系数，用于调整距离描述算子，经验值通常取5～20。

运动关联参量amotion采用运动方向约束。采用光流法计算连续两帧的形势场(u,v)。在第i个矩形窗内统计得到平均运动场(u,v)。矩形窗可选择多个特征点，包括角点、形心、中心等，坐标用(x,y)表示，计算高斯距离作为运动参量。运动关联参量amotion定义如下：

其中fi、fj是前一帧第i个特征向量和第二帧第j个特征向量，特征向量中包含光流形势场(u,v)与中心坐标(x,y)，e是自然常数，σb为高斯距离的权重系数，用于调整距离描述算子，经验值通常取5～20。

运动平滑关联参量asmooth利用形势场进行匹配估计。每次迭代完成匹配后，f中记录根据匹配结果算的关联举行窗的运动方向(u，v)。每个目标的运动速度应平滑过渡。因此构建运动平滑参量：

其中fi、fj是前一帧第i个特征向量和第二帧第j个特征向量，特征向量中包含光流形势场(u,v)，e是自然常数，σc为高斯距离的权重系数，用于调整距离描述算子，经验值通常取5～20。

综上，可以获得所有矩形窗之间的关联权重，并基于该关联权重构建基于相邻两帧的加权二分图g。

步骤s104，采用稀疏加权二分图匹配算法进行在线目标匹配，在目标匹配过程中将孤立节点排除，并基于匹配到的目标构建稀疏加权二分图。

稀疏加权二分图匹配算法：加权二分图进行节点筛选预处理。根据节点物理运动极限确定无法关联的目标，去除这些目标对应的边，构建稀疏加权二分图。将孤立节点予以排除。

对稀疏加权二分图采用稀疏kuhn-munkres匹配算法。

多目标匹配方法包含邻帧与多帧两种。多帧算法可匹配连续多帧中的目标，可规避单帧中的缺测、丢帧等情况，但计算复杂度较大，难以实现在线匹配。邻帧方法关联相邻两帧中的监测目标，可实现在线关联方法。邻帧匹配为加权二分图匹配问题，通常采用kuhn-munkres算法(简称km算法)。km算法的计算复杂度为o(n³)，其中n为二分图中节点个数。对于数千至数万规模的目标匹配问题，km算法的计算速度不能满足秒级或分钟级的实时性需求。

流体目标的运动多为平滑缓变运动。当观测频率显著高于流体运动速度时，流体在连续帧中的运动范围有限。因此可根据物理上的流体运动上限rlim，排除绝大部分连接。若二分图的单边节点个数为n，则理论可能连接为n²，实际连接数为m。若两个节点之间的图像距离超过rlim则去掉该连接，记图像尺寸为l，当满足rlim<l/3时，即可得到m<n²/9<<n²，此时该二分图为稀疏二分图。采用稀疏加权二分图匹配算法，即可有效降低计算复杂度。

稀疏二分图匹配算法在经典km算法基础上增加了搜索约束，将计算复杂度从o(n³)降低至o(mn²+nlogn)，其中n是二分图单边节点个数，m是二分图中的连接数m。由于稀疏图中m<<n²，计算复杂度显著降低。特点在于搜索完备子图过程中，每次验证匹配至少一组满足匹配要求，每一轮验证匹配中搜索复杂度为o(n²)，总验证次数为m，从而降低了搜索计算量。

步骤s105，基于构建的稀疏加权二分图，采用卡尔曼滤波算法进行目标跟踪与轨迹预测。

流体运动多为外部场驱动，如重力场、风场、气压场等。这类环境场在可观测尺度内变化较平缓，因此流体实际运动轨迹通常也较平滑。在观测频率显著高于流体运动速度的前提下，流体目标的运动在连续帧中的位置变化为缓变、连续。因此跟踪方法采用经典跟踪器即可，如卡尔曼滤波、粒子滤波等。考虑收敛速度与运动稳定性，本发明中采用卡尔曼滤波方法进行跟踪，可满足精度与计算复杂度要求。

下面给出本发明的具体实施例，其整体实施流程图如图2所示。

步骤s10，输入tk时刻的测量图像ik，图像高记为h，宽记为w，通道数为c，堆栈到缓存s1中。

步骤s20，在测量图像ik检测流体对象，获取流体对象，数量为nk，并根据nk个流体对象，提取各个滑窗的基本参数，包括窗的宽、高、有效像素个数、形心、格点位置。该步骤的详细流程如图3所示，包括如下步骤：

步骤s201，采用阈值法对nk个流体对象进行初筛，生成目标掩版mk。

获得目标掩版mk，用于降低无关信息如背景、干扰等引入的额外计算量。mk可从外部输入，也可通过简单特征如颜色、纹理、角点特征筛除。如无简单方法实现初筛，mk为全1的矩阵，表示整个图像均为输入。

步骤s202，根据经初筛后得到的目标掩版mk，生成输入图像金字塔图像金字塔包含s张图片，第1张为原始尺寸图片，其中s为预设尺度个数，iⁱk是由图像ik缩放得到，第i层高宽缩小2^i-1倍。

步骤s203，滑窗采用矩形窗，尺寸为h×w，其中h、w为矩形滑窗的高与宽，单位均为像素；根据目标掩版mk计算滑窗格点位置。

格点纵坐标y取值为1至h-h/2(h为图像高度，h为滑窗高度)，间隔为h/2的等差数列，横坐标x取值为1至w-w/2间隔为w/2的等差数列。若格点位置处的mk为0，则去除该格点。

步骤s204，在s个尺度对所有滑窗格点进行滑窗，滑窗包含j个形状规格，矩形窗个数为l＝4sjhw/(hw)。其中h、w为整幅图像的高与宽，h、w为矩形滑窗的高与宽，单位均为像素。

步骤s205，提取各个滑窗的基本参数，包括窗的宽、高、有效像素个数、形心、格点位置等。

步骤s30，计算l个矩形窗的特征，根据步骤s20得到的各个滑窗基本参数计算该窗的参数，包括形状、强度分布、位置等信息。

步骤s40，从堆栈中提取tk-1时刻的测量结果ik-1，计算与ik的光流场pk；

步骤s50，计算每个矩形框内有效像素的光流中位数(u,v)，附加到对应参数信息中，构造tk时刻的特征集fk(nk)。其中nk为tk时刻的特征向量数量，fk包含nk个特征向量f。

步骤s60，从堆栈中提取tk-1时刻特征fk-1(nk-1)，计算关联权重。

根据公式(1)～(4)计算关联权重矩阵nk-1、nk分别表示tk-1时刻与tk时刻的特征个数，r表示实数，a(i,j)＝a(fi,fj)，即关联权重矩阵a中的每个元素，是由对应位置的特征向量带入公式(1)中的a(fi，fj)得到。当两个矩形窗距离超过rlim时，a的对应位置标记为空联结。

步骤s70，依据关联权重矩阵a矩形窗匹配搜索，采用稀疏kuhn-munkres算法计算得到tk-1与tk时刻各矩形窗的对应关系。

步骤s80，根据tk-1与tk时刻各矩形窗的对应关系匹配结果，设定tk时刻所有滑窗编号，并将结果堆栈到目标信息堆栈s2；

步骤s90，用该结果更新各目标跟踪器；

步骤s100，将跟踪器外推输出预测结果，综合目标信息堆栈s2中的目标轨迹，输出跟踪结果。

由上述本发明的技术方案可以看出，本发明依据分离融合过程中流体局部特征不变性，通过密集滑窗提取局部特征，规避对分离融合事件的判断，转而匹配跟踪局部特征；对于不同尺度流体特征，采用多层图像金字塔收集各尺度目标。因此本发明能够根据流体受外部形势场驱动过程中流体形态特征持续变化特点，利用多流体目标整体特征的时空连续性，有效提高多流体目标匹配跟踪精度。本发明采用稀疏kuhn-munkres算法可将方法运行时间降低至秒级，满足在线算法要求。

虽然本发明已以较佳实施例公开如上，但实施例并不限定本发明。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。