基于直觉模糊随机森林的目标跟踪方法及装置与流程

本发明涉及目标跟踪领域，特别是涉及一种基于直觉模糊随机森林的目标跟踪方法及装置。

背景技术：

在线目标跟踪是计算机视觉中的一个热点研究课题，其对于动作识别、行为分析、场景理解等高层次的视觉研究具有重要意义，并且在视频监控、智能机器人、人机交互等领域有着广泛的应用前景。

在复杂场景下，由于目标自身形变、目标间相互遮挡或者背景静物对目标的遮挡等因素的影响，将难以避免的产生漏检。此时，漏检目标找不到与其关联的检测到的观测对象，无法通过数据关联为这些漏检目标的轨迹更新找到有效的信息，轨迹精度降低。

技术实现要素：

本发明主要解决的技术问题是提供一种基于直觉模糊随机森林的目标跟踪方法及装置，能够解决现有技术中漏检目标的轨迹精度降低的问题。

为了解决上述技术问题，本发明采用的一个技术方案是：提供一种基于直觉模糊随机森林的目标跟踪方法，包括：对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标；对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的直觉模糊随机森林对候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新直觉模糊随机森林。

为了解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于直觉模糊随机森林的目标跟踪装置，包括：处理器和摄像机，处理器连接摄像机；处理器用于对从摄像机获取的当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标；对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的直觉模糊随机森林对候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新直觉模糊随机森林。

本发明的有益效果是：通过对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的直觉模糊随机森林对候选结果进行匹配，如果匹配成功，则利用匹配成功的候选结果对该可靠目标的预测结果进行滤波更新以获取其轨迹，使得在发生漏检，目标找不到关联的观测对象的情况下，可以使用直觉模糊随机森林找出与其匹配的可用于其轨迹滤波更新的候选结果，从而提高目标轨迹的精度，改善目标跟踪的性能。

附图说明

图1是本发明基于直觉模糊随机森林的目标跟踪方法第一实施例的流程图；

图2是本发明基于直觉模糊随机森林的目标跟踪方法第二实施例一个例子中分支节点的硬判决函数和模糊判决函数的示意图；

图3是本发明基于直觉模糊随机森林的目标跟踪方法第二实施例一个例子中分支节点的模糊判决函数和直觉模糊判决函数的示意图；

图4是本发明基于直觉模糊随机森林的目标跟踪方法第三实施例的流程图；

图5是本发明基于直觉模糊随机森林的目标跟踪方法第四实施例的流程图；

图6是本发明基于直觉模糊随机森林的目标跟踪方法第四实施例中特征选择准则训练的流程图；

图7是本发明基于直觉模糊随机森林的目标跟踪方法第五实施例的流程图；

图8是本发明基于直觉模糊随机森林的目标跟踪方法第六实施例的流程图；

图9是本发明基于直觉模糊随机森林的目标跟踪方法第七实施例的流程图；

图10是本发明基于直觉模糊随机森林的目标跟踪装置第一实施例的结构示意图；

图11是本发明基于直觉模糊随机森林的目标跟踪装置第二实施例的结构示意图。

具体实施方式

如图1所示，本发明基于直觉模糊随机森林的目标跟踪方法第一实施例包括：

S1：对当前视频帧进行运动检测。

使用帧差法、光流法、背景减除法等运动检测算法对当前视频帧进行运动检测，以从中找出属于运动前景的像素，辅以中值滤波和简单的形态学处理，最终得到当前视频帧中的可能运动对象作为观测对象。一个观测对象是当前视频帧中的一个图像块，一般而言，观测对象的形状为矩形。

S2：对观测结果和目标的预测结果进行关联。

目标包括稳定跟踪的可靠目标及不稳定跟踪的临时目标。本步骤中的目标状态，即每个目标被标记为可靠目标还是临时目标，是由前一视频帧的轨迹管理决定的。临时目标包括在前一视频帧为未被关联且不是匹配成功的候选结果的观测结果建立的新的目标，以及连续关联成功的帧数小于或者等于第一帧数阈值且未被删除的目标。可靠目标包括连续关联成功的帧数大于第一帧数阈值且未被删除的目标。目标的预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的。

S3：对未被关联的观测结果和预测结果进行轨迹管理，其中包括对于未被关联的可靠目标，对其预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的直觉模糊随机森林对候选结果进行匹配。

具体而言，在可靠目标的预测结果位置及其周围指定范围内选择若干个图像块作为候选结果，图像块的大小一般与预测结果的大小一致，指定范围的大小及候选结果的数量一般由经验值决定。候选结果可以包括在指定范围内的未被关联的观测结果。相邻的候选结果可以彼此不重叠，也可以部分重叠。使用未被关联的可靠目标的直觉模糊随机森林作为分类器，该分类器的分类结果有可靠目标和非可靠目标两类。计算候选结果作为测试样本隶属于可靠目标类别的直觉模糊隶属度。若该直觉模糊隶属度大于第一阈值η₁，且候选结果与可靠目标的预测结果的外观特征相似性度量大于第二阈值η₂，则匹配成功，0.5<η₁<1且0.5<η₂<1。

当候选结果的数量大于一时，在分别为每个候选结果计算其作为测试样本隶属于可靠目标类别的直觉模糊隶属度之后，可以分别判断每个候选结果的直觉模糊隶属度是否大于第一阈值η₁，与预测结果的外观特征相似性度量是否大于第二阈值η₂，如果有至少两个候选结果满足前述两个条件，则选择其中直觉模糊隶属度最大的一个(直觉模糊隶属度相同则选择外观特征相似性度量最大的一个)作为匹配成功的候选结果用于后续的目标状态和直觉模糊随机森林的更新；当然，也可以从候选结果中选择直觉模糊隶属度最大的一个的候选目标，然后判断选中的候选结果的直觉模糊隶属度是否大于第一阈值η₁，与预测结果的外观特征相似性度量是否大于第二阈值η₂，如果满足前述两个条件则匹配成功。

此外，根据关联结果和匹配结果对目标状态进行更新，包括目标的建立、删除和状态修改。具体包括：为未被关联且不是匹配成功的候选结果的观测结果建立新的临时目标；将连续关联成功的帧数大于第一帧数阈值λ₁的临时目标变为可靠目标；删除连续关联不成功的帧数大于第二帧数阈值λ₂的临时目标；删除连续关联不成功的帧数大于第三帧数阈值λ₃，且匹配结果为匹配失败的可靠目标，匹配结果为匹配失败是指利用直觉模糊随机森林计算候选结果作为测试样本隶属于可靠目标类别的直觉模糊隶属度小于或者等于第六阈值η₆，且满足0<η₆≤η₁。其中λ₁为大于1的正整数，λ₂和λ₃均为正整数，且满足λ₃≥λ₂≥1。

S4：利用关联结果和匹配结果获取当前帧的目标的轨迹，利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新直觉模糊随机森林。

对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹。此外对关联成功的目标利用其关联的观测结果对其预测结果进行滤波更新以获取轨迹，对新的临时目标将对应的观测结果作为轨迹，对关联不成功且未被删除的临时目标以及关联不成功且匹配不成功且未被删除的可靠目标将其预测结果作为轨迹。

然后利用当前帧的目标的轨迹进行预测，得到的结果可以作为目标的预测结果用于下一帧的目标跟踪。在本发明一个实施例中，使用卡尔曼滤波器对当前帧的目标的轨迹进行预测以获取下一帧的目标的预测结果，卡尔曼滤波器也可以用于对预测结果和对应的观测结果/候选结果进行滤波以获取目标的轨迹。

利用关联成功或匹配成功的可靠目标对应的目标图像块为其更新直觉模糊随机森林。目标图像块可以不包括目标的轨迹信息，例如为关联成功的观测对象或者匹配成功的候选结果，此时更新直觉模糊随机森林的步骤与前述目标的轨迹的获取及预测的步骤的执行顺序并无限制。目标图像块也可以包括目标的轨迹信息，例如为可靠目标的轨迹所在位置的图像块，此时更新直觉模糊随机森林的步骤应在前述目标的轨迹的获取的步骤之后执行。

通过上述实施例的实施，对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的直觉模糊随机森林对候选结果进行匹配，如果匹配成功，则利用匹配成功的候选结果对该可靠目标的预测结果进行滤波更新以获取其轨迹，使得在发生漏检，目标找不到关联的观测对象的情况下，可以使用直觉模糊随机森林找出与其匹配的可用于其轨迹滤波更新的候选结果，从而提高目标轨迹的精度，改善目标跟踪的性能。

本发明基于直觉模糊随机森林的目标跟踪方法第二实施例，是在本发明基于直觉模糊随机森林的目标跟踪方法第一实施例的基础上，候选结果作为测试样本隶属于可靠目标类别的直觉模糊隶属度P(c＝m|w)为：

其中c为测试样本的类别标签，m为可靠目标类别，w为测试样本，T为直觉模糊随机森林中直觉模糊决策树的个数，M为生成直觉模糊随机森林的训练样本的类别集合，φ_t(c＝m|w)为利用第t个直觉模糊决策树计算得到的测试样本w隶属于可靠目标类别m的直觉模糊隶属度。

直觉模糊决策树对分支节点输出判决进行了直觉模糊化，使得同一个样本会以不同的直觉模糊隶属度经过分支节点的输出左分支以及输出右分支，最终到达多个叶子节点。因此，直觉模糊决策树的分类结果需要综合考虑多个叶子节点的信息。φ_t(c＝m|w)定义为：

在第t个直觉模糊决策树中，B_t为测试样本w到达的所有叶子节点构成的集合，b为测试样本w到达的一个叶子节点，h^％(w)为将叶子节点b作为当前节点时测试样本w隶属于当前节点的直觉模糊隶属度，为叶子节点b预测类别为m的置信度，定义为：

其中x_j为到达叶子节点b的训练样本，共有n_b个，c_j为训练样本x_j的类别，δ(·)为狄拉克函数，h^％(x_j)为将叶子节点b作为当前节点时训练样本x_j隶属于当前节点的直觉模糊隶属度。

训练样本和测试样本隶属于当前节点的直觉模糊隶属度的计算方式相同，样本x隶属于当前节点的直觉模糊隶属度h^％(x)为其隶属于到达当前节点所经过的所有分支节点的输出路径的直觉模糊隶属度的乘积，具体定义为：

其中D为样本到达当前节点之前经过的所有分支节点的集合，d为集合中的一个分支节点，l表示分支节点的输出左分支，r表示分支节点的输出右分支，为样本到达当前节点所经过的隶属于分支节点d的输出路径的直觉模糊隶属度。

样本包括测试样本和训练样本，训练样本包括正训练样本和负训练样本，正训练样本是指为目标类别的训练样本，负训练样本是指为非目标类别的训练样本。若当前节点为根节点，则D为空，无法使用式(4)计算h^％(x)。在这种情况下，当样本x为测试样本时，h^％(x)＝1，当样本x为正训练样本且正训练样本的总个数为n₁且n₁为正整数时，h^％(x)＝1/n₁，当样本x为负训练样本且负训练样本的总个数为n₀且n₀为正整数时，h^％(x)＝1/n₀。

样本到达当前节点所经过的隶属于分支节点d的输出路径的直觉模糊隶属度定义为：

其中为样本隶属于分支节点d的输出左分支的直觉模糊隶属度，为样本隶属于分支节点d的输出右分支的直觉模糊隶属度。根据式(4)计算时，应当根据样本经过的分支节点d的输出路径是左分支还是右分支，从式(5)中和的表达式中选择对应的一个代入。h(x_d)为分支节点d的直觉模糊输出判决函数。

传统的二叉决策树的分支节点采用硬判决，其分支节点输出判决函数的定义为：

其中，x_d为分支节点d的样本x的特征值，τ为特征门限值。0对应该分支节点输出左分支，1对应该分支节点输出右分支。采用S型函数(即Sigmoid函数)对式(19)表示的传统的硬判决函数进行模糊化。

其中x_d为分支节点d的样本x的特征值，τ为特征门限值，θ为用于控制Sigmoid函数倾斜程度的常量参数，σ为特征值的标准差。

举例说明，x_d的取值范围为[0,1]，τ为0.4，θ＝0.25时模糊化前后的硬判决函数和模糊判决函数如图2所示。图中的虚线表示式(19)所定义的硬判决函数，其输出在特征门限处发生跳变；实线表示式(7)所定义的模糊判决函数，其输出根据样本的特征值单调连续变化，且在特征门限处等于0.5。

然后采用直觉模糊点算子，进一步将基于Sigmoid函数的模糊判决函数推广到直觉模糊判决函数。

假设U是一个非空集合，集合U的直觉模糊集合(IFS(U))A的定义为：

A＝{<u,μ_A(u),ν_A(u)>|u∈U} (20)

其中μ_A:U→[0,1]，μ_A(u)表示集合U中元素u属于A的隶属度，ν_A:U→[0,1]，ν_A(u)表示集合U中元素u属于A的非隶属度，且对任意u有：

集合U中元素u属于A的模糊直觉指数定义为：

π_A(u)＝1-μ_A(u)-ν_A(u) (22)

模糊直觉指数π_A(u)表示元素u相对于直觉模糊集A的不确定信息。如果π_A(u)的值很小，说明元素u属于A的隶属度值相对精确；如果π_A(u)的值很大，则说明元素u属于A的隶属度值具有较大的不确定性。与模糊集合相比，直觉模糊集合能够体现隶属、非隶属和模糊直觉指数三方面的信息，从而有利于更好地处理不确定性的信息。

为了更好地利用模糊直觉指数中的信息，引入直觉模糊点算子。对于任意u∈U，令α_u,β_u∈[0,1]，且满足α_u+β_u≤1，直觉模糊点算子IFS(U)→IFS(U)定义为：

直觉模糊点算子将直觉模糊集A转化为带有如下模糊直觉指数的直觉模糊集：

记则有：

以此类推，可得对于任意正整数n，若α_u+β_u≠0，则有：

若对某个u∈U，α_u+β_u＝0，即α_u＝0且β_u＝0，则有：

从式(27)以及式(28)可以看出，直觉模糊点算子将模糊直觉指数π_A(u)划分为：(1-α_u-β_u)ⁿπ_A(u)，α_uπ_A(u)(1-(1-α_u-β_u)ⁿ)/(α_u+β_u)和β_uπ_A(u)(1-(1-α_u-β_u)ⁿ)/(α_u+β_u)共三部分，分别表示在原不确定信息中的未知、隶属及非隶属部分。

对于任意u∈U，由于α_u,β_u∈[0,1]，且满足α_u+β_u≤1，有：

式(30)表明，直觉模糊点算子能够减小直觉模糊集A的模糊直觉指数。这说明通过直觉模糊点算子可以从元素u相对于直觉模糊集A的不确定信息中提取出新的信息，提高不确定信息的利用程度。

经过直觉模糊推广得到的分支节点d的直觉模糊输出判决函数h(x_d)定义为：

其中k为算子次数，为正整数，k的取值越大，消耗的计算量越大。为了计算方便，可以取k∈{1,2,3}。

式(6)中的π(z)为模糊直觉指数，根据Sugeno模糊补，定义为：

其中λ为常量参数，0<λ<1，例如为0.8。当x_d≥τ时，z＝g(x_d)，当x_d<τ时，z＝1-g(x_d)。

式(6)中的α为从模糊直觉指数中提取隶属信息的尺度因子，β为从模糊直觉指数中提取非隶属信息的尺度因子，定义为：

β＝1-α-π(z)

式(6)的输出值表示样本隶属于分支节点输出右分支的直觉模糊隶属度。直觉模糊点算子能够从不确定信息中提取新的有用信息，式(6)就是在原模糊隶属度信息g(x_d)中加入了从模糊直觉指数π(z)中提取的隶属信息，从而减少了原模糊隶属度信息的不确定性。由于当k＝0时，由式(6)可以得到h(x_d)＝g(x_d)，此时，直觉模糊判决退化为模糊判决，因此，可以认为式(6)是对式(7)的直觉模糊推广。

举例说明，当k＝1，特征门限值τ＝0.4，λ＝0.8时，分支节点直觉模糊输出判决函数的图形如图3所示。图中虚线表示式(7)所定义的模糊判决函数；实线表示式(6)所定义的直觉模糊判决函数。

式(6)中算子次数k和特征门限值τ的取值可以通过更新直觉模糊决策树过程中的特征选择准则训练确定，也可以通过其他方式例如取经验值确定。

传统的二叉决策树的分支节点采用硬判决，测试样本只能根据特征属性从左右两个分支中选择一个到达下一层节点，最终到达一个叶子节点，测试样本的类别由该到达的叶子节点的类别决定。这样的硬判决决策树对样本噪声的鲁棒性不强，当样本受到强噪声干扰时，其特征值将会发生较大变化，可能导致样本经过的分支发生变化，降低决策树的准确性。

现有技术中提出了模糊决策树，将模糊集理论应用于决策树的训练以及推理过程，利用模糊集理论的表示能力来提高传统决策树对于带噪声的数据以及不完整的数据的处理能力。尽管模糊决策树能够处理带有不确定性的特征值，但是其需要对样本特征进行模糊语义化处理，而在目标跟踪中采用的样本特征大多为数值型特征，并且特征维数较高，使得对样本特征的模糊语义化处理变得困难。

本实施例中的直觉模糊随机森林综合考虑其中每个直觉模糊决策树所计算得到的直觉模糊隶属度来得到测试样本的分类结果，直觉模糊随机森林的分类性能比单个直觉模糊决策树的分类性能好。其中的直觉模糊随机树采用Sigmoid函数对传统决策树的硬判决进行模糊化，省略复杂的模糊语义化过程，并且采用直觉模糊点算子将模糊隶属度推广到直觉模糊隶属度，提取有用信息，提高鲁棒性。

如图4所示，本发明基于直觉模糊随机森林的目标跟踪方法第三实施例，是在本发明基于直觉模糊随机森林的目标跟踪方法第一实施例的基础上，为关联成功或匹配成功的可靠目标更新直觉模糊随机森林包括：

S41：更新训练样本集合。

将关联成功或匹配成功的可靠目标在当前视频帧中对应的目标图像块作为新的正训练样本加入正训练样本集中，在正训练样本周围指定范围内选择若干个图像块作为负训练样本，正训练样本集和负训练样本组成训练样本集合。本实施例中的正训练样本集中可以包括可靠目标在当前以及之前视频帧中所有对应的图像块，也可以限制正训练样本集中正训练样本的数量小于或者等于指定阈值以节省存储资源。

S42：从训练样本集合中有放回地随机采样若干个样本以获取训练样本子集。

这意味着训练样本子集中可能有重复出现的同一训练样本，可以避免过度拟合。

S43：利用训练样本子集生成直觉模糊决策树。

S44：判断生成的直觉模糊决策树的数量是否到达预设数量T。

若是，则结束流程，生成的T个直觉模糊决策树组成了新的直觉模糊随机森林；若否则返回步骤S42继续循环。

本实施例可以与本发明基于直觉模糊随机森林的目标跟踪方法第二实施例相结合。

如图5所示，本发明基于直觉模糊随机森林的目标跟踪方法第四实施例，是在本发明基于直觉模糊随机森林的目标跟踪方法第三实施例的基础上，步骤S43具体包括：

S431：初始化训练样本子集中训练样本隶属于根节点的直觉模糊隶属度。

训练样本子集中正训练样本的总个数n₁为正整数时，正训练样本隶属于根节点的直觉模糊隶属度为1/n₁，训练样本子集中负训练样本的总个数n₀为正整数时，负训练样本隶属于根节点的直觉模糊隶属度为1/n₀。

S432：对到达当前节点的训练样本进行特征选择准则训练。

初始的当前节点为根节点。

根据直觉模糊信息增益最大原则确认当前节点的最优一维特征及最优一维特征的算子次数和特征门限值的取值，最优一维特征属于训练样本的高维特征矢量。

S433：判断当前节点是否满足停止条件。

直觉模糊决策树的深度越深，其消耗的存储资源越多，需要的计算量也越大，因此，需要设计其生成过程的停止条件。停止条件可以包括：

1)到达当前节点某一类别的训练样本隶属于当前节点的直觉模糊隶属度的和占到达当前节点全部训练样本的直觉模糊隶属度的总和的比重大于第三阈值θ_r；

2)到达当前节点的训练样本隶属于当前节点的直觉模糊隶属度的总和小于第四阈值θ_l；

3)当前节点在直觉模糊决策树中的深度达到第五阈值θ_d。

若满足以上三个条件中的任意一个，则跳转到步骤S434，若均不满足，则跳转到步骤S435.

S434：将当前节点转化为叶子节点。

S435：使用最优一维特征将当前节点分裂生成下一层的两个分支节点。

然后将分支节点作为当前节点返回步骤S432继续执行，直至所有的当前节点都变为叶子节点，不再有分支节点生成。直觉模糊决策树的生成过程是从根节点开始，以直觉模糊信息增益最大化作为特征选择准则，递归地构建二叉树的过程。

其中如图6所示，步骤S432具体包括：

S410：从训练样本的高维特征矢量中随机选择一个一维特征。

S420：从候选特征门限值中选择一个，在选中的一维特征和特征门限值条件下计算算子次数取不同数值时的直觉模糊信息增益，记录选中的一维特征、特征门限值的取值、最大的直觉模糊信息增益以及对应的算子次数的取值。

在本发明一个实施例中，候选特征门限值可以包括对训练样本的选中的一维特征的取值进行排序后得到的相邻两个取值的中值，n个训练样本可以得到n-1个中值。候选特征门限值也可以包括所有训练样本的选中的一维特征的取值的平均值。当然也可以是以上两种的组合。

直觉模糊信息增益ΔH定义为：

其中X＝{x₁,x₂,...,x_n}为到达当前节点的训练样本的集合，n为集合X中训练样本的个数。一般来说训练样本能够经过每个分支节点的每条输出路径到达直觉模糊决策树中的每一个节点，因此X即为初始化训练样本子集。

H(X)为集合X的直觉模糊熵，定义为：

其中δ(·)为狄拉克函数，c_j为训练样本的类别标签，m_i为训练样本的类别，由于仅需要对目标和非目标进行区分，因此共有两类，i＝1,2。训练样本隶属于当前节点的直觉模糊隶属度h^％(x_j)的定义及计算方式可参照式(4)-(9)，需要注意的是此时式(4)-(9)中的样本x为集合X中的训练样本，使用的样本特征、特征门限值和算子次数是属于到达当前节点之前的分支节点的。

H^l(X)为当前节点输出左分支所包含的训练样本的集合的直觉模糊熵，定义为：

H^r(X)为当前节点输出右分支所包含的训练样本的集合的直觉模糊熵，定义为：

其中为样本隶属于当前节点的输出左分支的直觉模糊隶属度，为样本隶属于当前节点的输出右分支的直觉模糊隶属度，其计算方式与分支节点d的相同，可参考式(5)-(9)，需要注意的是此时式(5)-(9)中的样本x仍为集合X中的训练样本，但使用是当前节点的选中的一维特征和特征门限值，以及本次指定的算子次数。

在算子次数的取不同数值时分别计算其直觉模糊信息增益ΔH，从中找出最大的直觉模糊信息增益ΔH以记录。

S430：为候选特征门限值中的每一个执行前一步骤(即步骤S420)，找出并保存所有记录中直觉模糊信息增益最大的一条。

该条记录中包括的一维特征即为最优一维特征，特征门限值的取值和算子次数的取值即为最优一维特征的算子次数和特征门限值的取值。

如图7所示，本发明基于直觉模糊随机森林的目标跟踪方法第五实施例，是在本发明基于直觉模糊随机森林的目标跟踪方法第三实施例的基础上，步骤S43具体包括：

S436：初始化训练样本子集中训练样本隶属于根节点的直觉模糊隶属度。

S437：判断当前节点是否满足停止条件。

初始的当前节点为根节点。

若满足以上三个条件中的任意一个，则跳转到步骤S438，若均不满足，则跳转到步骤S439。

S438：将当前节点转化为叶子节点。

S439：对到达当前节点的训练样本进行特征选择准则训练，使用最优一维特征将当前节点分裂生成下一层的两个分支节点。

然后将分支节点作为当前节点返回步骤S437继续执行，直至所有的当前节点都变为叶子节点，不再有分支节点生成。

本实施例与本发明基于直觉模糊随机森林的目标跟踪方法第四实施例的区别在于判断当前节点是否满足停止条件的步骤与对到达当前节点的训练样本进行特征选择准则训练的步骤的执行顺序不同，具体内容可参考本发明基于直觉模糊随机森林的目标跟踪方法第四实施例，在此不再赘述。

如图8所示，本发明基于直觉模糊随机森林的目标跟踪方法第六实施例，是在本发明基于直觉模糊随机森林的目标跟踪方法第一实施例的基础上，步骤S2包括：

S21：计算观测结果和预测结果之间的相似性度量。

相似性度量包括空间距离特征相似性度量以及外观特征相似性度量。

通常，目标在相邻帧图像之间的位置不会发生较大变化，因此，空间距离特征是能够较为有效地匹配目标的观测结果与预测结果的特征之一。观测结果d与预测结果o之间的空间距离特征相似性度量ψ₁定义为：

其中||·||₂为二范数，(xo,yo)为预测结果o的中心坐标，(x_d,y_d)为观测结果d的中心坐标，h_o为预测结果o的高度，为方差常量，可以取

由于目标的外观可能会随时间发生变化，单一的固定目标模板无法形成对目标外观的准确描述，因此，采用目标模板集来表示目标外观。预测结果o对应的目标模板集为其中的目标模板e_i,i＝1,...,n₂为经过白化处理且大小缩放至h×w的之前n₂个视频帧中的关联/匹配对象图像块，n₂为目标模板集中包括的目标模板的总数。为了存储和计算方便，对目标模板集中所包含的目标模板的数量进行限制，n₂小于或等于第七阈值γ，可以取γ＝5。

观测结果d与预测结果o之间的外观特征相似性度量ψ₂定义为：

其中s(·)为观测结果d与目标模板e_i之间的归一化相关性度量，定义为：

其中d(x,y)为观测结果d在坐标(x,y)处的灰度值，e_i(x,y)为目标模板e_i在坐标(x,y)处的灰度值，并且观测结果d也经过白化处理且大小缩放至h×w。s的取值范围为[0,1]。

S22：利用相似性度量计算观测结果和预测结果之间的关联代价。

观测结果d与预测结果o之间的关联代价定义为：

ρ_o,d＝1-ψ₁×ψ₂ (17)

S23：利用关联代价计算观测结果和预测结果之间的最优关联矩阵作为关联结果。

所有观测结果组成的集合为D＝{d₁,...,d_p}，所有预测结果组成的集合为O＝{o₁,...,o_q}，观测结果和预测结果的总关联代价定义为：

其中ρ_ij为式(17)定义的观测结果d_i与预测结果o_j之间的关联代价，A＝[a_ij]_p×q为观测结果和预测结果之间的关联矩阵，关联矩阵中的任一元素a_ij∈{0,1}，当a_ij＝1时，表示观测结果d_i与预测结果o_j关联成功。

由于一个观测仅能够与一个目标相关联，并且一个目标也仅能够与一个观测相关联，求解得到使得观测结果和预测结果的总关联代价最小的关联矩阵A₀即为最优关联矩阵。可以使用匈牙利算法求解得到关联结果。

如图9所示，本发明基于直觉模糊随机森林的目标跟踪方法第七实施例，是在本发明基于直觉模糊随机森林的目标跟踪方法第六实施例的基础上，步骤S3之后进一步包括：

S5：为关联成功或匹配成功的可靠目标更新目标模板集。

将可靠目标当前帧关联成功或匹配成功的关联/匹配对象图像块经过白化处理且大小缩放至h×w之后加入该可靠目标的目标模板集中。若加入之前目标模板集中目标模板的数量等于第七阈值，则删除目标模板集中最早加入的目标模板。

本步骤与步骤S4的执行可以是相互独立的，也可以是同时进行的。

下面为使用本发明基于直觉模糊随机森林的目标跟踪方法一实施例进行实验验证比较的结果，本实施例是本发明第一至第四、第六与第七实施例的结合，并采用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测，是一种基于直觉模糊随机森林的视频多目标跟踪(IFRFMOT)算法。本实施例的IFRFMOT算法选用的模型参数包括：目标模板的大小为64×32。直觉模糊随机森林由10个直觉模糊决策树组成，每个直觉模糊决策树的最大深度为7。直觉模糊随机森林以RGB颜色通道图像作为样本特征。

实验对象采用2个具有代表性的公开的测试视频TownCentre与PETS.S2L2，2个测试视频均为公共场景下的监控视频。为了能够全面、准确地评估本实施例的IFRFMOT算法的跟踪性能，采用了6个常用的跟踪性能评价指标，即目标标签变化次数(identity switch,IDS)、多目标跟踪准确性(Multiple Object Tracking Accuracy,MOTA)、多目标跟踪精度(Multiple Object Tracking Precision,MOTP)、长时间跟踪的目标比例(Mostly tracked,MT)、短时间跟踪的目标比例(Mostly lost,ML)以及目标轨迹断开次数(Fragmentation,FG)，其中MOTA、MOTP以及MT的数值越大则说明跟踪性能越好，而IDS、ML以及FG的数值越小则说明跟踪性能越好。本实施例将与TC_ODAL算法(Bae S H,Yoon K J.Robust online multi-object tracking based on tracklet confidence and online discriminative appearance learning[C].in IEEE Conference on Computer Vision and Pattern Recognition,Columbus,OH,2014:1218-1225)、MDP算法(Xiang Y,Alahi A,Savarese S.Learning to track:Online multi-object tracking by decision making[C].in IEEE International Conference on Computer Vision,2015:4705-4713)、MHT算法(Kim C,Li F,Ciptadi A,et al.Multiple hypothesis tracking revisited[C].in IEEE International Conference on Computer Vision,2015:4696-4704)以及以相同的样本特征和模型参数实现的基于硬判决决策树的随机森林的视频多目标跟踪算法(RFMOT)进行性能对比。

针对测试视频TownCentre，本实施例的IFRFMOT算法以及对比算法的实验结果如表1所示。

表1

从表1可以看出，IFRFMOT算法在MOTA指标上要明显优于对比算法，说明IFRFMOT算法出现跟踪错误的次数比对比算法要少。与TC_ODAL算法相比，IFRFMOT算法在ML指标上改善了39.1％，在MT指标上提高了16.7％；与MDP算法相比，IFRFMOT算法在ML指标上改善了6.2％，在MT指标上提高了1.3％；与MHT算法相比，IFRFMOT算法在ML指标上改善了14.1％，在MT指标上取得了相同的准确率。说明IFRFMOT算法不仅准确跟踪的目标数更多而且输出的目标轨迹也较为完整。与RFMOT算法相比，IFRFMOT算法在ML指标上改进了0.9％，在MT指标上提升了0.4％，在IDS指标上减少了9次目标标签分配错误。这一结果进一步验证了直觉模糊随机森林的有效性。受高频率遮挡以及目标轨迹交叉的影响，IFRFMOT算法在IDS指标上要差于TC_ODAL算法、MDP算法以及MHT算法，但IFRFMOT算法估计出了60％的目标轨迹，IFRFMOT算法同时准确跟踪的目标数要比上述3个对比算法多。由于训练样本的数量较少，尽管IFRFMOT算法能够对漏检目标进行在线跟踪，但是其候选结果定位不精确，加上目标的非线性运动导致所采用的卡尔曼滤波器的滤波效果下降，IFRFMOT算法在FG指标上要差于对比算法。

针对测试视频PETS.S2L2，本实施例的IFRFMOT算法以及对比算法的实验结果如表2所示。

表2

从表2可以看出，IFRFMOT算法在MOTA指标上要明显优于对比算法，说明IFRFMOT算法出现跟踪错误的次数比对比算法要少。同样，IFRFMOT算法在ML指标上要明显优于对比算法。与TC_ODAL算法相比，IFRFMOT算法在ML指标上的改进达到了20.9％，说明IFRFMOT算法所准确跟踪的目标轨迹要多于对比算法。同时，与TC_ODAL算法相比，IFRFMOT算法在MT指标上提高了16.3％；与MDP算法相比，IFRFMOT算法在MT指标上提高了9.3％；与MHT算法相比，IFRFMOT算法在MT指标上略低2.3％，说明IFRFMOT算法不仅准确跟踪的目标数更多而且输出目标轨迹也较为完整。与RFMOT算法相比，IFRFMOT算法在ML指标上改进了2.3％，在MT指标上提升了2.3％，在IDS指标上减少了15次目标标签分配错误。这一结果进一步验证了直觉模糊随机森林模型的有效性。尽管视频PETS.S2L2中存在大量目标漏检以及虚假观测，IFRFMOT算法在IDS指标以及FG指标上仅次于MHT算法，而好于其他对比算法。

采用MATLAB编程语言实现IFRFMOT算法，实验平台为Intel双核3.6GHz处理器以及8GB内存的台式机。IFRFMOT算法与对比算法在测试视频上的平均处理速度如表3所示。表3的统计结果中已排除运动检测所消耗的处理时间。

表3

从表3可以看出，IFRFMOT算法在运算效率上略差于对比算法，但是，由于直觉模糊随机森林中每个直觉模糊决策树的训练过程是相互独立的，其运算过程可以通过并行化处理进行加速，因此，若采用更高效的C语言编程实现，并且利用多CPU或者GPU进行并行计算，可以进一步提升IFRFMOT算法的运算效率。

针对目标轨迹众多并且背景干扰较强的测试视频TownCentre，以及目标密度较大并且光照变化明显的测试视频PETS.S2L2，IFRFMOT算法在多目标跟踪准确性、长时间跟踪的目标比例以及短时间跟踪的目标比例上均取得了优于或者接近于对比算法的跟踪性能，主要是因为尽管测试视频中存在由于背景干扰和光照变化所导致的目标特征的不确定性以及由于目标间高频率遮挡而导致的大量目标漏检，由于IFRFMOT算法将基于硬判决的随机森林推广到了直觉模糊随机森林，能够更好的处理特征描述的不确定性，对不同的目标以及目标与背景进行有效区分。因此，即使原本稳定跟踪的目标被漏检，本实施例的IFRFMOT算法仍然能够利用直觉模糊随机森林对其进行在线跟踪。

如图10所示，本发明基于直觉模糊随机森林的目标跟踪装置第一实施例包括：

检测模块11，用于对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果。

关联模块12，用于对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标。

管理模块13，用于对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的直觉模糊随机森林对候选结果进行匹配。

更新模块14，用于利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新直觉模糊随机森林。

如图11所示，本发明基于直觉模糊随机森林的目标跟踪装置第二实施例包括：处理器110和摄像机120。摄像机120可以为本地摄像机，处理器110通过总线连接摄像机120；摄像机120也可以为远程摄像机，处理器110通过局域网或互联网连接摄像机120。

处理器110控制基于直觉模糊随机森林的目标跟踪装置的操作，处理器110还可以称为CPU(Central Processing Unit，中央处理单元)。处理器110可能是一种集成电路芯片，具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

基于直觉模糊随机森林的目标跟踪装置可以进一步包括存储器(图中未画出)，存储器用于存储处理器110工作所必需的指令及数据，也可以存储传输器120拍摄的视频数据。

处理器110用于对从摄像机120获取的当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的，目标包括可靠目标及临时目标；对未被关联的观测结果和预测结果进行轨迹管理，其中包括对未被关联的可靠目标的预测结果进行在线跟踪获取候选结果，利用未被关联的可靠目标的直觉模糊随机森林对候选结果进行匹配；利用关联结果和匹配结果获取当前帧的目标的轨迹，其中包括对匹配成功的可靠目标利用其匹配成功的候选结果对其预测结果进行滤波更新以获取轨迹；利用当前帧的目标的轨迹进行预测，并为关联成功或匹配成功的可靠目标更新直觉模糊随机森林。

本发明基于直觉模糊随机森林的目标跟踪装置包括的各部分的功能可参考本发明在线目标跟踪方法各对应实施例中的描述，在此不再赘述。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。