流动目标实时统计方法及装置与流程

本发明涉及智能监控技术领域，具体而言，涉及一种流动目标实时统计方法及装置。

背景技术：

随着经济社会的发展和工业技术的进步，针对各类流动目标的实时统计，呈现越来越明显的刚性需求。流动目标实时统计，能够为各类场景的资源分配、运维管理和人员服务等方面，提供及时准确且有效的数据支撑。例如，商场实时人流统计：通过实时人流统计数据分析，可以及时调整各类资源分配，保障体系的高效运转，以及优化店铺管理，找出最适合店铺的经营模式；还可以根据客户逛店路径分析热点区域，调整主打产品陈列。流动目标实时统计，有利于从宏观到细节的各类优化，达到利益最大化，有很迫切的实际需求和很重要的现实意义。

现有流动目标实时统计方式常采用基于多目标跟踪(multipleobjecttracking，mot)的目标统计，其无法兼顾速度和精度，且针对不同场景需要分别进行数据标注及训练，而目标跟踪的数据标注工作繁重导致成本较高。

技术实现要素：

本发明解决的是现有流动目标实时统计方式的速度和精度无法兼顾、成本较高的问题。

为解决上述问题，本发明提供一种流动目标实时统计方法，所述方法包括：获取监控区域的监控视频；根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪；所述端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；统计经过预设统计位置的所述流动目标的数量。

可选地，所述根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪，包括：对所述监控视频的第二图像帧进行目标检测，得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息；所述第二图像帧为与所述第一图像帧相邻的下一帧；通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹。

可选地，所述通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹，包括：根据所述第二图像帧中第一目标在所述第一图像帧中的位置信息，确定所述第一图像帧中与所述位置信息最接近且未被关联的第二目标，以及将所述第一目标与所述第二目标关联；若在所述第一图像帧中不存在未被关联的第二目标，则为所述第二图像帧中第一目标新建轨迹；所述第二目标与所述第一目标的距离小于距离超参数。

可选地，所述端到端的多目标跟踪模型的目标函数如下：

其中，f表示目标函数，f表示假设空间，xi表示输入的训练样例，r表示正则项，g表示领域相关的约束函数，具体如下：

g(x)＝||(a(a^ta)^-1a^t-i)*f(x)||1+γ1*h1(x)+γ2*h2(x)

h1(x)＝-std(f(x))

h2(x)＝max(relu(f(x)-10))+max(relu(0-f(x)))

其中，a表示关于时间差δt的矩阵，t表示a的转置矩阵，i表示单位矩阵，γ1、γ2表示权值超参数，h1、h2表示正则项。

可选地，所述端到端的多目标跟踪模型设置有预测所述第二图像帧中目标在所述第一图像帧中的位置信息的损失函数，所述损失函数采用最小均方法确定。

可选地，所述端到端的多目标跟踪模型包括深度神经网络，所述深度神经网络增加了多个输入通道以及输出通道；所述输入通道包括所述第一图像帧及所述第一图像帧的目标的位置信息；所述输出通道包括所述第二图像帧的目标在所述第一图像帧中的位置信息。

可选地，所述统计经过预设统计位置的所述流动目标的数量，包括：所述预设统计位置设置有进线及出线；所述进线与所述出线间隔相对设置；若所述流动目标经过所述进线且经过所述出线，则将所述流动目标的数量加一。

可选地，所述统计经过预设统计位置的所述流动目标的数量，包括：在所述预设统计位置对应的统计区域一侧的所述流动目标的状态为第一状态，在所述统计区域另一侧的所述流动目标的状态为第二状态；若所述流动目标的状态由所述第一状态变更为所述第二状态，或由所述第二状态变更为所述第一状态，则将对应计数器的数量加一。

本发明提供一种流动目标实时统计装置，所述装置包括：获取模块，用于获取监控区域的监控视频；跟踪模块，用于根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪；所述端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；计数模块，用于统计经过预设统计位置的所述流动目标的数量。

可选地，所述跟踪模块，具体用于：对所述监控视频的第二图像帧进行目标检测，得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息；所述第二图像帧为与所述第一图像帧相邻的下一帧；通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹。

本发明提供的流动目标实时统计方法及装置，采用端到端的多目标跟踪模型对欲统计目标进行跟踪，利用监控视频对目标跟踪器进行无标签的有监督训练，提高了对任意种类目标进行统计的可行性，以及兼顾跟踪速度和精度；复用监控视频，无需额外视频采集终端，在成本和维护等方面有很大的优势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的一个实施例中一种流动目标实时统计方法的示意性流程图；

图2为本发明的一个实施例中流动目标统计示意图；

图3为本发明的一个实施例中端到端的多目标跟踪模型的结构示意图；

图4为本发明的一个实施例中一种流动目标实时统计装置的结构示意图。

附图标记说明：

401-获取模块；402-跟踪模块；403-计数模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有部分高效的mot方法，使用卡尔曼滤波和匈牙利算法，直接基于目标的运动特征进行关联匹配，会出现很频繁的标识交换(idswitch)，准确度较低。为解决上述问题，后继的一些算法常结合运动特征和外观特征进行关联匹配，可以在很大程度上提高跟踪的准确度，但其引入了计算密集的重识别(re-identification，reid)模型来提取嵌入特征(embedding)，同时也增加了关联匹配的复杂度，导致此方法效率很低，很难满足实时性要求。

其次，对于特殊或复杂的场景，上述方法可用性严重降低。现有的目标跟踪公开数据集，都只对一些常见的物体例如人体进行标注。但实际应用场景中(例如煤矿)则需要对多种类目标(例如运煤车、矿车等)进行跟踪因此需要针对不同应用场景进行数据标注。而目标跟踪的数据标注工作是十分繁重的，针对每个应用场景都进行数据标注是十分昂贵的。

本发明实施例提供了一种流动目标实时统计方法，可以实现各类场景中对流动人员或流动物体的实时统计，其基于公共场所的监控设备采集的监控视频，无需安装其他特殊设备，采用一种端到端的多目标跟踪算法，可以同时兼顾统计速度和精确度。对于多目标跟踪采用一种无标签(label-free)的有监督训练方法训练多目标跟踪器，采用领域(domain)知识作为训练时的监督信息。进一步，可以采用一种双统计线或统计区域的方法，解决了统计目标徘徊导致重复统计的问题。

图1是本发明的一个实施例中一种流动目标实时统计方法的示意性流程图，该方法包括以下步骤：

s102，获取监控区域的监控视频。

监控视频的来源为待监控区域预先安装的监控设备，无需额外增加硬件装置。通过对现有的待监控区域监控视频的复用，无需额外花费视频采集成本。

s104，根据端到端的多目标跟踪模型，对监控视频的图像帧进行流动目标跟踪。

其中，该端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到。

上述无标签的有监督训练方法，无需对监控视频图像中欲统计的目标进繁琐的标注，可以直接对原始视频基于领域知识进行训练，以获得多目标跟踪模型。其中，label-free的有监督训练的工作原理如下：

对于传统的有监督方法，欲学习到的目标函数可表示为：

其中，f表示目标函数，f表示假设空间，xi表示输入的训练样例，yi表示xi的lable信息，l表示损失函数。

对于label-free的有监督方法，欲学习到的目标函数可表示为：

其中，f表示目标函数，f表示假设空间，xi表示输入的训练样例，r表示正则项，这里的正则项主要的目的是为了避免函数f是一个平凡解，g表示领域相关的约束函数，通过这样一种约束，达到监督学习的目的，具体如下：

g(x)＝||(a(a^ta)^-1a^t-i)*f(x)||1+γ1*h1(x)+γ2*h2(x)

为了避免平凡解，可在约束中加入正则项，如下：

h1(x)＝-std(f(x))

h2(x)＝max(relu(f(x)-10))+max(relu(0-f(x)))

其中，a表示关于时间差δt的矩阵，t表示a的转置矩阵，i表示单位矩阵，γ1、γ2表示权值超参数，h1、h2表示正则项，h1(x)目的是为了使得f(x)的方差尽可能大，避免平凡解，h2(x)目的是为了避免f(x)的方差过大，而约束0<f(x)<10。

端到端的多目标跟踪模型对监控视频的图像帧进行流动目标跟踪的工作原理如下：

在时间t，给定当前帧i^t及其上一帧i^t-1，以及上一帧跟踪到的所有目标通过模型输出当前帧的所有目标及预测所有目标在上一帧的位置t′^t-1＝(b′0^t-1,b′1^t-1,...,b′i^t-1)；然后通过一个简单的贪婪算法，把当前帧中的目标关联到上一帧已有的路径上。

具体地，目标跟踪的目的是确定当前帧的目标和上一帧目标之间的关联。传统的目标关联一般采用匈牙利算法，计算比较复杂。本实施例的上述算法可以直接预测输出当前帧的目标在上一帧的位置，因此不需要很复杂的关联过程，可通过简单的贪婪算法实现。例如可以设置一个阈值ε，把t′^t-1的每个元素和t^t-1中的在该阈值内且距离最近的目标关联即可，在该阈值内如果无法找到可关联的目标，则表示其为新出现的目标。

s106，统计经过预设统计位置的流动目标的数量。

例如，设置两条不重合的进线和出线，或设置一个统计区域，若流动目标经过上述进线及出线、统计区域则进行数量统计，可以避免目标徘徊重复统计的问题。

可选地，在预设统计位置设置有进线及出线，该进线与出线间隔相对设置；若流动目标经过进线且经过出线，则将流动目标的数量加一。

可选地，在预设统计位置对应的统计区域一侧的流动目标的状态为第一状态，在统计区域另一侧的流动目标的状态为第二状态；若流动目标的状态由第一状态变更为第二状态，或由第二状态变更为第一状态，则将对应计数器的数量加一。

参见图2所示的流动目标统计示意图，在图中示出了进线l1、出线l2，在进线l1、出线l2之间的区域为统计区域，在进线l1左侧的流动目标的状态为“内”，在出线l2右侧的流动目标的状态为“外”。

如图2所示，目标从初始位置a移动到位置b，仅经过进线l1而未经过出线l2，或者其状态为“内>内”，即状态未改变，则不计数；人员从初始位置a移动到位置c，既经过进线l1且经过出线l2，其状态改变为“内>外”，则出计数器加一。可选地，当目标状态为外并穿过进线时，进计数器加一；当目标状态为内并穿过出线时，出计数器加一。上述统计方法中设置了进线和出线，且进线和出线之间间隔一段距离，在目标既经过进线又经过出线的情况下计数，可以避免目标徘徊重复统计的问题，只要目标的徘徊范围不跨越出线入线、统计区域，就不会出现重复计数。

本发明实施例提供的流动目标实时统计方法，采用端到端的多目标跟踪模型对欲统计目标进行跟踪，利用监控视频对目标跟踪器进行无标签的有监督训练，提高了对任意种类目标进行统计的可行性，以及兼顾跟踪速度和精度；复用监控视频，无需额外视频采集终端，在成本和维护等方面有很大的优势。

作为一种实施方式，上述步骤s104可按照以下步骤执行：

(1)对监控视频的第二图像帧进行目标检测，得到第二图像帧中目标的检测结果以及第二图像帧中目标在第一图像帧中的位置信息。该第二图像帧为与第一图像帧相邻的下一帧。

本实施例中的端到端的多目标跟踪模型，不需要单独的reid模型和复杂的关联策略，且保证了跟踪的准确度。该模型是在现有的目标检测器上进行改进，通过在一个图像帧对(前一帧和当前帧)上执行检测，并结合前一帧的目标检测结果，来估计当前帧的目标运动情况。该模型的具体结构如下：

参见图3所示的端到端的多目标跟踪模型的结构示意图，该模型包括深度神经网络，深度神经网络增加了多个输入通道以及输出通道。输入通道包括第一图像帧及第一图像帧的目标的位置信息；输出通道包括第二图像帧的目标在第一图像帧中的位置信息

其在传统的目标检测器上增加4个输入通道(channel)和4个输出通道。4个输入通道：前一帧的图像i^t-1(3个通道)和前一帧的检测结果(1个通道)；4个输出通道：当前帧的目标在前一帧的定位t′^t-1＝(b′0^t-1,b′1^t-1,...,b′i^t-1)。对三个输入通道，分别进行卷积，然后将三者的卷积结果相加，基层(base_layer)的输出尺寸与原始网络一致。

对于4个额外的输出通道，用于预测当前帧的对象在上一帧的位置。端到端的多目标跟踪模型设置有预测第二图像帧中目标在第一图像帧中的位置信息的损失函数，该损失函数采用最小均方法确定。上述模型增加了4个通道的输出，实质上可以看作多任务学习，此损失函数即新增任务(即输出当前帧的目标在上一帧中的位置)的损失，最终多任务损失可以采取手工加权组合，或者自动损失平衡进行融合。设模型输出为真实值(groundtrue)为n为模型输出的数量，可直接使用简单的最小均方法，设计损失函数如下：

(2)通过贪婪算法将第二图像帧中目标关联至第一图像帧中的目标，或为第二图像帧中目标新建轨迹。具体地，根据第二图像帧中第一目标在第一图像帧中的位置信息，确定第一图像帧中与该位置信息最接近且未被关联的第一图像帧中的第二目标，以及将第一目标与第二目标关联；若在预测边界框中不存在未被关联的第一图像帧中的第二目标，则为第二图像帧中第一目标新建轨迹。其中，第二目标与第一目标的距离小于距离超参数。

对于关联匹配算法，模型使用了一个简单的贪婪算法代替传统的复杂关联匹配算法。首先设置超参数阈值ε，将ε定义为距离的阈值；然后对于在位置p的每个检测，贪婪地将其与在位置p的最接近的没有被匹配的先前检测框相关联，位置p与上述先前检测框的最近距离需小于ε，若该最近距离大于ε则不匹配。如果在ε内没有未被匹配的先前检测框，则将其设置为新的轨迹。该贪婪算法通过一个直接的定位预测就足以跨时间链接对象，不需要复杂的距离度量或图形匹配。采用贪婪算法进行关联匹配，可以在不影响模型精度的情况下，提高跟踪模型的速度。

通过将传统的多目标跟踪中的目标检测、reid、数据关联统一到一个端到端的多目标跟踪模型中，同时还将前一帧的结果作为输入，从而帮助模型恢复被遮挡和中断的目标，很好地兼顾了多目标跟踪的速度和精确度。

本发明实施例提供的流动目标实时统计方法，利用监控视频对目标跟踪器进行label-free的有监督训练，提高了系统对任意目标进行统计的可行性；利用一种简单的贪婪算法进行关联匹配，在不影响模型精度的情况下，提高了跟踪模型的速度；利用一种双统计线或统计区域的方法，解决了统计目标徘徊导致重复统计的问题；复用监控视频，无需额外的专门视频采集终端，在成本和维护等方面有很大的优势。本发明实施例提供的上述方案基于计算机视觉方法，速度快，精度高，能够实现实时精准的流动目标统计，且能够简单地移植到不同场景，具有很高的可用性。

图4是本发明的一个实施例中一种流动目标实时统计装置的结构示意图，该装置包括：

获取模块401，用于获取监控区域的监控视频；

跟踪模块402，用于根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪；所述端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；

计数模块403，用于统计经过预设统计位置的所述流动目标的数量。

本发明实施例提供的流动目标实时统计装置，采用端到端的多目标跟踪模型对欲统计目标进行跟踪，利用监控视频对目标跟踪器进行无标签的有监督训练，提高了对任意种类目标进行统计的可行性，以及兼顾跟踪速度和精度；复用监控视频，无需额外视频采集终端，在成本和维护等方面有很大的优势。

可选地，作为一个实施例，所述跟踪模块，具体用于：对所述监控视频的第二图像帧进行目标检测，得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息；所述第二图像帧为与所述第一图像帧相邻的下一帧；通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹。

可选地，作为一个实施例，所述跟踪模块，具体用于：根据所述第二图像帧中第一目标在所述第一图像帧中的位置信息，确定所述第一图像帧中与所述位置信息最接近且未被关联的第二目标，以及将所述第一目标与所述第二目标关联；若在所述第一图像帧中不存在未被关联的第二目标，则为所述第二图像帧中第一目标新建轨迹；所述第二目标与所述第一目标的距离小于距离超参数。

可选地，作为一个实施例，所述端到端的多目标跟踪模型的目标函数如下：

其中，f表示目标函数，f表示假设空间，xi表示输入的训练样例，r表示正则项，g表示领域相关的约束函数，具体如下：

g(x)＝||(a(a^ta)^-1a^t-i)*f(x)||1+γ1*h1(x)+γ2*h2(x)

h1(x)＝-std(f(x))

h2(x)＝max(relu(f(x)-10))+max(relu(0-f(x)))

其中，a表示关于时间差δt的矩阵，t表示a的转置矩阵，i表示单位矩阵，γ1、γ2表示权值超参数，h1、h2表示正则项。

可选地，作为一个实施例，所述端到端的多目标跟踪模型设置有预测所述第二图像帧中目标在所述第一图像帧中的位置信息的损失函数，所述损失函数采用最小均方法确定。

可选地，作为一个实施例，所述端到端的多目标跟踪模型包括深度神经网络，所述深度神经网络增加了多个输入通道以及输出通道；所述输入通道包括所述第一图像帧及所述第一图像帧的目标的位置信息；所述输出通道包括所述第二图像帧的目标在所述第一图像帧中的位置信息。

可选地，作为一个实施例，所述计数模块具体用于：所述预设统计位置设置有进线及出线；所述进线与所述出线间隔相对设置；若所述流动目标经过所述进线且经过所述出线，则将所述流动目标的数量加一。

可选地，作为一个实施例，所述计数模块具体用于：在所述预设统计位置对应的统计区域一侧的所述流动目标的状态为第一状态，在所述统计区域另一侧的所述流动目标的状态为第二状态；若所述流动目标的状态由所述第一状态变更为所述第二状态，或由所述第二状态变更为所述第一状态，则将对应计数器的数量加一。

上述实施例提供的流动目标实时统计装置能够实现上述流动目标实时统计方法的实施例中的各个过程，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述流动目标实时统计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。