一种跨摄像头目标跟踪方法及装置与流程

本发明涉及视频分析技术领域，尤其涉及一种跨摄像头目标跟踪方法及装置。

背景技术：

跨摄像头目标跟踪任务是指通过分析一片区域中的多个监控摄像头视频数据来对用户指定的某个目标进行长时间跟踪，然后返回其运动轨迹。该任务作为单摄像头目标跟踪的一个拓展，其复杂性、难度等都远非后者可以比拟，具体来说主要体现在两方面：首先，由于拍摄视角、拍摄距离、光线条件等因素造成同一目标在不同摄像头下的视觉外观具有较大的差异，因此跨摄像头目标跟踪难度远比单摄像头目标跟踪难度要大；其次，随着现今监控摄像头网络规模越来越大，摄像头所拍摄画面的分辨率越来越高，在对这些视频数据进行处理分析时所需要消耗的计算资源也越来越多，简单粗暴进行全部遍历的方式在实际场景中通常并不可行。

目前，对于跨摄像头指定目标跟踪任务最容易想到的一个解决方案就是：

1)在所有摄像头传回的视频流上逐帧执行对象检测；

2)使用某种算法来匹配这些检测到的对象与之前用户指定目标；

3)一旦发现目标，调用单摄像头目标跟踪算法直到目标离开该摄像头视角，回到步骤1)。

然而，如果仔细考虑下某些细节性的问题，就会很容易的发觉在真实场景中这个解决方案其实可行性非常之低：首先，目标精准搜索算法并不可靠，目前已有的不管是针对车辆或者行人的跨摄像头目标精准搜索算法其实准确率都还不算太高，由于摄像头视角、背景差异，尤其是在人流量巨大的马路或者类似公共场所，我们几乎不可能仅凭某个目标精准搜索算法返回的对象相似度就直接断定两个对象是否是同一个人或者同一辆车；第二，不切实际的计算资源需求，现在一个普通学校或者事业单位里的视频监控系统很可能就包含着几十甚至上百路高清监控摄像头，而某些特殊大型视频监控系统甚至可能包含上千路监控摄像头，若按照上文所述方法对每个摄像头视频数据都逐帧进行对象检测、目标精准搜索等算法，那么仅仅一个对象检测任务所需要的计算资源可能就远非现实情况可以满足。

技术实现要素：

针对现有技术的缺陷，本发明提供一种跨摄像头目标跟踪方法及装置，能够解决现有技术中目标精准搜索算法不可靠、且计算资源需求无法满足的问题。

第一方面，本发明提供了一种跨摄像头目标跟踪方法，所述方法包括：

对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪；

当所述指定目标离开当前摄像头的视角范围后，采用搜索区域切换算法确定当前需要搜索的监控区域；

对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标；

根据所述可疑目标对所述指定目标的运动轨迹进行估计。

优选地，所述方法还包括：

将所述指定目标的运动轨迹发送至客户端以展示所述指定目标的运动轨迹；

若接收到用户输入的终止命令或者所述指定目标离开监控区域时，停止跟踪任务。

优选地，所述对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪的步骤之前，所述方法还包括：

构建摄像头监控网络图模型，并检查各摄像头的状态。

优选地，所述采用搜索区域切换算法确定当前需要搜索的监控区域，包括：

根据所述摄像头监控网络图模型及所述指定目标的历史运动轨迹信息，确定当前需要搜索的监控区域。

优选地，所述对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标，包括：

在所述监控区域内的所有摄像头的视角范围内进行对象检测，获得预设类别的对象；

将所述预设类别的对象与所述指定目标进行目标相似度匹配，从所述预设类别的对象中筛选出与所述指定目标的相似度大于预设阈值的可疑目标。

优选地，所述根据所述可疑目标对所述指定目标的运动轨迹进行估计，包括：

对所述可疑目标进行分析，判断每个可疑目标为正样本或者负样本；所述正样本为所述指定目标被各摄像头拍摄得到的图片样本，所述负样本为非指定目标被各摄像头拍摄得到的图片样本；

将所述可疑目标中的正样本按照时间先后顺序连接，作为估计出的所述指定目标的运动轨迹。

第二方面，本发明提供了一种跨摄像头目标跟踪装置，所述装置包括：

目标跟踪模块，用于对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪；

监控区域搜索模块，用于当所述指定目标离开当前摄像头的视角范围后，采用搜索区域切换算法确定当前需要搜索的监控区域；

视觉搜索模块，用于对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标；

运动轨迹估计模块，用于根据所述可疑目标对所述指定目标的运动轨迹进行估计。

优选地，所述装置还包括：跟踪终止模块，用于：

将所述指定目标的运动轨迹发送至客户端以展示所述指定目标的运动轨迹；

若接收到用户输入的终止命令或者所述指定目标离开监控区域时，停止跟踪任务。

优选地，所述装置还包括：初始化模块，用于：

构建摄像头监控网络图模型，并检查各摄像头的状态。

优选地，所述监控区域搜索模块，具体用于：

根据所述摄像头监控网络图模型及所述指定目标的历史运动轨迹信息，确定当前需要搜索的监控区域。

由上述技术方案可知，本发明提供一种跨摄像头目标跟踪方法及装置，通过对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪；而当所述指定目标离开当前摄像头的视角范围后，采用搜索区域切换算法确定当前需要搜索的监控区域；对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标；根据所述可疑目标对所述指定目标的运动轨迹进行估计。如此，本发明通过引入搜索区域切换算法确定监控区域，使得可疑目标的搜索范围局限于该监控范围内，有利于降低计算资源，并根据可疑目标对目标运动轨迹进行估计，提高了目标跟踪准确性并降低所需的计算资源开销。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1是本发明一实施例提供的一种跨摄像头目标跟踪方法的流程示意图；

图2是本发明另一实施例提供的一种跨摄像头目标跟踪方法的流程示意图；

图3是本发明另一实施例提供的一种跨摄像头目标跟踪方法的示意图；

图4是本发明一实施例提供的跨摄像头目标跟踪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施例中的一种跨摄像头目标跟踪方法的流程示意图，本实施例中的执行主体为服务器，如图1所示，所述方法具体包括如下步骤：

S1：对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪。

具体来说，用户通过客户端可在预设的摄像头监控网络中任意摄像头视角范围内指定一个目标作为跟踪目标。在用户确定指定目标后，会向服务器发送所述指定目标跟踪指令，而服务器首先采用预设的单摄像头目标跟踪方法控制摄像头对所述指定目标进行跟踪，直至该指定目标离开当前摄像头的视角范围。

S2：当所述指定目标离开当前摄像头的视角范围后，采用搜索区域切换算法确定当前需要搜索的监控区域。

具体来说，根据搜索区域切换算法确定当前需要搜索的监控区域，可采用多种方案，例如若指定目标最近一次出现在摄像头1视角内，因此可只搜索与该摄像头相邻的一些摄像头，将这些摄像头对应的视角范围确定为当前需要搜索的监控区域。当然，具体的搜索区域切换算法还可根据不同的应用场景采用不同的方案，本实施例对此不加以限制。

S3：对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标。

具体来说，对所述监控区域内的搜索摄像头对应的监控图像进行视觉搜索，确定视觉外观与所述指定目标的相似度较高的一个或多个可疑目标。

S4：根据所述可疑目标对所述指定目标的运动轨迹进行估计。

具体来说，对上述确定的一个或多个可疑目标进行分析，判定每个可疑目标是否为指定目标，并根据判定结果估计所述指定目标的运动轨迹。

由此可见，本实施例通过对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪；而当所述指定目标离开当前摄像头的视角范围后，采用搜索区域切换算法确定当前需要搜索的监控区域；对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标；根据所述可疑目标对所述指定目标的运动轨迹进行估计。如此，本发明通过引入搜索区域切换算法确定监控区域，使得可疑目标的搜索范围局限于该监控范围内，有利于降低计算资源，并根据可疑目标对目标运动轨迹进行估计，提高了目标跟踪准确性并降低所需的计算资源开销。

在本发明的一个可选实施例中，如图2所示，本实施例中的跨摄像头目标跟踪方法还包括如下步骤：

S5：将所述指定目标的运动轨迹发送至客户端以展示所述指定目标的运动轨迹；

S6：判断是否接收到用户输入的终止命令或者所述指定目标离开监控区域；若是，则转至步骤S7，否则转至步骤S1

S7：停止跟踪任务。

在本发明的一个可选实施例中，所述步骤S1之前，所述方法还包括如下步骤：

S0：构建摄像头监控网络图模型，并检查各摄像头的状态。

具体来说，即进行初始化操作，根据实际情况构建摄像头网络图模型，检查各摄像头的状态，即能否正常获取到视频流数据等，以及其他的初始化操作。

举例来说，使用一个无向带权图G＝{V,E}来表示现实世界的摄像头监控网络，其中每一个顶点v∈V对应一个真实的监控摄像头设备，每一条边e_v1,v2＝1当且仅当实际的摄像头设备v1,v2间存在一条直接连通的马路。然后，定义符号N(v)表示与摄像头v相邻的其它摄像头集合。

在本发明的一个可选实施例中，步骤S2中的所述采用搜索区域切换算法确定当前需要搜索的监控区域，具体包括：

根据所述摄像头监控网络图模型及所述指定目标的历史运动轨迹信息，确定当前需要搜索的监控区域。

举例来说，以跨摄像头行人目标跟踪为例，跟踪任务开始时，假设用户初始指定的目标为I₀＝(c₀,s₀,a₀,d₀)，而根据之后发现的可疑对象可生成可疑对象列表I_list＝{I₁,I₂,…,I_k}，其中I_k＝(c_k,s_k,a_k,d_k)是最近发现的一个可疑对象，其中，c₀代表指定目标I₀所在初始摄像头，s₀为其与原始指定跟踪目标的视觉相似度，此时s₀＝1，a₀,d₀为其在摄像头c₀出现与离开的时间，c_k代表可疑对象I_k所在摄像头，s_k为其与原始指定跟踪目标的视觉相似度，a_k,d_k为其在摄像头c_k出现与离开的时间。可理解地，任意一个可疑对象I_k可能是(正样本)也可能不是用户之前指定的目标(误检，负样本)，而用户之前指定的目标在进入到某个摄像头后也存在一定概率不被检测出来(漏检)。

具体地，在用户指定初始目标I₀后，我们首先执行某种单摄像头目标跟踪算法直到该目标离开当前摄像头视角c₀，并记录其离开时间d₀。需要说明的是，这里所说的某种单摄像头目标跟踪算法并不局限于某种特定的算法实现，理论上可以采用任意已有的单摄像头目标跟踪技术。进一步地，需要开始在其他摄像头进行视觉搜索任务，保证当指定目标重新进入到某一摄像头c_k时必须能够真的被我们检测到。最简单、直接的方法显然是在所有摄像头视角内逐帧执行行人对象检测与相似度匹配算法，不过因为这种方案所需要的计算资源与监控摄像头网络的规模成正比，很难在现实中满足，因此本实施例提出采用搜索区域切换算法来确定当前需要搜索的监控区域，在实际实现时可以有很多种方案，例如若跟踪目标最近一次出现在摄像头c_k视角内，那么我们可以只搜索与该摄像头相邻的一些摄像头v∈N(c_k)。不过具体的搜索区域切换算法根据不同的应用场景也可以有不同的方案，本实施例对此不加以限制。

在本发明的一个可选实施例中，所述步骤S3中所述对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标，具体包括如下子步骤：

S31：在所述监控区域内的所有摄像头的视角范围内进行对象检测，获得预设类别的对象；

S32：将所述预设类别的对象与所述指定目标进行目标相似度匹配，从所述预设类别的对象中筛选出与所述指定目标的相似度大于预设阈值的可疑目标。

具体来说，在需要进行搜索的监控区域内的所有摄像头视角内执行对象检测，获得感兴趣类型的对象，如行人、车辆等。进一步地，将得到的感兴趣类型的对象与所述指定目标进行视觉相似度匹配，筛选出视觉相似度较高的一个或多个可疑目标对象。

在本发明的一个可选实施例中，所述步骤S4中的根据所述可疑目标对所述指定目标的运动轨迹进行估计，具体包括如下子步骤：

S41：对所述可疑目标进行分析，判断每个可疑目标为正样本或者负样本；所述正样本为所述指定目标被各摄像头拍摄得到的图片样本，所述负样本为非指定目标被各摄像头拍摄得到的图片样本；

S42：将所述可疑目标中的正样本按照时间先后顺序连接，作为估计出的所述指定目标的运动轨迹。

举例来说，随着不断的确定监控区域然后执行对象检测、相似度匹配算法，可以得到越来越多的可疑对象，这里将其放入一个列表I_list＝{I₁,I₂,…,I_k}并称其为可疑对象列表，为了能够真正向用户反馈出指定目标的运动轨迹，还需要对这个可疑对象列表中的所有对象进行正样本、负样本分类，前者是指定行人目标被各个摄像头拍摄到的图片样本，后者则是其他行人目标被拍摄到的图片样本，进一步地，根据时间先后顺序将所有正样本连起来即得到指定行人目标的运动轨迹，并将该运动轨迹发送至客户端，以在用户界面上进行显示。

为了更清楚地说明本发明的技术方案，图3示出了本发明另一实施例中的一种跨摄像头目标跟踪方法的示意图。如图3所示，用户通过客户端确定指定目标后，向服务器发起跟踪请求；服务器则根据预先建立的摄像头监控网络输出的视频数据，采用搜索区域切换算法确定当前需要搜索的监控区域，并对所述监控区域内进行对象检测、跟踪及相似度匹配等操作，得到多个可疑目标，进一步地根据多个可疑目标中的正样本确定所述指定目标的运动轨迹，并将该运动轨迹通过通用图形接口反馈至客户端，以在用户界面上显示所述指定目标的运动轨迹。如此，本实施例提高了目标跟踪准确性并降低所需的计算资源开销。

图4是本发明一实施例中的一种跨摄像头目标跟踪装置的结构示意图，如图4所示，所述装置包括：目标跟踪模块401、监控区域搜索模块402、视觉搜索模块403及运动轨迹估计模块404。其中：

目标跟踪模块401用于对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪；监控区域搜索模块402用于当所述指定目标离开当前摄像头的视角范围后，采用搜索区域切换算法确定当前需要搜索的监控区域；视觉搜索模块403用于对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标；运动轨迹估计模块404用于根据所述可疑目标对所述指定目标的运动轨迹进行估计。

本实施例通过目标跟踪模块401对任一摄像头的视角范围内的指定目标执行单摄像头目标跟踪；而当所述指定目标离开当前摄像头的视角范围后，监控区域搜索模块402采用搜索区域切换算法确定当前需要搜索的监控区域；视觉搜索模块403对所述监控区域内的所有摄像头进行视觉搜索，确定与所述指定目标的相似度大于预设阈值的可疑目标；运动轨迹估计模块404根据所述可疑目标对所述指定目标的运动轨迹进行估计。如此，本发明通过引入搜索区域切换算法确定监控区域，使得可疑目标的搜索范围局限于该监控范围内，有利于降低计算资源，并根据可疑目标对目标运动轨迹进行估计，提高了目标跟踪准确性并降低所需的计算资源开销。

在本发明的一个可选实施例中，所述装置还包括：跟踪终止模块，用于：

将所述指定目标的运动轨迹发送至客户端以展示所述指定目标的运动轨迹；

若接收到用户输入的终止命令或者所述指定目标离开监控区域时，停止跟踪任务。

在本发明的一个可选实施例中，所述装置还包括：初始化模块，用于：

构建摄像头监控网络图模型，并检查各摄像头的状态。

优选地，所述监控区域搜索模块，具体用于：

根据所述摄像头监控网络图模型及所述指定目标的历史运动轨迹信息，确定当前需要搜索的监控区域。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。