行为轨迹跟踪方法、系统以及存储装置与流程

1.本发明涉及视频监控领域，尤其涉及一种行为轨迹跟踪方法、系统以及存储装置。


背景技术：

2.随着视频监控技术的迅速发展，行为轨迹跟踪技术也随之发展。已有的视频监控技术行为轨迹跟踪方法主要针对单个摄像机，控制终端接收摄像机拍摄的图像，并根据该图像对监控场景中的感兴趣目标进行自动检测、行为轨迹跟踪和分类，以及相应的行为分析。每路摄像机有各自的监控任务，监控系统中摄像机和摄像机的监控任务之间没有关联。
3.然而，单个摄像机的视野行为轨迹跟踪方法范围有限，为了满足大范围监控的需要，就需要多个摄像机协同工作，并利用人工汇总的方式获取行为轨迹。但是，多个摄像机的协同工作会产生大量数据，严重增加了控制终端和监控人员的工作负担，而且，为了保证行为轨迹的准确性和防止数据丢失，需要保证通信网络的流畅工作，这些提高了行为轨迹监控的硬件成本、人工成本以及网络成本，难以满足监控任务的需要。


技术实现要素：

4.为了克服现有技术的不足，本发明提出一种行为轨迹跟踪方法、系统以及存储装置，采集监控对象的身份特征后，将其上传至监控区域的摄像头，通过摄像头识别监控区域中的监控对象，并根据摄像头在网络通畅时发送地识别信息和摄像头位置形成监控对象的行为轨迹，通过摄像头识别监控对象和根据通信网络传输能力灵活发送识别信息的方式减轻控制终端的工作负担，降低了对通信网络的要求和硬件成本，且能够根据监控对象的识别时间以及摄像头的位置快速获取监控对象的行为轨迹，无需人工汇总，降低了人工成本和减少了失误，保证了行为轨迹跟踪的正确性和完整性。
5.为解决上述问题，本发明采用的一个技术方案为：一种行为轨迹跟踪方法，所述行为轨迹跟踪方法包括：s101：控制终端采集监控对象的身份特征，将所述身份特征上传至监控区域对应的摄像头，所述摄像头的拍摄范围覆盖所述监控区域；s102：接收所述摄像头传输的所述监控对象的识别信息，根据所述识别信息、所述摄像头的位置建立所述监控对象的行为轨迹，所述摄像头拍摄所述监控区域的图像，并在根据所述身份特征识别到所述图像中的监控对象时，根据通信网络的信息传输能力选择将所述识别信息发送给控制终端的时间，所述识别信息包括所述监控对象的识别结果、识别时间。
6.进一步地，所述控制终端采集监控对象的身份特征的步骤之前还包括：通过样本训练形成特征分类器，并将所述特征分类器发送给所述摄像头。
7.进一步地，所述摄像头接收所述身份特征后，结合所述身份特征、特征分类器判断所述图像中是否存在所述监控对象。
8.进一步地，所述将所述身份特征上传至监控区域对应的摄像头的步骤具体包括：在所述摄像头的拍摄参数稳定后，对所述身份特征进行3d重建，并将 3d重建后的身份特征发送给所述摄像头。
9.进一步地，所述根据所述识别信息、所述摄像头的位置建立所述监控对象的行为轨迹的步骤具体包括：根据摄像头的位置获取所述监控对象在所述监控区域中所处的区域，并根据所述识别时间形成所述监控对象与所述区域、位于所述区域的时间的对应关系，根据所述对应关系获取所述监控对象在不同区域的进入时间、离开时间，根据所述进入、离开时间形成所述监控对象的行为轨迹。
10.进一步地，所述根据所述识别信息、所述摄像头的位置建立所述监控对象的行为轨迹的步骤之后还包括：获取所述行为轨迹的不同轨迹时间段对应的摄像头，采集所述摄像头在对应的轨迹时间段采集的图像，根据所述图像形成所述监控对象的视频档案。
11.进一步地，所述根据通信网络的信息传输能力选择将所述识别信息发送给控制终端的时间的步骤具体包括：根据所述信息传输能力判断所述通信网络是否满足预设信息传输条件；若是，则将所述识别信息发送给所述控制终端；若否，则在确定所述通信网络满足预设信息传输条件后，将所述识别信息发送给所述控制终端。
12.基于相同的发明构思，本发明还提出一种行为轨迹跟踪方法，所述行为轨迹跟踪方法包括：
13.s201：摄像头接收控制终端传输的身份特征，其中，所述身份特征为监控对象的身份特征，所述摄像头与监控区域对应，且拍摄范围覆盖所述监控区域； s202：拍摄所述监控区域的图像，并在根据所述身份特征识别到所述图像中的监控对象时，根据通信网络的信息传输能力选择将所述识别信息发送给控制终端的时间，所述识别信息包括所述监控对象的识别结果、识别时间，所述控制终端接收所述摄像头传输的所述监控对象的识别信息，根据所述识别信息、所述摄像头的位置建立所述监控对象的行为轨迹。
14.基于相同的发明构思，本发明还提出一种行为轨迹跟踪系统，所述行为轨迹跟踪系统包括控制终端、摄像头，所述控制终端与所述摄像头通信连接，通过所述摄像头实现如上所述的行为轨迹跟踪方法。
15.基于相同的发明构思，本发明又提出一种存储装置，所述存储装置存储有程序数据，所述程序数据被用于执行如上所述的行为轨迹跟踪方法。
16.相比现有技术，本发明的有益效果在于：采集监控对象的身份特征后，将其上传至监控区域的摄像头，通过摄像头识别监控区域中的监控对象，并根据摄像头在网络通畅时发送地识别信息和摄像头位置形成监控对象的行为轨迹，通过摄像头识别监控对象和根据通信网络传输能力灵活发送识别信息的方式减轻控制终端的工作负担，降低了对通信网络的要求和硬件成本，且能够根据监控对象的识别时间以及摄像头的位置快速获取监控对象的行为轨迹，无需人工汇总，降低了人工成本和减少了失误，保证了行为轨迹跟踪的正确性和完整性。
附图说明
17.图1为本发明行为轨迹跟踪方法一实施例的流程图；
18.图2为本发明行为轨迹跟踪方法中的结构化摄像头一实施例的结构图；
19.图3为本发明行为轨迹跟踪方法一实施例的工作流程图；
20.图4为本发明行为轨迹跟踪方法另一实施例的流程图；
21.图5为本发明行为轨迹跟踪系统一实施例的结构图；
22.图6为本发明行为轨迹跟踪系统另一实施例的结构图；
23.图7为本发明存储装置一实施例的结构图。
具体实施方式
24.下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
25.请参阅图1
‑
3，其中，图1为本发明行为轨迹跟踪方法一实施例的流程图；
26.图2为本发明行为轨迹跟踪方法中的结构化摄像头一实施例的结构图；图3为本发明行为轨迹跟踪方法一实施例的工作流程图。结合附图1
‑
3对本发明的行为轨迹跟踪方法作详细说明。
27.在本实施例中，行为轨迹跟踪方法包括：
28.s101：控制终端采集监控对象的身份特征，将身份特征上传至监控区域对应的摄像头，摄像头的拍摄范围覆盖监控区域。
29.在本实施例中，执行该行为轨迹跟踪方法的控制终端可以为服务器、控制台、计算机以及其他能够与摄像头连接并根据摄像头的识别信息、位置获取监控对象的行为轨迹的设备。控制终端与摄像头之间可以通过wifi、蓝牙、zigbee、 lora、互联网、局域网以及其他通信方式进行信息传输。
30.本发明的行为轨迹跟踪方法可以应用于需要大量设置监控的场所。
31.在本实施例中，控制终端采集监控对象的身份特征的步骤之前还包括：通过样本训练形成特征分类器，并将特征分类器发送给摄像头。
32.在一个具体的实施例中，控制终端通过haar训练出特征分类器，并将该特征分类器发送给摄像头，以使其使具备识别特征功能。控制终端通过大量的正、反样本进行归类训练，正样本为具有身份特征的图片，反样本为没有身份特征的图片，通过这些图片进行训练得到特征分类器，其中，正样本的数量大于1000张。
33.在本实施例中，身份特征包括脸部特征、体征、服饰特征中的至少一种，摄像头接收身份特征后，结合身份特征、特征分类器判断图像中是否存在监控对象。在其他实施例中，身份特征还可以包括走路姿势、动作习惯、腿部特征、手部特征以及其他能够区分监控对象的特征。
34.监控对象可以为游客、动物、车辆等能够在监控区域移动的生物或物体。
35.在本实施例中，将身份特征上传至监控区域对应的摄像头的步骤具体包括：在摄像头的拍摄参数稳定后，对身份特征进行3d重建，并将3d重建后的身份特征发送给摄像头。其中，拍摄参数包括焦距、内参、外参等拍摄参数，根据采集到的身份特征从立体方向上对监控对象的特征进行3d重建。从而将图像中目标的多个特征去与监控对象的身份特征进行比对，提高比对准确率。
36.在本实施例中，摄像头为结构化摄像头，其通过路由器与控制终端连接。其中，控制终端还可以与数据库连接，通过数据库存储健康对象的身份特征、摄像头传输的图像、识别信息以及监控对象的行为轨迹。
37.在本实施例中，摄像头包括存储模块，通过存储模块存储控制终端发送的身份特
征。其中，摄像头还包括镜头模块、光感模块、模数转换模块、mcu模块、内存模块、信号触发模块、网络模块以及附件。通过网络模块与路由器连接，进而通过网络模块接收控制终端传输的指令、身份特征以及将反馈的信息传输给路由器。
38.在本实施例中，控制终端采集监控对象的身份特征之间，还根据用户的指令对其连接的摄像头进行编号，并记录其在监控区域中的位置以及拍摄区域。
39.s102：接收摄像头传输的监控对象的识别信息，根据识别信息、摄像头的位置建立监控对象的行为轨迹，摄像头拍摄监控区域的图像，并在根据身份特征识别到图像中的监控对象时，根据通信网络的信息传输能力选择将识别信息发送给控制终端的时间，识别信息包括监控对象的识别结果、识别时间。
40.在本实施例中，摄像头接收身份特征后，结合身份特征、特征分类器判断图像中是否存在所述监控对象。
41.在一个具体的实施例中，摄像头开始工作后，初始化存储模块存储的身份特征，拍摄监控区域的图像，通过特征分类器图像中是否有人，并在识别到有人时，进一步识别该图像中的人脸，若人脸的质量(清晰度高、脸部特征清晰等)达到预设要求，将人脸的特征与存储的身份特征进行对比，根据对比结果识别图像中人物的身份。记录该人物在该摄像头拍摄的视频或图像中出现的时间段以及在该时间段的起始点将该人物的身份信息发送给控制终端。若人脸的质量达不到要求，则通过身份特征中体征、服饰特征进行识别，并将识别结果实时发送到控制终端。其中，也可以在人脸的质量达不到要求时，通过特征分类器识别图像中人物的体征、服务特征等身份特征，并将识别到的身份特征实时发送给控制终端，通过特征终端识别该人物的身份信息。
42.在本实施例中，摄像头根据图像中的人物特征进行建模，并将建模后的人物特征与控制终端发送的身份特征进行对比以提高准确率。
43.在本实施例中，根据识别信息、摄像头的位置建立监控对象的行为轨迹的步骤具体包括：根据摄像头的位置获取监控对象在监控区域中所处的区域，并根据识别时间形成监控对象与所述区域、位于区域的时间的对应关系，根据对应关系获取监控对象在不同区域的进入时间、离开时间，根据进入、离开时间形成监控对象的行为轨迹。
44.在本实施例中，控制终端还存储有不同区域之间的连接关系以及空间位置布局、相邻关系，获取监控对象在不同区域的进入时间、离开时间后，根据该连接关系、空间位置布局以及相邻关系获取监控对象在不同区域之间的运动轨迹，结合该不同区域之间的运动轨迹、进入时间、离开时间形成监控对象的行为轨迹。
45.在本实施例中，当行为轨迹中存在异常轨迹时，控制终端还通过摄像头与监控对象之间的距离、各区域的空间位置布局、监控对象的运动速度等条件消除异常轨迹。
46.在一个具体的实施例中，控制终端通过图像中人脸或身形大小，得出摄像头与监控对象之间的距离，根据该距离、摄像头的实际位置确定监控对象的位置，进而得出其实际所处的区域，从而排除“经过门口或其他区域被识别为进入房间或区域”的异常情况。由于监控对象存在低头、遮挡等意外因素，可能造成其在部分房间/区域的轨迹信息缺失。解决方法是：在生成新的轨迹记录之前，基于房间或区域的相邻性、连通性，获取监控对象必须经过的房间/区域以及合理的时间段。
47.在本实施例中，根据通信网络的信息传输能力选择将识别信息发送给控制终端的
时间的步骤具体包括：根据信息传输能力判断通信网络是否满足预设信息传输条件；若是，则将识别信息发送给控制终端；若否，则在通信网络满足预设信息传输条件后，将识别信息发送给控制终端。
48.其中，预设信息传输条件可以为控制终端与摄像头之间的信息传输速度、信息传输稳定性、控制终端接收信息的速度中的一个或多个达到预设值，还可以为摄像头与控制终端通过预设的网络或端口进行信息传输。用户可以根据自身对信息传输完整、信息保密、信息传输等方面设置预设信息传输条件。
49.在本实施例中，根据识别信息、摄像头的位置建立监控对象的行为轨迹的步骤之后还包括：获取行为轨迹的不同轨迹时间段对应的摄像头，采集摄像头在对应的轨迹时间段采集的图像，根据图像形成监控对象的视频档案。
50.在本实施例中，控制终端的工作流程如下：初始化监控对象的身份特征(包括监控对象的人脸图片、体征库、服饰信息等)，监控区域中不同区域的邻接信息以及摄像头与各区域的关联信息等。实时收集个摄像头传来的人员身份、体征识别等信息，结合基础信息、摄像头的实时信息以及识别信息对应的时间顺序，计算并输出监控对象在监控区域的各个区域之间流转的轨迹信息。其中，基础信息包括监控区域的空间位置信息、各区域的邻接关系以及监控对象的初始位置等信息。
51.在一个具体的实施例中，使用结构化摄像头进行人脸以及体征信息的采集，并将人脸信息分发给结构化摄像头，将人脸以及体征信息发送到控制终端连接的数据库。结构化摄像头实时识别并输出人员身份以及体征信息给控制终端。控制终端实时分析并产生和记录行为轨迹信息，根据行为轨迹信息，摄像头对应的视频存储设备获取每条轨迹对应的视频文件，形成视频档案。
52.有益效果：本发明行为轨迹跟踪方法采集监控对象的身份特征后，将其上传至监控区域的摄像头，通过摄像头识别监控区域中的监控对象，并根据摄像头在网络通畅时发送地识别信息和摄像头位置形成监控对象的行为轨迹，通过摄像头识别监控对象和根据通信网络传输能力灵活发送识别信息的方式减轻控制终端的工作负担，降低了对通信网络的要求和硬件成本，且能够根据监控对象的识别时间以及摄像头的位置快速获取监控对象的行为轨迹，无需人工汇总，降低了人工成本和减少了失误，保证了行为轨迹跟踪的正确性和完整性。
53.基于相同的发明构思，本发明还提出一种行为轨迹跟踪方法，请参阅4，图 4为本发明行为轨迹跟踪方法一实施例的结构图，结合图4对本发明的行为轨迹跟踪方法进行说明。
54.在本实施例中，行为轨迹跟踪方法包括：
55.s201：摄像头接收控制终端传输的身份特征，其中，身份特征为监控对象的身份特征，摄像头与监控区域对应，且拍摄范围覆盖监控区域。
56.s202：拍摄监控区域的图像，并在根据身份特征识别到图像中的监控对象时，根据通信网络的信息传输能力选择将识别信息发送给控制终端的时间，识别信息包括监控对象的识别结果、识别时间，控制终端接收摄像头传输的监控对象的识别信息，根据识别信息、摄像头的位置建立监控对象的行为轨迹。
57.其中，行为轨迹跟踪方法的具体实施例过程以及相关实施例已经在上述实施例中
进行具体描述，在此不做详述。
58.基于相同的发明构思，本发明又提出一种行为轨迹跟踪系统，请参阅图5、 6，图5为本发明行为轨迹跟踪系统一实施例的结构图，图6为本发明行为轨迹跟踪系统另一实施例的结构图，结合图5、6对本发明的行为轨迹跟踪系统进行说明。
59.在本实施例中，行为轨迹跟踪系统包括控制终端、摄像头，控制终端与摄像头通信连接，通过摄像头实现如上述实施例所述的行为轨迹跟踪方法。
60.基于相同的发明构思，本发明再提出一种存储装置，请参阅图7，图7为本发明存储装置一实施例的结构图，结合图7对本发明的存储装置进行说明。
61.在本实施例中，存储装置存储有程序数据，该程序数据被用于执行如上述实施例所述的行为轨迹跟踪方法。
62.在本技术所提供的几个实施例中，应该理解到，所揭露的终端、系统和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
63.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
64.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
65.所述集成的单元如果以软件功能单元的形式实现并作为独立地产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read
‑
only行为轨迹跟踪方法memory，英文缩写：rom)、随机存取存储器(英文全称：random 行为轨迹跟踪方法access行为轨迹跟踪方法memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
66.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。