基于城市管理的无人机智能跟踪监控方法及系统与流程

1.本发明涉及智慧城市及监控技术领域，具体而言，涉及一种基于城市管理的无人机智能跟踪监控方法及系统。


背景技术：

2.无人飞行载具（unmanned aerial vehicle，uav ）又称为无人机。随着无人飞行技术的快速发展，消费性无人机在各行各业得到的广泛的应用，用于替代人执行相应的工作。
3.进一步地，随着智慧城市进程的不断加速，无人机在智慧城市领域的应用（如智慧城市管理）也被广泛推广。例如，无人机用于自动地对具有特定行为的人员进行识别并进行跟踪监控。然而，普适性地对监控范围内的所有人员进行行为识别计算量非常大，难以迅速有效地确定具有特定行为的人员。


技术实现要素：

4.为解决上述问题，本发明实施例的目的之一在于提供一种基于城市管理的无人机智能跟踪监控方法，所述方法包括：获取第一无人机针对第一目标对象进行跟踪监控的第一监控视频数据；通过第一行为识别模型，根据所述第一监控视频数据确定所述第一目标对象的行为类型；若检测到所述第一目标对象的行为类型为预设的待监控行为类型，确定与所述待监控行为类型对应的第二行为识别模型；获取至少一个第二无人机拍摄的第二监控视频数据，通过所述第二行为识别模型检测所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员；若存在，则控制所述第二无人机对所述第二目标人员进行跟踪监控。
5.基于上述目的，所述通过第一行为识别模型，根据所述第一监控视频数据确定所述第一目标对象的行为类型的步骤，包括：根据所述第一监控视频数据确定所述第一目标对象的行为信息，所述行为信息包括行动轨迹和/或交互对象信息；通过第一行为识别模型，根据所述第一目标对象的行为信息确定所述第一目标对象的行为类型。
6.基于上述目的，所述第一行为识别模型包括第一数据处理子模型、第二数据处理子模型及第三数据处理子模型；所述通过第一行为识别模型，根据所述第一目标对象的行为信息预测所述第一目标对象的行为类型的步骤，包括：获取第一目标对象的行动轨迹和交互对象信息，所述行动轨迹中包括依照时序排列的多个轨迹分片；对所述轨迹分片进行向量转换，获得所述轨迹分片对应的局部行动特征；通过所述第一数据处理子模型根据所述轨迹分片对应的局部行动特征、以及所述
轨迹分片的前一轨迹分片，确定所述轨迹分片对应的连续轨迹特征；根据所述轨迹分片对应的局部行动特征，以及所述轨迹分片的前一轨迹分片，预测所述轨迹分片对应的前向连续轨迹特征；根据所述轨迹分片对应的局部行动特征，以及所述轨迹分片的后一轨迹分片，预测所述轨迹分片对应的后向连续轨迹特征；对所述前向连续轨迹特征和所述后向连续轨迹特征进行特征融合，获得所述第一目标对象的行动轨迹特征；根据所述第一目标的对象交互对象信息构建交互拓扑图，所述交互拓扑图中包括人员节点和物品节点，所述人员节点表征第一目标对象及与所述第一目标对象相关的人员，所述物品节点表征人员之间流通的物品；根据所述交互拓扑图中的人员节点和物品节点，通过第二数据处理子模型确定所述第一目标对象的交互关系特征；对所述行动轨迹特征和所述交互关系特征进行特征融合，获得融合行为特征；采用所述第三数据处理子模型的对所述融合行为特征进行加权求和计算并进行归一化处理，获得行为分类置信值；根据所述行为分类置信值确定所述第一目标对象的行为类型。
7.基于上述目的，所述第一数据处理子模型包括输入层、隐层和输出层，所述过所述第一数据处理子模型根据所述轨迹分片对应的局部行动特征、以及所述轨迹分片的前一轨迹分片，确定所述轨迹分片对应的连续轨迹特征的步骤，包括：通过所述输入层对所述轨迹分片对应的局部行动特征进行第一加权处理，获得所述轨迹分片的中间向量；确定所述前一轨迹分片对应的隐藏向量，以及所述隐层上一时刻的层状态；根据所述隐层上一时刻的层状态、所述前一轨迹分片对应的隐藏向量、所述轨迹分片的中间向量更新隐层当前时刻的层状态；根据所述隐层当前时刻的层状态和所述前一轨迹分片对应的隐藏向量，对所述轨迹分片的中间向量、前一轨迹分片对应的隐藏向量进行加权求和，获得所述轨迹分片对应的隐藏向量；在输出层对所述轨迹分片对应的隐藏向量进行第三加权处理，获得所述轨迹分片对应的连续轨迹特征。
8.基于上述目的，所述根据所述交互拓扑图中的人员节点和物品节点，通过第二数据处理子模型确定所述第一目标对象的交互关系特征的步骤，包括：根据所述交互拓扑图获得所述第一目标对象的对应节点的邻居节点；根据所述第一目标对象的对应节点的邻居节点计算获得聚合特征；根据所述聚合特征确定所述第一目标对象的交互关系特征；或在所述交互拓扑图中确定第一目标对象的对应节点、以及所述第一目标对象的对应节点的邻居节点；对所述邻居节点进行随机游走采样，获得所述第一目标对象的对应节点的游走节点序列；根据所述游走节点序列计算所述第一目标对象的对应节点的节点游走特征；根据所述节点游走特征确定所述第一目标对象的交互关系特征；或基于所述轨迹分片对应的局部行动特征，以及所述轨迹分片的前一轨迹分片，预
测所述轨迹分片对应的前向连续轨迹特征；基于所述轨迹分片对应的局部行动特征，以及所述轨迹分片的后一轨迹分片，预测所述轨迹分片对应的后向连续轨迹特征；对所述前向连续轨迹特征和所述后向连续轨迹特征进行特征融合，获得所述第一目标对象的行动轨迹特征。
9.基于上述目的，根据所述第二行为识别模型检测所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员的步骤，包括：根据所述第二行为识别模型对所述第二监控视频数据进行图像动作识别，确定所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员。
10.基于上述目的，所述第二行为识别模型包括连续动作识别模型；所述根据所述第二行为识别模型对所述第二监控视频数据进行图像动作识别，确定所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员的步骤，包括：从所述第二监控视频数据中提取人员移动轨迹；所述人员移动轨迹包括由同一人员的多个行动姿态图像帧组成的姿态动作序列；对所述人员移动轨迹中的各个行动姿态图像帧分别进行动作片段识别，得到各个行动姿态图像帧对应的动作片段识别结果；所述动作片段识别结果包括预先规定的动作片段分类和对应于每个动作片段分类的动作片段分类概率值；根据所述人员移动轨迹中的各个行动姿态图像帧对应的动作片段识别结果，生成所述人员移动轨迹对应的动作片段概率矩阵；所述动作片段概率矩阵中包括各个行动姿态图像帧对应的每个动作片段分类的动作片段分类概率值；将所述人员移动轨迹对应的动作片段概率矩阵输入所述连续动作识别模型，获得所述人员移动轨迹对应的动作片段分类；若所述人员移动轨迹对应的动作片段分类为目标动作片段分类，则从所述人员移动轨迹中选取出部分或者全部姿态动作序列作为目标姿态动作序列；其中，若所述人员移动轨迹中包含的行动姿态图像帧少于预设帧数，且/或所述人员移动轨迹对应的除目标动作片段分类之外的其他动作片段分类的动作片段分类概率值均小于设定阈值，则从所述人员移动轨迹中选取全部姿态动作序列作为所述目标姿态动作序列；否则，从所述人员移动轨迹的各个行动姿态图像帧中选取目标动作片段分类的动作片段分类概率值最大的目标行动姿态图像帧；从所述人员移动轨迹中选取包含所述目标行动姿态图像帧的部分行动姿态图像帧组成目标姿态动作序列；根据所述目标姿态动作序列确定目标动作片段是否为待监控行为类型。
11.基于上述目的，从所述第二监控视频数据中提取人员移动轨迹，包括：对于所述第二监控视频数据中的各个图像帧，获取所述图像帧中的人体图像区域；提取所述人体图像区域的外形特征；对于已检测到的人员移动轨迹，提取人员移动轨迹中的每个行动姿态图像帧的外形特征，并将人员移动轨迹中所有行动姿态图像帧对应的第一特征距离的平均值，作为人员移动轨迹与所述人体图像区域的第二特征距离；或者，将人员移动轨迹中每个行动姿态图像帧对应的第一特征距离中的最小值，作为人员移动轨迹与所述人体图像区域的第二特征距离；
确定所述人体图像区域在所述图像帧中的位置信息；对于已检测到的人员移动轨迹，确定人员移动轨迹中的行动姿态图像帧在对应的图像帧中的位置信息，并根据行动姿态图像帧的位置信息与所述人体图像区域的位置信息之间的位置距离，确定人员移动轨迹与所述人体图像区域的活动距离；将与所述人体图像区域的第二特征距离满足第一阈值，且与所述人体图像区域的活动距离满足第二阈值的人员移动轨迹，作为满足匹配条件的人员移动轨迹；若已检测到的人员移动轨迹中存在满足匹配条件的人员移动轨迹，将所述人体图像区域对应的行动姿态图像帧添加至满足匹配条件的人员移动轨迹中；若已检测到的人员移动轨迹中不存在满足匹配条件的人员移动轨迹，则新建包含所述人体图像区域对应的行动姿态图像帧的人员移动轨迹。
12.基于上述目的，所述第二行为识别模型还包括动作片段识别模型；对所述人员移动轨迹中的各个行动姿态图像帧分别进行动作片段识别，得到各个行动姿态图像帧对应的动作片段识别结果，包括：对于每个行动姿态图像帧，将行动姿态图像帧输入所述动作片段识别模型，得到行动姿态图像帧对应于预先规定的每个动作片段分类的动作片段分类概率值；所述动作片段识别模型包括特征提取层和分类层，所述特征提取层用于对输入的行动姿态图像帧进行特征提取，得到行动姿态图像帧的特征图，所述分类层用于根据得到的特征图，确定行动姿态图像帧对应于预先规定的每个动作片段分类的动作片段分类概率值；根据行动姿态图像帧对应于预先规定的每个动作片段分类的动作片段分类概率值，生成行动姿态图像帧对应的动作片段识别结果。
13.本发明实施例的又一目的还在于提供一种基于城市管理的无人机智能跟踪监控系统，应用于无人机控制中心，所述系统包括：第一数据获取模块，用于获取第一无人机针对第一目标对象进行跟踪监控的第一监控视频数据；数据处理模块，用于通过第一行为识别模型，根据所述第一监控视频数据确定所述第一目标对象的行为类型；若检测到所述第一目标对象的行为类型为预设的待监控行为类型，确定与所述待监控行为类型对应的第二行为识别模型；第二数据获取模块，用于获取至少一个第二无人机拍摄的第二监控视频数据，通过所述第二行为识别模型检测所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员；监控控制模块，用于若存在所述第二目标人员，则控制所述第二无人机对所述第二目标人员进行跟踪监控。
14.相对于现有技术而言，本技术具有以下有益效果：本实施例提供的基于城市管理的无人机智能跟踪监控方法及系统，先使用第一行为识别模型对单个的第一目标对象进行普适性动作识别，在确定需要着重监控的行为类型后，再使用第二行为识别模型对第二无人机监控范围内的所有人员进行针对特定行为类型的动作识别。如此，采用关注重点不同的动作识别模型减少了数据处理的整体计算量，从而能迅速及时地发现具有相似行为类型的人员并控制无人机进行跟踪监控。
附图说明
15.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
16.图1是本发明实施例提供的基于城市管理的无人机智能跟踪监控方法的流程示意图。
17.图2是本发明实施例提供的基于城市管理的无人机智能跟踪监控方法的应用环境示意图。
18.图3是发明实施例提供的无人机控制中心的架构示意图。
19.图4是发明实施例提供的基于城市管理的无人机智能跟踪监控系统的示意图。
具体实施方式
20.经发明人研究发现，在一些城市管理时间中，常存在具有关联的多个目标对象在城市不同的位置实行相似的动作行为的情况，例如，破坏城市基础设施、执行特定伪线行为等。在现有的无人机跟踪监控方案中，一般由无人机对监控范围内的人员进行普适性的整体行为识别，然后确定出存在特定行为人员进行跟踪监控。但是，大范围普适性的行为识别计算量非常大，难以及时有效地发现存在特定行为的人员。有鉴于此，本实施例提供了一种基于城市管理的无人机智能跟踪监控方案，通过对第一目标对象进行行为识别，确定出第一目标对象的特定行为类型，然后有针对性地仅对该特定行为类型对其他人员进行检测，从而可以迅速发现与所述第一目标对象执行相似特定行为第二目标对象进行跟踪监控。下面对本实施例提供的方案进行详细解释。
21.请参阅图1，图1是本发明实施例提供的基于城市管理的无人机智能跟踪监控方法的流程示意图。本发明实施例中，结合图2所示，所述方法可以由用于管理并调度无人机的无人机控制中心100执行并实现。本实施例中，所述无人机控制中心100可以是基于智慧城市而设立的用于与预设管控区域内的多个无人机200进行远程通信以对无人机200进行远程控制和调度的一个服务平台。示例性地，所述无人机控制中心100可以是，但不限于，具有通信控制能力及大数据分析能力的服务器、计算机设备、云服务中心、机房控制中心、云平台等设备。
22.下面对上述方法进行详细的描述，本实施例中，所述方法包括以下所述的s100
‑
s500的步骤。
23.步骤s100，获取第一无人机针对第一目标对象进行跟踪监控的第一监控视频数据。
24.在本实施例中，第一目标对象可以为已知的需要进行跟踪监控的对象，例如，已知可能要执行伪线动作的目标对象。
25.步骤s200，通过第一行为识别模型，根据所述第一监控视频数据确定所述第一目标对象的行为类型。
26.在本实施例中，所述第一行为识别模型可以为适用于针对单个监控对象的、所有行为动作进行识别的模型。
27.步骤s300，若检测到所述第一目标对象的行为类型为预设的待监控行为类型，确定与所述待监控行为类型对应的第二行为识别模型。
28.在本实施例中，所述第二行为识别模型可以为适用于针对监控范围内多个监控、某一种特定行为动作进行识别的模型。
29.在本实施例中，可以针对不同的待监控行为类型预先训练不同的第二行为识别模型，如此，第二行为识别模型可以以较小的计算量针对性地对某一种动作进行快速的识别。
30.步骤s400，获取至少一个第二无人机拍摄的第二监控视频数据，通过所述第二行为识别模型检测所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员。
31.步骤s500，若存在，则控制所述第二无人机对所述第二目标人员进行跟踪监控。
32.基于上述设计，本实施例提供的基于城市管理的无人机智能跟踪监控方法中，先使用第一行为识别模型对单个的第一目标对象进行普适性动作识别，在确定需要着重监控的行为类型后，再使用第二行为识别模型对第二无人机监控范围内的所有人员进行针对特定行为类型的动作识别。如此，采用关注重点不同的动作识别模型减少了数据处理的整体计算量，从而能迅速及时地发现具有相似行为类型的人员并控制无人机进行跟踪监控。
33.下面将对本发明实施例的上述各步骤的详细实现方法通过示例进行详细说明。
34.在本实施例中，所述第一行为识别模型和所述第二行为识别模型可以为识别动作着重点不同的模型。
35.例如，针对步骤s200，通过第一行为识别模型，根据所述第一监控视频数据确定所述第一目标对象的行为类型可以通过以下示例性实施方式实现。
36.步骤s210，根据所述第一监控视频数据确定所述第一目标对象的行为信息，所述行为信息包括行动轨迹和/或交互对象信息。
37.步骤s220，通过第一行为识别模型，根据所述第一目标对象的行为信息确定所述第一目标对象的行为类型。
38.由于所述第一无人机已经在执行所述第一目标对象的跟踪监控动作，因此可以获取所述第一目标对象的行动轨迹和/或交互对象信息，然后根据所述行动轨迹和/或交互对象信息对所述第一目标对象的所有动作进行普适性识别，以确定所述第一目标对象的行为类型。
39.而针对步骤s400中，通过所述第二行为识别模型检测所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员，可以根据所述第二行为识别模型对所述第二监控视频数据进行图像动作识别，确定所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员。
40.由于第二无人机的任务是识别出监控范围类具有所述待监控行为类型的第二目标人员然后加以跟踪监控，因此在本实施例中，针对第二无人机获得第二视频，可以采用第二行为识别模型对整个监控画面进行针所述待监控动作的识别分析，从而迅速确定是否存在第二目标人员。
41.基于上述设计，针对监控任务不同的第一无人机和第二无人机采集的监控识别，通过识别着重点不同的第一行为识别模型和第二行为模型进行动作行为的识别，可以减少整个行为识别动作的整体数据处理量，从而迅速发现具有相似特定行为动作的目标人员并加以跟踪监控。
42.基于上述内容，所述第一行为识别模型包括第一数据处理子模型、第二数据处理子模型及第三数据处理子模型。在步骤s220，所述通过第一行为识别模型，根据所述第一目标对象的行为信息预测所述第一目标对象的行为类型中，可以包括：步骤s2201，获取第一目标对象的行动轨迹和交互对象信息，所述行动轨迹中包括依照时序排列的多个轨迹分片。
43.所述行动轨迹可以为按照时序记录的第一目标用户的行动位置移动序列，所述行动轨迹中包含依照时序记录的多个轨迹分片。所述交互对象信息可以包括与所述第一目标对象有过社交互动的其他人员的信息，例如，与第一目标对象进行过物品传递、交谈、肢体接触等等。
44.步骤s2202，对所述轨迹分片进行向量转换，获得所述轨迹分片对应的局部行动特征。
45.在本实施例中，对轨迹分片进行向量转换的方法具有多种，比如，可以通过降维、算子等方式进行向量转换。
46.例如，可以采用主成分分析(principal componentanalysis，pca)、独立成分分析(independent component analysis，ica)、线性判别分析(linear discriminant analysis，lda)等方式。
47.步骤s2203，通过所述第一数据处理子模型根据所述轨迹分片对应的局部行动特征、以及所述轨迹分片的前一轨迹分片，确定所述轨迹分片对应的连续轨迹特征。
48.步骤s2204，根据所述轨迹分片对应的局部行动特征，以及所述轨迹分片的前一轨迹分片，预测所述轨迹分片对应的前向连续轨迹特征；步骤s2205，根据所述轨迹分片对应的局部行动特征，以及所述轨迹分片的后一轨迹分片，预测所述轨迹分片对应的后向连续轨迹特征；步骤s2206，对所述前向连续轨迹特征和所述后向连续轨迹特征进行特征融合，获得所述第一目标对象的行动轨迹特征。
49.步骤s2207，根据所述第一目标的对象交互对象信息构建交互拓扑图，所述交互拓扑图中包括人员节点和物品节点，所述人员节点表征第一目标对象及与所述第一目标对象相关的人员，所述物品节点表征人员之间流通的物品。
50.在本实施例中，可以根据与所述第一目标对象有交互关系的人员以物品构建相应的人员节点和物品节点，将有关联的节点进行连接获得所述交互拓扑图。有连接关系的节点（即相邻的节点）为存在交互关系的人员或者和人员有交互关系的物品。
51.例如，第一目标对象为人员a，人员b与该第一目标对象有过社交交互关系，则人员a和人员b对应的节点之间具有连线。如果人员a和人员b之间存在物品c的传递，则物品c分别与人员a和人员b之间具有连线。
52.步骤s2208，根据所述交互拓扑图中的人员节点和物品节点，通过第二数据处理子模型确定所述第一目标对象的交互关系特征。
53.步骤s2209，对所述行动轨迹特征和所述交互关系特征进行特征融合，获得融合行为特征。
54.步骤s2210，采用所述第三数据处理子模型的对所述融合行为特征进行加权求和计算并进行归一化处理，获得行为分类置信值。
55.步骤s2211，根据所述行为分类置信值确定所述第一目标对象的行为类型。
56.具体地，在本实施例中，所述第一数据处理子模型包括输入层、隐层和输出层。例如，所述第一数据处理子模型可以是一种循环神经网络(recurrent neural network，rnn)模型，如，第一数据处理子模型可以为任意一种单向的循环神经网络模型。
57.可选地，在一些实施例中，为了检测出信息片段序列中信息片段之间的长期依赖信息，可以采用长短期记忆网络(long short
‑
term memory，lstm)作为第一数据处理子模型的循环单元，所述长短期记忆网络可以包含了一个用于输出的、三个用于控制的全连接层、遗忘门、输入门、输出门、长期记忆状态向量及短期记忆状态向量。
58.因此在步骤s2203中，所述过所述第一数据处理子模型根据所述轨迹分片对应的局部行动特征、以及所述轨迹分片的前一轨迹分片，确定所述轨迹分片对应的连续轨迹特征，可以包括：通过所述输入层对所述轨迹分片对应的局部行动特征进行第一加权处理，获得所述轨迹分片的中间向量。
59.确定所述前一轨迹分片对应的隐藏向量，以及所述隐层上一时刻的层状态。
60.在一些实施例中，可以采用门控循环单元网络(gated recurrent unit，gru)作为正向预测模型的循环单元，其中，gru类似于lstm结构，但gru合并两条状态向量为一条状态向量，且合并了遗忘门和输入门，以及没有输出门,但是多了一个对状态输入进行过滤的门。
61.因此在步骤s2203中，所述过所述第一数据处理子模型根据所述轨迹分片对应的局部行动特征、以及所述轨迹分片的前一轨迹分片，确定所述轨迹分片对应的连续轨迹特征，还可以包括：根据所述隐层上一时刻的层状态、所述前一轨迹分片对应的隐藏向量、所述轨迹分片的中间向量更新隐层当前时刻的层状态。
62.根据所述隐层当前时刻的层状态和所述前一轨迹分片对应的隐藏向量，对所述轨迹分片的中间向量、前一轨迹分片对应的隐藏向量进行加权求和，获得所述轨迹分片对应的隐藏向量。
63.在输出层对所述轨迹分片对应的隐藏向量进行第三加权处理，获得所述轨迹分片对应的连续轨迹特征。
64.根据所述交互拓扑图中的人员节点和物品节点，通过第二数据处理子模型确定所述第一目标对象的交互关系特征，可以通过以下一种方式实现。
65.（一）、根据所述交互拓扑图获得所述第一目标对象的对应节点的邻居节点；根据所述第一目标对象的对应节点的邻居节点计算获得聚合特征；根据所述聚合特征确定所述第一目标对象的交互关系特征。
66.具体地，在本实施例中，可以通过预先训练的机器学习模型来进行节点关系抽取(relationextraction)，例如，可以利用图神经网络(graph neural network，gnn)、图嵌入(graphembedding)等方式进行关系抽取，比如，采用图卷积神经网络(graph convolutionalnetwork，gcn)、deepwalk、node2vec，等等。
67.在这种方式中，第二数据处理子模型可以为图神经网络，例如，可以为graphsage网络。
68.（二）、在所述交互拓扑图中确定第一目标对象的对应节点、以及所述第一目标对象的对应节点的邻居节点；对所述邻居节点进行随机游走采样，获得所述第一目标对象的对应节点的游走节点序列；根据所述游走节点序列计算所述第一目标对象的对应节点的节点游走特征；根据所述节点游走特征确定所述第一目标对象的交互关系特征。
69.在这种方式中，第二数据处理子模型可以采用节点嵌入算法，例如，可以采用deepwalk算法。
70.基于上述内容，所述第二行为识别模型包括连续动作识别模型，在步骤s400，根据所述第二行为识别模型对所述第二监控视频数据进行图像动作识别，确定所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员中，可以包括：步骤s410，从所述第二监控视频数据中提取人员移动轨迹。所述人员移动轨迹包括由同一人员的多个行动姿态图像帧组成的姿态动作序列。
71.步骤s420，对所述人员移动轨迹中的各个行动姿态图像帧分别进行动作片段识别，得到各个行动姿态图像帧对应的动作片段识别结果。所述动作片段识别结果包括于每个动作片段预先规定的动作片段分类和对应分类的动作片段分类概率值。
72.步骤s430，根据所述人员移动轨迹中的各个行动姿态图像帧对应的动作片段识别结果，生成所述人员移动轨迹对应的动作片段概率矩阵。所述动作片段概率矩阵中包括各个行动姿态图像帧对应的每个动作片段分类的动作片段分类概率值。
73.步骤s440，将所述人员移动轨迹对应的动作片段概率矩阵输入已训练的连续动作识别模型，获得所述人员移动轨迹对应的动作片段分类。
74.步骤s450，若所述人员移动轨迹对应的动作片段分类为目标动作片段分类，则从所述人员移动轨迹中选取出部分或者全部姿态动作序列作为目标姿态动作序列。其中，若所述人员移动轨迹中包含的行动姿态图像帧少于预设帧数，且/或所述人员移动轨迹对应的除目标动作片段分类之外的其他动作片段分类的动作片段分类概率值均小于设定阈值，则从所述人员移动轨迹中选取全部姿态动作序列作为所述目标姿态动作序列。否则，从所述人员移动轨迹的各个行动姿态图像帧中选取目标动作片段分类的动作片段分类概率值最大的目标行动姿态图像帧。从所述人员移动轨迹中选取包含所述目标行动姿态图像帧的部分行动姿态图像帧组成目标姿态动作序列。
75.步骤s460，根据所述目标姿态动作序列确定目标动作片段是否为待监控行为类型。
76.具体地，在所述第二监控视频数据中可能包含多个人员，在本实施例中，可以针对每个人员得到一个人员移动轨迹，即，针对不同人员对应不同的人员移动轨迹。甚至可以针对同一人员在不同场景下对应不同的人员移动轨迹。例如，针对一个所述第二监控视频数据中的人员a在街区m和在街区n就可以确定出不同的人员移动轨迹。步骤s410，从所述第二监控视频数据中提取人员移动轨迹中，可以包括：步骤s411，对于所述第二监控视频数据中的各个图像帧，获取所述图像帧中的人体图像区域。
77.步骤s412，提取所述人体图像区域的外形特征。
78.所述第二监控视频数据由多个图像帧组成，每个图像帧具有对应的时间戳信息。在一种可能的实现方式中，可以对视频中的每个图像帧均进行人体检测，确定出每个图像
帧中的人体图像区域，并从每个图像帧中分割出仅包含人体图像区域的行动姿态图像帧。在另一种可能的实现方式中，也可以对视频进行密集抽帧，即每隔多个图像帧抽取一个图像帧，并仅对抽取的图像帧进行人体检测，确定出图像帧中的人体图像区域，并从图像帧中分割出仅包含人体图像区域的行动姿态图像帧。
79.在本实施例中，可以采用人体检测算法对一个图像帧进行人体检测，以确定出该图像帧中的人体图像区域；或者，可以采用人体检测网络模型对一个图像帧进行人体检测，确定出该图像帧中的人体图像区域。例如，人体检测网络模型可以采用多任务卷积神经网络 (multi
‑
task convolutionalneural networks，mtcnn)模型，mtcnn模型可以：1、分类任务，即采用滑动窗口遍历输入的图像帧，并对每个滑动窗口对应的区域进行人体部分或非人体部分分类；2、回归任务，即确定人体图像区域在图像帧中的位置，并在对应位置标出人体检测框；3、特征点定位任务，即确定出多个外形特征点的位置。若一个图像帧中包括多个人员，可以从该图像帧中获取多个人体图像区域及每个人体图像区域对应的行动姿态图像帧。
80.步骤s413，对于已检测到的人员移动轨迹，提取人员移动轨迹中的每个行动姿态图像帧的外形特征，并将人员移动轨迹中所有行动姿态图像帧对应的第一特征距离的平均值，作为人员移动轨迹与所述人体图像区域的第二特征距离。或者，将人员移动轨迹中每个行动姿态图像帧对应的第一特征距离中的最小值，作为人员移动轨迹与所述人体图像区域的第二特征距离。
81.可选地，在本实施例中可以采用行人重识别(person re
‑
identification，reid)模型提取人体图像区域的外形特征，以及人员移动轨迹中的每个行动姿态图像帧的外形特征。行人重识别模型用于对输入的图像进行外形特征提取，获得相应的特征向量用于表征人员的外形特征。
82.然后可以根据每个行动姿态图像帧的外形特征与人体图像区域的外形特征的第一特征距离，确定该人员移动轨迹与人体图像区域的第二特征距离。具体地，人体图像区域的外形特征和每个行动姿态图像帧的外形特征均为一个特征向量。对于人员移动轨迹中的任意一个行动姿态图像帧，可以确定该行动姿态图像帧的外形特征与人体图像区域的外形特征之间的余弦距离或欧式距离，可以将得到的余弦距离或欧式距离作为该行动姿态图像帧的外形特征与人体图像区域的外形特征的第一特征距离。其中，特征距离越小，相似度越高。
83.由于在人员移动轨迹中，每个行动姿态图像帧可能具有不同的拍摄角度，各行动姿态图像帧与获取的人体图像区域的外形特征的第一特征距离可能不相同。在上述方案中，可以获得某个人员移动轨迹中的每个行动姿态图像帧的外形特征与获取的人体图像区域的外形特征之间的第一特征距离。在一种可能的实现方式中，可以将该人员移动轨迹中所有行动姿态图像帧对应的第一特征距离的平均值，作为该人员移动轨迹与人体图像区域的第二特征距离。在另一些实施例中，可以将该人员移动轨迹中每个行动姿态图像帧对应的第一特征距离中的最小值，作为该人员移动轨迹与人体图像区域的第二特征距离。
84.步骤s414，确定所述人体图像区域在所述图像帧中的位置信息。
85.步骤s415，对于已检测到的人员移动轨迹，确定人员移动轨迹中的行动姿态图像帧在对应的图像帧中的位置信息，并根据行动姿态图像帧的位置信息与所述人体图像区域
的位置信息之间的位置距离，确定人员移动轨迹与所述人体图像区域的活动距离。
86.步骤s416，将与所述人体图像区域的第二特征距离满足第一阈值，且与所述人体图像区域的活动距离满足第二阈值的人员移动轨迹，作为满足匹配条件的人员移动轨迹。
87.对于一个人员移动轨迹，可以确定最近一次添加至人员移动轨迹中的行动姿态图像帧在对应的图像帧中的位置信息，确定最近一次添加至人员移动轨迹中的行动姿态图像帧的位置信息与人体图像区域的位置信息之间的位置距离。由于确定最近一次添加至人员移动轨迹中的行动姿态图像帧对应的第一图像帧是与人体图像区域对应的第二图像帧相邻的图像帧或最接近的图像帧，因此，可以将最近一次添加至人员移动轨迹中的行动姿态图像帧的位置信息与人体图像区域的位置信息之间的位置距离，作为人员移动轨迹与人体图像区域之间的活动距离。
88.如此，可以确定已检测到的每一个人员移动轨迹与人体图像区域的特征距离和活动距离。如果一个人员移动轨迹与人体图像区域的特征距离满足设定的外观阈值，并且该人员移动轨迹与人体图像区域的活动距离满足第二阈值，则可以认为该人员移动轨迹满足匹配条件。
89.如果一个人员移动轨迹与人体图像区域之间的特征距离小于或等于第一阈值，说明该人员移动轨迹与人体图像区域中的人体图像属于同一人员。如果一个人员移动轨迹与人体图像区域之间的活动距离小于或等于第二阈值，说明相对于该人员移动轨迹，该人体图像区域对应的人员的移动距离在正常范围内，该人体图像区域与该人员移动轨迹属于同一的运动轨迹。如果一个人员移动轨迹与人体图像区域之间的活动距离大于第二阈值，说明相对于该人员移动轨迹，该人体图像区域对应的人员的移动距离超出正常范围，该人体图像区域与该人员移动轨迹不属于同一人员在相同场景下的运动轨迹。
90.步骤s417，若已检测到的人员移动轨迹中存在满足匹配条件的人员移动轨迹，将所述人体图像区域对应的行动姿态图像帧添加至满足匹配条件的人员移动轨迹中。
91.若已检测到的人员移动轨迹中存在满足匹配条件的人员移动轨迹，说明该人员移动轨迹中的人体图像与人体图像区域属于同一人员在相同场景下的人体图像。将人体图像区域对应的行动姿态图像帧添加至满足匹配条件的人员移动轨迹中。
92.步骤s418，若已检测到的人员移动轨迹中不存在满足匹配条件的人员移动轨迹，则新建包含所述人体图像区域对应的行动姿态图像帧的人员移动轨迹。
93.若已检测到的人员移动轨迹中不存在满足匹配条件的人员移动轨迹，说明该人体图像区域属于一个新的人员，或者是已有人员在新场景下的人体图像。从对应的图像帧中分割出仅包含该人体图像区域的行动姿态图像帧，新建包含该人体图像区域对应的行动姿态图像帧的人员移动轨迹。
94.在上述方案中，所述第二行为识别模型还可以包括动作片段识别模型，在本实施例中，步骤s420，对所述人员移动轨迹中的各个行动姿态图像帧分别进行动作片段识别，得到各个行动姿态图像帧对应的动作片段识别结果中，可以包括：步骤s421，对于每个行动姿态图像帧，将行动姿态图像帧输入已训练的动作片段识别模型，得到行动姿态图像帧对应于预先规定的每个动作片段分类的动作片段分类概率值；所述动作片段识别模型包括特征提取层和分类层，所述特征提取层用于对输入的行动姿态图像帧进行特征提取，得到行动姿态图像帧的特征图，所述分类层用于根据得到的特
征图，确定行动姿态图像帧对应于预先规定的每个动作片段分类的动作片段分类概率值。
95.步骤s422，根据行动姿态图像帧对应于预先规定的每个动作片段分类的动作片段分类概率值，生成行动姿态图像帧对应的动作片段识别结果。
96.在本实施例中，可以采用动作片段识别模型对人员移动轨迹中的每个行动姿态图像帧进行动作片段识别。具体地说，可以从人员移动轨迹中任意抽取一个行动姿态图像帧输入动作片段识别模型，动作片段识别模型可以输出该行动姿态图像帧对应于预先规定的各个动作片段分类的动作片段分类概率值，然后再从人员移动轨迹中抽取下一个行动姿态图像帧输入动作片段识别模型进行检测，直至对人员移动轨迹中的每个行动姿态图像帧均检测完毕为止；或者，可以将人员移动轨迹中的行动姿态图像帧依次输入动作片段识别模型进行检测，得到每个行动姿态图像帧对应于预先规定的各个动作片段分类的动作片段分类概率值。
97.其中，预先规定的动作片段分类可以是在训练动作片段识别模型时根据需要预先规定的，对于输入动作片段识别模型的行动姿态图像帧，动作片段识别模型可以输出该行动姿态图像帧对应于不同动作片段分类的动作片段分类概率值。预先规定的动作片段分类和行动姿态图像帧对应于每个动作片段分类的动作片段分类概率值组成该行动姿态图像帧的动作片段识别结果。在本实施例中，可以采用机器学习建立动作片段识别模型，动作片段识别模型通过对学习可以对输入的行动姿态图像帧进行识别，输出行动姿态图像帧对应于预先规定的每个动作片段分类的动作片段分类概率值。
98.可选地，在本实施例中，所述动作片段识别模型的训练过程，包括：获取第一样本数据集。所述第一样本数据集中包括多张人体样本图像，每张人体样本图像均标注有动作片段分类标签。
99.将从所述第一样本数据集中抽取的人体样本图像输入待训练的动作片段识别模型，得到人体样本图像的动作片段识别结果。
100.根据人体样本图像的动作片段识别结果与人体样本图像的动作片段分类标签，确定损失值。
101.根据损失值对所述动作片段识别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的动作片段识别模型。
102.可选地，在本实施例中，所述连续动作识别模型的训练过程，包括：获取第二样本数据集。所述第二样本数据集中包括多个姿态动作序列，每个姿态动作序列均标注有动态动作片段分类标签。
103.从所述第二样本数据集中抽取姿态动作序列。
104.获取抽取的姿态动作序列中的每个人体图像对应的动作片段识别结果，并根据每个人体图像对应的动作片段识别结果，生成姿态动作序列对应的动作片段概率矩阵。
105.将姿态动作序列对应的动作片段概率矩阵输入待训练的连续动作识别模型，得到姿态动作序列的行为动作识别结果。
106.根据姿态动作序列的行为动作识别结果与姿态动作序列的动态动作片段分类标签，确定损失值。
107.根据损失值对所述连续动作识别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的连续动作识别模型。
108.进一步地，由于产生相似特定行为的人员可能一定程度上存在社交接触，在一种可能的实现方式中，可以根据所述第一目标对象的行动轨迹确定所述第一目标对象的活动区域，然后根据所述活动区域控制至少一个所述第二无人机获取所述第二监控视频数据。如此，可以减少所述第二无人机的布控范围。在另一种可能的实现方式中，也可以通过其他方式确定与所述第一目标对象具有社交关联关系的第三目标对象，然后根据所述第三目标对象的活动范围控制至少一个所述第二无人机获取所述第二监控视频数据。
109.如图3所示，是本发明实施例提供的无人机控制中心100的架构示意图。本实施例中，所述无人机控制中心100可以包括无人机智能跟踪监控系统110、机器可读存储介质120和处理器130。
110.本实施例中，机器可读存储介质120与处理器130可以位于无人机控制中心100中且二者分离设置。机器可读存储介质120也可以是独立于无人机控制中心100并由处理器130访问。无人机智能跟踪监控系统110可以包括存储在机器可读存储介质120的多个功能模块，例如所述无人机智能跟踪监控系统110包括的各软件功能模块。当处理器130执行无人机智能跟踪监控系统110中的软件功能模块时，以实现前述方法实施例提供的区块链大数据处理方法。
111.本实施例中，无人机控制中心100可以包括一个或多个处理器130。处理器130可以处理与服务请求相关的信息和/或数据以执行本发明中描述的一个或多个功能。在一些实施例中，处理器130可以包括一个或多个处理引擎(例如，单核处理器或多核处理器)。仅仅举个例子，处理器130可以包括一个或多个硬件处理器，例如中央处理器cpu、特定应用集成电路asic、专用指令集处理器asip、图形处理器gpu、物理运算处理单元ppu、数字信号处理器dsp、现场可以程序门阵列fpga、可以程序逻辑装置pld、控制器、微控制器单元、精简指令集计算机risc、微处理器等中的一种，或类似或其任意组合。
112.机器可读存储介质120可以存储数据和/或指令。在一些实施例中，机器可读存储介质120可以存储从无人机200获得的数据或资料。在一些实施例中，机器可读存储介质120可以存储供无人机控制中心100执行或使用的数据和/或指令，无人机控制中心100可以通过执行或使用所述数据和/或指令以实现本技术描述的示例性方法。在一些实施例中，机器可读存储介质120可以包括大容量存储器、可以移动存储器、挥发性读写内存、只读存储器rom等或类似或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性的可以移动存储器可以包括快闪驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。示例性的挥发性读写内存可以包括随机存取内存ram。示例性的随机存取内存可以包括动态ram、双倍速率同步动态ram、静态ram、晶闸管ram和零电容ram等。示例性的rom可以包括掩蔽型rom、可编程rom、可擦除可编程rom、电子可擦除可编程rom、压缩磁盘rom和数字通用磁盘rom等。
113.如图4所示，是图3中所述的无人机智能跟踪监控系统110的功能模块图，本实施例中，所述无人机智能跟踪监控系统110可以包括第一数据获取模块111、数据处理模块112、第二数据获取模块113及监控控制模块114。
114.第一数据获取模块111用于获取第一无人机针对第一目标对象进行跟踪监控的第一监控视频数据。
115.本实施例中，所述第一数据获取模块111可用于执行图1所示的步骤s100，关于所
述第一数据获取模块111的具体描述可参对所述步骤s100的描述。
116.数据处理模块112用于通过第一行为识别模型，根据所述第一监控视频数据确定所述第一目标对象的行为类型。若检测到所述第一目标对象的行为类型为预设的待监控行为类型，确定与所述待监控行为类型对应的第二行为识别模型。
117.本实施例中，所述数据处理模块112可用于执行图1所示的步骤s200，关于所述数据处理模块112的具体描述可参对所述步骤s200的描述。
118.第二数据获取模块113用于获取至少一个第二无人机拍摄的第二监控视频数据，通过所述第二行为识别模型检测所述第二监控视频数据中是否存在所述待监控行为类型的第二目标人员。
119.本实施例中，所述第二数据获取模块113可用于执行图1所示的步骤s300和s400，关于所述第二数据获取模块113的具体描述可参对所述步骤s300和s400的描述。
120.监控控制模块114用于若存在所述第二目标人员，则控制所述第二无人机对所述第二目标人员进行跟踪监控。
121.本实施例中，所述监控控制模块114可用于执行图1所示的步骤s500，关于所述监控控制模块114的具体描述可参对所述步骤s500的描述。
122.综上所述，本实施例提供的基于城市管理的无人机智能跟踪监控方法及系统，先使用第一行为识别模型对单个的第一目标对象进行普适性动作识别，在确定需要着重监控的行为类型后，再使用第二行为识别模型对第二无人机监控范围内的所有人员进行针对特定行为类型的动作识别。如此，采用关注重点不同的动作识别模型减少了数据处理的整体计算量，从而能迅速及时地发现具有相似行为类型的人员并控制无人机进行跟踪监控。
123.以上所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本发明的实施例的详细描述并非旨在限制本发明的保护范围，而仅仅是表示本发明的选定实施例。因此，本发明的保护范围应以权利要求的保护范围为准。此外，基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本发明保护的范围。