一种监控区域内目标对象的数量检测方法及装置与流程

1.本公开涉及数据处理技术领域，尤其涉及一种监控区域内目标对象的数量检测方法及装置。


背景技术：

2.对于诸如体育馆、商场、工厂车间，以及电梯等安全性能要求较高的地方，需要时刻监控人员数量，以避免由于监控区域内的人员超员而引发潜在的安全问题。
3.目前通常在监控区域内部署监控摄像头，以进行人员数量监控，并专门部署相关人员查看拍摄的监控区域内的图像。
4.这样，当监控区域内存在多个摄像头时，由于不同摄像头之间存在重叠区域，使得难以通过人力检测处于监控区域内的总人数，不仅需要耗费额外的人力成本，且检测效率低。


技术实现要素：

5.本公开实施例提供一种监控区域内目标对象的数量检测方法及装置，用以解决现有技术中存在人工检测监控区域内目标对象的数量，检测效率低的问题。
6.本公开实施例提供的具体技术方案如下：
7.第一方面，提出一种监控区域内目标对象的数量检测方法，包括：
8.获取监控区域内的各个图像采集设备采集的待处理视频帧，确定关联指定采集时间的各个待处理视频帧的目标对象总数，并识别出所述各个待处理视频帧中每个目标对象上的关键点，以及从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，每组待处理视频帧中包括两帧待处理视频帧；
9.选择一个与其他图像采集设备存在拍摄重叠区域的图像采集设备作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，以及将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系；
10.针对每一组待处理视频帧，至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，并将相似度高于设定阈值的两个目标对象确定为重复目标对象；
11.将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量。
12.可选的，所述确定关联指定采集时间的各个待处理视频帧的目标对象总数，包括：
13.获取所述各个图像采集设备采集的同一时钟设备的视频帧，并根据每一个视频帧中的所述时钟设备示意的时间与关联的采集时间的差异，校准对应的图像采集设备以完成所述各个图像采集设备的时间同步；
14.获取校准后的采集时间为指定采集时间的各个待处理视频帧，并识别所述各个待处理视频帧中各自包括的目标对象，确定所述各个待处理视频帧中包括的目标对象总数。
15.可选的，所述获取监控区域内的各个图像采集设备采集的待处理视频帧之前，进一步包括：
16.向监控区域内的各个图像采集设备分别发送时间同步广播，以使所述各个图像采集设备根据所述时间同步广播完成时间同步。
17.可选的，所述从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，包括：
18.预先将所述监控区域以不同的颜色划分为各个分块区域，并根据所述各个待处理视频帧中包括的分块区域的颜色，确定所述各个待处理视频帧各自对应的图像采集范围，以及将包括相同颜色的分块区域的两帧待处理视频帧确定为存在拍摄重叠区域，并从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧。
19.可选的，所述至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，包括：
20.获取标定每一个图像采集设备时建立的将像素点的像素坐标转换为对应的设备坐标系下的三维坐标的第一类转换矩阵，获取将所述设备坐标系下的三维坐标转换为所述世界坐标系下的三维坐标的第二类转换矩阵，以及获取将所述世界坐标系下的三维坐标转换为所述地面坐标系下的三维坐标的第三类转换矩阵；
21.确定每一组待处理视频帧中每个目标对象上的关键点的像素坐标，并基于所述第一类转换矩阵、第二类转换矩阵，以及所述第三类转换矩阵，确定所述关键点在所述地面坐标系下的三维坐标，以及基于所述关键点的三维坐标确定不同待处理视频帧中的关键点的距离差异；
22.确定所述关键点在对应的另一个待处理视频帧中的重投影，以确定不同待处理视频帧中的关键点的重投影误差；
23.配置所述距离差异和所述重投影误差各自对应的权重值，并至少基于所述距离差异和所述重投影误差的叠加结果确定不同目标对象之间的相似度。
24.可选的，所述确定不同待处理视频帧中的关键点的重投影误差之后，所述配置所述距离差异和所述重投影误差各自对应的权重值之前，进一步包括：
25.根据所述每一组待处理视频帧中各个目标对象的特征，确定不同待处理视频帧中的各个目标对象之间的匹配概率；
26.所述配置所述距离差异和所述重投影误差各自对应的权重值，并至少基于所述距离差异和所述重投影误差的叠加结果确定不同目标对象的相似度，包括：
27.配置所述距离差异、所述重投影误差，以及所述匹配概率各自对应的权重值，并基于所述距离差异、所述重投影误差，以及所述匹配概率的叠加结果确定不同目标对象之间的相似度。
28.可选的，所述将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量之后，进一步包括：
29.确定得到的所述目标对象的数量超过设定的人数阈值时，判定在所述指定采集时间时所述监控区域内超员。
30.可选的，所述确定存在于不同待处理视频帧中的目标对象之间的相似度之后，所
述将相似度高于设定阈值的两个目标对象确定为重复目标对象之前，进一步包括：
31.跟踪各个目标对象的运动轨迹，并获取所述各个图像采集设备在所述指定采集时间之前各自采集的n个历史待处理视频帧，并依次获取各组历史待处理视频帧中不同目标对象之间的相似度，以及分别基于各个采集时间获得的所述不同目标对象之间的相似度设置相似度权重值，重新确定所述不同目标对象之间的相似度。
32.第二方面，提出一种监控区域内目标对象的数量检测装置，包括：
33.获取单元，用于获取监控区域内的各个图像采集设备采集的待处理视频帧，确定关联指定采集时间的各个待处理视频帧的目标对象总数，并识别出所述各个待处理视频帧中每个目标对象上的关键点，以及从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，每组待处理视频帧中包括两帧待处理视频帧；
34.确定单元，用于选择一个与其他图像采集设备存在拍摄重叠区域的图像采集设备作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，以及将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系；
35.处理单元，用于针对每一组待处理视频帧，至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，并将相似度高于设定阈值的两个目标对象确定为重复目标对象；
36.删减单元，用于将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量。
37.可选的，所述确定关联指定采集时间的各个待处理视频帧中的目标对象总数时，所述获取单元用于：
38.获取所述各个图像采集设备采集的同一时钟设备的视频帧，并根据每一个视频帧中的所述时钟设备示意的时间与关联的采集时间的差异，校准对应的图像采集设备以完成所述各个图像采集设备的时间同步；
39.获取校准后的采集时间为指定采集时间的各个待处理视频帧，并识别所述各个待处理视频帧中各自包括的目标对象，确定所述各个待处理视频帧中包括的目标对象总数。
40.可选的，所述获取监控区域内的各个图像采集设备采集的待处理视频帧之前，所述获取单元进一步用于：
41.向监控区域内的各个图像采集设备分别发送时间同步广播，以使所述各个图像采集设备根据所述时间同步广播完成时间同步。
42.可选的，所述从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧时，所述获取单元用于：
43.预先将所述监控区域以不同的颜色划分为各个分块区域，并根据所述各个待处理视频帧中包括的分块区域的颜色，确定所述各个待处理视频帧各自对应的图像采集范围，以及将包括相同颜色的分块区域的两帧待处理视频帧确定为存在拍摄重叠区域，并从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧。
44.可选的，所述至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度时，所述处理单元用于：
45.获取标定每一个图像采集设备时建立的将像素点的像素坐标转换为对应的设备坐标系下的三维坐标的第一类转换矩阵，获取将所述设备坐标系下的三维坐标转换为所述世界坐标系下的三维坐标的第二类转换矩阵，以及获取将所述世界坐标系下的三维坐标转换为所述地面坐标系下的三维坐标的第三类转换矩阵；
46.确定每一组待处理视频帧中每个目标对象上的关键点的像素坐标，并基于所述第一类转换矩阵、第二类转换矩阵，以及所述第三类转换矩阵，确定所述关键点在所述地面坐标系下的三维坐标，以及基于所述关键点的三维坐标确定不同待处理视频帧中的关键点的距离差异；
47.确定所述关键点在对应的另一个待处理视频帧中的重投影，以确定不同待处理视频帧中的关键点的重投影误差；
48.配置所述距离差异和所述重投影误差各自对应的权重值，并至少基于所述距离差异和所述重投影误差的叠加结果确定不同目标对象之间的相似度。
49.可选的，所述确定不同待处理视频帧中的关键点的重投影误差之后，所述配置所述距离差异和所述重投影误差各自对应的权重值之前，所述处理单元进一步用于：
50.根据所述每一组待处理视频帧中各个目标对象的特征，确定不同待处理视频帧中的各个目标对象之间的匹配概率；
51.所述配置所述距离差异和所述重投影误差各自对应的权重值，并至少基于所述距离差异和所述重投影误差的叠加结果确定不同目标对象的相似度，包括：
52.配置所述距离差异、所述重投影误差，以及所述匹配概率各自对应的权重值，并基于所述距离差异、所述重投影误差，以及所述匹配概率的叠加结果确定不同目标对象之间的相似度。
53.可选的，所述将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量之后，所述删减单元进一步用于：
54.确定得到的所述目标对象的数量超过设定的人数阈值时，判定在所述指定采集时间时所述监控区域内超员。
55.可选的，所述确定存在于不同待处理视频帧中的目标对象之间的相似度之后，所述将相似度高于设定阈值的两个目标对象确定为重复目标对象之前，所述处理单元进一步用于：
56.跟踪各个目标对象的运动轨迹，并获取所述各个图像采集设备在所述指定采集时间之前各自采集的n个历史待处理视频帧，并依次获取各组历史待处理视频帧中不同目标对象之间的相似度，以及分别基于各个采集时间获得的所述不同目标对象之间的相似度设置相似度权重值，重新确定所述不同目标对象之间的相似度。
57.第三方面，提出一种电子设备，包括：
58.存储器，用于存储可执行指令；
59.处理器，用于读取并执行存储器中存储的可执行指令，以实现上述第一方面中任一项所述的加密后的人脸特征的匹配方法。
60.第四方面，提出一种计算机可读存储介质，当所述存储介质中的指令由电子设备执行时，使得所述电子设备能够执行上述第一方面中任一项所述的加密后的人脸特征的匹配方法。
61.本公开有益效果如下：
62.综上所述，本公开实施例中，获取监控区域内的各个图像采集设备采集的待处理视频帧，确定关联指定采集时间的各个待处理视频帧的目标对象总数，并识别出所述各个待处理视频帧中每个目标对象上的关键点，以及从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，每组待处理视频帧中包括两帧待处理视频帧，再选择一个与其他图像采集设备存在拍摄重叠区域的图像采集设备作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，以及将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系，然后针对每一组待处理视频帧，至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，并将相似度高于设定阈值的两个目标对象确定为重复目标对象，再将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量。这样，通过对各帧待处理图像中的目标对象总数的统计，以及对各组待处理视频帧中的重复目标对象的删减，能够实现对监控区域内目标对象的数量进行有效检测，提高了对于监控区域内的目标对象数量的统计效率，保证了对于目标对象的数量检测的准确性。
附图说明
63.图1为本公开实施例中监控区域内目标对象的数量检测流程示意图；
64.图2为本公开实施例中监控区域内的各个图像采集设备的部署示意图；
65.图3为本公开实施例中监控区域的分块示意图；
66.图4a为本公开实施例中一组待处理视频帧示意图；
67.图4b为本公开实施例中目标对象的关键点示意图；
68.图5为本公开实施例中的坐标转换过程示意图；
69.图6为本公开实施例中监控区域内目标对象的数量检测装置的逻辑结构示意图；
70.图7为本公开实施例中监控区域内目标对象的数量检测装置的实体结构示意图。
具体实施方式
71.为了使本公开的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。
72.本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
73.相关技术下为了实现对监控区域内的人数统计，通常人力监控图像采集设备采集的视频帧，以统计对应的监控区域内的总人数，进而判定是否发生超员，所述图像采集设备具体为具有图像采集功能的设备，包括但不限于录像机、摄像头等等。
74.具体实现过程中，由于一个图像采集设备的拍摄区域有限，覆盖区域不全，所以为了尽可能多的拍摄监控区域内的每一个角落，会采用多个摄像头进行图像拍摄，那么相邻摄像头之间则可能存在有重叠区域overlap，故在基于图像采集设备采集的视频帧统计所
述监控区域内的人数时，针对不同图像采集设备拍摄的视频帧需要进行重叠区域的人数去重，这样，必然无法通过人工检测的方式，有效的统计所述监控区域内的总人数。
75.针对性的，本公开提出一种监控区域内目标对象的数量检测方法，获取监控区域内的各个图像采集设备采集的待处理视频帧，确定关联指定采集时间的各个待处理视频帧的目标对象总数，并识别出所述各个待处理视频帧中每个目标对象上的关键点，以及从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，每组待处理视频帧中包括两帧待处理视频帧，再选择一个与其他图像采集设备存在拍摄重叠区域的图像采集设备作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，以及将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系，然后针对每一组待处理视频帧，至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，并将相似度高于设定阈值的两个目标对象确定为重复目标对象，再将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量。
76.需要说明的是，本公开针对性提出的目标对象的数量检测方法，可以应用于能够接收各个图像采集设备采集的图像的处理设备上，所述处理设备具体可以是服务器、个人计算机(personal computer，pc)，以及其他能够实现视频帧的处理的电子设备。
77.下面结合附图，对本公开实施例优选的实施方式进行进一步详细说明：
78.参考图1，其为本公开实施例中监控区域内目标对象的数量检测流程示意图，下面结合附图1，对监控区域目标对象的数量检测操作的过程进行详细说明。
79.步骤101：获取监控区域内的各个图像采集设备采集的待处理视频帧，确定关联指定采集时间的各个待处理视频帧的目标对象总数，并识别出所述各个待处理视频帧中每个目标对象上的关键点。
80.处理设备确定部署在监控区域内的各个图像采集设备，并获取所述各个图像采集设备采集的待处理视频流，以及分别对每一个待处理视频流进行拆帧处理，得到关联有指定采集时间的各个待处理视频帧，再确定所述各个待处理视频帧中包括的目标对象总数，以及识别出所述各个待处理视频帧中每个目标对象上的关键点。
81.需要说明的是，本公开实施例中，当监控区域内的各个图像采集设备同时进行图像采集时，由于目标对象的总数变动可能是实时的，故为保证能够基于各个图像采集设备采集的待处理视频帧，确定所述监控区域内的目标对象的数量，需要对各个图像采集设备进行时间同步，以保证能够借助于关联有同一时间的各帧待处理图像，确定所述同一时间下所述监控区域内的目标对象数量。
82.按照进行时间同步操作的不同，所述处理设备可以采用以下两种方式，实现对图像采集设备的时间同步，并确定关联有指定采集时间的各个待处理视频帧中包括的目标对象总数和目标对象上的关键点：
83.方式一、在获取待处理视频帧后进行时间同步。
84.处理设备在获取监控区域内的各个图像采集设备采集的待处理视频帧后，所述处理设备获取所述各个图像采集设备采集的同一时钟设备的视频帧，并根据每一个视频帧中的所述时钟设备示意的时间与关联的采集时间的差异，校准对应的图像采集设备以完成所
述各个图像采集设备的时间同步；以及获取校准后的采集时间为指定采集时间的各个待处理视频帧，并识别所述各个待处理视频帧中各自包括的目标对象，确定所述各个待处理视频帧中包括的目标对象总数。
85.具体的，本公开实施例一些可能的实施例中，在采集所述监控区域内的图像之前，相关人员使用同一个时钟设备，在所述监控区域内移动，使得所述监控区域内的每一个图像采集设备均可以采集到包含所述时钟设备的视频帧，进而根据每一个视频帧中所述时钟设备示意的时间，与所述视频帧关联的采集时间之间的时间差异，校准对应的图像采集设备。
86.例如，参阅图2所示，其为本公开实施例中监控区域内的各个图像采集设备的部署示意图，假设监控区域内部署有10个图像采集设备，那么为保证各个图像采集设备的时间同步，令所述10个图像采集设备分别拍摄同一时钟设备，具体的，可以持所述时钟设备在所述监控区域内移动，使得每一个图像采集设备均能够拍摄到时钟设备并能够清楚的看到时钟设备所示意的时间。
87.假设对于编号为001的图像采集设备来说，其拍摄的包含所述时钟设备的视频帧中，所述时钟设备表征的时间为10:27:27，而所述视频帧关联的采集时间为10:26:25，也就是说，所述采集时间与时钟设备表征的时间之间存在00:01:02的误差，换言之，编号001的图像采集设备采集的全部视频帧均需要额外加上00:01:02，才能够实现与所述时钟设备的同步，同理，编号为002
‑
009的图像采集设备可以实现与所述时钟设备的同步，进而由于编号为001
‑
010的图像采集设备均实现了与所述时钟设备的时间同步，编号001
‑
010的图像采集设备彼此之间也就实现了时间同步。
88.所述处理设备获取经过时间同步的校准后，各个图像采集设备采集的关联有指定采集时间的各个待处理视频帧，并识别所述各个待处理视频帧中各自包括的目标对象，以确定所述各个待处理视频帧中包括的目标对象总数，其中，在进行目标对象识别时，可以采用人脸识别算法对待处理视频帧中的目标对象进行识别，本公开实施例中可以采用通用的人脸识别算法识别待处理视频帧中的目标对象，在此不对采用的人脸识别算法进行具体限定。
89.进一步的，所述处理设备采用关键点检测算法，检测待处理视频帧中各个目标对象中的关键点，本公开实施例中不具体限定关键点检测算法，能够识别出视频帧中目标对象的关键点的算法均可应用于本公开实施例中，所述关键点具体可以是人体关键点，包括不但不限于标识目标对象的头部、脚部、肘部，肩部等关节位置的点。
90.这样，借助于采集包含时钟的视频帧，将图像采集设备关联的时间校准为时钟设备的时间，进而间接实现各个图像采集设备之间的时间同步，使得关联同一时间的各帧待处理图像能够对应监控区域内对应时刻的实际情况，为后续对于监控区域内目标对象的数量检测提供支持。
91.方式二、在获取待处理视频帧之前进行时间同步。
92.处理设备获取监控区域内的各个图像采集设备采集的待处理视频帧之前，通过向监控区域内的各个图像采集设备分别发送时间同步广播，以使所述各个图像采集设备根据所述时间同步广播完成时间同步。
93.具体的，所述处理设备预先向所述监控区域内的各个图像采集设备发送时间同步
广播，以使所述各个图像采集设备基于所述时间同步广播完成时间同步，使得后续所述各个图像采集设备在采集监控区域内的图像时，标注在视频帧上的采集时间已经是经过同步处理后的采集时间。
94.进而所述处理设备可以直接获取关联有指定采集时间的所述各个图像采集设备采集的各个待处理视频帧，并针对所述各个待处理视频帧进行人脸识别和关键点检测，得到所述待处理视频帧中包括的目标对象总数和识别出的每一个目标对象的关键点。
95.这样，通过发送时间同步广播的方式，能够实现各个图像采集设备之间的时间同步，且为后续对于目标对象数量的有效检测提供了依据。
96.步骤102：从各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，每组待处理视频帧中包括两帧待处理视频帧。
97.本公开一些可能的实施例中，由于监控区域内的各个图像采集设备的安装位置固定，故所述各个图像采集设备各自对应的图像采集范围是固定的，故可以预先在监控区域内设置标记点，以确定不同图像采集设备的图像采集范围，进而确定存在拍摄重叠区域的各组待处理视频帧。
98.需要说明的是，确定的每组待处理视频帧中包括两个不同的图像采集设备采集的待处理视频帧，不同组待处理视频帧对应不同的图像采集设备。
99.需要说明的是，假设存在图像采集设备1
‑
3公共的图像采集区域，则将图像采集设备1采集的待处理视频帧和图像采集设备2采集的待处理视频帧、图像采集设备1采集的待处理视频帧和图像采集设备3采集的待处理视频帧，以及图像采集设备2采集的待处理视频帧和图像采集设备3采集的待处理视频帧，分别作为一组待处理视频帧。
100.本公开另一些可能的实施例中，所述处理设备可以预先将所述监控区域以不同的颜色划分为各个分块区域，并根据各个待处理视频帧中包括的分块区域的颜色，确定所述各个待处理视频帧各自对应的图像采集范围，以及将包括相同颜色的分块区域的两帧待处理视频帧确定为存在拍摄重叠区域，并从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧。
101.具体的，为了便于区分所述监控区域内的不同区域，所述处理设备预先将所述监控区域以不同颜色划分为各个分块区域，使得后续根据所述各个待处理视频帧中包括的分块区域的颜色，即可确定所述各个待处理视频帧各自对应的图像采集范围，并将包括相同颜色的分块区域的两帧待处理视频帧确定为存在拍摄重叠区域，进而从所述个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧。
102.例如，参阅图3所示，其为本公开实施例中监控区域的分块示意图，监控区域被划分为12个区域，且每个区域的颜色不同，假设编号为001的图像采集设备拍摄的待处理视频帧中，存在部分红色区域、部分橙色区域，且编号为002的图像采集设备拍摄的待处理视频帧中，存在部分红色区域和部分橙色区域，且可确定编号为001的图像采集设备拍摄的待处理视频帧1与编号为002的图像采集设备拍摄的待处理视频帧2中，均包括有部分红色区域和橙色区域，则可直接判定待处理视频帧1和待处理视频帧2存在拍摄重叠区域，待处理视频帧1和待处理视频帧2可以作为一组待处理视频帧。
103.需要说明的是，本公开实施例中，在确定各组待处理视频帧时，为保证能够准确确定图像重叠区域，可以尽量的缩小分块区域，使得能够准确的找到存在重叠区域。
104.这样，借助于将监控区域划分为各个颜色的分块区域，使得后续能够根据各个图像采集设备采集的待处理视频帧中的颜色区域，大概地确定对应的监控范围，能够实现对不同待处理视频帧中存在的重叠区域的判定。
105.步骤103：选择一个与其他图像采集设备存在拍摄重叠区域的图像采集设备作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，以及将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系。
106.具体的，处理设备根据各组待处理视频帧，确定对应的存在拍摄重叠区域的图像采集设备，并从与其他图像采集设备存在拍摄重叠区域的图像采集设备中，任选一个作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，并将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系，其中，每一个图像采集设备都具有各自的设备坐标系，所述设备坐标系是以对应的图像采集设备的光心为原点，由平行与成像平面的两个轴和光轴组成的坐标系。
107.需要说明的是，选择的一个与其他图像采集设备存在拍摄重叠区域的图像采集设备，作为基准图像采集设备时，选择的基准图像采集设备可能与其他的一个图像采集设备存在拍摄重叠区域，或者，选择的基准图像采集设备可能与其他的多个图像采集设备存在拍摄重叠区域，本技术在此不做过多限定。
108.步骤104：针对每一组待处理视频帧，至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，并将相似度高于设定阈值的两个目标对象确定为重复目标对象。
109.处理设备获取标定每一个图像采集设备时建立的将像素点的像素坐标转换为对应的设备坐标系下的三维坐标的第一类转换矩阵，获取将所述设备坐标系下的三维坐标转换为所述世界坐标系下的三维坐标的第二类转换矩阵，以及获取将所述世界坐标系下的三维坐标转换为所述地面坐标系下的三维坐标的第三类转换矩阵，其中，所述标定是指确定图像采集设备的内参数、外参数，以及畸变参数的过程，用以建立世界坐标系下的三维坐标与设备坐标系下的三维坐标的转换关系，以及建立设备坐标系下的三维坐标与像素平面的二维像素坐标的转换关系，所述内参数具体为与相机自身特性相关的参数，比如图像采集设备的焦距、像素大小、径向和切向畸变等等，所述外参数具体为在世界坐标系中的参数，如图像采集设备的位置、旋转方向等等。
110.本公开实施例中，所述处理设备在进行图像采集设备的标定时，可以采用包括但不限于棋盘法、张氏标定法，tsai两步法的标定方法，其中，上述标定方法为现有技术下的成熟技术，下面仅以棋盘法为例对标定过程进行简单说明：
111.所述处理设备获取采用棋盘格标定板进行标定时，每个图像采集设备采集棋盘格标定板不同姿态的图像，并提取图像中角点的像素坐标，并通过单应矩阵计算出相机的内外参数初始值，并利用非线性最小二乘法估计畸变系数，再使用极大似然估计法优化参数，得到将像素点的像素坐标转换为对应的世界坐标系下的三维坐标时所涉及到的第一类转换矩阵，以及得到将所述设备坐标系下的三维坐标转换为所述世界坐标系下的三维坐标的第二类转换矩阵。
112.需要说明的是，在采用棋盘法进行标定时，每个图像采集设备单独采集棋盘格标
定板的图像，使得棋盘格标定板在画面的不同位置出现，且不同位置处的所述棋盘格标定板的旋转角度不同，并能够遍布对应的图像采集设备的整个视野，所述棋盘格标定板占图像面积的1/3至1/2。
113.可选的，所述处理设备可以针对存在重叠区域的各组待处理视频帧，确定与所述各组待处理视频帧对应的各组图像采集设备，并针对每组图像采集设备，分别确定每组图像采集设备的设备坐标系之间的转换矩阵，所述转换矩阵中具体包括有旋转矩阵和平移矩阵，下面以获得一组图像采集设备之间的转换矩阵为例，对确定转换矩阵的过程进行说明：
114.所述处理设备获取处于待处理视频帧的重叠区域内的不同位置的多张棋盘格视频帧，根据标定图像采集设备时确定的内外参数，确定设备坐标系下的三维坐标转换为世界坐标系下的三维坐标的第二类转换矩阵，进而获得世界坐标系下的同一点在不同的设备坐标系下的三维坐标，并基于不同设备坐标系下的三维坐标，确定将一个设备坐标系下的三维坐标转换为另一个设备坐标系下的三维坐标的转换矩阵。
115.具体实施时，所述处理设备接收各组图像采集设备拍摄的视频流，并对拍摄的视频流进行解帧，识别每个视频帧中的棋盘格标定板图像，进而建立图像采集设备的设备坐标系之间的转换矩阵。
116.进一步的，所述处理设备可以确定建立的地面坐标系上的一个点的三维坐标，并确定世界坐标下该点的三维坐标，以及建立地面坐标系下的三维坐标与世界坐标系下的三维坐标之间转换关系，获得将世界坐标系下的三维坐标转换为地面坐标系下的三维坐标的第三类转换矩阵。
117.在确定不同坐标系之间的转换关系后，所述处理设备确定不同待处理图像中目标对象之间的相似度，其中，参与衡量目标对象之间相似度的参数包括但不限于以下参数的组合：
118.a1、目标对象的同类关键点之间的距离差异。
119.处理设备确定每一组待处理视频帧中每个目标对象上的关键点的像素坐标，并基于所述第一类转换矩阵、第二类转换矩阵，以及所述第三类转换矩阵，确定所述关键点在所述地面坐标系下的三维坐标，以及基于所述关键点的三维坐标确定不同待处理视频帧中的关键点的距离差异。
120.具体的，所述处理设备确定每一组待处理视频帧中每个目标对象上的关键点，并确定每一个关键点的像素坐标，以及根据第一类转换矩阵、第二类转换矩阵，以及第三类转换矩阵的整体作用，将每一个关键点的像素坐标转换为地面坐标系下的三维坐标，进而通过比较不同待处理视频帧中不同目标对象的同类关键点之间的接地点距离，确定不同待处理视频帧中关键点的距离差异。
121.例如，参阅图4a所示，其为本公开实施例中一组待处理视频帧示意图，以对一组待处理视频帧进行处理的过程进行说明，待处理视频帧1和待处理视频帧2属于一组待处理视频帧中，对于待处理视频帧1中的任意一个目标对象，假设为目标对象a，则需要依据判定目标对象a与待处理视频帧2中各个目标对象之间的相似情况。
122.又例如，参阅图4b所示，其为本公开实施例中目标对象的关键点示意图，假设对目标对象a和目标对象f进行比较的过程中，首先确定先前识别出的目标对象a和目标对象f上的各个关键点，假设关键点为头部关键点、脚部关键点，以及手肘关键点，则获取目标对象a
的头部关键点的像素坐标，以及目标对象f的头部关键点的像素坐标，并获取将像素坐标转换成地面坐标系下的三维坐标，并将在地面坐标系下的两个头部关键点之间的距离作为关键点的距离差异，其中，所述距离可以是两个三维点之间的欧式距离，同理，可以确定其他关键点之间的距离差异。
123.需要说明的是，确定不同待处理视频帧中的关键点的距离差异时，获取每个图像采集设备采集的目标对象的关键点的位置信息，如果目标对象的两个脚部关键点可见，可将两个脚部关键点连线的中点作为特征点，如果目标对象的一个脚部关键点不可见，可以将在进行关键点检测时框选的检测框下边缘的中点作为特征点，确定对应的特征点在地面坐标系下的距离差异，其中，所述位置信息是通过关键点检测得到的。
124.a2、不同待处理视频帧中关键点的重投影误差。
125.处理设备确定目标对象的关键点在对应的另一个待处理视频帧中的重投影，以确定不同目标对象的关键点的重投影误差，其中，本公开中，所述重投影误差是指将关键点在世界坐标系下的三维坐标点，映射至另一个待处理视频帧中的像素坐标系时的投影，与所述另一个待处理视频帧中的关键点之间的距离差值，其中，距离差值越小，说明两个关键点越接近，不同待处理视频帧中的不同关键点指代同一目标对象的概率越高。
126.例如，继续参阅图4a
‑
图4b所示，假设在确定目标对象a和目标对象f的头部关键点之间的重投影误差，则确定目标对象f的头部关键点的像素坐标，并确定所述目标对象f的头部关键点转换为世界坐标系下时的三维坐标，进而确定所述三维坐标映射至待处理视频帧1对应的像素坐标系时的二维坐标，并根据目标对象a在所述像素坐标系下的坐标与所述二维坐标之间的距离差值，确定重投影误差，以判断待处理视频帧1中的目标对象a和待处理视频帧2中的目标对象f是同一个目标对象的可能性。
127.a3、不同待处理视频帧中的各个目标对象之间的匹配概率。
128.处理设备可以通过对待处理视频帧中目标对象的特征识别，确定不同待处理视频帧中各个目标对象的匹配概率，具体的，所述处理设备可以对目标对象进行特征识别，识别的内容可以是关键点分布情况，进而确定不同待处理视频帧中的目标对象的匹配概率。
129.本公开一些可能的实施例中，所述处理设备可以通过对目标对象的关键点进行特征分析，确定不同待处理视频帧中目标对象的匹配概率。
130.进一步的，本公开一些可能的实施例中，在获得a1中的距离差异和a2中的重投影误差后，可以针对所述距离差异和重投影误差配置对应的权重值，至少基于所述距离差异和所述重投影误差的叠加结果确定不同目标对象之间的相似度。
131.本公开另一些可能的实施例中，可以配置所述距离差异、所述重投影误差，以及所述匹配概率各自对应的权重值，并基于所述距离差异、所述重投影误差，以及所述匹配概率的叠加结果确定不同目标对象之间的相似度，其中，各个权重值的相加和为1，且各个权重值的取值根据实际需要而定，相似度的计算公式可以示意性的表示为：f＝a1*x+a2*y+a3*z，其中，x、y、z为权重值，且x+y+z＝1，其中，a1可以是目标对象的各类关键点的距离差异均值，a2可以是目标对象的各类关键点的重投影误差均值，a3可以是目标对象的匹配概率。
132.需要说明的是，不同于单帧匹配的方式，本公开一些可能的实施例中，所述处理设备跟踪各个目标对象的运动轨迹，并获取所述各个图像采集设备在所述指定采集时间之前各自采集的n个历史待处理视频帧，并依次获取各组历史待处理视频帧中不同目标对象之
间的相似度，以及分别基于各个采集时间获得的所述不同目标对象之间的相似度设置相似度权重值，重新确定所述不同目标对象之间的相似度。
133.具体的，考虑到针对指定采集时间处采集的待处理视频帧进行匹配时，单帧匹配的结果受相关处理算法的影响较大，故本公开可以选择性的使用多帧比较的方式，在识别出待处理视频帧中的目标对象检测框后，追踪每个目标对象在先前的n帧历史待处理视频帧中的运动轨迹，并确定对应的各组历史待处理视频帧，以及确定对应的目标对象在历史待处理视频帧中的相似度，并针对在不同组历史待处理视频帧中的相似度，分别配置权重因子，可以用公式示意性的表示为：f＝f1*a+f2*b+f3*c+
…
+f
n
*m，其中，f为计算后当前帧中对应的目标对象之间的相似度，f1为前1帧中对应的目标对象之间的相似度，a>b>c
…
>m，a+b+c+
…
m＝1。
134.进一步的，在确定不同待处理视频帧中的目标对象之间的相似度后，将相似度高于设定阈值的两个目标对象，确定为重复目标对象。
135.这样，借助于转换后的坐标之间的距离，确定了不同待处理视频帧中的目标对象对应同一实体对象的可能性，并通过对不同待处理视频帧中的目标对象之间的相似度，能够辅助确定重复目标对象。
136.步骤105：将所目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为监控区域内目标对象的数量。
137.具体的，处理设备确定各组待处理图像中的重复目标对象后，将目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量，并在确定得到的所述目标对象的数量超过设定的人数阈值时，判定在所述指定采集时间时所述监控区域内超员。
138.基于同一发明构思，参考图5所示，图5为本公开实施例中的坐标转换过程示意图，图5中涉及到的坐标转换过程涉及到的步骤包括有：首先进行图像采集设备的标定，确定图像采集设备的内参数、外参数，以及畸变参数，然后，确定设备坐标系，以及将设备坐标系转换至世界坐标系的第二类转换矩阵，并建立世界坐标系与地面坐标系之间的第三类转换矩阵，最终能够确定将像素点的二维坐标转换至地面坐标系下对应的三维坐标的转换矩阵。
139.基于同一发明构思，参阅图6所示，其为本公开实施例中监控区域内目标对象的数量检测装置的逻辑结构示意图，本公开实施例中提出一种监控区域内目标对象的数量检测装置，包括：获取单元601、确定单元602、处理单元603，以及删减单元604，其中，
140.获取单元601，用于获取监控区域内的各个图像采集设备采集的待处理视频帧，确定关联指定采集时间的各个待处理视频帧的目标对象总数，并识别出所述各个待处理视频帧中每个目标对象上的关键点，以及从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，每组待处理视频帧中包括两帧待处理视频帧；
141.确定单元602，用于选择一个与其他图像采集设备存在拍摄重叠区域的图像采集设备作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，以及将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系；
142.处理单元603，用于针对每一组待处理视频帧，至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，并将相似度高于设定阈值的两个目标对象确定为
重复目标对象；
143.删减单元604，用于将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量。
144.可选的，所述确定关联指定采集时间的各个待处理视频帧的目标对象总数时，所述获取单元601用于：
145.获取所述各个图像采集设备采集的同一时钟设备的视频帧，并根据每一个视频帧中的所述时钟设备示意的时间与关联的采集时间的差异，校准对应的图像采集设备以完成所述各个图像采集设备的时间同步；
146.获取校准后的采集时间为指定采集时间的各个待处理视频帧，并识别所述各个待处理视频帧中各自包括的目标对象，确定所述各个待处理视频帧中包括的目标对象总数。
147.可选的，所述获取监控区域内的各个图像采集设备采集的待处理视频帧之前，所述获取单元601进一步用于：
148.向监控区域内的各个图像采集设备分别发送时间同步广播，以使所述各个图像采集设备根据所述时间同步广播完成时间同步。
149.可选的，所述从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧时，所述获取单元601用于：
150.预先将所述监控区域以不同的颜色划分为各个分块区域，并根据所述各个待处理视频帧中包括的分块区域的颜色，确定所述各个待处理视频帧各自对应的图像采集范围，以及将包括相同颜色的分块区域的两帧待处理视频帧确定为存在拍摄重叠区域，并从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧。
151.可选的，所述至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度时，所述处理单元603用于：
152.获取标定每一个图像采集设备时建立的将像素点的像素坐标转换为对应的设备坐标系下的三维坐标的第一类转换矩阵，获取将所述设备坐标系下的三维坐标转换为所述世界坐标系下的三维坐标的第二类转换矩阵，以及获取将所述世界坐标系下的三维坐标转换为所述地面坐标系下的三维坐标的第三类转换矩阵；
153.确定每一组待处理视频帧中每个目标对象上的关键点的像素坐标，并基于所述第一类转换矩阵、第二类转换矩阵，以及所述第三类转换矩阵，确定所述关键点在所述地面坐标系下的三维坐标，以及基于所述关键点的三维坐标确定不同待处理视频帧中的关键点的距离差异；
154.确定所述关键点在对应的另一个待处理视频帧中的重投影，以确定不同待处理视频帧中的关键点的重投影误差；
155.配置所述距离差异和所述重投影误差各自对应的权重值，并至少基于所述距离差异和所述重投影误差的叠加结果确定不同目标对象之间的相似度。
156.可选的，所述确定不同待处理视频帧中的关键点的重投影误差之后，所述配置所述距离差异和所述重投影误差各自对应的权重值之前，所述处理单元603进一步用于：
157.根据所述每一组待处理视频帧中各个目标对象的特征，确定不同待处理视频帧中的各个目标对象之间的匹配概率；
158.所述配置所述距离差异和所述重投影误差各自对应的权重值，并至少基于所述距离差异和所述重投影误差的叠加结果确定不同目标对象的相似度，包括：
159.配置所述距离差异、所述重投影误差，以及所述匹配概率各自对应的权重值，并基于所述距离差异、所述重投影误差，以及所述匹配概率的叠加结果确定不同目标对象之间的相似度。
160.可选的，所述将所述目标对象总数与每一组待处理视频帧中包括的重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量之后，所述删减单元604进一步用于：
161.确定得到的所述目标对象的数量超过设定的人数阈值时，判定在所述指定采集时间时所述监控区域内超员。
162.可选的，所述确定存在于不同待处理视频帧中的目标对象之间的相似度之后，所述将相似度高于设定阈值的两个目标对象确定为重复目标对象之前，所述处理单元603进一步用于：
163.跟踪各个目标对象的运动轨迹，并获取所述各个图像采集设备在所述指定采集时间之前各自采集的n个历史待处理视频帧，并依次获取各组历史待处理视频帧中不同目标对象之间的相似度，以及分别基于各个采集时间获得的所述不同目标对象之间的相似度设置相似度权重值，重新确定所述不同目标对象之间的相似度。
164.基于同一发明构思，参阅图7所示，其为本公开实施例中监控区域内目标对象的数量检测装置的实体结构示意图，装置700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述方法。
165.装置700还可以包括一个电源组件726被配置为执行装置700的电源管理，一个有线或无线网络接口750被配置为将装置700连接到网络，和一个输入输出(i/o)接口758。装置700可以操作基于存储在存储器732的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似系统。
166.基于同一发明构思，本公开实施例中基于监控区域内目标对象的数量检测的实施例中提供一种存储介质，当所述存储介质中的指令由电子设备执行时，使得所述电子设备能够执行上述任一种方法。
167.综上所述，本公开实施例中，获取监控区域内的各个图像采集设备采集的待处理视频帧，确定关联指定采集时间的各个待处理视频帧的目标对象总数，并识别出所述各个待处理视频帧中每个目标对象上的关键点，以及从所述各个待处理视频帧中筛选出存在拍摄重叠区域的各组待处理视频帧，每组待处理视频帧中包括两帧待处理视频帧，再选择一个与其他图像采集设备存在拍摄重叠区域的图像采集设备作为基准图像采集设备，并将所述基准图像采集设备的设备坐标系确定为世界坐标系，以及将表征地平面和垂直于所述地平面的平面的坐标系确定为地面坐标系，然后针对每一组待处理视频帧，至少基于识别出的每个目标对象上的关键点在所述地面坐标系下的三维坐标，以及所述关键点的重投影，确定存在于不同待处理视频帧中的目标对象之间的相似度，并将相似度高于设定阈值的两个目标对象确定为重复目标对象，再将所述目标对象总数与每一组待处理视频帧中包括的
重复目标对象总数的删减结果，作为所述监控区域内目标对象的数量。这样，通过对各帧待处理图像中的目标对象总数的统计，以及对各组待处理视频帧中的重复目标对象的删减，能够实现对监控区域内目标对象的数量进行有效检测，提高了对于监控区域内的目标对象数量的统计效率，保证了对于目标对象的数量检测的准确性。
168.本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
169.本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
170.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
171.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
172.尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
173.显然，本领域的技术人员可以对本公开实施例进行各种改动和变型而不脱离本公开实施例的精神和范围。这样，倘若本公开实施例的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。