一种基于图结构匹配的多相机场景下的人数计算方法与流程

1.本发明涉及图像识别技术领域，特别涉及一种基于图结构匹配的多相机场景下的人数计算方法。


背景技术：

2.人群计数是计算机视觉领域中一个重要且具有实际意义的工作。所述的人群计数即在图像或视频中统计当前状态下画面中所包括的人群密度，并进而计算相应的人员数量。国内外大型活动中容易出现人员踩踏事件，造成重大伤害，因此，人群计数的研究对现实生活应用越来越重要，准确的估计当前场景下的人员密度，并安排相应的安保措施，可以有效的防止踩踏事件的发生。另外，人群计数在视频监控、交通监测、公共安全、城市规划以及建设智能商超等方面有着广泛应用，其提供的人口密度与数量信息可以使得决策更加细致，以达到更好的活动事件结果。
3.目前，学校的教室内一般会有多个摄像头，每个摄像头拍摄的区域有限，如何将不同摄像头下的人员进行统计并去除重复的人员然后整合到一张图中进行计数是教室人数计算的关键问题。现有的人群计数方法大都是基于检测的方法，根据检测结果进行统计，这种方法主要应用于稀疏的人员计数；同时，由于不同的人员之间存在着遮挡问题，因此基于检测的方法很大程度上依赖于检测算法水平的效果，因此还提出了基于回归的方法，该方法是学习一种特征到人群数量的映射。但是上述两种方法都没有涉及到多相机场景下的人员重复计数问题。基于此，本发明提出了一种基于图结构匹配的多相机场景下的教室人数计算方法。


技术实现要素：

4.为解决上述现有技术中存在的不足，本发明实施例提供了一种基于图结构匹配的多相机场景下的教室人数计算方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
5.根据本发明实施例的第一方面，提供了一种基于图结构匹配的多相机场景下的人数计算方法。
6.在一个实施例中，基于图结构匹配的多相机场景下的人数计算方法，包括：
7.步骤(1)，基于场所内多个相机获得的图像，通过座位密度估计算法，获得每张图像的座位密度分布图；
8.步骤(2)，根据每张图像的座位密度分布图，通过聚类算法获得每张图像的座位分布信息；
9.步骤(3)，通过座位图结构匹配算法，获得每个相机下座位分布信息和场所内座位空间分布信息的映射关系；
10.步骤(4)，通过计算重叠面积获得图像中每个人的座位位置，依据步骤(3)得到的映射关系，将图像中每个人的座位位置映射到相应的二维数组中；
11.步骤(5)，累计数组中大于0的位置数即为人数。
12.可选地，所述步骤(1)中，座位密度估计算法使用基于几何适应的高斯核卷积函数对图像进行计算求解。
13.可选地，所述座位密度估计算法使用几何适应的高斯核卷积函数，基于每张图像中的座位点，得到相同大小的密度分布图；再然后，通过几何适应的高斯核卷积函数计算每个点的信息；最后得到每张图像的座位密度分布图。
14.可选地，所述座位密度估计算法还包括：根据相机对应的座位密度分布图，估计该相机所在场内空间中的空间位置信息。
15.可选地，所述座位密度分布图的函数表达式为：
[0016][0017]
式中，δ为冲击函数，xi表示座位在像素中的位置，δ(x-xi)表示图像中座位的冲击响应函数，n为图像中座位总数；表示高斯核，σi为高斯和标准差，为距离xi座位最近m个座位与该座位的平均距离，β是一个定值。
[0018]
可选地，所述步骤(2)中，先验信息是场所内的座位位置分布信息和每个相机的空间位置信息；针对每个相机下的座位密度分布图，通过求解中心点获得每个座位的中心点分布图，使用聚类算法获得每张图像的座位分布信息。
[0019]
可选地，所述步骤(2)包括：针对每个相机下的座位密度分布图，使用k均值聚类算法获得每个相机下的座位的空间分布；接着，通过滑动平均算法对座位按行划分，使用滑动平均算法进行分类，选择区域中某一点，通过计算和相邻点之间的平均值，决定下一个点的位置，若在平均值之内则加入数据图，否则不选取；加入下一个点，然后再计算平均值，以此迭代，直到当前位置判断完成，然后再计算下一行；将座位分布按行分类完成，得到座位分布信息。
[0020]
可选地，所述步骤(3)，通过座位图结构匹配算法，获得每个相机下座位分布信息和场所内座位空间分布信息的映射关系的步骤，包括：根据每个相机下的座位分布信息，每个位置都映射到相应的二维数组中，如下式所示：
[0021]
f:g
→
p
[0022]
g指数据图，包含每个相机下的座位分布信息；p指模式图，包含座位空间分布信息，通过二维数组表示。
[0023]
可选地，所述步骤(4)具体包括：
[0024]
首先，对场所内的每个人员进行标注，再计算人员和座位的重合面积，来确定人和座位的匹配关系；
[0025]
然后，根据座位分布信息和场所内座位空间分布信息的映射关系，将人员一一映射到相应的二维数组中。
[0026]
根据本发明实施例的第二方面，提供了一种计算机设备。
[0027]
在一些实施例中，所述计算机设备包括存储器和处理器，所述存储器存储有计算
机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0028]
本发明实施例提供的技术方案可以包括以下有益效果：
[0029]
精确地实现多相机场景下的人群计数，对于在某些场景中，如体育赛事和竞技演出等，参与人数或密度是活动规划和空间设计的重要信息。对于本方法提出的教室室内场景，人群计数对于教室出勤率统计、自习空教室选择以及室内人员聚集安全等也有重要的参考价值，同时，学校管理者可以依靠人群的估计来规范化人员管理，并依次规划灾难应急事件的处理措施，从而为人群计数在实际场景中的应用提供了指导。
[0030]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
[0031]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0032]
图1是根据一示例性实施例示出的一种基于图结构匹配的多相机场景下的人数计算方法的流程图；
[0033]
图2是根据一示例性实施例示出的计算机设备的结构示意图。
具体实施方式
[0034]
以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0035]
本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0036]
本文中，除非另有说明，术语“多个”表示两个或两个以上。
[0037]
本文中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
[0038]
本文中，术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，
a和/或b，表示：a或b，或，a和b这三种关系。
[0039]
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0040]
图1示出了本发明的基于图结构匹配的多相机场景下的人数计算方法的一个实施例。
[0041]
在该实施例中，本发明提供了一种基于图结构匹配的多相机场景下的人数计算方法，可用于教室、剧场、体育场等场所或者某个区域，用于场所内人数的计算，包括以下步骤：
[0042]
步骤(1)，针对场所内多个相机获得的图像，通过座位密度估计算法，获得每张图像的座位密度分布图，确定每张图像所包含的座位区域以及每张图像的座位密度分布情况。根据先验信息(座位空间分布信息)，场所内的座位分布情况是已知的，因此，每个相机的空间位置信息可以获取，同时该相机下的座位所在场所内的区域分布信息也可以获取。
[0043]
步骤(2)，根据每张图像的座位密度分布图，通过聚类算法获得每张图像的座位分布信息。由于相机存在透视变化，因此，需要提前针对相机的透视变化做标定以使聚类效果更加准确。
[0044]
通过聚类算法对多相机下的每张图像都进行座位分布的计算之后，结合场所的座位空间分布信息，接下来进行步骤(3)。
[0045]
步骤(3)，通过座位图结构匹配算法，获得每个相机下座位分布信息和场所内座位空间分布信息(即先验信息)的映射关系。
[0046]
步骤(4)，对于每张图像中的人，通过计算重叠面积获得每个人的座位位置，依据步骤(3)得到的映射关系，将图像中每个人的座位位置映射到相应的二维数组中。
[0047]
步骤(5)，累计数组中大于0的位置数即为人数。
[0048]
上述步骤(1)中，座位密度估计算法是将不同相机下获得的图像中的座位进行密度估计。相机在拍摄过程中存在着透视变化，离镜头较近的座位较大，密度较小，离镜头较远的座位相反，而且还存在畸变使摄像头中的座位发生形变现象。
[0049]
在一个实施例中，座位密度估计算法使用基于几何适应的高斯核卷积函数对相机获得的图像进行计算求解。该实施例中，对于每张图像中座位点，通过标注的信息得到座位密度分布图。再然后，通过几何适应的高斯核卷积函数计算每个点的信息；最后得到每张图像的座位密度分布图。可选地，根据相机对应的座位密度分布图，可以估计该相机所在场内空间中的空间位置。
[0050]
基于几何适应的高斯核卷积函数是指在将座位坐标转换为密度分布图时，假设一幅图像有n个座位，则其原始的标签为：
[0051][0052]
其中δ为冲击函数，xi表示座位在像素中的位置，δ(x-xi)表示图像中座位的冲击响应函数，n为图像中座位总数。
[0053]
为了使得座位密度分布图能够更好地与不同视角且很密集的图像对应起来，本实施例对传统的基于高斯核的密度图做了改进，提出了基于几何适应高斯核密度分布图，如下所示：
[0054][0055]
其中：
[0056][0057]
其中表示高斯核，σi为高斯和标准差，为距离xi座位最近m个座位与该座位的平均距离，通常情况中座位的大小与两个相邻的座位在拥挤的场景中的中心之间的距离有关，在较密集的情况下近似等于座位大小。β是一个定值，优选地，β＝0.3，这样生成的密度分布图在座位小的地方的高斯核方差小，反之亦然。这样能较好的反映座位的密度分布情况。
[0058]
在一个实施例中，所述步骤(2)中，已知的先验信息是场所的座位位置分布信息和每个相机的空间位置信息。针对每个相机下的座位密度分布图，通过对中心点的求解获得每个座位的中心点分布图，使用聚类算法来获得每张图像的座位分布信息。
[0059]
具体地，所述步骤(2)包括：针对每个相机下的座位密度分布图，使用k均值聚类算法获得每个相机下的座位的空间分布，接着通过滑动平均算法对于座位进行按行划分，使用滑动平均算法进行分类，选择区域中某一点，通过计算和相邻点之间的平均值，然后决定下一个点的位置，若在平均值之内则加入数据图，否则不选取；加入下一个点，然后再计算平均值，以此迭代，直到当前位置判断完成，然后再计算下一行；将座位分布按行分类完成，得到座位分布信息。
[0060]
对于场所内座位的空间分布除了座位还有过道，这样人为的将座位信息分成左中右三块，使用k均值聚类算法划分区域。所述的k均值聚类算法将样本集合划分为k个子集构成k个类，将n个样本分到k个类中，每个样本到其所属的类的中心距离最小。
[0061]
可选地，k均值聚类算法具体包括如下步骤：
[0062]
首先，从样本集中随机选取k个样本作为簇中心，并计算所有样本到这k个簇中心的距离；对于每一个样本，将其划分到与其距离最近的簇中心所在的簇中；计算各新簇的簇中心；重复上述步骤直至满足停止条件。
[0063]
可选地，采用欧式距离作为样本之间距离的度量：
[0064]
d(xi,xj)＝||x
i-xj||2[0065]
其中m为数据的维数，d(xi,xj)表示样本xi,xj之间的距离。
[0066]
损失函数定义为样本与其所属样本均值间的中心之间的距离的总和：
[0067][0068]
其中k为样本个数，是第l个类的质心，r
lk
∈{0,1}，如果r
lk
＝1，那么表示样本x
l
属于第k类。w(c)表示相同类中的样本相似的程度。
[0069]
下面给出k均值聚类算法的一个具体实施例。
[0070]
输入：n个样本的集合x
[0071]
输出：样本集合的聚类c
[0072]
步骤a1，初始化：随机选择k个样本作为初始聚类中心步骤a1，初始化：随机选择k个样本作为初始聚类中心
[0073]
步骤a2，对样本进行聚类。
[0074]
对固定的类中心m
(t)
,计算每个样本到所有类中心的距离，将每个样本指派到与其最接近的中心的类中，构成聚类结果c
(t)
。
[0075]
步骤a3，计算新的类中心
[0076]
对于聚类结果c
(t)
，计算当前各个类中的样本的均值，作为新的类中心m
(t+1)
。
[0077]
步骤a4，重复第a2、a3步，直到迭代收敛或者符合停止条件。
[0078]
通过每个相机下图像的座位密度分布图，估计相机所在场所内空间中的位置，接着就可以进行座位的图结构匹配。
[0079]
在一个实施例中，上述步骤(3)，通过座位图结构匹配算法，获得每个相机下座位分布信息和场所内座位空间分布信息(即先验信息)的映射关系的步骤，包括：定义三元组(v,e,l)表示一个图，其中v表示节点集合，e表示边集合，l表示映射函数；将节点映射或边映射到一个或自足属性上。
[0080]
座位空间分布信息是先验信息，即模式图p，将其用二维数组进行表示。座位的行和列均为已知信息。根据上述步骤得到的每个相机下的座位分布信息，每个位置都映射到相应的二维信息中，如下式所示：
[0081]
f:g
→
p
[0082]
经过上述计算过程得到每个相机下座位分布信息和场所内座位空间分布信息(即先验信息)的映射关系。
[0083]
g指数据图，包含每个相机下的座位分布信息，p指模式图，包含座位空间分布信息，抽象成二维数组表示。一个数据组与模式图的精准匹配问题称为子图同构，需要在数据图中搜索出与模式图在数据和节点与边属性上完全匹配的子图。
[0084]
精确子图匹配是指已知一个数据图g＝(v,e,l)和一个模式图p＝(v
p
，e
p
，l
p
)，要求在模式图和数据子图g
sub
＝(v
sub
,e
sub
,l
sub
)之间建立一个双射函数f：
[0085]
(1)
[0086]
(2)且l
p
(vi,vj)＝l
sub
(f(vi),f(vj))
[0087]
上式中的g
sub
是g的数据子图，v
sub
,e
sub
,l
sub
分别为数据子图的节点集合、边集合以及属性映射函数，vi,vj为数据子图g
sub
中的任意两条边。已知的先验信息是场所的座位空间分布信息和每个相机的空间位置信息。针对每个相机下的座位密度分布图，通过中心点的求解可以求得每个座位的中心点分布图，使用聚类算法来实现座位的分类。由于场所内的座位空间分布信息已知，抽象出二维数组来表示场所内的座位空间分布信息。
[0088]
在一个实施例中，上述步骤(4)具体包括：
[0089]
首先，对场所内的每个人员进行标注，因为每个人员和座位会有一定的偏差，设定相应的偏移量，分为x的偏移量和y偏移量，再计算人员和座位的重合面积，来确定人和座位的匹配关系；
[0090]
然后，根据座位分布信息和场所内座位空间分布信息(即先验信息)的映射关系，
将人员一一映射到相应的二维数组中；
[0091]
最后，累计数组中大于0的位置数。
[0092]
具体地，开始时数组元素全为0，然后对每个相机下的人员进行座位匹配，根据上述步骤计算得到的座位位置(即座位分布信息)和座位空间分布图(即座位空间分布信息)的对应关系，对于每个座位上的人员和座位空间分布图，相应数组有人对应则加一。最后只需累计数组中大于0的位置数即可。
[0093]
可选地，人员和座位的重合面积的计算步骤，使用的是iou指标，具体如下：
[0094][0095]
其中，a指场所内人的面积，b指场所内座位的面积，该公式表示ab面积的交集除以面积的并集。设定一定的阈值，只有当iou大于阈值，才可以将座位和人员匹配，通过实验可得当阈值为0.5时，效果较好。
[0096]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储静态信息和动态信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法实施例中的步骤。
[0097]
本领域技术人员可以理解，图2中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0098]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
[0099]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤。
[0100]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0101]
本发明并不局限于上面已经描述并在附图中示出的结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。