热图生成方法与流程

本发明涉及人口热图的生成，尤其涉及局部地域热图的生成和处理。

背景技术：

大数据人口热图研究以人口群体的行为作为研究对象，通过人口分布密度，人口流动等参数进行群体行为特征，从宏观方面可以研究城市人口管理、城市建设、交通规划等，至于局部地域人口热图的研究主要应用于解决局部人口的密集度、危险预警、人口集散、人口导流等，增加社会安全减少事故等。

人口热图的研究方法，通过视频图像以及电子信息等技术手段采集人口的信息，然后再进行技术处理，得到以热图形式的直观的人口分布图像。

目前人口热图数据来源一般是移动机移动信息以及视频监控数据等。这几种数据来源都存在一些不足之处，但是各有自己的优势。

首先，移动机移动信息可以解决大范围的人口信息来源，但是移动机数据由于其定位不是很准确，加之一些其他因素，比如一人多机，或者以及多卡，或者有人不带移动机，等等，因此移动机移动信息的置信度就到底有多大很难说清楚，再有就是移动机移动信息是行业秘密，想从移动公司获得数据十分困难，尤其是实时数据基本上无法得到。只有特殊的用户才有权利获得。

另一方面，按道理说是眼见为实，视频信息应该有比较好的准确率，但是前提是只是见到的才能为实，事实上很多因素，比如汽车里面多少人，雨伞地下到底有几个人，视场内的遮挡物遮住的人群等，视频看不到，自然也就无法统计清楚。

技术实现要素：

本发明鉴于现有技术的以上问题作出，用以克服或减缓现有技术存在的一种或更多种缺陷。

依据本发明的一个方面，提供了一种热图生成方法，包括：视频图像获得步骤，获得需进行识别的监控区域的视频图像；遮挡区确定步骤，根据所述视频图像，确定所述监控区域中的需识别遮挡区；遮挡区人数确定步骤，利用wifi技术获得所述需识别遮挡区中的人数；非遮挡区确定步骤，确定所述监控区域中需识别的非遮挡区；非遮挡区人数确定步骤，利用视频识别技术识别所述非遮挡区的人数；人口密度确定步骤，利用所述遮挡区人数确定步骤所识别出的人数和所述非遮挡区人数确定步骤所识别出的人数，确定所述监控区视频图像中的人数。

根据本发明的一种实施方式，所述遮挡区人数确定步骤包括：确定所述遮挡区的最大内切圆(xi，yj，r)；确定用于监测所述最大内切圆的三个wifi基站；确定距离所述三个wifi基站中的第一基站的距离d1满足d1+r>d1>d1-r的移动机，其中所述d1为所述圆心距离所述第一基站的距离；确定距离所述三个wifi基站中的第二基站的距离d2满足d2+r>d2>d2-r的移动机，其中所述d2为所述圆心距离所述第二基站的距离；确定距离所述三个wifi基站中的第三基站的距离d3满足d3+r>d3>d3-r的移动机，其中所述d3为所述圆心距离所述第三基站的距离；将同时满足以上d1、d2、d3的条件的数据确定为所述遮挡区中的人数。

根据本发明的一种实施方式，所述遮挡区确定步骤包括：背景图像获得步骤，利用针对所述监控区域获得的多帧图像，对所述视频图像中与所述监控区域相对应的部分进行处理，得到与所述监控区域相对应的部分的当前的背景图像；视频帧图像获得步骤，获得与所述监控区域相对应的当前的视频帧图像；目标图像获得步骤，根据背景图像和当前视频帧图像，得到目标图像；候选圆获得步骤，对所述目标图像进行处理得到候选圆；遮挡区获得步骤，对候选圆进行基于置信度的轮廓判决，确定是否是遮挡区。

根据本发明的一种实施方式，所述候选圆获得步骤包括：(1)将目标图像中的所有像素点映射到参数空间(a,b,r)；(2)设置参数累加器数组a，a中的任意一个数组元素a(a,b,r)表示落在以(a,b)为圆心、以r为半径的圆上的像素点的个数；(3)对于目标图像中的每个像素点(x,y)，在r以一定步长连续取值时，用下式计算a、b的值：a＝x-rcosθb＝y-rsinθ，其中，θ表示目标图像中每个像素点的梯度方向角，以各(a,b)为候选圆心点，各(a,b,r)的组合作为一个候选圆，从而得到各像素点对应的多个候选圆；(4)对于每一个待选圆心点(a,b)，都建立一个半径直方图，其横坐标为半径r，取值为(rmin,rmax)；纵坐标为当以待选圆心点(a,b)为圆心、以r为半径画圆时，落在该圆上的像素点的个数；(5)对每个半径直方图进行滤波，得到每个半径直方图对应的一个或多个峰值，即a(a,b,r)的极值；(6)如果某个a(a,b,r)的极值大于阈值，则认为该a(a,b,r)的极值对应的所有像素点构成一个圆，该圆作为更新后的候选圆。

根据本发明的一种实施方式，所述遮挡区确定步骤包括：1)用区域生长算法对待分析视频图像进行图像分割；取阀值a，比较相邻的单位面积区域的灰度平均值，若差值小于阀值a，则将区域合并，若差值不小于阀值，则不合并；2)选择半径为b个像素的圆形作为结构元素，若上述步骤1)获得的区域内没有半径为b个像素的圆，则该区域不存在头部；3)选择半径为k*b个像素的圆形作为结构元素，若上述步骤1)获得的区域包含半径为k*b个像素的圆，则将该区域列为遮挡区，k为大于1的预定整数。

根据本发明的一种实施方式，所述方法还包括：采样点确定步骤，确定要进行采样的多个采样点；以及采样点采样椭圆确定步骤，确定各所述采样点的采样椭圆；在这种情况下，所述遮挡区确定步骤确定在各所述采样椭圆中是否存在遮挡区；所述遮挡区人数确定步骤识别各所述采样椭圆中的遮挡区中的人数；所述非遮挡区确定步骤识别各所述采样椭圆中遮挡区以外的区域，作为该采样椭圆中的非遮挡区；所述非遮挡区人数确定步骤，识别各采样椭圆中的所述非遮挡区的人数；所述人口密度确定步骤利用各采样椭圆中的所述遮挡区的人数和所述非遮挡区人数，确定各采样椭圆的人口密度，并根据所获得的各采样椭圆的人口密度，通过数据拟合，得到整个监控区域的人口密度。

根据本发明的一种实施方式，还包括热图呈现步骤。根据本发明的一种实施方式，所述采样点确定步骤在所述监控区内均匀地获得采样点；所述方法还包括补充采样步骤，根据各采样点的人口密度，在人口密度高于预定阈值的采样点周围增加采样点。

根据本发明的一种实施方式，所述采样点采样椭圆确定步骤包括：采样参数确定步骤，根据圆心坐标(xi，yj)，依据公式xi＝h*tanβ*cosα；yj＝h*tanβ*sinα确定摄像机的俯视角和取样方向角，其中h为监控该采样点的摄像机的安装高度，β为所述摄像机相对所述采样点的俯视角，α为取样点方向角；长短半轴确定步骤，利用所计算出的取样点方向角和所述辐射角确定所述采样椭圆的长半轴的长度a和所述采样椭圆的短半轴的长度b：a＝h*[tanβ-tan(β-σ/2)]；b＝h*tan(σ/2)/cosβ

其中σ为预先确定的采样角；采样椭圆面积确定步骤，依据以下公式确定所述采样椭圆的面积s(i,j)＝πab＝πh²*tan(σ/2)*[tanβ-tan(β-σ/2)]/cosβ。

根据本发明的方法，可以减少数据的处理量，快速实时地获得人口分布信息。

附图说明

图1示出了依据本发明的一种实施方式的热图生成方法的流程图。

图2示出了依据本发明的一种实施方式的采样椭圆和采样面积确定方法的示意图。

图3示出了依据本发明的一种实施方式的遮挡区确定方法的示意性流程图。

图4示出了依据本发明的一种实施方式的非遮挡区采样人数确定方法的示意性流程图。

图5示出了依据一种实施方式所呈现的人口密度图。

具体实施方式

图1示出了依据本发明的一种实施方式的热图生成方法的流程图。如图1所示，根据本发明的一种实施方式的热图生成方法包括：视频图像获得步骤101，获得需进行识别的监控区域的视频图像；遮挡区确定步骤102，根据所述视频图像，确定所述监控区域中的需识别遮挡区；遮挡区人数确定步骤103，利用wifi技术获得所述需识别遮挡区中的人数；非遮挡区确定步骤104，确定所述监控区域中需识别的非遮挡区；非遮挡区人数确定步骤105，利用视频识别技术识别所述非遮挡区的人数；人口密度确定步骤106，利用所述遮挡区人数确定步骤所识别出的人数和所述非遮挡区人数确定步骤所识别出的人数，确定所述监控区视频图像中的人口密度。

根据这一实施方式，可以有效地将wifi技术与视频图像热图识别技术结合起来有效地提高热图生成的精度。

根据本发明的一种实施方式，该方法还包括采样点确定步骤107和采样点采样椭圆确定步骤108。采样点确定步骤107确定该监控区域中要进行采样的多个采样点；采样点采样椭圆确定步骤确定各所述采样点的采样椭圆。在这种情况下，遮挡区确定步骤102确定在各所述采样椭圆中是否存在遮挡区；遮挡区人数确定步骤103识别各所述采样椭圆中的遮挡区中的人数；非遮挡区确定步骤104识别各所述采样椭圆中遮挡区以外的区域，作为该采样椭圆中的非遮挡区；非遮挡区人数确定步骤105识别各采样椭圆中的所述非遮挡区的人数；人口密度确定步骤106利用各采样椭圆中的所述遮挡区的人数和所述非遮挡区人数，确定各采样椭圆的人口密度，并根据所获得的各采样椭圆的人口密度，通过数据拟合，得到整个监控区域的人口密度。

进一步，根据本发明的一种实施方式，还包括补充采样步骤108和/或采样密度调整步骤109，在补充采样步骤108，根据各采样点的人口密度，在人口密度高于预定阈值的采样点周围增加采样点；在采样密度调整步骤109，将拟合出的人口密度ρ(x,y)与实际的视频区域实测密度进行比较计算，给出置信度的计算结果，根据置信度的要求调整采样点的密度。

下面对本发明的实施方式进行更详细的说明。

首先在图像获取步骤101获取监控区的视频图像，监控区视频图像可以由多个摄像头获得，也可以由一个摄像头获得，也可通过接收来自分立的摄像装置的图像而获得。该视频图像可以由时间上具有先后顺序的多个帧构成。

然后在步骤107确定采样点。可以均匀地在监控区内确定采样点，例如使这些采样点形成同心的多个圆，或者形成同心的多个正方形等。根据另一种实施方式，可以随机地确定采样点。另外也可以依据一定的函数或函数组确定采样点。接着在步骤108确定采样椭圆和采样椭圆的面积。

图2示出了依据本发明的一种实施方式的采样椭圆和采样面积确定方法的示意图。如图2所示，安装在位置p的摄像机的安装高度为h，为已知量。该摄像机摄取了与采样椭圆对应的图像。设其相对于取样点的俯视角为β。σ为取样角度(空间圆锥角)为预定值，α为取样点方向角。

因而，当确定了取样椭圆的圆心坐标(即采样点的坐标)xi、yj之后，可以根据公式xi＝h*tanβ*cosα；yj＝h*tanβ*sinα确定俯视角β；进而，可以根据公式a＝h*[tanβ-tan(β-σ/2)]；b＝h*tan(σ/2)/cosβ，来确定采样椭圆的长半轴的长度a和短半轴长度b。因而可以根据以下公式计算采样椭圆的面积：

s(i,j)＝πab＝πh²*tan(σ/2)*[tanβ-tan(β-σ/2)]/cosβ

然后回到图1，在步骤102确定采样椭圆中的遮挡区。图3示出了依据本发明的一种实施方式的遮挡区确定步骤102所采用的遮挡区确定方法的示意性流程图。

如图3所示，依据本发明的一种实施方式，该遮挡区确定方法包括背景图像获得步骤301，利用针对所述监控区获得的多帧图像，对所述视频图像中与所述监控区域(或监控区域中的采样点)相对应的部分进行处理，得到与所述监控区域(或监控区域中的采样点)相对应的部分的当前的背景图像；视频帧图像获得步骤302，获得与所述监控区域(或监控区域中的采样点)相对应的当前的视频帧图像；目标图像获得步骤303，根据背景图像和当前视频帧图像，得到目标图像；候选圆获得步骤304，对所述目标图像进行处理得到候选圆；遮挡区获得步骤305，对候选圆进行基于置信度的轮廓判决，确定是否是遮挡区。

根据一种实施方式，所述候选圆获得步骤包括：

(1)将目标图像中的所有像素点映射到参数空间(a,b,r)；

(2)设置参数累加器数组a，a中的任意一个数组元素a(a,b,r)表示落在以(a,b)为圆心、以r为半径的圆上的像素点的个数；

(3)对于目标图像中的每个像素点(x,y)，在r以一定步长连续取值时，用下式计算a、b的值：a＝x-rcosθb＝y-rsinθ，其中，θ表示目标图像中每个像素点的梯度方向角，以各(a,b)为候选圆心点，各(a,b,r)的组合作为一个候选圆，从而得到各像素点对应的多个候选圆；

(4)对于每一个待选圆心点(a,b)，都建立一个半径直方图，其横坐标为半径r，取值为(rmin,rmax)；纵坐标为当以待选圆心点(a,b)为圆心、以r为半径画圆时，落在该圆上的像素点的个数；

(5)对每个半径直方图进行滤波，得到每个半径直方图对应的一个或多个峰值，即a(a,b,r)的极值；

(6)如果某个a(a,b,r)的极值大于阈值，则认为该a(a,b,r)的极值对应的所有像素点构成一个圆，该圆作为更新后的候选圆。

在遮挡区获得步骤305对候选圆进行基于置信度的轮廓判决实际上是依置信度判断该候选圆是否大于一个预定的范围，如果该区域过于大，例如超过5个头部的大小，则可以认为其为遮挡区，例如雨伞、遮阳棚等。

根据另一种实施方式，所述遮挡区确定步骤可以包括：

1)用区域生长法对待分析视频图像进行图像分割；取阀值a，比较相邻的单位面积区域的灰度平均值，若差值小于阀值a，则将区域合并，若差值不小于阀值，则不合并；该步骤获得了连续的区域。

2)选择半径为b个像素的圆形作为结构元素，若上述步骤1)获得的区域内没有半径为b个像素的圆，则该区域不存在头部；在这一步骤中，半径为b个像素的圆形的基本上对应于一定置信度的人的头部的大小。

3)选择半径为k*b个像素的圆形作为结构元素，若上述步骤1)获得的区域包含半径为k*b个像素的圆，则将该区域列为遮挡区。k为大于1的系数，可以是整数，也可以是根据置信度确定出的非整数的数值，如果这个区域包括过大的圆形，例如5个或更大的人的头部，表明这是遮挡区。

根据一种实施方式，所述遮挡区人数确定步骤可以包括确定所述遮挡区的最大内切圆(xi，yj，r)；确定监测所述最大内切圆的三个wifi基站；确定距离所述三个wifi基站中的第一基站的距离d1满足d1+r>d1>d1-r的移动机，其中所述d1为所述最大内切圆的圆心距离所述第一基站的距离；确定距离所述三个wifi基站中的第二基站的距离d2满足d2+r>d2>d2-r的移动机，其中所述d2为所述圆心距离所述第二基站的距离；确定距离所述三个wifi基站中的第三基站的距离d3满足d3+r>d3>d3-r的移动机，其中所述d3为所述圆心距离所述第三基站的距离；将同时满足以上d1、d2、d3的条件的数据确定为所述遮挡区中的人数。

wifi基站是提供wifi服务的基站，移动站是可以接受wifi服务的电子设备，包括手机、ipad或进入监控区的门卡等等。在一种实施方式中，这三个基站彼此之间的距离应大于该内切圆的直径的1.5倍。

可以将各采样椭圆中遮挡区之外的部分列为非遮挡区，也可以将各采样椭圆中遮挡区之外的部分中的一部分，例如指定的圆形或方形区域列为非遮挡区。

可以采用各种视频识别方法确定摄像机的采样区域内非遮挡区的人的数量，例如进行基于置信度的人头部轮廓判决方法，通过确定该区域内人头部轮廓的数量来获得该区域内人的数量。基于置信度的人头部轮廓判决方法可以参照前面的确定遮挡区的方法，当候选圆大于预定的阈值(可以根据人头的平均大小确定该阈值)则可确定存在一个人。也可以参照上文的区域生长法，当所生长的区域超过一定阈值，则可以确定存在一个人。

图4示出了依据本发明的一种实施方式的非遮挡区采样人数确定方法的示意性流程图。如图4所示，依据本发明的一种实施方式的采样人数确定步骤包括：

背景图像获得步骤401，利用针对所述监控区域获得的多帧图像，对所述视频图像中与非遮挡区(或非遮挡区的采样椭圆)相对应的部分进行处理，得到与非遮挡区(或非遮挡区的采样椭圆)相对应的部分的当前的背景图像；可以采用基于直方图统计与多帧平均混合的背景提取算法对视频进行处理来获得背景图像。也可以根据预先输入的场景确定背景图像，或者预先输入制作好的背景图像，再根据采样点坐标，确定与采样椭圆对应的背景图像。

视频帧图像获得步骤402，获得与非遮挡区(或非遮挡区的采样椭圆)相对应的当前的视频帧图像；

目标图像获得步骤403，根据背景图像和当前视频帧图像，得到目标图像；在具体的实施方式中，可以通过进行边缘背景去除来获得目标图像。可以采用各种方法从当前视频帧中去除背景，从而获得目标图像。

候选圆获得步骤404，对所述目标图像进行处理得到候选圆；

头部轮廓获得步骤405，对候选圆进行基于置信度的头部轮廓判决，得到人的头部轮廓；

计数步骤406，统计获得头部轮廓，获得所述采样椭圆内的人数。

根据一种实施方式，可以如下地得到候选圆：(1)将目标图像中的所有像素点映射到参数空间(a,b,r)；(2)设置参数累加器数组a，a中的任意一个数组元素a(a,b,r)表示落在以(a,b)为圆心、以r为半径的圆上的像素点的个数；a(a,b,r)的初始值为0；a(a,b,r)值越大，表示以(a,b)为圆心、以r为半径的圆存在的可能性越大，所以需要寻找最大的a(a,b,r)；(3)对于目标图像中的每个像素点(x,y)，在r以一定步长连续取值时，用下式计算a、b的值：a＝x-rcosθb＝y-rsinθ其中，θ表示目标图像中每个像素点的梯度方向角，由于视频帧边缘图像中每个像素点的梯度方向角已知，因此θ已知；r∈(rmin,rmax)，r以一定步长连续取值；每个(a,b)作为候选圆心点，每个(a,b,r)的组合作为一个候选圆；从而得到每个像素点对应的多个候选圆；(4)对于每一个待选圆心点(a,b)，都建立一个半径直方图，其横坐标为半径r，取值为(rmin,rmax)；纵坐标为当以待选圆心点(a,b)为圆心、以r为半径画圆时，落在该圆上的像素点的个数；(5)对每个半径直方图采用laplacian形式的一维滤波器进行滤波，得到每个半径直方图对应的一个或多个峰值，即a(a,b,r)的极值；(6)如果某个a(a,b,r)的极值满足下式，则认为该a(a,b,r)的极值对应的所有像素点构成一个圆，该圆作为更新后的候选圆；a(a,b,r)＞ε其中，ε为更新阈值。针对各候选圆，可以分别计算弧长置信度μarc、分布置信度μdis和匹配误差置信度μmerr，并计算它们的平均值或加权平均值，该平均值或加权平均值达到阈值的即可认为该候选圆为人的头部。

也可以参照上文的区域生长法，当所生长的区域超过一定阈值，则可以确定存在一个人，在此不予赘述。

回到图1，在步骤106，可以根据所获得的采样点的采样椭圆的面积，以及所获得采样椭圆中的遮挡区和非遮挡区中的人数，得到采样椭圆的人口密度。可进一步通过数据拟合，得到整个监控区视场的人口分布密度函数ρ(x,y,t)，t表示时间，从而可以获得随时间变化的热图。对于各采样椭圆，也可以确定各采样椭圆中遮挡区的人口密度和非遮挡区的人口密度，采取数据拟合等方式获得整个采样椭圆中的人口密度。

根据本发明的实施方式，可以根据采样点的数据，进行补充采样(参见步骤109)。采样原则例如为密度高的点周围增加采样点密度；这样可以降低类似道路，池塘，草地，建筑等障碍物等对人口分布的影响。

另外，根据本发明的实施方式，参见步骤110，可以采用事后分析法，将拟合的密度曲面ρ(x,y)与实际的视频区域实测密度进行计算，给出置信度的计算结果。并根据置信度的要求，调整采样密度，提高信息处理实时性。

依据本发明的一种实施方式，还包括呈现步骤。图5示出了依据一种实施方式所呈现的人口密度图。通过拟合，将监控区域的人口密度以连续曲面的形式进行呈现，其中，不同的人口密度区域用不同的颜色呈现。该人口密度图可以直观地显示人口密度的变化和各地区的对比。依据ρ的大小与颜色对应起来进行呈现，可以更直观地体现各地区的人口密度的对比。

根据本发明的实施方式，不必逐一地对人头进行计数，减少了计算量，提高了处理速度。本发明采用采样点椭圆的方式计算人口密度，提高了计算的准确度。