一种基于深度信息的atm自助营业厅行为分析方法
【专利摘要】本发明涉及一种基于深度信息的ATM自助营业厅行为分析方法。现有技术是基于普通二维摄像头的行为分析，存在目标无法准确定位的情况。本发明首先采用双目相机作为深度信息的获取设备，对深度图进行背景建模，学习更新每个像素的混合高斯模型，确定背景分布。其次对每帧新深度图中的每个像素，求其概率值，对前景深度图，利用DENCLUE算法进行聚类分割。最后对每个相机中的每个人体区域中的像素，进行到地面上的投影，利用多相机偏移标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测。本发明使用了深度信息，并结合RGB信息的背景建模，使得目标检测的稳定性大为提高，为后续行为分析提供了良好的基础。
【专利说明】一种基于深度信息的ATM自助营业厅行为分析方法
【技术领域】
[0001] 本发明属于视频智能监控【技术领域】，涉及一种基于深度信息的ATM自助营业厅行 为分析方法。
【背景技术】
[0002] 目前，基于视频智能分析的技术已经逐步应用到金融安防领域，特别是对于ATM 自助营业厅，由于全国各地抢劫案件频发，基于视频行为分析的实时预警和主动报警已经 成为很多地区科技强警，科技安防的重要手段。
[0003] 基于视频的行为分析算法，主要提供了 "取款尾随"，"打斗"，"打砸ATM机"，"倒 地"，"徘徊"，"驻留"等检测功能，但在现阶段，这些功能都是基于银行原有安装的普通摄像 头来实现的。而基于普通二维摄像头的行为分析算法，在整个学术界虽是研究热点，但成熟 度不高，其主要原因就是二维相机下的目标检测本身就不成熟，而在目标无法准确定位的 情况下，行为分析就缺乏一个稳定的基础。
[0004] 所以现在很多应用了行为分析产品的银行，均有反映算法检测率低，或者误检率 高的问题，有时甚至会影响到银行原有的安保监控业务。
【发明内容】
[0005] 本发明是以多个吸顶安装，垂直朝地面拍摄的双目相机为采集硬件，在深度信息 和彩色信息的基础上，采用了背景建模，目标分割，运动分析等方法，实现了对人体行为分 析的各个功能。
[0006] 另外，由于吸顶安装相机的可视范围，严格受到安装高度的影响，为了保证营业厅 中所有ATM机的全覆盖，本发明还采用了目标投影，多相机目标关联等方法，来对多个双目 相机进行拼接，从而保证了整个营业厅ATM机区域的完全覆盖。
[0007] 本发明解决技术问题所采取的技术方案为：
[0008] 步骤1 :采用双目相机作为深度信息的获取设备，输出为帧率25FPS的CIF分辨率 的深度图，深度图中，每个像素的取值范围为0-255,值越大表示该像素所代表的目标距离 镜头越近。
[0009] 步骤2 :对深度图进行背景建模，并随着场景的变化，学习更新每个像素的混合高 斯模型，确定背景分布，具体是：
[0010] 首先对深度图进行背景建模，用由K个高斯成分组成的混合高斯模型表示像素在 时间域上的概率分布模型，即深度图中像素 j在t时刻取值为&的概率为：
[0011]
【权利要求】
1. 一种基于深度信息的ATM自助营业厅行为分析方法，以多个吸顶安装、垂直朝地面 拍摄的双目相机为采集硬件，在深度信息和彩色信息的基础上，采用了背景建模，目标分 害I]，运动分析，实现对监控区域内人体行为的分析，其特征在于该方法具体包括以下步骤： 步骤1 :采用双目相机作为深度信息的获取设备，输出为帧率25FPS的CIF分辨率的深 度图，深度图中，每个像素的取值范围为0-255,值越大表示该像素所代表的目标距离镜头 越近； 步骤2 :对深度图进行背景建模，并随着场景的变化，学习更新每个像素的混合高斯模 型，确定背景分布，具体是： 首先对深度图进行背景建模，用由K个高斯成分组成的混合高斯模型表示像素在时间 域上的概率分布模型，即深度图中像素j在t时刻取值为Xj的概率为：
其中?L表示在t时刻像素j的混合高斯模型中的第i个高斯成分的权重，/4表示 第i个高斯成分的均值，I；^表示第i个高斯成分的协方差，n表示高斯概率密度函数：
其中d为\的维数； 然后随着场景的变化，学习更新每个像素的混合高斯模型； 最后像素j的混合高斯模型描述了其特征值Xj在时间域上的概率分布，为了确定像素 的混合高斯模型里哪些高斯成分是由背景产生的，根据每个高斯成分的权重与其标准差之 比排序后，取前I个高斯成分作为背景的分布，艮据下式计算
阈值M度量了背景高斯成分在像素的整个概率分布中所占得最小比例； 步骤3 :利用深度图背景模型，进行前景目标检测，即对每帧新深度图中的每个像素， 求其在每个背景混合高斯模型中的概率值：
若概率最大值小于阈值，则认为当前像素为前景点，说明可能有人体； 步骤4 :对前景深度图，利用DENCLUE算法进行聚类分割，将原本联通的深度图分割成 若干个区域，每个区域代表一个目标； 步骤5 :对每个相机中的每个人体区域中的像素，利用其深度信息进行到地面上的投 影，然后利用多相机偏移标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下 的目标检测； 步骤6 :对于每个相机每帧深度图，重复步骤2-5的处理，每帧都会得到一组全局坐标 系下的目标检测结果，再利用光流预测和面积匹配的方法进行帧间关联，从而得到每个目 标在全局坐标系的跟踪轨迹； 步骤7 :结合ATM区域和跟踪轨迹，实现"取款尾随"、"徘徊"或"驻留"的行为分析； 步骤8 :对每个目标进行光流场的计算，评价其光流场的混乱程度和速度，实现"打斗" 和"打砸ATM"的行为分析； 步骤9 :对每个目标的历史高度进行统计，形成以时间为X轴，以高度为y轴的波形，在 对其进行滤波后，检测波形中是否存在一个下降沿，实现对"倒地"的行为分析。
2. 根据权利要求1所述的一种基于深度信息的ATM自助营业厅行为分析方法，其特征 在于：步骤2中的学习更新是：将混合高斯模型中的K个高斯成分按照
由大到小排 序，然后用像素的当前值&与其混合高斯模型中的K个高斯成分逐一比较，若\与第i个 高斯成分的均值之间的差小于S倍的该高斯成分的标准差，则该高斯成分被&更 新，其余高斯成分保持不变，更新方程如下：
其中a是模型的学习率，当第i个高斯成分与&匹配时，为1，否则为〇 ;如果Xj 与像素j的混合高斯模型中的K个高斯成分都不匹配，则该像素混合高斯模型中排在最后 的高斯成分被新的高斯成分取代，新的高斯成分均值为初始标准差及权重设为〇 init和 ?init ;在更新完成后，各高斯成分的权重被归一化，以使=1。
3. 根据权利要求1所述的一种基于深度信息的ATM自助营业厅行为分析方法，其特征 在于：步骤4的DENCLUE算法中存在两个重要参数：窗宽〇和密度门限值I的选取直 接会影响全局密度的估计结果，从而影响聚类数目；I用于过滤噪声产生的影响；〇的取 值为人体宽度的一半；密度门限值I的取值为需要关注的人体高度所对应的深度图灰度 值。
【文档编号】G06T7/00GK104268851SQ201410452648
【公开日】2015年1月7日 申请日期:2014年9月5日 优先权日:2014年9月5日
【发明者】尚凌辉, 高勇, 王弘玥, 刘家佳, 余天明, 施展 申请人:浙江捷尚视觉科技股份有限公司