专利名称：基于视频图像的密集客流密度自动检测方法及系统的制作方法
技术领域：
本发明涉及计算机视觉领域，具体是基于视频图像的密集客流密度自动检 测方法及装置，可广泛应用于机场、广场、地铁、火(客)车站、商场等客流 量较大的公共管理领域。
背景技术：
随着经济的飞速发展，人口的城市化程度越来越高，城市的人口密度越来 越大，在某些公共场所的人群管理问题日益突出。人群密度是表征特定场所即 时拥挤程度的一个重要参考指标，是对公共场所进行有效管理的重要依据，随 着国内经济和大规模客流运输的快速发展，目前在某些特定场所对人群密度的 估计需求已经变得越来越紧迫。对人群密度估计的传统方法是人工估计，但这 种方法比较主观，不能做定量判断。近来人群密度估计的自动方法也逐渐发展 起来。但这些方法各有不足，在人群密度较高时，由于人群重叠现象，测量值 与人群人数之间的线性关系消失，导致误差很大，且这些方法要求提供场景的 背景图像。虽然可以解决高密度人群的估计问题，但计算量较大，处理时间较 长，而且该方法没有考虑摄像机透视效应造成误差较大问题。
避免遮挡问题的方法之一，是通过调整摄像机的拍摄角度，采用从人的头 顶部向下拍摄的办法。这种拍摄的方式无疑降低了处理的难度，但是需要重新 安装检测的摄像机，增大了系统的投入，此外，有时候监控系统需要取得人脸 的信息。更加实用的方式是，将客流密度自动检测作为安全监控系统(闭路电
视CCTV)的增强功能，通过视频图像的处理技术，得到客流密度。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于视频图像的密集客 流密度自动检测方法。在实际密集客流量检测中，该方法根本解决了以往检测 方法中存在的误差较大、处理时间较长、对摄像机透射效应考虑不足等问题。 从视频图像的采集、编辑到数据的处理分析及结果输出，具有计算简便、实时 性、可靠性好、易于移植、便于扩展和维护等优点。
一种基于视频图像的密集客流密度自动检测方法，步骤如下；
(a) 采集客流出入的监控视频图像，得到人群图像；
(b) 背景处理，将采集得到的人群图像经模板屏蔽，除去不包含人群对象的复 杂背景，保留包含人群对象的目标区，然后进行中值滤波去噪；(C)采用计算机视觉算法对采集到的视频图像进行分类处理，最终得到人群密 度等级，
(i) 当人群密度较低时，采用计算量较小但较准确的像素数统计，并应用时间 轴的信息进行背景生成，
(ii) 当人群密度较高时，采用纹理分析方法计算人群密度。 如上述的方法其中，所述对视频图像中人群密度分类处理的步骤(C-ii)包
括首先人群图像进行小波包分解，然后提取各子带图像的计盒维数作为特征 分类，采用分类器得到人群密度等级结果。
如上述的方法其中，特征在于，所述对视频图像中人群密度分类的步骤(c-i) 包括
1) 采用阈值法来得到人群前景的二值图像，二值图像是判断像素是否为人群前 景的阈值，该阈值由具体实验测定，会伴随背景处理中基础数据的变化而调整;
2) 对人群前景的透视效应进行校正，把感兴趣区域ROI分成面积相等的远、
中、近三个区域，分别计算每个区域的人群密度，然后取三个区域的人群密度 均值作为最终估计的人群密度。
如上述的方法其中，特征在于，对于步骤(b)中对人群图片处理需要对判
断人群前景进行多尺度分析，对摄像机透视效应进行处理步骤如下
(a) 对图像进行正交小波分解得到不同尺度方向上的子带图像；
(b) 应用小波包分解对步骤(a)得到的子带图像进行多尺度分析；
(c) 应用所有不同方向不同尺度的子带进行纹理分析，计算几盒维数；
(d) 利用人群图像的纹理模式有明显的自相似性和分形特征，应用分形维数来 表征纹理模式得到反映尺度特性的特征矢量，分别对各级尺度提取特征参数。
如上述的方法其中，步骤(d)中为了得到能够反映尺度特性的特征矢量， 需要分别对各级尺度提取特征参数；根据人群图像的纹理模式有明显的自相似 性和分形特征，采用分形维数来表征该纹理模式，采用计盒法来计算分形维数， 维数作为特征矢量。
如上述的方法其中在步骤(c-ii)对人群密度分类中分类器具体是支撑向量 机，在多类划分中，需要用支撑向量机组分类器组组成树状结构来划分。
实现权利要求上述方法的系统，特征在于包括-
(a) 视频图像采集设备，包括置于客流通道的出入口顶端的摄像机，闭路电视 系统CCTV;
(b) 用计算机视觉算法对采集到的视频图像进行处理的视频处理装置，具体包 括视频采集模块、存储器、处理器，所述的处理器包括但不限于嵌入式处理器; 平台由TMS320C64x和TMS320C62x定点系列以及TMS320C67x浮点系列组 成。(C)对小波包分解系数矩阵的计盒维数结果进行分析处理的分类器，分类器采 用支撑向量机和支撑向量机组。
本发明是通过以下技术方案实现的，本发明采用视频采集装置和处理算法， 实现对密集客流量密度的实时检测。其中视频图像采集设备通过闭路电视系统
(CCTV)采集监控视频图像，通常采用置于客流通道的出入口顶端的摄像机， 实时采集客流出入的视频图像。处理器采用视频图像处理算法对采集到的视频 图像进行处理，在人群密度较低时，采用计算量较小但较准确的像素数统计， 并应用时间轴的信息进行背景生成；在人群密度较高时应用小波包分解来对人 群图像进行多角度分析，然后提取小波包分解系数矩阵的计盒维数作为特征， 送入分类器进行分类，得到人群密度等级，达到对密集客流密度实时检测目的。
本发明方法包括以下几个步骤
1、 密集客流视频采集
在大范围密集客流监控现场，可以通过安装监控摄像头对密集客流进行实 时影像记录，由摄像机得到的是模拟的视频信号，要将这些模拟的视频信号交 有计算机处理，并在数字通信线路上传输，必须采用相应的设备将模拟信号转 化为数字信号并且进行压縮。本发明采用高性能的视频采集压縮卡来完成高密 度客流现场视频采集和压縮，通过它可以将模拟视频信号实时数字化压缩编码， 然后交由核心模块直接处理。
2、 对视频图像进行基于多尺度分析和分形的纹理分析
如果对一幅图像进行正交小波分解，就可以得到不同尺度不同方向上的子 带图像。这种子带图像包含了特定尺度和方向的细节信息，也包括了空域信息， 根据这些子带可以完全重建原始图像。然而正交小波分解仅对低频子带进行更 高一级分解，为了得到高频子带的多尺度分析，本发明应用小波包分解对人群 图像进行多尺度分析。由于子带图像是通过离散小波变换下采样得到，两个相 对距离较远的像素表示的纹理结构信息在高级子带图像上会由两个相对距离较 近的像素表示，所以本发明应用所有不同方向不同尺度的子带进行纹理分析。 为了能够得到反映尺度特性的特征矢量，本发明分别对各级尺度提取特征参数。 由于人群图像的纹理模式有明显的自相似性和分形特征，因此本发明用分形维 数来表征纹理模式。
3、 运用支撑向量机对人群密度进行等级分类
支撑向量机(SVM)是在统计学习理论基础上发展起来的一种新的通用的模 式识别方法；目前，支撑向量机在两类划分问题中的结果较好，在多类划分中， 需要用支撑向量机组组成树状结构来划分。考虑到密集客流密度是在多个密度 数量级上进行相应的分类，本发明采用的是支撑向量机组组成的树状结构来对 最终的人群密度进行等级分类。
本发明由视频采集模块、存储器、处理器构成，所述的处理器为嵌入式处 理器。本发明可以有效解决高密度客流统计中存在的难题，特别是在大型城市， 交通密集的场所，客流密度非常高，存在严重的遮挡现象，通过传统的视频图像处理方法不能有效的解决。本发明完全基于现有闭路电视系统，结合计算机 视觉装置和图像处理算法，检测客流密度，获得的密度信息可以作为公共人流 管理和客流线路规划设计的依据，以及客流通道管理的依据。
图1是基于视频图像的密集客流密度自动检测系统结构框图； 图2是本发明密集客流密度检测方法软件流程图； 图3是本发明的软件测试界面示意图。
具体实施例方式
下面结合附图对本发明的实施例作详细说明。
本实施例采用图1所示的基于视频图像的密集客流密度自动检测方案，具 体实施步骤如下-
1、 硬件设备的建立
如图1所示，基于视频图像的密集客流量密度自动检测可以采用以数字信 号处理器DSP为核心的硬件结构，由采集模块、存储器、处理器构成。由于计 算机视觉算法具有一定的复杂性，处理的对象是复杂的视频图像，并且要求系 统能满足实时性，因此选择的芯片一定要有强大的处理能力。综合以上各方面 考虑，可以选择TI的TMS320DM642。 TMS320C6000DSP平台提高了性能和成 本效益的水准，提供业界最快的广泛DSP产品系列，这些DSP以高达lGHz的 时钟速度运行。平台由TMS320C64x和TMS320C62x定点系列以及 TMS320C67x浮点系列组成。C6000 DSP平台是处理目标宽带基础设施、高性 能音频和成像应用等产品的设计人员的最佳选择。TMS320DM642是TI公司目 前推出的在多媒体处理领域的主流产品，它是在C64x的基础上，增加了许多外 围设备和接口。
2、 软件流程图的建立
如图2所示，密集客流密度检测方法软件流程图，首先采集视频图像，输 入的人群图像首先经过模板屏蔽掉不包含人群对象的复杂背景，只保留包含人 群对象的感兴趣区，然后进行中值滤波去噪。背景减运算将中值滤波后的人群 图像减去背景参考图像，得到人群对象的前景图像，计算人群前景图像面积占 感兴趣区面积的比例，经几何修正后即是人群密度的参考值。由于人群存在交 叠现象，须用纹理分析的方法估计人群密度。纹理分析方法首先对中值滤波后 的人群图像进行小波包分解，然后提取各子带图像的计盒维数作为特征送入支 撑向量机分类，得到人群密度等级。在低密度人群情况下，人群密度表示为人 群前景的像素数与感兴趣区的像素数之比。本发明采用阈值法来得到人群前景 的二值图像。判断像素是否为人群前景的阈值通过实验确定。由于摄像机的光 轴与水平面成锐角，拍摄的人群图像存在近大远小的透视效应，这样对人群密 度估计结果会产生一定影响，带来误差。为了对透视效应进行校正，把ROI分成面积相等的远、中、近三个区域，分别计算每个区域的人群密度，然后取三 个区域的人群密度均值作为最终估计的人群密度。
3、 对密集客流图像建立多尺度分析
如果对一幅图像进行正交小波分解，就可以得到不同尺度不同方向上的子 带图像。这种子带图像包含了特定尺度和方向的细节信息，也包括了空域信息， 根据这些子带可以完全重建原始图像。然而正交小波分解仅对低频子带进行更 高一级分解，为了得到高频子带的多尺度分析，本发明应用小波包分解对人群 图像进行多尺度分析。由于子带图像是通过离散小波变换下采样得到，两个相 对距离较远的像素表示的纹理结构信息在高级子带图像上会由两个相对距离较 近的像素表示，所以本发明应用所有不同方向不同尺度的子带进行纹理分析。 为了能够得到反映尺度特性的特征矢量，本发明分别对各级尺度提取特征参数。 由于人群图像的纹理模式有明显的自相似性和分形特征，因此本发明用分形维 数来表征纹理模式。
4、 特征矢量的提取和分类
为了得到能够反映尺度特性的特征矢量，需要分别对各级尺度提取特征参 数。由于人群图像的纹理模式有明显的自相似性和分形特征，因此本发明用分 形维数来表征该纹理模式。这里采用计盒法来计算分形维数。
计盒法来计算分形维数就是用类似膨胀的方法，此处用大小为1一15的结 构元素，并采用最小均方估计的方法推导拟合函数。
拟合函数的斜率-(mxy-mx*my)/(mxx-mx*mx);
Fractal Dimension-2-拟合函数的斜率
参数如下
mx=(log(3)+log(5)+log(7)+log(9)+log( 11 )+log( 13))/7;
my=(log(dense 1 )+log(dense3)+log(dense5)+log(dense7)+log(dense9)+log(dense 11)+ 1og(densel3))/7;
mxy=(log( 1 )承log(dense l)+log(3)*log(dense3)+log(5)* log(dense5)+log(7)*log(dense 7)+log(9)*log(dense9)+log(l 1 )"og(dense 11 )+log( 13)*log(dense 13))/7; mxx=(log(3)*log(3)+log(5)*log(5)+log(7)*log(7)+log(9)*log(9)+log(ll)*log(ll)+lo g(13)*log(13))/7;
分类方法由于人群图像训练样本较少，而支撑向量机在小样本模式识别问题上
有特有的优势，因此本发明采用支撑向量机作为分类器。目前，支撑向量机在
两类划分问题中的结果较好，由于本发明是一个多类划分问题，这里采用支撑
向量机组组成树状结构来划分。 5测试结果
软件测试界面示意图如图3所示。 目前的分类准确率在70%左右。
权利要求
1. 一种基于视频图像的密集客流密度自动检测方法，步骤如下；(a)采集客流出入的监控视频图像，得到人群图像；(b)背景处理，将采集得到的人群图像经模板屏蔽，除去不包含人群对象的复杂背景，保留包含人群对象的目标区，然后进行中值滤波去噪；(c)采用计算机视觉算法对采集到的视频图像进行分类处理，最终得到人群密度等级，(i)当人群密度较低时，采用计算量较小但较准确的像素数统计，并应用时间轴的信息进行背景生成，(ii)当人群密度较高时，采用纹理分析方法计算人群密度。
2. 根据权利要求1所述的方法，特征在于，所述对视频图像中人群密度分类处 理的步骤(c-ii)包括首先人群图像进行小波包分解，然后提取各子带图像 的计盒维数作为特征分类，采用分类器得到人群密度等级结果。
3. 根据权利要求1所述的方法，特征在于，所述对视频图像中人群密度分类的 步骤(c-i)包括1) 采用阈值法来得到人群前景的二值图像，二值图像是判断像素是否为人 群前景的阈值，该阈值由具体实验测定，会伴随背景处理中基础数据的变化 而调整；2) 对人群前景的透视效应进行校正，把感兴趣区域ROI分成面积相等的远、 中、近三个区域，分别计算每个区域的人群密度，然后取三个区域的人群密 度均值作为最终估计的人群密度。
4. 根据权利要求1所述的方法，特征在于，对于步骤(b)中对人群图片处理 需要对判断人群前景进行多尺度分析，对摄像机透视效应进行处理步骤如 下(a) 对图像进行正交小波分解得到不同尺度方向上的子带图像；(b) 应用小波包分解对步骤(a)得到的子带图像进行多尺度分析；(c) 应用所有不同方向不同尺度的子带进行纹理分析，计算几盒维数；(d) 利用人群图像的纹理模式有明显的自相似性和分形特征，应用分形维 数来表征纹理模式得到反映尺度特性的特征矢量，分别对各级尺度提取特征 参数。
5. 根据权利要求4所述的方法，特征在于，步骤(d)中为了得到能够反映尺 度特性的特征矢量，需要分别对各级尺度提取特征参数；根据人群图像的纹 理模式有明显的自相似性和分形特征，采用分形维数来表征该纹理模式，采 用计盒法来计算分形维数，维数作为特征矢量。
6. 根据权利要求2所述的方法，特征在于，在步骤(c-ii)对人群密度分类中分 类器具体是支撑向量机，在多类划分中，需要用支撑向量机组分类器组组成 树状结构来划分。
7. 实现权利要求l-6所述方法的系统，特征在于包括(a) 视频图像采集设备，包括置于客流通道的出入口顶端的摄像机，闭路 电视系统CCTV;(b) 用计算机视觉算法对采集到的视频图像进行处理的视频处理装置，具 体包括视频采集模块、存储器、处理器，所述的处理器包括但不限于嵌入式 处理器；平台由TMS320C64x和TMS320C62x定点系列以及TMS320C67x浮点系列组成。(c) 对小波包分解系数矩阵的计盒维数结果进行分析处理的分类器，分类 器采用支撑向量机和支撑向量机组。
全文摘要
一种基于视频图像的密集客流密度自动检测方法，属于计算机视觉技术领域。本发明采用视频采集装置和处理算法。其中视频图像采集设备通过闭路电视系统(CCTV)采集监控视频图像，通常采用置于客流通道的出入口顶端的摄像机，实时采集客流出入的视频图像。处理器采用计算机视觉算法对采集到的视频图像进行处理，在人群密度较低时，采用计算量较小但较准确的像素数统计，并应用时间轴的信息进行背景生成；在人群密度较高时应用小波包分解来对人群图像进行多角度分析，然后提取小波包分解系数矩阵的计盒维数作为特征，送入分类器进行分类，得到人群密度等级，达到对密集客流密度实时检测的目的。
文档编号H04N7/18GK101431664SQ200710047838
公开日2009年5月13日 申请日期2007年11月6日 优先权日2007年11月6日
发明者刘富强, 昀 孙, 崔建竹, 宇 张, 净 李, 李志鹏, 王新红, 迪 赵 申请人:同济大学