专利名称：一种人群剧烈运动的检测方法及装置的制作方法
技术领域：
本发明涉及图像处理、视频监控，特别涉及一种人群剧烈运动的检测方法及装置。
背景技术：
为了保障社会治安的稳定和人民生活的安定，我国各大中型城市中陆续安装了视频监控装置。这些视频监控装置根据应用的场所，需要具备不同的检测功能。其中，在诸如车站、机场、超市、商业街区、运动场等的重要公共场所中，对人群异常行为的检测十分重要。 国际专利申请W0 2007/064559A1公开了一种异常人群行为的检测方法，该方法首先检测场景中的人群团块，然后通过计算团块的熵值来分析人群的行为(如打架斗殴)。然而，对于复杂的实际场景，上述方法并不能准确地检测出人群的异常行为，因此并不能广泛地得以推广应用。 综上所述，目前迫切需要提出一种能简单、有效的检测人群剧烈运动的检测方法。
发明内容
有鉴于此，本发明的主要目的在于提供一种能够解决诸如车站、机场、超市、商业街区、运动场等的重要公共场所中人群剧烈运动的检测方法及装置。 为达到上述目的，按照本发明的第一个方面，提供了一种人群剧烈运动的检测方法，该方法包括 第一步骤，获取视频帧图像，并对彩色的帧图像进行灰度化处理； 第二步骤，采用光流法获得两帧图像的相对运动； 第三步骤，根据光流的相对运动，获取能量变化的历史图； 第四步骤，以能量变化的历史图为模板，计算方向变化大的像素点并获取剧烈运动的历史图； 第五步骤，将剧烈运动的历史图二值化，判断其二值化的连通区域是否属于剧烈运动区域；和 第六步骤，标示剧烈运动的区域并输出。 按照本发明的另一个方面，提供了一种人群剧烈运动的检测装置，该装置包括
视频获取及预处理单元，用于获取视频帧图像，并对彩色的帧图像进行灰度化处理； 光流的相对运动计算单元，用于采用光流法获得两帧图像的相对运动； 能量变化的历史图获取单元，用于根据光流的相对运动，获取能量变化的历史
图； 剧烈运动的历史图获取单元，用于以能量变化的历史图为模板，计算方向变化大的像素点并获取剧烈运动的历史图； 剧烈运动区域获取单元，用于将剧烈运动的历史图二值化，判断其二值化的连通区域是否属于剧烈运动区域；禾口 剧烈运动区域标示及输出单元，用于标示剧烈运动的区域并输出。
图1示出了按照本发明的人群剧烈运动的检测方法的流程图； 图2示出了按照本发明的第三步骤的流程图； 图3示出了按照本发明的第五步骤的流程图； 图4示出了按照本发明的人群剧烈运动的检测装置的框架图； 图5示出了按照本发明的能量变化的历史图获取单元3的框架图； 图6示出了按照本发明的剧烈运动区域获取单元5的框架图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。 图1表示按照本发明的人群剧烈运动的检测方法的流程图。如图1所示，按照本发明的人群剧烈运动的检测方法可以包括 第一步骤101，获取视频帧图像，并对彩色的帧图像进行灰度化处理； 第二步骤102，采用光流法获得两帧图像的相对运动； 第三步骤103，根据光流的相对运动，获取能量变化的历史图； 第四步骤104，以能量变化的历史图为模板，计算方向变化大的像素点并获取剧烈
运动的历史图； 第五步骤105，将剧烈运动的历史图二值化，判断其二值化的连通区域是否属于剧烈运动区域；禾口 第六步骤106，标示剧烈运动的区域并输出。
第一步骤 本步骤首先获取从现场相机中采集的视频流，通过解码转换为帧图像；然后对得到的帧图像进行灰度化处理，将彩色图像转换为灰度图像(如果从现场相机获取的是灰度图像就不需要进行灰度化处理)。
第二步骤 本步骤中利用光流方法计算连续两帧图像的运动图像。光流方法计算基于两种假设，即连续两帧图像中，对应像素点的运动很小且灰度变化很小。连续两帧图像的光流方向图的计算公式为(参见B. K. PHorn和B. G. Schunk所著的《Determining optical flow》(Artificiallntelligence，17 :185-203，1981)):<formula>formula see original document page 6</formula>
其中，I表示当前帧图像，Ix表示当前帧图像x方向的导数，Iy表示当前帧图像y方向的导数，It表示当前帧图像与前一帧图像的差分图像，^表示n次迭代时每个像素点周围四连通的在X方向上的位移的平均值，7表示n次迭代时每个像素点周围四连通的在y方向上的位移的平均值，un+1表示n+1次迭代后每个像素点在X方向上的位移，vn+1表示n+l次迭代后每个像素点在X方向上的位移，(x，y)表示像素点。n为迭代次数，a为平滑度调节参数。迭代的方法得到相邻两帧图像的光流方向图(un+1，vn+1)。 (un+1(x，y)， vn+1(x，y))表示像素点(x，y)在n+l次迭代后位移方向的矢量图)，该光流方向图即为相邻两帧图像的运动图像。其中，u、v的初始值为0。)
第三步骤 图2示出了按照本发明的第三步骤的流程图。如图2所示，按照本发明的第三步骤可以进一步包括 步骤201，根据光流的相对运动，获取能量变化。当前帧图像像素点(x，y)的能量变化DE^的计算公式如下DE^O,力^和LO,力+《(X力-^/《r(X力+《r(X力 其中，iw(x，y)、v^(x，y)分别表示当前帧运动图像中像素点(x，y)在X方向、Y方向上的光流方向，iV(x， y) 、 vpCT(x， y)分别表示前一帧运动图像中像素点(x， y)在X方向、Y方向上的光流方向。 步骤202，根据当前帧的能量变化，获取相应地历史图。如果当前帧图像中像素点(x，y)的能量变化DE^(x，y) ^第一阈值T1，能量变化历史图中像素点(x，y)的像素值为DEJU(x， y) = 255 ;如果当前帧图像中像素点(x， y)的能量变化DEeur (x， y) <第一阈值Tl，能量变化历史图中像素点(x， y)的像素值为DEJU(x， y) = DE。ur(x， y)-ALPHA (若DE_Hcur(x， y) 〈0，则将DEJU(x， y)置为0)。其中，第一阈值Tl可以取值为
，即0. 4《Tl《0. 6，优选为0. 5 ;ALPHA可以取值为[45，55]，即45《ALPHA《55且ALPHA为整数，优选为50。
第四步骤 首先计算光流的方向变化，其计算公式如下 DOcur (x， y) = | ucur (x， y) _uper (x， y) | +1 vcur (x， y) _vper (x， y) |其中，DOcur (x， y)表示当前帧图像中像素点(x，y)的光流的方向变化。 然后以能量变化的历史图为模板，根据光流的方向变化，获取剧烈运动的历史图。如果当前帧图像中像素点(x，y)的光流的方向变化D(U(x，y) ^第二阈值T2，剧烈运动历史图中像素点(x， y)的像素值为DOJU(x， y) = 255 ;如果当前帧图像中像素点(x， y)的能量变化D(U(x，y)〈第二阈值T2，剧烈运动历史图中像素点(x，y)的像素值为DO_H。OT (x，y) = DEcur(x， y)-ALPHA (若DOcur(x， y) < O，则将DOcur(x， y)置为0)。其中第二阈值T2取值为^/3。
第五步骤 图3示出了按照本发明的第五步骤的流程图。如图3所示，图3示出了按照本发明的第五步骤可以进一步包括 步骤301，获取剧烈运动的二值图像。将第四步骤输出的剧烈运动历史图进行阈值分割以得到剧烈运动的二值图像。可以通过一般的阈值分割方法实现，如梯度阈值法、最大类间方差法、最大熵法。实施例中，采用简单的一维梯度阈值法设点(x，y)的像素值为4
7y，若fx，y ^第三阈值T3，则将fx,y赋予255 ;否则，将fx,y赋予0。其中，第三阈值T3可以取值为[100， 200]，即100《T3《200且T3为整数。 步骤302，获取一段时间内剧烈运动二值图像的历史图像。将一段时间内的步骤301获取的剧烈运动的二值图像进行累加，将累加的结果进行阈值判断，以获取该剧烈运动二值图像的历史图像。统计一段时间内剧烈运动的二值图像的历史图像，可以参见Zhaozheng Yin禾口 Robert Collins的文章《Moving Object Localization inThermalImagery by Forward-backward MHI》(Computer Vision and PatternRecognitionWorkshop, 2006. CVPRW' 06. Conference on， PublicationDate :17-22J騰2006， Pages :133)，剧烈运动二值图像的历史图像中各像素像素值的计算公式如下MHIt(x， y)=MHIt—Jx， y)+D0_Ht(x， y)-P 。其中，D0_Ht(x， y)表示第t帧剧烈运动的二值图像内点(x，y)的像素值，MHIt—Jx，y)、MHIt(x，y)分别表示第t_l、t帧剧烈运动的二值图像的历史图像内点(x，y)的像素值，MHI。(x，y) = 0， P表示衰减因子。当MHIt(x，y) > 255时，MHIt (x，y) = 255 ;当MHIt(x，y) < 0时，MHIt(x，y) = 0。然后，对每帧剧烈运动的二值图像的历史图像进行阈值判断处理，当MHIt(x， y) ^第四阈值T4时，将历史图像内点(x， y)的像素值赋予l，即MHIt(x， y) = 1 ;否则，将历史图像内点(x， y)的像素值赋予0，即ffllt(x， y)=0。其中，第四阈值T4的取值范围可以是[100，200]，即100《T4《200且T4为整数。
步骤303，获取二值图像的历史图像的连通区域。以步骤302获取的二值图像的历史图像中像素值为1的点为目标，对目标点进行连通区域标记。连通区域标记方法可以通过四连通域方法或八连通域方法实现。四连/八连通域的连通标记的方法是首先，对二值图像的历史图像(即步骤302获取的二值图像的历史图像)施行逐行扫描，找到一个未标记区域的第一目标点，标记该点；检查该点的四连/八连域点并标记满足连通性要求的，且尚未被标记的目标点，同时将新增的标记点记录下来作为"区域增长"的种子点。在后续的标记过程中，不断地从记录种子点的数组中取出一个种子，施行上述的操作，如此循环，直到记录种子点的数组为空，一个连通区域标记结束。接着再标记下一个未标记的区域，直到二值图像的历史图像(即步骤302获取的二值图像的历史图像)内所有连通区域都被标记。 步骤304，判断连通区域是否属于剧烈运动区域。统计每个连通区域内点的个数，若该个数〉第五阈值T5，则认为该连通区域属于剧烈运动区域；否则认为该连通区域不属于剧烈运动区域，并将该连通区域内的点的像素值置为0。其中，第五阈值T5的取值范围可以是[800， 1200]，即800《T5《1200且T5为整数，T5优选为1000。
第六步骤 标记第五步骤获取的剧烈运动区域并输出。标记第五步骤获取的剧烈运动区域可
以通过标记剧烈运动区域的边缘实现，也可以通过标记剧烈运动区域的矩形框实现。其中，
标记剧烈运动区域的边缘是指提取出剧烈运动区域的边缘，可以通过梯度算法、Roberts梯
度算法、Sobel算法、Ca皿y算法、L即lace算法等现有的边缘提取算法实现。 对应于人群剧烈运动的检测方法，图4示出了按照本发明的人群剧烈运动的检测
装置的框架图。如图4所示，按照本发明的人群剧烈运动的检测装置包括 视频获取及预处理单元l，用于获取视频帧图像，并对彩色的帧图像进行灰度化处
理；
光流的相对运动计算单元2，用于采用光流法获得两帧图像的相对运动； 能量变化的历史图获取单元3，用于根据光流的相对运动，获取能量变化的历史
图； 剧烈运动的历史图获取单元4，用于以能量变化的历史图为模板，计算方向变化大的像素点并获取剧烈运动的历史图； 剧烈运动区域获取单元5，用于将剧烈运动的历史图二值化，判断其二值化的连通区域是否属于剧烈运动区域；禾口 剧烈运动区域标示及输出单元6，用于标示剧烈运动的区域并输出。 对应于第三步骤的方法，图5示出了按照本发明的能量变化的历史图获取单元3
的框架图。如图5所示，能量变化的历史图获取单元3包括 能量变化获取模块31，用于根据光流的相对运动，获取能量变化； 能量变化历史图获取模块32，用于根据当前帧的能量变化，获取相应地历史图。 对应于第五步骤的方法，图6示出了按照本发明的剧烈运动区域获取单元5的框
架图。如图6所示，剧烈运动区域获取单元5包括 剧烈运动的二值图像获取模块51，用于获取剧烈运动的二值图像； 二值图像的历史图像获取模块52，用于获取一段时间内剧烈运动二值图像的历史
图像； 二值图像的历史图像的连通区域获取模块53，用于获取二值图像的历史图像的连通区域； 剧烈运动区域判断模块54，用于判断连通区域是否属于剧烈运动区域。 与现有的行为检测技术相比，按照本发明的人群剧烈运动检测方法可以有效地检
测人群的剧烈运动，如打架、斗殴。 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域
中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。
权利要求
一种人群剧烈运动的检测方法，其特征在于，该方法包括第一步骤，获取视频帧图像，并对彩色的帧图像进行灰度化处理；第二步骤，采用光流法获得两帧图像的相对运动；第三步骤，根据光流的相对运动，获取能量变化的历史图；第四步骤，以能量变化的历史图为模板，计算方向变化大的像素点并获取剧烈运动的历史图；第五步骤，将剧烈运动的历史图二值化，判断其二值化的连通区域是否属于剧烈运动区域；和第六步骤，标示剧烈运动的区域并输出。
2. 如权利要求1所述的方法，其特征在于，其中第二步骤中利用光流方法计算连续两帧图像的运动图像。光流方法计算基于两种假设，即连续两帧图像中，对应像素点的运动很小且灰度变化很小。连续两帧图像的光流方向图的计算公式为<formula>formula see original document page 2</formula>其中，I表示当前帧图像，Ix表示当前帧图像x方向的导数，Iy表示当前帧图像y方向的导数，It表示当前帧图像与前一帧图像的差分图像，？表示n次迭代时每个像素点周围四连通的在X方向上的位移的平均值，7表示n次迭代时每个像素点周围四连通的在y方向上的位移的平均值，un+1表示n+1次迭代后每个像素点在X方向上的位移，vn+1表示n+1次迭代后每个像素点在X方向上的位移，(x，y)表示像素点。n为迭代次数，a为平滑度调节参数。迭代的方法得到相邻两帧图像的光流方向图(un+1， vn+1)。 (un+1(x， y)， vn+1(x， y))表示像素点(x， y)在n+l次迭代后位移方向的矢量图)，该光流方向图即为相邻两帧图像的运动图像。其中，u、v的初始值为0。)
3.如权利要求1所述的方法，其特征在于，其中第三步骤可以进一步包括步骤a)根据光流的相对运动，获取能量变化。当前帧图像像素点(x， y)的能量变化DE。OT的计算公式如下<formula>formula see original document page 2</formula>其中，u^(x，y)、v^(x，y)分别表示当前帧运动图像中像素点(x， y)在X方向、Y方向上的光流方向，iV(x，y)、v^(x，y)分别表示前一帧运动图像中像素点(x，y)在X方向、Y方向上的光流方向。步骤b)根据当前帧的能量变化，获取相应地历史图。如果当前帧图像中像素点(x，y)的能量变化DE^(x，y) ^第一阈值T1，能量变化历史图中像素点(x，y)的像素值为DE_H。ur(x，y) = 255;如果当前帧图像中像素点(x，y)的能量变化DE。ur(x，y)〈第一阈值T1，能量变化历史图中像素点(x，y)的像素值为DEJlcur(x，y) = DE。ur (x， y)-ALPHA(若DE_H。ur (x，y) < 0，则将DEJU (x， y)置为0)。
4.如权利要求1所述的方法，其特征在于，其中第四步骤包括步骤c)计算光流的方向变化，其计算公式如下D0cur (x， y) = I ucur (x， y) _uper (x， y) | +1 vcur (x， y) _vper (x， y)其中，D0,(x，y)表示当前帧图像中像素点(x，y)的光流的方向变化。步骤d)以能量变化的历史图为模板，根据光流的方向变化，获取剧烈运动的历史图。如果当前帧图像中像素点(x，y)的光流的方向变化D(U(x，y) ^第二阈值T2，剧烈运动历史图中像素点(x， y)的像素值为D0_Hcur(x， y) = 255 ;如果当前帧图像中像素点(x， y)的能量变化D(U(x，y)〈第二阈值T2，剧烈运动历史图中像素点(x，y)的像素值为D0_H。OT (x，y) = DEcur (x， y) -ALPHA (若D0cur (x， y) < 0，则将D0cur (x， y)置为0)。
5. 如权利要求1所述的方法，其特征在于，其中第五步骤包括步骤e)获取剧烈运动的二值图像。将第四步骤输出的剧烈运动历史图进行阈值分割以得到剧烈运动的二值图像。步骤f)获取一段时间内剧烈运动二值图像的历史图像。将一段时间内的步骤e)获取的剧烈运动的二值图像进行累加，将累加的结果进行阈值判断，以获取该剧烈运动二值图像的历史图像。步骤g)获取二值图像的历史图像的连通区域。以步骤f)获取的二值图像的历史图像中像素值为1的点为目标，对目标点进行连通区域标记。步骤h)判断连通区域是否属于剧烈运动区域。统计每个连通区域内点的个数，若该个数〉第五阈值T5，则认为该连通区域属于剧烈运动区域；否则认为该连通区域不属于剧烈运动区域，并将该连通区域内的点的像素值置为0。
6. 如权利要求5所述的方法，其特征在于，其中步骤f)中统计一段时间内剧烈运动的二值图像的历史图像，剧烈运动二值图像的历史图像中各像素点的像素值的计算公式如下MHIt (x， y) = MHIt—! (x， y) +D0_Ht (x， y) - P 。其中，D0_Ht (x， y)表示第t帧剧烈运动的二值图像内点(x，y)的像素值，腿lH(x，y)、腿It(x，y)分别表示第t-l、t帧剧烈运动的二值图像的历史图像内点(x，y)的像素值，MHI。(x，y) = 0， P表示衰减因子。当MHIt(x，y) >255时，MHIt(x， y) = 255 ;当MHIt (x， y) < 0时，MHIt (x， y) =0。然后，对每帧剧烈运动的二值图像的历史图像进行阈值判断处理，当MHIt(x， y) ^第四阈值T4时，将历史图像内点(x， y)的像素值赋予l，即MHIt(x， y) = 1 ;否则，将历史图像内点(x， y)的像素值赋予0，即MHIt(x， y) = 0。
7. 如权利要求3所述的方法，其特征在于，O. 4《Tl《0. 6。
8. 如权利要求3和4所述的方法，其特征在于，45《ALPHA《55且ALPHA为整数。
9. 如权利要求4所述的方法，其特征在于，T2取值为ji/3。
10. 如权利要求5所述的方法，其特征在于，800《T5《1200且T5为整数。
11. 如权利要求6所述的方法，其特征在于，100《T4《200且T4为整数。
12. —种人群剧烈运动检测的装置，其特征在于，该装置包括视频获取及预处理单元，用于获取视频帧图像，并对彩色的帧图像进行灰度化处理；光流的相对运动计算单元，用于采用光流法获得两帧图像的相对运动；能量变化的历史图获取单元，用于根据光流的相对运动，获取能量变化的历史图；剧烈运动的历史图获取单元，用于以能量变化的历史图为模板，计算方向变化大的像素点并获取剧烈运动的历史图；剧烈运动区域获取单元，用于将剧烈运动的历史图二值化，判断其二值化的连通区域是否属于剧烈运动区域；禾口剧烈运动区域标示及输出单元，用于标示剧烈运动的区域并输出。
13. 如权利要求12所述的装置，其特征在于，能量变化的历史图获取单元包括能量变化获取模块，用于根据光流的相对运动，获取能量变化；能量变化历史图获取模块，用于根据当前帧的能量变化，获取相应地历史图。
14. 如权利要求12所述的装置，其特征在于，剧烈运动区域获取单元包括剧烈运动的二值图像获取模块，用于获取剧烈运动的二值图像；二值图像的历史图像获取模块，用于获取一段时间内剧烈运动二值图像的历史图像；二值图像的历史图像的连通区域获取模块，用于获取二值图像的历史图像的连通区域；剧烈运动区域判断模块，用于判断连通区域是否属于剧烈运动区域。
全文摘要
本发明提供了一种人群剧烈运动的检测方法，能够有效地检测公共场所中的剧烈运动，如打架、斗殴。该方法首先获取视频帧图像，并对彩色的帧图像进行灰度化处理；采用光流法获得两帧图像的相对运动；然后根据光流的相对运动，获取能量变化的历史图；以能量变化的历史图为模板，计算方向变化大的像素点并获取剧烈运动的历史图；将剧烈运动的历史图二值化，判断其二值化的连通区域是否属于剧烈运动区域；最后标示剧烈运动的区域并输出。
文档编号G06T7/20GK101751678SQ20091024255
公开日2010年6月23日 申请日期2009年12月16日 优先权日2009年12月16日
发明者袁雪庚 申请人:北京智安邦科技有限公司