专利名称：视频中行人步态周期自动提取方法
技术领域：
本发明涉及一种视频中行人步态周期自动提取方法，具体涉及一种利用频率域分析理论，对视频中行人目标的步态周期特征进行自动提取的方法。属于视频监控技术领域。
背景技术：
随着视频监控技术的发展，视频摄像机已经被广泛用来对各种环境、区域和场所进行实时监控。随着视频检测器数量的急剧增加，传统的人工被动监控已经远远无法满足监控任务的需要。因此，实现可以代替人眼的智能自动监控功能成为视频监控研究的目标。目前，在智能监控的研究中，对行人目标进行自动识别与跟踪所用到的特征主要包括衣服的颜色特征、纹理特征，前景的轮廓特征、几何特征等等。这些特征都属于视频中单帧图像的图像特征，仅仅利用这些图像特征建立目标的外观模型来识别行人目标，还无法达到较高的准确性。因此，利用视频序列的帧间信息来体现目标的运动特征，成为解决视频目标识别问题的一个新的途径。在人的运动特征中，步态的周期是一个典型的特征。然而，如何自动地提取步态的周期来实现目标的在线识别与持续跟踪，成为工程实践中亟待解决的问题。
经对现有技术文献的检索发现，目前在视频中检测周期运动目标周期的方法主要分为两类 一类是基于空间域的方法，另一类是基于频率域的方法。在基于空间
域的方法中，R.Polana等人于1997年发表在((International Journal of ComputerVision (国际计算机视觉杂志)》上的论文"Detection and recognition of periodic,nonrigid motion (周期性非刚体运动的检测与识别)"，采用跟踪目标上对应特征点的方法来估计目标运动的周期。然而，基于特征点的方法对光线变化和遮挡等干扰的鲁棒性非常差，而且运算量大，因此不适合实际的工程应用。R. Cutler等人于2000年发表在《IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE 模式分析与机器智能会刊)》上的论文"Robust real-time periodic motion detection, analysis, and applications (鲁棒实时周期运动检测、分析与应用)"，采用区域特征 对应的方法来检测目标运动的周期。然而，他们的方法不能实时检测叠加到其他运 动上的周期运动，例如人行走时步态的周期。在这种情况下，他们的方法需要对视 频进行预处理，把行人定位在视频图像的同一位置，这种处理很难实时进行。而且， 基于区域特征的方法对于噪声和视频图像的质量要求太高，因此也不利于工程推 广。在基于频率域的方法中，A.Briassouli等人于2007年发表在《IEEE Transactions on Pattern Analysis and Machine Intelligence (正EE模式分析与机器智能会刊)》上 的论文"Extraction and analysis of multiple periodic motions in video sequences (视频 序列中多周期运动的抽取与分析)"，采用频域分析的方法实现了多周期运动目标 周期的提取，该方法可以处理周期运动叠加到其他运动的情况，而且对各种干扰具 备很强的鲁棒性；然而，此方法却不能实现实时检测，而且算法复杂，不易实现， 因此限制了其工程应用。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种视频中行人步态周期自动 提取方法，能在光照变化、检测噪声等实际工程应用的复杂环境下，实时准确地估 计行人步态的周期，为视频监控中目标识别与跟踪提供一种可靠的运动特征。
为实现上述目的，本发明首先提取视频序列中不同行人目标的前景图像，然后 将前景图像向x轴映射，再将单帧信息向时间轴映射，并对映射得到的时间序列信 号进行傅立叶变换获得频域信号，最后由频域信号获得频域信号的功率谱，利用其 中功率最大频率值获取行人步态的周期。
本发明的方法通过以下具体步骤实现
(1)提取视频序列中不同行人目标的前景
首先把视频读入计算机，再进行背景建模与背景实时更新，采用当前帧与背景 帧相减的方法得到所有行人目标的前景图像，然后对前景图像中的M个行人目标进行分离，使得每一帧前景图像中只包含一个行人目标，最终获得M个分别只包含一 个行人目标的目标视频。
(2)前景图像向X轴的映射 先对每个目标视频的前景图像帧，进行二值化处理把前景区域的像素值赋为1， 把背景区域的像素值赋为0;然后，把二值化后的每一帧图像中的像素值按下式
少
映射到图像平面坐标系的x轴上，得到一个二维矩阵。
式中/(X，少,"表示第A:帧图像中坐标值为(X,少)点的像素值；&(;^)表示把像
素值延少轴叠加后的和值。
(3) 单帧信息向时间轴的映射
先对上一步得到的二维矩阵中的元素进行二值化处理把大于O的值都设为1, 等于0的值不变；然后把二值化后的矩阵按下式
映射到时间轴A轴上，得到一个时间序列信号。
式中J(x，A)表示矩阵^中坐标值为(x，A:)点的值；& 表示把矩阵中元素
延x轴叠加后的和值。
(4) 对映射得到的时间序列信号进行傅立叶变换
对映射得到的时间序列信号进行傅立叶变换，得到该时间序列信号在频域下的 函数表示，即频域信号F (")，
F (")=丄￡ 4,) e w, " = 0,1,…，iV — 1 。
,=0
(5) 计算行人步态的周期-
由频域信号获得频域信号的功率谱，从中选出除0频率之外功率最大的频率， 然后将视频总帧数除以功率最大的频率值得到以帧为单位的行人步态的周期值，完
5成视频中行人步态周期自动提取。
本发明与现有技术相比的显著效果在于可以自动提取多个行人步态的周期， 不需要对原始视频信号进行任何的预处理，而且对实际监控视频中所出现的光照变 化、摄像机抖动、检测噪声、前景检测误差等干扰同时具有较高的鲁棒性。由于克 服了这些现有技术在实际工程应用方面难以解决的困难，因此真正实现了视频中行 人步态周期的实时检测和估计。
本发明针对智能视频监控中目标识别和跟踪的需要，利用频域分析技术，实时 提取多个行人步态的周期，具有算法简单、精确度高、鲁棒性强等优点。特别是不 需要对原始视频信号进行任何的预处理，自动实现周期检测，克服了以往技术方法 都难以克服的难点，也消除了实现真正工程应用的主要障碍。本发明使用基于频域 分析的图像处理技术，实现行人步态周期的自动提取，最终为智能视频监控中目标 识别和跟踪提供一个新的可靠的目标特征。
图l本发明方法流程图。
图2视频序列中前景图像向x轴的映射后得到的二维矩阵的二值化图。 图3单帧信息向时间轴的映射后得到的离散时间序列信号图。 图4对映射得到的时间序列信号进行傅立叶变换后的频域表示图。 图5周期频谱图。
具体实施例方式
以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在 以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的 保护范围不限于下述的实施例。
为了更好地理解本实施例提出的方法，选取一段监控摄像机拍摄的视频片断， 视频中有三个行人从视域中经过，但他们之间没有一直被对方遮挡。
如图l本发明方法流程图所示，本实施例具体实施步骤如下(使用Visual C++语言编程)
(1)提取视频序列中不同行人目标的前景 首先采用OpenCV (Intel开源计算机视觉库)中的功能函数进行视频读取， 把视频读入计算机，再进行背景建模与背景实时更新，并采用当前帧与背景帧相减 的方法得到所有行人目标的前景图像。
前景检测采用当前帧与背景帧相减的方法，并结合高斯滤波与形态学处理，可以 获取比较准确的目标前景图像。
然后对检测到的多个行人目标进行分离，使得每一帧前景图像中只包含一个行人 目标。本实施例选取的视频中有三个行人从视域中经过，所以在任何时刻的图象帧中 行人目标数目不超过3。假设在^时刻的图像帧中有M(M《3)个行人目标，那么此图 像帧就被复制为M个副本，每个副本中只有一个目标。对整个视频的所有帧都进行 这样的处理，就得到三个目标视频，每个视频只包含一个行人目标。之后的所有操作 都对每个目标视频分别进行。
(2) 前景图像向x轴的映射 对每个目标视频的前景图像帧进行二值化处理，把前景区域的像素值赋为1，把
背景区域的像素值赋为0。
然后，把二值化后的每一帧图像中的像素值按下式映射到图像平面坐标系的x 轴上
少
式中/(X，y,"表示第yt帧图像中坐标值为(X，力点的像素值；^(X,"表示把像素值
延J轴叠加后的和值。
这样就得到一个分别以X和A为坐标轴的二维矩阵J，矩阵中元素的值为 ^(;c,A:)。
(3) 单帧信息向时间轴的映射 对得到的二维矩阵j中的元素进行二值化处理，把大于0的值都设为1，等于
70的值不变。该二值图像如图2所示。
然后把二值化后的矩阵按下式映射到时间轴/t轴上，
式中J(x，A)表示矩阵乂中坐标值为(x,A:)点的值；^(A:)表示把矩阵中元素延;c轴 叠加后的和值。
这样就得到一个一维的离散时间序列信号^(r), ,-0，l，…，A:，…,iV-1。 iV表示视
频的总帧数。该时间序列信号如图3所示。
(4)对映射得到的时间序列信号进行傅立叶变换 对上一步的到的离散时间序列信号按以下离散傅立叶变换公式进行离散傅立 叶变换-
F (")=丄(of2ra'/w ， m=o, i，…,iv -1
变换后得到以函数F(w), " = 0,l，一,iV-l表示的频域信号，如图4所示。 (5)计算行人步态的周期
首先计算上一步得到的频域信号的功率谱，如下式所示
p(m) = |f(m)|2, w = o,i,..-，iv-i
然后选出除0频率之外功率最大的频率就为行人步态的频率，根据下式计算其
周期，单位为帧-
i7，
式中Fw《表示功率最大的频率"的值;尸eW表示以帧为单位的行人步态的周期值。 由此完成视频中行人步态周期自动提取。
根据以上方法得到以帧为单位的周期值16.67帧。周期频谱图如图5所示，功 率最大值对应的周期为16.67 (帧/周期)。
权利要求
1、一种视频中行人步态周期自动提取方法，其特征在于包括以下步骤1)首先把视频读入计算机，再进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到所有行人目标的前景图像，然后对前景图像中的M个行人目标进行分离，使得每一帧前景图像中只包含一个行人目标，最终获得M个分别只包含一个行人目标的目标视频；2)对每个目标视频的前景图像帧进行二值化处理，把前景区域的像素值赋为1，把背景区域的像素值赋为0；然后，把二值化后的每一帧图像中的像素值按下式映射到图像平面坐标系的x轴上，得到一个二维矩阵；式中I(x，y，k)表示第k帧图像中坐标值为(x，y)点的像素值；sx(x，k)表示把像素值延y轴叠加后的和值；3)对得到的二维矩阵中的元素进行二值化处理，把大于0的值都设为1，等于0的值不变；然后把二值化后的矩阵按下式映射到时间轴k轴上，得到一个时间序列信号；式中A(x，k)表示矩阵A中坐标值为(x，k)点的值；sk(k)表示把矩阵中元素延x轴叠加后的和值；4)对映射得到的时间序列信号进行傅立叶变换，得到该时间序列信号在频域下的函数表示，即频域信号F(u)，5)由频域信号获得频域信号的功率谱，从中选出除0频率之外功率最大的频率，然后将视频总帧数除以功率最大的频率值得到以帧为单位的行人步态的周期值，完成视频中行人步态周期自动提取。
全文摘要
本发明涉及一种视频中行人步态周期自动提取方法，基于频率域分析理论，对视频中行人目标的步态周期特征进行自动提取，包括(1)提取视频序列中不同行人目标的前景图像；(2)前景图像向x轴的映射；(3)单帧信息向时间轴的映射；(4)对映射得到的时间序列信号进行傅立叶变换获得频域信号；(5)由频域信号获得频域信号的功率谱，利用其中功率最大频率值获取行人步态的周期。本发明具有易于实现、鲁棒性强、精确度高、实时性强等优点，可以为视频监控中行人目标的识别与跟踪提供一种新的实时可靠的特征信息。
文档编号G06K9/00GK101477618SQ200810207220
公开日2009年7月8日 申请日期2008年12月18日 优先权日2008年12月18日
发明者刘允才, 吕晓威, 孔庆杰, 菲 翁 申请人:上海交通大学