基于傅里叶描述子和步态能量图融合特征的步态识别方法与流程

本发明涉及模式识别技术领域，尤其是一种基于傅里叶描述子和步态能量图融合特征的步态识别方法。

背景技术：

伴随科技的进步，生物特征识别技术以其便利性、安全可靠受到越来越多人的青睐，如人脸识别、指纹识别、步态识别等，其中步态识别是唯一能远距离识别的生物技术，凭借其非侵犯性、难以修饰隐藏等特点，已成为智能监控领域的一个研究热点，如美国的远距离身份识别(HID，Human Identification at a Distance)计划。

传统步态表征技术有三类：结构表征、非结构表征及融合表征；结构表征通过对人体部分(如膝盖、腿部、手臂等)建模跟踪，获得系列人体参数作为特征，这些特征具有独立的方向性和模型独立性，但对步态序列很敏感、参数运算量较大；非结构表征则只对图像序列中运动人体生成的时空模式做统计分析，隐含定义应该观察的特征，进而实现步态特征提取和识别，优点是对步态序列敏感度较低，运算量小、实时性好，但对背景和光照信号较敏感。

融合表征将几种不同特征根据互补原则进行融合，得到比单一特征更好的识别性能，分为不同步态特征之间融合、步态特征与其他生物特征之间融合两类。关于前者，Wang等人提出将基于Procrustes形状分析的静态特征与跟踪人体下肢关节运动轨迹的动态特征相融合，Nandini等人也提出将最大信息压缩索引和步态的周期特征进行融合来进行步态识别；而后者多涉及多模态的生物特征，一般为决策级融合，如Kale等人使用人脸和步态特征的决策级融合方法，并分别尝试了分层和整体两种策略。大量的实验表明，基于融合特征的识别算法性能明显优于基于任何单一特征的算法。

考虑到步态识别对实时性、准确性的高标准，选择何种特征、使用何种方式进行融合，都将直接影响到最终的识别，因此未来的工作之一将集中在融合特征的选择上。

技术实现要素：

本发明所要解决的技术问题是：提供一种基于融合特征的步态识别方法，旨在解决现有步态识别方法中实时性与准确性之间“鱼和熊掌不可兼得”的问题。

本发明解决其技术问题采用以下的技术方案：

本发明提供的基于傅里叶描述子和步态能量图融合特征的步态识别方法，具体是：对单帧图像实时采集侧面步态视频并进行灰度化预处理，使用融合混合高斯模型实时更新背景，并通过背景减除法获取前景；对每帧进行二值化、形态学处理，获取运动人体的最小外接矩，将运动人体所在区域从图像中分割出来，并归一化至同一高度，根据最小外接矩高宽比的周期性变化获取步态周期及关键5帧；提取关键5帧傅里叶描述子的低频部分作为步态特征一；中心化周期内所有帧以获取步态能量图，通过主成分分析降维作为步态特征二；融合步态特征一和步态特征二，得到最终描述子后，采用支持向量机进行识别。

所述的灰度化预处理，参照重要程度，即人眼对绿色敏感度最高，采用下式对RGB三分量进行加权平均得到灰度图像，

f(x,y)＝0.30R(x,y)+0.59G(x,y)+0.11B(x,y)

式中：f(x,y)为灰度化后点(x,y)的灰度值，R(x,y)、G(x,y)、B(x,y)分别为坐标(x,y)处红色、绿色和蓝色分量的值。

本发明采用以下方法使用融合混合高斯模型与背景减除法获取前景，该方法包括以下步骤：

(1)使用视频前t时刻的历史灰度图完成混合高斯模型初始化，即t时刻坐标(x,y)处像素取值为X_t的概率P(X_t)为：

式中：K为高斯分布的个数，一般取3-5；ω_i,t是第i个分布t时刻的权重估计值，n为X_t的维数，μ_i,t、∑_i,t分别为第i个分布t时刻的均差、协方差；

(2)将X_t与混合高斯模型一一进行匹配，如下式：

|X_t-μ_t|＜Dσ_t

式中：一般取D为2.5；σ_t为高斯分布的方差，若满足上式，则认为匹配成功，执行步骤(3)，否则执行步骤(4)；

(3)若匹配成功，则检查此高斯分布的权值是否满足下式：

ω_i,t＞1-T

式中：T为描述背景的最小权值比例，若满足该关系式，则此高斯分布被划分为描述背景的前B个高斯分布之一(B通常取3-5个)，在后续的操作中将不再执行更新；

(4)若匹配不成功，则按下式更新各高斯分布的参数：

式中：α为学习率，ρ为更新速度，分别为t时刻ω_i,t、μ_i,t、σ_i,t的估计值，作为t+1时刻的值；

(5)高斯分布更新完成后，根据归一化，按ω_i,t/σ_i,t的大小降序排列，取前B个分布作为背景模型，通过背景减除法获取当前前景。

本发明采用包括以下步骤的方法获取步态周期及关键5帧，具体为：

(1)使用形态学处理中的闭操作，消除前景中的空洞；

(2)获取运动人体所在的最小外接矩，具体为：

按行遍历整图，搜寻人体的最上和最下非零像素点，分别记录两点的纵坐标y_top、y_bottom；按列遍历整图，搜寻人体的最左和最右两像素，分别记录两点的横坐标x_left、x_right；将坐标(x_left,y_top)、(x_right,y_bottom)分别作为矩形框的左上角和右下角坐标，则这个矩形框即为包含人体的最小外接矩；

(3)截取前景中最小外接矩所对应的区域，保持矩形长宽比不变，缩放到同一高度H＝128像素，得到长宽一致且只含人体的前景区域，简称原图；

(4)根据人体宽高比的变化获取人的步态周期及关键5帧，具体为：

1)计算每一帧的高宽比k＝h/w，按时间先后存入数组{k₁，k₂，...，k_n}中；

2)从第一帧开始寻找k满足以下要求的五帧以获取步态周期：“极大值→极小值→极大值→极小值→极大值”，从第一个和第三个极大值处对视频序列分割，并将以上5帧作为关键5帧存储。

所述步态特征一，由以下方法获得，具体为：

(1)对所述关键5帧逐帧使用canny算子获取人体的外轮廓，将轮廓上的每一点表示为如下形式：z_i＝x_i+jy_i，其中x_n、y_n为轮廓上第n个的横纵坐标，j为虚数单位；

(2)设轮廓上共m个点，将这m点的z_i组成一个数列{z₁，z₂，...，z_m}，对该数列进行离散傅里叶变换，获得傅里叶描述子；

(3)提取前N个傅里叶描述子，作为步态特征一。

所述步态特征二，由以下方法获得，具体为：

(1)对所述的原图进行中心化处理；

1)计算未中心化的矩形区域水平方向的中心x_center，公式如下：

式中：N_d为矩形区域内表示人体的像素点总数，x_n表示未中心化人体区域的第n个像素点的x坐标；

2)将所述的原图扩展到同一宽度W，扩展部分用值为0的像素进行填充；

3)对原图中所有点按下式进行中心化移动：

式中：I_old(x，y)为原图坐标(x,y)处的像素值，I_new(x，y)为中心化后坐标(x,y)处的像素值；

(2)以步态周期为单位，获取每个周期的步态能量图：

式中：Q为当前周期内图像的帧数，I_i，t(x，y)为第t帧步态图像坐标(x,y)处的像素值，G(x,y)为步态能量图坐标(x,y)处的像素值，对整张图进行上述操作即可获得步态能量图G；

(3)对所有步态能量图使用2DPCA法进行降维处理，具体为：

1)获取投影矩阵A；

设测试样本(即步态能量图)G_k有M个，G_k∈R^128×w，k＝1，2，...，M,则平均图像矩阵图像的协方差矩阵为：定义J(A)＝tr(A^TC₀A)，现求取投影矩阵A(A为W×N的矩阵)，满足A＝argmax[J(A)]；

2)对步态能量图进行主成分提取，即对待降维步态能量图G_k进行投影，公式如下：

G′_k＝G_kA，

式中：G′_k为128×N的矩阵，即G_k投影后的特征矩阵。

本发明可以采用以下方法获得最终描述子：

将获取的关键帧的N个傅里叶描述子作一个1×N的行向量，共5帧即5行，与G′_k组成一个133×N的矩阵，作为最终描述子，记为F。

所述采用支持向量机进行识别，具体为：

(1)训练，使用“一对一”的决策函数构造策略，在任意两类样本之间设计一个二值分类器：

1)将视频库中待分两类行为的最终描述子F均分为n组(记做F₁，F₂，...，F_n)，其中n-1组作为训练集，并为之选定标签y_i，y_i∈{-1,1}，余下1组作为测试集；

2)通过训练集样本获取决策函数；

①采用径向基函数exp(||F_i-F_j||²/γ²)作为核函数，记为K(F_i，F_j)，其中0.001＜γ＜0.006；

②采用C-支持向量机模型作为二分类模型(C＝1000)，并构造拉格朗日函数L(w,b；α)；

式中：α＝(α₁,α₂,...,α_m)为拉格朗日乘子，1≤α_i≤C，1≤i≤m(m为待分类行为步态能量图的总数)；

③求解拉格朗日函数的鞍点(此处取得最大超平面距离)，通过对偶法，将L(w,b；α)关于w和b的最小值转化为求L(w,b；α)关于α的最大值，即求取满足下式的α^*：

④求取参数公式为：

⑤构造决策函数f(x)，其中

⑥将测试组步态能量图作为输入，使用步骤⑤中的决策函数进行分类，获取正确分类样本所占的比例；

3)使用交叉验证的方式获取最佳模型：对步骤1)中分好的n组，依次取其中1组作为测试集，剩余组作为训练集，重复步骤2)，获取正确分类比例最高对应的模型，将之作为该两类之间的二值分类器；

4)使用步骤1)～步骤3)所述方法为任意两类行为设计一个二值分类器；

(2)识别；

设类别i,j之间的决策函数为f_ij(x)(i≠j,j＝1,...,n)，若f_ij(x)＞0，则认为x属于类别i，即类别标记g_ij＝1；反之，属于类别j，即g_ij＝-1。根据上述原理，将待识别样本x进行分类时，计算取g_i(x)最大值对应的类别i，作为x的类别。

本发明提供上述的步态识别方法，其用途是：在智能监控领域中的应用。

所述的智能监控领域包括：智能小区、楼宇的出入身份识别，或者公共场合嫌疑人的快速识别与判断。

本发明与现有技术相比有如下主要的优点：

1.在前景分割中，使用混合高斯模型对背景进行更新，确保对背景的准确建模，进而实现准确的前景分割，同时为了确保算法的实时性，对混合高斯模型的更新机制进行了改进；

2.在步态特征的提取中，将一个完整的步态周期作为一个整体，提取出能代表整体的特征(步态能量图)及局部的特征(关键5帧的傅里叶描述子)并进行融合，具有很好的表征性和强鲁棒性；

3.在支持向量机的训练阶段，使用“一对一”的决策函数构造策略，为任意两类行为构造一个分类器，并使用交叉验证的方法进行检验，以确保所获得的分类器具有很好的分类效果。

4.将视频或摄像头获取的人的侧面步态图作为输入，借助于预先建立的步态特征库，就能够实现对当前人行为是否异常的精确判定。

总之，本发明通过从视频库或摄像头实时获取视频帧，并基于这些视频帧进行步态特征提取及降维，最终实现对当前人行为是否异常的判定；使用改进的混合高斯模型以确保对背景准确建模，同时具有较好的实时性；使用的融合特征具有强表征性和鲁棒性，能有效提高异常步态的识别率。

附图说明

图1为本发明步态识别方法流程图；

图2为本发明基于融合混合高斯模型与背景减除法获取前景的流程图；

图3为本发明实施例中不同角度中最小外接矩高宽比的波形图；

图4为本发明实施例中关键5帧获取的原理图；

图5为本发明实施例的支持向量机的训练与识别流程图。

具体实施方式

本发明涉及基于傅里叶描述子和步态能量图融合特征的步态识别方法，具体是：对单帧图像进行灰度化预处理，使用混合高斯模型实时更新背景，并通过背景减除法获取前景；对每帧进行二值化、形态学处理，获取运动人体的最小外接矩，并归一化至同一高度，根据最小外接矩高宽比的周期性变化获取步态周期及关键5帧；提取关键5帧傅里叶描述子的低频部分作为特征一；中心化周期内所有帧以获取步态能量图，通过主成分分析降维作为特征二；使用加法原则融合两个特征后采用支持向量机进行识别。

下面结合实施例及附图对本发明作进一步说明，应当理解，下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能成为对本发明的限制。

本发明提供的基于傅里叶描述子和步态能量图融合特征的步态识别方法的流程图，如图1所示，具体如下：

a.建立人体步态数据库；

CASIA步态数据库由中国科学院自动化研究所创建，是国内最完备的步态数据库，到目前为止该数据库包括三个子数据库:Dataset A(小规模库，即NLPR)、Dataset B(多视角数据库)和Dataset C(红外库)。其中，子数据库Dataset B为中科院自动化所在实验室环境下拍摄，距离较远且背景简单，创建于2005年1月，包含124个人，每人在三种行走条件下(普通、穿大衣及携带包裹条件)从11个视角(分别为0、18、...,180度)进行了步态数据采集，共13640个视频序列。本方法将Dataset B作为训练数据库，其使用见后期具体操作。

b.对训练数据库中所有侧面步态视频逐一灰度化处理，融合混合高斯模型与背景减除法获取前景，流程如图2所示，具体步骤如下：

b1.参照重要程度(人眼对绿色最敏感)，采用下式对RGB三分量进行加权平均得到灰度图像：

f(x,y)＝0.30R(x,y)+0.59G(x,y)+0.11B(x,y)

式中f(x,y)为灰度化后的像素值，R(x,y)、G(x,y)、B(x,y)分别为坐标(x,y)处红色、绿色和蓝色分量的值；

b2.使用视频前t时刻的历史灰度图像完成混合高斯模型的初始化，即t时刻坐标(x,y)处像素取值为X_t的概率为：

式中，K为高斯分布的个数，一般取3-5；ω_i,t是第i个分布t时刻的权重估计值，n为X_t的维数，μ_i,t、∑_i,t分别为第i个分布t时刻的均差、协方差；

b3.将X_t与混合高斯模型一一进行匹配，如下式：

|X_t-μ_t|＜Dσ_t

式中，D一般取2.5，σ_t为高斯分布的方差，若满足上式，则认为匹配成功，执行b31，否则执行b32；

b31.若匹配成功，则检查此高斯分布的权值是否满足下式：

ω_i,t＞1-T

式中，T为描述背景的最小权值比例，若满足该关系式，则此高斯分布被划分为描述背景的前B个(通常为3-5个)高斯分布之一，在后续的操作中将不再执行更新；

b32.若匹配不成功，则按下式更新各高斯分布的参数：

式中，α为学习率，ρ为更新速度，分别为t时刻ω_i,t、μ_i,t、σ_i,t的估计值，作为t+1时刻的值；

b4.高斯分布更新完成后，根据归一化，按ω_i,t/σ_i,t的大小降序排列，取前B个分布作为背景模型，通过背景减除法获取当前前景；

c.对每一帧进行二值化与形态学处理，获取运动人体所在的最小外接矩并分割、归一化到同一高度，根据最小外接矩高宽比的周期性变化(其波形如图3所示)，获取步态周期及关键5帧，流程图如图4所示，具体步骤为：

c1.使用形态学闭操作消除前景中的空洞；

c2.获取运动人体所在的最小外接矩；

c3.截取前景中最小外接矩所对应的区域，保持高宽比不变，缩放到同一高度H＝128像素；

c4.根据人体高宽比的变化获取人的步态周期及关键5帧：

c41.计算每一帧的高宽比k＝h/w，按时间先后存入数组{k₁，k₂，...，k_n}中；

c42.从第一帧开始寻找k满足以下要求的五帧以获取步态周期：“极大值→极小值→极大值→极小值→极大值”，从第一个和第三个极大值处对视频序列分割，并将以上5帧作为关键5帧存储；

d.对步骤c中获取的关键5帧逐帧提取傅里叶描述子，截取其低频部分作为描述特征一，具体步骤为：

d1.对c42中获得的关键5帧逐帧使用canny算子获取人体外轮廓，并将轮廓上的每一点表示为z_i＝x_i+jy_i形式，其中x_n、y_n为轮廓上第n个的横纵坐标，j为虚数单位；

d2.设轮廓上共m个点，将这m点的z_i组成一个数列{z₁，z₂，...，z_m}，对该数列进行离散傅里叶变换，即可获得傅里叶描述子；

d3.傅里叶描述子具有低频集中性，因此提取前N个傅里叶描述子(低频部分)即可对轮廓进行较好的表征，且在N小于轮廓点总数前，N越大表征越准确，因此本发明中N的值将根据具体情况来确定；

e.对周期内的每一帧进行中心化处理后获取步态能量图，并基于主成分分析法(2DPCA)进行降维，作为特征二，具体步骤为：

e1.对c42获取的步态周期内的每一帧进行中心化处理，具体为：

e11.计算未中心化的矩形区域水平方向的中心x_center；

e12.将原图(未中心化)扩展到同一宽度W，扩展部分用值为0的像素进行填充；

e13.对原图中所有点按下式进行中心化移动：

式中，I_old(x，y)为原图坐标(x,y)处的像素值，I_new(x，y)为中心化后坐标(x,y)处的像素值；

e2.以步态周期为单位，获取每个周期的步态能量图，公式如下：

式中，Q为当前周期内图像的帧数，I_i，t(x，y)为第t帧步态图像坐标(x,y)处的像素值，G(x,y)为步态能量图坐标(x,y)处的像素值，对整张图进行上述操作即可获得步态能量图G；

e3.对所有步态能量图使用2DPCA法进行降维处理，具体为：

e31.获取投影矩阵A；设测试样本(即步态能量图)G_k有M个，G_k∈R^128×w，k＝1，2，...，M，则平均图像矩阵图像的协方差矩阵为：定义J(A)＝tr(A^TC₀A)，现求取投影矩阵A(A为W×N的矩阵)，满足A＝argmax[J(A)]；

e32.对步态能量图进行主成分提取，即对待降维步态能量图G_k进行投影，公式如下：

G′_k＝G_kA，

式中G′_k为128×N的矩阵，即G_k投影后的特征矩阵；

f.将特征一与特征二进行融合，得到最终描述子：

将获取的关键帧的N个傅里叶描述子作一个1×N的行向量，共5帧即5行，与G′_k组成一个133×N的矩阵，作为最终描述子，记为F；

g.使用支持向量机进行识别，其实现包含2个部分：使用视频库中视频训练支持向量机和输入待检测样本进行识别，流程如图5所示，具体步骤如下：

g1.训练，使用“一对一”的决策函数构造策略在任意两类样本之间设计一个二值分类器：

g11.将待分类的两行为视频序列使用步骤b-f中方法获取每段视频序列的最终描述子F；

g12.按5:1将最终描述子分为训练集和测试集，并为训练集选定标签y_i,y_i∈{-1,1}，通过训练集样本获取决策函数f_ij(x)；

g13.使用交叉验证的方法获取最佳模型，即按g12中比例分组，每1组轮流作为测试集、其余5组作为训练集，通过训练集获取决策函数f_ij(x)后，将测试集作为输入并获取正确分类比例，选择正确率最高对应的模型作为该两类行为之间的二值分类器；

g14.重复步骤g11-g13，为任意两类行为设计一个二值分类器，并将所有分类器进行组合得到最终分类器；

g2.输入待检测样本进行识别，具体为：

g21.将待检测视频按步骤b-f获取最终描述子；

g22.设类别i,j之间的决策函数为f_ij(x)(i≠j,j＝1,...,n)，若f_ij＞0，则认为x属于类别i，即类别标记g_ij＝1；反之，属于类别j，g_ij＝-1。根据上述原理，将待识别样本x进行分类时，计算取g_i(x)最大值对应的类别i，作为x的类别。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。