一种基于超限学习机的步态识别方法与流程

本发明属于模式识别技术领域，具体涉及一种基于超限学习机与动作能量图的步态识别方法。

背景技术：

近年来，生物特征识别技术的广泛研究和应用，有力地促进了安全防范系统的智能化水平的提高与进步，作为生物特征的一种，步态是指人走路的姿态和方式，是一种可以通过视频获取的重要生物特征。相较于其他生物特征，采用步态作为生物特征可以在低分辨率的视频图像中对人身份进行辨识。不需要被监测人的配合及肢体上的物理接触。同时步态难以伪装、模仿或隐藏，并具有非侵犯性的特点。基于以上优点，步态可广泛应用于监狱、机场、银行等特殊场所的访问控制和安全鉴定，在智能视觉监控方面也具有潜在的应用价值。此外，步态还能协助公安机关刑事侦查以及进行特定目标搜寻等。

当前，步态识别研究领域涌现了许多有价值的方法，但都存在一个不可避免的问题，即识别精度与计算效率的平衡问题。已有的很多步态识别方法，虽然可以达到很高的识别率，但同时也承担着巨大的计算负荷，难以在实际监控环境中推广使用。

技术实现要素：

本发明的目的是克服现有步态识别技术存在的计算效率与识别精度不能共存的问题，实现计算效率与识别精度的优化平衡，提出一种更为快速准确的基于超限学习机的步态识别方法

本发明解决其技术问题所采用的技术方案如下：

步骤1.步态检测；

所述步态检测，用于获取标准大小的运动目标图像序列，包括以下步骤：

1-1.获得步态运动目标轮廓序列；

1-1-1.采用中值滤波的方式从步态视频序列中重构背景图像；

设i是一个包含n帧的步态视频序列，i^t表示步态视频序列中的第t幅图像；则背景图像b(x,y)表达为：

1-1-2.利用当前视频帧图像与背景图像b(x,y)进行差分运算，获得步态二值图像序列，其计算公式表达为：

其中，ε为设定的阈值，r^t(x,y)为第t帧的步态二值图像，其中1表示步态运动区域，0表示背景；

1-1-3.形态学处理；

采用膨胀、腐蚀和区域填充等方法对步态二值图像序列中的每一帧步态二值图像r^t(x,y)进行形态学处理；

1-1-4、连通区域分析；

对经过形态学处理的步态二值图像序列运用连通区域分析方法进一步去除噪声获得连通的运动目标区域；

1-1-5、检测步态运动目标区域；

使用canny算子检测运动目标区域，获得步态运动目标轮廓序列。

1-2.图像标准化；

1-2-1.提取步态二值图像序列中每一帧的运行目标图像，并将其中的冗余帧图像与干扰帧图像去除，获取运动目标图像序列；

1-2-2.将运动目标图像序列中的每一帧图像统一标准大小；

步骤2.特征提取；

所述特征提取，用于获得具有良好表征性的步态特征参数，包括以下步骤：

2-1.提取步态周期；

2-1-1.计算运动目标图像序列的有效帧中运动目标的宽高比；

2-1-2.获取运动目标图像序列的周期与关键帧；

通过运动目标侧影的宽高比，对步态的周期进行分析从而获得完整的步态周期图像序列。

2-2.提取动作能量图；

对于已获得的步态周期图像序列f＝{f0,f1,…,fn-1},ft表示步态周期图像序列中的第t帧图像，n表示单周期步态序列的帧数，计算相邻2帧间的帧差图dt(x,y)。

其中，ft(x,y)表示步态周期图像序列中的第t帧图像的所有像素点。

动作能量图(aei)可以定义为：

2-3.通过2维主成分分析进行降维；

2-3-1.通过2维主成分分析算法获得投影矩阵；

用投影后向量的总离散度作为准则函数j(x)来衡量投影矩阵x的优劣，采用的准则如下:

j(x)＝tr{sx}

其中，sx表示训练样本投影特征向量y的协方差矩阵，tr{sx}代表sx的迹，当准则j(x)取得最大值时使得投影后所得特征向量的总体散布矩阵(即样本类间散布矩阵)最大化。矩阵sx的迹可以记为:

tr{sx}＝tr{e[(y-ey)(y-ey)^t]}

＝tr{e[(ax-e(ax))(ax-e(ax))^t]}

＝tr{x^te[(a-ea)^t(a-ea)]x}

定义图像的协方差矩阵g

g＝e[(a-ea)^t(a-ea)]

g是一个n*n大小的非负正定矩阵,通常可以直接利用训练样本来计算g.假设有m幅m*n大小的测试样本图像ak，其平均图像矩阵为

则g可以被估计为:

准则j(x)又可以写为:

j(x)＝tr(x^tgx)

准则函数,j(x)最大的x中的每个列向量是由与协方差矩阵g的r个非零特征值对应的前面最大的d个特征向量组成，即投影矩阵x：

2-3-2.获得动作能量图的主成分向量和特征矩阵；

在获得投影矩阵x＝(x1,…,xd)后就可以对动作能量图进行降维，对给定的动作能量图a,可以得到如下公式:

yk＝axkk＝1,…,d

进而得到一组投影后的特征向量y1,…,yd，yk称为动作能量图a的主成分分量。

步骤3所述采用超限学习机进行分类识别，用于对所提取的特征进行分类和预测，包括以下步骤：

3-1.构建核超限学习机神经网络模型；

构建的由一个输入层、一个隐含层和一个输出层组成的神经网络模型结构。

3-2.训练核超限学习机神经网络；

将训练集输入到核超限学习机神经网络中进行训练以确定神经网络模型所需的参数。

3-3.分类识别；

将测试集输入到训练好的核超限学习机神经网络中进行测试。

本发明有益效果：

1、本发明将超限学习机算法应用于人体步态识别，相比与当下较流行的方法，超限学习机有着学习速度更快、泛化性能更强、分类准确度更高的突出优势。核超限学习机(kelm)作为一种基于核的超限学习机，其优势更加突出。核超限学习机不仅可调参数少，性能更加稳定，而且学习速度也进一步提高。

2、本发明方法首次联合使用了动作能量图特征和超限学习机算法，并应用于人体步态识别。动作能量图将单一周期的帧差步态图像合成为一幅图像，能够保留了轮廓、频率、相位等步态信息。同时减轻了图像质量低，衣着和负重的影响。

3、本发明通过将动作能量图特征和超限学习机算法相结合，弥补了动作能量图维数较高，速度较慢的缺点，同时保证了动态能量图的识别率，实现了计算速度与识别精度的优化平衡。

附图说明

图1为本发明实施例的步态识别方法的流程图；

图2为本发明实施例的步态运动目标轮廓提取的流程图；

图3(a)、图3(b)、图3(c)、图3(d)均为本发明实施例的背景建模与形态学处理结果示意图；

图4(a)和图4(b)均为本发明实施例的运动目标轮廓提取的结果示意图；

图5为本发明实施例的步态周期示意图；

图6为本发明实施例的步态帧差二值图像；

图7为本发明实施例的不同对象的动作能量图；

图8为本发明实施例的构建的神经网络模型图；

图9为本发明实施例的构建的神经网络模型的参数配置；

图10为本发明实施例与其他方法的比较结果

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明实施例的步态识别方法的流程图，包括以下步骤：

步骤1.步态检测；

所述步态检测，用于获取标准统一大小的运动目标轮廓序列，包括以下步骤：

1-1.获得步态运动目标轮廓序列；

目前常用的运动目标检测方法包括背景减除法、时间差分法、运动能量检测法和光流法等。背景减除法具有实现简单，运算速度快，在大多数情况下检测结果较好的突出优点。因此采用背景减除法步态运动区域。

如图2所示，为本发明实施例的运动目标轮廓提取流程图，包括以下步骤：

1-1-1.采用中值滤波的方式从步态视频序列中重构背景图像；

设i是一个包含n帧的步态视频序列，i^t表示步态视频序列中的第t幅图像；则背景图像b(x,y)表达为：

图3(a)所示，为本发明实施例中步态视频序列中其中的一帧灰度图，如图3(b)所示，为本发明实施例中重建的背景图像。

1-1-2.利用当前视频帧图像与背景图像b(x,y)进行差分，获得步态二值图像序列；设置阈值ε以检测步态运动区域，其计算公式表达为：

其中，ε为设定的阈值，r^t(x,y)为第t帧的步态二值图像，其中1表示步态运动区域，0表示背景；如图3(c)所示，为本发明实施例中二值图像。

1-1-3.形态学处理；

由于图像中通常包含一些由影子、光照等原因造成的非背景噪声点，步态二值化图像可能会出现空洞、噪声以及边缘毛刺等问题，可以采用膨胀、腐蚀和区域填充的方式对步态二值图像进行形态学处理；膨胀是将与目标物体相连的背景像素合并到目标中，使目标的边界向外部扩张。腐蚀运算可以使图像中的目标“收缩”或“细化”，主要用来消除一些小而无意义的目标物。区域填充主要是用来填充可能出现的采用膨胀不能有效处理的较大空洞。

1-1-4、连通区域分析；

连通区域分析能够有效去除较大的噪声区域，对经过形态学处理的步态二值图像运用连通区域分析方法获得连通的运动目标区域图像；如图3(d)所示，为本发明实施例中连通的运动目标区域。

1-1-5、检测步态运动目标区域；

使用canny算子检测运动目标区域，获得步态运动目标轮廓序列。canny算子是一种比较新的边缘检测算子，具有很好的边缘检测性能，不容易受噪声干扰，能够检测到真正的弱边缘。

1-2.图像标准化；

为了降低复杂性，以及消除由摄像机焦距变化带来的人体侧影大小不统一的影响，对步态二值图像序列的每一帧进行标准化，使步态二值图像序列中的所有帧统一变为160*80像素的大小。

1-2-1.提取步态二值图像序列中每一帧的运动目标图像，获取运动目标图像序列。同时提取步态运动目标轮廓序列。将运动目标图像序列与步态运动目标轮廓序列中的冗余帧图像与干扰帧图像去除。

1-2-2.将运动目标图像序列中和步态运动目标轮廓序列的每一帧图像变为160*80像素标准大小。在本发明实施例中得到的160*80像素大小的运动目标图像中的某一帧图像如图4(a)所示。在本发明实施例中得到的步态运动目标轮廓序列中的某一帧图像如图4(b)所示。

步骤2.特征提取；

所述特征提取，用于获得具有良好表征性的步态特征参数，包括以下步骤：

2-1.提取步态周期；

从步态视频序列中可以看出，步态是一种具有周期性的时变数据，步态周期可以定义为同一只脚前后两次着地的时间间隔，也就是指从双腿并拢到迈开一条腿，再经过一次双腿并拢到迈开另一条腿，直到再一次双腿并拢的过程。人在行走过程中，轮廓的高度和宽度的变化呈现一定的周期性。当双腿并拢时，步态的高度最大，宽度最小；当双腿分开时，步态高度最小，宽度则最大。因此本文采用计算运动目标序列中的宽高比对人体步态进行分析，得到步态周期，最终得到完整的步态周期图像序列。

2-1-1.计算运动目标图像序列中运动目标的宽高比；

2-1-2.获取运动目标图像序列的周期与关键帧；

在本发明实施例中得到运动目标图像序列的周期与关键帧如图5所示。其中两个完整的波峰为一个步态周期，极大值与极小值点为关键帧位置。

通过运动目标图像中步态区域的宽高比，对步态视频序列进行分析，获得步态周期，进而得到完整的步态周期图像序列。

2-2.提取动作能量图；

对于已获得的步态周期图像序列,f＝{f0,f1,…,fn-1},ft表示步态周期图像序列中的第t帧图像，n表示单周期步态序列的帧数，计算相邻2帧间的帧差图dt(x,y)，如图6所示:

动作能量图(aei)可以定义为：

动态能量图包含了人体步态的大部分动态信息，它的每个像素点的强度表示了行走过程中动态部分在该像素点出现的频率。动作能量图很好的反应了运动部分的时序特征，减轻了图像质量低，衣着和负重的影响。不同目标的动作能量图如图七所示；

2-3.通过2维主成分分析进行降维；

2维主成分分析(2dpca)，也被称为广义主成分分析，是一种直接基于图像矩阵的包含在类平均图像中的判别信息的最优压缩技术。与传统的主成为分析算法(pca)的不同之处在于，2维主成分分析算法是以图像矩阵为分析对象；而pca算法则是以图像的1维向量为分析对象。因此，2dpca算法在图像特征提取之前不必通过降维来构造图像的协方差矩阵，而是直接利用图像矩阵来计算图像协方差矩阵的特征向量。

2-3-1通过2维主成分分析算法获得投影矩阵

对于一个像素大小为m*n的图像a，其投影矩阵为x＝r^n*d(n≥d)，将图像矩阵a投影到x，将产生一个m*d大小的矩阵，即

y＝ax

x为投影轴(即投影矩阵),y是图像a的投影特征向量。其最佳投影轴x可以根据特征向量y的散布情况来决定。在2dpca方法中，可用投影后向量的总离散度作为准则函数j(x)来衡量投影矩阵x的优劣，采用的准则如下:

j(x)＝tr{sx}

其中，sx表示训练样本投影特征向量y的协方差矩阵，tr{sx}代表sx的迹，当准则函数j(x)取得最大值时，它的物理意义为:找到一个将所有训练样本投影到投影轴x，使得投影后所得特征向量的总体散布矩阵(即样本类间散布矩阵)最大化。矩阵sx的迹可以记为

tr{sx}＝tr{e[(y-ey)(y-ey)^t]}

＝tr{e[(ax-e(ax))(ax-e(ax))^t]}

＝tr{x^te[(a-ea)^t(a-ea)]x}

定义图像的协方差矩阵g

g＝e[(a-ea)^t(a-ea)]

g是一个n*n大小的非负正定矩阵,通常可以直接利用训练样本来计算g.假设有m幅m*n大小的测试样本图像ak，其平均图像矩阵为

则g可以被估计为:

而准则函数j(x)又可以写为:

j(x)＝tr(x^tgx)

x是归一正交化列向量(只有一个列向量的投影矩阵)。这个准则叫做广义总体散布准则。而x就是使准则j(x)最大化的最佳投影轴。其物理意义是:矩阵在轴上投影后所得特征向量的总体分散程度最大。

实际上，该最佳投影轴即为与图像总体散布矩阵的最大特征值所对应的单位特征向量。但是一般而言只选择一个最佳投影轴是不够的，通常要选取一系列的标准正交化投影轴。可以证明，准则函数,j(x)最大的x中的每个列向量是由与协方差矩阵g的r个非零特征值对应的前面最大的d个特征向量组成，即投影矩阵x：

2-3-2.获得动作能量图的主成分向量和特征矩阵

在获得投影矩阵x＝(x1,…,xd)后就可以对动作能量图进行降维，对给定的动作能量图a,可以得到如下公式:

yk＝axkk＝1,…,d

进而得到一组投影后的特征向量y1,…,yd，yk称为动作能量图a的主成分分量。2dpca算法选取了d个主成分向量可以组成一个m*d大小的矩阵，称为动作能量图a的特征矩阵或特征图。

在本发明实施例中，上文已经将得到的步态周期图像序列进行了标准化，所有图像变为160*80像素大小，因此获得的动作能量图的大小仍为160*80像素。根据2dpca算法，在本发明实施例中共选取了10个主成分分量，所以获得了一个160*10大小的特征矩阵。为了方便后续的分类工作，将该特征矩阵变为一个1*1600的特征向量。

按照步骤1与步骤2获得不同对象的全部特征向量。

步骤3所述的采用核超限学习机分类识别，具体实现如下：

超限学习机算法(elm)是一种单隐层前馈神经网络的快速机器学习方法。elm最主要的特点是输入层与隐含层间的连接权值和隐含层神经元的阂值都是随机产生，在接下来的整个训练中不需要更新，那么这个网络中不需要再设定过多的参数，只要确定了隐含层节点数，就可获得唯一最优解，该算法不但拥有良好的泛化性能还具有通用逼近以及分类能力。

核超限学习机算法(kelm)在基于随机映射的超限学习机的基础之上，将核函数引入到该算法中，来构成具有最小平方最优解的超限学习机，以便可以获得更好的性能。带有核函数的超限学习机算法具有收敛速度快，泛化性及延伸性能好等优点。

3-1.构建核超限学习机神经网络模型；

如图8所示，构建的神经网络模型结构主要由一个输入层、一个隐含层和一个输出层组成。其中隐藏层包含l个神经元，输入层与隐藏层之间设置输入权重wi和隐层的偏置bi，隐藏层与输出层之间存在输出权重β。如图9所示，为实施例中隐藏层的神经元数设置和激活函数。

3-2.训练核超限学习机神经网络；

将核超限学习机的单层神经网络的结构搭建好后，就要对网络结构进行训练。训练的目的在于优化网络参数得到最佳的权重和偏置值，接着利用这些训练好的权重和偏置值对神经网络进行配置，最后被配置的神经网络能够进行具有一定准确率的步态识别分类。

对于一个单隐层神经网络如图，假设有n个任意的样本(xi,ti)，其中xi＝[xi1,xi2,…,xin]^t∈rⁿ，ti＝[ti1,ti2,…,tim]^t∈r^m。对于一个有l个隐层节点的单隐层神经网络可以表示为:

其中，g(x)为激活函数，wi＝[wi1,wi2,…,win]^t为输入权重，βi输出权重，bi是第i个单隐层单元的偏置。wi·xj表示wj和xjj的内积。若单隐层神经网络学习的目标使得输出的误差最小，可以表示为:

即存在βi,wi和bi使得:

可以矩阵表示为:

hβ＝t

其中，h是隐藏层节点的输出，β为输出权重，t为期望输出。

为了能够训练单隐层神经网络，我们希望得到和使：

等价于最小损失函数

一旦输入权重wi和隐藏层的偏置bi被随机确定，隐藏层的输出矩阵h就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统hβ＝t。并且输出权重β可以被确定为：

其中，h⁺是矩阵的moore-penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

对于带核超限学习机来说，将正则化系数引入到学习算法的系统中，这样可以使学习能力更加稳定。

首先向超限学习机中引入了一个正则项系数γ(γ＞0)。假设h^th是非奇异的，则在计算输出权值向量β时，将系数γ加入到h^th矩阵的对角线中，使得相应的正则化超限学习机的输出函数为:

定义核超限学习机中的核矩阵ωelm为:

ωelm＝hh^t

则输出函数f(x)可以写作：

构造核超限学习机模型，则隐含层的特征映射h(x)不需要被使用者知晓，取而代之的是计算其相应的核k(u,v)。核超限学习机中的核函数有多种，如多项式核函数、高斯核函数、线性核函数、小波核函数等。

将步骤1与步骤2得到的三分之二的特征数据作为训练集输入到核超限学习机神经网络中进行训练以确定神经网络模型所需的参数。

3-3.分类识别

在完成神经网络的搭建和训练之后，需要对采集到的动作能量图特征数据进行分类识别，验证本发明实施例的步态识别性能。在本发明实施例中，使用中国科学院casia步态数据库验证了本发明实施例的步态识别方法的识别性能。从中国科学院自动化所的casiadatasetb步态数据库中，随机抽取其中40个人，其中每个人侧面视角下有6个图像序列，每个视频序列约包含2-3个步态周期，这些彩色视频序列的帧率是25帧/s，图像尺寸为320x240像素，长度也都在100帧左右。在实施例中用总数据的三分之二的特征数据用来训练卷积神经网络，总数据的三分之一的特征数据用来进行测试。

在上述步态数据库中，在侧面视角的状态下进行实验，采用不同的方法分类，进行分析对比，其实验结果如图10所示。由上述识别结果可以看出，本发明的步态特征具有很好的表征性，其原因在于动作能量图特征包含了人体步态的大部分动态特征和部分静态特征，特征信息比较完全，因此识别性能良好。而通过实验结果可以看出相比较于传统的分类方法超限学习的计算效率更快，泛化性能更好，用更短的时间实现了更好的结果。本发明将动作能量图与核超限学习结合起来实现了动作能量图与核超限学习机之间优势互补，在取得了较高的识别率基础上，提高了运算速度，实现计算效率与识别精度的优化平衡。通过本发明能够有效地提高步态身份认证的识别率和计算速度，可以应用于各种场合的视觉监控系统。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。