加权融合三通道特征步态表征方法与流程

本发明属于模式识别技术领域，具体涉及一种加权融合三通道特征步态表征方法。

背景技术：

步态识别是近年来计算机视觉和生物特征识别领域一个备受关注的研究方向，它旨在根据人走路的姿势进行身份识别^[1]。与其他生物特征识别技术相比，步态识别是生物特征识别中唯一可以远距离识别的方法。并且，步态的非接触性、不易伪装、远距离等优点，在智能视频监控中有很大的应用前景。

然而，行人在行走过程中会受到外在环境和自身因素的影响，例如不同行走路面、不同分辨率、不同视角、不同服饰、不同携带物等因素。在上述影响因素存在的条件下，步态表征差异给步态识别带来困难。可以通过完备步态表征，尽可能提取有益于识别的步态信息，解决在不同行走条件下步态识别率低的问题。

为了完备步态表征，国内外提出了很多基于类能量图的步态表征方法。类能量图法不需要考虑人体模型结构和计算人体各部分的精确参数，它是周期性时空步态特征按照一定规则的累积类。类能量图法在步态识别中得到广泛的应用。经典的类能量图法主要有：a.信息累计法：2006年，han等人^[2]提出步态能量图，将归一化的一个周期图像能量的叠加，像素的浓度为在该像素位置人体运动的能量，但这种方法的光流能量图(gfi)丢失前后帧联系的运动特征。2014年，lee等人^[3]提出一种步态运动模式的统计学描述。计算步态周期中每帧每个像素的二项分布，所有像素的均值和方差的累积得到步态概率图，但该方法同样缺少帧间的时序特征。b.动态信息引入法：2011年，lam等人^[4]将光流场引入到能量图中，提出的步态流图很好的表征了步态信息，但该计算复杂度较高。c.信息融合法：陈实等人^[5]提出彩色步态运动历史图描述步态的时空信息。它将单足站立为起点的单步周期长的单步运动历史图、对侧足站立为起点的单步周期长的单步运动历史图和一个步态周期内的步态能量图三种灰度图像分别分配给r、g、b三个通道，实现数据的融合。2014年，hofmann等人^[6]实现了深梯度直方能量图和步态能量图决策级融合，但丢失了部分步态信息。

与发明相关的公开报道包括：

[1]贲晛烨,徐森,王科俊.行人步态的特征表达及识别综述[j].模式识别与人工智能,2012,25(1):71-81.

[2]hanj,bhanub.statisticalfeaturefusionforgait-basedhumanrecognition[c],proceedingsofthe2004ieeecomputersocietyconferenceoncomputervisionandpatternrecognition(cvpr),washington,dc.ieee,2004:ii-842-ii-847.

[3]leecp,tanawc,tansc.gaitprobabilityimage:aninformation-theoreticmodelofgaitrepresentation[j],journalofvisualcommunicationandimagerepresentation,2014,25(6):1489-1492.

[4]lamthw,cheungkh,liujnk.gaitflowimage:asilhouette-basedgaitrepresentationforhumanidentification[j],patternrecognition,2011,44(4):973-987.

[5]陈实,马天骏,黄万红等.用于步态识别的多层窗口图像矩[j],电子与信息学报,2009,31(1):116-119.

[6]hofmannm,geigerj,bachmanns,etal.thetumgaitfromaudio,imageanddepth(gaid)database:multimodalrecognitionofsubjectsandtraits[j],journalofvisualcommunicationandimagerepresentation,2014,25(1):195-206.

技术实现要素：

本发明的目的是解决现有技术中不同行走状态下步态表征不完备带来的识别率低的问题，即测试步态的行走状态与注册步态的行走状态不匹配时，识别性能明显下降的问题，提供一种加权融合三通道特征步态表征方法。

本发明解决上述技术问题采取的技术方案如下。

加权融合三通道特征步态表征方法，步骤如下：

步骤一、采用码本检测方法从步态视频流中获取行人的二值化轮廓序列，并将每帧图像标准中心化；

步骤二、根据行人在行走中两腿分离程度的周期性，检测非正面步态周期，并在一个周期中采用光流能量图提取步态的整体特征；

步骤三、将每帧步宽时序信息编码到rgb三通道，并将步宽信息投影到光流能量图中，得到rgb三通道的步态表征图像；

步骤四、对r通道和g通道的特征进行典型相关分析(cca)，得到的两个向量进行加权融合，将融合后的结果与b通道特征进行典型相关分析，得到的两个向量进行加权融合。

进一步的，所述步骤一中，每帧图像标准中心化是将二值化轮廓序列中的行人人体居中，每帧图像统一大小。

进一步的，所述步骤二中，非正面步态周期检测公式为：

式中，gi为第i帧步态图像腿部区域平均宽度，h1和h2分别为某帧前景图像中人的脚踝和膝盖的人体测量学高度，ri和li分别为第j行中属于前景的最左边和最右边的像素位置。

进一步的，步骤二中，在一个周期中采用光流能量图提取步态的整体特征的公式为：

式中，ufi(x,y)和vfi(x,y)分别为水平方向和垂直方向的光流场；n为一个步态周期中包含的步态帧数；i为时间，(x,y)为二维图像平面坐标。

进一步的，所述步骤三中，将每帧步宽时序信息编码到rgb三通道的公式为：

式中，pi为步宽信息，gi由公式(1)求得，gmax和gmin分别为腿部区域平均宽度的最大和最小值，i为图像最大的强度值。

更进一步的，i为1或255。

进一步的，所述步骤三中，将步宽信息投影到光流能量图中的公式为：

式中，为1/4步态周期内的rgb三通道的步态表征图像，p为1/4步态周期包含的帧数，fi(x,y)为第i帧的步态流图，pi为第i帧的步宽信息，b(·)、g(·)和r(·)为时序信息编码到rgb颜色空间的三个通道。

进一步的，所述步骤四中，典型相关分析的定义如下：x＝{x1,x2,...,xn},和y＝{y1,y2,...,yn},分别为两组0均值随机向量，典型相关分析旨在寻找两个投影方向和目标函数为：

利用拉格朗日乘子法解决式(5)的优化问题：

求解式(6)，最大特征值对应的特征向量即为投影向量，选取前d(d≤min(nx,ny),d≤n)对组成投影矩阵wx＝[px1,px2,...,pxd]^τ和wy＝[py1,py2,...,pyd]^τ，提取x和y之间的典型相关特征u＝wxx和v＝wyy。

进一步的，所述步骤四中，对r通道和g通道的特征进行典型相关分析，得到的两个向量进行加权融合，采用的公式为：

式中，r1、g1分别是r通道和g通道的原始特征，r2、g2分别是r通道和g通道的新特征向量，分别是对r1、g1进行典型相关分析得到的投影矩阵，α、β均为加权系数，满足α+β＝1。

进一步的，所述步骤四中，将融合后的结果与b通道特征进行典型相关分析，得到的两个向量进行加权融合，采用的公式为：

式中，b1是b通道的原始特征，w2和b2为两组新特征向量，分别是对w1、b1进行典型相关分析得到的投影矩阵，γ、δ均为加权系数，满足γ+δ＝1。

与现有技术相比，本发明的有益效果为：

本发明的加权融合三通道特征的步态表征方法能够提取更有益于识别的分类信息，有效地去除原始的三通道步态表征的冗余信息，解决了现有步态特征信息表征不充分的问题，以及现有像素级融合造成的特征缺失问题，在不同行走状态下步态表征完备，对表征非正面周期步态序列有效，识别率高。

附图说明

图1为本发明提供的加权融合三通道特征步态表征方法的流程图。

图2为本发明实施例1的加权融合三通道特征步态表征方法提取的行人步态轮廓。

图3为本发明实施例1的人体测量学高度图。

图4为本发明实施例1的加权融合三通道特征步态表征方法的步态周期检测结果。

图5为本发明实施例1的加权融合三通道特征步态表征方法的一个周期的二值步态序列。

图6为本发明实施例1的加权融合三通道特征步态表征方法的一个步态周期的步态流图。

具体实施方式

以下结合附图和实施例进一步说明本发明。

如图1所示，本发明的加权融合三通道特征的步态表征方法，步骤如下：

步骤一、图像的获取与处理

对每一个人在不同行走状态下的步态视频流，通过建立码本模型对前景区域聚类，得出前景区域，并归一化处理为使人体轮廓居中，将图像的大小统一，通常为64×64像素；

步骤二、提取步态整体特征

步骤2.1、根据步态视频流中每帧图像标准中心化后图形中，人在行走中两腿分离的程度的周期性，检测非正面步态周期，检测公式为：

式中，gi为第i帧步态图像腿部区域平均宽度；h1和h2分别为某帧前景图像中人的脚踝和膝盖的人体测量学高度；ri和li分别为第i行中属于前景的最左边和最右边的像素位置；

步骤2.2、在一个周期中采用光流能量图提取步态的整体特征，公式为；

式中，ufi(x,y)和vfi(x,y)分别为水平方向和垂直方向的光流场；n为一个步态周期中包含的步态帧数；i为时间，(x,y)为二维图像平面坐标。

步骤三、获得rgb三通道的步态表征图像

步骤3.1、将每帧步宽时序信息编码到rgb三通道，公式为：

式中，pi为步宽信息，gi由公式(1)求得，gmax和gmin分别为腿部区域平均宽度的最大和最小值，i为图像最大的强度值，如1或255。

步骤3.2、将步宽信息投影到光流能量图中，获得rgb三通道步态表征图像，公式为：

式中，为1/4步态周期内的rgb三通道的步态表征图像，p是1/4步态周期包含的帧数，fi(x,y)为第i帧的步态流图，pi为第i帧的步宽信息，b(·)、g(·)和r(·)为时序信息编码到rgb颜色空间的三个通道。

步骤四、rgb三通道融合

步骤4.1、采用典型相关分析对r通道和g通道的特征进行处理，得到的两个向量进行加权融合，公式为；

式中，r1、g1分别为r通道、g通道的原始特征，r2、g2为得到的两组新特征向量，分别为对r1、g1进行典型相关分析得到的投影矩阵，α、β均加权系数，满足α+β＝1。

步骤4.2、将融合后的结果与b通道特征进行典型相关分析，得到的两个向量进行加权融合，采用的公式为：

式中，b1为b通道的原始特征，w2、b2为得到的两组新特征向量，分别是对w1、b1进行典型相关分析得到的投影矩阵，γ、δ均为加权系数，满足γ+δ＝1。

上述技术方案的步骤四中，典型相关分析的定义如下：x＝{x1,x2,...,xn},和y＝{y1,y2,...,yn},分别为两组0均值随机向量，典型相关分析旨在寻找两个投影方向和目标函数为：

利用拉格朗日乘子法解决式(5)的优化问题：

求解式(6)，最大特征值对应的特征向量即为投影向量，选取前d(d≤min(nx,ny),d≤n)对组成投影矩阵wx＝[px1,px2,...,pxd]^τ和wy＝[py1,py2,...,pyd]^τ，提取x和y之间的典型相关特征u＝wxx和v＝wyy。

实施例1

为证明本发明提供的加权融合三通道特征的步态表征方法对步态序列运动信息的表征能力，以下结合实施例对本发明的表征方法进行测试。

测试样本：使用usfhumanid步态数据集(usfhumanid步态数据集是远距离复杂背景下拍摄的室外步态视频，提取的侧面轮廓的质量较差)。采集122个人在不同条件的视频数据：采集视角(r/l)，左右两个摄像头的光轴方向夹角约30°，走在水泥/草地(c/g)，背/不背包(bf/nb)，穿不同的鞋(a/b)，不同的采集时间(t)；划分为多个不同的组，具体划分如表1所示。

表1usf数据库情况

测试方法，步骤如下：

步骤一、图像的获取与处理

如图2所示，对数据集中每一个人在不同行走状态下的视频，通过建立码本模型对前景区域聚类，得出前景区域，并归一化处理为使人体轮廓居中；

步骤二、提取步态整体特征

步骤2.1、根据步态视频流中每帧图像标准中心化后图形中，人在行走中两腿分离的程度的周期性，检测非正面步态周期，检测公式为：

式中，gi为第i帧步态图像腿部区域平均宽度；如图3所示，h1和h2分别为某帧前景图像中人的脚踝和膝盖的人体测量学高度；ri和li分别为第i行中属于前景的最左边和最右边的像素位置；采用该方法得到图4所示的步态周期检测波形，图5是对应的一个周期的步态序列。

以双脚支撑为步态周期起点，记录一个步态序列的四个单周期步态。

步骤2.2、在一个周期中采用光流能量图提取步态的整体特征，公式为；

式中，ufi(x,y)和vfi(x,y)分别为水平方向和垂直方向的光流场，分别如图6第一行与第二行图像所示；n为一个步态周期中包含的步态帧数；i为时间，(x,y)为二维图像平面坐标。图6的第三行即为fi(x,y)对应的图像。

步骤三、获得rgb三通道的步态表征图像

步骤3.1、将每帧步宽时序信息编码到rgb三通道，公式为：

式中，pi为步宽信息，gi由公式(1)求得，gmax和gmin分别为腿部区域平均宽度的最大和最小值，i为图像最大的强度值，如1或255。

步骤3.2、将步宽信息投影到光流能量图中，获得rgb三通道步态表征图像，如图6的第四行，公式为：

式中，为1/4步态周期内的rgb三通道的步态表征图像，如图6中第五行所示，p是1/4步态周期包含的帧数，fi(x,y)为第i帧的步态流图，pi为第i帧的步宽信息，b(·)、g(·)和r(·)为时序信息编码到rgb颜色空间的三个通道。图6的第六行即为单周期的三通道表征图像。

求得一个步态序列的四幅单周期的步态流图，然后平均成一幅进行分析。

步骤四、rgb三通道融合

在执行进行典型相关分析时，为了避免广义特征值分解遇到“维数灾难”，先对特征矩阵进行奇异值分解(svd)降维，保留所有特征值之和的99.9％对应的特征向量再进行典型相关分析。

步骤4.1、采用典型相关分析对r通道和g通道的特征进行处理，得到的两个向量进行加权融合，公式为；

式中，r1、g1分别为r通道、g通道的原始特征，r2、g2为得到的两组新特征向量，分别为对r1、g1进行典型相关分析得到的投影矩阵，α、β均加权系数，满足α+β＝1。

步骤4.2、将融合后的结果与b通道特征进行典型相关分析，得到的两个向量进行加权融合，采用的公式为：

式中，b1为b通道的原始特征，w2、b2为得到的两组新特征向量，分别是对w1、b1进行典型相关分析得到的投影矩阵，γ、δ均为加权系数，满足γ+δ＝1。

实施例1的融合三通道表征方法得到的步态特征标记为ftp(加权系数α，β，γ，δ的取值范围均为0.1，0.2，0.3，……，0.9)。现有技术中：采用像素级加权融合三通道表征方法(加权融合系数设为a，b，c，取值范围均为0.1，0.2，0.3，……，0.9，且满足a+b+c＝1)得到的步态表征标记为pwp，步态能量图的表征方法得到的步态表征标记为gei，步态流图的表征方法得到的步态表征标记为gfi。gei，gfi，ftp，pwp输入到最近邻分类器进行识别。测试结果如表2所示。

表2本发明与现有技术的步态表征方法的性能

表2中，rankn表示按照相似度排序后，最相似的前n个存在正确的即为识别成功。如前所述，ftp与pwp受参数控制，针对ftp及pwp的参数范围及约束条件，分别能够进行81组及35组实验，将最优的实验结果填入表中。对应参数取值α＝0.4，β＝0.6，γ＝0.9，δ＝0.1；a＝0.7，b＝0.1，c＝0.2。从表2可以看出，本发明提供的加权融合三通道特征步态表征方法包含较多有益于识别的信息，取得最优识别性能。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。