基于高阶张量子空间学习的多视角步态识别方法及系统与流程

本发明涉及智能识别领域，特别涉及一种基于高阶张量子空间学习的多视角步态识别方法及系统。

背景技术：

随着当今计算机和网络通信技术的飞速发展，信息安全问题也日益突出。在一些对安全问题比较敏感的场所，如飞机场，军事基地和银行等，任何违法的冒用，盗取或窜改信息的活动都会带来巨大的损失，传统意义上的身份识别方法，如密码卡、智能卡片、身份证等，尽管已被广泛地使用，但也发生了很多涉及到危害安全的问题，如遗失，转让，造假等，可靠性愈来愈低，随着现代科学技术的发展和社会的进步，传统的身份识别方法已经无法满足某些安全需求，并且越来越多的场合需要自动监控，自动识别或验证人的身份。人们十分希望能实现凭借自身唯一特点来判别自己的身份，不用携带一堆身份识别卡片的之类的东西，也不需要再去费力的记一些密码或者口令之类的东西。因此，基于生物特征的识别技术的研究与应用变得日益迫切。

生物识别技术是基于人体独特生物特征的身份辨识方法。物理上的生物识别技术，如人脸、虹膜和指纹的识别一般需要在规定的角度下进行，如身体接触或是接近。行为生物识别技术检验人类行为可以在不干扰人类活动的情况下进行，步态识别可以用低分辨率视频序列远距离识别人的身份，而在这种条件下，物理生物识别技术是不能做到的。而且一个人很难掩饰或者伪装他的步态特征。所以步态识别技术广泛应用于许多研究领域，比如医学、安全监控和模式识别等领域。

步态识别是一门融合了计算机视觉、模式识别与视频图像序列处理为一体的综合技术。步态是唯一一种可以在较远距离间感知的生物行为特征。它通过区分人的行走方式来鉴别个人身份。步态识别起初起源于心理学的相关研究，从20世纪90年代才真正在国际上发展，而在2000年开始在国内发展。步态识别可以在远距离、非接触的情况下进行进而弥补生物特征存在的不足，且其可多角度识别、极难伪造等优点另其优势突出，所以近年来各国学术科研机构越来越重视步态识别技术。

技术实现要素：

为了解决现有技术的问题，本发明提供了一种基于高阶张量子空间学习的多视角步态识别方法及系统，通过研究多线性判别分析原理与图嵌入原理，对dtsa算法作针对性的拓展，结合判别信息算法和子空间学习的优点，实现一种新的能够提取特征信息的降维方法，其张量方法用来保留原来图像矩阵的空间结构信息，流形方法用来保留样本分布的局部结构，具有减小因角度、穿戴情况等对系统造成不良影响和提高行人监测识别准确率的优势。所述技术方案如下：

一方面，本发明提供了一种基于高阶张量子空间学习的多视角步态识别方法，包括：

获取多视角的步态图像，多个步态图像组成步态图像集；

对每个步态图像进行预处理，得到相应视角的轮廓序列；

将所述轮廓序列转换为张量数据；

对所述张量数据依次进行数据维度降低处理及特征提取处理；

根据提取得到的多视角步态特征，对步态特征进行相似度测量，得到识别结果。

进一步地，对所述张量数据进行数据维度降低处理包括：基于将高维张量数据映射到低维空间的多线性判别分析方法和图嵌入处理方法，对判别张量子空间分析方法进行拓展，并利用拓展得到的高阶判别张量子空间分析方法，对张量数据进行数据维度降低处理。

进一步地，所述对每个步态图像进行预处理包括：

背景提取，包括采用中值法确定图像灰度值，包括在同一视角的每帧步态图像的同一位置的像素灰度组成一维数组，取数组的中间值作为步态图像当前位置的灰度值；

背景减除，包括将每帧步态图像与背景图像进行差分处理得到步态图像中的人体部分，同一视角的步态图像中的人体部分组成灰度差分图像序列；

二值化处理，包括采用迭代阈值法对图像进行二值化处理，得到相应的二值图像。

另一方面，本发明提供了一种基于高阶张量子空间学习的多视角步态识别系统，包括：

视角划分模块，用于获取多视角的步态图像，多个步态图像组成步态图像集；

预处理模块，用于对每个步态图像进行预处理，得到相应视角的轮廓序列；

张量空间构建模块，用于将所述轮廓序列转换为张量数据；

降维与特征提取模块，用于对所述张量数据依次进行数据维度降低处理及特征提取处理；

多视角融合识别模块，用于根据提取得到的多视角步态特征，对步态特征进行相似度测量，得到识别结果。

进一步地，所述降维与特征提取模块包括高阶拓展单元和降维单元，

所述高阶拓展单元用于基于将高维张量数据映射到低维空间的多线性判别分析方法及图嵌入处理方法，对判别张量子空间分析方法进行拓展，得到高阶判别张量子空间分析方法；

所述降维单元用于利用拓展得到的高阶判别张量子空间分析方法对张量数据进行数据维度降低处理。

进一步地，所述预处理模块包括背景提取单元、背景减除单元和二值化处理单元，

所述背景提取单元采用中值法确定图像灰度值，包括在同一视角的每帧步态图像的同一位置的像素灰度组成一维数组，取数组的中间值作为步态图像当前位置的灰度值；

所述背景减除单元用于将每帧步态图像与背景图像进行差分处理得到步态图像中的人体部分，同一视角的步态图像中的人体部分组成灰度差分图像序列；

所述二值化处理单元采用迭代阈值法对图像进行二值化处理，得到相应的二值图像。

具体地，所述图嵌入处理方法为mfa方法，所述降维与特征提取模块还包括跟踪优化单元和提取单元，

所述跟踪优化单元采用newton-lanczos处理方法对图像的跟踪率进行优化；所述提取单元用于从张量数据的流形结构中提取判别特征。

进一步地，所述将所述轮廓序列转化为张量数据包括：利用gabor滤波器获取图像空间位置、空间频率及方向选择性的局部结构信息，将不同视角的图像转化为张量形式。

具体地，所述多视角融合识别模块还包括视角转换单元，用于在对步态特征进行相似度测量之前，采用vtm方法将跨视图的步态特征转换为共同视角的步态特征；

所述对步态特征进行相似度测量包括利用knn处理方法作为分类器对步态特征进行相似度测量。

进一步地，所述视角划分模块包括步态视频获取单元和分帧截取单元，

所述步态视频获取单元用于根据多个特定角度或每间隔一定角度拍摄步态视频数据，或者，从目标步态数据库中获取步态视频数据；

所述分帧截取单元用于以帧为单位对所述步态视频数据进行分割，得到步态图像。

本发明提供的技术方案带来的有益效果如下：

1)本发明提出的基于图嵌入的高阶判别张量子空间分析算法适用于任意阶数的张量数据，与只能处理低阶张量数据的dtsa算法相比在处理高阶张量问题上有了很大的优势与提高；

2)本发明提出的基于图嵌入的高阶判别张量子空间分析算法不但保留样的全局结构，还运用子空间思想保留样本的局部结构，对更好地保留样本的空间结构、更有效地处理高阶张量数据形式、更高效地进行特征提取非常有用，使识别准确率更佳；

3)算法中采用newton-lanczos方法解决跟踪率优化问题和在处理图像时的预处理操作，都有利于尽量消除影响步态识别的干扰因素。对任意阶的张量数据能得到相应的正交变换矩阵，在矩阵处理上方式相对简单且有效。本发明的基于此算法的基于图嵌入的高阶张量子空间学习的多视角融合步态识别系统为步态识别提供一种高效可行的解决方案，满足用户及相关科研方面等的实际需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的步态识别方法的流程图；

图2是本发明实施例提供的图像预处理的方法流程图；

图3是本发明实施例提供的步态识别系统识别数据的流转示意图；

图4是本发明实施例提供的步态识别系统的降维模块的研究流程图；

图5是本发明实施例提供的步态识别系统的模块框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

在本发明的一个实施例中，提供了一种基于高阶张量子空间学习的多视角步态识别方法，参见图1，所述方法流程包括：

s1、获取多视角的步态图像，组成步态图像集。

具体地，步态数据的最初形式一般为视频形式，所述获取步态数据有两种方式，第一种方式为自行拍摄步态视频数据，根据几个特殊角度或每隔一个常数取一个角度的方式从多个具有代表性的角度来获取步态视频，分帧截取后得到步态序列图像；第二种方式为直接利用知名步态数据库，如中国科学院自动化研究所的casia步态数据库，每隔18°获取一次步态视频，分帧截取后得到步态序列图像。

s2、进行图像预处理，得到相应视角的轮廓序列。

具体地，通过对上述步态序列图像分别作背景提取、背景减除和二值化处理，使步态序列图像呈现出明显的只有黑和白的视觉效果，经预处理后分别得到多个视角下的轮廓序列。具体的预处理操作流程参见图2，方法流程包括:

s21、背景提取，背景提取采用中值法，在每帧图像的同一位置的像素灰度成一个一维数组,然后对数组按照数值大小排序,取排序后的中间值作为背景图像在当前位置的灰度值。这里采用中值法而不采取均值法是因为在人通过这个当前点时,会有较大的亮度变化,从而影响了均值,产生恶化，但只要记录了足够帧数的图像,其中值是不会受影响的；

s22、背景减除，进行背景减除得到图像中的人体部分，具体是由当前帧图像和背景图像进行差分而得，得到灰度差分图像序列,并且优选地，进一步对每一幅图像进行直方图拉伸；

s23、二值化处理，二值化的阈值选取使用迭代阈值法进行,迭代阈值法的原理是首先选取图像灰度范围的中值作为初始阈值，然后进行迭代，这样就得到了含有少量噪声的二值图像。需要指出的是,在迭代阈值法的第一步初始阈值的选取上,首先估计第一帧的一个矩形的感兴趣区，然后从第二帧开始每帧都使用这个初始阈值进行迭代,从而节省了计算消耗，最后用图像形态学中的开闭运算去除较小的空洞和孤立点,分割出当前图像中运动的像素。

s3、将轮廓序列转换为张量数据。

主要利用gabor滤波器可以获得图像空间位置、空间频率及方向选择性的局部结构信息，对方位、光照条件和各种几何变换不敏感和能够将图像数据处理成其对应的张量形式的特点，将其上一模块的步态图像处理成其张量形式，以作为下一模块的输入。gabor滤波器可以获得步态图像空间位置、空间频率及方向选择性的局部结构信息，对步态方位、光照条件和各种几何变换不敏感，非常有利于多视角步态的识别。二维gabor变是图像多尺度表示和分析的有力工具，通常使用二维gabor滤波器对图像进行处理。为了对一幅图像的整个频域采样，采用具有多个中心尺度和不同方向的gabor滤波器组，不同方向的滤波器能够响应相应方向的图像纹理特征，方向参数(取作u)表现不同方向的纹理特征，不同中心尺度参数(取作v)的滤波器能够响应相应尺度的图像纹理特征，随着参数v的变化，gabor变换对步态图像的卷积计算结果反映了步态位置响应特性。对于步态训练样本集{vl,m}，其中l表示类标号，l＝1,2,···，l；m表示类内第m个样本，m＝1,2,···，m，构建其张量样本形式如下：据多尺度gabor变换内容，把样本vl,m通过卷积变换得到滤波响应图其中：n＝1，2，…，n；m＝1，2，…，m。

s4、对张量数据进行数据维度降低处理。

进行降维的方法是利用高阶判别张量子空间分析方法，参见图4，其给出了本发明的基于图嵌入的高阶判别张量子空间分析算法的研究思路及实现流程图。所述高阶判别张量子空间学习的算法是在结合多线性判别分析方法和图嵌入算法的原理来拓展判别张量子空间分析算法(dtsa算法)，以处理高阶张量数据形式达到降维的效果。这种新算法的研究过程包括：首先是基础理论研究，在此期间研究的内容包括：张量基础理论与运算方法、经典降维算法(包括principalcomponentanalysis，pca、lineardiscriminantanalysis，lda等)、有监督和无监督的子空间学习算法(本发明中算法采用有监督方式)、图嵌入算法(laplacianeigenmaps，le、locallylinearembedding，lle)、流行学习算法(localitypreservingprojection，lpp、discriminantlocalitypreservingprojections，dlpp)等。然后是多线性判别分析方法的研究，多线性判别分析方法能够进行高维张量空间的投影映射,是样本张量完成投影映射到另一个张量空间，将高维张量数据映射到低维空间上从而实现降维；多线性判别分析方法的输入可以是高维张量，输出是低维张量数据，要求解的主要是投影矩阵，与传统的主成分分析和线性判别分析方法相比，多线性判别分析最大的不同是不同通过矢量化来降维，所以处理高维数据时有低位运算的优势，并且不会破坏数据原始的结构。接着是图嵌入方法的研究，mfa(边际fisher分析)算法是一种典型的运用子空间思想的图嵌入算法，通过定义两个不同的图来描述数据集的特征，其中本征图用来描述数据集中需要增强或者强化的统计或几何性质，惩罚图用来描述数据集中需要抑制或者削弱的统计或几何性质；通过求解图对应的邻接矩阵或拉普拉斯矩阵的特征向量来表示低维嵌入坐标，以达到降低数据维数的目的。继而是判别张量子空间分析dtsa算法的研究，它是在张量子空间分析tsa算法的基础上拓展得到的，比tsa算法增加了判别信息，实现了有监督方式，但dtsa算法只能处理最高二阶张量数据，对高阶张量无能为力，这是其最大缺陷。结合以上研究，本发明最终对dtsa算法作了进一步实质性的拓展，生成一种基于图嵌入的高阶判别张量子空间学习算法，不但使其性能提高，而且可以处理高阶张量数据，其张量方法用来保留原来图像矩阵的空间结构信息，流形方法用来保留样本分布的局部结构。此为本发明的核心所在，进一步地，算法中还采用newton-lanczos方法解决跟踪率优化问题，以进一步提高算法的表现。

s5、对完成降维的张量数据进行特征提取处理。

最终从完成降低数据维度的张量数据的流形结构中提取出判别特征。

s6、根据特征提取结果，进行相似度测量，得到识别结果。

具体地，首先采用vtm(viewtransformationmodel)通过将步态特征从跨视图转换到共同的视角来解决视角变换问题，然后用knn(k-nearestneighbor)算法作分类器进行行人步态特征序列相似度测量，融合同一人所对应不同视角的特征信息，最终输出识别结果。

综上所述，本实施例中的步态识别方法包括：首先要通过相应的视频捕获装置捕获视频材料并经过处理后获取步态序列数据，然后对其进行一系列的预处理，此步处理因不同情况的不同需要而采取不同的步骤，本实施例中应用了背景提取、背景减除和二值化处理，并将预处理得到的轮廓序列转换为张量数据。接着对生成的新步态序列作特征提取，此步骤在步态识别中至关重要，为步态识别的核心所在，具体为在多线性判别分析和图嵌入原理基础上拓展dtsa算法后得到的新算法(基于图嵌入的高阶判别张量子空间分析)，利用新算法对张量数据进行降维和特征提取操作，结合判别信息算法的优势，其张量方法用来保留原来图像矩阵的空间结构信息，流形方法用来保留样本分布的局部结构，在很多方面具有很好的表现和改善提高。在匹配识别过程中，需要将待测试的样本与原先训练好的存入数据库中的数据作匹配识别，故本发明采用的有监督方式会使这步比较方便实现，最终输出识别结果。

实施例2

在本发明的一个实施例中，提供了一种基于高阶张量子空间学习的多视角步态识别系统，参见图5，所述系统包括：

视角划分模块310，用于获取多视角的步态图像，多个步态图像组成步态图像集。

具体地，所述视角划分模块310包括步态视频获取单元311和分帧截取单元312，所述步态视频获取单元311用于根据多个特定角度或每间隔一定角度拍摄步态视频数据，或者，从目标步态数据库中获取步态视频数据；所述分帧截取单元312用于以帧为单位对所述步态视频数据进行分割，得到步态图像。

预处理模块320，用于对每个步态图像进行预处理，得到相应视角的轮廓序列。

具体地，所述预处理模块320包括背景提取单元321、背景减除单元322和二值化处理单元323，所述背景提取单元321采用中值法确定图像灰度值，包括在同一视角的每帧步态图像的同一位置的像素灰度组成一维数组，取数组的中间值作为步态图像当前位置的灰度值；所述背景减除单元322用于将每帧步态图像与背景图像进行差分处理得到步态图像中的人体部分，同一视角的步态图像中的人体部分组成灰度差分图像序列；所述二值化处理单元323采用迭代阈值法对图像进行二值化处理，得到相应的二值图像。

张量空间构建模块330，用于将所述轮廓序列转换为张量数据。

具体地，所述张量空间构建模块330利用gabor滤波器获取图像空间位置、空间频率及方向选择性的局部结构信息，将不同视角的图像转化为张量形式，所述gabor滤波器的设置和工作原理参见上述方法实施例，在此不再赘述。

降维与特征提取模块340，用于利用高阶判别张量子空间分析方法对所述张量数据进行数据维度降低处理，并对完成数据维度降低的张量数据进行特征提取处理。

此模块是本发明的核心模块，所述降维与特征提取模块340包括高阶拓展单元344和降维单元345，所述高阶拓展单元344用于基于将高维张量数据映射到低维空间的多线性判别分析方法及图嵌入处理方法，对判别张量子空间分析方法进行拓展，得到高阶判别张量子空间分析方法；所述降维单元345用于利用拓展得到的高阶判别张量子空间分析方法对张量数据进行数据维度降低处理。在结合多线性判别分析方法和图嵌入算法的原理来拓展判别张量子空间分析算法(dtsa算法)，得到高阶判别张量子空间分析算法，实现处理高阶张量数据形式达到降维的效果，具体的算法推演过程参见上述方法实施例，在此不再赘述。

所述降维与特征提取模块还包括跟踪优化单元346和提取单元347，所述跟踪优化单元346采用newton-lanczos处理方法对图像的跟踪率进行优化；所述提取单元347用于从张量数据的流形结构中提取判别特征。

多视角融合识别模块350，用于根据特征提取结果，对多视角行人步态特征进行相似度测量，得到识别结果。

所述多视角融合识别模块350包括视角转换单元351和步态相似度测量单元352，所述视角转换单元351用于在对步态特征进行相似度测量之前，采用vtm模型(viewtransformationmodel)将跨视图的步态特征转换为共同视角的步态特征，所述；所述步态相似度测量单元352用于对步态特征进行相似度测量包括利用knn(k-nearestneighbor)处理方法作为分类器对步态特征进行相似度测量。

所述步态识别系统的数据流转过程参见图3，由图所示，视角划分模块310将步态数据划分得到视角1、视角2、……、视角n的n个视角的步态数据图像，将步态数据图像输入预处理模块320，得到各自对应视角下的轮廓序列，然后输入张量空间构建模块330，经过gabor滤波器组，转换为张量形式，转换结果输入降维与特征提取模块340，输出提取结果，最后多视角融合识别模块350对提取的特征进行角度融合，并输出识别结果。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。