一种基于张量联立判别分析的跨视角步态识别方法
【专利摘要】本发明提供一种基于张量联立判别分析的跨视角步态识别方法，包括构建基于Gabor表示的步态特征、在线模型训练和离线测试。本发明所述方法不仅采用了耦合度量学习的思想削弱了跨视角下数据的异构问题，而且结合了基于Gabor表示的张量步态特征和张量判别分析的思想，提高了步态的分类性能并避免了由于样本过少带来的小样本问题。
【专利说明】
一种基于张量联立判别分析的跨视角步态识别方法
技术领域
[0001] 本发明涉及一种基于张量联立判别分析的跨视角步态识别方法，属于模式识别和 机器学习领域。 技术背景
[0002] 步态是远距离下最具潜力的生物特征之一，具有非接触性采集、不易模仿伪装、受 环境影响小和占内存小等优点，在公共安全、医学诊断以及案件侦查等领域具有广泛的应 用前景和经济价值。
[0003] 在可控条件下，当前的研究成果已经取得良好的识别效果。而步态识别面临许多 困难，如时间变化、服饰变化、行走路面、鞋帽、背包等携带物和视角等变化因素，尤其是行 人步态视角变化会导致可观测的人体步态图像与注册样本之间特征产生差异，导致步态识 别正确率大大降低。
[0004] 为了解决跨视角步态识别问题，研究者提出大量跨视角步态识别方法，根据这些 方法的特点可以归为四类:一类是寻找不敏感性特征，Kale等人通过矢状面内透视投影用 特定视角的步态图像合成任意视角下的步态，这种方法在矢状面和图像面视角差异较大 时，自遮挡严重，导致识别性能大幅度下降；第二类是使用复杂的多相机协作系统采集三维 步态信息重构任意视角下的步态样本。2001年，Shakhnarovich等人提出步态视角标准化方 法，在步态识别方面通过多相机同步更新行人运动信息，通过步态运动的三维结构信息定 义典型视角进行步态识别，这种方法很大程度上依赖于多相机在可控条件下协同操作，并 且成本高、操作复杂;第三类是使用视角变换模型学习不同视角下步态样本之间的映射关 系，将待测视角下样本转换到注册样本视角，进而进行特征提取和样本识别。Makihara等人 通过傅里叶变换获取步态序列每个视角下的频域特征，然后在频域构建两种视角下步态特 征间的变换关系。Kusakunniran等人使用线性判别分析提取步态能量图判别特征，然后通 过奇异值分解构建不同视角下能量图判别特征之间的映射关系，进而进行步态认证和识 另lj，但是这种方法的性能受到线性判别分析对样本的处理效果的影响。2012年，Muramatsu 等人将视角变换模型和三维步态模型相结合，使用三维步态特征信息建立不同视角下步态 样本间的变换关系；最后一类方法通过耦合度量学习模型，将不同视角下的步态样本映射 到一个共同的子空间，在这个子空间内进行不同视角间样本相似性比较。Ben等人提出基于 耦合距离度量学习方法，通过广义特征值分解将不同视角下的步态特征联系起来，在跨视 角步态识别研究中取得了良好的效果。2015年，Makihara等提出张量空间的多判别分析方 法，将源步态特征和目标步态特征映射到一个共同子空间，避免"维数灾难"问题。受到耦合 度量学习模型优点的启发，本发明提供了一种基于张量联立判别分析的跨视角步态识别方 法，在张量空间内将不同视角下的步态Gabor张量特征映射到一个共同的子空间，削弱不同 视角间步态样本特征之间的数据差异，并保持样本特征的结构信息，是一种识别效果好、鲁 棒性强的张量空间内跨视角步态识别方法。
[0005] 目前，大多数步态识别研究在可控条件进行，这往往要求待测步态样本与注册步 态样本是在相同视角下由同一摄像机捕获的。而在日常生活中，监控系统中捕获的步态样 本与注册的步态样本往往存在视角差异，这大大的削弱了经典步态识别算法的有效性。
【发明内容】
[0006] 针对现有技术的不足，本发明提供一种基于张量联立判别分析的跨视角步态识别 方法。本发明所述方法不仅采用了耦合度量学习的思想削弱了跨视角下数据的异构问题， 而且结合了基于Gabor表示的张量步态特征和张量判别分析的思想，提高了步态的分类性 能并避免了由于样本过少带来的小样本问题。
[0007] 本发明的技术方案如下：
[0008] 一种基于张量联立判别分析的跨视角步态识别方法，包括构建基于Gabor表示的 步态特征、在线模型训练和离线测试；
[0009] 所述构建基于Gabor表示的步态特征的方法包括：
[0010]首先，构造二维Gabor滤波器；
[0011] 其次，对步态能量图特征进行Gabor变换；
[0012] 最后，分别按照二维Gabor滤波器方向、尺度以及这两个方面进行求和，生成 GaborD、GaborS 和 GaborSD 步态特征；
[0013]所述在线模型训练的方法包括：
[0014] 首先，将两种视角下的步态特征写成张量的形式；
[0015] 然后，通过张量联立判别分析最大化两种视角下步态特征的类间散度，并最小化 两类视角的类内散度，通过迭代优化寻找两种视角下张量样本每个模式下的最优映射矩 阵；
[0016] 所述离线测试的方法包括：
[0017] 首先，将注册视角下样本集和待测视角下样本的基于Gabor表示的步态特征写成 张量的形式；
[0018] 其次，通过在线模型训练方法得到的最优映射矩阵分别对他们进行线性变换；
[0019] 最后，在映射后子空间中进行两种视角下样本的距离相似性度量，通过最小欧氏 距离进行分类。
[0020] 根据本发明优选的，在所述构建基于Gabor表示的步态特征的方法中，所述基于 Gabor表示的步态特征包括GaborS、GaborD和GaborSD，使用步态能量图生成上述三种步态 特征，并分别写成张量的形式，以下将上述张量形式的基于Gabor表示的步态特征统称为基 于Gabor表示的步态张量特征；
[0021] 首先，对于步态能量图特征进行Gabor变换，并按照方向和尺度方向分别进行求 和，分别得到GaborD、GaborS和GaborSD特征，其数学描述如下：
[0022] 二维Gabor函数定义为一个椭圆高斯包络和一个复杂平面波的乘积，即
[0024]公式（1)中，z = (x，y)表示空间域变量，/v、，=欠,是频率向量，决定了Gabor函数 的尺度和方向，其中，ks决定了采样的尺度，ks = kmax/fS，kmax = 3l/2, Φ<!决定了采样的方向， Φ? = π(1/8；
[0025] 对于任意一张步态能量图I，其滤波后的Gabor特征为
[0026] Gabor(z) = I(z)*iKks，d，z) (2)
[0027] 为了适应张量运算，引入三种步态能量图Gabor特征的表示形式:GaborD特征定义 为按照Gabor函数方向求和构成的幅度特征形式，如公式(3)所示;Gabor S特征定义为按照 Gabor函数尺度求和构成的幅度特征形式，如公式(4)所示;GaborSD特征定义为按照Gabor 函数方向和尺度两个方面求和构成的幅度特征形式，如公式(5)所示：
[0031] 其中，I(z)是步态能量图，z = (x，y)为步态能量图的空间坐标，iKks,d，z)为公式 (1)定义的Gabor函数。
[0032] 根据本发明优选的，在所述在线模型训练方法中，所述Gabor表示的步态张量特征 为基于Gabor表示的步态特征GaborD、GaborS和GaborSD的张量形式，以下用花体符号表示； 所述模型训练为寻找不同视角下样本基于Gabor表示的步态张量特征在共同子空间内类间 距离最大，类内距离最小的映射形式，其数学描述如下：
[0033] 假设视角Θ下第c类第i个样本基于Gabor表示的步态张量特征为^视角>9下第c 类第j个样本基于Gabor表示的步态张量特征为那么两种视角下的所有样本基于Gabor 表示的步态张量特征构成的训练样本集分别为
，其中，N为样本特征和的模式数，Hn,n=l, 2，···，Ν为模式-η下样本特征的维数和^^分别为视角0和沒下第c类样本的 数量，C为类别数;两种视角下样本的总数分别
，样本的总数
[0034] 根据本发明优选的，根据张量空间内耦合度量学习模型定义，基于张量的联立判 别分析通过学习一组线性映射矩阵对·[&" e e = I,...，}分别将不同视 角下的张量样本从高维空间巧? A ?…较％和4發4③···③^映射到一个共同的判 别子空间C ?巧 ?…，其中，Fn<max(Hn，Ln)， n = l，· · ·，N，
[0035] J{l) = AA，] Lf x" Vl ???x.. U! (6) .? % 11 2 2 A ' Λ
[0037] 公式(6)、⑴中，eRW * ,将式(6)和式(7)中张量运算分别按照η-模 式展开得
[0040]公式（8)、（ 9)中，民=心 ? …紙:+1 ? f，r(-,…? 6^ 二《? " ? Fn+1 氣..? % ; 为了后续讨论方便，定义视角Θ下第c类样本的η-模式展开矩阵均值为，总体均值为 I)，视角汉下第c类样本的n_模式展开矩阵均值为$}，总体均值为%,丨，那么
[0042]根据公式(8)和公式(9)，两种视角下第c类样本按照η-模式展开矩阵映射后的均 值和两种视角下全部样本按照η-模式展开矩阵映射后的总体均值分别为
[0044] 公式（11)中，< ，不同视角下样本贡献度系数~Α，α，β由不同视角下样本数量与样本的总数量之间的关系确定，即
[0046]根据Fisher判别思想，基于张量的联立判别分析使任意模式下的类间散度Jb(Un， Vn)最大，类内散度Jw(Un，Vn)最小；因此，基于张量的联立判别分析的目标函数定义为
[0048]由于公式（13)中N阶张量的优化目标不存在紧形式解，这里将此优化问题转化为 迭代求解N个模式下向量子空间内的N个线性映射问题，使每个模式下投影后向量子空间内 类间散度最大，类内散度最小;对于η-模式，公式(13)中目标函数转化为
[0050]类似于广义张量判别分析，类间散度和类内散度分别定义为
[0052]为了求解式(14)的最优解，η-模式下的类间散度简化为 [0056]同理，η-模式下的类内散度简化为
[0060]将公式(16)和公式(18)代入公式(14)，目标函数简化为
[0062] 根据谱回归分析理论，公式(20)转化为求解如下广义特征值问题
[0063] S(n)p = AC(n)p (21)
[0064] η -模式下最优解/f由丨的前F n个最大广义特征值对应的特征向量 构成，即
[0066]为了确定η-模式下保留的维数Fn，这里定义保留能量ξ为截断广义特征值与全部 广义特征值的百分比，即
[0068] 其中，Ai(n)，i = l，...，乩+匕是!!-模式下矩阵丨的全部广义特征值;对于具有Ν 个模式的张量样本，本文采用迭代优化的思想，即固定η-模式以外的投影矩阵山，...，1]^， Un+1，. . .，UN和Vi，. . .，Vn-hVn+i，. . .，VN，优化η-模式下的投影矩阵Un和Vn。
[0069] 根据本发明优选的，所述离线测试的方法具体包括：通过基于欧氏距离 的最近邻分类器对待测视角下步态样本进行分类，令视角Θ下的注册样本集为 = …，cj，视角下的待测样本为待测样本投影后张量特 征和注册样本投影后形成新的训练特征集的欧氏距离为Dis，其中N为样本基于Gabor表示 张量特征的模式数，Hn，η = 1，2，…，N为模式-η下样本基于Gabor表示张量特征的 i z. 维数，< 为视角Θ下第C类样本的数量，C为类别数视角，那么样本少'归类于
[0071]公式(24)中，#气|分别是少'映射后张量步态特征，Μ · | |F表示F范数。 [0072]本发明的有益效果是：
[0073] 1.本发明提出了一种基于张量联立判别分析的跨视角步态识别方法，削弱了不同 视角下异构步态数据的数据差异，提高了异构步态识别的准确率；
[0074] 2.本发明提出了一种基于张量联立判别分析的跨视角步态识别方法，将基于 Gabor表示的张量步态特征与张量数据下Fisher判别分析结合起来，进一步提高了步态样 本的分类性能；
[0075] 3.本发明提出了一种基于张量联立判别分析的跨视角步态识别方法，通过张量映 射保留了样本特征的结构信息，并避免了样本数量过少造成的"维数灾难"问题。
【附图说明】
[0076]图1本发明所述方法的流程图；
[0077] 图2两段不同人的步态序列及其对应步态能量图（最右一列）；
[0078] 图3两个不同行人在十一种不同视角下的步态能量图；
[0079 ]图4本发明使用的5个尺度8个方向的Gabor滤波器实部；
[0080] 图5构造基于Gabor表示的步态特征示例；
[0081 ]图6八种不同方法在给定待测样本视角时平均识别率比较。
【具体实施方式】：
[0082] 下面结合附图和实例对本发明进行详细的描述，但不限于此。
[0083] 如图1-6所示。
[0084] 实施例1、
[0085] -种基于张量联立判别分析的跨视角步态识别方法，如图1所示，包括构建基于 Gabor表示的步态特征、在线模型训练和离线测试；
[0086] 所述构建基于Gabor表示的步态特征的方法包括：
[0087]首先，构造二维Gabor滤波器；
[0088] 其次，对步态能量图特征进行Gabor变换；
[0089] 最后，分别按照二维Gabor滤波器方向、尺度以及这两个方面进行求和，生成 GaborD、GaborS 和 GaborSD 步态特征；
[0090] 所述在线模型训练的方法包括：
[0091] 首先，将两种视角下的步态特征写成张量的形式；
[0092] 然后，通过张量联立判别分析最大化两种视角下步态特征的类间散度，并最小化 两类视角的类内散度，通过迭代优化寻找两种视角下张量样本每个模式下的最优映射矩 阵。
[0093] 所述离线测试的方法包括：
[0094] 首先，将注册视角下样本集和待测视角下样本的基于Gabor表示的步态特征写成 张量的形式；
[0095] 其次，通过在线模型训练方法得到的最优映射矩阵分别对他们进行线性变换；
[0096] 最后，在映射后子空间中进行两种视角下样本的距离相似性度量，通过最小欧氏 距离进行分类。
[0097] 实施例2、
[0098] 如实施例1所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别在 于，在所述构建基于Gabor表示的步态特征的方法中，如图2和图3所示，所述基于Gabor表示 的步态特征包括GaborS、GaborD和GaborSD，如图5，使用步态能量图生成上述三种步态特 征，并分别写成张量的形式，以下将上述张量形式的基于Gabor表示的步态特征统称为基于 Gabor表示的步态张量特征；
[0099] 首先，对于步态能量图特征进行Gabor变换，并按照方向和尺度方向分别进行求 和，分别得到GaborD、GaborS和GaborSD特征，其数学描述如下：
[0100] 二维Gabor函数定义为一个椭圆高斯包络和一个复杂平面波的乘积，即
[0102] 公式（1)中，z = (x，y)表示空间域变量，=兔是频率向量，决定了Gabor函数 的尺度和方向，其中，ks决定了采样的尺度，k s = kmax/fs，kmax = V2, Φ<!决定了采样的方向， (^ = 31(1/8;此实施例中，取/二^,〇 = 231，8 = 0，1，2,3,4和(1 = 0，1，2,3,4,5,6,7，本发明中 使用的5个尺度8个方向的Gabor滤波函数实部如图4所示。
[0103] 对于任意一张步态能量图I，其5个尺度8个方向上的滤波后的Gabor特征为
[0104] Gabor(z) = I(z)*iKks，d，z) (2)
[0105] 为了适应张量运算，引入三种步态能量图Gabor特征的表示形式:GaborD特征定义 为按照Gabor函数方向求和构成的幅度特征形式，如公式(3)所示;Gabor S特征定义为按照 Gabor函数尺度求和构成的幅度特征形式，如公式(4)所示;GaborSD特征定义为按照Gabor 函数方向和尺度两个方面求和构成的幅度特征形式，如公式(5)所示：
[0109]其中，I(z)是步态能量图，z = (x，y)为步态能量图的空间坐标，iKks,d，z)为公式 (1)定义的Gabor函数。对于本发明中使用的5个尺度8个方向的Gabor函数，任意一张大小为 mXn的步态能量图经Gabor滤波后产生40幅滤波后特征图像，表示为空间股__内的四阶 张量;按照方向求和得到的GaborD特征形式表示为空间ir-?5内的三阶张量;按照尺度求和 得到的GaborS特征形式表示为空间遞―8内的三阶张量；按照方向和尺度求和得到的 GaborSD特征形式表示为空间内的二阶张量。
[0110] 实施例3、
[0111] 如实施例2所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别在 于，在所述在线模型训练方法中，所述Gabor表示的步态张量特征为基于Gabor表示的步态 特征GaborD、GaborS和GaborSD的张量形式，以下用花体符号表示;所述模型训练为寻找不 同视角下样本基于Gabor表示的步态张量特征在共同子空间内类间距离最大，类内距离最 小的映射形式，其数学描述如下：
[0112] 假设视角Θ下第c类第i个样本基于Gabor表示的步态张量特征为视角*9下第c 类第j个样本基于Gabor表示的步态张量特征为<(￡),那么两种视角下的所有样本基于 Gabor表示的步态张量特征构成的训练样本集分别为e = 1，...，= 1;..,.，4 和…xiV = l，…，Μ^ = 1，·.·，(：}，其中，N为样本特征和#丨的模式数，Hn，n = 1，2，…，Ν为模式-η下样本特征和的维数，和分别为视角Θ和沒下第c类样本 的数量，C为类别数;两种视角下样本的总数分别为，样本的总 数为麗=? .+ .? ?.
[0113] 实施例4、
[0114] 如实施例3所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别在 于，根据张量空间内耦合度量学习模型定义，基于张量的联立判别分析通过学习一组线性 映射矩阵对e Μ.αμ = V... ^分别将不同视角下的张量样本从高维空间 g ? Α ?…?//、―和心? & ?…0 映射到一个共同的判别子空间g ?…?心， 其中，Fn<max(Hn，Ln)，n = l，· · ·，N，
[0117] 公式(6)、⑴中，将式(6)和式(7)中张量运算分别按照n-模 式展开得
[0120]公式(8)、（ 9)中及=? …? <8> ? " ? = FY ? …? 1，:+1 ? L ? …? K；; 为了后续讨论方便，定义视角Θ下第c类样本的n-模式展开矩阵均值为igl，总体均值为 ，视角>9下第C类样本的η-模式展开矩阵均值为，总体均值为，那么
[0122]根据公式(8)和公式(9)，两种视角下第c类样本按照η-模式展开矩阵映射后的均 值和两种视角下全部样本按照η-模式展开矩阵映射后的总体均值分别为
[0124]公式（11)中，+^^1，不同视角下样本贡献度系数~，0。，〇，0由不同视角 下样本数量与样本的总数量之间的关系确定，即
[0126]根据Fisher判别思想，基于张量的联立判别分析使任意模式下的类间散度Jb(Un， vn)最大，类内散度Jw(Un，Vn)最小；因此，基于张量的联立判别分析的目标函数定义为
[0128]由于公式（13)中N阶张量的优化目标不存在紧形式解，这里将此优化问题转化为 迭代求解N个模式下向量子空间内的N个线性映射问题，使每个模式下投影后向量子空间内 类间散度最大，类内散度最小;对于η-模式，公式(13)中目标函数转化为
[0130]类似于广义张量判别分析，类间散度和类内散度分别定义为 [0132]为了求解式(14)的最优解，η-模式下的类间散度简化为
[0140]将公式(16)和公式(18)代入公式(14)，目标函数简化为
[0142] 根据谱回归分析理论，公式(20)转化为求解如下广义特征值问题
[0143] S(n)p = AC(n)p (21)
[0144] η -模式下最优解if由的前F n个最大广义特征值对应的特征向量 构成，即
[0146]为了确定η-模式下保留的维数Fn，这里定义保留能量ξ为截断广义特征值与全部 广义特征值的百分比，即
[0148] 其中，Ai(n)，i = l，...，乩+匕是!!-模式下矩阵丨的全部广义特征值;对于具有Ν 个模式的张量样本，本文采用迭代优化的思想，即固定η-模式以外的投影矩阵山，...，1]^， Un+1，. . .，UN和Vi，. . .，Vn-hVn+i，. . .，VN，优化η-模式下的投影矩阵Un和Vn。
[0149] 实施例5、
[0150] 如实施例1-4所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别 在于，所述离线测试的方法具体包括:通过基于欧氏距离的最近邻分类器对待测视角下步 态样本进行分类，令视角Θ下的注册样本集为 下的待测样本为待测样本投影后张量特征和注册样本投影后形成新的训练特征集的 欧氏距离为Dis，其中N为样本基于Gabor表示张量特征的模式数，Hn，η = 1，2，…，N为模 式-η下样本基于Gabor表示张量特征维数，为视角Θ下第c类样本的数量，C为类别 .1 C- 数视角，那么样本归类于
[0152] 公式(24)中，_4'匕皮分别是映射后张量步态特征，Μ · I If表示F范数。
[0153] 为了证明本发明提出方法的有效性，我们在中科院自动化所提供的CASIA(B)多视 角步态库上进行实验验证，并采用步态能量图5个方向8个尺度上的GaborS、GaborD和 GaborSD特征，其中每个样本的GaborS张量特征大小为64 X 64 X 8，GaborD张量特征大小为 64 X 64 X 5，GaborSD张量特征大小为64 X 64。本发明将CASIA(B)多视角步态库分成独立的 两部分，其中前64个人的4224段步态序列的基于Gabor表示的张量特征用于训练模型，后60 个人的3960段步态序列的基于Gabor表示的张量特征用于测试基于张量联立判别分析模型 的性能，并设置了与近几年经典的跨视角步态识别算法Ba Seline，FT-SVD，GEI-SVD，GEI-SVR，GEI-CMCC的对比实验。待测样本视角为54°，90°和126°时，不同注册样本视角下的识别 率分别如表1、表2和表3所示，其中，GaborD-TSDA，GaborS-TSDA，GaborSD-TSDA分别表示本 发明所提方法与三种基于Gabor表示的张量特征的结合。
[0154] 由表1、2和表3可知，本发明提出的基于张量联立判别分析的跨视角步态识别方法 (GaborD-TSDA、GaborS-TSDA和GaborSD-TSDA)在待测样本视角为54°、90° 和 126° 时，11种视 角下的注册样本的识别率都远高于经典的5种方法，尤其待测样本视角与注册样本视角差 只有18°时，本发明提出的这些方法识别率都在98%以上，甚至达到100%。另外，实验结果 也证明了步态视角差异对步态识别的影响以及本发明提出的基于张量联立判别分析方法 对跨视角步态识别的鲁棒性。
[0155] 表1待测样本视角为54°时不同方法识别率比较
[0158]表2待测样本视角为90°时不同方法识别率比较
[0160]表3待测样本视角为126°时不同方法识别率比较 「01611
[0162] 图6给出了待测样本视角为54°、90°和126°时八种不同方法的平均识别率比较，其 中，方法 1-8分别表示Baseline、FT-SVD、GEI-SVD、GEI-SVR、GEI-CMCC、GaborD-TSDA、 GaborS-TSDA和GaborSD-TSDA。由图6可知，本发明提出的三种方法平均识别率都在60%左 右，远高于其它五种方法，比Baseline平均识别率要高出40个百分点，且相同方法待测视角 为54°和126°时平均识别率高于待测样本视角为90°时的平均识别率。
[0163] 综上所述，本发明提出的一种基于张量联立判别分析的跨视角步态识别方法比经 典的跨视角步态识别方法具有更高的识别率，且对视角变化具有更强的有效性和鲁棒性。
【主权项】
1. 一种基于张量联立判别分析的跨视角步态识别方法，其特征在于，该方法包括构建 基于Gabor表示的步态特征、在线模型训练和离线测试； 所述构建基于Gabor表示的步态特征的方法包括： 首先，构造二维Gabor滤波器； 其次，对步态能量图特征进行Gabor变换； 最后，分别按照二维Gabor滤波器方向、尺度W及运两个方面进行求和，生成GaborD、 GaborS和GaborSD步态特征； 所述在线模型训练的方法包括： 首先，将两种视角下的步态特征写成张量的形式； 然后，通过张量联立判别分析最大化两种视角下步态特征的类间散度，并最小化两类 视角的类内散度，通过迭代优化寻找两种视角下张量样本每个模式下的最优映射矩阵； 所述离线测试的方法包括： 首先，将注册视角下样本集和待测视角下样本的基于Gabor表示的步态特征写成张量 的形式； 其次，通过在线模型训练方法得到的最优映射矩阵分别对他们进行线性变换； 最后，在映射后子空间中进行两种视角下样本的距离相似性度量，通过最小欧氏距离 进行分类。2. 根据权利要求1所述的一种基于张量联立判别分析的跨视角步态识别方法，其特征 在于，在所述构建基于Gabor表示的步态特征的方法中，所述基于Gabor表示的步态特征包 括GaborS、GaborD和GaborSD，使用步态能量图生成上述Ξ种步态特征，并分别写成张量的 形式，W下将上述张量形式的基于Gabor表示的步态特征统称为基于Gabor表示的步态张量 特征； 首先，对于步态能量图特征进行Gabor变换，并按照方向和尺度方向分别进行求和，分 别得到GaborD、GaborS和GaborSD特征，其数学描述如下： 二维Gabor函数定义为一个楠圆高斯包络和一个复杂平面波的乘积，即公式（1)中，z = (x，y)表示空间域变量，是频率向量，决定了Gabor函数的尺 度和方向，其中，ks决走了义样的尺度，ks二kma^yf S , kmax二n/2 , Φ d决走了义样的方向，Φ d二η d/8; 对于任意一张步态能量图I，其滤波后的Gabor特征为 Gabo;r(z) = I(z)帥化 s,d,z) (2) 为了适应张量运算，引入Ξ种步态能量图Gabor特征的表示形式:GaborD特征定义为按 照Gabor函数方向求和构成的幅度特征形式，如公式(3)所示;GaborS特征定义为按照Gabor 函数尺度求和构成的幅度特征形式，如公式(4)所示;GaborSD特征定义为按照Gabor函数方 向和尺度两个方面求和构成的幅度特征形式，如公式(5)所示：其中，I(z)是步态能量图，z = (x，y)为步态能量图的空间坐标，iKks,d，z)为公式（1)定 义的Gabor函数。3. 根据权利要求2所述的一种基于张量联立判别分析的跨视角步态识别方法，其特征 在于，在所述在线模型训练方法中，所述Gabor表示的步态张量特征为基于Gabor表示的步 态特征GaborD、GaborS和GaborSD的张量形式;所述模型训练为寻找不同视角下样本基于 Gabor表示的步态张量特征在共同子空间内类间距离最大，类内距离最小的映射形式，其数 学描述如下： 假设视角目下第C类第i个样本基于Gabor表示的步态张量特征为视角沒下第C类第 j个样本基于Gabor表示的步态张量特征为jf)，那么两种视角下的所有样本基于Gabor表示 的步态张量特征构成的训练样本集分别为和其中，N为样本特征不W和>的模式数，Hn，η = 1， 2，…，Ν为模式-η下样本特征和的维数，Mg和Md。分别为视角0和沒下第c类样本的 数量，C为类别数;两种视角下样本的总数分别为，样本的总数 为始.=游9 +始9。4. 根据权利要求3所述的一种基于张量联立判别分析的跨视角步态识别方法，其特征 在于，根据张量空间内禪合度量学习模型定义，基于张量的联立判别分析通过学习一组线 性映射矩阵对·?〇^。e 分别将不同视角下的张量样本从高维空 间巧@巧,0…0 和￡.1 0与0…0 Ζγ映射到一个共同的判别子空间Fi ? 0…?巧^， 其中，Fn《max化n,Ln) ,n = l,. . . ,Ν，公式(6)、（7)中，房￡吸^心''气将式(6)和式(7)中张量运算分别按照η-模式展 开俱f , @...@^;定义视角9下第。类样本的〇-模式展开矩阵均值为 部?，总体均值为采W，视角身下第C类样本的η-模式展开矩阵均值为帮，总体均值为新哪 么根据公式(8)和公式(9)，两种视角下第C类样本按照η-模式展开矩阵映射后的均值和 两种视角下全部样本按照η-模式展开矩阵映射后的总体均值分别为公式（11)中，+^9/不同视角下样本贡献度系数〇。，氏，〇，0由不同视角下样 本数量与样本的总数量之间的关系确定，即> 基于张量的联立判别分析使任意模式下的类间散度Jb(Un，Vn)最大，类内散度Jw(Un，Vn) 最小；因此，基于张量的联立判别分析的目标函数定义为由于公式（13)中N阶张量的优化目标不存在紧形式解，使每个模式下投影后向量子空 间内类间散度最大，类内散度最小;对于η-模式，公式(13)中目标函数转化为为了求解式(14)的最优解，η-模式下的类间散度简化为将公式(16)和公式(18)代入公式(14)，目标函数简化为(20) 公式(20)转化为求解如下广义特征值问题 δ(η)Ρ = λ〇(η)Ρ (21) η-模式下最优解if由叮,知的前Fn个最大广义特征值对应的特征向量 构成，即(22) 定义保留能量ξ为截断广义特征值与全部广义特征值的百分比，即(23) 其中，义1("1，1二1，. . .，Hn+Ln是η-模式下矩阵巧"j的全部广义特征值;对于具有Ν个模式 的张量样本，固定η-模式W外的投影矩阵 化，...，Un-l，Un+l，. . .，Un和Vl，. . .，Vn-l，Vn+l，. . .，Vn，优化η-模式下的投影矩阵Un和Vn。5.根据权利要求1-4任一所述的一种基于张量联立判别分析的跨视角步态识别方法， 其特征在于，所述离线测试的方法具体包括:通过基于欧氏距离的最近邻分类器对待测视 角下步态样本进行分类，令视角巧的注册样本集为片(('E吸巧邮..Wv = l，...，w;c = l，...，c}， 视角9下的待测样本为^^，待测样本投影后张量特征和注册样本投影后形成新的训练特征 集的欧氏距离为DiS，其中N为样本基于Gabor表示张量特征的模式数，Hn，η = 1，2，…，N 为模式-η下样本基于Gabor表示张量特征的维数，为视角Θ下第C类样本的数量，C为 类别数视角，那么样本少"归类于公式(24)中，4'?Ε?，房'分别是韦'W，少'映射后张量步态特征，I I . I I读示F范数。
【文档编号】G06K9/62GK106096532SQ201610397900
【公开日】2016年11月9日
【申请日】2016年6月3日
【发明人】贲晛烨, 张鹏, 贾希彤, 庞建华, 朱雪娜, 马璇
【申请人】山东大学