一种基于遮挡修复和局部相似性匹配的三维步态识别方法
【专利摘要】本发明公开了一种基于遮挡修复和局部相似性匹配的三维步态识别方法，利用单个深度摄像机采集的步态深度图像进行运动人体检测，深度数据滤波修复，点云数据提取、精减和三维人体表面建模。对一个周期内所有三维表面步态模型运用局部相似性匹配方法进行各视角局部公共步态特征提取和融合；运用基于先验知识和奇异值分解的遮挡变换修复模型，完成步态遮挡区域数据的修复，从而分类完成有遮挡条件下的多视角的三维步态分类识别。本发明解决了当前的步态识别方法无法很好地解决单个摄像机下步态表面模型点云精减重建和遮挡条件下多视角步态识别的问题；为遮挡条件下视角可变步态识别提供了一种新的手段，具有很好的经济和社会效益。
【专利说明】-种基于遮挡修复和局部相似性匹配的三维步态识别方法
【技术领域】
[0001] 本发明涉及生物特征识别领域，基于遮挡修复和局部相似性匹配的三维步态识别 方法。
【背景技术】
[0002] 当前步态识别过程中步态图像的采集主要依靠普通摄像头，得到的为二维步态图 像，对二维步态图像进行周期检测和特征提取后，可进行特定视角的步态识别。
[0003] 另一种方法采用多个摄像机或立体摄像机进行步态图像数据采集和三维重建，提 取三维空间下的步态特征进行步态识别。
[0004] 二维视频获取和处理相对简单，但采用二维图像进行步态识别时，如果出现遮挡 或视角大幅变化时，其识别率会大幅下降，严重影响其在反恐、安保方面的实用性。而采用 多个摄像机或立体摄像机进行三维重建的方法，存在计算复杂，设备成本高等问题，导致其 实用性不强，往往局限于实验室环境下。而且一般三维步态识别方法无法解决有遮挡时的 步态识别问题，这使得步态识别的研究与实际应用受到很大限制。
【发明内容】
[0005] 本发明所要解决的技术问题是，针对现有技术不足，提供一种基于遮挡修复和局 部相似性匹配的三维步态识别方法，解决当前的步态识别方法无法很好地解决遮挡条件下 多视角步态识别的问题。
[0006] 为解决上述技术问题，本发明所采用的技术方案是：一种基于遮挡修复和局部相 似性匹配的三维步态识别方法，包括以下步骤：
[0007] A、对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到 滤波修复后的步态深度图像；
[0008] B、利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯 和平均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型；
[0009] C、对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据 提取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态 模型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库；
[0010] D、对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三 维局部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类， 以此为基础实现遮挡识别时的步态遮挡区域检测和定位；
[0011] E、运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三 维局部融合步态模型；
[0012] F、对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三 维步态识别。
[0013] 所述步骤A中，滤波修复后的步态深度图像获取过程如下：
[0014] 1)使用Kinect深度摄像机获取场景的深度图像，建立深度图像的背景模型，利用 深度图像帧间差异法和背景剪除法获得人体步态深度图像；或者，直接利用Kinect深度摄 像机获取的深度图像，对深度图像做人体边缘检测算法，再运用人体模板匹配方法，将人体 步态数据从深度图像中抠出，实现与背景无关的人体步态数据提取，得到人体步态深度图 像；
[0015] 2)令上述人体步态深度图像像素点数为N = 21，对人体步态深度图像进行分辨率 为L的小波变换，得到各分辨率下的小波系数Wu ;其中，0彡L〈J，j = L，L+l，. . .，J-l，i = 1，· · ·，2j ;
[0016] 3)对小波系数进行软阀值去噪处理，得到软阀值去噪处理后的系数--;:
[0017]
【权利要求】
1. 一种基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，包括以下 步骤： A、 对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到滤波 修复后的步态深度图像； B、 利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯和平 均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型； C、 对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据提 取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态模 型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库； D、 对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三维局 部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类，以此 为基础实现遮挡识别时的步态遮挡区域检测和定位； E、 运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三维局 部融合步态模型； F、 对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三维步 态识别。
2. 根据权利要求1所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特 征在于，所述步骤A中，滤波修复后的步态深度图像获取过程如下： 1) 使用Kinect深度摄像机获取场景的深度图像，建立深度图像的背景模型，利用深度 图像帧间差异法和背景剪除法获得人体步态深度图像；或者，直接利用Kinect深度摄像机 获取的深度图像，对深度图像做人体边缘检测算法，再运用人体模板匹配方法，将人体步态 数据从深度图像中抠出，实现与背景无关的人体步态数据提取，得到人体步态深度图像； 2) 令上述人体步态深度图像像素点数为N = 对人体步态深度图像进行分辨率为 L的小波变换，得到各分辨率下的小波系数1 ;其中，0彡L〈J，j = L，L+l，. . .，J-l，i = 1，· · ·，2j ; 3) 对小波系数进行软阀值去噪处理，得到软阀值去噪处理后的系数〃.:
其中，
为人体步态深度图像噪声的标准差； 4) 进行小波逆变换：对阀值去噪处理后的小波系数做小波逆变换，得到滤波后的步态 深度图像。
3. 根据权利要求2所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特 征在于，所述步骤B中，三维步态表面模型获取过程如下 ： 1) 计算滤波修复后的步态深度图像所有点像素所对应的空间三维坐标，得到三维步态 点云数据； 2) 利用包围盒法对三维步态点云数据进行分割，得到任一点云P和它的L个近邻点； 3) 计算点云P的高斯曲率和平均曲率，并将点云P的高斯曲率和平均曲率都归一化至 [02T] : {kp，hp};其中，k为高斯曲率，h为平均曲率； 4) 定义二元特征组概率f(k，h)/N，f(k，h)表示高斯曲率为k，平均曲率为h 的二元特征组出现的频数，N为点云总数；利用高斯曲率和平均曲率二元特征组概率计 算所有点云的二维曲率平均熵值Η :
5) 令信息熵阀值ig = ε Η，每个点云的信息熵i,为：^ 《fog /? ?当iq〈ig时，删除 i,;否则，保留i,;得到点云精减后的模型；其中，q = 1，2, . . .，N，《为点云q的高斯曲率和 平均曲率二元特征组概率； 6) 找到点云精减后人体步态模型的头顶和脚底，在头顶和脚底之间插入η个等分平 面，将每两个相邻的平面之间所有点云的高度Υ值统一；找到点云精减后人体步态模型的 最左侧和最右侧，在最左侧和最右侧之间插入m个等分平面，将每两个相邻的平面之间所 有点云的横坐标X值统一，完成切面轮廓点云数据重新排列和采样，得到离散化后的三维 步态点云数据;z r = f (X，y);其中，1彡X彡m, 1彡y彡η ; 7) 三维步态表面模型Ρ为：Ρ = {(χ, y, zr)，1彡χ彡m, 1彡y彡n, zr = f(x, y)，r = l...N(x，y)} ;N(x，y)为具有相同离散（x，y)坐标的点云数。
4.根据权利要求3所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特 征在于，所述步骤C中，各视角三维局部融合步态模型提取过程如下： 1) 对β视角下三维步态表面模型Pe进行旋转变换，由β视角旋转至Θ视角，得到 Θ视角的点云表面模型Pe为：Ρ0 =Ρ0ΧΚρ0 ;其中，为三维空间β视角旋转至 Θ视角的旋转变换矩阵；
2) 利用分层迭代选权滤波方法去除Θ视角三维步态表面模型？0自遮挡数据，从而保 留公共面数据，完成局部视角相似性特征提取； 3) 通过三维旋转和迭代选权滤波，得到训练视角β与Θ视角的公共步态特征模型
为公共步态特征模型点云w三维坐标，W为迭代选权 滤波后保留的点z?总数； 4) 令一个步态周期有Q帧人体步态深度图像，对一个周期内所有步态深度图分别进行 三维步态表面模型重建，并重复上述步骤1)?步骤4)，提取训练视角β与Θ视角步态周 期内所有帧的Q个公共步态特征模型；其中，β_45° < θ < β+45° ; 5) 提取上述训练视角β与Θ的Q个公共步态特征模型的质心：
6) 选取步态周期内第一个公共步态特征模型为参考模型，计算训练视角β与Θ的Q 个公共步态特征模型与参考模型的平移变换矩阵#，i = 1. . . Q ; 7) 利用平移变换矩阵计算出质心对齐的各视角三维局部融合步态模型：
5. 根据权利要求4所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特 征在于，所述步骤D中，遮挡识别时的步态遮挡区域检测和定位方法包括以下步骤： 1) 对Θ视角下的三维局部融合步态模型，以X-Y平面为参考面进行离散化，离散投影 到X-Y平面中，得到二维离散步态图像； 2) 对二维离散步态图按像素 dx，dy步进由上到下，由左至右划分为S个小块，计算所 有小块的点云平均密度D_n ;同时按小块为单位计算位于j块内所有点云数量Dp通过将每 个小块对应成一个像素点，点云数量对应成像素点的灰度值，得到一幅二维步态图，图像 大小为（1/dx, Ι/dy); 3) 对二维步态图以像素为基本单位由上而下进行扫描，计算每个像素的相对点云密度 Ε」：Ε」=Dj/Dmean, j = 1. . . S, D」表示第j个小块内所有点云数； 4) 将像素点对应的相对点云密度值归一化至[0255]，替换像素点原来的灰度值，最终 得到Θ视角下的步态点云密度能量图；通过对各角度步态点云密度能量图的提取，得到多 视角局部融合步态模型库的二维步态特征，表示为点云密度能量图并将4作为步态识 别的全局特征；其中Θ为步态视角，c为类别，c = 1，. . .，C，C为总分类数； 5) 将上述步态的全局特征由上而下按解剖学原理分成G块，并依次提取各分块的轮 廓和轮廓质心，以Λ Φ为步进，顺时针方向提取各质心到相应轮廓边沿的距离向量，得到V 个离散向量：Ιχ (ν) +y (ν) i I ν = 〇... V-1};对所述V个离散向量进行离散傅立叶变换，并以 ζ ( η)作为傅立叶轮廓描述子：
其中，η =0，1，···，ν-1 ; 6) 对傅立叶轮廓描述子进行树聚类分析，得到多个有向聚类树，并以每个有向树的根 作为该聚类的中心； 7) 计算待检测的分块轮廓与所有聚类中心的距离Li，i = 1...Κ，其中Κ为聚类数，当 待检测的分块轮廓与所有聚类中的距离最小值大于所有树根之间距离&的最大值时，即 MinaiDMaxWy，i，j = 1. . . K时，判定该待检测的分块轮廓存在遮挡情况，需要修复；否 则无需修复。
6. 根据权利要求5所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特 征在于，所述步骤E中，步态遮挡区域数据的修复过程如下： 1)产生步态遮挡模型，以步态遮挡模型，作为待学习的先验知识，通过学习训练得到遮 挡投影矩阵和与遮挡无关步态特征矩阵； 首先，以视角进行分组，将人体步态点云密度能量图4"按解剖学原理，依据身体各部 分比例关系，由上至下共分为W块；令为人为去除第t块内所有点云密度数据后的步 态点云密度能量图； 然后，将Θ视角下所有C个样本的CXN'种有数据缺失步态点云密度能量图和C个 完整步态点云密度能量图作为训练样本，构造矩阵，并对该矩阵进行奇异值分解，求解 得到步态遮挡无关特征向量的投影矩阵F和遮挡无关的步态特征ω ;ω = [ω°... coe];
2) 利用遮挡投影矩阵完成遮挡数据变换和修复： 当已知第V块数据为被遮挡模型，将第V块数据转换为第V块数据为被遮挡 模型时有：其中C)为 < 逆矩阵取m' =0时， .<Χ·(Ρ) ·.<"，<,投影得到的即为完整的未被遮挡模型； 3) 投影矩阵F即为要求的模型参数，利用投影矩阵，取m '= 0,利用 完成遮挡步态的变换修复； 4) 当检测出未知步态序列X的人体步态点云密度能量图第η'块数据存在遮挡时， 先屏蔽删除步态点云密度能量图4第η'块内所有数据，得到去除第η'块内数据的步态 点云密度能量图;利用训练得到的投影矩阵产和公式计算得到修 复后的未遮挡步态模型，再进行分类识别。
7.根据权利要求6所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特 征在于，所述步骤F中，视角可变三维步态识别过程如下： 1) 当识别未知步态序列X时，计算出该步态数据视角，在数据库中找到最相近视角的 训练特征集；提取一个步态周期内遮挡修复后的三维局部融合步态模型的质心轨迹，利用 最小二乘法来进行直线拟和，直线的斜率k'，则步态行走视角为：Φ =argtank' ； 2) 对上述一个步态周期检测完成后的未知步态序列X依次进行三维精减重建，β与Φ 视角局部相似性匹配，以提取公共视角步态特征，最终生成Φ视角局部融合步态模型； 3) 对Φ视角局部融合步态模型进行遮挡检测和修复，得到未知步态序列X修复后的人 体步态点云密度能量图; 4) 选取对应视角局部步态模型训练集进行分类识别： 令最终的步态全局特征表示为4，Θ为视角，c为类别，定义两类步态的欧式距离：
其中c为分类数；三维步态X e δ类，满足：
【文档编号】G06K9/00GK104063702SQ201410338516
【公开日】2014年9月24日 申请日期:2014年7月16日 优先权日:2014年7月16日
【发明者】唐琎, 罗坚, 许天水, 王富强, 郝勇峰, 毛芳 申请人:中南大学