专利名称：基于红外热成像的步态特征提取方法和步态识别方法
技术领域：
本发明属于计算机图像处理技术领域，具体涉及一种步态特征提取方法并涉及一种 采用此种特征提取方法的步态识别方法。
背景技术：
步态识别(Gait Recognition)是生物特征识别技术中的新兴领域之一。它旨在根 据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，具有广阔应 用前景。步态识别具有其他生物认证技术所不具有的独特优势，即在远距离或低视频质 量情况下的识别潜力，且步态难以隐藏或伪装等。但在实际应用中由于许多客观因素的 存在，给步态的最终识别带来了许多困难，如何更准确地识别步态特征，是步态识别领 域面临的难题。步态图像序列获取过程中的不确定性，使得步态识别过程必然会受到各 种不同外界因素的干扰，从而使得复杂背景或不同光照条件下的人体目标检测非常困难。 如何消除这些因素的影响，准确提取运动人体的目标特征，成为步态特征提取以及后续 处理的关键。发明内容本发明的主旨是克服现有技术的上述缺陷，提出一种能够消除复杂背景等外界因素 的干扰，更为准确地提取运动人体目标特征的方法，并以此方法为基础，进而提出一种 能够提高步态正确识别率的步态识别方法。采用本发明提供的特征提取方法和步态识别 方法，可对进出某重要敏感场所的人员进行身份识别，实现昼夜监控，从而使该区域的 物理通道控制管理达到更高的安全级别，同时为使用者带来安全、便捷的身份认证功能， 最大程度地防范冒名顶替者的非授权准入。本发明提出的基于红外热成像的步态特征参数提取方法，包括下列步骤-(1) 以人体为辐射源，使用红外热像仪采集人体步态图像序列；(2) 对采集的步态图像序列分割人体轮廓；(3) 将人体轮廓序列规格化并叠加处理，获取包含整体分析模型信息的步态特征图；(4) 提取步态特征图的边界矩特征参数；(5) 将步态特征图进行小波分解分别提取水平、垂直以及对角方向的不变矩特征参数；(6) 将步态特征图骨架化处理，提取包含人体简化模型信息的肢体比例与角度信息 的骨架特征参数；作为优选实施方式，可以采用阈值分割以及二值图像的膨胀和腐蚀万法分割人体轮 廓；可以采用数学形态学方法对步态特征图进行骨架化处理提取骨架特征参数。本发明以上述的特征提取方法为基础，还提出一种基于红外热成像的步态识别方法， 包括下列步骤(1) 使用红外热像仪采集需注册人员的红外步态图像序列；(2) 将采集的红外步态图像序列存入步态序列数据库；(3) 对采集的红外步态图像序列分别进行下列特征提取处理分割人体轮廓，将 其规格化并叠加处理，获取包含整体分析模型信息的步态特征图；提取步态特征图的边 界矩特征参数；将步态特征图进行小波分解分别提取水平、垂直以及对角方向的不变矩 特征参数；将步态特征图骨架化处理，提取包含人体简化模型信息的肢体比例与角度信 息的骨架特征参数；(4) 将获取的各个需要注册人员的特征参数组合输入样本训练库中，用于支持向 量机的训练；(5) 将红外热像仪安装在需要监控人员进出的场合；(6) 利用红外热像仪采集进出该场合人员的步态图像序列；(7) 采用步骤(3)的方法对所采集的进出该场合人员的步态图像序列分别进行 特征提取处理，获取进出该场合人员的不变矩参数和骨架特征参数；(8) 将进出该场合人员的特征参数组合输入支持向量机进行步态分类识别，判定 是否为已注册人员。作为优选实施方式，步骤(3)中，可以采用阈值分割以及二值图像的膨胀和腐蚀方 法分割人体轮廓；可以采用数学形态学方法对步态特征图进行骨架化处理提取骨架特征 参数。本发明基于红外辐射原理，以人体为辐射源，利用红外热成像技术获取人体步态图 像，把不可见的体表温度转化为可视的、可定量的红外热图像，能够有效消除复杂背景、 光照变化等外界干扰因素的影响，更为准确地提取运动人体目标的本质结构特征，实现 更为准确的身份识别；本发明还将整体模型和简化模型进行了有机结合，然后利用小波 分解(Wavelet Decomposition, WD)、骨架理论(Skeleton Theory)以及不变矩(Invariant Moments, IMs)相结合的方法提取步态特征参数，输入至支持向量机(Support Vector Machines, SVM)进行步态分类识别，该识别方法将步态识别与序列图像中人的移动模式 相关联，可反映当前的变化，并能对过去和将来的变化进行估算。本发明的识别方法可 应用于安防门禁系统中，对重要敏感场所进行全天候远距离的可靠且准确的身份识别， 从而使被监控区域的物理通道控制管理达到更高的安全级别，创造更为安全和谐的社会 生活环境。
图1本发明的步态识别方法的总流程图。图2利用红外热像仪采集的红外歩态图像。图3实现人体轮廓分割的红外歩态图像。图4对步态图像序列处理后得到的歩态特征图。图5对步态特征图进行骨架化处理的关键点示意图。
具体实施方式
人体是一个自然的生物红外辐射源。通常人体发出的红外光较强，背景等非发热物 体的红外辐射相对较微弱，因此，利用红外热成像技术获取的步态图像较容易检测出人 体目标，周边环境不易对步态图像造成影响，且可以实现昼夜监控。本发明基于红外辐 射原理，以人体为辐射源，使用先进的红外热像仪采集步态图像序列，把不可见的体表 温度转化为可视的、可定量的红外热图像，并提出了步态信息处理与模式识别方法。在步态识别中通常使用两种人体模型整体模型和简化模型，而单一模型存在诸多 缺陷。将两种模型有机结合，则可将步态识别与序列图像中人的移动模式相关联，能够 反映当前的变化，还能对过去和将来的变化进行估算。因此本发明将整体模型和简化模型进行了有机结合，然后利用小波分解(Wavelet Decomposition, WD)、骨架理论(Skeleton Theory)以及不变矩(Invariant Moments, IMs)相结合的方法提取特征参数，输入至 支持向量机(Support Vector Machines, SVM)进行步态的分类识别。 下面结合附图和实施例对本发明做进一步详述。图1为本发明的步态识别方法的总流程图。在本实施例中，建立步态序列数据库所 采用的步态图像序列是利用红外热像仪采集的步态图像序列。在实际应用中，还可以利 用数码摄像机采集步态图像序列。本发明对步态序列数据库里存储的歩态图像序列的特 征参数的提取和对在应用场合所采集的红外步态图像序列的特征参数提取方法相同，即 都采用下列方法首先分割出人体目标，再将其规格化叠加处理获取歩态特征图，然后 利用小波分解、不变矩并结合骨架理论提取步态特征参数。人体目标的温度通常高于周围环境，其在辐射能谱分布上存在差异。这种辐射差异 所携带的目标信息，经红外探测器(红外热像仪的核心器件)转换成相应电信号，然后 经信号处理后显示出被测人体表面温度分布的热图像，从而实现了人体目标热辐射的精 确量化。本发明利用红外热像仪采集红外步态图像序列后，通过目标检测分割出视频中 的人体轮廓，再将其规格化并叠加处理，获取包含整体分析模型的步态特征图。鉴于小 波分解具有多分辨率和多方向性，而不变矩具有目标的平移、旋转和尺寸比例的不变性，因此本发明将步态特征图进行小波一层分解分别提取水平、垂直以及对角方向的不变矩 参数。鉴于骨架是描述物体形状的一种有效方式，组合了目标的轮廓和区域信息，反映了目标的重要视觉线索，因此采用数学形态学算法将歩态特征图骨架化处理，提取包含 人体简化模型信息的肢体比例与角度信息的特征参数。将包含整体模型信息与简化模型 信息的特征参数组合输入支持向量机进行步态分类识别。对于需注册人员，红外热像仪 采集图像数据后直接存入红外步态序列数据库中，采用上述特征提取方法提取歩态特征 参数，然后将代码存入样本训练库中，用于支持向量机的训练。下面对本发明的特征提 取方法和歩态识别方法进行更为详细的描述。1. 红外步态图像序列的采集当人体目标经过"生态隧道"时，红外热像仪就可采集红外步态图像序列，如图2 所示。由于背景等非发热物体所发出的红外光线非常微弱，与人体的温度差较大，反映 在图像上则是目标与背景的灰度值不同。因此可通过设定阈值的方法滤除红外步态图像 中所受外界背景的干扰信息。2. 红外人体轮廓的分割图像分割是计算机视觉和图像理解中的一项基本内容。在步态识别中，图像分割是 获取目标特征的重要手段，是识别的基础。在红外步态数据采集中，背景的温度低于人 体的温度，所以在图像中体现为背景与目标之间存在明显的灰度差异。这样就可以通过 设置全局阈值的方法提取红外人体目标，计算公式为-式中f (x，力为像素点(;c,力处的灰度值，r为阈值。通过上式可以实现红外人体目标 的有效分割，如图3所示。由图可见，红外步态图像序列能够很好地检测出运动目标， 并且可从灰度图像中精确地分割出人体轮廓，同时边缘保持良好。实验表明，阈值分割 的方法计算简单，且计算量较小，同时满足了实时性的要求。考虑到人体轮廓中可能存 在的空洞、间隙以及其他干扰因素的影响，因此采用形态学中对二值图像的膨胀和腐蚀 方法进行处理，以滤除人体轮廓图像中的噪声和微小的干扰区域，同时保持了良好的图 像边缘。图像规格化是图像理解系统中的一种常用方法。图像规格化的目的是为了把图像的 位置以及大小调整到一个固定的级别上，以便消除红外热像仪距离目标的远近或仪器设 备的抖动等原因造成的误差信息，并为后续处理提供较为统一的图像规格。获取人体轮 廓后，将人体轮廓进行平移居中，然后按照规定的图像大小进行伸縮操作，图像大小为 150X150像素。这样就可以得到位置相同且像素统一的人体轮廓图像，这些2D图像序列 通过轮廓叠加后得到步态特征图，如图4所示。3步态特征参数的提取步态识别的关键是如何寻找合适的歩态特征及其对应的有效分类方法。小波分解 (Wavelet Decomposition, WD)具有多分辨率和多方向性，而不变矩(I扁riant Moments,IMs)具有目标的平移、旋转和尺寸比例的不变性，因此本发明将步态序列看作由一组"静 态姿势"所组成的模式，通过目标检测分割出视频中的人体轮廓，再将其规格化并叠加 处理，获取包含整体分析模型的步态特征图，然后将步态特征图进行小波一层分解分别 提取水平、垂直以及对角方向的不变矩参数以及步态特征图的7个边界矩参数，这样可 得4 X 7个矩参数。因为所得的不变矩动态范围很大，所以对上述不变矩参数取对数log A ;另外，为方便起见取正值。为提取包含人体简化模型信息的特征参数，本发明采用数学形态学算法将步态特征 图进行骨架化处理，提取包含人体肢体比例与角度信息的特征参数，如图5所示。根据 图5中所示关键点的坐标位置，可以计算出包含人体简化模型信息的5个特征参数-<formula>formula see original document page 7</formula><formula>formula see original document page 7</formula><formula>formula see original document page 7</formula><formula>formula see original document page 7</formula><formula>formula see original document page 7</formula>
将包含两种人体模型信息的特征参数组合，可获得矩参数和骨架参数共33个，以此 作为步态识别参量。4分类器的训练与识别分类器的选择也是步态识别中的关键环节。传统的统计模式识别是在样本数目足够 多的前提下进行的，只有在样本数趋向无穷大时其性能才有理论上的保证。而在步态识 别的应用中，样本数目是有限的，这时很多方法都难以取得理想效果。支持向量机 (S叩port Vector Machines, SVM)在解决小样本、非线性及高维模式识别问题中表现 出许多特有的优势，因此将支持向量机作为分类器。步态识别是一个多类别的分类问题，支持向量机方法是针对二类别的分类而提出的， 不能直接应用于多类别分类问题。对于多类模式识别问题，支持向量机方法可通过两类 问题的组合来实现，该发明采用"一对一"策略，即一个分类器每次完成二选一，该方 法对A^类训练数据两两组合，构建"-7V(iV —1)/2个支持向量机。最后分类时采取"投 票"方式决定分类结果。假设样本库中已注册历类步态，记为S， &，…，&，将这些样 本输入支持向量机进行训练，对应输出为7—肌分类识别时，将获取的样本输入到经过 训练得到的分类器中，如果输出值介于7—历之间，则认定本人为注册人员，否则判定为非授权人员。5识别效果23位受试者运用本发明设计的歩态识别方法进行了实验。受试者均为青年学生(男、 女各13、 10人，年龄19 30岁)，穿软底鞋，分四种状态自然状态、抱球、背包、 穿羽绒服，每人采集红外步态图像4个序列，共计92个序列。为评价识别分类结果，使 用正确识别率(Probability of Correct Recognition, PCR)作为评价指标。测试时将 7:输入到经过训练得到的分类器中，如果输出为i'，则认定本次识别正确，正确识别率为尸C及-7VTVx1000/0 (7)式中PC/ 为正确识别率，7为识别正确的样本数，yV为总测试样本数。如果输入样本 7:对应的输出为j (i#j)，则判定本次识别错误。核函数的形式决定着训练样本将被映射并进行模式分类的空间结构，并形成不同的 SVM算法。为此须试用不同形式的核函数进行优选。常用的SVM核函数主要有三类1) 线性核函数(Linear kernel)，尺(x，x,) = x.;c, (8)2) 多项式核函数(Polynomial kernel),允(;c,x,) = [(x.jc, + l)f (9)3) 径向基核函数(Radial Basis Function kernel)《(x，x,) = exp{~|jc-x,|2/2cr2} (10)采用上述三种内核函数反复进行了 5次实验，其正确识别率的平均值如表1所示。 从识别结果来看，支持向量机采用线性内核时识别率较低，正确识别率均在80%以下；而 采用多项式内核函数时识别率有所提高，但是采用径向基内核时其识别率最好。表明支 持向量机识别可以很好地处理多变量时变数据的匹配问题。对23名受试者的实验数据表明，采用红外成像技术进行步态识别，其正确识别率受 人体携带外物(如背包、抱球)的影响不显著，且该发明可有效消除复杂背景、光照变 化等外界干扰因素的影响。有望集成应用于安防门禁系统中，用于重要敏感场所的全天 候远距离的可靠且准确的身份识别。
权利要求
1.一种基于红外热成像的步态特征参数提取方法，包括下列步骤(1)以人体为辐射源，使用红外热像仪采集人体步态图像序列；(2)对采集的步态图像序列分割人体轮廓；(3)将人体轮廓序列规格化并叠加处理，获取包含整体分析模型信息的步态特征图；(4)提取步态特征图的边界矩特征参数；(5)将步态特征图进行小波分解分别提取水平、垂直以及对角方向的不变矩特征参数；(6)将步态特征图骨架化处理，提取包含人体简化模型信息的肢体比例与角度信息的骨架特征参数。
2. 根据权利要求1所述的基于红外热成像的步态特征参数提取方法，其特征在于， 采用阈值分割以及二值图像的膨胀和腐蚀方法分割人体轮廓。
3. 根据权利要求1所述的基于红外热成像的步态特征参数提取方法，其特征在于， 采用数学形态学方法对步态特征图进行骨架化处理提取骨架特征参数。
4. 一种基于红外热成像的步态识别方法，包括下列步骤(1) 使用红外热像仪采集需注册人员的红外步态图像序列；(2) 将采集的红外步态图像序列存入步态序列数据库；(3) 对采集的红外步态图像序列分别进行下列特征提取处理分割人体轮廓，将 其规格化并叠加处理，获取包含整体分析模型信息的步态特征图；提取步态特征图的边 界矩特征参数；将步态特征图进行小波分解分别提取水平、垂直以及对角方向的不变矩 特征参数；将步态特征图骨架化处理，提取包含人体简化模型信息的肢体比例与角度信 息的骨架特征参数；(4) 将获取的各个需要注册人员的特征参数组合输入样本训练库中，用于支持向 量机的训练；(5) 将红外热像仪安装在需要监控人员进出的场合；(6 )利用红外热像仪采集进出该场合人员的步态图像序列；(7) 采用步骤(3)的方法对所采集的进出该场合人员的步态图像序列分别进行 特征提取处理，获取进出该场合人员的不变矩参数和骨架特征参数；(8) 将进出该场合人员的特征参数组合输入支持向量机进行步态分类识别，判定 是否为已注册人员。
5. 根据权利要求4所述的基于红外热成像的步态识别方法，其特征在于，采用阈值 分割以及二值图像的膨胀和腐蚀方法分割人体轮廓。
6. 根据权利要求4所述的基于红外热成像的步态识别方法，其特征在于，采用数学 形态学方法对步态特征图进行骨架化处理提取骨架特征参数。
全文摘要
本发明属于计算机图像处理技术领域，涉及一种步态特征提取方法并涉及一种采用此种特征提取方法的步态识别方法。本发明使用红外热像仪采集步态图像序列及分割出人体目标，再将其规格化叠加处理获取步态特征图，然后利用小波分解、不变矩并结合骨架理论提取步态特征参数，以此作为步态特征识别参量输入至支持向量机进行分类识别。本发明提供的步态特征提取方法和识别方法可有效探测人体目标，消除因背景、光照等变化因素的影响，提高步态正确识别率。
文档编号G06K9/46GK101251894SQ20081005218
公开日2008年8月27日 申请日期2008年1月28日 优先权日2008年1月28日
发明者万柏坤, 东 明, 程龙龙, 薛召军 申请人:天津大学