专利名称：基于骨架化和模板匹配的交警手势识别方法
技术领域：
本发明涉及模式识别领域，特别涉及基于机器视觉的交警手势识别方法。
背景技术：
随着社会经济的快速发展，城市交通拥挤已日趋全球化，日益恶劣的交通拥堵现 象严重影响人们的日常生活，阻碍经济的发展。单单依靠交通指示灯的协调已经不能很好 的满足现今交通的需要，利用交通警察手势控制的方式，将很好的弥补红绿灯在某些大型 路口控制方面的不足。特别是在因为天气原因引起交通堵塞时，交警能根据现场的交通状 况并通过交通手势来控制车流，使交通要道畅通、减少环境污染、节约能源、提高驾驶安全 性等。伴随着计算机技术的不断进步，交警手势识别技术所依赖的机器视觉，模式识别，人 机交互等相关技术日益成熟，交警手势识别技术越来越引起人们的重视。目前，人体的动作识别技术大致可以分为两类基于动作捕捉设备和基于视觉。基 于动作捕捉设备需要在使用者身上安放一些传感器来捕捉空间和运动信息，传感器能快速 并且准确地获得人体的动作数据用于实现手势的识别；基于视觉的动作识别是随着计算机 视觉和图像处理技术的发展应运而生的，由于其对用户的运动限制少而日益受到重视。现有的基于视觉的交警手势识别方法存在的技术缺陷是不能兼顾计算的复杂度 和结果可靠性；
发明内容
为了克服已有于视觉的交警手势识别方法的不能兼顾计算的复杂度和结果可靠 性的不足，本发明提供一种能在较低计算复杂度下保证识别结果的较高可靠性的基于骨架 化和模板匹配的交警手势识别方法。本发明解决其技术问题所采用的技术方案是—种基于骨架化和模板匹配的交警手势识别方法，所述交警手势识别方法包括以 下步骤(1)提取交警关键手势，将手势序列图像进行二值化处理，并进行二值图像大小归 一，提取过程如下(1. 1)根据交警手势的周期性，对手势序列图像采样并进行周期性检测；(1.2)在一个周期内，计算各个目标图像轮廓中的像素点数；(1. 3)根据轮廓点数集合得到对应的波形图，找到波峰及波谷；(1. 4)找出波峰波谷所对应的二值图像即为交警的关键手势；(2)采用轮廓删减进行骨架化处理，提取所述交警的关键手势的图像轮廓，将候选 删除点范围缩小到轮廓点集合内；然后删除轮廓点集中的非骨架点，保留骨架点；重复上 述过程，直到提取的轮廓中没有可以删除的点为止，剩下的不可删除的像素点集合即为交 警的关键手势图像的骨架，将各种交警关键手势对应的骨架存入模板库；(3)提取当前交警手势序列的关键图像，采用轮廓删减进行骨架化处理得到当前手势骨架，将当前手势骨架与所述模板库内的各个骨架进行匹配，找到最相似的骨架为当 前交警手势骨架，得出交警手指的识别结果。作为优选的一种方案所述步骤(2)中，采用轮廓删减进行骨架化处理的过程如 下(2. 1)提取图像轮廓，将候选删除点范围缩小到轮廓点集合内，获取轮廓步骤如 下(2. 1. 1)设置当前点P为空；(2. 1.2)按自左向右、从上到下的顺序搜索，直至找到一个目标像，设为当前点P， 定义一个方向变量dir，存储从当前边界像素出发，相对于当前边界像素，沿着边界搜索下 一个边界像素的开始方向，起始方向dir = 5 ；(2. 1. 3)从P的dir方向开始按逆时针方向搜索其8_邻域，直至找到一个目标像 素，设为当前点P;(2. 1. 4)若P不是起始点，设置P点像素值为2，并将P插入轮廓向量V ；(2. 1.5)从P的dir方向开始按逆时针方向搜索其8-邻域，直至找到一个目标像 素并设为当前点P，若P为起始点，转到第(2.1.8)步；(2. 1.6)更新dir，若当前dir为斜角方向，则更新dir = (dir+4+2) % 8 ；否则，更 新 dir = (dir+4+3) % 8 ；(2. 1. 7)若P点像素值为2，则转到第(2. 1. 5)步，否则转到第(2. 1. 4)步，搜索下
一边界像素；(2. 1. 8)轮廓提取结束；(2. 2)在得到目标图像轮廓以后，在轮廓点集合范围按8-领域及如下删除规则 循环判断轮廓点集合内各个点是否是可删除的非骨架点；若有可删除的非骨架点，执行 (2. 3)；若没有，则骨架化结束；删除规则如下a.内部点不能删除b.孤立点不能删除，所述孤立点为8-领域内没有目标图像的像素点；c.直线端点不能删除，所述直线端点为8-领域内只有1个目标图像的像素点；d.边界点，若去除后增加连通分量，则不可以删除；所述边界点8-领域内只有2 个或者3个目标图像的像素点；(2. 3)删除轮廓点集合内所有可删除的非骨架点，跳回(2. 1)重新执行下一次细 化。进一步，所述步骤(3)中，所述匹配方法采用基于加权的Hausdorff距离的模板匹 配，即计算当前骨架像素点集与模板库骨架像素点集之间的Hausdorff距离，距离最小者 为匹配的模板。本发明的技术构思为骨架又称中轴，是一种性能优良的形状描述符，最初的骨架 定义由Blum提出，包括烧草模型和最大圆盘圆心模型。与烧草模型对应的骨架化算法称为 细化算法，该算法属于迭代类算法，能产生具有良好连通性的骨架，但具有较高复杂度。例 如=Hilditch算法；与最大内切圆模型对应的骨架化算法称为距离变换算法，该算法属于 非迭代类算法，能一次产生骨架，但是连通性没有保障。本发明提出的基于轮廓删减的骨架化属于细化算法的一种，算法针对传统的细化算法如Hilditch算法在迭代过程中反复计算非候选删除点的弊端，提出了基于轮廓的删 减法，即将当前删除点范围缩小到预先提取的轮廓中，避免了对轮廓内部点的比较判断，提 高了细化效率。模板匹配方法是实现离散输入模式分类的有效途径之一，其实质是度量输入模式 与样本之间的某种相似性，取相似性最大者为输入模式所属类别。本发明以交通指挥手势的骨架图像作为研究对象，通过计算关键帧与各模板帧之 间的Hausdorff距离值，找到具有最小距离值的模板即为匹配的模板，进而找到该关键帧 所属的手势类别，若一个手势序列中2/3或以上的关键帧都匹配于同一个手势类别，则认 为该手势匹配与这一手势。本发明的有益效果主要表现在能在较低计算复杂度下保证识别结果的较高可靠 性。
图1是基于骨架化和模板匹配的交警手势识别算法框图，包括关键手势提取，骨 架化以及识别三个过程；图2是交警手势提取过程中从背景差分到大小归一这几个步骤的流程图；图3是目标图像轮廓中点数量的波形图；图4是左转弯手势序列中提取的关键手势图；图5是8-领域标识图；图6是骨架化效果图；图7是交警手势分类及区域划分和权值设置。
具体实施例方式下面结合附图对本发明作进一步描述。参照图1 图7，一种基于骨架化以及模板匹配的交通警察手势识别方法，包括交 警关键手势提取，骨架化和识别三个过程(1)交警手势提取过程如下对当前帧和背景帧进行基于灰度的差分提取出运动物体并二值化，进行数字形态 学闭运算，填充图像中可能存在的空洞，二值图像大小归一(每个图像帧高度为100像素)， 避免因图像帧大小而对后续交通指挥手势识别产生影响。例图2为左转弯手势图像从背景 差分到大小归一示例。关键手势提取过程交通指挥手势具有明显的周期性，但各手势所花费的时间却 是不固定的，为了去掉对手势识别无用的冗余帧的影响，在进行骨架化之前需要进行关键 帧的筛选过程。对每个视频序列，每6帧取1帧连续取30帧做周期检测(也可以选取其他 的周期)。然后计算每个样本图像轮廓点的数量，利用轮廓点数量的分布可以得到手势信号 的波形，例图3为左转弯手势的轮廓点波形图。在手势波形图中，寻找波峰以及波谷作为关 键样本，找出关键样本所对应的手势图像即为此交警手势动作的关键手势。例图4为提取 的左转弯手势中的关键手势。(2)基于轮廓删减的骨架化属于细化算法的一种，具体过程为
(2. 1)提取图像轮廓，将候选删除点范围缩小到轮廓点集合内，获取轮廓步骤如 下(2. 1. 1).设置当前点P为空(2. 1.2).按自左向右、从上到下的顺序搜索，直至找到一个目标像，设为当前点 P，定义一个方向变量dir，存储从当前边界像素出发，相对于当前边界像素，沿着边界搜索 下一个边界像素的开始方向。起始方向dir = 5。(2. 1.3).从P的dir方向开始按逆时针方向搜索其8-邻域，直至找到一个目标像 素，设为当前点P;(2. 1. 4).若P不是起始点，设置P点像素值为2，并将P插入轮廓向量V ；(2. 1.5).从P的dir方向开始按逆时针方向搜索其8-邻域，直至找到一个目标像 素并设为当前点P，若P为起始点，转到第8步；(2. 1.6).更新dir，若当前dir为斜角方向，则更新dir = (dir+4+2) % 8 ；否则， 更新 dir = (dir+4+3) % 8 ；(2. 1. 7).若P点像素值为2，则转到第5步，否则转到第4步，搜索下一边界像素；(2. 1. 8).轮廓提取算法结束.(2.2)在得到目标图像轮廓以后，在轮廓点集合范围按8-领域(如图5所示)及 如下删除规则循环判断轮廓点集合内各个点是否是可删除的非骨架点。若有可删除的非骨 架点，执行(2.3)；若没有，则骨架化结束。删除规则如下a.内部点不能删除；b.孤立点不能删除，所述孤立点为8-领域内没有目标图像的像素点；c.直线端点不能删除，所述直线端点为8-领域内只有1个目标图像的像素点；d.边界点，若去除后增加连通分量，则不可以删除；所述边界点8-领域内只有2 个或者3个目标图像的像素点；(2. 3)删除轮廓点集合内所有可删除的非骨架点(设置像素点像素值为255)。跳 回(2. 1)重新执行下一次细化。左转弯手势骨架化结果如例图6所示。本实施例以交通指挥手势的骨架图像作为研究对象，通过计算关键帧与各模板帧 之间的Hausdorff距离值，找到具有最小距离值的模板即为匹配的模板，进而找到该关键 帧所属的手势类别，若一个手势序列中2/3或以上的关键帧都匹配于同一个手势类别，则 认为该手势匹配与这一手势。通过分析各交通指挥手势可以发现，不同的手势的区别集中于手臂的分布，以此 本发明根据手势信息的主次即手臂信息将手势区域分成若干区域，并对不同的区域设置不 同的权值，例如例图4中三个手势的区别集中于中间偏左的手臂区域，该区域在识别时至 关重要，因为需对次区域设置比较重的权值。根据各交通指挥手势骨架的相似性，本实施例 将交警手势其分为4类并为不同的区域设置不同的权重，如例图7所示。本实施例采用基于骨架化结合HausdorfT距离匹配的方法实现了基于视觉的交 通指挥手势识别。首先从视频序列中提取出交警的关键手势，然后将关键手势骨架化，最 后使用加权的Hausdorff距离方法计算当前骨架像素点集与模板库骨架像素点集之间的 Hausdorff距离，距离最小者为匹配的模板；最后通过统计所有关键图像匹配的结果，得出交警手势的识别结果。
权利要求
1.一种基于骨架化和模板匹配的交警手势识别方法，其特征在于所述交警手势识别 方法包括以下步骤(1)提取交警关键手势，将手势序列图像进行二值化处理，并进行二值图像大小归一， 提取过程如下(1.1)根据交警手势的周期性，对手势序列图像采样并进行周期性检测；(1.2)在一个周期内，计算各个目标图像轮廓中的像素点数； (1. 3)根据轮廓点数集合得到对应的波形图，找到波峰及波谷； (1. 4)找出波峰波谷所对应的二值图像即为交警的关键手势；(2)采用轮廓删减进行骨架化处理，提取所述交警的关键手势的图像轮廓，将候选删除 点范围缩小到轮廓点集合内；然后删除轮廓点集中的非骨架点，保留骨架点；重复上述过 程，直到提取的轮廓中没有可以删除的点为止，剩下的不可删除的像素点集合即为交警的 关键手势图像的骨架，将各种交警关键手势对应的骨架存入模板库；(3)提取当前交警手势序列的关键图像，采用轮廓删减进行骨架化处理得到当前手势 骨架，将当前手势骨架与所述模板库内的各个骨架进行匹配，找到最相似的骨架为当前交 警手势骨架，得出交警手指的识别结果。
2.如权利要求1所述的基于骨架化和模板匹配的交警手势识别方法，其特征在于所 述步骤(2)中，采用轮廓删减进行骨架化处理的过程如下(2. 1)提取图像轮廓，将候选删除点范围缩小到轮廓点集合内，获取轮廓步骤如下 (2.1.1)设置当前点P为空；(2. 1.2)按自左向右、从上到下的顺序搜索，直至找到一个目标像，设为当前点P，定义 一个方向变量dir，存储从当前边界像素出发，相对于当前边界像素，沿着边界搜索下一个 边界像素的开始方向，起始方向dir = 5 ；(2. 1.3)从P的dir方向开始按逆时针方向搜索其8-邻域，直至找到一个目标像素，设 为当前点P;(2. 1. 4)若P不是起始点，设置P点像素值为2，并将P插入轮廓向量V ； (2. 1. 5)从P的dir方向开始按逆时针方向搜索其8-邻域，直至找到一个目标像素并 设为当前点P，若P为起始点，转到第(2.1.8)步；(2. 1.6)更新dir，若当前dir为斜角方向，则更新dir = (dir+4+2) % 8 ；否则，更新 dir = (dir+4+3) % 8 ；(2. 1. 7)若P点像素值为2，则转到第(2. 1. 5)步，否则转到第(2. 1. 4)步，搜索下一边 界像素；(2. 1. 8)轮廓提取结束；(2. 2)在得到目标图像轮廓以后，在轮廓点集合范围按8-领域及如下删除规则循环判 断轮廓点集合内各个点是否是可删除的非骨架点，若有可删除的非骨架点，执行(2.3)；若 没有，则骨架化结束；删除规则如下a.内部点不能删除；b.孤立点不能删除，所述孤立点为8-领域内没有目标图像的像素点；c.直线端点不能删除，所述直线端点为8-领域内只有1个目标图像的像素点；d.边界点，若去除后增加连通分量，则不可以删除；所述边界点8-领域内只有2个或者3个目标图像的像素点；(2. 3)删除轮廓点集合内所有可删除的非骨架点，跳回(2. 1)重新执行下一次细化。
3.如权利要求1或2所述的基于骨架化和模板匹配的交警手势识别方法，其特征在于 所述步骤(3)中，所述匹配方法采用基于加权的Hausdorff距离的模板匹配，即计算当前骨 架像素点集与模板库骨架像素点集之间的HausdorfT距离，距离最小者为匹配的模板。
全文摘要
一种基于骨架化和模板匹配的交警手势识别方法，包括以下步骤(1)提取交警关键手势，将手势序列图像进行二值化处理，并进行二值图像大小归一；(2)提取所述交警的关键手势的图像轮廓，采用轮廓删减进行骨架化处理，得到交警的关键手势图像的骨架，将各种交警关键手势对应的骨架存入模板库；(3)提取当前交警手势序列的关键图像，采用轮廓删减进行骨架化处理得到当前手势骨架，将当前手势骨架与所述模板库内的各个骨架进行匹配，找到最相似的骨架为当前交警手势骨架，得出交警手指的识别结果。本发明能在较低计算复杂度下保证识别结果的较高可靠性。
文档编号G06K9/62GK102122350SQ201110045209
公开日2011年7月13日 申请日期2011年2月24日 优先权日2011年2月24日
发明者方路平, 曹平, 李国鹏, 李文杰, 陈上万 申请人:浙江工业大学