基于图像深度信息的智能轮椅手势识别控制方法
【专利摘要】本发明涉及一种基于图像深度信息的智能轮椅手势识别控制方法，涉及计算机视觉和人工智能领域。本发明过图像的深度信息将手部才复杂的背景中分割出来，随后通过SUSAN和OPTA算法对手部图像进行边缘提取和细化，然后用Freeman链码计算边缘与掌心的欧几里德距离，通过RBF神经网络训练得到分类器，将待检测视频与分类器进行匹配，得到手势识别的目的，从而控制智能轮椅的运动（前进、后退、左转、右转）。其中，在对手部进行分割的过程中，使用了图像深度信息进行手势分割，克服了应用过程中光照等复杂的环境因素的影响，大大提高了手势的检测精度。
【专利说明】基于图像深度信息的智能轮椅手势识别控制方法
【技术领域】
[0001]本发明属于手势识别控制领域，具体涉及智能轮椅手势识别控制方法。
【背景技术】
[0002]联合国发表报告指出，全世界人口老龄化进程正在加快。今后50年内，60岁以上的人口比例预计将会翻一番，并且由于各种灾难和疾病造成的残障人士也逐年增加，他们存在不同程度的能力丧失，如行走、视力、动手及语言等。因此，为老年人和残疾人提供性能优越的代步工具已成为整个社会重点关注的问题之一。智能轮椅作为移动机器人的一种，主要用来辅助老年人和残疾人的日常生活和工作，是对他们弱化的机体功能的一种补偿。智能轮椅在作为代步工具的同时也可以完成简单的日常活动，使他们重新获得生活能力，找回自立、自尊的感觉，重新融入社会，因而，智能轮椅的研究得到越来越多的关注。因此，我们将手势识别控制应用于智能轮椅上，形成一种将智能轮椅与手势识别技术结合起来的新型代步工具，它不仅具有普通轮椅的所有功能，重要的是还可以通过手势命令对轮椅进行控制，使轮椅的控制更加简单、方便。因此，实用的手势控制智能轮椅机器人将为老年人和残疾人开创新的生活模式和生活概念，具有非常重要的现实意义。
[0003]在国内外，研究者们已经开展了大量相关项目的研究:1991年，富士通实验室进行了手势识别系统相关方面的研究，设计的识别系统能识别46个手势符号。1995年，Christopher Lee等人成功的研究出了手势命令操作系统。台湾大学的Liang等人设计的手势识别系统通过单个VPL数据手套实现了对台湾手语课本中的基本字条的识别，准确率达90.5%。Starner等实用隐马尔科夫模型实现了对短句子的识别，识别率达到99.2%。Intel的Opencv开源程序库，实现了基于立体视觉和本文中所用到的Hu不变矩特征的识另O。国内对手势识别的研究起步较晚，但最近几年来发展较快。高文、吴江琴等人给出了人工神经网络、基于隐马尔科夫模型的混合方法作为手势的训练识别方法，以增加识别方法的分类特性和减少模型的估计参数的个数，运用此方法的中国手势识别系统中，孤立词识别率为90%，简单语句识别率为92%。接下来高文等人又选取Cyberglove型数据手套作为手势输入设备，并采用了快速动态高斯混合模型作为系统的识别技术，可识别中国手势字典中274个词条，识别率达98.2%。清华大学的祝远新、徐光佑等给出的基于视觉的识别技术，能够识别12种动态孤立手势，识别率达90%。上海大学的段洪伟用LS-SVM算法实现了对静态手势的识别，并使用隐马尔科夫模型实现了对动态手势的识别。山东大学的徐立群等提出了一种改进的CAMSHIFT算法跟踪手势，提取出动态手势的轨迹特征后实现6种手势的识别。北京大学的张凯、葛文兵等人利用平面立体匹配算法得到三维手势信息，实现了基于立体视觉的手势识别。
【发明内容】
[0004]针对以上现有技术中的不足，本发明的目的在于提供一种提高了系统的识别率、实现智能轮椅语音控制系统中的手势识别、实现了对智能轮椅的精确控制的智能轮椅手势识别控制方法。本发明的技术方案如下:一种基于图像深度信息的智能轮椅手势识别控制方法，其包括以下步骤:
[0005]101、采用3D体感摄影机Kinect获取智能轮椅上被测物体的手势视频信号，并抓取该手势视频信号的一帧图像作为分割图像，采用图像预处理法对该分割图像进行过滤；
[0006]102、对步骤101中经过过滤的分割图像采用灰度直方图方法确定深度阈值。通过灰度直方图中灰度值由大到小的变化，寻找像素点剧变较大的灰度值处作为手像素区域分割的阈值，分离出手势图像，并将分离出的手势图像转换成手势二值图；
[0007]103、采用SUSAN算法将步骤102中得到的手势二值图进行边缘提取得到手势特征向量，采用Freman链码法沿着手势的边缘顺序求得每个手势特征向量，其中每个手势特征向量为手的边缘点到掌心的距离ri的集合；
[0008]104、采用OPTA算法对步骤103中得到的手势特征向量进行边缘细化，得到经过边缘细化后的优化手势特征向量；
[0009]105、将步骤104中的优化手势特征向量采用径向基函数神经网络RBF进行分类训练，与预先设置的训练数据进行对比，得出手势命令。并根据该手势命令输出手势控制指令传送给智能轮椅，所述智能轮椅运动，完成智能轮椅的手势识别控制。
[0010]进一步的，步骤101中的图像预处理法包括平滑处理和去噪去噪处理对图像进行过滤。。
[0011]进一步的，步骤103中边缘提取中还包括对掌心的仿射变换步骤。
[0012]进一步的，进一步的，步骤103中的掌心提取采用数学形态学的腐蚀操作法逐步去掉手势的边缘像素，当手区域的像素数目低于设定值Xl时，为了适用于不同大小的手势，适当减少腐蚀次数，Xl 一般设为500，停止腐蚀，然后求得剩下的手的区域中所有像素坐标平均值作为掌心的位置。
[0013]本发明的优点及有益效果如下:
[0014]本发明将图像信号的深度信息和Freeman链码以及RBF神经网络进行有机结合，提高了系统的识别率，用于智能轮椅语音控制系统中的手势识别，实现了对智能轮椅的精确控制，达到用户与智能轮椅之间人机交互的目的。
【专利附图】
【附图说明】
[0015]图1为本发明优选实施例智能轮椅手势识别原理框图；
[0016]图2MFCC参数计算流程图；
[0017]图3为手势特征提取和分类训练的示意图。
【具体实施方式】
[0018]下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。
[0019]参照图1-图3所示，一种基于图像深度信息的智能轮椅手势识别控制方法，其包括以下步骤:
[0020]101、采用3D体感摄影机Kinect获取智能轮椅上被测物体的手势视频信号，并抓取该手势视频信号的一帧图像作为分割图像，采用图像预处理法对该分割图像进行过滤；
[0021]102、对步骤101中经过过滤的分割图像采用灰度直方图方法确定深度阈值。通过灰度直方图中灰度值由大到小的变化，寻找像素点剧变较大的灰度值处作为手像素区域分割的阈值，分离出手势图像，并将分离出的手势图像转换成手势二值图；
[0022]103、采用SUSAN算法将步骤102中得到的手势二值图进行边缘提取得到手势特征向量，采用Freman链码法沿着手势的边缘顺序求得每个手势特征向量，其中每个手势特征向量为手的边缘点到掌心的距离ri的集合；
[0023]104、采用OPTA算法对步骤103中得到的手势特征向量进行边缘细化，得到经过边缘细化后的优化手势特征向量；
[0024]105、将步骤104中的优化手势特征向量采用径向基函数神经网络RBF进行分类训练，与预先设置的训练数据进行对比，得出手势命令。并根据该手势命令输出手势控制指令传送给智能轮椅，所述智能轮椅运动，完成智能轮椅的手势识别控制。
[0025]手势控制智能轮椅的人机交互中，系统开始运行后，Kinect获取到包含手势信息的深度图像，这一部分是在Kinect上完成，随后通过距离阈值设定以及对手势区域的搜索得到手势部分的图像完成手势的分割部分，在分割部分我们对图像进行了预处理，包括对图像的平滑和去噪后将图像转化为二值图，随后使用SUSAN算法进行边缘提取和改进的OPTA算法进行边缘的细化。然后选取从手势图像的最低点开始，通过使用Freeman链码方法，沿着手势的边缘顺序求得每一个边缘点到掌心间的欧几里德距离。接着通过RBF神经网络对上一步提取出来的手势特征进行分类和训练，训练后的神经网络的数据保存到XML文件中，在后面的识别阶段中进行读取。
[0026]以下针对附图和具体实例对本发明作具体描述:
[0027]图1是采用手势控制智能轮椅运动的示意图。Kinect获取采集对象的视频(包含人手)信号，抓取视频的一帧图像，对分割图像进行了平滑和去噪等预处理，目的是去除图像中的噪声，加强图像中的有用信息。图像预处理实际上是对图像的一个过滤过程，要排除干扰保留需要后续处理的部分，并过滤掉不需要的部分。随后通过将彩色图像转换成深度图，通过手部检测模板和距离参数设置分离出手势部分并转换成二值图，随后使用SUSAN算法进行边缘提取和改进的OPTA算法进行边缘的细化。然后选取从手势图像的最低点开始，通过使用Freeman链码方法，沿着手势的边缘顺序求得每一个边缘点到掌心间的欧几里德距离。接着通过RBF神经网络对上一步提取出来的手势特征进行分类和训练，训练后的神经网络的数据保存到XML文件中，在后面的识别阶段中进行读取。
[0028]图2是视频图像深度信息的获取流程示意图。在准备对物体进行测距和成像时，在不同的距离处捕捉基础斑纹图像步骤时，操作成像装置以捕捉一系列基准斑纹图像。
[0029]在捕捉人手上的斑纹的测试图像步骤中，将手引入到目标区域中，并且整个系统捕捉投射在手部表面上的斑纹图案的测试图像。然后，在下一步中，图像处理器计算测试图像和每个基准图像之间的交叉相关，在同轴设置中，计算交叉相关而不用调整测试图像中的斑纹图案相对于基准图像的相对移动或缩放。另一方面，在非同轴的设置中，有可能希望针对测试图像相对于每个基准图像的若干不同横向来计算交叉相关，并且可能针对两个或更多不同的缩放因子来计算交叉相关。
[0030]图像处理器识别基准图像，该基准图像具有与测试图像的最高交叉相关，并且这样一来手部离系统中的激光器的距离就大约等于这个特殊基准图像的置信距离，如果只需要物体的大概位置，则该方法就可以完成了。[0031]如若需要更精确数据，那么在基于测试图像和基准图像之间的斑纹的局部偏移量来构造深度图这个步骤中，图像处理器可以重建手部的深度信息图，为此，处理器测量测试图像中的手部表面上的不同点处的斑纹图案和在上一步处被识别为具有与测试图像最高交叉相关的基准图像中的斑纹图案的相应区域之间的局部偏移量。然后，图像处理器基于偏移量使用三角测量来确定这些点的Z坐标。然而，与单独通过基于斑纹的三角测量一般所能够实现的相比，上一步的测距和最后一步的3D重建的结合使得整个系统能够在Z方向上的大得多的范围之上执行精确的3D重建。
[0032]我们可以连续重复这个过程，以便在目标区域内跟踪手部的运动，为此，在手部移动的同时，系统捕捉到一系列的测试图像，并且图像处理器重复着将测试图像与基准匹配，并且可选地重复最后一步，以便跟踪手部的运动。通过假设手部自从前次迭代后尚未移动得太远，可以相对于基准图像中计算相关。
[0033]图三是手势特征提取和分类训练的示意图。我们选取手的边缘到掌心的距离的集合作为标识每个手势的特征向量。
[0034]由于人的手具有很大的灵活性，同一种手势存在有大量相似的姿势，为了避免相似手势样本的干扰，我们采用了仿射变换来解决该问题。仿射变换是一种二维坐标到一维坐标的线性变换，保持二维图形的“平直性”和“平行性”。仿射变换可以通过一系图像原子变换的复合来实现。通过仿射变换能实现同一种手势的一系列的相似姿势。
[0035]在掌心的提取部分，我们利用数学形态学的腐蚀操作，逐步去掉手势的边缘像素，当手区域的像素数目低于某个特定的值的时候，停止腐蚀，然后求得剩下的手的区域中所有像素坐标平均值作为掌心的位置。
[0036]在边缘提取和细化步骤部分，使用SUSAN算法和进行边缘提取和OPTA算法进行边缘的细化。SUSAN算法直接对图像灰度值进行操作，方法简单，无需梯度运算，保证了算法的效率；定位准确，对多个区域的结点也能精确检测；并且具有积分特性，对局部噪声不敏感，抗噪能力强。SUSAN准则的原理用一个圆形模板遍历图像，若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值，就认为该点与核具有相同(或相近)的灰度值，满足这样条件的像素组成的区域称为核值相似区(USAN)。把图像中的每个像素与有相近灰度值的局部区域相联系是SUSAN准则的基础。具体检测时，是用圆形模板扫描整个图像，比较模板内每一像素与中心像素的灰度值，并给定阈值来判别该像素是否属于USAN区域，USAN区域包含了图像局部许多重要的结构信息，它的大小反映了图像局部特征的强度。OPTA算法是经典的图像模板细化算法，该算法是从图像的左上角像素点开始按照从左到右、从上到下的顺序对图像进行扫描。如果当前像素点不是背景点，则以此点为“中心”，抽取它周围的10个邻点。将此邻域与事先规定的8个3X3方窗的消除模板进行比较，如果和其中一个消除模板匹配时，在和两个保留模板进行比较，如果和其中任意一个保留模板匹配，则保留该中心点，否则删除该中心点，但如果在和消除模板进行比较时没有找到一个相匹配的模板，则保留该中心点。依照此方法对二值图像进行细化，知道无像素点可删除为止，细化结束。在特征提取阶段，通过使用Freeman链码方法，沿着手势的边缘顺序求得每一个边缘点到掌心间的欧几里德距离。
[0037]在特征训练阶段，我们采用径向基函数神经网络(RBF)进行分类和训练。该网络具有全局逼近性质，而且具有最佳逼近性能。RBF网络结构上具有输出——权值线性关系，同时训练方法快速易行，不存在局部最优问题。为了适应RBF神经网络对输入节点数目固定的特点，对通过Freeman链码取得的边缘到掌心的距离的集合进行压缩映射到500个节点上，同时又能保证不改变手势的外形。所述径向基函数神经网络中存有各种手势所对应的控制指令，比如前进、后退、左转、右转、停止等指令。
[0038]以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明方法权利要求所限定的范围。
【权利要求】
1.一种基于图像深度信息的智能轮椅手势识别控制方法，其特征在于包括以下步骤: 101、采用3D体感摄影机Kinect获取智能轮椅上被测者的手势视频信号，并抓取该手势视频信号的一帧图像作为分割图像，采用图像预处理法对该分割图像进行过滤； 102、对步骤101中经过过滤的分割图像采用灰度直方图方法确定深度阈值。通过灰度直方图中灰度值由大到小的变化，寻找像素点剧变较大的灰度值处作为手像素区域分割的阈值，分离出手势图像，并将分离出的手势图像转换成手势二值图； 103、采用SUSAN算法将步骤102中得到的手势二值图进行边缘提取得到手势特征向量，采用Freman链码法沿着手势的边缘顺序求得每个手势特征向量，其中每个手势特征向量为手的边缘点到掌心的距离ri的集合； 104、采用OPTA算法对步骤103中得到的手势特征向量进行边缘细化，得到经过边缘细化后的优化手势特征向量； 105、将步骤104中的优化手势特征向量采用径向基函数神经网络RBF进行分类训练，与预先设置的训练数据进行对比，得出手势命令，并根据该手势命令输出手势控制指令传送给智能轮椅，所述智能轮椅根据手势控制指令运动，完成智能轮椅的手势识别控制。
2.根据权利要求1所述的基于图像深度信息的智能轮椅手势识别控制方法，其特征在于:步骤101中的图像预处理法包括平滑处理和去噪去噪处理对图像进行过滤。
3.根据权利要求1所述的基于图像深度信息的智能轮椅手势识别控制方法，其特征在于:步骤103中边缘提取中还包括对掌心的仿射变换步骤。
4.根据权利要求1所述的基于图像深度信息的智能轮椅手势识别控制方法，其特征在于:步骤103中的掌心提取采用数学形态学的腐蚀操作法去掉手势的边缘像素，当手区域的像素数目低于设定值Xl时，停止腐蚀，然后求得剩下的手的区域中所有像素坐标平均值作为掌心的位置。
【文档编号】G06T7/00GK103903011SQ201410131396
【公开日】2014年7月2日 申请日期:2014年4月2日 优先权日:2014年4月2日
【发明者】罗元, 张毅, 胡章芳, 谢彧, 席兵 申请人:重庆邮电大学