专利名称：基于计算机视觉的手势输入法构建方法及系统的制作方法
技术领域：
本发明涉及一种手势输入法构建方法及系统，尤其涉及一种基于视频聚类处理的手势输入法构建方法及系统。
背景技术：
随着技术的发展，在一些特殊领域，手势输入技术也得到了长足的发展，手势输入技术的前提是手势信号的采集，然后对采集的手势信号进行分析处理。由于手势目标的检测是指在人以复杂的背景条件下从图像流中检测出手势目标，然后再进行手势识别。手势识别是根据人手姿态以及变化过程来解释其高层次含义，由于手势具有以下四个特点，所以提取出具有几何不变性的特征是手势输入法实现的主要关键技术之一手是弹性物体， 所以同一种手势之间差别很大；手有大量冗余信息，由于手势识别关键是识别手指特征，所以手掌特征是冗余信息；手的位置是在三维空间，因此难以定位，并且计算机获取的图像是三维向二维的投影，所以投影方向是关键；手的表面非光滑，所以容易产生阴影。现有的手势识别技术是将摄像头捕捉到的所有数据帧都进行手势分析和手势识另|J，所有数据帧包括手势准备阶段，关键阶段和恢复阶段，因此，手势识别系统响应实时性差。现有的输入法是通过用户控制PC机的键盘、鼠标或移动设备的键盘、屏幕来进行输入。
发明内容
本发明解决的技术问题是构建一种基于计算机视频的手势输入法构建方法及系统，克服现有技术手势识别系统响应速度慢，只能依赖于键盘鼠标触摸屏来使用输入法的技术问题。本发明的技术方案是提供一种基于计算机视觉的手势输入法构建方法，步骤如下采集手势捕捉手势视频信号，得到手势数据图像帧；视频处理采用基于间隔手势数据帧缓冲的异步聚类处理模型，所述异步聚类处理模型包括缓冲模型，将采集的手势数据图像帧顺次存入缓冲模型中，对缓冲模型中的手势数据图像帧进行聚类处理，得到手势关键帧序列；手势分析对手势关键帧图像二值化并平滑滤波去噪后，进行手势轮廓提取，得到关键手势轮廓数据，根据手势关键帧图像二值图及提出的手势轮廓提取手势特征参数，所述手势特征参数组成手势特征向量；手势识别根据手势特征向量进行手势识别，得到与识别手势对应的键盘字母虚拟键或键盘控制虚拟键；构建手势输入法根据得到的键盘字母虚拟键和键盘控制虚拟键调用操作系统现有输入法。本发明的进一步技术方案是在视频处理步骤中，对缓冲模型中的手势数据图像帧进行聚类处理得到的每个类包括手势的准备阶段、关键帧阶段和恢复阶段的全部数据，
4所述每一类的聚类中心为每个手势的手势关键帧。本发明的进一步技术方案是在视频处理步骤中，设置阀值参数，通过比较间隔数据帧的帧差，若帧差未超过阀值参数，则在缓冲模型中去掉该手势数据帧；若帧差超过阀值参数，则界定为划类边界，并选取此类中位数位置的手势数据帧作为此类的手势关键帧。本发明的进一步技术方案是在视频处理步骤中，将采集的手势数据图像帧顺次存入缓冲模型中，当缓冲模型满即开始对手势数据帧进行聚类处理。本发明的进一步技术方案是在视频处理步骤中，在手势数据帧聚类处理的同时， 不断从捕捉新的手势数据帧进入缓冲模型，当缓冲模型中的手势数据帧聚类处理速度小于手势数据帧捕捉速度时，在缓冲模型数据满的时候，等待手势数据帧被聚类处理，并提示用户增大配置文件的大小；当缓冲模型手势数据帧聚类处理速度大于手势数据帧捕捉速度时，在出现缓冲模型数据空的时间，等待捕捉手势数据帧将手势数据帧放入缓冲模型，并提示用户减小配置文件中的大小。本发明的进一步技术方案是所述手势特征参数包括手势区域特征、Hu不变矩特征及Fourier描述子。本发明的进一步技术方案是在手势分析步骤中，采用拉普拉斯边缘提取算法进行手势轮廓提取。本发明的技术方案是构建一种基于计算机视觉的手势输入法构建系统，包括采集手势视频信号的手势采集单元、对采集的手势视频信号进行处理的视频处理单元、进行手势分析并获取手势特征向量的手势分析单元、根据手势特征向量进行手势识别的手势识别单元、构建手势输入法的构建单元，所述手势采集单元捕捉手势视频信号，得到手势数据图像帧；所述视频处理单元采用基于间隔手势数据帧缓冲的异步聚类处理模型，所述异步聚类处理模型包括缓冲模型，将采集的手势数据图像帧顺次存入缓冲模型中，对缓冲模型中的手势数据图像帧进行聚类处理，得到手势关键帧序列；所述手势分析单元对手势关键帧图像二值化并平滑滤波去噪后，进行手势轮廓提取，得到关键手势轮廓数据，根据手势关键帧图像二值图及提出的手势轮廓提取手势特征参数，所述手势特征参数组成手势特征向量；所述手势识别单元根据手势特征向量进行手势识别，得到与识别手势对应的键盘字母虚拟键或键盘控制虚拟键；所述构建单元根据得到的键盘字母虚拟键和键盘控制虚拟键调用操作系统现有输入法。本发明的进一步技术方案是所述视频处理单元包括对缓冲模型中的手势数据图像帧进行聚类处理的聚类处理模块，所述聚类处理模块采用基于时间序列的聚类算法从缓冲模型中读取手势帧数据，通过间隔手势帧帧差得到手势关键帧。本发明的进一步技术方案是所述手势识别单元根据手势特征向量进行手势识另|J，得到与识别手势对应的沈个键盘英文字母虚拟键及4个键盘控制虚拟键。本发明的技术效果是构建一种基于视频聚类处理的手势输入法构建方法及系统。利用异步缓冲模型对手势帧进行聚类，得到关键手势帧，只将关键手势帧进行后续的手势分析和手势识别，相对于以往的分析和识别每一帧手势的系统，有效提高了系统响应实时性。另外，本发明将手势识别与输入法的结合应用，是人机交互史上的创新。
图1为本发明的流程图。图2为本发明的结构示意图。图3为本发明视频处理结构示意图。图4为本发明手势分析结构示意图。图5为本发明手势识别及构建输入法结构示意图。
具体实施例方式下面结合具体实施例，对本发明技术方案进一步说明。如图1所示，本发明的具体实施方式
是本发明的技术方案是提供一种基于计算机视觉的手势输入法构建方法，步骤如下步骤100 采集手势，即捕捉手势视频信号，得到手势数据图像帧。具体实施过程如下一个手势词是一个有限基本手势序列，而每个基本手势包括下列三个阶段准备阶段，即将手从某个初始静止位置移到关键手势位置的运动阶段；关键手势阶段，即手势动作阶段；恢复阶段，即手回到初始位置的运动阶段。本发明具体实施例中，采用摄像头捕捉手势视频信号，经过处理得到手势数据图像帧。步骤200 视频处理，即采用基于间隔手势数据帧缓冲的异步聚类处理模型，所述异步聚类处理模型包括缓冲模型，将采集的手势数据图像帧顺次存入缓冲模型中，对缓冲模型中的手势数据图像帧进行聚类处理，得到手势关键帧序列。如图2所示，具体实施过程如下在进行视频处理过程中，尽可能地去除准备阶段及恢复阶段无用的数据帧，用关键手势阶段的数据帧来进行训练识别，这样可以大大提高训练及识别速度。本发明视频流处理即根据此原理，采用基于间隔手势数据帧缓冲的异步聚类处理模型，来实现对摄像头捕捉到手势图像帧的缓存、比较和聚类，聚出来的每个类中的数据就是一个基本手势的准备阶段、关键帧阶段和恢复阶段的全部数据，因此可以用每一类聚类中心来表示手势词的每个基本手型动作。具体来说，本发明视频处理包括如下过程一、异步聚类处理模型的使用。如图3所示，具体实施过程如下缓冲模型实质是一个数据采集缓冲模型。系统根据配置文件，系统分配手势数据帧大小的内存空间作为缓冲模型，摄像头将实时捕捉到的图像数据帧顺次存入缓冲模型， 当缓冲模型满即开始对手势数据帧进行聚类处理。异步处理手势数据帧聚类处理的同时，不断从摄像头捕捉新的数据帧进入缓冲模型。当缓冲模型手势数据帧聚类处理速度小于数据帧捕捉速度时，可能出现缓冲模型数据满的情况，此时阻塞捕捉数据帧进程，等待手势数据帧被聚类处理，并提示用户增大配置文件的大小；当缓冲模型手势数据帧聚类处理速度大于数据帧捕捉速度时，可能出现缓冲模型手势数据帧空的情况，此时阻塞间隔帧聚类处理进程，等待捕捉手势数据帧进程将手势数据帧放入缓冲区，并提示用户减小配置文件的大小。基于时间序列的手势间隔帧聚类基于时间序列的聚类算法从缓冲模型中读取数据，比较间隔数据帧，根据比较结果及配置文件中阈值参数，若帧差未超过阈值参数，则在缓冲模型中去掉相同的数据帧，若帧差超过阈值参数，则界定为划类边界，并选取此类的中位数位置的数据帧作为此类的关键数据帧，然后将整个类从缓冲模型中去掉。二、手势图像间隔数据帧差计算方法本系统根据手势图像数据帧特点，采用基于颜色直方图的计算方法来计算帧差。 具体计算方法如下(1)直方图相关帧差法对应配置文件中C0RREL_D参数
权利要求
1.一种基于计算机视觉的手势输入法构建方法，步骤如下采集手势捕捉手势视频信号，得到手势数据图像帧；视频处理采用基于间隔手势数据帧缓冲的异步聚类处理模型，所述异步聚类处理模型包括缓冲模型，将采集的手势数据图像帧顺次存入缓冲模型，对缓冲模型中的手势数据图像帧进行聚类处理，得到手势关键帧序列；手势分析对手势关键帧图像二值化并平滑滤波去噪后，进行手势轮廓提取，得到关键手势轮廓数据，根据手势关键帧二值图及提出的手势轮廓提取手势特征参数，所述手势特征参数组成手势特征向量；手势识别根据手势特征向量进行手势识别，得到与识别手势对应的键盘字母虚拟键或键盘控制虚拟键；构建手势输入法根据得到的键盘字母虚拟键和键盘控制虚拟键调用操作系统现有输入法。
2.根据权利要求1所述基于计算机视觉的手势输入法构建方法，其特征在于，在视频处理步骤中，对缓冲模型中的手势数据图像帧进行聚类处理，得到的每个类包括手势的准备阶段、关键帧阶段和恢复阶段的全部数据，所述每一类的聚类中心为每个手势的手势关键帧。
3.根据权利要求2所述基于计算机视觉的手势输入法构建方法，其特征在于，在视频处理步骤中，设置阀值参数，通过比较间隔数据帧的帧差，若帧差未超过阀值参数，则在缓冲模型中去掉该手势数据帧；若帧差超过阀值参数，则界定为划类边界，并选取此类中位数位置的手势数据帧作为此类的手势关键帧。
4.根据权利要求1所述基于计算机视觉的手势输入法构建方法，其特征在于，在视频处理步骤中，将采集的手势数据图像帧顺次存入缓冲模型中，当缓冲模型满即开始对手势数据帧进行聚类处理。
5.根据权利要求4所述基于计算机视觉的手势输入法构建方法，其特征在于，在视频处理步骤中，在手势数据帧聚类处理的同时，不断从捕捉新的手势数据帧进入缓冲模型，当缓冲模型中的手势数据帧聚类处理速度小于手势数据帧捕捉速度时，在缓冲模型数据满的时候，等待手势数据帧被聚类处理，并提示用户增大配置文件的大小；当缓冲模型手势数据帧聚类处理速度大于手势数据帧捕捉速度时，在出现缓冲模型数据空的时间，等待捕捉手势数据帧将手势数据帧放入缓冲模型，并提示用户减小配置文件中的大小。
6.根据权利要求1所述基于计算机视觉的手势输入法构建方法，其特征在于，所述手势特征参数包括手势区域特征、Hu不变矩特征及Fourier描述子。
7.根据权利要求1所述基于计算机视觉的手势输入法构建方法，其特征在于，在手势分析步骤中，采用拉普拉斯边缘提取算法进行手势轮廓提取。
8.一种基于计算机视觉的手势输入法构建系统，其特征在于，包括采集手势视频信号的手势采集单元、对采集的手势视频信号进行处理的视频处理单元、进行手势分析并获取手势特征向量的手势分析单元、根据手势特征向量进行手势识别的手势识别单元、构建手势输入法的构建单元，所述手势采集单元捕捉手势视频信号，得到手势数据图像帧；所述视频处理单元采用基于间隔手势数据帧缓冲的异步聚类处理模型，所述异步聚类处理模型包括缓冲模型，将采集的手势数据图像帧顺次存入缓冲模型中，对缓冲模型中的手势数据图像帧进行聚类处理，得到手势关键帧序列；所述手势分析单元对手势关键帧图像二值化并平滑滤波去噪后，进行手势轮廓提取，得到关键手势轮廓数据，根据手势关键帧图像二值图及提出的手势轮廓提取手势特征参数，所述手势特征参数组成手势特征向量；所述手势识别单元根据手势特征向量进行手势识别，得到与识别手势对应的键盘字母虚拟键或键盘控制虚拟键；所述构建单元根据得到的键盘字母虚拟键和键盘控制虚拟键调用操作系统现有输入法。
9.根据权利要求8所述基于计算机视觉的手势输入法构建系统，其特征在于，所述视频处理单元包括对缓冲模型中的手势数据图像帧进行聚类处理的聚类处理模块，所述聚类处理模块采用基于时间序列的聚类算法从缓冲模型中读取手势帧数据，通过间隔手势帧帧差得到手势关键帧。
10.根据权利要求8所述基于计算机视觉的手势输入法构建系统，其特征在于，所述手势识别单元根据手势特征向量进行手势识别，得到与识别手势对应的26个键盘英文字母虚拟键及4个键盘控制虚拟键。
全文摘要
本发明涉及一种基于计算机视觉的手势输入法的构建方法，步骤如下采集手势、视频处理、手势分析、手势识别、构建手势输入法。利用异步缓冲模型对手势帧进行聚类，得到关键手势帧，只将关键手势帧进行后续的手势分析和手势识别，相对于以往的分析和识别每一帧手势的系统，有效提高了系统响应实时性。另外，本发明将手势识别与输入法的结合应用，是人机交互史上的创新。
文档编号G06F3/01GK102508547SQ20111034591
公开日2012年6月20日 申请日期2011年11月4日 优先权日2011年11月4日
发明者于成龙, 张加佳, 王轩, 王金磊, 许欣欣, 赵海楠 申请人:哈尔滨工业大学深圳研究生院