一种基于hog特征的多旋转方向svm模型的手势跟踪方法
【技术领域】
[0001] 本发明涉及一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，属于图像 处理以及模式识别技术领域。
【背景技术】
[0002] 现如今，计算机的普及和迅速发展使得人们的生活越来越依赖计算机，计算机无 处不在。在以往的人和计算机交互技术中，特定的输入输出设备，如有键盘、鼠标、手写笔、 扫描仪等，被广泛采用。近几年，随着计算机性能的大幅度提高，个人计算机（PC)已具有语 音处理、图形图像处理等多种通信媒体的能力。为提高计算机的易用性和人机交互的自然 性，新型输入技术已俨然成为一个备受广大用户和科研工作者关注的研宄热点领域。人工 智能的飞跃发展和新式输入输出设备如雨后春笋般的不断涌现，使得计算机变得越来越智 能化，人机交互也变得更加的自然。人机交互技术的研宄历经以计算机为中心的传统交互， 现在已逐步转移到以人为中心的多种通道、多种媒体的新型交互技术上来。体势识别、人脸 识别、表情识别、头部跟踪、眼球跟踪以及手势识别等新式技术都是为符合人的习惯而出现 的新型人机交互技术。生活中，我们总是使用某些固定手势来表达某种特定的意图，例如表 示0K，为路人指示方向，表示数字等等。这些现象均说明了手势操作的频繁性和直观自然 性，同时也使得人们希望将手势可以用来与自己的计算机进行交互中。例如，用户可以定义 适当的手势来对设备进行控制等。
[0003] 手势识别作为多模式人机接口技术重要部分，涉及了多个学科的研宄领域，例如 计算机视觉、人工智能、模式识别等。基于视觉的手势跟踪是手势识别方法的重要环节，特 别是动态手势识别。人手的运动幅度较大、光照条件的变化、背景差异、在图像中所占区域 较小以及形状不断改变，这些均为手势跟踪带来了极大的挑战。此外，手势跟踪算法还要求 达到实时性和具有低耗性。方向梯度直方图（Histogram of Oriented Gradient，简称H0G) 是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。支持向量机（Support Vector Machine，简称SVM)是一种可用作特征空间分类的机器学习方法。
[0004] 手势跟踪的方法可以利用不同的方法实现，主要包括基于轮廓的方法、基于区域 的方法、基于模板的方法、基于特征的方法以及基于运动信息的方法等。但这些方法很大一 部分不能够处理复杂背景下手势的跟踪任务以及兼顾实时性和准确性。
【发明内容】
[0005] 本发明的目的是解决平面内规定手势旋转问题，提高利用基于HOG特征的多旋转 方向SVM模型对规定手势的定位。
[0006] 本发明提供了一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，具体 是：
[0007] 步骤1 :获取图像帧，并进行预处理，具体是：
[0008] (1)利用摄像头实时抓取镜头前各个图像帧，并对当前帧的图像进行双线性插值 处理以得到设定尺寸的图像；
[0009] (2)加载HOG特征的相关参数、梯度投值空间对应的字典以及基于HOG特征的各个 方向子区间的SVM模型。
[0010] 步骤2 :判断成功定位帧数是否到达预设的帧数阈值T ;
[0011] 设定一个变量X，用于记录到当前帧前连续成功地检测或跟踪到含有手势的帧数， 初始X的值为0。
[0012] 比较成功定位帧数变量X和预设的帧数阈值T，按如下进行：
[0013] (1)如果成功定位帧数变量X未达到预设阈值T，那么，调用基于HOG+Multi-SVM 的检测模块，进入步骤3执行；
[0014] (2)否则，调用基于HOG+Multi-SVM的跟踪模块，进入步骤5执行。
[0015] 步骤 3 :基于 HOG+Multi-SVM 的检测；
[0016] 对步骤1得到的图像进行各个尺度空间中的HOG特征提取，利用滑动窗口对所有 有效窗口进行遍历，并与预先训练的各方向子区间的SVM模型进行匹配，记录匹配的结果， 并在匹配成功时记录手势在图像帧的位置和SVM模型的索引号，然后转到步骤5执行。
[0017] 步骤 4 :基于 HOG+Multi-SVM 的跟踪；
[0018] 对步骤1得到的图像按照设定的尺度空间遍历顺序对HOG特征进行提取，并利用 特定方式进行固定窗口的移动，接着，以一定顺序与预先训练的各方向子区间的SVM模型 进行匹配。记录匹配的结果，并在匹配成功时记录手势在图像帧的位置和SVM模型的索引 号。进入步骤5执行。
[0019] 步骤5 :判定既定手势是否在图像上，并做出相应处理，具体是：
[0020] (1)当未在图像中定位到既定手势时，对成功定位的帧数变量X进行清零处理，从 而保证下次调用步骤3的检测子模块；
[0021] (2)否则，将成功定位的帧数变量X的值增1，并记录既定手势在图像中的位置大 小和匹配的SVM模型的索引号。
[0022] 本发明的优点在于：
[0023] (1)在复杂背景和光线条件不稳定情况下，本发明提出的方法能够很好地工作，即 具有一定的鲁棒性和健壮性。
[0024] (2)通过大量实验表明，本发明提出的方法能够将平均跟踪定位速度降低到15毫 秒/帧，能够满足实时的要求；
[0025] (3)通过实验表明，本发明提出的方法还在一定程度上提高了对既定手势定位的 精准度，保证了跟踪的质量。
【附图说明】
[0026] 图1为本发明的手势跟踪方法的整体流程示意图；
[0027] 图2为本发明中基于HOG+Multi-SVM检测的流程示意图；
[0028] 图3为本发明中基于HOG+Multi-SVM跟踪的流程示意图；
[0029] 图4为本发明中利用本发明运行的实际结果与不使用跟踪模块的结果对比。
【具体实施方式】
[0030] 下面将结合附图和实施例对本发明作进一步的详细说明。
[0031] 本发明研宄了一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，本方法 利用Web摄像头不间断的抓取镜前的图像帧，然后通过基于HOG+Multi-SVM的跟踪定位 框架进行判断帧内是否包含规定手势、找出其方向子区间索引号以及定位其在帧内的位 置。本发明有效地提高了利用基于HOG特征的多旋转方向SVM模型对规定手势的定位。 Multi-SVM 是指多元支持向量机（Multi. SupportVectorMachine, Multi-SVM)，本发明是指 在平面空间内的多个方向子区间的SVM模型。
[0032] 本发明中提出的方法总体而言主要包括两个过程：既定手势的初始检测定位和后 序的跟踪定位。本发明利用基于HOG+Multi-SVM检测模块能够对从Web摄像头获取手势前 几帧图像检测定位到规定手势；并在确定这些图像帧含有既定手势情况下启动基于HOG特 征的多旋转方向SVM模型的手势跟踪模块进行跟踪定位；一旦跟踪模块对既定手势跟踪丢 失或手势移出Web摄像头的拍摄范围，则重新启动基于HOG+Multi-SVM检测模块直到能够 成功地连续检测定位到规定手势。
[0033] 本发明通过研宄基于HOG+Multi-SVM检测框架中检测图像的尺度空间、窗口的遍 历方式及多旋转方向模型的匹配顺序结合手势的时空就近特性，提出了一种新型的基于 HOG和多SVM模型的手势跟踪方法。
[0034] 本发明提出的基于HOG特征的多旋转方向SVM模型的手势跟踪方法的具体实现步 骤如图1，包括以下几个步骤：
[0035] 步骤1 :获取图像帧，并进行预处理；
[0036] 利用摄像头实时抓取镜头前各个图像帧，并对图像进行双线性插值得到合适尺寸 的图像。合适尺寸的大小可由用户设定。加载HOG特征的相关参数和梯度投值空间对应的 字典以及基于HOG特征的各个方向子区间的SVM模型。
[0037] 其中，HOG特征主要的相关参数包括：
[0038] (I)SVM 模型检测窗口 的大小（Window Size);
[0039] (2)梯度投值空间分区数（Bins);
[0040] (3)窗 口中块的大小（Block Size);
[0041] (4)块中细胞单元的大小（Cell Size)。
[0042] 需要注意的是，（2)中Bins需要设定为偶数。
[0043] 加载FIVE手势的SVM模型的各个方向子区间为：
[0044] (I)Modl: [-3, 33] ； (2)Mod2: [27, 63] ； (3)Mod3: [57, 93]；
[0045] (4)Mod4: [87, 123] ； (5)Mod5: [117, 153] ； (6)Mod6: [147, 183]。
[0046] 平面空间内的多个方向子区间的线性SVM模型是预先训练得到的，并对SVM模型 进行了索引编号。
[0047] 步骤2 :判断成功定位帧数是否到达预定值；
[0048] 设定一个变量X，用于记录到当前帧前连续成功地检测或跟踪到含有手势的帧数， 并在本发明方法程序运行之初，将该变量初始化为0。
[0049] 比较成功定位帧数变量X的值和预设的帧数阈值T，按如下进行：
[0050] (1)如果成功定位帧数变量X未达到预设阈值T，那么，调用基于HOG+Multi-SVM 的检测模块，进入步骤3执行；
[0051] (2)否则，如果成功定位帧数变量x达到预设阈值T，调用基于HOG+Multi-SVM的 跟踪模块，进入步骤5执行。
[0052] 步骤 3 :基于 HOG+Multi-SVM 的检测；
[0053] 对经过步骤1处理后的图像进行各个尺度空间中的HOG特征提取，利用滑动窗口 对所有有效窗口进行遍历，并与预先训练的