一种基于计算机的静态手势图像识别交互系统的制作方法
【专利摘要】本发明提供了一种基于计算机的静态手势图像识别交互系统，属于人机交互领域。该系统包括：手势图像获取模块：对于通过摄像头捕捉到的图像进行处理，获得标准的手势图像；图像预处理模块：将获得标准的手势图像进行包围盒处理，并将其投影到标准图像；图像元素获取模块：获取标准图像中的手势区域形心、最远点和主方向；获取最远点特征信息模块：获取标准图像12区域最远点特征信息；获取面积特征信息模块：获取标准图像的面积特征信息；静态手势识别模块：采用PCA算法进行静态手势识别。
【专利说明】
-种基于计算机的静态手势图像识别交互系统
技术领域
[0001] 本发明设及一种手势识别系统，属于人机交互领域，具体设及一种基于计算机的 静态手势图像识别交互系统。
【背景技术】
[0002] 目前，手势识别分为基于可穿戴设备和基于视觉的两种手势识别方式。基于可穿 戴设备的手势识别主要W数据手套作为输入设备的手势识别为主，而基于视觉的手势识别 则只需要单个或多个摄像头作为输入设备手即可。基于穿戴设备的手势识别的优点是获取 的手势数据精度高，其缺点是设备价格昂贵，使用不便。而基于视觉的手势识别系统因计算 过程复杂，获取图像受光照影响较大，从而导致识别率和实时性均较差;其优点是设备价格 相对较低并且不干扰用户行为，学习使用简单灵活，交互自然。
[0003] 基于视觉的手势识别主要有如下几种方法。基于神经网络的手势识别，其特点是 自组织、自学习、抗干扰，因对时间序列处理能力不强，多用于静态手势识别;基于隐马尔科 夫模型的手势识别，运是一种统计分析模型，能非常细致的描述手势信号的时空变化，通常 用于动态手势识别;基于几何特征的手势识别方法，主要是选取手势的几何矩特征、边缘轮 廓特征或手势区域特征对图像进行特征点提取，然后根据各种距离进行模板匹配(Model Matching)，如化usdorff距离和欧式距离等。
[0004] E . Stergiopoulou等提出了一种基于手势自调整、自组织、自适应的神经网络 (Neural Gas network)，该神经网络通过对手势的特征的提取并进行处理，最终成功识别 了手势;Heung-Il Suk等提出了一种对视频中的手势进行识别的动态贝叶斯网络，该方法 能够对视频中手势和与之类似的情况中的手势成功识别;NorAo ^sMike等通过运用最 大神经网络分割出手势图像，从而进行手势识别；李绍志等提出了自动编码和主成分分析 (请参考:王松，夏绍讳.一种鲁棒主成分分析(PCA)算法[J].系统工程理论与实践，1998，18 (1) :9-13.)结合的方法用于美国表示语言（American sign language,ASU的识别，使成功 率由75%提升至99.05%。
[0005] Daehwan Kim等为解决视频动态手势识别中手势识别在手势分割后的识别不及时 性，提出了一种向前标记的积累隐马尔科夫模型算法，使得视频中动态手势的分割和识别 同时进行，识别精度高达95.42% ;Tim Dittmar等提出了一种转化隐马尔科夫模型用于触 摸手势识别，效果良好;陈冯胜等人提出了一种实时的手势分割的隐马尔科夫模型，成功识 别了 20种手势且识别率高达90 %。
[0006] 但是，目前基于视觉手势识别算法存在的主要问题是:获取图像的大小不一、图像 的旋转角度不同，图像翻转问题W及手势识别实时性等问题。
【发明内容】
[0007] 本发明的目的在于解决上述现有技术中存在的手势图像旋转、翻转和大小不一的 问题，提供一种基于计算机的静态手势图像识别交互系统。
[0008] 本发明是通过W下技术方案实现的：
[0009] -种基于计算机的静态手势图像识别交互系统，其特征在于，包括：
[0010] 手势图像获取模块:对于通过摄像头捕捉到的图像进行处理，获得标准的手势图 像；
[0011] 图像预处理模块:将获得标准的手势图像进行包围盒处理，并将其投影到标准图 像；
[0012] 图像元素获取模块:获取标准图像中的手势区域形屯、、最远点和主方向；
[0013] 获取最远点特征信息模块:获取标准图像12区域最远点特征信息；
[0014] 获取面积特征信息模块:获取标准图像的面积特征信息；
[0015] 静态手势识别模块:采用PCA算法进行静态手势识别。
[0016] 作为对本技术方案的进一步限定，所述手势图像获取模块是运样实现的：
[0017] 对于通过摄像头捕捉到的图像采用基于RGB和YCbCr颜色空间肤色模型对手势区 域进行分割处理，得到手势图像；
[0018] 对所述手势图像进行W下处理：
[0019] 两次八领域去噪，消去图像中的噪点；
[0020] 腐蚀处理，使手势图像中略微相连的连通域划分为两个独立的连通域；
[0021] 连通域处理，并计算各个连通域的面积，将较大的非手势区域做背景处理，即将非 手势区域置为黑色，手势区域置为红色；
[0022] 对处理后的图像进行膨胀处理，还原经过腐蚀处理的图像。
[0023] 作为对本技术方案的进一步限定，所述图像预处理模块是运样实现的：
[0024] 依次从图像的各个边向内部扫描，当扫描线碰到手势图像时即为包围盒该边的边 界，四个边界围成的矩形即为此手势图像的包围盒；
[0025] 包围盒外部的区域为无效数据区域，包围盒内部的区域为有效数据区域；
[00%]将包围盒区域图像映射到标准图像上。
[0027] 作为对本技术方案的进一步限定，所述将包围盒区域图像映射到标准图像上是运 样实现的：
[0028] 采用的标准图像大小为100*100,具体步骤如下：
[0029] Stepl.根据所述包围盒的大小和标准图像大小按照公式（1.1)计算放缩比率：
[0030]
(1.1)
[0031 ] 其中zoomX、zoomY分别为宽和高放缩比率，newWidth、new化ight分别为标准化图 像的边长，Wi化h、hei曲t为源图像的宽和高；
[0032] Step2.将包围盒中的手势图像按照公式(1.2)缩放到标准图像中：
[0033]
(1.2)
[0034] 其中，/)为标准化后图像中的像素点的坐标，（x，y)为源图像中像素点的坐标 值。
[0035] 作为对本技术方案的进一步限定，所述图像元素获取模块是运样实现的：
[0036] Stepl.分别计算标准图像中手势区域每个像素点的横坐标和纵坐标之和，并计算 手势区域像素点个数，W此代表手势区域的面积；
[0037] Step2.根据求取重屯、公式（1.3)求取重屯、坐标，即为手势区域形屯、的坐标：
[00 測
（1.3)
[0039] 其中，A代表手势图像面积，心代表形屯、横坐标值，y代表形屯、纵坐标值，dA为积分 兀素；
[0040] 最远点为手势图像区域像素点到形屯、距离最远的点；
[0041] 主方向为连接形屯、点到最远点的连线，方向为从形屯、点指向最远点。
[0042] 作为对本技术方案的进一步限定，所述获取最远点特征信息模块是运样实现的：
[0043] W手势区域形屯、为中屯、，W30度角为旋转角将手势区域划分为12个区域，其中第 一区域为主方向左右15度角组成的区域，从第一区域开始，逆时针方向上依次为第二区域 到第十二区域，取得12区域最远点的特征信息步骤如下：
[0044] Stepl.计算得到每个区域的最远点，并计算最远点到形屯、的距离，比较得到其中 的最大距罔；
[0045] Step2.将最大距离平均分为5段，则得到5个分组，距离形屯、最近的为第一组，距离 形屯、最远的为第五组；
[0046] Step3.分别计算12个最远点落到5个分组的次数；
[0047] Step4.将得到的落到5个区域的次数除均一化12区域最远点特征数据;得 至Ij长度为5的12区域最远点特征向量U =山1，化，化，W4，化}。
[0048] 作为对本技术方案的进一步限定，所述获取面积特征信息模块是运样实现的：
[0049] Stepl.计算手势最远点与形屯、的距离，并将该距离平均分为12段，则得到12个分 组，距离形屯、最近的为第一组，距离形屯、最远的为第十二组；
[0050] Step2.用12个区域划分标准图像，并计算每个区域的形屯、；
[0051] Step3.依次用12个区域的形屯、做手势区域的形屯、，计算此时的最远点和主方向；
[0052] Step4.计算形屯、与最远点的距离，并将其平均分成5份，得到5个分组，将整个圆周 分为12份，即从主方向开始，W逆时针为方向每隔30度角划分为一个区域，运样得到12个区 域，5个分组和12个区域交叉则得到60个块状区域，计算手势区域落在每个块状区域的像素 点的个数，即每个块状区域的面积；
[0053] steps.分别计算每组的最大面积，然后每组都除W该组的最大面积，即得到均一 化的面积特征值。
[0054] 作为对本技术方案的进一步限定，所述静态手势识别模块是运样实现的：
[0055] Stepl,每个手势都含有标准图像12区域最远点特征信息，将其保存为模板，设每 个模板的特征向量为U =山1，化，W3，W4，化}，待识别手势的特征向量为N = { m，屯，ri3，TU，化}， 采用欧式距离作为两个特征向量的区分度，按照公式(4.1)计算待识别手势与模板手势的 区分度diff={0i,02,...09}:
[0化6](4.1)
[0057] 计算得到
5个最小的区分度，待识别手势为运5种手势中的一种；
[0化引 St邱2, PCA手势识别：
[0059] 构造特征手势空间：对于一幅MXN的手势图像，将其头与尾相连构成一个大小为D = MXN维的列向量，D就是手势图像的维数，也即是图像空间的维数，设n是训练样本的数 目，Xj表示第j幅手势图像形成的特征信息列向量，则所样本的协方差矩阵，由公式(3.1)得 出：
[0060] (31)
[0061] 其中U为训练样本的平均图像向量，由公式(3.2)得出：
[0062；
(3 2)
[00创令A=[X1-U,X2-U, . . . ,Xn-U]，则有Sr = AAT,其维数为DXD;
[0064] 根据确定的5种手势，待识别的手势在运5种手势之中，抽取特征矩阵A中运5种手 势对应的特征向量，运些特征向量将组成新的特征矩阵A^=陆，拉，一Xsor,其中Xi为第i幅 训练样本图像求对应特征矢量，同样对待识别图像进行特征提取，得到特征矢量B= {XI， X2,…XiK其中i为经过信息量计算出来的所取前i个特征特征向量，运样得到集合A'和B两 个集合，采巧欧式距离公式(4.2)判断集合B与集合A'中特征向量的匹程度：
[00化]
(4.2)
[0066] 并计算出匹配程度集合dif ffinal = {:目1，目2，…目49，目日〇}，然后求取0的最小值，最小的 0值对应的手势图像即为最终识别结果。
[0067] 与现有技术相比，本发明的有益效果是:本发明采用的基于面积的特征提取方法， 与基于轮廓提取的特征不同，基于面积手势特征需要提取手势内部面积信息，并最终采用 主成分分析法(Principal Component Analysis，PCA)进行手势识别，并成功的进行识别， 解决了手势图像旋转、翻转和大小不一的问题。
【附图说明】
[0068] 图1经过处理获得的手势区域的图像
[0069] 图2经过包围盒算法处理获得的包围盒手势图像
[0070] 图3原图像映射为标准图像
[0071] 图4手势的形屯、
[0072] 图5待识别的9种手势
[0073] 图6本发明方法的步骤框图
【具体实施方式】
[0074] 下面结合附图对本发明作进一步详细描述：
[0075] 多样性、多义性、复杂变形性、时空差异性是手势所具有的特点。本发明采用搭载 在Amlroid平台上的摄像头捕捉包含手势区域的图像，对捕捉的图像进行手势图像分割W 获取手势图像信息。常用的手势分割方法有肤色分割法、背景差分法、灰度直方图检测法。 对手势图像采用单一的分割方法无法得到良好的分割效果，因此要取得良好的分割效果需 结合多种方法同时对图像进行分割。手势图像分割的效果直接影响到手势识别的识别精 度。
[0076] 本发明如图6所示，包括W下模块：
[0077] 1，手势图像获取模块
[0078] 对于通过摄像头捕捉的图像采用基于RGB和Y饥Cr颜色空间肤色模型对手势区域 进行分割处理，得到手势图像，此时分割得到的手势图像含有噪点和较大的非手势区域。
[0079] 对上一步得到的手势图像首先进行两次八领域去噪，经过运一步，图像中的噪点 将被消去；其次对上一步得到的图像进行腐蚀处理，使手势图像中略微相连的连通域划分 为两个独立的连通域，然后对手势图像做连通域处理，并计算各个连通域的面积，将较大的 非手势区域做背景处理，即将非手势区域置为黑色，手势区域置为红色;最后对处理后的图 像进行膨胀处理W还原经过腐蚀处理的图像。如图1所示，背景置为黑色，手势区域置为红 色。
[0080] 图像预处理模块:将获得标准的手势图像进行包围盒处理，并将其投影到标准图 像，具体如下：
[0081] 包围盒算法是一种求解离散点集最优包围空间的方法。基本思想是用体积稍大且 特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象。本发明采用矩形包围盒。
[0082] 依次从图像的各个边向内部扫描，当扫描线碰到手势图像时即为包围盒在该边的 边界，四个边界围成的矩形即为此手势图像的包围盒。如图2所示。包围盒外部的区域为无 效数据区域，包围盒内部的区域才为有效数据区域。
[0083] 为解决在手势识别过程中捕捉的手势图像大小对识别精度的影响，减少图像数 据，提高手势识别速度，将包围盒区域图像映射到标准图像上，本发明采用的标准图像大小 为100* 100。图像标准化步骤如下：
[0084] Stepl.根据上一步得到的包围盒的大小和标准图像大小按照公式（1.1)计算放缩 比率；
[0085]
(1.1)
[0086] 其中zoomX、zoomY分别为宽和高放缩比率，newWidth、new化ight分别为标准化图 像的边长，Wi化h、hei曲t为源图像的宽和高。
[0087] Step2.将包围盒中的手势图像按照公式（1.2)缩放到标准图像中。缩放结果如图3 所示，图3中原图像映射为标准图像，图的左侧为原图像，图的右侧为映射后的标准图像。
[008引
（i.2)
[0089]其中，/)为标准化后图像中的像素点的坐标，（x，y)为源图像中像素点的坐标 值，公式中的zoomX、zoomY可通过公式（1.1)得到。并不是原图像的每个点都可映射到标准 化图像上，而是从原图像选取部分点映射到标准图像上，运样既可W保留源手势图像的特 征又可大大减少手势图像的数据量。
[0090] 图像元素获取模块:获取标准图像中的手势区域形屯、、最远点和主方向；
[0091] 二维图像的形屯、，可W通过求取二维图像的重屯、求得，因图像单位点没有重量，此 时手势图像的形屯、同重屯、重合，求取二维手势图像重屯、的步骤如下：
[0092] Stepl.分别计算标准图像中手势区域像素点的横、纵坐标和，并计算手势区域像 素点个数，W此代表手势区域的面积；
[0093] Step2.根据求取重屯、公式（1.3)求取重屯、坐标，即为手势区域形屯、坐标。如图4所
/J、- O
[0094] (1.3)
[00M]其中，A代表手势图像面积，X.代表形屯、横坐标值，1>代表形屯、纵坐标值，dA为积分 兀素。
[0096] 最远点为手势图像区域像素点到形屯、距离最远的点。如图4所示，图4中图片中屯、 点的灰色点为手势的形屯、，右上角的灰色点为该图像的最远点。
[0097] 主方向为连接形屯、点到最远点的连线，方向为从形屯、点指向最远点。求取图像的 主方向是为了解决图像的旋转不变性，保证手势旋转后取得的特征与不旋转取得的特征相 同。
[0098] 2,获取最远点特征信息模块:获取标准手势图像12区域最远点特征信息。
[0099] W形屯、为中屯、，W30度角为旋转角将手势区域划分为12个区域，其中第一区域为 主方向左右15度角组成的区域。从第一区域开始，逆时针方向上依次为第二区域到第十二 区域。则取得12区域最远点的特征信息步骤如下：
[0100] Stepl.计算得到每个区域的最远点，并计算最远点到形屯、点的距离，比较得到其 中的最大距离；
[0101] Step2.将最大距离平均分为5段，则得到5个分组，距离形屯、最近的为第一组，距离 形屯、最远的为第五组；
[0102] Step3.分别计算12个最远点落到5个区域的次数；
[0103] Step4.将得到的落到5个区域的次数除均一化12区域最远点特征数据。
[0104] 经过上述步骤将得到长度为5的12区域最远点特征向量U=山1，化，化，1X4,化}。
[0105] 获取面积特征信息模块:获取标准手势图像面积特征信息。
[0106] 获取手势图像的面积特征信息作为PCA手势识别的特征信息。该方法的基本思路 是：W手势区域形屯、点为圆屯、的同屯、圆和W圆屯、为起点的射线将手势图像划分组成60个区 域，分别统计每个区域包含手势区域像素点的个数作为该区域的面积，并计算60个区域的 最大面积，对获得的面积特征数据均一化处理，从而获得面积特征信息。获取面积特征信息 步骤如下：
[0107] Stepl.计算手势最远点与形屯、点距离，并将该距离平均分为12段，则得到12个分 组，距离形屯、最近的为第一组，距离形屯、最远的为第十二组；
[0108] Step2.用12个区域划分手势图像，并计算每个区域的形屯、；
[0109] Step3.依次用12个区域的形屯、做手势区域的形屯、，计算此时的最远点和主方向；
[0110] Step4.计算形屯、与最远点的距离，将其平均分成5份，得到5个分组，将整个圆周分 为12份，即从主方向开始，W逆时针为方向每隔30度角划分为一个区域，运样得到12个区 域，5个分组和12个区域交叉则得到60个块状区域，计算手势区域落在每个块状区域的像素 点的个数，即每个块状区域的面积；
[0111] steps.运样得到12组，每组包含60个块状区域的面积。分别计算每组的最大面积， 然后每组都除W该组的最大面积，运样即可得到均一化的面积特征值。
[0112] 3.静态手势识别模块:采用PCA算法进行静态手势识别。
[0113] 基于PCA算法的人手识别一般经过S个阶段:第一个阶段利用训练图像数据构建 特征手空间；第二阶段是训练阶段，主要是将训练图像投影到特征手子空间上;最后一个是 识别阶段，将待识别的手势图像同样投影到特征手子空间上，并与投影后的训练图像相比 较，最终得出识别结果。
[0114] 特征手势空间构造：
[0115] 对于一副MXN的手势图像，将其头与头尾与尾相连构成一个大小为D = MXN维的 列向量。D就是手势图像的维数，也即是图像空间的维数。设n是训练样本的数目，Xj表示第j 幅手势图像形成的特征信息列向量，则所样本的协方差矩阵，可有公式(3.1)得出。
[0116]
梯巧
[0117] 其中U为训练样本的平均图像向量，可由公式(3.2)得出。
[0118；
化 2)
[0119] 令A=[X1-U,X2-U, . . . ,Xn-U]，则有Sr = AAT,其维数为DXDo
[0120] 根据K-L变换原理，需要求得的特征矩阵是由AAT的非零特征值所对应的特征向量 组成。考虑到直接计算，计算量比较大，所W采用奇异值分解[5] (Singular Value Decomposi tion,SVD)定理。通过求解ATa的特征值和特征向量来获得AAT的特征值和特征向 量。
[0121] 依据SVD定理，令、（i = 1，2，. . .，r)为矩阵ATa的r个非零特征值，Vi为aTa对应于、 的特征向量，则AAT的正交归一特征向量iii由公式(3.3)得到。
[0122]
(3 3)
[0123] 运样得到的特征向量的维数比较高，为了减少维数，采用计算信息量计算公式 (3.4)来确定维数的方法选择前i个特征向量。因运些特征向量对应的图像很像人手，所W 该图像被称为"特征手"。有了运样一个由"特征手"组成的绛维子空间，任何一副图像都可 W向其投影并获得一组向量，运组向量参数表明了该图像与"特征手"的相似程度，从而运 组向量可W作为识别人手的依据。
[0124]
保 4)
[0125] 训练样本的特征提取：
[0126] 特征提取就是从测量空间r到特征空间r的映射。运里的测量空间就是手势空间， 映射要遵循两个原则，一是特征空间必须保留测量空间中的主要分类信息，二是特征空间 的维数应远远低于测量空间的维数。
[0127] PCA算法是利用K-L变换来进行特征提取的，该变换是满足上述原则的一种数据压 缩方法，它的特征提取的基本原理是:在测量空间中找出一组m个正交矢量，要求运组矢量 能最大的表示出数据的方差;然后将原手势图像矢量从n维空间投影到运组正交矢量所构 成的m维子空间，则投影系数就是构成原手势图像的特征矢量，同时完成了维数的压缩(m< <n)。
[0128] 本发明选取的图像来源于Amlroid平台摄像头的图像采集。图像集中含有9种手 势，每种手势有10幅图像，运些图像具有如下特征，图像背景色单一，有利于分割出手势;手 势细节部分有着不同程度的变化，如手指之间的角度不同等。将所有的90幅图像作为训练 图像，构成一个90幅图像的训练集，测试集为实时获取的手势图像。特征提取的具体步骤可 按下面所述步骤进行特征选取。
[0129] 本发明基于面积特征的PCA手势识别具体如下：
[0130] 1训练样本粗选取
[0131] 需要识别的手势为9种，如图5所示。每个手势都含有标准手势图像12区域最远点 特征信息，并将其保存为模板。待识别手势也含有运个特征，可进行模板匹配识别出结果。
[0132] 设每个模板的特征向量为U= {Jil，li2，li3，li4，li5}，待识别手势的特征向量为N= hl, 112，113，114，化}，采用欧式距离作为两个特征向量的区分度，按照公式(4.1)计算待识别手势 与模板手势的区分度diff=化1，&，...抗}。
[0133]
(4.1)
[0134] 计算得到5个最小的区分度，判断最终手势为运5种手势中的一种，为下一步的PCA 手势识别提供初步判断。
[0135] 2PCA手势识别：
[0136] 经过上面提取到训练样本的特征矩阵A，根据确定的5种手势，待识别的手势在运5 种手势之中，抽取特征矩阵A中运5种手势对应的特征向量，运些特征向量将组成新的特征 矩阵^=巧1，乂2，-，乂50^其中乂1为第1幅训练样本图像求对应特征矢量，同样对待识别图像 进行特征提取，得到特征矢量8=^1，^2，一^1}其中1为经过信息量计算出来的所取前1个特 征特征向量。
[0137] 运样就得到集合A'和B两个集合，采用欧式距离公式(4.2)判断集合B与集合A中特 征向量的匹程度。计算出的匹配程度集合difffinal= {01，02, 一049,05〇}求取0的最小值，最小 的0值对应的手势图像即为最终识别结果。
[013 引
（4 2)
[0139] 4.无线通信模块:将静态手势识别模块识别的手势信息发送到网络中的其它设备 进行信息共享或者信息交互，无线通信模块采用现有技术中的通信模块，在此不再寶述。 [0140]上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本 发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本 发明上述【具体实施方式】所描述的方法，因此前面描述的方式只是优选的，而并不具有限制 性的意义。
【主权项】
1. 一种基于计算机的静态手势图像识别交互系统，其特征在于，包括： 手势图像获取模块:对于通过摄像头捕捉到的图像进行处理，获得标准的手势图像； 图像预处理模块:将获得标准的手势图像进行包围盒处理，并将其投影到标准图像； 图像元素获取模块:获取标准图像中的手势区域形心、最远点和主方向； 获取最远点特征信息模块:获取标准图像12区域最远点特征信息； 获取面积特征信息模块:获取标准图像的面积特征信息； 静态手势识别模块:采用PCA算法进行静态手势识别。2. 根据权利要求1所述的基于计算机的静态手势图像识别交互系统，其特征在于:所述 手势图像获取模块是这样实现的： 对于通过摄像头捕捉到的图像采用基于RGB和YCbCr颜色空间肤色模型对手势区域进 行分割处理，得到手势图像； 对所述手势图像进行以下处理： 两次八领域去噪，消去图像中的噪点； 腐蚀处理，使手势图像中略微相连的连通域划分为两个独立的连通域； 连通域处理，并计算各个连通域的面积，将较大的非手势区域做背景处理，即将非手势 区域置为黑色，手势区域置为红色； 对处理后的图像进行膨胀处理，还原经过腐蚀处理的图像。3. 根据权利要求2所述的基于计算机的静态手势图像识别交互系统，其特征在于:所述 图像预处理模块是这样实现的： 依次从图像的各个边向内部扫描，当扫描线碰到手势图像时即为包围盒该边的边界， 四个边界围成的矩形即为此手势图像的包围盒； 包围盒外部的区域为无效数据区域，包围盒内部的区域为有效数据区域； 将包围盒区域图像映射到标准图像上。4. 根据权利要求3所述的基于计算机的静态手势图像识别交互系统，其特征在于:所述 将包围盒区域图像映射到标准图像上是这样实现的： 采用的标准图像大小为1 〇〇* 1 〇〇，具体步骤如下： Stepl.根据所述包围盒的大小和标准图像大小按照公式（1.1)计算放缩比率： zoomX = newffidth/width (1.1) zommY = newHe ight/height 其中zoomX、zoomY分别为宽和高放缩比率，newWidth、newHeight分别为标准化图像的 边长，width、height为源图像的宽和高； Step2.将包围盒中的手势图像按照公式(1.2)缩放到标准图像中：(1,2) 其中(x'yO为标准化后图像中的像素点的坐标，（x，y)为源图像中像素点的坐标值。5. 根据权利要求4所述的基于计算机的静态手势图像识别交互系统，其特征在于:所述 图像元素获取模块是这样实现的： Stepl.分别计算标准图像中手势区域每个像素点的横坐标和纵坐标之和，并计算手势 区域像素点个数，以此代表手势区域的面积； Step2.根据求取重心公式（1.3)求取重心坐标，即为手势区域形心的坐标：(1.3) 其中，A代表手势图像面积，太代表形心横坐标值，_F代表形心纵坐标值，dA为积分元素； 最远点为手势图像区域像素点到形心距离最远的点； 主方向为连接形心点到最远点的连线，方向为从形心点指向最远点。6. 根据权利要求5所述的基于计算机的静态手势图像识别交互系统，其特征在于:所述 获取最远点特征信息模块是这样实现的： 以手势区域形心为中心，以30度角为旋转角将手势区域划分为12个区域，其中第一区 域为主方向左右15度角组成的区域，从第一区域开始，逆时针方向上依次为第二区域到第 十二区域，取得12区域最远点的特征信息步骤如下： Stepl.计算得到每个区域的最远点，并计算最远点到形心的距离，比较得到其中的最 大距离； Step2.将最大距离平均分为5段，则得到5个分组，距离形心最近的为第一组，距离形心 最远的为第五组； Step3.分别计算12个最远点落到5个分组的次数； Step4.将得到的落到5个区域的次数除以12以均一化12区域最远点特征数据;得到长 度为5的12区域最远点特征向量U = {μι，μ2，μ3，μ4，μ5}。7. 根据权利要求6所述的基于计算机的静态手势图像识别交互系统，其特征在于:所述 获取面积特征信息模块是这样实现的： Stepl.计算手势最远点与形心的距离，并将该距离平均分为12段，则得到12个分组，距 离形心最近的为第一组，距离形心最远的为第十二组； Step2.用12个区域划分标准图像，并计算每个区域的形心； Step3.依次用12个区域的形心做手势区域的形心，计算此时的最远点和主方向； Step4.计算形心与最远点的距离，并将其平均分成5份，得到5个分组，将整个圆周分为 12份，即从主方向开始，以逆时针为方向每隔30度角划分为一个区域，这样得到12个区域，5 个分组和12个区域交叉则得到60个块状区域，计算手势区域落在每个块状区域的像素点的 个数，即每个块状区域的面积； Step5.分别计算每组的最大面积，然后每组都除以该组的最大面积，即得到均一化的 面积特征值。8. 根据权利要求7所述的基于计算机的静态手势图像识别交互系统，其特征在于:所述 静态手势识别模块是这样实现的： Stepl，每个手势都含有标准图像12区域最远点特征信息，将其保存为模板，设每个模 板的特征向量为11={以1#2 43』4#5}，待识别手势的特征向量为~={111，112，113，114，115}，采用 欧式距离作为两个特征向量的区分度，按照公式(4.1)计算待识别手势与模板手势的区分 度(11打={01，02，...09}:(4 1) 计算得到5个最小的区分度，待识别手势为这5种手势中的一种； Step2，PCA手势识别： 构造特征手势空间：对于一幅Μ X N的手势图像，将其头与尾相连构成一个大小为D = Μ ΧΝ维的列向量，D就是手势图像的维数，也即是图像空间的维数，设η是训练样本的数目，Xj 表示第j幅手势图像形成的特征信息列向量，则所样本的协方差矩阵，由公式(3.1)得出：(3.1) 其中u为训练样本的平均图像向量，由公式(3.2)得出：(3.2) 令A= [X1-U，X2_U,. . .，xn-u]，则有Sr=AAT，其维数为DXD; 根据确定的5种手势，待识别的手势在这5种手势之中，抽取特征矩阵A中这5种手势对 应的特征向量，这些特征向量将组成新的特征矩阵A'=㈨，Χ2，一Χμ}τ，其中Xi为第i幅训练 样本图像求对应特征矢量，同样对待识别图像进行特征提取，得到特征矢量B = { XI，X2，… Xl}，其中i为经过信息量计算出来的所取前i个特征特征向量，这样得到集合A'和B两个集 合，采用欧式距离公式(4.2)判断集合B与集合A'中特征向量的匹程度：(4.2) 并计算出匹配程度集合(^&_1={01，02，"_0 49，05()}，然后求取0的最小值，最小的0值 对应的手势图像即为最终识别结果。
【文档编号】G06F3/01GK105955473SQ201610270549
【公开日】2016年9月21日
【申请日】2016年4月27日
【发明人】段广彬
【申请人】周凯