静态手势识别方法、装置及可读存储介质与流程

本发明涉及计算机视觉技术领域，具体而言，涉及一种静态手势识别方法、装置及可读存储介质。

背景技术：

目前在基于静态手势识别的研究一般主要是基于良好光照、简单背景、手势输入没有角度和尺度变化的情况，但是当静态手势识别发生光照变化或者复杂背景下时识别率大大降低，同时当角度和尺度变化发生变化时，在手势分割过程中会带来特征信息丢失，从而容易出现错误识别的问题，如何提高静态手势识别的鲁棒性和识别率，是本领域技术人员亟待解决的技术问题。

技术实现要素：

为了克服现有技术中的上述不足，本发明的目的在于提供一种静态手势识别方法、装置及可读存储介质，能够有效提高静态手势识别的鲁棒性和识别率，并解决手势分割过程中由于角度和尺度变化带来的特征信息丢失的问题。

为了实现上述目的，本发明较佳实施例采用的技术方案如下：

本发明较佳实施例提供一种静态手势识别方法，应用于电子设备，所述方法包括：

对待识别的静态手势图像进行手势分割，得到手势分割图像，所述静态手势图像包括深度图像和彩色图像；

计算所述手势分割图像的积分图像，并根据积分图像构建所述手势分割图像对应的尺度空间；

在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点；

提取所述目标特征点的特征值，并基于Hu不变矩算法对所述目标特征点的特征值进行识别，以得到静态手势识别结果。

在本发明较佳实施例中，所述对待识别的静态手势图像进行手势分割，得到手势分割图像的步骤，包括：

基于灰度直方图对所述深度图像进行图像分割，得到针对所述深度图像的第一手势分割结果；

基于所述第一手势分割结果对所述彩色图像进行图像分割，得到针对所述彩色图像的第二手势分割结果；

将所述第一手势分割结果和所述第二手势分割结果进行融合，得到手势分割图像。

在本发明较佳实施例中，所述基于灰度直方图对所述深度图像进行图像分割，得到针对所述深度图像的第一手势分割结果的步骤，包括：

对所述深度图像进行灰度阈值化分割，得到静态手势的二值图像，所述二值图像作为所述第一手势分割结果。

在本发明较佳实施例中，所述基于所述第一手势分割结果对所述彩色图像进行图像分割，得到针对所述彩色图像的第二手势分割结果的步骤，包括：

根据所述二值图像计算静态手势的最小外接矩形并获取所述外接矩形的二维坐标，将所述二维坐标映射到对应的彩色图像中，得到包括所述静态手势的最小外接矩形；

对所述最小外接矩形进行肤色分割，得到最小外接矩形的肤色二值图像；

通过所述二值图像和所述肤色二值图像从所述彩色图像中分割出第二手势分割结果。

在本发明较佳实施例中，所述在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点的步骤，包括：

在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点；

从所述所有极值点中查找目标尺度下的目标极值点；

对所述目标极值点进行三维立体邻域的非极大值抑制处理，得到局部极值点的定位信息；

基于局部极值点的定位信息对每个特征点进行特征符描述，得到每个特征点的特征向量；

计算每个特征向量对应的SURF相似性测度和欧氏距离相似性测度，得到初步特征点筛选结果；

根据计算得到的每个特征点的特征向量的欧氏距离对特征点进行排序，选择排名靠前的至少两组特征点作为基准点；

计算除所述基准点外的所有特征点到每个基准点的距离，以及除所述基准点外的所有特征点与每个基准点之间的夹角；

根据所述距离和所述夹角从查找到的所有极值点中筛选目标特征点。

在本发明较佳实施例中，所述基于Hu不变矩算法对所述目标特征点的特征值进行识别的步骤，包括：

采用Hu不变矩算法将所述目标特征点的特征值转化为Hu矩特征值；

通过转化后的Hu矩特征值对所述目标特征点的特征值进行识别，以得到静态手势识别结果。

本发明较佳实施例还提供一种静态手势识别装置，应用于电子设备，所述装置包括：

手势分割模块，用于对待识别的静态手势图像进行手势分割，得到手势分割图像，所述静态手势图像包括深度图像和彩色图像。

构建模块，用于计算所述手势分割图像的积分图像，并根据积分图像构建所述手势分割图像对应的尺度空间。

查找模块，用于在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点。

识别模块，用于提取所述目标特征点的特征值，并基于Hu不变矩算法对所述目标特征点的特征值进行识别，以得到静态手势识别结果。

本发明较佳实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的静态手势识别方法。

相对于现有技术而言，本发明具有以下有益效果：

本发明实施例提供一种静态手势识别方法、装置及可读存储介质，通过对待识别的静态手势图像进行手势分割，得到手势分割图像，然后计算所述手势分割图像的积分图像，并根据积分图像构建所述手势分割图像对应的尺度空间，而后在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点，最后提取所述目标特征点的特征值，并基于Hu不变矩算法对所述目标特征点的特征值进行识别，以得到静态手势识别结果。由此，能够提高静态手势识别过程中的抗干扰性，在光照变化、复杂背景等干扰下具有较高的鲁棒性和识别率，并解决手势分割过程中由于角度和尺度变化带来的特征信息丢失的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明较佳实施例提供的静态手势识别方法的一种流程示意图；

图2为图1中所示的步骤S210包括的各个子步骤的一种流程示意图；

图3为本发明较佳实施例提供的静态手势识别装置的一种功能模块图；

图4为本发明较佳实施例提供的用于实现上述静态手势识别方法的电子设备的一种结构示意框图。

图标：100-电子设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-静态手势识别装置；210-手势分割模块；220-构建模块；230-查找模块；240-识别模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语"第一"、"第二"等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，为本发明较佳实施例提供的静态手势识别方法的一种流程示意图。所应说明的是，本发明实施例提供的静态手势识别方法不以图1及以下所述的具体顺序为限制。所述方法的具体流程如下：

步骤S210，对待识别的静态手势图像进行手势分割，得到手势分割图像。

本实施例中，所述静态手势图像包括深度图像和彩色图像。详细地，本实施例可以通过Kinect传感器采集包括静态手势信息的图像信息，所述图像信息包括深度图像及RGB彩色图像。所述深度图像具有物体三维特征信息，即深度信息。由于深度图像不受光源照射方向及物体表面的发射特性的影响，同时也不存在阴影，可以更准确地表现采集目标表面的三维深度信息。

经发明人研究发现，在单独处理深度图像时，手腕或者手肘部分可能会被误检测为手势，或者物体遮挡、手微震生成的阴影对分割结果产生影响。而单独处理彩色图像进行基于肤色特征的手势分割时容易受到如光照、类肤色物体的干扰。为了解决上述问题，在一种实施方式中，请参阅图2，所述步骤S210可以通过如下子步骤实现：

子步骤S211，基于灰度直方图对所述深度图像进行图像分割，得到针对所述深度图像的第一手势分割结果。

本实施例中，可以通过对所述深度图像进行灰度阈值化分割，得到静态手势的二值图像，所述二值图像作为所述第一手势分割结果。例如，可以运用基于阈值的灰度图像分割算法对所述深度图像进行处理。通过确定灰度门限来区分动态手势和背景，用像素的灰度值同门限值进行比较来划分像素到动态手势区，得到灰度直方图。根据所述灰度直方图选取合适的分割阈值，对动态手势进行分割，得到包括所述动态手势的二值图像。

子步骤S212，基于所述第一手势分割结果对所述彩色图像进行图像分割，得到针对所述彩色图像的第二手势分割结果。

子步骤S213，将所述第一手势分割结果和所述第二手势分割结果进行融合，得到手势分割图像。

本实施例中，首先可以根据所述二值图像计算静态手势的最小外接矩形并获取所述外接矩形的二维坐标，将所述二维坐标映射到对应的彩色图像中，得到包括所述静态手势的最小外接矩形，然后对所述最小外接矩形进行肤色分割，得到最小外接矩形的肤色二值图像，最后通过所述二值图像和所述肤色二值图像从所述彩色图像中分割出第二手势分割结果，具体可以通过对所述二值图像和所述肤色二值图像进行“与”运算，最终将所述静态手势信息从所述图像信息中分割出来。

步骤S220，计算所述手势分割图像的积分图像，并根据积分图像构建所述手势分割图像对应的尺度空间。

步骤S230，在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点。

经发明仔细研究，针对手势分割过程中角度变换和尺度变换带来的错误识别问题，提出了筛选错误特征点结合SURF算法的特征提取方法，详细地，上述特征提取方法可以通过如下方式实现：

首先，在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，接着从所述所有极值点中查找目标尺度下的目标极值点，并对所述目标极值点进行三维立体邻域的非极大值抑制处理，得到局部极值点的定位信息。然后，基于局部极值点的定位信息对每个特征点进行特征符描述，得到每个特征点的特征向量，并计算每个特征向量对应的SURF相似性测度和欧氏距离相似性测度，得到初步特征点筛选结果，再根据计算得到的每个特征点的特征向量的欧氏距离对特征点进行排序，选择排名靠前的至少两组特征点作为基准点。而后，计算除所述基准点外的所有特征点到每个基准点的距离，以及除所述基准点外的所有特征点与每个基准点之间的夹角，最后根据所述距离和所述夹角从查找到的所有极值点中筛选目标特征点。

详细地，在上述过程中，首先通过计算所述手势分割图像的积分图像并构建尺度空间，然后通过计算检测响应，在所述尺度空间中搜索符合Hessian极值点判定条件的全部极值点，并对某个尺度下的全部极值点进行如三维立体邻域的非极大值抑制，得到局部极值点的精确定位信息。接着进行特征符描述，得到每个特征点的四维特征向量，紧接着计算特征点SURF相似性测度和欧氏距离相似性测度，得到初步特征点筛选结果。然后由计算得到的特征点特征向量的欧氏距离进行升序排列，得到两个点集，选择排在最前面的两组特征点作为基准点。然后计算得到除基准点外的所有特征点到基准点p1和p1’的距离d1和d1’，为保证图像存在尺度变化情况下距离比较的准确性，本实施例引入手势轮廓周长L对距离小d进行加权得到加权距离大D，并判定距离大D的距离是否成立。最后角度参数一致性检验，分别计算除所述基准点外的所有特征点到每个基准点的距离，以及除所述基准点外的所有特征点与每个基准点之间的夹角，则对应夹角和距离成立，也即在误差范围内，则判定该特征点为正确的特征点，否则为错误特征点，将该错误特征点进行剔除，从而可以解决手势分割过程中由于角度和尺度变化带来的特征信息丢失的问题。

步骤S240，提取所述目标特征点的特征值，并基于Hu不变矩算法对所述目标特征点的特征值进行识别，以得到静态手势识别结果。

本实施例可以通过采用Hu不变矩算法将所述目标特征点的特征值转化为Hu矩特征值，并通过转化后的Hu矩特征值对所述目标特征点的特征值进行识别，以得到静态手势识别结果。

详细地，首先，基于Hu矩算法的静态手势识别的步骤方法为：

由上面的表达式很容易看出，在离散状态，图像的尺度发生变化时，归一化后的中心距函数值不但与矩的阶数有关，还会受到比例因子的影响，这些都会影响到Hu不变矩。由此在进行构建Hu矩的空间向量匹配比对时，识别率以及鲁棒性都会降低。

因此，为了解决上述问题，本申请发明人对以上表达式进行了改进，通过采用尺度归一法消除比例因子对Hu矩的影响，构建了一组新的矩特征如下：

利用构建后的矩特征值来匹配图像，选用改进后的M₁-M₆以及原来的来进行静态手势识别，能够有效提高静态手势的识别率和鲁棒性。

进一步地，请参阅图3，本发明较佳实施例还提供一种静态手势识别装置200，所述装置可以包括：

手势分割模块210，用于对待识别的静态手势图像进行手势分割，得到手势分割图像，所述手势分割图像包括深度图像和彩色图像。

构建模块220，用于计算所述手势分割图像的积分图像，并根据积分图像构建所述手势分割图像对应的尺度空间。

查找模块230，用于在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点。

识别模块240，用于提取所述目标特征点的特征值，并基于Hu不变矩算法对所述目标特征点的特征值进行识别，以得到静态手势识别结果。

在一种实施方式中，所述在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点的方式，包括：

在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点；

从所述所有极值点中查找目标尺度下的目标极值点；

对所述目标极值点进行三维立体邻域的非极大值抑制处理，得到局部极值点的定位信息；

基于局部极值点的定位信息对每个特征点进行特征符描述，得到每个特征点的特征向量；

计算每个特征向量对应的SURF相似性测度和欧氏距离相似性测度，得到初步特征点筛选结果；

根据计算得到的每个特征点的特征向量的欧氏距离对特征点进行排序，选择排名靠前的至少两组作为基准点；

计算除所述基准点外的所有特征点到每个基准点的距离，以及除所述基准点外的所有特征点与每个基准点之间的夹角；

根据所述距离和所述夹角从查找到的所有极值点中筛选目标特征点。

在一种实施方式中，所述基于Hu不变矩算法对所述目标特征点的特征值进行识别的方式，包括：

采用Hu不变矩算法将所述目标特征点的特征值转化为Hu矩特征值；

通过转化后的Hu矩特征值对所述目标特征点的特征值进行识别，以得到静态手势识别结果。

本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

进一步地，请参阅图4，为本发明较佳实施例提供的电子设备100的一种结构示意框图。本实施例中，所述电子设备100可以是移动终端、服务器等具有计算能力的终端设备。

如图4所示，所述电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现无线通信网络中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，电子设备100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，电子设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，电子设备100可以使用下述来实现:一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本发明通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图4中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于电子设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

所述处理器120可执行上述实施例，具体地，所述存储介质130中可以存储有所述静态手势识别装置200，所述处理器120可以用于执行所述静态手势识别装置200。

综上所述，本发明实施例提供一种静态手势识别方法、装置及可读存储介质，通过对待识别的静态手势图像进行手势分割，得到手势分割图像，然后计算所述手势分割图像的积分图像，并根据积分图像构建所述手势分割图像对应的尺度空间，而后在所述尺度空间中查找符合基于Hessian矩阵的极值点的判定条件的所有极值点，并从查找到的所有极值点中筛选目标特征点，最后提取所述目标特征点的特征值，并基于Hu不变矩算法对所述目标特征点的特征值进行识别，以得到静态手势识别结果。由此，能够提高静态手势识别过程中的抗干扰性，在光照变化、复杂背景等干扰下具有较高的鲁棒性和识别率，并解决手势分割过程中由于角度和尺度变化带来的特征信息丢失的问题。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。