一种基于静动结合的模糊手势识别方法、设备及介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种基于静动结合的模糊手势识别方法、设备及介质。


背景技术：

2.随着科技的发展，非接触式人机交互技术成为应用热点。其中，手势触控可有效代替触屏操作，比如，在使用医院自助机、无人零售机等设备时有效控制病毒交叉感染的风险，成为一种卫生且时尚的新兴技术。
3.目前，使用手势模拟鼠标运动与点击操作，又称为手势鼠标，简单地说，就是用鼠标做出一些动作以控制软件完成某些操作，主要在浏览器和桌面窗口管理中得到比较广泛的应用，如在空白处划出某种特定的轨迹，实现预先定制功能等。其中，手势鼠标主要包括鼠标位置定位、手势指令控制两个方面，鼠标位置定位主要用于屏幕控件或链接凌空点击、凌空手写字体等操作过程中位置的定位，手势指令可以模拟鼠标单击/双击或其它特定指令。
4.但是，不同于普通桌面上放置的光电鼠标或触控屏，手势鼠标位置定位与指令类别容易产生不可控误差，主要是由于在手势识别与特征点定位过程中，容易受到环境光线、摄像角度、人体微颤抖、手势姿态不规范等因素影响，导致模拟鼠标位置发生不期望的随机抖动，特别是因拍摄角度或动作不规范等原因导致手势姿态模棱两可，使得识别结果在两个识别类别之间反复跳动，影响对设备的正常操作，导致手势识别准确率低。


技术实现要素：

5.本技术实施例提供一种基于静动结合的模糊手势识别方法、设备及介质，用于解决在手势鼠标进行触控操作时，手势识别准确率低的问题。
6.本技术实施例采用下述技术方案：
7.一方面，本技术实施例提供了一种基于静动结合的模糊手势识别方法，该方法包括：获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点；确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵；获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点；提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点；确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵；将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。
8.一个示例中，所述将所述空间域特征矩阵与所述时空序列矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别，具
体包括：通过第一卷积网络，提取所述空间域特征矩阵对应的第一特征图；通过第二卷积网络，提取所述时空序列特征矩阵对应的第二特征图；其中，所述第二特征图与所述第一特征图的尺度相同；通过预设注意力机制融合表达式，对所述第一特征图与所述第二特征图进行融合，生成融合特征；将所述融合特征输入至第三卷积网络，输出所述用户在当前时刻的手势姿态以及手势动作类别。
9.一个示例中，所述通过预设注意力机制融合表达式对所述第一特征图与所述第二特征图进行融合，生成融合特征，具体包括：将所述第一特征图与所述第二特征图进行合并通道，得到拼接特征图；对所述拼接特征图中的特征进行交叉点乘，得到交叉处理的特征；对所述交叉处理的特征进行概率化，得到初始融合特征；对所述初始融合特征进行反变换，生成与所述拼接特征图相同尺度的特征，并通过可学习参数对所述特征加权后与所述拼接特征图相加，生成融合特征。
10.一个示例中，所述对所述拼接特征图中的特征进行交叉点乘，得到交叉处理的特征，具体包括：其中，其中，ff是所述拼接特征图中各特征图对应的一维展开形式特征，所述ff的尺度为c
×
d，则c为拼接特征图中所有特征图的总数量，d为所述拼接特征图中的元素个数，ff
mk
是指编号为m特征图的第k个元素，ff
nk
是指编号为n特征图的第k个元素，g
mn
是指交叉处理的特征；所述对所述交叉处理的特征进行概率化，得到初始融合特征，具体包括：通过以下公式得到维度为c的初始融合特征：其中，te
mn
为g
mn
概率化的初始融合特征；其中，te
mn
为g
mn
概率化的初始融合特征；所述对所述初始融合特征进行反变换，生成与所述拼接特征图相同尺度的特征，并通过可学习参数对所述特征加权后与所述拼接特征图相加，生成融合特征，具体包括：通过c
×
c个初始融合特征按行列式编号顺序组合，生成维度为c
×
c的初始融合矩阵；通过以下公式，生成融合特征：fc＝β
·
reshape(te
·
ff)+fb其中，fc为融合特征，te初始融合矩阵，fb为拼接特征图，reshape用于将te
·
ff恢复为与fb相同的尺度，β是可学习参数。
11.一个示例中，所述确定所述第一特征点的第一位置差分函数，具体包括：δi＝p
i-p
i-1
，其中，δi为第i个第一特征点在所述手势图像中的第一位置差分函数值，pi为所述第i个第一特征点在所述手势图像中的位置，p
i-1
为第i-1个第一特征点在所述手势图像中的位置，n为大于1的正整数；所述对所述第一位置差分函数进行归一化，确定所述第一特征点的空间域特征矩阵，具体包括：令δ0＝0，归一化函数表达式如下：＝0，归一化函数表达式如下：其中，γj是指第j个第一特征点在所述手势图像中的归一化函数值，δj是指第j个第一特征点在所述手势图像中的第一位置差分函数值，δi为是指第i个第一特征点在所述手势图像中的第一位置差分函数值；若所述手势图像为二维图像，则空间域特征矩阵如下：其中，x1为空间域特征矩阵，γ
x，j
是指第j个第一特征点在x方向上的归一化变换值，γ
y，j
是指第j个第一特征点在y方向上的归一化变换值。
12.一个示例中，所述确定所述第二特征点的第二位置差分函数，具体包括：α
t，i
＝p
t，i-p
t-1，i
，其中，t为大于1的正整数，α
t，i
是指第i个第二特征点在t时刻的第二位置差分函数值，p
t，i
是指第i个第二特征点在t时刻的位置；所述对所述第二位置差分函数进行归一化，确定所述第二特征点的时空序列特征矩阵，具体包括：令α
0，i
＝0，则归一化函数的表达式如下：其中，β
t，k
是指第k个第二特征点在t时刻的归一化函数值，α
t，k
是指第k个第二特征点在t时刻的第二位置差分函数值，α
t，i
是指第i个第二特征点在t时刻的第二位置差分函数值；若所述历史手势图像为二维图像，则单个第二特征点的时空序列特征矩阵如下：图像，则单个第二特征点的时空序列特征矩阵如下：其中，dk是指第k个特征点的时空序列特征矩阵，β
x，t，k
是指第k个特征点在x方向上的第t时刻的归一化函数值，β
y，t，k
是指第k个特征点在y方向上的第t时刻的归一化函数值；所有第二特征点的时空序列特征矩阵如下：x2＝[d
0 d1ꢀ…ꢀdk
ꢀ…ꢀdn-1
]。
[0013]
一个示例中，所述将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型之前，所述方法还包括：获取样本用户在当前时刻的待识别样本手势图像，确定所述样本手势图像的样本空间域特征矩阵；获取所述样本用户在预设历史时长内的多帧样本历史手势图像，确定所述多帧样本历史手势图像的样本时空序列特征矩阵；通过标记所述样本手势图像中的手势动作标签与手势姿态标签，以及所述样本空间域特征矩阵与所述样本时空序列矩阵，对第一卷积网络、第二卷积网络以及第三卷积网络进行有监督训练。
[0014]
一个示例中，所述输出所述用户在当前时刻的手势姿态以及手势动作类别，具体包括：通过第一网络输出端口，输出所述用户在当前时刻的手势姿态；其中，所述手势姿态包括手掌展开、手掌握起、手指竖起中的至少一种；通过第二网络输出端口，输出所述用户在当前时刻的手势动作类别；其中，所述手势动作类别包括手势静止、手势移动；所述输出所述用户在当前时刻的手势姿态以及手势动作类别之后，所述方法还包括：确定所述手势姿态的损失与所述手势动作类别的损失；基于预设加权系数，对所述手势姿态的损失与所述手势动作类别的损失进行加权求和，确定损失函数；通过所述损失函数，对所述深度卷积神经网络模型进行调整参数。
[0015]
另一方面，本技术实施例提供了一种基于静动结合的模糊手势识别设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点；确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵；获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点；提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相
同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点；确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵；将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。
[0016]
另一方面，本技术实施例提供了一种基于静动结合的模糊手势识别非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点；确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵；获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点；提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点；确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵；将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。
[0017]
本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0018]
本技术实施例通过生成待识别手势图像的空间域特征矩阵，能够实现手势特征点之间的关联，更有利于对当前手势姿态进行分类，以及生成时空序列特征矩阵，能够实现手势特征点在时间维度上的关联，更有利于对手势动作进行分类，从而通过对手势特征点数据进行预处理，然后输入深度卷积神经网络模型，模型中采用注意力机制融合方法进行特征融合，模型输出用户在当前时刻的手势姿态以及手势动作类别，由于训练与预测过程中结合了手势静态特征与动态运动特性，使得模型在受局部条件(如，光线、角度、失焦)等因素影响时更加具有鲁棒性，提升手势识别的泛化识别能力，从而提高了手势识别准确率与效率。
附图说明
[0019]
为了更清楚地说明本技术的技术方案，下面将结合附图来对本技术的部分实施例进行详细说明，附图中：
[0020]
图1为本技术实施例提供的一种基于静动结合的模糊手势识别方法的流程示意图；
[0021]
图2为本技术实施例提供的一种待识别手势图像的手势特征点的示意图；
[0022]
图3为本技术实施例提供的一种基于静动结合的模糊手势识别设备的结构示意图。
具体实施方式
[0023]
为使本技术的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本技术的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0024]
下面参照附图来对本技术的一些实施例进行详细说明。
[0025]
图1为本技术实施例提供的一种基于静动结合的模糊手势识别方法的流程示意图。该方法可以应用于不同的业务领域，该流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。
[0026]
本技术实施例涉及的分析方法的实现可以为终端设备，也可以为服务器，本技术对此不作特殊限制。为了方便理解和描述，以下实施例均以服务器为例进行详细描述。
[0027]
需要说明的是，该服务器可以是单独的一台设备，可以是有多台设备组成的系统，即，分布式服务器，本技术对此不做具体限定。
[0028]
图1中的流程可以包括以下步骤：
[0029]
s102：获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点。
[0030]
其中，可以通过设置在屏幕设备上的图像拍摄设备获取待识别手势图像，在图像拍摄设备为二维设备时，则待识别手势图像为二维手势图像，在图像拍摄设备为三维设备时，则待识别手势图像为三维手势图像。
[0031]
需要说明的是，如何提取待识别手势图像的手势特征点，可以根据实际需要进行限制，在此不作具体限定。比如，通过预先构建的图像识别模型，提取待识别手势图像的手势特征点。
[0032]
更直观地，图2为待识别手势图像的手势特征点的示意图，如图2所示，手势特征点包括0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19以及20，共21个手势特征点。
[0033]
s104：确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵。
[0034]
在本技术的一些实施例中，若n个手势特征点在二维或三维图像中的位置为{p0，p1，
…
，pn}，n为大于1的正整数。则通过以下表达式，确定第一特征点的第一位置差分函数：
[0035][0036]
其中，δi为第i个第一特征点在手势图像中的第一位置差分函数值，pi为第i个第一特征点在手势图像中的位置，p
i-1
为第i-1个第一特征点在手势图像中的位置。
[0037]
进一步地，输入采用相对位移坐标，则令δ0＝0，归一化函数表达式如下：
[0038][0039]
其中，γj是指第j个第一特征点在手势图像中的归一化函数值，δj是指第j个第一特征点在手势图像中的差分函数值，δ性性是指第i个第一特征点在手势图像中的第一位置差分函数值。
[0040]
若手势图像为二维图像，在x，y方向转换后的空间域特征矩阵如下：
[0041][0042]
其中，x1为空间域特征矩阵，γ
x，j
是指第j个第一特征点在x方向上的归一化变换值，γ
y，j
是指第j个第一特征点在y方向上的归一化变换值。
[0043]
需要说明的是，手势图像也可以为三维图像，则对应三维的空间域特征矩阵。
[0044]
s106：获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点。即，相当于从当前时刻向前连续取样，比如，从当前时刻向前连续取样16帧，不一定对应实时视频帧。
[0045]
s108：提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点。
[0046]
也就是说，若有多组相邻帧，则有多组具有相同位置的手势特征点。即，将在不同时刻的相同位置的手势特征点，作为第二特征点。
[0047]
s110：确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵。
[0048]
在本技术的一些实施例中，基于时间窗口内前后帧中的相同特征点位置差分与归一化矩阵的定义，取视频离散抽样帧的时间窗口长度为t，即，t为时间窗口内的抽样总数，比如，抽样数为8，则代表时间长度为8，不是物理意义上的时间分或秒。t-1代表当前时刻的视频帧(待识别手势图像)编号，0代表最远时刻视频帧(历史手势图像)编号，则不同时刻相同特征点的差分函数为：
[0049]
α
t，i
＝p
t，i-p
t-1，i
，其中，
[0050]
其中，t为大于1的正整数，是指第i个第二特征点在t时刻的第二位置差分函数值，p
t，i
是指第i个第二特征点在t时刻的位置；
[0051]
令α
0，i
＝0，则归一化函数的表达式如下：
[0052][0053]
其中，β
t，k
是指第k个第二特征点在t时刻的归一化函数值，α
t，k
是指第k个第二特征点在t时刻的第二位置差分函数值，α
t，i
是指第i个第二特征点在t时刻的第二位置差分函数值；
[0054]
若所述历史手势图像为二维图像，则单个第二特征点的时空序列特征矩阵如下：
[0055][0056]
其中，dk是指第k个特征点的时空序列特征矩阵，β
x，t，k
是指第k个特征点在x方向上的第t时刻的归一化函数值，β
y，t，k
是指第k个特征点在y方向上的第t时刻的归一化函数值；
[0057]
所有第二特征点的时空序列特征矩阵如下：
[0058]
x2＝[d
0 d1ꢀ…ꢀdk
ꢀ…ꢀdn-1
]
[0059]
s112：将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。
[0060]
其中，通过第一网络输出端口，输出用户在当前时刻的手势姿态。其中，手势姿态包括手掌展开、手掌握起、手指竖起中的至少一种。
[0061]
通过第二网络输出端口，输出用户在当前时刻的手势动作类别。其中，手势动作类别包括手势静止、手势移动。
[0062]
为了验证模型正确率，反向调整深度卷积神经网络模型的参数，通过第一网络输出端口输出手势姿态后，计算该手势姿态的损失，通过第二网络输出端口输出手势动作类
别后，计算该手势动作类别的损失，基于预设加权系数，对手势姿态的损失与手势动作类别的损失进行加权求和，确定损失函数，通过损失函数，对所述深度卷积神经网络模型进行调整参数。
[0063]
在手势特征点数据预处理、手势动作特征与姿态特征融合方式等方面进行了创新，本技术实施例通过生成待识别手势图像的空间域特征矩阵，能够实现手势特征点之间的关联，更有利于对当前手势姿态进行分类，以及生成时空序列特征矩阵，能够实现手势特征点在时间维度上的关联，更有利于对手势动作进行分类，从而通过对手势特征点数据进行预处理，然后输入深度卷积神经网络模型，提升手势识别的泛化识别能力，从而提高了手势识别准确率与效率。
[0064]
在本技术的一些实施例中，通过注意力机制的特征融合网络进行监督学习，使得网络能根据静止、位移等动作特征增强对模糊手势姿态与动作的判断能力。显然，矩阵x1是手势特征点之间的关联，更有利于对当前手势姿态进行分类，矩阵x2是手势特征点在时间维度上的关联，更有利于对手势动作进行分类。
[0065]
具体地，首先通过第一卷积网络，提取空间域特征矩阵对应的第一特征图，然后，通过第二卷积网络，提取时空序列特征矩阵对应的第二特征图。其中，第二特征图与第一特征图的尺度相同。然后，通过预设注意力机制融合表达式，对第一特征图与第二特征图进行融合，生成融合特征。最后，将融合特征输入至第三卷积网络，输出用户在当前时刻的手势姿态以及手势动作类别。
[0066]
进一步地，在生成融合特征时，首先将第一特征图与第二特征图进行合并通道，得到拼接特征图。然后，对拼接特征图中的特征进行交叉点乘，得到交叉处理的特征。然后，对交叉处理的特征进行概率化，得到初始融合特征。最后，对初始融合特征进行反变换，生成与拼接特征图相同尺度的特征，并通过可学习参数对所述特征加权后与所述拼接特征图相加，生成融合特征。
[0067]
更进一步地，对拼接特征图中的特征进行交叉点乘，得到交叉处理的特征，具体包括：
[0068]
其中，
[0069]
其中，ff是拼接特征图中各特征图对应的一维展开形式特征，ff的尺度为c
×
d，则c为拼接特征图中所有特征图的总数量，d为拼接特征图中的元素个数，ff
mk
是指编号为m特征图的第k个元素，ff
nk
是指编号为n特征图的第k个元素，g
mn
是指交叉处理的特征。
[0070]
更进一步地，对交叉处理的特征进行概率化，得到初始融合特征，具体包括：
[0071][0072]
其中，te
mn
为g
mn
概率化的初始融合特征，g
mj
是ff
mk
与ff
jk
之间的点乘。
[0073]
更进一步地，通过c
×
c个初始融合特征按行列式编号顺序组合，生成维度为c
×
c的初始融合矩阵；
[0074]
通过以下公式，生成融合特征：
[0075]
fc＝β
·
reshape(te
·
ff)+fb
[0076]
其中，fc为融合特征，te初始融合矩阵，fb为拼接特征图，reshape用于将te
·
ff恢
复为与fb相同的尺度，β是可学习参数。
[0077]
也就是说，fc经过再次经过卷积或连接操作后进入softmax、logistic或类似函数进行概率预测，输出当前手势所表示的姿态与动作类别。
[0078]
在本技术的一些实施例中，需要预先训练深度卷积神经网络模型，首先获取样本用户在当前时刻的待识别样本手势图像，确定样本手势图像的样本空间域特征矩阵。然后获取样本用户在预设历史时长内的多帧样本历史手势图像，确定多帧样本历史手势图像的样本时空序列特征矩阵。
[0079]
最后，通过标记样本手势图像中的手势动作标签与手势姿态标签，以及样本空间域特征矩阵与样本时空序列矩阵，对第一卷积网络、第二卷积网络以及第三卷积网络进行有监督训练。
[0080]
用户期望自己的动作相对静止时，手势所指位置与姿态类型能保持稳定，以便指示、选择或思考下一步操作；自己的动作相对运动时，手势所指位置能平滑移动，所指姿态类型顺畅切换，以便移动鼠标绘制图形、选择下一控件或进行其它操作。故，在训练神经网络时，结合已经标注的手势动作标签与姿态标签，通过手势特征点交叉预处理与内部特征融合网络等方法，可有效提升手势识别的泛化识别能力。
[0081]
模型中采用注意力机制融合方法进行特征融合，模型输出用户在当前时刻的手势姿态以及手势动作类别，由于训练与预测过程中结合了手势静态特征与动态运动特性，使得模型在受局部条件(如，光线、角度、失焦)等因素影响时更加具有鲁棒性。
[0082]
需要说明的是，虽然本技术实施例是参照图1来对步骤s102至步骤s112依次进行介绍说明的，但这并不代表步骤s102至步骤s112必须按照严格的先后顺序执行。本技术实施例之所以按照图1中所示的顺序对步骤s102至步骤s112依次进行介绍说明，是为了方便本领域技术人员理解本技术实施例的技术方案。换句话说，在本技术实施例中，步骤s102至步骤s112之间的先后顺序可以根据实际需要进行适当调整。
[0083]
基于同样的思路，本技术的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。
[0084]
图3为本技术实施例提供的一种基于静动结合的模糊手势识别设备的结构示意图，所述设备包括：
[0085]
至少一个处理器；以及，
[0086]
与所述至少一个处理器通信连接的存储器；其中，
[0087]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0088]
获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点；
[0089]
确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵；
[0090]
获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点；
[0091]
提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点；
[0092]
确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵；
[0093]
将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。
[0094]
本技术的一些实施例提供的一种基于静动结合的模糊手势识别非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
[0095]
获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点；
[0096]
确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵；
[0097]
获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点；
[0098]
提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点；
[0099]
确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵；
[0100]
将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。
[0101]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0102]
本技术实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
[0103]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0104]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0105]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0106]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0107]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0108]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0109]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0110]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0111]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术技术原理之内所作的任何修改、等同替换、改进等，均应落入本技术的保护范围之内。