一种异构传感器特征融合的手势识别方法

1.本发明涉及人机交互技术领域，特别涉及一种异构传感器特征融合的手势识别方法。


背景技术：

2.手势识别在智能交通、智能工厂、智能机器人等领域应用广泛。异构传感器为手势识别提供了丰富的多模态信息，以期实现更智能便捷的功能。然而，为了提高手势识别及分类精度和鲁棒性，如何提取异构传感器深层次特征，并将其有效融合仍有待研究。
3.随着人工智能技术和计算机性能提高，卷积神经网络在各个领域应用广泛，通过卷积神经网络能够提取多尺度深层次的语义信息，能有效地进行手势识别和分类。然而，一方面，卷积神经网络单纯利用卷积可能无法提取深层次的特征信息；另一方面，尽管目前有部分方法通过特征向量拼接或组合的方式进行异构传感器特征融合，但并未表征异构传感器之间的相关性，对其结果更是无法解释。
4.另外，copula连接函数作为估计联合分布的有效方式，广泛应用于统计、经济和金融等领域的相关性建模与估计，能有效刻画异构传感器之间的相关性。


技术实现要素：

5.针对上述问题，本发明的目的在于提供一种异构传感器特征融合的手势识别方法，通过卷积神经网络提取丰富的多尺度特征信息，并利用copula函数有效地融合异构传感器的特征向量，一定程度上增加了手势识别的精度，解决了单传感器特征易受干扰的问题，为后续人机交互发展提供技术支撑。技术方案如下：一种异构传感器特征融合的手势识别方法，包括以下步骤：s1：利用肌电传感器、惯性传感器及视觉传感器获取肌电信号数据、惯性数据和视觉图像数据，再对得到的各传感器的数据进行预处理，并通过卡尔曼滤波对肌电信号数据和惯性数据进行去噪，然后将处理后的数据划分为训练集和测试集；s2：构建卷积神经网络提取异构传感器特征针对肌电信号数据和惯性数据，构建三层特征提取模块，每层包括基础卷积层和信号注意力机制层，然后构建池化层和随机丢弃层；对于视觉图像数据，构建四层特征提取模块，每层包括基础卷积层和极化注意力机制层，然后构建池化层和随机丢弃层；基于交叉熵损失函数分别对上述特征提取模块进行训练，将训练集输入到卷积网络模型中训练；将测试集输入训练好的卷积网络模型后提取异构传感器特征向量；s3：根据输出的异构传感器特征向量，基于copula连接函数的异构传感器特征融合算法建立融合模型，融合得到特征融合向量；s4：对特征融合向量利用支持向量机进行分类。
6.进一步的，所述信号注意力机制表示如下：（1）其中，fa(
·
)表示信号注意力，x
k
为每层特征图，其中k=1,2,3；fc(
·
)表示全连接层，gap(
·
)表示全局平均池化操作；第k层特征图x
k
由元素构成，其表示第k层特征图中第i行第j列的信息，i=0,1
…
,h
‑
1，j=0,1,
…
，w
‑
1；h和w分别表示特征图的行数和列数；为元素相乘；u
k
表示其对应学习权重，由元素构成，由离散余弦变换得出：（2）上式的约束条件为。
7.更进一步的，所述极化注意力机制表示如下：（3）其中，pa(
·
)表示极化注意力，由极化通道注意力pca(
·
)及空间注意力sa(
·
)构成，为元素相加；x
k
为每层特征图，其中k=1,2,3,4，α和β分别表示极化通道注意力权重和空间注意力权重；（4）（5）其中，ξ、η和δ表示不同的尺寸变化因子，用于张量尺寸更改，分别为变为单位张量、1/2缩放及1/2缩放与单位张量乘积；bc(
·
)表示基础卷积层，由一维卷积、batchnorm及relu激活函数组成；sm(
·
)表示softmax层。
8.更进一步的，所述步骤s3中，copula异构传感器特征融合算法具体包括建立联合概率密度函数和非参数的核密度估计；将测试集输入所述融合模型输出异构传感器特征向量是为找到一个映射函数g，使其从异构传感器特征向量结果中获得融合后的特征向量，令这个融合概率结果为；具体地，（6）其中，表示第s个传感器的第r个特征向量，其r满足r=1,
…
, r
s
,，r
s
为特征向量的数量；构建联合概率密度函数如下式：（7）
其中，，，s=1,
…
,s，表示各传感器对的概率；s表示传感器的数量；c(
·
)是copula密度函数，表示传感器1中特征向量对应的累积分布函数；进一步构建目标函数如下：（8）其中，为上式的参数集，为copula函数的参数集，满足；为第s个传感器对第l类的累积分布函数，m为识别的总类别数；用非参数的核密度估计对进行估计如下：（9）其中，，f
y
(y)是y的核密度估计，是标准高斯分布函数，则；通过经验概率积分变换来确定p
s
(
·
)的估计值，然后通过边际推理函数法求出相应地copula参数集。
9.与现有技术相比，本发明的有益效果是：本发明充分利用异构传感器信息，首先对不同传感器数据利用卷积神经网络提取深层次的特征向量，并有效地将异构传感器特征向量利用copula函数进行特征级融合，再利用支持向量机分类器进行分类识别，避免了单一特征易受干扰的问题，提高了手势识别的精度和鲁棒性。
附图说明
10.图1为本发明异构传感器特征融合的手势识别方法的整体流程图。
11.图2为本发明卷积神经网络图；其中，bc表示基础卷积层，fa表示信号注意力，pa表示极化注意力。
具体实施方式
12.下面结合附图和具体实施例对本发明做进一步详细说明。
13.本实施例提供的一种异构传感器特征融合的手势识别方法，其整体流程示意图参见图1，主要步骤包括：数据获取、肌电手势识别分类模型搭建与训练、肌电手势识别分类模型测试与融合模型建立。
14.1、数据获取，具体包括以下步骤：获取肌电手势识别的多传感器数据，包括肌电信号、视觉图像及惯性信息，构成目标数据集，利用归一化、灰度化和感兴趣区域（roi）裁剪对图像数据集进行预处理，利用归一化和卡尔曼滤波算法对惯性数据和肌电信号数据集去噪，最后按比例9:1将其划分为训
练集和测试集。
15.2、肌电手势识别分类模型搭建与训练，主要步骤包括：（a）构建卷积神经网络提取异构传感器特征针对肌电信号和惯性数据，构建三层特征提取模块，每层包括基础卷积层和信号注意力机制层，然后构建池化层和随机丢弃层；对于图像数据，构建四层特征提取模块，每层包括基础卷积层和极化注意力机制层，然后构建池化层和随机丢弃层。
16.进一步的是，所述信号注意力机制表示如下：（10）其中，fa(
·
)表示信号注意力，x
k
为每层特征图，其中k=1,2,3；fc(
·
)表示全连接层，gap(
·
)表示全局平均池化操作，第k层特征图x
k
由元素构成，其表示第k层特征图中第i行第j列的信息（i=0,1
…
,h
‑
1，j=0,1,
…
，w
‑
1），u
k
表示其对应学习权重，由元素构成，可由离散余弦变换得出：（11）上式的约束条件为。
17.所述极化注意力机制表示如下：（12）其中，pa(
·
)表示极化注意力（polarized attention，pa），由极化通道注意力pca(
·
)及空间注意力sa(
·
)构成，为元素相加，为元素相乘，x
k
为每层特征图，其中，k=1,2,3,4，α和β分别表示极化通道注意力权重和空间注意力权重。
18.（13）（14）其中，ξ、η和δ表示不同的尺寸变化因子，用于张量尺寸更改，分别为变为单位张量、1/2缩放及1/2缩放与单位张量乘积；bc(
·
)表示基础卷积层，由一维卷积、batchnorm及relu激活函数组成；sm(
·
)表示softmax层。
19.3、肌电手势识别分类模型测试与融合模型建立，主要步骤包括：（a）将异构传感器数据输入训练好的网络模型中，输出异构传感器特征向量。
20.（b）构建copula异构传感器特征融合算法。
21.所述copula异构传感器特征融合算法具体包括建立联合概率密度函数和非参数的核密度估计。首先，将测试集输入上述模型输出异构传感器特征向量，此目标是找到一个映射函数g，使其从异构传感器特征向量结果中获得融合后的特征向量，令这个融合概率结果为；具体地，，其中，
表示第s个传感器的第r个特征向量，其r满足r=1,
…
,r
s
下构建联合概率密度函数如下式：（15）其中，，，s=1,
…
,s，表示各传感器对的概率，在此发明中s为3；c(
·
)是copula密度函数，表示传感器1中特征向量对应的累积分布函数，进一步构建目标函数如下：（16）其中，为式（13）的参数集，为copula函数的参数集，满足，为第s个传感器对第l类的累积分布函数，m为识别的总类别数。从而，采用非参数的核密度估计对进行估计如下：（17）其中，，f
y
(y)是y的核密度估计，是标准的分布函数（如高斯和t分布等），这里假设为标准高斯分布函数，则。通过经验概率积分变换来确定p
s
(
·
)的估计值，然后通过边际推理函数法求出相应地copula参数集。
22.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。