本发明提供一种基于距离-速度特征的手势识别方法，是一种基于雷达信号处理-卷积神经网络的手势识别方法，属于雷达
技术领域：
和人机交互
技术领域：
。
背景技术：
：对手势动作进行自动识别是机器理解人类手势语言的前提条件。手势识别是指利用某种传感器采集手势信息，然后通过数学算法对手势进行识别，其最终目的是进行设备操控和人机交互。随着计算机技术的发展，手势识别将成为继鼠标、键盘等传统输入工具之后的另一种人机交互方式。目前的手势识别方法包括穿戴传感器设备、光学图像识别等办法，但前者在使用中需要一直穿戴着设备，不仅十分不方便，而且应用范围受到一定的限制；光学图像识别方法容易受到环境的影响，当环境光照发生变化时，识别的错误率会大大增加。通过雷达进行手势识别是一种新的途径。雷达向目标发送调频电磁波，同时接收被目标反射回来的电磁波，然后通过分析处理解调频后的信号，得到关于目标的距离、速度等信息，再经过进一步的处理得到不同手势的特征信息，达到识别手势的目的。使用雷达进行手势识别不需要穿戴繁杂的设备，不受光照等环境因素的影响，抗干扰能力强，可全天候工作。此外还具有集成度高、体积小、功耗低、成本低、实时性好等优点。对调频连续波雷达接收到的差频信号进行二维fft(快速傅里叶变换)处理，可以得到目标的距离-速度信息矩阵(简称为r-d图)。二维fft的具体处理过程为：首先积累一定调频周期的差拍信号并排列成矩阵，每一行包含一个调频周期，然后分别对每一行和每一列进行fft，即得到目标的r-d图。这种处理方法可以解除目标速度和多普勒之间的耦合，提高参数估计的精度。不同的手势动作具有不同的r-d特征，据此特征即可以完成手势识别。卷积神经网络即cnn出现在20世纪60年代，hubel和wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时提出了cnn。cnn无需对图像进行复杂的前期处理，通过局部感受野和参数共享能有效降低网络参数数目，提高训练效率。深度cnn具有多层卷积结构，能够通过卷积层自动获得图像的特征，并完成目标的自动识别。深度cnn具有很强的学习能力，已经成为众多学科领域的研究热点，在模式识别、语音分析等领域得到了广泛应用。技术实现要素：1.目的：本发明专利的目的是提供一种基于距离-速度特征进行手势识别的方法。该方法通过对手势雷达回波进行二维fft变换，得到目标的r-d图，以此作为深度cnn的输入，对不同的手势进行识别。该方法能够对多种手势进行高精度的实时识别，同时不受环境光照等因素的影响。2.技术方案：一种基于距离-速度特征的手势识别方法本发明是一种基于距离-速度特征的手势识别方法，利用电磁波进行非接触式手势识别。通过雷达发射线性调频连续波信号，接收目标回波信号并解调频，得到差拍信号，经采样后发送到pc端进行处理；pc端积累一定时长的差拍信号后进行二维fft处理，得到目标的r-d图像；根据r-d图像进行动目标检测，检测到运动目标后，将r-d序列输入训练好的卷积神经网络进行实时的手势识别。本发明是一种基于距离-速度特征的手势识别方法，该方法具体步骤包括：步骤1，使用调频连续波雷达作为手势传感器，对接收到的差拍信号按慢时间的顺序进行排列，得到雷达回波信号2维矩阵，每行对应一个调频周期(慢时间)，每列对应一个距离单元(快时间)；步骤2，对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行快速傅里叶变换即fft，得到包含目标距离和速度信息的r-d图；二维fft的计算公式如式(1)，式中，x(l,k)是二维fft变换的结果，nf表示慢时间维的采样点数，ns表示快时间维的采样点数，xm(n)表示回波矩阵中第m个调频周期中的第n个采样；步骤3，经试验统计，当目标进入雷达波束后，回波信号强度会发生明显变化，据此变化即可检测出运动目标是否存在；设定动目标检测阈值，当回波强度超过检测阈值时，即认为运动目标存在；检测到运动目标后，系统连续采集12帧差拍信号并进行二维fft变换，得到r-d图序列；步骤4，随机选取步骤3得到的4种手势的r-d序列，分为训练集和测试集；将训练集输入深度卷积神经网络进行训练，用经过训练的卷积神经网络对测试集进行识别测试；经过10000次迭代训练，最终得到的卷积神经网络的测试正确率超过98％；步骤5，按步骤3的方法实时采集雷达回波信号并检测运动目标，当检测到手势动作时将r-d序列存储并发送给卷积神经网络进行识别，实时输出识别结果，可以实现对电脑端的操作或者是实物的控制。其中，在步骤2中所述的“对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行快速傅里叶变换即fft”，其作法如下：首先，对回波矩阵的每一行进行fft(快时间维)计算，然后依次对每一列进行fft(慢时间维)计算，最后对整个矩阵的每个元素求模值得到二维fft的结果。其中，在步骤3中所述的“检测到运动目标后，系统连续采集12帧差拍信号并进行二维fft变换，得到r-d图序列”，其作法如下：程序中每次会统计r-d矩阵的“总功率”，即对整个r-d矩阵模值求和的结果，然后计算与上一次r-d矩阵“总功率”的差值，如果超过了一定阀值，就认为有动作发生，然后连续采集12帧数据，分别进行二维fft变化后得到r-d序列，如果没有超过阀值，则不采集数据，继续检测。其中，在步骤4中所述的“将训练集输入深度卷积神经网络进行训练，用经过训练的卷积神经网络对测试集进行识别测试”，其作法如下：将采集到的数据按4:1的比例分成训练集和测试集，对训练集中每组手势数据添加标签，然后送入卷积神经网络进行训练，同时每完成一次训练集上的训练就用测试集检测其预测准确度，如果准确度未达到要求就继续训练，否者停止训练。其中，在步骤5中所述的“实时输出识别结果，可以实现对电脑端的操作或者是实物的控制”，是指我们将识别结果转化为控制信号，实现了对电脑端的控制，包括浏览网页、查看地图等功能，我们还实现了对机械臂等实物的控制，实现了一种新的人机交互方式。通过以上步骤，我们实现了不依靠摄像头和传感器设备的手势识别，可以在没有光照和不穿戴传感器的情况下进行手势识别，并且实现了与电脑端和实物的交互，本发明能作为一种可靠的、新颖的人机互接口。本发明加入了实时检测，巧妙的解决了数据截取位置不确定造成的识别困难的问题，实现了实时的手势识别和控制，具有较好的实用价值。3、优点及效果：本发明是一种非接触式的手势识别方法，具有以下几个优点：(1)本发明利用调频连续波雷达识别手势，避免了环境光照等因素对识别的影响，提高了识别系统在不同环境状况下工作的可靠性，使得人机交互更加稳定和方便。(2)本发明通过分析雷达信号的距离-速度特征来对不同手势进行识别，同时通过12帧r-d序列来描述一个手势动作，提高了不同手势的区分度。(3)本发明采用深度卷积神经网络进行手势识别，能够学习到不同手势动作之间的微小差异，提高了手势识别的正确率。(4)本发明采用运动目标检测和检测到动作后连续采集12帧r-d序列的方法，即避免了持续采集r-d图可能导致的动作混叠，又提高了准确率，实现了高精度的手势实时检测和识别。附图说明图1是本发明所述手势识别方法流程框图。图2是本发明实施例中4种手势示意图。具体实施方式下面结合附图和实施例，对本发明的技术方案做进一步的说明。本发明是一种基于距离-速度特征进行手势识别的方法，识别流程如图1所示，具体包括：步骤1，线性调频连续波雷达发射载频为23ghz信号，雷达天线波束宽度为12°x25°，能够照射整个手掌。由于手势识别属于近距离应用，手掌距离雷达一般在0.5m以内，所以设定雷达的发送功率为6dbm。对接收到的雷达差拍信号按慢时间的顺序进行排列，得到雷达回波信号2维矩阵，每行对应一个调频周期(慢时间)，每列对应一个距离单元(快时间)。雷达调频周期为2.5ms，采样率为48khz，每个雷达回波矩阵包括32个调频周期，。步骤2，对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行fft，得到包含目标距离和速度信息的r-d图。当目标运动时，r-d图会在距离和速度上发生变化，由此可以作为识别不同手势的特征。二维fft的计算公式如式(1)，式中，x(l,k)是二维fft变换的结果，nf表示慢时间维的采样点数，ns表示快时间维的采样点数，xm(n)表示回波矩阵中第m个调频周期中的第n个采样；步骤3，经试验统计，当目标进入雷达波束后，回波信号强度会发生明显变化，据此变化即可检测出运动目标是否存在。对经过二维fft变换后的信号强度进行求和处理，并依据试验统计结果设定动目标检测阈值，当回波强度和小于阈值时，认为没有手势动作，舍弃这一帧数据，进入下一帧数据的采集和处理，这样既不会占用存储空间，也避免了静止情况下噪声的影响；当回波强度和超过检测阈值时，即认为运动目标存在，系统连续采集12帧差拍信号，进行二维fft变换，得到r-d图序列并存储，供cnn训练和测试使用。测试的4种手势如图2所示，这里每个手势的动作持续时间都在1s以内，12帧数据可以完整的代表整个手势动作过程。r-d序列即避免了持续数据采集导致的前后动作之间的混叠，又基本保证了动作信息的完整性，实现了高精度的实时手势检测和识别。每种手势对应的r-d图序列都有所不同，比如前推手势的r-d图序列有一个明显的速度先变大后变小的过程，而旋转手势的r-d图序列会在正负速度方向上都出现峰值。由于每种手势都有特定的r-d序列特征，因此，据此特征进行手势识别是可行的。步骤4，读取步骤3存储的r-d序列，随机选取80％的数据作为训练集，其余的数据作为测试集，对深度卷积神经网络进行训练和测试。生成训练测试数据时共采集了三个人的手势数据，每人每个手势动作重复50次。所以每个手势的训练集包含120组r-d序列，测试集包含30组r-d序列，测试集的识别准确率达到了98％以上。步骤5，按步骤3的方法实时采集和检测雷达回波信号，当检测到手势动作时将数据存储并发送给训练好的深度卷积神经网络进行识别，实时输出识别结果。每个手势动作重复20次，实时测试结果如表1所示。表1：4类手势识别成功率表手势/准确率静止前推后拉翻转手掌静止95％005％前推0100％00后拉00100％0翻转手掌5％0095％从实验结果可以看到，每个手势动作的实时识别准确率都很高，达到了95％以上，其中前推和后拉动作的识别率均达到了100％。其原因在于：1、采用了调频连续波雷达进行近距离测量，测距测速的精度很高；2、利用手势的r-d图作为识别特征，并且采用12帧序列作为一个手势的完整描述，r-d序列中的距离和速度关系能有效区分不同的手势；3、采用了深度卷积神经网络进行识别，能够充分提取各种手势r-d图中的细微特征，准确地对不同手势进行识别。综上所述，本发明通过分析手势的距离-速度特征，利用r-d序列对深度卷积神经网络进行训练，最终得到的网络模型能够进行实时、高精度的手势识别。当前第1页12