一种基于超声波的凌空手势识别方法及系统与流程

文档序号:13218876阅读:286来源:国知局
技术领域本发明涉及人机交互领域,更具体地,涉及基于超声波的凌空手势识别技术,尤其是面向智能移动终端的超声波凌空手势识别技术。

背景技术:
近年来,随着智能移动终端与可穿戴技术的不断发展,出现了许多新型的人机交互场景与形式。目前主流的基于触摸屏的人机交互方式要求用户与触摸屏接触,影响人机交互的普适性和自然性,尤其是针对特定场景(如驾驶车辆过程、烹饪食物过程等)和特定设备形态(如智能眼镜、智能手环等),用户难以进行触摸,无法完全满足人机交互多样化的需求。因此,迫切需要一种适用于智能移动终端的凌空手势输入方法。传统的人机交互系统中,用于提供凌空手势识别的现有技术方案主要有以下三种方式:(1)基于计算机视觉。基于摄像头采集的彩色图像信息或者专业的深度摄像头采集的深度图像信息识别出用户的手部,并进一步识别出用户的手势,此类方法可参见公开号为CN104360742A、CN103136541A、CN103176605A、CN103472916A、CN104915010A等的中国专利申请。然而,此类方法对光线比较敏感,算法复杂度较高,对手势的识别范围有限,需要较多的系统资源,并且需要配备专用的摄像头传感器,不适于在普适环境下进行推广应用。(2)基于数据手套。通过数据手套采集手部动作,从而识别出用户的手势,此类方法可参见公开号为CN104392237A、CN105127973A、CN204765652U、CN204740561U等的中国专利申请。该方法需要用户佩戴复杂的位置跟踪器和数据手套,操作复杂,不利于自然的人机交互,并且价格比较昂贵,同样不适于在普适环境下进行推广应用。(3)基于肌电传感器。采用腕带的方式测量小臂的肌电信号,由于不同的手势动作表现不同的肌电信号,从而识别出不同的静态手势,此类方法可参见公开号为CN105138133A、CN105139038A等的中国专利申请。该方法需要用户佩戴专业的肌电腕带,要求腕带与用户小臂紧密贴合,可能造成用户的不适,且成本较高。此外,以上三种方式均不适用于智能移动终端。

技术实现要素:
为解决上述现有技术中存在的问题,根据本发明的一个实施例,提供一种基于超声波的凌空手势识别方法,包括:步骤1)、利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,所述手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;步骤2)、利用预先训练好的手势识别模型,对步骤1)得到的手掌运动趋势时序序列进行手势识别;其中,所述手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。上述方法的步骤1)包括:从所采集的经由人手反射回的超声波信号中提取特征,利用预先训练好的手掌运动趋势模型针对提取到的特征识别手掌运动趋势,缓存经识别得到的手掌运动趋势直至手势结束,并且将缓存的手掌运动趋势组成手掌运动趋势时序序列,其中:针对所采集的一帧超声波信号执行如下步骤,其中一帧超声波信号由连续的L个采样点数据组成:步骤11)、从所述一帧超声波信号中提取特征,得到输入数据;步骤12)、判断当前状态,如果当前状态指示处于手势过程中则执行步骤14),否则执行步骤13);步骤13)、利用预先训练好的手掌运动趋势模型针对所述输入数据识别手掌运动趋势,如果识别结果指示无手掌运动趋势则针对所采集的下一帧超声波信号返回步骤11),否则将当前状态设置为处于手势过程中、缓存识别得到的手掌运动趋势并且针对所采集的下一帧超声波信号返回步骤11);步骤14)、判断手势是否结束,如果结束则将缓存的手掌运动趋势组成手掌运动趋势时序序列并执行步骤2),否则针对所采集的下一帧超声波信号返回步骤11)。上述方法在步骤2)之后还包括:清空缓存的手掌运动趋势,将当前状态设置为非手势过程,并且返回步骤1)。上述方法中,还包括根据以下步骤训练手掌运动趋势模型:步骤a)、从所采集的经由人手反射回的每帧超声波信号中提取特征得到每帧训练样本,并且为每帧训练样本赋予相应的类别,形成第一训练数据集;步骤b)、根据所述第一训练数据集,训练所述手掌运动趋势模型。上述方法中,步骤b)包括:利用ELM模型结合交叉验证的要求来训练所述手掌运动趋势模型。上述方法中,还包括根据以下步骤训练手势识别模型:步骤c)、将所述第一训练数据集经由训练后的所述手掌运动趋势模型得到的结果进行手势分割,形成不同手势对应的训练样本,并且为每个手势对应的训练样本赋予相应的类别,形成第二训练数据集;步骤d)、根据所述第二训练数据集,针对每个手势训练相应的手势识别模型。上述方法中,步骤d)包括:利用HMM模型针结合交叉验证的要求,针对每个手势训练相应的手势识别模型。上述方法中,由智能移动终端所固有的扬声器持续地发射超声波信号,并且由所述智能移动终端所固有的麦克风采集经由人手反射回的超声波信号。上述方法中,所述超声波的频率为18kHz-22kHz。根据本发明的一个实施例,还提供一种基于超声波的凌空手势识别系统,包括:手掌运动趋势识别装置,用于利用预先训练好的手掌运动趋势模型,对所采集的经由人手反射回的超声波信号识别手掌运动趋势,得到包含一系列手掌运动趋势的手掌运动趋势时序序列;其中,所述手掌运动趋势模型是根据人手反射回的超声波信号的声学特征训练得到的用于识别手掌运动趋势的模型;手势识别装置,用于利用预先训练好的手势识别模型,对步骤1)得到的手掌运动趋势时序序列进行手势识别;其中,所述手势识别模型是根据由手掌运动趋势时序序列组成的训练数据集训练得到的用于识别手势的模型。上述系统中,由智能移动终端所固有的扬声器持续地发射超声波信号,并且由所述智能移动终端所固有的麦克风采集经由人手反射回的超声波信号。本发明提供的基于超声波的凌空手势识别方法是一种融合了声波信号的声学特征与时序特征的层次化方法:在第一层次,针对每一时刻(在下文中称为帧)采集的超声波信号数据提取声学特征,识别出每一帧的手掌运动趋势,得到其中的手掌运动趋势的时序序列;在第二层次,对于识别出的手掌运动趋势序列进行识别分类,从而实现凌空手势识别。该方法在识别出手掌运动趋势的基础上执行进一步的手势分类,实现了高精度和高鲁棒性的凌空手势识别。此外,与上述现有技术相比,本发明中所要处理的数据较为简单,无需使用额外的数据手套、肌电传感器等,适用于智能移动终端,可使用智能移动终端固有的麦克风与扬声器进行超声波的发射与接收,因此成本较低,易于推广应用。附图说明图1是根据本发明一个实施例的模型离线训练方法的流程图;图2是根据本发明一个实施例的基于超声波的凌空手势识别方法的流程图;图3是根据本发明一个实施例的基于超声波的凌空手势识别方法中的层次化识别流程的示意图。具体实施方式下面结合附图和具体实施方式对本发明加以说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。根据本发明的一个实施例,提供一种基于超声波的凌空手势识别方法。概括而言,该方法通过发射、接收超声波,并且对接收的超声波信号进行(两层的)手掌运动趋势识别及手势识别,来捕捉用户手部动作,从而实现凌空手势的识别。其中,利用预先训练好的手掌运动趋势模型进行手掌运动趋势识别,并且利用预先训练好的手势识别模型进行手势识别。需要说明的是,这里的超声波指的是正常成年人听不到的音频频率(即不低于18kHz);并且凌空手势包括但不限于:前伸、后拉、单击、双击等。下文将分两个阶段来描述本发明提供的基于超声波的凌空手势识别方法,这两个阶段分别是模型训练阶段和手势识别阶段。一.模型训练阶段在进行凌空手势识别(其中包括手掌运动趋势识别以及手势识别)之前,需要事先训练好手掌运动趋势模型和手势识别模型。参见图1,该模型训练方法包括以下步骤:1、超声波凌空手势数据采集在本步骤中,由超声波发射装置持续地播放超声波并且由超声波接收装置采集经由人手反射回的超声波。根据本发明的一个实施例,可以利用智能移动终端固有的扬声器来播放超声波。在使用智能移动终端发射和接收超声波(参见下一段)的情况下,所采用的超声波的频率范围可以为18kHz到22kHz,优选为18kHz。本文所涉及的智能移动终端包括但不限于:智能手机、平板电脑以及智能手表等可穿戴智能设备。同时,可以利用智能移动终端(即发射超声波的智能移动终端)固有的麦克风以预定的采样频率采集经由人手反射回的超声波。对于本发明来说,人手可以相对于该智能移动终端位于任何位置处,优选地,位于与该智能移动终端距离半米的范围内。另外,在声学采样方面,尽管存在11.025kHz,22.05kHz和44.1kHz等标准的采样频率,然而针对18kHz的超声波,本文的超声波接收装置优选采用44.1kHz的采样频率进行周期性声波信号(即反射回的超声波)的采集。2、对采集到的信号数据进行预处理首先,用长度为L的滑动海明窗将所采集的超声波信号数据分割成连续的多帧(即每L个采样点的时序序列构成一帧),并且相邻两帧之间的数据没有重叠。其中,L可以是2048(或者其他2的n次幂,以适用于下文的特征提取),从而针对44.1kHz的采样频率,每帧的时间约为46.44ms,并且每帧数据可以表示为:Ai={a1,a2,…,a2048
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1