一种基于骨传导的智能输入方法和系统与流程
本发明涉及可穿戴设备技术领域，尤其涉及一种基于骨传导的智能输入方法和系统。
背景技术：
随着智能设备的快速发展，智能设备开始扮演着加快信息的传递、增进人与人之间的交流等重要角色。为了让智能设备更方便携带，智能设备被设计得越来越小，例如智能手表、谷歌眼镜等。为了解决这些便携式智能设备的视觉体验差的缺点，智能手表的投屏技术、增强现实技术和腕带的全息投影技术逐渐地成为研究热点。智能设备作为信息交流与传递、促进人与人之间的交流的工具，解决交互的技术难题同样是非常重要的。
目前，为了克服屏幕太小而无法完成文本输入的局限性，便携式设备一般使用语音输入。然而，语音输入对用户的口音、语速，以及智能设备所处的网络环境的要求都非常高，只要这三个条件其中一个没满足，都需要用户做许多次重新输入。并且，语音输入在对外界噪声的抵抗能力上和在对隐私保护的能力上都非常不理想。
除了使用语音输入，在现有技术中，还有通过追踪手指的方法实现与智能设备的交互与输入。与此相似的一些方法则是通过一些传感器，例如压电传感器、距离传感器等，对用户的手势进行识别从而完成交互。但是，使用书写的方式进行输入，不仅麻烦而且还很慢。此外，一些研究者在中指带上一个装有加速度计的戒指，通过手指控制来选择输入的字母，而这种方法难以实现快速的打字。也有的研究者使用对声音定位的方法来识别敲击键盘的位置，但是，这些方法太过依赖环境的稳定性。也有研究者尝试设计一种新型的键盘，这种键盘是一种触摸电路，通过安装这种触摸电路来实现输入。在最新的研究中，有的研究者则是使用照相机，通过对视频的分析来识别按键，这种方法虽然便捷，但是耗能太大，不适合便携式的智能设备。有的研究者利用振动传感器获得的信号来识别事先在手臂上做的标记，但是，由于手臂的皮肤与肌肉会导致敲击位置产生偏差，从而导致敲击的信号不稳定。
因此，需要对现有技术进行改进，以提供普适性强、响应速度快和精确度高的智能输入方法。
技术实现要素：
本发明的目的在于克服上述现有技术的缺陷，提供一种基于骨传导的智能输入方法和输入系统。
根据本发明的第一方面，提供了一种基于骨传导的智能输入方法。该方法包括以下步骤：
步骤s1，接收来自于按键的骨传导的振动信号并进行特征提取，获得经特征提取后的振动信号；
步骤s2，将所述经特征提取后的振动信号的时序信号序列输入至经训练的神经网络分类模型，识别出所述骨传导的振动信号对应的按键类型；
步骤s3，基于识别出的按键类型确定用户输入的文字信息。
在一个实施例中，步骤s1包括第一次特征提取，该第一次体征提取包括：通过振动贴片传感器对接收的振动信号进行采集；对于采集到的振动信号，使用巴氏低通滤波器去除高频的电噪声；对于去除高频噪声的振动信号，使用信号放大器进行放大；将放大后的振动信号通过模数转换器转换为对应的数字信号。
在一个实施例中，在所述第一次特征提取之后还包括：利用陷波滤波器去除高频和低频的信号噪声；对于去除高频和低频的信号噪声的振动信号，判断其是否为噪声信号；对于判断为非噪声信号的振动信号，确定切割起点和切割终点，提取所述切割起点和所述切割终点之间的信号作为待分析的目标信号。
在一个实施例中，将振动信号的幅度超过幅度阈值并且持续时间超过时间阈值的信号判断为非噪声信号。
在一个实施例中，对于判断为非噪声信号的振动信号，根据以下步骤确定所述切割起点和切割终点：
将所述切割起点选择在振动信号幅度超过第一幅度阈值的第一个点之前，取n1个采样点；
将所述切割终点选择在振动信号连续m个采样点低于第二幅度阈值的第一个点之后，取n2个采样点，其中，n1、m、n2为正整数。
在一个实施例中，步骤s1还包括对于所述待分析的目标信号执行以下步骤：
将所述待分析的目标信号的峰值与训练所述神经网络分类模型的训练集中的所有振动信号进行峰值对齐；
使用归一化的方法，对所述待分析的目标信号进行幅度归一化处理。
在一个实施例中，还包括对于归一化处理的信号进行第二次特征提取，该第二次特征提取包括：将信号使用haar小波进行处理之后，保留趋势子信号；计算信号各个维度之间的方差，将方差大于方差阈值的特征维度滤除。
在一个实施例中，步骤s3还包括：对比识别出的用户输入的字母组合和用户选择的字母组合，将不相同的字母标记为误判的字母；在同一字母多次被标记为误判的字母的情况下，根据其被标记时对应的振动信号的相似性，确定是否对所述神经网络分类模型重新进行训练。
在一个实施例中，对于两组振动信号，根据以下步骤确定是否具有相似性：计算该两组振动信号的皮尔逊相关系数ρ，当ρ大于阈值ρthreshold时，确定该两组振动信号有相似性，其中，0＜ρthreshold≤1。
在一个实施例中，所述神经网络分类模型是基于径向基函数的神经网络分类模型。
根据本发明的第二方面，提供了一种基于骨传导的智能输入系统。该系统包括：
振动信号处理单元：用于接收来自于按键的骨传导的振动信号并进行特征提取，获得经特征提取后的振动信号；
分类识别单元：用于将所述经特征提取后的振动信号的时序信号序列输入至经训练的神经网络分类模型，识别出所述骨传导的振动信号对应的按键类型；
输出单元：用于基于识别出的按键类型确定用户输入的文字信息。
与现有技术相比，本发明的有益效果在于：利用人体解剖学的特性，提出一种更便捷、成本更低的智能输入方法，该方法利用廉价的传感器，借助人体的骨骼，完成低耗能、快速和高精度的文本输入。此外，本发明还提出用归一化和特征筛选等进行数据处理的方法来对振动信号进行处理，进一步放大了信号相应的特征；并且，本发明利用径向基神经网络对振动信号进行分类，能够精确地识别输入按键类型；进一步地，本发明还包括对误判数据进行检测和校正，提高了识别按键的稳定性和鲁棒性。
附图说明
以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：
图1是根据本发明一个实施例的基于骨传导的智能输入方法的流程图；
图2(a)是根据本发明一个实施例的键盘布局图；
图2(b)是根据本发明一个实施例的实验布置图；
图3是径向基函数神经网络结构示意图；
图4是根据本发明一个实施例的基于骨传导的智能输入系统的结构示意图；
图5是根据本发明一个实施例的电子设备的结构图。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
在本文示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
根据本发明的一个实施例，提供了一种基于骨传导的智能输入方法，可应用于可穿戴设备的虚拟键盘的实现。简言之，该方法包括接收用户按键的骨骼传导的振动信号并进行初步特征提取；对初步提取特征的振动信号进行滤波和切割；对切割后的振动信号进行归一化处理；对归一化信号进行降维和维度筛选；将降维处理后的振动信号输入至神经网络分类模型，以获得用户按键类型，其中，神经网络分类模型是以振动信号的采样时序信号序列为输入，以振动信号对应的按键类型为输出通过训练获得。
具体地，参见图1所示，本发明实施例的方法包括以下步骤：
步骤s110，采集用户按键的振动信号并对振动信号进行第一次特征提取。
用户在用手指按键时，会产生振动信号，对于不同按键，所产生的力度、方向等存在差异，本发明基于用户手指按键规律和所产生的振动信号之间的关联性，通过对振动信号进行特征分析，能够识别用户按键类型，进而获得用户输入的文字信息(如字母、数字、符号等)。
例如，对于图2(a)示意的键盘，当采用图2(b)所示的手指放置位置时，食指对应6个键盘按键，中指、无名指和小指分别对应着键盘上3个按键，大拇指对应着空格键，当需要敲击空格键时，则两个大拇指一起敲击键盘，当需要进行左右移动时，大拇指则只负责对应的方向键，左边大拇指为向左，右边的大拇指为向右，当需要将键盘切换到数字键盘时，用户则需要输入‘左，右，右，左’来完成从字母键盘到数字键盘的切换，切换到数字键盘后，十个手指则对应着10个数字。
在一个实施例中，根据以下步骤采集用户按键的振动信号并进行第一次特征提取：通过振动贴片传感器技术对接收的振动信号进行采集；对于采集到的振动信号，使用巴氏低通滤波器去除高频的电噪声；对于去除噪声的信号，使用信号放大器进行放大；将放大后的信号通过模数转换器，转换成对应的数字信号。
上述的振动贴片传感器、低通滤波器、信号放大器和模数转换器等均可采用市售的或定制的器件，通过设置适当参数来实现本发明实施例的功能。例如，将巴氏低通滤波器的截止频率fc设置为小于1000hz的某一频率。
步骤s120，对经过第一次特征提取的信号进行滤波和切割，获得经切割的振动信号。
在此步骤s120中，为了进一步消除噪声或干扰，对经过第一次特征提取的信号进行滤波和切割。
在一个实施例中，滤波和切割包括以下步骤：利用陷波滤波器，去除高频和低频的信号噪声；判断获得的振动信号是否为噪声信号并对判断为非噪声信号的振动信号进行切割，从而获得待分析的目标信号。
在一个实施例中，通过阈值比较法来判断是否为噪声信号，例如，当振动信号的幅度超过某一阈值并且持续了一段时间t时(例如，时间阈值t大于1ms)，则可认为该振动信号不是噪声信号。这种结合幅度阈值和持续时间t来判断噪声信号的方式，能够将用户在按键上无意识的滑动或突然的碰撞而产生的振动信号识别为噪声信号，从而尽早过滤掉无效的振动信号。
进一步地，对于判断为非噪声的振动信号进行切割，切割方法是将切割起点和切割终点之间的信号提取出来。具体地，首先，确定切割起点，例如，将切割起点选择在振动信号幅度超过某一幅度阈值的第一个点之前，取n1个采样点(其中n1为大于等于0的整数)；其次，确定切割终点，例如，将切割终点选择在振动信号连续m个采样点(其中m是大于等于0的整数，具体需要根据采样频率和设备灵敏度确定)低于某一幅度阈值的第一个点之后，取n2个采样点(其中n2为大于等于m的整数)。
通过对振动信号进行切割，提取切割起点和切割终点之间的信号作为待分析的目标信号，能够滤除用户在开始按键后一段时间和按键结束前一段时间内的信号，这段时间内的振动信号对识别按键类型的意义不大，提早滤除能够提高识别的精确度和识别速度。
需说明的是，本发明对n1、m、n2、幅度阈值、时间阈值等的具体取值不作限制，本领域的技术人员可根据采样频率和可穿戴设备的灵敏度设定合适的值，并且不同情况下的幅度阈值等可以设置为相同或不同的值，例如，判断是否为噪声信号使用的幅度阈值和信号切割中使用的幅度阈值可以相同或不同，确定切割起点和切割终点时使用的幅度阈值可以相同或不同。
步骤s130，对经切割的振动信号进行归一化处理。
进一步地，可对切割后的振动信号进行归一化处理，例如基于信号振幅进行归一化调整。
在一个实施例中，对切割的振动信号进行归一化处理包括：
寻找信号的峰值，将接收到的信号与训练集的所有信号进行峰值对齐，以保证信号之间的时序同步；
使用归一化方法，对切割后的信号进行归一化处理，例如，归一化处理的计算公式表示为：
其中，x和y分别对应归一化前后的信号，xmax和xmin分别对应归一化前的最大值和最小值，ymax和ymin分别对应归一化后的最大值和最小值。
通过归一化处理，能够避免用户敲击按键时由于敲击力度不同而导致的信号特征差异过大，从而适用于不同用户、不同场景。
步骤s140，对经归一化处理的信号进行第二次特征提取，获得降维的振动信号。
在此步骤s140中，通过降维和维度筛选进行第二次特征提取，以进一步去除信号的抖动。
在一个实施例中，使用haar小波进行降维和维度筛选，具体包括：对信号使用haar小波进行处理，只保留趋势子信号，从而去除信号的抖动，并且将特征维度缩小一半；计算信号各个维度之间的方差，如果方差小于某一方差阈值，则认为该维度为特征维度，否则，认为该维度不是特征维度，并将非特征维度滤除。
该实施例中的方差阈值可根据按键使用场景，通过统计设定合适值，例如，将方差阈值预置为常数。
步骤s150，将降维的振动信号输入到经训练的神经网络分类模型，获得振动信号对应的按键类型。
在本发明实施例中，神经网络分类模型通过训练获得，其中，基于训练集训练神经网络分类模型时，输入的振动信号特征是对振动采样的时序信号序列，输出的分类标签是如图2所示的按键所对应的字母或者符号，神经网络分类模型可采用lstm(长短时记忆网络)或径向基函数神经网络等。
由于不同类型按键的振动信号在时域上存在一定的差异性，各类型按键对应的振动信号的波峰数量、波谷数量以及形状不完全一致，基于这种局部差异性，在一个优选实施例中，使用具有局部学习能力的径向基函数神经网络，这种拥有局部学习能力的神经网络可以避免由于神经元个数设计过多而引发的过度拟合现象。另一方面，振动信号属于非线性曲线，它们在低维空间内线性不可分，径向基函数神经网络的基本思想是，用径向基函数作为隐单元的“基”构成隐含层空间，隐含层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分，进而使得振动信号被很好地分类。
图3示出了径向基函数的神经网络结构，该网络结构包括三层，其中，第一层为输入层，由信号源节点组成；第二层为隐含层(隐藏层)，隐含层中神经元的变换函数即径向基函数，其是对中心点径向对称且衰减的非负线性函数，该变换函数是局部响应函数；第三层是对输出模式做出的响应。在图3中，[x1,x2,…,xn]为输入层单元及输入信号的特征以及相应的标签，[w1,w2,…,wn]是需要训练的隐含层至输出层的连接权值，b为阈值，用于调整神经元的灵敏度，y是输出层单元，即输出的按键分类。
在一个实施例中，径向基函数神经网络的激活函数采用高斯函数，由于高斯分布函数的特点，径向基函数神经网络每次输入时，只有和输入样本向量较为接近的神经元才会活跃起来，对应的权值才会更新，而与样本距离较远的神经元不会被激活，这样可以使得神经元个数设计不会过多，进而避免了过拟合现象。
例如，激活函数表示为
本发明实施例采用的径向基函数神经网络需要求解三个参数，分别是激活函数的中心、方差以及隐含层到输出层的权值。为了使得神经网络在训练集数据进入时能够快速发生变化，基于振动信号在多个维度上特征不同的特点，利用振动信号的每个特征在训练过程中直接使激活函数的中心发生变化。
在一个实施例中，选用自组织选取中心的无监督学习法，可以自主学习并计算激活函数的中心，基于自组织选取中心的无监督学习法求解基函数中心c的过程包括：
步骤s151，随机选取m个训练样本作为聚类中心ci(i＝1,2,…,m)；
步骤s152，将输入的训练样本集按最近邻规则分组；
具体地，按照xp与中心ci之间的欧式距离将xp分配到输入样本的各个聚类集合θp(p＝1,2,…,n)中。
步骤s153，重新调整聚类中心。
具体地，计算各个聚类集合θp中训练样本的平均值，即新的聚类中心ci，如果新的聚类中心不再发生变化，则所得到的ci即为径向基函数神经网络最终的基函数中心，否则返回步骤s151，进入下一轮的聚类中心求解。
在一个实施例中，运用最小二乘法计算隐含层到输出层的权值，这使得神经网络输出层对权值而言是线性的，从而显著加快学习速度并避免局部极小能力。隐含层到输出层的权值表达式如下：
其中，cmax为所选取中心之间的最大距离。
步骤s160，根据按键类型显示用户的文字输入。
在识别出按键类型之后，即可对按键类型进行显示，获得输入的文字组合，参见图2(b)所示的显示效果。
为了增加本发明的普适性，以适用可穿戴设备的不同场景，本发明实施例可进一步包括对神经网络分类模型的校正过程，具体地，校正过程包括：
步骤s161，判断是否对用户按键类型出现了误判。
首先，根据用户的输入显示所识别出的字母组合，同时，根据识别出的输入字母组合，通过单词库进行匹配，显示出用户可能需要输入的英文单词，如果用户选择了与所识别出输入字母有区别的英文单词的组合，则说明对用户敲击的字母可能发生了误判或者是用户的输入出现了错误，其中，单词库是现有的中英文的全部有意义的字母组合，并且按照字母顺序排列。
在一个实施例中，根据单词库进行匹配的方法是，根据识别出的用户敲击的字母和所需要输入的语言，从单词库中挑选出包含任意多个相同字母的所有单词，并对这些单词进行打分，打分方法是
步骤s162，根据误判情况确定是否重新训练神经网络分类模型。
在此步骤中，对误判情况进行判断，对于识别出来的用户输入的字母组合与用户所选择的字母组合不相同的单词中的每个字母进行对比，寻找到不同的字母后，暂时认为该字母为误判的字母，并且对误判字母的振动信号数据进行记录。如果是同一个字母第2次被记录为误判字母时，将第2次误判的振动信号数据和第1次误判的振动信号数据进行对比，判断两次的振动信号数据是否有相似性，如果有相似性，则记录误判的振动信号数据，如果没有相似性，则丢弃之前误判的数据。根据这种方式，如果对于同一个字母超过某一次数阈值(例如3次)的误判的振动信号数据都具有相似性，则认为是可穿戴设备的使用环境等因素发生了稳定性的改变，因此，将记录为误判的振动信号数据和对应的分类标签重新放入网络中，对神经网络分类模型进行重新训练，生成新的经训练的神经网络分类模型。
在一个实施例中，对于两组振动信号相似性的判断方式是，计算两组信号的相关性系数，即计算两组信号的皮尔逊相关系数ρ，当ρ大于某一阈值ρthreshold(其中，0＜ρthreshold≤1)，则判断为两组信号有相似性，否则，认为该两组信号没有相似性。
通过上述的对神经网络分类模型的校正过程，能够及时发现并修正可穿戴设备使用环境等因素发生改变而导致的用户输入误判情况，从而进一步提高本发明的普适性。
图4示出了根据本发明一个实施例的基于骨传导的智能输入系统。该系统400包括振动信号感知模块410、处理模块420、输出模块430。
振动信号感知模块410，包括骨骼振动信号的接收端，用于接收和采集骨骼振动的信号，并进一步进行低通滤波器的滤波和信号的放大，最后转化为数字信号。
处理模块420用于对采集到的振动信号进行预处理，完成信号的滤波和切割，再进行归一化处理和特征提取等，以消除敲击力度不同所产生的干扰和对特征维度进行缩小和筛选，并利用经训练的神经网络分类模型对用户当前敲击的按键进行分类和匹配，以检测用户的输入。
输出模块430，用于实时输出并显示检测到的当前用户输入的敲击字母或符号等。
可选地，该系统400还包括校正模块440，用于实现本发明实施例的校正过程。
需要说明的是，上述的振动信号感知模块410、处理模块420、输出模块430和校正模块440可采用一个功能单元或多个功能单元实现。本发明对此不进行限制，只有其能够实现本发明实施例的功能即可。
例如，振动信号感知模块410包括：信号采集单元，用于对接收的骨骼振动信号进行数据采集；信号提取单元，用于提取振动信号数据；过滤和放大单元，用于对提取得到的振动信号数据进行过滤和放大处理；模数转换单元，用于将模拟信号转化成数字信号。
例如，处理模块420包括：滤波与切割单元，用于对信号进行去噪和切割；归一化单元，用于消除用户敲击不同力度产生的影响；特征筛选单元，用于对相关的特征进行提取和筛选；分类单元，用于根据用户按键的振动信号特征对按键类型进行分类。
例如，校正模块440包括：词典匹配单元，用于基于用户的输入，根据单词库匹配相应的单词；误判记录单元，用于记录被确定为误判的振动信号数据；重新训练单元，用于重新训练原有的神经网络分类模型。
例如，输出模块330包括输出单元，用于显示用户输入的分类结果。
本发明实施例的基于骨传导的智能输入方法和输入系统，能够实现可穿戴智能设备的qwerty虚拟全键盘，利用振动传感器接收特定场景的手的骨骼中的振动信号，例如，在固体桌面的纸质键盘上敲击时候骨骼所产生的振动信号，然后使用归一化进行特征提取，利用haar小波处理进行降维和维度筛选等，显著提高了按键类型识别的精准度。此外，本发明实施例通过机器学习的分类方法进行分类，能够检测出用户敲击对应的按键类型，是一种高响应速度、高灵敏度和高精确度的智能可穿戴设备的输入方法。
综上所述，本发明利用了人体解剖学的特性，提出一种更便捷而且低成本的智能输入方法，将键盘建立在人的骨骼特征稳定性和唯一性的传播介质上，通过人对桌面的敲击借助人体的骨骼，能够实现可穿戴智能设备的低耗能、快速和高精度的文本输入，实现了可穿戴设备的虚拟键盘的实现方法。此外，本发明还通过设计校正过程，进一步提高了智能输入的稳定性和鲁棒性。
图5是根据本发明一个实施例的电子设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现本发明实施例的基于骨传导的智能输入方法，例如包括以下步骤：采集用户按键的振动信号并对振动信号进行第一次特征提取；对经过第一次特征提取的信号进行滤波和切割，获得经切割的振动信号；对经切割的振动信号进行归一化处理；对归一化后的信号进行第二次特征提取，获得降维的振动信号；将降维的振动信号输入到训练的神经网络分类模型，获得振动信号对应的按键类型；对按键类型进行显示，获得文字输入等。
由于本发明描述的电子设备是实施本发明实施例中一种基于骨传导的智能输入方法的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。电子设备包括但限于可穿戴设备，例如，智能手表、谷歌眼镜、智能手环等。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。并且某些步骤对于实现本发明的精神并不是必须的，例如，滤波、去噪过程等。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
- 还没有人留言评论。精彩留言会获得点赞！