基于细粒度手指姿态的智能家居连续用户认证方法及系统与流程

本发明涉及的是一种无线通信领域的技术，具体是一种通过wi-fi信号识别细粒度手指姿态的智能家居连续用户认证方法及系统，借助wi-fi信号的csi(信道状态信息)数据进行感知，利用深度学习领域的算法实现多用户认证，并利用轻量级单分类器实现连续认证。

背景技术：

目前智能家居用户认证往往需要额外的数据采集设备，如摄像机，指纹识别器，甚至可穿戴设备等等，这造成了较高的部署成本和要求，使得其适用广泛性大大降低。其次，目前越来越高的安全性需求，使得用户的连续身份认证越来越重要。目前智能家居的认证大多是一次性的，不能根据用户姿态持续地认证用户的身份。一些系统实现了基于行为特征的连续认证，但没有考虑良好的用户体验，在连续的用户认证中响应时间过长，降低了用户体验。

技术实现要素：

本发明针对现有技术存在的上述不足，提出一种基于细粒度手指姿态的智能家居连续用户认证方法及系统，利用wi-fi信号感知每个用户操作智能家电时手指姿势的独特性进行持续的用户认证，通过较低的响应时间实现了良好的用户体验。

本发明是通过以下技术方案实现的：

本发明涉及一种基于细粒度手指姿态的智能家居连续用户认证方法，在登录阶段通过从不同用户的手指手势中提取行为特征进行多用户认证，在交互阶段通过轻量级分类器，根据历史手指手势和当前手势，通过连续认证识别身份。

所述的提取，采用市售的wi-fi设备持续不断地发射wi-fi信号的同时，接收设备(无线网卡)接收反射信号并从中解析出csi数据，然后使用机器学习算法从csi数据中得到手指运动轨迹特征，即行为特征。

所述的提取，优选在解析前先通过去噪和筛选处理以减去环境噪声的干扰。

所述的机器学习算法是指：采用深度神经网络提取每个用户习惯性手指动作的手指运动轨迹特征。

所述的轻量级分类器为支持向量机的分类器。

所述的连续认证具体是指：结合用户当前的人机交互手指动作和之前的人机交互手指动作，使用相对应的轻量级单分类器进行用户身份的认证，使得用户与系统每一次的人机交互都在认证用户身份安全的情况下进行影响，以实现贯穿交互全过程的连续用户身份认证。

技术效果

与现有技术相比，本发明提供了基于wi-fi信号识别细粒度手指姿态的智能家居连续认证系统，不仅能实现较高的用户认证精度，同时能保证即时的响应。本发明利用了家庭环境中普遍存在的wi-fi信号作为交互姿态采集信号。由于wi-fi设备常见易得，容易部署，成本低廉，因此克服了额外设备较高的成本和难以广泛部署的难题。本发明在登录阶段利用深度神经网络获取用户的手指动作轨迹特征，用于进行基于手指动作的细粒度的多用户认证过程。本发明在交互阶段增加了用于进行身份认证的手指动作集，提高了认证精度。同时，基于支持向量数据描述的时间复杂度仅为o(n),通过上述组合手指动作的认证机制，时间复杂度增加到了o(nm²)。因为m的值远远小于n，所以时间消耗可以看作仅是线性增加，对用户体验造成的影响很小。通过此基于支持向量数据描述的认证机制，可以在保证较高认证精度的情况下，达到实时响应，满足在与智能家电交互过程中的即时性要求。

附图说明

图1为本发明流程图；

图2为基于lstm深度神经网络的特征提取方法示意图；

图3为实验适用的手指动作类别；

图4为登录阶段用户认证的认证精度混淆矩阵；

图5为交互阶段用户认证精度的柱状图；

图6为登录和交互阶段的响应时间cdf图。

具体实施方式

如图1所示，为本实施例涉及的一种基于细粒度手指姿态的智能家居连续用户认证系统，包括：注册阶段模块和服务阶段模块，其中：注册阶段模块传输已注册用户的手指信息至服务阶段模块。

所述的注册阶段模块包括：深度神经网络、样本生成单元、多分类器、单分类器、wi-fi信号发射单元以及无线网卡单元，其中：wi-fi信号发射单元持续地传输wi-fi信号，无线网卡单元与样本生成单元相连并传输手指动作样本数据信息，深度神经网络与样本生成单元相连并传输提取到的手指特征信息，多分类器与深度神经网络相连并提供多用户认证功能，单分类器与样本生成单元相连并提供交互时的单用户认证功能。

所述的服务阶段模块包括：深度神经网络、样本生成单元、多分类器、单分类器、手指动作类型分类器、wi-fi信号发射单元以及无线网卡单元，其中：wi-fi信号发射单元持续地传输wi-fi信号，无线网卡单元与样本生成单元相连并传输手指动作样本数据信息，深度神经网络与样本生成单元相连并传输提取到的当前用户的手指特征信息，多分类器连接当前样本的手指特征信息与已注册样本的手指特征信息并传输多用户认证结果，手指动作类型分类器与样本生成单元相连并传输不同动作类型的手指样本数据，单分类器连接手指动作类型分类器并传输交互时的单用户认证结果。

所述的注册阶段模块进行登录过程的注册和交互过程的注册，其中：登录过程的注册是指：通过收集用户登录手指姿态提取特征并训练多分类器；交互过程的注册是指：收集用户交互手指姿态，通过认证机制组合多次的手指姿态构建训练样本以训练单分类器。

所述的服务阶段模块进行登录过程的服务和交互过程的服务，其中：登录过程的服务是指：系统认证某一登录用户的身份，决定其是否进入系统；交互过程的服务是指：系统通过已登录用户每一次的交互姿态持续地认证用户的身份，根据认证结果决定是否响应其特定的交互请求。

本实施例涉及上述系统的认证方法，包括以下步骤：

步骤a1、登录过程的注册：家庭成员在系统部署的环境下，分别执行特定登录手指动作10次。

所述的无线网卡单元收集每个手指动作影响下的wi-fi信号，样本生成单元解析出wi-fi信号的csi数据，将提取出的csi数据经过多径效应消除和子载波选择，获得预处理后的wi-fi信号的csi数据。

所述的样本生成单元对预处理的csi数据，通过幅值差分截取手指动作的区段，具体为：通过基于滑动窗口的幅值差分来衡量幅值变化率的大小：

其中：d(n)为第n个滑动窗口的幅值差分，l为滑动窗口的长度，ct为t时刻的csi幅值大小，n为滑动窗口的数目。

由于手指动作会在csi数据上表现出较高的幅值差分值，所以通过比较幅值差分值与门限得以确定每一个手指动作的开始点和结束点，并据此截取出手指动作csi数据段。

对于截取出的每个用户登录手指动作的区段，使用基于长短时记忆单元的深度神经网络(lstm-baseddnn)提取行为特征以减少手指无意波动造成的误差，提取出每个用户手指动作的行为特征，提高认证的鲁棒性。

如图2所示，所述的深度神经网络为基于长短时记忆单元(lstm)的三层神经网络。将每一个手指动作区段进行更细的分段，作为输入层传入神经网络的隐层网络。隐层网络由lstm单元构成，并循环地进行特征提取。每一层隐层网络都能进一步提取出拥有更多细节的特征：第一层隐层是姿态层，区分出不同阶段的手指姿态；第二层是动作层，进一步提取出关于每个手指动作的速度，角度，时间等特征；第三层是用户层，能够将每个手指动作的特征与不同的用户特征关联起来。

所述的基于lstm的深度神经网络使用python语言构建得到。对于经过三层神经网络提取得到的所有用户的行为特征，利用sigmoid函数训练多分类器，具体为：对于用户uk通过深度神经网络得到的特征输出o，其后验概率p(uk|o)可以计算为：

其中：p(uk)是第k类的先验概率，p(o|uk)是在用户标签uk的条件下特征输出o的似然度，当有k个用户类时，sigmoid函数输出对每个用户类的后验概率；通过目标函数k＝argmaxk∈kp(uk|o)，特征输出o用于认证为某一特定用户类别uk；至此，基于神经网络的多用户分类器构建完成，即完成了用户登录阶段的注册。

步骤a2、交互阶段的注册：交互阶段需要为每一个家庭成员分别注册。在系统部署环境下，每一位家庭成员分别执行预定义手指交互动作5次用于注册。

所述的无线网卡单元收集到经过手指动作影响的wi-fi信号，并通过样本生成单元得到相对应的手指动作csi样本数据。

通过将用户注册时的所有类型的手指交互动作样本进行拼接，得到任意拼接状态下的动作组合，以拼接动作作为样本对基于支持向量数据描述的单分类器进行训练。

具体来说，假设某一用户有n种类型的手指交互动作：g(0)……g(n-1)，首先为每一个手指动作训练单分类器，即，cg(0)，……，cg(n-1)；其次为所有两种手指交互动作的组合训练单分类器，即，cg(0)g(0)，cg(0)g(1)，……，cg(0)g(n-1)，cg(1)g(n)，……，cg(n-1)g(n-1)，……，最后为所有m种手指动作的组合训练单分类器，即，cg(0)g(0)...g(0)，cg(0)g(0)...g(1)，……，cg(n-1)g(n-1)...g(n-1)，从而完成对所有的动作组合训练了组合长度不超过m的单分类器集合，单分类器个数共为

至此，基于支持向量数据描述的单分类认证机制训练完毕，即完成了交互阶段的注册。

步骤b1、服务阶段，首先应允许已注册用户登录系统，即登录过程的服务阶段。在此阶段，某一家庭用户执行注册时使用的登录手指姿态以登录系统。

所述的服务阶段模块通过wi-fi信号发射单元和无线网卡单元获取被手指动作影响的wi-fi信号，然后通过样本生成单元获得手指动作样本的csi数据区段。

所述的手指动作类型分类器识别出用户的手指动作的类型，以提高系统的鲁棒性。在手指动作类型分类器，系统利用基于支持向量机的多分类器，识别不同类型的手指动作。对于登录手指动作，进行下一步的操作。对于其他非登录手指动作，系统提示其手势错误，应重新执行登录。

对于正确的登录手指动作，使用如图2所示的深度神经网络提取特征，获得此用户登录手指动作的特征，从而认证出当前用户是否为家庭成员中的用户，并且识别出其具体的身份信息。此身份信息将作为接下来用户与智能家居进行人机交互的依据。此阶段的性能指标即用户认证的精度。

步骤b2、用户通过手指动作操纵智能家居，获取其私有数据，或享受智能家居根据其身份提供的定制化服务，此阶段即为交互过程的服务阶段。

在此阶段，通过wi-fi信号发射单元和无线网卡单元获取被手指动作影响的wi-fi信号，然后通过样本生成单元获得手指动作样本的csi数据区段，通过基于支持向量机的手指动作类型分类器，获得不同类别的手指交互动作的预处理csi数据。

同时，在用户的第t次的手指交互请求过程中，单分类器收集当前的手指动作，与前m-1个手指动作，结合为手指动作组。根据它们通过上一步已分辨出来的手指动作类别，匹配注册阶段相同动作类型的组合分类器，即分类器cg(t)，cg(t-1)g(t),…，cg(t-m+1)g(t-m+2)...g(t)。每一个分类器都将得到一个分类结果，从而共得到m个分类结果。

对得到的所有m个分类结果采用投票机制，获得最终的用户认证结果，具体为：

其中：μi＝1和μi＝0分别表示认证成功和认证失败，result＝1和result＝0分别表示最终此当前用户身份认证成功和失败。实施例中经结果验证得最优的m的值为3。

至此，在用户的每次基于手指动作的交互过程中，系统都能在极少的时间消耗下通过其手指动作认定其是否为当前登录的用户，从而实现连续的用户认证，并保证了良好的用户体验。此阶段的性能指标是用户认证精度和认证响应时间。

本实施例以下环境下进行具体实施：在笔记本电脑(型号dellxps139360)部署了本发明系统，此电脑需运行ubuntu14.04操作系统，配有intel无线网卡5300，可提供wi-fi信号30个子载波的信道状态信息。使用商用wi-fi路由器tp-link-wdr5620,持续不断地发射802.11n标准的wi-fi信号。选择日常常用的手指动作作为预定义动作，即，向右拨动，向左拨动，向上拨动，向下拨动，向左画圈，向右画圈，缩小，放大，如图3所示。征集了10名志愿者，包括5名男性和5名女性，年龄范围在20-46岁之间，其中8名志愿者作为注册用户，2名作为侵入者。注册用户先行注册系统，随后登录系统并与系统进行交互。侵入者试图模仿注册用户侵入系统，尝试获取其隐私信息。

如图4所示，为登录阶段用户认证的混淆矩阵。混淆矩阵的每一行和每一列分别表示真实用户身份和系统认证结果。第i行和第j列的值表示此样本真实情况是第i个用户的情况下，被认证为第j个用户的概率。从混淆矩阵可以看出，在登录阶段，本发明对于注册用户可以实现93.3％的认证精度，并能以90.0％的精度识别出侵入者的身份。因此，本发明实现整体92.6％的用户认证精度。这说明，本发明可以在登录阶段实现高精度的用户认证，验证了本发明在多用户认证方面的可靠性和实用性。

如图5所示，为交互阶段用户认证精度结果的柱状图，由结果可以得到交互阶段能实现平均89.2％的用户认证精度。此结果表明了本系统能够在交互阶段，也能以较高的精度正确认证出当前已登录用户的身份，实现了交互阶段的连续认证，保障了用户的隐私与安全。

如图6所示，为登录和交互阶段响应时间的cdf图。从图中可以看出，交互阶段的平均响应时间少于200ms，而登录阶段的平均响应时间大多超过1000ms.当前一些研究表明，200ms以下的响应时间是能较好地符合交互阶段的用户体验。因此，在与智能家电进行人机交互时，本发明能够实现人机交互过程中的实时性交互，在保证一定安全性的同时，给与用户良好的用户体验。

本方法的技术效果包括：

1)用wi-fi信号获取用户手指动作的行为特征，克服了传感器和视觉设备等高昂的成本和部署难度。

2)通过深度神经网络提取细粒度的手指动作特征，实现了利用日常手指动作行为特征用来进行用户认证。

3)设计了基于轻量级单分类器的认证机制，通过结合用户多次的交互动作，实现实时性的用户认证，在较快的响应时间的前提下保证了较高认证精度，具有良好的用户体验。

现有的接近技术，通常是通过触摸屏来实现基于手指动作的用户认证。与现有接近技术进行比较，本发明拥有更广泛的应用场景，并不需要智能家居配备额外的触摸屏幕或传感器，只需要使用家庭中常见的wi-fi设备即可。同时，与现有技术比较，本发明实现了交互阶段的实时响应。通过将认证过程分为登录过程和注册过程，将识别用户的多分类过程放在即时响应要求较低的登录阶段，而在用户体验最关注的交互阶段使用轻量级单分类器实现了即时性的用户认证，使得在交互过程中并不会因为连续认证而显著降低用户体验。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。