一种基于WiFi信道状态信息的空中手写输入方法与流程

本公开涉及无线通信和射频感知技术，具体涉及一种基于wifi信道状态信息的空中手写输入方法。

背景技术：

手部在空中进入虚拟输入是一种人机交互中重要的信息输入方式，能够为很多应用提供支撑。现有技术中实现空中手写技术的方式主要有基于专用传感器设备的识别以及基于正常通讯过程中产生的无线电信号的识别。

基于专用传感器设备的识别允许在手指上携带某种传感器，根据传感器的不同，感知手指移动轨迹的方式也不同。但这种方法成本较高，佩戴的设备会对手部运动造成影响，使得手部输入不自然。

基于正常通讯过程中产生的无线电信号的识别主要是利用wifi设备采集到的信道状态信息还原手部移动轨迹。但由于信道状态信息的多径效应和较低的信噪比，很难直接对信道状态信息进行分析，这些方法大多使用了波形匹配或神经网络等方式实现，对不同环境适应性较差。

利用信道状态信息进行精确感知的另一个挑战在于多径效应。信道状态信息包含了所有传播路径上环境的影响。直接滤波或者差分的兴趣分量获取方法容易丢失细节信息，掺杂非兴趣分量的影响，使其精度降低，健壮性差。

技术实现要素：

本公开实施例提供一种基于wifi信道状态信息的空中手写输入方法。

本公开实施例中提供了一种基于wifi信道状态信息的空中手写输入方法，应用于三台或以上数量的wifi设备，至少包括一台信号发送设备tx以及至少两台信号接收设备rx，tx和rx构成至少两对收发对设备rx-tx，收发对设备rx-tx之间呈一定角度，构成的平面区域为使用者空中手写输入的有效输入区域，包括如下步骤：

步骤s10：获取信道状态信息csi随时间采样的csi序列，并进行预处理，包括：

s101：获取csi序列后发送至数据处理设备；

s102：数据处理设备为每个rx设置一队列，并在接收到rx发送的csi时，将数据存储在rx对应的队列；

s103：当所有队列长度大于等于其处理窗长时，将所有队列中缓存的数据取出，并对时间窗内的csi序列进行去噪；

步骤s20：从csi序列中获取兴趣分量幅度以及兴趣分量相位，包括：

s201：将去噪后的csi序列表示为复平面上的轨迹t0；

s202：对轨迹t0使用s-g滤波器进行滤波，滤除高频噪声以及高频非兴趣分量，记为轨迹t1；

s203：对轨迹t1使用低通滤波器滤波，再与轨迹t1进行运算，得到兴趣分量的粗估计，记为轨迹t3；

s204：利用轨迹t3的相位信息确定轨迹t1的分段位置，根据分段位置将csi序列划分为若干段完整的圆或弧，并对轨迹t1中每一分段求其对应的圆心位置；

s205：对轨迹t1中各点减除步骤4)中对应的圆心位置，得到轨迹t4；

s206：获取轨迹t4的幅度信息以及相位信息，作为兴趣分量幅度信息以及兴趣分量相位信息；

步骤s30：比较兴趣分量幅度与手指静止时确定的幅度阈值的大小，若兴趣分量幅度大于手指静止时确定的幅度阈值，则识别有效输入动作；

步骤s40：利用兴趣分量相位计算所述有效输入动作对应的反射路径长度变化，并根据反射路径长度变化和至少两对收发对设备rx-tx的空间位置，建立椭圆交点方程组，计算得到使用者手部位移-时间信息；

步骤s50：根据步骤s30确定的有效输入动作以及步骤s40确定的手部位移-时间信息，确定使用者空中手写输入内容，包括：

s501：当判断空中手写输入为有效输入动作时，开始记录手部的位移轨迹点；

s502：当判断空中手写输入为有效输入动作停止时，即判断使用者无有效输入动作达到设定时长时，停止记录手部的位移轨迹点；

s503：根据位移轨迹点，识别空中手写输入内容，并在屏幕上显示输入候选项；

s504：在显示输入候选项时，在空中手写输入的有效输入区域输入预定手势，根据预定手势确定使用者空中手写输入内容。

可选地，所述步骤s20还包括：

s207：在执行s202后，获取时间窗内轨迹t1的方差，对各rx-tx对上的该方差加权平均，再开根号，作为整个系统兴趣分量幅度的粗估计信息，并比较兴趣分量幅度估计值与手指静止时确定的幅度阈值的大小，若兴趣分量幅度估计小于幅度阈值，则判断为无有效兴趣分量，即兴趣分量幅度为0，步骤s20结束；否则继续执行s203-s206。

可选地，所述步骤s30还包括：

若兴趣分量幅度小于手指静止时确定的幅度阈值，则判断为无有效输入动作，并重复步骤s10-步骤s20。

可选地，所述s103中对时间窗内的csi序列进行去噪，包括：

将摆放距离不超过tx发射波长的1/2的同一rx的两个天线接受到的csi相除，并在csi序列的不同载波之间平均。

可选地，信道状态信息csi在至少两个rx端获取，汇总到一台所述数据处理设备进行下一步处理。

可选地，当信道状态信息csi在至少两个rx端获取时，所述步骤s10还包括：

s104：数据处理设备记录接受csi序列的本地时间，利用匹配算法同步两个rx端获取的csi序列。

可选地，所述wifi设备包括：wifi无线路由器、无线接入点ap、智能手机、带有wifi网卡的笔记本电脑、台式电脑和摄像头；在所述wifi设备中可以任选至少两台设备作为信号接收设备rx、任选至少一台设备作为信号发送设备tx。

可选地，所述数据处理设备与信号发送设备tx为同一设备，或者所述数据处理设备与信号接收设备rx为同一设备。

可选地，所述方法应用于rf感知场景。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的基于wifi信道状态信息的空中手写输入方法，无需使用专用传感器，也无需利用机器学习的方式，通过分析csi序列的复平面轨迹的几何特性，从csi序列中分离出兴趣分量幅度以及兴趣分量相位，根据兴趣分量的幅度判断使用者的手部动作有效或无效，再使用兴趣分量的相位，结合收发对设备rx-tx的空间位置，实时计算使用者手部位移，通过同时获取精确的兴趣分量幅度和相位提高了人机交互的效率。相比于直接滤波或者差分的兴趣分量获取方式，采用复平面轨迹的几何特性分析的方式获取兴趣分量保留了更多的细节信息，在确定使用者空中手写内容时，提高了显示的候选项的精度，从而提升了使用者的虚拟输入效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开实施例的实施环境的示意图；

图2示出根据本公开实施例的基于wifi信道状态信息的空中手写输入方法的流程图；

图3示出根据本公开实施例的步骤s10的流程图；

图4示出根据本公开实施例的步骤s20的流程图；

图5示出根据本公开实施例的步骤s50的流程图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

上文提及，手部在空中进入虚拟输入是一种人机交互中重要的信息输入方式，能够为很多应用提供支撑。现有技术中实现空中手写技术的方式主要有基于专用传感器设备的识别以及基于正常通讯过程中产生的无线电信号的识别。

基于专用传感器设备的识别允许在手指上携带某种传感器，根据传感器的不同，感知手指移动轨迹的方式也不同。但这种方法成本较高，佩戴的设备会对手部运动造成影响，使得手部输入不自然。

基于正常通讯过程中产生的无线电信号的识别主要是利用wifi设备采集到的信道状态信息还原手部移动轨迹。但由于信道状态信息的多径效应和较低的信噪比，很难直接对信道状态信息进行分析，这些方法大多使用了波形匹配或神经网络等方式实现，对不同环境适应性较差。

利用信道状态信息进行精确感知的另一个挑战在于多径效应。信道状态信息包含了所有传播路径上环境的影响。直接滤波或者差分的兴趣分量获取方法容易丢失细节信息，掺杂非兴趣分量的影响，使其精度降低，健壮性差。

考虑到上述缺陷，本公开实施例提供的基于wifi信道状态信息的空中手写输入方法，无需使用专用传感器，也无需利用机器学习的方式，通过分析csi序列的复平面轨迹的几何特性，从csi序列中分离出兴趣分量幅度以及兴趣分量相位，根据兴趣分量的幅度判断使用者的手部动作有效或无效，再使用兴趣分量的相位，结合收发对设备rx-tx的空间位置，实时计算使用者手部位移，通过同时获取精确的兴趣分量幅度和相位提高了人机交互的效率。相比于直接滤波或者差分的兴趣分量获取方式，采用复平面轨迹的几何特性分析的方式获取兴趣分量保留了更多的细节信息，在确定使用者空中手写内容时，提高了显示的候选项的精度，从而提升了使用者的虚拟输入效率。

为了便于理解本公开的实施方案，首先对本公开中使用的术语做如下说明：

tx：信号发送设备

rx：信号接受设备

los传播路径：收发对设备rx-tx的直传路径

csi序列：信道状态信息序列

兴趣分量：los传播路径附近的，频率已知的人体或环境变化所造成的多径分量变化

复平面：特定代数结构笛卡尔平面，复数实部用x-轴的位移表示，复数虚部用y-轴的位移表示

本公开的原理是：信道状态信息序列的复平面表示中，可以体现出兴趣分量的一些特征，通过分析表示在复平面中信道状态信息序列得到的复平面轨迹几何特征，可以提取其中的兴趣分量的幅度与相位信息。进一步的，兴趣分量幅度和相位信息让无线设备对使用者的有效输入有更好的感知，同时获取兴趣分量幅度和相位信息使一种仅使用两个收发对的空中手写输入方式成为可能。

具体地，对于每对收发对设备rx-tx来说，tx发出的无线电波可能经过多种传播路径被rx接受，多种传播路径可以是los传播路径，或者反射路径，比如可以是空中手写输入时，无线信号从tx发出后，经过手指反射再被rx接受所形成的路径，也可以是静态的环境反射路径，比如，经过墙壁、天花板或者地面、杂物以及手指以外的身体其他部位反射后形成的路径，或者折射路径、散射路径等等。在进行空中手写输入时，来自los传播路径以及静态的环境反射路径的长度通常并不发生变化，而手指反射形成的路径长度不断发生变化。于是，这些多径传播的无线电波在rx端接受时会发生叠加，可以表示为一个动态旋转的向量和一个静态不变的向量的组合。在复平面上，一个静态向量和一个旋转的动态向量的叠加组合会产生一个圆形信号分布。当手指移动导致的反射路径变化一个波长时，动态向量旋转一周，形成一个完整的圆；当手指移动导致的反射路径变化不足一个波长时，在复平面上的轨迹形成一段圆弧。圆弧相应的相位变化对应了反射路径的长度的变化信息。通过测量圆弧所对应的相位角的变化，可计算出手指对应的tx-rx的反射路径的长度变化。利用已知固定位置的多对收发设备上获取的长度变化信息，可以通过几何映射关系来计算手指在空中移动所形成的轨迹。

图1示出根据本公开实施例的实施环境的示意图。

如图1所示，该实施环境包括至少三台wifi设备，其中包括至少一台信号发送设备tx和至少两个信号接收设备rx。所述wifi设备具体可以是：wifi无线路由器、无线接入点ap、lte室内信号发送基站、智能手机、带有wifi网卡的笔记本电脑、台式电脑或摄像头等输入设备。在所述wifi设备中可以任选至少两台设备作为信号接收设备rx、任选至少一台设备作为信号发送设备tx。比如，在室内固定位置设置智能手机作为tx，设置wifi无线路由器以及笔记本电脑作为rx。

所述信号发送设备tx和所述信号接收设备rx构成至少两对收发对设备rx-tx，收发对设备rx-tx之间呈一定角度，构成的平面区域为使用者空中手写输入的有效输入区域。比如，智能手机与笔记本电脑构成一组收发对设备rx-tx，智能手机与wifi无线路由器构成另一组收发对设备rx-tx，两组收发对设备rx-tx的连线区域范围成90°左右的夹角，空中手写输入的有效输入区域尽可能靠近连线区域的中间位置，该位置存在较强的los路径。

图2示出根据本公开实施例的基于wifi信道状态信息的空中手写输入方法的流程图。

如图2所示，所述基于wifi信道状态信息的空中手写输入方法，包括步骤s10-步骤s50。

在步骤s10中，获取信道状态信息csi随时间采样的csi序列，并进行预处理；

图3示出根据本公开实施例的步骤s10的流程图。如图3所示，所述获取信道状态信息csi随时间采样的csi序列，并进行预处理，包括步骤s101-s104：

s101：获取csi序列后发送至数据处理设备；

在本公开方式中，所述csi信息的采集是伴随wifi设备的正常通讯的过程同步完成的。具体地，csi信息分别在至少两个rx端获取。在rx端获取后，将csi信息利用网络或接口协议发送至数据处理设备。需要说明的是，每对收发对设备rx-tx产生一组csi序列，如果csi信息在两个rx端获取，则利用网络汇集到同一个数据处理设备进行处理，此时的数据处理设备可以与其中一个rx是同一设备，该rx获取的csi序列则无需网络传输。

在本公开方式中，rx上的不同天线会测量各自的csi数值，也就是说测量的csi数值包括每对收发对设备rx-tx中不同收发天线对的csi数值。

s102：数据处理设备为每个rx设置一队列，并在接收到rx发送的数据时，将数据存储在rx对应的队列；

s103：当所有队列长度大于等于其处理窗长时，将所有队列中缓存的数据取出，并对时间窗内的csi序列进行去噪；

在本公开方式中，所述s103中对时间窗内的csi序列进行去噪，包括：

将摆放距离不超过tx发射波长的1/2的同一rx的两个天线接受到的csi相除，并在csi序列的不同载波之间平均。

在本公开方式中，当信道状态信息csi在至少两个rx端获取时，所述步骤s10还包括：

s104：数据处理设备记录接受csi序列的本地时间，利用匹配算法同步两个rx端获取的csi序列。

在步骤s20中，从csi序列中获取兴趣分量幅度信息以及兴趣分量相位信息；

图4示出根据本公开实施例的步骤s20的流程图。如图4所示，所述从csi序列中获取兴趣分量幅度信息以及兴趣分量相位信息，包括步骤s201-s207：

s201：将去噪后的csi序列表示为复平面上的轨迹t0，其中，csi序列指的是csi随着时间不断采样获得的时间序列，csi采样率可以在200hz以上以准确获得手指移动的轨迹。

在本公开方式中，csi序列的复平面表示的含义为：在一个时间窗内，采样得到的csi序列可以用一系列复数之和表示为多条路径分量(以下称为多径分量)的加和的时间序列：

其中，t为时间序号，l是多径数量，ai(t)为序号为i的路径上的信号幅度的时间序列，是序号为i的路径上的信号相位的时间序列。对于rf感知领域，这些多径分量中不仅包含有用的兴趣分量(如手写输入中用户手部的反射分量)，还包含了各种非兴趣多径分量(如墙壁、天花板、地面、杂物以及使用者身体其他部位的反射分量)，这使信道状态信息很难直接分析。

在复平面上，csi序列可以用用一个向量整体表示，也可以表示为各个多径分量所对应的向量加和：

其中，t为时间序号，l是多径数量，为序号为i的路径上的信号分量时间序列的向量表示。不同于之前出现的将幅度序列和相位序列分别分析的方法，这样的表示方法将接收到的csi序列表示为复平面上的一条二维轨迹，便于联合分析幅度和相位信息，更有利于兴趣分量的分离。

在本公开方式中，兴趣分量的几何特征：

表示在复平面上二维轨迹的csi序列所包含的信息包括：高频非兴趣分量和高频噪声、兴趣分量、低频非兴趣分量和静态分量。

其中，在一般情况下，高频非兴趣分量和高频噪声幅度比较小，均值为0，会在原轨迹上叠加锯齿状起伏。

对于兴趣分量，由于产生兴趣分量变化的手指距离los传播路径比较近，兴趣分量幅度较大，且在较短时间内幅度变化较小。兴趣分量的相位变化由其所对应电磁波传播路径长度变化决定：

其中，为兴趣分量的相位变化量，δlac为手指到信号发送设备tx的距离变化量，δlbc为手指到信号接受设备rx的距离变化量，λ为中心波长。直观地，当手指到收发对设备rx-tx的距离之和发生变化时，其对应的多径分量在复平面上的轨迹是一系列同心圆，或弧，或螺旋线。

低频非兴趣分量和静态分量之和是一个相对兴趣分量变化较为缓慢的分量。低频分量和静态分量会在兴趣分量的轨迹上叠加一个缓慢移动的偏置，使其圆心位置发生偏移。在一些情况下，一些非兴趣分量的频率和兴趣多径分量的频率相近，使整体轨迹更加杂乱，难以分析。但在合适的应用场景下，非兴趣分量幅度较小，更加无规律，不会形成和兴趣分量相近的圆或弧。

s202：对轨迹t0使用s-g滤波器进行滤波，滤除高频噪声以及高频非兴趣分量，记为轨迹t1；滤波器窗口大小根据兴趣分量的大致频率确定，比如窗口大小包含0.5次csi波动周期的样本数量。其中，所述s-g滤波器为3阶滤波器。

s203：对轨迹t1使用低通滤波器滤波，再与轨迹t1进行运算，得到兴趣分量的粗估计，记为轨迹t3；

具体地，可以将滤波后得到的轨迹t2作为低频非兴趣分量和静态分量的粗略估计，之后将轨迹t1减除轨迹t2后得到兴趣分量的粗估计，轨迹t3。

s204：利用轨迹t3的相位信息确定轨迹t1的分段位置，根据分段位置将csi序列划分为若干段完整的圆或弧，并对轨迹t1中每一分段求其对应的圆心位置。

具体地，对于完整的圆，选取重心作为该分段的圆心位置；对于弧，可以记录弧对应的轨迹t3的相位上峰/谷的位置，之后分别选取该分段前一分段或者后一分段的完整的圆的圆心作为该分段对应的圆心。

s205：对轨迹t1中各点减除s204中对应的圆心位置，得到轨迹t4。

s206：获取轨迹t4的幅度信息以及相位信息，作为兴趣分量幅度信息以及兴趣分量相位信息；具体地，对相位消除跳变后作为兴趣分量相位；对幅度进行滤波后作为兴趣分量幅度。

在本公开方式中，所述步骤s20还包括：

s207：在执行s202后，获取时间窗内轨迹t1的方差，对各rx-tx对上的该方差加权平均，再开根号，作为整个系统兴趣分量幅度的粗估计信息，并比较兴趣分量幅度粗估计值与手指静止时确定的幅度阈值的大小，若兴趣分量幅度粗估计小于幅度阈值，则判断为无有效兴趣分量，即兴趣分量幅度为0，步骤s20结束；否则继续执行s203-s206。

在步骤s30中：比较兴趣分量幅度与手指静止时确定的幅度阈值的大小，若兴趣分量幅度大于手指静止时确定的幅度阈值，则识别有效输入动作。具体地，在一定时间窗内，兴趣分量幅度大于幅度阈值时，判断手部完成的是有效输入动作，否则判断为无效动作。在两对或多对收发对设备rx-tx的场景下，在一定时间窗内，每对收发对设备rx-tx所得出的兴趣分量幅度计算加权平方和，再开根号，作为整个系统兴趣动态分量的幅度估计。在这样的判断标准下，使用者没有动作或使用者的动作没有发生在空中手写输入的有效输入区域内，都被判断为无有效动作；使用者在空中手写输入的有效输入区域内完成的动作则被判断为有效动作。其中，空中手写输入的有效输入区域为空间中靠近所有收发对设备rx-tx的los路径的区域。

在本公开方式中，所述步骤s30还包括：

若兴趣分量幅度小于手指静止时确定的幅度阈值，则判断为无有效输入动作，并重复步骤s10-步骤s20。

在步骤s40中，利用兴趣分量相位计算所述有效输入动作对应的反射路径长度变化，并根根据反射路径长度变化和至少两对收发对设备rx-tx的空间位置，建立椭圆交点方程组，计算得到使用者手部位移-时间信息。具体地，在一定时间窗内，根据计算使用者手部到tx以及rx的距离之和随时间的变化，之后根据至少两对收发对设备rx-tx的空间位置计算手部的相对位移，得到手部在虚拟输入的有效输入区域内的位移-时间信息。

以每对收发对设备rx-tx为椭圆交点，在手指位置的总的反射路径长度已知的情况下，可确定一椭圆方程。通过两对收发对设备rx-tx可以确定两个椭圆方程，两个椭圆的交点即为手指的位置。

在步骤s50中，根据步骤s30确定的有效输入动作以及步骤s40确定的手部位移-时间信息，确定使用者空中手写输入内容；

图5示出根据本公开实施例的步骤s50的流程图。如图5所示，所述根据步骤s30确定的有效输入动作以及步骤s40确定的手部位移-时间信息，确定使用者空中手写输入内容，包括步骤s501-s504：

s501：当判断空中手写输入为有效输入动作时，开始记录手部的位移轨迹点；

s502：当判断空中手写输入为有效输入动作停止时，即判断使用者无有效输入动作达到设定时长时，停止记录手部的位移轨迹点；其中，所述设定时长可以为0.2秒，或者根据需要进行设置，在此不做限制。

s503：根据位移轨迹点，识别空中手写输入内容，并在屏幕上显示输入候选项；其中，所述空中手写输入内容可以是文字、数字或者其他内容。

s504：在显示输入候选项时，在空中手写输入的有效输入区域输入预定手势，根据预定手势确定使用者空中手写输入内容。具体地，所述预定手势可以为向上划，向下划或者斜向划等，预定手势可以关联空中手写输入内容的执行操作，比如选择候选项、删除输入等。例如，通过手部向上划的预定手势删除本次空中手写输入内容。

根据本公开的实施例，所述方法应用于rf感知场景，比如基于图像中文字移动轨迹的识别，得到图像中的文字。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。