一种基于磁感应信号的移动设备监控方法及系统与流程

本发明涉及一种智能移动设备的旁路监控和管理领域，尤其是涉及一种基于磁感应信号的移动设备监控方法及系统。

背景技术：

移动设备在我们的日常生活中发挥着不可替代的作用。据预测，到2020年底将有超过90亿部手机，平板电脑和笔记本电脑。捕捉用户设备行为，包括知道用户当前使用的设备类型、哪个应用程序正在运行以及哪个用户正在使用设备，这些信息在移动设备监控管理和用户身份认证等领域很有帮助。但是，一个人可能有多个移动设备，例如一个智能手机和一个笔记本电脑。另一方面，一个移动设备可以由多个用户使用，例如，家庭成员公用一台笔记本电脑。常规认证方法不能区分不同的用户。因此，需要跨平台用户认证的方法来理解用户设备行为。一个简单的解决方案是在每个设备中安装一个进程监视器，并在云端进行统计。尽管该解决方案解决了跨平台问题，但用户识别仍然是一个难题。请注意，通过前置摄像头进行识别对于此问题是不切实际的，因为始终打开摄像头会导致电池在短时间内耗尽。指纹识别是识别用户设备行为的有前途的方法。还有许多其他偏信道的研究来实现这一目标，例如使用加速计、功耗和声信号信息。加速度计和功耗信息因太粗糙而无法准确识别用户，而声音信号可能在很大程度上受到环境的干扰。

使用磁感应信号进行用户认证核心需要解决时间序列分类问题。传统时间序列分类方法人工提取时间特征，然后将其输入到单个分类器或集成分类器中，生成输出。人工特征提取对专家经验依赖严重，且涉及用户认证这种复杂的场景时很难保证特征选取的准确性。此外，传统的方法大多依赖时域上的特征，然而这些特征很容易随时间变化，导致预先训练好的模型不具有很好的泛化性能。

电磁信号是进行用户认证和设备管理更合适的解决方案。我们观察到电磁信号是移动设备计算强度的一个反映，例如，重负载应用会提高cpu功耗和其他功耗，从而为应用的识别提供了可能。此外，不同用户在使用同一设备甚至同一应用时会有不同的用户行为习惯，例如：打字的速度、常用的操作等，从而导致电磁信号产生相应的变化。这些也为使用电磁信号进行用户级别的识别提供了可能。近年来，深层神经网络已被用于时间序列分类任务。深度学习模型自动生成特征并达到最先进的性能。长期短期记忆网络则被证明可以很好解决时间序列问题。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于磁感应信号的移动设备监控方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于磁感应信号的移动设备监控方法，包括：

收集环境磁感应数据；

对所述磁感应数据进行预处理；

对预处理后的磁感应数据进行特征提取；

将提取的特征输入预训练好的识别模型，输出识别结果，其中，所述识别结果包括使用设备的用户、设备类别和当前运行的应用中的一个或多个。

所述对所述磁感应数据进行预处理，包括：

采用高斯滤波算法进行平滑滤波；

采用快速傅里叶变换得到频域信号；

采用主成分分析提取其主要成分。

所述对预处理后的磁感应数据进行特征提取，包括：

进行对预处理后的磁感应数据进行时间窗口划分；

使用全连接卷积神经网络模型基于单个时间窗口的时域信号和频域信号进行特征提取。

所述识别结果包括使用设备的用户、设备类别和当前运行的应用；

所述将提取的特征输入预训练好的识别模型，输出识别结果，具体包括：

将提取的特征输入预训练好的识别模型；

根据提取的特征识别得到设备类别；

根据提取的特征和得到的设备类别识别得到当前运行的应用；

根据提取的特征、得到的设备类别和当前运行的应用识别得到使用设备的用户。

所述识别模型为包含时域和频域特征的长短期记忆全卷积神经网络。

一种基于磁感应信号的移动设备监控系统，包括贴片式磁力传感器，以及与贴片式磁力传感器连接的上位机，所述上位机包括：

数据预处理模块，接收贴片式磁力传感器发送的环境磁感应数据，并对所述磁感应数据进行预处理；

特征提取模块，对预处理后的磁感应数据进行特征提取；

识别分类模块，用于将提取的特征输入预训练好的识别模型，输出识别结果，其中，所述识别结果包括使用设备的用户、设备类别和当前运行的应用中的一个或多个。

所述贴片式磁力传感器和上位机通过无线通信方式传输数据。

所述对所述磁感应数据进行预处理，包括：

采用高斯滤波算法进行平滑滤波；

采用快速傅里叶变换得到频域信号；

采用主成分分析提取其主要成分。

所述识别结果包括使用设备的用户、设备类别和当前运行的应用；

所述将提取的特征输入预训练好的识别模型，输出识别结果，具体包括：

将提取的特征输入预训练好的识别模型；

根据提取的特征识别得到设备类别；

根据提取的特征和得到的设备类别识别得到当前运行的应用；

根据提取的特征、得到的设备类别和当前运行的应用识别得到使用设备的用户。

所述对预处理后的磁感应数据进行特征提取，包括：

进行对预处理后的磁感应数据进行时间窗口划分；

使用全连接卷积神经网络模型基于单个时间窗口的时域信号和频域信号进行特征提取。

与现有技术相比，本发明具有以下有益效果：

1)在不改变现有电器设备硬件结构的情况下，通过磁场强度传感器，采集智能移动设备工作时自身产生的磁感应信号来完成设备类型的识别、工作状态的识别，以及用户的识别，低成本地实现了移动智能设备的用户认证和设备监控与管理。

2)在预处理环节，采用了经过快速傅里叶变换的频域信号作为补充，可以弥补时域上的磁感应信号信息很容易受到外界干扰的不足，提高可靠性。

3)使用了主成分分析提取其主要成分，可以避免特征维度过高对系统性能和模型泛化能力造成干扰。

4)适用性强，能够应用于各种类型的智能移动设备。

5)提出的频域-时域分层深度学习模型，可用于连续可靠地区分应用和用户，即使存在未知的应用程序和用户，这种方法也能很好地执行。

附图说明

图1为本发明的整体架构图；

图2为发明的数据预处理流程图；

图3为多种算法模型分类准确率的比较图；

图4为多种算法模型训练时间的比较图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本申请突破了传统用户认证和设备管理的局限，首创通过跟踪移动设备发出的磁信号来识别用户设备行为。本发明还提出了tf-lstm-fcn分层分类模型，用于连续可靠地区分应用和用户。即使存在未知的应用程序和用户，这种方法也能很好地执行。本发明能够准确分类用户当前使用的设备类型、正在运行的应用程序以及正在使用这个设备的用户，这些信息在移动设备管理和用户认证等领域很有帮助。

具体的，本申请的结构需要包括贴片式磁力传感器，以及与贴片式磁力传感器连接的上位机，上位机包括：

数据预处理模块，接收贴片式磁力传感器发送的环境磁感应数据，并对磁感应数据进行预处理；

特征提取模块，对预处理后的磁感应数据进行特征提取；

识别分类模块，用于将提取的特征输入预训练好的识别模型，输出识别结果，其中，识别结果包括使用设备的用户、设备类别和当前运行的应用中的一个或多个。

贴片式磁力传感器和上位机通过无线通信方式传输数据，优选为wifi方式，磁力传感器由于功耗较低，可以配置电池为自身供能。

其中的，对磁感应数据进行预处理，包括：采用高斯滤波算法进行平滑滤波；采用快速傅里叶变换得到频域信号；采用主成分分析提取其主要成分。

具体的，由于贴片式磁力传感器收集的磁感应数据存在很多噪声，噪声主要分为人工操作、线性噪声能量、电极噪声、外界噪声和内部噪声。这些噪声可以通过调整贴片电路板的位置、周边探测环境，还有一些滤波噪声的算法来减小噪声信号对有用传感器信号的干扰。所以在进行特征提取之前需要进行数据预处理，先对窗口中的数据进行归一化，在采用高斯滤波算法进行平滑滤波。此外，实验发现时域上的磁感应信号信息很容易受到外界干扰，因此本发明同时采用了经过快速傅里叶变换的频域信号作为补充；为了避免特征维度过高对系统性能和模型泛化能力造成干扰，频域信息同时使用了主成分分析提取其主要成分。

传统的手工提取特征的方法通常耗时，需要额外的领域知识。因此，我们转向深度学习算法自动提取特征。已有的研究表明，全卷积网络在从时间序列数据中提取特征的质量和效率方面表现良好。因此，在时域和频域上，应用全卷积神经网络提取特征。如图2所示，将时域和频域数据一起加入模型进行特征提取和分类。在我们使用模型直接分类时间序列数据之后，由于分类的三个级别(设备、应用程序和用户级别)并不相互独立。例如，当对设备的类型进行分类时，结果不受设备上运行的应用程序和这个设备的用户的影响；而分类应用程序的结果又与设备的类型有很强的联系。因此，我们使用层次分类，以提高每个分类模型的准确性。

识别模型需要进行预先训练，如图1所示，对于识别模型而言需要训练模型和实时预测。在训练模型中，系统首先收集历史电磁信号，并标记移动设备模型、用户和应用类型等信息，然后将标记后的信号馈送到所提出的分层深层学习算法中，用于监督训练。在实时预测步骤中，将实时磁感应信号输入到训练好的模型，模型返回预测结果，例如，用户a在设备b上使用软件c，实现了移动智能设备的用户认证和设备管理；

本申请采用的分类器算法为频域-时域长短期记忆全卷积神经网络(time-frequencylongshorttermmemoryfullyconvolutionalnetwork,tf-lstm-fcn)。lstm是一个常用来处理时间序列问题的时间递归神经网络，由于独特的设计结构，lstm适合于处理和预测时间序列中间隔和延迟非常长的重要事件，通常用在模式识别、自然语言处理等领域。使用时域和频域信息增强，并使用全卷积神经网络自动化特征提取的tf-lstm-fcn模型能够充分利用原始电磁感应数据提供的信息，实现了移动智能设备的用户认证和设备管理的完全智能化。

本申请将训练好的实时传感器数据分类器模型运用到实际应用中，并验证模型的分类效果。在实验室环境下，选取了10个用户在10种智能移动设备使用30种不同应用程序的数据。设备类型分别：苹果，惠普，联想，三星，戴尔，弘基，华硕等笔记本电脑，应用类型包括微软word,excel,ppt,微信，qq，minecraft等。如图3和图4所示，实验表明本系统能够对94.31％的用户、91.64％的应用和98.6％的移动设备进行正确分类。