一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统与流程

本发明属于网络安全领域，涉及图像识别，尤其涉及一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统。

背景技术：

随着互联网技术的迅速发展，智能摄像头因为具有安全保护，婴儿监护，跌倒监视等作用，被广泛的使用在家庭安全系统中。当智能摄像头在使用中的时候，会实时的将视频加密上传到云端，用户可以根据网页或者相应的app实时的获取摄像头监控的区域画面。智能摄像头被广泛的使用的目的是保护用户的安全，但是在智能摄像头在上传加密视频流量的时候，会导致用户行为的隐私泄露。例如，lih等人通过分析压缩算法原理揭示压缩算法产生的像素变化将体现在流量上，提取流量分布特征从而识别用户行为。这种隐私泄露对用户甚至社会造成了巨大的伤害，因此为了更好的保护用户的隐私，需要分析在加密智能摄像头流量中用户的隐私泄露情况。

用户行为分类是一种基于被动采集流量的网络流量分析方法。用户行为识别主要是按照用户行为的种类分类，可以分为用户的真实空间中物理行为泄露和用户的网络空间中网络行为泄露。

对网络空间中的网络行为识别，主要是通过对网络流量进行分析，如通过深度包(dpi技术)检测技术，匹配行为特征库，或进行聚类分析，来判断当前网络流量属于哪一种网络行为，是用户在浏览网页，看视频还是在聊天等；或者通过统计机器学习或者深度学习等技术，通过分析网络流量的统计特征，如包速率，字节变化等信息，来识别当前流量所属的网络业务。

对真实空间中的物理行为识别，现有的主要是通过加密智能摄像头流量中的网络流量速率变化行为，通过网络流量速率的波动，结合累积求和算法(cmu)，来判断当前摄像头镜头中是否有用户存在。

但是这些方法在识别加密摄像头视频流量中的用户行为时，都不适用。摄像头流量是加密流量，基于深度包检测技术无法从加密流量中识别出有效信息。现有的基于统计特征的用户网络行为识别，无法在加密摄像头流量中识别出用户行为。基于累积求和算法，只能识别当前摄像头视野中是否有用户行为，不能识别当前用户的具体行为。

智能摄像头的使用空间一般是家，是一个十分隐私的空间，且智能摄像头通常具有24小时在线的特点，智能摄像头会记录用户在家的所有行为，因此加密智能摄像头流量中包含了大量的用户隐私。现有的方法无法分析加密监控视频流量中所包含的用户信息，从而无法知道加密智能摄像头流量中的用户行为泄露情形，因此，无法更好的保护用户隐私。

技术实现要素：

本发明目的在于克服现有技术的不足，提供一种基于加密摄像头视频流量模式变化的用户行为识别方法及系统。在不对加密智能摄像头视频流量进行解密的情况下，通过分析不同行为导致的加密智能摄像头视频流量模式，通过流量模式变化来识别当前镜头前的用户物理行为。

为达到上述目的，本发明采用如下的技术方案：

一种基于加密摄像头视频流量模式变化的用户行为识别方法，其步骤包括：

1、提取加密智能摄像头视频流量；

2、提取所述视频流量的相应特征，输入用户行为识别模型，以识别用户行为，其中所述用户行为识别模型通过如下训练步骤构建，包括：

1)提取用户在不同特定行为下的加密智能摄像头样本视频流量；

2)通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征；

3)提取上述视频流量特征，进行机器学习模型训练，得到用户行为识别模型。

进一步地，所述特定行为包括喝水、开关门、扫地、梳头、看电视、读书、穿衣服、走动。

进一步地，所述加密智能摄像头样本视频流量分为训练集，验证集和测试集。

进一步地，所述加密智能摄像头样本视频流量60％用作训练集，20％用作验证集，20％用作测试集。

进一步地，通过分析加密智能摄像头视频差分压缩的信息提取所述视频流量的相应特征。

进一步地，所述视频流量特征包括加密智能摄像头流量的速率分布和速率变化的均值、方差、斜度、峰度，以及流量速率分布在频域中的离散傅里叶系数。

进一步地，通过滑动窗口方法，将所述加密智能摄像头视频流量分成多个子段，分别进行特征提取。

进一步地，进行多种机器学习模型训练，所述多种机器学习模型包括决策树模型、随机森林模型、梯度提升决策树模型、朴素贝叶斯模型、逻辑斯坦回归模型和k近邻模型。

进一步地，根据对用户行为识别的准确率和召回率，选取所述机器学习模型。

一种基于加密摄像头视频流量模式变化的用户行为识别系统，包括：

1、视频流量提取模块，用以提取加密智能摄像头视频流量；

2、行为识别模块，用以提取所述视频流量的相应特征，输入用户行为识别模型，以识别用户行为，其中所述用户行为识别模型通过如下训练步骤构建，包括：

1)提取用户在不同特定行为下的加密智能摄像头样本视频流量；

2)通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征；

3)提取上述视频流量特征，进行机器学习模型训练，得到用户行为识别模型。

本发明针对加密智能摄像头视频流量的特点提出了用户行为识别方法，摄像头视频流量为了防止用户隐私泄露，通常采用加密的方式进行传输，但是网络加密技术不能完全阻止用户信息的泄露。本发明无需对加密流量进行解密，只需利用加密流量的速率特征可以对用户行为进行识别，揭露了用户隐私泄露的原因和方式，促进了用户隐私保护的发展。

本发明使用滑动窗口的特征提取方法，解决了在特征表示模式变化时会损失掉部分细节信息的问题，通过提取更多的流量信息，能对用户行为识别达到更高的准确率。

本发明分析了用户不同的行为会产生不同的流量模式，提取有效的特征表示流量模式，解决了如何表示加密流量模式变化的问题，使用较少的特征能够充分的表示流量模式变化，基于这些特征对多种用户行为识别达到高准确率，揭露在加密智能摄像头流量中的用户隐私泄露程度和方式。当制造商或用户知道隐私泄露的方式，能够采取相应的措施，从而更好的保护隐私不受伤害。

附图说明

图1为基于加密摄像头流量用户行为识别基本框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，下面通过具体实施例和附图对本发明进行进一步详细阐述。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1为本发明的方法基本框图，方法分为模型训练和模型测试两个阶段。通过在训练阶段获取有标签数据，分析用户行为和流量模式的关联，选取有效的特征表征流量模式变化，能够结合机器学习模型利用所选的特征以较高的准确率识别用户行为。

测试阶段展示了一个攻击者如何获得用户家中的摄像头流量，并进行相应的特征处理，以此识别用户的行为，窃取用户的隐私。

本发明针对加密智能摄像头视频流量的特点提出了用户行为识别方法。摄像头视频流量为了防止用户隐私泄露，通常采用加密的方式进行传输，但是网络加密技术不能完全阻止用户信息的泄露，本发明分析了用户不同的行为会产生不同的流量模式，并可以通过此流量模式推断出当前用户行为。

传统的流量特征无法有效在加密摄像头视频流量中识别用户行为，本发明通过分析加密监控视频差分压缩导致的信息泄露，提出了利用加密智能摄像头流量的速率分布和速率变化的均值、方差、斜度、峰度，以及流量速率分布在频域中的离散傅里叶系数等特征，通过这些特征可以有效的表示流量模式，并可以通过这些特征准确的推断出用户行为。

本发明的用户行为识别模型训练通过下述方式构建：

提取用户在不同特定行为下的加密智能摄像头样本视频流量。使用一个戴尔笔记本，一个路由器，两个智能摄像头搭建了一个实验环境，两个摄像头连接路由器发射出的无线，并用笔记本收集路由器上传输的智能摄像头视频流量，志愿者离摄像头3m远的距离做不同的动作的时候(特定行为包括喝水、开关门、扫地、梳头、看电视、读书、穿衣服、走动)，收集智能摄像头产生的加密网络流量。

通过分类器解析用户特定行为与样本视频流量的关联，设定与用户行为相关的视频流量特征，例如，对一段网络流量计算其网络流量速率变化序列，接着提取网络流量速率分布，根据网络流量速率大小和速率大小之差计算网络流量速率变化的均值、方差、偏度、分度，以及流量速率分布在频域中的离散傅里叶变换的幅值和相位。

由于直接计算序列的均值、方差、偏度、峰度可能会失掉很多细节信息，本发明提出了提取加密摄像头流量的新方法。传统的基于整段流量进行特征提取，会损失很多细节信息，本发明提出使用滑动窗口，将完整流量分成多个子段，对每一个子段分别进行特征提取，通过此方法以提取更多的细节信息，提高识别用户行为的准确率。通过滑动窗口方法，每次只取序列的一部分，规定滑动窗口数量为m，将序列均匀分为m段，考虑噪声和过拟合等因素，当m值为5时达最好效果，分别对每个子序列提取特征。

本发明将样本视频流量分为训练集，验证集和测试集，根据上述几种流量特征分别进行多种机器学习模型训练(决策树模型，随机森林模型，梯度提升决策树模型，朴素贝叶斯模型，逻辑斯坦回归模型，k近邻模型)，根据对用户行为识别的准确率和召回率，选取最优模型即随机森林模型作为用户行为识别模型。

通过多种机器学习分类器的迭代调参，六种典型机器学习模型识别揭露在加密智能摄像头流量中的用户隐私泄露程度和方式对用户行为的识别达到较高的准确率，确保所提取特征的有效性、适用性，揭露在加密智能摄像头视频流量中用户隐私泄露的情形。当制造商或用户知道隐私泄露的方式，才能够采取相应的措施，从而更好的保护隐私不受伤害。

本发明在两种智能摄像头(360云台摄像头和萤石c5c摄像头)情况下，收集了用户在两种智能摄像头做八种基本生活行为时产生的加密视频流量，八种动作分别为：喝水、开关门、扫地、梳头、看电视、读书、穿衣服、走动。通过十个志愿者总共收集了20g的加密视频流量，总共收集了8776个样本，通过随机采样，将样本60％用作训练集，20％用作验证集，20％用作测试集。对所提取的特征，在决策树，随机森林，梯度提升决策树，朴素贝叶斯，逻辑斯坦回归，k近邻六中典型机器学习模型中进行验证，其中在随机森林模型中效果最好，对八个动作的识别准确率达到94％。