基于行为特征的隐私安全保护系统的制作方法

本发明属于信息安全技术领域，尤其涉及一种基于行为特征的隐私安全保护系统。

背景技术：

随着移动设备的普及，移动智能终端用户隐私的保护越来越受到关注。存储在移动设备上的文件与信息都属于用户隐私。移动设备的丢失、他人的恶意查看、密码的丢失等多种原因都会导致隐私泄露。传统的隐私保护认证方法如基于物品的认证方法和基于知识的身份认证方法存在易遗失、伪造、损坏、被破解等缺点。

技术实现要素：

本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种拥有高可靠性、高稳定性，能够代替和辅助传统的身份认证的于行为特征的隐私安全保护系统。

本发明的技术方案是：一种基于行为特征的隐私安全保护系统，包括：

前台交互子系统，用于与用户进行人机交互，采集用户首次注册信息和手写签名过程中的图像信息，接收用户的操作请求指令，显示签名匹配结果和操作请求反馈结果；

手写签名识别子系统，用于根据手写签名图像中的行为特征采用基于HMM-IMM的轨迹捕捉模型进行处理，生成签名匹配结果；

后台处理子系统，用于将所述前台交互子系统采集的注册信息和所述手写签名识别子系统处理后的签名匹配结果保存至数据库，对数据库中保存的数据进行查询和修改，对用户的操作请求指令进行处理并生成操作请求反馈结果。

进一步地，所述用户的操作请求指令具体包括私密文件的加解密请求、私密联系人及隐私短信的访问请求、访问受保护应用程序请求和屏幕解锁请求。

进一步地，所述手写签名识别子系统包括训练模块和匹配模块；所述训练模块用于根据用户首次输入的手写签名图像构建基于HMM-IMM的轨迹捕捉模型；所述匹配模块用于根据用户后续输入的手写签名图像利用基于HMM-IMM的轨迹捕捉模型进行匹配，生成签名匹配结果。

进一步地，所述对手写签名图像进行处理，生成签名匹配结果，具体包括以下步骤：

A、从所有手写签名图像中按比例提取若干张签名图片，并对签名图片进行预处理；

B、将步骤B中预处理后的签名图片按方阵排列，根据像素密度特征和局部倾斜方向特征提取特征向量；

C、通过构建基于HMM-IMM的轨迹捕捉模型对步骤B中的特征向量进行处理，得到特征向量值；

D、采用前向后向算法对步骤C中的特征向量值进行打分，判断打分结果是否在预设阈值内；若打分结果在预设阈值内，则匹配成功并生成签名匹配结果；若打分结果不在预设阈值内，则匹配失败返回步骤A。

进一步地，所述步骤A中对签名图片进行预处理包括对签名图片进行签名矩形区域提取、平移不变和归一化处理；所述签名矩形区域提取具体为将签名图片转化为二值矩阵，再将二值矩阵切割成最小的矩阵，提取包含签名的最小矩形区域；所述平移不变具体为：将签名图片转化的二值矩阵采用矩阵平移的方式对签名图片进行平移；所述归一化具体为：将签名图片归一化到240*240的设定区域内。

进一步地，所述归一化处理的坐标变换公式具体为：

x₁＝240*(x_t-x_min)/(x_max-x_min)

y₁＝240*(y_t-y_min)/(y_max-y_min)

其中，(x_t,y_t)表示当前t时刻位置签名笔在屏幕上的位置，(x_min,y_min)为设定区域的左下顶点坐标，(x_max,y_max)为设定区域的右上顶点坐标。

进一步地，所述步骤B中根据像素密度特征和局部倾斜方向特征提取特征向量具体为：根据像素密度特征统计每一行的像素点的个数NU；根据局部倾斜方向特征计算每一块内倾斜点的数目，得到局部倾斜方向特征向量为[NS,PS,VS,HS]；从而在每一块中得到一个特征向量[NU,NS,PS,VS,HS]。

进一步地，所述步骤C中构建基于HMM-IMM的轨迹捕捉模型表示为：

其中，下标1表示低速状态，下标2表示高速状态；mⁱ表示i时刻状态；y⁰:ⁱ⁺¹表示从0到i+1时刻的图像信号序列；P_jk表示高低速状态的转移概率，且j,k＝1,2；U₁(i-1)表示i-1时刻签名状态处于低速时的概率，U₂(i-1)表示i-1时刻签名状态处于高速时的概率；C₁,C₂分别为低速模型和高速模型的归一化系数；l_i为签名笔在i时刻的坐标；分别表示相邻两帧截屏中签名笔的位置估计；E(i)表示i时刻签名笔的位置估计。

进一步地，所述步骤D中匹配成功并生成签名匹配结果还包括利用匹配成功的签名图片对应的特征向量训练基于HMM-IMM的轨迹捕捉模型，对基于HMM-IMM的轨迹捕捉模型进行更新。

进一步地，所述基于HMM-IMM的轨迹捕捉模型的更新公式具体为：

其中，NP₁(mⁱ|y^0:i)和NP₂(mⁱ|y^0:i)分别表示模型在长时间连续估计中的更新状态。

本发明具有以下有益效果：

(1)匹配方式新颖，简单可行：本发明根据中文签名的特点，基于时间节奏记忆属性进行签名匹配，签名获取的不仅仅是最后完整的签名，同时动态地记录了签名的过程；在保证签名图像可以匹配的情况下，有效地降低了签名者因当时的环境和身体状况带来签名整体速度改变的影响，同时降低错误拒绝率(真实签名被拒绝)和错误接受率(伪造签名被接受)；

(2)特征提取简单有效：本发明根据中文离线签名的特点，构建基于HMM-IMM的轨迹捕捉模型，通过将签名整体分割为子签名块，提取子签名块中像素点数和局部倾斜特征作为特征值；

(3)验证准确，自适应能力强：本发明采用动态增加训练样本的方法解决了训练样本不足、字体随时间变化等因素带来的系统识别率下降的问题。签名的样本逐渐变大，使得模型越来越精确，匹配越来越来准确；

(4)功能完善，操作灵活易用：本发明将移动终端上需要进行隐私保护的内容进行保护，包括移动终端上用户与私密联系人间往来短信、用户的私密应用程序、隐私文件以及手机的进入权限等、这种多种功能的整合比添加各种单独保护的软件简洁，从而为用户带来良好的体验；

(5)市场前景广阔：本发明的基于手写签名生物特征的识别方式对于用户来说不仅可接受程度高而且吸引力大，在生物识别技术受多方重视，信息安全问题成为全社会关注焦点的背景下，本发明的市场前景非常广阔和乐观。

附图说明

图1是本发明的基于行为特征的隐私安全保护系统结构示意图。

图2是本发明签名图像匹配流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明的基于行为特征的隐私安全保护系统结构示意图。一种基于行为特征的隐私安全保护系统，包括：

前台交互子系统，用于与用户进行人机交互，采集用户首次注册信息和手写签名过程中的图像信息，接收用户的操作请求指令，显示签名匹配结果和操作请求反馈结果；

手写签名识别子系统，用于根据手写签名图像中的行为特征采用基于HMM-IMM的轨迹捕捉模型进行处理，生成签名匹配结果；

后台处理子系统，用于将所述前台交互子系统采集的注册信息和所述手写签名识别子系统处理后的签名匹配结果保存至数据库，对数据库中保存的数据进行查询和修改，对用户的操作请求指令进行处理并生成操作请求反馈结果。

本发明的前台交互子系统用于实现系统与用户之间进行人机交互，其利用基于Android的移动终端实现。在用户使用本发明的隐私安全保护系统时，前台交互子系统判断用户是否为首次使用；若用户是首次使用，则采集用户的首次注册信息以及手写签名过程中的图像信息，并将注册信息传输至后台处理子系统，将手写签名过程中的图像信息传输至手写签名识别子系统；若用户不是首次使用，则直接采集用户手写签名过程中的图像信息，并将手写签名过程中的图像信息传输至手写签名识别子系统。前台交互子系统还用于接收用户输入的操作请求指令，这里的操作请求指令具体包括私密文件的加解密请求、私密联系人及隐私短信的访问请求、访问受保护应用程序请求和屏幕解锁请求，并将接收的操作指令传输至手写签名识别子系统。前台交互子系统还用于显示手写签名识别子系统反馈的签名匹配结果以及后台处理子系统反馈的操作请求反馈结果。

本发明的手写签名识别子系统包括训练模块和匹配模块；所述训练模块用于根据用户首次输入的手写签名图像构建基于HMM-IMM的轨迹捕捉模型；所述匹配模块用于根据用户后续输入的手写签名图像利用基于HMM-IMM的轨迹捕捉模型进行匹配，生成签名匹配结果。为了解决训练样本不足、字体随时间变化等因素带来的系统识别率下降的问题，本发明采用动态增加训练样本的方法，利用训练模块根据匹配成功的签名图片对应的特征向量训练基于HMM-IMM的轨迹捕捉模型，对基于HMM-IMM的轨迹捕捉模型进行更新；这样使得签名的样本逐渐变大，基于HMM-IMM的轨迹捕捉模型也越来越精确，匹配越来越来准确。

用户首次使用本发明的基于行为特征的隐私安全保护系统时，系统会要求用户进行签名训练，签名经过预处理后提取出特征向量，使用特征向量对初始的基于HMM-IMM的轨迹捕捉模型进行训练；初始会给五次训练机会；训练模块根据用户首次输入的手写签名图像构建基于HMM-IMM的轨迹捕捉模型，具体包括以下步骤：

A、从所有手写签名图像中按比例提取若干张签名图片，并对签名图片进行预处理；

B、将步骤B中预处理后的签名图片按方阵排列，根据像素密度特征和局部倾斜方向特征提取特征向量；

C、构建基于HMM-IMM的轨迹捕捉模型并利用步骤B中提取的特征向量进行训练。

在步骤A中，目前常用的用来衡量生物特征识别系统性能的评价标准有如下两个：

误拒率(FRR)：生物特征识别系统错误地拒绝系统的合法用户的概率；

误纳率(FAR)：生物特征识别系统错误地接收系统的非法用户的概率。

FRR和FAR是两个相关的错误率，当其中一个错误率降低，另外一个错误率必然上升，因此系统需要在FRR和FAR之间取一个折衷。可以通过调整模式匹配的判决阈值来控制生物识别系统的FRR和FAR。

等拒率(EER)常用来评价生物特征识别的整体性能，ERR即FAR和FRR相同时的错误率。若能降低ERR，就能有效提高系统性能。实验测试，当时间间隔低于0.04秒时，FAR和FRR达到均衡。

本系统采用每隔0.04秒提取一次手写签名过程中签名图片的方法，将提取出的签名图片按顺序保存起来。因为每个人在书写签名时习惯不同，虽然模仿者可以模仿字形，但是书写签名的速度不同。一般来说每个人每次书写签名的速度是变化的，但是一个人书写签名的相对速度是不变的，习惯在某些部分写的快，某些部分写的慢，也就是说一个人在他/她总共的书写时间内，书写某一部分花的时间的比例是稳定的，因此本发明利用这一特征来进行签名的鉴别。本发明把所有记录下来的图片，按比例选取10张；例如有20张图片，则选取第2，4，6，8，10，12，14，16，18，20张；例如有40张图片，则选取第4，8，12，16，20，24，28，32，36，40张。本发明根据中文签名的特点，基于时间节奏记忆属性进行签名匹配，签名获取的不仅仅是最后完整的签名，同时动态地记录了签名的过程；在保证签名图像可以匹配的情况下，有效地降低了签名者因当时的环境和身体状况带来签名整体速度改变的影响，同时降低错误拒绝率(真实签名被拒绝)和错误接受率(伪造签名被接受)。

本发明再对选取的签名图片进行预处理，将采集到的数据变成适宜特征提取的形式，使得在保持真伪签名之间差异的同时缩小真实签名之间的差异。对签名图片进行预处理包括对签名图片进行签名矩形区域提取、平移不变和归一化处理。

为了使得提取的图片包含更少的冗余数据，因此本发明将包含签名的最小矩形区域提取出来。这里的签名矩形区域提取具体为将签名图片转化为二值矩阵，再将二值矩阵切割成最小的矩阵，提取包含签名的最小矩形区域。

由于签名者每次在书写签名时的位置会有所变化，所以为了保证签名匹配时的精度，要求每次提取出来的签名具有平移不变性，能够平移到同一位置。这里的平移不变具体为：将签名图片转化的二值矩阵采用矩阵平移的方式对签名图片进行平移；

本发明的归一化处理具体为：将签名图片归一化到设定区域内，即将采集到的图片归一化到240*240的区域里。归一化处理的坐标变换公式具体为：

x₁＝240*(x_t-x_min)/(x_max-x_min)

y₁＝240*(y_t-y_min)/(y_max-y_min)

其中，(x_t,y_t)表示当前t时刻位置签名笔在屏幕上的位置，(x_min,y_min)为设定区域的左下顶点坐标，(x_max,y_max)为设定区域的右上顶点坐标。

在步骤B中，本发明对预处理之后的签名图像自上而下分成八行八列的方阵排列，用每一块内的局部特征构成特征向量。这里本发明选取像素密度特征和局部倾斜方向特征。

对于像素密度特征，本发明统计每一行的像素点的个数NU。

对中文签名而言，在局部区域内，撇、捺、竖的组合，及横笔画的不完全水平，造成签名在局部竖直方向上的变化非常复杂。为此，在每一块内提取签名的局部倾斜方向特征。对于签名骨架上的非边界点S(x，y)，按下面的规则分类：

(1)如果P(x+1，y-1)＝P(x-1，y+1)非0，则S为负方向倾斜点；

(2)如果P(x-1，y-1)＝P(x+1，y+1)非0，则S为正方向倾斜点；

(3)如果P(x，y-1)＝P(x，y+1)非0，则S为竖直方向点；

(4)如果P(x-1，y)＝P(x+1，y)非0，则S为水平方向点。

这些点统称为倾斜点。计算每一块内4类倾斜点的数目[NS，PS，VS，HS]，则局部倾斜方向特征向量为[NS，PS，VS，HS]。

从而在每一块中可以得到一个特征向量[NU，NS，PS，VS，HS]。

在步骤C中，假设终端位置坐标为隐状态输出状态Y⁽ⁱ⁾为可观测的，且每个状态与对应输出的概率分布相同。转移矩阵为A＝{P(M_i|M_i-1)}，可见状态的概率矩阵为B＝{P(Y_i|M_i-1)}，初始化状态π＝{P(x₀)}。将转移概率划分为两个部分，即位置转移概率(PTP)和视线转移概率(STP)：

在实际环境下，位置转移概率与位置坐标直接关联。视线转移概率服从正态分布，有

其中，f(ΔQ,d)为额外权重，d为M_i与M_i-1间的距离，ΔQ为M_i与M_i-1间的偏转角。

本发明采用D/TA算法在HMM框架中完成位置估计，通过寻找第i时刻所有接收信号中P(mⁱ|y^0:i)的最大值，类似于前后向算法中的前向求P(mⁱ|y^0:i-1)的过程，表示为：

由于i+1时刻的位置信息和i+1时刻的所接收的信号隐含了i时刻终端位置的关联信息，因此需要增大该时刻接收信号的概率比重以及相关联的P(mⁱ|y^0:(i+1))的值，表示为：

此时，P(mⁱ|y^0:i)成为P(mⁱ|y^0:i+1)的基准，在实时处理过程中，利用D/TA算法获得P(mⁱ|y^0:i+1)的计算结果。

由于用户在书写过程中存在速度间的转换，即高速和低速的切换，因此本发明引入交互式多模型(IMM)有助于在多变环境中提高定位精度。为了简化速度变化的连续过程，假定该过程为高速和低速状态两个状态间的变化。

假定U₁(i-1)表示i-1时刻移动终端在低速状态的概率，U₂(i-1)表示i-1时刻移动终端在高速状态的概率，E(i)表示τ时刻的位置估计。易知模型选择是基于∑_m∈MP₁(mⁱ|y^0:i+1)和∑_m∈MP₂(mⁱ|y^0:i+1)的，将IMM算法融入Markov链，可以计算出每个模型最终位置所对应的权重。该过程可以描述为

其中，下标1表示低速状态，下标2表示高速状态；mⁱ表示i时刻状态；y^0:i+1表示从0到i+1时刻的图像信号序列；P_jk表示高低速状态的转移概率，且j,k＝1,2；U₁(i-1)表示i-1时刻签名状态处于低速时的概率，U₂(i-1)表示i-1时刻签名状态处于高速时的概率；C₁,C₂分别为低速模型和高速模型的归一化系数；l_i为签名笔在i时刻的坐标；分别表示相邻两帧截屏中签名笔的位置估计；E(i)表示i时刻签名笔的位置估计。本发明根据中文离线签名的特点，构建基于HMM-IMM的轨迹捕捉模型，通过将签名整体分割为子签名块，提取子签名块中像素点数和局部倾斜特征作为特征值；采用HMM-IMM进行建模能反应各个子签名模块之间的关联。基于HMM-IMM的轨迹捕捉模型中主要捕捉信号序列Y与状态M之间的潜在关系。利用维特比算法，通过计算所有概率P(m^0:(i-1)|y^0:(i-1))得到最大可能序列m^0:(i-1)。

本发明采用动态增加训练样本的方法解决了训练样本不足、字体随时间变化等因素带来的系统识别率下降的问题。一般手写签名认证系统中都存在样本不足的问题，一旦匹配的签名通过，将它作为样本再次训练模型，随着签名次数的增多，签名的样本逐渐变大，使得模型越来越精确，匹配越来越来准确。一般书写者的笔迹也不是一成不变的，这样能逐渐适应用户签名微弱的变化，最大程度适应当前用户的签名。模型更新过程如下：

其中，NP₁(mⁱ|y^0:i)和NP₂(mⁱ|y^0:i)分别表示模型在长时间连续估计中的更新状态。

用户再次使用本发明的基于行为特征的隐私安全保护系统时，匹配模块根据用户后续输入的手写签名图像同样经过签名的提取、预处理、特征向量的提取过程，然后运用之前建立的基于HMM-IMM的轨迹捕捉模型，利用基于HMM-IMM的轨迹捕捉模型将横竖撇捺折之间速度的变化描述出来，再采用前向后向算法对特征向量值进行打分，实现签名匹配。本发明中的匹配模块根据用户后续输入的手写签名图像利用基于HMM-IMM的轨迹捕捉模型进行匹配，生成签名匹配结果，如图2所示，为本发明签名图像匹配流程示意图，具体包括以下步骤：

A、从所有手写签名图像中按比例提取若干张签名图片，并对签名图片进行预处理；

B、将步骤B中预处理后的签名图片按方阵排列，根据像素密度特征和局部倾斜方向特征提取特征向量；

C、通过构建基于HMM-IMM的轨迹捕捉模型对步骤B中的特征向量进行处理，得到特征向量值；

D、采用前向后向算法对步骤C中的特征向量值进行打分，判断打分结果是否在预设阈值内；若打分结果在预设阈值内，则匹配成功并生成签名匹配结果；若打分结果不在预设阈值内，则匹配失败返回步骤A。

在步骤C中，本发明根据用户首次使用本发明的隐私安全保护系统时构建的基于HMM-IMM的轨迹捕捉模型对步骤B中的特征向量进行处理，将横竖撇捺折之间速度的变化描述出来，得到特征向量值。

在步骤D中，本发明采用前向后向算法对步骤C中的特征向量值进行打分，再与预先设置的匹配阈值进行比较，判断打分结果是否在预设阈值内；若打分结果在预设阈值内，则匹配成功并生成签名匹配结果，将签名匹配结果传输至前台交互子系统进行显示；若打分结果不在预设阈值内，则匹配失败返回步骤A，要求用户重新输入手写签名。本发明会给用户三次机会进行验证，若三次均失败后则会锁住本系统一段时间，从而有效保障系统安全。这里的具体打分机制具体为：取得签名的的特征向量值后，根据前向后向算法求得P(0|λ)，其中λ表示基于HMM-IMM的轨迹捕捉模型，计算多次签名的均值p和方差δ，阈值可定义为

这里P_min为P(0|λ)的最小判断阈值，P_max为P(0|λ)的最大判断阈值，控制参数a的选取对系统的误识别率有很大的影响，其值越大表示决策阈值越宽松，系统的误纳率FAR就会越大，反之，系统的误拒率FRR就会越大。实际应用中需要根据系统的要求折中取值，取得a＝1.3。

本发明的后台处理子系统主要是Android移动终端对用户前台的交互进行处理，具体为接收前台交互子系统采集的注册信息和手写签名识别子系统处理后的签名匹配结果并保存至Sqlite数据库，在签名匹配过程中对数据库中保存的数据进行查询和修改，以及对用户的操作请求指令进行处理并生成操作请求反馈结果。这里的操作请求指令具体包括私密文件的加解密请求、私密联系人及隐私短信的访问请求、访问受保护应用程序请求和屏幕解锁请求。本发明基于手写签名特征的保护机制主要实现Android移动终端内部的隐私数据保护，主要包括以下四个方面：私密应用的程序锁；隐私文件的访问限制；屏幕锁功能；私密联系人设置(包括隐私短信保护和来电接听)。用户选择保护应用程序后，系统将会调用Android里的应用程序列表，选择需要保护的应用程序；当下次打开该应用程序，需要进行签名验证。用户选择加密文件功能，选择文件列表中想要加密的文件；下次打开文件时，需要进行签名验证。用户选择锁屏功能后，一旦屏幕锁定后再次进入手机需要进行签名验证；用户选择添加私密联系人，用户可以从Android系统自带的联系人列表中选择添加，抑或选择手动输入号码创建联系人；此时原Android系统自带的联系人列表中已经没有该联系人；对该联系人可以选择是否拦截其来电，以及保护短信。本发明将移动终端上需要进行隐私保护的内容进行保护，包括移动终端上用户与私密联系人间往来短信、用户的私密应用程序、隐私文件以及手机的进入权限等、这种多种功能的整合比添加各种单独保护的软件简洁，从而为用户带来良好的体验。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。