一种基于动态条件随机场的键盘输入侦测方法
【技术领域】
[0001] 本发明涉及键盘输入侦测技术领域，尤其涉及一种基于动态条件随机场的键盘输 入侦测方法。
【背景技术】
[0002] 众所周知，键盘输入带着大量的数据信息，包括登录用户名、密码等重要信息。随 之越来越多的键盘输入攻击方式出现，例如利用定位能力强大的声波探测器，或者是在电 脑内部植入攻击的木马软件等。前者需要体积庞大的仪器，不易携带，不适用于键盘输入侦 测场合；而后者容易被电脑里面的反木马程式所删除。
[0003] 随着手机逐渐成为具有强大计算能力的移动工具，越来越多的传感器被安放在手 机上，用以提供各种感知的功能。手机上麦克风的数量也在逐渐增多，然而现有的手机一般 还都只有两个或者一个麦克风，只有极少数的手机有三个麦克风，以iPhone 5手机为例， 其具有三个麦克风，一个在前面，一个在背面，另一个在底部。这样可以更好的获取多个方 向的声音，并且在通话过程中消除背景噪音。多个麦克风的出现为精确定位声音源的提供 了可能，如果在单个手机上麦克风的数量不小于三个，即可通过手机声音到达不同位置的 麦克风的时间差进行定位，从而得到较精确的音源位置。但是如果手机只有两个麦克风，则 需要多个手机进行协同合作定位。
[0004] 如果利用手机能够精确的对键盘输入进行定位，确实是一个很隐蔽且高效方法。 然而，由于现有手机的发射/接收声音信号的频率过低，而对键盘输入定位对于定位精度 要求高（2cm以内），所以往往无法直接使用。
【发明内容】
[0005] 本发明的目的在于通过一种基于动态条件随机场的键盘输入侦测方法，来解决以 上【背景技术】部分提到的问题。
[0006] 为达此目的，本发明采用以下技术方案：
[0007] 一种基于动态条件随机场的键盘输入侦测方法，其包括：
[0008] A、获取不同位置的若干个麦克风MiM2M 3. . .M2ni的位置，其中，m为不小于1的正整 数；
[0009] B、通过归一化互相关方法，对于所有的麦克风对，计算同一音源发出的声音到麦 克风吣和麦克风^的带误差容忍的时间差范围At m其中，i辛j ;
[0010] c、根据带误差容忍的时间差范围A 和每对麦克风位置，获得相应的双曲线；
[0011] D、将所有的所述双曲线叠加在平面上，平面中被双曲线带覆盖次数最多的区域即 为最大可能的音源区域，侦测出键盘输入字符的大概位置；
[0012] E、利用动态条件随机场对键盘输入的位置信息进行建模，通过线下学习的文本特 征关联性来恢复输入字符序列。
[0013] 特别地，所述步骤B具体包括：
[0014] 通过两个不同位置的麦克风对同一音源发出的声音进行采集，分别获取第一声音 序列和第二声音序列，其中，第一麦克风采集的第一声音序列中的声音强度的最高时刻是 ，第二麦克风米集的第二声音序列中声音强度的最尚时刻是t2，米集的米样率为k;
[0015] 选取第一声音序列和第二声音序列的两个声音序列的声音强度最高的时间段，得 到第一麦克风的第一声音子序列x(t)和第二麦克风的第二声音子序列Y(t);第一声音子 序列X(t)和第二声音子序列Y(t)的序列长度均为L;
[0016] 将得到的两个子序列进行归一化互相关计算，以得到最佳匹配位置tM，即两个子 序列相对位置为t M时，归一化互相关计算的结果CC(t J数值最大；
[0017] 归一化的互相关方法的计算公式如下：
【主权项】
1. 一种基于动态条件随机场的键盘输入侦测方法，其特征在于，包括： A、 获取不同位置的若干个麦克风M1M2M3. .. M2m的位置，其中，m为不小于1的正整数； B、 通过归一化互相关方法，对于所有的麦克风对，计算同一音源发出的声音到麦克风 MjP麦克风Μ」的带误差容忍的时间差范围Atm其中，i辛j ; C、 根据带误差容忍的时间差范围△ ^和每对麦克风的位置，获得相应的双曲线； D、 将所有的所述双曲线叠加在平面上，平面中被双曲线带覆盖次数最多的区域即为最 大可能的音源区域，侦测出键盘输入字符的大概位置； E、 利用动态条件随机场对键盘输入的位置信息进行建模，通过线下学习的文本特征关 联性来恢复输入字符序列。
2. 根据权利要求1所述的基于动态条件随机场的键盘输入侦测方法，其特征在于，所 述步骤B具体包括： 通过两个不同位置的麦克风对同一音源发出的声音进行采集，分别获取第一声音序列 和第二声音序列，其中，第一麦克风采集的第一声音序列中的声音强度的最高时刻是tl，第 二麦克风米集的第二声音序列中声音强度的最尚时刻是h，米集的米样率为k ; 选取第一声音序列和第二声音序列的两个声音序列的声音强度最高的时间段，得到第 一麦克风的第一声音子序列X(t)和第二麦克风的第二声音子序列Y(t);第一声音子序列 X (t)和第二声音子序列Y (t)的序列长度均为L ; 将得到的两个子序列进行归一化互相关计算，以得到最佳匹配位置tM，即两个子序列 相对位置为tM时，归一化互相关计算的结果CC (t J数值最大； 归一化的互相关方法的计算公式如下：
根据上述归一化互相关计算公式，其中一个序列为模版序列，另一个为待匹配序列； 令X(t)为模版序列，Y(t)为待匹配序列；h为子序列Y(t)相对X(t)的位置，其取值范围 是tQe [1 - L, 2L - 1] ;t X(t)实际匹配部分位置，其取值范围是t xe W = [maxma x{0, tQ}，minmin{tQ+L-l，L-l}]，t为X(t)和Y(t)序列的位置下标，其取值范围是t e W。 =[0，L 一 1] ;X(t)序列的音强平均值为
Y(t)序列的音强平均值为
计算上述两个麦克风采集的音源的声音的时间差T1, T1= |t I ;带误差容忍的 时间差范围是Δ t，其取值范围是Δ t e (T1- δ，T1+ δ )，容忍度δ = I I T11 - I tfh I I。
【专利摘要】本发明公开一种基于动态条件随机场的键盘输入侦测方法，包括：获取不同位置的若干个麦克风M1M2M3...M2m的位置；通过归一化互相关方法，对于所有的麦克风对，计算同一音源发出的声音到麦克风Mi和麦克风Mj的带误差容忍的时间差范围Δtij；根据带误差容忍的时间差范围Δtij和每对麦克风的位置，获得相应的双曲线；将所有的双曲线叠加在平面上，平面中被双曲线带覆盖次数最多的区域即为最大可能的音源区域，侦测出键盘输入字符的大概位置；利用动态条件随机场对键盘输入的位置信息进行建模，通过线下学习的文本特征关联性来恢复输入字符序列。本发明没有假设数据之间的独立性，利用现实存在的时空关联性建立了一个统一的概率模型，实现了对键盘输入的定位。
【IPC分类】G06F3-02
【公开号】CN104536585
【申请号】CN201410855233
【发明人】马强, 朱彤, 刘云浩
【申请人】无锡清华信息科学与技术国家实验室物联网技术中心
【公开日】2015年4月22日
【申请日】2014年12月31日