终端设备及其显示屏幕的滑动操作控制方法和装置的制造方法
【专利摘要】本发明公开了一种终端设备及其显示屏幕的滑动操作控制方法和装置，其中，所述方法包括：在检测到声音信号时，通过多个设置在屏幕四周的声音采集元件对所述声音信号进行采样；处理采样得到的音频数据，得到所述声音采集元件采样的声音信号的振幅；对比所述多个声音采集元件采样的声音信号的振幅，将振幅从高到低的趋势作为滑动操作的起止方向；和根据所述滑动操作的起止方向，控制屏幕内容的移动方向。所述装置包括多个声音采集元件、声音信号处理模块、振幅排序模块和操作控制模块。本发明通过新的显示屏幕的滑动操作控制方式，给用户带来更多的便利。
【专利说明】
终端设备及其显示屏幕的滑动操作控制方法和装置
技术领域
[0001]本发明涉及控制技术领域，具体地说，涉及一种终端设备及其显示屏幕的滑动操作控制方法和装置。
【背景技术】
[0002]目前，对于大部分的终端设备，如终端设备，均使用触摸屏作为操作界面。通过点击、滑动触摸屏进行相应的操作。例如，终端设备在非使用状态会将屏幕锁定，在用户要使用时，再解除屏幕锁定。通常是通过滑动屏幕，或者输入密码进行解锁。再例如，在浏览网页或在某个应用界面，通常需要向下、向下或向左、向右移动当前的屏幕以便看到更多的内容。目前的操作都是手动来滑动屏幕。
[0003]但在有些时候，手动操作会给用户带来一定的不便，例如，在冬天，用户戴着手套，不方便操作。或者，用户的两只手正在做着其他的事情，也不方便手动操作。
【发明内容】
[0004]本发明要解决的技术问题在于，针对现有技术的不足，提供一种终端设备及其显示屏幕的滑动操作控制方法和装置，用以解决目前终端设备主要依靠手指触控来进行滑动操作的问题。
[0005]为解决上述技术问题，根据本发明的一个方面，提供了一种显示屏幕的滑动操作控制方法，其中，包括:
[0006]在检测到声音信号时，通过多个设置在屏幕四周的声音采集元件对所述声音信号进行米样；
[0007]处理采样得到的音频数据，得到所述声音采集元件采样的声音信号的振幅；
[0008]对比所述多个声音采集元件在相同采样周期采集的声音信号的振幅，在所述声音信号存在期间，将振幅从高到低的趋势作为滑动操作的起止方向；和
[0009]根据所述滑动操作的起止方向，控制屏幕内容的移动方向。
[0010]优选地，所述处理采样得到的音频数据，得到所述声音采集元件采样的声音信号的振幅的步骤包括:
[0011 ]对每一个声音采集元件采样得到的多个音频数据进行傅立叶变换；
[0012]对变换后的信号滤波，用于除去干扰信号；
[0013]将滤波后的信号进行数字脉冲幅度调制，得到每一个声音采集元件采样的声音信号的振幅序列。
[0014]优选地，得到声音信号的振幅序列之后，将所述声音信号的振幅归一化为(0，I)之间的数据。
[0015]优选地，所述对比所述多个声音采集元件在相同采样周期采集的声音信号的振幅，在所述声音信号存在期间，将振幅从高到低的趋势作为滑动操作的起止方向的步骤具体为:
[0016]对比所述多个声音采集元件对应相同采样周期的归一化数据，将所述归一化数据从大到小的顺序作为滑动操作的起止方向。
[0017]优选地，在得到声音采集元件采样的声音信号的振幅之后，对比所述多个声音采集元件采样的声音信号的振幅之前，识别所述声音信号是否为操作信号，当所述声音信号为操作信号时，对比所述多个声音采集元件采集的声音信号的振幅。
[0018]优选地，所述操作信号为吹气发出的声音信号。
[0019]优选地，所述识别所述声音信号是否为操作信号的步骤包括:
[0020]计算所述声音信号存在期间的振幅平方和；
[0021]将所述振幅平方和除以所述声音信号存在期间的时间得到平均平方和；
[0022]将所述平均平方和与设定的第一阈值进行对比，当所述平均平方和大于或等于所述第一阈值时，所述声音信号为操作信号。
[0023]优选地，识别出所述声音信号为操作信号之后，将所述振幅平方和与设定的第二阈值进行对比，当所述振幅平方和大于或等于所述第二阈值时，所述操作信号为有效的操作信号。
[0024]为解决上述技术问题，根据本发明的另一个方面，本发明提供了一种显示屏幕的滑动操作控制装置，其中，包括:
[0025]多个声音采集元件，分布在终端设备屏幕的四周，用于采样检测到的声音信号，得到音频数据；
[0026]声音信号处理模块，接收并处理所述多个声音采集元件发送来的音频数据，用于得到每个声音采集元件采样的声音信号的振幅数据；
[0027]振幅排序模块，用于对每个声音采集元件采样的声音信号的振幅数据进行排序，根据振幅从高到低的趋势确定控制方向；和
[0028]操作控制模块，根据所述控制方向，控制屏幕内容的移动方向。
[0029]优选地，所述声音信号处理模块包括:
[0030]傅立叶变换单元，用于将每一个声音采集元件采样得到的多个音频数据进行傅立叶变换；
[0031 ]滤波单元，用于除去干扰信号;和
[0032]数字脉冲幅度调制单元，用于将滤波后的信号进行数字脉冲幅度调制，得到采样声首?目号的振幅序列。
[0033]优选地，所述声音信号处理模块还包括:
[0034]信号识别单元，与所述数字脉冲幅度调制单元相连接，根据所述声音信号的振幅确定所述声音信号是否为操作信号。
[0035]优选地，所述信号识别单元包括:
[0036]第一计算子单元，根据所述数字脉冲幅度调制单元得到的所述声音信号的振幅序列和所述声音信号存在期间的时间，计算振幅的平均平方和;和
[0037]第一比较子单元，用于比较所述平均平方和与设定的第一阈值，当所述平均平方和大于或等于所述第一阈值时，所述声音信号为操作信号，输出信号给所述振幅排序模块。
[0038]优选地，其中，所述信号识别单元还包括:
[0039]第二计算子单元，根据所述数字脉冲幅度调制单元得到的所述声音信号的振幅序列，计算振幅的平方和;和
[0040]第二比较子单元，用于比较所述平方和与设定的第二阈值，当所述平方和大于或等于所述第二阈值时，所述声音信号为有效操作信号，输出信号给所述振幅排序模块。
[0041]优选地，所述声音信号处理模块还包括:
[0042]归一处理单元，用于将所述数字脉冲幅度调制单元得到的采样声音信号的振幅归一化为(0，1)之间的数据；
[0043]其中，所述振幅排序模块对每个声音采集元件的归一化数据进行排序，根据归一化数据从大到小的顺序确定控制方向。
[0044]为解决上述技术问题，根据本发明的又一个方面，提供了一种终端设备，包括本体和位于本体正面的显示屏幕，其中，还包括如前任一所述的显示屏幕的滑动操作控制装置。
[0045]本发明通过设置多个声音采集元件阵列对吹气声音信号的振幅做比较，完成声音传播方向(即气流方向)的检测，进而得到吹气路径，从而得到操作控制方向，将现有技术中的手动输入滑动操作信号替换为通过声音控制的方式输入操作信号，解决了传统终端设备主要依靠手指触控的问题，给用户带来了更多的便利。
【附图说明】
[0046]通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中:
[0047]图1为本发明所述终端设备的外观结构示意图；
[0048]图2为本发明所述显示屏幕的滑动操作控制装置的原理结构示意图；
[0049]图3为本发明所述声音信号处理模块一的原理结构示意图；
[0050]图4A-4C为数字脉冲幅度调制原理示意图；
[0051 ]图5为语音信号的波形图；
[0052]图6为吹气信号的波形图；
[0053]图7为本发明声音信号处理模块二的原理结构示意图；
[0054]图8为本发明所述声音信号处理模块三的原理结构示意图；
[0055]图9为本发明所述声音信号处理模块四的原理结构示意图；和
[0056]图10为本发明所述显示屏幕的滑动操作控制方法流程图。
【具体实施方式】
[0057]以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
[0058]附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
[0059]本发明提供了一种终端设备，如图1所示，为本发明所述终端设备的外观结构示意图。所述终端设备(如手机)包括本体I和本体I正面的屏幕2，本体I内具有为实现终端设备所需的各种元器件和本发明提供的显示屏幕的滑动操作控制装置3。其中，滑动操作控制装置3中的声音采集元件31均匀分布在终端设备屏幕的四周，用于采样检测到的声音信号。如图1中所示，共有8个声音采集元件。所述声音采集元件采用麦克风传感器，麦克风传感器可采用埋入式设计，伪装成和表面一样，从而从外观上看不出本体上有开孔。
[0060]如图2所示，为本发明所述显示屏幕的滑动操作控制装置的原理结构示意图。所述显示屏幕的滑动操作控制装置3包括:
[0061]多个声音采集元件31，用于采样检测到的声音信号，得到音频数据；
[0062]声音信号处理模块32，接收并处理所述多个声音采集元件31发送来的音频数据，用于得到每个声音采集元件采样的声音信号的振幅数据；
[0063]振幅排序模块33，用于对每个声音采集元件采样的声音信号的振幅数据进行排序，根据振幅从高到低的趋势确定控制方向；和
[0064]操作控制模块34，根据所述控制方向，控制屏幕内容的移动方向。
[0065]其中，所述声音信号处理模块32有多种结构，如图3为本发明所述声音信号处理模块一的原理结构示意图。所述声音信号处理模块32包括傅立叶变换单元321a、滤波单元322a和数字脉冲幅度调制单元323a，其中，傅立叶变换单元321a用于将每一个声音采集元件31采样得到的多个音频数据进行傅立叶变换;滤波单元322a采用数字低通滤波器，用于除去干扰信号;数字脉冲幅度调制单元323a用于将滤波后的信号进行数字脉冲幅度调制，得到每一个声音采集元件采样的声音信号的振幅序列。数字脉冲幅度调制的原理如图4所示，在本发明的一个实施例中可以简化为:将处理后的一定时间一定大小的幅度数据(如图4A中的曲线)放进一个数组(如图4B中的脉冲序列)里，得到一个声音信号的振幅序列(如图4C中的序列)，则完成对滤波后的信号的数字脉冲幅度调制。
[0066]由于终端设备的使用环境中可能会存在各种声音，最明显的是，人们通常使用移动通讯设备播打电话，或视频通话，或录音。所有这些操作都会产生声音信号，而这些声音信号均为用户发出的语音信号，并不是用来进行滑动操作的操作信号。因而需要对声音采集元件31采样得到的声音信号进行识别，从而减少误操作。因而，所述声音信号处理模块还包括信号识别单元324b，如图7所示，为本发明声音信号处理模块二的原理结构示意图。所述声音信号处理模块32包括傅立叶变换单元321b、滤波单元322b、数字脉冲幅度调制单元323b和信号识别单元324b，傅立叶变换单元321b、滤波单元322b、数字脉冲幅度调制单元323b与图3的对应单元类似，在此不再赘述。信号识别单元324b与所述数字脉冲幅度调制单元323b相连接，根据所述声音信号的振幅确定所述声音信号是否为操作信号。
[0067]在本发明中，用户通过吹气来发出操作信号。参见图5和图6所示，通过对比语音信号和吹气信号的信号图可知，虽然说话产生的语音信号的振幅比较大，但是由于说话的间断性，导致波形分布稀疏，振幅的平均平方和较低。而吹气产生的声音信号则更像是白噪声，没有突兀的振幅而且比较连续，波形稠密类均匀分布，所以振幅的平均平方和会比较尚O
[0068]根据这一原理，具体地，所述信号识别单元324b包括第一计算子单元3241b和第一比较子单元3242b。所述第一计算子单元3241b根据所述数字脉冲幅度调制单元323b得到的所述声音信号的振幅序列和所述声音信号存在期间的时间，计算振幅的平均平方和。第一比较子单元3242b用于比较所述平均平方和与设定的第一阈值，当所述平均平方和大于或等于所述第一阈值时，说明所述声音信号为操作信号，此时输出信号给所述振幅排序模块，用于进行下一步的处理。而如果平均平方和小于所述的阈值，就说明此时检测的是说话产生的语音信号，而不是用于滑动操作的吹气信号，不需进行下一步的处理。关于所述第一阈值的大小，可以通过多次试验得到一个较为合理的值。
[0069]在进行识别时，可以选取一个信号强度比较好的信号来进行上述判断识别。更好地，为了保证识别的准确度和精度，每隔一个时间周期T进行一次上述判断。
[0070]当识别出所述声音信号为操作信号后，较佳地，还会判断所述的操作信号是否有效，如图8所示，为本发明所述声音信号处理模块三的原理结构示意图。在该图中，所述声音信号处理模块包括傅立叶变换单元321c、滤波单元322c、数字脉冲幅度调制单元323c和信号识别单元324c，傅立叶变换单元321c、滤波单元322c、数字脉冲幅度调制单元323c与图3、图中的对应单元类似，在此不再赘述。信号识别单元324c包括第二计算子单元3241c和第二比较子单元3242c，第二计算子单元3241c根据所述数字脉冲幅度调制单元323c得到的所述声音信号的振幅，计算振幅的平方和;第二比较子单元3242c比较所述平方和与设定的第二阈值，当所述平方和大于或等于所述第二阈值时，所述声音信号为有效操作信号，输出信号给所述振幅排序模块。即，只有吹气的力度足够大，才会进行下一步的处理，进一步增加了本发明的准确性。
[0071]如图9所示，所述声音信号处理模块还包括归一处理单元325d，用于将所述数字脉冲幅度调制单元得到的每一个声音采集元件采样的声音信号的振幅序列归一化为(0，I)之间的数据。此时，所述振幅排序模块接收到该归一化数据，对多个声音采集元件采样的声音信号的归一化数据进行在相同的时间进行排序，根据归一化数据从大到小的顺序确定控制方向。
[0072]如图10所示，为本发明所述显示屏幕的滑动操作控制方法的总体流程图。所述显示屏幕的滑动操作控制方法包括以下步骤:
[0073]步骤SI，判断是否检测到声音信号时，如果没有，继续检测，如果检测到有声音信号，在步骤2，通过多个设置在屏幕四周的声音采集元件对所述声音信号进行采样；
[0074]步骤S3，处理采样得到的音频数据，得到所述声音采集元件采样的声音信号的振巾畐;
[0075]步骤S4，对比所述多个声音采集元件采样的声音信号的振幅，将振幅从高到低的趋势作为滑动操作的起止方向；
[0076]步骤S5，根据所述滑动操作的起止方向，控制屏幕内容的移动方向。
[0077]以下通过具体实施例对本发明所述方法进行详细说明，在本实施例中，在终端设备的四周设置有8个A、B、C、D、E、F、G、H 8个mems麦克风传感器，用于采集声音信号。
[0078]在终端设备的设置中，将滑动操作的控制模式设置为通过吹气方向来控制的模式，而后由用户启动此模式；
[0079]在用户浏览某个界面时候，由于内容较长，例如较长的listview，当用户想要将界面内的内容向进行上滑，将设备平放，自屏幕下方向上方吹气。
[0080]在吹气的这段时间，终端设备上的8个mems麦克风传感器对吹气产生的声音信号进行音频采样，在t时间分段deltaT(例如1ms)采样得到多个音频数据。然后进行傅里叶变换，通过一个数字低通滤波器，滤除人声音对吹气的影响，然后将处理后的一定时间一定大小的幅度数据放进一个数组里，得到振幅序列。
[0081]首先对所述声音信号时行识别，判断是否为作为操作信号的吹气声音信号。具体地，计算所述声音信号存在期间的振幅平方和；
[0082]将所述振幅平方和除以所述声音信号存在期间的时间得到平均平方和；
[0083]将所述平均平方和与设定的第一阈值进行对比，当所述平均平方和大于或等于所述第一阈值时，所述声音信号为操作信号。
[0084]然后确定所述吹气信号是否足够大，即是否有效。将所述振幅平方和与设定的第二阈值进行对比，当所述振幅平方和大于或等于所述第二阈值时，所述操作信号为有效的操作信号。
[0085]在确定了所述吹气信号为有效的操作信号后，对所有的声音采集元件采集的声音信号的振幅进行归一化为(O，I)之间；
[0086]对比所述多个声音采集元件的归一化数据，将所述归一化数据从大到小的顺序作为滑动操作的起止方向。
[0087]即本发明通过振幅的大小排序得到了吹气路径，该吹气路径代表了用户希望进行滑动操作的方向，如本实施例中，用户从下向上吹气，位于屏幕上方的元件得到的振幅最小，元件得到的振幅随着位置的降低而依次变大，屏幕下方的元件得到的振幅最大。从而用户使用的终端设备可以得到吹气路径是从下向上，则意味着将屏幕内容向上滚动，所以，由终端设备本体内控制设备控制屏幕内容向上滚动，从而达到了用户希望屏幕内容向上滚动的目的。
[0088]同理，如果用户希望屏幕内容向下滚动，则可以对着屏幕自上向下吹气，如果想解除屏幕的锁定，则沿着声音采集元件绕着屏幕一圈吹气。
[0089]本发明通过设置多个声音采集元件阵列对吹气声音信号的振幅做比较，完成声音传播方向(即气流方向)的检测，进而得到吹气路径，从而得到操作控制方向，将现有技术中的手动输入滑动操作信号替换为通过声音控制的方式输入操作信号，解决了传统终端设备主要依靠手指触控的问题。
[0090]以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种显示屏幕的滑动操作控制方法，其中，包括: 在检测到声音信号时，通过多个设置在屏幕四周的声音采集元件对所述声音信号进行米样； 处理采样得到的音频数据，得到所述声音采集元件采样的声音信号的振幅； 对比所述多个声音采集元件在相同采样周期采集的声音信号的振幅，在所述声音信号存在期间，将振幅从高到低的趋势作为滑动操作的起止方向；和 根据所述滑动操作的起止方向，控制屏幕内容的移动方向。2.如权利要求1所述的显示屏幕的滑动操作控制方法，其中，所述处理采样得到的音频数据，得到所述声音采集元件采样的声音信号的振幅的步骤包括: 对每一个声音采集元件采样得到的多个音频数据进行傅立叶变换； 对变换后的信号滤波，用于除去干扰信号； 将滤波后的信号进行数字脉冲幅度调制，得到每一个声音采集元件采样的声音信号的振幅序列。3.如权利要求2所述的显示屏幕的滑动操作控制方法，其中，得到声音信号的振幅序列之后，将所述声音信号的振幅归一化为(0，1)之间的数据。4.如权利要求3所述的显示屏幕的滑动操作控制方法，其中，所述对比所述多个声音采集元件在相同采样周期采集的声音信号的振幅，在所述声音信号存在期间，将振幅从高到低的趋势作为滑动操作的起止方向的步骤具体为: 对比所述多个声音采集元件对应相同采样周期的归一化数据，将所述归一化数据从大到小的顺序作为滑动操作的起止方向。5.如权利要求1所述的显示屏幕的滑动操作控制方法，其中，在得到声音采集元件采样的声音信号的振幅之后，对比所述多个声音采集元件采样的声音信号的振幅之前，识别所述声音信号是否为操作信号，当所述声音信号为操作信号时，对比所述多个声音采集元件采集的声音信号的振幅。6.如权利要求5所述的显示屏幕的滑动操作控制方法，其中，所述操作信号为吹气发出的声音信号。7.如权利要求6所述的显示屏幕的滑动操作控制方法，其中，所述识别所述声音信号是否为操作信号的步骤包括: 计算所述声音信号存在期间的振幅平方和； 将所述振幅平方和除以所述声音信号存在期间的时间得到平均平方和； 将所述平均平方和与设定的第一阈值进行对比，当所述平均平方和大于或等于所述第一阈值时，所述声音信号为操作信号。8.如权利要求7所述的显示屏幕的滑动操作控制方法，其中，识别出所述声音信号为操作信号之后，将所述振幅平方和与设定的第二阈值进行对比，当所述振幅平方和大于或等于所述第二阈值时，所述操作信号为有效的操作信号。9.一种显示屏幕的滑动操作控制装置，其中，包括: 多个声音采集元件，分布在终端设备屏幕的四周，用于采样检测到的声音信号，得到音频数据； 声音信号处理模块，接收并处理所述多个声音采集元件发送来的音频数据，用于得到每个声音采集元件采样的声音信号的振幅数据； 振幅排序模块，用于对每个声音采集元件采样的声音信号的振幅数据进行排序，根据振幅从高到低的趋势确定控制方向；和 操作控制模块，根据所述控制方向，控制屏幕内容的移动方向。10.如权利要求9所述的显示屏幕的滑动操作控制装置，其中，所述声音信号处理模块包括: 傅立叶变换单元，用于将每一个声音采集元件采样得到的多个音频数据进行傅立叶变换； 滤波单元，用于除去干扰信号;和 数字脉冲幅度调制单元，用于将滤波后的信号进行数字脉冲幅度调制，得到采样声音信号的振幅序列。11.如权利要求10所述的显示屏幕的滑动操作控制装置，其中，所述声音信号处理模块还包括: 信号识别单元，与所述数字脉冲幅度调制单元相连接，根据所述声音信号的振幅确定所述声音信号是否为操作信号。12.如权利要求11所述的显示屏幕的滑动操作控制装置，其中，所述信号识别单元包括: 第一计算子单元，根据所述数字脉冲幅度调制单元得到的所述声音信号的振幅序列和所述声音信号存在期间的时间，计算振幅的平均平方和;和 第一比较子单元，用于比较所述平均平方和与设定的第一阈值，当所述平均平方和大于或等于所述第一阈值时，所述声音信号为操作信号，输出信号给所述振幅排序模块。13.如权利要求11或12所述的显示屏幕的滑动操作控制装置，其中，所述信号识别单元还包括: 第二计算子单元，根据所述数字脉冲幅度调制单元得到的所述声音信号的振幅序列，计算振幅的平方和;和 第二比较子单元，用于比较所述平方和与设定的第二阈值，当所述平方和大于或等于所述第二阈值时，所述声音信号为有效操作信号，输出信号给所述振幅排序模块。14.如权利要求10所述的显示屏幕的滑动操作控制装置，其中，所述声音信号处理模块还包括: 归一处理单元，用于将所述数字脉冲幅度调制单元得到的采样声音信号的振幅归一化为(0，1)之间的数据； 其中，所述振幅排序模块对每个声音采集元件的归一化数据进行排序，根据归一化数据从大到小的顺序确定控制方向。15.—种终端设备，包括本体和位于本体正面的显示屏幕，其中，还包括如权利要求9-14任一所述的显示屏幕的滑动操作控制装置。
【文档编号】G06F3/16GK106095381SQ201610403500
【公开日】2016年11月9日
【申请日】2016年6月7日
【发明人】朱德伟
【申请人】北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司