专利名称：利用气流对界面进行操作的方法及其设备的制作方法
技术领域：
本发明涉及通信领域，尤其涉及一种利用气流对界面进行操作的方法及其设 备。
背景技术：
在操作系统中，用户界面是人机交互的直接体现之一。用户界面的操作效率直 接关系到人机交互的效果。如果用户界面操作过程复杂，操作系统反应迟缓，往往会降 低操作系统对用户的吸引力和系统本身的可用度；相反，操作过程简易有效、灵敏度高 则会提高用户使用效率，增强用户体验满意度。现有的键盘操作方式由于其交互模式固 定，已经出现了用户体验单一的问题，甚至在某些环境下，无法满足人机交互的要求。另一方面，随着人机交互的发展，越来越多新技术辅助肢体动作和手势开始逐 渐替代传统的按键操作，如触摸屏、多点触摸、重力感应等，极大地提高了人机交互的 效率。但是，这些新技术多是对于手势的支持，而在人机交互领域，声音和气流作为典 型的人体信息输出，可以有效地将信息传递给机器，由机器处理后完成人指定其完成的 动作。尤其是在人肢体无法去对机器进行操作时，其他控制交互则显得尤为重要。目前，利用吹气音已经可以有效的对PC的用户界面进行控制，如佐治亚理工计 算机学院的 ShwetakN.Patel and Gregory D.Abowd在 07 年UIST，07 发表的论文 “BLUI Low-cost Localized Blowable User Interfaces”中所描述的方法，通过麦克捕捉到吹气所造 成的巨大声音，经过机器学习后，作为事件来控制选取，图标移动，滚屏等。该方法是 在用户界面的屏幕周围不超过IOcm的距离内设一个麦克作为接收传感器，当用户对屏幕 吹气时，气流接触屏幕后产生反射，对于从屏幕的不同区域反射来的吹气音，传感器所 接收到吹气音的相位和强度不同，由此可获得来自各个屏幕区域的不同的声音信号，从 而为训练分类集提供了基础。其所述的用户界面控制方法的流程如
图1所示，具体步骤如下步骤101、将用户界面屏幕等分为η个区域；步骤102、用户对屏幕进行吹气，麦克接收该吹气音，获得声音信号；步骤103、通过 SD-FFT (Sparse Data Fast Fourier Transform，短时离散傅里叶变 换)变换，将声音信号由时域信号sω变换为频域信号x(f，t)；步骤104、利用PCA(Principal Comonents Analysis,主成分分析)算法提取出 X(f，t)中的特征值，算法描述如下x(f，t)可以表示为
xIl X12 八 xIp
v _ X21 X22 ^ X2p , Λ . _1]M M M M .......................................⑴
_Xnl Χη2 八 Χηρ _
权利要求
1.一种利用气流控制操作用户界面的方法，其特征在于，设备屏幕被预先划分为多 个区域，且屏幕周围设置有多个能够感知气流方向的传感器，该方法包括步骤接收各传感器感知到的屏幕所反射的气流的方向，根据各传感器感知到的气流方 向，确定出各传感器到该气流在屏幕上的反射位置的直线路径，以及所述直线路径的交点分别计算所述交点与每个屏幕区域的特征点之间的空间距离，并将其中最小空间距 离所对应的屏幕区域在该屏幕上的位置确定为该气流在屏幕上的反射位置；根据确定出的气流在屏幕上的反射位置，对屏幕中显示的用户界面进行操作控制。
2.如权利要求1所述的方法，其特征在于，对于所述各屏幕区域中的每个屏幕区域， 计算所述交点与该屏幕区域的特征点之间的空间距离，具体为根据所述交点坐标以及该屏幕区域的特征点坐标，分别计算每个交点与对应特征点 之间的空间距离的平方；累加各交点与对应特征点之间的空间距离的平方；将累加结果进行平方根运算，得到各交点与该屏幕区域的特征点之间的空间距离。
3.如权利要求1所述的方法，其特征在于，根据确定出的气流在屏幕上的反射位置， 对屏幕中的界面进行操作，包括若在规定的时间内所确定出的反射位置都为同一位置，且该位置上有可选图标，则 选中该位置上的图标；若在规定时间内所确定出的反射位置从一个屏幕区域平滑变换至屏幕边缘的区域， 且反射位置上没有可选图标，则执行界面翻页操作。
4.如权利要求3所述的方法，其特征在于，选中图标后，若后续确定出的反射位置从 该图标所在位置对应的屏幕区域平滑变换至其他屏幕区域，则被选中的图标跟随反射位 置的移动而移动。
5.如权利要求1-4任一项所述的方法，其特征在于，每个屏幕区域的特征点数量为 C2n+,其中，N为所述传感器的数量。
6.如权利要求1-4任一项所述的方法，其特征在于，所述传感器分散设置在所述屏幕 的四周。
7.—种利用气流控制操作用户界面的设备，其特征在于，包括 多个能够感知气流方向的传感器，设置在屏幕周围；交点确定单元，用于接收各传感器感知到的屏幕所反射的气流的方向，根据各传感 器感知到的气流方向，确定出各传感器到该气流在屏幕上的反射位置的直线路径，以及 所述直线路径的交点；位置确定单元，用于分别计算所述交点与每个屏幕区域的特征点之间的空间距离， 并将其中最小空间距离所对应的屏幕区域在该屏幕上的位置确定为该气流在屏幕上的反 射位置；界面控制单元，用于根据确定出的气流在屏幕上的反射位置，对屏幕中显示的用户 界面进行操作控制。
8.如权利要求7所述的设备，其特征在于，所述位置确定单元对于所述各屏幕区域中的每个屏幕区域，计算所述交点与该屏幕区域的特征点之间的空间距离时根据所述交点坐标以及该屏幕区域的特征点坐标，分别计算每个交点与对应特征点 之间的空间距离的平方；累加各交点与对应特征点之间的空间距离的平方；将累加结果进行平方根运算，得到各交点与该屏幕区域的特征点之间的空间距离。
9.如权利要求7所述的设备，其特征在于，所述界面控制单元对屏幕中的界面进行的 操作，包括若在规定的时间内所确定出的反射位置都为同一位置，且该位置上有可选图标，则 选中该位置上的图标；若在规定时间内所确定出的反射位置从一个屏幕区域平滑变换至屏幕边缘的区域， 且反射位置上没有可选图标，则执行界面翻页操作。
10.如权利要求9所述的设备，其特征在于，所述界面控制单元选中图标后，若后续 确定出的反射位置从该图标所在位置对应的屏幕区域平滑变换至其他屏幕区域，则使被 选中的图标跟随反射位置的移动而移动。
11.如权利要求7-10任一项所述的设备，其特征在于，还包括存储单元，用于存储每 个屏幕区域的特征点坐标，其中，每个屏幕区域的特征点数量为Ci个，N为所述传感器 的数量。
12.如权利要求7-10任一项所述的设备，其特征在于，所述传感器分散设置在所述屏 幕的四周。
全文摘要
本发明公开了一种利用气流对界面进行操作的方法及其设备，以解决现有技术利用吹气音对界面进行控制操作时内存资源占用量大、技术实现复杂的问题。该方法中，设备屏幕被预先划分为多个区域，且屏幕周围设置有多个能够感知气流方向的传感器，该方法包括接收各传感器感知到的屏幕所反射的气流的方向，根据各传感器感知到的气流方向，确定出各传感器到该气流在屏幕上的反射位置的直线路径，以及所述直线路径的交点；分别计算所述交点与每个屏幕区域的特征点之间的空间距离，并将其中最小空间距离所对应的屏幕区域在该屏幕上的位置确定为该气流在屏幕上的反射位置；根据确定出的气流在屏幕上的反射位置，对屏幕中显示的用户界面进行操作控制。
文档编号G06F3/048GK102012773SQ20091009228
公开日2011年4月13日 申请日期2009年9月8日 优先权日2009年9月8日
发明者刘琨, 王森, 章锋 申请人:中国移动通信集团公司