专利名称：一种多场景下具有并行性的多点触摸手势反馈系统及方法
技术领域：
本发明属于多点手势应用的人机交互技术领域，涉及一种触摸手势反馈系统及方法，特别是涉及一种多场景下具有并行性的多点触摸手势反馈系统及方法。
背景技术：
多点触控是在同一显示界面上的多点或多用户的交互操作模式，摒弃了键盘、鼠标的单点操作方式。用户可通过双手进行单点触摸，也可用单击、双击、平移、按压、滚动以及旋转等不同手势触摸屏幕，实现随心所欲地操控，从而更好更全面地了解对象的相关特征，例如，文字、录像、图片、卫片、三维模拟等信息。多点触控技术发源于20世纪70年代，近几年来该技术愈发的受到重视，在多个行业均有不同程度的发展，且发展的速度十分惊人。2009年10月支持多点触控技术的 Windows7的发布宣告了多点触控时代的到来，带多点触控功能的微软surface和最近的iPhone4S更是引发时尚狂潮。虽然目前触摸屏主要还应用在手机等中小尺寸电子产品上，但随着英特尔IDF大会上推出了搭载win8系统的超极本样机，并展示了十点触控技术，多点触控的中大尺寸触摸屏市场应用空间将得到进一步的扩大。“物理按键年代”后的“多点大触屏时代”已经来临。多点触摸会议桌采用无纸化办公模式，无需携带个人笔记本，可以不用投影机，通过宽大的桌面显示屏幕，可多人对同一个问题讨论，可多人对同一张图纸修改编辑，改变传统的会议模式，让沟通更畅快，让创意随时迸发。基于多点触摸屏上的军事演练、产品展示、互动教学等等这些新概念也得到了一定的应用和发展。多点触摸的应用开发需要触摸硬件的支持。虽然很多硬件支持一些标准协议，例如，HID协议、TUIO协议，然而即使当我们获得了触摸点的信息，如何解析成操作，或多或少都是一件比较繁琐的事情。虽然部分硬件厂商提供了部分简单手势开发接口，然而他们只针对自己的触摸硬件设备。微软Windows的发布给多点触摸开发提供了较好的开发接口。专利《对应用对象的多点触摸操作》是Windows7中触摸的核心方法之一。虽然Windows7在一定程度上提供了多点触摸接口，但基于它开发的多点触摸应用很少。一是由于它限定了触摸基于HID协议，二是它将触摸消息捆绑到窗口上，三是它的“窗口局限性”，没有体现真正的协同操作于并行操作。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多场景下具有并行性的多点触摸手势反馈系统及方法，用于解决现有技术中操作的并行性和触摸分析的独立性的问题。为实现上述目的及其他相关目的，本发明提供一种多场景下具有并行性的多点触摸手势反馈系统及方法，应用于装载有多个应用程序的电子装置中，所述多点触摸手势反馈系统包括
触摸数据服务器，用于依据预先配置好与各该应用程序对应的触摸协议，监测触摸数据信号、解析并发送所述触摸数据信号；至少一个触摸数据解析器，分别与所述触摸数据服务器模块连接，对应于各该应用程序，分别用于监听接收到的触摸数据信号、判断所述触摸数据信号是否是作用于某一触摸场景的有效数据、以及发送触摸反馈；以及至少一个应用程序执行器，分别与所述触摸数据解析器连接，分别用于建立实体应用场景、接收触摸反馈、以及执行触摸反馈。优选地，所述触摸数据服务器包括触摸数据信号监测模块，用于依据预先配置好的触摸协议自动监测相应的触摸数据信号； 解析模块，用于解析所述触摸数据信号；预处理模块，用于将解析后的所述触摸点的位置信息转化为操作屏幕的坐标数据、将触摸点的状态信号转化为按下、更新、弹起等状态数据、根据触摸信号量判定所述触摸点的有效性，即侦测误触摸或触摸过程中假弹起状态；数据分析源模块，用于发送所述触摸数据信号。优选地，所述触摸数据信号中的信息包括触摸点的位置信息、触摸点的状态信号、运行时唯一标记触摸手指标识。优选地，所述触摸信号量的判定依据包含触摸压力的强弱、触摸有效范围判断、触摸可信度判断。优选地，所述触摸数据解析器包括监听管理模块，用于接收并监听所述触摸数据服务器发送的触摸数据信号，并向所述触摸数据服务器注册场景容器，包括添加、删除、设置及管理场景容器；场景数据解析模块，用于配置各类型对应于应用程序的触摸手势及存储、调用各类型手势解析算法、反馈触摸手势；上层应用接口，与所述场景数据分析模块和应用程序执行器连接，用于将触摸手势的反馈发送至所述应用程序执行器，所述应用程序执行器用于建立应用场景。优选地，所述上层应用接口包括场景反馈接口、场景容器管理接口。本发明提供一种多场景下具有并行性的多点触摸手势反馈方法，运行装载有多个应用程序的电子装置，所述方法包括SI，触摸数据服务器依据预先配置好的与各该应用程序对应的触摸协议，监测触摸数据信号，解析并发送所述触摸数据信号；S2，由至少一个触摸数据解析器分别监听接收到的触摸数据信号、判断所述触摸数据信号是否是作用于某一触摸场景的有效数据、以及发送触摸反馈；S3，令至少一个应用程序执行器分别建立实体应用场景、接收触摸反馈、以及执行触摸反馈。优选地，于所述步骤SI中还包括以下步骤S11，触摸数据服务器的触摸数据信号监测模块依据预先配置好的触摸协议监测触摸数据信号，判断是否监测到触摸数据信号；解析模块对触摸数据信号进行自动解析和分析；判断是否是误触，若否，解析触摸数据信号的信息，若是，继续监测触摸数据信号；
S12，触摸数据服务器的预处理模块对所述触摸数据信号进一步分析和预处理；S13，数据分析源模块将分析后的触摸数据信号发送至触摸数据解析器。优选地，于所述步骤S2中还包括以下步骤S21，所述触摸数据解析器的监听管理模块接收并监听所述触摸数据服务器发送来的触摸数据信号，接收到触摸数据信号后，进行触摸场景注册及配置；S22，所述场景数据解析模块配置触摸场景手势，建立和调用触摸手势解析算法包、反馈触摸场景手势，并将触摸场景手势的反馈发送给应用程序执行器；S23，通过上层应用接口将触摸反馈发送至所述应用程序执行器。如上所述，本发明所述的一种多场景下具有并行性的多点触摸手势反馈系统及方法，具有以下有益效果
I、对于特定场景，可以根据特点场景所需要的响应触控来定制具体操作解析方式，既实现了易于将多点触摸输入成一个或多个操作，又提高了解析效率；2、实现了触摸数据的自动分类、独立分析目标；3、覆盖了常见手势操作，支持任意轨迹手势，具有良好的可扩展性和实用性；4、解决了多任务应用的需要，提供了应用程序的效率，具有因端口或设备被占用造成的同一时刻只能为单个应用或单个场景提供触摸服务的局限性
图I显示为本发明的多场景下具有并行性的多点触摸手势反馈系统结构示意图；图2显示为本发明的多场景下具有并行性的多点触摸手势反馈系统中触摸数据解析器的原理框图；图3显示为本发明的多场景下具有并行性的多点触摸手势反馈方法的工作流程图；图4显示为本发明的多场景下具有并行性的多点触摸手势反馈方法中触摸数据服务器工作流程图；图5显示为本发明的多场景下具有并行性的多点触摸手势反馈方法中触摸数据服务器判断示意图；图6显示为本发明的多场景下具有并行性的多点触摸手势反馈方法中触摸数据解析器判别示意图。元件标号说明I多场景下具有并行性的多点触摸手势反馈系统；11触摸数据服务器；12触摸数据解析器；13应用程序执行器；111触摸数据信号监测模块；112解析模块；113预处理模块；114数据分析源模块；
121监听管理模块；122场景数据解析模块；123上层应用接口。
具体实施例方式以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式
加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。 下面结合实施例和附图对本发明进行详细说明。本发明提出了一种多场景下具有并行性的多点触摸手势反馈系统及方法，所述系统及方法使通过引入触摸场景和场景容器以支持协同操作，能很好的解决操作的并行性和触摸分析的独立性等技术问题。同时本发明还容纳了各种常见的手势处理算法，包括经常使用的点击类手势(如轻点、点击、双击、长按手势)、动态手势(如平移、旋转、缩放手势)、方向性手势(上下左右滑动及其有限次的组合滑动手势)，易扩展的轨迹手势(根据触摸轨迹的近似匹配执行自定义的映射操作)。实施例一本发明提供一种多场景下具有并行性的多点触摸手势反馈系统，如图I所示，所述多点触摸手势反馈系统I包括触摸数据服务器11、至少两个与所述触摸数据服务器11连接的触摸数据解析器12、以及至少两个与所述触摸数据解析器12连接的应用程序执行器13。所述触摸数据解析器12是由所述应用程序执行器创建。其中，所述触摸数据服务器11包括触摸数据信号监测模块111、解析模块112、预处理模块113、以及数据分析源模块114。所述触摸数据解析器12包括监听(场景容器)管理模块121、场景数据解析模块122以及上层应用接口 123。所述触摸数据服务器模块11包括触摸数据信号监测模块111、解析模块112、预处理模块113、以及数据分析源模块114。所述触摸数据信号监测模块111用于依据预先配置好与各该应用程序对应的触摸协议自动监测相应的触摸数据信号。所述解析模块112用于解析所述触摸数据信号；所述触摸数据信号包括触摸点的位置信息、触摸点的状态信号、运行时唯一标记触摸手指标识等信息。所述预处理模块113用于将解析后的所述触摸点的位置信息转化为操作屏幕的坐标数据、将触摸点的状态信号转化为按下、更新、弹起等状态数据、根据触摸信号量判定所述触摸点的有效性，即侦测误触摸或触摸过程中假弹起状态；其中，触摸信号量的判定依据包含但不限于触摸压力的强弱、触摸有效范围判断、触摸可信度判断等等。
所述数据分析源模块114用于发送所述触摸数据信号。所述触摸数据解析器12包括监听(场景容器)管理模块121、场景数据解析模块122以及上层应用接口 123，所述触摸数据解析器内部结构如图2所示。所述监听管理模块121用于接收并监听所述触摸数据服务器发送的触摸数据信号，并向触摸数据服务器11注册场景容器，包括添加、删除、设置及管理场景容器；所述场景容器包括多个触摸场景。所述场景数据解析模块122包括触摸手势的配置管理模块1221和触摸手势算法库1222，其中，所述触摸手势的配置管理模块1221，用于针对任一场景定制手势库中的一个或多个手势；所述触摸手势算法库1222用于存储各类型手势的解析处理、调用各类型手势处理算法，反馈触摸手势，以及配置参数接口 ；各类型手势包括动态手势、点击类手势、方向性手势、以及自定义轨迹手势；所述参数包括但不限于阈值参数、经验参数。所述上层应用接口 123与所述场景数据分析模块122和应用程序执行器连接，用 于将触摸反馈发送至所述应用程序执行器；所述上层应用接口 123包括场景反馈接口、场景容器管理接口等。如图2所示，从监听管理模块121中输入触摸数据信号A，经过场景数据解析模块122解析该触摸数据信号，调用触摸手势算法库，最后向指定场景返回触摸手势及相应触摸熟悉信号通过上层应用接口输出。所述应用程序执行器13与所述触摸数据解析器12通信相连，用于建立实体应用场景，所述实体应用场景接收触摸反馈手势，并执行触摸手势反馈。本发明所述的多场景下具有并行性的多点触摸手势反馈系统输出包括了二维平面上的平移、旋转、缩小、点击、双击、方向性手势、轨迹手势映射等操作，使得应用者可以更加专注于建立据欧触摸能力的应用，而让所述系统来处理底层交换和与多点触摸硬件的通 目。实施例二本发明提供一种多场景下具有并行性的多点触摸手势反馈方法，如图3所示，所述方法包括SI，触摸数据服务器依据配置好的与各该应用程序对应的触摸协议，监测触摸数据信号、解析并发送所述触摸数据信号。该步骤的具体实现过程为所述触摸数据信号监测模块根据配置好的触摸协议自动监测相应的触摸数据信号；解析模块解析触摸数据信号；触摸数据信号包括触摸点的位置信息、触摸点的状态信号、运行时唯一标记触摸手指标识等信息；预处理模块将解析后的所述触摸点的位置信息转化为操作屏幕的坐标数据、将触摸点的状态信号转化为暗笑、更新、弹起等状态数据、根据触摸信号量判定所述触摸点的有效性，即侦测误触摸或触摸过程中假弹起状态。S2，由至少两个触摸数据解析器分别接收并监听所述触摸数据服务器发送的触摸数据信号、判断所述触摸数据信号是否是作用于某一触摸场景的有效数据、以及发送触摸反馈；该步骤的具体实现过程为监听管理模块接收并监听所述触摸数据信号，并向触摸数据服务器注册场景容器，以及添加、删除、设置及管理场景容器；其中，所述场景容器包括多个触摸场景；所述场景数据解析模块中触摸手势的配置管理模块针对任一场景定制手势库中的一个或多个手势；所述场景数据解析模块中触摸手势算法库存储各类型手势的解析处理、调用各类型手势处理算法、反馈触摸手势，以及配置参数接口 ；上层应用接口通信连接所述场景数据分析模块与应用程序执行器。S3，令至少两个应用程序执行器分别建立实体应用场景，接收触摸场景手势，并执行触摸场景手势。从技术角度上来讲，所述多场景下具有并行性的多点触摸手势反馈方法的工作流程，如图3所示,包括SI，触摸数据服务器依据预先配置好的与各应用程度对应的触摸协议，监测触摸信号、解析并发送所述触摸数据信号，如图4所示，该步骤包括SI I，触摸数据服务器的触摸数据信号监测模块依据预先配置好的触摸协议监测触摸数据信号，判断是否监测到触摸数据信号， 如图5所示，若是，继续解析所述触摸数据信号；若否，继续监测触摸数据信号；所述信号协议包括HID协议、TUIO协议。触摸数据服务器的解析模块对触摸数据信号进行自动解析和分析；判断是否是误触，若否，解析触摸数据信号的信息，所述信息包括触摸点的位置信息、触摸点状态信号、运行时唯一标记触摸会搜只标识等；若是，继续监测触摸数据信号。S12，触摸数据服务器的预处理模块对所述触摸数据信号进一步分析和预处理，包括将解析后的触摸点位置信息转化为操作屏幕的坐标数据、将触摸点的状态信号转化为按下、更新、弹起等状态数据、以及根据触摸信号量判断触摸点的有效性。S13，数据分析源模块将分析后的触摸数据信号发送至触摸数据处理模块。S2，由至少两个触摸数据解析器分别接收并监听所述触摸数据服务器发送的触摸数据信号、判断所述触摸数据信号是否是作用于某一触摸场景的有效数据、以及执行触摸反馈；如图5所示,该步骤具体包括S21，触摸数据解析器的监听管理模块接收并监听触摸数据服务器发送的触摸数据信号，接收到触摸数据信号后，进行触摸场景注册及配置，具体过程包括S211，监听管理模块建立触摸场景并管理触摸场景，包括向所述触摸数据服务器模块注册触摸场景，所述注册包括触摸场景的添加、删除、设置及管理。S212，判别所接收的触摸数据信号是否是作用于某一触摸场景的有效数据。如图6所示，该判别过程为判断接收到的触摸数据信号是否为按下状态；若是，从一包括触摸点标识的触摸点列表中搜寻按下状态所对应的触摸场景，继续判断是否击中对应的触摸场景，若否，该判别过程结束；若是，建立触摸场景映射，将该触摸场景添加到触摸场景列表中；在所述触摸场景上重新建立一个触摸点，将重新建立的触摸点交予场景数据解析模块执行解析，即执行S22 ;其中，所述触摸场景映射为所述触摸点标识对应触摸场景；若否，判断接收到的触摸数据信号是否为弹起状态；若为弹起状态，从触摸场景列表中移除弹起状态所对应的触摸场景，更新弹起状态所对应的触摸场景上触摸点的信息，将更新的触摸点交予场景数据解析模块执行S22 ;若否，根据触摸点列表中弹起状态的触摸点标识在触摸列表中查找弹起状态所对应的触摸场景，判断是否查找到所对应的触摸场景；若否，判断过程结束；若是，更新弹起状态所对应的触摸场景上触摸点的信息，将更新的触摸点交予场景数据解析模块执行解析，即执行S22 ；场景数据解析模块依次将所述触摸数据信号交给已注册的各个场景容器，并判断所述触摸数据信号是否是作用于一个某个场景容器中的触摸场景的有效数据，若是，将所述触摸数据信号交予对应的场景处理过程；若否，继续接收触摸数据信号；S22，场景数据解析模块配置触摸场景手势，建立和调用触摸手势解析算法包、反馈触摸场景手势，并将触摸场景手势的反馈发送给应用程序执行器；配置触摸场景手势即针对任一触摸场景定制一个或多个触摸场景手势。其中，所述触摸手势解析算法包括各种手势的解析处理，例如，动态手势实时解析、常见点击类手势解析、方向性手势解析、以及自定义触摸轨迹手势解析；如表I所示，表I中显示了触摸场景手势及其手势说明；表I :触摸场景手势表
权利要求
1.一种多场景下具有并行性的多点触摸手势反馈系统，应用于装载有多个应用程序的电子装置中，其特征在于，所述多点触摸手势反馈系统包括 触摸数据服务器，用于依据预先配置好与各该应用程序对应的触摸协议，监测触摸数据信号、解析并发送所述触摸数据信号； 至少一个触摸数据解析器，分别与所述触摸数据服务器模块连接，对应于各该应用程序，分别用于监听接收到的触摸数据信号、判断所述触摸数据信号是否是作用于某一触摸场景的有效数据、以及发送触摸反馈；以及 至少一个应用程序执行器，分别与所述触摸数据解析器连接，分别用于建立实体应用场景、接收触摸反馈、以及执行触摸反馈。
2.根据权利要求I所述具有并行性的多点触摸手势反馈系统，其特征在于，所述触摸数据服务器包括 触摸数据信号监测模块，用于依据预先配置好的触摸协议自动监测相应的触摸数据信号; 解析模块，用于解析所述触摸数据信号； 预处理模块，用于将解析后的所述触摸点的位置信息转化为操作屏幕的坐标数据、将触摸点的状态信号转化为按下、更新、弹起等状态数据、根据触摸信号量判定所述触摸点的有效性，即侦测误触摸或触摸过程中假弹起状态； 数据分析源模块，用于发送所述触摸数据信号。
3.根据权利要求2所述具有并行性的多点触摸手势反馈系统，其特征在于，所述触摸数据信号中的信息包括触摸点的位置信息、触摸点的状态信号、运行时唯一标记触摸手指标识。
4.根据权利要求2所述具有并行性的多点触摸手势反馈系统，其特征在于，所述触摸信号量的判定依据包含触摸压力的强弱、触摸有效范围判断、触摸可信度判断。
5.根据权利要求I所述具有并行性的多点触摸手势反馈系统，其特征在于，所述触摸数据解析器包括 监听管理模块，用于接收并监听所述触摸数据服务器发送的触摸数据信号，并向所述触摸数据服务器注册场景容器，包括添加、删除、设置及管理场景容器； 场景数据解析模块，用于配置各类型对应于应用程序的触摸手势及存储、调用各类型手势解析算法、反馈触摸手势； 上层应用接口，与所述场景数据分析模块和应用程序执行器连接，用于将触摸手势的反馈发送至所述应用程序执行器，所述应用程序执行器用于建立应用场景。
6.根据权利要求5所述具有并行性的多点触摸手势反馈系统，其特征在于，所述上层应用接口包括场景反馈接口、场景容器管理接口。
7.一种多场景下具有并行性的多点触摸手势反馈方法，运行装载有多个应用程序的电子装置，其特征在于，所述方法包括 SI，触摸数据服务器依据预先配置好的与各该应用程序对应的触摸协议，监测触摸数据信号，解析并发送所述触摸数据信号； S2，由至少一个触摸数据解析器分别监听接收到的触摸数据信号、判断所述触摸数据信号是否是作用于某一触摸场景的有效数据、以及发送触摸反馈；S3，令至少一个应用程序执行器分别建立实体应用场景、接收触摸反馈、以及执行触摸反馈。
8.根据权利要求7所述具有并行性的多点触摸手势反馈方法，其特征在于，于所述步骤SI中还包括以下步骤 S11，触摸数据服务器的触摸数据信号监测模块依据预先配置好的触摸协议监测触摸数据信号，判断是否监测到触摸数据信号；解析模块对触摸数据信号进行自动解析和分析；判断是否是误触，若否，解析触摸数据信号的信息，若是，继续监测触摸数据信号； S12，触摸数据服务器的预处理模块对所述触摸数据信号进一步分析和预处理； S13，数据分析源模块将分析后的触摸数据信号发送至触摸数据解析器。
9.根据权利要求7所述具有并行性的多点触摸手势反馈方法，其特征在于，于所述步骤S2中还包括以下步骤 S21，所述触摸数据解析器的监听管理模块接收并监听所述触摸数据服务器发送来的触摸数据信号，接收到触摸数据信号后，进行触摸场景注册及配置； S22，所述场景数据解析模块配置触摸场景手势，建立和调用触摸手势解析算法包、反馈触摸场景手势，并将触摸场景手势的反馈发送给应用程序执行器； S23，通过上层应用接口将触摸反馈发送至所述应用程序执行器。
全文摘要
本发明提供一种多场景下具有并行性的多点触摸手势反馈系统及方法，应用于装载有多个应用程序的电子装置中，包括触摸数据服务器用于依据预先配置好的与各该应用程序对应的触摸协议，监测触摸数据信号，解析以及发送触摸数据信号；至少一个触摸数据解析器，分别与触摸数据服务器连接，对应于各该应用程序，分别用于监听接收到的触摸数据信号、判断触摸数据信号是否是作用于某一触摸场景的有效数据、以及发送触摸反馈；以及至少一个应用程序执行器，分别与触摸数据解析器连接，分别用于建立实体应用场景、接收触摸反馈、以及执行触摸反馈。本发明实现多点触摸输入同时解决因端口或设备被占用造成同时刻只为单个应用或单个场景提供触摸服务的局限性。
文档编号G06F3/041GK102819391SQ20121025805
公开日2012年12月12日 申请日期2012年7月24日 优先权日2012年7月24日
发明者加帮平, 陈常涛, 石国强 申请人:华平信息技术(南昌)有限公司