专利名称：一种触摸屏的操作感测方法
技术领域：
本发明涉及一种触摸屏操作感测方法，尤其涉及一种适用于触摸屏设备应用程序的操作感测方法，属于人机交互技术领域。
背景技术：
随着平板电脑、智能手机等触摸屏设备的日益普及，越来越多的人们开始使用这些触摸屏设备来阅读文字，观看图片、视频，运行游戏或其他应用程序。对于触摸屏设备而言，其应用程序的操作一般是通过手指触碰设置在触摸屏上的相应图标按钮进行的。手指的一次点击操作产生一个对象动作，再由此产生其它后续的反应。对于需要多种武器配合使用的触摸屏游戏，或者很多小工具设置在触摸屏四周、操作较频繁的图像处理程序等而言，现有的操作感测方法显得过于复杂，不能满足用户对操作快捷、简单的需求。例如在以下几种应用环境下，现有的操作感测方法对于用户来说是较为繁琐的:(I)键鼠游戏如“魔兽争霸”中，选定一个单位攻击另一个单位(或方位)，平均需要三次操作，包括“选定A”、“选择攻击动作”、“点击B”。(2)在微软公司的画图程序中，切换绘图工具需要两次操作，包括选定工具和选择作用区域。(3)在触摸屏游戏中，炮弹攻击一个带有保护罩单位后，在该单位保护罩失效的短时间内，需要迅速选用一种合适的武器对其进行攻击。像这种对操作时效要求高的场景，现有的操作感测方法是无法在短时间内完成任务的。另外，有的触摸屏设备应用程序为了追求操作简便，致使软件功能受到限制。像“捕鱼达人”这款触摸屏游戏，通过一次点击完成控制炮台对目标位置的攻击。其游戏功能略显简单，没有多个独立的动作发出者，也缺乏灵活切换动作发出者的机制。例如通过一次点击只产生类似于“A对象向B地点攻击”的指令，却不能再通过一次点击产生一个“C对象向D地点攻击”的指令。面对日趋复杂的触摸屏设备应用环境，有必要进一步改进现有的操作感测方法，让操作过程更加简单、快捷。在申请号为201110405891.5的中国专利申请中，公开了一种识别用户手势操作的方法，包括以下过程:当检测到有触摸屏操作时，记录从触摸屏按下到触摸屏释放过程的各轨迹点坐标；以起始点和结束点形成一条直线，作为基准直线；计算轨迹点到基准直线的垂直距离，若其中有一个垂直距离大于预置值，则执行相应的动作，响应用户的操作。该识别方法的实现方式简单，实用性强，但其主要适用于触摸屏的解锁过程，使用范围受到一定的限制。
发明内容
针对现有技术的不足，本发明所要解决的技术问题在于提供一种改进的触摸屏操作感测方法。为实现上述的发明目的，本发明所采用的技术方案如下:一种触摸屏的操作感测方法，包括如下步骤:
感测用户在触摸屏上的划动操作，记录划动轨迹的点串信息；根据划动轨迹的点串信息，逆向预测划动轨迹； 在逆向预测的划动轨迹一定范围内搜索动作发出者；在划动轨迹终点的特征点一定范围内搜索动作接收者，由此生成“动作发出者对动作接收者执行动作”的指令。其中较优地，从所述划动轨迹起始段依次提取两个特征点，两个特征点的反向延长线即为逆向预测的划动轨迹。其中较优地，两个所述特征点分别为第一特征点、第二特征点；所述第一特征点为划动轨迹的起点；所述第二特征点到所述第一特征点之间的折线总长度不小于预测划动轨迹方向所需的最小长度。其中较优地，在选取第二特征点时，首先设定一个长度阈值，该长度阈值为预测划动轨迹方向所需的最小长度；其次对划动轨迹中从第一特征点到终点的各点进行遍历；然后将第一特征点与各点的折线长度与该长度阈值进行比较；最后选取折线长度不小于长度阈值的第一个点作为第二特征点。其中较优地，所述动作发出者为距离逆向预测的划动轨迹最短的动作发出对象。其中较优地，所述划动轨迹终点的特征点为第三特征点，在所述第三特征点附近找到多个候选的动作接收者，根据距离因素分别赋予权值。其中较优地,所述动作接收者为到所述划动轨迹终点的距离最短的动作接收对象。其中较优地，在感测用户在触摸屏上的划动操作后，分析划动轨迹的点串所在范围、总长度，判断所述划动操作是否符合先决条件；如果不符合，终止操作感测方法。其中较优地，所述先决条件包括:⑴应用程序的操作状态为非菜单界面状态、非暂停状态以及非设置状态；⑵在应用程序中，划动操作落在预定的用户有效操作范围内；⑶当上述两个条件满足时，划动轨迹的点串之间的折线总长度在预定的阈值范围内。本发明所提供的操作感测方法丰富了触摸屏设备应用程序的操作对象，允许用户在简短的几次划动操作中完成多个对象的协同操作。在需要频繁切换工具或动作发出者的触摸屏设备应用程序中，利用本发明不会产生过多的触摸屏操作，对减少用户操作复杂度和提高触摸屏设备及其配件寿命有很大帮助。
图1为本发明所提供的触摸屏操作感测方法的划动操作示意图；图2为应用程序中，本触摸屏操作感测方法的实现方式示意图；图3为本触摸屏操作感测方法的操作流程图。
具体实施例方式下面结合附图和具体实施方式
对本发明进行进一步的详细说明。本发明所提供的触摸屏操作感测方法是一种适用于触摸屏设备应用程序的操作感测方法。该操作感测方法通过一次简单的划动操作即可完成在多个对象中两个对象的选定，选定后的对象被分别记录下来，并产生针对两个对象的动作指令。在本发明中，划动操作中触屏按下的点为“起点”，触屏释放的点为“落点”或“终点”，接近起点的部分称为“前段”或“起始段”，接近落点的部分成为“后段”或“末尾段”。图1为本触摸屏操作感测方法的划动操作示意图。操作I的划动轨迹中选定的三个特征点分别为pl、p2和p3,通过分析找到接近射线p2 — pi的对象Al和接近点p3的对象BI，即完成一个“对象Al对BI执行动作”的指令。应用程序通过规则选择是否过滤该指令，并给予指令相应的动作。类似地，操作2的划动轨迹依次选取三个特征点分别为p4、p5和p6,通过p5 — p4的方向选择动作发出者A2,通过终点p6选择动作的接收者,但没有明显的候选动作接收者在附近，这时需将点P6转化为地点对象B4，对象B4的坐标为(x6，y6)(其中x6，y6来自于p6点在应用程序坐标系中的横纵坐标，也可能是其它坐标形式比如三维坐标“x6，y6, z6”)，产生一个“对象A2对地点B4的操作”的指令。图2为应用程序中，本触摸屏操作感测方法的实现方式示意图。其中，A类对象为动作发出者，B类对象为动作接收者，实际处理的时候可能有对象既属于A类也属于B类。箭头为实际划动操作的轨迹。操作Cl反向延伸轨迹可以找到对象Al，终点附近可以找到对象BI，可以解释为“命令对象Al攻击BI” ;操作C2反向延伸轨迹可以找到对象A2的导轨，终点附近找到对象B4，可以成功解释为“命令A2攻击B4”；。操作C3和C4实现的是两个手指的操作，可以看作是一次协作，要求对象A3和A4集中火力攻击B5的前方，预判了对象B5的移动；操作C5反向延伸轨迹可以找到对象A5，终点附近可以找到对象B2和B3，但B3离终点更近，优先被选中作为动作接收者，操作C5最终命令解释为“命令A5攻击B3”。下面，结合图3对本触摸屏操作感测方法的具体流程做详细的阐述。该方法包括如下步骤:SlOl:触摸屏感应手指的划动操作，开始操作感测方法。S102:记录划动轨迹的点串信息。在执行划动操作中，触摸屏设备的存储器记录用户从按下触摸屏到释放触摸屏整个过程中各个轨迹点(即点串)的坐标值。触摸屏设备检测到触摸屏上有划动操作，则开始对当前划动轨迹的各个点的坐标值进行记录和保存。在建立直角坐标系时，优选触摸屏的左上角为原点，水平向右为X轴正方向，垂直向下为Y轴正方向，在此坐标中确定轨迹中各个点的坐标值。其中，对于不同的软件和操作系统，坐标系的选取可能有差异。S103:分析步骤S102中划动轨迹点串的所在范围、总长度等信息，判断划动操作是否符合先决条件。如果不符合，操作感测方法终止；在本操作感测方法中，判断的先决条件包括但不限于以下几点:(I)应用程序的操作状态必须为非菜单界面状态、非暂停状态以及非设置状态等等；否则视为此次划动操作无效。(2)在应用程序中，需要设定一个可以调节的用户有效操作范围。应用程序操作的信息提示、工具栏以及广告信息等往往占据一定的屏幕范围，用户在此范围中进行操作是无效的。假设触摸屏左上角为原点，屏幕范围为(0，0) (1280，720)。而应用程序中设定距离屏幕上边界30、下边界20、左边界50、右边界40的范围为留白区域，则当划动操作落在留白区域内时，此次操作视为无效，即用户在屏幕上有效的操作范围为(50，30) (1240，700)。(3)当上述两个条件满足时，需对划动轨迹做进一步判断。本发明是通过点串提取的方向类信息进行对象选取，因此对划动轨迹的总长度有一定限制。首先给定两个可以调整的阈值分别为长度的最小值minLength和最大值maxLength ;然后将划动轨迹的点串当作折线求其总长度，若长度值落在区间[minLength, maxLength]之内，则此次划动操作为有效操作；否则都视为无效操作。需要说明的是，划动操作的长度不需要因动作发出者和动作接收者的距离增加而增加，操作可以是非常简短的划动。S104:通过分析S102中记录的划动轨迹的点串信息，逆向预测一个完整的划动轨迹。本操作感测方法需要预测补全用户操作有效范围内，轨迹反向延长线上的点。假设一条轨迹上的六个点依次为Pl到P6。而为减小划动操作距离,实际操作时只划动了从点P4到P6 —段。在逆向预测轨迹时，点P1、P2未在用户操作的有效范围内，则逆向预测的划动轨迹为点P3到P4到P5到P6 一段。划动轨迹的逆向预测是通过划动轨迹起始段上两个点实现的。这两个点能够比较准确反映划动轨迹方向，两点间运动轨迹近似为直线。而两个点的反向延长线即为逆向轨迹。其中，本操作感测方法中称两个点分别为第一特征点、第二特征点。对于第一特征点与第二特征点的选取如下:第一特征点优选划动轨迹的起点。而在实际操作过程中可能因为部分用户由于手抖或带了电容手套(存在缝合等加工过程产生的不规则棱角)等原因，致使轨迹起点附近有一些不规则的点。而这些不规则的点会对划动轨迹方向的判断有影响，需要舍弃当前的实际划动操作起点，重新选取点串起始段中轨迹开始平滑的点作为第一特征点。在进行第二特征点的选取时，首先需要设定一个可以修改的长度阈值dopeLength，该长度阈值为预测划动轨迹方向所需的最小长度；其次对划动轨迹中从第一特征点到终点的各点进行遍历；然后将第一特征点与各点的折线长度与长度阈值进行比较；最后选取折线长度不小于长度阈值的第一个点作为第二特征点。例如预设的长度阈值为dopeLength，轨迹中的点依次为点pi到p9，选取的第一特征点为p2，依次对点p2 点p9进行遍历，找到的第一个到点p2折线总长度不小于dopeLength的点即为第二特征点。S105:在逆向预测的划动轨迹一定范围内，找到一个或数个合格的候选动作发出者，并根据距离等因素为候选对象分别赋予权值；如果没有合格的候选对象，操作感测方法终止。本操作感测方法中，优选设定一个可以调整的角度阈值maxAngle ;其次分别计算可作为动作发出对象的坐标点到第二特征点向量Al An，第一特征点到第二特征点的向量AO ;分别计算向量Al An与向量AO间的夹角，选择向量夹角小于角度阈值maxAngle的对象为候选动作发出者；最后根据候选对象到逆向预测的划动轨迹的距离，为候选动作发出者赋予权值，待步骤S108中做筛选。其中，候选对象选取时不局限于坐标点，若该对象占有的领域或其一个部件在角度阈值内，则对象也为候选动作发出者(图2中操作2所示)。S106:选定一个接近于实际划动操作终点的特征点。终点的特征点为第三特征点，优选划动轨迹的终点。该特征点的选取时同样可能由于用户手抖或带了电容手套等原因，造成终点附近有不规则的点。对于上述情况需舍弃点轨迹的实际终点，选择划动轨迹中末尾段数个点，所选点坐标的平均值为第三特征点的坐标值。例如选取的三个点分别为Pl (xl，yl)、P2 (x2, y2)、P3 (x3, y3)，第三特征点设为 P4 (x4，y4)，则 x4 =(xl + x2 + x3)/3，y4 = (yl + y2 + y3)/3。其中，对于末尾段点数的选取时，需设定一个可调整的点数阈值minPointNum，所选取的点数不小于该阈值且不大于轨迹末尾段总点数的10%。在划动轨迹中，第二特征点与第三特征点之间的运动轨迹可以是任意形状，即终点可以在屏幕非留白区域的任意位置。第三特征点可以在第一特征点附近或第二特征点附近，也可以与第一特征点或第二特征点重合。例如划动操作时可能从第一特征点划动很小的距离第二特征点放开，此时第三特征点与第二特征点重合；当划动操作轨迹为封闭的图形时，第三特征点与第一特征点重合。S107:在第三特征点附近找到一个或数个合格的候选动作接收者。根据距离等因素为候选对象分别赋予权值。如果没有合格的候选对象，操作感测方法终止。首先设定一个可以调整的距离阈值maxDistance ;分别计算可作为动作接收对象的坐标点与第三特征点的距离；选取与第三特征点的距离小于距离阈值maxDistance的对象作为候选动作接收者；最后根据与第三特征点的距离为候选动作接收者赋予权值，优选的处理方式是距离和权值成反比，然后待步骤S108中做最后筛选。有些特殊情况下，第三特征点也可以转化为一个候选动作接收的方位对象，这表示第三特征点附近没有什么目标，动作发出者需对第三特征点的位置进行操作(图1中的操作2所示)。S108:结合本操作感测方法所在应用程序设定的筛选原则，以及步骤S105和S107中为候选对象所赋权值，从所有候选的动作发出者与动作接收者的组合中筛选出一个或多个合格的组合，如果没有合格的组合，操作感测方法终止。动作发出者和动作接收者的筛选原则优选距离，即选择步骤S105、S107所赋权值最大的对象。例如动作发出者可以为距离逆向预测的划动轨迹最短的动作发出对象，动作接收者可以为到划动轨迹的终点距离最短的动作接收对象。但对于一些特殊情况，逻辑的合理性同时作为筛选原则。例如候选动作发出对象Al与A2到射线P2P1的距离为L1、L2。候选动作接收者BI与B2到第三特征点的距离为L3、L4。距离LI 距离L4都在应用程序设定的有效距离范围内。采用优选距离筛选原则，由于距离LI < L2，距离L3 < L4，那么确定动作发出者为对象Al、动作接收者为对象BI。而这次指令应该解释为“对象Al对BI执行动作”。假设候选动作发出者Al与A2分别表示火炮、激光炮,候选动作接收者BI与B2分别表示镜子、电池，那么根据距离原则选出的操作为“火炮攻击镜子”，显然解释是不合逻辑的，而解释“火炮获取电池”也不是最优的，如解释为“对象A2对对象B2执行动作”即“激光炮获取电池”应该是更符合逻辑的。S109:对合格的组合产生的指令或解释，交给本操作感测方法所在应用程序来处理。对于合格的组合产生一个“动作发出者对动作接收者执行动作”指令。该指令或解释包括但不仅限于下面3种类型:( I)有指向性，比如“命令单位A攻击单位B”。(2)逆转指向，比如“A装置开始装备B能量源〃也可以解释成〃把B能量源装备到A装置的能源仓”。(3)忽略指向，比如解释为“A物质和B物质合成”或“B物质和A物质合成”。其中，动作发出者和动作接收者可以是属于不同的种类，可以是相同种类的不同的对象，还可以是同一个对象。比如“命令对象A给自己进行修理(医疗)”。动作接收者除了一个逻辑实体(如建筑、车辆)，还可以是地形、画布等抽象实体中的一个区域或部分。例如“命令对象A攻击坐标为(125，177)的地点”，“命令喷枪A向终点特征点对应的区域进行喷漆”。需要说明的是，在应用程序中指令产生的动作并非一次短暂的行为，可能是持久的。例如“命令a攻击b”的指令可能一直有效，直到为对象a找到新的打击目标或对象b消亡或逃出a的攻击范围等。SllO:操作感测方法结束。本触摸屏操作感测方法不限于单指实现，还可通过两个手指实现，例如左右手向一个终点划动，完成对目标合击。本发明既减小了用户的操作难度，又能满足需要多个对象的协同工作、讲求时效的工作场景。在改善触摸屏的操作体验同时，需要用户在操作前有较好的思维准备。而应用程序为平衡难度和设备损耗，可以根据需要适当延长本操作感测方法的时间间隔。此外，本发明在具体实施时可以通过软件与硬件结合实现。其中，触摸屏作为人机交互的接口可以显示应用程序界面；存储器，保存用户从触摸屏按下到触摸屏释放这整个操作过程中轨迹点串的信息；处理器在对用户输入的各种信息进行解析、处理，对触摸屏显示内容的集中控制。上面对本发明所提供的触摸屏操作感测方法进行了详细的说明。但对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。
权利要求
1.一种触摸屏的操作感测方法，其特征在于: 感测用户在触摸屏上的划动操作，记录划动轨迹的点串信息； 根据划动轨迹的点串信息，逆向预测划动轨迹； 在逆向预测的划动轨迹一定范围内搜索动作发出者；在划动轨迹终点的特征点一定范围内搜索动作接收者，由此生成“动作发出者对动作接收者执行动作”的指令。
2.按权利要求1所述的触摸屏的操作感测方法，其特征在于: 从所述划动轨迹起始段依次提取两个特征点，两个特征点的反向延长线即为逆向预测的划动轨迹。
3.按权利要求2所述的触摸屏的操作感测方法，其特征在于: 两个所述特征点分别为第一特征点、第二特征点； 所述第一特征点为划动轨迹的起点； 所述第二特征点到所述第一特征点之间的折线总长度不小于预测划动轨迹方向所需的最小长度。
4.按权利要求3所述的触摸屏的操作感测方法，其特征在于: 在选取第二特征点时，首先设定一个长度阈值，该长度阈值为预测划动轨迹方向所需的最小长度；其次对划动轨迹中从第一特征点到终点的各点进行遍历；然后将第一特征点与各点的折线长度与该长度阈值进行比较；最后选取折线长度不小于长度阈值的第一个点作为第二特征点。
5.按权利要求1所述的触摸屏的操作感测方法，其特征在于: 所述动作发出者为距离逆向预测的划动轨迹最短的动作发出对象。
6.按权利要求1所述的触摸屏的操作感测方法，其特征在于: 所述划动轨迹终点的特征点为第三特征点，在所述第三特征点附近找到多个候选的动作接收者，根据距离因素分别赋予权值。
7.按权利要求1或6所述的触摸屏的操作感测方法，其特征在于: 所述动作接收者为到所述划动轨迹终点的距离最短的动作接收对象。
8.按权利要求1所述的触摸屏的操作感测方法，其特征在于: 在感测用户在触摸屏上的划动操作后，分析划动轨迹的点串所在范围、总长度，判断所述划动操作是否符合先决条件；如果不符合，终止操作感测方法。
9.按权利要求8所述的触摸屏的操作感测方法，其特征在于所述先决条件包括: (I)应用程序的操作状态为非菜单界面状态、非暂停状态以及非设置状态； ⑵在应用程序中，划动操作落在预定的用户有效操作范围内； ⑶当上述两个条件满足时，划动轨迹的点串之间的折线总长度在预定的阈值范围内。
全文摘要
本发明公开了一种触摸屏的操作感测方法，包括如下步骤感测用户在触摸屏上的划动操作，记录划动轨迹的点串信息；根据划动轨迹的点串信息，逆向预测划动轨迹；在逆向预测的划动轨迹一定范围内搜索动作发出者；在划动轨迹终点的特征点一定范围内搜索动作接收者，由此生成“动作发出者对动作接收者执行动作”的指令。本发明丰富了触摸屏设备应用程序的操作对象，允许用户在简短的几次划动操作中完成多个对象的协同操作。在需要频繁切换工具或动作发出者的触摸屏设备应用程序中，利用本发明不会产生过多的触摸屏操作，对减少用户操作复杂度和提高触摸屏设备及其配件寿命有很大帮助。
文档编号G06F3/041GK103092427SQ20131005099
公开日2013年5月8日 申请日期2013年2月8日 优先权日2013年2月8日
发明者王正道 申请人:王正道