专利名称：方向性输入到手势的转换的制作方法
方向性输入到手势的转换技术领域
本发明一般地涉及在电子设备中捕捉用户输入。
技术背景
已知各种方案允许辨识在用户设备的输入区上人工描绘的字符。当前可用的方案尤其用于在电子设备中在不使用键盘的情况下允许人工输入数据，这些电子设备例如蜂窝电话、个人数字助理(PDA)等。
一种当前的方案提供了复杂的识别算法，该算法基于所描绘的字符的点阵或位图，该点阵或位图被与预定一组字符的模型数据进行比较，以识别与所进行的描绘最接近的字符。这种方案不太实用，并且对于处理能力有限的移动设备而言在计算时间和功率方面施加了太重的要求。该方案的另一个缺点是它要求大的存储器空间以定义所要辨识的字符。
考虑到某些字符的复杂性和很强的相似性，当前的做法是采用字符集的某些简化 (例如把字符分解成文字字符、数字字符、符号字符等的不同集合，尤其是为了避免某些字符之间的混淆，例如“0”与“0”，“B”与“8”，“ + ”与“T”等)以及迫使用户按照严格确定的顺序来描绘这些字符，而这些顺序有时背离了该用户通常的做法甚至任何通常做法。因此， 利用现有的方案，经常只有一种描绘字符的可能方式，使得彼此不混淆。此外，所必须采用的这些顺序并不一定对应于所期望的字符的自然描绘方式。考虑到手写字符有极大的变动并且甚至是完全相反的(例如在惯用右手的人与惯用左手的人之间)，这些困难就更大。
诸如上述那些方案的局限性在于它们要求在用户这一方进行学习，这常常与用户的自然书写习惯相反。许多用户不愿意花费必要的时间来学习所确定的图案，从而使这些方案的吸引力很小。
其他的当前方案把键区(keypad)输入映射到预定的字符。尽管这类方案确实避免了要求用户记住并追随所指定的一组描绘运动，但该方案也不是没有问题。键区方案的一个缺点是要求用户通过键区来进行交互，而不是通过更具用户友好性的触摸输入部件来进行。另一个缺点是大多数用户设备只提供了有限数目的按键，这意味着只有有限数目个字符可以被映射到键区输入部件，或者说由多个字符必须被映射到同一个键区输入部件。发明内容
根据本发明的一个方面，提供了一种在用户设备的触摸输入部件以手势捕捉模式工作时把在所述触摸输入部件处接收的用户输入转换成按键代码数据的处理，该处理包括在所述触摸输入部件处检测用户发起的运动；把所检测的运动转换成χ-y运动数据；把所述χ-y运动数据转换成手势数据，所述手势数据代表已被映射到预定的χ-y运动数据值的预定手势；把所述手势数据转换成按键代码数据；以及向所述用户设备的处理器提供所述按键代码数据，其中，所述按键代码数据使所述处理器执行下述至少一项(i)与所述按键代码数据相符的一个或多个键盘动作，和(ii)确定与所述按键代码数据相对应的语言字符而无需键盘动作。
根据本发明的另一个方面，提供了一种用户设备，包括用户接口，其包括触摸输入部件和用户输出部件；用户接口驱动器，其被配置成把由所述触摸输入部件检测到的运动转换成电子信号；χ-y输入捕捉模块，其被配置成把由所述用户接口驱动器提供的电子信号转换成χ-y运动数据；χ-y至手势转换模块，其被配置成把所述χ-y运动数据转换成手势数据，所述手势数据代表已被映射到预定的χ-y运动数据值的预定手势；以及手势至按键代码转换模块，其被配置成把所述手势数据转换成按键代码数据，所述按键代码数据使所述用户设备执行下述至少一项(i)与所述按键代码数据相符的一个或多个键盘动作， 和(ii)确定与所述按键代码数据相对应的语言字符而无需键盘动作。
根据本发明的另一个方面，提供了一种用于把在用户设备的触摸输入部件处接收的用户输入转换成按键代码输出的系统，该系统包括用户接口驱动器，被配置成把在所述触摸输入部件处检测的运动转换成电子信号；χ-y输入捕捉模块，被配置成把由所述用户接口驱动器提供的电子信号转换成χ-y运动数据；χ-y至手势转换模块，被配置成把所述 χ-y运动数据转换成手势数据，所述手势数据代表已被映射到预定的χ-y运动数据值的预定手势；以及手势至按键代码转换模块，被配置成把所述手势数据转换成按键代码数据，所述按键代码数据使所述用户设备执行下述至少一项(i)与所述按键代码数据相符的一个或多个键盘动作，和(ii)确定与所述按键代码数据相对应的语言字符而无需键盘动作。
本发明是结合下列附图来进行说明的
图1是按照本发明实施例的用户设备的立体图2是按照本发明实施例的用户设备的组件的框图3是按照本发明实施例的转换数据的至少一部分的表格形式；
图4是图示了按照本发明实施例的用户输入捕捉处理的流程图5A图示了按照本发明实施例的第一字以及创建其的相应输入手势；
图5B图示了在接收了图5A所示第一和第二输入手势之后的用户输出部件；
图5C图示了在选择了图5A中的第一字之后的用户输出部件；
图6A图示了按照本发明实施例的第二字以及创建其的相应输入手势；
图6B图示了在接收了图6A所示第一和第二输入手势之后的用户输出部件；
图6C图示了在接收了字类型选择之后的用户输出部件；
图6D图示了在选择了图6A中的第二字之后的用户输出部件；
图7A图示了按照本发明实施例的复杂第三字以及创建其的相应输入手势；
图7B图示了在接收了图7A所示第一、第二和第三输入手势之后的用户输出部件；
图7C图示了在选择了图7A中复杂字的第一部分之后以及接收了图7A的第四输入手势之后的用户输出部件；
图7D图示了在选择了图7A中复杂字的第二部分之后的用户输出部件；
图8图示了按照本发明实施例以光学方式使能的触摸输入部件。
具体实施方式
下文的说明提供的仅仅是具体实施方式
，不应认为对权利要求的范围、应用性或配置进行限制。而是，下文的说明将给本领域技术人员提供使其能够实施所说明的实施例的说明。应当理解，在不脱离所附权利要求的精神和范围的情况下，可以对要素的功能和布局进行各种改变。
图1示出了用户设备100的示例性实施例。用户设备100可以包括显示屏104、触摸输入部件108和键区输入部件112。显示屏104、触摸输入部件108和键区输入部件112 可以统称为用户设备100的用户接口。用户设备100的用户接口除了键区外还可以包括其他组件，例如麦克风(用于接收音频用户输入)、扬声器(用于提供音频用户输出)、相机 (用于捕捉图像输入)和按钮，用于对用户设备100的各种其他操作进行控制。
在一些实施例中，显示屏104仅仅是用户输出部件，意味着显示屏104不被配置来接收用户输入。在一些实施例中，显示屏104可以包括触摸板或类似的双向用户输入/输出设备。在这些实施例中，触摸输入部件108可以被集成到用户输出部件104中，因为显示屏104也被配置来以触摸和/或图像数据的形式检测用户输入并把这种触摸或图像数据转换成电信号以由用户设备100处理。如果显示屏104被配置为触摸屏输入部件，则可以不必给用户设备100提供单独的触摸输入部件108。
触摸输入部件108可以包括能够由用户的手指、拇指和/或手来操纵的输入设备。替代地或者附加地，触摸输入部件108可以由触笔(stylus)等来操纵。可以使用任何类型的合适触摸输入部件108。合适的触摸输入部件108的示例包括但不限于光学传感器(例如光学手指导航触摸板)、小面积电容传感器、摇杆(rocker)开关、微型操纵杆 (joystick)、滚球(twiddle)、触摸屏输入部件等。用户可以利用触摸输入部件108来使显示屏104上的对象、光标、选择工具、指针等进行运动。这样，触摸输入部件108给用户提供了与用户设备100进行接口的一种选项。在一些实施例中，用户的手指与触摸输入部件108 接合(engage)，用手指在触摸输入部件108上的χ-y运动被转换成χ-y输入数据。χ-y输入数据可以被用来对显示屏104处的对象、光标、选择工具、指针等进行操纵。在用户手指的x-y运动被用来对显示屏104处的对象、光标、选择工具、指针等进行导航时，触摸输入部件108被认为正在导航模式中工作。
在一些实施例中，触摸输入部件108还可以在手势(gesture)捕捉模式中操作，在该模式下，在触摸输入部件108处捕捉的、用户手指的x-y运动被转换成x-y输入数据。在手势捕捉模式中，x-y输入数据还被转换成手势数据，该手势数据随后被转换成按键代码输出。在一些实施例中，x-y输入数据可以被直接转换成按键代码输出而不是首先被转换成手势数据。在手势捕捉模式中，x-y输入数据向按键代码输出的转换使触摸输入部件108能够以与键区112的数据输出相似的形式提供输出。在一些实施例中，按键代码输出可以对应于字符输出，该字符输出已被映射到键区上的按钮(即硬件按键)。在一些实施例中，按键代码输出可以对应于字符笔画，该笔画已经被映射到键区上的按钮。在一些实施例中，按键代码输出可以对应于命令，该命令使触摸输入部件108在手势捕捉模式与导航模式之间切换。在一些实施例中，按键代码输出可以对应于命令，该命令使用户设备100生成和向另一通信设备(例如执行音频菜单的交换机或服务器、另一用户设备等)发送双音多频(DTMF) 信号。
键区112提供了用于在用户设备100处接收用户输入的另一机构。键区112可以对应于以任何配置类型提供的任意按钮或按钮集合。例如，键区112可以对应于QWERTY键盘、其衍生形式、或其替代形式(例如QWERTY键盘的移动版本、字母顺序的键盘、或任何用于特定语言的键盘)。作为另一示例，键区112可以被配置成拨号盘，该拨号盘具有与0 9的数字、“#”按键和“*”按键对应的按钮。作为另一示例，键区112可以包括计算机输入部件，该输入部件具有与0 9的数字以及用于执行数学运算的一个或多个按键相对应的按钮。按照本发明的实施例，也可以实实现上述键区112配置的组合形式。
在一些实施例中，用户设备对应于移动通信设备；尤其是，用户设备100可以对应于蜂窝电话、移动电话、智能电话等。其他类型的合适用户设备100包括但不限于计算机、膝上型计算机、上网本、电话、具有电子通信通道的打字机(例如文本电话(Text Telephone, TTY))等。
现在参考图2，将说明按照本发明实施例的用户设备100的更多细节。用户设备 100可以包括存储器204以及处理器252，存储器204包括若干指令208、模块和其他数据结构，处理器252用于执行指令208和存储器204的其他内容。处理器252可以包括任何通用可编程处理器、数字信号处理器(DSP)、控制器或微控制器以执行应用程序。
尽管用于执行本申请中所讨论的各种方法/算法的模块被图示为储存在存储器 204中的指令208，但是接合图2所图示和说明的组件也可以以下述形式实现外部微控制器中的固件、专用集成电路(ASIC)、被编程到硅中的一个或多个硬件功能、或者它们的组合。图2所示用户设备100中组件的配置仅仅是按照本发明的实施例一种合适实现形式的示例。
用户设备100还可以包括通信接口沈4，该接口使用户设备100能够经过通信链路与其他设备通信，该链路可以在通信网络上建立。通信接口 264的示例性类型包括但不限于RF天线和驱动器(例如用于蜂窝或蓝牙通信)、红外端口、光纤接口、通用串行总线 (USB)端口、以太网端口、串行数据端口、并行数据端口、便于在基于分组的通信网络(例如互联网等)上通信的任何类型接口。
除了通信接口沈4，用户设备100还可以包括便于在用户设备100与其用户之间进行用户交互的用户接口。用户接口可以包括触摸输入部件108和键区输入部件112，以及用户输出部件260。在一些实施例中，用户输出部件260包括显示屏104以及其他用户输出设备。合适的用户输出设备可以是用于显示屏104的，也可以不是用于显示屏104的，这些用户输出设备包括但不限于灯、投影屏幕、LCD屏幕、LED阵列、等离子体屏幕、个体LED、七段式LED显示器、多位数LED显示器等。如上所述，用户接口可以把用户输入设备(即触摸输入部件108和键区输入部件11 与用户输出部件沈0的功能组合到一个设备中。
除了存储器204外，用户设备100还可以包括处理存储器256，处理存储器可以是下述形式随机存取存储器(RAM)、高速缓存(cache)存储器、或者用来便于由处理器252 有效地处理指令208的任何其他类型的存储器。
虽然处理存储器256被用来在处理任务期间临时地储存数据，存储器204被设置来储存对用户设备100的操作行为进行控制的永久或半永久指令208。存储器204和/或 256可以用各种类型的电子存储器来实现，这些类型大致包括非易失性存储器单元(例如可擦除可编程只读存储器(EPROM)单元或闪存(FLASH)存储器单元等)的至少一个阵列。存储器204和/或256也可以包括动态随机存取存储器(DRAM)单元的至少一个阵列。DRAM 单元的内容可以被预先编程并在此后受到写保护，而存储器的其他部分可以被选择性地修改或擦除。
存储器204的一些组件可以包括用户接口(UI)驱动器244和操作系统M8，操作系统248是便于在存储器204中的各种其他模块和应用与用户设备100的硬件组件之间进行交互的高层应用。UI驱动器244可以负责便于用户接口的操作。在一些实施例中，UI驱动器244包括用于下述项的命令确定何时在触摸输入部件108和/或键区输入部件112 处接收了用户输入、对所接收的用户输入的参数进行识别、把所接收的用户输入的参数调节(condition)成能够由存储器204中包含的模块所处理的数据值、确定何时在用户输出部件260处显示何种数据作为输出、等等。
在一些实施例中，UI驱动器M4的操作是取决于触摸输入部件108正在导航模式下还是在手势捕捉模式下工作而改变的。
存储器204中可以包含的各种例程、模块和数据结构包括下列一项或多项x-y输入捕捉模块212、x-y至手势转换模块216、手势至按键代码转换模块220、通信模块232、文本模块236、转换数据224、字符数据228。
通信模块232提供指令，这些指令使用户设备100能够与其他设备通信。尤其是， 通信模块232可以包括消息编码和/或解码指令、消息加密和/或揭密指令、压缩和/或解压缩指令、代码转换(trans-coding)指令、以及便于在通信网络上通信的任何其他已知类型指令。例如，通信模块232可以包括下述指令这些指令使用户设备100能够创建一个或多个消息或通信分组，这些分组按照已知的通信协议经过通信接口 264而被适当地格式化和发送。同样，通信模块232也可以包括下述指令这些指令使用户设备100能够对在通信接口 264处从其他通信设备接收的消息进行格式化以由用户设备100的各个组件来处理。 尤其是，通信模块232允许用户设备100与另一通信设备通信，从而使其用户能够参与到通信会话中。因此，通信模块232可以便于进行基于音频、视频和/或文本的通信会话。
指令208中可以提供的另一模块是χ-y输入捕捉模块212。χ-y输入捕捉模块212 尽管被图示为包含在指令208中，但也可以作为UI驱动器M4的一部分来提供。x-y输入捕捉模块212包括使触摸输入部件108具有功能的指令。尤其是，x-y输入捕捉模块212被配置来接收与在触摸输入部件108处检测的x-y运动有关的数据，并把该x-y运动数据转换成适于由用户设备100的其他组件来处理的格式。在一些实施例中，x-y输入捕捉模块 212还包括下述能力通过把用户运动的ΔΧ值(即所检测的χ轴运动量)和Ay值(即所检测的1轴运动量)确定为随着与触摸输入部件108接合的时间而变化的函数，来确定触摸输入部件108处的x-y运动的量。换言之，x-y输入捕捉模块212能够检测触摸输入部件108处的运动，确定所检测的运动沿χ和y轴的量，并把所确定的沿各个轴的运动量转换成x-y运动数据。然后，x-y运动数据可以作为输入而提供给其他模块用于进一步处理。
在一些实施例中，设置了 x-y至手势转换模块216，该模块被配置来从χ-y输入捕捉模块212接收x-y运动数据，并把x-y运动数据转换成手势数据。与χ-y输入捕捉模块 212类似，x-y至手势转换模块212216可以被包含在指令208中，可以作为UI驱动器244 的一部分，也可以是将这两种情形相结合。
在一些实施例中，x-y至手势转换模块216利用转换数据2M来把χ-y运动数据转换成手势数据。在一些实施例中，手势数据对应于对触摸输入部件108处捕捉的手势或运动进行描述的数据。作为一种非限制性的示例，如果触摸输入部件108对应于轨迹球、光学手指导航设备、小面积电容传感器、摇杆开关、滚动球、操纵杆、滚球等，那么可以捕捉无限数目的χ-y运动。这些χ-y运动以及代表其的χ-y运动数据可以被转换成有限个手势集，例如向上划(SWIPE UP)、向下划(SWIPE DOWN)、向左划(SWIPE LEFT)、向右划(SWIPE RIGHT) 以及它们的组合。作为一种非限制性的示例，x-y至手势转换模块216可以被配置成以8向摇杆模式工作，在该模式下，从x-y输入捕捉模块212接收的x-y运动数据被转换成下列划动手势之一向上划、向下划、向左划、向右划、向右上划、向右下划、向左下划、向左上划、敲击(TAP)。“敲击”是使用户能够在触摸输入部件108上进行敲击来表示按钮点击的手势， 也称为“软点击”，因为没有对实体按钮进行实际按压，而是TAP手势被辨识出来作为选择输入。可以理解，x-y至手势转换模块216可以把x-y运动数据转换成其他手势输出，例如转圈(CIRCLE)、回转(U-TURN)和其他已知的手势。
转换数据224的格式也可以确定x-y至手势转换模块216是如何把χ-y运动数据转换成手势数据的。在一些实施例中，可能希望对转换数据224中定义的手势数目进行限制，以使触摸输入部件108易于学习和使用。但是，某些用户可能希望使用更加复杂的手势，在此情形下，例如可以通过使用户能够经过偏好编辑工具对转换数据2M进行编辑来对转换数据2M进行扩充。
指令208中可以提供的另一模块是手势至按键代码转换模块220。与χ-y输入捕捉模块212和x-y至手势转换模块216类似，手势至按键代码转换模块220可以包含在指令208中，可以作为UI驱动器M4的一部分，也可以是把两种情形相结合。
在一些实施例中，手势至按键代码转换模块220接收由x-y至手势转换模块216 提供的手势数据输出，并把该手势数据转换成按键代码数据。在一些实施例中，按键代码数据是以与键区输入部件112的数据输出相同或详细的格式提供的。例如，按键代码数据可以模仿键区输入部件112，并可以由处理器252以与从键区输入部件112接收的输入相同的方式来处理。因此，手势至按键代码转换模块220通过把手势数据(该数据最初是x-y运动数据)转换成按键代码输出，使触摸输入部件108能够效仿键区输入部件112的某些输出。在一些实施例中，这些按键代码可以对应于用来构造中文字符的预定划动。
在一些实施例中，这些按键代码可以对应于预定的DTMF信号(或键区输入部件112处的输入，该输入可能造成生成DTMF信号)，从而使用户设备100即使在键区输入部件112是QWERTY键盘形式(这在过去是不能生成DTMF信号的)的情况下也能够提供DTMF功能。这在下述情形下尤其有用在这些情形中，用户设备100的用户正在与音频菜单(例如由呼叫中心、语音邮件系统等提供的音频菜单)进行接口，而没有传统电话键区输入部件(该输入部件清楚地示出字母至数字的映射，例如2- "ABC", 3- “DEF”， 4- "GHI",.. . 9- “WXYZ”)。用户可以与触摸输入部件108进行接口并使触摸输入部件108 所捕捉的x-y运动(例如定义了某个字母的运动)被转换成按键代码输入，该按键代码输入生成与传统电话键区输入部件上的具体数字相对应的适当DTMF音调。
与x-y至手势转换模块216类似，手势至按键代码转换模块220可以利用转换数据2M来把手势数据映射到按键代码输出。在一些实施例中，转换数据2M中定义的每个手势可以被映射到不同的按键代码。在一些实施例中，转换数据224中定义的两个或更多个手势可以被映射到共用的按键代码。在一些实施例中，转换数据224中定义的一个或多个手势可以被映射到使处理器执行某个功能或过程的一个命令或一系列命令。例如，一个或多个手势可以被映射到使触摸输入部件108在导航模式与手势捕捉模式之间切换的命令。 如果这样的映射存在，则对与模式切换命令对应的手势进行的检测可以取决于触摸输入部件正被切换到导航模式还是手势捕捉模式，来使x_y至手势转换模块216和手势至按键代码转换模块220中的一者或两者可操作或者不可操作，其中在导航模式下，(一个或多个) 模块216、220是不活动的(即不对χ-y运动数据进行处理)，而在手势捕捉模式下，(一个或多个)模块216、220是活动的(即正在处理x-y运动数据)。
指令208中可以提供的再一个模块是文本模块236。与本申请中所述的其他两个模块类似，文本模块236可以包含在指令208中，可以是UI驱动器244的一部分，可以在某个其他的驱动器中，可以作为操作系统M8的一部分，也可以把这些情况组合。
在一些实施例中，文本模块236使用户能够编写、读取、转发和/或答复文本消息。 在一些实施例中，文本模块236利用来自下述一项或多项的数据来帮助用户编写文本消息键区输入部件112、UI驱动器M4、x-y输入捕捉模块212、χ-y至手势转换模块216、手势至按键代码转换模块220，该文本消息最终可以经过通信接口 264而发送。
在一些实施例中，文本模块236可以包括预测组件对0，该组件使文本模块236能够基于已经接收的用户输入来建议潜在的字符或字符串输入。例如，如果用户已经打了三个字母，则预测组件240可以对所接收的三个字母进行分析并建议包含所接收的三个字母的完整单词。作为另一示例，如果用户正在输入由一系列多个笔画构成的中文字符，则在用户已经输入一个笔画之后，预测组件240可以显示一组可能字符，这些字符在构成该字符时以那一个笔画作为第一笔。如果用户输入了另一笔画，则预测组件240可以基于已经接收的前两个笔画的组合来更新这组可能字符。因此，文本模块236和预测组件240使用户能够输入字符或字符串而无需提供与该字符或字符串对应的完整输入。具体而言，用户可以从由预测组件240建议的这组可能字符中选择期望的字符或字符串，所选的字符或字符串可以被插入到正被编写的消息中。
预测组件240在提供针对字符或字符串的建议中可以参考字符数据228。具体而言，字符数据2 可以包括与字符或字符串的构造以及用来构造整个字符或字符串的输入 (通常是按键代码的形式)有关的信息。这样，在触摸输入部件108或键区输入部件112处接收了各个用户输入之后，预测组件240确定相应的按键代码输入，并从它的建议中消除不包含与所接收的用户输入相对应的按键代码输入的任何字符或字符串。
现在参考图3，对按照本发明至少一些实施例的转换数据224的一种可能配置的细节进行说明。转换数据2M可以被配置成把x-y运动数据字段312中的值映射到手势数据字段308中的值，以及把手势数据字段308中的值映射到按键代码数据字段304中的值。 在一些实施例中，转换数据可以取决于用户设备100的用户用右手还是左手对触摸输入部件108进行操作而被重新配置。
在一些实施例中，按键代码数据字段304可以包含与已被映射到键区输入部件 112上的具体按钮的笔画类型相对应的值。在用转换数据2M来便于在文本信息中构造中文字符的实施例中，按键代码数据字段304可以包括与具体的笔画类型、通配(wildcard) 笔画和/或使触摸输入部件108在手势捕捉模式与导航模式之间切换的命令相对应的值。
操作中，x-y至手势转换模块216把从χ-y输入捕捉模块212接收的χ-y运动数据与x-y运动数据字段312中的数据进行比较。在发现匹配时，x-y至手势转换模块216给手势至按键代码转换模块220提供在x-y运动数据字段312中发现的匹配值的标识。x_y 至手势转换模块216确定手势数据字段308中相应的按键代码值，并提供该值作为输出以供进一步处理，从而造成与按键代码数据字段304中的相应值相符的键盘动作。
图3所示的非限制性示例表明在第一数据映射实例316a中，向右划手势可以被映射到第一按键代码值(Gl)，第一按键代码值模仿了输入横笔画的键盘动作(即键区输入部件112命令)。在第二数据映射实例316b中，向下划手势可以被映射到第二按键代码值 (G2)，第二按键代码值模仿了输入竖笔画的键盘动作。在第三数据映射实例316c中，向左下划手势可以被映射到第三按键代码值(G3)，第三按键代码值模仿了输入撇笔画的键盘动作。在第四数据映射实例316d中，向右下划手势可以被映射到第四按键代码值(G4)，第四按键代码值模仿了捺笔画的键盘动作。在第五数据映射实例316e中，向左划手势可以被映射到第五按键代码值(G5)，第五按键代码值模仿了输入钩/折笔画的键盘动作。在第六数据映射实例316f中，向左上划手势可以被映射到第六按键代码值(G6)，第六按键代码值模仿了输入通配值的键盘动作。例如在生成字符时用户不能确定笔画类型或笔画的书写顺序时，通配值一般是有用的。使用通配值代替实际笔画使预测组件240能够考虑到插入该通配值的序列中所有的可能笔画类型。因此，通配值在向用户提供字符建议时不会限制由预测组件240对字符数据2 的搜索。在第七数据映射实例316g中，SWIPE UP手势可以被映射到第七按键代码值(G7)，第二按键代码值模仿了使触摸输入部件108在导航工作模式与手势捕捉工作模式之间切换的一个键盘动作或一系列动作。如果x-y至手势转换模块216 以8向摇杆模式工作，则第八手势(即向右上划)可以被映射到第八按键代码值(G8)，第八按键代码值可以模仿用户定义的任何类型键盘动作，或者也可以根本不模仿动作。
现在参考图4，说明按照本发明的至少一些实施例的用户输入捕捉处理。该处理开始于步骤404，触摸输入部件108开始捕捉用户输入。当触摸输入部件108被置于手势捕捉工作模式而不是传统的导航工作模式时(步骤408)，该处理继续。在手势捕捉工作模式下，触摸输入部件108处检测到的用户动作由x-y输入捕捉模块212、χ-y至手势转换模块216和手势至按键代码转换模块220处理，从而使x-y运动被转换成手势数据并随后被转换成按键代码值。另一方面，在导航工作模式下，x-y输入捕捉模块212的输出或x-y至手势转换模块216的输出可以被用来对显示屏104上光标、指针、选择工具、对象等的运动进行控制。
因此，在触摸输入部件108处于手势捕捉模式之后，当在触摸输入部件108处检测到x-y运动时(步骤412)，该处理继续。对x-y运动进行检测的方式将取决于所用的触摸输入部件108的类型。在一些实施例中，由触摸输入部件108捕捉的用户手指的一系列图像可以被进行比较，以确定用户的手指相对于触摸输入部件108的x-y运动。在一些实施例中，由用户向触摸板施加的接触或压力可以被登记，随着用户移动其手指，关于触摸板压力的运动可以被分析以确定用户的手指相对于该触摸输入部件的x-y运动。
在一些实施例中，该处理继续进行，由x-y输入捕捉模块212对触摸输入部件108 处检测的、所捕捉的x-y运动进行分析，并基于触摸输入部件108处检测的、所捕捉的x-y 运动来确定x-y运动数据(步骤416)。X-y输入捕捉模块212向χ-y至手势转换模块216提供所确定的x-y运动数据作为输入。x-y至手势转换模块216分析x-y运动数据并利用转换数据2M来把x-y运动数据转换至手势数据(步骤420)。
此后，x-y至手势转换模块216向手势至按键代码转换模块220提供所确定的手势数据作为输入。手势至按键代码转换模块216分析该手势数据并利用转换数据2M来把手势数据转换至按键代码输出(步骤424)。手势至按键代码转换模块216还可以确定该按键代码输出是否对应于用于退出手势捕捉工作模式的命令(步骤428)。参考图3的示例， 如果该手势数据对应于向上划手势，则步骤428的查询得到肯定答复。否则，步骤428的查询得到否定答复。
在所确定的按键代码输出不对应于退出手势捕捉工作模式的命令的情况下，显示屏104被更新以反映所检测的用户输入(步骤432)。在一些实施例中，显示屏104图示所确定的按键代码数据字段304中的值。所图示的值可以对应于通常由键区输入部件112提供的输入(即使该输入是在触摸输入部件108处接收的)。
返回参考步骤428，如果所确定的按键代码输出确实对应于退出手势捕捉工作模式的命令，则转换模块216、220中的一者或两者从用来对由触摸输入部件108捕捉的χ-y 运动输入进行处理的模块序列中被除去，使得用户能够在导航模式下操作该触摸输入部件 108(步骤436)。在一些实施例中，这意味着用户可以在显示屏104上到处使光标沿x-y方向运动，并选择由文本模块236所建议的字符、字符类型或字符串。
在步骤432或436之后，该处理继续进行，确定触摸输入部件处是否已接收或将要接收更多的输入(步骤440)。如果不是，则执行与所确定的按键代码值相符的一个或多个键盘动作(步骤444)。
另一方面，如果触摸输入部件108处将要接收更多的输入(例如用户尚未完成文本消息的编写)，则该处理继续进行，确定用户是否希望重新进入手势捕捉模式(步骤 448)。回到手势捕捉模式可以通过对触摸输入部件108进行一个或多个选择来实现，或者通过对键区输入部件112上的一个或多个按钮进行按压来实现。如果触摸输入部件108从未离开手势捕捉模式，则步骤448的查询得到否定答复，该处理继续到步骤412。否则，该处理返回步骤408。如果触摸输入部件108离开过手势捕捉模式，则可能希望向用户查询其是否希望重新进入手势捕捉模式，或者提供某种选项以重新进入手势捕捉模式。
尽管不一定要利用手势捕捉模式来在用户设备100上执行某些任务(例如编写文本消息或与DTMF使能的音频菜单进行交互)，但是图4所示处理用于图示当采用手势捕捉模式时发生的数据流。如果用户决定在没有手势捕捉模式的帮助下执行任务，则可以用传统的键区输入部件112和经过触摸输入部件108的导航来执行这些任务。但是，与不使用手势捕捉模式的情形相比，利用手势捕捉模式可以给执行任务提供更快捷、更方便的途径。 尤其是，与采用导航模式相比，利用手势捕捉模式可以通过更少的输入或动作来使用户能够执行某些任务或者使用户设备100采取某些动作。
现在参考图5A 图5C、图6A 图6D以及图7A 图7D来说明经过在手势捕捉模式下工作的触摸输入部件108来输入中文字串的一种示例。尽管只图示了包含3个字的字串，但是如果需要，本申请中描述的概念可以用来输入更少字、更少字符甚至是一个字符的串。此外，本申请中描述的概念还可以应用于文本模块236，便于以任何语言创建文本消息。同样，本申请中描述的概念还可以应用于经过触摸输入部件108生成一个或多个DTMF音调以发送到另一通信设备。
先参考图5A 图5C，说明用于输入第一中文字504的处理。第一中文字504的形态结构可能需要八个或更多个笔画来组成。但是，在文本模块236和预测组件MO的帮助下，可以只用两个输入手势508a和508b即输入第一中文字504。可以理解，在不脱离本发明范围的情况下，可以用更多或更少数目的输入手势来输入第一中文字504。
首先，用户将开启文本模块236，空的消息编写屏幕将经过用户输出部件260显示给用户。用户然后可以经过触摸输入部件108而输入最初两个手势508a和508b。第一手势508a可以被确定为向左下划手势，该手势被映射到按键代码值G3。第二手势508b可以被确定为向下划手势，该手势被映射到按键代码值G2。
第一手势508a在触摸输入部件108处被接收并被存储器204中的可应用模块处理之后，用户输出部件260被更新以显示撇笔画。类似地，第二手势508b在触摸输入部件 108处被接收并由存储器204中的可应用模块处理之后，用户输出部件260被更新以显示竖笔画。然后，用户输出部件260显示第一序列的笔画输入512，这些输入也由预测组件240 处理。预测组件240然后可以在用户输出部件260的底部部分提供可能字或完整字的菜单。 候选字或字类型可以在用户输出部件260上通过一个或多个突出显示框516a、516b和/或 516c进行突出显示(highlight)。
在用户已经输入了足够的手势，把突出显示框516a_c的数目减少到期望数目之后，用户可以输入向上划的第三手势，该手势使触摸输入部件108退出手势捕捉模式。然后，用户可以在由预测组件240建议的候选字或字类型之间移动光标，并用选择工具520来选择期望的字符或字。这使得用户输出部件260上的显示被更新，由与第一中文字504对应的第一所选字524取代第一序列的笔画输入512。
现在参考图6A 图6D，说明用于输入第二中文字604的处理。第二中文字604的形态结构可能需要五个或更多个笔画来组成。但是，在文本模块236和预测组件MO的帮助下，可以只用两个输入手势608a和608b即输入第二中文字604。可以理解，在不脱离本发明范围的情况下，可以用更多或更少数目的输入手势来输入第二中文字604。在一些实施例中，第二中文字604可以在第一中文字504之后被组成，以构成文本消息中的字串。
用户可以经过触摸输入部件108而输入最初两个手势608a和608b。第一手势 608a可以被确定为向右划手势，该手势被映射到按键代码值Gl。第二手势608b可以被确定为向左划手势，该手势被映射到按键代码值G5。
第一手势608a在触摸输入部件108处被接收并被存储器204中的可应用模块处理之后，用户输出部件260被更新以显示横笔画。类似地，第二手势608b在触摸输入部件 108处被接收并由存储器204中的可应用模块处理之后，用户输出部件260被更新以显示钩/折笔画。然后，用户输出部件260显示第二序列的笔画输入612，这些输入也由预测组件240处理。预测组件240然后可以在用户输出部件260的底部部分提供可能字或完整字的菜单。候选字或字类型可以在用户输出部件260上通过一个或多个突出显示框616a和 /或616b进行突出显示。
在用户已经输入了足够的手势，把突出显示框616a_b的数目减少到期望数目之后，用户可以输入向上划的第三手势，该手势使触摸输入部件108退出手势捕捉模式。然后，用户可以在导航模式下操作触摸输入部件108，在由预测组件240建议的候选字或字类型之间移动光标，并用选择工具620来选择期望的字符或字。这使得用户输出部件260上的显示被更新，由第二所选字6M取代第二序列的笔画输入612。在选择字类型624时，选择条可以被变更以提供对属于所选字类型6M的字的选择。用户可以被允许经过触摸输入部件108对该选择条进一步进行导航，并用选择工具6 来选择期望的字符或字。这使得用户输出部件260上的显示被更新，由与第二中文字604对应的第二所选字632取代所选字类型624。此时，用户输出部件260可以既显示第一中文字504又显示第二中文字604。
现在参考图7A 图7D，说明用于输入第三中文字700的处理。与第一和第二中文字504、604不同，第三中文字可以对应于复杂字，该复杂字可以被分成第一部分704和第二部分712。第三中文字700的形态结构可能需要八个或更多个笔画来组成。但是，在文本模块236和预测组件240的帮助下，可以只用四个输入手势708a、708b、708c和716即输入第三中文字700。最初三个手势708170 和708c可以用来构造第三中文字700的第一部分704，而第四手势716可以用来构造第三中文字700的第二部分708。可以理解，在不脱离本发明范围的情况下，可以用更多或更少数目的输入手势来输入第三中文字700。在一些实施例中，第三中文字604可以在第一和第二中文字504、604之后被组成，以构成文本消息中的字串。
用户可以经过触摸输入部件108而输入最初三个手势708a、708b和708c。第一手势708a可以被确定为向下划手势，该手势被映射到按键代码值G2。第二手势708b可以被确定为向左划手势，该手势被映射到按键代码值G5。第三手势708c可以被确定为向右划手势，该手势被映射到按键代码值Gl。
第一手势708a在触摸输入部件108处被接收并被存储器204中的可应用模块处理之后，用户输出部件260被更新以显示竖笔画。类似地，第二手势708b在触摸输入部件 108处被接收并由存储器204中的可应用模块处理之后，用户输出部件260被更新以显示钩 /折笔画。第三手势708c在触摸输入部件108处被接收并被存储器204中的可应用模块处理之后，用户输出部件260被更新以显示横笔画。然后，用户输出部件260显示第三序列的笔画输入720，这些输入由预测组件240处理。预测组件240然后可以在用户输出部件260 的底部部分提供可能字或完整字的菜单。候选字或字类型可以在用户输出部件260上通过一个或多个突出显示框72^、724b和/或72 进行突出显示。
在用户已经输入了足够的手势，把突出显示框72^-c的数目减少到期望数目之后，用户可以输入向上划的第四手势，该手势使触摸输入部件108退出手势捕捉模式。然后，用户可以在导航模式下操作触摸输入部件108，在由预测组件240建议的候选字或字类型之间移动光标，并用选择工具732来选择期望的字符或字。这使得用户输出部件260上的显示被更新，由所选字类型取代第三序列的笔画输入720。在选择字类型时，选择条可以被变更以提供对属于所选字类型的字的选择。
与图6D所示经变更的选择条相比，图7D所示经变更的选择条可以仍然包括属于所选字类型的大量字。因此，用户可能希望重新进入手势捕捉模式并提供更多的手势输入来进一步减少经变更的选择条中图示的候选字或字类型的数目。在重新进入手势捕捉模式时，用户可以经过触摸输入部件108来输入第四手势716。第四手势可以被确定为另一个向左划手势，该手势被映射到按键代码值G5。输入第四手势716使用户输出部件260把所选字类型以及与第四序列的笔画输入7 对应的钩/折笔画一起显示。这个附加的手势输入可以使预测组件突出显示某些字或者从经变更的选择条除去某些字。
随后，用户输入与向上划对应的另一手势，该手势使触摸输入部件108再次退出手势捕捉模式。然后，用户可以在导航模式下操作触摸板108，在由预测组件240建议的候选字或字类型之间移动光标732，并用选择工具740来选择期望的字符或字。这使得用户输出部件260上的显示被更新，由与第三中文字700对应的第三所选字736取代第四序列的笔画输入728。此时，用户输出部件260可以显示第一中文字504、第二中文字604和第三中文字700。然后可以根据需要经过通信接264发送该消息或进一步编辑该消息。
现在参考图8，说明按照本发明实施例以光学方式使能的触摸输入部件108的细节。如上所述，以光学方式使能的触摸输入部件108仅仅是可以采用本发明教导的许多合适类型触摸输入部件108中的一种。此外，在不脱离本发明范围的情况下，也可以采用与图 8所示以光学方式使能的触摸输入部件108具有不同组件或组件配置的、以光学使能方式使能的触摸输入部件108。例如在授权给Baharav等人的美国专利No. 7，274，808中描述了合适的以光学方式使能的触摸输入部件108的进一步细节，该申请的全部内容通过引用方式结合于此。
从LED 120发射的光125由耦合透镜150向棱镜155耦合，该棱镜把光125以期望的入射角导向刷动界面110。取决于棱镜155的形状和入射角，光125可以用全内反射 (TIR)机构来导向。在其他实施例中，光125可以用反射光机构来导向。在图8中，光125 穿过棱镜155的第一表面158并以期望的入射角向着刷动界面110的顶表面115折射。从按在刷动界面110的表面115上的手指20反射回来的光1 在棱镜155的第一表面158 受到内反射，并穿过棱镜155的第二表面159。
从棱镜155离开的反射光1 沿着与刷动界面110的长度方向正交的X方向行进， 并穿过放大光学器件130，放大光学器件130把反射光1 导向另一棱镜135。棱镜135在表面138轨光1 进行内反射，把光1 沿Z方向重定向到传感器140。通过在χ方向利用折叠光学器件而不是在ζ方向利用传统光学器件，划动模块110沿ζ方向的厚度可以减小。 应当理解，在照明光学器件150和/或图像传输光学器件130中，也可以使用更多的光学组件，例如孔径和透镜。另外，也可以用其他的光学布局代替图8所示的光学布局来使光的光路折叠。
上文的描述中为了说明目的而以具体的顺序描述了一些方法。应当明白，在替代性实施例中，这些方法可以以与所述顺序不同的顺序来执行。还应当明白，上文所述的方法可以由硬件组件来执行，也可以由机器可执行指令的序列来实现，这些指令可以在被使用时使机器(例如用这些指令编程的通用或专用的处理器或逻辑电路)执行这些方法。这些机器可执行指令可以被处在在一个或多个机器可读介质上，这些介质例如CD-ROM或其他类型的光盘、软盘、R0M、RAM、EPR0M、EEPR0M、磁卡或光卡、闪存、或者适于储存电子指令的其他类型机器可读介质。或者，这些方法可以由硬件和软件的组合来执行。因此，本申请中讨论的方法/算法既可以由硅以硬件功能的方式实施，也可以在外部控制器或微控制器中以固件形式实施。
说明书中给出了一些具体细节来提供对于这些实施例的详尽理解。但是本领域技术人员可以理解，这些实施例可以在没有这些具体细节的情况下实施。例如，电路可能以框图的形式示出以免由不必要的细节使这些实施例模糊。在其他情形下，公知的电路、处理、算法、结构和技术可能没有由不必要的细节示出，以免使这些实施例模糊。
另外应当注意，这些实施例是作为由流程图、流程示意图、数据流示意图、结构示意图和/或框示的处理来描述的。尽管流程图可能将这些操作描述为依次处理，但是这些操作中的许多是可以并行或同时地执行的。另外，这些操作的顺序可以重新布置。处理在其操作完成时被终止，但是也可以具有附图中没有包括的更多步骤。处理可以对应于方法、函数、过程、子例程、子程序等。当处理对应于函数时，其终止对应于函数返回到调用函数或主函数。
此外，各种实施例可以由硬件、软件、固件、中间件、微代码、硬件描述语言或它们的组合来实现。在以软件、固件、中间件或微代码来实现时，执行必要工作的程序代码或代码段可以被储存在机器可读介质(例如储存介质)中。(一个或多个)处理器可以执行这些必要工作。代码段可以代表过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或者代表指令、数据结构或程序声明的任何组合。代码段可以通过传递和/或接收信息、数据、变量、参数或存储器内容而被耦合到另一代码段或硬件电路。信息、变量、参数、数据等可以经过任何合适的手段而被传递、转发或传输，所述手段包括存储器共享、消息传递、令牌传递、网络传输等。
尽管已经在本申请中详细描述了本发明的示例性实施例，但是应当理解，这些创造性的概念也可以通过其他方式另外实现或利用，所附权利要求应当被解释为包含了除现有技术所限制的形式之外的变化形式。
权利要求
1.一种在用户设备的触摸输入部件以手势捕捉模式工作时把在所述触摸输入部件处接收的用户输入转换成按键代码数据的处理，该处理包括在所述触摸输入部件处检测用户发起的运动；把所检测的运动转换成χ-y运动数据；把所述χ-y运动数据转换成手势数据，所述手势数据代表已被映射到预定的χ-y运动数据值的预定手势；把所述手势数据转换成按键代码数据；以及向所述用户设备的处理器提供所述按键代码数据，其中，所述按键代码数据使所述处理器执行下述至少一项(i)与所述按键代码数据相符的一个或多个键盘动作，和(ii)确定与所述按键代码数据相对应的语言字符而无需键盘动作。
2.根据权利要求1所述的处理，其中，所述用户设备还包括键区输入部件，并且其中， 所述按键代码数据模仿所述键区输入部件的数据输出，并被所述处理器以与从所述键区输入部件接收的输出相似的方式进行处理。
3.根据权利要求1所述的处理，其中，所述手势数据被转换成包括值的按键代码数据， 该值对应于为文本消息构造字符或字的笔画类型，并且其中，所述处理器使所确定的语言字符经过用户输出部件来显示。
4.根据权利要求1所述的处理，其中，所述手势数据被转换成包括值的按键代码数据， 该值对应于退出所述手势捕捉模式并进入导航模式的命令，在所述导航模式中，所述x-y 运动数据被用来对与所述用户设备的用户输出部件有关的光标、对象和选择工具中的至少一项进行导航。
5.根据权利要求1所述的处理，其中，所述手势数据被转换成包括值的按键代码数据， 该值对应于生成和发送DTMF音调的命令。
6.根据权利要求1所述的处理，其中，所述手势数据是从包括下列手势中一项或多项的手势列表中选择的向上划、向下划、向左划、向右划、向右上划、向右下划、向左下划、向左上划、敲击。
7.根据权利要求6所述的处理，其中，所述手势列表中的至少一个手势被映射到包括值的按键代码数据，该值对应于用户定义的命令。
8.根据权利要求1所述的处理，其中，所述触摸输入部件包括下列一种或多种光学传感器、小面积电容传感器、摇杆开关、微型操纵杆、滚球、触摸屏输入部件。
9.根据权利要求1所述的处理，其中，所述按键代码数据被映射到下列至少一项(i) 所述用户设备的键区上的硬件按钮，和(ii)所述用户设备的触摸屏上的虚拟按钮。
10.根据权利要求9所述的处理，其中，所述键区被配置成QWERTY键盘和电话拨号盘中的一者。
11.一种包含处理器可执行指令的计算机可读介质，这些指令在由所述用户设备的所述处理器执行时，执行权利要求1所述的方法。
12.—种用户设备，包括用户接口，其包括触摸输入部件和用户输出部件；用户接口驱动器，其被配置成把由所述触摸输入部件检测到的运动转换成电子信号；χ-y输入捕捉模块，其被配置成把由所述用户接口驱动器提供的电子信号转换成x-y运动数据；χ-y至手势转换模块，其被配置成把所述χ-y运动数据转换成手势数据，所述手势数据代表已被映射到预定的χ-y运动数据值的预定手势；以及手势至按键代码转换模块，其被配置成把所述手势数据转换成按键代码数据，所述按键代码数据使所述用户设备执行下述至少一项(i)与所述按键代码数据相符的一个或多个键盘动作，和(ii)确定与所述按键代码数据相对应的语言字符而无需键盘动作。
13.根据权利要求12所述的设备，还包括处理器和存储器，其中，所述用户接口驱动器、χ-y输入捕捉模块、χ-y至手势转换模块和手势至按键代码转换模块中的至少一者是作为所述存储器中可由所述处理器执行的指令而提供的。
14.根据权利要求12所述的设备，其中，所述用户接口驱动器、x-y输入捕捉模块、x-y 至手势转换模块和手势至按键代码转换模块中的至少一者是由硅实现的硬件功能的形式。
15.根据权利要求12所述的设备，还包括进行下述至少一项映射的转换数据x-y运动至手势数据、x-y运动至按键代码数据、手势数据至按键代码数据。
16.根据权利要求15所述的设备，其中，所述转换数据能够取决于所述用户设备的用户用右手还是左手操纵所述触摸输入部件而被重新配置。
17.根据权利要求12所述的设备，其中，所述触摸输入部件被配置成以导航模式和手势捕捉模式工作，其中，所述x-y至手势转换模块和手势至按键代码转换模块在所述手势捕捉模式下是活动的，其中，所述χ-y至手势转换模块和手势至按键代码转换模块中的至少一者在所述导航模式下是不活动的。
18.一种用于把在用户设备的触摸输入部件处接收的用户输入转换成按键代码输出的系统，该系统包括用户接口驱动器，被配置成把在所述触摸输入部件处检测的运动转换成电子信号；χ-y输入捕捉模块，被配置成把由所述用户接口驱动器提供的电子信号转换成χ-y运动数据；χ-y至手势转换模块，被配置成把所述χ-y运动数据转换成手势数据，所述手势数据代表已被映射到预定的χ-y运动数据值的预定手势；以及手势至按键代码转换模块，被配置成把所述手势数据转换成按键代码数据，所述按键代码数据使所述用户设备执行下述至少一项(i)与所述按键代码数据相符的一个或多个键盘动作，和(ii)确定与所述按键代码数据相对应的语言字符而无需键盘动作。
19.根据权利要求18所述的系统，其中，所述x-y至手势转换模块被配置成以8向摇杆模式工作，在该模式下，x-y运动数据被转换成从包括不超过八个手势的手势列表中选择的一个手势。
20.根据权利要求19所述的系统，其中，所述八个手势中的至少一个被转换成包括值的按键代码数据，该值对应于在手势捕捉模式与导航模式之间切换的命令，在所述手势捕捉模式下，所述χ-y至手势转换模块是活动的，在所述导航模式下，所述χ-y至手势转换模块是不活动的。
全文摘要
本公开涉及方向性输入到手势的转换。公开了一种用户设备，该设备包括触摸输入部件和键区输入部件。该用户设备被配置成以手势捕捉模式和导航模式来操作。在导航模式下，用户与触摸输入部件进行接口以在用户输出部件内移动光标或类似的选择工具。在手势捕捉模式下，用户与触摸输入部件进行接口以提供手势数据，该数据被转换成按键代码输出，该输出具有与键区的输出相似或相同的格式。
文档编号G06F3/048GK102541437SQ20111035055
公开日2012年7月4日 申请日期2011年10月31日 优先权日2010年10月29日
发明者曾来福, 谢忠品, 郭文豪 申请人:安华高科技Ecbuip(新加坡)私人有限公司