专利名称：利用输入装置的位置预存用户交互元素的方法
本专利申请与Gillette等人于2000年9月11日提交的未决美国专利申请No.09/6591809、名为“手写笔迹分析方法”的专利相关。
最近，多种类型的用于个人数据组织的手持式电子装置取得了成功的市场行情。其中一种这样的装置是由位于加利福尼亚的一家3Com公司，即Palm Computing of Mountain View提供的、销售商标为PALMPILOT、PALM III、PALM IV、与PALM V的PDA。这些PDA中包括控制按钮以及触觉敏感屏，其中在触觉敏感屏上显示激活区域。典型情况下，PDA中显示电话号码、提示列表、日历、数字存储的地图、方向等，所有这些可以通过触摸激活区域与/或控制按钮来访问。
为了激活触觉敏感屏上的激活区域，PDA中还包括单独的手写笔或触针。触觉敏感屏的激活区域中可以包括数据输入口。用户可以使用屏幕上的键盘或者屏幕上对速记形式进行响应的手写“垫”向PALPILOT中输入数据。这两种数据输入装置都需要用触针来实现。例如，用户可以通过屏幕上的键盘输入字母字符。利用相应的软件，当触针放在手写板上与/或在手写板上移动时，手写垫能够识别/读取手写笔迹，并且能够将笔迹解释为执行给定功能的指令，或者将笔迹翻译为数字标记。
压力式触针系统的固有特性是，其性能取决于触针与书写表面的接触。因此，当触针没有接触到书写表面时，典型的压力式系统无法接收到触针数据。此外，压力式系统的一个固有性特点是，无法提供对触针在书写表面上划过的速度的测量。
授予Meeks等人的美国专利No.5,347,589中公开了用于显示手写参数的系统，其中用笔速来调节围绕在显示屏笔迹周围的包络。为了实现识别的目的，系统允许将已经存储的参考签字与笔写的新签字进行并行比较。在其它的笔速式动态签字分析系统中，产生与笔划过表面的切线速度成正比的模拟信号。系统将信号与参考信号进行相关分析，并报告相关度。在另外的一个系统中，通过使用带有加速度计和压力传感器的笔，提供自动识别信号，其中在内部将笔的加速度和压力作为判别信息。另外一个系统判断笔速的X与Y分量，将速度矢量中的差分幅值用作内部判别信息。
触觉敏感系统的第一个缺点为用触针完成的动作只取决于触针与触觉敏感显示屏之间的直接接触。换句话说，如果触针没有接触到触觉敏感屏，由触针的使用或位置决定的计算机动作将不会被改变、实现或执行，而且，触针的位置信息既不会传递给触觉敏感屏，也不会被内部计算装置利用。
触摸敏感屏的激活区域还可以包括屏幕上的控制部分，控制部分由特殊定义的区域定义，如果接触到这些区域，将发生预定的变化或实现计算机的动作功能。由触觉敏感屏上的区域定义的控制部分的例子包括代表软件功能的图标与下拉菜单。例如，这些区域可以是位图。例如，这样的菜单包括文字处理软件中的文字处理功能，即“文件”、“编辑”、“视图”、“插入”、“格式”、“工具”、“表格”、“窗口”以及“帮助”。目前，只有通过触针直接在特定的控制区域上与屏幕发生实际接触，才能执行触觉敏感屏上的激活区域(对应的功能)。
因此，现有触觉敏感系统的第二个缺点为只有触针直接在特定的控制区域上与屏幕发生实际接触后，计算机才能开始完成控制区域的功能，或者产生执行功能所需要的预备行为。在这样的接触发生之前，不会完成功能或预备的行为。
通过载入特定的软件程序或将软件程序进行缓存来实现软件功能将消耗时间。例如，在给出指令(即，触摸PDA或双击桌上型/膝上型计算机)激活诸如文字处理软件、日历、或地址列表的程序时，将软件程序完全装载入计算机内存将消耗时间。
因此，现有触觉敏感系统的第三个缺点为实现控制区域对应的功能时存在延迟，只有触针实际接触到定义控制区域的特定位置后，才会实现该功能。
对于现有的基于触摸敏感、触针/手写板、手持式的系统，如果不使用在触针与手写板之间直接接触的触针与手写板，还有多种能够实现这个特性的触针式系统。在本领域的技术范围内，目前有两种系统部分实现了无需触针与手写板之间的直接接触，这两个系统包含电感耦合与射频系统。
Synaptics，Inc生产出一种电感耦合的笔式敏感系统。这种电感系统的工作方式是通过调节固定点与移动点之间的电感耦合，对两点间的相对位置进行精确测量。特别地，系统测量笔尖相对于笔式计算机的相对位置。系统的印刷电路板上包含用作固定敏感线圈的迹线。将固定激发线圈放置在印刷电路板与液晶显示屏(LCD)之间。无源的笔中包含电容和线圈，用该笔在LCD上“书写”。这个系统可以跟踪并记录笔在LCD上的移动。值得注意的是，此装置可以在LCD表面上一定距离内敏感到笔的位置。对于常规的电源输出，系统可以在LCD表面上接近半(0.5)英寸的距离上对笔进行跟踪。
一个示例的实施例为射频”RF”笔式敏感系统，该系统由CROSS笔计算集团生产，被称为CROSSPAD装置。此系统的笔中包含一个小型RF发射机，向笔记中发送笔画数据。由于发射机发送无线信号，系统可以在显示屏表面上的一定距离内对笔的移动进行跟踪与记录。
消费者可以根据响应速度、无缝导航以及图形用户界面(GUI)易用性对电子产品进行判断和区分。带有菜单、超文本与图形选择特性的GUI正日益普遍，在电子装置中，为了适应日益增加的功能，包括这些特点的GUI屏幕密度正快速提高。对于无线装置，这种情况尤为突出这些装置的发展趋势是小尺寸以及带有小的、低分辨率的显示屏。
现有技术的用户辅助技术(例如WINDOWS中的“工具技巧”，以及当指针经过超级链接时的高亮显示/滚动)中使用二维信息(即屏幕上的X-Y位置)。这些用户辅助技术可以被称为预先提示。然而，使用这个技术的系统中存在许多局限。
一种局限是不经意的触发。典型情况下，当用户在屏幕上不同的位置之间移动时，用户在屏幕平面上(沿着屏幕平面)移动。典型情况下，屏幕上包含许多不同的控制区域、热点或超级链接。因此，如果只使用二维技术在屏幕上移动，用户的移动会跨越许多控制区域。在这种情况下，用户不希望激活经过的控制区域；用户只希望激活目标控制区域。但是，由于中间区域直接出现在通向期望控制区域的路径上，在指针滑过超级链接或热点时，很可能不经意地激活中间的控制区域。这种不经意的触发被称为虚假提示。
第二个局限是访问时间。在手写板上特定的屏幕内的一般运动与控制区域交互之间，由于减少并排除了许多冲突，(与三维触针跟踪系统相比，)二维系统花费更多的时间来触发预先提示。
第三个局限是记录器跟踪。只有当触针接触到手写板(即有效输入区域)时，才能跟踪二维装置中的实际运动。没有跟踪第三维运动。
因此，通过对现有技术的介绍，表明需要PDA的工作更快并更方便。此外，需要一种精确接触PDA触觉敏感屏幕上选定的有效区域而言，更方便的方法和装置。
换句话说，在触针接触到屏幕之前，由触针的使用或位置决定的计算机动作即可被改变、实现或执行，而且，触针的位置信息即可传递给触觉敏感屏，并被内部计算装置利用。
本发明提供了一种预存系统，可以根据指示装置(即触针)的三维位置和运动，预见到用户与系统间可能进行的交互。特别地，在使用过程中，本发明捕获到触针的非接触运动。正如在此用到的，术语预存被定义为执行被分配到确定的控制区域上的功能所需要的预备动作。
而且，术语笔迹或运动模式被定义为用户的手的任何三维运动。笔迹可以是运动、手写符号，或者可以是用户签名。在此使用的笔或触针，可以是用户手持的任何对象，只要能用于发送进行电子与/或数字地捕获用户手的运动的信息。类似地，手写板、手写垫指那些为相对笔定义的任何(有形的或无形的)表面，被用来测量由用户手中的笔跟踪的笔迹。
为了提供上述的优点，本发明提出的方法与装置不仅仅用到落笔信息，还要用到提笔信息。落笔信息包括的信息是当笔与所定义的书写表面(即手写板的表面)发生实际接触时，由电子笔/手写板系统搜集到的信息。反之，提笔信息包括的信息是当笔离开所定义的书写表面时，由电子笔/手写板系统搜集到的信息。提笔信息也被称为隐藏数据。
作为本发明特征的其它特性将在所附的权利要求书中进行阐述。
通过利用输入装置的位置预存用户交互元素的方法，尽管将本发明作为实施例在此进行了示意及说明，不要将本发明局限于所示的详细说明中，这是由于，在不背离权利要求书的精神和范围内，可以对本发明进行多种修改及结构的改变。
然而，通过对下面特定的实施例以及附图的说明，可以对本发明工作的结构和方法，以及附加的目标及优点得到最佳的理解。
图5为图4中应用根据本发明的方法的书写表面的侧视图；图6为根据本发明的方法的流程图。
优选实施例详细说明在所有的示意图中，在每种情况中，带有的相同参考符号代表相同的子部件和主要部分。
现在参见附图中的视图，首先特别参见其中的
图1，图示为代表单词“Inductive Pen Sensing”的运动模式的示意图。对于目前现有的三维敏感技术，系统能够读取落笔信息2以及提笔或隐藏数据信息3。典型情况下，这些系统将落笔信息2翻译为多个线段，它们在一起形成了(例如)将显示在纸张上的笔迹。在图1中，落笔信息用实线段4表示。在运动模式形成后，系统还能够将隐藏数据信息3翻译为不会形成显示在纸张上的笔迹的部分。例如，在单个字母与/或字之间，当笔/触针(8)尖在书写表面7(图2)上移动并不与其接触时，隐藏数据信息3形成了笔/触针尖的三维轨迹。在图1中用虚线5表示了隐藏数据信息3的二维示意(在与手写板表面共面的X-Y坐标平面内)。例如，在图5中表示了触针从手写板离开的相对位置9(隐藏数据信息3的Z坐标)。下面将不再对这样的现有读取方法及装置进行更详细的介绍。
图2及3分别表示形成单词”John Hancock”的另一种运动模式6的一部分与整体。对于这个实例，应用了根据本发明的方法，笔式敏感系统从运动模式或签字6中捕获到落笔信息2及隐藏数据信息3。系统可以将落笔信息2翻译并存储为多个线段4，它们一起形成将显示在(例如)纸张上的笔迹的一部分。例如，参见图2。在图3和4中用实线段4表示落笔信息2。系统还可以将隐藏数据信息翻译并存储为多个三维坐标，包括在手写板平面7上用X-与Y-坐标表示的二维轨迹6，以及离开手写板表面7的第三维触针位置9。参见图5。当笔(8)尖在书写表面7上移动时，(例如，)在单个字母与/或单词与/或位图控制区域10、11、12之间，不会与书写表面接触，因此，隐藏数据信息3中包含形成笔尖8的三维轨迹的信息。参见图4。在图3与4中用虚线5表示隐藏数据信息3的X-与Y-轴二维轨迹。
当在笔式敏感系统中捕获到落笔2和隐藏数据信息3后，当前的现有技术仅对落笔信息2执行常规分析。然而，应用这个方法，系统还可以分析隐藏数据信息3。因为对整个笔迹进行了分析，根据本发明的方法中将不再象现有技术的触觉式屏幕控制系统那样，仅取决于触针8与触觉敏感屏7之间的直接接触，在触针实际接触到屏幕的特定控制区域10、11、12之前，此方法就可以实现分别执行分配给各自控制区域10、11、12的功能所需要的预备动作，并可以减少激活给定的软件功能的等候时间。本发明提出的方法为许多不同的手持式电子输入装置提供了上述全部优点。
参考图6，可以对根据本发明的方法进行更详细的解释。在此说明的方法60中包括了对多种优选和替代实施例的叙述。不应当将这种说的认为是公开了执行该方法的唯一方式。
在步骤20中，提供了一个利用输入装置的位置预存用户的交互元素的系统。在步骤30中，输入装置的用户利用笔迹记录器8在书写表面7上生成运动模式6。在一个优选实施例中，笔迹记录器8为手持式的笔或触针。系统实现了现有技术中监测触针8的接触位置以及根据这种接触执行功能的作用。
在步骤40中，根据本发明的系统连续地监测并记录运动模式，包括触针8在书写表面7上形成的运动模式，以及触针8在离开书写表面7时形成的运动。更适宜的情况为，在书写表面7上的移动对应于用X及Y坐标表示的极性空间。同样是更适宜地，在离开书写表面7时形成的运动对应于用X、Y及Z坐标表示的、在书写表面7之上形成的三维空间。
在步骤42中，对触针的位置9(Z-坐标)以及触针在Z-方向上的运动13进行监测——Z-方向被定义为书写/屏幕表面的法线方向。在步骤44中，对触针的位置9以及触针的运动13进行分析，判断触针8是否朝向手写板7运动。如果判断结果为负，则重复执行步骤30、42与44，直到判断出触针8朝向手写板7运动。如果对朝向手写板的运动的判断结果为正，则在步骤46中，确定触针8的X-Y位置，并对此进行分析。
在步骤48中，识别出与触针8的X-Y位置对应的控制区域、链接10、11、12等等。单独的控制区域10、11、12最好足够大，使得在此步骤中只识别出10、11、12中的一个控制区域。如果已经识别出相应的控制区域10、11、12，则在步骤50中，系统预存(即触发)与识别出的控制区域对应的功能。换句话说，在触针真正接触到控制区域之前，系统就开始执行那些完成分配给识别出的控制区域的功能所需要的预备动作。或者，可以识别出10、11、12中多于一个的控制区域。每个控制区域对应的功能都可以被同时或依序预存，多个预存一直进行，直到识别出10、11、12中一个单独的控制区域。然后，系统回转至对运动模式进行连续的监测及记录。
下面对利用了图4及5并应用了图6中的步骤的根据本发明的方法的实例进行说明。该实例并非是要局限于所叙述的步骤。也不希望将该实例认为是本发明的唯一应用。
该实例中包括用户，用带有触针8的电子输入装置输入手写签字6；实例中还包括用户接口屏幕7，上面有已定义的控制区域10、11、12。将笔式敏感系统配置为能够连续地监测并记录触笔在全部三维中的位置。对于这个实例，用三个控制区域对系统进行配置。第一个--“OK”的功能是通知系统可以接受刚刚写完的签字。第二个--“Redraw”的功能是通知系统不接受刚写完的签字，并通知系统将重写签字。第三个--“Cancel”的作用是通知系统终止签字书写的过程。
用户利用触针8在用户接口屏幕7上述写签字6。参见图6中的步骤30。在进行书写时，系统监测并记录签字6，包括触针8在用户接口屏幕7上形成的签字运动，以及触针8在离开用户接口屏幕7时形成的运动。参见步骤40。与监测及记录结合，系统能够在用户接口屏幕7上对签字6进行电子显示，就象图4中示出的那样。也参见图2。然而，尽管系统记录了隐藏数据信息3，系统最好不对隐藏数据信息3进行显示。
在进行书写时，系统对触针的位置9(见图5)以及触针在Z-方向上的运动13进行监测，即三维通路。在进行书写时，对触针的位置9以及运动13进行分析，判断触针8是否朝向手写板7运动。参见步骤42及33。在整个书写签字的过程中，一直重复这些特点。直到写完“Hancock”中的“k”，由于触针没有朝向手写板7运动，判断结果为负。对于这个例子，忽略了在“J”与“o”及“n”与“H”之间的运动。
在写完“Hancock”中的“k”后，用户将提起触针8，使它离开用户接口屏幕，并将触针抬起，将其移动到标注为“OK”的控制区域10上方。这个运动被称为触针轨迹。
一旦经过轨迹的最高点，一种可能的分析方法就能判断出触针8正在朝向手写板7运动。参见步骤44。在抬起点，判断触针8的X-Y位置，并对此进行分析。参见步骤46。然后系统试图识别10、11、12中用户将激活的相应的控制区域。系统将轨迹投射到二维或三维。因为在从签字中“k”的末端到对应于轨迹最高点的点(或者轨迹中其它任何点)定义的轨迹中，只出现了一个控制区域10，所以系统能够可靠地判断出控制区域10将被选定。参见48。因此，在用户将触针8实际接触到控制区域10之前，系统就开始预存(即触发)执行对应于控制10的功能所需的预备动作。参见步50。换句话说，在触针实际接触到控制区域10之前，系统开始执行分配给控制区域10的功能。然后系统回转至对触针的运动进行连续的监测及记录。
因为系统对触针8的三维位置进行跟踪，在最高点进行预处理判断后，系统无需继续等候。
在另一种可能的方法中，系统甚至无需等候朝向屏幕的运动，因此去除了对最高点的判断。对于这个实例，由于只有三个可能的控制区域10、11、12，系统从签字末端能够知道最可能发生的三个轨迹。一旦系统检测到触针正朝向控制区域10运动(见图4)--通过将触针8的实际轨迹与三个可能轨迹进行相关运算--系统能够预见到“OK”控制区域10将被激活，并因此预存由控制区域10定义的功能。应用根据本发明的方法，在用户用触针8实际接触到控制区域10之前，就可以激活控制区域10定义的功能。
可以将本发明提出的方法应用到多种系统中，例如，包括使用电感触针及手写板的系统，以及使用射频触针及手写板的系统。
本实施例还可以包括执行在此叙述的方法的装置。
权利要求
1.一种预存用户交互元素的方法，其包括步骤利用笔迹记录器的三维位置相对于书写表面，用电子输入装置对运动模式进行监测，其中所述电子输入装置中带有笔迹记录器和书写表面；在笔迹记录器离开书写表面时，对监测到的运动模式进行分析，以判断笔迹记录器是否正在接近书写表面上至少一个目标区域，所述至少一个目标区域具有相关的功能；和在所述笔迹记录器与至少一个目标区域发生接触之前，触发所述功能的至少一个方面。
2.根据权利要求1中所述的方法，其中，所述分析步骤包括对所述笔迹记录器的位置进行分析，以判断所述笔迹记录器是否朝向书写表面运动；而且，在判断出所述笔迹记录器正朝向书写表面运动之前，重复所述监测及分析步骤。
3.根据权利要求2中所述的方法，其包括如果判断出所述笔迹记录器正朝向书写表面运动，则判断所述笔迹记录器相对于书写表面平面的二维位置；和根据二维位置及所述笔迹记录器离开书写表面时的运动来定义轨迹。
4.根据权利要求3中所述的方法，其包括在书写表面上提供控制区域；识别至少一个位于所述轨迹的终点附近的控制区域；和将所述至少一个控制区域定义为至少一个目标区域。
5.根据权利要求4中所述的方法，其中所述至少一个目标区域为一个目标区域，所述识别步骤包括识别一个控制区域，且所述定义步骤包括将所述控制区域中的一个定义为一个目标区域。
6.根据权利要求2中所述的方法，其包括在书写表面上提供控制区域；当判断出所述笔迹记录器正朝向书写表面运动时，根据所述笔迹记录器离开书写表面时的位置及运动，定义在所述笔迹记录器与每个控制区域之间的多个轨迹；监测所述笔迹记录器的实际轨迹；将所述多个轨迹与实际轨迹进行相关联；和对于多个轨迹中具有最高相关度的那个轨迹，将相应的控制区域定义为至少一个目标区域。
7.在监测运动模式的过程中，一种预存用户接口元素的方法，其包括利用笔迹记录器相对于书写表面的三维位置，用电子输入装置对运动模式进行监测，其中所述电子输入装置中带有笔迹记录器和书写表面；在所述笔迹记录器离开书写表面时，对检测到的运动模式进行分析，以判断所述笔迹记录器是否正在接近书写表面上至少一个目标区域，所述至少一个目标区域具有相关联的功能；和在所述笔迹记录器与所述至少一个目标区域发生接触之前，触发所述功能的至少一个方面。
8.在使用电感触针与手写板系统来监测运动模式的过程中，一种预存用户接口元素的方法，其包括利用笔迹记录器相对于手写板的三维位置，用电子输入装置对运动模式进行监测，其中所述电子输入装置中带有电感触针和手写板；在所述触针离开书写表面时，对检测到的运动模式进行分析，以判断所述触针是否正在接近所述手写板上的至少一个目标区域，所述至少一个目标区域具有相关联的功能；和在所述触针与所述至少一个目标区域发生接触之前，触发所述功能的至少一个方面。
9.在使用射频触针与手写板系统来监测运动模式的过程中，一种预存用户接口元素的方法，其包括利用所述触针相对于所述手写板的三维位置，用电子输入装置对运动模式进行监测，其中所述电子输入装置中带有射频触针和手写板；在所述触针离开所述手写板时，对检测到的运动模式进行分析，以判断所述触针是否正在接近所述手写板上的至少一个目标区域，所述至少一个目标区域具有相关联的功能；和在所述触针与所述至少一个目标区域发生接触之前，触发所述功能的至少一个方面。
10.在用于监测运动模式类型的方法中，其中用于监测运动模式的系统利用笔迹记录器在书写表面上对笔迹进行监测，所述书写表面上包括与功能关联的控制区域，所述运动模式包括所述记录器在书写表面上的运动以及所述记录器离开书写表面时的运动，并且利用检测到的运动模式对运动模式进行分析，得到的改善包括在所述记录器离开书写表面时，对检测到的运动模式进行分析，以判断所述记录器是否正在接近所述书写表面上的至少一个目标区域；和在所述记录器与所述至少一个目标区域发生接触之前，触发所述相关联功能的至少一个方面。
全文摘要
一种预存用户交互元素的方法(60)，包括的步骤为，利用笔迹记录器相对于书写表面的三维位置，用电子输入装置对运动模式(40)进行监测，其中电子输入装置中带有笔迹记录器和书写表面；在笔迹记录器离开书写表面时，对检测到的运动模式(42)进行分析，判断笔迹记录器是否正在接近书写表面(44)上的目标区域，目标区域具有关联的功能；在笔迹记录器与目标区域发生接触之前，触发关联功能(50)。这些步骤被连续地重复。分析步骤(42)判断笔迹记录器是否朝向书写表面运动，如果确实如此，则判断(46)记录器相对于书写表面平面的二维位置，并根据记录器在书写表面之外的位置及运动定义轨迹。识别(48)出位于轨迹终点附近的控制区域，作为要触发的目标区域。或者，根据笔迹记录器离开书写表面外的位置及运动，定义笔迹记录器与每个控制区域之间的多个轨迹，并将多个轨迹与实际轨迹进行相关。对于多个轨迹中具有最高相关度的那个轨迹，将相应的控制区域定义为要触发的目标区域。多个控制区域的触发可以同时或依序进行。本方法可以用于包括电感触针及手写板系统、以及射频触针及手写板系统的多种系统中。
文档编号G06K9/22GK1478248SQ01819855
公开日2004年2月25日 申请日期2001年10月29日 优先权日2000年11月6日
发明者西瓦库马尔·穆图斯瓦米, 约瑟夫G·希列特, G 希列特, 西瓦库马尔 穆图斯瓦米 申请人:摩托罗拉公司