多模态触摸屏交互装置、方法和系统的制作方法
多模态触摸屏交互装置、方法和系统的制作方法
【专利摘要】多模态触摸屏交互装置、方法和系统(“MTI”)经由MTI组件将多用户多模态触摸屏输入手势转变为用户定制的计算结果显示。在一个实施方式中，MTI从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号。MTI根据所述传感器信号确定所述用户触摸事件的位置坐标。MTI根据所述传感器信号识别所述用户触摸事件的触摸类型，以及使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。MTI针对与所述用户触摸屏手势关联的用户命令而查询存储器，以及经由处理器执行所述用户命令。
【专利说明】多模态触摸屏交互装置、方法和系统
[0001]旨在专利证书公开文献的此专利描述了包括各种新颖创意的发明方面(下文称为“公开”)，包含受到著作权、商标和/或其它知识产权保护的材料。这些知识产权的各个所有者不反对任何人如同出现在出版的专利局文件/记录中一样拓制本公开，但对于其它情况将保留所有权利。
[0002]优先权声明
[0003]本申请根据35USC §119要求2011年2月8日提交的名称为“APPARATUSES，METHODS AND SYSTEMS FOR MULTIMODAL INTERACTIONS WITH LASER LIGHT PLANE TOUCHSCREENS”、代理人案号21445-002PV的美国临时专利申请序列号61/440，591的优先权。在此通过引用明确并入前述申请的全部内容。
【技术领域】
[0004]本发明总体涉及用于人机交互的装置、方法和系统，并且更具体地，包括多模态触摸屏交互装置、方法和系统(“MTI”)。
【背景技术】
[0005]电子显示器为用户提供视觉信息。一些计算机系统包括用于由用户响应于电子显示器提供的视觉信息而提供输入的机制。例如，计算机系统可包括触摸屏。用户可在触摸屏的一部分上施加压力，作为向计算机系统中提供输入的机制。
【专利附图】
【附图说明】
[0006]附录和/或附图图示根据本公开的各种非限制性示例发明方面:
[0007]图1A-B示出图示MTI的一些实施方式中的多模态触摸屏交互的各个示例方面的框图；
[0008]图2A-D示出图示MTI的一些实施方式中的多模态触摸感测的各个示例方面的框图；
[0009]图3不出图不MTI的一些实施方式中的基于光的触摸输入识别的各个不例方面的框图；
[0010]图4A-B示出图示MTI的一些实施方式中的多模态触摸处理(例如多模态触摸处理(“MTP”)组件400)的各个示例方面的逻辑流程图；
[0011]图5示出图示MTI的一些实施方式中的触摸坐标确定(例如触摸坐标确定(“TCD”)组件500)的各个示例方面的逻辑流程图；
[0012]图6示出图示MTI的一些实施方式中的触摸类型识别(例如触摸类型识别(“TTP”)组件600)的各个示例方面的逻辑流程图；
[0013]图7A-B示出图示MTI的一些实施方式中的触摸组分辨率(例如触摸组分辨率(“TGR”)组件700)的各个示例方面的逻辑流程图；
[0014]图8示出图示MTI控制器的实施方式的框图。[0015]图中各附图标记的第一个数字表示引入和/或详述该附图标记的图。如此，将在图1中找到和/或引入附图标记101的详细讨论。在图2中引入附图标记201等。
【具体实施方式】
[0016]多模态触摸屏交互(MTI)
[0017]多模态触摸屏交互装置、方法和系统(下文称为“MTI”)经由MTI组件将多用户多模触摸屏输入手势转换为用户定制的计算结果显示。图1A-B示出图示MTI的一些实施方式中的多模态触摸屏交互的各个示例方面的框图。参照图1A，在一些实施方式中，MTI可提供触摸屏100。例如，用户可用手指或手、或者诸如触控笔的物体触摸MTI提供的显示器。触摸屏可以是电子视觉显示器，其能检测显示区域内的触摸的存在和位置，并且将检测的触摸解释为与正在显示的内容的处理交互。MTI可提供一机制，从而虚拟覆盖物或表面可接收与包括或容纳显示器的给定表面交互、或者触摸包括或容纳显示器的给定表面的用户输入。在一些实施方式中，触摸屏可包括用设计为检测触摸屏或其附近的微小物理环境中变化的传感器构造轮廓或支撑的框。传感器可在空间和时间上检测并跟踪各种物体在限定表面上的接触。在一些实施方式中，触摸屏表面可包括但不限于数字显示器(例如，液晶显示器(LCD)、等离子体显示器、背投、发光二极管(LED)、有机发光二极管(OLED)等)上的覆盖物。其它非数字显示器(例如，不规则或弯曲的壁面)也可包含触摸屏表面。在一些实施方式中，MTI可提供设计为同时检测并解释单个显示器上的两个或更多个不同的触摸事件的多个触摸屏，包括能解释由两个或更多个手指作出的各种“手势”的那些触摸屏。MTI可使用这里讨论的各种触摸检测和跟踪实现中的任意一种实现多点触摸触摸屏。因此，MTI可实现手势解释能力，因此提供一系列丰富复杂的与显示内容的用户交互。在一些实施方式中，MTI可便于单个用户提供单个类型的输入(例如，触控笔输入101a、手指输入IOlb等)。在一些实施方式中，MTI可便于单个用户提供多个同时输入触摸(例如，多触控笔输入101c、混合触控笔_手指输入IOlcU多手指输入101e、多手多手指输入IOlf、多手指混合触控笔-手指输入IOlg和/或类似组合)。
[0018]参照图1B，在一些实施方式中，MTI可便于多个用户(例如，用户1110a，用户2110b，用户3110c)同时向触摸屏100提供诸如以上参照图1A描述的那些输入的输入。在一些实施方式中，每个用户可与MTI提供的触摸屏上显示的单独的可执行应用程序(例如，应用程序Illla,应用程序2111b,应用程序3111c)交互。在这些实施方式中,MTI可接收、区分并且唯一地标识来自(可能同时作用的)各个用户中的每个用户的(可能同时的)各个输入中的每个输入，并且将该各个用户中的每个用户的输入关联到它们正与之交互的MTI上的各个应用。在一些优选实施方式中，MTI可识别用户的手指和触控笔输入并且在二者之间进行区分，使得手指和触控笔输入二者均可被感测为接触触摸屏，作为不同类型的触摸。在这些实施方式中，MTI可使触摸屏上正在显示的应用程序的用户界面适于在手指与之交互时相对于触控笔与之交互时不同地表现。在一些实施方式中，应用程序为用户提供的功能可根据用户是利用手指还是触控笔与应用程序交互而变化(例如，即使MTI的触摸屏上的用户手势的形状对于手指和触控笔相同时也是如此)。作为这种情况的示例，基于手指触摸的手势可在绘制应用程序中向用户提供橡皮工具，而使用触控笔的相同手势可在绘制应用程序中提供绘制工具。在一些实施方式中，一些用户控制可通过触控笔触摸(并且例如不通过手指触摸)而激活，实现了通过在手势中如何同时使用触控笔和手指定义的新的混合触摸手势。在一些实施方式中，触摸屏应用程序软件(或“apps”)可提出和/或划分要针对手指或触控笔或二者执行的特定跟踪处理。作为示例性非限制示例，在应用程序中，当手指用于绘制时，相比于当触控笔用于绘制时，MTI上执行的触摸屏应用程序可施加附加的平滑。
[0019]图2A-D示出图示MTI的一些实施方式中的多模态触摸感测的各个示例方面的框图。参照图2A，在各种实施方式中，MTI可包括利用各种各样的技术用于触摸感测的触摸屏，这些技术包括但不限于电阻/电容膜，包括安装在显示器表面上的框的“覆盖物”，从后面观察表面的相机，基于物体在显示器表面周围移动时产生的声振动对物体位置进行三角测量的音频传感器。在利用电阻/电容触摸屏的一些实施方式中，传感器可由提供预校准的、最优的弹性和柔性的塑料聚合物制成，并且产生对由诸如手指的带静电物体的接近或接触导致的变形敏感的静电场。MTI可提供电阻/电容触摸屏，可包括可扩展敏感度范围和接近感测能力。在一些实施方式中，覆盖物表面可对正在施加到表面的力的量进行压力敏感测量。在一些实现中，触摸屏可包括使用具有快速刷新率(例如，120Hz以上)、无雾透明度的高对比度的高分辨率像素传感器。触摸屏传感器可根据用户/组喜好、执行的应用程序、触摸屏附近的环境状况等自动校准或定制。上述各种实现可以在使用多种模式检测、跟踪或解释触摸交互的触摸屏中组合。
[0020]在一些实现中，激光平面(LLP)、红外线(IR)或其它光波可投射在显示表面上，当物体干扰该投射的光波时，通过传感器检测到触摸。例如，在一些实施方式中，触摸屏210包括显示表面，安装有红外光源215以平行于表面发光，并且安装有传感器以观察该光和针对其的任何干扰。在一些实施方式中，触摸屏显示表面可以是平的，但是在其它实施方式中可以操作性地弯曲特定类型的曲率，例如圆柱截面。非限制性地，实施方式可针对电磁辐射(例如，可见光)的变化波长而操作。
[0021]一些实施方式可利用表面的一部分周围的矩形框211，其中红外光源和传感器嵌入在框中。在一些实施方式中，红外光源可以(例如，从预定参考点看去，连续地、具有周期性间隔、以相等角间距等)包含在框内部周围，并且传感器可定位在矩形框的两个或更多个角落(参见214)。在其它实施方式中，光发射器和传感器可彼此成对匹配地嵌入在框中，例如，框一侧可包括发射器，并且另一侧可包括对应于这些发射器的传感器。在一些实施方式中，触摸屏周围的框可包括不同敏感度水平、分辨率和/或时间属性的一组混合的传感器。在一些实施方式中，照明传感器可位于感测平面(例如，一维IR-LED)上。框还可包括战略定位于给定交互区域上的多个传感器。在一些实施方式中，触摸屏可包括表面平面外部的(例如，经由互补金属氧化物半导体(CMOS)和IR激光二极管的二维的)传感器。传感器位于平坦表面外部，与触摸屏的交互可不需要触摸物体和/或触控笔物理接触表面，并且允许触摸屏例如从移动或远程设备接收远程交互输入。在各种实施方式中，与触摸屏交互的物体可采取许多形式。在一个实施方式中，正被检测的物体可以是手指、触控笔、或远端具有预定模式(例如规则或不规则形状)的构件。
[0022]在一个实施方式中，触摸屏可对多个传感器读数进行三角测量，以确定物体位置。在一些实施方式中，具有红外光发射器的触控笔可用于与触摸屏交互。触摸屏可经由光传感器(从屏幕后面观察或在屏幕平面中观察)将红外光触控笔检测为亮点。在一些实施方式中，触摸屏可发射红外光，以通过反射或散射检测手指触摸动作。一些屏幕也可使发光的红外光源嵌入在触摸屏平面中，使得触摸屏幕的手指被IR光照亮，并且可检测为光传感器中的亮点。
[0023]在一些实施方式中，触摸屏周围的覆盖框可包括平行于表面发光的嵌入红外光，以及当物体打破限定的平面以将光反射回传感器时感测增加的亮度的光传感器。如图2A中图示的，在一些实施方式中，触摸屏面板可在独立地跟踪手指212和触控笔213时同时从手指212和触控笔213接收输入。在一些实施方式中，例如，传感器214可调谐为检测从触控笔发射的光或者因为手指触摸反射的光。在这些实施方式中，触控笔213发射的光的强度可亮于手指触摸反射的光或者在不存在用户触摸的情况下在屏幕平面上方发射的光的正常强度。
[0024]在一些实施方式中，覆盖框可包括平行于表面发光的嵌入红外光源，以及当光被在光源与传感器之间的表面上进行接触的物体(诸如手指)阻挡时检测的传感器。参照图2B，一些实施方式可利用通过阻挡或散射的光而检测触摸的触摸屏。在这些实施方式中，可经由调谐为识别发射或透射的光225的中断或降低强度的传感器220而检测触摸事件222的例子，然后可基于通过若干传感器获得的散射模式对检测的触摸事件的位置进行三角测量(例如，经由触摸处理器221)和跟踪。在一些实施方式中，区分算法可指示传感器检测比正常显著亮的位置(例如，当触控笔223的光/RF发射器开启时)，以及比正常显著暗的位置(例如，当手指222阻挡或减少屏幕表面上的光平面时)。在这些实施方式中，比正常屏幕交互亮可解释为触控笔触摸223，比正常暗可解释为手指触摸222。在一些实施方式中，触控笔223可包括RF发射器，并且可使用嵌入在触摸屏的覆盖框中的两个或更多个传感器223对触控笔的位置进行三角测量。
[0025]参照图2C，在一些实施方式中，触摸屏面板230可在通过网络与其它触摸屏232-233通信时从手指234和触控笔(参见235)接收输入。可对在输入触摸屏面板230处检测到的触摸交互进行跟踪，并由触摸处理器231处理为可在联网的所有屏幕230、232-233处显示的输出。在一些实施方式中，联网的屏幕232-233自身可以是具有与触摸屏230类似的特征的触摸屏。在一些实施方式中，联网的屏幕可包括许多附加输入类型，包括基于相机的触摸/接近输入屏幕(例如，表面支持相机、前安装相机、后定位相机)、基于电阻/电容触摸屏的输入屏幕等。
[0026]在一些实施方式中，利用的触控笔(参见235)可包括顶端的IRLED或RF发射器，其可通过向触摸屏表面应用压力或接近该触摸屏表面而可选地被激活。触控笔还可包括附加在外部的或嵌入的开关，用于关闭当触控笔动作或压向物体时可激活LED或RF发射器的电路。在一些实施方式中，传感器可在多个触控笔235之间进行区分。例如，顶端具有LED的给定触控笔可在与触摸屏表面接触时连续发射IR光，在触摸屏表面，通过排列在显示表面(在平面中，从后面或前面)上的传感器检测和跟踪该IR光。利用发射相同光的多个触控笔，传感器可读取一系列类似亮点而不在它们之间进行区分。在一些实施方式中，特定触控笔的IR LED可闪烁，其中不同触控笔可使用不同闪烁模式或频率，使得传感器能够在它们之间进行区分。尽管频率模式允许区分，但一些触摸屏也可受益于精确跟踪。
[0027]在一些实施方式中，每个触控笔可在接触/接近触摸屏表面时创建不同空间模式的光。利用适当地定义的触控笔大小和传感器范围，当触控笔相对于IR传感器处于各种位置时，可以将模式可识别。在一些实施方式中，触控笔可包括彩色LED以增强传感器的对比度。实现可包括两个LED，其中它们的亮度随时间变化。这样，触控笔可对传感器连续可见(不变暗)，但是“亮与更亮”之间的调制可按不同时间模式或频率执行，使得可区分不同触控笔。因此，可保持高清位置跟踪，同时允许彼此区分多个触控笔跟踪。在触摸屏在多个触控笔之间进行区分的一些实施方式中，触摸屏可将不同绘制模式(例如，颜色、画笔风格等)与每个触控笔关联；绘制和擦除模式，用户/触控笔关联，回合制控制，针对触摸屏部分的读/写/执行许可。此外，与每个用户关联的不同触控笔可保持跟踪哪个用户绘制什么。
[0028]图2D图示输入触控笔的示例。例如，输入构件243是在给定远端具有IR LED的触控笔。在一个实施方式中，输入构件可包括位于近端的IR LED对。触控笔输入构件可包括用于开启/关闭触控笔和/或控制附加触控笔功能242的拨动开关。线性触摸敏感度滑动可提供进一步控制，例如输出到触摸屏的线宽的精度。在一个实施方式中，触控笔241可包括无线通信硬件、音频麦克风和/或嵌入式生物识别软件。图2D的触控笔还可包括用于传感器三角测量和标识目的的RF发射器/接收器。在一个实施方式中，触控笔标识符(触控笔ID)可与不同时间调制模式关联。每个ID可与在零亮度之上很好地偏移的正弦或阶梯模式的不同时间频率关联。在另外的实施方式中，触控笔ID可包括类似莫尔斯电码的时间模式。实现还可包括触控笔两端的LED对，每端使用不同的时间调制模式。在一个实施方式中，触控笔侧部的开关可用于改变时间调制模式，并且因此切换触控笔的“ID”。时间调制模式识别可能在触摸屏表面上的触控笔的第一次观察起的一些延迟后发生。然而，对于高频率模式以及以高帧率操作的传感器，该延迟能非常小。此外，当初始地观察到触控笔接触时，其可关联于在该区域中最近观察到的触控笔相同的ID。因此，可以使用该初始估计，直到一些帧之后观察可用于验证或校正触控笔ID，该初始估计很可能被校正正常触摸屏使用次数的超高百分比。
[0029]在一个实施方式中，触控笔可包括与触摸屏建立通信的射频(RF)发射器天线和/或接收器。触控笔和触摸屏利用RF传输的实现可使用无线电波以在发射器和接收器之间传输信号。触控笔天线可附加到嵌入在触控笔中的触控笔发射器单元或者以可操作通信方式耦合的其他。根据实现，触控笔发射器以允许触摸屏接收器从触控笔接收信号的方式定位。在一个实施方式中，触控笔之间的RF通信可在单信道和/或多信道系统发生。多信道系统的一个实施方式还可包括RF触控笔和/或触摸屏发射器/接收器上的信道选择器。
[0030]图3不出图不MTI的一些实施方式中的基于光的触摸输入识别的各个不例方面的框图。子图3(a)_(b)图示对触控笔和手指输入触摸的IR光敏感度的示例输出图，其中通过测量由手指触摸引起的反射来检测手指触摸。在一个实施方式中，当IR光源开启时可如传感器看到的一样测量正常光水平，并且设置两个阈值，一个与手指触摸有关并且一个与触控笔触摸有关。在诸如在子图3 (a)-(b)中描述的一些实施方式中，两个阈值均可在正常光水平之上，触控笔阈值可保持较高的一个。
[0031]子图3(c)_(d)图示对触控笔和手指输入触摸的IR光敏感度的示例输出图,其中通过测量手指触摸引起的散射来检测手指触摸。在一个实施方式中，这些图可示出在表面平面中许多角度中的每个角度ID相机在看什么。因此，横轴“theta”例如可指IR图像器正在看的角度。在一个实施方式中，阈值线可如箭头所表示的动态变化而不是恒定水平。例如，MTI可假设嘈杂的非均匀基线光水平，并且将阈值设置为具有相同形状，但是在之上或之下偏移。或者MTI可将需要的阈值计算为图中每个位置的正常光水平的百分比(例如120%或80% )，其中正常光水平可在触摸屏空间上以及在时间中变化。
[0032]例如，在一些实施方式中，当IR光源开启时，传感器可测量并定义每个传感器观察到的正常光水平。触摸屏软件可将“阈值I”设置在该正常光水平之上，并且检测亮度超过该阈值的触控笔触摸。在一个实施方式中，可将“阈值2”设置在该正常光水平之下，并且检测亮度在该第二阈值之下的手指触摸。非限制性地，可针对每个传感器不同地设置阈值，并且如果传感器可操作为看到沿屏幕平面的空间位置范围，则阈值可在空间上变化。这可包括之上和之下的非均匀“正常”亮度水平和非均匀阈值。可设置触摸覆盖校准软件，使得中性(不与手指或触控笔接触)表示中间值。在一个实施方式中，触摸屏可检测、解释和区分来自多个对象类型(例如，手指和触控笔)的触摸交互，以及不论来自单个或多个用户多于一个相同对象类型(例如，不同触控笔)的触摸交互。如下面更详细讨论的，可以用使用在此描述的物理检测模式的任一个或组合的触摸屏实现一个实施方式。在优选实施方式中，可以用使用至少光触摸检测或光检测与射频信号检测组合的触摸屏实现一个实施方式。
[0033]图4A-B示出图示MTI的一些实施方式中的多模态触摸处理(例如多模态触摸处理(“MTP”)组件400)的各个示例方面的逻辑流程图。参照图4A，在一些实施方式中，用户可向MTI的触摸屏提供触摸输入401。例如，用户可利用一个或多个手指触摸、一个或多个光/RF发射触控笔、或其任意组合。在触摸屏利用基于光的技术用于检测用户触摸的实施方式中，触摸屏传感器可检测由于用户触摸引起的光水平波动(增加或减小)(402)。使用检测到的波动，触摸屏传感器可生成光强度信号403，并且向一个或多个触摸处理器(“触摸处理器”)提供光强度信号。例如，传感器可在诸如铜线的模拟通信信道上通信光强度信号，随后通过数据采集板对数字采样。作为另一示例，传感器可例如使用(安全)超文本传输协议(HTTP(S))在网络上通信数据包。触摸处理器可获得光强度信号，并且可基于光强度波动确定用户触摸的坐标404。例如，触摸处理器可执行触摸坐标确定组件，例如下面参照图5的讨论中描述的示例TCD500组件。基于此计算，触摸处理器可产生诸如参照图7的插图中提供的各个示例坐标的数据(701)。触摸处理器将各个坐标集(例如，{x，y，z})中的每个坐标集设置为触摸输入405。在一些实施方式中，触摸处理器可识别用户提供的每个触摸输入的类型(例如，手指、触控笔等)(406)。例如，触摸处理器可执行触摸类型识别组件，诸如下面参照图6的讨论中描述的示例TTI600组件。基于此计算，触摸处理器可产生诸如参照图7的插图中提供的各个示例触摸类型的数据(701)。在一些实施方式中，触摸处理器可确定(407)用户提供的哪些触摸应该分组到一起作为单个手势的一部分(例如，“两个手指触摸和一个触控笔触摸应该被视为代表一个用户的单个手势的一部分？ ”)。例如，触摸处理器可执行触摸组分辨率组件，例如下面参照图7A-B的讨论中进一步描述的示例TGR700组件。基于此计算，触摸处理器可产生诸如参照图7的插图中提供的各个示例触摸组的数据(705)。在识别出用户手势之后，触摸处理器可生成数据库查询(408)，用于预定时间窗口内要组合为手势序列的一部分的在前触摸输入组(408)。例如，四手指重击可不视为瞬间手势；相反，可通过跟踪用户的四个手指在有限时间窗口上的移动来识别手势。作为另一示例，手势可能需要两个不同的用户触摸集(例如，两个手指轻敲，一个触控笔轻敲)。基于查询，查询的数据库/存储器可提供在前触摸输入集(409)，用于识别手势序列。例如，对于在前触摸输入集，触摸处理器可利用包括结构查询语言(SQL)命令的超文本预处理器(PHP)脚本来查询关系数据库。使用在前触摸输入集，触摸处理器可根据触摸输入组生成手势模式/序列(410)。在一些实施方式中，基于触摸输入组的位置坐标，触摸处理器可以使用用户ID(在适当的空间位置用户将已知的ID(例如，使用基于相机的面部识别，在触摸屏位置的用户登录等)，或者是可分配给在适当的位置执行的任何其它手势序列的随机生成的ID)对每个手势模式/序列加标签。对于每个手势模式/序列，触摸处理可在数据库/存储器中查询与手势模式/序列关联的用户命令(412)。在响应中，数据库/存储器可提供请求的用户命令，用户命令可存储在用于执行的处理队列中。
[0034]参照图4B，在一些实施方式中，触摸处理器可从(例如，根据以上参照图4A的讨论中描述的过程可选地生成的)处理队列选择用户命令(414)。可选地，触摸处理器可生成与用户命令关联的手势模式的查询(415)。在响应中，数据库/存储器可提供形成手势模式一部分的在前触摸输入集(416)。触摸处理器可提取形成手势模式一部分的触摸输入(417)。例如，触摸处理可使用解析器(例如，在以下参照图8的讨论中描述的示例解析器)来解析数据。触摸处理器可确定混合触控笔-手指用户输入中是否包括任一触摸输入集(418)。如果混合触控笔-手指用户输入中包括任一触摸输入集(418)，则选项“是”，触摸处理可生成对与手势正常关联的用户命令的任何修改的查询(419)。在获得对来自数据库/存储器的用户命令的任何修改之后(420)，触摸处理器可执行(修改的)用户命令，例如包括生成任何视觉/听觉显示输出，用于经由触摸屏(或其它联网的触摸屏)呈现(421)。触摸处理器可针对存储在处理队列中的每个用户命令执行这种过程(参见422)。
[0035]图5示出图示MTI的一些实施方式中的触摸坐标确定(例如触摸坐标确定(“T⑶”)组件500)的各个示例方面的逻辑流程图。在一些实施方式中，MTI的触摸处理器可从触摸屏传感器获得光强度信号，用于确定可编码为光强度信号的任何用户触摸的坐标(501)。触摸处理器可以使用光强度信号可选地生成数字触摸图(502)。例如，触摸处理器可向光强度信号应用阈值过程，使得阈值之下的所有像素设置为0，阈值之上的所有像素设置为I。备选地，可以应用两个单独的阈值，使得对应于发光触控笔输入和光阻隔手指输入二者的阈值设置为1，所有其它像素设置为O。使用数字触摸图，触摸处理器可识别每个触摸(或其轮廓)。例如，触摸处理器可使用图像分割算法以识别每个触摸或其轮廓(503)。在识别出每个(分割的)触摸图像对象时，触摸处理器可基于分割的触摸图像对象轮廓内的像素的强度加权平均位置而计算质心(504)。触摸处理器可将质心{x，y，z}存储为识别的触摸的位置坐标，并可将这些返回作为确定的触摸位置坐标(506)。
[0036]图6示出图示MTI的一些实施方式中的触摸类型识别(例如触摸类型识别(“TTP”)组件600)的各个示例方面的逻辑流程图。在一些实施方式中，MTI的触摸处理器可获得触摸ID以及每个触摸的位置坐标(参见例如图5的506)，用于识别每个触摸ID的触摸类型(601)。触摸处理器也可获得原始光强度信号(参见例如图4A的403) (602)。触摸处理可选择触摸ID (603)，并且查找选择的触摸ID的位置坐标(604)。使用位置坐标，触摸处理器可使用光强度信号查找对应于位置坐标的像素的原始强度水平(或者其附近的像素的窗口的平均值)(605)。触摸处理器可将光强度水平样本与要检测的触控笔输入和/或要检测的手指输入的阈值进行比较。基于比较，触摸处理器可将触摸类型识别为触控笔输入或手指输入(606)。触摸处理器可针对获得的每个触摸ID执行这种过程(参见607)。触摸处理可返回触摸ID和触摸类型用于进一步处理(608)。图7A-B示出图示MTI的一些实施方式中的触摸组分辨率(例如触摸组分辨率(“TGR”)组件700)的各个示例方面的逻辑流程图。参照图7A，在一些实现中，MTI的触摸处理器可获得触摸ID以及每个触摸的位置坐标(701)(参见插图)，以决定一个或多个用户的哪些触摸应该分组到一起作为单个手势或手势模式/序列的一部分。触摸处理器可使用位置坐标而计算每对触摸输入之间的距离(702)(参见插图，距离矩阵)。触摸处理器向距离矩阵应用阈值过程，使得阈值之上的所有像素元素设置为O,阈值之下的所有像素元素设置为I。因此,在一些实施方式中,仅有那些充分靠近另一触摸的那些触摸(通过它们是否在作为单个手势、模式或序列的部分必须的阈值距离之下作为标准)设置为I。因为每个触摸在其本身附近，所以接近矩阵(参见插图703)中的诊断元素总是I。因此，如果一个触摸都靠其本身，则对应于其ID的诊断元素将是I，其对应列中的所有其它元素将是O (参见例如插图703第4列)。参照图7B，在一些实现中，触摸处理器可利用703的接近矩阵来识别作为接近对的那些触摸(704)(参见插图，对矩阵)。触摸处理器可将具有至少一个公共触摸ID的接近对合并在一起(705)，以生成触摸组(参见插图705)，触摸处理可返回该触摸组(706)用于进一步处理。
[0037]MTI控制器
[0038]图8示出图示MTI控制器801的实施方式的框图。在此实施方式中，MTI控制器801可用于聚集、处理、存储、搜索、服务、识别、指示、生成、匹配和/或促进通过各种技术与计算机的交互，和/或其它相关数据。
[0039]典型地，用户(例如833a，可以是人和/或其它系统)可以从事信息技术系统(例如，计算机)以促进信息处理。进而，计算机采用处理器处理信息；这些处理器803可称为中央处理单元(CPU)。处理器的一种形式称为微处理器。CPU使用通信电路来通过用作指令的二进制编码信号以使能各种操作。这些指令可以是操作性的，和/或包含和/或参照存储器829(例如，寄存器、高速缓存存储器、随机存取存储器等)的可访问和可操作区域的各种处理器中的其它指令和数据的数据指令。这些通信指令可成批存储和/或发送(例如，批指令)，作为用于促进期望的操作的程序和/或数据组件。这些存储的指令代码(例如，程序)可涉及用于执行期望的操作的CPU电路组件和其它主板和/或系统组件。一种类型的程序是可由CPU在计算机上执行的计算机操作系统，该操作系统使能并促进用户访问和操作计算机信息技术和资源。信息技术系统中可采用的一些资源包括:通过其可将数据传入到计算机和从计算机传出的输入和输出机制；可保存数据的存储器和可处理信息的处理器。这些信息技术系统可用于收集数据用于稍后获取、分析和操纵，这些可通过数据库程序促进。这些信息技术系统提供允许用户访问和操作各种系统组件的接口。
[0040]在一个实施方式中，MTI控制器801可连接到实体和/或与实体通信，该实体例如但不限于为来自用户输入设备811的一个或多个用户；外围设备812;可选密码处理器设备828和/或通信网络813。例如，MTI控制器801可连接到用户(例如，833a)、操作客户端设备(例如，833b)和/或与用户(例如，833a)、操作客户端设备(例如，833b)通信，该客户端设备(例如，833b)包括但不限于个人计算机、服务器和/或各种移动设备，该移动设备包括但不限于蜂窝电话、智能手机(例如，iPhone?、Blackberry?、基于Android操作系统的电话等)、平板计算机(例如，Apple iPad?>HP Slate?、Motorola Xoom?等)、电子书阅读器(例如，Amazon Kindle?、Barnes and Noble' s Nook? eReader 等)、膝上型计算机、笔记本、上网本、游戏台(例如，XBOX Live?、Nintendo? ds、Sony PlayStation?.便携式等)、便携式扫描仪等。
[0041]通常认为网络包括客户端、服务器和图拓扑中的中间节点的互连和互操作性。应该注意，本申请通篇使用的术语“服务器”通常是指在通信网络上处理和回应远程用户请求的计算机、其它设备、程序或其组合。服务器服务它们的信息以请求“客户端”。这里使用的术语“客户端”通常是指能够在通信网络上处理和请求以及获得和处理来自服务器的任何响应的计算机、程序、其它设备、用户和/或其组合。促进、处理信息和请求、和/或进一步将来自源用户的信息传送到目标用户的计算机、其它设备、程序或其组合通常称为“节点”。通常认为网络促进从原点向目标的信息的传输。具体任务为进一步从源向目标传送信息的节点通常称为“路由器”。存在许多形式的网络，诸如局域网(LAN)、微微网、广域网(WAN)、无线网(WLAN)等。例如，因特网通常接受为是多个网络的互连，其中远程客户端和服务器可彼此访问和互操作。
[0042]MTI控制器801可基于计算机系统，可包括但不限于组件:诸如连接到存储器829的计算机系统802。
[0043]计算机系统
[0044]计算机系统802可包括时钟830、中央处理单元(“CPU”)和/或“处理器”(在本公开通篇互换地使用这些术语，除非相反指示)803、存储器829 (例如，只读存储器(ROM) 806、随机存取存储器(RAM) 805等)、和/或接口总线807，通常(尽管不一定)全部通过具有导电的和/或传输电路通路的一个或多个(主)板802上的系统总线804互连和/或通信，指令(例如，二进制编码信号)可通过该导电和/或传输电路通路行进，以实现通信、操作、存储等。计算机系统可连接到电源886 ;例如，可选地，电源可以是内部的。可选地，密码处理器826和/或收发器(例如10874可连接到系统总线。在另一实施方式中，密码和/或收发器可经由接口总线I/O连接为内部和/或外部外围设备812。进而，收发器可连接到天线875，从而实现各种通信和/或传感器协议的无线发送和接收；例如，天线可以连接到:Texas Instruments WiLink WL1283 收发器芯片(例如，提供 802.lln、蓝牙 3.0、FM、全球定位系统(GPS)(从而允许MTI控制器确定其位置))；Broadcom BCM4329FKUBG收发器芯片(例如，提供802.1 In、蓝牙2.1+EDR、FM等)；Broadcom BCM4750IUB8收发器芯片(例如，GPS) ；Infineon Technologies X-Gold618_PMB9800 (例如，提供 2G/3G HSDPA/HSUPA 通信)；等等。系统时钟一般具有晶体振荡器，通过计算机系统的电路通路生成基准信号。时钟一般连接到将增加或减少基准操作频率用于计算机系统中互连的其它组件的系统总线和各种时钟乘法器。计算机系统中的时钟和各种组件驱动整个系统中具体实施信息的信号。整个计算机系统中具体实施信息的指令的这种发送和接收通常可称为通信。这些通信指令还可发送、接收，引起超出即时计算机系统的通信返回和/或回复至通信网络、输入设备、其它计算机系统、外围设备等。应该理解，在备选实施方式中，任何以上组件可彼此直接连接、连接到CPU、和/或如各种计算机系统说明的利用的各种变型中组织。
[0045]CPU包括足以执行用于执行用户和/或系统生成的请求的程序组件的至少一个高速数据处理器。处理器本身经常将包含各种专用处理单元，例如但不限于:集成系统(总线)控制器、存储器管理控制单元、浮点单元，甚至类似图形处理单元、数字信号处理单元等的专用处理子单元。附加地，处理器可包括内部快速访问可寻址存储器，并且能够对该处理器本身之外的存储器829进行映射和寻址；内部存储器可包括但不限于:快速寄存器，各级高速缓冲存储器(例如第1、第2、第3级等)、RAM等。处理器可通过使用经由指令地址可访问的存储器地址空间来访问这一存储器，处理器能构造并解码该指令地址，允许它访问具有存储器状态的特定存储器地址空间的电路路径。CPU可以是微处理器，例如AMD的AthloruDuron和/或Opteron ;ARM的应用，嵌入式和安全处理器；IBM和/或Motorola的 DragonBall 和 PowerPC ；IBM 和 Sony 的 Cell 处理器；Intel 的 Celeron, Core (2)Duo,Itanium, Pentium, Xeon和/或Xscale ;和/或类似的(一个或多个)处理器。CPU通过经导电的和/或传输电路(例如，(印刷)电子和/或光电路)传递的指令与存储器交互，以根据常规数据处理技术执行存储的指令(即程序代码)。这种指令传递促进MTI控制器内和MTI控制器外通过各种接口的通信。假若处理需求指示更大量速度和/或性能，则可类似地利用分布式处理器(例如，分布式MTI)、大型机、多核、并行和/或超级计算机架构。备选地，假若部署需求指示更大的便携性，则可利用更小的个人数字助理(PDA)。
[0046]根据特定实现，可通过实现诸如CAST的R8051XC2微控制器、Intel的MCS51 (即，8051微控制器)等的微控制器实现MTI的特征。而且，为了实现MTI的某些特征、一些特征实现可依赖于嵌入式组件，例如:专用集成电路(“ASIC”)，数字信号处理(“DSP”)，现场可编程门阵列(“FPGA”)和/或类似嵌入式技术。例如，MTI组件集合(分布式或者其它)和/或特征中的任一个可经由微处理器和/或经由嵌入式组件、例如经由ASIC、协处理器、DSP、FPGA等来实现。备选地，可利用配置成并且被用于实现各种特征或信号处理的嵌入式组件来实现MTI的一些实现。
[0047]根据特定实现，嵌入式组件可包括软件解决方案、硬件解决方案和/或软件/硬件解决方案二者的一些组合。例如，这里讨论的MTI特征可通过实现FPGA来得到，所述FPGA包含称为“逻辑块”的可编程逻辑组件和可编程互连的半导体器件，例如Xilinx制造的高性能FPGA Virtex系列和/或低成本Spartan系列。在制造FPGA之后,可由客户或设计者对逻辑块和互连编程，以实现任意MTI特征。可编程互连的等级允许逻辑块在MTI系统设计者/管理者需要时互连，某种程度上类似于单芯片可编程试验电路板。FPGA的逻辑块可以编程为执行诸如与、异或的基本逻辑门运算，或者例如解码器的更复杂的组合操作器或简单的数学运算。在大多数FPGA中，逻辑块还包括存储器元件，可以是电路触发器或更完整的存储器块。在一些情况下，可在常规FPGA上开发MTI，然后移植到与ASIC实现更类似的固定版本。代替FPGA或者除了 FPGA以外，备选或协同的实现可使MTI控制器特征移植到最终ASIC。根据所有前述嵌入式组件的实现，微处理器可视为MTI的“CPU”和/或“处理器”。
[0048]电源
[0049]电源886可以是用于对小型电子电路板设备供电的任意标准形式，例如以下电源单元:碱性电池、氢化锂电池、锂离子电池、锂聚合物电池、镍镉电池、太阳能电池等。也可使用其它类型的AC或DC电源。在太阳能电池的情况下，在一个实施方式中，壳体提供开口，通过该孔隙，太阳能电池可通过该孔隙捕获光子能量。电源单元886连接到MTI的互连后续组件中的至少一个，从而向所有后续组件提供电流。在一个示例中，电源886连接到系统总线组件804。在备选实施方式中，通过跨1/0808接口的连接提供外部电源886。例如，USB和/或IEEE1394跨连接携带数据和电力，并且因此是适当的电源。
[0050]接口适配器[0051](一个或多个)接口总线807可接受多个接口适配器、与多个接口适配器连接和/或通信，常规地(尽管不一定)为适配卡形式，例如但不限于:输入输出接口(1/0)808、存储接口 809、网络接口 810等。可选地，密码处理器接口 827类似地可连接到接口总线。接口总线为接口适配器彼此之间的通信以及与计算机系统的其它组件的通信做准备。接口适配器适于兼容接口总线。接口适配器常规地经由卡槽架构连接到接口总线。常规卡槽架构可例如但不限于利用:加速图形端口(AGP)、卡总线、(扩展)工业标准架构((E) ISA)、微通道架构(MCA)、NuBus、外围组件互连(扩展)(PCI (X))、PCI Express、个人计算机存储器卡国际协会(PCMCIA)等。
[0052]存储接口 809可接受许多存储设备、与许多存储设备通信和/或连接，例如但不限于:存储设备814，可移除磁盘设备等。存储接口可利用连接协议，例如但不限于:(Ultra)(Serial)高级技术附件(分组接口 ) ((Ultra) (Serial)ATA(PI)),(增强型)集成驱动电子((E) IDE)，电气电子工程师协会(IEEE) 1394，光纤通道，小型计算机系统接口(SCSI)，通用串行总线(USB)等。
[0053]网络接口 810可接受通信网络813、与通信网络813通信和/或连接。通过通信网络813，用户833a可通过远程客户端833b(例如，具有网页浏览器的计算机)访问MTI控制器。网络接口可利用连接协议，例如但不限于:直接连接，以太网(粗、细、双绞线10/100/1000Base T等)，令牌环，诸如IEEE802.lla-χ的无线连接等。假若处理需求指示更大量速度和/或性能，则可类似地利用分布式网络控制器(分布式MTI)、架构，以汇集、负载均衡和/或增加MTI控制器所需的通信带宽。通信网络可以是下列各项中的任一个和/或组合:直接互连、因特网、局域网(LAN)、城域网(MAN)、因特网上的节点的操作任务(0ΜΝΙ)、安全自定义连接、广域网(WAN)、无线网(例如，利用例如但不限于无线应用协议(WAP)、1-mode等的协议)等。网络接口可视为专门形式的输入输出接口。另外，多个网络接口 810可用于与各种通信网络类型813衔接。例如，可利用多个网络接口以允许通过广播、多播和/或单播网络通信。
[0054]输入输出接口(1/0)可接受用户输入设备811、外围设备812、密码处理器设备828等、与用户输入设备811、外围设备812、密码处理器设备828等通信和/或连接。1/0可利用连接协议，该连接协议例如但不限于:音频:模拟、数字、单声道、RCA、立体声等；数据=Apple桌面总线(ADB)、IEEE1394a-b、串行接口、通用串行总线(USB);红外线；操作杆；键盘；音乐设备数字接口(midi);光纤；PCAT ；PS/2 ;并行；无线电；视频接口 =Apple桌面连接器(ADC)、BNC、同轴、分量、复合、数字、数字可视接口(DVI)、高清多媒体接口(HDMI)、RCA、RF天线接口、S-视频、VGA等；无线收发器:802.lla/b/g/n/x ;蓝牙；蜂窝(例如，码分多址(CDMA)、高速分组接入(HSPA(+))、高速下行分组接入(HSDPA)、全球移动通信系统(GSM)、长期演进(LTE)、WiMax等)；等等。一个典型输出设备可包括视频显示器，该视频显示器一般包括基于阴极射线管(CRT)或者液晶显示器(LCD)，该液晶显示器(LCD)的监视器，该监视器具有接受来自视频接口的信号的接口(例如，DVI电路和线缆)，可以被使用。视频接口复合计算机系统生成的信息，基于视频存储帧中的复合信息生成视频信号。另一输出设备是接受来自接口的信号的电视机。通常，视频接口通过接受视频显示器接口的视频连接接口(例如，接受RCA复合视频线缆的RCA复合视频连接器；接受DVI显示器线缆的DVI连接器等)来提供复合视频信息。[0055]用户输入设备811经常是外围设备812类型(参见下面)，可包括:卡读取器、软件保护器(dongle)、指纹读取器、手套、图形平板、操作杆、键盘、麦克风、鼠标、遥控器、视网膜读取器、触摸屏(例如，电容式、电阻式等)，轨迹球，轨迹板、传感器(例如，加速仪、环境光、GPS、陀螺仪、接近等)，触控笔等。
[0056]夕卜围设备812可与I/0和/或例如网络接口、存储器接口，直接连接和/或通信至接口总线、系统总线、CPU等的其它类似设施连接和/或通信。外围设备可以是外部、内部和/或MTI控制器的部分。外围设备可包括:天线，音频设备(例如，音频输入、音频输出、麦克风输入、扬声器等)，相机(例如，静态、视频、网络摄像头等)，软件狗(例如，用于复制保护、利用数字签名确保安全交易等)，外部处理器(用于增加的性能；例如，密码设备828)，力反馈设备(例如，振动电机)，网络接口，打印机，扫描仪，存储设备，收发器(例如，蜂窝、GPS等)，视频设备(例如，护目镜、监视器等)，视频源，面罩(visor)等。外围设备经常包括各种类型的输入设备(例如相机)。
[0057]应该注意，尽管可利用用户输入设备和外围设备，但MTI控制器可实施为嵌入式、专用和/或无监视器(即，手持)设备，其中将通过网络接口连接提供访问。
[0058]例如但不限于微控制器、处理器826、接口 827和/或设备828的密码单元可与MTI控制器附加和/或通信。Motorola公司制造的MC68HC16微控制器可用于密码单元和/或位于密码单元内。在16MHz构造中，MC68HC16微控制器利用16-位乘法累积指令，并且需要少于一秒来执行512-位RSA私有密钥运算。密码单元支持从交互代理的通信的认证以及允许匿名交易。密码单元也可以配置为CPU的一部分。也可以使用等同的微控制器和/或处理器。其它商业可用专用密码处理器包括=Broadcom的CryptoNetX和其它安全处理器；nCipher 的 nShield、SafeNet 的 Luna PCI (例如 7100)系列；SemaphoreCommunications 的 40MHz Roadrunnerl84 ;Sun 的密码加速器(例如，Accelerator6000PCIeBoard、Accelerator500Daughtercard);能够执行 500+MB/s 的密码指令的 Via Nano 处理器(例如，L2100、L2200、U2400)线；VLSI Technology 的 33MHz6868 ;等。
[0059]存储器
[0060]通常，允许处理器影响信息存储和/或获取的任何机制和/或实施方式均被视为存储器829。然而，存储器是可替代技术和资源，因此，任意数量的存储器实施方式可彼此代替或合作地被采用。应该理解，MTI控制器和/或计算机系统可利用各种形式的存储器829。例如，计算机系统可配置为其中通过纸张穿孔带或纸张穿孔卡机制提供芯片上CPU存储器(例如，寄存器)、RAM、ROM以及任何其它存储设备的操作；然而，这种实施方式将导致极慢的操作速率。在典型构造中，存储器829将包括R0M806、RAM805、存储设备814。存储设备814可以是任何常规计算机系统存储器。存储设备可包括磁鼓；(固定和/或可移除)磁盘驱动；磁光驱动；光学驱动(即，蓝光、CD R0M/RAM/可记录(R)/可重写(RW)、DVD R/RW> HD DVDR/RW等)；器件阵列(例如，独立冗余磁盘阵列(RAID));固态存储器器件(USB存储器、固态驱动器(SSD)等)；其它处理器可读存储介质；和/或其它类似设备。因此，计算机系统通常需要并且利用存储器。
[0061]组件集合
[0062]存储器829可包含程序和/或数据库组件和/或数据的集合，例如但不限于:(一个或多个)操作系统组件815 (操作系统)；(一个或多个)信息服务器组件816 (信息服务器)；(一个或多个)用户接口组件817(用户接口)；(一个或多个)网页浏览器组件818 (网页浏览器)；(一个或多个)数据库819 ;( —个或多个)邮件服务器组件821 ;( —个或多个)邮件客户端组件822 ；( 一个或多个)密码服务器组件820 (密码服务器)；(一个或多个)MTI组件835;等等(即，统称为组件集合)。这些组件可被存储并且从存储装置和/或从通过接口总线可访问的存储装置被访问。尽管非常规程序组件(例如组件集合中的那些)一般存储在本地存储设备814中，但它们也可以加载和/或存储在存储器中，例如:外围设备、RAM，通过通信网络的远程存储设施、ROM、各种形式的存储器等。
[0063]操作系统
[0064]操作系统组件8 15是促进MTI控制器操作的可执行程序组件。一般，操作系统促进I/o、网络接口、外围设备、存储设备等的访问。操作系统可以是高度容错、可扩展安全系统,例如:AppIe Macintosh OS X(服务器)；AT&T Plan9 ；Be OS ;Unix 和类似 Unix 的系统发布(例如AT&T的UNIX ;伯克利软件发布(BSD)变型，例如FreeBSD、NetBSD、OpenBSD等；Linux发布,例如Red Hat、Ubuntu等)；和/或类似操作系统。然而，也可利用更多有限和/ 或更少安全操作系统，例如 Apple Macintosh OS、IBM OS/2、Microsoft DOS、MicrosoftWindows2000/2003/3.1/95/98/CE/Millenium/NT/Vista/XP(服务器)、Palm OS 等。操作系统可与包括它本身的组件集合中的其它组件通信等。最经常地，操作系统与其它程序组件、用户接口等通信。例如，操作系统可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。操作系统一旦由CPU执行就可实现与通信网络、数据、1/0、外围设备、程序组件、存储器、用户输入设备等的交互。操作系统可提供允许MTI控制器通过通信网络813与其它实体通信的通信协议。各种通信协议可被MTI控制器用作用于交互的子载波传输机制，所述通信协议例如但不限于:多播、TCP/IP、UDP、单播等。
[0065]信息服务器
[0066]信息服务器组件816是由CPU执行的存储程序组件。信息服务器可以是常规因特网信息服务器，例如但不限于Apache Software Foundation的Apache、Microsoft的因特网信息服务器等。信息服务器可允许通过诸如动态服务器页面(ASP)、ActiveX、(ANSI)(0biective-)C(++)、C#和/或.NET、公共网关接口(CGI)脚本、动态(D)超文本标记语言(HTML)、FLASH、Java、JavaScript、买际抽取报告语言(PERL)、超文本预处理器(PHP)、管道、Python、无线应用协议(WAP)、WebObjects等的工具对程序组件的执行。信息服务器可支持安全通信协议，例如但不限于:文件传输协议(FTP);超文本传输协议(HTTP);安全超文本传输协议(HTTPS)、安全套接层(SSL)、消息传递协议(例如，美国在线(AOL)即时消息器(AIM)、应用交换(APEX)、ICQ、因特网中继聊天(IRC)、微软网络(MSN)消息器服务、现场和即时消息传递协议(PRM)、因特网工程任务组的(IETF)的会话发起协议(SIP)、基于SIP的即时消息传递和现场平衡扩展(SIMPLE)、基于开放XML的可扩展消息传递和现场协议(XMPP)(即，Jabber或开放移动联盟的(OMA)的即时消息传递和现场服务(MPS))、Yahoo !即时消息器服务等。信息服务器以网页形式向网页浏览器提供结果，并且允许通过与其它程序组件交互对网页的操纵生成。在将HTTP请求的域名系统(DNS)解析部分解析到特定消息服务器之后，信息服务器基于HTTP请求的其它部分来解析请求，寻找MTI控制器上的特定位置的信息。例如，诸如
[0067]http://123.124.125.126/myInformation.html 的请求可具有请求的 IP 部分“123.124.125.126，其由DNS服务器解析到处于该IP地址的信息服务器；该信息服务器进而可进一步解析请求的“/mylnformation.html”部分的http请求,并且将其解析到存储器中包含信息“mylnformation.html”的位置。另外,可在各种端口(例如，FTP通信跨端口21等)上利用其它信息服务协议。信息服务器可与包括它本身的组件集合中的其它组件和/或设施等通信。最常见地，信息服务器与MTI数据库819、操作系统、其它程序组件、用户接口、网页浏览器等通信。
[0068]对MTI数据库的访问可通过多种数据库桥接机制实现，例如通过下面列举的脚本语言(例如CGI)和通过下面列举的应用程序间通信通道(例如，CORBA、WebObjects等)。通过网页浏览器的任何数据请求通过桥接机制解析为MTI需要的适当的语法。在一个实施方式中，信息服务器将提供网页浏览器可访问的网页表单。制作成在网页表单中所提供的字段的条目被标记为已输入到特定字段中并且这样被解析。输入项然后与字段标签一起传递，它们被用于指示解析器生成针对适当的表和/或字段的查询。在一个实施方式中，解析器可通过基于所标记的的文本条目来实例化(instantiate)带有恰当的加入/选择命令的搜索字符串而以标准SQL来生成查询，其中得到的命令通过桥接机制提供给MTI作为查询。根据查询生成查询结果时，该结果通过桥接机制被传递，并且可被解析以由桥接机制格式化并且生成新结果网页。这种新结果网页然后提供给信息服务器，信息服务器可将其提供给请求的网页浏览器。
[0069]而且，信息服务器可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0070]用户接口
[0071]计算机接口在某种程度上类似于汽车操作接口。汽车操作接口元件(例如方向盘和速度计)促进汽车资源和状态的访问、操作、显示。计算机交互接口元件(例如复选框、光标、菜单、滚轮、窗口(统称为微件))类似地促进数据、计算机硬件和操作系统资源、状态的访问、性能、操作、显示。操作接口通常称为用户接口。诸如Apple Macintosh操作系统的 Aqua、IBM 的 OS/2、Microsoft 的 WindoWs2000/2003/3.1/95/98/CE/MiIlenium/NT/XP/Vista/7 (即，Aero) > Unix的X_WindoWs(例如,可包括附加Unix图形接口库和诸如K桌面环境(KDE)、mythTV和GNU网络对象模型环境(GNOME)的层)、网络接口库(例如，可使用以下中的任一项:ActiveX、AJAX、(D)HTML、FLASH、Java、JavaScript 等接口库，例如但不限于 Dojo> jQuery (UI)、MooTools、Prototype、script, acul0.us、SWFObiect、Yahoo !用户接口)的图形用户接口(GUI)提供访问并向用户图形显示信息的基线和手段。
[0072] 用户接口组件817是由CPU执行的存储程序组件。用户接口可以是诸如已经讨论的操作系统和/或操作系统环境提供的常规图形用户接口、利用诸如已经讨论的操作系统和/或操作系统环境的常规图形用户接口、和/或在诸如已经讨论的操作系统和/或操作系统环境上的常规图形用户接口。用户接口可允许通过文本和/或图形设施显示、执行、交互、操纵和/或操作程序组件和/或系统设施。用户接口提供用户可影响、交互和/或操作计算机系统的设施。用户接口可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，用户接口与操作系统、其它程序组件等通信。用户接口可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0073]网页浏览器[0074]网页浏览器组件818是由CPU执行的存储程序组件。网页浏览器可以是常规超文本浏览应用程序，例如微软因特网浏览器或网景领航员。可利用HTTPS、SSL等利用128位(或更多)加密提供安全网页浏览。网页浏览器允许通过诸如Activex、AJAX、(D)HTML、FLASH、Java、JavaScript、网页浏览器插件API (例如，FireFox、Safari插件和/或类似API)等工具执行程序组件。网页浏览器和类似信息访问工具可集成到PDA、蜂窝电话和/或其它移动设备。网页浏览器可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，网页浏览器与信息服务器、操作系统、集成程序组件(例如插件)等通信；例如，它可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。而且，为了替代网页浏览器和信息服务器，可开发组合应用程序来执行这二者的类似操作。组合应用程序将类似地影响从MTI使能节点向用户、用户代理等获得并提供详细。组合应用程序在利用标准网页浏览器的系统上可能无效。
[0075]邮件服务器
[0076]邮件服务器组件821是由CPU803执行的存储程序组件。邮件服务器可以是常规因特网邮件服务器，例如但不限于sendmail、Microsoft Exchange等。邮件服务器可允许通过诸如 ASP、ActiveX、(ANSI) (Objective-) C (++)、C# 和 / 或.NET、CGI scripts、Java、JavaScript、PERL、PHP、管道、Python、WebObj ects等工具执行程序组件。邮件服务器可支持通信协议，例如但不限于:因特网消息访问协议(IMAP)、消息应用程序编程接口(MAPI)/Microsoft Exchange、邮局协议(POP3)、简单邮件传输协议(SMTP)等。邮件服务器能路由、转发、处理已发送、中继和/或通过和/或去往MTI的到来和发出的邮件消息。
[0077]访问MTI邮件可通过各个网页服务器组件和/或操作系统提供的多个APl实现。
[0078]而且，邮件 服务器可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求、信息和/或响应。
[0079]邮件客户端
[0080]邮件客户端组件822是由CPU803执行的存储程序组件。邮件客户端可以是常规邮件查看应用程序，例如 Apple Mail、Microsoft Entourage ^Microsoft 0utlook>MicrosofnOutlook Express、Mozilla、Thunderbird等。邮件客户端可支持多种传输协议,例如:IMAP、Microsoft Exchange、POP3、SMTP等。邮件客户端可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，邮件客户端与邮件服务器、操作系统、其它邮件客户端等通信；例如，它可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求、信息和/或响应。通常，邮件客户端提供撰写并发送电子邮件消息的工具。
[0081]密码服务器
[0082]密码服务器组件820是由CPU803、密码处理器826、密码处理器接口 827、密码处理器设备828等执行的存储程序组件。密码处理器接口将允许处理由密码组件请求的加密和/或解密；然而，备选地，密码组件可在常规CPU上运行。密码组件允许加密和/或解密提供的数据。密码组件允许对称和非对称(例如，极好保护(PGP))加密和/或解密。密码组件可利用加密技术，例如但不限于:数字证书(例如，X.509认证框架)、数字签名、双签名、封包、密码访问保护、公钥管理等。密码组件将促进数字(加密和/或解密)安全性协议，例如但不限于:校验和、数据加密标准(DES)、椭圆曲线加密(ECC)、国际数据加密算法(IDEA)、消息摘要5 (MD5，一种散列运算)、密码、Rivest Cipher (RC5)、Riindael, RSA(因特网加密和认证系统，使用Ron Rivest、Adi Shamir、Leonard Adleman于1977年开发的算法)、安全散列算法(SHA)、安全套接字层(SSL)、安全超文本传输协议(HTTPS)等。利用这些加密安全协议，MTI可加密所有到来和/或发出的通信，并且可用作利用更广通信网络的虚拟专用网(VPN)内的节点。密码组件促进“安全授权”处理，从而通过安全协议禁止对资源的访问，其中密码组件实现对安全资源的经授权的访问。此外，密码组件可提供内容的唯一标识符，例如利用MD5散列以获得用于数字音频文件的唯一签名。密码组件可与包括它本身的组件集合中的其它组件和/或类似设施通信。密码组件支持允许在通信网络上安全发送信息以使得MTI组件能够在希望时参与安全交易的加密方案。密码组件促进MTI上的资源的安全访问，并且促进远程系统上的安全资源的访问；即它可用作安全资源的客户端和/或服务器。最常见地，密码组件与信息服务器、操作系统、其它程序组件等通信。密码组件包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0083]MTI数据库
[0084]MTI数据库组件819可嵌入在数据库及其存储的数据中。数据库是由CPU执行的存储程序组件；存储程序组件部分将CPU配置成处理所存储的数据。数据库可以是常规、容错、关系、可扩展、安全数据库，例如Oracle或Sybase。关系数据库是平面文件的扩展。关系数据库包括一系列相关表组成。这些表经由关键字段互连。关键字段的使用通过相对关键字段进行索引来允许表的组合；即，关键字段用作用于组合来自各种表的信息的三维支点。关系通常标识通过匹配主关键字来识别表之间所保持的链接。主关键字表示唯一地标识关系数据库中的表的行的字段。更精确地，它们在一对多关系的“一”侧唯一地标识表的行。
[0085]备选地，MTI数据库可利用各种标准数据结构实现，例如阵列、散列、(链接)列表、结构体、结构化文本文件(例如XML)、表等。这些数据结构可存储在存储器中和/或(结构化)文件中。在另一备选中，可使用面向对象的数据库，例如Frontier、jectStore、Poet、Zope等。对象数据库能包括通过公共属性分组和/或链接在一起的多种对象集合；它们可通过一些公共属性与其它对象集合相关。面向对象的数据库与关系数据库类似地运作，不同之处是对象不仅仅是数据块，而是可以具有封装在给定对象内的其它类型的功能。如果MTI数据库实现为数据结构，则MTI数据库819的使用可集成到另一组件，例如MTI组件835。而且，数据库可以实现为数据结构、对象和关系结构的混合。数据库可通过标准数据处理技术按照无数变型合并和/或分布。数据库的部分(例如表)可导出和/或导入，因此是分散的和/或集成的。
[0086]在一个实施方式中，数据库组件819包括若干表819a_j。用户表819a可包括字段，例如但不限于:user—id、ssn、dob、first—name、last—name、age、state、address_firstline、address_secondline、zipcode、deVices_list、contact_info、contact_type、alt—contact—infb、alt—contact—type等。用户表可支持和/或跟踪MTI上的多个实体帐户。设备表 819b 可包括字段，例如但不限于:device—ID、device—name、device—IP、deVice—MAC、 deVice_type、 deVice—model、 deVice_version、 device_0S、 device_apps_list、device—securekey等。应用程序表819c可包括字段，例如但不限于:app—ID、app—name、app—type、app—dependencies等。手势表819d可包括字段，例如但不限于！gesture—id、gesture_name、 gesture_touch_group_dehnition、 gesture_timing—sequence、 gesture_enabled—flag、gesture_settings_list、gesture_settings_values 等。输入设备表 819e可包括字段，例如但不限于:deVice—ID、deVice—name、deVice—IP、deVice—MAC、deVice—type、device—model、deVice_version、device_0S、deVice_apps_list、device_securekey等。命令表819f可包括字段，例如但不限于:command—id、command_ name、command_syntax、command_compiler、 command_inputs、 command_exceptions_list、 command_gesture_trigger等。传感器表819g可包括字段，例如但不限于:sensor_id、sensor_name、sensor_type、last_calibrated、sensor_data_rate> sensor_data_format> sensor_data_error_estimate、 sensor_trigger_type> sensor_trigger_condition、 sensor_burst_enable_nag、sensor_continuous_enable_flag等。校准数据表819h可包括字段，例如但不限于:calibration_id、 calibration_type> calibration_deVice_applicable> calibration—variables_list>calibration_variables_values 等。阈值表 819i 可包括字段，例如但不限于:threshold_id、threshold_name、threshold_type> threshoId_dynamic_parameter>threshold_value> threshold_delta、 threshold_last_update、 threshold_calibrated_flag等。触摸历史表819j可包括字段,例如但不限于:timestamp、user_id、user_app_id、user_device_id> user_gesture_id、user_command_id 等。
[0087]在一个实施方式中，MTI数据库可与其它数据库系统交互。例如，在利用分布式数据库系统的情况下，通过搜索MTI组件进行的查询和数据访问可将MTI数据库、集成数据安全层数据库的组合视为单个数据库实体。
[0088]在一个实施方式中，用于程序可包含可用于更新MIT的各种用户接口原语。而且，根据MTI可能需要提供服务的环境和客户端类型，各种帐户可要求自定义数据库表。应该注意，通篇中任何唯一字段可被指定为密钥字段。在备选实施方式中，这些表已分散到它们本身的数据库及其相应的数据库控制器(即，针对以上表中的每个的单独的数据库控制器)中。在利用标准数据处理技术的情况下，还可在若干计算机系统和/或存储设备上分布数据库。类似地，分散数据库控制器的构造可由于合并和/或分布各自数据库组件819a-j而变化。MTI可配置为经由数据库控制器保持跟踪各种设置、输入和参数。
[0089]MTI数据库可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，MTI数据库与MTI组件、其它程序组件等通信。数据库可包含、保留并提供与其它节点和数据有关的信息。
[0090]MTI
[0091]MTI组件835是由CPU执行的存储程序组件。在一个实施方式中，MTI组件并入以前的图中讨论的MTI的各个方面的任意和/或所有组合。因此，MTI影响在各种通信网络上对信息、服务、交易等的访问、获得、提供。
[0092]MTI组件可经由MTI组件将多用户多模态触摸屏输入手势转变为用户定制的计算结果显示等，并使用MTI。在一个实施方式中，MTI组件835取得输入(例如，触摸输入401 ；在前触摸输入集409 ;用户命令413、416 ;修改的用户命令420 ;光强度信号501 ;触摸ID、位置坐标601,701 ;等等)，并且经由MTI组件(例如，MTP841 ；TCD842 ；TTI843 ；TGR844 ;等等)将它们转变为输出(例如，执行的用户命令421 ;质心坐标505 ;触摸ID、位置坐标506 ；触摸ID、关联类型608 ;触摸组706 ;等等)。
[0093]实现在节点之间的信息访问的MTI组件可通过利用标准开发工具和语言来开发，该标准开发工具和语言例如但不限于:Apache组件、Assembly、ActiveX、二进制可执行、(ANSI) (Objective-)C(++)、C# 和 / 或.NET、数据库适配器、CGI 脚本、Java、JavaScript、映射工具、面向过程和对象的开发工具、PERL、PHP、Pyth0n、Shell脚本、SQL命令、网页应用服务器扩展、网络开发环境和库(例如，Microsoft的ActiveX ；Adobe AIR、FLEX & FLASH ；AJAX ; (D)HTML ;Dojo、Java ；JavaScript ； jQuery(UI) ；MooTools !Prototype ；script.acul0.uS ;简单对象访问协议(SOAP) ；SffFObject ;Yahoo !用户界面等)、WebObjects 等。在一个实施方式中，MTI服务器利用密码服务器来对通信进行加密和解密。MTI组件可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，MTI组件与MTI数据库、操作系统、其它程序组件等通信。MTI可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0094]分布式MTI[0095]任意MTI节点控制器组件的结构和/或操作可按任何数量的方式组合、合并和/或分布，以促进开发和/或部署。类似地，组件集合可按任何数量的方式组合，以促进部署和/或开发。为了实现这点，可将组件集成到公共代码库或者集成到能够根据需求以集成方式动态加载组件的设施中。
[0096]组件集合可通过标准数据处理和/或开发技术按无数变型合并和/或分布。程序组件集合中任一程序组件的多个实例可在单个节点上和/或跨节点实例化，以通过负载均衡和/或数据处理技术提高性能。另外，单个实例也可跨多个控制器和/或存储设备(例如数据库)分布。协同工作的所有程序组件实例和控制器可通过标准数据处理通信技术来这样做。
[0097]MTI控制器的构造将取决于系统部署上下文。诸如(但不限于)下层硬件资源的预算、容量、位置和/或用途的因素可影响部署需求和构造。无论构造导致更合并和/或集成的程序组件、导致更分布序列的程序组件和/或导致合并和分布构造之间的某组合，都可通信、获得和/或提供数据。从程序组件集合合并到公共代码库的组件的实例可通信、获得和/或提供数据。这可通过应用程序内数据处理通信技术来实现，例如但不限于:数据引用(例如，指针)、内部消息传递、对象实例变量通信、共享存储器空间、变量传递等。
[0098]如果组件集合中的多个组件彼此分立、分离和/或在彼此外部，则与其它组件通信、从其它组件获得和/或向其它组件提供数据可通过应用程序间数据处理通信技术来实现，例如但不限于:应用程序接口(API)信息通道；(分布式)组件对象模型((D) COM)、(分布式)对象链接和嵌入((D)OLE)等，公共对象请求代管者架构(CORBA)、本地和远程应用程序接口 Jin1、JavaScript对象记号(JSON)、远程方法调用(RMI)、S0AP、处理管道、共享文件等。可通过创建和解析语法来促进在分立的组件分量之间发送的用于应用程序间通信的消息或者在单个组件的存储器空间内发送的用于应用程序内通信的消息。语法可利用诸如lex、yacc、XML等的开发工具开发，这些开发工具允许语法生成和解析能力，进而可形成组件内和之间通信消息的基础。
[0099]例如，语法可配置为识别HTTP post命令的令牌，该命令例如为:
[0100]w3c-post http://...Valuel
[0101]其中Valuel识别为参数，因为“http://”是语法句法的一部分，跟在后面的被视为post值的一部分。类似地，利用这种语法，变量“Valuel”可插入到“http://”p0st命令中并且然后被发送。语法句法本身可呈现为被解释和/或否则用于生成解析机制的结构数据(例如，通过lex、yacc等处理的句法描述文本文件)。而且，一旦生成和/或示例化解析机制，则它本身可处理和/或解析结构数据，例如但不限于:字符(例如tab)界限的文本、HTML、结构化文本流、XML和/或类似结构数据。在另一实施方式中，应用程序间数据处理协议本身可具有集成和/或容易获得的解析器(例如JSON、SOAP和/或类似解析器)，可利用其来解析(例如，通信)数据。另外，解析语法可在消息解析之外应用，而是也可用于解析:数据库、数据集合、数据存储、结构化数据等。在此，期望的构造将取决于系统部署上下文、环境和需求。
[0102] 例如，在一些实现中，MTI控制器可经由信息服务器执行实现安全套接字层(“SSL”)套接字服务器的PHP脚本，其监听客户端可能发送数据的服务器端口上到来的通信，例如，以JSON格式编码的数据。在识别出到来的通信时，PHP脚本可读取来自客户端设备的到来的消息，解析接收的JSON编码的文本数据，以从JSON编码的文本数据提取信息到PHP脚本变量，并且将数据(例如，客户端标识信息等)和/或提取的信息存储在可利用结构查询语言(“SQL”)访问的关系数据库中。以下提供示例性基本上以PHP/SQL命令形式编写的经由SSL连接从客户端设备接受JSON编码的输入数据、解析数据以提取变量、并且将数据存储到数据库的示例性列表:
[0103]
<?PHP
header (' Content-Type: text/plain');
//设置ip地址和端口以监听到来的数据Saddress = '192.168.0.100';
$port = 255;
//创建服务器侧SSL套接字，监听/接受到来的通信$sock = socket create (AF INET, SOCK STREAM, O);socket bind ($sock, $address, $port) or die ('Could not bind toaddress');
socket listen ($sock);
$client = socket—accept ($sock);
[0104]//以1024字节块从客户端设备读取输入数据，直到消息结束do {
S input =
Sinput = socket_read ( $client, 1024);
$data.= $input;
} while ($ input !="");
//解析数据以提取变量
$obj = json_decode ( $data, true);
//将输入数据存储在数据库中
mysql_connect ( "201.408.185.132 " , $DBserver , $password) ; Il 访问
数据库服务器
mysql—select ( "CLIENT DB.SQL" ) ; Il 选择要附加的数据库mysql query ("INSERT INTO UserTable (transmission)
VALUES (Sdata)"); Il将数据添加到客户端数据库中的用户表mysql_close ( "CLIENT DB.SQL" ) ; // 关闭到数据库的连接
?>
[0105]而且，可以使用以下资源来提供关于SOAP解析器实现的示例实施方式:
[0106]http://WWW.xav.com/perl/site/lib/SOAP/Parser.html
[0107]http://publib.boulder, ibm.com/infocenter/tiVihelp/v2rl/index, jsp ?topic = /com.1bm.1BMD1.doc/referenceguide295.htm
[0108]以及关于其它解析器实现的示例实施方式:
[0109]http://publib.boulder, ibm.com/infocenter/tiVihelp/v2rl/index, jsp ?topic = /com.1bm.1BMD1.doc/referenceguide259.htm
[011 o] 在此通过引用从表达上并入全部。
[0111] 为了解决各种问题并且推进现有技术，多模态触摸屏交互装置、方法和系统的整个本申请(包括首页、名称、标题、【技术领域】、【背景技术】、
【发明内容】
、【专利附图】
【附图说明】、【具体实施方式】、权利要求书、摘要、附图、附录和/或其它)通过图示示出了各种实施方式，其中可实现要求保护的发明。本申请的优点和特征仅是实施方式的代表性样例，并且不是穷举和/或排他的。呈现它们仅为了辅助理解，并且讲述要求保护的原理。应该理解，它们不代表所有要求保护的发明。如此，在此没有讨论本公开的特定方面。可能未针对本发明的特定部分呈现那些备选实施方式或者针对一部分可用的进一步未描述的备选实施方式不视为放弃这些备选实施方式。将理解，这些未描述的实施方式中的许多包括相同的发明原理，其它的是等同的。因此，应该理解，在不脱离本公开的范围和/或精神的情况下，可以利用其它实施方式，并且可以作出功能、逻辑、操作、结构和/或拓扑修改。因此，所有示例和/或实施方式在本公开通篇视为非限制。而且，关于这里讨论的这些实施方式，为了减少空间和重复，除此之外不应该推论相对于这里没有讨论的实施方式。例如，应该理解，在附图中和/或通篇描述的任何程序组件(组件集合)、其它组件和/或任何存在特征集合的任何组合的逻辑和/或拓扑结构不限于固定操作顺序和/或排列，而相反地，任何公开的顺序是示例性的，通过本公开设想了所有等同物(无顺序无关)。此外，应该理解，这些特征不限于顺序执行，而是相反，通过本公开设想了可以异步、同时、并发、并行、同步等执行的任何数量的线程、处理、服务、服务器等。因此，这些特征中的一些可能相互矛盾，因为它们不能同时存在于单个实施方式中。类似地，一些特征适用于本发明的一个方面而不适用于其它方面。此外，本公开包括权利要求中未呈现的其它发明。 申请人:对那些未呈现的未要求保护的发明保留所有权利，包括要求保护这些发明、文件附加申请、延续、部分延续、分案等的权利。因此，应该理解，本公开的优点、实施方式、示例、功能、特征、逻辑、操作、组织、结构、拓扑和/或其它方面不视为对如权利要求限定的本公开的限制，或者对权利要求等同物的限制。应该理解，根据MTI个体和/或企业用户的特定需求和/或特性、数据库构造和/或关系模型、数据类型、数据发送和/或网络框架、句法结构等，可实现MTI的各种实施方式，这些实施方式实现大量灵活性和定制。例如，MTI的各个方面可适于3D浸入系统、虚拟现实体验、办公生产力套件等。尽管MTI的各种实施方式和讨论致力于人机交互，然而，应该理解，可以针对广泛的各种其它应用和/或实现容易地构造和/或定制这里描述的实施方式。
【权利要求】
1.一种多模态触摸屏交互处理器实现的方法，包括: 从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号； 经由处理器根据所述传感器信号确定所述用户触摸事件的位置坐标； 根据所述传感器信号识别所述用户触摸事件的触摸类型；以及 经由所述处理器使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。
2.根据权利要求1所述的方法，还包括: 针对与所述用户触摸屏手势关联的用户命令而查询存储器；以及 经由所述处理器执行所述用户命令。
3.根据权利要求2所述的方法，还包括: 针对预定时间窗口内的在前用户触摸事件而查询存储器；以及 使用所述在前用户触摸事件和所述用户触摸屏手势来识别手势模式。
4. 根据权利要求3所述的方法，其中针对与所述用户触摸屏手势关联的所述用户命令的查询基于所识别的手势模式。
5.根据权利要求2所述的方法，还包括: 基于所识别的所述用户触摸事件的触摸类型，识别对与所述用户触摸屏手势关联的所述用户命令的修改；以及 其中经由所述处理器执行所述用户命令是基于根据所识别的触摸类型对所述用户命令的所述修改。
6.根据权利要求1所述的方法，其中所述用户触摸事件包括手指触摸和触控笔触摸。
7.根据权利要求6所述的方法，其中所述用户触摸事件包括多手指触摸和触控笔触摸。
8.—种多模态触摸屏交互系统,包括: 处理器；以及 存储器，布置为与所述处理器通信，并且存储处理器可发出的指令以: 从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号； 经由所述处理器根据所述传感器信号确定所述用户触摸事件的位置坐标； 根据所述传感器信号识别所述用户触摸事件的触摸类型；以及 经由所述处理器使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。
9.根据权利要求8所述的系统，所述存储器还存储指令以: 针对与所述用户触摸屏手势关联的用户命令而查询存储器；以及 经由所述处理器执行所述用户命令。
10.根据权利要求9所述的系统，所述存储器还存储指令以: 针对预定时间窗口内的在前用户触摸事件而查询存储器；以及 使用所述在前用户触摸事件和所述用户触摸屏手势来识别手势模式。
11.根据权利要求10所述的系统，其中针对与所述用户触摸屏手势关联的所述用户命令的查询基于所识别的手势模式。
12.根据权利要求9所述的系统，所述存储器还存储指令以: 基于所识别的所述用户触摸事件的触摸类型，识别对与所述用户触摸屏手势关联的所述用户命令的修改；以及其中经由所述处理器执行所述用户命令是基于根据所识别的触摸类型对所述用户命令的所述修改。
13.根据权利要求8所述的系统，其中所述用户触摸事件包括手指触摸和触控笔触摸。
14.根据权利要求13所述的系统，其中所述用户触摸事件包括多手指触摸和触控笔触摸。
15.一种处理器可读有形介质，存储处理器可发出的多模态触摸屏交互指令以: 从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号； 经由所述处理器根据所述传感器信号确定所述用户触摸事件的位置坐标； 根据所述传感器信号识别所述用户触摸事件的触摸类型；以及 经由所述处理器使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。
16.根据权利要求15所述的介质，还存储指令以: 针对与所述用户触摸屏手势关联的用户命令而查询存储器；以及 经由所述处理器执行所述用户命令。
17.根据权利要求16所述的介质，还存储指令以: 针对预定时间窗口内的在前用户触摸事件而查询存储器；以及 使用所述在前用户触摸事件和所述用户触摸屏手势来识别手势模式。`
18.根据权利要求17所述的介质，其中针对与所述用户触摸屏手势关联的所述用户命令的查询基于所识别的手势模式。
19.根据权利要求16所述的介质，还存储指令以: 基于所识别的所述用户触摸事件的触摸类型，识别对与所述用户触摸屏手势关联的所述用户命令的修改；以及 其中经由所述处理器执行所述用户命令是基于根据所识别的触摸类型对所述用户命令的所述修改。
20.根据权利要求15所述的介质，其中所述用户触摸事件包括手指触摸和触控笔触摸。
21.根据权利要求20所述的介质，其中所述用户触摸事件包括多手指触摸和触控笔触摸。
【文档编号】G06F3/045GK103534674SQ201280008070
【公开日】2014年1月22日 申请日期:2012年2月8日 优先权日:2011年2月8日
【发明者】A·哈格蒂 申请人:海沃氏公司
【专利摘要】多模态触摸屏交互装置、方法和系统(“MTI”)经由MTI组件将多用户多模态触摸屏输入手势转变为用户定制的计算结果显示。在一个实施方式中，MTI从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号。MTI根据所述传感器信号确定所述用户触摸事件的位置坐标。MTI根据所述传感器信号识别所述用户触摸事件的触摸类型，以及使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。MTI针对与所述用户触摸屏手势关联的用户命令而查询存储器，以及经由处理器执行所述用户命令。
【专利说明】多模态触摸屏交互装置、方法和系统
[0001]旨在专利证书公开文献的此专利描述了包括各种新颖创意的发明方面(下文称为“公开”)，包含受到著作权、商标和/或其它知识产权保护的材料。这些知识产权的各个所有者不反对任何人如同出现在出版的专利局文件/记录中一样拓制本公开，但对于其它情况将保留所有权利。
[0002]优先权声明
[0003]本申请根据35USC §119要求2011年2月8日提交的名称为“APPARATUSES，METHODS AND SYSTEMS FOR MULTIMODAL INTERACTIONS WITH LASER LIGHT PLANE TOUCHSCREENS”、代理人案号21445-002PV的美国临时专利申请序列号61/440，591的优先权。在此通过引用明确并入前述申请的全部内容。
【技术领域】
[0004]本发明总体涉及用于人机交互的装置、方法和系统，并且更具体地，包括多模态触摸屏交互装置、方法和系统(“MTI”)。
【背景技术】
[0005]电子显示器为用户提供视觉信息。一些计算机系统包括用于由用户响应于电子显示器提供的视觉信息而提供输入的机制。例如，计算机系统可包括触摸屏。用户可在触摸屏的一部分上施加压力，作为向计算机系统中提供输入的机制。
【专利附图】
【附图说明】
[0006]附录和/或附图图示根据本公开的各种非限制性示例发明方面:
[0007]图1A-B示出图示MTI的一些实施方式中的多模态触摸屏交互的各个示例方面的框图；
[0008]图2A-D示出图示MTI的一些实施方式中的多模态触摸感测的各个示例方面的框图；
[0009]图3不出图不MTI的一些实施方式中的基于光的触摸输入识别的各个不例方面的框图；
[0010]图4A-B示出图示MTI的一些实施方式中的多模态触摸处理(例如多模态触摸处理(“MTP”)组件400)的各个示例方面的逻辑流程图；
[0011]图5示出图示MTI的一些实施方式中的触摸坐标确定(例如触摸坐标确定(“TCD”)组件500)的各个示例方面的逻辑流程图；
[0012]图6示出图示MTI的一些实施方式中的触摸类型识别(例如触摸类型识别(“TTP”)组件600)的各个示例方面的逻辑流程图；
[0013]图7A-B示出图示MTI的一些实施方式中的触摸组分辨率(例如触摸组分辨率(“TGR”)组件700)的各个示例方面的逻辑流程图；
[0014]图8示出图示MTI控制器的实施方式的框图。[0015]图中各附图标记的第一个数字表示引入和/或详述该附图标记的图。如此，将在图1中找到和/或引入附图标记101的详细讨论。在图2中引入附图标记201等。
【具体实施方式】
[0016]多模态触摸屏交互(MTI)
[0017]多模态触摸屏交互装置、方法和系统(下文称为“MTI”)经由MTI组件将多用户多模触摸屏输入手势转换为用户定制的计算结果显示。图1A-B示出图示MTI的一些实施方式中的多模态触摸屏交互的各个示例方面的框图。参照图1A，在一些实施方式中，MTI可提供触摸屏100。例如，用户可用手指或手、或者诸如触控笔的物体触摸MTI提供的显示器。触摸屏可以是电子视觉显示器，其能检测显示区域内的触摸的存在和位置，并且将检测的触摸解释为与正在显示的内容的处理交互。MTI可提供一机制，从而虚拟覆盖物或表面可接收与包括或容纳显示器的给定表面交互、或者触摸包括或容纳显示器的给定表面的用户输入。在一些实施方式中，触摸屏可包括用设计为检测触摸屏或其附近的微小物理环境中变化的传感器构造轮廓或支撑的框。传感器可在空间和时间上检测并跟踪各种物体在限定表面上的接触。在一些实施方式中，触摸屏表面可包括但不限于数字显示器(例如，液晶显示器(LCD)、等离子体显示器、背投、发光二极管(LED)、有机发光二极管(OLED)等)上的覆盖物。其它非数字显示器(例如，不规则或弯曲的壁面)也可包含触摸屏表面。在一些实施方式中，MTI可提供设计为同时检测并解释单个显示器上的两个或更多个不同的触摸事件的多个触摸屏，包括能解释由两个或更多个手指作出的各种“手势”的那些触摸屏。MTI可使用这里讨论的各种触摸检测和跟踪实现中的任意一种实现多点触摸触摸屏。因此，MTI可实现手势解释能力，因此提供一系列丰富复杂的与显示内容的用户交互。在一些实施方式中，MTI可便于单个用户提供单个类型的输入(例如，触控笔输入101a、手指输入IOlb等)。在一些实施方式中，MTI可便于单个用户提供多个同时输入触摸(例如，多触控笔输入101c、混合触控笔_手指输入IOlcU多手指输入101e、多手多手指输入IOlf、多手指混合触控笔-手指输入IOlg和/或类似组合)。
[0018]参照图1B，在一些实施方式中，MTI可便于多个用户(例如，用户1110a，用户2110b，用户3110c)同时向触摸屏100提供诸如以上参照图1A描述的那些输入的输入。在一些实施方式中，每个用户可与MTI提供的触摸屏上显示的单独的可执行应用程序(例如，应用程序Illla,应用程序2111b,应用程序3111c)交互。在这些实施方式中,MTI可接收、区分并且唯一地标识来自(可能同时作用的)各个用户中的每个用户的(可能同时的)各个输入中的每个输入，并且将该各个用户中的每个用户的输入关联到它们正与之交互的MTI上的各个应用。在一些优选实施方式中，MTI可识别用户的手指和触控笔输入并且在二者之间进行区分，使得手指和触控笔输入二者均可被感测为接触触摸屏，作为不同类型的触摸。在这些实施方式中，MTI可使触摸屏上正在显示的应用程序的用户界面适于在手指与之交互时相对于触控笔与之交互时不同地表现。在一些实施方式中，应用程序为用户提供的功能可根据用户是利用手指还是触控笔与应用程序交互而变化(例如，即使MTI的触摸屏上的用户手势的形状对于手指和触控笔相同时也是如此)。作为这种情况的示例，基于手指触摸的手势可在绘制应用程序中向用户提供橡皮工具，而使用触控笔的相同手势可在绘制应用程序中提供绘制工具。在一些实施方式中，一些用户控制可通过触控笔触摸(并且例如不通过手指触摸)而激活，实现了通过在手势中如何同时使用触控笔和手指定义的新的混合触摸手势。在一些实施方式中，触摸屏应用程序软件(或“apps”)可提出和/或划分要针对手指或触控笔或二者执行的特定跟踪处理。作为示例性非限制示例，在应用程序中，当手指用于绘制时，相比于当触控笔用于绘制时，MTI上执行的触摸屏应用程序可施加附加的平滑。
[0019]图2A-D示出图示MTI的一些实施方式中的多模态触摸感测的各个示例方面的框图。参照图2A，在各种实施方式中，MTI可包括利用各种各样的技术用于触摸感测的触摸屏，这些技术包括但不限于电阻/电容膜，包括安装在显示器表面上的框的“覆盖物”，从后面观察表面的相机，基于物体在显示器表面周围移动时产生的声振动对物体位置进行三角测量的音频传感器。在利用电阻/电容触摸屏的一些实施方式中，传感器可由提供预校准的、最优的弹性和柔性的塑料聚合物制成，并且产生对由诸如手指的带静电物体的接近或接触导致的变形敏感的静电场。MTI可提供电阻/电容触摸屏，可包括可扩展敏感度范围和接近感测能力。在一些实施方式中，覆盖物表面可对正在施加到表面的力的量进行压力敏感测量。在一些实现中，触摸屏可包括使用具有快速刷新率(例如，120Hz以上)、无雾透明度的高对比度的高分辨率像素传感器。触摸屏传感器可根据用户/组喜好、执行的应用程序、触摸屏附近的环境状况等自动校准或定制。上述各种实现可以在使用多种模式检测、跟踪或解释触摸交互的触摸屏中组合。
[0020]在一些实现中，激光平面(LLP)、红外线(IR)或其它光波可投射在显示表面上，当物体干扰该投射的光波时，通过传感器检测到触摸。例如，在一些实施方式中，触摸屏210包括显示表面，安装有红外光源215以平行于表面发光，并且安装有传感器以观察该光和针对其的任何干扰。在一些实施方式中，触摸屏显示表面可以是平的，但是在其它实施方式中可以操作性地弯曲特定类型的曲率，例如圆柱截面。非限制性地，实施方式可针对电磁辐射(例如，可见光)的变化波长而操作。
[0021]一些实施方式可利用表面的一部分周围的矩形框211，其中红外光源和传感器嵌入在框中。在一些实施方式中，红外光源可以(例如，从预定参考点看去，连续地、具有周期性间隔、以相等角间距等)包含在框内部周围，并且传感器可定位在矩形框的两个或更多个角落(参见214)。在其它实施方式中，光发射器和传感器可彼此成对匹配地嵌入在框中，例如，框一侧可包括发射器，并且另一侧可包括对应于这些发射器的传感器。在一些实施方式中，触摸屏周围的框可包括不同敏感度水平、分辨率和/或时间属性的一组混合的传感器。在一些实施方式中，照明传感器可位于感测平面(例如，一维IR-LED)上。框还可包括战略定位于给定交互区域上的多个传感器。在一些实施方式中，触摸屏可包括表面平面外部的(例如，经由互补金属氧化物半导体(CMOS)和IR激光二极管的二维的)传感器。传感器位于平坦表面外部，与触摸屏的交互可不需要触摸物体和/或触控笔物理接触表面，并且允许触摸屏例如从移动或远程设备接收远程交互输入。在各种实施方式中，与触摸屏交互的物体可采取许多形式。在一个实施方式中，正被检测的物体可以是手指、触控笔、或远端具有预定模式(例如规则或不规则形状)的构件。
[0022]在一个实施方式中，触摸屏可对多个传感器读数进行三角测量，以确定物体位置。在一些实施方式中，具有红外光发射器的触控笔可用于与触摸屏交互。触摸屏可经由光传感器(从屏幕后面观察或在屏幕平面中观察)将红外光触控笔检测为亮点。在一些实施方式中，触摸屏可发射红外光，以通过反射或散射检测手指触摸动作。一些屏幕也可使发光的红外光源嵌入在触摸屏平面中，使得触摸屏幕的手指被IR光照亮，并且可检测为光传感器中的亮点。
[0023]在一些实施方式中，触摸屏周围的覆盖框可包括平行于表面发光的嵌入红外光，以及当物体打破限定的平面以将光反射回传感器时感测增加的亮度的光传感器。如图2A中图示的，在一些实施方式中，触摸屏面板可在独立地跟踪手指212和触控笔213时同时从手指212和触控笔213接收输入。在一些实施方式中，例如，传感器214可调谐为检测从触控笔发射的光或者因为手指触摸反射的光。在这些实施方式中，触控笔213发射的光的强度可亮于手指触摸反射的光或者在不存在用户触摸的情况下在屏幕平面上方发射的光的正常强度。
[0024]在一些实施方式中，覆盖框可包括平行于表面发光的嵌入红外光源，以及当光被在光源与传感器之间的表面上进行接触的物体(诸如手指)阻挡时检测的传感器。参照图2B，一些实施方式可利用通过阻挡或散射的光而检测触摸的触摸屏。在这些实施方式中，可经由调谐为识别发射或透射的光225的中断或降低强度的传感器220而检测触摸事件222的例子，然后可基于通过若干传感器获得的散射模式对检测的触摸事件的位置进行三角测量(例如，经由触摸处理器221)和跟踪。在一些实施方式中，区分算法可指示传感器检测比正常显著亮的位置(例如，当触控笔223的光/RF发射器开启时)，以及比正常显著暗的位置(例如，当手指222阻挡或减少屏幕表面上的光平面时)。在这些实施方式中，比正常屏幕交互亮可解释为触控笔触摸223，比正常暗可解释为手指触摸222。在一些实施方式中，触控笔223可包括RF发射器，并且可使用嵌入在触摸屏的覆盖框中的两个或更多个传感器223对触控笔的位置进行三角测量。
[0025]参照图2C，在一些实施方式中，触摸屏面板230可在通过网络与其它触摸屏232-233通信时从手指234和触控笔(参见235)接收输入。可对在输入触摸屏面板230处检测到的触摸交互进行跟踪，并由触摸处理器231处理为可在联网的所有屏幕230、232-233处显示的输出。在一些实施方式中，联网的屏幕232-233自身可以是具有与触摸屏230类似的特征的触摸屏。在一些实施方式中，联网的屏幕可包括许多附加输入类型，包括基于相机的触摸/接近输入屏幕(例如，表面支持相机、前安装相机、后定位相机)、基于电阻/电容触摸屏的输入屏幕等。
[0026]在一些实施方式中，利用的触控笔(参见235)可包括顶端的IRLED或RF发射器，其可通过向触摸屏表面应用压力或接近该触摸屏表面而可选地被激活。触控笔还可包括附加在外部的或嵌入的开关，用于关闭当触控笔动作或压向物体时可激活LED或RF发射器的电路。在一些实施方式中，传感器可在多个触控笔235之间进行区分。例如，顶端具有LED的给定触控笔可在与触摸屏表面接触时连续发射IR光，在触摸屏表面，通过排列在显示表面(在平面中，从后面或前面)上的传感器检测和跟踪该IR光。利用发射相同光的多个触控笔，传感器可读取一系列类似亮点而不在它们之间进行区分。在一些实施方式中，特定触控笔的IR LED可闪烁，其中不同触控笔可使用不同闪烁模式或频率，使得传感器能够在它们之间进行区分。尽管频率模式允许区分，但一些触摸屏也可受益于精确跟踪。
[0027]在一些实施方式中，每个触控笔可在接触/接近触摸屏表面时创建不同空间模式的光。利用适当地定义的触控笔大小和传感器范围，当触控笔相对于IR传感器处于各种位置时，可以将模式可识别。在一些实施方式中，触控笔可包括彩色LED以增强传感器的对比度。实现可包括两个LED，其中它们的亮度随时间变化。这样，触控笔可对传感器连续可见(不变暗)，但是“亮与更亮”之间的调制可按不同时间模式或频率执行，使得可区分不同触控笔。因此，可保持高清位置跟踪，同时允许彼此区分多个触控笔跟踪。在触摸屏在多个触控笔之间进行区分的一些实施方式中，触摸屏可将不同绘制模式(例如，颜色、画笔风格等)与每个触控笔关联；绘制和擦除模式，用户/触控笔关联，回合制控制，针对触摸屏部分的读/写/执行许可。此外，与每个用户关联的不同触控笔可保持跟踪哪个用户绘制什么。
[0028]图2D图示输入触控笔的示例。例如，输入构件243是在给定远端具有IR LED的触控笔。在一个实施方式中，输入构件可包括位于近端的IR LED对。触控笔输入构件可包括用于开启/关闭触控笔和/或控制附加触控笔功能242的拨动开关。线性触摸敏感度滑动可提供进一步控制，例如输出到触摸屏的线宽的精度。在一个实施方式中，触控笔241可包括无线通信硬件、音频麦克风和/或嵌入式生物识别软件。图2D的触控笔还可包括用于传感器三角测量和标识目的的RF发射器/接收器。在一个实施方式中，触控笔标识符(触控笔ID)可与不同时间调制模式关联。每个ID可与在零亮度之上很好地偏移的正弦或阶梯模式的不同时间频率关联。在另外的实施方式中，触控笔ID可包括类似莫尔斯电码的时间模式。实现还可包括触控笔两端的LED对，每端使用不同的时间调制模式。在一个实施方式中，触控笔侧部的开关可用于改变时间调制模式，并且因此切换触控笔的“ID”。时间调制模式识别可能在触摸屏表面上的触控笔的第一次观察起的一些延迟后发生。然而，对于高频率模式以及以高帧率操作的传感器，该延迟能非常小。此外，当初始地观察到触控笔接触时，其可关联于在该区域中最近观察到的触控笔相同的ID。因此，可以使用该初始估计，直到一些帧之后观察可用于验证或校正触控笔ID，该初始估计很可能被校正正常触摸屏使用次数的超高百分比。
[0029]在一个实施方式中，触控笔可包括与触摸屏建立通信的射频(RF)发射器天线和/或接收器。触控笔和触摸屏利用RF传输的实现可使用无线电波以在发射器和接收器之间传输信号。触控笔天线可附加到嵌入在触控笔中的触控笔发射器单元或者以可操作通信方式耦合的其他。根据实现，触控笔发射器以允许触摸屏接收器从触控笔接收信号的方式定位。在一个实施方式中，触控笔之间的RF通信可在单信道和/或多信道系统发生。多信道系统的一个实施方式还可包括RF触控笔和/或触摸屏发射器/接收器上的信道选择器。
[0030]图3不出图不MTI的一些实施方式中的基于光的触摸输入识别的各个不例方面的框图。子图3(a)_(b)图示对触控笔和手指输入触摸的IR光敏感度的示例输出图，其中通过测量由手指触摸引起的反射来检测手指触摸。在一个实施方式中，当IR光源开启时可如传感器看到的一样测量正常光水平，并且设置两个阈值，一个与手指触摸有关并且一个与触控笔触摸有关。在诸如在子图3 (a)-(b)中描述的一些实施方式中，两个阈值均可在正常光水平之上，触控笔阈值可保持较高的一个。
[0031]子图3(c)_(d)图示对触控笔和手指输入触摸的IR光敏感度的示例输出图,其中通过测量手指触摸引起的散射来检测手指触摸。在一个实施方式中，这些图可示出在表面平面中许多角度中的每个角度ID相机在看什么。因此，横轴“theta”例如可指IR图像器正在看的角度。在一个实施方式中，阈值线可如箭头所表示的动态变化而不是恒定水平。例如，MTI可假设嘈杂的非均匀基线光水平，并且将阈值设置为具有相同形状，但是在之上或之下偏移。或者MTI可将需要的阈值计算为图中每个位置的正常光水平的百分比(例如120%或80% )，其中正常光水平可在触摸屏空间上以及在时间中变化。
[0032]例如，在一些实施方式中，当IR光源开启时，传感器可测量并定义每个传感器观察到的正常光水平。触摸屏软件可将“阈值I”设置在该正常光水平之上，并且检测亮度超过该阈值的触控笔触摸。在一个实施方式中，可将“阈值2”设置在该正常光水平之下，并且检测亮度在该第二阈值之下的手指触摸。非限制性地，可针对每个传感器不同地设置阈值，并且如果传感器可操作为看到沿屏幕平面的空间位置范围，则阈值可在空间上变化。这可包括之上和之下的非均匀“正常”亮度水平和非均匀阈值。可设置触摸覆盖校准软件，使得中性(不与手指或触控笔接触)表示中间值。在一个实施方式中，触摸屏可检测、解释和区分来自多个对象类型(例如，手指和触控笔)的触摸交互，以及不论来自单个或多个用户多于一个相同对象类型(例如，不同触控笔)的触摸交互。如下面更详细讨论的，可以用使用在此描述的物理检测模式的任一个或组合的触摸屏实现一个实施方式。在优选实施方式中，可以用使用至少光触摸检测或光检测与射频信号检测组合的触摸屏实现一个实施方式。
[0033]图4A-B示出图示MTI的一些实施方式中的多模态触摸处理(例如多模态触摸处理(“MTP”)组件400)的各个示例方面的逻辑流程图。参照图4A，在一些实施方式中，用户可向MTI的触摸屏提供触摸输入401。例如，用户可利用一个或多个手指触摸、一个或多个光/RF发射触控笔、或其任意组合。在触摸屏利用基于光的技术用于检测用户触摸的实施方式中，触摸屏传感器可检测由于用户触摸引起的光水平波动(增加或减小)(402)。使用检测到的波动，触摸屏传感器可生成光强度信号403，并且向一个或多个触摸处理器(“触摸处理器”)提供光强度信号。例如，传感器可在诸如铜线的模拟通信信道上通信光强度信号，随后通过数据采集板对数字采样。作为另一示例，传感器可例如使用(安全)超文本传输协议(HTTP(S))在网络上通信数据包。触摸处理器可获得光强度信号，并且可基于光强度波动确定用户触摸的坐标404。例如，触摸处理器可执行触摸坐标确定组件，例如下面参照图5的讨论中描述的示例TCD500组件。基于此计算，触摸处理器可产生诸如参照图7的插图中提供的各个示例坐标的数据(701)。触摸处理器将各个坐标集(例如，{x，y，z})中的每个坐标集设置为触摸输入405。在一些实施方式中，触摸处理器可识别用户提供的每个触摸输入的类型(例如，手指、触控笔等)(406)。例如，触摸处理器可执行触摸类型识别组件，诸如下面参照图6的讨论中描述的示例TTI600组件。基于此计算，触摸处理器可产生诸如参照图7的插图中提供的各个示例触摸类型的数据(701)。在一些实施方式中，触摸处理器可确定(407)用户提供的哪些触摸应该分组到一起作为单个手势的一部分(例如，“两个手指触摸和一个触控笔触摸应该被视为代表一个用户的单个手势的一部分？ ”)。例如，触摸处理器可执行触摸组分辨率组件，例如下面参照图7A-B的讨论中进一步描述的示例TGR700组件。基于此计算，触摸处理器可产生诸如参照图7的插图中提供的各个示例触摸组的数据(705)。在识别出用户手势之后，触摸处理器可生成数据库查询(408)，用于预定时间窗口内要组合为手势序列的一部分的在前触摸输入组(408)。例如，四手指重击可不视为瞬间手势；相反，可通过跟踪用户的四个手指在有限时间窗口上的移动来识别手势。作为另一示例，手势可能需要两个不同的用户触摸集(例如，两个手指轻敲，一个触控笔轻敲)。基于查询，查询的数据库/存储器可提供在前触摸输入集(409)，用于识别手势序列。例如，对于在前触摸输入集，触摸处理器可利用包括结构查询语言(SQL)命令的超文本预处理器(PHP)脚本来查询关系数据库。使用在前触摸输入集，触摸处理器可根据触摸输入组生成手势模式/序列(410)。在一些实施方式中，基于触摸输入组的位置坐标，触摸处理器可以使用用户ID(在适当的空间位置用户将已知的ID(例如，使用基于相机的面部识别，在触摸屏位置的用户登录等)，或者是可分配给在适当的位置执行的任何其它手势序列的随机生成的ID)对每个手势模式/序列加标签。对于每个手势模式/序列，触摸处理可在数据库/存储器中查询与手势模式/序列关联的用户命令(412)。在响应中，数据库/存储器可提供请求的用户命令，用户命令可存储在用于执行的处理队列中。
[0034]参照图4B，在一些实施方式中，触摸处理器可从(例如，根据以上参照图4A的讨论中描述的过程可选地生成的)处理队列选择用户命令(414)。可选地，触摸处理器可生成与用户命令关联的手势模式的查询(415)。在响应中，数据库/存储器可提供形成手势模式一部分的在前触摸输入集(416)。触摸处理器可提取形成手势模式一部分的触摸输入(417)。例如，触摸处理可使用解析器(例如，在以下参照图8的讨论中描述的示例解析器)来解析数据。触摸处理器可确定混合触控笔-手指用户输入中是否包括任一触摸输入集(418)。如果混合触控笔-手指用户输入中包括任一触摸输入集(418)，则选项“是”，触摸处理可生成对与手势正常关联的用户命令的任何修改的查询(419)。在获得对来自数据库/存储器的用户命令的任何修改之后(420)，触摸处理器可执行(修改的)用户命令，例如包括生成任何视觉/听觉显示输出，用于经由触摸屏(或其它联网的触摸屏)呈现(421)。触摸处理器可针对存储在处理队列中的每个用户命令执行这种过程(参见422)。
[0035]图5示出图示MTI的一些实施方式中的触摸坐标确定(例如触摸坐标确定(“T⑶”)组件500)的各个示例方面的逻辑流程图。在一些实施方式中，MTI的触摸处理器可从触摸屏传感器获得光强度信号，用于确定可编码为光强度信号的任何用户触摸的坐标(501)。触摸处理器可以使用光强度信号可选地生成数字触摸图(502)。例如，触摸处理器可向光强度信号应用阈值过程，使得阈值之下的所有像素设置为0，阈值之上的所有像素设置为I。备选地，可以应用两个单独的阈值，使得对应于发光触控笔输入和光阻隔手指输入二者的阈值设置为1，所有其它像素设置为O。使用数字触摸图，触摸处理器可识别每个触摸(或其轮廓)。例如，触摸处理器可使用图像分割算法以识别每个触摸或其轮廓(503)。在识别出每个(分割的)触摸图像对象时，触摸处理器可基于分割的触摸图像对象轮廓内的像素的强度加权平均位置而计算质心(504)。触摸处理器可将质心{x，y，z}存储为识别的触摸的位置坐标，并可将这些返回作为确定的触摸位置坐标(506)。
[0036]图6示出图示MTI的一些实施方式中的触摸类型识别(例如触摸类型识别(“TTP”)组件600)的各个示例方面的逻辑流程图。在一些实施方式中，MTI的触摸处理器可获得触摸ID以及每个触摸的位置坐标(参见例如图5的506)，用于识别每个触摸ID的触摸类型(601)。触摸处理器也可获得原始光强度信号(参见例如图4A的403) (602)。触摸处理可选择触摸ID (603)，并且查找选择的触摸ID的位置坐标(604)。使用位置坐标，触摸处理器可使用光强度信号查找对应于位置坐标的像素的原始强度水平(或者其附近的像素的窗口的平均值)(605)。触摸处理器可将光强度水平样本与要检测的触控笔输入和/或要检测的手指输入的阈值进行比较。基于比较，触摸处理器可将触摸类型识别为触控笔输入或手指输入(606)。触摸处理器可针对获得的每个触摸ID执行这种过程(参见607)。触摸处理可返回触摸ID和触摸类型用于进一步处理(608)。图7A-B示出图示MTI的一些实施方式中的触摸组分辨率(例如触摸组分辨率(“TGR”)组件700)的各个示例方面的逻辑流程图。参照图7A，在一些实现中，MTI的触摸处理器可获得触摸ID以及每个触摸的位置坐标(701)(参见插图)，以决定一个或多个用户的哪些触摸应该分组到一起作为单个手势或手势模式/序列的一部分。触摸处理器可使用位置坐标而计算每对触摸输入之间的距离(702)(参见插图，距离矩阵)。触摸处理器向距离矩阵应用阈值过程，使得阈值之上的所有像素元素设置为O,阈值之下的所有像素元素设置为I。因此,在一些实施方式中,仅有那些充分靠近另一触摸的那些触摸(通过它们是否在作为单个手势、模式或序列的部分必须的阈值距离之下作为标准)设置为I。因为每个触摸在其本身附近，所以接近矩阵(参见插图703)中的诊断元素总是I。因此，如果一个触摸都靠其本身，则对应于其ID的诊断元素将是I，其对应列中的所有其它元素将是O (参见例如插图703第4列)。参照图7B，在一些实现中，触摸处理器可利用703的接近矩阵来识别作为接近对的那些触摸(704)(参见插图，对矩阵)。触摸处理器可将具有至少一个公共触摸ID的接近对合并在一起(705)，以生成触摸组(参见插图705)，触摸处理可返回该触摸组(706)用于进一步处理。
[0037]MTI控制器
[0038]图8示出图示MTI控制器801的实施方式的框图。在此实施方式中，MTI控制器801可用于聚集、处理、存储、搜索、服务、识别、指示、生成、匹配和/或促进通过各种技术与计算机的交互，和/或其它相关数据。
[0039]典型地，用户(例如833a，可以是人和/或其它系统)可以从事信息技术系统(例如，计算机)以促进信息处理。进而，计算机采用处理器处理信息；这些处理器803可称为中央处理单元(CPU)。处理器的一种形式称为微处理器。CPU使用通信电路来通过用作指令的二进制编码信号以使能各种操作。这些指令可以是操作性的，和/或包含和/或参照存储器829(例如，寄存器、高速缓存存储器、随机存取存储器等)的可访问和可操作区域的各种处理器中的其它指令和数据的数据指令。这些通信指令可成批存储和/或发送(例如，批指令)，作为用于促进期望的操作的程序和/或数据组件。这些存储的指令代码(例如，程序)可涉及用于执行期望的操作的CPU电路组件和其它主板和/或系统组件。一种类型的程序是可由CPU在计算机上执行的计算机操作系统，该操作系统使能并促进用户访问和操作计算机信息技术和资源。信息技术系统中可采用的一些资源包括:通过其可将数据传入到计算机和从计算机传出的输入和输出机制；可保存数据的存储器和可处理信息的处理器。这些信息技术系统可用于收集数据用于稍后获取、分析和操纵，这些可通过数据库程序促进。这些信息技术系统提供允许用户访问和操作各种系统组件的接口。
[0040]在一个实施方式中，MTI控制器801可连接到实体和/或与实体通信，该实体例如但不限于为来自用户输入设备811的一个或多个用户；外围设备812;可选密码处理器设备828和/或通信网络813。例如，MTI控制器801可连接到用户(例如，833a)、操作客户端设备(例如，833b)和/或与用户(例如，833a)、操作客户端设备(例如，833b)通信，该客户端设备(例如，833b)包括但不限于个人计算机、服务器和/或各种移动设备，该移动设备包括但不限于蜂窝电话、智能手机(例如，iPhone?、Blackberry?、基于Android操作系统的电话等)、平板计算机(例如，Apple iPad?>HP Slate?、Motorola Xoom?等)、电子书阅读器(例如，Amazon Kindle?、Barnes and Noble' s Nook? eReader 等)、膝上型计算机、笔记本、上网本、游戏台(例如，XBOX Live?、Nintendo? ds、Sony PlayStation?.便携式等)、便携式扫描仪等。
[0041]通常认为网络包括客户端、服务器和图拓扑中的中间节点的互连和互操作性。应该注意，本申请通篇使用的术语“服务器”通常是指在通信网络上处理和回应远程用户请求的计算机、其它设备、程序或其组合。服务器服务它们的信息以请求“客户端”。这里使用的术语“客户端”通常是指能够在通信网络上处理和请求以及获得和处理来自服务器的任何响应的计算机、程序、其它设备、用户和/或其组合。促进、处理信息和请求、和/或进一步将来自源用户的信息传送到目标用户的计算机、其它设备、程序或其组合通常称为“节点”。通常认为网络促进从原点向目标的信息的传输。具体任务为进一步从源向目标传送信息的节点通常称为“路由器”。存在许多形式的网络，诸如局域网(LAN)、微微网、广域网(WAN)、无线网(WLAN)等。例如，因特网通常接受为是多个网络的互连，其中远程客户端和服务器可彼此访问和互操作。
[0042]MTI控制器801可基于计算机系统，可包括但不限于组件:诸如连接到存储器829的计算机系统802。
[0043]计算机系统
[0044]计算机系统802可包括时钟830、中央处理单元(“CPU”)和/或“处理器”(在本公开通篇互换地使用这些术语，除非相反指示)803、存储器829 (例如，只读存储器(ROM) 806、随机存取存储器(RAM) 805等)、和/或接口总线807，通常(尽管不一定)全部通过具有导电的和/或传输电路通路的一个或多个(主)板802上的系统总线804互连和/或通信，指令(例如，二进制编码信号)可通过该导电和/或传输电路通路行进，以实现通信、操作、存储等。计算机系统可连接到电源886 ;例如，可选地，电源可以是内部的。可选地，密码处理器826和/或收发器(例如10874可连接到系统总线。在另一实施方式中，密码和/或收发器可经由接口总线I/O连接为内部和/或外部外围设备812。进而，收发器可连接到天线875，从而实现各种通信和/或传感器协议的无线发送和接收；例如，天线可以连接到:Texas Instruments WiLink WL1283 收发器芯片(例如，提供 802.lln、蓝牙 3.0、FM、全球定位系统(GPS)(从而允许MTI控制器确定其位置))；Broadcom BCM4329FKUBG收发器芯片(例如，提供802.1 In、蓝牙2.1+EDR、FM等)；Broadcom BCM4750IUB8收发器芯片(例如，GPS) ；Infineon Technologies X-Gold618_PMB9800 (例如，提供 2G/3G HSDPA/HSUPA 通信)；等等。系统时钟一般具有晶体振荡器，通过计算机系统的电路通路生成基准信号。时钟一般连接到将增加或减少基准操作频率用于计算机系统中互连的其它组件的系统总线和各种时钟乘法器。计算机系统中的时钟和各种组件驱动整个系统中具体实施信息的信号。整个计算机系统中具体实施信息的指令的这种发送和接收通常可称为通信。这些通信指令还可发送、接收，引起超出即时计算机系统的通信返回和/或回复至通信网络、输入设备、其它计算机系统、外围设备等。应该理解，在备选实施方式中，任何以上组件可彼此直接连接、连接到CPU、和/或如各种计算机系统说明的利用的各种变型中组织。
[0045]CPU包括足以执行用于执行用户和/或系统生成的请求的程序组件的至少一个高速数据处理器。处理器本身经常将包含各种专用处理单元，例如但不限于:集成系统(总线)控制器、存储器管理控制单元、浮点单元，甚至类似图形处理单元、数字信号处理单元等的专用处理子单元。附加地，处理器可包括内部快速访问可寻址存储器，并且能够对该处理器本身之外的存储器829进行映射和寻址；内部存储器可包括但不限于:快速寄存器，各级高速缓冲存储器(例如第1、第2、第3级等)、RAM等。处理器可通过使用经由指令地址可访问的存储器地址空间来访问这一存储器，处理器能构造并解码该指令地址，允许它访问具有存储器状态的特定存储器地址空间的电路路径。CPU可以是微处理器，例如AMD的AthloruDuron和/或Opteron ;ARM的应用，嵌入式和安全处理器；IBM和/或Motorola的 DragonBall 和 PowerPC ；IBM 和 Sony 的 Cell 处理器；Intel 的 Celeron, Core (2)Duo,Itanium, Pentium, Xeon和/或Xscale ;和/或类似的(一个或多个)处理器。CPU通过经导电的和/或传输电路(例如，(印刷)电子和/或光电路)传递的指令与存储器交互，以根据常规数据处理技术执行存储的指令(即程序代码)。这种指令传递促进MTI控制器内和MTI控制器外通过各种接口的通信。假若处理需求指示更大量速度和/或性能，则可类似地利用分布式处理器(例如，分布式MTI)、大型机、多核、并行和/或超级计算机架构。备选地，假若部署需求指示更大的便携性，则可利用更小的个人数字助理(PDA)。
[0046]根据特定实现，可通过实现诸如CAST的R8051XC2微控制器、Intel的MCS51 (即，8051微控制器)等的微控制器实现MTI的特征。而且，为了实现MTI的某些特征、一些特征实现可依赖于嵌入式组件，例如:专用集成电路(“ASIC”)，数字信号处理(“DSP”)，现场可编程门阵列(“FPGA”)和/或类似嵌入式技术。例如，MTI组件集合(分布式或者其它)和/或特征中的任一个可经由微处理器和/或经由嵌入式组件、例如经由ASIC、协处理器、DSP、FPGA等来实现。备选地，可利用配置成并且被用于实现各种特征或信号处理的嵌入式组件来实现MTI的一些实现。
[0047]根据特定实现，嵌入式组件可包括软件解决方案、硬件解决方案和/或软件/硬件解决方案二者的一些组合。例如，这里讨论的MTI特征可通过实现FPGA来得到，所述FPGA包含称为“逻辑块”的可编程逻辑组件和可编程互连的半导体器件，例如Xilinx制造的高性能FPGA Virtex系列和/或低成本Spartan系列。在制造FPGA之后,可由客户或设计者对逻辑块和互连编程，以实现任意MTI特征。可编程互连的等级允许逻辑块在MTI系统设计者/管理者需要时互连，某种程度上类似于单芯片可编程试验电路板。FPGA的逻辑块可以编程为执行诸如与、异或的基本逻辑门运算，或者例如解码器的更复杂的组合操作器或简单的数学运算。在大多数FPGA中，逻辑块还包括存储器元件，可以是电路触发器或更完整的存储器块。在一些情况下，可在常规FPGA上开发MTI，然后移植到与ASIC实现更类似的固定版本。代替FPGA或者除了 FPGA以外，备选或协同的实现可使MTI控制器特征移植到最终ASIC。根据所有前述嵌入式组件的实现，微处理器可视为MTI的“CPU”和/或“处理器”。
[0048]电源
[0049]电源886可以是用于对小型电子电路板设备供电的任意标准形式，例如以下电源单元:碱性电池、氢化锂电池、锂离子电池、锂聚合物电池、镍镉电池、太阳能电池等。也可使用其它类型的AC或DC电源。在太阳能电池的情况下，在一个实施方式中，壳体提供开口，通过该孔隙，太阳能电池可通过该孔隙捕获光子能量。电源单元886连接到MTI的互连后续组件中的至少一个，从而向所有后续组件提供电流。在一个示例中，电源886连接到系统总线组件804。在备选实施方式中，通过跨1/0808接口的连接提供外部电源886。例如，USB和/或IEEE1394跨连接携带数据和电力，并且因此是适当的电源。
[0050]接口适配器[0051](一个或多个)接口总线807可接受多个接口适配器、与多个接口适配器连接和/或通信，常规地(尽管不一定)为适配卡形式，例如但不限于:输入输出接口(1/0)808、存储接口 809、网络接口 810等。可选地，密码处理器接口 827类似地可连接到接口总线。接口总线为接口适配器彼此之间的通信以及与计算机系统的其它组件的通信做准备。接口适配器适于兼容接口总线。接口适配器常规地经由卡槽架构连接到接口总线。常规卡槽架构可例如但不限于利用:加速图形端口(AGP)、卡总线、(扩展)工业标准架构((E) ISA)、微通道架构(MCA)、NuBus、外围组件互连(扩展)(PCI (X))、PCI Express、个人计算机存储器卡国际协会(PCMCIA)等。
[0052]存储接口 809可接受许多存储设备、与许多存储设备通信和/或连接，例如但不限于:存储设备814，可移除磁盘设备等。存储接口可利用连接协议，例如但不限于:(Ultra)(Serial)高级技术附件(分组接口 ) ((Ultra) (Serial)ATA(PI)),(增强型)集成驱动电子((E) IDE)，电气电子工程师协会(IEEE) 1394，光纤通道，小型计算机系统接口(SCSI)，通用串行总线(USB)等。
[0053]网络接口 810可接受通信网络813、与通信网络813通信和/或连接。通过通信网络813，用户833a可通过远程客户端833b(例如，具有网页浏览器的计算机)访问MTI控制器。网络接口可利用连接协议，例如但不限于:直接连接，以太网(粗、细、双绞线10/100/1000Base T等)，令牌环，诸如IEEE802.lla-χ的无线连接等。假若处理需求指示更大量速度和/或性能，则可类似地利用分布式网络控制器(分布式MTI)、架构，以汇集、负载均衡和/或增加MTI控制器所需的通信带宽。通信网络可以是下列各项中的任一个和/或组合:直接互连、因特网、局域网(LAN)、城域网(MAN)、因特网上的节点的操作任务(0ΜΝΙ)、安全自定义连接、广域网(WAN)、无线网(例如，利用例如但不限于无线应用协议(WAP)、1-mode等的协议)等。网络接口可视为专门形式的输入输出接口。另外，多个网络接口 810可用于与各种通信网络类型813衔接。例如，可利用多个网络接口以允许通过广播、多播和/或单播网络通信。
[0054]输入输出接口(1/0)可接受用户输入设备811、外围设备812、密码处理器设备828等、与用户输入设备811、外围设备812、密码处理器设备828等通信和/或连接。1/0可利用连接协议，该连接协议例如但不限于:音频:模拟、数字、单声道、RCA、立体声等；数据=Apple桌面总线(ADB)、IEEE1394a-b、串行接口、通用串行总线(USB);红外线；操作杆；键盘；音乐设备数字接口(midi);光纤；PCAT ；PS/2 ;并行；无线电；视频接口 =Apple桌面连接器(ADC)、BNC、同轴、分量、复合、数字、数字可视接口(DVI)、高清多媒体接口(HDMI)、RCA、RF天线接口、S-视频、VGA等；无线收发器:802.lla/b/g/n/x ;蓝牙；蜂窝(例如，码分多址(CDMA)、高速分组接入(HSPA(+))、高速下行分组接入(HSDPA)、全球移动通信系统(GSM)、长期演进(LTE)、WiMax等)；等等。一个典型输出设备可包括视频显示器，该视频显示器一般包括基于阴极射线管(CRT)或者液晶显示器(LCD)，该液晶显示器(LCD)的监视器，该监视器具有接受来自视频接口的信号的接口(例如，DVI电路和线缆)，可以被使用。视频接口复合计算机系统生成的信息，基于视频存储帧中的复合信息生成视频信号。另一输出设备是接受来自接口的信号的电视机。通常，视频接口通过接受视频显示器接口的视频连接接口(例如，接受RCA复合视频线缆的RCA复合视频连接器；接受DVI显示器线缆的DVI连接器等)来提供复合视频信息。[0055]用户输入设备811经常是外围设备812类型(参见下面)，可包括:卡读取器、软件保护器(dongle)、指纹读取器、手套、图形平板、操作杆、键盘、麦克风、鼠标、遥控器、视网膜读取器、触摸屏(例如，电容式、电阻式等)，轨迹球，轨迹板、传感器(例如，加速仪、环境光、GPS、陀螺仪、接近等)，触控笔等。
[0056]夕卜围设备812可与I/0和/或例如网络接口、存储器接口，直接连接和/或通信至接口总线、系统总线、CPU等的其它类似设施连接和/或通信。外围设备可以是外部、内部和/或MTI控制器的部分。外围设备可包括:天线，音频设备(例如，音频输入、音频输出、麦克风输入、扬声器等)，相机(例如，静态、视频、网络摄像头等)，软件狗(例如，用于复制保护、利用数字签名确保安全交易等)，外部处理器(用于增加的性能；例如，密码设备828)，力反馈设备(例如，振动电机)，网络接口，打印机，扫描仪，存储设备，收发器(例如，蜂窝、GPS等)，视频设备(例如，护目镜、监视器等)，视频源，面罩(visor)等。外围设备经常包括各种类型的输入设备(例如相机)。
[0057]应该注意，尽管可利用用户输入设备和外围设备，但MTI控制器可实施为嵌入式、专用和/或无监视器(即，手持)设备，其中将通过网络接口连接提供访问。
[0058]例如但不限于微控制器、处理器826、接口 827和/或设备828的密码单元可与MTI控制器附加和/或通信。Motorola公司制造的MC68HC16微控制器可用于密码单元和/或位于密码单元内。在16MHz构造中，MC68HC16微控制器利用16-位乘法累积指令，并且需要少于一秒来执行512-位RSA私有密钥运算。密码单元支持从交互代理的通信的认证以及允许匿名交易。密码单元也可以配置为CPU的一部分。也可以使用等同的微控制器和/或处理器。其它商业可用专用密码处理器包括=Broadcom的CryptoNetX和其它安全处理器；nCipher 的 nShield、SafeNet 的 Luna PCI (例如 7100)系列；SemaphoreCommunications 的 40MHz Roadrunnerl84 ;Sun 的密码加速器(例如，Accelerator6000PCIeBoard、Accelerator500Daughtercard);能够执行 500+MB/s 的密码指令的 Via Nano 处理器(例如，L2100、L2200、U2400)线；VLSI Technology 的 33MHz6868 ;等。
[0059]存储器
[0060]通常，允许处理器影响信息存储和/或获取的任何机制和/或实施方式均被视为存储器829。然而，存储器是可替代技术和资源，因此，任意数量的存储器实施方式可彼此代替或合作地被采用。应该理解，MTI控制器和/或计算机系统可利用各种形式的存储器829。例如，计算机系统可配置为其中通过纸张穿孔带或纸张穿孔卡机制提供芯片上CPU存储器(例如，寄存器)、RAM、ROM以及任何其它存储设备的操作；然而，这种实施方式将导致极慢的操作速率。在典型构造中，存储器829将包括R0M806、RAM805、存储设备814。存储设备814可以是任何常规计算机系统存储器。存储设备可包括磁鼓；(固定和/或可移除)磁盘驱动；磁光驱动；光学驱动(即，蓝光、CD R0M/RAM/可记录(R)/可重写(RW)、DVD R/RW> HD DVDR/RW等)；器件阵列(例如，独立冗余磁盘阵列(RAID));固态存储器器件(USB存储器、固态驱动器(SSD)等)；其它处理器可读存储介质；和/或其它类似设备。因此，计算机系统通常需要并且利用存储器。
[0061]组件集合
[0062]存储器829可包含程序和/或数据库组件和/或数据的集合，例如但不限于:(一个或多个)操作系统组件815 (操作系统)；(一个或多个)信息服务器组件816 (信息服务器)；(一个或多个)用户接口组件817(用户接口)；(一个或多个)网页浏览器组件818 (网页浏览器)；(一个或多个)数据库819 ;( —个或多个)邮件服务器组件821 ;( —个或多个)邮件客户端组件822 ；( 一个或多个)密码服务器组件820 (密码服务器)；(一个或多个)MTI组件835;等等(即，统称为组件集合)。这些组件可被存储并且从存储装置和/或从通过接口总线可访问的存储装置被访问。尽管非常规程序组件(例如组件集合中的那些)一般存储在本地存储设备814中，但它们也可以加载和/或存储在存储器中，例如:外围设备、RAM，通过通信网络的远程存储设施、ROM、各种形式的存储器等。
[0063]操作系统
[0064]操作系统组件8 15是促进MTI控制器操作的可执行程序组件。一般，操作系统促进I/o、网络接口、外围设备、存储设备等的访问。操作系统可以是高度容错、可扩展安全系统,例如:AppIe Macintosh OS X(服务器)；AT&T Plan9 ；Be OS ;Unix 和类似 Unix 的系统发布(例如AT&T的UNIX ;伯克利软件发布(BSD)变型，例如FreeBSD、NetBSD、OpenBSD等；Linux发布,例如Red Hat、Ubuntu等)；和/或类似操作系统。然而，也可利用更多有限和/ 或更少安全操作系统，例如 Apple Macintosh OS、IBM OS/2、Microsoft DOS、MicrosoftWindows2000/2003/3.1/95/98/CE/Millenium/NT/Vista/XP(服务器)、Palm OS 等。操作系统可与包括它本身的组件集合中的其它组件通信等。最经常地，操作系统与其它程序组件、用户接口等通信。例如，操作系统可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。操作系统一旦由CPU执行就可实现与通信网络、数据、1/0、外围设备、程序组件、存储器、用户输入设备等的交互。操作系统可提供允许MTI控制器通过通信网络813与其它实体通信的通信协议。各种通信协议可被MTI控制器用作用于交互的子载波传输机制，所述通信协议例如但不限于:多播、TCP/IP、UDP、单播等。
[0065]信息服务器
[0066]信息服务器组件816是由CPU执行的存储程序组件。信息服务器可以是常规因特网信息服务器，例如但不限于Apache Software Foundation的Apache、Microsoft的因特网信息服务器等。信息服务器可允许通过诸如动态服务器页面(ASP)、ActiveX、(ANSI)(0biective-)C(++)、C#和/或.NET、公共网关接口(CGI)脚本、动态(D)超文本标记语言(HTML)、FLASH、Java、JavaScript、买际抽取报告语言(PERL)、超文本预处理器(PHP)、管道、Python、无线应用协议(WAP)、WebObjects等的工具对程序组件的执行。信息服务器可支持安全通信协议，例如但不限于:文件传输协议(FTP);超文本传输协议(HTTP);安全超文本传输协议(HTTPS)、安全套接层(SSL)、消息传递协议(例如，美国在线(AOL)即时消息器(AIM)、应用交换(APEX)、ICQ、因特网中继聊天(IRC)、微软网络(MSN)消息器服务、现场和即时消息传递协议(PRM)、因特网工程任务组的(IETF)的会话发起协议(SIP)、基于SIP的即时消息传递和现场平衡扩展(SIMPLE)、基于开放XML的可扩展消息传递和现场协议(XMPP)(即，Jabber或开放移动联盟的(OMA)的即时消息传递和现场服务(MPS))、Yahoo !即时消息器服务等。信息服务器以网页形式向网页浏览器提供结果，并且允许通过与其它程序组件交互对网页的操纵生成。在将HTTP请求的域名系统(DNS)解析部分解析到特定消息服务器之后，信息服务器基于HTTP请求的其它部分来解析请求，寻找MTI控制器上的特定位置的信息。例如，诸如
[0067]http://123.124.125.126/myInformation.html 的请求可具有请求的 IP 部分“123.124.125.126，其由DNS服务器解析到处于该IP地址的信息服务器；该信息服务器进而可进一步解析请求的“/mylnformation.html”部分的http请求,并且将其解析到存储器中包含信息“mylnformation.html”的位置。另外,可在各种端口(例如，FTP通信跨端口21等)上利用其它信息服务协议。信息服务器可与包括它本身的组件集合中的其它组件和/或设施等通信。最常见地，信息服务器与MTI数据库819、操作系统、其它程序组件、用户接口、网页浏览器等通信。
[0068]对MTI数据库的访问可通过多种数据库桥接机制实现，例如通过下面列举的脚本语言(例如CGI)和通过下面列举的应用程序间通信通道(例如，CORBA、WebObjects等)。通过网页浏览器的任何数据请求通过桥接机制解析为MTI需要的适当的语法。在一个实施方式中，信息服务器将提供网页浏览器可访问的网页表单。制作成在网页表单中所提供的字段的条目被标记为已输入到特定字段中并且这样被解析。输入项然后与字段标签一起传递，它们被用于指示解析器生成针对适当的表和/或字段的查询。在一个实施方式中，解析器可通过基于所标记的的文本条目来实例化(instantiate)带有恰当的加入/选择命令的搜索字符串而以标准SQL来生成查询，其中得到的命令通过桥接机制提供给MTI作为查询。根据查询生成查询结果时，该结果通过桥接机制被传递，并且可被解析以由桥接机制格式化并且生成新结果网页。这种新结果网页然后提供给信息服务器，信息服务器可将其提供给请求的网页浏览器。
[0069]而且，信息服务器可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0070]用户接口
[0071]计算机接口在某种程度上类似于汽车操作接口。汽车操作接口元件(例如方向盘和速度计)促进汽车资源和状态的访问、操作、显示。计算机交互接口元件(例如复选框、光标、菜单、滚轮、窗口(统称为微件))类似地促进数据、计算机硬件和操作系统资源、状态的访问、性能、操作、显示。操作接口通常称为用户接口。诸如Apple Macintosh操作系统的 Aqua、IBM 的 OS/2、Microsoft 的 WindoWs2000/2003/3.1/95/98/CE/MiIlenium/NT/XP/Vista/7 (即，Aero) > Unix的X_WindoWs(例如,可包括附加Unix图形接口库和诸如K桌面环境(KDE)、mythTV和GNU网络对象模型环境(GNOME)的层)、网络接口库(例如，可使用以下中的任一项:ActiveX、AJAX、(D)HTML、FLASH、Java、JavaScript 等接口库，例如但不限于 Dojo> jQuery (UI)、MooTools、Prototype、script, acul0.us、SWFObiect、Yahoo !用户接口)的图形用户接口(GUI)提供访问并向用户图形显示信息的基线和手段。
[0072] 用户接口组件817是由CPU执行的存储程序组件。用户接口可以是诸如已经讨论的操作系统和/或操作系统环境提供的常规图形用户接口、利用诸如已经讨论的操作系统和/或操作系统环境的常规图形用户接口、和/或在诸如已经讨论的操作系统和/或操作系统环境上的常规图形用户接口。用户接口可允许通过文本和/或图形设施显示、执行、交互、操纵和/或操作程序组件和/或系统设施。用户接口提供用户可影响、交互和/或操作计算机系统的设施。用户接口可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，用户接口与操作系统、其它程序组件等通信。用户接口可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0073]网页浏览器[0074]网页浏览器组件818是由CPU执行的存储程序组件。网页浏览器可以是常规超文本浏览应用程序，例如微软因特网浏览器或网景领航员。可利用HTTPS、SSL等利用128位(或更多)加密提供安全网页浏览。网页浏览器允许通过诸如Activex、AJAX、(D)HTML、FLASH、Java、JavaScript、网页浏览器插件API (例如，FireFox、Safari插件和/或类似API)等工具执行程序组件。网页浏览器和类似信息访问工具可集成到PDA、蜂窝电话和/或其它移动设备。网页浏览器可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，网页浏览器与信息服务器、操作系统、集成程序组件(例如插件)等通信；例如，它可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。而且，为了替代网页浏览器和信息服务器，可开发组合应用程序来执行这二者的类似操作。组合应用程序将类似地影响从MTI使能节点向用户、用户代理等获得并提供详细。组合应用程序在利用标准网页浏览器的系统上可能无效。
[0075]邮件服务器
[0076]邮件服务器组件821是由CPU803执行的存储程序组件。邮件服务器可以是常规因特网邮件服务器，例如但不限于sendmail、Microsoft Exchange等。邮件服务器可允许通过诸如 ASP、ActiveX、(ANSI) (Objective-) C (++)、C# 和 / 或.NET、CGI scripts、Java、JavaScript、PERL、PHP、管道、Python、WebObj ects等工具执行程序组件。邮件服务器可支持通信协议，例如但不限于:因特网消息访问协议(IMAP)、消息应用程序编程接口(MAPI)/Microsoft Exchange、邮局协议(POP3)、简单邮件传输协议(SMTP)等。邮件服务器能路由、转发、处理已发送、中继和/或通过和/或去往MTI的到来和发出的邮件消息。
[0077]访问MTI邮件可通过各个网页服务器组件和/或操作系统提供的多个APl实现。
[0078]而且，邮件 服务器可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求、信息和/或响应。
[0079]邮件客户端
[0080]邮件客户端组件822是由CPU803执行的存储程序组件。邮件客户端可以是常规邮件查看应用程序，例如 Apple Mail、Microsoft Entourage ^Microsoft 0utlook>MicrosofnOutlook Express、Mozilla、Thunderbird等。邮件客户端可支持多种传输协议,例如:IMAP、Microsoft Exchange、POP3、SMTP等。邮件客户端可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，邮件客户端与邮件服务器、操作系统、其它邮件客户端等通信；例如，它可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求、信息和/或响应。通常，邮件客户端提供撰写并发送电子邮件消息的工具。
[0081]密码服务器
[0082]密码服务器组件820是由CPU803、密码处理器826、密码处理器接口 827、密码处理器设备828等执行的存储程序组件。密码处理器接口将允许处理由密码组件请求的加密和/或解密；然而，备选地，密码组件可在常规CPU上运行。密码组件允许加密和/或解密提供的数据。密码组件允许对称和非对称(例如，极好保护(PGP))加密和/或解密。密码组件可利用加密技术，例如但不限于:数字证书(例如，X.509认证框架)、数字签名、双签名、封包、密码访问保护、公钥管理等。密码组件将促进数字(加密和/或解密)安全性协议，例如但不限于:校验和、数据加密标准(DES)、椭圆曲线加密(ECC)、国际数据加密算法(IDEA)、消息摘要5 (MD5，一种散列运算)、密码、Rivest Cipher (RC5)、Riindael, RSA(因特网加密和认证系统，使用Ron Rivest、Adi Shamir、Leonard Adleman于1977年开发的算法)、安全散列算法(SHA)、安全套接字层(SSL)、安全超文本传输协议(HTTPS)等。利用这些加密安全协议，MTI可加密所有到来和/或发出的通信，并且可用作利用更广通信网络的虚拟专用网(VPN)内的节点。密码组件促进“安全授权”处理，从而通过安全协议禁止对资源的访问，其中密码组件实现对安全资源的经授权的访问。此外，密码组件可提供内容的唯一标识符，例如利用MD5散列以获得用于数字音频文件的唯一签名。密码组件可与包括它本身的组件集合中的其它组件和/或类似设施通信。密码组件支持允许在通信网络上安全发送信息以使得MTI组件能够在希望时参与安全交易的加密方案。密码组件促进MTI上的资源的安全访问，并且促进远程系统上的安全资源的访问；即它可用作安全资源的客户端和/或服务器。最常见地，密码组件与信息服务器、操作系统、其它程序组件等通信。密码组件包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0083]MTI数据库
[0084]MTI数据库组件819可嵌入在数据库及其存储的数据中。数据库是由CPU执行的存储程序组件；存储程序组件部分将CPU配置成处理所存储的数据。数据库可以是常规、容错、关系、可扩展、安全数据库，例如Oracle或Sybase。关系数据库是平面文件的扩展。关系数据库包括一系列相关表组成。这些表经由关键字段互连。关键字段的使用通过相对关键字段进行索引来允许表的组合；即，关键字段用作用于组合来自各种表的信息的三维支点。关系通常标识通过匹配主关键字来识别表之间所保持的链接。主关键字表示唯一地标识关系数据库中的表的行的字段。更精确地，它们在一对多关系的“一”侧唯一地标识表的行。
[0085]备选地，MTI数据库可利用各种标准数据结构实现，例如阵列、散列、(链接)列表、结构体、结构化文本文件(例如XML)、表等。这些数据结构可存储在存储器中和/或(结构化)文件中。在另一备选中，可使用面向对象的数据库，例如Frontier、jectStore、Poet、Zope等。对象数据库能包括通过公共属性分组和/或链接在一起的多种对象集合；它们可通过一些公共属性与其它对象集合相关。面向对象的数据库与关系数据库类似地运作，不同之处是对象不仅仅是数据块，而是可以具有封装在给定对象内的其它类型的功能。如果MTI数据库实现为数据结构，则MTI数据库819的使用可集成到另一组件，例如MTI组件835。而且，数据库可以实现为数据结构、对象和关系结构的混合。数据库可通过标准数据处理技术按照无数变型合并和/或分布。数据库的部分(例如表)可导出和/或导入，因此是分散的和/或集成的。
[0086]在一个实施方式中，数据库组件819包括若干表819a_j。用户表819a可包括字段，例如但不限于:user—id、ssn、dob、first—name、last—name、age、state、address_firstline、address_secondline、zipcode、deVices_list、contact_info、contact_type、alt—contact—infb、alt—contact—type等。用户表可支持和/或跟踪MTI上的多个实体帐户。设备表 819b 可包括字段，例如但不限于:device—ID、device—name、device—IP、deVice—MAC、 deVice_type、 deVice—model、 deVice_version、 device_0S、 device_apps_list、device—securekey等。应用程序表819c可包括字段，例如但不限于:app—ID、app—name、app—type、app—dependencies等。手势表819d可包括字段，例如但不限于！gesture—id、gesture_name、 gesture_touch_group_dehnition、 gesture_timing—sequence、 gesture_enabled—flag、gesture_settings_list、gesture_settings_values 等。输入设备表 819e可包括字段，例如但不限于:deVice—ID、deVice—name、deVice—IP、deVice—MAC、deVice—type、device—model、deVice_version、device_0S、deVice_apps_list、device_securekey等。命令表819f可包括字段，例如但不限于:command—id、command_ name、command_syntax、command_compiler、 command_inputs、 command_exceptions_list、 command_gesture_trigger等。传感器表819g可包括字段，例如但不限于:sensor_id、sensor_name、sensor_type、last_calibrated、sensor_data_rate> sensor_data_format> sensor_data_error_estimate、 sensor_trigger_type> sensor_trigger_condition、 sensor_burst_enable_nag、sensor_continuous_enable_flag等。校准数据表819h可包括字段，例如但不限于:calibration_id、 calibration_type> calibration_deVice_applicable> calibration—variables_list>calibration_variables_values 等。阈值表 819i 可包括字段，例如但不限于:threshold_id、threshold_name、threshold_type> threshoId_dynamic_parameter>threshold_value> threshold_delta、 threshold_last_update、 threshold_calibrated_flag等。触摸历史表819j可包括字段,例如但不限于:timestamp、user_id、user_app_id、user_device_id> user_gesture_id、user_command_id 等。
[0087]在一个实施方式中，MTI数据库可与其它数据库系统交互。例如，在利用分布式数据库系统的情况下，通过搜索MTI组件进行的查询和数据访问可将MTI数据库、集成数据安全层数据库的组合视为单个数据库实体。
[0088]在一个实施方式中，用于程序可包含可用于更新MIT的各种用户接口原语。而且，根据MTI可能需要提供服务的环境和客户端类型，各种帐户可要求自定义数据库表。应该注意，通篇中任何唯一字段可被指定为密钥字段。在备选实施方式中，这些表已分散到它们本身的数据库及其相应的数据库控制器(即，针对以上表中的每个的单独的数据库控制器)中。在利用标准数据处理技术的情况下，还可在若干计算机系统和/或存储设备上分布数据库。类似地，分散数据库控制器的构造可由于合并和/或分布各自数据库组件819a-j而变化。MTI可配置为经由数据库控制器保持跟踪各种设置、输入和参数。
[0089]MTI数据库可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，MTI数据库与MTI组件、其它程序组件等通信。数据库可包含、保留并提供与其它节点和数据有关的信息。
[0090]MTI
[0091]MTI组件835是由CPU执行的存储程序组件。在一个实施方式中，MTI组件并入以前的图中讨论的MTI的各个方面的任意和/或所有组合。因此，MTI影响在各种通信网络上对信息、服务、交易等的访问、获得、提供。
[0092]MTI组件可经由MTI组件将多用户多模态触摸屏输入手势转变为用户定制的计算结果显示等，并使用MTI。在一个实施方式中，MTI组件835取得输入(例如，触摸输入401 ；在前触摸输入集409 ;用户命令413、416 ;修改的用户命令420 ;光强度信号501 ;触摸ID、位置坐标601,701 ;等等)，并且经由MTI组件(例如，MTP841 ；TCD842 ；TTI843 ；TGR844 ;等等)将它们转变为输出(例如，执行的用户命令421 ;质心坐标505 ;触摸ID、位置坐标506 ；触摸ID、关联类型608 ;触摸组706 ;等等)。
[0093]实现在节点之间的信息访问的MTI组件可通过利用标准开发工具和语言来开发，该标准开发工具和语言例如但不限于:Apache组件、Assembly、ActiveX、二进制可执行、(ANSI) (Objective-)C(++)、C# 和 / 或.NET、数据库适配器、CGI 脚本、Java、JavaScript、映射工具、面向过程和对象的开发工具、PERL、PHP、Pyth0n、Shell脚本、SQL命令、网页应用服务器扩展、网络开发环境和库(例如，Microsoft的ActiveX ；Adobe AIR、FLEX & FLASH ；AJAX ; (D)HTML ;Dojo、Java ；JavaScript ； jQuery(UI) ；MooTools !Prototype ；script.acul0.uS ;简单对象访问协议(SOAP) ；SffFObject ;Yahoo !用户界面等)、WebObjects 等。在一个实施方式中，MTI服务器利用密码服务器来对通信进行加密和解密。MTI组件可与包括它本身的组件集合中的其它组件和/或类似设施通信。最常见地，MTI组件与MTI数据库、操作系统、其它程序组件等通信。MTI可包含、通信、生成、获得和/或提供程序组件、系统、用户和/或数据通信、请求和/或响应。
[0094]分布式MTI[0095]任意MTI节点控制器组件的结构和/或操作可按任何数量的方式组合、合并和/或分布，以促进开发和/或部署。类似地，组件集合可按任何数量的方式组合，以促进部署和/或开发。为了实现这点，可将组件集成到公共代码库或者集成到能够根据需求以集成方式动态加载组件的设施中。
[0096]组件集合可通过标准数据处理和/或开发技术按无数变型合并和/或分布。程序组件集合中任一程序组件的多个实例可在单个节点上和/或跨节点实例化，以通过负载均衡和/或数据处理技术提高性能。另外，单个实例也可跨多个控制器和/或存储设备(例如数据库)分布。协同工作的所有程序组件实例和控制器可通过标准数据处理通信技术来这样做。
[0097]MTI控制器的构造将取决于系统部署上下文。诸如(但不限于)下层硬件资源的预算、容量、位置和/或用途的因素可影响部署需求和构造。无论构造导致更合并和/或集成的程序组件、导致更分布序列的程序组件和/或导致合并和分布构造之间的某组合，都可通信、获得和/或提供数据。从程序组件集合合并到公共代码库的组件的实例可通信、获得和/或提供数据。这可通过应用程序内数据处理通信技术来实现，例如但不限于:数据引用(例如，指针)、内部消息传递、对象实例变量通信、共享存储器空间、变量传递等。
[0098]如果组件集合中的多个组件彼此分立、分离和/或在彼此外部，则与其它组件通信、从其它组件获得和/或向其它组件提供数据可通过应用程序间数据处理通信技术来实现，例如但不限于:应用程序接口(API)信息通道；(分布式)组件对象模型((D) COM)、(分布式)对象链接和嵌入((D)OLE)等，公共对象请求代管者架构(CORBA)、本地和远程应用程序接口 Jin1、JavaScript对象记号(JSON)、远程方法调用(RMI)、S0AP、处理管道、共享文件等。可通过创建和解析语法来促进在分立的组件分量之间发送的用于应用程序间通信的消息或者在单个组件的存储器空间内发送的用于应用程序内通信的消息。语法可利用诸如lex、yacc、XML等的开发工具开发，这些开发工具允许语法生成和解析能力，进而可形成组件内和之间通信消息的基础。
[0099]例如，语法可配置为识别HTTP post命令的令牌，该命令例如为:
[0100]w3c-post http://...Valuel
[0101]其中Valuel识别为参数，因为“http://”是语法句法的一部分，跟在后面的被视为post值的一部分。类似地，利用这种语法，变量“Valuel”可插入到“http://”p0st命令中并且然后被发送。语法句法本身可呈现为被解释和/或否则用于生成解析机制的结构数据(例如，通过lex、yacc等处理的句法描述文本文件)。而且，一旦生成和/或示例化解析机制，则它本身可处理和/或解析结构数据，例如但不限于:字符(例如tab)界限的文本、HTML、结构化文本流、XML和/或类似结构数据。在另一实施方式中，应用程序间数据处理协议本身可具有集成和/或容易获得的解析器(例如JSON、SOAP和/或类似解析器)，可利用其来解析(例如，通信)数据。另外，解析语法可在消息解析之外应用，而是也可用于解析:数据库、数据集合、数据存储、结构化数据等。在此，期望的构造将取决于系统部署上下文、环境和需求。
[0102] 例如，在一些实现中，MTI控制器可经由信息服务器执行实现安全套接字层(“SSL”)套接字服务器的PHP脚本，其监听客户端可能发送数据的服务器端口上到来的通信，例如，以JSON格式编码的数据。在识别出到来的通信时，PHP脚本可读取来自客户端设备的到来的消息，解析接收的JSON编码的文本数据，以从JSON编码的文本数据提取信息到PHP脚本变量，并且将数据(例如，客户端标识信息等)和/或提取的信息存储在可利用结构查询语言(“SQL”)访问的关系数据库中。以下提供示例性基本上以PHP/SQL命令形式编写的经由SSL连接从客户端设备接受JSON编码的输入数据、解析数据以提取变量、并且将数据存储到数据库的示例性列表:
[0103]
<?PHP
header (' Content-Type: text/plain');
//设置ip地址和端口以监听到来的数据Saddress = '192.168.0.100';
$port = 255;
//创建服务器侧SSL套接字，监听/接受到来的通信$sock = socket create (AF INET, SOCK STREAM, O);socket bind ($sock, $address, $port) or die ('Could not bind toaddress');
socket listen ($sock);
$client = socket—accept ($sock);
[0104]//以1024字节块从客户端设备读取输入数据，直到消息结束do {
S input =
Sinput = socket_read ( $client, 1024);
$data.= $input;
} while ($ input !="");
//解析数据以提取变量
$obj = json_decode ( $data, true);
//将输入数据存储在数据库中
mysql_connect ( "201.408.185.132 " , $DBserver , $password) ; Il 访问
数据库服务器
mysql—select ( "CLIENT DB.SQL" ) ; Il 选择要附加的数据库mysql query ("INSERT INTO UserTable (transmission)
VALUES (Sdata)"); Il将数据添加到客户端数据库中的用户表mysql_close ( "CLIENT DB.SQL" ) ; // 关闭到数据库的连接
?>
[0105]而且，可以使用以下资源来提供关于SOAP解析器实现的示例实施方式:
[0106]http://WWW.xav.com/perl/site/lib/SOAP/Parser.html
[0107]http://publib.boulder, ibm.com/infocenter/tiVihelp/v2rl/index, jsp ?topic = /com.1bm.1BMD1.doc/referenceguide295.htm
[0108]以及关于其它解析器实现的示例实施方式:
[0109]http://publib.boulder, ibm.com/infocenter/tiVihelp/v2rl/index, jsp ?topic = /com.1bm.1BMD1.doc/referenceguide259.htm
[011 o] 在此通过引用从表达上并入全部。
[0111] 为了解决各种问题并且推进现有技术，多模态触摸屏交互装置、方法和系统的整个本申请(包括首页、名称、标题、【技术领域】、【背景技术】、
【发明内容】
、【专利附图】
【附图说明】、【具体实施方式】、权利要求书、摘要、附图、附录和/或其它)通过图示示出了各种实施方式，其中可实现要求保护的发明。本申请的优点和特征仅是实施方式的代表性样例，并且不是穷举和/或排他的。呈现它们仅为了辅助理解，并且讲述要求保护的原理。应该理解，它们不代表所有要求保护的发明。如此，在此没有讨论本公开的特定方面。可能未针对本发明的特定部分呈现那些备选实施方式或者针对一部分可用的进一步未描述的备选实施方式不视为放弃这些备选实施方式。将理解，这些未描述的实施方式中的许多包括相同的发明原理，其它的是等同的。因此，应该理解，在不脱离本公开的范围和/或精神的情况下，可以利用其它实施方式，并且可以作出功能、逻辑、操作、结构和/或拓扑修改。因此，所有示例和/或实施方式在本公开通篇视为非限制。而且，关于这里讨论的这些实施方式，为了减少空间和重复，除此之外不应该推论相对于这里没有讨论的实施方式。例如，应该理解，在附图中和/或通篇描述的任何程序组件(组件集合)、其它组件和/或任何存在特征集合的任何组合的逻辑和/或拓扑结构不限于固定操作顺序和/或排列，而相反地，任何公开的顺序是示例性的，通过本公开设想了所有等同物(无顺序无关)。此外，应该理解，这些特征不限于顺序执行，而是相反，通过本公开设想了可以异步、同时、并发、并行、同步等执行的任何数量的线程、处理、服务、服务器等。因此，这些特征中的一些可能相互矛盾，因为它们不能同时存在于单个实施方式中。类似地，一些特征适用于本发明的一个方面而不适用于其它方面。此外，本公开包括权利要求中未呈现的其它发明。 申请人:对那些未呈现的未要求保护的发明保留所有权利，包括要求保护这些发明、文件附加申请、延续、部分延续、分案等的权利。因此，应该理解，本公开的优点、实施方式、示例、功能、特征、逻辑、操作、组织、结构、拓扑和/或其它方面不视为对如权利要求限定的本公开的限制，或者对权利要求等同物的限制。应该理解，根据MTI个体和/或企业用户的特定需求和/或特性、数据库构造和/或关系模型、数据类型、数据发送和/或网络框架、句法结构等，可实现MTI的各种实施方式，这些实施方式实现大量灵活性和定制。例如，MTI的各个方面可适于3D浸入系统、虚拟现实体验、办公生产力套件等。尽管MTI的各种实施方式和讨论致力于人机交互，然而，应该理解，可以针对广泛的各种其它应用和/或实现容易地构造和/或定制这里描述的实施方式。
【权利要求】
1.一种多模态触摸屏交互处理器实现的方法，包括: 从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号； 经由处理器根据所述传感器信号确定所述用户触摸事件的位置坐标； 根据所述传感器信号识别所述用户触摸事件的触摸类型；以及 经由所述处理器使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。
2.根据权利要求1所述的方法，还包括: 针对与所述用户触摸屏手势关联的用户命令而查询存储器；以及 经由所述处理器执行所述用户命令。
3.根据权利要求2所述的方法，还包括: 针对预定时间窗口内的在前用户触摸事件而查询存储器；以及 使用所述在前用户触摸事件和所述用户触摸屏手势来识别手势模式。
4. 根据权利要求3所述的方法，其中针对与所述用户触摸屏手势关联的所述用户命令的查询基于所识别的手势模式。
5.根据权利要求2所述的方法，还包括: 基于所识别的所述用户触摸事件的触摸类型，识别对与所述用户触摸屏手势关联的所述用户命令的修改；以及 其中经由所述处理器执行所述用户命令是基于根据所识别的触摸类型对所述用户命令的所述修改。
6.根据权利要求1所述的方法，其中所述用户触摸事件包括手指触摸和触控笔触摸。
7.根据权利要求6所述的方法，其中所述用户触摸事件包括多手指触摸和触控笔触摸。
8.—种多模态触摸屏交互系统,包括: 处理器；以及 存储器，布置为与所述处理器通信，并且存储处理器可发出的指令以: 从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号； 经由所述处理器根据所述传感器信号确定所述用户触摸事件的位置坐标； 根据所述传感器信号识别所述用户触摸事件的触摸类型；以及 经由所述处理器使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。
9.根据权利要求8所述的系统，所述存储器还存储指令以: 针对与所述用户触摸屏手势关联的用户命令而查询存储器；以及 经由所述处理器执行所述用户命令。
10.根据权利要求9所述的系统，所述存储器还存储指令以: 针对预定时间窗口内的在前用户触摸事件而查询存储器；以及 使用所述在前用户触摸事件和所述用户触摸屏手势来识别手势模式。
11.根据权利要求10所述的系统，其中针对与所述用户触摸屏手势关联的所述用户命令的查询基于所识别的手势模式。
12.根据权利要求9所述的系统，所述存储器还存储指令以: 基于所识别的所述用户触摸事件的触摸类型，识别对与所述用户触摸屏手势关联的所述用户命令的修改；以及其中经由所述处理器执行所述用户命令是基于根据所识别的触摸类型对所述用户命令的所述修改。
13.根据权利要求8所述的系统，其中所述用户触摸事件包括手指触摸和触控笔触摸。
14.根据权利要求13所述的系统，其中所述用户触摸事件包括多手指触摸和触控笔触摸。
15.一种处理器可读有形介质，存储处理器可发出的多模态触摸屏交互指令以: 从触摸屏传感器获得包括关于触摸屏上的用户触摸事件的信息的传感器信号； 经由所述处理器根据所述传感器信号确定所述用户触摸事件的位置坐标； 根据所述传感器信号识别所述用户触摸事件的触摸类型；以及 经由所述处理器使用所述用户触摸事件的所述触摸类型来确定用户触摸屏手势。
16.根据权利要求15所述的介质，还存储指令以: 针对与所述用户触摸屏手势关联的用户命令而查询存储器；以及 经由所述处理器执行所述用户命令。
17.根据权利要求16所述的介质，还存储指令以: 针对预定时间窗口内的在前用户触摸事件而查询存储器；以及 使用所述在前用户触摸事件和所述用户触摸屏手势来识别手势模式。`
18.根据权利要求17所述的介质，其中针对与所述用户触摸屏手势关联的所述用户命令的查询基于所识别的手势模式。
19.根据权利要求16所述的介质，还存储指令以: 基于所识别的所述用户触摸事件的触摸类型，识别对与所述用户触摸屏手势关联的所述用户命令的修改；以及 其中经由所述处理器执行所述用户命令是基于根据所识别的触摸类型对所述用户命令的所述修改。
20.根据权利要求15所述的介质，其中所述用户触摸事件包括手指触摸和触控笔触摸。
21.根据权利要求20所述的介质，其中所述用户触摸事件包括多手指触摸和触控笔触摸。
【文档编号】G06F3/045GK103534674SQ201280008070
【公开日】2014年1月22日 申请日期:2012年2月8日 优先权日:2011年2月8日
【发明者】A·哈格蒂 申请人:海沃氏公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1