物理对象检测和触摸屏交互的制作方法
【专利摘要】例如多功能直尺或键盘的输入设备当放置在计算设备的触摸屏显示表面上时具有可识别的接触形状。输入设备的接触形状可以是接触点的定义的图案，并且可根据所述接触点的定义的图案确定输入设备在触屏显示器表面上的位置和方向。所述输入装置包括与所述计算设备的伴随模块接口的交互模块。伴随模块可响应于在触摸屏显示表面上识别出输入设备而发起对对象的显示。所述交互模块可以接收向输入设备的用户输入，并将用户输入传输到所述计算设备的伴随模块以修改所述对象在所述触摸屏显示表面上的显示。
【专利说明】物理对象检测和触摸屏交互
[0001]相关申请的交叉引用
[0002]本申请要求2013年5月2日Ti jssen等提交的名称为“物理对象检测和触摸屏交互”的美国临时申请第61/818，858号的优先权，其公开内容通过引用的方式全部并入于此。
【背景技术】
[0003]许多平板设备以及更大的、安装在墙上的、台式的或桌上的触摸屏显示表面被设计用于通过触摸手势和触控笔输入与用户交互。即使触摸屏提供了易用性，但是仍难于在平板或其它显示器表面上执行一些任务，例如当创建绘图或进行可能需要精确输入的其它任务时。此外，虽然键盘和其它输入设备促进了用户与计算设备及计算设备所执行的软件应用的交互，但是用户在使用设备的同时仍然可能需要在触摸屏显示表面上提供其它触摸和手势输入，以开始和完成任务。
【发明内容】
[0004]该
【发明内容】
引入了将在下面【具体实施方式】中进一步描述和/或在图中显示的物理对象检测和触摸屏交互的特征和概念。该
【发明内容】
不应被认为描述了要求保护的主题的必要特征，或用于确定或限制要求保护的主题的范围。
[0005]描述了物理对象检测和触摸屏交互。在实施方式中，例如多功能直尺(multifunct1n straight edge)或键盘的输入设备当放置在计算设备的触摸屏显示表面上时具有可识别的接触形状。输入设备的接触形状可为接触点的定义的图案，并且可根据接触点的定义的图案来确定输入设备在触摸屏显示表面上的位置和方向。输入设备包括与计算设备的伴随模块接口的交互模块。伴随模块可响应于在触摸屏显示表面上识别出输入设备而发起对对象的显示。交互模块可接收向输入设备的用户输入，并将所述用户输入传输到所述计算设备的伴随模块以修改对象在触摸屏显示表面上的显示。
[0006]在实施方式中，输入设备可为包括交互模块的多功能直尺，交互模块与通过计算设备实施的伴随模块通信，并可与触摸屏显示表面一起操作。例如，多功能直尺的交互模块可将多功能直尺的标识符及用户输入传输到计算设备的伴随模块。多功能直尺可包括可选择的形状和/或其它类型的绘图模板引导。可在多功能直尺上接收用户形状输入，然后在触摸屏显示表面上显示对应于用户形状输入的形状对象。
[0007]在多功能直尺位于触摸屏显示表面上的同时，形状对象可在触摸屏显示表面上被显示为绘图形状模板和/或用于触控笔输入的触控笔引导线。显示与触摸屏显示表面上的形状对象与多功能直尺关联，并保持相对于多功能直尺的显示位置。将形状对象拴系(tether)到多功能直尺，以保持相对于多功能直尺的显示位置，并且形状对象可与触摸屏显示表面上的多功能直尺一起移动和/或旋转。当从触摸屏显示表面移除多功能直尺时，然后可不显示形状对象。可替换地，当从触摸屏显示表面上去除多功能直尺时，形状对象作为绘图元件保持被显示于所述触摸屏显示表面上。
[0008]在实施方式中，输入设备可为包括交互模块的键盘，交互模块与通过计算设备实施的伴随模块通信，并可与触摸屏显示表面一起操作。交互模块可将键盘的标识符及用户输入传输到触摸屏显示表面上的伴随模块。当键盘放置在触摸屏显示表面上时，可创建文本对象，并将文本对象显示于触摸屏显示表面上。然后，可传输向键盘的用户按键输入，以用于作为触摸屏显示表面上的文本对象中的字母数字字符而显示。可替换地，可响应于向键盘的用户按键输入，发起文本对象，以用于在触摸屏显示表面上显示。
[0009]在触摸屏显示表面上显示的文本对象与键盘关联，并保持相对于键盘的显示位置。文本对象可与键盘一起移动和/或旋转，以保持相对于触摸屏显示表面上的键盘的显示位置。可从键盘移开与键盘关联的文本对象，例如当用户选择和拖动文本对象以从键盘分离文本对象时。然后，可创建另外的文本对象，并在触摸屏显示表面上显示该另外的文本对象，并且该另外的文本对象与键盘关联以便为用户输入做好准备。
[0010]当从触摸屏显示表面上移除键盘时，可不再显示与键盘关联的文本对象，并且文本对象可响应于键盘被重新放置回触摸屏显示表面上而被重新显示。在键盘被放置在触摸屏显示表面上之前，文本对象也可显示在触摸屏显示表面上。当键盘被放置在触摸屏显示表面上时，可基于键盘与所显示的文本对象邻近而选择文本对象并将文本对象与键盘关联，以便能够编辑文本。
[0011]还可响应于所述键盘被放置在触摸屏显示表面上而发起用户接口面板，以用于在触摸屏显示表面上显示。用户接口面板可包括可选择的文本编辑选项和/或到先前创建的文本对象的可选择的链接以供用户选择以编辑先前创建的文本对象。用户接口面板还与键盘关联，并且相对于键盘的显示位置被保持，以便用户接口面板可与键盘一起移动和/或旋转，以保持相对于触摸屏显示表面上的键盘的显示位置。
【专利附图】
【附图说明】
[0012]参照下面的附图描述了物理对象检测和触摸屏交互的实施方式。全文中使用相同的数字指代附图中显示的相似的特征和元件:
[0013]图1图示了其中可实施物理对象检测和触摸屏交互的实施方式的示例性系统。
[0014]图2图示了根据一个或多个实施方式、利用触摸屏显示表面上的多功能直尺进行的物理对象检测和触摸屏交互的实施方式。
[0015]图3和图4图示了根据一个或多个实施方式、参照触摸屏显示表面上的多功能直尺进行的物理对象检测和触摸屏交互的示例性方法。
[0016]图5图示了根据一个或多个实施方式、利用触摸屏显示表面上的键盘进行的物理对象检测和触摸屏交互的实施方式。
[0017]图6进一步图示了根据一个或多个实施方式的触摸屏显示表面上的键盘。
[0018]图7、8和9图示了根据一个或多个实施方式、参照触摸屏显示表面上的键盘进行的物理对象检测和触摸屏交互的示例性方法。
[0019]图10图示了具有可实施物理对象检测和触摸屏交互的实施方式的示例性设备的示例性系统。
【具体实施方式】
[0020]描述了物理对象检测和触摸屏交互的实施方式。例如键盘、多功能直尺或视频慢进和快进装置(video jog shuttle)的输入装置可放置在触摸屏显示表面上，其发起用于用户交互的用户接口元件和/或显示的对象，例如在触摸屏显示表面上显示的文本对象和形状对象。例如，键盘可放置在触摸屏显示表面上并且文本对象被自动产生和显示，以便为用户输入做好准备。类似地，多功能直尺可放置在触摸屏显示表面上，例如集成在平板计算设备中，并且对应于用户模板输入的形状对象显示在触摸屏显示表面上。
[0021]虽然可以以任何数目的不同设备、系统、网络、环境和/或配置来实施物理对象检测和触摸屏交互的特征和概念，但是可在下面的示例性设备、系统和方法的上下文中描述物理对象检测和触摸屏交互的实施方式。
[0022]图1描述了根据一个或多个实施方式的物理对象检测和触摸屏交互的示例性系统100。该不例性系统包括输入设备102和计算设备104。输入设备102可为用户用来与计算设备和显示的对象交互的任何类型的物理设备。输入设备102的示例包括参照图2至4描述的多功能直尺，参照图5至9描述的键盘，视频慢进和快进装置(未显示)和任何其它类型的输入设备。计算设备104可实现为例如移动电话、平板电脑、计算设备、通信设备、娱乐设备、游戏设备、媒体播放设备和/或其它类型的设备的有线设备或无线设备中的任一个或其组合。如在108处所示，计算设备104包括输入设备被放置在上面以用于触摸屏交互的触摸屏显示表面106。如文中所述，触摸屏显示表面可为集成于计算设备中的电容性触摸屏显示器的任一种或其组合或任何类型的数字绘图面板、独立的桌面或桌面触摸屏显示表面。
[0023]所述设备中的任一个可利用各种组件来实施，例如利用处理系统和存储器、以及参照图10中所示的实施方式进一步说明的不同组件的任何数目和组合来实施。例如，输入设备102包括存储器110、处理器112和电源114，电源114例如为在输入设备中实施的任何类型的电池或其它电源。输入设备的存储器110可保持设备的设备标识符116、设备数据118 (例如设备的可配置设置)、及用户接口数据和设置。
[0024]输入设备102包括可保持为在计算机可读存储介质，例如任何合适的存储器设备或电子数据存储设备(例如存储器110)上存储的可执行指令(例如软件应用、组件或模块)的交互模块120。此外，可用输入设备的处理器112执行交互模块，以实施物理对象检测和触摸屏交互的实施方式。类似地，计算设备104可包括作为可执行指令(例如软件应用、组件或模块)的交互伴随模块122，当输入设备被放置用于计算设备104的触摸屏显示表面106上的屏幕交互时，交互伴随模块122与输入设备102的交互模块120对接。
[0025]在实施方式中，交互模块120和交互伴随模块122中的一个或者其组合实施物理对象检测和触摸屏交互的实施方式和技术。在实施中，计算设备104的交互伴随模块可为通过应用程序接口(API)与输入设备102的交互模块120交互的软件应用。输入设备102的交互模块120和/或计算设备104的交互伴随模块122被实施以执行参照图3、4和7?9描述的各种操作方法。
[0026]计算设备104还可包括接触检测系统124，例如当键盘、多功能直尺或其它类型的输入设备被放置在触摸屏显示表面上时，接触检测系统124检测在触摸屏显示表面106上的输入设备102的电容性接触。接触检测系统还可与计算设备104的交互伴随模块122和/或输入设备102的交互模块120交互。在实施方式中，当例如多功能直尺或键盘的输入设备102被放置在计算设备的触摸屏显示表面106上时，其可具有可识别的接触形状。输入设备的接触形状可为接触点的定义的图案，并且根据接触点的定义的图案可确定输入设备在触摸屏显示表面上的位置和方向。
[0027]在实施中，输入设备102还可传输以在基于网络的数据存储装置(也称为基于云或“在云中”)中存储设备数据118、用户设置和/或任何其它类型的配置信息，该基于网络的数据存储装置被显示为存储设备数据和设置128的云存储装置126。例如，与图5和图6中显示的键盘关联的用户接口设置可被存储在云存储装置126中，并且当键盘(例如输入设备102)被放置在触摸屏显示表面上以用于触摸屏交互时，可通过键盘(例如输入设备102)访问该用户接口设置。类似地，与图2中显示的多功能直尺关联的用户和设备设置可存储在云存储装置126中，并且当多功能直尺(例如输入设备102)被放置在触摸屏显示表面上以用于触摸屏交互时，可通过多功能直尺(例如输入设备102)访问该用户和设备设置。
[0028]文中描述的任何设备可通过网络130进行通信，网络130可实施为包括有线和/或无线网络。还可使用任何类型的网络拓扑和/或通信协议实施所述网络，并且所述网络可表示为或者以其他方式实施为两个或更多个网络的组合，以包括基于IP的网络和/或因特网。网络还可包括由移动网络运营商和/或其它网络运营商管理的移动运营商网络，所述移动网络运营商和/或其它网络运营商例如为通信服务供应商、移动电话运营商和/或因特网服务提供商。
[0029]图2图示了利用触摸屏显示表面204上的多功能直尺202进行的物理对象检测和触摸屏交互的实施例200，触摸屏显示表面204例如集成在平板设备206中。多功能直尺202为参照图1描述的输入设备102的示例，并且平板设备206为参照图1描述的计算设备104的示例。在这个示例200中，多功能直尺202是例如通过蓝牙?、低功耗蓝牙(BTLE)、WiFi?或另一种类型的无线通信与触摸屏显示表面通信的无线设备。触摸屏显示表面204是集成在便携式计算设备例如平板设备206中的电容式触摸屏显示器的示例。
[0030]如视图210中所示，多功能直尺202具有接触点208 (例如电容式触点)的定义的图案，并且接触点的图案可被识别为多功能直尺。如在212所示，当多功能直尺放置在触摸屏显示表面204上时，在触摸屏显示表面204上识别出接触点208的图案。备选地或附加地，可以识别多功能直尺的任何配置、物理特征或电特征，例如当多功能直尺放置在触摸屏显示表面时多功能直尺的可识别的接触形状。由接触点的可识别的接触形状和/或定义的图案可确定多功能直尺在触摸屏显示表面上的位置和方向。在实施中，当接触点208在阈值持续时间内就地保持稳定时，多功能直尺202的触摸检测系统可识别触摸屏显示表面204上的设备。然后，可从动作手势区分接触，所述动作手势例如为可由用户利用放置在触摸屏显示表面上的两个手指发起的、诸如捏拉缩放(pinch to zoom)或展开动作手势。
[0031]在实施中，多功能直尺202为与平板设备206和触摸屏显示表面204交互或对接的消费性电子设备，以布置各种形状作为模板，从而辅助用户用触控笔或手指输入进行绘图。还可响应于多功能直尺被放置在平板设备的触摸屏显示表面204上，而发起数字绘图工具的用户接口 214，以在触摸屏显示表面204上进行显示。多功能直尺202包括可选择的形状216和/或其它类型的绘图模板引导。多功能直尺还可被实施为包括可选择的和/或定制的模板，包括但不限于由多功能直尺加强或促进的绘图、制图、曲线板、建筑、电气、手工艺、图像印章和/或其它任何类型的屏上模板应用。
[0032]多功能直尺202可以采用使得软件能够利用与多功能直尺的交互的任何方式来加强触摸屏显示表面204和平板设备206的设备软件。如参照图1中显示的示例性系统所描述的，多功能直尺202可包括与伴随模块通信的交互模块(例如软件构件或应用)，该伴随模块通过平板设备来实施并可与触摸屏显示表面一起操作。例如，多功能直尺的交互模块可向包括触摸屏显示表面的计算设备的伴随模块传输多功能直尺的标识符以及用户输入。
[0033]用户可选择形状216 (或其它类型的绘图模板引导)作为多功能直尺202上的用户输入，并且在平板设备的触摸屏显示表面204上显示对应于用户形状输入的形状对象。例如，用户可选择在多功能直尺上的线形状216，并且在多功能直尺位于触摸屏显示表面上的同时，形状对象218在触摸屏显示表面204上被显示为绘图形状模板和/或用于触控笔输入的触控笔引导线。然后，用户可使用触控笔220，手指或其它绘图工具以在形状对象218(例如触控笔引导线)上划线222。在这个示例中，形状对象218被图示为比用户用触控笔绘制的粗黑线222细的灰线。
[0034]在触摸屏显示表面204上显示的形状对象218与多功能直尺202关联，并保持相对于多功能直尺的显示位置224。将形状对象拴系(tether)到多功能直尺，以保持相对于多功能直尺的显示位置，并且形状对象可与触摸屏显示表面上的多功能直尺一起移动和/或旋转。此外，可选择任何显示的形状对象，并且任何显示的形状对象包括角控点(cornerhandles)和/或边缘控点(edge handles),以改变触摸屏显示表面上形状对象的形状、调整触摸屏显示表面上形状对象的大小和/或改变触摸屏显示表面上形状对象的位置。
[0035]在实施中，可从触摸屏显示表面移除多功能直尺，并且然后不显示形状对象(即绘图模板或触控笔引导线从触摸屏显示表面上消失)。备选地，在其它实施中，当从触摸屏显示表面上移除多功能直尺时，形状对象可保持显示为触摸屏显示表面上的绘图元件。例如，形状对象可首先显示为绘图模板，然后保持显示，并且作为绘图的一部分被包括在触摸屏显示表面上。
[0036]根据物理对象检测和触摸屏交互的一个或多个实施方式，分别参照图3、4、7、8和9描述示例性方法300、400、700、800和900。总体而言，可使用软件、固件、硬件(例如固定逻辑电路)、手动处理或它们的任何组合来实施这里描述的服务、组件、模块、方法和操作。可以在存储于计算机处理系统的本地或远程的计算机可读存储介质上的可执行指令的广义上下文中描述示例性方法，并且实施可包括软件应用、程序、功能等。
[0037]图3图示了物理对象检测和触摸屏交互的示例性方法300，并且参照在触摸屏显示表面上的多功能直尺交互来总体上描述图3。描述的方法中的顺序不旨在被解释为限制，而是可以任何顺序来组合任何数目的方法操作和方法操作的组合，以实施方法或替代的方法。
[0038]在302，在计算设备的触摸屏显示表面上识别多功能直尺的接触形状。例如，当输入设备被放置在平板设备(例如计算设备)的触摸屏显示表面204上时，平板设备206 (图2)的交互伴随模块122 (图1)识别多功能直尺202的接触形状。在实施中，多功能直尺包括被识别为多功能直尺的接触形状的接触点208的定义的图案。备选地或附加地，当多功能直尺放置在触摸屏显示表面上时，多功能直尺的任何配置、物理特征或电特征可被识别为输入设备的接触形状。
[0039]在304，确定多功能直尺在触摸屏显示表面上的位置和方向。例如，平板设备206的交互伴随模块122确定多功能直尺202在平板设备的触摸屏显示表面204上的位置和方向，例如从多功能直尺的可识别的接触形状和/或基于接触点208的定义的图案。
[0040]在306，在多功能直尺上接收用户形状输入。例如，多功能直尺202 (例如输入设备102)的交互模块120接收用户形状输入，例如作为多功能直尺202上的用户输入的形状216的接触点(或其它类型的绘图模板引导)。
[0041]在308，发起形状对象以用于在触摸屏显示表面上显示。例如，多功能直尺202的交互模块120向平板设备206的交互伴随模块122传输(在306接收的)用户输入，交互伴随模块122发起该形状对象以用于显示。在多功能直尺位于触摸屏显示表面上的同时，用户可选择多功能直尺上的线形状216，并且在触摸屏显示表面上显示形状对象218以作为绘图形状模板和/或用于触控笔输入的触控笔引导线。这可包括在多功能直尺位于触摸屏显示表面上的同时，在触摸屏显示表面上显示形状对象以作为绘图形状模板。备选地或附加地，这可包括在触摸屏显示表面上显示形状对象以作为一个或多个触控笔引导线，从而作为对于触控笔输入的引导。
[0042]在310，在触摸屏显示表面上显示的形状对象与多功能直尺关联，在312，保持形状对象相对于多功能直尺的显示位置。例如，平板设备206的交互伴随模块122将形状对象218与多功能直尺202关联，并且将形状对象拴系到多功能直尺，以保持相对于触摸屏显示表面上的多功能直尺的显示位置。形状对象与触摸屏显示表面上的多功能直尺一起移动和/或旋转。
[0043]图4图示了物理对象检测和触摸屏交互的示例性方法400，并且参照在触摸屏显示表面上的多功能直尺交互来总体上描述图4。描述的方法中的顺序不旨在被解释为限制，而是可以任何顺序来组合任何数目的方法操作和方法操作的组合，以实施方法或替代的方法。
[0044]在402，向伴随模块传输多功能直尺的标识符，该伴随模块通过计算设备来实施并可与触摸屏显示表面一起操作。例如，多功能直尺202 (图2)的交互模块120 (图1)向平板设备206 (例如计算设备)的交互伴随模块122传输输入设备(例如多功能直尺)的设备标识符116。
[0045]在404，响应于多功能直尺被放置在触摸屏显示表面上，发起数字绘图工具的用户接口以用于在触摸屏显示表面上显示。例如，当多功能直尺202被放置在触摸屏显示表面上时，平板设备206的交互伴随模块122发起数字绘图工具的用户接口 214，以用于在平板设备的触摸屏显示表面204上显示。
[0046]在406，识别从触摸屏显示表面移除的多功能直尺，这有效地不显示形状对象。例如，平板设备206的交互伴随模块122识别从触摸屏显示表面204上移除的多功能直尺202，这有效地不显示形状对象(即绘图模板或触控笔引导线从触摸屏显示表面上消失)。
[0047]作为当从触摸屏显示表面上移除多功能直尺(在406)时不显示形状对象的替代方案，在408识别从触摸屏显示表面移除多功能直尺，并且在410，形状对象在触摸屏显示表面上被显示为绘图元件。例如，平板设备206的交互伴随模块122识别从触摸屏显示表面204上移除多功能直尺202，并且保持显示形状对象，并且形状对象被包括作为触摸屏显示表面上的绘图的一部分。
[0048]图5图示了利用触摸屏显示表面504上的键盘502进行的物理对象检测和触摸屏交互的实施例500，触摸屏显示表面504例如为在计算设备506中集成的电容式触摸屏显示器，例如任何类型的数字绘图桌面、独立的桌面或平板触摸屏显示表面。键盘502为参照图1描述的输入设备102的示例，并且计算设备506为参照图1描述的计算设备104的示例。在这个实施方式中，键盘502是例如通过蓝牙?、低功耗蓝牙(BTLE)、WiFi?或另一种类型的无线通信、与触摸屏显示表面通信的无线设备。
[0049]如在510所示，键盘502具有在键盘底部的接触点508的定义的图案(例如电容式触点)，并且接触点的图案可识别为键盘。如在512所示，当键盘被放置在触摸屏显示表面上时，在触摸屏显示表面504上识别接触点508的图案。具有三个或更多个可识别的接触点避免了键盘的触摸检测系统将移动手势检测为键盘，例如上面参照利用两个可识别的接触点实施的多功能直尺所描述的。备选地或另外地，当键盘被放置在触摸屏显示表面上时，可识别键盘的任何配置、物理特征或电特征，例如可识别的接触形状。根据接触点的可识别的接触形状和/或定义的图案可确定键盘在触摸屏显示表面上的位置和方向。
[0050]键盘502可以采用使得软件能够利用与键盘的交互的任何方式来加强触摸屏显示表面504和触摸屏显示表面(例如当实施为计算设备506时)的设备软件。如参照图1中显示的示例系统所描述的，键盘502可包括与伴随模块通信的交互模块(例如软件组件或应用)，该伴随模块与触摸屏显示表面一起实施并且可与触摸屏显示表面一起操作。例如，键盘的交互模块向触摸屏显示表面的伴随模块或向包括触摸屏显示表面的计算设备传输键盘的标识符及用户的键盘输入。
[0051]如在512所示，当键盘502被放置在触摸屏显示表面上时，文本对象514可显示在触摸屏显示表面504上。在实施方式中，键盘自身发起文本对象，而不需要用户必须导航菜单并选择选项以创建文本对象。自动产生文本对象，并在触摸屏显示表面上显示，为用户输入做好准备，减少了一个或多个用户输入。然后，传输至键盘的用户按键输入，以用于在触摸屏显示表面上的文本对象中显示为字母数字字符。备选地，可响应于向键盘的用户按键输入，而发起文本对象，以用于在触摸屏显示表面上显示。还可响应于键盘502被放置在触摸屏显示表面上，而发起用户接口面板516，以用于在触摸屏显示表面504上显示。用户接口面板516可包括可选择的文本编辑选项和/或到先前创建的文本对象的可选择的链接以供用户选择以编辑先前创建的文本对象。
[0052]在触摸屏显示表面504上显示的文本对象514与键盘502关联，并保持相对于键盘的显示位置518。文本对象可与键盘一起移动和/或旋转520，以保持相对于触摸屏显示表面上的键盘的显示位置。用户接口面板516还与键盘关联，并保持相对于键盘的显示位置522，以便用户接口面板也可与键盘一起移动和/或旋转520，以保持相对于触摸屏显示表面上的键盘的显示位置。
[0053]在实施中，例如当用户选择和拖动文本对象514以从键盘分离文本对象时，可从键盘502移开与键盘502关联的文本对象。然后，可创建另外的文本对象，在触摸屏显示表面上显示该另外的文本对象，并且将另外的文本对象与键盘关联以便为用户输入做好准备。例如，用户可打入同样具有触摸选择选项的笔记或电子邮件，当完成打字时，从键盘拖走笔记或电子邮件，另一个文本对象(例如该示例中的笔记或电子邮件)被自动创建，并为用户按键输入做好准备。
[0054]当从触摸屏显示表面504上移除键盘502时，可不再显示与键盘502关联的文本对象，并且然后文本对象可响应于键盘被放置回触摸屏显示表面上而再次被显示。如图6所示以及参照图6描述的，在键盘被放置在触摸屏显示表面上之前，文本对象也可显示在触摸屏显示表面上。当键盘被放置在触摸屏显示表面上时，可基于键盘与所显示的文本对象邻近来选择所显示的文本对象，并将所显示的文本对象与键盘关联，以便能够编辑文本。
[0055]在实施中，可使用具有一个以上键盘的较大的触摸屏显示表面，例如当用户在杂志排版或其它项目上合作时。每个用户可在触摸屏显示表面504上放置键盘，并且可与触摸屏显示表面一起操作的伴随模块(例如软件应用或模块)可区分键盘。例如，如在510所示，除了接触点508的定义的图案之外，可基于具有唯一地定位的接触点524的每个键盘来区分键盘。每个用户可随机地在键盘的底部放置另外的接触点524，以唯一地识别键盘。
[0056]在其它实施中，在触摸屏显示表面504检测到的物理对象可包括放置在显示于触摸屏显示表面的视频的网格上的视频慢进和快进装置。可使用视频慢进和快进装置直接导航、预览、拼接、以及以其他方式随时间编辑视频。还可在视频慢进和快进装置周围或与视频慢进和快进装置结合来显示屏幕上的用户接口，以进一步促进用户与视频的交互，例如以选择、编辑和剪切视频的不同部分，以便为了进一步的编辑而在新的时间轴中组合。
[0057]图6进一步图示了利用参照图5描述的计算设备506的触摸屏显示表面504上的键盘502进行的物理对象检测和触摸屏交互的实施例600。在这个实施例中，如在604所示，文件602显示在触摸屏显示表面上，并且键盘502放置在该触摸屏显示表面上。在键盘被放置在触摸屏显示表面上之前，文本对象可显示在触摸屏显示表面上。如在606处用文件选择和移动手势所示，可通过定位物理键盘或在物理键盘下方移动页面布局(例如文件602)，而基于键盘的邻近来选择例如页面布局中的已有的文本对象。备选地，用户可仅拖动所选择的文本，例如如果文本对象608还未已经是较大的、已组织的布局的一部分。
[0058]当键盘502放置在触摸屏显示表面504上时，可基于键盘与所显示的文本对象的邻近来选择所显示的文本对象608，并将所显示的文本对象608与键盘关联，以便能够编辑文本。取代产生新的文本对象，键盘的物理放置可选择当前的文本对象，为用户按键输入以编辑当前的文本做好准备。可自动地选择最接近键盘的文本。
[0059]图7描述了物理对象检测和触摸屏交互的示例性方法700，并且参照在触摸屏显示表面上的键盘交互来总体上描述图7。描述的方法中的顺序不旨在被解释为限制，而是可以任何顺序来组合任何数目的方法操作和方法操作的组合，以实施方法或替代的方法。
[0060]在702，在计算设备的触摸屏显示表面上识别键盘的接触形状。例如，当输入设备放置在计算设备506的触摸屏显示表面504上时，计算设备506 (图5)的交互伴随模块122 (图1)识别键盘502的接触形状。在实施中，键盘包括接触点508的定义的图案，接触点508的定义的图案被识别为键盘的接触形状。备选地或另外地，当键盘放置在触摸屏显示表面上时，键盘的任何配置、物理特征或电特征可被识别为输入设备的接触形状。
[0061]在704，向可与触摸屏显示表面一起操作的伴随模块传输键盘的标识符。例如，键盘502 (图5)的交互模块120 (图1)向计算设备506的交互伴随模块122传输输入设备(例如键盘)的设备标识符116。
[0062]在706，确定键盘在触摸屏显示表面上的位置和方向。例如，计算设备506的交互伴随模块122确定键盘502在计算设备的触摸屏显示表面504上的位置和方向，例如根据键盘的可识别的接触形状和/或基于接触点508的定义的图案。
[0063]在708，发起文本对象以用于在触摸屏显示表面上显示。例如，当键盘502放置在触摸屏显示表面上时，计算设备506的交互伴随模块122产生文本对象514，以用于在计算设备506的触摸屏显示表面504上显示。备选地，可响应于向键盘的用户按键输入而发起文本对象，以用于在触摸屏显示表面上显示。
[0064]在710，在触摸屏显示表面上显示的文本对象与键盘相关联，在712，保持文本对象相对于键盘的位置。例如，计算设备506的交互伴随模块122将文本对象514与键盘502关联，并将文本对象拴系到键盘，以保持相对于在触摸屏显示表面上的键盘的显示位置。文本对象与触摸屏显示表面上的键盘一起移动和/或旋转。
[0065]在714，在键盘上接收用户按键输入，在716，传输用户按键输入，以用于在触摸屏显示表面上的文本对象中作为字母数字字符而显示。例如，键盘502 (例如输入设备102)的交互模块120接收向键盘的用户按键输入，并且交互模块向计算设备506的交互伴随模块122传输用户按键输入，以用于在触摸屏显示表面上的文本对象中显示为字母数字字符。
[0066]图8图示了物理对象检测和触摸屏交互的示例性方法800，并且参照在触摸屏显示表面上的键盘交互来总体上描述图8。描述的方法中的顺序不旨在被解释为限制，而是可以任何顺序来组合任何数目的方法操作和方法操作的组合，以实施方法或替代的方法。
[0067]在802，基于键盘与所显示的文本对象的邻近来选择所显示的文本对象，以便能够编辑在键盘放置在触摸屏显示表面上之前所显示的文本。例如，计算设备506 (图5)的交互伴随模块122 (图1)基于键盘与所显示的文本对象的邻近来选择所显示的文本对象608 (图6)，以便能够编辑在键盘放置在触摸屏显示表面上之前所显示的文本。当键盘502放置在触摸屏显示表面504上时，可基于键盘与所显示的文本对象的邻近来选择所显示的文本对象608并将所显示的文本对象608与键盘关联。
[0068]在804，文本对象被识别为已经与键盘分离，并且在806，响应于文本对象已经与键盘分离而发起另外的文本对象，以用于在触摸屏显示表面上显示。例如，计算设备506的交互伴随模块122识别何时文本对象与键盘分离时，例如何时用户选择和拖动文本对象514以使文本对象与键盘分离时。然后，创建另外的文本对象，并在触摸屏显示表面上显示该另外的文本对象，并将该另外的文本对象与键盘关联，以便为用户输入做好准备。
[0069]在808，键盘被识别为已被从触摸屏显示表面上移除，这有效地不显示文本对象。例如，计算设备506的交互伴随模块122识别键盘502被从触摸屏显示表面上504移除，并且当从触摸屏显示表面上移除键盘时，不再显示与键盘关联的文本对象。在810，响应于识别出键盘被放置回触摸屏显示表面上而重新显示文本对象。例如，计算设备506的交互伴随模块122识别键盘02被放置回触摸屏显示表面上，并且文本对象被显示。
[0070]图9图示了物理对象检测和触摸屏交互的示例性方法900，并且参照在触摸屏显示表面上的键盘交互来总体上描述图9。描述的方法中的顺序不旨在被解释为限制，而是可以任何顺序来组合任何数目的方法操作和方法操作的组合，以实施方法或替代的方法。
[0071]在902，响应于键盘被放置在触摸屏显示表面上，发起用户接口面板，以用于在触摸屏显示表面上显示。例如，当键盘50放置在触摸屏显示表面上时，计算设备506的交互伴随模块122发起用户接口面板516，以用于在计算设备的触摸屏显示表面504上显示。用户接口面板516可包括可选择的文本编辑选项和/或到先前创建的文本对象的可选择的链接以供用户选择以编辑先前创建的文本对象。
[0072]在904，用户接口面板与键盘关联，并且在906，保持用户接口面板相对于键盘的显示位置。例如，计算设备506的交互伴随模块122将用户接口面板516与键盘502关联，并将用户接口面板拴系到键盘，以保持相对于在触摸屏显示表面上的键盘的显示位置。用户接口面板与触摸屏显示表面上的键盘一起移动和/或旋转。在908，在用户接口面板中显示到先前创建的文本对象的可选择的链接，以供用户选择以编辑先前创建的文本对象。例如，计算设备506的交互伴随模块122在用户接口面板516中发起显示到先前创建的文本对象的可选择的链接，以供用户选择以编辑先前创建的文本对象。
[0073]图10图示了包含示例性设备1002的示例性系统1000，示例性系统1000可实施物理对象检测和触摸屏交互的实施方式。示例性设备1002可实施为参照图1?9描述的设备和/或服务(例如服务器设备)中的任一个，例如任何类型的输入设备、平板设备、计算设备、通信设备、娱乐设备、游戏设备、媒体播放和/或可实施为或包括触摸屏显示表面的其它类型的计算设备。例如，如图2和图5所示的多功能直尺202和/或平板设备206及键盘502、触摸屏显示表面504和/或计算设备506可被实施为示例性设备1002。
[0074]设备1002包括实现设备数据1006的有线和/或无线通信的通信设备1004，设备数据1006例如在设备上存储的设备设置和数据、用户数据和用户接口配置设置。设备数据可包括任何类型的用户数据和/或设备数据。通信设备1004还包括用于蜂窝电话通信和/或网络数据通信的收发器。
[0075]设备1002还包括输入/输出(I/O)接口 1008，例如提供设备、数据网络和其它设备之间的连接和/或通信线路的数据网络接口。该I/o接口可用于将设备耦合到任何类型的组件、外围设备和/或辅助设备，例如可与设备1002集成的触摸屏显示表面。该I/O接口还包括可经由其接收任何类型的数据、媒体内容和/或输入的数据输入端口，可经由该数据输入端口接收的数据、媒体内容和/或输入例如为向设备的用户输入、以及从任何内容源和/或数据源接收的任何类型的音频、视频和/或图像数据。
[0076]设备1002包括可在硬件中至少部分地实施的处理系统1010，所述硬件例如处理可执行指令的任何类型的微处理器、控制器等。处理系统可包括集成电路、可编程逻辑设备、使用一个或多个半导体形成的逻辑设备和在硅和/或硬件中的其它实施，例如实施为片上系统(SoC)的处理器和存储器系统。备选地或附加地，可用软件、硬件、固件或可用处理及控制电路实施的固定的逻辑电路中的任一种或其组合来实施设备。设备1002可进一步包括任何类型的系统总线或耦合设备内的各种组件的其它数据和命令传输系统。系统总线可包括不同总线结构和架构及控制和数据线中的任一种或其组合。
[0077]设备1002还包括计算机可读存储介质1012，例如可被计算设备访问并提供数据和可执行指令(例如，软件应用、程序等)的永久存储的数据存储设备。计算机可读存储介质的示例包括非永久性存储器和永久性存储器、固定的和可移动的媒体设备和维护供计算设备访问的数据的任何合适的存储器设备或电子数据存储装置。计算机可读存储介质可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、和各种存储设备配置中的其它类型的存储介质的各种实现。
[0078]计算机可读存储介质1012提供对设备数据1006和各种设备应用1014的存储，例如由计算机可读存储介质作为应用软件来维护并通过处理系统1010实施的操作系统。在这个实施例中，设备应用还包括实施物理对象检测和触摸屏交互的交互模块1016，例如当示例性设备1002实施为图2显示的多功能直尺202、或图5显示的键盘502时。交互模块1016的示例包括如图1中显示并参照图1描述的、通过输入设备102实施的交互模块120和通过计算设备104实施的交互伴随模块122。
[0079]设备1002还包括为音频设备1020产生音频数据和/或为显示设备1022 (例如触摸屏显示表面)产生显示数据的音频和/或视频系统1018。音频设备和/或显示设备包括处理、显示和/或以其他方式呈现音频、视频、显示和/或图像数据的任何设备，例如数字照片的图像内容。在实施中，音频设备和/或显示设备为示例性设备1002的集成组件。备选地，音频设备和/或显示设备为示例性设备的外部、外围组件。
[0080]在实施方式中，可在分布式系统、例如在平台1026中的“云”1024上实施所描述的用于物理对象检测和触摸屏交互的技术的至少一部分。云1024包括和/或表示用于服务1028和/或资源1030的平台1026。平台1026提取例如服务器设备(例如被包括在服务1028中)的硬件和/或软件资源(例如作为资源1030被包括)的基本功能，并且连接示例性设备1002与其它设备、服务器等。
[0081]资源1030可包括在从示例性设备1002移除的服务器上执行计算机处理的同时被利用的应用和/或数据。另外，服务1028和/或资源1030可促进用户网络服务，例如通过因特网、蜂窝网络或WiFi网络。根据对于经由平台实施的资源1030的需求，平台1026还可用于提取和依比例决定到服务的资源，例如在具有在整个系统1000中分布的功能的互联设备的实施方式中。例如，可在示例性设备1002处以及通过提取云1024的功能的平台1026部分地实施所述功能。
[0082]虽然已经以对特征和/或方法特定的语言描述了物理对象检测和触摸屏交互的实施方式，但是所附权利要求书不必限于说明的具体的特征或方法。相反，公开具体的特征和方法以作为物理对象检测和触摸屏交互的示例性实施。
【权利要求】
1.一种输入设备，包括: 接触形状，当所述接触形状被放置在发起对象以用于显示的计算设备的触摸屏显示表面上时，所述接触形状可被识别为所述输入设备，所述对象被保持在相对于所述触摸屏显示表面上的所述输入设备的显示位置； 处理系统，实施与所述计算设备的伴随模块对接的交互模块，所述交互模块被配置为: 接收向所述输入设备的用户输入；以及 向所述计算设备的所述伴随模块传输所述用户输入以修改所述对象在所述触摸屏显示表面上的显示。
2.根据权利要求1所述的输入设备，进一步包括接触点的定义的图案，所述接触点的所述定义的图案可被识别为所述输入设备的所述接触形状，并且其中根据所述接触点的所述定义的图案可确定所述输入设备在所述触摸屏显示表面上的位置和方向。
3.根据权利要求1所述的输入设备，其中所述输入设备包括多功能直尺； 所述多功能直尺的所述交互模块被配置为: 接收所述用户输入以作为在所述多功能直尺上的用户形状输入；以及 向所述计算设备的所述伴随模块传输所述用户形状输入，所述伴随模块发起所述对象以用于在所述触摸屏显示表面上作为形状对象而显示。
4.根据权利要求3所述的输入设备，其中所述形状对象是绘图形状模板，所述绘图形状模板被配置为在所述多功能直尺位于所述触摸屏显示表面上的同时显示于所述触摸屏显示表面上。
5.根据权利要求3所述的输入设备，其中所述形状对象是一个或多个触控笔引导线，所述一个或多个触控笔引导线被配置为作为对于触控笔输入的引导而在所述触摸屏显示表面上显示。
6.根据权利要求3所述的输入设备，其中所述形状对象被拴系到所述多功能直尺以保持相对于所述多功能直尺的所述显示位置。
7.根据权利要求3所述的输入设备，其中当从所述触摸屏显示表面上移除所述多功能直尺时，所述形状对象保持被显示为所述触摸屏显示表面上的绘图元件。
8.根据权利要求3所述的输入设备，其中所述多功能直尺的所述交互模块被配置为响应于所述多功能直尺被放置在所述触摸屏显示表面上来发起数字绘图工具的用户接口以用于在所述触摸屏显示表面上显示。
9.根据权利要求1所述的输入设备，其中所述输入设备包括键盘； 所述计算设备的所述伴随模块响应于所述键盘被识别来发起对象以用于作为文本对象而在所述触摸屏显示表面上显示；并且 所述键盘的所述交互模块被配置为: 接收作为向所述键盘的用户按键输入的所述用户输入；以及 传输所述用户按键输入以用于作为所述文本对象中的字母数字字符而显示。
10.根据权利要求9所述的输入设备，其中基于所述键盘与所显示的文本对象的邻近来选择所显示的文本对象，以便能够编辑在所述键盘被放置在所述触摸屏显示表面之前所显示的文本。
11.根据权利要求9所述的输入设备，其中: 当从所述触摸屏显示表面上移除所述键盘时，不显示所述文本对象；并且 响应于所述键盘被放置回所述触摸屏显示表面上来重新显示所述文本对象。
12.根据权利要求1所述的输入设备，进一步包括被配置为维护所述输入设备的标识符的存储器，并且其中所述输入设备的所述交互模块被配置为向所述计算设备的所述伴随模块传输所述标识符。
13.—种方法,包括: 当输入设备被放置在触摸屏显示表面上时，基于所述输入设备的接触形状来识别所述输入设备； 发起对象以用于在所述触摸屏显示表面上显示，所述对象被保持在相对于所述触摸屏显示表面上的所述输入设备的显示位置； 接收用户输入；以及 基于所述用户输入来修改在所述触摸屏显示表面上显示的所述对象。
14.根据权利要求13所述的方法，其中接触点的定义的图案可被识别为所述输入设备的所述接触形状，所述方法进一步包括: 根据所述接触点的所述定义的图案来确定所述输入设备在所述触摸屏显示表面上的位置和方向。
15.根据权利要求13所述的方法，其中: 所述输入设备包括多功能直尺； 接收所述用户输入以作为在所述多功能直尺上的用户形状输入；以及 基于所述用户形状输入来发起所述对象以用于在所述触摸屏显示表面上作为形状对象而显示。
16.根据权利要求15所述的方法，其中所述形状对象为以下各项之一: 绘图形状模板，在所述多功能直尺位于所述触摸屏显示表面上的同时所述绘图形状模板显示于所述触摸屏显示表面上；或者 绘图元件，当从所述触摸屏显示表面上移除所述多功能直尺时，所述绘图元件保持被显示于所述触摸屏显示表面上。
17.根据权利要求15所述的方法，进一步包括: 响应于识别出所述多功能直尺被放置在所述触摸屏显示表面上来发起数字绘图工具的用户接口以用于在所述触摸屏显示表面上显示。
18.根据权利要求13所述的方法，其中: 所述输入设备包括键盘； 响应于识别出所述键盘来发起所述对象以用于作为文本对象而在所述触摸屏显示表面上显示；以及 接收作为向所述键盘的用户按键输入的所述用户输入以用于作为所述文本对象中的字母数字字符而显示。
19.一种多功能直尺，包括: 接触点的定义的图案，所述接触点的定义的图案在放置在计算设备的触摸屏显示表面上时被识别为所述多功能直尺； 实施交互模块的处理系统，所述交互模块被配置为: 与由所述计算设备实施并且可与所述触摸屏显示表面一起操作的伴随模块通信； 接收所述多功能直尺上的用户形状输入；以及 发起对应于所述用户形状输入的形状对象以用于在所述触摸屏显示表面上显示。
20.根据权利要求19所述的多功能直尺，其中: 所述多功能直尺在所述触摸屏显示表面上的位置和方向可根据所述接触点的所述定义的图案来确定；并且 基于所述多功能直尺在所述触摸屏显示表面上的所述位置和所述方向，所述形状对象被保持在相对于所述多功能直尺的显示位置。
【文档编号】G06F3/0488GK104133581SQ201410154201
【公开日】2014年11月5日 申请日期:2014年4月14日 优先权日:2013年5月2日
【发明者】R·泰基森, T·W·库库尔斯基, M·W·高夫, G·C·多德, G·C·马斯卡利诺 申请人:奥多比公司