使用手写笔修改触摸屏显示器的显示布局的制作方法

使用手写笔修改触摸屏显示器的显示布局
1.交叉引用
2.本技术要求于2020年5月5日递交的申请号为16/867,204、发明名称为“使用手写笔修改触摸屏显示器的显示布局(using a stylus to modify display layout of touchscreen displays)”的美国非临时申请的权益，该申请的内容通过引用结合在本技术中。
技术领域
3.本发明大体涉及触摸屏显示器，以及手写笔在触摸屏显示器上的使用。


背景技术：

4.电子设备通常具有触摸屏显示器，以便用户能够与设备交互。用户可以使用钢笔状手写笔等输入设备或者一根或多根手指，触摸所述触摸屏显示器，通过简单触摸手势或多点触摸手势来输入信息。支持触摸显示器的触摸屏采用较大尺寸和高级硬件规格，使得这些设备成为提高工作效率的重要工具。用户能够通过利用触摸屏显示器上的大空间，同时执行多项任务。例如，电子设备可以同时运行多个应用程序，并且在触摸屏显示器上的多个窗口或视图中同时显示来自所述多个应用程序的信息。
5.用户与触摸屏显示器交互的常见方式是，使用手指或钢笔状手写笔的末端做出触摸手势。作为示例，根据手指触摸事件，microsoft surface
tm
操作系统可以识别的手势及其相应的描述包括：“点按：按下然后释放”；“滑动或推动：通过滑动或推动操作，移动手指下显示的对象：“滑动：按下，快速滑动，然后释放”；“触碰旋转：绕内容点的某个点用手指滑动内容”；“旋转：快速扭转以旋转对象”；“双手拉伸：两只手的手指往外拉”；“双手推挤：两只手的手指并拢”；“扭转：用两根或多根手指扭转物体，例如转动旋钮或翻页”；“捏夹：一只手上的两根手指捏在一起”；“挤压：一只手上的三根或更多手指捏在一起；“伸展：一只手上的手指往外拉”；“固定并旋转：用一根手指将对象固定就位，另一根手指绕固定的点拖动对象。
6.从上述列表可以看出，除了可以使用手写笔尖执行的基本点按和拖动手势之外，大多数触摸屏交互需要基于手指的手势，因此想要使用手写笔的用户经常必须切换到手指手势以利用高级触摸屏能力。许多用户不利用触摸屏显示器提供的一些显示器管理功能，因为许多现有的受支持触摸手势涉及太多不直观的步骤。
7.因此，需要一种更通用的方式来管理电子设备上的触摸屏显示器查看区域。


技术实现要素：

8.本发明大体涉及在触摸屏显示器上使用手写笔实现可以修改触摸屏显示器布局的输入交互，包括实现屏幕分割和管理分割屏幕视图的输入交互等。
9.根据本发明的一个方面，提供了一种方法，所述方法包括：感测电子设备的触摸屏显示器上的触摸事件；响应于确定所述触摸事件与手写笔杆手势匹配，改变在所述触摸屏
显示器上呈现的显示布局，所述手写笔杆手势对应于所述手写笔杆与所述触摸屏显示器的交互，所述手写笔杆位于手写笔的第一端和第二端之间。
10.所述方法使得用户可以通过使用手写笔杆手势，与电子设备高效交互。例如，这样可以通过较少的用户交互来显示期望的屏幕显示布局，从而减少对所述电子设备可能造成的磨损或损坏，并且可能减少电池电量消耗。还可以增强用户体验，并且所述电子设备可以提供更多功能。
11.在上述方面，改变所述显示布局包括：改变在所述触摸屏显示器上显示的若干查看区域，或者改变在所述触摸屏显示器上显示的查看区域的相对尺寸。
12.在上述各个方面的至少一些方面中，确定所述触摸事件与所述手写笔杆手势匹配包括：确定所述触摸事件的触摸坐标信息与手写笔杆放置手势匹配，所述手写笔杆放置手势对应于所述手写笔杆放置在所述触摸屏显示器的屏幕上的第一查看区域内；改变在所述触摸屏显示器上呈现的所述显示布局包括：将所述第一查看区域分割成第二查看区域和第三查看区域，并且使所述第二查看区域和所述第三查看区域中的每一个显示相应用户界面。
13.在上述各个方面的至少一些方面中，当所述手写笔杆放置手势对应于所述手写笔杆以垂直方向放置在所述第一查看区域内时，所述第二查看区域和所述第三查看区域彼此相对地布置为左查看区域和右查看区域。
14.在上述各个方面的至少一些方面中，当所述手写笔杆放置手势对应于所述手写笔杆以水平方向放置在所述第一查看区域内时，所述第二查看区域和所述第三查看区域彼此相对地布置为顶部查看区域和底部查看区域。
15.在上述各个方面的至少一些方面中，所述第二查看区域和所述第三查看区域内的所述用户界面中的至少一个对应于发生所述触摸事件时作为后台应用程序的应用程序；所述方法包括：在确定所述触摸事件与所述手写笔杆放置手势匹配时，使所述后台应用程序变为前台应用程序。
16.在上述各个方面的至少一些方面中，所述第二查看区域和所述第三查看区域内的所述用户界面中的至少一个对应于发生所述触摸事件时作为非活动应用程序的应用程序；所述方法包括：在确定所述触摸事件与所述手写笔杆放置手势匹配时，使所述非活动应用程序变为前台应用程序。
17.在上述各个方面的至少一些方面中，所述第二查看区域和所述第三查看区域内的所述用户界面中的至少一个显示一组图标，每个所述图标可分别激活，以启动相应的应用程序。
18.在上述各个方面的至少一些方面中，确定所述触摸事件与手写笔杆手势匹配包括：确定所述触摸事件的触摸坐标信息与手写笔杆拖动手势匹配，所述手写笔杆拖动手势对应于从与第一查看区域和第二查看区域之间的边界重合的位置，沿所述触摸屏显示器的屏幕移动所述手写笔杆；并且改变在所述触摸屏显示器上呈现的所述显示布局包括：根据所述手写笔杆沿所述屏幕的移动，调整所述第一查看区域和所述第二查看区域的相对尺寸。
19.在上述各个方面的至少一些方面中，确定所述触摸事件与手写笔杆手势匹配包括：确定当在所述触摸屏显示器上显示第一查看区域和第二查看区域时，所述触摸事件的
触摸坐标信息与手写笔杆拖动和移除手势匹配，所述手写笔杆拖动和移除手势对应于在第一查看区域内沿所述触摸屏显示器的屏幕移动所述手写笔杆，并且随后在所述移动的阈值时间段内从所述屏幕移除所述手写笔杆；改变在所述触摸屏显示器上呈现的所述显示布局包括：扩大所述第一查看区域以及关闭所述第二查看区域。
20.根据本发明的另一个方面，提供了一种电子设备，用于执行上述示例性方面中任一项所述的方法。
21.根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：触摸屏显示器，所述触摸屏显示器包括显示器和触摸感测系统，所述触摸感测系统用于生成与触摸所述显示器的屏幕相对应的信号；处理设备，所述处理设备可操作地耦合到所述触摸屏显示器；非瞬时性存储器，所述非瞬时性存储器耦合到所述处理设备且存储软件指令，在所述处理设备执行所述软件指令时，所述处理设备用于：根据所述触摸感测系统生成的信号，感测所述触摸屏显示器上的触摸事件；确定所述触摸事件是否与手写笔杆手势匹配；响应于确定所述触摸事件与手写笔杆手势匹配，改变在所述触摸屏显示器上呈现的显示布局，所述手写笔杆手势对应于所述手写笔杆与所述触摸屏显示器的交互，所述手写笔杆位于所述手写笔的第一端和第二端之间。
22.根据本发明的又一个方面，提供了一种存储指令的计算机可读介质，在电子设备的处理器执行所述指令时，所述指令将所述电子设备配置用于：感测电子设备的触摸屏显示器上的触摸事件；响应于确定所述触摸事件与手写笔杆手势匹配，改变在所述触摸屏显示器上呈现的显示布局，所述手写笔杆手势对应于所述手写笔杆与所述触摸屏显示器的交互，所述手写笔杆位于手写笔的第一端和第二端之间。
23.在上述各个示例性方面的至少一些方面中，能够处理手写笔杆手势，可以改善电子设备的操作和所述电子设备的用户体验。例如，用户能够用手写笔交互来替代与触摸屏显示器的一些手指交互，从而减少污垢、脂、油和其它污染物(包括细菌和病毒等)等异物从用户的手指潜在转移到所述触摸屏显示器中。在一些情况下，减少所述屏幕上的污染物可以减少所述触摸屏显示器的清洁要求，从而减少可能对设备造成的损坏，减少清洁材料的消耗，并且还可以减少污染物的扩散。
附图说明
24.现在通过示例参考示出本技术的示例性实施例的附图，其中：
25.图1示出了采用现有技术的平板电脑，所述平板电脑运行着两个应用程序并且在其显示器的两个查看区域中显示所述应用程序的用户界面；
26.图2示出了采用现有技术的触摸屏显示器，所述触摸屏显示器具有通过将窗口向显示器的一端拖动而形成的两个查看区域；
27.图3示出了在采用现有技术的触摸屏显示器上通过用手指拖动查看区域的边界调整所述查看区域；
28.图4a示出了采用触摸屏显示器的电子设备，其中手写笔的笔杆以大致垂直的方向放置在所述触摸屏显示器的屏幕上；
29.图4b示出了图4a所示的电子设备，其中手写笔的笔杆以大致水平的方向放置在触摸屏显示器的屏幕上；
30.图4c示出了示例性实施例提供的图4a和图4b所示电子设备的触摸屏显示器系统选定组件的框图；
31.图5a示出了采用触摸屏显示器的电子设备，其中触摸屏的主查看区域显示操作系统生成的主屏幕用户界面；
32.图5b示出了图5a所示的电子设备，其中触摸屏显示器的主查看区域分割成第一查看区域和第二查看区域，每个查看区域分别显示用户界面；
33.图6a示出了电子设备，其中触摸屏的主查看区域显示主屏幕用户界面，一个应用程序在所述电子设备的后台运行，并且手写笔放置在触摸屏显示器的屏幕上；
34.图6b示出了本发明各实施例提供的图6a或图6b所示电子设备，其中触摸屏显示器的主查看区域分割成第一查看区域和第二查看区域，所述第一查看区域显示正在运行的应用程序的用户界面，所述第二查看区域显示笔记应用程序的用户界面；
35.图6c示出了电子设备，其中触摸屏的主查看区域显示在所述电子设备上运行的前台应用程序的用户界面，并且手写笔放置在触摸屏显示器的屏幕上；
36.图6d示出了图6a或图6c所示的电子设备，其中触摸屏显示器的主查看区域分割成第一查看区域和第二查看区域，所述第一查看区域显示正在运行的应用程序的用户界面，所述第二查看区域显示包括多个图标的用户界面，所述多个图标表示所述第二查看区域中的应用程序；
37.图6e示出了图6d所示的多个图标的替代布置，其中所述多个图标布置在第一查看区域和第二查看区域之间的分界线附近；
38.图7a示出了带有触摸屏显示器的电子设备，其中垂直分界线将其主查看区域分割成右查看区域和左查看区域，所述右查看区域和所述左查看区域中的每一个都显示用户界面内容，且手写笔大致水平地放置在所述触摸屏显示器的屏幕上；
39.图7b示出了图7a所示的电子设备，其中触摸屏显示器的主查看区域分割成顶部查看区域和底部查看区域，所述顶部查看区域显示图7a所示左查看区域的用户界面内容，所述底部查看区域显示图7a所示右查看区域的用户界面内容；
40.图8a示出了电子设备，其中触摸屏的主查看区域显示主屏幕用户界面，第一应用程序和第二应用程序在所述电子设备的后台运行，并且手写笔放置在触摸屏显示器的屏幕上；
41.图8b示出了电子设备，其中水平分界线将触摸屏显示器的主查看区域分割成顶部查看区域和底部查看区域，所述顶部查看区域显示第一前台应用程序的用户界面，所述底部查看区域显示第二前台应用程序的用户界面，手写笔放置在所述触摸屏显示器的屏幕上；
42.图8c示出了带有触摸屏显示器的电子设备，其中主查看区域显示在所述电子设备上运行的第一前台应用程序的用户界面，第二后台应用程序也在所述电子设备上运行，手写笔放置在所述触摸屏显示器的屏幕上；
43.图8d示出了电子设备，其中垂直分界线将主查看区域分割成右查看区域和左查看区域，所述右查看区域显示第一应用程序的用户界面，所述左查看区域显示第二应用程序的用户界面；
44.图9a示出了电子设备，其中触摸屏的主查看区域显示主屏幕用户界面，三个应用
程序在所述电子设备的后台运行，并且手写笔放置在触摸屏显示器的屏幕上；
45.图9b示出了本发明各实施例提供的电子设备，其中垂直分界线将主查看区域分割成右查看区域和左查看区域，所述右查看区域和所述左查看区域中的每一个都显示三个应用程序中的每一个的屏幕截图以及可用于在所述电子设备上运行的其它应用程序的多个图标；
46.图9c示出了图9a所示的电子设备，其中已选择图9b所示第一应用程序的屏幕截图以激活第一应用程序，并且所述第一应用程序的用户界面显示在左查看区域中；已激活图9b所示的第二应用程序的屏幕截图，并且所述第二应用程序的用户界面显示在右查看区域中；
47.图9d示出了电子设备，其中触摸屏的主查看区域显示在所述电子设备上运行的第一前台应用程序的用户界面，两个后台应用程序在所述电子设备的后台运行，并且手写笔放置在触摸屏显示器的屏幕上；
48.图9e示出了图9d所示的电子设备，其中垂直分界线将主查看区域分割成右查看区域和左查看区域，所述左查看区域显示第一前台应用程序的用户界面，所述右查看区域显示两个后台应用程序中的每一个的屏幕截图以及可用于在所述电子设备上运行的其它应用程序的多个图标；
49.图10a示出了电子设备，其中分界线将触摸屏显示器的主查看区域分割成第一查看区域和第二查看区域，所述第一查看区域显示正在运行的应用程序的用户界面，所述第二查看区域显示表示可用于运行并在所述第二查看区域中显示所述用户界面的应用程序的多个图标，手写笔放置在所述触摸屏显示器的屏幕中的分界线上并且在所述屏幕上水平地拖动到新位置；
50.图10b示出了图10a所示的电子设备，其中手写笔位于新位置，并且分界线已经移动到所述新位置，从而使得左查看区域更大，而右查看区域更小；
51.图11a示出了所述电子设备，其中分界线将触摸屏显示器的主查看区域分割成第一查看区域和第二查看区域，所述第一查看区域显示正在运行的应用程序的用户界面，所述第二查看区域显示表示可用应用程序的多个图标，手写笔放在所述触摸屏显示器的屏幕中的分界线上，并且水平地拖动并很快抬离到所述屏幕外；
52.图11b示出了本发明各实施例提供的图11a所示电子设备，其中拖动并快速抬起手写笔使在左查看区域中运行的应用程序的用户界面占据主查看区域并且右查看区域被移除；
53.图12示出了本发明各实施例提供的当手写笔以多种方式与触摸屏显示器的屏幕接触时所述触摸屏显示器的各种状态的状态图；
54.图13示出了根据本发明各实施例提供的表示能够执行本文所述方法的示例性电子设备的框图。
具体实施方式
55.在本发明中，术语“电子设备”是指具有计算能力的电子设备。所述电子设备的示例包括但不限于：个人计算机、笔记本电脑、平板电脑(“平板”)、智能手机、平面计算机、增强现实设备、自动柜员机(automated teller machine，atm)、销售点(point of sale，pos)
终端等。
56.在本发明中，术语“显示器”是指电子设备的硬件组件，所述硬件组件具有在所述电子设备上显示图形图像、文本和视频内容的功能。所述显示器的示例包括但不限于：液晶显示器(liquid crystal display，lcd)、发光二极管(light-emitting diode，led)显示器和等离子显示器。
57.在本发明中，“屏幕”是指触摸屏显示器的面向用户的外层。
58.在本发明中，术语“触摸屏显示器”是指显示器与触摸感测系统的组合，所述组合能够通过接收触摸输入而充当输入设备。触摸屏显示器的示例包括但不限于：电容式触摸屏、电阻式触摸屏以及红外触摸屏和表面声波触摸屏。
59.在本发明中，术语“支持触摸屏的设备”是指配备触摸屏显示器的电子设备。
60.在本发明中，术语“触摸事件”是指物理对象被检测为与触摸屏显示器的屏幕交互的事件。
61.在本发明中，术语“查看区域”或“视图”是指显示器的区域，所述区域可以是矩形等形状，用于显示信息并接收触摸输入。
62.在本发明中，术语“主查看区域”或“主视图”是指覆盖触摸屏显示器整个显示区域的全部或几乎全部(例如，大于95％)可查看区域的单个查看区域。
63.在本发明中，术语“分界线”是指线性显示特征，例如在触摸屏显示器上可视地分隔同时显示的两个相邻查看区域的线。分界线的示例包括：垂直分界线，例如一条或多条垂直线，所述垂直线提供分隔右查看区域和左查看区域的边界；水平分界线，例如一条或多条水平线，所述水平线提供分隔顶部查看区域和底部查看区域的边界。分界线可以显式地显示，也可以不显式地显示，标记第一查看区域和第二查看区域之间的边界的线。
64.在本发明中，术语“分割模式”是指分割主查看区域等查看区域的触摸屏显示模式。“垂直分割模式”是指将查看区域分割成右查看区域和左查看区域的模式。“水平分割模式”是指将查看区域分割为顶部查看区域和底部查看区域的模式。
65.在本发明中，术语“显示布局”是指在显示器上呈现的查看区域的配置。例如，所述主查看区域可以具有采用以下分割模式的显示布局：垂直分割模式或水平分割模式，或这两种模式的组合。
66.在本发明中，“窗口”是指显示应用程序的至少部分用户界面的用户界面表单。
67.在本发明中，术语“应用程序”是指包括一组指令的软件程序，电子设备的处理设备可以执行所述指令。
68.在本发明中，术语“正在运行的应用程序”和“活动应用程序”是指驻留在存储器中的应用程序，并且所述应用程序具有由电子设备的处理设备执行的指令。
69.在本发明中，术语“非活动应用程序”是指驻留在存储器中但不是活动应用程序或正在运行的应用程序、但能够启动到“活动”或“运行”状态的应用程序。
70.在本发明中，术语“开始”和“启动”应用程序是指将应用程序从非活动状态切换到运行状态。启动应用程序可以通过点按图标、滑动、发出语音命令，或本领域已知的任何其它方法来实现。
71.在本发明中，术语“执行”和“运行”是指处理设备执行构成应用程序的多个指令中的至少一些指令。
72.在本发明中，“激活图标”这一表述是指与图标交互以启动所述图标表示的相应应用程序。
73.在本发明中，术语“前台应用程序”是指在电子设备的前台中运行的应用程序。应用程序在电子设备“前台”或“前台模式”下运行是指，所述电子设备的处理器执行所述电子程序，并且所述应用程序在所述电子设备显示器上显示其用户界面。所述用户界面可以位于窗口中或在滚动条等另一个用户界面元素中。
74.在本发明中，术语“后台应用程序”是指在电子设备的后台运行的应用程序。应用程序在电子设备“后台”或“后台模式”下运行是指，所述电子设备的处理器执行所述应用程序，但所述应用程序不在所述电子设备的所述触摸屏显示器上显示其用户界面。后台应用程序的一个示例是，可以设置并启动运行闹钟通知应用程序，而不显示其用户界面，直到闹钟响起，此时其用户界面才在所述触摸屏显示器上弹出。后台应用程序的另一个示例是，当第一运行程序正在运行时，将第二应用程序最大化以占据电子设备的整个显示器，从而迫使第一应用程序在后台运行而不显示其用户界面。后台应用程序的又一个示例是，已经被用户最小化、仅出现在所述电子设备所述触摸屏显示器上的任务栏中的应用程序。
75.在本发明中，术语“主屏幕用户界面”是指操作系统在电子设备的触摸屏显示器上显示的用户界面内容，所述内容使得用户能够在所述电子设备上启动应用程序和功能。主屏幕用户界面通常显示可在所述电子设备上运行的各种应用程序的图标。然而，主屏幕用户界面还可以包括其它用户界面元素，例如滚动条、窗口部件、搜索字段等。
76.在本发明中，术语“顶部”、“底部”、“右”、“左”、“水平”和“垂直”用于显示器查看区域的上下文中时，是指当显示器上当前显示的内容以所述内容的预期查看方向显示时相对于所述显示器的方向。
77.已知的电子设备可以将主显示区域分割成多个查看区域。在一些示例中，这些查看区域可以对应于相应的窗口。例如，图1示出了采用现有技术的示例性平板电脑10，所述示例性平板电脑10具有显示器15。所述显示器15的所述主查看区域分割成左查看区域12和右查看区域14。所述左查看区域12正在显示web浏览器等第一应用程序的用户界面16的内容。所述右查看区域14正在显示照片查看器等第二应用程序的用户界面18的内容。
78.参考图2，其中示出了不同现有技术的示例，所述示例将触摸屏显示器25的主查看区域分割成两个查看区域。所述触摸屏显示器25的所述主查看区域分割成左查看区域22和右查看区域24。用户已将应用程序窗口28拖到所述触摸屏显示器25的右端。这样，所述应用程序窗口28已被最大化，以占据所述触摸屏显示器25的所述右查看区域24。在所述左查看区域22中，示出了多个窗口屏幕截图26，每个窗口屏幕截图26代表一个正在运行的活动应用程序。用户可以从所述多个窗口屏幕截图26中选择希望将其最大化以占据所述左查看区域22的应用程序。
79.图3示出了调整触摸屏显示器的所述查看区域的现有技术示例。平板电脑30等电子设备具有触摸屏显示器35，所述触摸屏显示器35将其主查看区域分成两个查看区域。左查看区域32显示第一应用程序窗口26，而右查看区域34显示第二应用程序窗口。用户正在尝试调整两个所述查看区域的大小。例如，如果所述用户希望缩小所述右查看区域34，所述用户可以触摸并向右拖动分界线36，所述分界线将两个所述查看区域分隔开来。结果，所述右查看区域34可以具有较小的宽度，而所述左查看区域32可以具有较大的宽度并且向右扩
展，以填充所述右查看区域34不再使用的空间。
80.在示例性实施例中，电子设备和手写笔协同用于根据手写笔的笔杆与所述触摸屏显示器的交互，修改在所述电子设备的所述触摸屏显示器上显示的信息的所述显示布局。在这方面，图4a和图4b根据示例性实施例相应地示出了电子设备100，其在所示出的示例中为平板设备，所述平板设备具有触摸屏显示器45以及触摸输入工具(即手写笔1000)。在示例性实施例中，所述手写笔1000是像钢笔一样的无生命物体，具有刚性主体1012，所述刚性主体1012沿细长轴线1014从第一轴向端部1016延伸至第二轴向端部1018。所述刚体主体1012包括：手写笔杆1010，所述手写笔杆1010沿细长轴线1014延伸，并且位于所述主体1012的所述第一端部1016和第二端部1018之间。在示例性实施例中，所述手写笔杆1010可以便于用户抓握所述手写笔，并且沿其长度呈圆柱形或长方体形状。所述手写笔1000可以具有锥形尖端1020，所述锥形尖端1020设置在所述主体1012的所述轴向端部1016和1018中的一个或多个处。所述尖端1020可以用于激活触摸屏显示器上的用户界面元素。在一些示例中，所述手写笔1000还可以包括书写笔。例如，所述手写笔1000可以在与所述尖端1020相对的一端具有墨水书写尖端。
81.在示例性实施例中，电子设备100用于启用所述手写笔1000的非尖端部分，即手写笔杆1010，所述手写笔杆1010用于向触摸屏显示器45提供触摸输入。在这方面，在图4a和4b中，所述手写笔1000放置在所述触摸屏显示器45的一部分上，使得所述手写笔杆1010的所述细长轴线1014平行于所述触摸屏显示器45的所述屏幕的查看表面。在一些实施例中，所述笔杆1010具有多个接触点，所述多个接触点沿所述笔杆1010间隔分布，用于接触所述屏幕。在其它实施例中，所述笔杆1010的长度中的连续部分用于与所述屏幕接触。
82.图4c示出了所述电子设备100的触摸屏显示器系统110的选定硬件和软件组件，所述组件用于检测所述手写笔1000与所述触摸屏显示器45的交互并处理关于所述交互的信息。所述触摸屏显示器系统110的所述硬件组件包括：触摸屏显示器45，其包括显示器128；触摸感测系统112，用于检测与所述显示器128的屏幕的触摸交互。
83.在不同的示例性实施例中，可以使用本领域已知的不同技术来实现触摸感测系统112。
84.在一个示例性实施例中，所述触摸屏显示器45是电容式触摸屏显示器，例如表面电容式触摸屏；所述触摸感测系统112通过存储电荷的屏幕以及监视整个屏幕中的电荷的监视电路来实现。当能够从所述屏幕吸取少量电荷的导电物体接触所述显示器128的所述电容屏幕时，所述监视电路生成指示所述触摸事件的接触点的信号。在使用电容式触摸屏显示器的示例性实施例中，所述手写笔1000的所述笔杆1010专门用于使所述触摸感测系统112可以检测到所述笔杆1010存在于所述显示器128的所述屏幕上。在这方面，在一些示例性实施例中，所述笔杆1010包括一个或多个可传递电荷的屏幕接触点。例如，所述笔杆1010可包括导电接触点，所述导电接触点沿所述笔杆1010间隔分布，用于接触所述屏幕。所述导电触点可以电连接到所述手写笔1000上的一个或多个人类用户接触表面，从而实现从所述人类用户到所述导电接触点的导电路径。在一些实施例中，所述笔杆1010的长度中的连续部分可以具有导电元件，用于与所述屏幕接触。在一些示例中，所述触摸屏显示器45可以是投射式电容触摸屏显示器而不是表面触摸屏显示器。在这种情况下，当所述手写笔1000距离所述屏幕足够近，以至于无需实际物理接触即可检测出来时，可以发生手写笔放置手势
等触摸事件。
85.在另一示例性实施例中，所述触摸屏显示器45是电阻式触摸屏幕，并且所述触摸感测系统112包括屏幕，所述屏幕包含金属导电涂层和电阻层；并且所述监视电路根据电阻的变化生成指示所述接触点的信号。
86.在另一示例性实施例中，所述触摸屏显示器45是表面声波(surface acoustic wave，saw)或表面波触摸屏，而所述触摸感测系统112发送超声波并通过记录所述波的变化来检测屏幕何时被触摸。在此类实施例中，声波吸收材料设置在所述手写笔1010的所述笔杆1000上。
87.在另一示例性实施例中，所述触摸屏显示器45是红外触摸屏，所述触摸感测系统112利用具有光电晶体管接收端的led发射的红外光束矩阵。当物体靠近所述显示器时，所述红外光束会被阻挡，从而指示物体所处的位置。
88.在上述示例的每一个中，对于触摸事件，所述触摸感测系统112生成数字信号，所述数字信号指示物体与所述显示器128的所述屏幕的接触点。所述触摸屏显示器系统110的软件处理这些数字信号。在示例性实施例中，所述软件可以是所述电子设备100的操作系统(operating system，os)108的一部分。例如，所述os108可包括触摸屏驱动程序114，用于将来自所述触摸感测系统112的信号转换为空间触摸坐标信息，所述空间触摸坐标信息指示物体接触点在所述显示器128的所述屏幕上的物理位置(例如，一组多个x坐标和y坐标，用于定义所述手写笔杆1010相对于所述触摸屏显示器45的位置)。在示例性实施例中，向所述os 108的用户界面(user interface，ui)模块116提供所述触摸屏驱动程序114生成的所述空间坐标信息，所述ui模块116将触摸事件的时间信息(例如，开始时间和持续时间)与所述空间坐标信息关联，从而产生包括空间坐标信息和时间信息的触摸坐标信息。所述ui模块116用于确定所述触摸坐标信息是否与一组候选触摸模式中的触摸模式匹配，所述候选触摸模式中的每一个都对应于相应触摸输入动作，所述触摸输入动作通常称为手势。在示例性实施例中，所述一组多个x坐标和y坐标定义所述手写笔杆1010相对于所述触摸屏显示器45的已定义坐标系的位置，可用于确定所述手写笔杆1010的形状。因此，在一些示例中，触摸坐标信息可以指示一个或多个手写笔杆接触区域的形状，并且所述一组候选触摸模式可以包括与手写笔形状匹配的图案。
89.在示例性实施例中，除了检测并识别常规手指和手写笔尖手势(例如上述microsoft surface
tm
手势)之外，所述ui模块116还用于根据所述触摸坐标信息，识别与触摸模式匹配的手写笔杆手势触摸事件，所述触摸模式对应于：(1)所述手写笔1000的所述笔杆1010放置在所述显示器128的所述屏幕上(“手写笔杆放置手势”)；(2)所述手写笔1000的所述笔杆1010在所述触摸屏显示器45所述显示器128的所述屏幕上移动(在线性移动的情况下，称为“手写笔杆拖动手势”；在旋转移动的情况下，称为“手写笔杆旋转手势”)；(3)所述手写笔1000的所述笔杆1010从所述显示器128的所述屏幕移除(“手写笔杆移除手势”)。在下文更详细描述的示例性实施例中，所述ui模块116用于根据此类手写笔杆手势的位置、方向和时间，对上述手势进一步分类。因此，所述触摸屏驱动程序114从所述触摸感测系统112生成的所述信号中推导出的所述触摸坐标信息包括关于引起触摸事件的物体的位置、方向和形状的信息，以及关于所述触摸事件的时间信息。所述ui模块116可以使用所述信息，将所述触摸事件分类为一组可能的手势中的特定手写笔杆手势，所述手势中的每一个
具有相应的预定义触摸模式。
90.在示例性实施例中，根据检测到的手写笔杆手势的类型和位置中的至少一项，所述ui模块116用于通过向所述os 108的所述显示器驱动程序118提供指令，改变在所述显示器128上呈现的信息的显示布局。在示例性实施例中，所述os 108的组件(例如所述ui模块116)与其它软件程序(例如，其它应用程序120)的ui组件交互，以协调在所述显示器128上的查看区域中显示的内容。
91.现在，再次参考图4a和图4b，描述触摸屏显示器系统110可以检测的手写笔杆手势的示例。图4a和图4b分别对应于垂直手写笔杆放置手势和水平手写笔杆放置手势。在图4a和图4b所示的示例中，所述电子设备100以通常称为“纵向定向模式”的方式示出。在所述纵向定向模式中，矩形触摸屏显示器45的较短尺寸定义所述主查看区域的宽度(例如，从左边缘到右边缘的距离)，所述矩形触摸屏显示器45的较长尺寸定义所述主查看区域的高度(例如，从顶部边缘到底部边缘的距离)。在示例性实施例中，所述电子设备100还可以在“横向定向模式”下操作。在所述横向定向模式下，所述矩形触摸屏显示器45的较短尺寸定义所述主查看区域的垂直高度，所述矩形触摸屏显示器45的较长尺寸定义所述主查看区域的水平宽度。图4a所示的垂直虚线41是垂直虚拟线，将所述触摸屏显示器55的所述主查看区域分割成右查看区域和左查看区域，并且表示与垂直手写笔杆放置手势对应的触摸模式。在图4a中，所述手写笔1000放置在所述触摸屏显示器45的所述屏幕上，使得所述手写笔杆1010基本上平行于所述垂直虚拟线41表示的所述触摸模式，并且大体上与所述触摸模式重合。所述触摸感测系统112生成信号，所述信号对应于所述笔杆1010在所述触摸屏显示器45上的感测位置。所述触摸屏驱动程序114将这些信号转换为空间触摸坐标信息。在所示示例中，所述ui模块116将所述触摸坐标信息与多个预定义触摸模式进行比较，并确定所述触摸坐标信息对应于垂直手写笔杆放置手势位于所述触摸屏显示器45的垂直中心处的触摸模式(以虚拟线41表示)。在示例性实施例中，所述ui模块116容许所述手写笔1000的所述方向和所述虚拟垂直线表41所表示的所述触摸模式之间存在一些偏差。例如，所述触摸屏ui模块116可以将所述手写笔1000的所述笔杆的细长轴线和所述垂直虚拟线41之间不超过+/-20度的角度视为可忽略的角度。例如，将所述手写笔1000放置成使所述笔杆1010平行于虚拟垂直线41或者偏离所述方向不超过阈值方向偏差量(例如20度)，则视为与所述虚拟垂直线41表示的所述触摸模式匹配，所述触摸模式对应于垂直手写笔杆放置手势。类似地，图4b所示的水平虚线42是虚拟水平线，表示对应于水平手写笔杆放置手势位于所述触摸屏显示器45的所述主查看区域上的触摸模式。所述手写笔1000放置在所述虚拟线42上，或者所述手写笔1000的所述笔杆1010的细长轴线与所述水平虚拟线42所表示的所述触摸模式之间存在的偏离角不超过所述定义的方向偏差阈值(例如20度)，则视为所述手写笔1000基本上或大体上放置在所述触摸屏显示器45的所述主查看区域中心位置的水平方向上。
92.除了或替代具有针对方向偏差的定义角度值容差，所述ui模块116还可以用于在确定所述手写笔杆手势相对于所显示标记(例如，下述分界线)的接近度的情况下，应用距离偏差阈值。例如，如果所述手写笔杆1010的最近部分与显示标记的任何部分的距离在偏差阈值范围内(例如，水平距离在总屏幕宽度的至多20％范围内，垂直距离在总屏幕宽度的至多20％范围内)，所述ui模块116可将所述手写笔杆1010视为放置在所述标记上或与所述标记重合。在一些示例中，所述距离偏差阈值可以根据所述手写笔杆长度相对于所述标记
长度的平均值确定。在一些示例中，在确定手写笔杆是否放置在具有相关位置和方向特征的显示标记上或与所述标记重合(例如，手写笔杆放置手势的触摸坐标是否在与分界线的所述方向偏差阈值范围内，并且在所述分界线的所述距离阈值范围内)时，可以应用定义的角度方向偏差阈值和距离偏差阈值。
93.上述空间偏差阈值就是示例。可以使用其它阈值，并且在一些示例中可以由用户定义。对移动手势进行分类时，也可以应用偏差阈值，例如，在一些实施例中，手写笔杆拖动手势不需要是完全线性的，并且可以包括所述手写笔杆1010在移动期间在屏幕上旋转的阈值量。类似地，手写笔杆旋转手势不需要是完美的旋转手势，并且可以包括所述手写笔杆1010在移动期间在屏幕上线性拖动的阈值量。在一些示例中，同时超过屏幕旋转和屏幕线性移动阈值的屏幕移动手势可以分类为组合的屏幕上“手写笔杆拖动和旋转手势”。
94.在示例性实施例中，由所述ui模块116执行的触摸模式分类可以包括多个步骤。例如，所述ui模块116可以用于首先分类确定所述触摸坐标信息是否与所述手写笔杆1010放置在所述触摸屏显示器45上的一般触摸模式匹配。例如，对于与触摸模式匹配的触摸坐标信息，如果所述触摸模式对应于将细长刚性主体放置在所述触摸屏显示器45的任何位置或方向上，则可以将其分类为手写笔杆放置手势。然后，可以使用根据所述触摸坐标信息确定的方向(例如，水平或垂直)，进一步将所述手写笔杆手势分类为垂直或水平手写笔杆放置手势，并定义所述手写笔放置手势相对于标记的位置。如上所述，除了手写笔杆放置手势之外，还可以对在屏幕上移动手写笔杆手势和手写笔杆移除手势进行检测和分类。
95.现在参考图5a至11b，根据示例性实施例来描述所述触摸屏显示器系统110响应于检测的手写笔杆手势而做出的显示布局修改。
96.图5a描绘了横向的示例性平板型电子设备100，其中触摸屏显示器45在其主查看区域102上显示ui模块116生成的主屏幕用户界面50。所述主屏幕用户界面50上显示了多个图标52，每个图标代表相应的应用程序120。所述手写笔1000放置在所述屏幕上，其笔杆1010位于大致垂直的方向上。所述触摸屏显示器系统110操作如下。所述触摸感测系统112感测所述手写笔杆1010的存在和位置，并且向所述触摸屏驱动程序114提供相应的信号，所述触摸屏驱动程序114进而生成相应的空间触摸坐标信息，所述ui模块116处理所述空间触摸坐标信息。所述ui模块116确定所述触摸坐标信息对应于所述手写笔杆手势垂直放置在所述主屏幕的中心区域内。作为响应，所述ui模块116使所呈现的信息的显示布局被改变，如图5b所示。
97.在图5b中，垂直分界线51将所述触摸屏显示器45的所述主查看区域102垂直地分割成右查看区域56和左查看区域54，所述垂直分界线51位于右查看区域56和左查看区域54之间的边界处。垂直分界线51大致沿所述手写笔1000的所述笔杆1010接触所述触摸屏显示器45的所述屏幕的位置显示。在示例中，在所述手写笔1000接触所述触摸屏显示器45的所述屏幕时，所述电子设备100上没有运行前台或后台应用程序，所述右查看区域56和所述左查看区域54分别显示所述主屏幕用户界面的相应版本，所述主屏幕用户界面包括多个图标52，每个图标52分别表示可在所述电子设备100上执行的应用程序。用户可以在所述右查看区域56和所述左查看区域54中的每一个中，使用常规触摸屏手势激活所述图标52中的一个，以启动相应应用程序，并使所述相应应用程序的所述用户界面显示在相应的查看区域中。在所示实施例中，所述右查看区域56和所述左查看区域54中显示的所述图标完全相同。
因此，用户可以选择在所述右查看区域56和所述左查看区域54中同时启动相同应用程序的不同实例，或者在所述右查看区域56和所述左查看区域54中的每一个中启动不同的应用程序。
98.在一些示例中，特别是存在太多的应用程序以至于无法将其所有图标放在单个查看区域中时，则在所述右查看区域56中显示的图标可能不同于在所述左查看区域54中显示的图标。在一些实施例中，所述右查看区域56和所述左查看区域54中的每一个可以是独立的可滚动窗口，用户可以使用常规触摸手势来滚动并选择每个区域中的所述图标。
99.从图5a到图5b的过渡说明了如何使用手写笔1000激活垂直分割模式。在一些示例中，所述手写笔1000放置在所述屏幕上，其笔杆1010位于大致水平的方向上，如前面图4b所示。在这种情况下，水平分割模式被激活，并且所述触摸屏显示器45的主查看区域沿大致放置所述手写笔的线水平地分割。然后，所述触摸屏显示器45显示顶部查看区域和底部查看区域，这两个查看区域分别以上文所述左查看区域54和右查看区域56相同的方式运行。
100.在关于图5a和图5b的上述示例中，没有后台应用程序在运行，用户必须在所述查看区域(54、56)中的一个中手动选择应用程序的图标52，以启动所述应用程序并在相应查看区域(54、56)中显示与所述应用程序关联的内容。
101.在一些示例中，所述触摸屏显示器系统110检测到主屏幕用户界面50上的垂直手写笔杆放置手势或水平手写笔杆放置手势，可能导致来自默认应用程序的内容自动显示在所显示的相应查看区域(54、56)中的一个中，而无需进一步的用户交互。在一些示例中，如果所述默认应用程序当前没有在后台运行，可以自动启动所述默认应用程序。
102.例如，所述默认应用程序可以是常用应用程序，例如笔记应用程序、时钟应用程序、日历应用程序或任何其它应用程序。在一些示例中，用户可以配置所述ui模块116，以将所述默认应用程序设置为用户指定的应用程序。
103.在一些示例中，如果在所述触摸屏显示器45的所述主查看区域102被分割时，所述电子设备100上运行一个或多个后台应用程序，则一个或多个所述查看区域可以自动显示来自相应的一个所述后台应用程序的内容。因此，所述触摸屏显示器系统110检测到主屏幕用户界面50上的手写笔杆放置手势，可能使所述ui模块116将后台应用程序切换为前台应用程序，且来自所述应用程序的内容自动显示在所显示的相应查看区域(54、56)中的一个中。图6a和图6b示出了此类示例。在图6a中，所述电子设备100在所述触摸屏显示器45的所述主查看区域102上显示主屏幕用户界面50。第一应用程序在所述电子设备100的后台运行。手写笔1000大致垂直放置在所述触摸屏显示器45的所述主查看区域102的屏幕中心附近。响应于检测到垂直手写笔杆放置手势，所述ui模块116使所述主查看区域102分割成右查看区域56和左查看区域54，以分界线51分隔，如图6b所示。参考图6b，所述左查看区域54显示所述第一应用程序的用户界面610，当所述手写笔1000放置在所述屏幕上时，所述第一应用程序在后台运行。所述右查看区域56显示默认应用程序的用户界面620。在示出的示例中，所述默认应用程序是笔记应用程序。
104.在另一个实例中，如图6c所示，所述电子设备100在其主查看区域102上显示第一应用程序的用户界面610，所述第一应用程序在所述电子设备100的前台运行。当所述手写笔1000以大致垂直的方向放置在所述屏幕上时，所述ui模块116使所述主查看区域102分割成右查看区域56和左查看区域54，如上文结合图6b所述。所述左查看区域54显示所述第一
应用程序的所述用户界面610，所述右查看区域56显示所述默认应用程序的所述用户界面620。
105.在一些示例中，当所述手写笔按上文结合图6a所述放置在所述屏幕上时，所述主查看区域102不分割为子区域。相反，所述ui模块116使所述主屏幕用户界面50替换为来自填充整个主查看区域102的应用程序的内容。例如，根据设备配置，所述主屏幕用户界面50可以替换为默认应用程序或后台应用程序的用户界面内容。
106.在另一个示例中，图6d和6e示出了用于确定新创建的查看区域的混合方法，其中示出了响应于检测到所述手写笔杆的垂直放置手势，所述主查看区域102分割成左查看区域54和右查看区域56之后的触摸屏显示器。不是在所述右查看区域56中运行默认应用程序，而是在所述右查看区域56中显示主屏幕用户界面50，所述主屏幕用户界面包括表示多个应用程序的多个图标52。用户可以激活任何所述图标52，以启动相应的应用程序，使所述相应的应用程序的所述用户界面显示在所述右查看区域56中。图6d示出了在所述右查看区域56中所述图标52的第一显示布局，其中所述图标52均匀排列在整个所述右查看区域56中。图6e示出了在所述右查看区域56中所述图标52的第二显示布局，其中所述图标52与所述分界线51对齐。
107.在一些实施例中，可以通过使用所述手写笔1000，将所述触摸屏显示器的所述分割模式从垂直分割模式切换为水平分割模式。例如，已分割成右查看区域56和左查看区域54的触摸屏显示器处于垂直分割模式。所述触摸屏显示器可以切换为水平分割模式，在所述水平分割模式下，所述触摸屏显示器分割成顶部查看区域和底部查看区域，反之亦然。所述ui模块116可以具有默认配置，所述默认配置确定相对于旧查看区域的内容的新查看区域的内容。例如，当所述查看区域切换到水平分割模式时，所述ui模块116可以用于将垂直分割模式下所述左查看区域的内容显示到顶部查看区域中。类似地，所述垂直分割模式下的所述右查看区域的内容可以显示到所述水平分割模式下的所述底部查看区域中。
108.在此方面，图7a示出了电子设备100，所述触摸屏显示器45处于垂直分割模式。所述主查看区域102分割成显示第一应用程序的第一用户界面710的左查看区域54和显示第二用户界面720的右查看区域56。手写笔1000大体水平地放置在所述触摸屏显示器45的所述屏幕上。响应于检测到水平手写笔杆放置手势，所述用户界面模块116将所述触摸屏显示器45从垂直分割模式切换为水平分割模式，如图7b所示。参考图7b，所述主查看区域包括顶部查看区域55和底部查看区域57，水平分界线59在所述手写笔1000接触所述触摸屏显示器45的所述屏幕的大致位置处分隔所述查看区域。所述第一应用程序的所述用户界面的大小被调整，并示为所述顶部查看区域55中的用户界面710。类似地，所述底部查看区域57显示在所述手写笔1000放置在所述触摸屏显示器45的所述屏幕上之前所述右查看区域中的用户界面720。
109.在另一个示例中，所述手写笔杆1010可以大体垂直地放置在处于水平分割模式下的所述触摸屏显示器45的所述屏幕上，其中所述主查看区域102分割成顶部查看区域55和底部查看区域57。在这种情况下，发生的情况与上文结合图7a和7b的描述相反。具体地，所述触摸屏显示器45从水平分割模式切换为垂直分割模式，其中所述主查看区域分隔成左查看区域54和右查看区域56。所述左查看区域54显示所述手写笔垂直放置在所述屏幕上之前所述顶部查看区域55中显示的内容，所述内容大小调整为适合所述左查看区域54。类似地，
所述右查看区域56显示所述手写笔1000水平放置在所述屏幕上之前所述底部查看区域57中显示的内容，所述内容大小调整为适合所述右查看区域56。
110.在可以在所述电子设备100的后台运行两个应用程序的一些示例中，在所述触摸屏显示器45的所述主查看区域分割之前，所述ui模块116用于使所述后台应用程序中的每一个进入前台，并且在两个所述查看区域54和56(在垂直分割模式下)或查看区域55和57(在水平分割模式下)中的相应一个中显示其相应的用户界面。在各种示例和配置中，所述ui模块116可以根据预定义参数(其中至少一部分可以由用户配置)，决定在所述主查看区域分割之后新创建查看区域中的每一个的内容。
111.在一个示例中，如图8a所示，应用程序120中的第一应用程序和第二应用程序在所述电子设备100上以后台模式运行。所述电子设备100的所述触摸屏显示器45的所述主查看区域102显示包括多个图标52的主屏幕用户界面50。手写笔1000大体垂直地放置在所述触摸屏显示器的所述屏幕上。在图8d所示的示例性配置中，响应于检测到所述垂直手写笔杆放置手势，所述ui模块116使所述主查看区域102分割成显示所述第一应用程序的所述用户界面820的右查看区域56和显示所述第二应用程序的所述用户界面810的左查看区域54。相应地，两个后台应用程序都成为前台应用程序，并分别显示在相应左查看区域54和右查看区域56中。
112.在另一示例性配置中，如图8b所示，有两个前台应用程序120在所述电子设备100上运行。第一应用程序具有在顶部查看区域55中显示的用户界面810，而第二应用程序具有在底部查看区域57中显示的用户界面820。分界线59将所述顶部查看区域55和所述底部查看区域57分隔开来。所述手写笔1000大体垂直地放置在所述电子设备100的所述触摸屏显示器的所述屏幕上。响应于检测到垂直方向的手写笔杆放置手势，所述电子设备100的所述ui模块116使所述触摸屏显示器45的所述主查看区域102从水平分割模式切换为垂直分割模式，所述垂直分割模式包括右查看区域56和左查看区域54，如图8d所示。之前在所述顶部查看区域55中显示的所述第一应用程序用户界面810显示在所述左查看区域54中。之前在所述底部查看区域57中显示的所述第二应用程序用户界面820显示在所述右查看区域54中。
113.在又一示例性配置中，如图8c所示，第一应用程序在所述电子设备100的前台运行。所述第一应用程序具有用户界面810，所述用户界面810显示在所述电子设备100的所述触摸屏显示器45的所述主查看区域102中。此外，第二应用程序在所述电子设备100的后台运行。所述手写笔1000大体垂直地放置在所述电子设备100的所述触摸屏显示器的所述屏幕上。响应于检测到垂直方向的手写笔杆放置手势，所述ui模块116使所述触摸屏显示器45的所述主查看区域102分割成右查看区域54和左查看区域56，如图8d所示。所述第一应用程序的所述用户界面810显示在所述左查看区域56中。所述第二应用程序的所述用户界面820显示在所述右查看区域54中。在这种情况下，响应于所述主查看区域102分割成右查看区域54和左查看区域56，所述第二应用程序从后台模式切换为前台模式。
114.在另一个类似于图8a至图8c所示示例的示例中，所述手写笔1000可以大体水平地放置在所述电子设备100的所述触摸屏显示器的所述屏幕上。响应于所述手写笔1000的大体水平放置，所述第一应用程序显示在顶部查看区域中，而所述第二应用程序显示在底部查看区域中。
115.在一些示例中，可以在所述电子设备上运行三个或更多个应用程序。在此类情况下，在不同的配置中，所述ui模块116可以响应于检测到垂直或水平方向的手写笔杆放置手势，提供多种选项，用于确定新创建的查看区域的内容。
116.例如，参考图9a，其中示出了电子设备100的触摸屏显示器45的主查看区域102。所述主查看区域102显示主屏幕用户界面50，其包含上文所述的多个图标52。第一后台应用程序、第二后台应用程序和第三后台应用程序120在所述电子设备100上运行。手写笔1000以大致垂直的方向放置在所述电子设备100的所述触摸屏显示器的所述屏幕上。响应于所述手写笔1000的所述放置，所述触摸屏显示器系统110使所述触摸屏显示器的所述主查看区域102沿所述手写笔1000与所述屏幕的接触线，分割成右查看区域56和左查看区域54。所述左查看区域54和所述右查看区域56的所述内容如图9b所示。在所述左查看区域54和所述右查看区域56的每一个中，显示了所述第一后台应用程序的所述用户界面的屏幕截图910。类似地，在所述左查看区域和所述右查看区域中的每一个中，显示了所述第二后台应用程序的所述用户界面的屏幕截图920。此外，在所述左查看区域和所述右查看区域中的每一个中，显示了所述第三后台应用程序的所述用户界面的屏幕截图930。所述三个屏幕截图(910、920和930)减小了尺寸以适合所述查看区域中的每一个。另外，所述三个屏幕截图不占据所述左查看区域和所述右查看区域的整个空间。所述左查看区域54和所述右查看区域56中，未被所述屏幕截图(910、920和930)占据的所述空间用于显示多个图标52，这些图标表示可执行但当前未运行的其它应用程序。
117.在图9c所示的一个实施例中，所述屏幕截图(910、920和930)是用户可以激活的活动用户界面元素。可以使用常规触摸手势(例如单击、双击或滑动)，来激活所述屏幕截图。激活应用程序的用户界面的屏幕截图，使所述应用程序占据发生激活的相应查看区域。例如，激活图9b所示左查看区域中的所述屏幕截图910，使所述第一应用程序的所述用户界面810显示在所述触摸屏显示器的所述左查看区域56中，如图9c所示。类似地，激活图9b所示右查看区域54中的所述屏幕截图920，使所述第二应用程序的所述用户界面820显示在所述触摸屏显示器的所述右查看区域56中，如图9c所示。在一个实施例(未示出)中，激活查看区域中的图标52，使相应的应用程序开始运行并显示要在所述查看区域中显示的所述应用程序的用户界面。具有未激活的查看区域的后台应用程序保持在后台运行。
118.在一个实施例中，三个或更多个应用程序在所述电子设备100上运行，其中一个是前台应用程序，而其余是后台应用程序。例如，参考图9d，第一应用程序在前台运行，第二应用程序在后台运行，第三应用程序也在所述电子设备100的后台运行。所述第一应用程序具有用户界面810，所述用户界面810显示在所述电子设备100的所述触摸屏显示器的主查看区域中。如上文所述，手写笔1000以大致垂直的方向放置在所述触摸屏显示器的所述屏幕上。响应于检测到所述手写笔的放置，所述触摸屏显示器系统110将所述主查看区域分割成左查看区域54和右查看区域56，如图9e所示。在所述左查看区域54中，调整所述第一(前台)应用程序的所述用户界面810的大小并显示所述用户界面810。在所述右查看区域中，显示了所述第二(后台)应用程序和第三(后台)应用程序的所述用户界面的所述屏幕截图(920和930)。如上文所述，所述屏幕截图(920和930)可以是活动的用户界面元素，当激活时，所述屏幕截图启动相应的应用程序，并在所述右查看区域中显示所述应用程序的用户界面。例如，激活图9e所示右查看区域中的所述屏幕截图920，所述第二(后台)应用程序的所述用
户界面显示在所述右查看区域中，如图9c所示。图9e所示的右查看区域54还包括未在所述电子设备100上运行的应用程序的多个图标52。在一个实施例(未示出)中，激活所述图标52会启动相应的应用程序，并在所述右查看区域中显示所述应用程序的用户界面。
119.在本发明的另一个方面，提供了一种调整电子设备100的触摸屏显示器45的查看区域尺寸的方法。参考图10a，电子设备100具有触摸屏显示器45，所述触摸屏显示器45划分为右查看区域56和左查看区域54。在所述右查看区域56中，显示了多个图标52。在所述左查看区域54中，显示了前台应用程序的用户界面810。手写笔1000放置在所述触摸屏显示器的所述屏幕上的分界线51处，所述分界线51将所述右查看区域56和所述左查看区域54分隔开来。触摸屏显示器系统110确定垂直手写笔杆放置手势发生在与所述分界线51重合的位置。所述ui模块116使所述分界线51的位置暂时锁定到所述手写笔1000的所述位置，同时所述手写笔在所述屏幕上保持垂直方向。所述ui模块116检测所述手写笔1000在大体垂直于所述分界线51的轴的任一方向(例如，向左或向右)上滑动或拖动，并将其识别为手写笔杆拖动手势。响应于检测到所述手写笔杆拖动手势，所述ui模块116使所述显示布局改变，从而使所述分界线51跟踪所述手写笔杆1010的左右移动，前提是所述手写笔1000保持与所述触摸屏显示器的所述屏幕接触。在所示出的实施例中，所述手写笔杆1010在与所述屏幕保持接触的同时向右滑动。结果，如图10b所示，所述右查看区域56和所述左查看区域54之间的分界线51随所述手写笔1000一起向右移动。当将所述手写笔1000抬离所述屏幕时，所述ui模块116检测手写笔杆移除手势，并使所述右查看区域56和所述左查看区域54之间的所述分界线51保持在所述手写笔1000被抬离所述屏幕之前在所述屏幕上所处的最后位置。因此，所述手写笔杆拖动手势使所述右查看区域56变小，并且使所述左查看区域54变大。因此，所述手写笔1000可以用于调整所述触摸屏显示器的所述查看区域的大小。
120.类似地，当所述触摸屏显示器45处于水平分割模式时，水平分界线59将所述主查看区域102划分为顶部查看区域55和底部查看区域57；在所述分界线59附近所述水平手写笔杆放置手势与随后手写笔杆拖动手势(例如沿所述屏幕向上或向下拖动)和手写笔杆移除手势结合，可用于使所述触摸屏显示器系统110调整所述顶部查看区域55和所述底部查看区域57的大小。
121.在一些示例性实施例中，所述触摸屏显示器系统110用于响应于刚性主体(例如手写笔杆1010)在所述触摸屏显示器100的所述屏幕上拖动，将查看区域最大化和/或关闭查看区域。参考图11a，所述设备100的所述显示器分割成显示多个图标52的右查看区域56和显示前台应用程序的用户界面810的左查看区域54。手写笔1000放置在所述显示器的所述屏幕上的分界线510处。所述手写笔1000被快速向右拖动到所述右查看区域并在沿此方向拖动时突然抬离屏幕。相应地，所述手写笔1000在仍然相对于所述显示器移动时，与所述显示器失去了接触。响应于所述手写笔杆1010仍在从左向右移动时被抬起，所述触摸屏显示器系统110使所述右查看区域56关闭，并且使所述左查看区域54的内容(例如所述前台应用程序的所述用户界面810)最大化以占据所述显示器的所述主查看区域102。因此，在示例性实施例中，所述触摸屏显示器系统110用于检测对应于所述手写笔杆沿所述触摸屏显示器滑动然后移除的“手写笔杆拖动和抬起手势”。根据所述检测到的手写笔杆拖动和抬起手势的位置和方向，所述ui模块116使一个查看区域关闭并且另一个查看区域扩大。在一些示例性配置中，也可以关闭或终止对应于被关闭的所述查看区域的应用程序，并且在一些示例
中，此类应用程序可以只是切换成作为后台应用程序运行。
122.现在，结合图12，针对上述示例描述电子设备100的触摸屏显示器系统110的操作。图12是示例性实施例提供的状态图，示出了当用户使用手写笔1000与触摸屏显示器45的所述屏幕交互时触摸屏显示器系统110(包括触摸屏显示器45)的各种状态。状态1110表示所述触摸屏显示器45处于非分割模式的场景。所述触摸屏显示器45的所述主查看区域102显示单个应用程序的用户界面(例如，如图8c所示)，或显示包括多个图标的主屏幕用户界面(例如，如图8a所示)。
123.状态1115表示所述触摸屏显示器系统110在非分割模式下检测到手写笔杆放置手势的场景。结果，如状态1120所表示，所述触摸屏显示器系统110响应于所述检测到的手写笔杆放置手势，确定新的显示布局和内容。具体地，从上文描述的示例中可知，在示例性实施例中，所述ui模块116用于根据以下一项或多项选择新的显示布局(例如，垂直分割模式或水平分割模式)以及在与所述选择的显示模式关联的一个(多个)查看区域中显示的内容：(1)所述检测到的手写笔杆放置手势的方向(例如，垂直方向或水平方向)；(2)所述手写笔杆1010在所述显示器内在屏幕上的位置(例如，与中心垂直轴或中心水平轴重合)；(3)在检测到所述手写笔杆放置手势时的当前显示内容(例如，查看区域中是否显示os主屏幕用户界面？或者，查看区域中是否显示前台应用程序的应用程序用户界面？)；(4)当前应用程序状态信息(例如，当前作为后台应用程序运行的应用程序的数量和名称；当前作为前台应用程序运行的应用程序的数量和名称)；(5)预定义参数(例如哪个非活动应用程序是默认应用程序)。
124.在当前状态是非分割模式的示例中，检测到手写笔杆放置手势大体上与所述触摸屏显示器45的中间区域垂直或水平对齐(例如，分别如图4a或图4b所示)，会使所述触摸屏显示器系统110确定新的显示布局分别为垂直分割模式或水平分割模式。这种新的状态和模式以状态1125表示。状态1125表示的场景是：所述触摸屏显示器45具有第一查看区域和第二查看区域(例如，右查看区域56和左查看区域54，或顶部查看区域55和底部查看区域57)，并且所述手写笔1010仍然位于所述屏幕上。在状态1120下，根据上述示例，确定在状态1125下所述第一查看区域和所述第二查看区域的内容(例如主屏幕用户界面、之前在后台运行的应用程序的用户界面和/或新启动的默认应用程序的用户界面)。
125.状态1135表示的场景是：所述触摸屏显示器系统110检测到手写笔杆移除手势，在这种情况下，所述手写笔杆已在所述屏幕上保持相同位置至少达到已定义的阈值时间(例如，0.5秒)。在此类场景下，所述第一查看区域和所述第二查看区域保持当前相对尺寸，所述当前相对尺寸由所述手写笔在所述屏幕上的最后位置确定(状态1145)。
126.状态1130表示的场景是所述触摸屏显示器系统110检测到以下情况：(1)手写笔杆之前放置在所述触摸屏显示器45上与两个查看区域之间的分界线51或59大体重合的位置，所述手写笔杆沿所述屏幕拖动到新的位置，同时保持其大致方向(例如，在所述手写笔处于大体垂直方向时，向右或向左拖动手写笔杆手势；或者，当所述手写笔处于大体水平方向时，向上或向下拖动所述手写笔杆手势)；(2)被拖动后，所述手写笔杆1010在从屏幕上移除之前，在屏幕上保持至少预定义的时间(例如，0.5秒)。在此类情况下，所述触摸屏显示器系统110按照所述手写笔杆1010拖动的距离和方向，成比例地调整所述查看区域彼此的相对尺寸(状态1140)，如上文针对图10a和图10b所述。
127.状态1150表示的场景是：所述触摸屏显示器系统110检测到所述手写笔杆放置手势与分界线(51或59)大体重合，同时所述触摸屏显示器处于分割屏幕模式。在状态1150之后可能出现的状态是状态1130，即，检测到导致调整所述分割模式查看区域的大小(状态1140)的手写笔杆拖动手势。在状态1150之后可能出现的另一种状态是状态1155，即所述触摸屏显示器系统110检测手写笔杆拖动和移除手势，所述手写笔杆拖动和移除手势对应于在所述屏幕上拖动所述手写笔杆，并且在所述拖动动作终止的时间阈值(例如，0.5秒以内)内移除所述手写笔杆。在此类情况下，所述触摸屏显示器系统110使所述触摸屏显示器45恢复非分割模式(状态1110)，将所述查看区域中的一个最大化以填充整个主查看区域，而关闭另一个查看区域，如上文针对图11a和图11b所述。
128.上述说明讨论了对显示器的查看区域的操作。在一些示例中，所述查看区域可以对应于用户界面窗口。此外，在一些示例中，多个查看区域或窗口可以同时显示来自相同应用程序的用户界面。例如，文字处理应用程序可以具有单个文档窗口，在其中显示第一文档。沿所述应用程序窗口放置手写笔，可以使应用程序在原应用程序窗口的区域内打开第二文档窗口。类似地，显示单个表格的电子表格应用程序可以响应于沿其窗口放置手写笔，创建包含空白电子表格的第二窗口。又例如，沿应用程序窗口的边界放置手写笔，然后移动手写笔便可以按上文所述调整查看区域大小相同的方式，调整窗口大小。再例如，可以将所述手写笔放置在窗口边界上，将所述手写笔拖离窗口内容并朝查看区域的边界拖动，在拖动所述手写笔的同时抬起所述手写笔，从而将应用程序窗口最大化。
129.尽管所示的示例描绘了通过将手写笔杆放在所述显示器屏幕上，将所述显示器的所述主查看区域分割成两个查看区域，但是本领域的技术人员应当理解，本发明中还考虑了查看区域的另一种分割方式。例如，在将所述主查看区域分割成右查看区域和左查看区域之后，可以将所述手写笔水平地放置在所述右查看区域上。这样会将所述右查看区域分割成右上查看区域和右下查看区域。可以使用上述方法来确定每个新创建的查看区域的内容。
130.在至少一些示例中，能够按照本文所述处理手写笔杆手势，可以改进所述电子设备100的运行和所述电子设备100的用户体验这两方面中的一个方面或两个方面。例如，通过使用手写笔杆手势促进与所述电子设备100进行更高效的用户交互，可以通过更少的用户交互实现所需的屏幕显示布局，从而减少可能对电子设备100造成的磨损或损坏并可能降低电池电量消耗。此外，用户能够用手写笔交互来替代与所述触摸屏显示器45的一些手指交互，从而减少污垢、脂、油和其它污染物(包括细菌和病毒等)等异物从用户的手指潜在转移到所述触摸屏显示器45中。在一些情况下，减少所述屏幕上的污染物可以减少所述触摸屏显示器的清洁要求，从而减少可能对设备造成的损坏，减少清洁材料的消耗，并且还可以减少污染物的扩散。
131.图13是示例性处理设备170的框图，所述示例性处理设备170包括触摸屏显示器系统110的组件，并且可以用于实现电子设备100。所述处理设备170可以用于执行机器可读指令，以便实现本文描述的方法和示例。可以使用适用于实现本发明所述实施例的其它处理单元，其可以包括与下文讨论的组件不同的组件。虽然图13示出了每个组件的单个实例，但在所述处理设备170中每个组件可以有多个实例。
132.所述处理设备170可以包括一个或多个处理单元172，例如处理器、微处理器、专用
集成电路(application-specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)、专用逻辑电路、张量处理单元、神经网络处理单元或其组合。所述处理设备170还可以包括一个或多个输入/输出(input/output，i/o)接口174，其可以与一个或多个适当的输入设备184和/或输出设备186对接。所述处理设备170可以包括一个或多个网络接口176，用于与网络(例如，内部网、互联网、p2p网络、wan和/或lan)或其它节点进行有线或无线通信。所述多个网络接口176可以包括用于网络内和/或网络间通信的有线链路(例如以太网线)和/或无线链路(例如一个或多个天线)。
133.所述处理设备170还可以包括一个或多个存储单元178，其可以包括大容量存储单元，例如固态硬盘、硬盘驱动器、磁盘驱动器和/或光盘驱动器。所述处理设备170可以包括一个或多个存储器180，所述一个或多个存储器180可以包括易失性存储器(例如，随机存取存储器(random access memory，ram))和非易失性或非瞬时性存储器(例如，闪存、磁存储器和/或只读存储器(read-only memory，rom))。所述存储器180的非瞬时性存储器存储程序113，所述程序113包括由处理单元172执行的软件指令，用于实现本发明所述的示例等。在示例性实施例中，所述程序113包括：用于实现操作系统(operating system，os)108的软件指令(如上文所述，所述os108可以包括触摸屏驱动程序114、ui模块116和显示器驱动程序118及其它os组件)以及其它应用程序/功能120。在一些示例中，所述存储器180可以包括系统100的软件指令，所述处理单元172执行所述软件指令，以实现本发明所述的方法。在一些其它示例中，一个或多个数据集和/或模块可以由外部存储器(例如，与所述处理设备170进行有线或无线通信的外部驱动器)提供，也可以由瞬时性或非瞬时性计算机可读介质提供。非瞬时性计算机可读介质的示例包括ram、rom、可擦除可编程rom(erasable programmable rom，eprom)、电可擦除可编程rom(electrically erasable programmable rom，eeprom)、闪存、cd-rom或其它便携式存储器。
134.可以存在总线182，以提供所述处理设备170的组件之间的通信，所述组件包括所述处理单元172、所述i/o接口174、所述网络接口176、所述存储单元178和/或所述存储器180。所述总线182可以是任何合适的总线架构，例如包括存储器总线、外围总线或视频总线。
135.在图13中，所述输入设备184包括触摸屏显示器45的触摸感测系统112，并且还可以包括其它输入设备(例如，键盘、鼠标、麦克风、加速度计和/或小键盘)。所述输出设备186包括触摸屏显示器24的显示器128，并且还可以包括其它设备，例如扬声器和触觉发生器。
136.尽管本发明利用呈某种顺序的步骤描述方法和过程，但所述方法和过程的一个或多个步骤可视情况省略或更改。一个或多个步骤视情况可以按除了所描述顺序以外的顺序进行。
137.尽管就方法而言至少部分地描述了本发明，但本领域普通技术人员将理解，本发明还涉及用于执行所描述的方法的至少一些方面和特征的各种组件，无论是通过硬件组件、软件或两者的任何组合。因此，本发明的技术方案可以以软件产品的形式体现。合适的软件产品可以存储在预先记录的存储设备或其它类似的非易失性或非瞬时性计算机可读介质中，包括dvd、cd-rom、usb闪存盘、移动硬盘或其它存储介质等。所述软件产品包括有形地存储在其上的指令，这些指令使处理设备(例如，个人计算机、服务器或网络设备)能够执行本文中所公开的方法示例。
138.本发明可以在不脱离权利要求书的主题的情况下以其它特定形式体现。所描述的示例性实施例在所有方面均被视为仅是说明性的而非限制性的。可以对上述一个或多个实施例中的选定特征进行组合，以创建未明确描述的替代实施例，适合此类组合的特征均理解为落入本发明的范围内。
139.还公开了所公开范围内的所有值和子范围。此外，虽然本文所公开和示出的系统、设备和过程可以包括特定数量的元件/组件，但是可以修改这些系统、设备和组件以包括更多或更少此类元件/组件。例如，虽然所公开的任何元件/组件可以为单个数量，但是可以修改本文所公开的实施例以包括多个此类元件/组件。本文所述的主题意在涵盖和包括技术上的所有合适更改。