用于显示用户界面对象的用户设备及其方法与流程

1.本公开涉及用户设备、由用户设备执行的方法和计算机程序产品。


背景技术：

2.现代智能手机正在变得可支持具有“双显示器”，即在“正常操作”期间面向用户的第一显示设备以及背对用户的第二显示设备。由于每次仅有一个显示设备对用户是可查看的，所以用户很难管理在未被查看的显示设备上显示何种信息以及信息被显示在何处。用户可能觉得需要前后翻转智能手机以交替地查看每个显示设备，这可能降低用户对双屏幕布置的接受度。


技术实现要素：

3.本文公开的各种实施例涉及用于显示一个或多个用户界面对象(例如，应用图标或应用窗口)的用户设备。该用户设备包括具有触敏界面的第一显示设备、至少一个处理器和存储由处理器可执行的指令的至少一个存储器。由处理器可执行的指令被配置为标识施加到触敏界面的定义的触摸手势。由处理器可执行的指令还被配置为响应于定义的触摸手势的标识，在通信地耦合到用户设备的第二显示设备上显示用户界面(ui)对象，该ui对象已被显示在第一显示设备上。
4.这些操作的潜在优点可以包括使用户更直观地选择要从第一显示设备移动或复制以在第二显示设备上显示的ui对象。此外，这些操作可以使用户能够定位ui对象将在第二显示设备上的何处被显示。这些操作对于操作具有位于相对侧的显示设备的用户设备的用户可能特别有用，其中用户每次基本上只能查看显示设备中的一个。这些操作可以使正在查看第一显示设备上的ui对象的一个用户能够使ui对象变得被显示在第二显示设备上，以供另一用户查看。
5.一些其他相关实施例涉及由用户设备执行的方法，该用户设备包括具有触敏界面的第一显示设备。该方法包括标识施加到触敏界面的定义的触摸手势。该方法还包括响应于定义的触摸手势的标识，在通信地耦合到用户设备的第二显示设备上显示ui对象，该ui对象已被显示在第一显示设备上。
6.一些其他相关实施例涉及一种计算机程序产品，其包括存储指令的非瞬态计算机可读介质，该指令由用户设备的处理器可执行以执行本文所讨论的实施例的方法。
7.在查看以下附图和具体实施方式之后，根据实施例的其他相关系统、方法和计算机程序产品对于本领域技术人员而言将是明显的。旨在将所有这些附加系统、方法和计算机程序产品包括在本说明书中，并受所附权利要求的保护。
附图说明
8.本公开的各方面通过示例的方式示出，并且不受附图的限制。在图中：
9.图1示出了根据一些实施例的用于显示用户界面对象的用户设备；
10.图2示出了根据一些实施例的由图1的用户设备执行的操作的流程图；
11.图3示出了根据一些实施例的来自第二显示设备的ui对象覆盖在来自第一显示设备的ui对象上；
12.图4示出了根据一些实施例的由图3的用户设备执行的操作的流程图；
13.图5示出了根据一些实施例的将第一显示设备上的应用图标移动或复制到第二显示设备上；
14.图6示出了根据一些实施例的由图5的用户设备执行的操作的流程图
15.图7示出了根据一些实施例的由图5的用户设备执行的其他操作的流程图；
16.图8示出了根据一些实施例的第一显示设备上的应用图标基于定义的瞄准点被定位在第二显示设备上的位置处；以及
17.图9是根据本公开的一些其他实施例配置的用户设备的组件的框图。
具体实施方式
18.现在将在下文中参考附图更充分地描述发明概念，在附图中示出了发明概念的实施例的示例。然而，发明概念可以以许多不同的形式体现，并且不应被解释为限制本文所阐述的实施例。相反，这些实施例被提供以使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达各种本发明概念的范围。还应注意，这些实施例不是相互排斥的。来自一个实施例的组件可以默认地假设在另一实施例中存在/使用。
19.图1示出了根据一些实施例的用于显示用户界面对象的用户设备。图2示出了根据一些实施例的由图1的用户设备执行的操作的流程图。参考图1和图2，用户设备包括具有触敏界面950的第一显示设备100、至少一个处理器930和存储指令920的至少一个存储器910，该指令920由处理器930可执行以执行操作和相关方法。操作标识200施加到触敏界面的定义的触摸手势120。响应于定义的触摸手势120的标识，操作在通信地耦合到用户设备900的第二显示设备110上显示用户界面(ui)对象104和106，ui对象104和106已被显示在第一显示设备100上。
20.ui对象104和106可以是用户可选择以触发相关联的应用的执行的图标、显示来自网络浏览器或媒体播放器应用的图像或视频的窗口、显示来自用户应用(例如，游戏应用、消息应用、电子邮件应用、相机等)的信息的窗口等等。
21.这些操作的潜在优点可以包括使用户更直观地选择要从第一显示设备移动或复制以在第二显示设备上显示的ui对象。此外，这些操作可以使用户能够定位ui对象将在第二显示设备上的何处被显示。这些操作对于操作具有位于相对侧的显示设备的用户设备的用户可能特别有用，其中用户每次基本上只能查看显示设备中的一个。这些操作可以使正在查看第一显示设备上的ui对象(例如，应用图标、视频窗口等)的一个用户能够使ui对象变为被显示在第二显示设备上，以供另一用户查看。
22.这些操作的另一示例实现在图1被示出。在ui对象104和106被显示在第二显示设备110上之前，第一显示设备100显示多个ui对象104、ui对象106的屏幕。响应于施加到触敏界面950的定义的触摸手势120的标识，将多个ui对象104和106的屏幕从第一显示设备100移动或复制到第二显示设备110以用于显示。
23.在一些实施例中，第二显示设备110与第一显示设备100一起布置在用户设备上。
在图1的示例中，第一显示设备100可以被集成到用户设备900的第一面中，并且第二显示设备110可以被集成到用户设备900的第二面中，第二面可以与第一面相对。
24.在一些其他实施例中，第二显示设备110位于单独的设备上，诸如另一智能手机、平板计算机、计算机显示器、膝上型计算机、电视等等。在图1的示例中，第一显示设备100可以集成到用户设备900的第一面中，并且第二显示设备110可以集成到通信地耦合到用户设备900的至少一个处理器930的另一用户设备的一面中。
25.例如，用户设备在第二显示设备上的横向位置显示ui对象。确定两个相对的显示器之间的横向位置或者通常确定从一个显示器传送到另一显示器的应用图标的双重位置可以是将应用图标(或其他ui对象)从第一显示设备上的源位置移动(本文也称为“推”)到由相同或其他用户设备的第二显示设备显示的目标位置的示例动作中的早期步骤。
26.现在将在移动或复制应用图标的上下文中描述各种其他实施例，尽管这些实施例可以更一般地与任何形式的ui对象一起使用。
27.在另一示例中，其中用户设备具有对称折叠的显示器(例如pixelsize pxtot；pytot)并在用户设备的一个边缘/侧上被叠起，驻留在(第一显示设备的)第一显示器上的位置(px；py)处的应用图标或其他ui对象可以通过确定(第二显示设备的)第二显示器上的显示位置(pxtot-px；py)的操作被复制或移动以在第二显示器上进行显示，例如，假设在无曲率折叠边缘和/或显示器铰链伪影方面的理想显示器。
28.在另一示例中，确定将应用图标从第一显示设备复制或移动到何处以在第二显示设备上显示可以基于对第一显示设备上的应用图标的行和列位置被映射到用于在第二显示设备上显示该应用图标的行和列位置的考虑。
29.在第一显示设备和第二显示设备具有不同尺寸大小的场景中，确定在第一显示设备上显示的应用图标或其他ul对象将被移动到或复制到第二显示设备上的何处可以包括缩放、内插和/或外推(例如，线性、对数或根据某种绑定函数)应用图标在第一显示设备上的位置以确定用于在第二显示设备上显示该应用图标的对应位置。
30.在第一显示设备和第二显示设备具有不同显示分辨率的另一场景中，可以类似地执行缩放、内插和/或外推操作以基于显示分辨率的比较来确定已经在第一显示设备上显示的应用图标要被显示在第二显示设备上的何处。
31.在一些其他实施例中，用户设备设置可以用于确定应用图标或其他ui对象将被显示在第二显示设备上的何处和/或该应用图标相对于其他显示的应用图标将被显示在第三显示设备上的优先级。例如，如果第二显示器在目标像素位置处完全是空的(并且周围、对应于一个图标网格位置或类似位置有足够的像素空间可用)，则应用图标将被显示在第二显示设备上，而无需进一步考虑显示器尺寸差异、分辨率差异和/或对其他应用图标的影响。
32.另一方面，如果第二显示器处的目标位置已经被某个图标、应用或其他ui对象占据，则系统可以进一步确定哪个ui对象具有最高的显示优先序或优先级，并利用该信息评估这些ui对象中的哪一ui对象应当被显示在目标位置处。可以进一步确定将如何组织较低优先级的ui对象以用于显示，诸如在较低层次的文件夹内。
33.应用图标或其他ui对象将如何显示在第二显示设备上可以基于应用图标相对于正在第二显示设备上显示的其他应用图标的优先次序的确定。图标位置优先级可以基于各
种定义类型的应用来定义，例如，诸如“设置”或“呼叫”或“邮件”之类的os本地应用可以被定义为具有比其他类型的应用(例如，游戏应用和用户从应用商店下载的其他应用)更高的优先级。
34.图标位置优先级确定在多个不同显示层应用之间应用被显示在第二显示设备上的何处；例如，针对进入基本桌面/显示器给予一个优先级，而如果针对虚拟显示层，诸如“小部件”，则给予另一其他优先级。
35.在一些实施例中，操作可以在第一显示设备和第二显示设备之间交换ui对象，诸如在用户设备的前显示器和后显示器之间。例如，响应于标识定义的触摸手势，当前的前显示器可以被交换成为后显示器(反之亦然)。
36.在另一实施例中，在ui对象被显示在第二显示设备110上之前，第一显示设备100显示第一多个ui对象的第一屏幕102，并且第二显示设备110显示第二多个ui对象的第二屏幕112。响应于施加到触敏界面的定义的触摸手势120的标识，执行显示交换操作，其中第一多个ui对象的第一屏幕102从第一显示设备100移动到第二显示设备110以用于显示，并且第二多个ul对象的第二屏幕112从第二显示设备l10移动到第一显示设备100以用于显示。
37.在另一实施例中，响应于不再标识触敏界面不再被触摸而反转显示交换操作，这可以对应于用户不再触摸第一显示设备。换言之，第一多个ui对象的第一屏幕102被再次显示在第一显示设备100上，并且第二多个ui对象的第二屏幕112被再次显示在第二显示设备110上。
38.显示交换的一个示例操作使用场景与打算将应用图标从前显示设备移动(例如，一个手指)或复制(例如，两个手指)到后显示设备的用户有关。当用户以定义的方式触摸前显示设备(例如，施加指示3d手势的阈值压力)时，将触发用户设备交换在前显示设备和在后显示设备上显示的内容，以便用户可以查看以前在后显示设备上显示的ui对象中布置的应用图标，同时查看现在在前显示设备上显示的ui对象。用户可以基于手势(例如，手势可以具有相同的阈值压力或另一阈值压力，例如，较小的压力)来定义应用图标要被显示的位置，同时将应用图标拖动到该位置。当用户以定义的方式停止触摸前显示设备时(例如，通过在其期望的目标位置处释放所拖动的应用图标)，用户设备可以响应地交换回在前显示设备和后显示设备上显示的内容。
39.显示交换的另一示例操作实现与希望诸如在后显示器上或同时在两个显示器上临时显示内容的用户相关，例如，以用于与查看后显示器的另一用户共享图像或视频或应用窗口。此示例可以包括以下步骤。用户可以在前置显示器上选择一个或多个ui对象。用户激活3d触摸以在后显示器或两个显示器上显示(多个)所选择的ui对象。一个手指手势可以对应于仅在后显示器上显示(多个)所选择的ui对象的命令，而两个手指手势可以对应于在前显示器和后显示器二者上同时显示所选择的ui对象的命令，反之亦然。
40.在一些实施例中，用户可以向后显示器的触敏界面施加阈值触摸压力，以使显示在其上的ui对象被显示为覆盖在前显示器上显示的ui对象上，反之亦然。当ui对象从前显示器被复制或移动到后显示器时(或者反之亦然)，用户可以将ui对象的重叠组合感知为提供两个显示器的3d可视化体验。当用户设备确定ui对象已经到达后显示器时，用户设备可以例如通过声音、振动、可视化或其组合向用户提供通知。ui对象可以在后显示器上临时显示特定的持续时间(例如，由计时器值定义)，或者只要手指触摸前显示器和/或后显示器就
在后显示器上显示。
41.显示器交换的另一示例可以是使得绘制正面显示器的自由形式曲线的用户能够在后显示器上显示该自由形式曲线或者在后显示器上将自由形式曲线放大显示(例如，拉近镜头)的操作。
42.在另一实施例中，响应于用户将ui对象移动到第二显示设备(110)上的目标位置，停止将该ui对象显示在第一显示设备(100)上。
43.本文所讨论的实施例可以使用多个不同定义的触摸中的任何触摸，也称为触摸手势120。例如，触摸手势可以是触敏界面上的任何定义类型的触摸，诸如长时间用力点触、三维(3d)触摸(例如，用户施加到触敏界面上的不同阈值级别的压力)或任何其他触摸手势。例如，施加到显示在第一显示设备上的应用图标的第一阈值级别的触摸压力可以使该应用图标变为显示在第二显示设备上，并且所施加的触摸压力变化到第二级别(例如，更轻的持续触摸)可以使该应用图标在第二显示设备上移动以跟踪触摸压力正被施加到第一显示设备之处的移动。
44.用户设备可以被配置为在操作上区分短点触和更长的点触以及在触敏界面上执行的点触保持动作。例如，用户设备可以根据例如真实力感测或从模拟负载感测来标识手指在触敏界面上的“用力点触/按压”。显示设备可以以与“常规点触”或“大接触面积、长持续时间”触摸不同地检测“小接触面积、短持续时间”的手指显示接触。
45.显示设备可以将对“用力长时间点触”手势的检测关联为触发用于如何显示ui对象的定义操作，诸如触发ui对象从第一显示设备到第二显示设备的移动和/或控制ui对象是显示在显示层的层次的根级别还是显示在较低的显示级别，例如在文件夹内。
46.进一步参考图1，在一个实施例中，定义的触摸手势120对应于针对触敏界面的第一阈值级别的按压。此外，响应于标识施加到触敏界面的第二阈值级别的按压，操作移动ui对象以跟踪触敏界面上的触摸位置的滑动移动。
47.图3示出了根据一些实施例的来自第二显示设备的ui对象覆盖在来自第一显示设备的ui对象之上。
48.图4示出了根据一些实施例的由图3的用户设备执行的操作的流程图。
49.参考图2、图3和图4，在一些实施例中，在ui对象从第一显示设备100移动或复制到第二显示设备110之前，第一显示设备100显示包括该ul对象的第一屏幕102，并且第二显示设备110显示包括第二ul对象300的第二屏幕112。此外，响应于施加到触敏界面的定义的触摸手势320的标识200和标识400，包括第二ui对象300的第二屏幕112与包括ui对象的第一屏幕102在第一显示设备100上以第二屏幕112相对于第一屏幕102的定义的可见透明度级别被组合402显示。
50.在定义的触摸手势320被施加到触敏界面时，第二屏幕112相对于第一屏幕102的定义的可见透明度级别可以响应于针对触敏界面的确定的按压级别而被控制。
51.例如，前显示设备可以操作定义的触摸手势(诸如，用力长时间点触或三维触摸)以触发透视功能，该透视功能使用户能够“透视该设备”以查看后显示设备上显示的内容，而用户无需物理翻转用户设备来查看背面。
52.图5示出了根据一些实施例的在第一显示设备上的应用图标被移动或复制到第二显示设备上。
53.图6示出了根据一些实施例的由图5的用户设备执行的操作的流程图。
54.如本文所使用的，术语“复制”和“复印”在第一显示设备上显示的ui对象到第二显示设备上可以包括在第二显示设备上创建相同的ui对象或ui对象的另一表示。在可触摸选择的应用图标触发相关联的应用程序的执行的情况下，复制的应用图标可以是不同的，但仍然以编程方式与应用程序相关联，以实现其基于触摸的执行。因此，可以从显示设备控制应用程序的执行。
55.参考图2、图5和图6，在一些实施例中，至少一个存储器910存储应用，每个应用与应用图标500相关联，该应用图标500可触摸选择以触发处理器930对应用的执行。ui对象包括与第一应用以编程方式链接的第一应用图标500。此外，在ui对象被显示202在第二显示设备110上之前，第一显示设备100显示第一应用图标500。此外，响应于标识200和600施加到触敏界面的定义的触摸手势520，操作将来自第一显示设备100的第一应用图标500显示202和602在第二显示设备110上。当操作将ul对象从第一显示设备100移动到第二显示设备110时，显示202和602第一应用图标500的操作包括在第二显示设备110上显示第一应用图标，并停止第一应用图标500在第一显示设备100上的显示。然后可以更新ui对象与应用之间的编程关联，以引用现在位于第二显示设备110上的ui对象。
56.图7示出了根据一些实施例的由图5的用户设备执行的其他操作的流程图。这些操作可以对应于将应用图标从第一显示设备100复制到第二显示设备110上。
57.参考图2、图5和图7，在一些实施例中，至少一个存储器910存储应用，每个应用与应用图标500a相关联，该应用图标500a可触摸选择以触发处理器930执行应用。ui对象包括编程地链接以控制第一应用的执行的第一应用图标500。此外，在ui对象被显示202在第二显示设备110上之前，第一显示设备100显示第一应用图标500a。响应于标识200和700施加到触敏界面的定义的触摸手势520，操作启动702第二应用图标500b在第二显示设备110上的显示，第二应用图标500b控制第一应用的执行。然后，在第二应用图标500b与应用之间创建另一编程关联，以引用现在位于第二显示设备110上的第二应用图标500b。
58.图8示出了根据一些实施例的第一显示设备上的应用图标基于定义的瞄准点被定位在第二显示设备上的位置处。
59.在一些实施例中，瞄准点用于引导在第二显示设备上显示的应用图标的位置。参考图8，在一些实施例中，由处理器930可执行的存储指令920还被配置为基于在第二显示设备110上执行的触摸825来标识第二显示设备110上的瞄准点。第一应用图标800基于瞄准点被定位在第二显示设备110上。
60.例如，用户可以使用位于用户设备背面的手指(例如触摸用户设备的后显示器)，以在背面显示器(例如，第二显示设备110)上指示图标或其他ui对象要从用户设备正面(例如，从第一显示设备100)复制或移动到何处。换言之，手指充当针对图标将出现在背面显示器上的何处的瞄准点。
61.图9是根据本公开的一些其他实施例配置的用户设备900的组件的框图。用户设备900可以包括至少一个处理器电路930(处理器)和至少一个存储器电路910(存储器)，其在下文中也被描述为计算机可读介质。存储器910存储指令920，指令920由处理器930执行以执行本文针对用户设备900的至少一个实施例所公开的操作。处理器930可以包括一个或多个数据处理电路，诸如，通用处理器和/或专用处理器(例如，微处理器和/或数字信号处理
可以用于指定更一般的记载中的具体项目。
73.本文参考计算机实现的方法、装置(系统和/或设备)和/或计算机程序产品的框图和/或流程图来描述示例实施例。应当理解，框图和/或流程图图示的框以及框图和/或流程图图示中的框的组合可以通过由一个或多个计算机电路执行、由模拟电路实现和/或由混合数字和模拟电路实现的计算机程序指令来实现。计算机程序指令可以被提供给通用计算机电路、专用计算机电路和/或其他可编程数据处理电路的处理器电路以产生机器，使得经由计算机的处理器和/或其他可编程数据处理设备执行的指令转换和控制晶体管，以实现框图和/或流程图框或多个框中指定的功能/动作，并由此创建用于实现框图和和/或(多个)流程图框中指定功能/动作的装置(功能)和/或结构。
74.这些计算机程序指令还可以存储在有形计算机可读介质中，该介质可以指导计算机或其他可编程数据处理装置以特定的方式运行，使得存储在计算机可读介质中的指令产生包括实现框图和/或流程图框或多个框中指定的功能/动作的指令的制品。因此，本发明概念的实施例可以体现在硬件和/或软件(包括固件、驻留软件、微代码等)中，该软件在诸如数字信号处理器的处理器上运行，该处理器可以统称为“电路”、“模块”或其变体。
75.还应注意的是，在一些备选实现中，在块中注明的功能/动作可发生在流程图中注明的顺序之外。例如，根据所涉及的功能/动作，连续显示的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。此外，流程图和/或框图的给定框的功能可以分成多个框，和/或流程图和/或框图的两个或多个框的功能可被至少部分地集成。最后，可以在所示的框之间添加/插入其他框，和/或可以省略框/操作而不脱离本发明概念的范围。此外，尽管一些图包括通信路径上的箭头以显示通信的主要方向，但是应当理解，通信可以在与所示箭头相反的方向上发生。
76.在基本上不偏离本发明概念的原理的情况下，可以对实施例进行许多变化和修改。所有这些变化和修改都旨在包括在本发明概念的范围内。因此，上述公开的主题将被认为是说明性的，而不是限制性的，并且所附实施例的示例旨在涵盖落入本发明概念的精神和范围内的所有此类修改、增强和其他实施例。因此，在法律允许的最大范围内，本发明概念的范围将由本公开的最广泛的允许解释来确定，包括以下实施例及其等同物的示例，并且不应受到前述详细描述的限制或限制。