对电子设备的用户界面进行控制的制作方法

计算机可以包含一个或多个输入设备来用于接收用户输入。输入设备可以是实际的、物理设备和/或虚拟设备。例如，膝上型计算机或者台式计算机可以通过诸如键盘、鼠标或者轨迹板的这样的实际的物理设备来接收输入。诸如平板式计算机或智能电话之类的包含触摸屏的计算机可以通过虚拟键盘接收输入。

附图说明

图1是根据示例实施方式的电子设备的立体图。

图2是图示出根据示例实施方式的虚拟键盘的电子设备的正视图。

图3是图示出根据示例实施方式的虚拟数字小键盘的电子设备的正视图。

图4a和4b是描绘根据示例实施方式的控制电子设备的用户界面的技术的流程图。

图5是根据示例实施方式的、手指与触摸屏的物理交互的图示。

图6是图示出根据示例实施方式的、基于检测到的手指接触区域对虚拟小键盘进行尺寸重定的电子设备的正视图。

图7是描绘根据示例实施方式的、基于检测到的手指接触区域来调节显示在电子设备的触摸屏上的图像的尺寸的技术的流程图。

图8是根据示例实施方式的电子设备的示意图。

图9是根据示例实施方式的、具有两个显示面板的电子设备的立体图。

图10是根据示例实施方式的用于图9的电子设备的可能的设备模式的图示。

具体实施方式

诸如平板式计算机之类的电子设备可以包含触摸屏，该触摸屏允许用户通过基于显示在触摸屏上的图像与触摸屏进行物理地交互来提供输入。例如，用户可以使用基于手指的触摸手势(诸如滑动触摸手势、用户轻敲触摸屏的某区域的触摸手势，等等)来物理地接触触摸屏。电子设备可以提供基于虚拟键的用户界面，诸如虚拟键盘或小键盘。例如，电子设备可以在触摸屏上显示键盘的图像，其定义与不同的键相关联的触摸屏的区域，使得与特定显示的键的接触表示与该键相关联的对应的输入值。以这样的方式，用户可以浏览因特网，并且特定网址可以使电子设备显示数据录入框。通过使用虚拟键盘打字，用户可以将被请求的信息录入到数据录入框中。

电子设备可能不始终在适当的时间显示用户界面或显示适当的用户界面。例如，电子设备可能在用户不意图将数据录入到数据录入框中时显示基于虚拟键的界面，因此阻挡本将显示在触摸屏上的内容。作为另一示例，当需要将数字数据录入到数据录入框中时，电子设备可能显示完整的虚拟键盘(而非例如虚拟数字小键盘)。根据在本文描述的示例实施方式，电子设备通过传感数据来确定用户是否意图使用界面来录入输入(即，用户是否意图调用用户界面)，并且如果是这样的话，则电子设备基于检测到的手指模式(即，基于与触摸屏接触的手指指头的数量、指头的放置、指头是否与一只手相关联，等等)来选择适当的用户界面。

参考图1，作为更具体的示例，根据一些实施方式，诸如平板式计算机(如在图1中所描绘的)之类的电子设备100可以包括触摸屏112(基于表面电容的触摸屏、基于电阻的触摸屏、基于投射电容的触摸屏、基于表面声波(saw)的触摸屏，等等)，其包含结合图形用户界面(gui)来显示图像并且接收基于触摸的输入的表面114。以这样的方式，如在图1中所描绘的，电子设备100可以显示与一个或多个gui相关联的图像，在gui中用户的一只手或两只手150之间的物理交互可以用于为电子设备100提供用户输入。

根据示例实施方式，电子设备100包括输入界面引擎120，其控制电子设备100的gui。具体地，根据示例实施方式，输入界面引擎120使用传感输入用于为电子设备100选择适当的gui并且在适当的时间调用gui。以这样的方式，根据示例实施方式，输入界面引擎120至少部分地基于检测的手指模式以及对用户是否意图使用触摸屏112进行基于键的输入录入进行确定的结果来调用电子设备100的特定gui。以这样的方式，如在本文所描述的，输入界面引擎120可以检测用户的一手或两手150与触摸屏112之间的物理交互。物理交互可以是一个或多个手指或指头物理地触摸或悬停在触摸屏112之上。

输入界面引擎120可以进一步获得与用户相关联的传感输入，该传感输入不同于与用户与触摸屏112之间的物理交互的特性相关联的传感输入。基于该传感输入，输入界面引擎120可以确定用户是否意图使用触摸屏112进行基于键的输入录入，并且因此，输入界面引擎120可以至少部分地基于检测到的手指模式和确定的意图来选择电子设备100的基于虚拟键的用户界面。

对于在本文描述的示例实施方式，输入界面引擎120可以在诸如在触摸屏112上显示全尺寸键盘的图像的基于全尺寸虚拟键盘的用户界面的基于虚拟键的用户界面(诸如图2中描绘的键盘图像200)，或者在触摸屏112上显示在图3中描绘的数字小键盘的图像300的虚拟数字小键盘(也称作“numpad”)之间进行选择。对于诸如虚拟键盘界面或数字小键盘界面之类的特定用户界面的选择可以取决于若干因素，例如包括光标是否在与字母数字字符的项(适合于虚拟字母数字键盘)或数字的项(适合于虚拟数字小键盘)相关联的数据录入区(例如，数据录入框)中。而且，当选择用户界面时，输入界面引擎120可以考虑其他因素，诸如接触触摸屏112的手指的数量。

例如，根据示例实施方式，输入界面引擎120可以响应于检测到十个手指模式和一个或多个手掌与触摸屏112交互而选择虚拟字母数字键盘用户界面。根据另外的示例实施方式，输入界面引擎120可以在有或没有检测到两个手掌的情况下响应于检测到八至十个手指而选择虚拟字母数字键盘界面。而且，根据特定实施方式，输入界面引擎120可以响应于在有或没有两个手掌的情况下检测到四个或五个手指与触摸屏112接触而选择虚拟数字小键盘用户界面。

根据示例实施方式，为了在意图调用特定用户界面的与触摸屏112的物理交互与并不意图调用特定用户界面的物理交互之间进行区分，输入界面引擎120可以基于时间来过滤检测到的手指模式。以这样的方式，根据一些实施方式，输入界面引擎120可以考虑与触摸屏112的交互至少持续预先确定的时长(例如，至少五秒的时长)的手指模式，并且可以忽视与较小的时长相关联的检测到的手指模式。

与触摸屏112的一些物理交互可以不与使用或调用特定用户界面的意图相关联。以这样的方式，与触摸屏112的简短接触可能不意图调用用户界面并且可以基于接触时间被滤除，如以上讨论的。作为另一示例，用户可能在用户的手的四个手指(例如)接触触摸屏112的紧握位置携带电子设备100。然而，用户可能不意图调用例如虚拟数字小键盘或任何其他用户界面。作为另一示例，用户可能与另一人确证，并且照此，当将电子设备传递给其他人供查看时，可能接触触摸屏112。再一次，触摸屏112与手指之间的接触可能不意图调用特定用户界面。根据示例实施方式，电子设备100考虑不同于与利用触摸屏112检测手(或多个手)的部分相关联的传感输入的传感输入，用于区分与触摸屏112的接触何时意图涉及用户界面。

例如，根据一些实施方式，用户界面引擎120可以获得数据来尝试识别与触摸屏112交互的人。例如，根据示例实施方式，电子设备100的面向用户的照相机114(请参见图1)可以获得表示用户的数据(假定用户在触摸屏112前面)。用户界面引擎120例如可以应用面部辨识处理来识别其图像被捕获在由照相机114捕捉的快照图像中的任何人。例如，用户界面引擎120可以从图像中提取特性并且将这些特性与一个或多个先前经认证的用户的存储的特性相比较。照此，用户界面引擎120则可以确定经认证的用户是否在查看触摸屏112。例如，用户界面引擎120可以基于经认证的用户的标识或(作为另一示例)基于经认证的用户与电子设备100的接近来确定与触摸屏112的物理交互意图调用基于虚拟小键盘的用户界面。作为另一示例，用户界面引擎120可以使用手指传感器来感测诸如手指之类的生物信息或执行视网膜扫描来识别用户，由此提供指示符，用户界面引擎120然后可以使用该指示符来确定物理接触是否意图调用基于虚拟小键盘的用户界面。作为又一个示例，用户界面引擎120可以尝试与和经认证的用户相关联的一个或多个可穿戴的设备进行通信以为了确定经认证的用户是否接近于电子设备100。

因此，根据示例实施方式，用户界面引擎120可以处理传感数据，诸如由触摸传感器获得的数据、由照相机获得的数据、由生物传感器获得的数据、通过与附近的可穿戴设备进行通信获得的数据、表示电子设备的定向的数据，等等，用于确定调用设备的用户界面的意图。以这样的方式，用户界面引擎120可以处理传感数据用于识别用户是否被辨识出并且确定被辨识出的用户是否在执行符合调用电子设备100的用户界面的意图的一个或多个动作。例如，用户界面引擎120可以使用传感数据来确定：被辨识出的用户是否正在靠近触摸屏或与触摸屏保持得足够近以与触摸屏交互；被辨识出的用户是否正面向或查看触摸屏；电子设备100是否正被置于符合与触摸屏的用户交互的定向(例如，触摸屏朝上)中；被辨识出的用户是否保持与携带位置一致地拿着电子设备；等等。

如在本文进一步所描述的，根据示例实施方式，电子设备可以具有多个用户可配置的设备模式。设备模式指的是电子设备的不同的操作模式，其对应于电子设备的物理定向或物理配置。例如，电子设备可以具有共享铰链连接的两个显示面板，该铰链连接允许根据电子设备的空间定向和显示面板之间的(围绕铰链轴)打开角度而将电子设备配置在不同的设备模式中。以这样的方式，如在本文进一步描述的，设备模式可以包括电子设备可以用作膝上型计算机、平板式计算机，等等的操作模式并且用户界面引擎120可以通过传感数据识别设备模式并且至少部分地基于所确定的设备模式来确定调用用户界面的用户意图。

而且，如在本文进一步描述的，根据一些实施方式，用户界面引擎120可以考虑辨识出多个用户与可能与多个用户相关联的特性或动作的传感数据，用于确定调用特定用户界面的意图。例如，根据一些实施方式，如在本文进一步所描述的，电子设备可以具有多个可视显示面板，并且用户界面引擎120可以根据电子设备的设备模式、对确定其它用户调用用户界面的意图的其他传感数据的处理、检测到的被辨识出的或授权的用户的数量、检测到的用户的位置，等等来结合多个可视显示面板选择性地调用多个用户界面。而且，用户界面引擎120可以确定不同的用户意图在不同的时间调用对应的用户界面(例如，在不同的时间调用用户界面)还是在同时调用对应的用户界面(例如，同时调用用于多个用户的多个用户界面)。

根据一些实施方式，用户界面引擎120可以通过选择性地对意图用户指示符(用户的接近指示符、设备模式指示符、检测到的紧握指示符、电子设备的定向指示符，等等)进行加权以及基于结果得到的加权的分数确定用户是否意图调用用户界面，来确定用户是否意图调用用户界面。

因此，参考图4a，根据示例实施方式，用户界面引擎120可以执行在图4a中描绘的技术400。参考图4a，技术400包括检测(框404)与用户与电子设备的触摸屏的物理交互相关联的手指模式，以及获得(框408)不同于与用户与触摸屏的物理交互的特性相关联的输入的传感输入。技术400包括至少部分地基于传感输入来确定(框412)物理交互是否意图调用虚拟用户界面以及至少部分地基于检测到的手指模式和确定的意图来控制(框416)用户界面。

更具体地，根据示例实施方式，用户界面引擎120可以执行在图4b中描绘的技术450。参考图4b，技术450包括检测(框454)与用户与电子设备的触摸屏的物理交互相关联的手指模式以及确定(判定框458)检测到的物理交互是否已经发生了预定义的时长。如果是这样的话，技术450包括确定使用基于键的输入录入的意图(框460)以及按照框470，至少部分地基于检测到的手指模式以及确定的意图来选择性地调用用户界面。

更具体地，根据示例实施方式，确定意图(框460)包括获得(框462)识别用户的传感数据。该传感数据例如可以包括生物信息、用户图像、表示通过与可穿戴设备通信所获取的结果(例如，辨识处的身份)的数据，等等。在确定(判定框466)检测到授权用户以及确定用户调用用户界面的用户的意图(框460)之后，根据示例实施方式，技术450可以包括，按照框468，确定电子设备的设备模式。根据示例实施方式，技术450包括，按照框470，至少部分地基于检测到的手指模式、确定的意图，以及确定的设备模式来选择性地调用用户界面。

根据示例实施方式，通过识别用户以及确定需要调用特定虚拟用户界面，然后，电子设备100可以选择(框470)用户界面的一个或多个特性。例如，经由用户定义的配置选择，用户界面120可以确定特定识别的用户已经定义了用户优选的小键盘定向、小键盘尺寸、小键盘色彩，等等。而且，经由用户定义的配置选择，用户可以定义键的布局、可以定义(从由电子设备100提供的默认键盘布局中)省略或添加某些键的小键盘界面，等等。

根据示例实施方式，用户界面引擎120可以在选择特定用户界面时考虑其他因素。例如，在电子设备100的潜在用户当中，手和手指尺寸可能改变。用于一个用户的适当的小键盘尺寸对于另一用户而言可能太小或太大。根据示例实施方式，用户界面引擎120基于检测到的用户的手指和触摸屏112之间的接触区域来调节，或选择基于虚拟键的用户界面的键的尺寸。更具体地，参考图5，根据示例实施方式，用户界面引擎120可以检测给定虚拟键501和手指506之间的接触(直接物理接触或者悬停接触)的区域504。根据另外的实施方式，接触区域501可以不位于手指和特定键之间，而可以通常是在压下或悬停在触摸屏112的任何区域之上的用户的手指之间定义的接触区域。不管特定实施方式如何，然后，用户界面引擎120可以基于检测到的接触区域来调节基于虚拟键的用户界面的键的尺寸。以这样的方式，对于更大的手指尺寸，用户界面引擎120可以对于所显示的键盘/小键盘选择更大的键，其中键之间的尺寸和界面的总大小被相应地缩放。例如，图6描绘显示数字小键盘图像600的电子设备100，该数字小键盘图像600与例如在图3中描绘的对应的小键盘图像300相比更大(基于检测到的手指尺寸更大)。

因此，根据示例实施方式，用户界面引擎120可以执行在图7中描绘的技术700。按照技术700，用户界面引擎120可以检测(框704)与和触摸屏交互的手指相关联的区域。按照技术700，按照框708，在触摸屏上显示的以及与用户界面引擎120相关联的图像的尺寸则可以至少部分地基于区域来调节用户界面。

参考图8，根据示例实施方式，电子设备100可以是包括硬件810的物理机器以及机器可执行指令860，或“软件”。更具体地，根据示例实施方式，硬件810可以包括一个或多个处理器814(一个或多个中央处理单元(cpu)，cpu处理核，等等)和存储器818。

存储器818通常是非暂时性存储介质，作为示例，其可以存储用户输入数据、由电子设备100的传感器819获得的数据、用户定义的配置选项数据、用于认证用户的数据、为了实施在本文描述的一个或多个技术由处理器814执行的机器可执行的指令，等等。根据特定实施方式，可以从半导体存储设备、忆阻器、磁存储设备、相变存储器设备、这些存储技术中的一个或多个的组合，等等来形成存储器818。

根据示例实施方式，硬件810可以另外包括触摸屏822、一个或多个通信接口826，以及照相机814。而且，根据示例实施方式，传感器可以包括生物传感器、与触摸屏822相关联的触摸传感器，等等。

根据示例实施方式，电子设备100的机器可执行指令860可以包括当由处理器814执行时使处理器814提供用户界面引擎864的指令864、当由处理器814执行时使处理器814提供一个或多个应用872的指令872、当由处理器814执行时使处理器814提供操作系统的指令868，等等。

根据另外的示例实施方式，以上描述的基于处理器的架构的所有或一部分可以被专用的硬件电路或被一个或多个专用集成电路(asic)代替。

在图1中，示例电子设备100包含单个触摸屏112。然而，根据另外的示例实施方式，在本文描述的系统和技术可以被应用于在图9中描绘的多个显示计算机900。在这点上，多个显示计算机900包括多个触摸屏，诸如与显示面板904相关联的并且具有用于显示图像和接收触摸输入的表面915的触摸屏913；以及与显示面板908相关联的并且具有用于显示输出和接收触摸输入的表面911的触摸屏910。对于该示例实施方式，显示面板904和908可以通过铰链连接910来连接。在这点上，作为一示例，用户界面引擎120可以基于计算机900的设备模式来调节显示在特定显示面板上的用户界面。如图9所示，根据示例实施方式，计算机900包括被置于显示面板904上的照相机914。而且，计算机900可以具有类似于电子设备100的架构的架构，包括用户界面引擎120。

图10描绘根据计算机900的总体空间定向(诸如计算机900相对于竖直方向，或重力的方向的空间定向)以及显示面板904和908之间的打开角度θ的用于计算机900的可能的显示器配置1040。如在图1中所描绘的，供参考，可以相对于显示面板904来定义局部正交x、y和z轴917，其中x轴917对应于铰链连接910的枢轴线；并且z轴917可以通常与显示面板904的显示表面915的表面法线对准并且在用户在显示面板904前面时具有朝着用户的正向。根据示例实施方式，照相机914可以具有与z轴917对准的光轴。打开角度θ是围绕铰链连接910(即，围绕x轴917)在显示面板904和908之间的角度。

根据示例实施方式，显示面板904和906是矩形，并且因此根据它们的空间定向具有纵向定向和横向定向。显示面板904、906的“横向定向”指的是显示面板904、906被定位为使得显示面板904、906的细长的维度更水平而非竖直(即，局部x轴917更水平而非竖直)；并且显示面板904、906的“纵向定向”指的是显示面板904、906被定位为使得显示面板904、906的细长的维度更竖直而非水平(即，局部x轴917更竖直而非水平)。

根据示例实施方式，用户界面引擎120基于由显示面板904的一个或多个传感器950(请参见图9)(诸如加速度计)，以及显示面板908的一个或多个传感器952(诸如加速度计)获得的数据将计算机900分类为属于九个显示器配置1040之一。每个显示器配置140进而与用于计算机900的设备模式相关联或与其对应。

图10描绘对应于用于计算机900的翻盖设备模式的翻盖显示器配置1040-1。根据示例实施方式，对于翻盖显示器配置1040-1，围绕局部x轴917在显示面板904和908之间的打开角度θ在45和135度之间(作为一示例)，并且显示面板904和908处于横向定向。

如也在图10中描绘的，可能的显示器配置1040可以包括平板显示配置1040-2和1040-3，其中打开角度在135和225度之间(作为一示例)。根据示例实施方式，平板显示配置1040-2对应于其中显示面板908更接近计算机900的用户的设备模式，而平板显示配置1040-3对应于其中显示面板904更接近用户的设备模式。根据示例实施方式，用户界面引擎120可以基于计算机900的触摸传感器的输出、检测的与特定显示面板的用户的交互(例如，被用作键盘的特定显示面板的使用)，等等来确定哪个显示面板904或908更接近用户。

计算机900可以被置于其中孔径角θ可以在225至315度之间的显示器配置1040-4或1040-5中(作为一示例)。当被置于显示器配置1040-4中时，计算机900类似于蓬架并且对应于计算机900的蓬架设备模式并且，当被置于另一显示器配置140-5中时，计算机900类似于支架(其中显示面板908形成支架的底部)并且对应于计算机900的支架设备模式。根据示例实施方式，用户界面引擎120可以通过确定例如显示面板904和908两个是竖直地倾斜的(对于蓬架显示器配置1040-4)或不是竖直地倾斜的(对于支架显示器配置1040-5)来区分蓬架显示器配置1040-4与支架显示器配置1040-5。

计算机900也可以被置于平板机显示器配置中，诸如用户面向平板机显示器配置1040-6(其对应于用户面向平板机设备模式)或者世界面向平板机显示器配置1040-7(其对应于世界面向平板机设备模式)。在平板机设备显示器配置1040-6或1040-7中，计算机900完全地或接近完全地打开，其中打开角度θ在315至360度之间(作为一示例)。而且，显示面板904和908之一面向用户，其中另一显示面板背对着用户。更具体地，用户界面引擎120可以通过(经由显示面板位置数据、用户检测的与显示面板904的交互，等等)而检测到显示器915面向用户来识别用户面向平板机显示器配置1040-6。用户界面引擎120可以通过检测到显示器911面向用户来识别世界面向平板机显示器配置1040-7。

可能的显示器配置1040还可以包括书籍显示器配置1040-8和1040-9，其中打开角度θ是45至180度(作为一示例)，并且显示面板904和908处于纵向定向。

尽管已经关于有限数量的实施例描述了本发明，但受益于本公开的那些本领域技术人员将理解由其而来的许多修改和变化。所附权利要求意图覆盖属于本发明的真实的精神和范围的所有这类的修改和变化。