专利名称：包括一个或更多个坐标输入表面的电子设备以及用于控制这种电子设备的方法
技术领域：
本发明涉及一种包括一个或更多个坐标输入表面的电子设备，一种包括这种设备的系统，一种控制这种设备的方法，以及一种包含指令的计算机程序，该指令被配置为当在计算机上执行时，使得计算机执行上述方法。具体来讲，本发明明显地涉及用户与电子设备之间的相互作用以及根据或者响应于这些相互作用对设备的控制。
背景技术：
电子设备被用于涉及用户与这种设备的相互作用的各种应用。它们被用来对用户赋予和交换越来越多的信息，作为输入和输出信息。可以通过使用设置在显示器上方的坐标输入表面明显地执行这种功能。比如，具有触摸屏的电子设备使得用户能通过对象，比如放置在显示器上方的外表面上的手指，也就是触摸，来方便地选择目标，比如网络链接。例如，这种电子设备可以是无线通讯终端，比如用来传输声音和数据的移动电话。希望提供电子设备、系统、方法和电脑程序用来改进用户与包括坐标输入表面的电子设备之间的相互作用的效率和精度，同时实现尽可能多地为用户提供信息的目的。
发明内容
为了达到或者至少部分达到上述目的，在独立权利要求中限定了根据本发明的电子设备、方法和计算机程序。在从属权利要求中限定了优选的实施方式。在一个实施方式中，一种电子设备包括坐标输入表面、第一位置估计单元和第二位置估计单元。至少用户的手指可以放置在坐标输入表面上。第一位置估计单元被设置为估计被放置在坐标输入表面上的至少一个对象的位置，这里称为第一位置。第二位置获取单元被设置为获取用户在坐标输入表面上观察的位置，这里称为第二位置，的估计。该设备被设置为至少基于所估计的第一位置和所估计的第二位置对设备而受到控制。坐标输入表面是这样的表面，在其上可以至少放置用户的手指。此外，坐标输入表面是相对于设备的其他部分而设置的设备的外表面，使得放置在该表面上的对象的坐标能够被用作设备内的输入，也就是能够控制该设备。在该设备中，第一位置估计单元负责估计放置在坐标输入表面上的对象的坐标，也就是位置，这里称为第一位置。手指可以被放置到坐标输入表面上。这是坐标输入表面的一个特性，也就是坐标输入表面是通过手指可以物理触及的外表面。第一位置估计单元被设置为估计位置的对象可以是手指或者其他对象，比如触针或者笔。也就是以下的应用。在一个实施例中，第一位置估计单元能够检测放置在坐标输入表面上的手指的位置，并且能够检测坐标输入表面上除了手指之外别的对象的位置。在另外一个实施方式中，第一位置估计单元能够检测放置在坐标输入表面上的手指的位置，但是不能够检测任何或者其他除了手指之外的对象在坐标输入表面上的位置。在又一个实施方式中，第一位置估计单元不能够检测放置在坐标输入表面上的手指的位置，但是能够检测除了手指之外其他对象在坐标输入表面上的位置。
在一个实施方式中，该设备还包括显示屏，并且坐标输入表面是位于显示器上方的外表面，也就是说，设置在显示器上方。坐标输入表面可以是位于显示器上方的透明或者足够透明层的外表面，从而观看坐标输入表面的用户能够看到在显示器上显示的内容。这样就使得能够基于对用户在坐标输入表面观察的位置或者朝向的位置的估计， 对用户利用诸如手指、触针或者输入笔的对象、通过坐标输入表面的输入进行校正、解释或者补充。用户在坐标输入表面观察的或者朝向的位置对应于用户观察或者朝向显示器的位置。这个实施方式进而能够提供更密集的一套(a denser set)与坐标输入表面和显示器的相互作用，也就是在显示器上的图像的内容中，通过提供额外的方法在这些用户能够与坐标输入表面和显示器进行的相互作用的多个源头之间进行辨别，也就是消除不确定性 (disambiguate)。特别地，更小的目标能够被提供在显示器上。也就是说，这使得能够相对于现有的“基于触摸屏”或者“基于显示器上的触针”的用户界面提供一种更密集的信息结构和在显示器上可选的目标。用户注视的方向的估计被用来在显示器的区域之间进行辨别，也就是消除不确定性。本发明也延伸到一种设备，该设备不包括显示器，并且其中，坐标输入表面包括形成或者刻写在该设备上的标记、数字(figure)或者符号，比如永久性标记、数字或者符号。 坐标输入表面也可以是这种情况，用户能够看透坐标输入表面，并且在坐标输入表面下面形成或者刻写有标记、数字或者符号，比如永久性标记、数字或者符号。同样在这个实施方式中，第二位置，也就是用户在坐标输入表面上观察或者朝向的位置，可以用来消除用户在坐标输入表面上输入的触觉(或者触针)的不确定性(disambiguate)。在本发明的主旨中，位于显示内容中的光标并不是能够放置到坐标输入表面上的对象。然而，这并不排除本发明的实施方式可以和包括光标，比如鼠标控制的光标，的系统相结合，或者与这种系统结合，其中估计注视的方向也可以用来控制属于显示内容的光标， 而不需要使用所估计的第一位置(其中光标例如是纯粹地注视控制，或者采用鼠标和注视两者控制)。在一个实施方式中，该设备进一步包括图像获取单元，其用来获取面对坐标输入表面的用户面部的至少一幅图像；第二位置估计单元，其用于基于所述至少一幅图像来估计第二位置。在这个实施方式中，包含在设备内部的第二位置估计单元使得能够方便地在设备内部估计第二位置，也就是用户在坐标输入表面上观察的位置。在一个实施方式中，该设备进一步包括图像捕捉单元，其用来捕捉所述至少一幅图像。该实施方式使得能够利用包含在设备中的图像捕捉单元方便地捕捉单个图像或者多个图像以用来估计第二位置。在一个实施方式中，图像捕捉单元是形成在设备内部或者集成在设备内部的照相机或者摄像机，并且能够捕捉在坐标输入表面前侧的环境的一幅或者多幅图像。在一个实施方式中，图像捕捉单元包括不止一个照相机或者摄像机。可以采用现有的设备中内置的照相机，比如视频通话摄像头。单个照相机或者多个照相机也可以和接近传感器相结合。在一个实施方式中，该设备是这样的图像捕捉单元被设置为当满足条件时捕捉所述至少一幅图像。该条件取决于显示器上显示的内容，这里称为显示内容，以及所估计的
第一位置。这个实施方式使得能够仅在以下情况才打开或者激活图像捕捉单元，比如照相机当基于显示内容和所估计的第一位置确定用户的手指(或者其他对象，比如触针或者输入笔)相对于显示内容中不同目标(比如链接、按钮、图标、字符、符号或者类似物)的位置被放置在坐标输入界面上的与显示器上的特定点(或者特定区域)相对应的点上。相对于显示内容中不同目标的位置的特定点(或者特定区域)可以对应于这种情况，在此情况下，输入过程的精度将会从额外的信息受益从而消除输入的不确定性。这个实施方式进而能够节省计算资源和电池电力，因为图像捕捉单元不需要永久打开或者激活。在一个实施方式中，该设备是这样构成的，所述条件(使得图像捕捉单元捕捉一幅或者多幅图像)包括显示内容中的至少两个目标在所估计的第一位置的预定位置内。该实施方式能够在可能要解决当用户的手指放置在坐标输入表面上、显示器的靠近显示内容中的至少两个目标的点之上时的不明确性(ambiguity)时激活图像捕捉单元。 这样的手指位置可以被确定为意味着用户打算激活第一目标的可能性与打算激活第二目标的可能性相同。当这种不明确的情形出现时，就会开始图像捕捉过程。因此，这个实施方式使得当确定具有改进用户相互作用的效率和精确度的空间时，设备适时地，也就是当需要时，启动图像捕捉过程。在一个实施方式中，该设备是这样的，显示内容包括网页、地图和文档中的至少一个，并且至少两个目标是显示内容中的至少两个链接。在一个实施方式中，该设备是这样的，所述条件包括所估计的第一位置被确定为正在移动。在一个实施方式中，所述条件包括所估计的第一位置被确定为以大于预定速度的速度移动。这些实施方式使得能够在所估计的第一位置被确定为正在移动时，也就是当取决于显示内容所估计的第一位置是不确定时，比如是用户希望选择特定目标还是用户希望在显示内容上执行摇摄(panning)操作时，激活图像捕捉过程。摇摄操作这里定义为向上和向下和/或向左和向右移动显示屏幕的内容，包括沿任意角度方向移动显示屏幕的内容，并且能够控制给定对比度下大于屏幕尺寸的文档。在一个实施方式中，该设备被设置为，当显示内容中的至少两个目标在所估计的第一位置的阈值距离内时，通过基于所估计的第二位置选取至少两个目标中的一个而受到控制。该实施方式通过在不确定情况下解释用户的输入，能够有效地和精确地控制设备的操作。这种问题可能源自用户固定地保持手指在显示器表面上的一点是有困难的，比如由于神经变性的紊乱，但并不限于此。这种问题也可能源于显示内容中的目标尺寸是相对小的。在一个实施方式中，该设备是这样的，基于所估计的第二位置选择至少两个目标中的一个的操作包括在至少两个目标中选择最接近于所估计的第二位置的那个目标。在一个实施方式中，该设备被设置为，当所估计的第一位置被确定为正在移动并且所估计的第二位置被确定为靠近坐标输入表面的边缘时，通过在所估计的第二位置的方向上摇摄所述显示内容而受到控制。“靠近坐标输入表面的边缘”在这里的意思是在坐标输入表面的边缘的预定距离内。该实施方式能够在行为包括在坐标输入表面上移动手指时解释用户的行为。如果用户同时朝着他或她希望摇摄所述显示内容的方向上注视，则该行为可以解释为摇摄命令。相反地，如果确定出用户在坐标输入表面和显示器上观察的位置不靠近坐标输入表面的边缘，那么设备可以被控制为不执行摇摄操作。用户可能希望选择一个目标并且可能进行拖拽操作。在一个实施方式中，该设备的坐标输入表面和显示器共同构成了触摸屏，并且对象是手指。在一个实施方式中，该设备是移动电话，音频播放器、照相机、导航设备、电子书设备、计算机、手持计算机、个人数字助理、游戏机和手持游戏机中的至少一个。在一个实施方式中，本发明还涉及包含设备的系统，该设备包括坐标输入表面、第一位置估计单元以及第二位置获取单元。至少用户的手指能够被放置到坐标输入表面上。 第一位置估计单元被设置用来估计放置在坐标输入表面上的至少一个对象的位置，这里称为第一位置。第二位置获取单元被设置用来获取用户在坐标输入表面上观察的位置，这里称为第二位置。该设备被设置为至少基于所估计的第一位置和所估计的第二位置的组合而受到控制。该系统进一步包括相对于该设备而设置的图像捕捉单元以便能够捕捉面对设备的显示器的用户面部的至少一幅图像；第二位置估计单元，用于基于所述至少一幅图像估计第二位置，其中至少图像捕捉单元不是一体地形成在设备内。在这个实施方式中，图像捕捉单元可以是一个外部照相机或者多个外部照相机， 用来捕捉设备的显示器前侧环境的至少一部分的至少一幅图像。该实施方式可以包括比如网络摄像头。在一个实施方式中，该系统是这样构成的图像捕捉单元、图像获取单元和第二位置估计单元并不是一体地形成在设备内部。在这个实施方式中，设备被设置为接收或者获取利用外部图像捕捉单元在设备外部计算出的所估计的第二位置。该实施方式可以包括比如外部眼球跟踪器。在一个实施方式中，本发明还涉及一种控制电子设备的方法，该设备包括至少用户的手指可以放置到其上的坐标输入表面。该方法包括估计坐标输入表面上的至少一个对象的位置的步骤，该位置称为第一位置。该方法进一步包括获取用户在坐标输入表面上观察的位置的估计的步骤。该方法进一步包括至少基于所估计的第一位置和所估计的第二位置的组合来控制该设备的步骤。在一个实施方式中，该方法是一种控制包括显示器的设备的方法，其中坐标输入表面是显示器上方的外表面，也就是被设置在显示器上方。在一个实施方式中，本发明涉及一种包含指令的计算机程序，该指令被设置为当在电脑或者电子设备上执行时，使得计算机或者电子装备分别地执行上述方法。本发明还涉及一种存储有这样的计算机程序的计算机可读介质。至此，在上述的实施方式中，能够在其上放置有对象，比如手指，的坐标输入表面 (也就是所述的第一坐标输入表面)和用户观察的坐标输入表面(也就是所述的第二坐标输入表面)被描述为一个整体和同一个表面。因此在上下文中仅用“坐标输入表面”进行表达。然而，本发明也涵盖了这种实施方式，其中上面放置了或者能够放置对象，比如手指，的坐标输入表面(也就是所述第一坐标输入表面)和用户观察的坐标输入表面(也就是所述的第二坐标输入表面)是不同的表面。因此，在这些实施方式中，其中放置或者能够放置对象，比如手指，的坐标输入表面被称为“第一坐标输入表面”，“用户观察的坐标输入表面”被称为“第二坐标输入表面”。特别涵盖了这种情况，其中第二坐标输入表面被设置在设备的前侧，而第一坐标输入表面被设置在设备的后侧。设置在设备前侧的第二坐标输入表面可以但并不必须地包括触觉感知能力。即便不包含触觉感知能力，在这里仍然称为“坐标输入表面”，因为眼睛注视到或者通过这个平面的估计被用来当作坐标的输入(所估计的第二位置)。因此，当被制定为涵盖这两种实施方式时，根据本发明实施方式的电子设备包括第一坐标输入表面、第二坐标输入表面、第一位置估计单元和第二位置估计单元。在第一坐标输入表面上能够放置至少用户的手指。第二坐标输入表面可以和第一坐标输入表面相同或者不同。第一位置估计单元用于估计放置在第一坐标输入表面上的至少一个对象的位置，这里称为第一位置。第二位置获取单元用于获取用户在第二坐标输入表面上观察的位置，这里称为第二位置，的估计。该设备被设置为，基于所估计的第一位置和所估计的第二位置的组合对设备进行控制。其中第一和第二坐标输入表面是相同的一个表面的这些实施方式的优点已经在上面进行了描述。当第一和第二坐标输入表面彼此不相同时，能够获得大体相同的优点。除了上面已经描述的优点，特别地，通过在设备后侧设置第一坐标输入表面，解决了(显示内容的)目标被手指隔断的问题和在第二坐标输入表面(当其为显示器时)上印有指纹的问题。在这种情况下，采用所估计的第二位置(也就是所估计的用户在第二坐标输入表面上观察的位置)特别有利于控制设备。这是因为在任何时刻用户一般都能看见并因此观察整个前侧的第二坐标输入表面，比如前侧显示器，而不存在由于在第一坐标输入表面上以手指作为输入装置而引起的任何障碍。在一个实施方式中，该设备是这样的，第一坐标输入表面和第二坐标输入表面是彼此不同的；第二输入表面设置在设备的一侧，所述一侧在这里称为前侧；第一坐标输入表面设置在设备另一侧，所述另一侧与所述前侧相对，这里称为后侧。在一个实施方式中，该设备包括显示器，并且第二坐标输入表面是位于显示器上方的外表面。在这个实施方式中，设备被设置为，当对象被放置在第一坐标输入表面上时， 在显示器上描绘以下至少一个光标，用于指示对象的位置在后侧上的位置；对象的表示， 使得看上去好像该设备是透明的；对象的表示，使得看上去好像设备是半透明的。不同的第一和第二坐标输入表面的归纳(generalization)也可以应用本发明的系统、方法和计算机程序。
本发明的其它目的、特征和优点将从以下的本发明的一些实施方式的详细描述中出现，其中将参照附图更详细地描述本发明的一些实施方式，其中图Ia是本发明一个实施方式的电子设备的示意图；图Ib是本发明一个实施方式的电子设备的坐标输入表面和显示器的示意图；图Ic和Id是本发明实施方式的两个电子设备的示意图，其中第一和第二输入坐标表面分别是相同的(图Ic)和彼此不同的(图Id)；图2是本发明一个实施方式的电子设备及其一些构成单元的示意图3是本发明一个实施方式中的方法步骤的流程图，其中这些步骤可以被设置为由图2中的设备来执行；图如至如是各种情形的示意图，其中第一位置和第二位置可以在本发明一个实施方式中的设备和方法中被估计；图5是本发明一个实施方式中的设备及其一些构成单元的示意图，其中图像获取单元和第二位置估计单元被包含在该设备中；图6是本发明一个实施方式中的方法步骤的流程图，其中这些步骤可以由图5中的设备来执行；图7是本发明一个实施方式中的设备及其一些构成单元的示意图，其中图像捕捉单元被包含在该设备中；图8是本发明一个实施方式中的方法的步骤的流程图，其中这些步骤可以由图7 中的设备来执行；图9是本发明的设备或者方法的一个实施方式的步骤的流程图，这些步骤导致打开或者激活图像捕捉单元或者激活图像捕捉过程。
具体实施例方式下面将结合特定的实施方式来描述本发明。需要注意的是这些特定的实施方式能够提供给本领域技术人员更好的理解，但并不以任何形式对本发明的主旨进行限定，本发明的主旨由权利要求来限定。图Ia示意性例示了本发明一个实施方式中的设备10。设备10包括坐标输入表面12。坐标输入表面12可以设置在显示器1 上方，并且可以是触摸屏。坐标输入表面 12的物理尺寸在本发明中没有限定。然而，在一个实施方式中，坐标输入表面12的宽度在 2到20厘米之间，坐标输入表面的高度在2到10厘米之间。同样地，在本发明中没有对显示器13b的屏幕尺寸分辨率进行限定。在一个实施方式中，坐标输入表面12和显示器13形成触摸屏，也就是坐标输入表面12和显示器1 通过电气方法、电动机械的方法或者类似的方法相结合以检测在坐标输入表面12上是否存在对象，并且确定对象的位置，比如一个或者多个手指(多触摸相互作用)、触针或者输入笔。触摸屏使得在对象与坐标输入表面12以及与坐标输入表面12下方的显示器1 之间有直接的相互作用，而不需要采用额外的鼠标或者触摸板。虽然图1中例示的设备10有天线，但设备10不是必须具有无线通信装置。在一个实施方式中，设备10具有无线通信装置。在另外一个实施方式中，设备10没有无线通信装置。
图Ib示意性例示了本发明的一个实施方式中的设备10的坐标输入表面12和显示器13b。坐标输入表面12是层13a的外表面，层13a可以是显示器13b的保护层，也就是形成显示器13b的有源显示元件的保护层。层13a可以包括用来检测和用来辅助检测放置在坐标输入表面12上的手指或其他对象的装置。这种装置包括比如电阻装置，电容装置或者能够传播表面声波的介质，以便检测或者辅助检测放置在坐标输入表面12上的手指或其他对象的位置。这不排除适于检测放置在坐标输入表面12上的手指或其他对象的位置的方法也适用于检测稍稍位于坐标输入表面12上方的手指或者其他对象的位置，即不是严格地触摸坐标输入表面12。在如图Ia和Ib所例示的具体实施方式
中，其上能够放置对象的坐标输入表面12 与用户观察的坐标输入表面12是相同的。在一个实施方式中，如图Ic所例示的就是这种情况。也就是，对象能够被放置到其上的第一坐标输入表面1 和用户观察的第二坐标输入表面12b是同一个表面。在其他实施方式中，如图Id所示，不是这种情况。也就是，第一坐标输入表面12a (在图Id中被隐藏)和第二坐标输入表面12b (在图Id中示出)并不是同一个表面。具体来讲，在其上能够放置对象，比如手指，的第一坐标输入表面1 被设置在设备10的后侧，而用户在操作中所观察的第二坐标输入表面12b被设置在设备10的前侧。图Id中所示的具体实施方式
因此将一个后部触摸感应能力特征和眼球注视检测相结合来控制设备 10。“Wigdor D. et al，Lucidtouch :A See-Through Mobile Device, UIST' 07, 0ctober7-10,2007, Newport, Rhode Island，USA” 和“Baudisch P. et al, Back-of-device interaction allows creating very small touch devices,Proceedings of the 27th international conference on Human factors in computing systems, Boston, MA, USA, pages 1923-1932，2009”公开了应用到本发明的这个实施方式中的后侧或者设备后侧触摸感应能力特征。在本发明的一个示例性、非限定性实施方式中，按照如 Baudish P. et al的图3中所例示的三种设备后侧设计方法中的任一个(夹持、手表、手链、 戒指或者类似物)，第一坐标输入表面1 设置在设备10的后侧。后侧触敏能力特征可以和伪透明特征相结合(参见Wigdor D. et al)。伪透明特征中，在设备后侧上的手的图像被覆盖于显示内容中(如在设备10前侧看到的)，使其出现设备10是透明的或者半透明的假象。伪透明特征可以使用户在不用他们的手指和手阻隔显示器13的同时精确地标识出位置，并且当结合本发明的实施方式时，这是特别有优势的，这点可以从以上的讨论中得以理解。后侧触敏能力特征是可选的。当使用后侧触敏时，伪透明特征是可选的。可以使用伪透明，也可以应用实际上透明的，或者用来指示触摸设备10后侧的一个手指(或多个手指)的位置可以在设备的前侧产生而不需要实际上的伪透明。在显示内容中具有或者不具有伪透明和具有或者不具有一个光标或者多个光标的后侧触敏在后侧上的手指与在前侧指示的位置之间产生了紧密的物理上的交互作用。在上下文中，所估计的第二位置特别有用。实际上，眼睛注视(在基于手指的相互作用所发生的空间的方向上)和基于手指相互作用协同地生成输入动作(手指和眼睛注视)的接近空间密度(close spatial concentration)和视觉显示反馈。这改善了用户相互作用的精度、 速度和直观的特性。图la、lc和Id示出了条形的设备10。任何其他的形状，比如片状、可折叠、可旋转、 蛤壳形或者翻盖(flip)、滑动的形状、旋转的形状、立方形、球形等都在本发明的范围内。在一个实施方式中，设备10的前侧和后侧都具有触敏能力。如图2至图9所示的实施方式都应用到前侧触摸输入(也就是如果第一坐标输入表面1 和第二坐标输入表面12b是同一个表面1 和后侧触摸输入(也就是如果第一坐标输入表面1 和第二坐标输入表面12b是不同表面)上，虽然在这些实施方式中第一坐标输入表面1 和第二坐标输入表面12b通常被统称为“坐标输入平面”。无论采用前侧触摸输入还是后侧触摸输入，都会在协助一个手指或者多个手指选择在显示器13b (特别地是小显示器13b)上的正确目标，或者进行意愿动作时遇到问题。采用两种输入机制，一个手指(或者尖的对象)和眼睛注视。手指主要用来选择项目或者目标，而眼睛注视用来对所输入的位置或者操作进行纠正或者消除不确定性。图2示意性例示了本发明一个实施方式中的设备10及其构成部分。设备10包括第一位置估计单元14和第二位置估计获取单元16。第一位置估计单元14被设置用来估计坐标输入表面12 (或者第一坐标输入表面 12a，如果第一和第二坐标输入表面12a、12b是不同的)上的至少一个对象的位置，这里称为第一位置14p。第一位置估计单元14可以设置在显示器1 上方，也就是在有源显示层 13b上方。所估计的第一位置14p用来控制设备10。第二位置获取单元12被设置为获取(也就是生成、获取、接收或者被用来输入) 用户在坐标输入表面12 (或者第二坐标输入表面12b，如果第一和第二坐标输入表面1 和 12b是不同的)上观察的或者朝向观察的方位(location)的位置的估计，这里的位置称为第二位置16p。用户可以是使用设备10但并不把持设备的用户。所示的两条指向第二位置获取单元16的点状箭头表明含有所估计的第二位置1 的信息可以从设备10内部的另外一个单元处接收，或者另选地，从设备10外部的单元处接收或者获取。将所估计的第一位置14p和所估计的第二位置1 结合用来控制设备10。通过所估计的第一位置14p和所估计的第二位置1 的结合来控制设备10可以是不经常的，也就是说这种方法是对单独采用所估计的第一位置14p来控制设备10的补充，或者是对单独采用所估计的第二位置1 来控制设备10的补充。执行第二位置估计单元16和第二位置估计步骤s5(如附图5所示)功能的解决方法，也就是用来估计对应于用户在坐标输入表面12 (或者第二坐标输入表面12b)上观察或者朝向观察的第二位置1 的技术，包括以下示例性解决方案。第一，位于瑞典Danderyd的TOBII Technology AB公司已经研发出称为T60和 T120的眼球追踪器，该眼球追踪器可以用于或者改装用于本发明一个实施方式中的设备 10中。第二，可以使用在"Kaminski J. Y et al, Three-Dimensional Face Orientation and Gaze Detection from a Single Image, arXiv :cs/0408012vl[cs. CV],4 Aug 2004” 中提出的方法。该方法采用由人体测量的特征演绎得到的人脸模型。该文献的第二部分提出人脸模型以及如何使用这种模型来计算欧几里得几何学的面部三维方向和位置。该文献中的图6示出了一种用来估计注视方向的系统流程图。第三，也可以米用在"Kaminski J. Y et al, Single image face orientation and gaze detection, Machine Vision and Application,Springer Berlin/Heidelberg,ISSN 0932-8092”中提出的方法。第四，可以采用在“Bulling，A.et al (2009), Wearable EOG goggles =Seamless sensing and context-awareness in everyday environment, Journal of Ambient Intelligence and Smart environments (JAISE) 1 (2) :157_171”中提到的方法。该文献公开了一种依靠眼动电图描记法(EOG)的自主的、可佩戴的眼球追踪器。眼球是稳定电压的来源，通过分析电压场的改变，可以追踪眼球的移动。在本发明的一个实施方式中，可以采用这种眼球追踪器，来获取用户在第二坐标输入表面上观察的位置的估计。此外，在本发明的一个实施方式中，从可追踪眼球追踪器得到的数据能够通过蓝牙传送到设备10，比如移动电话。H Bj ^ M ^ "Crane, H. D. et al, Generation-V dual-Purkinje-image eyetracker, Applied optics 24 :527-537 (1985) ”中提出的方法。该文献包含追踪由眼球或者眼球的其他部分反射的光线。也可以采用基于检测头部方向、眼睛的不同部位、鼻子和面部的其他部位，或者面部的人造部位的其他解决方案。在一个实施方式中，估计第二位置1 不需要知道在参考的绝对物理框架中的注视方向。在该实施方式中，通过在间隔的时间内追踪用户的注视方向的变化，可以利用在坐标输入表面12，或者在显示器1 上的位置的最大范围与注视角度的最大范围之间的映射。也就是说，采用这种方式，在间隔的时间内，用户连续地或者主要地观察坐标输入表面 12 (或者第二坐标输入表面12b)边界之内的某些点，注视方向的变化范围可以被记录。这可以当作用户当前在坐标输入表面12(或者第二坐标输入表面12b)上观察的方向的指示， 其依赖于当前注视的方向。在一个实施方式中，用户的眼睛注视被检测(也可以随时间来追踪)以控制用户界面输入过程，其中注视不需要从眼球获得有意的传动控制即可协助用户界面输入过程。 也就是说，用户不必意识到他的或者她的注视被用来协助控制用户界面相互作用。因此，在这个实施方式中，眼睛注视检测和/或追踪的作用仅是辅助的，在眼睛注视检测的时间内的打断不会对仅仅基于所估计的第一位置14p控制设备10带来损害。例如，如果用于图像捕捉的条件是没有足够的时间精确测量第二位置，比如由于特定光线条件，则注视不必用作用户界面控制并且用户界面相互作用不会被打断。图3是本发明的一个实施方式中的方法中所执行的步骤的流程图。这些步骤可以被设置为由图2的设备来执行。在步骤si中，估计第一位置。也就是说，估计放置在坐标输入表面12(或者第一坐标输入表面12a)上的至少一个对象的位置，比如一个或者多个手指、触针或者输入笔， 该坐标输入表面可以是，如前所述，在设备10的显示器1 上方或者在设备后侧的外表面。在步骤s2中，获得或者接收第二位置1 ，也就是用户在坐标输入表面12 (或者第二坐标输入表面12b)上观察或者朝向观察的位置。在步骤S3中，利用所估计的第一位置14p和所估计的第二位置1 来控制设备10。 例如，响应于用户和设备10的相互作用，特别是与设备10的显示器13b上所显示的内容相结合地，利用所估计的第一位置14p和所估计的第二位置1 向控制设备10提供指令。估计第一位置14p的步骤1和获取第二位置1 的估计的步骤2可以按照任意顺序来执行。在一个实施方式中，步骤si和步骤s2同时地或基本同时地进行。图如至如示意性例示了三种情况，其中所估计的第一位置14p和所估计的第二位置1 被结合起来用于控制设备10。在这三幅图中，通过坐标输入表面12，显示在显示器13b上的内容，也就是显示内容是可见的。如图所示，平直的线段各自示意性地表示了在显示内容中用户可选择的示范目标，或者希望选择的目标。例如，目标可以是呈现在显示内容中的网页中的HTML链接。不过目标可以是在显示内容中所显示的图像的任何要素。也就是说，目标可以是显示内容显示的特殊部分、区域、点、字、字符、符号、图标或者类似物。图4中示出了两个目标。在这两个目标之间，所估计的第一位置14p被例示为字符 “X”形状的叉状(但是“X”并不构成显示内容的部分，而仅仅代表所估计的第一位置14p)。 在第一目标上方还示出了所估计的第二位置16p，也是用字符“X”形状的叉状(“X”也不是显示内容的部分，而仅仅代表所估计的第一位置16p)来表示。在这种情况下，用户出于选择显示在显示内容上的两个目标中的一个，而使用他或她的手指(在设备10的前侧或者后侧)。然而，手指输入可能是不明确的，因为不可能单独从手指输入，也就是单独从第一位置 14p，来决定用户希望选择两个目标中的哪一个。如果可能，利用所估计的第二位置1 来消除输入的不确定性。在图如中的情形下，可能确定出第一目标(上方的)是用户最有可能希望选择的那个。如果不可能混淆基于第一位置14p和第二位置1 结合的用户的输入，那么设备10可以通过缩放在第一和第二目标周围的显示内容而受到控制，从而提供给用户机会更精确地选择两个目标中的一个。 响应于输入是不明确并且不能解决的确定，缩放操作可以自动执行。在图4b中，相反地，第一位置14p和第二位置1 相结合运用的结果使得第二目标 (第一目标下方的目标)是用户更有可能希望选择的目标，也就是打算去选择的目标。图如示出了一种情形，其中仅有一个目标在所估计的第一位置14p附近。此外， 所估计的第二位置1 可能被确定为位于距离目标相对远的地方，如图所示。第一位置14p 和第二位置1 的结合运用的结果可以是确定了用户很可能不希望选择所显示的目标，而是希望沿着他或她在坐标输入表面12上观察的方向，也就是他或她在显示内容中观察的地方来摇摄显示内容，或者沿着所估计的第二位置1 的方向来摇摄显示内容。在一个实施方式中，如图如和4b所示，当显示内容包括至少两个目标时，仅当至少两个目标位于所估计的第一位置14p的阈值距离内时，才使用所估计的第二位置16p。如果这样，通过选择最接近所估计的第二位置1 的目标来控制设备10。另选地，可以计算作为所估计的第一位置14p和所估计的第二位置1 的加权平均值的第三位置来确定用户最有可能想要选择的显示内容上的位置。在一个实施方式中，所估计的第一位置14p以大于预定阈值速度的速度在坐标输入表面12上移动的确定导致了用户希望摇摄显示内容的确定。所估计的第二位置1 可用来和所估计的第一位置145相结合以据此控制设备10。如果所估计的第二位置1 靠近坐标输入表面12的边缘，则可以确定为指示了 用户希望沿着所估计的第二位置1 的方向摇摄显示内容。可以据此来控制设备10。其他操作，比如拖放操作，也可以基于所估计的第一位置14p和所估计的第二位置 16p的结合来进行控制，并且可能依赖于显示内容。消除以下动作之间的不确定性或者改善以下动作的检测或者精度也都在发明的保护范围内摇摄动作、轻敲动作(手指、触针或者笔移动到显示内容的点上，可能是想选择或者取消被轻敲的项目；另选地，当选定该项目时，在显示内容的背景上的轻敲导致取消已选项目)，环绕动作、划掉(scratch-out)动作 (曲线运动或者前后运动等形式)或者任何其他动作或者方案。所估计的第二位置1 如上所述地被采用，因为用户观察他们正在工作的内容并且眼睛注视包含与个体执行的当前任务有关的信息，如在文献“Sibert，L. Ε. et alEvaluation of eye gaze interaction, Proceedings of the ACM CHI 2000 Human Factors in Computing Systems Conference(pp. 281-288), Addison-ffesley/ACM Press，， 中第282页，左边栏第1-2行和10-11行中所解释的。图5示意性例示了本发明的一个实施方式中的设备10。如图5所示，设备10区别于图2中的设备10之处在于，除了第一位置估计单元14和第二位置获取单元16，设备10 还包括图像获取单元18和第二位置估计单元20。如果具有图像获取单元，那么图像获取单元18被设置为用来获取面对坐标输入表面12 (或者第二输入表面12b)的用户面部的至少一幅图像，其中显示器1 通过该坐标输入表面12是可见的。为了获取用户面部的至少一幅图像，图像获取单元18可被设置为获取在坐标输入表面12 (或者第二坐标输入表面12b)前方的至少一部分环境的至少一幅图像。所例示的两条到达图像获取单元的点状箭头表示可以由图像获取单元18从设备10 外部的单元或者另选地从设备10内部的单元获取或者接收的一幅图像或者多幅图像。第二位置估计单元20被设置为基于图像接收单元18接收的至少一幅图像来估计第二位置16p。换言之，从输入的一幅或者多幅图像来估计第二位置16p的操作是在设备10 内执行的。图6例示了在本发明一个实施方式中的方法的步骤的流程图。这些步骤可以由如图5所示的设备10来执行。步骤sl、s2和s3与图3中所描述的是一样的。图6的流程图除此之外还包括步骤s4 获取面对输入表面12 (或者第二坐标输入表面12b)的用户面部的至少一幅图像。接下来，在步骤s5中，基于这至少一幅图像来估计第二位置16p。然后所估计的第二位置1 在步骤s2中被接收或者获取以便与所估计的第一位置14p(在步骤si 中被估计)相结合来控制设备10 (步骤s3)。图7示意性例示了本发明一个实施方式的设备10。相比于图5中所示的设备10， 图7中所示的设备10包括图像捕捉单元22。图像捕捉单元22被设置用来捕捉面对坐标输入表面12 (或者第二坐标输入表面12b)的用户面部的至少一幅图像。设备10的用户在坐标输入表面12 (或者第二坐标输入表面12b)的前方一般是可见的。图8是本发明一个实施方式的方法中所执行的步骤的流程图。这些步骤可以由图 7所示的设备10来执行。除了参考图3和6描述的步骤si、s2、s3、s4和s5之外，图8的流程图还例示了步骤s6 捕捉面对坐标输入表面的用户面部的至少一幅图像，这可以通过捕捉在坐标输入表面12(或者第二坐标输入表面12b)前方的环境中的至少一幅图像来实现。一幅图像或者多幅图像在步骤s4中被接收以便在步骤s5中用来估计第二位置16p。在步骤s3中，结合所估计的第二位置1 和所估计的第一位置14p来控制设备10。图9是例示了确定步骤(s61)基于显示内容和所估计的第一位置14p的条件是否满足的处理的流程图。如果条件满足，则在步骤s62中，激活图像捕捉处理，或者图像捕捉单元22被激活或者打开，用来从坐标输入表面12 (或者第二坐标输入表面12b)前方的环境中捕捉至少一幅图像。在一个实施方式中，激活图像捕捉处理或者用来激活或者打开图像捕捉单元22 的条件包括显示内容中的至少两个目标在所估计的第一位置14p的预定距离内。在一个实施方式中，激活图像捕捉处理或者激活或者打开图像捕捉单元22的条件包括所估计的第一位置14p被确定为正在移动。更精确地，该条件可以是所估计的第一位置丨 被确定为正在以大于预定速度的速度移动。可以通过及时地追踪所估计的第一位置 14p(或者以规律的时间间隔获取)来计算所估计的第一位置14p的动作或者与该动作相对应的速度。在一个实施方式中(未图示)，当试图估计与用户在坐标输入表面12上观察或者朝向观察一致的第二位置16p时，如果检测到多于一个面部，则执行划分优先级的处理。也就是说，如果检测到多于一个面部，则设备决定哪个面部优先通过图像捕捉单元22和第二位置估计单元20来控制设备10。例如，划分优先级是基于检测到的面部大小(最大的面部最有可能是最接近设备10的，因此也最有可能属于设备10的使用者)，这是基于哪个面部最接近照相机的视场的中央(出现在最靠近照相机视场的中心的人是最有可能是使用设备10的人)，或者基于记录在设备10中的面部的识别(可以得知设备10的拥有者并且可以被设备10确定)。在一个实施方式中，如果所选择的划分优先级技术(或者它们的组合)失效，那么图像捕捉单元22的一幅或者多幅图像不用来控制设备10。在一个实施方式中，当手指从作为第一坐标输入表面12a的后侧触摸表面释放 (因此形成“释放”动作)时，所估计的第二位置被用来纠正所估计的释放的手指位置。这使得能够用前侧的手指来选择本来无法选择或者不能容易地选择到的目标。例如，通过安装在后侧的电容阵列、LED阵列、照相机等(参见Wigdor D. et al的“Alternative Sensing Technologies”部分)来实现后侧第一坐标输入表面12a。根据本发明的包括设备10的物理实体可以包含或者存储包括有指令的计算机程序，当计算机程序在物理实体上执行时，执行根据本发明的实施方式的步骤和处理。本发明还涉及用来执行根据本发明的方法计算机程序，并且涉及任何一种计算机可读的介质，该介质存储用于执行根据本发明的方法的计算器程序。在这里用到的词语“第一位置估计单元”、“第二位置获取单元”、“图像获取单元”、 “第二位置估计单元”和“图像捕捉单元”，不作为这些单元是如何分配的以及如何组合这些单元的限定。也就是说，第一位置估计单元、第二位置获取单元，图像获取单元、第二位置估计单元以及图像捕捉单元可以被分配到不同软件或者硬件组成部分或者装置中以带来想要的功能。多个不同的元件也可以被组合来提供想要的功能。上述设备10的单元中的任何一个可以在硬件、软件、现场可编程门阵列(FPGA)， 专用集成电路(ASIC)、固件等中实现。在本发明的进一步实施方式中，上述的和/或声明的第一位置估计单元、第二位置获取单元、图像获取单元、第二位置估计单元以及图像捕捉单元中的任何一个被第一位置估计装置、第二位置获取装置、图像获取装置，第二位置估计装置以及图像获取装置分别地替代，或者被第一位置估计器、第二位置获取器、图像获取器、第二位置估计器以及图像捕捉器分别地替代，用以执行第一位置估计单元、第二位置获取单元、图像获取单元、第二位置估计单元以及图像捕捉单元的功能。在本发明的进一步实施方式中，上述的步骤可以这样被实现通过采用计算机可读指令，比如计算机可理解的程序、方法或者类似物的形式，或者用任何一种计算机语言， 和/或以在固件上嵌入的程序的形式、集成电路或者类似物。虽然本发明在详细的实施方式的基础上进行描述，但详细的实施方式仅仅用于给本领域技术人员提供更好的理解，并不作为对本发明主旨的限制。本发明的保护范围通过权利要求进行限定。
权利要求
1.一种电子设备(10)，该电子设备(10)包括第一坐标输入表面(1 )，至少用户的手指能够放置在上面； 第二坐标输入表面(12b)，其与第一坐标输入表面(12a)相同或者不同； 第一位置估计单元(14)，其用于估计放置在第一坐标输入表面(12a)上的至少一个对象的位置(14p)，这里称为第一位置；第二位置获取单元(16)，其用于获取用户在第二坐标输入表面(12b)上观察的位置的估计，这里称为第二位置(iep)；其中，该设备(10)被设置为至少基于所估计的第一位置(14p)和所估计的第二位置 (16p)的组合而受到控制。
2.根据权利要求1所述的电子设备(10)，该电子设备(10)还包括 显示器(13b),其中，第二坐标输入表面(12b)是位于该显示器(13b)上方的外表面。
3.根据权利要求2所述的电子设备(10)，该电子设备(10)还包括图像获取单元(18)，其用于获取面对第二坐标输入表面(12b)的用户面部的至少一幅图像；第二位置估计单元(20)，其用于基于所述至少一幅图像来估计第二位置(1 )。
4.根据权利要求3所述的电子设备(10)，该电子设备(10)还包括用于捕捉所述至少一幅图像的图像捕捉单元02)。
5.根据权利要求4所述的电子设备(10)，其中，所述图像捕捉单元0 被设置为当条件满足时捕捉至少一幅图像，并且， 所述条件取决于在所述显示器(13b)上显示的内容，这里称为显示内容，以及所估计的第一位置(Hp)。
6.根据权利要求5所述的电子设备(10)，其中，所述条件包括所述显示内容中的至少两个目标位于所估计的第一位置(14p)的预定距离内。
7.根据权利要求6所述的电子设备(10)，其中，所述显示内容包括网页、地图和文档中的至少一个，并且所述至少两个目标是所述显示内容中的至少两个链接。
8.根据权利要求5至7中任意一项所述的电子设备(10)，其中，所述条件包括所估计的第一位置(14p)被确定为正在移动。
9.根据权利要求2至4中任意一项所述的电子设备(10)，该电子设备(10)被设置为当所述显示器(13b)上显示的内容，这里称为显示内容，中的至少两个目标被确定为在所估计的第一位置(14p)的阈值距离内时，通过基于所估计的第二位置(16p)选择所述至少两个目标中的一个而受到控制。
10.根据权利要求9所述的电子设备(10)，其中，基于所估计的第二位置(16p)选择所述至少两个目标中的一个的操作包括在所述至少两个目标中选择最靠近所估计的第二位置(16p)的那个目标。
11.根据权利要求9或10所述的电子设备(10)，其中， 所述显示内容包括网页、地图和文档中的至少一个，并且所述至少两个目标是所述显示内容中的至少两个链接。
12.根据权利要求2至4中任意一项所述的电子设备(10)，该电子设备(10)被设置为当所估计的第一位置(14p)被确定为正在移动并且所估计的第二位置(16p)被确定为靠近第二坐标输入表面(12b)的边缘时，通过沿着所估计的第二位置(16)的方向摇摄在所述显示器(13b)上显示的内容，这里称为显示内容，而受到控制。
13.根据以上权利要求中任意一项所述的电子设备(10)，该电子设备(10)为移动电话、音频播放器、摄像机、导航设备、电子书设备、计算机、手持计算机、个人数字助理、游戏机和手持游戏机中的至少一个。
14.根据以上权利要求中任意一项所述的电子设备(10)，其中， 第一坐标输入表面(12a)和第二坐标输入表面(12b)是彼此不同的；第二坐标输入表面(12b)被布置在所述电子设备(10)的一侧上，这里将此侧称为前侧；并且第一坐标输入表面(12a)被布置在所述电子设备(10)的另一侧上，所述另一侧与所述前侧相对，这里称为后侧。
15.根据权利要求14所述的电子设备(10)，该电子设备包括显示器(1 ),其中， 第二坐标输入表面(12b)是位于所述显示器(13b)上方的外表面，并且所述电子设备(10)被设置为，当对象被放置在第一坐标输入表面(12a)上时，在所述显示器(13b)上描绘以下至少其一光标，其用于指示所述对象的位置在所述后侧上的位置； 所述对象的使得所述电子设备(10)好像是透明的表示；以及所述对象的使得所述电子设备(10)好像是半透明的表示。
16.一种系统，该系统包括根据权利要求1或2所述的电子设备(10)；图像捕捉单元(22)，其相对于所述电子设备(10)而设置，从而能够捕捉面对所述电子设备(10)的第二坐标输入表面(12b)的用户面部的至少一幅图像； 图像获取单元(18)，其用于获取所述至少一幅图像；以及第二位置估计单元(20)，其用于基于所述至少一幅图像来估计第二位置(16p)； 其中，至少所述图像捕捉单元0 不与所述电子设备(10) —体形成。
17.根据权利要求16所述的系统，其中，所述图像捕捉单元(22)、所述图像获取单元 (18)和第二位置估计单元00)不与所述电子设备(10) —体形成。
18.—种控制电子设备(10)的方法，所述电子设备(10)包括第一坐标输入表面 (12a)，至少用户的手指能够放置在上面；第二坐标输入表面(12b)，其与第一坐标输入表面(12a)相同或者不同，所述方法包括以下步骤估计(si)放置在第一坐标输入表面(12a)的表面上的至少一个对象的位置，这里称为第一位置(14p)；获取(^)用户在第二坐标输入表面(12b)上观看的位置，这里称为第二位置(1 )，的估计；至少基于所估计的第一位置(14p)和所估计的第二位置(16p)的组合来控制(U)所述电子设备(10)。
19.根据权利要求18所述的方法，其中，所述电子设备(10)还包括显示器(1 ),并且其中，第二坐标输入表面(12b)是位于所述显示器(13b)上方的外表面。
20.根据权利要求19所述的方法，该方法在获取(^)第二位置(16p)的估计的步骤之前还包括以下步骤获取(s4)面对第二坐标输入表面(12b)的用户面部的至少一幅图像；以及基于所述至少一幅图像来估计(s5)第二位置(1 )。
21.根据权利要求20所述的方法，该方法在获取(s4)面对坐标输入表面(1 的用户面部的至少一幅图像的步骤之前还包括以下步骤捕捉(s6)所述至少一幅图像。
22.根据权利要求21所述的方法，其中，当条件满足时捕捉所述至少一幅图像；并且所述条件取决于所述显示器(13b)上所显示的内容，这里称为显示内容，以及所估计的第一位置(Hp)。
23.根据权利要求22所述的方法，其中，所述条件包括所述显示内容中的至少两个目标位于所估计的第一位置(14p)的预定距离内。
24.根据权利要求23所述的方法，其中，所述显示内容包括网页、地图和文档中的至少一个，并且所述至少两个目标是所述显示内容中的至少两个链接。
25.根据权利要求22至M中任一项所述的方法，其中，所述条件包括所估计的第一位置(14p)被确定为正在移动。
26.根据权利要求19至21中任一项所述的方法，其中，所述电子设备(10)被设置为， 当所述显示器(13b)上所显示的内容，这里称为显示内容，中的至少两个目标被确定为在所估计的第一位置(14p)的阈值距离内时，通过基于所估计的第二位置(16p)选择所述至少两个目标中的一个而受到控制。
27.根据权利要求沈所述的方法，其中，基于所估计的第二位置(16p)选择所述至少两个目标中的一个的操作包括在所述至少两个目标中选择最靠近所估计的第二位置(16p)的那个目标。
28.根据权利要求沈或27所述的方法，其中，所述显示内容包括网页、地图和文档中的至少一个，并且所述至少两个目标是所述显示内容中的至少两个链接。
29.根据权利要求19至21中任一项所述的方法，其中，所述电子设备(10)被设置为当所估计的第一位置(14p)被确定为正在移动并且所估计的第二位置(16p)被确定为靠近第二坐标输入表面(12b)的边缘时，通过沿着所估计的第二位置(16p)的方向摇摄在所述显示器(13b)上显示的内容，这里称为显示内容，而受到控制。
30.根据权利要求18至四中任一项所述的方法，其中，第一坐标输入表面(12a)和第二坐标输入表面(12b)是彼此不同的； 第二坐标输入表面(12b)被布置在所述电子设备(10)的一侧上，这里将此侧称为前侧；并且第一坐标输入表面(12a)被布置在所述电子设备(10)的另一侧上，所述另一侧与所述前侧相对，这里称为后侧。
31.根据权利要求30所述的方法，其中， 所述电子设备(10)包括显示器(1 ),第二坐标输入表面(12b)是位于所述显示器(13b)上方的外表面，并且该方法还包括以下步骤当对象被放置在第一坐标输入表面(12a)上时，在所述显示器(13b)上描绘以下至少其一光标，其用于指示所述对象的位置在所述后侧上的位置； 所述对象的使得所述电子设备(10)好像是透明的表示；以及所述对象的使得所述电子设备(10)好像是半透明的表示。
32.一种包含指令的计算机程序，所述指令被设置为，当在计算机上执行时，使得计算机执行根据权利要求18到31中任一项所述的方法。
全文摘要
一种电子设备(10)包括坐标输入表面(12a)，其中至少用户的手指能够放置在上面；第一位置估计单元(14)和第二位置接收单元(16)。第一位置估计单元(14)用于估计放置在坐标输入表面(12a)上的至少一个对象的位置，这里称为第一位置(14p)。第二位置获取单元(16)用于获取用户在同一个或者另外的坐标输入表面(12b)上观察的位置的估计，这里的位置称为第二位置(16p)。该电子设备至少基于所估计的第一位置(14p)和所估计的第二位置(16p)而被控制。本发明还涉及一种包括这种设备(10)的系统、一种用于控制这种设备(10)的方法和计算机程序。
文档编号G06F3/038GK102422253SQ200980159182
公开日2012年4月18日 申请日期2009年6月15日 优先权日2009年5月8日
发明者卡尔·奥拉·特恩 申请人:索尼爱立信移动通讯有限公司