便携式电子设备和控制便携式电子设备的方法与流程

本发明的实施方式涉及便携式电子设备，并且涉及控制便携式电子设备的方法。本发明的实施方式具体来说涉及包括可操作以跟踪便携式电子设备的用户的眼睛注视方向的注视跟踪装置的便携式电子设备、以及操作这样的便携式电子设备的方法。

背景技术：

基于注视的控制继续证明了多种多样的电子装置的日益流行。在专用的特殊应用装置中，诸如在飞机或监视应用中的基于注视的控制，专用的注视跟踪装置可以可操作以高精确度确定眼睛注视方向。

对于很多便携式电子装置，诸如手持型蜂窝通信终端或头戴式装置，注视跟踪会是不太精确的。其原因是高度精确的、专用的注视跟踪装置可以由于与这样的装置相关联的成本和安装空间要求而对于便携式电子设备来说没有吸引力。便携式电子设备中的注视跟踪的当前的低成本解决方案可以实现的注视跟踪的空间分辨率会容易导致对用户实际上感关注的对象的错误标识。

尽管如此，存在显著数量的潜在有用应用用于便携式电子设备中的基于注视的控制，所述便携式电子设备包括手持型通信终端或头戴式显示器。示例包括当使用便携式电子设备作为摄像头时对象的优先化，或在图形用户界面上向用户显示的菜单项目中的优先化。传统的、便宜的注视跟踪装置的低分辨率会降低用户体验，因为在检测关注点时容易导致错误，而较精确的专用注视跟踪装置会以使它们对于很多用户来说较没有吸引力的方式增加设备成本。

技术实现要素：

本领域存在对于减少这些缺点中的至少一些的便携式电子设备和控制便携式电子设备的方法的需求。具体来说，本领域存在对于即使当注视跟踪装置具有小分辨率时也可以较可靠地确定用户的关注点的便携式电子设备和控制便携式电子设备的方法的需求。

根据本发明的实施方式，提供了便携式电子设备和控制便携式电子设备的方法。便携式电子设备包括注视跟踪装置。注视跟踪装置捕捉到的数据被处理并且与针对用户的视场的显著图数据结合。通过生成显著图数据并且结合地使用显著图数据和关于眼睛注视方向的信息，即使当注视跟踪装置具有低分辨率时，也可以较可靠地确定用户注视的关注点。

注视跟踪装置可以包括被布置成当便携式电子设备在使用时朝向用户的视频摄像头。这样的视频摄像头的示例是便携式电话的低分辨率视频摄像头。通过将视频摄像头用于注视跟踪，不必须提供独立的、专用的注视跟踪器。

便携式电子设备可以包括图像捕捉装置。图像捕捉装置和视频摄像头可以被布置以从不相交的立体角区段中捕捉图像数据。图像捕捉装置的设置可以基于通过将显著图数据与被注视跟踪装置捕捉的数据结合所确定的关注点被控制。

根据实施方式的便携式电子设备包括被构造成在时间区间内跟踪用户的眼睛注视方向的注视跟踪装置。便携式电子设备包括耦接到注视跟踪装置的处理装置。处理装置被构造成生成眼睛注视方向的热点图。处理装置被构造成生成用户视场的显著图数据。处理装置构造成基于热点图数据和显著图数据两者来标识视场中的至少一个关注点。

热点图数据可以提供关于注视点指向点或区域的时间区间片段的空间分辨信息，点或区域例如在便携式电子设备的显示器上。

显著图数据不需要对于用户的全视场来生成，而是可以对于视场的指定部分来生成。为了例示，当便携式电子设备将显示器定位在用户的视场中时，可以针对在显示器上输出的图像计算显著图。显著图数据可以以依赖于空间的方式来定义图像区域的显著性。

处理装置可以被构造成通过分析颜色、指向、边缘存在或其他标准中的一项或多项来计算显著图，其被应用以确定随着位置变化的显著性的变化。另选地或附加地，处理装置可以被构造成根据用户视场中的图形元素的已知位置确定显著图，例如从在便携式电子设备的显示器上显示的图形用户界面元素、增强现实元素、或游戏图形的已知位置。

便携式电子设备可以包括被构造成捕捉用户视场的至少一个图像的图像捕捉装置。该图像捕捉装置可以具有布置在便携式电子设备的外壳的与用户相对面上的孔径的主摄像头。该图像捕捉装置可以具有布置在便携式电子设备的外壳的一面上的孔径的主摄像头，所述外壳的一面与布置显示器的一面相反。

处理装置可以被构造成处理视场的至少一个图像以生成显著图数据。

处理装置可以被构造成基于所标识的至少一个关注点来控制图像捕捉装置。这允许便携式电子设备的摄像头或视频摄像头应用由注视方向控制。

处理装置可以被构造成基于所标识的至少一个关注点设置图像捕捉装置的焦点。处理装置可以被构造成控制图像捕捉装置的至少一个光学组件以基于所标识的至少一个关注点来设置焦距。处理装置可以被构造成设置图像捕捉装置的参数，该参数从包含焦距、图像捕捉装置的图像传感器的积分时间、ISO敏感度的组中选择。

注视跟踪装置可以包括具有比图像捕捉装置低的分辨率的图像传感器。注视跟踪装置可以是或可以包括视频摄像头，所述视频摄像头布置在便携式电子设备上以当便携式电子设备使用时朝向用户。注视跟踪装置的图像传感器和图像捕捉装置可以朝向不相交的立体角区段。注视跟踪装置的图像传感器和图像捕捉装置可以朝向相反方向。

便携式电子设备可以包括被构造成输出图像捕捉装置捕捉的至少一个图像的光学输出装置。处理装置可以被构造成生成在显示器上的注视点的热点图数据。这允许用户通过注视在光学输出装置上显示的至少一个图像来选择真实世界的对象。光学输出装置可以是显示器。

处理装置可以被构造成控制光学输出装置以在用户视场中输出图形元素，并且在图形元素被光学装置输出的坐标上生成基于显著图的数据。

处理装置可以被构造成基于热点图数据和显著图数据确定图形元素中的作为至少一个关注点的图形元素。处理装置可以被构造成响应于作为至少一个关注点的图形元素来控制由便携式电子设备执行的至少一个应用。

图形元素可以是增强现实元素。另选地或附加地，图形元素可以是用户界面元素。另选地或附加地，图形元素可以是游戏图形。

处理装置可以被构造成处理注视跟踪装置的输出以确定注视轨迹并且从注视轨迹生成热点图数据。处理装置可以被构造成计算注视轨迹与非常数函数的卷积以生成热点图数据。该非常数函数可以是二维高斯函数或另外的在空域具有与通过注视跟踪装置的注视方向确定中的不确定性相对应的宽度的二维函数。

处理系统可以被构造成标识由热点图数据定义的热点图与由显著图数据定义的显著图之间的交叠。处理装置可以被构造成将热点图数据和显著图数据相互配准。处理装置可以被构造成执行k近邻技术、逻辑回归技术、朴素贝叶斯技术、或另外的技术中的一项或多项以将热点图数据与显著图数据相互配准。

处理装置可以被构造成通过将热点图数据与显著图数据结合来标识最可能的注视点，并且/或者通过将热点图数据与显著图数据结合来对多个关注点划定优先级。

便携式电子设备可以是手持型通信终端。便携式电子设备可以包括被配置用于与蜂窝通信网络的通信的无线接口。便携式电子设备可以是蜂窝电话、个人数字助理、或手持型计算机。

便携式电子设备可以是头戴式装置。便携式电子设备可以是头戴式显示器。

根据另一实施方式，提供了包括根据实施方式的便携式电子设备和蜂窝通信网络的系统，该便携式电子设备连接到蜂窝通信网络的至少一个基站。

控制便携式电子设备的方法包括在时间区间内监测用户的眼睛注视方向。生成针对眼睛注视方向的热点图数据。生成针对用户的视场的显著图数据。基于热点图数据和显著图数据两者在视场中标识至少一个关注点。依赖于所标识的至少一个关注点控制便携式电子设备。

便携式电子设备可以包括图像捕捉装置。可以基于所标识的至少一个关注点来控制该图像捕捉装置的设置。

根据实施方式的方法的另外的特征和因此分别实现的效果对应于根据实施方式的便携式电子设备的特征和效果。

方法可以自动地由根据实施方式的便携式电子设备执行。

根据示例性实施方式的便携式电子设备和控制便携式电子设备的方法可以用于控制摄像头或由通信终端或头戴式装置执行的视频摄像头应用，而不限于此。

应该理解在不背离本发明的范围的情况下，上面提到的特征以及在下面有待说明的特征不仅可以用在所指示的相应的组合中，而且可以用在其他组合中或单独使用。上面提到的方面和实施方式的特征可以在其他实施方式中彼此组合。

附图说明

本发明的前述的和额外的特征和优点在结合附图阅读时将从以下的具体实施方式中显而易见，其中相同的参考数字指的是相同的元件。

[图1]图1是根据实施方式的便携式电子设备的正视图。

[图2]图2是图1的便携式电子设备的后视图。

[图3]图3是图1和图2的便携式电子设备的示意性框图。

[图4]图4是根据实施方式的方法的流程图。

[图5]图5是例示了根据实施方式的便携式电子设备的操作的视图。

[图6]图6例示了由便携式电子设备确定的热点图。

[图7]图7例示了由便携式电子设备确定的显著图。

[图8]图8例示了由便携式电子设备确定的眼睛注视方向，热点图根据所述眼睛注视方向计算。

[图9]图9是根据另一实施方式的便携式电子设备的示意性侧视图。

[图10]图10是例示了当图形元素被生成和输出时便携式电子设备的用户的视场的图。

[图11]图11是例示了当图形元素被生成和输出时便携式电子设备的用户的视场的图。

[图12]图12是根据实施方式的便携式电子设备的处理装置的功能性框图表示。

具体实施方式

在下文中将参考附图详细地描述本发明的实施方式。应该理解下文对实施方式的描述并不采取限制性意义。本发明的范围不意图受以下描述的实施方式或者限于附图，所述附图被认为只是例示性的。

附图将被认为是示意性表示，并且附图中例示的元件不一定按比例示出。相反，各种元件被示出从而它们的功能和一般性用途对于本领域的技术人员显而易见。附图中示出的或在此描述的功能块、装置、组件、或者其他物理性或功能性单元之间的任何连接或耦接还可以通过非直接连接或耦接被实施。功能块可以被在硬件、固件、软件或其组合实现。

除非另外特别注明，否则各种实施方式的特征可以彼此组合。

便携式电子设备和控制便携式电子设备的方法将被描述。便携式电子设备包括跟踪便携式电子设备的用户的眼睛注视的注视跟踪装置。该注视跟踪装置可以是包括图像传感器的视频摄像头。注视跟踪装置可以另选地或附加地包括在红外光谱范围内敏感的传感器以使用红外探测波束来检测眼睛注视方向。注视跟踪装置可以在时间区间内捕捉多个时间顺序的图像帧，其表示用户的至少一只眼睛的移动。例如，便携式电子设备可以被构造成通过确定在便携式电子设备的显示器上的注视点来确定眼睛注视方向。

便携式电子设备被构造成将由注视跟踪装置捕捉的数据与显著图数据结合以确定用户的关注点。便携式电子设备可以通过分析由便携式电子设备的图像捕捉装置捕捉的图像和/或从由处理装置或由另一计算机生成的图形元素的已知位置来计算显著图数据。

便携式电子设备被构造成结合使用被注视跟踪装置捕捉的数据和显著图数据以确定在便携式电子设备的显示器上示出的图像的哪个区域可以是例如用户的关注点。便携式电子设备可以被构造成将热点图数据与显著图数据在空域上同步以标识热点图数据与显著图数据之间的交叠。便携式电子设备可以被构造成基于热点图数据和显著图数据两者标识最可能的注视点，和/或基于热点图数据和显著图数据两者对多个关注点划定优先级。

如将更详细地说明的，实施方式的便携式电子设备和方法允许减少对最可能的注视点的不正确标识的风险，即使当注视跟踪装置具有低分辨率时，就如可以是使用指向用户的视频摄像头以检测注视方向的注视跟踪装置的情况。

图1是便携式电子设备1的正视图，图2是便携式电子设备1的后视图，并且图3是便携式电子设备1的示意性框图表示。

便携式电子设备1包括被构造成朝向用户的视频摄像头的注视跟踪装置2、主摄像头3、以及耦接到注视跟踪装置2和主摄像头3的处理装置4。该处理装置4可以是一个处理器或者可以包括多个处理器，诸如主处理器15和图形处理单元16。处理装置4可以具有其他构造并且可以由一个或几个集成电路形成，所述集成电路诸如微处理器、微控制器、处理器、控制器、或专用集成电路。

处理装置4可以执行处理和控制操作。处理装置4可以被构造成处理多个在时间区间内由注视跟踪装置2的图像传感器捕捉的图像。处理装置4可以从几个图像中计算热点图数据。处理装置4可以计算热点图数据从而热点图数据针对多个注视点中的每一个提供关于在时间区间内用户向该注视点或者向该注视点周围注视的时间片段的信息。处理装置4可以被构造成在时间区间内从用户的一只眼睛的移动中或者从用户的两只眼睛的移动中确定热点图数据。

处理装置4还可以计算针对用户的视场的显著图数据。可以针对视场的图像来计算显著图数据，该图像可以由主摄像头3捕捉。主摄像头3和注视跟踪装置2可以指向相反方向，从而主摄像头3可以捕捉与用户的视场交叠或一致的视场，并且注视跟踪装置2可以监测用户的至少一只眼睛的眼睛移动。处理装置4可以控制便携式电子设备1的显示器5以向用户显示图像，针对所述图像计算显著图。处理装置4可以分析由主摄像头3捕捉的图像以确定显著性的空间变化。在图像处理领域已知的各种处理技术可以用来确定显著图数据。为了例示，显著图数据可以从对象指向、对象边缘指向、颜色、纹理等的空间变化中确定。为了例示，显著图数据可以基于多尺度对比度、中心-环绕直方图、颜色显著性检测、景深等级、频谱残留方法、基于全局对比度的技术、情景感知的显著图计算或其他技术中的任一个或任何组合由处理装置4确定。

热点图数据是针对用户花在注视视场中的各种区域上的时间片段的表示，所述区域例如在显示器5上的不同区域。显著图数据提供随着视场中的位置变化、关于预期会吸引用户注意的特征位于何处的信息。通过将热点图数据与显著图数据结合，处理装置4可以标识最可能的注视方向或注视点。另选地或附加地，处理装置4可以向作为候选关注点的视场中的多个区域中的每一个分配概率。处理装置4可以根据被分配的概率对候选关注点划定优先级。另选地或附加地，通过将热点图数据和显著图数据两者都考虑在内，处理装置4可以标识n个最可能的用户注视的关注点，其中n是大于一的整数。

处理装置4可以将显著图数据和热点图数据彼此配准，以使在热点图数据和显著图数据的交叠区域中的显著图数据的像素与热点图数据的像素之间具有唯一的对应性。处理装置4可以使用k近邻技术，诸如逻辑回归的回归技术、朴素贝叶斯技术或其他技术以将显著图数据与热点图数据结合。

处理装置4可以使用关于由便携式电子设备1执行的应用的关注点的信息。为了例示，可以启动应用，该应用基于基于热点图数据和显著图数据而确立的所标识的关注点而选择。另选地或附加地，可以基于根据热点图数据和显著图数据而确立所标识的关注点来控制在便携式电子设备1上执行的至少一个应用的设置。

便携式电子设备1可以被配置用于对摄像头功能或视频摄像头功能的基于注视的控制。便携式电子设备1的图像捕捉装置3可以包括数字摄像头的各种组件。图像捕捉装置3可以包括光电子元件以将光学图像转换为图像数据，例如执行图像采样的CCD传感器或CMOS传感器14。图像捕捉装置3可以包括聚焦光学器件13。聚焦光学器件13可以是可调节的。图像捕捉装置3可以包括额外的组件，诸如闪光单元、照明传感器等。

处理装置4可以控制图像捕捉装置3以捕捉一个图像帧或形成视频的一系列图像帧。处理装置4可以基于所标识的关注点来调节图像捕捉装置3的设置，所述关注点通过将热点图数据与显著图数据结合而确立。处理装置4可以基于所标识的最可能的用户注视点来设置图像捕捉装置3的焦距、和/或传感器14的积分时间、和/或ISO敏感度设置。

便携式电子设备1可以包括非易失性存储器6或其他存储装置，设置被存储在其中用于用户注视点的不同参数。为了例示，在标识了最可能的注视点基于热点图数据和显著图数据时，处理装置4就可以控制测距仪17以确定用户注视的对象的距离。处理装置4可以从存储在非易失性存储器6中的数据中读取适当的用于控制图像捕捉装置3的设置，例如焦距和/或传感器14的积分时间。

便携式电子设备1可以用作便携式通信装置，例如蜂窝式电话、个人数字助理等。便携式电子设备1可以包括用于语音通信的组件，该组件可以包括麦克风21、扬声器22、和用于与无线通信网络的通信的无线通信接口7。便携式电子设备1可以具有可人工操作的用户界面。用户界面可以包括在便携式电子设备的外壳10上设置的功能和控制键、和/或显示器5的触摸或接近敏感的输入部分18。

另选地或除了控制由便携式电子设备1执行的摄像头或视频摄像头应用外，处理装置4还可以被构造成基于所标识的用户的注视方向执行任务。该任务可以是与在无线通信接口7上的通信相关联的通信有关的任务。处理装置4可以在基于所标识的关注点执行联系人列表中的导航任务。处理装置4作为所标识的关注点的功能可以开始呼叫、并且/或者可以调节音量、并且/或者可以终止无线通信接口7上的呼叫。可以因此实施对呼叫功能的基于注视的控制。

便携式电子设备1的各种组件可以集成在外壳10中。外壳10可以定尺寸为允许便携式电子设备1是手持型装置。

便携式电子设备1的操作将参照图4-8和图10到12更详细地描述。

图4是根据实施方式的方法30的流程图。方法30可以由便携式电子设备1执行。

在31，注视跟踪被执行以跟踪用户的一只眼睛或两只眼睛的眼睛注视方向。两只眼睛的眼睛注视方向的汇集点可以被确定。眼睛注视方向可以在时间区间内被跟踪，以获得关于用户比其他注视方向频繁地看的优选注视方向的统计信息。眼睛注视方向可以对于时间区间内的被多次记录。眼睛注视方向可以被注视跟踪装置记录，所述注视跟踪装置可以完成便携式电子设备中的其他功能。为了例示，注视跟踪装置可以是布置在外壳10的同一侧的视频摄像头，以在便携式电子设备1的操作中指向用户，如可以是视频呼叫所期望的。

在32，根据被注视跟踪装置采集到的信息计算热点图数据。热点图数据可以对于几个点或几个区域定义在时间区间内用户注视相应的点或区域的时间片段。可以计算在眼睛注视轨迹上的点和非常数扩散函数f(x,y)之间的卷积以确定热点数据，其中f(x,y)可以是高斯曲线、洛伦兹函数、或另外的将注视跟踪装置具有有限的分辨率考虑在内的非常数函数。例如，当将由注视跟踪装置的分辨率导致的概率扩散考虑在内时，可以另选地通过对于显示器5上的几个像素中的每一个计算用户注视相应的像素的时间片段来计算热点图数据。注视跟踪领域中的各种其他技术可以用来计算热点图数据。

在33，可以确定用户视场中的特征的显著性。为了确定显著性，可以捕捉和分析与用户视场交叠的图像。

在34，可以计算显著图数据。在注视跟踪装置同时监测用户的注视方向时，可以针对由图像捕捉装置3捕捉的一个图像计算显著图数据。显著图数据可以例如通过多尺度对比度、中心-环绕直方图、颜色显著性检测、景深等级、频谱残留方法、基于全局对比度的技术、情景感知的显著图计算、或其他技术中的任一个或任意组合来计算。

在35，将热点图数据和显著图数据结合。可以标识对应于用户的注视的最可能的一个或最可能的几个关注点的一个或几个关注点。热点图数据和显著图数据可以被彼此配准，以在空域上将它们同步。热点图数据和显著图数据可以以多种方式中的任何一种来结合。为了例示，像素方面的近邻技术、回归分析、朴素贝叶斯、或者其他技术可以用来确定最可能的注视方向。

在36，可以基于所标识的最可能的注视点或n个最可能的注视点来控制便携式电子设备的至少一个功能，其中n是整数。图像捕捉装置3的参数可以基于最可能的注视点自动地设置。另选地或附加地，可以允许用户选择n个最可能的注视点中的一个。可以在便携式电子设备的输入装置18上做出选择。

图5示出了当摄像头功能或视频摄像头功能被激活时根据实施方式的便携式电子设备1。由图像捕捉装置3捕捉的图像可以在显示器5上被显示。当用户的注视被引导到显示器5上和/或用户的注视被引导到真实世界场景40上时，注视跟踪装置2可以监测用户的眼睛注视方向，所述真实世界场景40同样在显示器5中被示出。

通过在时间区间内多次监测用户的注视方向，可以获得定义了时间片段的统计信息，在所述时间片段内用户注视多个对象41-43中的每一个。可以因此确定热点图数据。

通过分析由图像捕捉装置3捕捉并且在显示器5上示出的图像，显著图数据可以被确定。显著图数据可以表示与它们的周围事物清楚区分的表示对象41-43的区域。

通过将显著图数据与热点图数据结合，可以提高在确定作为用户的最可能的注视点的例如对象41这样的对象时的可靠性。

在标识了最可能的注视点时，处理装置4可以控制图像捕捉装置3以拍摄图像，所述图像将进一步地在便携式电子设备1中被存储和/或处理，并且/或者所述图像将在便携式电子设备1的无线通信接口上传输。

图6示出了示例性热点图50。热点图50可以包括多个像素，并且热点图数据可以包括热点图50的多个像素的像素值。例如，由于注视跟踪装置的较低的分辨率，热点图50的像素数量可以比被图像捕捉装置3捕捉的图像的像素数量小。

热点图数据提供了关于用户注视的区域51-54的信息。在图6中，用户在相应的区域中注视的时间片段通过阴影线之间的间隔来表示。用户向环绕对象41、42并且对应于对象43的区域51、52中注视的时间片段比用户注视对应于对象41、42的区域53、54的时间片段少。

具体来说当注视跟踪装置的空间分辨率低时，单独基于热点图数据的对关注点的标识会具有限制。根据实施方式的便携式电子设备通过将热点图数据与显著图数据结合解决了这些缺点。

图7示出了示例性显著图60。显著图60可以包括多个像素，并且显著图数据可以包括显著图60的多个像素的像素值。显著图60的像素数量可以比热点图50的像素数量大。显著图60可以具有比热点图50高的空间分辨率。

显著图数据可以提供关于可能吸引用户注意的对象所位于的区域61-64的信息。可以通过将被图像捕捉装置3捕捉的图像中示出的特征的对比度、颜色、景深、和/或边缘指向中的一个或几个考虑在内来标识区域61-64。为了例示，可以基于多尺度对比度、中心-环绕直方图、颜色显著性检测、景深等级、频谱残留方法、基于全局对比度的技术、情景感知的显著图计算或其他技术中的任一个或任何组合来确定显著图数据和关于区域61-64的信息。

在图7中，通过阴影线的间隔来表示显著性，即显著图60的像素值。区域64是显著图中具有最高像素值的区域。

通过将热点图数据与显著图数据结合，较可靠地确定对应于最可能的关注点的区域成为可能。还可以可选地提高确定眼睛注视方向的空间分辨率。为了例示，通过使用显著图数据，标识作为最可能的关注点的区域64为可能，即使当区域64具有比注视跟踪装置的分辨率小的尺寸时。

可以以各种方式确定注视方向的热点图数据。在一些实现方式中，注视跟踪装置可以监测注视方向的轨迹。

图8例示了示例性注视轨迹70。注视轨迹70可以由注视跟踪装置2确定。可以从注视轨迹中获得关于被引导到显示器5的中心区域上的注视方向的可能性的统计信息。因此，处理装置可以标识热点图数据具有比在周围区域大的值的区域71-73。

根据实施方式的便携式电子设备可以是手持型装置。如将参照图9说明的，其他实现方式可以被使用。为了例示，根据实施方式的便携式电子设备可以是诸如头戴式显示器的头戴式装置或另外的身穿式装置。

图9示出了根据另一实施方式的便携式电子设备81。便携式电子设备81是头戴式装置。便携式电子设备81包括注视跟踪装置2，所述注视跟踪装置2可以包括视频摄像头。便携式电子设备81可以可选地包括图像捕捉装置3。图像捕捉装置3可以用于捕捉用户的视场的图像。例如，处理装置4可以分析视场的图像用于将增强现实对象覆盖到真实视图上。

便携式电子设备81可以包括被构造成在表面85上显示图形元素的光学输出装置84。表面85可以被构造成允许用户通过表面85观看真实世界环境。另选地或附加地，表面85可以包括被处理装置4控制的显示器。

在操作中，处理装置4可以被构造成基于注视跟踪装置2的输出来确定热点图数据。处理装置4可以被构造成确定显著图数据。该显著图数据可以通过处理被图像捕捉装置3捕捉的图像来确定。另选地或附加地，并且如将参照图10和图11更详细地说明的，显著图数据还可以基于图形元素向用户输出的位置知识来计算。

图10是位于用户的视场中的、根据实施方式的便携式电子设备1的显示器5的、或者根据实施方式的便携式电子设备81的表面85的图90。

真实世界视图的对象41-43可以被显示在用户的视场中。可以生成用户界面元素91、92作为所计算的生成的图形，并且可以显示在用户的视场中。例如，用户界面元素91、92可以被处理装置4生成。用户界面元素91、92的位置对于处理装置4是已知的，甚至无需任何图像分析。处理设备4可以基于用户界面元素91、92的位置知识来计算显著图数据。位置可以通过用户界面元素91、92的坐标94-96定义。另选地或附加地，处理装置4可以基于一个或几个覆盖到真实世界图像上的增强现实元素93的位置知识来计算显著图数据。处理装置4可以基于增强现实元素93的位置知识来计算显著图数据。

对于控制摄像头另外地或另选地，处理装置4可以响应于基于热点图数据和显著图数据检测用户的可能的关注点来激活其他功能。为了例示，处理装置4可以响应于检测到用户注视与基于呼叫的控制功能相关联的用户界面元素91来执行基于呼叫的控制功能。

图11是位于用户的视场中的、根据实施方式的便携式电子设备1的显示器5的、或者根据实施方式的便携式电子设备81的表面85的图100。

如图11中所示出的，用户的视场中的图形元素101、102可以是计算机生成的图形元素，例如游戏图形。处理装置4可以根据图形元素101、102的已知位置计算显著图数据。每个位置可以分别由坐标对103、104或105、106定义。不需要捕捉用户视场的真实世界的图像以确定显著图。位置对于生成游戏图形的处理装置4是已知的。

图12是根据实施方式的处理装置4的框图表示110，其示出了处理装置的功能模块。功能模块可以在硬件、软件、固件或其组合实现。

处理装置4可以具有用于评估注视跟踪装置的输出的注视跟踪模块111。注视跟踪模块111可以在时间区间内的多个次数计算和记录例如在便携式电子设备的显示器上的注视点。

处理装置4可以具有用于计算热点图数据的计算模块112。该计算模块112可以被构造成计算由注视跟踪模块111采集的数据的统计信息。该计算模块112可以对于几个注视方向中的每个分别计算热点图数据，该热点图数据定义用户看向某一方向或某一点的概率。

处理装置4可以具有用于分析用户的视场的图像的图像分析模块113。该图像分析模块113可以标识图像中的一个或多个特征。图像分析模块113可以执行边缘检测以检测例如图像中的对象边缘的指向。

处理装置4可以具有用于计算显著图数据的计算模块114。该计算模块114可以计算显著图的像素值。

处理装置4可以具有用于将热点图数据与显著图数据结合的结合模块115。结合模块115可以被构造成基于热点图数据和显著图数据确定用户的最可能的注视点或多个最可能的注视点。结合模块115可以被构造成通过利用显著图数据的空间分辨率以比热点图数据高的空间分辨率确定最可能的注视点。结合模块115可以被构造成将热点图数据与显著图数据在空域和时域上同步。

处理装置4可以具有依赖于关注点控制便携式电子设备1的功能的执行或者依赖于关注点调节便携式电子设备1的设置的控制模块116，所述关注点是用户最可能的注视点。

虽然参照附图描述了便携式电子设备和控制便携式电子设备的方法，修改和变更可以在其他实施方式中实现。为了例示而不是限制，虽然描述了注视跟踪装置的示例性实现方式，其他或额外的传感器组件也可以被使用。为了例示，可以提供专用传感器来用于跟踪眼睛注视方向。专用传感器可以是检测红外光反射以建立眼睛注视方向的红外传感器。注视跟踪装置可以但并不必须是在可见光谱范围内敏感的传感器。

为了进一步的例示，虽然便携式电子设备可以是手持型装置或头戴式装置，便携式电子设备也可以具有其他配置。

还是为了进一步的例示，便携式电子设备的处理装置的各种配置可以被实现。处理装置可以包括多个处理器，同时处理器中的一个是控制光学输出单元并且另外执行实施方式的方法的步骤的专用的图形单元处理器。在其他实施方式中，处理装置可以只包含一个处理器。

便携式电子设备的示例可以如在此描述的被配置包括但不限于移动电话、无绳电话、个人数字助理(PDA)、头戴式显示器等。