显示元素中所包括的感兴趣的区域的兴趣度分数的制作方法
【专利摘要】公开了用于确定包括在诸如静态图像或动态视频之类的显示元素中的一个或多个感兴趣的区域的兴趣度分数的示例。在某些示例中，可以基于当观察者查看显示元素时收集到的眼动跟踪或注视信息来确定兴趣度分数。
【专利说明】显示元素中所包括的感兴趣的区域的兴趣度分数
[0001]背景
[0002]诸如静态数字图像或动态视频的帧之类的显示元素可以包括丰富的看得见的内容。观察者，例如，当查看显示元素时可能注视或凝视各个部分或感兴趣的区域。观察者对感兴趣的区域的注视或凝视可以提供可能表征观察者的兴趣的有用信息。此外，当与根据查看具有类似的感兴趣的区域的多个显示元素而获取的信息相结合时，可以提供观察者的兴趣的更为详细的表征。
[0003]附图简述
[0004]图1示出了示例计算平台。
[0005]图2示出了兴趣度管理器的示例体系结构的框图。
[0006]图3示出了作为静态图像的示例显示元素。
[0007]图4示出了作为来自动态视频的巾贞的示例显示元素。
[0008]图5示出了示例眼动跟踪系统。
[0009]图6示出了显示元素的示例跟踪网格。
[0010]图7示出了示例评分标准表。
[0011]图8示出了示例显示元素评分表。
[0012]图9示出了用于确定兴趣度分数的示例操作的流程图。
[0013]图10示出了示例系统。
[0014]图11示出了示例设备。
【具体实施方式】
[0015]如在本发明中设想的，观察者对与显示元素相关联的感兴趣的区域的注视(gaze)或凝视(fixation)可以提供可能表征观察者的兴趣的有用信息。显示元素可以是包括静态图像或动态视频的数字媒体的类型。显示元素常常通过耦合到计算设备的监视器或平板屏幕来观察。此外，社交媒体网站可以允许人们观察和共享大量的数字媒体文件或显示元素。广告商也可能希望将显示元素放在目标消费者面前，以广告消费商品或收集市场营销信息。测量观察者的对显示元素的特定区域的兴趣(此处称为“兴趣度”)可以提供可以被社交媒体站点用来将观察者与具有类似的兴趣的其他人相链接的有用信息，或可以给广告商提供有价值的市场营销信息。
[0016]在某些示例中，实现了用于确定兴趣度分数的技术。对于这些示例，处理器电路可以接收信息，该信息标识出包括在要向观察者显示的显示元素中的感兴趣的一个或多个区域的信息。可以当显示元素被显示时基于跟踪观察者的眼睛来收集用户的注视信息。然后，可以基于收集到的眼动跟踪信息，确定一个或多个感兴趣的区域的兴趣度分数。
[0017]图1示出了示例计算平台100。如图1所示,计算平台100包括操作系统110、兴趣度管理器120、应用程序130-1到130-n、显示器140、照像机(多个)145、芯片组150、存储器160、中央处理单元(CPU) 170、通信设备(comms) 180和存储设备190。根据某些示例，在图1中还描绘了用于互连和/或可通信地耦合计算平台100的元件的多个接口。例如，用户接口 115和接口 125可以允许用户(未示出)和/或应用程序130-1到130_n耦合到操作系统110。此外，接口 135可以允许兴趣度管理器120或操作系统110的元件(例如，设备驱动程序112)可通信地耦合到计算平台100的元素，诸如显示器140、照像机145、存储器160、CPU170或通信设备180。接口 154，例如，可以允许计算平台100的硬件和/或固件元件可通信地耦合在一起，例如，通过系统总线或其他类型的内部通信信道。
[0018]在某些示例中，如图1所示，应用程序130-1到130-n(其中，“η”可以是大于3的任何整数)可以包括与，但不局限于，广告商、社交媒体因特网站点、数字照片共享或数字视频共享相关联的应用程序。对于这些示例，如下文所描述的，应用程序130-1到130-n可以提供信息，该信息标识出要向观察者显示(例如，在显示器145上)的显示元素中所包括的一个或多个感兴趣的区域的信息。
[0019]根据某些示例，如图1所示，操作系统110可以包括设备驱动程序112。设备驱动程序112可以包括被配置成与计算平台100的硬件/固件类型的元件进行交互(例如，通过接口 135)的逻辑和/或特征。例如，设备驱动程序112可以包括控制照相机145或显示器140的设备驱动程序。设备驱动程序112也可以与兴趣度管理器120进行交互，以或许当观察者查看显示器140上的显示元素时中继从照像机145收集的信息。
[0020]在某些示例中，如下文所进一步描述的，兴趣度管理器120可以包括被配置成接收信息(例如，从应用程序130-1到130-n)的逻辑和/或特征。信息可以包括显示元素中所包括的一个或多个感兴趣的区域(例如，标记)。当观察者查看显示器140上的显示元素时，兴趣度管理器120可以收集从照像机145中获取眼动跟踪或注视信息。然后，兴趣度管理器120可以使用各种标准(例如，注视持续时间、注视计数、凝视计数、首次凝视时间，等等)来确定一个或多个感兴趣的区域的兴趣度分数。
[0021]在某些示例中，芯片组150可以在操作系统110、显示器140、照像机145、存储器160、CPU170、通信装置180或存储设备190之间提供相互通信。
[0022]根据某些示例，存储器160可以实现为由计算平台100的各种元件使用的易失性存储器设备(例如，作为芯片外存储器)。对于这些实现，存储器150可以包括，但不局限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态RAM(SRAM)。
[0023]根据某些示例，CPU170可以实现为计算平台100的中央处理单元。CPU170可以包括具有一个或多个处理器核的一个或多个处理单元，或具有任意数量的具有任意数量处理器核的处理器的一个或多个处理单元。处理器170可以包括任何类型的处理单元，诸如，例如，多处理单元、精简指令集计算机(RISC)、具有流水线的处理器、复杂指令集计算机(CISC)、数字信号处理器(DSP)等等。
[0024]在某些示例中，通信装置180可以包括允许计算平台100在外部与远离计算平台100的元件进行通信的逻辑和/或特征。这些逻辑和/或特征可以包括在有线和/或无线通信信道上经由一个或多个有线或无线网络所进行的通信。在跨这样的网络的通信中，通信装置180可以根据任何版本的一个或多个适用的通信或网络标准来操作。
[0025]在某些示例中，存储设备190可以实现为非易失性存储器设备，诸如，但不仅限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连存储设备、闪存、电池供电的SDRAM (同步DRAM)，和/或网络可访问的存储设备。
[0026]如上文所提及的，接口 154可以允许计算平台100的硬件和/或固件元件可通信地耦合在一起。根据某些示例，通信信道接口 154可以根据一个或多个协议或标准来操作。可以在一个或多个行业标准(包括后代和变体)中(诸如与集成电路之间(I2C)规范、系统管理总线(SMBus)规范、加速图形端口(AGP)规范、外围组件互连Express (PCI Express)规范、通用串行总线(USB)规范或串行高级技术附件(SATA)规范相关联的那些行业标准)，描述这些通信协议或标准。虽然本发明不仅限于上文所提及的标准和相关联的协议。
[0027]在某些示例中，计算平台100可以是计算设备的至少一部分。计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超移动膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上电脑、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视机、智能设备(例如，智能电话、智能平板电脑或智能电视机)、移动因特网设备(MID)、消息传送设备、数据通信设备等等。
[0028]图2示出了兴趣度管理器120的示例体系结构的框图。在某些示例中，兴趣度管理器120包括被配置为确定包括在要向观察者显示的显示元素中的一个或多个感兴趣的区域的兴趣度分数的特征和/或逻辑。
[0029]根据某些示例，如图2所示，兴趣度管理器120包括评分逻辑210、控制逻辑220、存储器230和输入/输出(I/O)接口 240。如图2所示，评分逻辑210可以耦合到控制逻辑220、存储器230和I/O接口 240。分数逻辑210可以包括接收特征211、跟踪特征213、时间特征215、计数特征217、更新特征218或分数特征219中的一项或多项，或其任何合理
的组合。
[0030]在某些示例中，图2中所描绘的元件被配置成支持或启用如本发明所描述的兴趣度管理器120。给定兴趣度管理器120可以包括图2中所描绘的某些，全部或更多元件。例如，评分逻辑210和控制逻辑220可以分别地或共同地表示用于实现兴趣度管理器120的特征的各种逻辑设备或可执行内容。示例逻辑设备可以包括微处理器、微控制器、处理器电路、现场可编程门阵列(FPGA)，专用集成电路(ASIC)、多核/多线程微处理器的分离的线程或核或其组合。
[0031]在某些示例中，如图2所示，评分逻辑210包括接收特征211、跟踪特征213、时间特征215、计数特征217、更新特征218或分数特征219。评分逻辑210可以被配置成使用这些特征中的一项或多项来执行操作。例如，接收特征211可以接收信息，该信息标识出包括在显示元素中的一个或多个感兴趣的区域的信息(例如，从应用程序)。跟踪特征213可以收集从眼动跟踪系统中获取的眼动跟踪或注视信息，该眼动跟踪系统可以包括一个或多个当观察者查看显示元素时捕捉眼睛运动信息的照像机。时间特征215可以基于收集到的眼动跟踪信息来确定注视和第一次凝视的时间。计数特征217可以基于收集到的眼动跟踪或注视信息来确定注视和fixation计数。然后，分数特征219可以基于收集到的眼动跟踪或注视信息，来确定一个或多个感兴趣的区域的单独的兴趣度分数。此外，更新特征218还可以基于分别地确定的兴趣度分数中的一项或多项，来更新与观察者相关联的简档。
[0032]在某些示例中，控制逻辑220可以被配置成控制兴趣度管理器120的总体操作。如上文所提及的，控制逻辑220可以表示各种逻辑设备或可执行内容中的任何一个。对于某些示例，控制逻辑220可以被配置成与可执行内容或指令一起操作，以实现对兴趣度管理器120的控制。在某些替换的示例中，控制逻辑220的特征和功能可以在评分逻辑210内实现。[0033]根据某些示例，存储器230可以被配置为存储供控制逻辑220和/或评分逻辑210使用的可执行内容或指令。可执行内容或指令可以被用来实现或激活兴趣度管理器120的特征或元件。如下面所描述的，存储器230也可以被配置为至少临时维护与显示元素的一个或多个感兴趣的区域相关联的信息或与收集到的眼动跟踪或注视信息相关联的信息。存储器230也可以至少临时维护用来确定一个或多个感兴趣的区域的兴趣度分数的评分标准或显示元素评分表。
[0034]存储器230可以包括各种存储器介质，包括，但不仅限于，易失性存储器、非易失性存储器、闪存、可编程的变量或状态、RAM、ROM,或其他静态或动态存储器介质中的一项或多项。
[0035]在某些示例中，I/O接口 240可以通过本地通信介质或图1中所描绘的兴趣度管理器120和计算平台100的元件之间的链路来提供接口。I/O接口 240可以包括根据各种通信协议(例如，I2C、SMBus、AGP、PCI Express、USB、SATA等等)来操作以通过本地通信介质或链路来进行通信的接口。
[0036]图3示出了作为静态图像的示例显示元素300。在某些示例中，显示元素300可以由观察者来查看。对于这些示例，显示元素300可以包括在图3中被示为感兴趣的区域310到370的感兴趣的区域。如图3所示，这些感兴趣的区域被描绘成具有包围给定感兴趣的区域的白框。
[0037]根据某些示例，感兴趣的区域可以表示加标记的对象。这些加标记的对象可以包括，但不仅限于，辨识出的人、人物类型(例如，男人、女人、儿童、婴儿、运动员、士兵、警察、消防队员等等)、消费品类型、植物群类型、动物群类型、建筑类型、风景类型或颜色。例如，感兴趣的区域330、350和360包括人，并可以与标识出个人或人物类型的标记相关联。感兴趣的区域320和370包括树和藤，可以与若干植物群类型相关联。感兴趣的区域340包括酒杯，并可以与诸如酒或玻璃器皿之类的消费品相关联。此外，感兴趣的区域310还包括小山或山脉，并可以与风景类型相关联。
[0038]在某些示例中，应用程序130-1到130-n之中的应用程序可以向兴趣度管理器120提供标识出显示元素300的感兴趣的区域中的一个或多个的信息。例如，与广告商、社交媒体因特网站点、数字照片共享或数字视频共享相关联的应用程序可以提供标识出感兴趣的区域310到370之中的至少某些感兴趣的区域的信息。
[0039]图4示出了来自动态视频的示例显示元素400-1和400-2。在某些示例中，显示元素400-1和400-2可以是来自要由观察者查看的动态视频的单个帧。对于这些示例，显示元素400-1可以包括在图4中被示为感兴趣的区域410-1到430-1的感兴趣的区域。此夕卜，显示元素400-2可以包括在图4中被示为感兴趣的区域410-2到430-2的感兴趣的区域。类似于图3所示出的感兴趣的区域，图4中的感兴趣的区域被描绘成具有包围给定感兴趣的区域的白框。
[0040]在某些示例中，动态视频的感兴趣的区域可以包括可以是固定的区域，诸如感兴趣的区域430-1和430-2中所包括的植物群。对于这些示例,动态视频的其他感兴趣的区域可以包括运动中的区域，诸如感兴趣的区域420-1和420-2中所包括的皮船和人。此外，对于这些示例，实际视频捕捉设备可以固定至少一段时间，以便植物群保持在动态视频的各个帧的左上角处，其他对象可以移入、移出、或来回进出于各个帧的序列。[0041]在某些示例中，类似于显示元素300，应用程序130-1到130_n之中的应用程序可以向兴趣度管理器120提供标识出显示元素400-1和400-2的感兴趣的区域中的一个或多个的信息。
[0042]图5示出了示例眼动跟踪系统500。在某些示例中，如图5所示，照像机145_1和145-2可以位于显示器140上。对于这些示例,显示元素300可以在显示器140上向观察者510显示。照像机145-1和145-2可以被配置成当观察者510查看显示元素300时获取眼动跟踪或注视信息。兴趣度管理器120可以包括收集眼动跟踪或注视信息的逻辑和/或特征。如下文所描述的，兴趣度管理器120可以使用眼动跟踪或注视信息来确定感兴趣的区域310到370的兴趣度分数。
[0043]图6示出了显示元素300的示例跟踪网格600。在某些示例中，如图6所示，可以建立X/Y网格系统来当由观察者510观察时标识显示元素300上的区域。对于这些示例，照像机145-1和145-2可以被配置成当显示元素300正被查看或观察时跟踪观察者510的眼睛或注视。照像机145-1和145-2可以基于跟踪网格600来捕捉网格坐标。照像机145-1和145-2和/或兴趣度管理器120也可以被配置成对观察者的眼睛注视或凝视在对应于感兴趣的区域310到370的网格坐标时的开始时间和结束时间加时间戳。如下文所进一步描述的，兴趣度管理器120可以包括收集网格坐标和时间戳并基于该收集到的眼动跟踪信息来确定感兴趣的区域310到370的兴趣度分数的逻辑和/或特征。
[0044]根据某些示例，兴趣度管理器120可以包括逻辑和/或特征，其被配置成使用眼动跟踪或注视信息来为每一个感兴趣的区域，确定单独的注视持续时间、单独的注视计数、单独的首次凝视时间或凝视计数。在某些示例中，注视持续时间可以包括时间阈值(例如，I秒)，在该时间阈值内，观察者510的眼睛被引向诸如感兴趣的区域360之类的给定感兴趣的区域。注视计数可以包括观察者510的眼睛被引向感兴趣的区域360的单独的次数。首次凝视时间(time to first fixation)可以包括当显示元素300第一次向观察者510显示时和当观察者510的眼睛第一次被引向感兴趣的区域360时之间的时间差。凝视计数可以包括观察者510的眼睛被引向感兴趣的区域360的单独的次数。本发明不仅限于将兴趣度分数基于有关单独的注视持续时间、单独的注视计数、单独的首次凝视时间或注视计数的跟踪信息。其他眼动跟踪信息也可以被用来确定兴趣度分数。
[0045]图7示出了示例评分标准表700。在某些示例中，如图7所示，评分可以基于注视持续时间、注视计数，首次凝视时间和凝视计数。此外，如图7所示，评分标准还可以基于从小于I到大于5的数值范围，每一个范围都具有从25到100的分配值。例如，3-5秒的注视持续时间、3-5的注视计数、3-5秒的首次凝视时间或3-5的凝视计数中每一个都将具有分配值75。
[0046]图8示出了示例显示元素评分表800。在某些示例中，显示元素评分表800可以包括基于从观察者510的对显示元素300的查看而收集到的眼动跟踪或注视信息而确定的兴趣度分数。对于这些示例，兴趣度管理器120可以包括被配置成收集由照像机145-1和145-2捕捉到的眼动跟踪信息的逻辑和/或特征。收集到的眼动跟踪或注视信息可以被用来确定感兴趣的区域310到370中的每一个的注视持续时间、注视计数、首次凝视时间和凝视计数。兴趣度管理器120，例如，可以确定感兴趣的区域310到370中的每一个的注视持续时间、注视计数、首次凝视时间和凝视计数的单独的分数，然后，基于单独的分数，来确定兴趣度分数。
[0047]在某些示例中，如图8所示，给定感兴趣的区域的兴趣度分数可以是平均分数。在其他示例中，某些眼动跟踪或注视信息(例如，注视持续时间)可以比其他眼动跟踪信息(例如，注视计数)具有更大的权重。标识或提供显示元素300中的感兴趣的区域的应用程序可以指示是否要对分数进行平均，如图8所示，或对分数赋予权重，如对于其他示例所提及的。
[0048]根据某些示例，如图8所示，在显示元素评分表800的最右列中示出了兴趣度分数。对于这些示例，感兴趣的区域360具有93.75的最高兴趣度分数。同时，感兴趣的区域320具有25的最低兴趣度分数。这些兴趣度分数，例如，可以指示观察者510对人(感兴趣的区域360中的加标记的对象)比对树(感兴趣的区域320中的加标记的对象)更有兴趣。此外，显示元素评分表800中所示出的兴趣度分数可以被用来更新与观察者510相关联的兴趣度简档。兴趣度简档，例如，可以至少部分地基于从对不同的显示元素的多次查看中获取的累积兴趣度分数。
[0049]在某些示例中，可以向与社交媒体因特网站点相关联的应用程序提供更新的兴趣度简档。对于这些示例，可以将更新的兴趣度简档添加到观察者510的帐户简档，或更新观察者510的帐户简档，该帐户简档可以通过社交媒体因特网站点来访问。在某些其他示例中，可以向与共享或存储数字图像或动态视频相关联的应用程序提供更新的兴趣度简档。对于这些其他示例，更新的兴趣度简档可以被这些应用程序用来促进数字图像或动态视频的存储和/或由观察者510和/或观察者510的朋友的共享。
[0050]根据某些示例，相同的类型的感兴趣的区域可以具有将它们的单独的兴趣度分数相组合。例如，感兴趣的区域330、350和360包括将人的类型标识为女人的标记。因此，可以组合感兴趣的区域330、350和360各自的兴趣度分数62.5,68.75和93.75的，以得到75的兴趣度分数。此组合的分数也可以被用来更新与观察者510相关联的兴趣度简档。
[0051]图9示出了用于确定兴趣度分数的示例操作的流程图。在某些示例中，如图1所示的计算平台100的元件可以被用来示出有关于图9中所描绘的流程图的示例操作。也可以使用如图1和图2所示的兴趣度管理器120来示出示例操作。但是，所描述的方法并不局限于计算平台100上的实现或局限于兴趣度管理器120。此外，兴趣度管理器120的逻辑和/或特征还可以构建或填充包括各种分数标准或兴趣度分数的表，如图7和8所示。然而，示例操作也可以使用其他类型的用于指示标准或用于确定兴趣度分数的表来实现。
[0052]从开始移到框910 (接收信息)，兴趣度管理器120可以包括被配置成接收标识出显示元素中所包括的一个或多个感兴趣的区域的信息(例如，通过接收特征211)的逻辑和/或特征。在某些示例中，显示元素可以是显示元素300，一个或多个感兴趣的区域可以包括图3中所描绘的感兴趣的区域310到370。对于这些示例，可能已经从应用程序130-1到130-n之中的一个或多个应用程序接收到信息。这些一个或多个应用程序可以包括与广告商、社交媒体因特网站点、数字照片共享或动态视频共享相关联的应用程序。
[0053]从框910前进到判断框920 (有观察者权限吗？)，兴趣度管理器120可以包括被配置成判断显示元素的观察者是否提供了跟踪观察者的眼睛移动的权限(例如，通过跟踪特征213)的逻辑和/或特征。在某些示例中，兴趣度管理器120可以从照像机145接收观察者已选择关闭或禁用照像机145的信息。如果照像机145已被关闭，则兴趣度管理器120可以判断没有授予权限，过程结束。否则，过程移到框930。
[0054]从判断框920移到框930 (收集眼动跟踪或注视信息)，兴趣度管理器120可以包括被配置成收集眼动跟踪或注视信息(例如，通过跟踪特征213)的逻辑和/或特征。在某些示例中，兴趣度管理器120可以在照像机145跟踪观察者的眼睛移动或注视时从照像机145获取眼动跟踪或注视信息，并可以捕捉与眼睛运动相关联的网格坐标和时间戳。对于这些示例，跟踪网格600可以被用来标识显示元素300上的被观察者注视或至少简短地凝视的区域。
[0055]根据某些示例，兴趣度管理器120可以包括使用眼动跟踪或注视信息来确定单独的注视持续时间和感兴趣的区域310到370中的每一个的首次凝视时间(例如，通过时间特征215)的逻辑和/或特征。此外，兴趣度管理器120还可以包括使用眼动跟踪或注视信息来确定感兴趣的区域310到370中的每一个的注视和凝视的单独的计数(例如，通过计数特征217)的逻辑和/或特征。对于这些示例，兴趣度管理器120可以在诸如图8所示出的显示元素评分表800之类的表中包括单独的注视持续时间、首次凝视时间、注视计数和凝视计数。
[0056]从框930前进到框940 (确定兴趣度分数)，兴趣度管理器120可以包括被配置成确定兴趣度分数(例如，通过分数特征219)的逻辑和/或特征。在某些示例中，可以给感兴趣的区域310到370的单独的注视持续时间、首次凝视的时间、注视计数和凝视计数评分，并给它们指定值，如在图8中为显示元素评分表800所描绘的。对于这些示例，可以基于注视持续时间、首次凝视时间、注视计数和凝视计数的平均值，为给定感兴趣的区域确定兴趣度分数。
[0057]从框940前进到框950 (更新兴趣度简档)，兴趣度管理器120可以包括用于更新与观察者相关联的兴趣度简档(例如，通过更新特征219)的逻辑和/或特征。在某些示例中，兴趣度管理器120可以基于确定的感兴趣的区域310到370中的一个或多个的兴趣度分数，来更新兴趣度简档。对于这些示例，兴趣度简档可以基于从由观察者对不同的显示元素的多次查看中获取的累积兴趣度分数。
[0058]从框950前进到判断框960 (有附加的显示元素吗？)，兴趣度管理器120可以包括被配置成判断是否要对附加的显示元素评分(例如，通过接收特征211)的逻辑和/或特征。在某些示例中，接收到指示出另一个显示元素的感兴趣的区域的信息可以被视为要被评分的附加的显示元素的指示。如果有附加的显示元素要被评分，过程移到框910。否则，过程结束。
[0059]图10示出了示例系统1000。在某些示例中，系统1000可以是媒体系统，虽然系统1000不仅限于此情境。例如，系统1000可以集成到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上电脑、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视机、智能设备(例如，智能电话、智能平板电脑或智能电视机)、移动因特网设备(MID)、消息接发设备、数据通信设备等等。
[0060]根据某些示例，系统1000包括耦合到显示器1020的平台1002。平台1002可以从诸如内容服务设备1030、或内容递送设备1040之类的内容设备或其他类似的内容源接收内容。包括一个或多个导航特征的导航控制器1050可以被用来与例如平台1002和/或显示器1020进行交互。在下文中更详细地描述这些组件中的每一个。[0061]在某些示例中，平台1002可以包括芯片组1005、处理器1010、存储器1012、存储器1014、图形子系统1015、应用程序1016和/或无线电1018的任何组合。芯片组1005可以在处理器1010、存储器1012、存储设备1014、图形子系统1015、应用程序1016和/或无线电1018之间提供相互通信。例如，芯片组1005可以包括能够提供与存储1014的相互通信的存储器适配器(未描绘)。
[0062]处理器1010可以实现为复杂指令系统计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容的处理器、多核，或任何其他微处理器或中央处理单元(CPU)。在某些示例中，处理器1010可以包括双核处理器、双核移动处理器等等。
[0063]存储器1012可以实现为易失性存储器设备，诸如，但不仅限于，RAM、DRAM，或SRAM。
[0064]存储设备1014可以实现为非易失性存储器设备，诸如，但不仅限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连存储设备、闪存、电池供电的SDRAM(同步DRAM)，和/或网络可访问的存储设备。在某些示例中，存储设备1014可以包括:当例如包括有多个硬盘驱动器时，提高存储器性能或对有价值的数字媒体的增强的保护的技术。
[0065]图形子系统1015可以对诸如静止图像或视频之类的图像执行处理以供显示。类似于上文对于图1所描述的图形子系统，图形子系统1015可以包括充当，例如，图形处理单元(GPU)或视觉处理单元(VPU)的处理器。模拟或数字接口可以被用来可通信地耦合图形子系统1015和显示器1020。例如，接口可以是高清晰度多媒体接口、显示端口(DisplayPort)、无线HDMIjP /或无线HD兼容技术中的任何一个。对于某些示例，图形子系统1015可以集成到处理器1010或芯片组1005中。图形子系统1015也可以是可通信地耦合到芯片组1005的独立卡(例如，分离的图形子系统)。
[0066]此处所描述的图形和/或视频处理技术可以以各种硬件体系结构来实现。例如，图形和/或视频功能可以集成在芯片组内。替代地，可以使用单独的图形和/或视频处理器。作为再一个示例，图形和/或视频功能可以通过通用处理器(包括多核处理器)来实现。在又一示例中，所述功能可以在消费电子产品中实现。
[0067]无线电1018可以包括能够使用各种合适的无线通信技术传输和接收信号的一个或多个无线电。这样的技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不仅限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网络，以及卫星网络。在跨这样的网络的通信中，无线电1018可以根据任何版本的一个或多个适用的标准来操作。
[0068]在某些示例中，显示器1020可以包括任何电视机类型的监视器或显示器。显示器1020可以包括，例如，计算机显示器屏幕、触摸屏显示器、视频监视器、类似于电视机的设备，和/或电视机。显示器1020可以是数字和/或模拟的。对于某些示例，显示器1020可以是全息显示器。此外，显示器1020还可以是可接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像，和/或对象。例如，这样的投影可以是用于移动增强的现实(MAR)应用程序的视觉覆盖。在一个或多个软件应用程序1016的控制下，平台1002可以在显示器1020上显示用户界面1022。
[0069]根据某些示例，内容服务设备1030可以由任何国家的，国际的和/或独立的服务，并由此可以被平台1002例如通过因特网来访问。内容服务设备1030可以耦合到平台1002和/或显示器1020。平台1002和/或内容服务设备1030可以耦合到网络1060，以往返于网络1060地通信(例如，发送和/或接收)媒体信息。内容递送设备1040还可以耦合到平台1002和/或显示器1020。
[0070]在某些示例中，内容服务设备1030可以包括有线电视盒、个人计算机、网络、电话、启用因特网的设备或能够分发数字信息和/或内容的电器，以及能够通过网络1060或直接在内容提供商和平台1002和/或显示器1020之间单方向地或双向地传递内容的任何其他类似的设备。可以理解，内容可以通过网络1060单向地和/或双向地传递往返于系统1000中的组件中的任何一个和内容提供商。内容的示例可以包括任何媒体信息，包括，例如，视频、音乐、医学和游戏信息等等。
[0071]内容递送设备1030接收内容，诸如有线电视节目，包括媒体信息、数字信息和/或其他内容。内容提供商的示例可以包括任何有线或卫星电视或电台或因特网内容提供商。所提供的示例不旨在限制本发明的范围。
[0072]在某些示例中，平台1002可以从具有一个或多个导航特征的导航控制器1050接收控制信号。控制器1050的导航特征可以被用来，例如，与用户界面1022进行交互。根据某些示例，导航控制器1050可以是指示设备，该指示设备可以是计算机硬件组件(具体地，人机接口设备)，可使用户向计算机中输入空间(例如，连续的和多维)数据。诸如图形用户界面(GUI)、电视机和监视器之类的许多系统可使用户使用物理手势控制并向计算机或电视机提供数据。
[0073]控制器1050的导航特征的移动可以通过指针、光标、焦点环，或显示在显示器上的其他可视指示器，反映到显示器(例如，显示器1020)上。例如，在软件应用1016的控制下，位于导航控制器1050上的导航特征可以被映射到例如用户界面1022上显示的虚拟导航特征。在某些示例中，控制器1050可以不是单独的组件，而是集成到平台1002和/或显示器1020中。虽然本发明不仅限于上下文中为控制器1050所示出的元件。
[0074]根据某些示例，驱动程序(未示出)可以包括技术，当该技术启用时，允许用户在初始引导之后通过触摸按钮而立即打开和关闭类似计算机的平台1002。程序逻辑可以允许平台1002甚至在平台被“关闭”时向媒体适配器或其他内容服务设备1030或内容分发设备1040流式传送内容。另外，芯片组1005还可以包括，例如，对于5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动程序可以包括集成的图形平台的图形驱动程序。对于某些示例，图形驱动程序可以包括外围组件互连(PCI)Express图形卡。
[0075]在各种示例中，可以集成系统1000所示出的组件的任何一个或更多。例如，可以集成平台1002和内容服务设备1030，或者也可以集成平台1002和内容递送设备1040，或者，例如，也可以集成平台1002、内容服务设备1030，以及内容递送设备1040。在各种示例中，平台1002和显示器1020可以是集成单元。例如，可以集成显示器1020和内容服务设备1030，或者也可以集成显示器1020和内容递送设备1040。这些示例并不旨在限制本发明。
[0076]在各种示例中，系统1000可以实现为无线系统、有线系统，或两者的组合。当实现为无线系统时，系统1000可以包括适用于通过无线共享介质进行通信的组件和接口，诸如一个或多个天线、发射器、接收器、收发机、放大器、滤波器、控制逻辑等等。无线共享介质的示例可以包括诸如RF频谱之类的无线范围的某些部分等等。当实现为有线系统时，系统1000可以包括适用于通过有线通信介质进行通信的组件和接口，诸如输入/输出(I/O)适配器、将I/o适配器与相应的有线通信介质连接的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可包括，线路、电缆、金属导线、印刷电路板(PCB)、后面板、交换机结构、半导体材料、双绞线、同轴电缆、光纤等等。
[0077]平台1002可以建立一个或多个逻辑或物理信道以传递信息。信息可以包括媒体信息和控制信息。媒体信息可以是指表示给用户的内容的任何数据。内容的示例可以包括来自语音会话、视频会议、流式视频、电子邮件(email)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。来自语音会话的数据可以是，例如，语音信息、静默时间长度、背景噪声、舒适噪声、音调等等。控制信息可以是指表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用来通过系统路由媒体信息，或指示节点以预先确定的方式处理媒体信息。然而，上文所提及的各示例不仅限于图10中所示出的或所描述的上下文中的元件。
[0078]图11示出了示例设备1100。如上文所描述的，系统1000可以以不同的物理样式或形状因子来体现。图11示出了其中可以实现系统1000的小形状因子设备1100的各示例。在某些示例中，设备1100可以实现为具有无线能力的移动计算设备。移动计算设备可以是指具有处理系统和移动电源(诸如，例如，一个或多个电池)的任何设备。
[0079]如上文所描述的，移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上电脑、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视机、智能设备(例如，智能电话、智能平板电脑或智能电视机)、移动因特网设备(MID)、消息传送设备、数据通信设备等等。
[0080]移动计算设备的示例还可以包括被配置为由人佩带的计算机，诸如腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带计算机、臂带计算机、鞋计算机、衣服计算机，及其他可佩带的计算机。根据某些示例，移动计算设备可以实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然可以利用作为示例实现为智能电话的移动计算设备描述一些示例，但是，可以理解，其他示例也可以使用其他无线移动计算设备来实现。在此上下文中，示例不受限制。
[0081]如图11所示，设备1100可以包括外壳1102、显示器1104、输入/输出(I/O)设备1106，以及天线1108。设备1100还可以包括导航特征1112。显示器1104可以包括用于显示适合于移动计算设备的信息的任何合适的显示单元。I/O设备1106可以包括用于向移动计算设备中输入信息的任何合适的I/O设备。I/O设备1106的示例可以包括字母数字键盘、数字键区、触摸板、输入键、按钮、开关、往复式开关、话筒、扬声器、语音识别设备以及软件等等。信息还可以通过麦克风输入到设备1100中。对于某些示例，语音识别设备可以数字化这样的信息。虽然本发明不限制在该情境中。
[0082]各示例可以使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的示例可包括软件组件、程序、应用程序、计算机程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号，或其任何组合。判断一个示例是否使用硬件元件或软件元件来实现可以根据任意数量的因素而不同，如所希望的计算速率、功率级别、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度，及其他设计或性能约束。
[0083]至少一个示例的一个或多个方面可以通过存储在机器可读介质上的代表性的指令来实现，指令表示处理器内的各种逻辑，指令在由机器读取时使机器制造执行此处所描述的技术的逻辑。被称为“IP核”的这样的表示可以存储在有形的机器可读介质中，并提供给各种客户或生产设施，以加载到实际制造逻辑或处理器的制造机器中。
[0084]各示例可以使用硬件元件、软件元件或两者的组合来实现。在某些示例中，硬件元件可包括器件、组件、处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。在某些示例中，软件元件可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号，或其任何组合。判断一个示例是否使用硬件元件或软件元件来实现可以根据任意数量的因素而不同，如所希望的计算速率、功率级别、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度，及给定实现所需要的其他设计或性能约束。
[0085]某些示例可以包括制品。制品可以包括存储逻辑的非瞬时的存储介质。在某些示例中，非瞬时的存储介质可包括一种或多种类型的能够存储电子数据的计算机可读存储介质，包括易失性存储器或非易失性存储器，可移动或不可移动存储器，可擦除或不可擦存储器，可写入或可重写的存储器等等。在某些示例中，逻辑可包括各种软件元件，诸如软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号，或其任何组合。
[0086]根据某些示例，制品可以包括存储或维护指令的非瞬时的存储介质，所述指令，当由计算机或系统执行时，导致计算机或系统执行根据所描述的示例的方法和/或操作。指令可包括任何合适类型的代码，如源代码、已编译的代码、已解释的代码、可执行代码、静态代码、动态代码等等。指令可以根据预定义的计算机语言、方式或语法来实现，以便指示计算机来执行某一功能。指令可以使用任何合适的高级别的、低级别的、面向对象的、可视的、已编译的和/或解释性编程语言来实现。
[0087]在某些示例中，在本发明中所描述的操作也可以至少部分地实现为包含在包括非瞬时的计算机可读介质的制品中的指令。对于这些示例，非瞬时的计算机可读介质可以由一个或多个处理器读取和执行以允许操作的执行。
[0088]可以使用表达“在一个示例中”或“示例”以及它们的派生词来描述某些示例。这些术语意味着，参考示例所描述的特定功能、结构或特征包括在至少一个示例中。在本说明书中的不同位置出现短语“在一个示例中”不一定都是指同一个示例。
[0089]可以使用表达“耦合”和“连接”以及它们的派生词来描述某些示例。这些术语不一定作为彼此的同义词。例如，使用术语“连接”和/或“耦合”的描述可以指示两个或更多元件彼此处于直接的物理或电接触的状态。然而，术语“耦合”也可以意味着，两个或更多彼此不直接接触，但是仍彼此合作或进行交互。
[0090]值得强调的是，提供了“发明摘要”以符合37C.F.R.第1.72(b)段，要求将可使读者快速地弄清本技术公开的特征的摘要。但应理解，它不能被用来解释或限制权利要求的范围或含义。此外，在前面的"【具体实施方式】"中，可以看出，各种特征可以组合在一个示例中，以便简化说明。本发明的此方法不应被解释为反映出如下意图:权利要求所请求保护的各示例需要比每一个权利要求中明确地列举的特征更多的特征。相反，如下面的权利要求所反映的，本发明的主题体现于少于所公开的单一示例的所有特征。因此，所附的权利要求被包括到详细描述部分中，每一个权利要求本身也作为单独的示例。在所附权利要求书中，术语“包括”和“其特征在于”被用作相应的术语“包含”和“其中”的通俗英语等效词。此外，术语“第一”、“第二”、“第三”等等只用作标记，并不旨在对它们的对象施加数值要求。
[0091]尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
【权利要求】
1.一种方法，包括: 由处理器电路接收标识出包括在要向观察者显示的显示元素中的感兴趣的一个或多个区域的信息； 随着所述显示元素被显示，基于跟踪所述观察者的眼睛，收集眼动跟踪或注视信息；以及 基于所述收集到的眼动跟踪或注视信息，来确定所述一个或多个感兴趣的区域的兴趣度分数。
2.如权利要求1所述的方法,包括:所述显示元素包括静态图像或动态视频中的一项。
3.如权利要求1所述的方法，包括从与广告商相关联的应用程序、与社交媒体因特网站点相关联的应用程序、与存储或共享数字照片相关联的应用程序或与存储或共享动态视频相关联的应用程序中的一项接收标识出所述一个或多个感兴趣的区域的信息。
4.如权利要求1所述的方法，包括，所述一个或多个感兴趣的区域包括一个或多个加标记的对象，所述一个或多个加标记的对象包括辨识出的人、人物类型、消费品类型、植物群类型、动物群类型、建筑类型、风景类型或颜色中的至少一项。
5.如权利要求4所述的方法，包括，所述一个或多个加标记的对象包括从所述消费品类型、所述植物群类型、所述动物群类型或所述建筑类型中选择的一个以上的类型，确定所述一个或多个感兴趣的区域的所述兴趣度分数包括组合所述一个以上的类型的单独的兴趣度分数。
6.如权利要求1所述的方法，包括基于所述观察者当观察所述显示元素时提供跟踪所述观察者的眼睛的权限，收集所述眼动跟踪或注视信息。
7.如权利要求6所述的方法，包括基于当观察所述显示元素时拒绝跟踪所述观察者的眼睛的权限，使所述观察者能关闭与眼动跟踪系统相关联的一个或多个照像机。
8.如权利要求1所述的方法，包括:所述收集到的眼动跟踪或注视信息包括所述一个或多个感兴趣的区域中的每一个的单独的注视持续时间、所述一个或多个感兴趣的区域中的每一个的的单独的凝视计数、所述一个或多个感兴趣的区域中的每一个的注视的单独的计数或所述一个或多个感兴趣的区域中的每一个的单独的首次凝视时间中的至少一项。
9.如权利要求8所述的方法，包括:注视持续时间，其包括观察者的眼睛超出时间阈值地被引向给定感兴趣的区域的持续时间；凝视计数，其包括观察者的眼睛被引向给定感兴趣的区域的次数；注视计算，其包括观察者的眼睛超出时间阈值地被引向给定感兴趣的区域的次数；首次凝视时间，其包括当所述显示元素被向所述观察者显示器时和当所述观察者的眼睛首次被引向给定感兴趣的区域时之间的时间差。
10.如权利要求9所述的方法，包括:给所述注视持续时间、所述凝视计数、所述注视计数和所述首次凝视时间指定单独的值，并组合所述单独的值来确定所述给定感兴趣的区域的所述兴趣度分数。
11.如权利要求1所述的方法，包括基于所述一个或多个感兴趣的区域的所述兴趣度分数，更新与所述观察者相关联的简档。
12.如权利要求1所述的方法，包括:基于所述兴趣度分数，更新与所述一个或多个感兴趣的区域相关联的市场营销信息。
13.—种设备,包括:处理器电路；以及 可通信地耦合到所述处理器电路的存储器单元，所述存储器单元被配置为存储兴趣度管理器，所述兴趣度管理器在所述处理器电路上操作以接收标识出要向观察者显示的显示元素中所包括的一个或多个感兴趣的区域的信息，所述兴趣度管理器被配置成当所述显示元素被显示时收集基于跟踪所述观察者的眼睛获取的眼动跟踪或注视信息，然后，基于所述收集到的眼动跟踪或注视信息，来确定所述一个或多个感兴趣的区域的兴趣度分数。
14.如权利要求13所述的设备，包括供所述观察者查看所述显示元素的显示器。
15.如权利要求13所述的设备,包括所述显示元素包括静态图像或动态视频中的一项。
16.如权利要求13所述的设备，包括，所述一个或多个感兴趣的区域包括一个或多个加标记的对象，所述一个或多个加标记的对象包括辨识出的人、人物类型、消费品类型、植物群类型、动物群类型、建筑类型、风景类型或颜色中的至少一项。
17.如权利要求13所述的设备，包括:所述兴趣度管理器被配置成从与广告商相关联的应用程序、与社交媒体因特网站点相关联的应用程序、与存储或共享数字照片相关联的应用程序或与存储或共享动态视频相关联的应用程序中的一项接收标识出所述一个或多个感兴趣的区域的信息。
18.如权利要求13所述的设备，包括:所述兴趣度管理器被配置成收集眼动跟踪或注视信息，所述眼动跟踪或注视信息包括所述一个或多个感兴趣的区域中的每一个的单独的注视持续时间、所述一个或多个感兴趣的区域中的每一个的单独的凝视计数、所述一个或多个感兴趣的区域中的每一个的单独的注视计数、或所述一个或多个感兴趣的区域中的每一个的单独的首次凝视时间中的至少一项。
19.如权利要求18所述的设备，包括:所述兴趣度管理器被配置成向注视持续时间、凝视计数、注视计数或首次凝视时间中的一项或多项指定单独的值，所述兴趣度管理器还被配置成组合所述单独的值，来确定所述一个或多个感兴趣的区域中的每一个的单独的兴趣度分数。
20.如权利要求13所述的设备，包括:所述兴趣度管理器被配置成基于所述一个或多个感兴趣的区域的所述兴趣度分数，更新与所述观察者相关联的简档。
21.包括存储介质的制品，所述存储介质包含指令，当执行所述指令时，所述指令导致系统: 接收标识出包括在要向观察者显示的显示元素中的感兴趣的一个或多个区域的信息； 随着所述显示元素被显示，基于跟踪所述观察者的眼睛，收集眼动跟踪或注视信息；以及 基于所述收集到的眼动跟踪或注视信息，确定所述一个或多个感兴趣的区域的兴趣度分数；以及 基于所述一个或多个感兴趣的区域的所述兴趣度分数，更新与所述观察者相关联的简档。
22.如权利要求21所述的制品，包括:所述指令致使所述系统从与广告商相关联的应用程序、与社交媒体因特网站点相关联的应用程序、与存储或共享数字照片相关联的应用程序或与存储或共享动态视频相关联的应用程序中的一项接收标识出所述一个或多个感兴趣的区域的信息。
23.如权利要求22所述的制品，包括:所述收集到的眼动跟踪或注视信息包括所述一个或多个感兴趣的区域中的每一个的单独的注视持续时间、所述一个或多个感兴趣的区域中的每一个的的单独的凝视计数、所述一个或多个感兴趣的区域中的每一个的注视的单独的计数或所述一个或多个感兴趣的区域中的每一个的单独的首次凝视时间中的至少一项。
24.如权利要求23所述的制品，包括:注视持续时间，其包括观察者的眼睛超出时间阈值地被引向给定感兴趣的区域的持续时间；凝视计数，其包括观察者的眼睛被引向给定感兴趣的区域的次数；注视计算，其包括观察者的眼睛超出时间阈值地被引向给定感兴趣的区域的次数；首次凝视时间，其包括当所述显示元素被向所述观察者显示器时和当所述观察者的眼睛首次被引向给定感兴趣的区域时之间的时间差。
25.如权利要求24所述的制品，包括:所述指令致使所述系统给所述注视持续时间、所述凝视计数、所述注视计数和所述首次凝视时间指定单独的值，并还致使所述系统组合所述单独的值来确定所述给 定感兴趣的区域的所述兴趣度分数的指令。
【文档编号】G06F3/14GK103999032SQ201180075458
【公开日】2014年8月20日 申请日期:2011年12月12日 优先权日:2011年12月12日
【发明者】G·卡米, B·赫维茨, Y·戈维曾斯基 申请人:英特尔公司