评价用户关注度的方法和设备的制造方法
【技术领域】
[0001]本发明一般地涉及人机交互领域。具体而言，本发明涉及一种评价用户关注度的方法和设备。
【背景技术】
[0002]近年来，人机交互技术得到迅猛发展。人机交互技术根据所采用的交互方式大体可分为如下两类:键盘、鼠标、触摸屏等需要用户与相关设备的物理接触的交互方式、基于用户的动作如手势、用户的语音的无物理接触的交互方式。第一种交互方式直接明了，但不够智能，人机交互界面不够友好，不能适用于无物理接触的情形。后一种方式直观容易理解，但容易与用户的其它动作相混淆且需要用户记忆大量的预定动作，存在口音与口语的识别困难。相应地，用户意图识别的准确率较低。
[0003]针对现有技术中存在的上述问题，期望直接明了、智能友好、无需物理接触、无需记忆预定动作、不存在识别障碍的人机交互方式。
[0004]本发明的发明人意识到用户的视线能够直接地反映用户的观看对象，而用户的表情能够直接地反映用户对所观看的对象的关注程度。因此，本发明提出了一种基于用户的视线和表情对用户的关注度进行评价的方法和设备。进一步地，可以基于对用户的关注度的评价，进行各种人机交互应用，如可视媒体的导航等。
【发明内容】
[0005]在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0006]本发明的目的是针对现有技术的上述问题，提出了一种能够准确地评价用户关注度的方法和设备。
[0007]为了实现上述目的，根据本发明的一个方面，提供了一种评价用户关注度的方法，其包括:检测用户的视线方向；确定所检测的视线方向所对应的屏幕上的区域；获得用户针对所确定的区域的表情在各个预定情绪上的度量；以及根据所获得的度量，生成用户对所确定的区域的关注度。
[0008]根据本发明的另一个方面，提供了一种评价用户关注度的设备，其包括:视线方向检测装置，被配置为检测用户的视线方向；对应区域确定装置，被配置为确定所检测的视线方向所对应的屏幕上的区域；度量获得装置，被配置为获得用户针对所确定的区域的表情在各个预定情绪上的度量；以及关注度生成装置，被配置为根据所获得的度量生成用户对所确定的区域的关注度。
[0009]另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
[0010]此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述方法。
【附图说明】
[0011 ] 参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中:
[0012]图1示出了根据本发明的实施例的评价用户关注度的方法的流程图；
[0013]图2示出了根据本发明的实施例的度量获得方法的流程图；
[0014]图3示出了根据本发明的实施例的人机交互方法的流程图；
[0015]图4示出了根据本发明的实施例的评价用户关注度的设备的结构方框图；以及
[0016]图5示出了可用于实施根据本发明实施例的方法和设备的计算机的示意性框图。
【具体实施方式】
[0017]在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0018]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。另外，还需要指出的是，在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
[0019]本发明的基本思想是根据用户的视线判断用户观看的对象，如多个屏幕中的一个屏幕，或一个屏幕上的某个区域等。然后基于用户的表情，判断用户对观看对象的关注度。
[0020]下面将参照图1描述根据本发明的实施例的评价用户关注度的方法的流程。
[0021]图1示出了根据本发明的实施例的评价用户关注度的方法的流程图。如图1所示，根据本发明的评价用户关注度的方法，包括如下步骤:检测用户的视线方向(步骤Si);确定所检测的视线方向所对应的屏幕上的区域(步骤S2);获得用户针对所确定的区域的表情在各个预定情绪上的度量(步骤S3);以及根据所获得的度量，生成用户对所确定的区域的关注度(步骤S4)；。
[0022]在步骤SI中，检测用户的视线方向。
[0023]此处对用户的视线方向的检测可以利用本领域已知的各种方法，并不做具体限制。
[0024]作为一种示例，首先，从用户图像中，检测用户的面部区域。然后，从用户的面部区域中，检测用户的双眼区域和鼻梁区域。接着，根据用户的双眼区域和鼻梁区域，确定用户的面部朝向作为用户的视线方向的检测结果。
[0025]当用户面对由多块屏幕组成的屏幕矩阵时，根据用户的面部朝向，即可判断出用户所观看的是哪个屏幕。所以，针对这类情况，检测用户的视线方向只需检测出用户的面部朝向。
[0026]在本示例中，假定根据用户的双眼区域和鼻梁区域即可确定用户的面部朝向。但本发明不限于此。例如，用户面部的多个特征点也可确定用户的面部朝向。相应地，可以通过检测用户面部的多个特征点来检测用户的视线方向。
[0027]作为另一示例，首先，从用户图像中，检测用户的面部区域。然后，从用户的面部区域中，检测用户的双眼区域和鼻梁区域。接着，根据用户的双眼区域和鼻梁区域，确定用户的面部朝向。并且，从用户的双眼区域中，检测用户的瞳孔位置。最后，根据用户的面部朝向与用户的瞳孔位置相对于双眼区域的中心位置的偏移量，确定用户的视线方向。
[0028]基于这一示例所检测出的用户的视线方向，可以更精准地定位屏幕上的某块区域，例如是多块屏幕中的某一块屏幕上的某一区域，或者单个屏幕上的某一区域。
[0029]这一示例基于如下假设:当用户平视屏幕时，若双眼瞳孔均位于双眼中心位置，则实际观看方向为双眼中心连线与鼻梁交点处向前方的直线。
[0030]本发明不限于此。利用其它因素来确定更精细的用户视线方向的方法均可应用于此。
[0031]在步骤S2中，确定所检测的视线方向所对应的屏幕上的区域。
[0032]这一步骤实现视线方向到屏幕区域的转换。根据具体应用场景的不同，这里的屏幕包括多个屏幕和单个屏幕的情形。屏幕上的区域相应地指示多个屏幕中的一个屏幕、多个屏幕中的一个屏幕上的一个区域、或单个屏幕上的一个区域的情形。
[0033]步骤SI和S2的作用就是确定用户的视线方向，定位用户所关注的对象。
[0034]在上述步骤中，对面部区域、鼻梁区域、双眼区域、瞳孔区域的检测可借助于面部区域检测器、鼻梁区域检测器、双眼区域检测器、瞳孔区域检测器来进行。
[0035]在传统的技术中，利用检测器进行相关的检测时，检测器是离线训练好的，是一成不变的。如果训练得好，则检测结果准确，如果训练所利用的样本与实际应用时的检测对象/背景条件差别较大，则检测不准确。事实上，训练样本往往局限于若干种人为指定的背景下，在光照环境、眼睛大小、眼部特征等各方面有局限性，并不适合应用时的情况。
[0036]当输入数据是用户图像组成的帧序列时，针对每一个用户图像进行上述步骤SI。考虑到这一点，本发明的发明人提出利用跟踪和预测技术来修正检测器的输出结果，并以实际的用户图像作为训练样本来训练检测器，使得检测器的训练更加充分并且更适合于当前输入的用户图像帧序列。
[0037]具体地说，对于输入的用户图像帧序列，基于相应检测器对在前的用户图像的检测结果，利用跟踪算法，估计当前用户图像的预期检测结果；再利用预期检测结果和当前用户图像训练相应的检测器。
[0038]这里假定通过跟踪获得的预期检测结果比检测器针对当前用户图像检测出的结果更