信息处理装置、信息处理方法和程序的制作方法

专利名称：信息处理装置、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理装置、信息处理方法和程序，尤其是涉及允许基于用户观看
内容数据的状况来作出有关内容数据的各种建议的信息处理装置、信息处理方法和程序。
背景技术：
随着因特网和/或有线电视的高速扩散以及内容产业的增长，在日常生活的各种情景中，提供基于各个用户的嗜好和情形状况从大量信息和/或内容数据选择的信息和/或呈现从其中选择的内容数据已变得很重要。实施了各种方法来实现上述任务。
存 在 在"P. Resnick， N. Iacovou， M. Suchak， P. Bergstrom， and J. Ried1. 〃 Gro叩Lens :0pen Architecture for Collaborative Filtering ofNetnews. 〃 Conference on Computer Supported Cooperative Work, pp. 175-186，1994，，中公开的称为"协同过滤"的一种技术。根据协同过滤，基于多个用户的购买历史和/或行动历史来确定以与目标用户相同的方式作出反应的不同用户。然后，基于所确定的不同用户的历史来推荐目标用户尚未体验的商品。
因此，目标用户可以接收对未购买商品的推荐。特别地，目标用户可以接收对以与
目标用户相同的方式作出反应的不同用户购买过并高度评价的商品的推荐。 这样，通过协同过滤而达到的对商品的推荐对于用户判断是否应当购买该商品而
言是有效的。

发明内容
但是，因为用户在一预定时间内保持使用内容数据，并且用户作出的反应在该预定时间期间随时间改变，所以协同过滤在推荐内容数据时不必然有效。 例如，根据通过协同过滤达到的内容数据推荐，不同用户作出的反应被用作用于选择所推荐内容数据的标准。但是，不同用户所采取的反应是对内容数据的最终反应，例如，"讨人喜欢"、"既不是讨人喜欢也不是不讨人喜欢"、"不讨人喜欢"等。即，通过协同过滤达到的内容数据推荐不考虑对内容数据的最终反应是如何获得的，也就是说，例如，对用户而言内容数据的哪个部分讨人喜欢的和/或不讨人喜欢。 用户会有意识地评价对内容数据的偏好。但是，用户难以参考其关于内容数据的
感觉来用语言具体描述内容数据是"讨人喜欢的"和/或"不讨人喜欢的"。 可以考虑通过估计用户的感觉并搜索用户对其显示出与所估计的感觉相同的感
觉的内容数据来推荐内容数据的方法。但是，通过上述方法难以确定并推荐未知的、用户可
能感兴趣的内容数据。此外，存在对不善表达内容数据的用户。在这种情况下，难以估计上
述用户的感觉。
因此，很难基于用户的观看状况来对内容数据作出建议。 因此，本发明基于用户的观看状况来提供有关内容数据的各种建议。 根据本发明一个实施例的信息处理装置包括视线检测单元，被配置来检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；观看状况估计单元，被配置来基于所输出的视线信息以及与所述内容数据相关的视觉关注度信息来估计所述观看者的观看状况；以及内容建议单元，被配置来基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。 观看状况估计单元还基于观看状况估计的结果来估计观看状态，并且内容建议单元基于所估计出的观看状态来作出针对所述内容数据的各种建议。 定义了指示出所述观看者的观看状况的观看状况变量，并且至少一个预定类型的观看状态与所述观看状况变量的至少两个可能范围的每一个相关联，并且所述观看状况估计单元通过计算所述观看状况变量的值来估计所述观看状况，并且通过确定与所述至少两个可能范围中、所述观看状况变量的值所属于的范围相关联的那一类型的观看状态来估计所述观看状态。 至少一个预定类型的所建议行动与至少两种所述观看状态的每一种相关联，并且所述内容建议单元基于与通过所述观看状况估计单元确定的那一类型的观看状态相关联的那一类型的所建议行动，来为所述观看者作出建议。 定义了基于与所述观看者的视线所停留的区域相关的视觉关注度信息的大小而
可变化的分值，并且所述观看状况估计单元以预定时间为周期基于刚刚从所述视线检测单
元输出的视线信息以及与所述内容数据相关联的视觉关注度信息来计算所述分值，并且基
于到当前周期为止所获得的、至少次中的每次获得的分值来计算所述观看状况变量的值。 根据本发明一个实施例的信息处理方法和程序对应于根据本发明该实施例的上
述信息处理装置。 根据本发明的信息处理装置、信息处理方法和程序，正在观看内容数据的观看者的视线被检测出，并且作为检测结果的视线信息被输出，观看者的观看状况被基于所输出的视线信息和与内容数据相关的视觉关注度信息来估计出，并且针对内容数据的各种建议被基于所估计出的观看状况来为观看者作出。 本发明允许根据用户观看内容数据的状况来作出有关内容数据的各种建议。


图1A是被提供来图示出关注吸引程度之间的差异的示 图1B是被提供来图示出关注吸引程度之间的差异的另一示图； 图2是示出根据本发明一个实施例、被设置为一种信息处理系统的内容建议系统
的示例性功能配置的功能框图； 图3A是图示出视觉关注度的示图； 图3B是图示出视觉关注度的另一示图； 图4示出了示例性视线信息； 图5是图示出通过图2所示的内容建议系统执行的示例性内容建议处理的流程图； 图6是详细图示出在图5所示的步骤S2执行的示例性观看状况估计处理的流程图； 图7详细地图示出在图5所示的步骤S3执行的示例性观看状态估计处理；
图8是详细图示出在图5所示的步骤S3执行的示例性观看状态估计处理(对应于图7的示例)的流程图； 图9详细地图示出在图5所示的步骤S4执行的示例性所建议行动确定处理；
图10是详细图示出在图5所示的步骤S4执行的示例性所建议行动确定处理(对应于图9的示例)的流程图； 图11是示出图5所示的内容建议处理的特定结果的示图； 图12是示出根据本发明一个实施例、被设置为一种信息处理系统的内容建议系统的示例性功能配置的功能框图，其中，该功能框图示出了与图2所示的示例不同的示例；
图13是示出根据本发明一个实施例、被设置为一种信息处理系统的内容建议系统的示例性功能配置的功能框图，其中，该功能框图示出了与图2和/或图12所示的示例不同的示例； 图14是示出更新视觉关注度信息的方法的一个具体示例的示图，其中，该示图示出了与图13的示例不同的示例；以及 图15是示出根据本发明一个实施例、被设置为一种信息处理系统的个人计算机硬件的框图。
具体实施例方式
本发明允许基于用户观看内容数据的状况来作出有关内容数据的各种建议。
这里，术语"内容数据"一般被理解为通过人的创造性活动而产生的数据。本发明可以用于全体内容数据。 例如，经由电子计算机而被提供来呈现关于以下各项和/或与以下各项有关的信息的程序是内容数据的一个示例电影、音乐、演出、戏剧、相片、漫画、动画、计算机游戏等的字符、图画、颜色、声音、动作或者视频和/或其组合。内容数据的任何示例都可用于本发明。 但是，在以下描述中，内容数据可以是适当地存储在数字多媒体盘(DVD)中的电
视广播节目的数据和/或电影数据等，以便使本发明更加可以理解。 可以通过使用视觉关注度来作出有关内容数据的各种建议，从而实现本发明。 这里，术语"视觉关注度"表示图像的各个区域的关注吸引程度，S卩，在图像的各个
区域中观察到的视线集中程度。 也就是说，人往往认为人一次感知在人眼之前扩展开的空间中面向人的180度空间。但是，实际上，人的中心视场对应于大约4到IO度的空间。因此，人通过有意或无意地逐渐移动人眼来感知面向人的整个180度空间。例如，当人观看电视接收器的画面图像(下文中称为电视画面)时，人基于所显示的视频高速地在电视画面上移动人的视线。此外，对于给予用户的视觉剌激，人不必然随机地观看区域，而是以某种重复性来观看各区域。因此，并不是电视画面的每一个区域都吸引关注，而是，关注吸引程度在电视画面的各个区域之间变化。 图1图示出了关注吸引程度之间的差异。 例如，当向人们示出图1A的静止图像时，人们的视线最多集中于示出绿色运动轿车中的人的区域T1，如图1B所示。在区域T1之后，人们的视线集中于围绕区域T1的区域
6T2、示出建筑物等的区域T3、以及示出山峰的区域T4和T5中的每一个。其它区域很难吸引人们的视线。 因此，同一图像包括人的视线集中的区域以及视线不集中的区域。因此，根据本发明一个实施例，图像各个区域的视线集中程度，即，图像各个区域的关注吸引程度被定义为视觉关注度，并且基于视觉关注度来作出有关内容数据的各种建议。 更具体而言，如在图1B中例示性示出的，具有最高值的视觉关注度K被指派给区域Tl，具有中间值的视觉关注度V2被指派给区域T2至T5的每一个，并且具有最低值的视觉关注度V3被指派给其它各个区域。这样，视觉关注度可以在各个区域之间变化，如视觉关注度V工至V3的情况那样，从而可以基于用户观看内容数据的状况来作出有关内容数据的各种建议。 下文中，将参考图2及后面的图来描述使用上述视觉关注度的本发明的实施例。 本发明的实施例[内容建议系统1的示例配置] 图2是示出根据本发明一个实施例、示例性地被提供作为信息处理系统的内容建议系统1的示例功能配置的功能框图。 内容建议系统1包括内容数据库(DB) 11、视觉关注度DB12、视觉关注度估计单元13、视觉关注度标记单元14、视线检测单元15、观看状况估计单元16、内容建议单元17和视频显示单元18。 在本说明书中，术语"系统"表示包括多个处理设备和/或处理单元的整体装置。也就是，内容建议系统1可以包括至少一个设备。此外，并不限制于图2，在各个功能框图中示出的各个功能块可被提供为软件、硬件、或软件和硬件的组合。 内容DBll存储至少一个内容数据项目。视频信息和关于内容数据的信息，例如关于广播日期、标题、表演者等的信息(下文中称为元数据)，被添加到至少一个内容数据项目的每一个。基于从视觉关注度DB12、视觉关注度估计单元13、视觉关注度标记单元14和内容建议单元17发送的请求数据而输出至少一个内容数据项目的每一个。此外，不是内容数据整体，而是适当地其一部分(例如仅仅单独的元数据)被从内容DB11输出。
视觉关注度DB12存储关于针对存储在内容DB11中的各个内容数据项目所每次观察到的视觉关注度的信息(下文中称为视觉关注度信息)。在上述实施例中，例如，与各个内容数据项目相对应的视频信息包括多个帧。在该情况下，与各个帧相对应的视觉关注度信息被存储在视觉关注度DB12中。更具体地，向各个帧中包括的各个像素指派具有值0或1的视觉关注度。在该情况下，与预定帧相对应的视觉关注度信息变为指示出各像素的视觉关注度的值(0或1)的集合体。这里，指示出各个像素的视觉关注度的值被确定为像素值，从而包括这些像素值的图像数据(下文中称为视觉关注度图像数据)可被用作视觉关注度信息。也就是，在上述实施例中，采用视觉关注度图像数据作为相应帧的视觉关注度信息。
在该情况下，例如，当视觉关注度图像数据是单色图像的数据(其中，O被确定为白色，而1被确定为黑色)时，区域的颜色随着其视觉关注度增高而逼近黑色，并且随着其视觉关注度降低而逼近白色。更具体地，由于包括在相应帧中的示出领导角色和/或主要角色的脸部、说话者脸部的区域等的关注度增高，所以该区域的颜色逼近黑色。另一方面，示出表演者和/或与内容数据的故事无关的背景的区域等的视觉关注度降低，从而上述区
7域的颜色逼近白色。 将参考图3A和3B进一步描述视觉关注度。 图3A和3B的每一个图示出了视觉关注度。图3A示出了内容数据中包括的视频信息的示例性显示的预定帧。图3B示出了与图3A所示的帧相对应的视觉关注度信息，即，被示例性显示的视觉关注度图像数据。这里，在图3A中示出的被示例性显示的帧，是与图1A所示的静止图像相同的图像，以便使本发明更加可理解。 根据图3B所示的示例性显示的视觉关注度信息，具有高值(例如，1)的视觉关注度VJ皮指派给区域T1，从而所显示区域T1的颜色为黑色，如在图1B中所描述的。由于具有中间值(例如，O. 5)的视觉关注度、被指派给区域T2至T5的每一个，所以区域T2至T5的每一个的颜色为灰色。此外，由于具有低值(例如，O)的视觉关注度V3被指派给其它区域，所以其颜色为白色。 图3B所示的示例性显示的帧被提供作为预定帧的示例视觉关注度信息。因此，理所当然地，与图3B的视觉关注度信息不同的视觉关注度信息被提供给不同帧。也就是，区域的视觉关注度随着时间逝去而不断改变，即使区域在空间上为一个并且是同一个区域也是如此。也就是说，在一帧中指派的视觉关注度的分布随着情景改变而随时间逝去而改变。
此外，生成视觉关注度信息的方法不受特别限制。例如，可以采用基于通过图2所示的视觉关注度估计单元13指派的视觉关注度来生成视觉关注度信息的方法。
更具体地，视觉关注度估计单元13从内容DBll获取预定内容数据。视觉关注度估计单元13通过分析预定内容数据中包括的每一个帧的特性来估计并(每次)向每一个帧的每一个区域指派视觉关注度。从而，生成每一个帧的视觉关注度信息。也就是，在上述实施例中，生成了与各个帧相对应的视觉关注度图像数据项目。因此，视觉关注度估计单元13将各个帧的视觉关注度信息项目的集合体的数据存储在视觉关注度DB12中作为预定内容数据的视觉关注度信息。也就是，在上述实施例中，包括与各个帧相对应的视觉关注度图像数据项目的视频数据被存储在视觉关注度DB12中作为预定内容数据的视觉关注度信息。存储在内容DBll中的每一个内容数据项目经历了通过视觉关注度估计单元13执行的上述一系列处理过程，从而视觉关注度信息被针对每一个内容数据项目而生成并被存储在视觉关注度DB12中。 这里，视觉关注度估计单元13所使用的估计视觉关注度的方法不受特别限制。例如，可以采用通过使用包括脸部检测器和/或人体检测器、对象检测器等的图像识别系统来估计视觉关注度的方法。在该情况下，变得可以估计视觉关注度并将具有高值的视觉关注度指派给帧中包括的如下区域，该区域例如示出了名人和/或领导角色的图像或者重要项目。 通过使用人类视觉系统的特性来估计视觉关注度的方法可被用作由视觉关注度估计单元13使用的估计视觉关注度的方法。人类视觉系统具有如下属性将具有与周围特性不同的特性的地方感知为"显眼地方(=引人注意的地方=突出部分)"并将视线集中于该地方。"显眼地方"包括独立的红点、在白墙上示出的黑点、与垂直线交叉示出的水平线、与整个图像画面不同地移动的地方等等。变得可以采用如下方法该方法基于人类视觉系统的特性，估计对于给定内容数据的每一个帧用户将视线集中于哪个区域，并根据该估计结果来估计并指派视觉关注度。除了上述方法之外，变得还可以采用如下方法该方法估计
8视觉关注度并将具有更高值的视觉关注度指派给帧的中心区域，这是因为人具有以比观看画面图像的中心的周围高的频率来观看中心的习惯。 此外，除了通过使用视觉关注度估计单元13执行的方法之外，生成视觉关注度信息的方法还可以包括基于根据不同用户观看内容数据的视线而统计地获得的视觉关注度来生成视觉关注度信息的方法。更进一步地，生成视觉关注度信息的方法还可以包括基于根据内容创建者创建内容数据的意图而指派给各个帧的视觉关注度，来生成视觉关注度信息的方法。当采用上述方法时，指派给每一个帧的各个区域的视觉关注度是已知的。因此，可预先将已知视觉关注度的数据存储在视觉关注度标记单元14中。结果，视觉关注度标记单元14可以从内容DB11获取预定内容数据，读取已指派给该预定内容数据中包括的各个帧的视觉关注度，并生成该预定内容数据的视觉关注度信息。所生成的视觉关注度信息被存储在视觉关注度DB12中。 因此，视觉关注度信息生成方法自身不受特别限制，并且根据供采用的生成方法而使用视觉关注度估计单元13和/或视觉关注度标记单元14。此外，原本地，内容建议系统1自身不必然生成视觉关注度信息，从而已有的视觉关注度信息可预先被存储在视觉关注度DB12中。也就是，内容建议系统1可以不包括视觉关注度估计单元13和视觉关注度标记单元14。因此，在图2中，用虚线来指示出视觉关注度估计单元13和视觉关注度标记单元14。 视线检测单元15例如通过指向用户U的眼睛周围区域的红外相机、普通的电荷耦合器件(CCD)相机等来检测用户U的视线，并将作为检测结果的视线信息呈递给观看状况估计单元16。在上述实施例中，例如，视线检测单元15确定视线存在于在视频显示单元18上显示的帧图像(和/或视频显示单元18外)的哪个区域。视线检测单元15将指示出示出用户U的视线的区域的信息呈递给观看状况估计单元16作为视线信息。
此外，由视线检测单元15执行的视线检测方法自身不受特别限制，因而视线检测方法不限于上述方法。除了上述方法之外，例如，视线检测单元15可以通过固定到例如用户U的头部上的红外相机、普通CCD相机等来检测用户U的视线。此外，视线检测单元15可以通过使用固定在用户U所处环境中的红外相机、普通CCD相机等来检测用户U的视线。
图4示出了示例性的视线信息。在图4中，点P1、P2和P3指示出包括用户U的视线的区域。因此，在图4所示的示例中，指示出点P1到P3的信息被呈递给视线检测单元15作为视线信息。此外，将点P1到P3联接在一起的虚线指示出用户U的视线的轨迹。视线信息可以包括关于用户U的视线的轨迹的信息。此外，可以在产生内容数据之后预先手动标记视线信息。 图2所示的观看状况估计单元16通过对从视线检测单元15发送的视线信息与从视觉关注度DB12发送的视觉关注度信息进行比较来估计用户U的观看状况，并基于估计结果来估计观看状态。 当用户U集中精神地观看内容数据时，用户U观看内容数据中包括的每一个帧中的具有高视觉关注度的区域。由于具有高视觉关注度的区域根据情景的改变而不断地改变到另一个区域，所以视线根据区域的改变而改变。另一方面，当用户U漫不经心地观看内容数据时，用户U不一定观看内容数据中包括的每一个帧中的具有高视觉关注度的区域。不是观看具有高视觉关注度的区域，用户U通常观看具有低视觉关注度的区域和/或画面图
9像之外的区域。因此，例如，随着在用户U观看内容数据期间观看具有低视觉关注度的区域的时间长度的增加(随着用户U处在上述观看状况中的时间长度的增加)，变得可以估计出用户U漫不经心地并未观看内容数据，作为用户U的观看状态。因此，在上述实施例中定义了一变量，其中，该变量的值基于用户U观看具有低视觉关注度的区域和/或在画面图像之外的区域的时间总量而增大，并且基于用户U观看具有高视觉关注度的区域的时间总量而减小。下文中，将上述变量称为观看状况变量C。后面将参考图6等来描述观看状况变量C的细节。 观看状况变量C不限于在上述实施例中示例性地阐明的那个。例如，观看状况变量C可以是通过将用户U所观看的区域与在画面图像中示出的具有最高视觉关注度的区域之间的距离用作指标而生成的变量。此外，观看状况变量C可以是通过将用户U所观看的区域的视觉关注度用作指标而生成的变量。 观看状况估计单元16基于观看状况变量C的值的大小来分类观看状态，以便估计用户U的观看状态。也就是，在上述实施例中，基于观看状况变量C的大小来分类的变量被定义为指示出用户U的观看状态的变量。下文中，将上述变量称为观看状态变量S。更具体地，在上述实施例中，指示出以下六种观看状态的每一个值被定义为观看状态变量S的可能值。也就是，指示出包括以下各项的六种观看状态的各个的值WATCHING(用户U观看内容数据的状态)、B0RINGL1 (用户U开始变得厌烦的状态)、B0RINGL2 (用户U很厌烦的状态)、NOT WATCHING(用户U未在观看内容数据的状态)、SLEEPING(用户U正在睡觉的状态)、以及AWAY(用户U未在视频显示设备前方的状态)。随着观看状况变量C的值的增大，指示出各个状态的值被确定为按状态WATCHING、 B0RINGL1、 B0RINGL2、 NOT WATCHING、SLEEPING、和AWAY的顺序的观看状态变量S。后面将描述指示出六种观看状态的各个的值的细节。 当然，观看状态变量S的可能值不特别限制于上述六种值。例如，指示出包括状态BLINK(眨眼)、TEMP0RAL_AWAY(非常短时间内移开眼睛)等的各种观看状态的各个值可被用作观看状态变量S。此外，不是掌握观看状态作为上述离散状态，而是作为连续改变的状态，从而观看状态变量S可以具有模拟值而不是数字值。 观看状况估计单元16确定适于当前观看状态的值作为指示出用户U的观看状态的上述变量S，并将所确定值的数据发送到内容建议单元17。后面将参考图7等来描述观看状态变量S的其它细节。 内容建议单元17基于从观看状况估计单元16发送的观看状态变量S以及存储在内容DB11中的各个内容数据项目来作出适于用户U的针对内容数据的各种建议。
例如，内容建议单元17基于观看状态变量S确定用户U漫不经心地未在观看内容数据。 在该情况下，内容建议单元17可以建议用户U中断和/或停止观看内容数据。如果用户U接受上述建议，则内容建议单元17向视频显示单元18下达中断和/或停止显示内容数据的指令。视频显示单元18基于上述指令而中断和/或停止显示内容数据。
此外，例如，内容建议单元17可以从存储在内容DB11中的内容数据项目中选择可以提起用户U的兴趣的新内容数据，并建议用户U将观看主题从当前内容数据改变为该新内容数据。当用户U接受上述建议时，内容建议单元17从内容DBll获取该新内容数据，并将该新内容数据呈递给视频显示单元18。视频显示单元18显示新内容数据中包括的各个帧图像以使得用户U可以观看该新内容数据。 这样，视频显示单元18可以在内容建议单元17的控制之下显示各种类型的内容数据项目。视频显示单元18可以包括电视接收器、个人计算机的监视器、移动电话的显示
单元等。[内容建议处理] 图5是示出通过如图2所示地配置的内容建议系统1执行的处理过程中、被执行来作出针对内容数据的各种建议的一示例系列的处理过程(下文中称为内容建议处理)的流程图。 在步骤Sl，视线检测单元15生成关于用户U的视线的信息。用户U的视线信息被呈递给观看状况估计单元16。从而，处理行进到步骤S2。 在步骤S2，观看状况估计单元16基于用户U的视线信息和视觉关注度信息来计算上述观看状况变量C的值。下文中，将在步骤S2执行的上述处理称为观看状况估计处理。后面将参考图6描述观看状况估计处理的示例细节。 在步骤S3，观看状况估计单元16基于观看状况变量C的值来估计并计算上述观看状态变量S的值。下文中，将在步骤S3执行的上述处理称为观看状态估计处理。后面将参考图7和8来描述观看状态估计处理的示例细节。观看状态变量S的数据被呈递给内容建议单元17，从而处理行进到步骤S4。 在步骤S4，内容建议单元17基于观看状态变量S的值来确定有关内容数据的各种建议。所建议的行动表示由内容建议系统1基于用户的观看状况建议的用户行动，和/或由内容建议单元17自身执行的处理的细节而不是用户行动。例如，如果确定用户对所显示的内容数据感到厌烦，则内容建议系统1可以将停止和/或中断所显示的内容数据或者显示不同的内容数据确定为所建议行动。 更具体地，在上述实施例中，基于观看状态变量S的值来分类的变量被示例性地定义为指示出有关内容数据的各种所建议行动的变量。下文中，将上述各个变量称为所建议行动变量A。内容建议单元17基于观看状态变量S的值来计算所建议行动变量A的值。下文中，将在步骤S4执行的上述处理称为所建议行动确定处理。后面将参考图9和10来描述所建议行动确定处理的示例细节。 在步骤S5，内容建议单元17判断所建议行动变量A的值是否改变了 。
如果所建议行动变量A的值未改变，判定在步骤S5的答案为否，则处理返回到步骤Sl，并且再次执行与步骤Sl及后续步骤相对应的处理。也就是，包括在步骤Sl到S5执行的处理过程的循环处理被重复直到所建议行动变量A的值改变为止。在循环处理期间，持续地建议与所建议行动变量A的当前值相对应的内容数据。 之后，每一次重复与步骤Sl到S5相对应的循环处理，就更新观看状况变量C的值。然后，基于观看状况变量C的更新值来适当地改变观看状态变量S的值。结果，当所建议行动变量A的值改变时，判定在步骤S5的答案为是，从而处理行进到步骤S6。
在步骤S6，内容建议单元17基于所建议行动变量A的值来作出有关内容数据的各种建议。也就是，在上述实施例中，例如，有关内容数据的至少一个预定类型的所建议行动预先与所建议行动变量A的预定 和/或预定范围相关联。因 ，内容建议单元17识别与所建议行动变量A的值相关联的行动，建议用户U采取所建议行动，或者由内容建议单元17自身执行所建议行动而不是用户U的行动。这里，后面将参考图9等来描述所建议行动的具体类型。 在步骤S7，内容建议单元17判断结束处理的指令是否已被发送。 如果结束处理的指令未被发出，判定在步骤S7的答案为否，则处理返回到步骤
Sl，并且重复从SI开始及其后续步骤的处理。也就是说，包括在步骤SI到S7执行的处理
过程的循环处理被重复直到结束处理的指令被发出为止。 也就是，以预定周期(例如，1秒)重复执行与步骤SI到S7相对应的循环处理。从而，在预定周期(例如，l秒)内不断地改变观看状况变量C的值。此外，当用户U的观看状况改变并且结果观看状况变量C的值改变为超过预定门限时，观看状态变量S的值改变并且最终所建议行动变量A的值改变。从而，由内容建议单元17执行的所建议行动的类型改变。这样，基于用户U的内容观看状况来建议有关内容数据的各种所建议行动。
当在那之后发出结束处理的指令时，判定在步骤S7的答案为是，并结束内容建议处理。 下文中，将按顺序分别描述内容建议处理中的在步骤S2执行的观看状况估计处理、在步骤S3执行的观看状态估计处理以及在步骤S4执行的所建议行动确定处理。[OO97][观看状况估计处理] 图6是图示出在图5所示的步骤S2执行的观看状况估计处理的示例细节的流程图。 在步骤S21，观看状况估计单元16判断观看状况估计处理是否是第一次处理。 如果判定观看状况估计处理不是第一次处理，则处理行进到步骤S23。 另一方面，如果观看状况估计处理是第一次处理，则判定步骤S21的答案为是，并
且处理行进到步骤S22。 在步骤S22，观看状况估计单元16将观看状况变量C的值初始化为零(C = 0)。跟着，结束观看状况估计处理，也就是，结束与图5所示的步骤S2相对应的处理，并且处理行进到在步骤S3执行的观看状态估计处理。在该情况下，观看状况变量C的值为零，并且在步骤S3执行观看状态估计处理。 另一方面，如果观看状况估计处理是第二次处理或者以后的处理，则判定步骤S21的答案为否，并且处理行进到步骤S23。也就是，通过先前的观看状况估计处理计算出的值被用作观看状况变量C的值，并且从步骤S23开始及后续的一系列处理过程被执行。
在步骤S23，观看状况估计单元16判断用户U是否在观看显示画面图像。
如果用户U未在观看显示画面图像，则判定步骤S23的答案为否，从而处理行进到步骤S26。在步骤S26，观看状况估计单元16将罚常数(penalty constant)CI与观看状况变量C的原始值相加，并将通过上述相加获得的值设置为观看状况变量C的新值(C =C+Cl)。也就是说，观看状况变量C的值被更新为使得该值增加了罚常数CI那么多。
相反，当用户U在观看显示画面图像时，判定在步骤S23的答案为是，并且处理行进到步骤S24。 在步骤S24，观看状况估计单元16判断用户U是否在观看具有高视觉关注度的部位。例如，观看状况估计单元16基于刚好在作出判断之前从视线检测单元15发送的视线信息来判断存在用户的视线的部位的视觉关注度的值是否等于或大于阈值。如果视觉关注度的值等于或大于阈值，则判定用户正在观看具有高视觉关注度的部位。如果视觉关注度的值小于阈值，则判定用户U未在观看具有高视觉关注度的部位。 如果用户U未在观看具有高视觉关注度的部位，则判定步骤S24的答案为否，并且处理行进到步骤S27，在步骤S27，观看状况估计单元16将罚常数C2与观看状况变量C的原始值相加，并将通过该相加获得的值设置为观看状况变量C的新值(C = C+C2)。也就是说，观看状况变量C的值被更新为使得该值增加了罚常数C2那么多。 相反，当用户U正在观看具有高视觉关注度的部位时，判定步骤S24的答案为是，从而处理行进到步骤S25，其中，观看状况估计单元16从观看状况变量C的原始值减去奖励常数(reward constant) C3，并将通过相减获得的值设置为观看状况变量C的新值(C =C-C3)。也就是说，观看状况变量C的值被更新为使得该值减小了奖励常数C3那么多。
因此，结束了通过观看状况估计单元16执行的观看状况估计处理。罚常数CI和C2的每一个是满足表达式CI >= C2 > 0的常数。此外，奖励常数C3是满足表达式C >C3的常数。 观看状况变量C指示出用户U集中精神地观看内容数据的程度。但是，在上述实施例中，用户U观看内容数据的精神集中度随着观看状况变量C的值减小而增大。换而言之，用户U观看内容数据的精神集中度随着观看状况变量C的值增大而减小。因此，在预定周期中观察用户的观看状况，并且每当用户U未在观看显示画面图像时就向观看状况变量C加上罚常数C1。此外，每当用户U未在观看具有高视觉关注度的部位时就向观看状况变量C加上罚常数C2，从而在增大的方向上更新观看状况变量C的值。此外，对于用户U漫不经心地观看内容数据的程度，变得可以认识到在用户U未观看显示画面图像时达到的程度高于在用户U未在观看具有高视觉关注度的部位时(在用户U至少在观看显示画面图像的状况中)达到的程度。因此，在上述实施例中，罚常数C1被设置为高于罚常数C2的值。
此外，如果在观看状况估计处理期间仅通过加上罚常数CI和/或罚常数C2来更新观看状况变量C，则每次观看状况估计处理被重复，观看状况变量C的值都保持增长，即使用户U再次对内容数据感兴趣并且再次开始集中精神地观看内容数据也是如此。因此，当用户U观看具有高视觉关注度的部位时，确定用户U再次开始集中精神地观看内容数据，并且通过使用奖励常数C3来减小观看状况变量C的值。 当图6所示的上述观看状况估计处理结束时，与图5所示的步骤S2相对应的处理结束，从而处理行进到与步骤S3相对应的观看状态估计处理。
[观看状态估计处理] 下文中，将参考图7和8描述观看状态估计处理的示例细节。 图7示出了一表格，该表格示出包括观看状况变量C的阈值、观看状态和观看状态变量S的三种类型的数据项目之间的关系。 在上述实施例中，观看状况估计单元16基于图7所示的表格来估计并计算观看状态变量S的值。 也就是，如图7所示，基于观看状况变量C的可能范围定义了六种类型的观看状态，并且唯一地指示出这六种类型的观看状态的每一种的值被提供作为观看状态变量S。
更具体地，当观看状况变量C的值落在从零到小于阈值C_B0RINGL1 (0 < = C < C_B0RINGL1)的范围内时获得的观看状态被确定为WATCHING(用户U正在观看内容数据的状态)。指示出WATCHING的值S_l被附加到WATCHING (用户U正在观看内容数据的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少为零并且小于阈值C_B0RINGL1时，观看状况估计单元16估计并计算值S_l作为观看状态变量S。 当观看状况变量C的值落在从阈值C_B0RINGL1到小于阈值C_B0RINGL2 (C_B0RINGL1 < = C < C_B0RINGL2)的范围内时获得的观看状态被确定为B0RINGL1 (用户U开始变得厌烦的状态)。指示出B0RINGL1的值S_2被附加到B0RINGL1 (用户U开始变得厌烦的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_B0RINGL1并且小于阈值C_B0RINGL2时，观看状况估计单元16估计并计算值S_2作为观看状态变量S。 当观看状况变量C的值落在从阈值C_B0RINGL2到小于阈值C_NOT_WATCHING(C_B0RINGL2 < = C < C_NOT_WATCHING)的范围内时获得的观看状态被确定为B0RINGL2 (用户U很厌烦的状态)。指示出B0RINGL2的值S_3被附加到B0RINGL2 (用户U很厌烦的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_B0RINGL2并且小于阈值C_NOT_WATCHING时，观看状况估计单元16估计并计算值S_3作为观看状态变量S。 当观看状况变量C的值落在从阈值C_NOT_WATCHING到小于阈值C_SLEEPING(C_NOT_WATCHING < = C < C_SLEEPING)的范围内时获得的观看状态被确定为NOTWATCHING (用户未在观看内容数据的状态)。指示出NOT_WATCHING的值S_4被附加到NOTWATCHING(用户U未在观看内容数据的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_NOT_WATCHING并且小于阈值C_SLEEPING时，观看状况估计单元16估计并计算值S_4作为观看状态变量S。 当观看状况变量C的值落在从阈值C_SLEEPING到小于阈值C_AWAY(C_SLEEPING< =C < C_AWAY)的范围内时获得的观看状态被确定为SLEEPING(用户在睡觉的状态)。指示出SLEEPING的值S_5被附加到SLEEPING(用户U在睡觉的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_SLEEPING并且小于阈值C_AWAY时，观看状况估计单元16估计并计算值S_5作为观看状态变量S。 当观看状况变量C的值落在等于或大于阈值C_AWAY(C_AWAY <= C)的范围内时获得的观看状态被确定为AWAY(用户U不在视频显示设备前方的状态)。指示出AWAY的值S—6被附加到AWAY(用户U不在视频显示设备前方的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值等于或大于C_AWAY时，观看状况估计单元16估计并计算值S_6作为观看状态变量S。 图8是图示出在图5所示的步骤S3执行的观看状态估计处理，即，基于图7所示的表格执行的观看状态估计处理的示例细节的流程图。 在步骤S41，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_B0RINGL1 (表达式C > = C_B0RINGL1是否成立)。 当观看状况变量C的值落在从零到小于阈值C_B0RINGL1 (0 < = C < C_B0RINGL1)的范围内时，判定步骤S41的答案为否，并且处理行进到步骤S47。 在步骤S47，观看状况估计单元16将指示出WATCHING的值S_l设置为观看状态变量S。也就是说，指示出WATCHING的值S_l被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。 相反，当观看状况变量C的值等于或大于阈值C_B0RINGL1时，判定步骤S41的答案为是，并且处理行进到步骤S42。 在步骤S42，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_B0RINGL2 (表达式C > = C_B0RINGL2是否成立)。 当观看状况变量C的值落在从阈值C_B0RINGL1到小于阈值C_B0RINGL2 (C_B0RINGL1 <=C<C_B0RINGL2)的范围内时，判定步骤S42的答案为否，并且处理行进到步骤S48。 在步骤S48，观看状况估计单元16将指示出B0RINGL1的值S_2设置为观看状态变量S。也就是说，指示出B0RINGL1的值S_2被估计并计算为观看状态变量S并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。 相反，当观看状况变量C的值等于或大于阈值C_B0RINGL2时，判定步骤S42的答案为是，并且处理行进到步骤S43。 在步骤S43，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_NOT_WATCHING (表达式C > = C_NOT_WATCHING是否成立)。 当观看状况变量C的值落在从阈值C_B0RINGL2到小于阈值C_NOT_WATCHING(C_B0RINGL2 < = C < C_NOT_WATCHING)的范围内时，判定步骤S43的答案为否，并且处理行进到步骤S49。 在步骤S49，观看状况估计单元16将指示出B0RINGL2的值S_3设置为观看状态变量S。也就是说，指示出B0RINLGL2的值S_3被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。 相反，当观看状况变量C的值等于或大于阈值C_NOT_WATCHING时，判定步骤S43的答案为是，并且处理行进到步骤S44。 在步骤S44，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_SLEEPING (表达式C > = C_SLEEPING是否成立)。 当观看状况变量C的值落在从阈值C_NOT_WATCHING到小于阈值C_SLEEPING(C_NOT_WATCHING < = C < C_SLEEPING)的范围内时，判定步骤S44的答案为否，并且处理行进到步骤S50。在步骤S50，观看状况估计单元16将指示出NOT WATCHING的值S_4设定为观看状态变量S。也就是说，指示出NOT WATCHING的值S_4被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。
相反，当观看状况变量C的值等于或大于阈值C_SLEEPING时，判定步骤S44的答案为是，并且处理行进到步骤S45。 在步骤S45，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_AWAY (表达式C > = C_AWAY是否成立)。 当观看状况变量C的值落在从阈值C_SLEEPING到小于阈值C_AWAY(C_SLEEPING< =C < C_AWAY)的范围内，判定步骤S45的答案为否，并且处理行进到步骤S51。
在步骤S51，观看状况估计单元16将指示出SLEEPING的值S_5设置为观看状态变量S。也就是说，指示出SLEEPING的值S_5被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。 相反，当观看状况变量C的值等于或大于阈值C_AWAY时，判定步骤S45的答案为是，并且处理行进到步骤S46。 在步骤S46，观看状况估计单元16将指示出AWAY的值S_6设置为观看状态变量S。也就是说，指示出AWAY的值S_6被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。 因此，结束了通过观看状况估计单元16执行的观看状态估计处理，并且结束了与图5所示的步骤S3相对应的处理。相应地，处理从步骤S3行进到与如图5所示的所建议行动确定处理相对应的步骤S4。
[所建议行动确定处理] 下文中，将参考图9和10描述所建议行动确定处理的示例细节。 图9示出了一表格，该表格示出指示出观看状态变量S、所建议行动和所建议行动
变量A的三种类型的数据项目之间的关系。 在上述实施例中，内容建议单元17基于图9所示的表格来计算所建议行动变量A的值。 也就是，如图9所示，基于观看状态变量S的值来定义了六种类型的所建议行动，并且唯一地指示出这六种类型的所建议行动的每一种的值被提供作为所建议行动变量A。
更具体地，当观看状态变量S为值S_l (S = S_l)和/或错误值时执行的所建议行动被确定为DO N0THING(什么也不做)。指示出DONOTHING的值Al被附加到行动DONOTHING的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_l时，内容建议单元17计算出值Al作为所建议行动变量A。此外，在观看状态变量S的值为错误值的情况下，内容建议单元17也计算出值Al作为所建议行动变量A。变量S的值为错误值的情况表示观看状态变量S具有与值S_l到S_6的每一个不同的值。 当观看状态变量S为值S—2(S = S_2)时执行的所建议行动为行动VERIFY(确认)。指示出行动VERIFY的值A2被附加到行动VERIFY的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_2时，内容建议单元17计算出值A2作为所建议行动变量A。 当观看状态变量S为值S_3 (S = S_3)时执行的所建议行动为行动ACTI0N1 (行动
1) 。指示出行动ACTI0N1的值A3被附加到行动ACTI0N1的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_3时，内容建议单元17计算出值A3作为所建议行动变量A。 当观看状态变量S为值S_4 (S = S_4)时执行的所建议行动为行动ACTI0N2 (行动
2) 。指示出行动ACTI0N2的值A4被附加到行动ACTI0N2的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量 S为值S_4时，内容建议单元17计算出值A4作为所建议行动变量A。 当观看状态变量S为值S_5 (S = S_5)时执行的所建议行动为行动ACTI0N3 (行动 3)。指示出行动ACTI0N3的值A5被附加到行动ACTI0N3的数据作为所建议行动变量A。因 此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量 S为值S_5时，内容建议单元17计算出值A5作为所建议行动变量A。虽然在上述实施例中 定义的所建议行动ACTION包括行动ACTI0N1到ACTI0N3，但是所建议行动ACTION的类型不 受特别限制。 当观看状态变量S为值S_6 (S = S_6)时执行的所建议行动为行动TURN OFF (关
断电源)。指示出行动TURN OFF的值A6被附加到行动TURN OFF的数据作为所建议行动变
量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状
态变量S为值S_6时，内容建议单元17计算出值A6作为所建议行动变量A。 图10是图示出在图5所示的步骤S4执行的所建议行动确定处理，即，基于图9所
示的表格执行的所建议行动确定处理的示例性细节的流程图。 在步骤S61，内容建议单元17判断观看状态变量S是否具有值Sj(指示出 WATCHING的值)。 当观看状态变量S具有值SJ时，判定步骤S61的答案为是，并且处理行进到步骤
568。 在步骤S68，内容建议单元17将指示出行动DO NOTHING的值Al设置为所建议行 动变量A。也就是说，指示出行动DO NOTHING的值Al被计算出，并且所建议行动确定处理 结束。从而，处理从步骤S4行进到步骤S5，如图5所示。 相反，当观看状态变量S为与值S_l不同的值时，判定步骤S61的答案为否，并且 处理行进到步骤S62。 在步骤S62，内容建议单元17判断观看状态变量S是否是值S—2(指示出B0RINGL1 的值)。 如果观看状态变量S为值S_2，判定步骤S62的答案为是，并且处理行进到步骤
569。 在步骤S69，内容建议单元17将指示出行动VERIFY的值A2设置为所建议行动变 量A。也就是说，指示出行动VERIFY的值A2被计算出，并且所建议行动确定处理结束。从 而，处理从步骤S4行进到步骤S5，如图5所示。 相反，当观看状态变量S为与值S_2不同的值时，判定步骤S62的答案为否，并且 处理行进到步骤S63。 在步骤S63，内容建议单元17判断观看状态变量S是否是值S—3(指示出B0RINGL2 的值)。 如果观看状态变量S为值S_3，判定步骤S63的答案为是，并且处理行进到步骤
570。 在步骤S70，内容建议单元17将指示出行动ACTI0N1的值A3设置为所建议行动 变量A。也就是说，指示出行动ACTI0N1的值A3被计算出，并且所建议行动确定处理结束。 从而，处理从步骤S4行进到步骤S5，如图5所示。
相反，当观看状态变量S为与值S_3不同的值时，判定步骤S63的答案为否，并且处理行进到步骤S64。 在步骤S64，内容建议单元17判断观看状态变量S是否是值S—4(指示出NOTWATCHING的值)。 如果观看状态变量S为值S_4，判定步骤S64的答案为是，并且处理行进到步骤
571。 在步骤S71，内容建议单元17将指示出行动ACTI0N2的值A4设置为所建议行动变量A。也就是说，指示出行动ACTI0N2的值A4被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。 相反，当观看状态变量S为与值S_4不同的值时，判定步骤S64的答案为否，并且处理行进到步骤S65。 在步骤S65，内容建议单元17判断观看状态变量S是否是值S—5(指示出SLEEPING的值)。 如果观看状态变量S为值S_5，判定步骤S65的答案为是，并且处理行进到步骤
572。 在步骤S72，内容建议单元17将指示出行动ACTI0N3的值A5设置为所建议行动变量A。也就是说，指示出行动ACTI0N3的值A5被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。 相反，当观看状态变量S为与值S_5不同的值时，判定步骤S65的答案为否，并且处理行进到步骤S66。 在步骤S66，内容建议单元17判断观看状态变量S是否是值S_6 (指示出AWAY的值)。 如果观看状态变量S为值S_6，判定步骤S66的答案为是，并且处理行进到步骤
573。 在步骤S73，内容建议单元17将指示出行动TURN OFF的值A6设置为所建议行动变量A。也就是说，指示出行动TURN 0FF的值A6被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。 相反，当观看状态变量S为与值S_6不同的值时，判定步骤S66的答案为否，并且处理行进到步骤S67。 在步骤S67，内容建议单元17将指示出行动DO NOTHING的值Al设置为所建议行动变量A。也就是说，指示出行动DO NOTHING的值Al被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。 当上述所建议行动确定处理结束时，与图5所示的步骤S4相对应的处理结束，并且处理行进到步骤S5。 如果作为与步骤SI到S4相对应的上述一系列处理过程的结果，所建议行动变量A改变了，则判定步骤S5的答案为是，并且处理行进到步骤S6。 在步骤S6，内容建议单元17基于所建议行动变量A的值来作出有关内容数据的各种建议。 例如，当指示出行动DO NOTHING的值Al被设置为所建议行动变量A时，内容建议单元17建议行动DO NOTHING。也就是，内容建议单元17不建议任何行动。 例如，当指示出行动VERIFY的值A2被设置为所建议行动变量A时，内容建议单元
17建议行动VERIFY。例如，内容建议单元17判断用户U当前所观看的内容数据的显示是
否应当继续。 例如，当指示出行动ACTI0N1的值A3被设置为所建议行动变量A时，内容建议单
元17建议行动ACTI0N1 。更具体地，例如，如果被执行来建议观看替代内容数据的所建议行
动被定义成行动ACTIONl，则内容建议单元17例如建议观看任意替代内容数据。例如，当指示出行动ACTI0N2的值A4被设置为所建议行动变量A时，内容建议单
元17建议行动ACTI0N2。更具体地，例如，如果被执行来推荐替代内容数据的所建议行动被
定义成行动ACTI0N2，则内容建议单元17推荐替代的预定内容数据并且建议观看该预定内
容数据。 例如，当指示出行动ACTI0N3的值A5被设置为所建议行动变量A时，内容建议单 元17建议行动ACTI0N3。更具体地，例如，如果被执行来停止当前在显示的内容数据的所建 议行动被定义成行动ACTI0N3，则内容建议单元17例如建议停止当前所显示的内容数据。 这里，内容建议单元17可以直接停止当前所显示的内容数据。 例如，当指示出行动TURN OFF的值A6被设置为所建议行动变量A时，内容建议单 元17建议行动TURN OFF(关断电源)。这里，内容建议单元17可以直接关断内容建议系统 的电源。 下文中，将参考具体示例进一步描述内容建议处理。
图11示出了图5所示内容建议处理的特定结果。 图ll的部分A示出了在各个时间t观察到的、观看状况变量C随时间的演变。在图 11的部分A中，纵轴指示出观看状况变量C。此外，参考图7所示的表格描述的阈值被沿纵 轴示出。也就是，以增大的顺序设置了各个阈值C—B0RINGL1、C—B0RINGL2、C—N0乙WATCHING、 C—SLEEPING、C—AWAY，作为为观看状况变量C设置的阈值。横轴是指示出时间t的时基。上 述时基在图11的部分A、B和C之间共享。 图11的部分B示出了在各个时间t观察到的、与观看状态变量S相对应的观看状 态随时间的演变。图11的部分C示出了与所建议行动变量A相对应的所建议行动随时间 的演变。 图11示例性地示出针对每一个时间t (例如，以秒为单位)执行一次包括图5所 示的内容建议处理的步骤Sl到S7的循环处理。在该情况下，针对每一个时间t执行一次 与步骤S2相对应的观看状况估计处理，以使得观看状况变量C的值不断改变。当观看状况 变量C的值改变为超过预定门限时，观看状态变量S的值在与观看状况变量C的值改变时 的时间t执行的步骤S3相对应的观看状态估计处理期间改变。这样，观看状态变量S的值 改变，从而所建议行动变量A的值通过在下一步骤或步骤S4执行的所建议行动确定处理而 改变。其结果是，通过在下一步骤或者步骤S6执行的处理，基于所建议行动变量A的改变 值来作出建议。 更具体地，例如通过在图5所示的内容建议处理的步骤S2执行的观看状况估计 处理，观看状况变量C的值在时间t0被初始化为零(图6所示的步骤S21为是以及步骤 S22)。因而，通过在时间t0执行的与步骤S3相对应的观看状态估计处理，值S_l被估计出
19并且被计算为观看状态变量S(图8所示的步骤S41为否以及步骤S47)。因此，在时间t0 获得的观看状态变为与值S_l相对应的行动WATCHING。因此，通过在时间tO执行的与步骤 S4相对应的所建议行动确定处理，值A1被设置为所建议行动变量A的值(图IO所示的步 骤S61为是以及步骤S68)。因此，在时间tO执行的所建议行动变为与该值A相对应的行动 DO NOTHING。由于在时间t0，值Al重新被计算为所建议行动变量A，所以判定通过在步骤 S5执行的处理而获得的答案为是，并且通过在下一步骤或者步骤S6执行的处理，基于所建 议行动变量A的值Al而建议行动DO NOTHING。 在时间tl，在与图5所示的内容建议处理的步骤S2相对应的观看状况估计处理 期间，观看状况变量C的值被估计并计算为图11的部分A所示的值，S卩，落在从零到小于阈 值C_B0RINGL1的范围内的值。因此，在时间tl执行的与步骤S3相对应的观看状态估计处 理期间，值S 1被估计并计算为观看状态变量S(图8所示的步骤S41为否以及步骤S47)。 因此，在时间tl获得的观看状态变为与值S_l相对应的状态WATCHING。因此，通过在时间 tl执行的与步骤S4相对应的所建议行动确定处理，值Al被设置为所建议行动变量A的值 (图10所示的步骤S61为是以及步骤S68)。因而，在时间tl执行的所建议行动变为与该 值A相对应的行动DO N0THING。这样，在时间tl，值Al被计算为所建议行动变量A。但是， 由于在前一时间t (例如，时间t0)相同值A1被计算为所建议行动变量A，所以在时间tl执 行的步骤S5判定答案为否，并且处理返回到步骤Sl，从而在下一时间t开始一系列处理过 程。也就是，在该情况下，基于所建议行动变量A的值Al作出的对行动DO NOTHING的建议 被维持。 在时间t2，在与图5所示的内容建议处理的步骤S2相对应的观看状况估计处理 期间，观看状况变量C的值被估计并计算为图11的部分A所示的值，S卩，落在从阈值C— B0RINGL1到小于阈值C_B0RINGL2的范围内的值。因此，在时间t2执行的与步骤S3相对应 的观看状态估计处理期间，值S_2被估计并计算为观看状态变量S (图8所示的步骤S42为 否以及步骤S48)。因此，在时间t2获得的观看状态变为与值S_2相对应的状态B0RINGL1。 因此，通过在时间t2执行的与步骤S4相对应的所建议行动确定处理，值A2被设置为所建 议行动变量A的值(图10所示的步骤S62为是以及步骤S69)。因而，在时间t2执行的所 建议行动变为与值A相对应的行动VERIFY。这样，在时间t2，值A2被计算为所建议行动变 量A。由于在时间t2，值A2被重新计算为所建议行动变量A，所以判定通过在步骤S5执行 的处理而获得的答案为是，并且通过在下一步骤或步骤S6执行的处理，基于所建议行动变 量A的值A2而建议行动VERIFY。 在时间t5，在与图5所示的内容建议处理的步骤S2相对应的观看状况估计处理 期间，观看状况变量C的值被估计并计算为图11的部分A所示的值，S卩，落在从阈值C— B0RINGL2到小于阈值C_N0T_WATCHING的范围内的值。因此，在时间t5执行的与步骤S3 相对应的观看状态估计处理期间，值S_3被估计并计算为观看状态变量S(图8所示的步 骤S43为否以及步骤S49)。因此，在时间t5获得的观看状态变为与值S_3相对应的状态 B0RINGL2。因此，通过在时间t5执行的与步骤S4相对应的所建议行动确定处理，值A3被 设置为所建议行动变量A的值(图10所示的步骤S63为是以及步骤S70)。因而，在时间 t5执行的所建议行动变为与该值A相对应的行动ACTI0N1 。这样，在时间t5，值A3被计算 为所建议行动变量A。由于在时间t5，值A3被重新计算为所建议行动变量A，所以判定通过在步骤S5执行的处理而获得的答案为是，并且通过在下一步骤或步骤S6执行的处理，基于 所建议行动变量A的值A3而建议行动ACTI0N1 。 在时间t5之后的时间t再次执行相同处理。也就是，由于在时间t6到时间t14 的每一个都更新所建议行动变量A的值，所以判定通过在步骤S5执行的处理而获得的答案 为是，并且通过在下一步骤或步骤S6执行的处理，基于所建议行动变量A的更新值而作出 各种建议。然后，由于在时间t6到时间t14的每一个，相同值被计算为所建议行动变量A， 所以判定通过在步骤S5执行的处理而获得的答案为否，从而处理返回到步骤Sl，并且在下 一时间t开始这一系列处理过程。也就是，在该情况下，相同建议被维持。
因此，观看状态变量S的值以及所建议行动变量A的值随着观看状况变量C的值 改变而改变。然后，基于所建议行动变量A的改变值来执行所建议行动。因而，内容建议系 统1允许采取行动以便建议适于用户U的观看状况的内容数据。
[内容建议系统2的示例配置] 图12示出了根据本发明一个实施例的信息处理系统。也就是，图12是示出与图 2所示的示例性内容建议系统不同的内容建议系统2的示例性功能配置的功能框图。
内容建议系统2包括内容DB11、视觉关注度估计单元13、视线检测单元15、观看状 况估计单元16、内容建议单元17和视频显示单元18。 在图12中，与图2所示的组件相同的组件被用相同标号表示。此外，将适当地省 略冗余描述。 在图2所示的内容建议系统1中，视觉关注度信息被临时存储在视觉关注度DB12 中，并被呈递给观看状况估计单元16。与之不同，在图12所示的内容建议系统2中省略了 视觉关注度DB12。因此，通过视觉关注度估计单元13生成的视觉关注度信息被实时地呈递 给观看状况估计单元16。 此外，从内容DBll发送的内容数据经由视觉关注度估计单元13而被呈递给内容 建议单元17。[内容建议系统3的示例性配置] 图13示出了根据本发明一个实施例的信息处理系统。也就是，图13是示出与图 2和12所示的示例性内容建议系统不同的内容建议系统3的示例性功能配置的功能框图。
在图13中，与图2所示的组件相同的组件被用相同标号表示。此外，将适当地省 略冗余描述。 除了图2所示的内容建议系统1的组件之外，内容建议系统3还包括视觉关注度 信息更新单元19。 从视线检测单元15发送到观看状况估计单元16的用户U的视线信息被反馈给视 觉关注度信息更新单元19。因此，视觉关注度信息更新单元19基于反馈给视觉关注度信息 更新单元19的用户U的视线信息来更新存储在视觉关注度DB12中的各个视觉关注度信息 项目。这样，视觉关注度信息基于从观看状况估计单元16发送的用户U的视线信息而被更 新，使得视觉关注度信息受用户U的观看特性影响。 这里，由视觉关注度信息更新单元19执行的更新视觉关注度信息的方法不特别 限制于图13所示的示例方法。例如，如图14所示，可以采用基于至少两个用户Ul到UN(N 表示至少为2的整数)的视线信息来更新视觉关注度信息的方法。这里，至少两个用户U1到UN可以包括用户U。[更新视觉关注度信息的方法的具体示例] 图14示出了通过视觉关注度信息更新单元19执行的更新视觉关注度信息的方法的一个具体示例。也就是，图14图示出了与图13所示的示例不同的示例。
也就是，图14仅示出了图13示例性地示出的内容建议系统3的组件中的内容DB11、视觉关注度DB12和视觉关注度信息更新单元19。此外，与图13示例性地示出的内容建议系统3等同的单个系统被用于用户UK(K表示1到N的任意整数值)。在上述系统的组件中，图14仅示出了视频显示单元18-K、视线检测单元15-K和观看状况估计单元16-K。此外，只要内容建议系统3的视觉关注度信息更新单元19能够获取各个用户Ul到UN的视线信息，生成视线信息的方法不特别限制于图14所示的示例方法。 如图14所示，相同的内容数据被显示在各个视频显示单元18-1到18-N中。因而，用户Ul到UN可以观看显示在各个视频显示单元18-1到18-N上的内容数据。此外，当然，内容数据在视频显示单元18-1到18-N上显示的时间帧可以彼此不同。
视线检测单元15-1到15-N将正在观看内容数据的用户Ul到UN的视线信息项目呈递给各个观看状况估计单元16-1到16-N。观看状况估计单元16-1到16-N将用户Ul到UN的各个视线信息项目发送到视觉关注度信息更新单元19。 视觉关注度信息更新单元19通过将用户Ul到UN的视线信息项目作为统计数据
来学习，从而更新在视觉关注度DB 12中存储的视觉关注度信息项目。 如果存储在上述视觉关注度DB 12中的视觉关注度信息项目可以在由用户Ul到
UN使用的系统之间共享，则这些视觉关注度信息项目可以在用户U以及U1到UN之间共享。
根据图14所示的示例，用户U和U1到UN使用不同系统。但是，不限于图14所示的示例，
用户U以及Ul到UN的至少一部分可以共享并使用同一系统。 顺带提及，可以通过硬件和/或软件来执行上述一系列处理过程。 在该情况下，图15所示的个人计算机至少可以是上述信息处理系统的一部分。 在图15中，中央处理单元(CPU) 101基于存储在只读存储器(ROM) 102中的程序和
/或从存储单元108加载到随机访问存储器(RAM) 103的程序来执行各种处理过程。此外，
由CPU 101使用以便执行各种处理过程的数据也适当地被存储在RAM 103中。 CPU 101、R0M 102和RAM 103经由连接到输入和输出接口 105的总线104相互连接。 输入和输出接口 105连接到输入单元106、输出单元107、存储单元108和通信单元109，输入单元106包括键盘、鼠标等，输出单元107包括显示器等，存储单元108包括硬盘等，通信单元109包括调制解调器、终端适配器等。通信单元109控制经由包括因特网在内的网络在个人计算机与另一装置(未示出)之间执行的通信。 此外，驱动器110适当地连接到输入和输出接口 105，并且可移除介质111被适当地装载在输入和输出接口 105上，可移除介质111包括磁盘、光盘、磁光盘、半导体存储器等。从可移除介质111读取的计算机程序被适当地安装在存储单元108中。
当通过软件来执行一系列处理过程时，构成该软件的程序被从网络和/或记录介质安装到计算机，该计算机被包括在专门设计的计算机和/或能够通过安装在其中的各种程序来执行各种功能的通用个人计算机中。
包括上述程序的记录介质不仅包括可移除介质(封装介质)lll(包括磁盘(包括 软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷 你盘(MD))、半导体存储器等)，其中，可移除介质111与装置的主体分离并且被分发来向用 户呈递程序并存储程序，而且还包括存储程序并且预先包括在装置主体中来呈递给用户的 ROM 102、存储单元108中包括的硬盘等，如图15所示。 此外，在本说明书中，描述在记录介质中存储的程序的步骤不仅包括以根据所写 顺序的时序执行的处理，而且还包括不必然以时序执行而是可以并行和/或分离地执行的 处理。 本申请包含与2008年12月26日向日本专利局提交的日本优先专利申请JP 2008-332131所公开的主题相关的主题，该申请的全部内容通过引用而结合于此。
本领域技术人员应当了解，在所附权利要求或其等同物的范围内，可以依据设计 要求和/或其它因素进行各种修改、组合、子组合和变更。
权利要求
一种信息处理装置，包括视线检测装置，被布置来检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；观看状况估计装置，被布置来基于所输出的视线信息以及与所述内容数据相关的视觉关注度信息来估计所述观看者的观看状况；以及内容建议装置，被布置来基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。
2. 根据权利要求1所述的信息处理装置，其中，所述观看状况估计装置还基于观看状况估计的结果来估计观看状态，并且其中，所述内容建议装置基于所估计出的观看状态来作出针对所述内容数据的各种建议。
3. 根据权利要求2所述的信息处理装置，其中，定义了指示出所述观看者的观看状况的观看状况变量，并且至少一个预定类型的观看状态与所述观看状况变量的至少两个可能范围的每一个相关联，并且其中，所述观看状况估计装置通过计算所述观看状况变量的值来估计所述观看状况，并且通过确定与所述至少两个可能范围中、所述观看状况变量的值所属于的范围相关联的那一类型的观看状态来估计所述观看状态。
4. 根据权利要求3所述的信息处理装置，其中，至少一个预定类型的所建议行动与至少两种类型的所述观看状态的每一种相关联，并且其中，所述内容建议装置基于与通过所述观看状况估计装置确定的那一类型的观看状态相关联的类型的所建议行动，来为所述观看者作出建议。
5. 根据权利要求3所述的信息处理装置，其中，定义了基于与所述观看者的视线所停留的区域相关的视觉关注度信息的大小而可变化的分值，并且其中，所述观看状况估计装置以预定时间为周期基于刚刚从所述视线检测装置输出的视线信息以及与所述内容数据相关联的视觉关注度信息来计算所述分值，并且基于到当前周期为止所获得的、至少一次中的每次获得的分值来计算所述观看状况变量的值。
6. —种信息处理方法，包括以下步骤检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；基于所输出的视线信息以及与所述内容数据相关的视觉关注度信息来估计所述观看者的观看状况；以及基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。
7. —种程序，使得计算机执行包括以下步骤的控制处理检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；基于所输出的视线信息以及与所述内容数据相关的视觉关注度信息来估计所述观看者的观看状况；以及基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。
8. —种信息处理装置，包括视线检测单元，被配置来检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；观看状况估计单元，被配置来基于所输出的视线信息以及与所述内容数据相关的视觉关注度信息来估计所述观看者的观看状况；以及内容建议单元，被配置来基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。
全文摘要
本发明提供了信息处理装置、信息处理方法和程序。信息处理装置包括视线检测单元，被配置来检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；观看状况估计单元，被配置来基于所输出的视线信息以及与内容数据相关的视觉关注度信息来估计观看者的观看状况；以及内容建议单元，被配置来基于所估计出的观看状况来为观看者作出针对内容数据的各种建议。
文档编号G06F17/30GK101770506SQ20091026112
公开日2010年7月7日 申请日期2009年12月28日 优先权日2008年12月26日
发明者福地正树, 芦原隆之 申请人:索尼株式会社