信息处理设备和方法及程序的制作方法

专利名称：信息处理设备和方法及程序的制作方法
技术领域：
本发明涉及一种信息处理设备和方法及程序。具体而言，本发明 涉及一种能够在要获得用户的操作历史等时获得与操作相关的信息的 信息处理设备和方法，及与其一起使用的程序。
背景技术：
确定要由电视接收机等接收的图像的特性的参数被以如下方式 配置，使得用户可以按照意愿设置参数。
本发明的受让人已经提出，可以预先根据历史设置参数，在所述 历史中所选择的频道的状态被存储，可以使用户以高频率观看的节目 被观看而无需麻烦用户不得不用手进行这样的设置(例如，见日本未 审查专利申请公开号No. 8-180504)。

发明内容
用户能够进行调节，使得通过重复地按照需要设置参数，获得匹 配用户的偏好的图像视觉特性。然而，这个事实意味着有这样的情况， 其中用于设置参数的操作需要被执行多次直到获得对于用户满意的处 理结果。
为了使涉及设置的操作不需要被执行多次，人们希望，例如在电 视接收机的设计阶段，匹配用户的偏好的图像特性被预先设定。
考虑到这种情况，做出本发明。人们希望获得关于用户的操作的历史和关于该历史的信息。
根据本发明的实施例，提供了一种信息处理设备，包括获取装 置，用于获取图像的特征量；和检测装置，用于检测用户在图像内注 视的注视点，其中，在获取装置获取的特征量中，从由检测装置检测 的注视点的图像或者在包含注视点的预定范围中的图像提取的特征量 被存储。
信息处理设备可以还包括跟踪放大处理装置，用于执行用于跟踪 所述图像内的预定部分中的图像和用于以放大的状态显示所述预定部 分中的图像的处理，其中所述检测装置设定由跟踪放大处理装置设定 的跟踪点为所述注视点。
所述预定范围中的图像可以是所述预定部分中的所述图像。 关于由用户执行的操作的信息可以被以如下方式存储，使得与所 提取的特征量相关联。
根据本发明的另一个实施例，提供了一种信息处理方法，包括以 下步骤获取图像的特征量；和检测用户在图像内注视的注视点，其 中控制被执行，使得在所获取的特征量中，从在所检测的注视点的图 像或者在包含所述注视点的预定范围中的图像提取的特征量被存储在 预定存储介质上。
根据本发明的另一个实施例，提供了一种计算机可读程序，包括 以下步骤获取图像的特征量；和检测用户在图像内注视的注视点， 其中控制被执行，使得在所获取的特征量中，从在所检测的注视点的 图像或者在包含所述注视点的预定范围中的图像提取的特征量被存储 在预定存储介质上。
在根据本发明的实施例的信息处理设备、方法和程序中，在用户 注视的部分中的图像的特征被存储为日志。
根据本发明的实施例，可以获得用户的操作历史和获得关于操作 已经在何种环境下被执行的信息。因此，可以通过使用所述历史和所 述信息执行更详细的分析。

图1示出了应用了本发明的系统的实施例的配置；
图2示出了日志获取设备的内部配置的例子；
图3是图示日志获取设备的操作的流程图4A和4B图示了注视点；
图5A、 5B和5C图示了放大(zoom);
图6A、 6B、 6C、 6D和6E图示了跟踪放大(trackingzoom);
图7示出了日志获取设备的内部配置的例子；
图8是图示日志获取设备的操作的流程图9图示了记录介质。
具体实施例方式
在描述本发明的实施例之前，下面讨论在本发明的实施例中公开 的具体元件和权利要求的特征之间的对应关系。这部分描述是为了保 证在说明书中描述了支持所要求保护的发明的实施例。因此，即使在 下面的实施例中的元件未被描述为涉及本发明的某个特征，那也不一 定意味着该元件不涉及权利要求的那个特征。相反的，即使一个元件 这里被描述为涉及权利要求的某个特征，那也不一定意味着该元件不 涉及权利要求的其他特征。
根据本发明的实施例的信息处理设备包括获取装置(例如，图7 中的特征量获取单元l03)，用于获取图像的特征量；和检测装置(例
如，图7中的注视点信息获取单元105)，用于检测用户在图像中注
视的注视点，其中在由获取装置获取的特征量或者从在包含注视点的 预定范围中的图像提取的特征量中，由检测装置检测的注视点被存储。
信息处理设备还包括跟踪放大处理装置(例如，图7中的跟踪放 大处理器110),用于执行跟踪图像内预定部分的图像和以放大状态 显示所述预定部分中的图^^的处理。
下面参考附图描述本发明的实施例。
系统的配置图1示出了应用了本发明的系统的实施例的配置。图l所示的系
统包括电视接收机11，日志获取设备l2，开发者(developer) 13 和分析设备14。
电视接收机11是在用户侧的设备，是用于接收电视广播并把节 目的视频和音频提供给用户的设备。电视接收机11包括日志获取设备 12。日志获取设备12可以被结合在电视接收机11内，或者可以被外 部提供。如后面将要描述的，日志获取设备12将用户的操作历史等存 储为日志。
开发者13是在电视接收机11开发侧的人。在电视接收机11中 提供的日志获取设备12在预定时间被提供给开发者13侧。开发者13 将所获得的日志获取设备12设置在分析设备14中，读取存储在日志 获取设备12中的诸如日志的信息，并分析该信息。分析结果被用于进 一步开发电视接收机ll。
例如，在日志获取设备12中，诸如用户已经执行了何种图像特 性的设置、执行设置时的图像是何种图像的信息被存储。开发者13 可以使用存储在日志获取设备12中的信息作为关于用户偏好何种图 像特性的一个信息源。
日志获取设备12可以在任何时间被提供给开发者13。例如，当 电视接收机11要被丢弃时，日志获取设备12被从电视接收机11中取 出，并被提供给开发者13。当这要被执行时，日志获取设备12必须 已经存储了从用户购买电视接收机11直到用户想丟弃它时的日志。
然而，如果日志获取设备12的存储容量很大，日志获取设备12 的存储介质的成本增加或者其体积增加。因此，优选的是，日志获取 设备12的存储容量尽可能小。在本实施例中，作为存储日志的结果， 如下面将要描述的，即使日志获取设备12的存储容量很小，也可以存 储足够量的信息。
日志获取设备的配置的例子
图2示出了日志获取设备12的内部配置的例子，日志获取设备l2包括图像数据输入单元31、图像处理器32、特征量获取单元33、 日志获取单元34、注视点信息获取单元35、日志获取范围确定单元 36、日志存储单元37、光接收单元38和控制器39。
日志获取设备12包括配置电视接收机11所必需的部分。例如， 光接收单元38是用于从电视接收机11的遥控器51 (图4B)接收信 号的单元。这是配置电视接收机ll所需要的单元，对于日志获取设备 12也是需要的。这样一个单元可以与电视接收机11共享，以这样的 方式配置是可能的。
例如，图像数据输入单元31通过天线(未示出)和用于选择由 天线接收的电视广播节目的调谐器来接收图像数据，从DVD (数字多 用盘)播放器接收图像数据，并将输入图像数据提供给图像处理器32。
图像处理器32对输入的图像数据执行各种处理，例如执行解码 处理，输出所解码的数据到外部设备(未示出)，例如显示设备。另 外，图像处理器32的处理结果、处理中间的数据等被输出到特征量获 取单元33。
特征量获取单元33基于从图像处理器32提供的数据，获取表示 图像的特征的特征量。要获得的特征量将在后面描述。从特征量获取 单元33获取的特征量被提供给日志获取单元34。日志获取单元34在 所提供的特征量之内、在由日志获取范围确定单元36所确定的范围内 获取特征量作为日志，并把它们提供给日志存储单元37。
日志获取范围确定单元36基于从注视点信息获取单元35提供的 信息来确定要获得日志的范围。注视点信息获取单元35检测观看电视 接收机ll的用户(观看者)在电视接收机ll的显示部分(未示出) 上显示的图像内特别注视的部分，并把该信息提供给日志获取范围确 定单元36。即，基于从注视点信息获取单元35提供的信息，日志获 取范围确定单元36将在注视点附近的预定范围确定为要获取日志的 范围。
光接收单元38从设置了用于操作电视接收机11的操作单元的遥 控器51 (未示出)接收信号，并将信号提供给控制器39。控制器39分析来自光接收单元38的信号，控制日志获取设备12的每个部分。 另外，控制器39将分析结果提供给日志获取单元34。
日志获取单元34获取在由日志获取范围确定单元36确定的范围 内的从特征量获取单元33提供的特征量作为日志(以下适当的称为 "特征量日志")，并获取在该时刻从控制器39提供的信息作为日志。 从控制器39提供的信息是关于由用户使用遥控器51执行的操作的历 史的信息(以下适当的称为"操作日志")。日志获取单元34使操作 日志和特征量日志以彼此相关联的方式被存储在日志存储单元37中。
在该实施例中，因为以这样的方式形成配置，关于当用户在浏览 显示在电视接收机11上的预定图像的同时调节图像特性时执行了何 种调节的操作日志、和来自用户注视的图像的特征量日志以彼此相关 联的方式被存储在日志存储单元37中。
在该实施例中，通过使用日志获取设备12结合在电视接收机11 中的例子给出了描述。日志获取设备12可以被结合在不同于电视接收 机11的设备中。
曰志获取设备的操作
下面，参考图3中的流程图描述图2所示的日志获取设备12的
操作o
在步骤Sll，图像数据被获取。图像数据输入单元31把从外面 提供的图像数据提供给图像处理器32。在步骤S12，特征量被获取。 基于来自图像处理器32的数据，特征量获取单元33从此时处理的图 像提取特征量。这里，将给出被提取的特征量的描述。
如上所述，通过分析存储在日志获取设备12中的日志，用户的 偏好和用户所属的社区被分析以改进服务。而且，考虑到实现产品开 发和技术开发，日志被存储和收集。因此，取决于在日志获取设备12 被收集时，要执行何种分析，要获得何种信息，以及在产品开发中如 何利用日志，人们希望适合于目标的日志被存储在日志获取设备12 中。
这里，将通过考虑在获取特定特征量时可以执行何种信息分析来描述要获得的特征量。
首先，作为要获得的特征量，存在关于活动性(activity)的特征 量。活动性是指示一段内容被感觉是动态或静态的程度的一个指标。 例如，当内容在视觉上是动态的时，活动性指示摄像机在对象体上快 速移动的程度或者其图像被捕捉的对象快速改变的程度。
通过测量在特征量的帧之间的非相似性的平均值(例如颜色直方 图)，可以间接地计算该活动性。例如，构成由图像处理器32执行的 处理所解码的图像的像素被顺序地处理为感兴趣的像素，在包含该感 兴趣的像素的预定块中的像素的像素值的活动性被计算。对于包含感 兴趣的像素的块，例如，可以采用感兴趣的像素在其中心的3x3像素 的块。当活动性被存储为特征量日志时，特征量获取单元33以上述方 式计算活动性。
在活动性高的部分(细节部分和边缘部分)和活动性低的部分(平 坦部分)之间，我们认为各种图像特性调节的视觉效果不同。在该实 施例中，注视点信息获取单元35获取关于用户注视的注视点的信息， 注视点的特征量日志被存储，而且操作日志被存储。因此，可以获取 注视点的活动性和图像特性调节值作为操作日志，图像特性调节被用 户执行，使该图像具有匹配用户的偏好的图像特性，并且这样一种曰 志被存储。通过在分析时使用在注视点的活动性和图像特性调节值， 可以更详细地分析用户通过设置希望实现什么。
作为另一个要获取的特征量的例子，存在关于在图像中出现的噪 声的特征量。在使用MPEG (运动图像专家组)系统(其是编码/解码 系统)的压缩处理中，根据在图像内的位置而不同的噪声发生。根据 本实施例，可以获取用户注视的注视点和发生在注视点附近的噪声的 特征量。因此，通过分析日志，可以知道在用户注视的点发生了何种 噪声。结果是，可以更详细地知道用户的观看和噪声之间的关系。
作为要获取的特征量的另一个例子，存在关于图像的颜色的特征 量。通常认为人对亮度的反应大于对颜色的反应。通过考虑这样的情 况，在图像处理中，常常亮度成为要处理的对象。然而，因为存在颜色对人施加的影响，关于用户注视的点的颜色的信息被认为对于未来 的算法开发是有用的。通过获取用户注视的点的颜色的信息作为日志 和通过分析该日志，可以利用该日志用于关于颜色的技术开发。
因此，通过存储用户注视的点是何种颜色以及用户如何设置该颜
色(用户偏好何种颜色，并设置为该颜色)作为日志，并分析该日志， 可以知道该设置。例如，对于用户，肉色(人的皮肤的颜色)被认为 在图像处理中是重要的，希望改进肉色的视觉特性和颜色重现。通过 分析从用户荻取的该日志，可以将该日志利用到改进用户偏好的肉色 的技术开发中。
作为要获取的特征量的另一个例子，存在关于在图像中对象体的 运动的特征量。例如，根据用户正在观看的对象是否正在以在屏幕内
显著地移动的方式运动或者是否对象固定在屏幕的中心而不运动，用 户所要求的信号处理显著地不同。在前者的情况下，适于处理运动的 信号处理被认为是优选的，而在后者的情况下，擅长静止图像的信号 处理被i^为是优选的。当考虑这样的事实时，通过存储指示其是何种 运动的特征量和用户在图像显示时的操作作为日志，并分析该曰志， 在用户注视的点的图像的运动可以用于适于处理运动的信号处理和擅 长静止图像的信号处理的技术的改进。
所有这些特征量贡献在于使得可以更详细地分析关于用户正在 注视何种图像的信息。
返回到在图3中的流程图的描述，在步骤S12，特征量被获取。 因为特征量以与操作日志相关联的方式作为特征量日志存储在日志存 储单元37中，当用户执行某个操作，尤其是与诸如涉及图像特性的参 数的设置有关的操作时，特征量可以被获取。换言之，通过利用用户 执行预定操作(如参数的设置)的事实作为触发器(trigger),图3 所示的流程图的处理可以被开始。
在步骤S13,关于注视点的信息被获取。注视点获取单元35检 测在显示在电视接收机ll上的图像内用户注视的点，并获取该信息。 在步骤S14,要获取日志的范围被确定。基于来自注视点信息获取单元35的信息，日志获取范围确定单元36确定预定范围内的一个部分 为在要获取日志的范围内的图像。
在此，参考图4A和4B来描述注视点。注视点是用户注视的点。 如图4A所示，例如，当用户观看电视接收机ll上的电视广播的节目 时，用户观看整个屏幕，但是在屏幕内有一个用户特别有意观看的部 分。近年来，电视接收机11的屏幕已经变得更大。在大屏幕的情况下， 用户尤其倾向于观看其一部分而不是观看整个屏幕。
例如，图4A所示的例子示出了一个屏幕，其上一个人和一所房 子被显示在电视接收机上，用户注意人而不是房子。此时，人的图像 的部分是注视点。
当考虑这样的事实时，因为用户正在观看注视点附近，可以让用 户认识到，在注视点附近的图像的图像特性越好，图像越好，因此，
专门用于可能成为用户的注视点的对象的信号处理的执行使得可以把 更好的图像提供给用户。例如，通过分析通过应用本发明而获取的日 志，和通过使用结果，可以开发出一种产品，通过它，专门用于可能 成为注视点的对象的信号处理被执行。
另外，如图4B所示，当设置屏幕61被显示在电视接收机11上 且用户操作遥控器51以便设置用于调节图像特性的参数时，换言之， 当用户主动地参与图像时，更重要的日志可以被获取。通过此时分析 日志，可以进一步获取有用的信息。
如上所述，在大屏幕上，趋势是屏幕的一部分被注视。具体来说， 当执行对于图像特性的设置时，设置常常被执行以使得在屏幕的一部 分中的图像被观看时，该图像具有用户的偏好的颜色。例如，在图4B 所示的例子中， 一个人和一所房子被显示在电视接收机ll上。可以考 虑到，在观看人的图像的同时，用户常常在操作遥控器51时执行设置， 使得人的皮肤的颜色匹配用户的偏好。此时，人的图像的部分是注视 点。
当用户已经将图像特性设置为用户的偏好时，如图4B所示信息 指示一个状态，其中在注视点附近的图像和图像处理之间具有较深的关系，且该信息在计划在短期或长期通过使用日志改变图像处理系统 的情况下尤其有效。
通过获取关于用户注视的注视点的信息和通过获取关于在注视 点处的图像的特征量，与图像的特征量简单地被存储为特征量日志和 被分析的情况相比，因为以上的原因，可以执行更详细的分析。
作为获取关于注视点的信息的结果，有各种的优点。检测注视点
的例子包括使用眼标(eye mark)记录器的方法，从屏幕的中心检测 注视点的方法，从放大图像帧内检测注视点的方法，以及从跟踪放大 的跟踪点检测注视点的方法。
眼标记录器是用于检测视线的设备。眼标记录器被配置使得用户 配戴类似护目镜的设备，类似护目镜的设备使得用户的视线可以被检 测。或者，眼标记录器被放置在电视接收机ll的下面，用户的脸部的 图像被捕获，通过使用图像处理等来检测眼睛的位置，用户的视线被 检测。
然而，很难设想，当用户享受电视接收机11上的电视广播时或 者执行图像特性的设置时，用户配戴护目镜。另外，强迫用户配戴护 目镜以便执行图像特性的设置也不是希望的情形。另外，因为昂贵的 专门设备对于眼标记录器是必要的，在用户的家里安装它很困难。
因此，当在要开发产品的情况下让用户实验性地使用眼标记录器 时，眼标记录器是有效的装置，并被认为能够作为构成注视点信息获 取单元35的设备而应用。另外，如果对于用户在使用和成本方面未造 成负担的眼标记录器可以被提供，那么眼标记录器能够作为构成注视
点信息获取单元35的设备而应用，可以被作为设备安装在用户的房子 里，并可以被使用。
使用眼标记录器检测的视点可以被设定为注视点，注视点可以被 设置为要获取日志的范围，并且由预定数目的像素形成的范围(其中 注视点处在中心)可以被设置为要获取日志的范围。当预定数目的像 素形成的范围(其中注视点处在中心)可以被设置为要获取日志的范 围时，预定范围可以是可变的。例如，当预定范围被设置为可变时，可以判断注视点处的对象， 这样该对象可以被设置为 一个范围。
接着，描述要获取日志的范围处于屏幕的中心的情况。屏幕的中 心意味着电视接收机ll的显示部分(未示出)的中心。首先，考虑显 示在电视接收机11的显示部分上的图像被捕获的时间。在大多数情况 下，在捕获图像时，摄影师以这样一种方式执行图像捕获，使得希望 被捕获图像的对象位于屏幕的中心。
因此，当要显示这样的图像时，因为希望被摄影师捕获图像的对 象被显示在屏幕的中心，所以注视该部分比注视其他部分更容易理解 摄影师的意图。即，因为图像的重要部分常常位于屏幕的中心，用户 常常观看屏幕的中心。另外，当观看时间被考虑时，用户常常注视屏 幕的中心而不是注视屏幕的端部。因此，屏幕的中心可以被设置为注 视点。
然而，当显示在电视接收机11上的内容是诸如电影的内容时， 使得整个屏幕被生成为一个画面的图像捕获是可能的。因此，屏幕的 中心不一定成为注视点。为了处理这样的时刻，例如，指示内容的风 格的信息可以被作为日志获取，可以在分析时通过使用关于风格的信 息来考虑风格，从而执行分析。
当屏幕的中心被设置为注视点时，注视点可以被设置为要获取日 志的范围，并且由预定数目的像素形成的范围(其中注视点处在中心) 可以被设置为要获取日志的范围。在这种情况下，因为注视点被固定 在屏幕的中心，要获取日志的范围可以被设置为由预定数目的像素形 成的固定范围，包含屏幕的中心。
另外，当预定范围被设置为可变时，例如，可以判断注视点处的 对象，并且该对象可以被设置为一个范围。
下面给出在要获取日志的范围是放大图像帧的情况下的描述。参
考图5A， 5B和5C，放大将被描述。图5A示出了显示在电视接收机 11上的图像的例子，在图5A中所示的图像是一个人和一所房子被显 示其中的图像。当这样的图像被显示时，用户希望近距离地观看人的脸部，并将放大应用到人的脸部的图像。当指示放大(即，图像的扩 展)时，要被扩展的图像的范围被用户设置。
图5B示出了放大图像帧71被用户设置为图像内人的脸部的 一部 分的状态。在图5B中所示的例子中，图像帧71被设置为人的脸部的 图像的一部分。当图像帧71被以这种方式设置时，仅有设置了图像帧 71的范围内的图像被显示在电视接收机11上，即，在这种情况下， 如图5C中所示，人的脸部的图像被显示在电视接收机ll上。
以上述的方式，当用户指示放大(扩展)时，用户被认为对该图 像有兴趣。尽管用户不一定对希望在确切的点(pin-point)观看的对 象进行放大，可以认为至少用户感兴趣的一部分被放大。换言之，用 户倾向于不对其不感兴趣的部分进行放大。因此，被指示从而被放大 的图像的中心被设置为注视点。
当放大图像帧的中心被设置为注视点时，该注视点可以被设置为 要获取日志的范围，并且由预定数目的像素形成的范围(其中注视点 处在中心)可以被设置为要获取日志的范围。在这种情况下，因为注 视点处于放大图像帧的中心，要获取日志的范围可以被设置为匹配该 图像帧。当以这种方式设置时，可使图像帧可变(由用户设置大小)。
另外，当使得预定范围可变而与图像帧无关时，例如，判断注视 点处的对象，并且该对象可以被^t置为范围。某些用于处理放大的应 用被构造成使得，即使在放大被执行后，放大因子和放大位置也可以 通过操作遥控器51而被改变。在这种情况下，例如，当放大因子被改 变时，要获取日志的预定范围的大小可以被改变。
接着，给出要获取日志的范围是跟踪放大的跟踪点的情况的描 迷。参考图6A到6E,跟踪放大将被描迷。跟踪放大是用户使用放大 功能时的辅助功能。该辅助功能是这样一个功能，其中当遥控器51 被用户操作以便执行放大时，跟踪点被聚焦到要跟踪的对象从而该对 象被指定，当执行跟踪该对象的处理时，放大处理被继续。某些用于 处理跟踪放大的应用被构造成使得，在跟踪放大的过程中，放大图像 帧可以被改变或者跟踪点可以被改变。图6A示出了显示在电视接收机11上的图像的例子。图6A中所 示的图像示出了 一个人和一所房子被显示于其中的图像。当这样的图 像被显示时，用户希望近距离地观看人的脸部，将放大应用到人的脸 部的图像上，执行设置使得人的脸部通常以扩展的状态被显示。即， 在这种情况下，跟踪放大,皮设置到人的脸部。
在预定图像被扩展的状态下，当图像被指示跟踪和显示时，要被 扩展的图像的中心及其范围被用户设置。图6B示出了一种状态，其 中，放大图像帧81被用户设置为图像中人的脸部的一部分。图像帧 81可以被设置为预定大小，其中跟踪点82在中心，大小可以被用户 设置。
在图6B所示的例子的情况下，跟踪点82被设置在人的脸部的图 像的部分中，使得人的整个脸部被包含的图像帧81被设置为人的脸部 的图像的部分。当跟踪点82和图像帧81被以这种方式设置时，仅仅 在已经设置了图像帧81的范围中的图像被显示在电视接收机11上。 此时，跟踪点被置于屏幕的中心，并且根据放大图像帧(放大因子) 被放大。即，在这种情况下，如图6C所示，人的脸部的图像被显示 在电视接收机11上。
另外，当屏幕内的人运动时，因为在扩展状态被维持的同时人被 跟踪，例如，图6D所示的屏幕被显示在电视接收机11上。当图6C 与图6D相比较时，图6C所示的房子的部分被图6D所示出。当没有 设置跟踪放大时，图6D所示的图像是图6E中所示的屏幕被显示在电 视接收机ll上时的图像。
图6E是为了说明而示出。在实际的处理中，图像不被提供给用 户，除非由用户指定，而且在跟踪放大的过程中，跟踪点和放大图像 帧被显示在输入图像中。对于图6B的图像，在图6E的图像中，人已 经斜向地运动到图中的左下。当要跟踪的对象运动时，对于跟踪放大， 因为放大处理在跟踪对象的同时被执行，图6D中所示的图像被提供 给用户。
因此，当跟踪放大处理被执行时，对象的图像被获取，其中对象被示出，好象是在已经执行图像捕获的地方被运动的摄像机跟踪似的。 根据设定，有这样的情况，其中，当被跟踪的对象接近输入图像的图 像帧时，被跟踪的对象离开图像帧中心的输出被做出。
当与眼标记录器、图像中心、放大图像帧相比较时，跟踪放大的
跟踪点与注视点最相关。如参考图6A到6E所描述的那样，跟踪放大 是对跟踪点进行跟踪并对其进行放大的应用。当这样的应用要被用户 启动时，用户指明用户的兴趣所在或者用户想观看什么。因此，用户 想观看的这个部分可以被设置为注视点。
当跟踪放大的跟踪点被设置为注视点时，注视点可以被设置为要 获取日志的范围，并且由预定数目的像素形成的范围(其中注视点处 在中心)可以被设置为要获取日志的范围。在这种情况下，因为注视 点在放大图像帧内，要获取日志的范围可以被设置以匹配图像帧。当 以这种方式设置时，图像帧具有由用户设置的大小并且可变。
另外，当使预定范围可变而与图像帧无关时，例如，可以判断注 视点处的对象，并且该对象可以被设置为一个范围。
往回查看图3的流程图，在步骤S13和S14,注视点信息获取单 元35 (图2)获取关于用户注视的注视点的信息，日志获取范围确定 单元36确定要获取日志的范围。
如上所述，关于获取注视点和日志的范围，如上所述，例如，跟 踪放大的跟踪点被设置为注视点，跟踪放大的图像帧被设置为要获取 日志的范围。跟踪放大被应用的情形将在后面参考图7被描述。
在步骤S14,在该范围内的特征量被获取。日志获取单元34从 特征量获取单元33提供的特征量中提取从由日志获取范围确定单元 36所确定的范围中的图像提取的特征量。所提取的特征量被使用为特 征量日志。
在步骤S16，操作信息被获取。光接收单元38从遥控器51接收 信号。来自遥控器51的信号(其由光接收单元38接收)被提供给控 制器39，从而信号被分析。控制器39基于分析结果(操作信息)执 行控制，并将操作信息提供给日志获取单元34。日志获取单元34使用所提供的操作信息作为操作曰志。
这里，尽管操作信息被使用，操作结果也可以被使用作为操作日 志。例如，当用户执行用于调节图像特性的操作时，作为用于调节图 像特性的操作的结果的参数可以被使用作为操作日志。
在步骤S17，日志被存储。日志获取单元34使得所获取的特征 量日志和操作日志以彼此相关联的方式被存储在日志存储单元37中。
如上所述，在该实施例中，关于用户注视的部分的附近的图像的 信息和关于由用户此时执行的操作的信息被存储为日志。
在该实施例中，通过假设特征量日志和操作日志以彼此相关联的 方式被存储来继续描述。取代操作日志，其他信息可以以与特征量日 志相关联的方式被存储。例如，关于设备的操作和状态的信息可以与 特征量日志相关联。
另外，可以仅仅存储特征量日志。如上所述，特征量日志是从用 户注视的图像提取的信息。因此，用户注视的图像是何种图像可以通 过分析该日志而明白。结果，可以知道用户对何种图像感兴趣以及用 户关心何种图像(图像特性)。
作为这样的日志被存储的结果，有以下优点。
首先，可以解决隐私的问题。作为特征量日志，图像的特征量被 存储。然而，用其可以通过分析特征量而恢复原始图像的特征量或者 用其可以想象图像的内容涵义的特征量具有侵粑用户的隐私的风险， 因此不能被获得。为了使这样的特征量不被获取，整体上模糊的信息 被强制为特征量。结果，重要信息可能被埋没。
然而，根据本实施例，因为只有注视点这一个点或者注视点附近 的仅仅几个像素的特征量被获取，不可能估计整个原始图像是何种图 像。
另外，当像素值没有被按原样被获取时，退化(degeneration ) 处理被执行以使原始图像不被恢复。当与内容含义被从整个屏幕移去 的情况相比，内容含义仅从注视点附近被移去的退化方法使得可以防 止重要的信息在分析时被埋没，因为必要信息的损失是小的。在上述的方式下，根据本实施例，可以在保护用户的隐私的同时 获取足够的日志作为信息。
另外，根据本实施例，可以解决容量的问题。如参考图l所述，
日志获取设备12被安装在电视接收机11中，持续工作直到电视接收 机11不再被用户所有。即，日志获取设备12将持续存储日志一长段 时间。然而，对于日志存储单元37用于存储日志的容量有限制。
当这一事实被考虑时，有一种需要，即用于每个存储时间的日志 数据量尽可能的小。然而，如果图像的局部特征要通过使用图像特征 量来获取的话，大小(size)变得较大，而大小变得越小，可以被表 示的特征总体上变得越模糊。
然而，根据本实施例，可以将特征量被提取的图像限制为注视点 附近，并且可以为每个像素计算特征量。结果，可以提高日志的精确 性，而且可以减少数据量。
另夕卜，根据本实施例，可以解决直方图的问题。在上述实施例中， 尽管没有提及，特征量日志可以以直方图的形式被获取。当直方图被 使用时，空间信息被丢失，当整个屏幕的特征被示出时有限制。
然而，根据本实施例，被处理的图像的范围被限制为注视点的附 近。结果，作为被形成直方图的结果，混合范围变窄，更多的目标特 征可被留下。
如上面所描述的，通过应用本发明，可以获得各种优点。 其中应用了跟踪放大的曰志获取设备
接着，其中应用了跟踪放大的日志获取设备将被描述。如上所述， 作为要获取注视点和日志的范围，跟踪放大的跟踪点及其图像帧可以 被使用。图7示出了其中应用了跟踪放大的日志获取设备12的内部配 置的例子。
图7所示的日志获取设备12包括图像数据输入单元101，图像处 理器102，特征量获取单元103，日志获取单元104，注视点信息获取 单元105，日志获取范围确定单元106，日志存储单元107，光接收单元108，控制器109，跟踪放大处理器IIO。
当图7所示的日志获取设备12被比较于图2所示的日志获取设 备12时，图7所示的日志获取设备12不同在于，跟踪放大处理器110 被加入图2所示的日志获取设备12。跟踪放大处理110被提供用于执 行参考图6A、 6B， 6C, 6D和6E描述的跟踪放大处理。注视点信息 获取单元105获取关于由跟踪放大处理器IIO设置的跟踪点和图像帧 的信息，并将它们提供给日志获取范围确定单元106。
因为剩下的结构与图2所示的日志获取设备12相同，其描述被 省略。配置可以被以下面的方式形成，即注视点信息获取单元105被 省略，关于跟踪点和图像帧的信息可以直接从跟踪放大处理器110被 提供给日志获取范围确定单元106。
参考图8，图7所示的日志获取设备12的操作将被描述。在步骤 S51,图像数据被获取。图像数据输入单元101提供从外面提供的图像 数据到图像处理器102。在步骤S52，特征量被获取。基于来自图像处 理器102的数据，特征量获取单元103从此时已经被处理的图像提取 特征量。在步骤S52提取的特征量例如是关于上述的活动性的特征量。 因为特征量已经被描述，其描述这里省略。
在步骤S53,关于跟踪放大的跟踪点和图像帧的信息被获取。在 步骤S54，跟踪放大处理被开始。跟踪放大处理器110获取关于由用 户设置的跟踪点和图像帧的信息，基于关于所获取的跟踪点和图像帧 的信息执行跟踪放大处理，输出该信息到注视点信息获取单元105。 注视点信息获取单元105设置该跟踪点为注视点，并输出关于该注视 点的信息到日志获取范围确定单元106。
在步骤S55，日志获取范围确定单元106确定要获取日志的范围。 例如，日志获取范围确定单元106确定包含注视点的图像帧作为要获 取日志的范围。关于所确定的范围的信息被提供给日志获取单元104，
类似于图3的流程图中所示的步骤S15到S17的处理(其已经被 描述)，步骤S56到S58的处理被执行，相应地其描述这里被省略。
在上述的方式中，通过设置跟踪放大的跟踪点为注视点和通过存储关于在注视点或者注视点附近的图像的信息作为日志，上述的各种 优点可以被获得。
记录介质
上述的处理序列可以被硬件也可以被软件执行。当该处理序列要 被软件执行时，构成软件的的程序被从程序记录介质安装到结合了专 门的硬件的计算机或者通过安装各种程序能够执行各种功能的通用计 算机。
图9是示出根据程序执行上述处理序列的个人计算机的硬件配置 的例子。
在计算机中，CPU (中央处理单元)201、 ROM (只读存储器) 202和RAM (随机访问存储器)203被通过总线204彼此互联。
另外，输入/输出接口 205被连接到总线204。输入单元206、输 出单元207、存储器单元208、通信单元209和驱动器210被连接到输 入/输出接口 205。输入单元206包括键盘、鼠标、麦克风等。输出单 元207包括显示设备、扬声器等。存储单元208包括硬盘、非易失存 储器等。通信单元209包括网络接口等。驱动器210驱动可移动介质 211，诸如磁盘、光盘、磁光盘、或者半导体存储器。
在如上所述配置的计算机中，例如，CPU201通过输入/输出接口 205和总线204将存储在存储单元208中的程序装载到RAM203，从 而执行上述的处理序列。
由计算机(CPU201)执行的程序被记录在可移动介质211上， 其是例如由磁盘(包括软盘)、光盘(CD-ROM(致密盘只读存储器))、 DVD (数字多用盘)磁光盘或者半导体存储器形成的封装的介质。或 者，这样的程序通过有线或者无线的传输介质(诸如局域网、因特网 或者数字卫星广播)被提供。
通过安装可移动介质211到驱动器210，程序通过输入/输出接口 205可以被安装到存储单元208中。另外，程序可以通过有线或者无 线传输介质由通信单元209接收，可以被安装到存储单元208中。另外，程序可以被预先安装到ROM202和存储单元208中。
要被计算机执行的程序可以是一段程序，利用它处理可以根据本
说明书中描述的次序被先后执行，也可以是一段程序，利用它处理可
以被并行地或者在必要的时刻(例如当被调用时)被执行。 在本说明书中，系统指由多个设备形成的整个装备。 本领域的技术人员应该理解，各种的修改、组合、再组合和改变
可以根据设计需要或者其他因素而出现，只要它们落入所附权利要求
书或者其等同物的范围中。
权利要求
1.一种信息处理设备，包括获取装置，用于获取图像的特征量；和检测装置，用于检测用户在图像内注视的注视点，其中，在获取装置获取的特征量中，从由检测装置检测的注视点处的图像或者在包含该注视点的预定范围中的图像提取的特征量被存储。
2. 如权利要求1所述的信息处理设备，还包括跟踪放大处理装 置，用于执行用于跟踪所述图像内的预定部分中的图像和用于以放大 的状态显示所述预定部分中的图像的处理，其中所述检测装置设定由跟踪放大处理装置设定的跟踪点为所 述注视点。
3. 如权利要求2所述的信息处理设备，其中所述预定范围中的 图像是所述预定部分中的所述图像。
4. 如权利要求1所迷的信息处理设备，其中关于由用户执行的 操作的信息被以如下方式存储，使得与所提取的特征量相关联。
5. —种信息处理方法，包括以下步骤 获取图像的特征量；和检测用户在图像内注视的注视点，其中执行控制使得在所获取的特征量中，从所检测的注视点处的 图像或者在包含所述注视点的预定范围中的图像提取的特征量被存储 在预定存储介质上。
6. —种计算机可读程序，包括以下步骤 获取图像的特征量；和检测用户在图像内注视的注视点，其中执行控制使得在所获取的特征量中，从所检测的注视点处的 图像或者在包含所述注视点的预定范围中的图像提取的特征量被存储 在预定存储介质上。
7. —种信息处理设备，包括 获取部分，被配置以获取图像的特征量；和 检测器，被配置以检测用户在图像内注视的注视点， 其中，在由获取部分所获取的特征量中，从由所述检测器所检测 的注视点处的图像或者在包含所述注视点的预定范围中的图像提取的 特征量被存储。
全文摘要
一种信息处理设备，包括获取单元，被配置以获取图像的特征量；和检测器，被配置以检测用户在图像内注视的注视点，其中，在由获取单元所获取的特征量中，由所述检测器所检测的注视点或者从在包含所述注视点的预定范围中的图像提取的特征量被存储。
文档编号H04N7/173GK101309375SQ20081009906
公开日2008年11月19日 申请日期2008年5月16日 优先权日2007年5月16日
发明者三宅彻, 中川亨, 安藤一隆, 小林直树, 尾花通雅, 平泉启, 梶尾祐介, 町村昌纪, 藤井建行, 藤原义仁, 藤森泰弘, 赤尾雅人, 近藤哲二郎, 野出泰史, 高木芳德, 高桥义博 申请人:索尼株式会社