专利名称：用于分析正被提供内容信息的用户的情绪状态的方法和设备的制作方法
技术领域：
本发明涉及一种分析在消费电子设备界面中正在被供给内容信息 的用户的情绪状态的方法。该发明还涉及一种用于分析在消费电子设 备界面中正在被供给内容信息的用户的情绪状态的设备， 一种用于存 储生理数据的数据存储器和一种计算机程序。
背景技术：
US6, 798, 461揭露了一种^见频系统，包括一个用于向浏览者显 示视频数据的显示器， 一个附着在浏览者手指上以感测诸如脉搏速率 或皮肤电导性的生理数据的传感器，和一个用于接收视频数据的视频 混合设备。视频混合设备用来接收生理数据并在浏览者观看视频数据 时显示它们。系统允许浏览者在欣赏视频内容时监控生理数据。
已知的系统允许同步显示实时测量的生理数据和^见频内容。才艮据 该系统，浏览者不能与其他未浏览同样视频内容的人交流浏览视频内 容的体验。
发明内容
期望提供一种分析正在被供给内容信息的用户的情绪状态的方 法，其允许用户交流用户体马t。 该方法包括以下步骤
-获取指示用户情绪状态的生理数据； -识别内容信息中与生理数据相关的部分； -存储与内容信息的所述相关部分相关联的生理数据。 当向用户提供内容信息时，可测量生理过程可能指示出用户体验 着某种与内容信息相关的情绪。例如，当用户突然体验由其正在观看 的电影触发的惊骇时其皮肤电阻抗会变化。为了记录用户的情绪状态， 获取一个带有生理数据的信号，例如肤电反应测量结果、肌电图测量
结果或者瞳孔尺寸。
随着用户日益增多地消费内容信息，用户的情绪状态会发生变化。
4相应地，生理数据也会随之发生变化。因此，可以根据在特定时刻得 到的特殊生理数据识别出 一部分内容信息。与内容信息的相应部分相 关联的生理数据可以切实地表现出用户的体验。
一旦向用户提供了内容信息，就期望保存用户体验供今后利用。 因此，存储与相关部分的内容信息相关联的生理数据。通过存储生理 数据，产生一个时移，使其能够以后在生理上被利用。被存储的生理 数据可以被用于再次重现内容信息和展示用户体验过的情绪状态。与 相关部分的内容相关联的^皮存储生理数据也可以-皮交流给另 一用户或 者被与其他用户的生理数据相比较。
在本发明中，提供一种用于分析在消费电子界面中正在被供给内 容信息的用户的情绪状态的设备。该设备包括一个数据处理器，用于
-获取指示用户情绪状态的生理数据；
-识别内容信息中与生理数据相关的部分；
-能够存储与内容信息的所述相关部分相关联的生理数据。
设备被配置来参照所述方法进行所述操作。
通过举例的方式，参照以下附图，本发明的上述和其他方面将泮皮 进一步解释和描述
图l是根据本发明的一个系统实施例的功能框图； 图2是本发明方法的一个实施例。
具体实施例方式
在消费电子系统中，将通过不同方式向用户提供内容信息(或简 称"内容")。例如，用户也许会读到一本带有可去除的封面的书， 该封面与电子技术结合用来检测用户读取的当前书页。在另一个实例 中，用户可能在电视屏幕或个人电脑显示器上观看足球赛。当向用户 提供内容时，意味着用户或者没有借助任何视频或音频再生设备，例
如通过读书来消费内容，或者用户通过看或听消费电子设备来消费内
六 谷。
内容可以包括以下中至少之一或者任何组合可祸/fl"息(例如寺见 频图像、照片、图形)，音频信息和文本信息。术语"音频信息"指与音频有关的数据，包括可听音调、静音、话音、音乐、宁静、外部
噪音等等。音频数据可以是以下格式，例如MPEG-1层3 (rap3)标准 (运动图片专家组)、AVI (音频视频交错)格式、WMA (视窗媒体音 频)格式等等。术语"视频信息"指可视数据，例如运动、图片、"静 止图像"、图文电视等等。视频数据可以是以下格式，例如GIF(图形 交换格式)、JPEG (以联合图像专家组命名)、MPEG-4等等。文本信 息可以是例如ASCII (美国信息交换标准代码)格式、PDF (Adobe Acrobat格式)格式、HTML (超文本标记语言)格式。
图1描述了系统的一个实施例，包括两个用户界面110和130, 以及设备150。在用户界面110中，用户可以读到一本放在图书封面(优 选是可去除的)中的书112，图书封面结合了电极114a和114b。电极 114a和114b可连接到监测处理器116。当用户读书时，通过电极114a 和U4b测量肤电反应，用于生成此测量的一个适当信号。进一步，信 号被(无线地)提供给监测处理器116。在另一个实施例中，电极114a 和114b适于测量正在读书的用户的心率。在又一实施例中，可去除的 图书封面与传感器结合，用于远程测量用户体内的其他生理过程，例 如用户面部皮肤温度的分布情况，其也与用户的情绪状态变化相关。
监测处理器116可以耦合到视频照相机118,用于捕获用户读书 时的视频数据。为了确定用户所读的书的当前页、正由用户查看的书 中的图片或正由用户阅读的当前段落，视频照相机118可以被设置为 向监测处理器116提供捕获的视频数据。对^L频数据随后进行的分析 能够确定当前所读的页或页中的段落或者正在查看的图片。内容分析 可以在监测处理器116中进行，但是可替换地也可以在设备l50中进 行。在用户界面110中使用视频照相机118是可选的，因为用户当前 正在消费的内容部分可以以其他方式被识别。例如，监测处理器116 可以包括一个实体书签形式的页计数器或者另一小配件用于识别书中 的页。
监测处理器116可以被设置成向设备150传送包括肤电反应测量 结果或其他生理数据的信号，以及一个对于在获得信号时用户看到或 听到的内容的相应部分的关联。可替换地，设备150被设置成从监测 处理器116接收信号，仍然必须处理视频数据以识别对于内容相应部 分的关联。
6另外，在用户界面uo中，用户可以观看视频和音频内容，例如 电影，或者用户可以阅读显示在显示单元上，例如电视机或PDA(个人 数字助理)或手机的触摸屏上的电子文档(例如报纸或书)。当用户 查看内容，信号指示用户心率、皮肤电阻抗或另一生理参数。可以通 过多种方式得到信号。例如，显示单元可以有一个结合了一个用于获 得生理数据的传感器的键盘或远程控制单元。
显示单元可以被设置成向设备150提供一个与信号中相应生理数 据相关的内容部分的标识符。例如，显示单元可以指示电影中的一个 帧号，或从电影开始时算起的一个时刻。显示单元也可以指示与电影 中展示的特殊视频目标或角色相关的生理数据。在另一实施例中，显 示单元没有明确地向设备150提供标识符，但是显示单元在时间上同 步地向设备15G传送内容和信号。
生理数据也可以用一个或多个耳机获取。耳机可以被设计成测量 肤电反应，作为在用于给用户再生音频的耳机一般功能上增加的额外 选择。例如，耳机的表面可以包括一个或多个电极用于感测肤电反应。 用户可以在用户界面110或130中使用这样的一个或多个耳寸几。
这样的话，设备150会从监测处理器116或从显示单元收到生理 数据和建立对于与相应生理数据相关的内容部分的关联所需要的所有信息。
设备150可以包括一个数据处理器151，被设置为根据接收到的 例如合并到信号中的生理数据和其他用于识别与相应生理数据相关的 内容部分的信息来产生一个指示内容中被识别的部分和相应生理数据 的索引。可替换地，数据处理器151可以被设置成在内容的相应部分 处将生理数据嵌入到内容中。在另一个可替换的实施例中，数据处理 器被设置成将生理数据翻译成与用户的各种情绪状态相关联的相应情 绪描迷符。随后， 一个或多个情绪描述符将被嵌入内容的相应部分， 或者会产生一个用于指示内容中被识别的部分和相应情绪描述符的索 引。设备150可以被设置成与一个适于存储索引、或者带有嵌入生理 数据或嵌入情绪描述符的内容的数据存储器160 (远程地)通信。存储 器160适合于作为数据库被查询。
索引和/或内容可以通过不同的数据载体，例如音频或^见频^f兹带、 诸如CD-ROM盘(压缩盘只读存储器)或DVD盘(数字通用盘)的光存储盘、软盘和硬盘等等，以各种不同的格式，例如MPEG(运动图象 专家组)、MIDI (乐器指令数字接口 ) 、 Shockwave、 QuickTime、 WAV (波形音频)等等，被存储在数据存储器160中。例如，数据存储器 可以包括一个计算机硬盘驱动器， 一个通用闪存卡，例如记忆棒设备等等。
参照图1进行的解释，向用户提供的内容形式可以是两种。用户 可以时间上非线性地消费内容。例如，在用户界面130中用户可以浏 览显示在显示单元上的摄影书籍中的照片。为了显示来自于摄影书籍 中的另一照片，用户可以在任意时刻点击远程控制单元上的方向键或 者键盘上的键。在另一个实施例中，内容用预定的时间进展来表示。 这样的内容可以是电影、歌曲或自动变换的幻灯片。在时间上线性和 非线性的两种表现类型的内容中，都可以使用两种方法中的至少一种 来识别内容中与相应生理数据相关的部分以获取生理数据的时间为 基础，或者通过监测用户对内容信息特殊部分的注意。在第一种方法 的例子中，内容可以是一部电影。获取生理数据的时间可以用在监测 处理器116或数据处理器151中设置的计时器(未示出)来登记。给 定登记时间，很容易确定电影中的一帧或一个视频场景，根据其可获 取用户体验的特殊情绪和由此相应的生理参数。
第一种方法的另一个实施例针对用户界面110给出。通过当书1U 中的一页被翻开时第一次激活计时器以及当该页被翻过时停止计时器 来实现与相应生理数据有关的内容部分的基于时间的识别。这样，计 时器能够确定阅读书112的一 (二)页的总时间段。可以认为同时期 能接收到什么样的生理数据也是可知的。进一步，与相应生理数据相 关的书页上的文本段落也可以被插入。另一方面，当用户流览书页， 如果确定的时间段小于例如每页1秒或每图/照片l秒，该页就不会 被读取，数据处理器可以被设置成忽略该确定的期间获取的生理数据。
在第二种方法中，例如内容是摄影书籍。监测单元，例如照相机 118或附着在书112上的书页计数器，可以确定在某一特定时刻用户消 费的内容部分。例如，照相机118祐二没置成捕获包括例如通过比較j见 频数据和内容从而将要识别出的内容部分的视频数据。在摄影书籍的 情形，将识别出图片中的特殊一副。当内容是电影时，相似地识別出 特殊一帧。更准确的识别可以通过检测观看摄影书籍或电影时用户的关注目
标来实现。目标的检测可能需要被用来确定用户观看的方向和书112 的位置的照相机118或者用于显示内容的显示单元。在屏幕上或书上 检测目标的方法是已知的。目标4全测可以关联生理数据和内容的特殊 语义部分，例如电影中的角色或二重奏歌曲中的演唱者。
在用户界面110中如上所述使用插入法来确定书页中与相应生理 数据有关的段落从而进行准确的识别也是可能的。在书中有图片的情 形，用户将首先阅览图像。因此，在书页打开后就获取到的生理数据 和该图像也可能直接匹配。
在本发明的一个实施例中，通过补偿聚集的用户情绪的效果的方 法，使数据处理器151适于识别内容中与相应生理数据相关的部分也 是可预见的。由于用户消费内容时用户情绪可以聚集，因此效果会增 强，并且生理数据也许就不能客观地反映与内容的特殊部分相关的情 绪。这个效果可以通过有利的方式减轻，例如，在用户界面130中， 当用户浏览摄影书籍时，通过延迟图片和生理数据之间的同步。这种 延迟考虑了在看完一张图片后看另一张图片时，用户需要一些时间清
除和平复之前的情绪。
数据处理器151可以是公知的中央处理单元(CPU),其适于设置
成能够完成当前发明和使此处描述的设备能够运行。
将参照图2进一步解释发明，其示出了当用户消费内容时分析用 户情绪状态的方法的一个实施例。
在步骤210,当用户观看例如电影、听歌或读书时获取其生理数 据。从生理数据能够得出用户消费内容的特定时刻的情绪状态。例如， 可以推断用户激动的程度。某个生理数据也可以可靠地推断和分类情
绪状态，例如愤怒、担心、高兴等等。
在可选步骤220,生理数据与预定标准进行比较，用来确定生理 数据是否超过用户针对消费的内容部分的情绪反应的某个水平。例如， 肤电反应会根据用户的情绪状态水平变化。
如杲在步骤220从生理数据断定情绪状态水平超过阈值，内容中 与生理数据有关的部分在步骤230被识别。生理数据和内容中相应的 被识别部分之间的相应关系如上所述地参照用户界面110或130 :故确 定。在步骤240，索引存入数据存储器160。可替换地，生理数据或至 少一个情绪指示符被嵌入与内容的相关部分相关联的内容中，并且该 内容被存储在数据存储器160中。
可选地，如果象在步骤220中阈值被超过，由指向用户的照相机 1S捕捉到的视频数据被用来推导出用户的情绪状态和行为，例如用户 的面部表情。可替换地或者附加地，音频输入设备，例如麦克风被激 活来录制用户的语音。视频数据和/或语音数据可以提供给设备150 并且进一步被存储到数据存储器160。这样，用户的体验被记录下来， 在随后的某个时间例如以同步的方式连同内容本身同时呈现给用户或 其他人。
在步骤250，内容信息与生理数据同步呈现。呈现可以以不同方 式，只要部分内容的呈现伴随着与该部分内容相关的生理数据的同步 呈现。例如，电影在显示屏上按正常方式呈现，但是围绕显示屏的帧 的颜色随着与电影相应帧相关的生理数据而变化。
在步骤250的有益的可替代方案中，内容部分根据相应的相关生 理数据以修正方式被呈现。例如，如杲与对象有关的生理数据指示了 用户针对该视频对象体验了某种情绪，电影的视频对象用某种方法高 亮或加重显示。高亮显示可以包括利用相应于从生理数据得到的特殊 情绪的颜色。
可替换地，生理数据被用来从内容中只过滤出内容中符合选定标 准的一个或多个部分。例如，用户可能想从摄影书籍中只抽出能唤起
某种情绪的图片。
制作任何所需长度内容的大纲也是可能的。例如，如果相应生理 数据指示情绪水平超过某个阈值，则内容部分被标注用于该大纲。通 过修正阈值，用户或者数据处理器能够调整大纲的时间长度和大小。
在另一实施例中，用户的生理数据进一步与另一用户关于同样内 容的生理数据进行比较。所述比较使得用户能够确定他们是否喜欢同 样的内容以及，可选地，用户喜欢同样内容的相同或不同部分的程度。
在又一实施例中，用户能够使用生理数据在数据存储器160中检 索带有基本相同生理数据的其他内容。例如，用于查询数据存储器160 的由用户执行的查找可以包括以某种形式分布于内容的生理数据的图 案。换句话说，该图案可以指示在内容的中间和特别是结尾处用户的
10情绪响应是高的。基于内容建立的这样的图案可以被用来查找另一具 有相同或相似图案的内容。
在符合本发明原理的范围内可以对所描述实施例进行改变和修
正。例如，设备150和/或数据存储器160可以通过电缆、卫星或其 它链路远程访问例如电视机(TV set)的用户设备，诸如录像带式的 或HDD式的录像机，家庭影院系统，便携式CD播放器，远程控制设备 如iPronto远程控制、手机等等。用户设备可以被设置成执行步骤250 或提及的步骤250的可替换示例。
在一个实施例中，图1中示出的系统以单独设备来实现，或者包 括一个服务提供者和一个客户端。可替换地，该系统可以包括分布式 并且互相远程设置的设备。
数据处理器151可以运行软件程序以执行本发明的方法所述的步 骤。该软件使设备150不依赖于软件在哪儿运行。例如，为了使设备 运行，数据处理器可以将软件程序传送到其它(外部)设备。独立方 法权利要求和计算机程序产品权利要求用来当生产或开发该软件运行 于消费电子产品时保护本发明。外部设备可以利用现有已存技术连接 到数据处理器，如蓝牙，IEEE 802.11 [a-g]等等。数据处理器可以 ^^据UpnP (通用即插即用)标准和外部i殳备交互。
"计算机程序，，被理解成意指任何存储于计算机可读媒介如软盘 中的、通过网络如因特网可下载的或以其他方式可买卖的软件产品。
不同的程序产品可以实现本发明的系统的功能和方法，也可以以 不同方式与硬件结合或设置于不同设备中。本发明也可以通过包括几 种不同元件的硬件实现，和通过合适编程的计算机来实现。在枚举了 几种设备的装置权利要求中，部分设备可以通过一项或相同项的硬件 来被具体化。
权利要求
1.一种分析在消费电子界面(110，130)中正被提供内容信息的用户的情绪状态的方法，该方法包括以下步骤-(210)获取指示用户情绪状态的生理数据；-(230)识别内容信息中与生理数据相关的部分；和-(240)存储与内容信息的所述相关部分相关联的生理数据。
2. 根据权利要求1的方法 结果。
3. 根据权利要求2的方法取。
4. 根据权利要求1的方法再现。
5. 根据权利要求1的方法 上非线性地消费。
6. 根据权利要求5的方法 文本或图片集。
7. 根据权利要求4或5的方法，其中内容信息的所述部分基 于获取相关生理数据的时间来识别。
8. 根据权利要求4或5的方法，其中内容信息中与生理数据 相关的部分通过监测正净皮提供内容信息的用户而被识别。
9. 根据权利要求l的方法，其中，在存储步骤中，生理数据 被嵌入到内容信息。
10. 根据权利要求1的方法，进一步包括一个用于确定生理数 据是否超过阈值从而触发识别步骤和存储步骤的步骤(220 )。
11. 根据权利要求10的方法，进一步包括一个在超过了阈值 时激活照相机(118)或音频输入设备来分别记录用户的 视频数据或者用户的语音数据的步骤。
12. 根据权利要求l的方法，进一步包括以下步骤任何之一 -(250 )与生理数据一起同步地再次提供内容信息；-根据选择的标准来选择与生理数据相关的至少一部分,其中生理数据包括肤电反应测量 ，其中生理数据通过用户的耳机获 ,其中内容信息适于时间上线性地 ,其中内容信息适于由用户在时间 ,其中内容信息是电子文本、印刷内容信息；-比较用户的生理数据和第二个用户关于同样内容信息 的其他生理数据；-使用生理数据在数据存储器中检索具有基本相同生理 数据的其他内容信息。
13. —种用于分析在消费电子界面(110， 130)中正被提供内 容信息的用户的情绪状态的设备，该设备包括一个数据处 理器(151 )，用于-获取指示用户情绪状态的生理数据；-识别内容信息中与生理数据相关的部分；和-能够存储与内容信息的所述相关部分相关联的生理数据。
14. 指示在消费电子界面(110, 130)中正被提供内容信息的 用户的情绪状态的生理数据，生理数据与内容信息的相应 部分相关联。
15. —种包括代码装置的计算机程序，当在计算机设备上执行 该代码装置时，适于实现权利要求1至12之任一请求保 护的方法的步骤。
全文摘要
本发明涉及一种分析在消费电子界面中正在被供给内容信息的用户的情绪状态的方法。该方法包括以下步骤(210)获取指示用户情绪状态的生理数据；(230)识别内容信息中与生理数据相关的部分；和(240)存储与内容信息的所述相关部分相关联的生理数据。本发明也涉及一种设备，一种用于存储生理数据的数据存储器和一种计算机程序。
文档编号G06F3/01GK101495942SQ200680035625
公开日2009年7月29日 申请日期2006年9月22日 优先权日2005年9月26日
发明者R·M·阿茨, R·库尔特 申请人:皇家飞利浦电子股份有限公司