用于基于用户的生理反应来自动地选择内容的系统的初始化的制作方法

专利名称：用于基于用户的生理反应来自动地选择内容的系统的初始化的制作方法
技术领域：
本发明涉及允许基于用户的生理反应来选择内容数据项的方法以及用于基于用户的生理反应来选择内容数据项的系统。本发明也涉及计算机程序。
背景技术：
Oliver, N.和Kregerltickles, L.于2006年 10 月 8-12 日在Victorigi, Canada 召开的/^oc. of ISMIR 2006，7th Int. Conf. on Music Information Retrieval "PAPA: Physiology and Purpose-Aware Automatic Playlist Generation，，公开了选择音乐来帮助用户达到特定的锻炼目标并结合用户对该音乐的生理反应来确定将要播放的下一首歌曲的应用(程序)。通常，该用户正借助便携式数字音乐播放器来收听其个人数字库 (DML)中的音乐。该系统访问用户的简档(profile)以及采用以前的与该系统进行的交互的日志形式的历史数据。该用户也佩戴一组生理传感器和环境传感器。该用户的DML利用相关的元数据诸如歌曲的节奏、平均能量、持续时间、流派等等来增补(augment)。该系统利用用户的生物反馈和显式反馈来学习该音乐中的该组特征的模型一例如，节奏，平均能量等等一以及该用户对它的反应。该已知系统的问题是它只在它已在其数据库中累积了数据之后才能工作，即，优选地跨越该范围的节奏、平均能量等的可能值，在更新其模型之后，它才能工作。

发明内容
所希望的是提供上述类型的方法、系统和计算机程序，其允许该系统在任何的学习时段完成之前运作良好。这利用根据本发明的方法来实现，其中该方法包括
存储代表用于表征可感知内容元素方面的至少一个变量与在再现所述可感知内容元素时至少一个第一用户的生理反应之间的关系的第一数据集；
基于测量到的至少一个第一用户对可感知内容元素的再现的生理反应以及用于表征所述可感知内容元素方面的至少一个变量的值，适配(adapt)代表所述关系的第一数据集； 禾口
使用代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系的至少一个另外数据集，将预期的生理反应与内容数据项相关联，所述另外集合以除了第一用户之外的至少一个其他用户的生理反应为基础。因为该系统具有以除了第一用户之外的至少一个其他用户的生理反应为基础的代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系的可用数据，所以即使没有或极少内容元素已为一个或多个第一用户再现，该系统也能够用于将生理反应与内容数据项相关联。如果该用户仅欣赏了某种风格的内容数据项，则是如此，并且该系统面临具有非常不同风格的新内容数据项。代表用于表征可感知内容元素方面的至少一个变量与至少一个第一用户的生理反应之间的关系的数据在再现所述可感知内容元素时非常适于进行精确的且恰当的内容数据项的推荐。与心境或流派分类形成对比，生理反应是定义明确的。此外，由于生理反应能够被参数化，所以能够根据更精细标度来进行内容数据项的分类。此外，相比于内容元素特性与心境或流派之间的关系，提供内容元素特性与生理反应之间的关系是更容易的。根据经验已发现在音乐的流派分类与音乐特性之间并没有定义明确的关系，然而已发现这样的关系存在于用户的生理反应与音乐特性之间。在一个实施例中，通过从多个第二数据集中进行选择来获得另外数据集，每一个第二数据集代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系，并且每一个第二数据集以除了第一用户之外的至少一个其他用户的生理反应为基石出。该选择可以是第二数据集之一或为其选择加权的加权平均值的纯粹选择。这个实施例解决的问题是与一个或多个第一用户相比，特定的其他用户有可能对诸如音频或视频轨道之类的内容元素显现非常不同的生理反应，并且其他用户的反应的平均值也将只是偶然类似于第一用户的反应。在这个实施例的变体中，进行该选择，以响应来自第一用户的用户输入。因此，用户能够影响该选择，并且该选择因而变得更加个性化。对于不同的原型 (prototype)用户，第二数据集可以是特有的，根据一个或多个第一用户与不同的原型相符的程度进行该选择。在一个实施例中，第二数据集与相应的个性类型相关联，并且其中通过使得至少一个用于确定个性类型的问题呈现在输出设备上来获得用户输入。众所周知的是有可能使用例如五个维度(Five Factor Model五因子模型)来表征某个人。仅使用一个或一些问题确保能够相对快速地部署实施该方法的系统。这些问题以及评估回答所需要的逻辑不会耗尽该系统的大量资源。这个实施例基于如下的发现 用户对音乐的生理反应有可能取决于他或她的个性以及音乐的内在特性(节奏、节拍、敲击等等)。实际上，已发现用户的个性来修改音乐特性与生理反应之间的关系。例如，皮肤电导峰值的数量已被发现对于每一个人而言随着敲击(percussiveness)而上升，但是与内向的人相比，这种上升对于外向的人来说陡峭得多。在该方法的实施例中，用于表征可感知内容元素方面的至少一个变量的值可通过将分析算法应用于信号来再现可感知内容元素而获得。效果是在数据的第一集合和另外集合之中的每一个集合中提供客观的、可重复的关系，这使得这些集合适合于相互比较和相互替代。这个方案和内容数据项属性的主观评价与生理反应之间的关系的使用形成对比。该方法的实施例包括保持将多个可选择内容数据项之中的每一个与代表生理反应的数据相关联的数据库。效果是允许基于所需要的生理反应来快速选择内容数据项。有可能搜索内容数据项以提供目标生理反应，而不必基于相关的可感知内容元素的特性来对内容数据项进行分类，并且不必使用模型来评价搜索查询。在这个实施例的变体中，使用代表在以可感知形式向第一用户再现与该数据库中的内容数据项相关联的内容元素时第一用户的生理反应的数据来更新该数据库。
效果是将该数据库个性化，以便更有效地向一个或多个第一用户提供相关联的结果。上述实施例的另外变体包括与代表生理反应的数据相关联而将新的内容数据项添加到该数据库，该数据是通过获得用于表征与新的内容数据项相关联的可感知内容元素方面的至少一个变量的值以及使用第一数据集和另外数据集中的至少一个数据集推导出生理反应而获得的。效果是能够使用目标生理反应、响应于搜索查询来找到新的内容数据项，而不必首先再现它来确定这样的反应。这在刚刚部署了实施该方法的系统时是特别有用的。这个实施例的另一变体包括允许基于与目标相对应的输入以及某一范围的目标值与表征生理反应的参数之间的关系来选择内容数据项。效果是该方法适合于向能够制定搜索查询的用户提供有效的搜索设施。根据另一个方面，根据本发明的用于选择内容数据项的系统
被配置成存储代表用于表征可感知内容元素方面的至少一个变量与在再现该可感知内容元素时至少一个第一用户的生理反应之间的关系的第一数据集；
被配置成基于测量到的至少一个第一用户对可感知内容元素的再现的生理反应以及用于表征所述可感知内容元素方面的至少一个变量的值来适配代表所述关系的第一数据集；以及
被提供有基于除了第一用户之外的至少一个其他用户的生理反应的代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系的至少一个另外数据集。即使第一数据集在该范围的用于表征可感知内容元素方面的至少一个变量的值的可能组合上(仍)没有完全适合于(一个或多个)第一用户，该系统也能够相对好地将上述类型的内容数据项进行分类。在一个实施例中，该系统被配置成执行根据本发明的方法。根据本发明的另一方面，提供包括指令集的计算机程序，其中所述指令当被并入机器可读介质中时能够使系统具有信息处理能力来执行根据本发明的方法。


将参考附图进一步详细解释本发明，其中
图1示意性显示用于下载和重放音轨的系统的部件； 图2是便于由用户或由音乐播放器自动地选择音轨的方法的流程图；和图3是在新的音轨可用于选择之前对新的音轨进行分类的方法的流程图。
具体实施例方式在下面，将给出在便携式媒体播放器1中实施的方法的描述，其中该播放器具有用于连接到网络3的接口 2。该网络是广域网，诸如因特网或移动电话运营商的网络，用于允许从服务器4中下载音频和/或视频文件。该方法允许便携式媒体播放器的用户使该播放器选择包括音轨、视频摘录和/或视听信号的记录的文件，用于重放或用于以推荐的形式向用户建议。然而，在此描述的方法也能够在服务器4中在其不同的变体中进行实施，例如，以提供用于从服务器4或相关的服务器上可用的集合中下载的文件，或者向与服务器4通信的设备的用户提供推荐。在推荐的情况下，便携式媒体播放器1选择与可感知内容元素(音轨、视频摘录等等)相关联的内容数据项的识别(或可选地进行排列的多个识别)。在替换方案中，该方法导致提供包括代表可感知内容元素的记录的数据的文件，例如，音频或视听内容数据文件。该便携式媒体播放器1适于携带在用户的个人上，例如，携带在他或她的、捆缚于其肢体上的口袋或包中，等等。它具有接口至至少一个传感器6，用于确定该用户的至少一个生理参数的值。该传感器6可以是非接触式传感器，但是该传感器通常至少间歇地和该用户接触。例如，该传感器6可以测量皮肤电导、心跳、心跳变异、体温、血压等等。该接口 5 可以是有线或无线的，例如，基于例如Zigbee或Bluetooth协议来提供个人区域网。在替换的实施例中，该便携式媒体播放器1附加地或替代地包括用于确定用户的至少一个生理参数的值的内部传感器。该便携式媒体播放器1被配备有数据处理器7和存储器8，用于执行在图2和3中所示的方法。存储器8包括固态存储设备、(磁)光盘驱动器、硬盘单元、磁带驱动器、全息 (照相)存储器等中的至少一个，用于保持将在此描述的数据库。它附加地包括工作存储器和只读存储器，用于存储允许处理器7执行这些方法的指令。提供媒体解码器9和输出级，用于在输出设备10上再现例如音轨和/或视频之类的可感知内容元素。该便携式媒体播放器1附加地包括用于提供图形用户界面的内部显示设备11。众所周知的是音乐能够改变人的心情，例如，在人低落的情况下有助于使其感觉好一些。对一个人起作用的(音乐)对其他人可能是毫无帮助的，这也是众所周知的。该便携式媒体播放器1与表明音轨对人的心情所具有的效果的数据相关联包括音轨的库。这个数据随后用于生成这些音轨的个性化的播放列表，以便将用户引导到希望的心情。该便携式媒体播放器1的特征是它不需要为了提供具有有意义结果的播放列表而重放其库中的所有音轨和记录该生理反应。因而，在曾经利用该便携式媒体播放器1将新的音轨播放给用户之前，能够为播放列表选择被添加到该集合中的新的音轨，如果该新的音轨有助于对用户的心情产生预期的影响的话。而且，甚至在该库仅包含极少音轨或已被重放的极少音轨时，这种功能至少以最低形式是可用的，例如，在该便携式媒体播放器1 刚刚被用户得到时，将是如此。参见图2和3，该便携式媒体播放器1保持数据库12，其中该数据库将该库中的每一个音轨与代表生理反应的数据相关联。在该方法的一个变体中，该便携式媒体播放器1 为多个已知用户(在这里也被称为“第一用户”)中的每一个提供单独的数据库12。在另一个实施例中，它并不区分用户，假设这些用户是相同的。如果该便携式媒体播放器1能够区分用户，则用户将首先识别他自己或她自己。 否则，选择音轨的方法从第一步骤13开始，在该第一步骤中，用户提供表明目标心情的输入。这个输入可以采用预期心情变化的形式，例如，“更加乐观”。在另一实施例中，给出与目标相对应的不同输入，例如，按1到10比例尺、代表用户的某种心理或生理状态的数值。该便携式媒体播放器1将对应于目标的输入转换成表征生理反应的一个或多个参数的一个或多个值，并且使用这些值来搜索第一数据库12，以选择一个或多个音轨(步骤 14)，其中该播放器可以依照这些音轨与搜索判据的匹配程度来排列。
在所示出的示例中，为了简单起见，假设选择一个音轨，该音轨随后使用输出设备 10和解码器9、以可感知形式进行再现(步骤15)。在该音轨的再现的至少一部分期间，用户的生理反应被确定(步骤16)。代表在再现该音轨时的该用户的生理反应的数据用于更新 (步骤17)该数据库12。该便携式媒体播放器1也被配置成存储代表用于表征诸如音轨之类的可感知内容元素方面的至少一个变量与该便携式媒体播放器1的所述一个或多个用户的生理反应之间的关系的第一数据集18。在一个实施例中，为多个识别的用户之中的每一个保持第一集合18。在另一实施例中，假设该便携式媒体播放器1的用户始终是相同的，因此该数据集适合于作为一个集体的该便携式媒体播放器1的用户。实际上，数据的这个第一集合18包含有关具有某种特性的音轨已如何影响这个特定用户或这些用户的生理情绪相关信号的 fn息ο在这里论述的方法中用于表征诸如音轨或视频摘录之类的可感知内容元素方面的所述一个或多个变量通常是音频或视频信号的固有特性的函数。也就是说，对于任何指定的内容元素而言，这些参数的值可通过将预定的分析算法应用于该音频或视频信号本身来获得。对于音轨而言，能够分析韵律(meter)，或者能够执行节奏和节拍分析。于 2008 年 9 月 1 日在 http//www. cs. tut. fi/sgn/arg/klap/cambridge. pdf 上从因特网下载的 Klapuri, A.的“Musical meter estimation and music transcription，，中给出涉及在前的分析类型的方法的示例。另一种可能性是使用梅尔倒频谱系数(Mel Frequency Cepstral Coefficients)来模拟音轨或音轨的扇区。通常，涉及信号演变的表征的这种类型的信号分析而非由该信号携带的信息的语义分析能够相对快速地且有效地来完成。替换地或附加地，语音识别可以与对应于所唱音乐的音轨的歌词的分析相结合来使用。对于视频摘录来说，亮度、场景变化的急缓度、色彩构成等等可以被用作特征。对于例如电影之类的视听内容数据文件来说，能够表征若干可感知内容元素(音频，视频)中的仅仅一个。例如，只有电影的音轨能够被表征，因为这在计算上是较容易的，并且该音轨表示整个视听内容的特征。通过获得表征被重放的音轨的参数的值以及通过获得代表在先前步骤16中测量到的生理反应的数据，当以可感知形式再现该音轨时，更新第一数据集18 (步骤19)。参见图3，在所示出的实施例中，该便携式媒体播放器1附加地被配备有第一和第二另外数据集20、21，其中这些另外数据集20、21中的每一个代表用于表征诸如音轨之类的可感知内容元素方面的至少一个变量与用户的生理反应之间的关系。这些另外集合20、 21是以除了该便携式媒体播放器1的当前用户之外的至少一个其他用户的生理反应为基础的。在所示出的实施例中，第一另外数据集20通常以一个或多个其他人的生理反应为基础。如果该便携式媒体播放器1被配置成对用户进行区分，那么这些可以是该便携式媒体播放器1的用户之中的其他用户。作为选择，第一另外集合20可以基于群体的代表性采样的生理反应的平均值。该便携式媒体播放器1的制造商可以为不同的地区市场提供不同的相应的第一另外集合20，以改善匹配当前用户的生理反应的机会。在所示出的实施例中，代表用于表征诸如音轨之类的可感知内容元素方面的至少一个变量与用户的生理反应之间的关系的第二另外数据集21是从多个预先安装的第二数据集中进行选择的。每一个第二集合转而代表用于表征诸如音轨之类的可感知内容元素方
8面的至少一个变量与具有特定的相应个性的用户或用户组的生理反应之间的关系。例如， 可能在便携式媒体播放器1中预先安装32个第二数据集，其中每一个数据集根据已知的五因子模型(Five Factor Model)代表五个人格维度的特定组合，用于表征人格。在新的用户第一次使用该便携式媒体播放器1时，向这个用户询问有限数量的问题，其中这些问题被设计成确定这个用户在所述五个维度中的每个维度上的位置。这些问题可以被呈现在显示设备11上，而回答使用用于触摸屏的手写笔或某一其他类型的输入设备(未显示)来输入。参见图3，一旦该便携式媒体播放器1接收(步骤22)新的音轨、例如，通过网络3、 从服务器4中下载的音轨，该播放器就获得(步骤23)用于表征该音轨的各个方面的变量的值。尤其在复杂的预定分析的情况中，这些能够由服务器4来提供，或者该便携式媒体播放器1能够通过执行所述一个或多个预定分析来自己获得这些(值)。优选地，这些值以与该音轨相关联的方式被存储在数据库12中，以使得更新第一数据集的步骤19更容易执行。该便携式媒体播放器1随后使用第一数据集18、第一另外数据集20以及第二另外数据集21中的至少一个并且基于用于表征接收到的新音轨方面的至少一个变量的值来预测(步骤24)生理反应。在所示出的实施例中，第一数据集18最初是第一和第二另外集合20、21之一的拷贝或这二个集合的组合，例如，平均值或加权平均值。作为选择，该便携式媒体播放器1可以被配置成不使用第一数据集18来为新的音轨推导预期的生理反应，直至已执行了预定次数的更新第一数据集18的步骤19 (图2)，和/或对于覆盖预定范围的用于表征音轨方面的参数值的音轨，执行了更新第一数据集18的步骤19 (图2)。在还一个替换方案中，如果表征与新内容数据项(新音频文件)相关联的可感知内容元素(音频信号)的变量的值处于第一集合18利用不足的确定性来预测生理反应的范围内，那么该便携式媒体播放器1使用第一和第二另外集合20、21中的至少一个。在这些替换方案之中的每一个中，该便携式媒体播放器1使用代表表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系的另外数据集20、21中的至少一个来将预期的生理反应与内容数据项相关联，其中所述另外集合是以除了该便携式媒体播放器1的当前用户之外的至少一个其他用户的生理反应为基础的。接下来，新的音轨以与预期的生理反应相关联的方式被添加(步骤25)到该数据库 12。因而，尽管尚未被重放，但是在图2的方法的相应步骤14中仍然能够选择新的内容数据项。当然，一旦该音轨已被再现并且用户的实际生理反应已被确定，那么预期的生理反应将随之被实际的生理反应所替代。应该注意，上述的实施例说明本发明而不是限制本发明，并且本领域的技术人员将能够设计众多的替换实施例而不脱离所附的权利要求书的范围。在权利要求书中，放置在括号之间的任何参考符号不应被解释成限制该权利要求。词“包括”并不排除除了在权利要求中所列举的那些元素或步骤之外的其他元素或步骤的存在。在元素之前的词“一”或 “一个”并不排除多个这样的元素的存在。在互不相同的从属权利要求中叙述某些措施的纯粹事实并不表明不能有利使用这些措施的组合。在这里论述的实施例的替换实施例中，使用非便携式计算机系统来替代该便携式媒体播放器1或补充该便携式媒体播放器1，其中该非便携式计算机系统具有至与上述的传感器6相类似的传感器的接口。此外，测量到的生理反应可以是由传感器6执行的测量的结果以及由处理器7执行的附加处理步骤的结果，例如，以评定在短时段期间的心跳变异。
权利要求
1.一种允许基于用户的预期的生理反应来选择内容数据项的方法，每个内容数据项与可感知内容元素的至少一个记录相关联，包括存储代表用于表征可感知内容元素方面的至少一个变量与在再现所述可感知内容元素时至少一个第一用户的生理反应之间的关系的第一数据集(18)；基于测量到的至少一个第一用户对可感知内容元素的再现的生理反应以及用于表征可感知内容元素方面的至少一个变量的值，适配代表所述关系的第一数据集(18);和使用代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间关系的至少一个另外数据集(20，21)，将预期的生理反应与内容数据项相关联，所述另外集合 (20，21)以除了第一用户之外的至少一个其他用户的生理反应为基础。
2.根据权利要求1的方法，其中通过从多个第二数据集中进行选择来获得所述另外数据集(20，21)，每个第二数据集代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系，并且每个第二集合以除了第一用户之外的至少一个其他用户的生理反应为基础。
3.根据权利要求2的方法，其中响应于来自第一用户的用户输入，进行所述选择。
4.根据权利要求3的方法，其中第二数据集与相应的人格类型相关联，并且其中通过使得用于确定人格类型的至少一个问题呈现在输出设备(11)上来获得用户输入。
5.根据权利要求1的方法，其中用于表征可感知内容元素方面的至少一个变量的值可通过将分析算法应用于信号来再现可感知内容元素而获得。
6.根据权利要求1的方法，包括保持将多个可选内容数据项之中的每一个与代表生理反应的数据相关联的数据库(12)。
7.根据权利要求6的方法，其中使用代表在以可感知形式向第一用户再现与所述数据库(12)中的内容数据项相关联的内容元素时第一用户的生理反应的数据来更新所述数据库(12)。
8.根据权利要求6的方法，包括与代表生理反应的数据相关联而将新的内容数据项添加到所述数据库(12)，通过获得用于表征与新的内容数据项相关联的可感知内容元素方面的至少一个变量的值以及使用第一数据集和另外数据集中的至少一个来推导生理反应而获得所述数据。
9.根据权利要求6的方法，包括允许基于与目标相对应的输入以及一系列目标值与表征生理反应的参数之间的关系来选择内容数据项。
10.一种用于基于用户的预期的生理反应来选择内容数据项的系统，每一个内容数据项与可感知内容元素的至少一个记录相关联，其中所述系统被配置成存储代表用于表征可感知内容元素方面的至少一个变量与在再现所述可感知内容元素时至少一个第一用户的生理反应之间的关系的第一数据集(18)；其中所述系统被配置成基于测量到的至少一个第一用户对可感知内容元素的再现的生理反应以及用于表征可感知内容元素方面的至少一个变量的值来适配代表所述关系的第一数据集(18);以及其中给所述系统提供基于除了第一用户之外的至少一个其他用户的生理反应的代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系的至少一个另外数据集(20，21)。
11.根据权利要求10的系统，其被配置成执行根据权利要求1-9之中任一权利要求的方法。
12.—种计算机程序，其包括指令集，所述指令当被并入机器可读介质中时能够使得系统具有信息处理能力来执行根据权利要求1-9之中任一权利要求的方法。
全文摘要
允许基于用户的预期的生理反应来选择内容数据项的方法包括存储代表用于表征可感知内容元素方面的至少一个变量与在再现所述可感知内容元素时至少一个第一用户的生理反应之间的关系的第一数据集(18)，其中每一个内容数据项与可感知内容元素的至少一个记录相关联。基于测量到的至少一个第一用户对可感知内容元素的再现的生理反应以及用于表征可感知内容元素方面的至少一个变量的值，适配代表所述关系的第一数据集(18)。使用代表用于表征可感知内容元素方面的至少一个变量与用户的生理反应之间的关系的另外数据集(20，21)，将预期的生理反应与内容数据项相关联，其中所述另外集合(20，21)以除了第一用户之外的至少一个其他用户的生理反应为基础。
文档编号G11B27/10GK102165527SQ200980138157
公开日2011年8月24日 申请日期2009年9月23日 优先权日2008年9月29日
发明者F·范埃格蒙德, J·H·D·M·韦斯特林克, M·D·范德兹瓦格 申请人:皇家飞利浦电子股份有限公司