移动手持机设备及其方法
【专利摘要】一种移动手持机设备收集关于手持机的用户的生理状态的传感器数据。移动手持机设备接收在移动手持上消费的多媒体内容。在部署阶段，传感器数据用于分类用户对在移动设备上消费的各个多媒体内容的情绪反应。在训练阶段建立的分类模型可以用于将传感器数据映射到指示用户对多媒体的情绪反应的分类标签。
【专利说明】移动手持机设备及其方法
【技术领域】
[0001]本发明总体上涉及评估提供给移动手持机设备的多媒体内容(例如，在移动手持机设备上接收和消费的文献、视频、音乐以及应用)的有效性。更具体地，本发明针对确定用户响应于在移动手持机设备上消费的多媒体内容的可能情绪状态。
【背景技术】
[0002]移动手持机设备(或“智能电话”)的用户有机会在他们的智能电话上浏览多个不同文献、照片、视频、音乐、应用以及其它类型多媒体。对多媒体内容的创作者和发布者(例如，设计者、作者、艺术家以及编程者)而言，得到来自用户关于内容的反馈是非常重要的，这是因为可以令内容创作者和发布者改善他们的产品，并引导他们向新的机会做出努力。
[0003]然而，从用户得到关于在移动手持机上使用的多媒体内容的品质的反馈是困难的。当前【技术领域】方法包括但不限于:让用户通过定量度量系统浏览内容，例如，通过一到五星的分级标尺或者通过书写文本，可以在线或在实体商店中提供这两种方法中任意一个；通过测量相关产品的销售，或者测量对创作者或发布者的商店或网页的访问量，来测量所述媒体的间接提升。由于用户必须主动提供多媒体的评价，而这样的评价容易受到偏见或记忆的影响，所以所有这些传统方法均存在问题。
[0004]另一种方法是对用户使用多媒体(通过阅读、观看或听)的次数进行计数。然而，这种计数不准确并且太粗糙。例如，由于多个多媒体文件仅消费一次(例如，通过电子邮件接收的多媒体)，所以根据访问计数的结论是不全面的。
【发明内容】
[0005]描述了一种装置、系统、方法和计算机程序产品，提供关于用户对在移动手持机设备上消费的多媒体的情绪反应的反馈。该反馈基于当用户浏览多媒体时由移动设备(例如，智能电话)所收集的用户的生理状态的传感器数据。传感器数据可以基于在移动手持机内的传感器，以及靠近手持机的传感器。传感器数据指示了用户对于多媒体的生理反应，因此传感器数据也与用户对于多媒体的情绪反应相关联。在示例性实施例中，系统分成训练阶段和部署(deployment)阶段。在训练阶段，对象提供他们对于测试多媒体的情绪反应的自我评估，该信息与传感器数据相结合来创建具有预选分类标签的分类模型。在部署阶段，移动设备可以使用分类模型来产生与移动设备的用户的情绪反应相对应的分类标签。之后将分类标签作为反馈发送给另一实体，例如中间件厂商。可以累积(aggregate)来自多个移动手持机设备用户的信息以便为多媒体内容的创作者和发布者产生信息。
【专利附图】
【附图说明】
[0006]图1示出了根据本发明的一个实施例通过移动手持感官输入来收集多媒体反馈的示例性系统。
[0007]图2示出了根据本发明的一个实施例形成分类标签和感官数据之间的关联的训练阶段。
[0008]图3示出了根据本发明的一个实施例将感官数据的范围映射到两个示例性分类标签的示例性判决树。
[0009]图4示出了根据本发明的一个实施例产生多媒体内容的实时反馈的部署阶段。【具体实施方式】
[0010]图1是根据本发明的一个实施例的系统的高级框图，用于记录、解释及收集用户对于再现在移动通信设备(例如，智能电话)上的多媒体内容的反应。移动手持机设备100包括无线收发器115以及处理器和存储器130。移动手持机设备100能够无线接入因特网，其中这样的手持机也通常被称为智能电话。移动手持机设备100从多媒体创作者或发布者180 (例如，Google?)接收内容。例如，发布者180可以利用具有一个或多个处理器和存储器的服务器系统182服务于消费者下载到他们的移动手持机的内容。中间件厂商190还可以使用具有一个或多个处理器和存储器的服务器系统192。中间件厂商190可以是提供软件的任意组织，向移动手持机设备100提供多媒体内容，所述软件作为多媒体创作者或发布者180之间的媒介。例如，提供移动手持机设备100的软件操作系统(OS)的公司同样可以用作中间件厂商190。本领域技术人员应理解,利用无线运营商170的基础设施，内容可以用于移动手持机设备100。
[0011]移动手持机设备100包括具有能够显示多媒体和音频输出的显示器的用户界面110。多媒体情绪响应模块105通过本地有线连接接口 ISO或无线连接接口 140，从靠近移动手持机设备100的传感器收集本地可用传感器数据，所述传感器包括在移动手持机设备100内的传感器120以及耦合到移动手持机设备100上的任何传感器122。
[0012]传感器数据与用户对于在移动手持机设备100上接收并消费的多媒体160的生理反应102相对应。移动手持机设备100基于传感器数据产生对所使用的多媒体的情绪反应的指示符165。例如，如果用户通过在移动手持机设备100的用户界面110上浏览视频剪辑来消费该视频剪辑，则传感器120和122可以捕获生理改变，例如心率的改变，从中可推断出用户对该多媒体的情绪反应的指示。
[0013]多媒体情绪响应模块105可以以软件或固件实现，并且包括驻留在存储器中的计算机代码。多媒体情绪响应模块105产生指示了对多媒体的情绪反应的反馈165。作为示例，反馈165可以包括相关传感器数据的概要，或者基于模型的传感器数据的解释。应理解，反馈165可以包括标记、时间戳、或者将反馈与特定多媒体内容相关联的其他方式。
[0014]多媒体包括例如文件、图片、视频、音乐和例如音频旁白的非音乐音频(例如音频书)的媒体。此外，多媒体可以包括在移动手持机设备100上接收和消费的多媒体应用。在本应用中使用的多媒体可以不包括广告。
[0015]在实施例中，多媒体情绪响应模块105基于用户的情绪状态的模型，相对于与来自传感器120和122的可用数据不同的触觉和生物统计学传感器测量，确定用户的情绪反应的类别。传感器数据的示例包括用户的心率、呼吸、摇晃、皮肤电反应、面部潮红反应、眨眼反应以及发音。情绪反应的类别基于分类模型可以根据广告商进行分类，例如用户的情绪状态是否指示了对一个多媒体喜欢或不喜欢的情绪反应。识别并收集用户对于多媒体的情绪反应，为发布者180提供信息的来源，以便评估多媒体160的有效性。此外，如果多媒体足够长，可以得到关于用户对多媒体的不同片段的反应的反馈。
[0016]在移动手持机中能够用作移动手持机设备100的用户102的生理传感器的传感器120的示例包括高分辨率前置彩色视频摄像机、麦克风、全球定位系统(GPS)或者其它位置传感器、以及用于感测运动的加速计(加速度、摇晃和移动)。分析前置摄像数据，以便确定脸红反应、视线轨迹(注视位置及时间和眨眼行为)、面部表达、或者其它用户的情绪状态的视觉指示符。在用户环境与噪声条件的大范围内，存在传感器品质和检测有意义生理反应的能力之间的折中。对于注视检测，示例性最小摄像机要求400百万像素和每秒20帧。示例性加速计实现方式具有对以米/秒2为单位的真实加速度至少95%的准确性。运动传感器数据的分析可以提供关于用户是否摇晃和/或做出表示强烈情绪反应的突然移动。分析音频数据以便提供情绪反应的表示，例如可听的喘息。
[0017]传感器120的其它示例可以包括其它类型的能够集成在移动手持机设备100内的紧凑型传感器，以便改善安全性并支持健康和舒适应用，例如心率监控器、温度传感器、压力传感器和湿度(皮肤湿度)传感器。
[0018]此外，本地传感器122可以通过有线连接器150与移动手持机设备100通信。然而，更为通用地，本地传感器122可以与移动手持机设备100进行本地无线连接。例如，用户可以具有通过无线连接(例如，蓝牙⑧)与移动手持机设备100连接的便携式和/或佩带式的身体传感器。本领域技术人员应认识到，其他无线通信标准可以代替蓝牙?，例如Zigbee ?和Ant-"无线标准。在优选的实现方案中，使用蓝牙?盖牙? 4.0标准支持佩带式健康传感器，例如心率简档和温度简档。使用蓝牙?通信的无线传感器的其他示例包括蓝牙?启用传感器，以便测量心率、温度和皮肤电反应。
[0019]多媒体情绪响应模块105在移动手持机设备100上直接捕获传感器数据。然而，可以在移动手持机设备100上执行触觉和生物统计学感官输入的分析，或将数据的概要发送回发布者或广告商以便分析。
[0020]多个方式可以保护用户私密性。例如，可以对发布者或广告商部分地或者完全地掩盖用户的身份方面，以便利用私密性保护协议保护私密性。甚至，信息累积技术可以用来累积来自多个用户的反应以便产生累积的数据，来保护各个用户身份信息的私密性。此外，在优选的实现方案中，赋予用户参加或不参加所述系统的使用的权利。
[0021]因此，本发明的系统支持用于记录、解释、和收集用户对传送的媒体的反应的方法。通过移动手持机设备100的触觉和生物统计学感官输入捕获特定用户的反应，例如通过加速计的读数捕获的手持机的摇晃，或者通过蓝牙?连接的心率监控器捕获的用户心率的改变。一旦收集到数据，通过首先从读数中滤除噪声、之后导出关于用户如何响应多媒体的结论，来分析数据。之后可以利用发布者所使用的结果来针对所有用户累积结论。
[0022]在本发明的一个实施例中，在移动手持机设备100处分析感官输入信息，以便返回用户的反应的抽象表示，例如高兴、厌烦或冷漠的表示。通过多个方法执行该分析，包括但不局限于:通过利用感官输入的阈值电平导出抽象反应的基于规则的分析；或者通过监督机器学习方法(例如，决策树、隐马尔科夫模型、或支持向量机)的分类。
[0023]通过移动手持机设备100的触觉和生物学统计学感官输入来捕获特定用户的反应，例如通过加速计的读数捕获手持机的摇晃，通过蓝牙⑧连接的心率监控器捕获用户心率的改变，通过前向摄像机测量用户面部特征的改变，或者通过皮肤电反应传感器测量用户皮肤电传导的改变。一旦收集到数据，通过首先从读数中滤除噪声、之后导出关于用户如何反应多媒体的结论，来分析数据。该分析可以在所述设备处或者中间件厂商190的服务器处执行。然后，可以利用多媒体的发布者或创作者所使用的结果，针对所有用户累积结论。
[0024]这个方法的优点是可以在不需要用户向发布者或创作者明确地提供建议反馈的情况下自动地测量用户的反应。此外，由于人们很难有意识的控制他们的生理表现，由本发明捕获的信息可能比用户反应更准确。此外，由于本发明的自动方法直接测量这些生理反应，能够最小化来自用户的偏见或记忆消退的影响。
[0025]图2示出了在训练阶段由一个实体执行的初始步骤，以便收集来自测试参与者的训练数据并创建统计模型来将感官输入数据映射到标记反应。关联模型可以用于将感官数据映射到情绪反应的高级解释，包括分类标签的集合，例如，非常喜欢、喜欢、一般(冷漠)、不喜欢、以及非常不喜欢。应理解，可以改变分类标签的确切数目和类型。
[0026]在训练之如，在步骤201中，中间件厂商190在移动手持机设备100上创建传感器记录软件以便记录传感器输入并允许训练参与者浏览多媒体。所记录的传感器输入可以包括但不局限于:加速计、皮肤电反应传感器、麦克风和心率监控器。
[0027]当训练参与者激活智能电话的软件以便浏览显示给他们的测试多媒体210时，训练开始。此外，训练参与者记录他们对于内容的标记反应。同时，传感器记录它们物理反应。向中间件厂商190提供这种反馈210。也就是说，每个测试参与者浏览媒体，通过传感器记录他们的生理反应，且每个测试参与者同样注意到他们的情绪反应(即，对参与者关于如何感知对于所测多媒体的情绪反应进行调查)。持续时间长的多媒体可以针对整个多媒体(或者其片断，例如电影中的场景)使用累积统计数据(例如，均值、中值、或标准差)。此夕卜，可以收集在特定时间点的瞬时测量。
[0028]中间件厂商190检索来自所有训练参与者的标记训练数据，并提取特征来建立学习模型215。所提取的特征可以包括但并不局限于:皮肤电传导(通过皮肤电反应传感器测得的，以欧姆为单位)、心率(通过心率监控器测得的，以每分钟心跳次数为单位)、面部反应(通过电话上的前向视频摄像机测得的，以面颊颜色或每秒钟眨眼次数为单位)、以及手持机的摇晃(通过加速计测得的，以重力加速度为单位)。其它特征可以包括但不局限于:测量呼吸的胸腔膨胀，以及眼部跟踪。此外，应理解，除了平均信息，还可以分析反应的时间率(time-rate)特性。这些特点和标记活动之后作为输入给予机器学习算法，例如，决策树、支持向量机、最大熵、或k近邻。
[0029]然后建立统计学模型215，将传感器数据映射到测试参与者的反应。在优选实施例中，公知的ID3算法用于创建执行所述映射的决策树。决策树采用二进制树的形式，具有通过边缘连接到内部顶点的一个根，继而内部顶点通过边缘连接到其它顶点。在该树中的叶顶点是分类标签。根和内部顶点包括必须要评估的决策声明，根据在该顶点处决策的结果确定选择哪个输出边缘。ID3算法的作用是创建大小合理且提供从特征到分类标签的准确映射的树。应注意，ID3算法基于不同数据会产生不同的决策树。图3演示了基于一些输入数据产生的决策树的示例性部分。
[0030]在部署阶段中，向各个智能电话部署决策树(或其它学习模型)。中间件厂商190编写并部署接收统计学模型(在训练阶段部署的)的分类软件，以及用户的当前传感器数据。激活软件并在智能电话的后台运行。软件利用模型来分类用户的传感器数据并产生认知反应。
[0031]图4示出了在部署阶段如何使用决策树来执行用户对于在移动手持机设备100上消费的多媒体的情绪反应的分类。
[0032]在步骤402中，将多媒体媒体通过用户的智能电话分布到各个用户。当暴露于多媒体时，用户可以对多媒体进行反应。通过触觉或生物统计学感官输入来捕获用户的反应，并提取特征。例如，用户可以通过摇晃智能电话(通过加速计可以测得)或通过提高他的或她的心率(通过蓝牙?连接心率监控器可以测得)做出反应。在本发明的实施例中，在智能电话处分析所述感官输入信息以便返回用户反应的抽象表示，例如对于高兴、厌恶或冷漠的表示。
[0033]在步骤404中，将用户的反应发送回到中间件厂商190。此外，将其他用户的反应也发送回中间件厂商190。例如，如果将数千份音乐文件的拷贝发送到数千个不同的智能电话，那么每个用户的反应可以通过他们各自的智能电话确定，并发送回中间件厂商190。
[0034]在步骤406中，中间件厂商190收集并累积来自不同智能电话的用户对于多媒体的反应。累积信息可以包括平均用户反应、喜欢多媒体的用户的百分比、以及厌恶多媒体的用户的百分比。
[0035]在步骤408中，中间件厂商190将所累积的信息发送回多媒体创作者或发布者180。
[0036]还可以设想修改和备选方案。在一个实施例中，在每个智能电话处收集感官输入，但并不分析。相反，可以测量统计数据概要，例如，平均加速计读数或平均心率。将这些统计数据概要发送回到中间件厂商190。然后，中间件厂商190收集并累积用户对于多媒体的反应，执行并分析每个用户的情绪反应。
[0037]尽管已经结合特定实施例描述了本发明，应理解，并不是旨在将本发明限制在所述实施例中。相反，如所附权利要求所限定的，旨在涵盖本发明的精神和范围内的备选方案、修改和等同物。可以在没有这些特定细节中的一些或全部的前提下执行本发明。此外，并未详细描述公知特征以避免不必要地混淆本发明。
[0038]根据本发明，可以利用多个类型的操作系统、编程语言、计算平台、计算机程序和/或通用目的机器来实现组件、过程步骤、和/或数据结构。此外，本领域技术人员应认识到，在不脱离本文公开的本发明概念的范围和精神下，同样可以使用较低通用性的设备，例如，硬连线设备、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或类似物。本发明可以同样有形地体现为存储在计算机可读介质(例如，存储器设备)上的计算机指令集。
【权利要求】
1.一种移动手持机设备，包括: 至少一个处理器和存储器； 具有显示器的用户接口；以及 在移动手持机设备中的多媒体响应模块，配置为收集来自传感器集合的传感器数据，所述传感器数据对移动手持机设备的用户的生理反应加以指示； 其中多媒体响应模块监控与用户对于在移动手持机设备上消费的多媒体的生理反应有关的传感器数据，并产生指示了用户对所述媒体的情绪反应的输出。
2.根据权利要求1所述的移动手持机设备，其中多媒体响应模块配置为通过将感官输入与分类模型相关联来确定用户情绪状态的分类标签，并报告分类确定。
3.根据权利要求2所述的移动手持机设备，其中所述报告用于产生针对媒体创作者或发布者的累积数据。
4.根据权利要求1所述的移动手持机设备，其中多媒体响应模块包括训练阶段，用于确定感官数据和用户的情绪状态之间的关联。
5.根据权利要求4所述的移动手持机设备，其中在所述训练阶段中，调查用户对于测试多媒体的情绪反应，以提供用户调查数据，并确定传感器输入和情绪反应的分类标签之间的关联。
6.根据权利要求1所述的移动手持机设备，其中传感器输入包括直接或间接地表示心率、呼吸速率、皮肤电反应、温度、压力、加速度、运动反应、皮肤潮红反应、眨眼反应和声音反应中的至少一个的传感器输入。
7.一种分析在移动手持机设备上显示的多媒体内容的有效性的方法，所述方法包括: 向多个移动手持机设备提供多媒体，其中每一个移动手持机设备配置为记录对移动手持机设备的用户的生理反应加以指示的传感器数据； 从多个移动手持机设备中的每一个接收指示符数据，所述指示符数据表示对通过相应移动手持机设备播放的特定媒体的情绪反应；以及 确定针对至少一个媒体的累积情绪反应分类标签。
8.根据权利要求7所述方法，其中指示符数据包括基于传感器数据的汇总的分类模型中的情绪分类标签。
9.根据权利要求7所述方法，还包括:在训练阶段中，请求测试对象响应于测试媒体提供情绪状态的自我评估。
10.根据权利要求7·所述方法，还包括:产生分类模型，所述分类模型将分类标签集映射到传感器输入数据。
11.根据权利要求7所述方法，还包括:向所述至少一个媒体的每个提供者提供累积情绪反应信息。
12.—种分析媒体内容的有效性的方法，所述方法包括: 接收来自多个移动手持机设备的指示符数据，所述指示符数据指示了对各个移动手持机设备的用户消费的多媒体的情绪反应；以及 累积指示符数据，并在分类模型中针对至少一个媒体内容确定平均情绪反应。
13.根据权利要求12所述的方法，其中指示符数据包括由各个移动手持机设备提供的传感器数据的汇总。
14.根据权利要求13所述的方法，其中指示符数据包括由各个移动手持机设备根据分类模型产生的分类标签。
15.根据权利要求12所述的方法，还包括提供分类模型，所述分类模型将一组情绪反应分类标签映射到针对所述移动手持机设备的用户的生理传感器数据范围树。
【文档编号】H04M1/725GK103595858SQ201310336681
【公开日】2014年2月19日 申请日期:2013年8月5日 优先权日:2012年8月16日
【发明者】托马斯·潘, 全元钟 申请人:三星电子株式会社