确定用户情绪的电子设备和确定用户情绪的方法
【专利摘要】一种用于确定电子设备的用户的情绪状态的系统和方法。所述系统配置为执行一种方法，所述方法使用电子设备接收输入情绪数据；将输入情绪数据与参考情绪数据进行比较，并且确定电子设备的用户的情绪状态；以及将所确定的用户的情绪状态发送给外部设备以与所述外部设备共享所述情绪状态。
【专利说明】确定用户情绪的电子设备和确定用户情绪的方法
[0001]相关申请的交叉引用
[0002]该申请要求2013年I月22日在韩国知识产权局递交的韩国专利申请N0.10-2013-0007049的优先权，将其公开合并在此作为参考。
【技术领域】
[0003]根据示范实施例的设备和方法涉及一种确定用户的情绪的电子设备和用于确定用户的情绪的方法，更具体地涉及一种基于用户输入的文本或语音数据来确定用户的情绪并且与其他电子设备共享所确定的情绪的电子设备和方法。
【背景技术】
[0004]诸如TV之类的新型电子设备已经尝试识别用户的情绪。
[0005]用于识别用户情绪的这种传统技术要求用户直接向电子设备输入他们的情绪状态。例如，TV通过弹出消息等向用户询问他/她的情绪状态，并且用户通过语音识别技术来表达他/她的情绪。此外，可以使用通过基于因特网协议的多媒体(MoIP)摄像机的运动捕获和热传感器来检查用户的物理状态。
[0006]然而，用于识别用户情绪的这种传统方法要求用户对于情绪状态的复杂输入，并且物理检查方法导致了用户的情绪状态的不确定性。具体地，由于用于识别用户的情绪的复杂输入，不能建立足够大的数据库，从而不能够广泛地使用传统的方法。
[0007]另外，由于受限的用户输入装置，诸如显示设备或空调之类的电子设备不能容易地识别用户的情绪状态。
【发明内容】
[0008]因此，一个或多个示范实施例提出了一种电子设备和方法，无需直接接收情绪状态的用户输入，使用在电子设备的典型使用过程期间输入的数据来确定用户的情绪。
[0009]另一个示范实施例提出了一种电子设备，用于通过诸如移动电话(最频繁表达用户的情绪)之类的移动终端来提取用户的情绪，并且用于与其他电子设备共享提取的情绪状态。
[0010]另一个示范实施例提出了一种基于云的系统和方法，所述系统和方法从各种类型的电子设备提取用户的情绪，并且包括所提取的情绪状态数据的数据库。
[0011]再一个示范实施例提出了一种电子设备，用于识别用户的情绪，根据情绪分析反应模式，并提供适用于所述用户的情绪的服务。
[0012]又一个示范实施例提出了一种电子设备和方法，用于区别性地收集相对于各个用户提取的情绪数据，并且通过使用收集的数据来确定每一个用户的情绪。
[0013]根据示范实施例的一个方面，提出了一种用于确定电子设备的用户的情绪状态的方法，包括:使用所述电子设备接收输入情绪数据；将输入情绪数据与参考情绪数据进行比较，确定所述电子设备的用户的情绪状态；并且将所确定的用户的情绪状态发送给外部设备以与所述外部设备共享所述情绪状态。
[0014]可以将参考情绪数据存储在存储单元和通过通信相连的云服务器中的至少一个。
[0015]可以从用户输入的语音数据中获得输入情绪数据。
[0016]可以从用户输入的文本数据中获得输入情绪数据。
[0017]用于确定电子设备的用户的情绪状态的方法还可以包括:将所确定的情绪状态与输入的语音数据的强度、输入的语音数据的速度以及输入的语音数据的识别率中的至少一个相关联，并且存储相关联的情绪状态。
[0018]用于确定电子设备的用户的情绪状态的方法还可以包括:当输入文本数据时，将所确定的情绪状态与输入的文本数据的输入速度、输入的文本数据的打字错误率以及对触摸屏幕进行触摸的强度中的至少一个相关联，并且存储相关联的情绪状态。
[0019]用于确定电子设备的用户的情绪状态的方法还可以包括:在确定了用户的情绪状态之后的预定时间内，作为根据用户情绪状态的反应操作，将所确定的情绪状态与电子设备的功能控制操作、执行操作的预定应用以及预定内容输出操作的至少一个运动历史相关联，并且登记相关联的情绪状态。
[0020]用于确定电子设备的用户的情绪状态的方法还可以包括:响应于确定用户的情绪状态，基于所述登记向用户推荐与情绪状态相对应的电子设备的功能、应用的执行以及内容的输出的至少一个。
[0021]用于确定电子设备的用户的情绪状态的方法还可以包括:将所确定的用户的情绪状态存储在存储单元和通过通信网络连接的云服务器中的至少一个。
[0022]可以将与情绪状态相关联的运动历史记录在存储单元和通过通信网络相连的云服务器中的至少一个。
[0023]可以将与情绪状态相关联的运动历史与用户的情绪状态一起发送给外部设备。
[0024]根据另一个实施例的方面，提出了一种根据用户的情绪状态控制电子设备的方法，包括:使用电子设备接收使用通过通信网络相连的外部设备确定的用户的情绪状态数据；检查与通过外部设备发送的用户的情绪状态相对应的用户的反应记录；以及根据检查的用户反应来控制所述电子设备。
[0025]反应记录可以包括根据存储在外部设备中用户的情绪状态的反应记录。
[0026]可以通过与通信网络相连的云服务器来发送使用外部设备确定的用户的情绪状态数据以及根据外部设备中的情绪状态的反应记录。
[0027]根据用户的情绪状态控制电子设备的方法还可以包括:从电子设备的用户接收输入情绪数据，将输入情绪数据与参考情绪数据进行比较，以及确定用户的情绪状态。
[0028]根据用户的情绪状态来控制电子设备的方法还可以包括:将所确定的用户的情绪状态发送给外部设备，以外部设备共享所述情绪状态。
[0029]可以将所确定的用户的情绪状态数据存储在存储单元和通过通信网络相连的云服务器中的至少一个。
[0030]根据用户的情绪状态来控制电子设备的方法还可以包括:将由外部设备发送的用户的情绪状态与在先情绪状态进行比较；如果比较的情绪状态相匹配，则推荐与针对所述在先情绪状态而推荐的应用或内容相同类型或种类的应用或内容；并且如果比较的情绪状态不同，则推荐与属于新情绪状态的应用或内容相同类型或种类的应用或内容。[0031]根据另一个示范实施例的方面，提出了一种用于确定用户的情绪状态的电子设备，包括:用户输入单元，配置为接收输入情绪数据；情绪确定器，配置为将接收的输入情绪数据与参考情绪数据进行比较，并确定所述用户的情绪状态；以及通信单元，配置为发送所确定的用户的情绪状态。
[0032]用于确定用户的情绪状态的电子设备还可以包括存储单元，配置为存储参考情绪数据。
[0033]可以将参考情绪数据存储在通过通信网络相连的云服务器。
[0034]可以从用户输入的语音数据中获得输入情绪数据。
[0035]存储单元可以通过将所确定的情绪状态与用户输入的语音数据的强度、速度和识别率中的至少一个相关联来存储所确定的情绪状态。
[0036]可以从用户输入的语音数据中获得输入情绪数据。
[0037]云服务器可以通过将所确定的情绪状态与用户输入的语音数据的强度、速度和识别率中的至少一个相关联来存储所确定的情绪状态。
[0038]可以从用户输入的文本数据获得输入情绪数据。
[0039]存储单元可以通过将所确定的情绪状态与用户输入的文本数据的输入速度、打字错误率以及对触摸屏的触摸强度中的至少一个相关联来将所确定的情绪状态存储在存储单元中。
[0040]可以从用户输入的文本数据中获得输入情绪数据。
[0041]云服务器可以通过将所确定的情绪状态与用户输入的文本数据的输入速度、打字错误率以及对触摸屏的触摸强度中的至少一个相关联来将所确定的情绪状态存储在云服务器中。
[0042]存储单元可以包括所确定的用户的情绪状态数据。
[0043]云服务器可以包括所确定的用户的情绪状态数据。
[0044]存储单元可以在确定情绪状态之后的预定时间内，作为根据用户情绪状态的反应操作，将情绪状态与电子设备的功能控制操作、预定应用执行操作和预定内容输出操作的至少一个运动历史相关联地存储所确定的情绪状态。
[0045]云服务器可以在确定情绪状态之后的预定时间内，通过将所述情绪状态与作为根据用户情绪状态的反应操作的电子设备的功能控制操作的运动历史、预定应用执行操作和预定内容输出操作的至少一个运动历史相关联，来存储所确定的情绪状态。
[0046]用于确定用户的情绪状态的电子设备还可以包括:用户界面(UI)产生器，配置为响应于确定用户的情绪状态来产生Π，用于基于存储的反应动作向用户推荐与情绪状态相对应的电子设备的功能、应用的执行和内容的输出中的至少一个。
[0047]根据另一个示范实施例的方面，提出了一种用于确定用户的情绪状态的电子设备，包括:通信单元，配置为接收使用外部设备确定的用户的情绪状态数据；以及控制器，配置为检查与由外部设备发送的用户的情绪状态相对应的用户的反应记录，并且根据检查的用户的反应来控制所述电子设备。
[0048]反应记录可以包括根据来自外部设备的用户的情绪状态的反应记录。
[0049]由云服务器发送由外部设备提取的用户的情绪状态数据以及根据来自外部设备的情绪状态的反应记录。[0050]用于确定用户的情绪状态的电子设备还可以包括:用户输入单元，配置为从电子设备的用户接收输入情绪数据；以及用户情绪确定器，配置为将输入情绪数据与参考情绪数据进行比较，并且确定用户的情绪状态。
[0051]通信单元可以将所确定的用户的情绪状态发送给外部设备以与所述外部设备共孚情绪状态。
[0052]用于确定用户的情绪状态的电子设备还可以包括:存储单元，配置为存储所确定的用户的情绪状态数据。
[0053]可以将所确定的用户的情绪状态数据存储在通过通信网络相连的云服务器中。
[0054]控制器可以将由外部设备发送的用户的情绪状态与在先情绪状态进行比较，并且响应于比较的情绪状态相匹配，推荐与针对所述在先情绪状态而推荐的应用或内容相同类型或种类的应用或内容；并且响应于比较的情绪状态不同，推荐与属于新情绪状态的应用或内容相同类型或种类的应用或内容。
[0055]根据另一个示范实施例的方面，提出了一种通过共享用户的情绪状态来控制电子设备的方法，包括:使用第一电子设备接收输入情绪数据，并且基于所述输入情绪数据来确定用户的情绪状态；将所确定的用户的情绪状态发送给第二电子设备以与第二电子设备共享所确定的用户的情绪状态；以及接收由通过通信网络与第二电子设备相连的第一电子设备确定的用户的情绪状态数据，检查与由外部设备发送的用户的情绪状态相对应的用户的反应记录，并且根据检查到的用户的反应来控制所述第二电子设备。
[0056]反应记录可以包括根据在第一电子设备中存储的用户的情绪状态的反应记录。
[0057]云服务器发送由第一电子设备提取的用户的情绪状态数据以及根据第一电子设备中的情绪状态的反应记录。
[0058]通过共享用户的情绪状态来控制电子设备的方法还可以包括:使用第二电子设备从用户输入单元接收输入情绪数据；以及基于第二电子设备的输入情绪数据来确定用户的情绪状态。
[0059]通过共享用户的情绪状态来控制电子设备的方法还可以包括:将使用第二电子设备确定的用户的情绪状态发送给第一电子设备以与所述第一电子设备共享用户的情绪数据。
[0060]可以将由第一电子设备确定的用户的情绪状态数据存储在第一电子设备的第一存储单元和通过通信网络连接的云服务器中的至少一个。
[0061]可以将由第二电子设备确定的用户的情绪状态数据存储在第二电子设备的第二存储单元和通过通信网络连接的云服务器中的至少一个。
[0062]通过共享用户的情绪状态来控制电子设备的方法还可以包括:使用第二电子设备将由第一电子设备发送的用户的情绪状态与在先情绪状态进行比较；响应于比较的情绪状态相匹配，推荐与针对在先情绪状态而推荐的应用或内容相同类型或种类的应用或内容；以及响应于比较的情绪状态不同，推荐与属于新情绪状态的应用或内容相同类型或种类的应用或内容。
[0063]根据另一个示范实施例的方面，提出了一种在电子设备之间共享用户的情绪状态的系统，所述系统包括:第一电子设备，所述第一电子设备包括:第一用户输入单元，用于从用户接收输入情绪数据；第一情绪确定器，用于将接收的输入情绪数据与参考情绪数据进行比较，并且确定所述用户的情绪状态；以及第一通信单元，用于发送所确定的用户的情绪状态；以及第二电子设备，所述第二电子设备包括:第二通信单元，用于接收使用所述第一电子设备确定的用户的情绪状态数据；以及控制器，用于检查与从第一电子设备接收的用户的情绪状态相对应的用户的反应记录，并且根据检查的用户的反应来执行控制操作。
[0064]反应记录可以包括根据从第一电子设备接收的用户的情绪状态的反应记录。
[0065]第二电子设备还可以包括:第二用户输入单元，配置为输入情绪数据；以及第二情绪确定器，配置为基于通过第二用户输入单元输入的输入情绪数据来确定用户的情绪状态。
[0066]在电子设备之间共享用户的情绪状态的系统还可以包括第二通信单元，配置为将使用第二电子设备确定的用户的情绪状态发送给第一电子设备，以与所述第一电子设备共享所确定的情绪状态。
[0067]第一和第二电子设备分别包括第一存储单元和第二存储单元，并且第一存储单元配置为存储使用第一电子设备确定的用户的情绪状态数据、参考情绪数据以及根据第一电子设备中的情绪状态的反应记录中的至少一个；第二存储单元配置为存储使用第一电子设备确定的用户的情绪状态数据、参考情绪数据以及根据第一电子设备中的情绪状态的反应记录、使用第二电子设备确定的用户的情绪状态数据以及根据第二电子设备中的情绪状态的反应记录中的至少一个。
[0068]所述电子设备之间共享用户的情绪状态的系统还可以包括云服务器，配置为插入到所述第一和第二电子设备之间，其中所述云服务器配置为存储使用所述第一电子设备确定的用户的情绪状态数据、参考情绪数据、根据第一电子设备中的情绪状态的反应记录、使用第二电子设备确定的用户的情绪状态数据以及根据第二电子设备中的情绪状态的反应记录中的至少一个，并且将上述数据和记录发送给所述第一和第二电子设备。
[0069]第二电子设备还可以包括:情绪比较器，配置为将由第一电子设备发送的用户的情绪状态与在先情绪状态进行比较；以及用户界面(UI)产生器，配置为响应于比较的情绪状态相匹配来产生Π，用于推荐与针对所述在先情绪状态而推荐的应用或内容相同类型或种类的应用或内容，以及响应于比较的情绪状态不同来产生Π，用于推荐与属于新情绪状态的应用或内容相同类型或种类的应用或内容。
[0070]根据另一个示范实施例的方面，提出了一种用于确定用户的情绪状态的方法，包括:使用第一电子设备接收输入情绪数据；将所述输入情绪数据与参考情绪数据进行比较，并且确定用户的情绪状态；以及将所确定的用户的情绪状态发送给外部设备，以使外部设备执行根据所确定的情绪状态的动作。
【专利附图】
【附图说明】
[0071]根据结合附图对于示范实施例的以下描述，以上和其他方面将变得更加清楚明白并且更加易于理解，其中:
[0072]图1示出了根据示范实施例在移动终端和TV之间共享所确定的用户的情绪状态的过程；
[0073]图2示出了根据示范实施例以云服务器为基础共享所确定的用户的情绪状态的过程，其中将服务器设置在移动终端和TV之间；[0074]图3是根据示范实施例用于确定用户的情绪的电子设备的方框图；
[0075]图4是示出了根据示范实施例用于确定电子设备用户情绪的方法的流程图；以及
[0076]图5是示出了根据另一个示范实施例用于提取电子设备用户的情绪的方法的流程图。
【具体实施方式】
[0077]下面，将参考附图详细描述示范实施例，以便由具有本领域普通知识的人易于实现。可以按照各种形式实施示范实施例，而不局限于这里阐述的实施例。为了清楚起见省略了公知部分的描述，并且贯穿全文相似的参考数字指的是相似的元件。
[0078]可以使用在诸如智能电话之类的移动终端中安装的情绪确定应用来实现根据示范实施例的第一电子设备100，以确定用户的情绪。当然，第二电子设备100可以采用任意电子设备，包括但不限于个人数字助理(PDA)、膝上型计算机、导航设备、数字TV、台式计算机等，只要所述电子设备具有在其中安装的相同情绪确定应用，并且可以接收诸如文本或语音之类的输入情绪数据。
[0079]即使情绪数据的输入受限的电子设备(例如空调或冰箱)也可以通过易于输入情绪数据的云服务器或另一个电子设备来共享情绪数据，并根据用户的情绪状态来控制电子设备。
[0080]下文中，为了方便起见，将解释使用移动终端确定用户的情绪，并且将所确定的用户的情绪状态发送给数字TV用于共享。当然，数字TV可以确定用户的情绪并且将用户的情绪发送给移动终端。然而，更优选地，使用移动终端确定用户的情绪，移动终端配置为允许输入用户的情绪。可以按照各种方式输入用户的情绪，例如包括Facebook和Twitter在内的社交网络服务(SNS)、移动信使(MM)、多媒体消息业务(MMS)、语音电话、视频电话等。
[0081]在共享用户的情绪状态的不同电子设备之间，“用户”意味着使用不同电子设备的单个用户，并且每个电子设备可以包括用于识别用户的装置。
[0082]参考图1，根据示范实施例，第一电子设备100具有用于确定用户的情绪的功能。如图3所示，第一电子设备100可以包括:第一存储单元(DB) 130，对人的情绪类型进行分类，并且将分类的情绪与存储的参考情绪数据进行匹配；第一用户输入单元110，从用户接收输入情绪数据；以及第一情绪确定器150，将接收的输入情绪数据与在第一存储单元130中存储的参考情绪数据进行比较，并且确定用户的情绪状态。
[0083]可以将用户的情绪分类为不同的类型。作为示例，可以将用户的情绪分类为四种类型，例如高兴、愤怒、悲伤和快乐，并且必要时可以进一步进行分类。也就是说，本公开不限于上述四种类型的情绪，并且可以使用更多或更少类型的情绪分类。为了方便起见，将作为示例解释四种类型的情绪。
[0084]第一存储单元130可以将四种类型的情绪与多个文本和语音数据(下文中称作“参考情绪数据”)进行匹配，并且存储该情绪。
[0085]可以根据属于在诸如Facebook和Twitter之类的SNS、移动信使(MM)和多媒体消息业务(MMS)中由用户输入的文本中的情绪表达的词语或语句来确定包括该文本或语句在内的参考情绪数据。包括文本在内的参考情绪数据可以包括各种类型的情绪，例如包括“高兴”、“兴奋”、“生气”、“厌烦”、“悲伤”和“快乐”在内的基本词语或语句，以及形容词、副词、感叹词、俚语等。
[0086]第一存储单元130可以将输入文本的输入速度和打字错误率以及对触摸屏进行触摸的强度中的至少一个与所确定的情绪状态相关联，并且存储相关联的情绪状态。
[0087]可以将包括语音在内的参考情绪数据存储为与分类的情绪相关联的语音数据。优选地，可以对通过第一用户输入单元110输入的语音数据进行处理以识别语音、标识用户的讲话、并且从中确定基本语句，可以将基本语句与将要存储的已分类情绪进行匹配。
[0088]第一存储单元130可以将输入语音的强度、速度和识别率中的至少一个与所确定的情绪状态相关联，并且存储相关联的情绪状态。
[0089]如果确定了用户的情绪状态，第一存储单元130可以在预定时间内，作为根据用户情绪状态的反应操作，将确定的情绪状态与电子设备的功能控制操作、预定应用执行操作和预定内容输出操作的至少一个运动历史相关联，并存储关联的情绪状态。
[0090]第一存储单元130可以临时地在其中存储用于第一控制器160的处理和控制程序以及输入/输出数据。
[0091]第一存储单元130可以在其中存储通过第一用户输入单元110或者第一有线/无线通信单元120输入的输入情绪数据，并且存储通过第一有线/无线通信单元120发送的由外部电子设备200确定的用户的情绪状态数据。
[0092]第一存储单元130可以包括以下存储介质中的至少一个:闪速存储器类型、硬盘类型、微型多媒体卡类型、卡类型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。
[0093]第一用户输入单兀120可以包括麦克风、键盘、鼠标、遥控器和触摸板中的一个或多个。
[0094]可以将第一情绪确定器150体现为用于确定用户情绪的程序。
[0095]例如，第一情绪确定器150可以包括第一情绪确定器152和第一情绪比较器154。
[0096]第一情绪确定器配置为将使用在第一存储单元130中存储的情绪状态的参考情绪数据与由第一用户输入单元110输入或者来自外部的输入情绪数据进行比较，并且确定用户的情绪。如果输入情绪数据与在第一存储单元130中存储的参考情绪数据不匹配，不能确定用户的情绪，或者可以将第一存储单元130的输入情绪数据登记为参考情绪数据以扩展数据库。
[0097]第一情绪比较器154配置用于将在第一存储单元130中存储的用户的情绪状态与使用通过第一有线/无线通信单元120输入的另一个电子设备测量的情绪状态进行比较。根据识别的情绪状态，第一情绪比较器154可以选择至少一个反应操作，例如电子设备的功能控制操作、预定应用执行操作以及预定内容输出操作。所选择的反应操作可以根据用户的情绪状态来推荐反应。
[0098]根据示范实施例可以确定情绪的第一电子设备100还可以包括:第一用户界面(UI)产生器140，如果确定了情绪状态，第一用户界面产生器基于情绪状态的记录来产生UI，该Π用于向用户推荐与该情绪状态相对应的电子设备的功能、应用执行操作以及内容输出操作中的至少一个。第一电子设备还可以包括:第一有线/无线通信单元120，与其他电子设备200通信；以及第一控制器160，控制第一电子设备100的整体元件。[0099]第一 Π产生器140可以产生Π，诸如在屏幕上显示的消息或弹出窗口(未示出)。用户可以通过在屏幕上显示的UI输入命令。UI可以包括推荐、鼓励消息或者弹出窗口，以便基于根据用户情绪状态的反应来进行选择。例如，如果存储的是用户生气并且听到具有升高音量的特定音乐，可以确定用户的情绪状态是生气，并且可以显示向用户推荐针对有关情绪状态的音乐的弹出窗口。
[0100]第一控制器160可以控制第一电子设备100的每一个兀件。例如，第一控制器160可以控制第一有线/无线通信单元120与其他电子设备交换用户的情绪状态数据，或者在第一存储单元130中存储数据或者从中读取数据，或者控制第一情绪确定器150将通过第一用户输入单元110输入的数据与在第一存储单元130中存储的数据进行比较以用于确定。
[0101]第一控制器160可以包括应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSro)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器和微处理器。
[0102]第一有线/无线通信单元120可以接收已经由另一个电子设备200确定的用户的情绪状态数据、由另一个电子设备200输入的输入情绪数据以及根据该情绪状态的反应历史。电子设备100的第一有线/无线通信单元120也可以发送数据，该数据包括由电子设备100确定的情绪状态数据、输入到电子设备100的输入情绪数据、根据该情绪状态的反应历史等等。
[0103]第一有线/无线通信单元120可以采用:数据通信，例如超高数据率数字订户线路(VDSL)、以太网、令牌环、高清多媒体接口(HDMI)、通用串行总线(USB)、低电压差分信令(LVDS)和HDMI以太网信道(HEC);移动通信，例如2G、3G、4G和长期演进(LTE);无线因特网技术，例如无线LAN(WLAN) (W1-Fi)、无线宽带(WiBro)、全球微波互连接入(Wimax)和高速下行分组接入(HSDPA);以及局域通信技术，例如蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)和 ZigBee。
[0104]已经如上所述解释了第一电子设备100的结构。具有上述结构的第一电子设备100可以将与用户的情绪相关的数据与第二电子设备共享，例如数字TV200。
[0105]第二电子设备200配置为与第一电子设备100通信并且共享情绪数据。如图3所示，第二电子设备200可以包括第二有线/无线通信单元220、第二存储单元DB) 230、第二用户输入单元210和第二情绪确定器250。第二有线/无线通信单元220配置为与第一电子设备100交换和用户的情绪有关的数据。第二存储单元(DB) 230配置为对人的情绪类型进行分类，并且将分类的情绪与参考情绪数据进行匹配。第二用户输入单元210配置为从用户接收输入情绪数据。第二情绪确定器250配置为将接收的输入情绪数据与在第二存储单元230中存储的参考情绪数据进行比较，并且确定用户的情绪状态。
[0106]第二有线/无线通信单元220可以直接或者通过云服务器300从第一电子设备100接收与用户的情绪有关的数据，例如使用第一电子设备100输入的用户的输入情绪数据、用户的参考情绪数据、使用第一电子设备100确定的用户的情绪状态数据、或者根据第一电子设备100中的用户情绪的反应数据。此外，第二有线/无线通信单元220可以直接或者通过云服务器300发送使用第二电子设备200输入的用户的输入情绪数据、用户的参考情绪数据、使用第二电子设备200确定的用户的情绪状态数据、以及根据第二电子设备200中的用户情绪的反应数据。
[0107]第二有线/无线通信单元220可以采用数据通信，例如超高数据率数字订户线路(VDSL)、以太网、令牌环、高清多媒体接口(HDMI)、通用串行总线(USB)、低电压差分信令(LVDS)和HDMI以太网信道(HEC);移动通信，例如2G、3G、4G和长期演进(LTE);无线因特网技术，例如无线LAN(WLAN) (W1-Fi)、无线宽带(WiBro)、全球微波互连接入(Wimax)和高速下行分组接入(HSDPA);以及局域通信技术，例如蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)和 ZigBee。
[0108]第二存储单元230配置为将四种类型的情绪与多个文本和语音数据(下文中称作“参考情绪数据”)进行匹配，并且存储所述情绪。
[0109]可以根据属于在诸如Facebook和Twitter之类的SNS、MM和MMS中由用户输入的文本中的情绪表达的词语或语句来确定包括该文本或语句在内的参考情绪数据。包括文本在内的参考情绪数据可以包括各种类型的情绪，例如包括“高兴”、“兴奋”、“生气”、“厌烦”、“悲伤”和“快乐”在内的基本词语或语句，以及形容词、副词、感叹词、俚语等。
[0110]第二存储单元230配置为将输入文本的输入速度和打字错误率以及对触摸屏的触摸强度中的至少一个与所确定的情绪状态相关联，并且存储相关联的情绪状态。
[0111]可以将包括语音在内的参考情绪数据存储为与分类的情绪相关联的语音数据。优选地，可以对通过第二用户输入单元210输入的语音数据进行处理以识别语音、标识用户的讲话、并且从中确定基本语句，可以将基本语句与将要存储的已分类情绪进行匹配。
[0112]第二存储单元230配置为将所确定的情绪状态与输入语音的强度、速度和识别率的至少一个相关联，并且存储相关联的情绪状态。
[0113]如果确定了用户的情绪状态，第二存储单元230可以在预定时间内，作为根据用户情绪状态的反应操作，将确定的情绪状态与电子设备的功能控制操作、预定应用执行操作和预定内容输出操作的至少一个运动历史相关联，并且存储相关联的情绪状态。
[0114]第二存储单元230可以临时地在其中存储用于第二控制器260的处理和控制程序以及输入/输出数据。
[0115]第二存储单元230可以在其中或者云服务器中存储通过第一用户输入单元110或者通过第二用户输入单元210或第二有线/无线通信单元220输入的输入情绪数据，并且存储通过第二有线/无线通信单元220发送的使用第一电子设备100或云服务器300确定的用户的情绪状态数据。
[0116]第二存储单元230可以包括以下存储介质中的至少一个:闪速存储器类型、硬盘类型、微型多媒体卡类型、卡类型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。
[0117]第二用户输入单元220可以包括麦克风、键盘、鼠标、遥控器和触摸板的一个或多个。
[0118]可以将第二情绪确定器250体现为用于确定用户情绪的程序。
[0119]例如，第二情绪确定器250可以包括第二情绪确定器252。第二情绪确定器配置为将使用在第二存储单元230中存储的情绪状态的参考情绪数据与由第二用户输入单元210输入或者来自外部的输入情绪数据进行比较，并且确定用户的情绪。如果输入情绪数据与在第二存储单元230中存储的参考情绪数据不匹配，不能确定用户的情绪，或者可以将第二存储单元230的输入情绪数据登记为参考情绪数据以扩展数据库。
[0120]第二情绪确定器250可以包括第二情绪比较器254，第二情绪比较器254配置为将在第二存储单元230中存储的用户的情绪状态与使用通过第二有线/无线通信单元220输入的另一个电子设备100测量的情绪状态进行比较。根据识别的情绪状态，第二情绪比较器254可以选择至少一个反应操作，例如电子设备的功能控制操作、预定应用执行操作以及预定内容输出操作。所选择的反应操作可以根据用户的情绪状态来推荐反应。
[0121]配置为根据示范实施例的第一电子设备100共享用户的情绪状态的第二电子设备200可以包括第二用户界面(UI)产生器240，第二用户界面产生器配置为:如果确定了情绪状态，基于情绪状态的记录来产生Π，该UI用于向用户推荐与该情绪状态相对应的电子设备的功能、应用执行操作以及内容输出操作中的至少一个。第二电子设备200还可以包括第二控制器260，配置为控制第二电子设备200的整体元件。
[0122]第二 Π产生器240配置为产生Π，诸如在屏幕上显示的消息或弹出窗口(未示出)。用户可以通过在屏幕上显示的Π来输入命令。Π可以包括推荐或鼓励消息或者弹出窗口，以便基于根据用户情绪状态的反应来进行选择。例如，如果存储的是用户生气并且听到具有升高音量的特定音乐，可以确定用户的情绪状态是生气，并且可以显示向用户推荐针对有关情绪状态的音乐的弹出窗口。
[0123]第二控制器260可以控制第二电子设备200的每一个元件。例如，第二控制器260可以控制第二有线/无线通信单元220与第一电子设备100交换用户的情绪状态数据，或在第二存储单元230中存储数据或从中读取数据，或控制第二情绪确定器250将通过第二用户输入单元210输入的数据与在第二存储单元230或云服务器300中存储的数据进行比较以用于确定。
[0124]第二控制器260可以包括应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSro)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器和微处理器。
[0125]可以确定用户情绪的上述第一电子设备100和第二电子设备200可以共享如图1所示的用户的情绪状态，并且可以通过在其间插入用于如图1所示云服务的云服务器300来实时地共享用户的情绪状态。
[0126]可以确定用户情绪的第一电子设备100和第二电子设备200可以分别包括存储单元。存储单元可以在其中存储通过用户输入单元输入的输入情绪数据、与输入情绪数据进行比较的参考情绪数据、通过将输入情绪数据与参考情绪数据进行比较而确定的用户的情绪状态数据、以及与所确定的情绪状态数据相关联的用户的反应记录数据。如上所述，第一和第二电子设备100和200可以直接交换与存储单元中存储的用户的情绪相关的所有数据。
[0127]即使第一和第二电子设备100和200包括在其中存储与用户情绪相关数据的存储单元，它们也可以通过云服务器300共享数据。
[0128]将与用户情绪相关的数据存储在存储单元中，替代地(或者附加地)，可以确定用户情绪的第一电子设备100和第二电子设备200可以将数据存储在云服务器300中，并且可以从云服务器300中接收数据以便使用。[0129]第一和第二电子设备100和200可以具有在其中安装的情绪确定应用，存储根据该情绪状态的反应，例如功能控制操作、预定应用执行操作和预定内容输出操作的至少一个历史，并且可以通过有线/无线通信单元120和220共享这些模式。
[0130]如图2所不,如果将云服务器300插入到第一和第二电子设备100和200之间，云服务器300可以拥有与用户的情绪状态相对应的大数据。可以根据发送给与云服务器300相连的所有电子设备的用户的情绪状态来实时地更新与在云服务器300中存储的用户的情绪状态有关的大数据。
[0131]下文中，将参考图4和图5解释根据示范实施例使用电子设备来确定用户情绪的方法。
[0132]图4是示出了方法的流程图，通过情绪确定应用来确定用户的情绪状态，并根据该情绪状态来记录和登记反应。
[0133]用户使用输入装置(例如键盘、麦克风、遥控器、摄像机(在用户使用转换为文本和/或语音的符号语言的情况下)等)相对于聊天或呼叫输入包括文本和/或语音的输入情绪数据(S410)。[0134]确定在操作S410输入的输入情绪数据是否是文本(S411)。如果该数据包括文本，电子设备改变到用户的词语输入模式(S412)。然后，驱动词语确定引擎将输入情绪数据与在第一存储单元130中存储的参考情绪数据进行比较(S413)。
[0135]如果在操作S410输入的数据不是文本而是语音，电子设备改变到用户的语音输入模式(S414)。然后，驱动语音确定引擎将输入情绪数据与在第一存储单元130中存储的参考情绪数据进行比较(S415)。典型地，可以只通过语音本身来识别用户的情绪。当用户生气时用户可能大声讲话，而当用户消沉时用户可能低声说话。然而，只用语音来量度用户的情绪状态可能缺乏客观性。如果用户的语音与普通呼叫模式非常不同，这种不同的语音可以用于识别用户的情绪状态。
[0136]因此，语音确定引擎可以通过语音识别来识别用户的意图，并且基于该意图而不是简单地比较语音来对语音进行比较。识别用户的意图要求附加的语音识别数据库。
[0137]如上所述，词语确定引擎或者语音确定引擎可以使用用户的输入情绪数据(包括文本或语音)来确定用户的情绪状态(S416)。可能存在这样的情况:即使在相当长的时间内进行用户输入，使用词语或语音确定引擎也不能确定用户的情绪状态。在这种情况下，可能不存在用于确定情绪的输入情绪数据，或者可能不存在与参考情绪数据匹配的词语或语
曰?
[0138]存储单元130登记在操作S416确定的用户的情绪状态(S417)。如果如上所述确定了用户的情绪状态，则识别在预定时间内的用户反应，即电子设备的功能控制操作、预定应用执行操作和预定内容输出操作，然后存储历史(S418)。电子设备100的功能控制操作可以包括文本的输入速度、文本的打字错误率、对触摸屏的触摸强度、断电、信道变化的重复、语音的速度和大小、语音识别的速率以及根据情绪状态的其他内容改变。预定应用执行操作可以包括特定游戏程序的执行、音乐播放程序的执行以及视频播放程序的执行。预定内容输出操作可以根据用户的情绪状态来详细指定和记录用户欣赏的内容类型，例如动作片、喜剧、情节片、体育游戏、古典音乐、摇滚音乐等。
[0139]最后，将根据用户的情绪状态的反应模式与利用存储单元130登记的情绪状态相关联(S419)。
[0140]如上，根据示范实施例的电子设备可以通过典型地由用户输入的文本或语音来识别用户的情绪状态，然后根据用户的情绪向用户推荐或者建议反应。该反应可以包括基于用户的情绪，建议用户使用用户的电子设备来消费某种类型的媒体。建议给用户的媒体类型可以提升用户的情绪，以改变用户的情绪等等。
[0141]图5是示出了一种方法的流程图，用于从移动电话100接收TV200处的单独用户的情绪状态，并且当用户在使用移动电话100的同时观看TV200时，对用户的情绪状态做出响应。
[0142]如果用户开启TV 200, TV 200登记用户的账户，加载用户信息(S510)，并且检查该用户信息是否包括用户的情绪状态数据(S511)。如果不存在用户的情绪状态数据，则驱动基于云的大数据引擎来再次加载用户信息(S512)。
[0143]如果存在用户的情绪状态数据，将该情绪状态与现有的数据进行比较，以确定该情绪状态与情绪状态数据是否匹配(S513)。
[0144]如果在操作S513用户的情绪状态与现有的数据匹配，登记用户的情绪状态(S514)并推荐现有的应用(S515)。
[0145]如果在操作S513用户的情绪状态与现有的数据不同，登记用户的情绪状态(S516)并推荐新的应用(S517)。
[0146]TV 200检查用户是否接受推荐的应用(S518)，并且如果用户不接受该应用，则TV200推荐另一个应用。
[0147]如果在操作S518用户接受该应用，则登记用户的情绪状态(S519)。
[0148]如上所述，已经解释了基于云服务200由TV 200通过移动电话200来确定用户的情绪、并且收集大数据来根据观看者的情绪状态来提供反馈的方法。也就是说，为了确定用户的情绪，向TV 200和移动终端100配置情绪确定应用。该应用配置为通过两个功能来识别用户的情绪状态:(i)在用户主要使用移动终端来确定用户的情绪状态时，确定与输入的词语或语句范围之外的情绪相关的任意词语；以及(ii)通过移动终端100的语音识别功能来识别用户在移动终端100上进行谈话时语音的高音调和低音调，以确定用户的情绪状态。
[0149]所述应用记忆用户的情绪状态，并且当用户通过移动终端100具有该情绪状态时存储用户的反应。如果用户感觉良好，用户可以收听欢快的音乐以保持这种情绪状态，或者进行反应，以通过SNS向他/她的朋友和熟人传递这种好消息。如果用户是沮丧的，用户可能收听沉重的音乐或者进行锻炼，并且存储这种反应。基于这种反应，应用可以根据用户的情绪状态来产生反应模式。
[0150]如果在用户的智能TV 200中安装相同的应用，智能TV应用可以通过与用户的移动终端100协同操作来实时地识别用户的情绪状态，或者可以将由移动终端100确定的用户的情绪状态发送给智能TV应用。然后，TV200可以更加清楚地识别用户的情绪状态，并且可以将根据用户的情绪状态的反应发送给移动终端100。
[0151]可以将用户的情绪状态分类为以下种类，例如高兴、悲伤、沮丧(孤独)、烦恼、缓和等。
[0152]电子设备能使快乐的用户保持他/她的情绪状态，并且记忆快乐用户的反应。电子设备向忧愁的用户推荐使用户复原的音乐、视频和图像。也可以存储忧愁的用户所选择的反应。该电子设备尝试联系近来与沮丧(孤独)的用户联系的熟人和朋友，并且帮助用户想起与他们的快乐记忆。电子设备还向沮丧的用户推荐疗伤音乐、有趣视频和图像。电子设备向苦恼的用户推荐安静的音乐或沉思音乐，并且还提供用于瑜伽的呼吸锻炼。电子设备连续地识别缓和用户的情绪状态，并且识别任何情绪变化。电子设备向具有缓和情绪状态的用户推荐用户喜欢的音乐，并且尝试联系近来没有联系的朋友或熟人。
[0153]根据示范实施例，诸如智能电话之类的移动终端100的用户输入文本或语音，在使用同时自然地示出了各种情绪，并且这种输入情绪数据可以用于容易地确定用户的情绪。
[0154]另外，当移动终端的用户使用另一个电子设备200时，通过移动终端100确定用户的情绪状态和反应模式，并且可以与另一个电子设备共享该用户的情绪状态和反应模式，另一个电子设备可以向用户提供各种反应方法。
[0155]另外，情绪确定方法可以不公用于所有的用户，而是与每一个用户的特定特性相关联，并且可以更加精确地确定情绪。
[0156]具体地，用于确定用户的情绪的数据库是累积的，并且可以更加精确地确定情绪。
[0157]同样，云服务器300可以用于在各种电子设备之间共享用户的情绪。具体地，设置具有用于表达和输入用户的情绪状态的受限用户输入装置的电子设备可以通过具有各种情绪状态输入单元的移动电话来识别情绪状态，并且可以与移动电话相连、并且实时地利用该情绪状态。
[0158]尽管已经示出和描述了一些示范实施例，本领域普通技术人员应该理解的是在不脱离由所附权利要求及其等价物限定的本发明的原理和精神的情况下，可以在这些示范实施例中进行改变。
【权利要求】
1.一种用于确定电子设备的用户的情绪状态的方法，所述方法包括: 接收由所述电子设备的用户输入的输入情绪数据； 将输入情绪数据与参考情绪数据进行比较，并且确定用户的情绪状态；以及 将所确定的用户的情绪状态发送给外部设备以与所述外部设备共享所述情绪状态。
2.根据权利要求1所述的方法，其中将所述参考情绪数据存储在存储单元和通过通信网络相连的云服务器中的至少一个。
3.根据权利要求1所述的方法，其中从用户输入的语音数据中获得所述输入情绪数据。
4.根据权利要求1所述的方法，其中从用户输入的文本数据中获得所述输入情绪数据。
5.根据权利要求3所述的方法，还包括将所确定的情绪状态与输入的语音数据的强度、速度和识别率中的至少一个相关联，并且存储相关联的情绪状态。
6.根据权利要求4所述的方法，还包括: 将所确定的情绪状态与用户输入的文本数据的输入速度、打字错误率以及对触摸屏的触摸强度中的至少一个相关联；以及存储相关联的情绪状态。
7.根据权利要求1所述的方法，还包括: 在确定情绪状态之后的预定时间内，作为根据用户情绪状态的反应操作，将所确定的情绪状态与电子设备的功能控制操作、预定应用执行操作和预定内容输出操作的至少一个运动历史相关联，以及 登记相关联的情绪状态。
8.根据权利要求7所述的方法，还包括响应于确定的用户的情绪状态，基于记录向用户推荐与情绪状态相对应的电子设备的功能、应用的执行以及内容的输出中的至少一个。
9.根据权利要求1所述的方法，还包括将所确定的用户的情绪状态存储在存储单元中，或者存储在通过通信网络相连的云服务器中。
10.根据权利要求7所述的方法，其中将与所述情绪状态相关联的运动历史记录在存储单元中或者记录在通过通信网络相连的云服务器中。
11.根据权利要求7所述的方法，其中将与情绪状态相关联的运动历史与用户的情绪状态一起发送至外部设备。
12.一种根据用户的情绪状态来控制电子设备的方法，所述方法包括: 接收由通过通信网络相连的外部设备确定的用户的情绪状态数据； 检查与由外部设备发送的用户的情绪状态相对应的用户的反应记录；以及 根据检查到的用户的反应来控制所述电子设备。
13.一种用于确定用户的情绪状态的电子设备，所述电子设备包括: 用户输入单元，所述用户输入单元从用户接收输入情绪数据； 情绪确定器，所述情绪确定器将接收的输入情绪数据与参考情绪数据进行比较，并且确定所述用户的情绪状态；以及 通信单元，所述通信单元发送所确定的用户的情绪状态。
14.一种用于通过共享用户的情绪状态来控制电子设备的方法，所述方法包括:第一电子设备接收由用户输入的输入情绪数据，并且基于所述输入情绪数据来确定用户的情绪状态，并且将所确定的用户的情绪状态发送给第二电子设备以与所述第二电子设备共享所确定的用户的情绪状态；以及 接收由通过通信网络与第二电子设备相连的第一电子设备确定的用户的情绪状态数据，检查与由外部设备发送的用户的情绪状态相对应的用户的反应记录，并且根据检查的用户的反应来控制所述第二电子设备。
15.一种在电子设备之间共享用户的情绪状态的系统，所述系统包括: 第一电子设备，所述第一电子设备包括:第一用户输入单元，用于从用户接收输入情绪数据；第一情绪确定器，用于将接收的输入情绪数据与参考情绪数据进行比较，并且确定所述用户的情绪状态；以及第一通信单元，用于发送所确定的用户的情绪状态；以及 第二电子设备，所述第二电子设备包括:第二通信单元，用于接收由所述第一电子设备确定的用户的情绪状态数据；以及控制器，用于检查与从第一电子设备接收的用户的情绪状态相对应的用户的反应记录，并且根据检查的用户的反应来执行控制操作。
【文档编号】G06F17/30GK103941853SQ201310659889
【公开日】2014年7月23日 申请日期:2013年12月9日 优先权日:2013年1月22日
【发明者】金光秀, 孙昌远, 郑道圣 申请人:三星电子株式会社