情感信息呈现装置以及电子设备的制作方法

本发明涉及自然语言处理和人工智能
技术领域：
，尤其涉及一种情感信息呈现装置以及电子设备。
背景技术：
：随着人工智能技术的不断发展以及人们对于交互体验要求的不断提高，智能交互方式已经开始逐渐替代一些传统的人机交互方式，并成为研究的热点。目前，现有技术主要集中在对情感信号进行识别得到某种情感状态，或者仅通过观察用户的表情、动作等进行相似或相反情感的回馈呈现，呈现模式单一，用户体验差。技术实现要素：有鉴于此，本发明实施例提供一种情感信息呈现装置以及电子设备，能够解决上述技术问题。本发明实施例提供了一种情感信息呈现装置，包括：获取模块，用于获取第一情感呈现指令，其中所述第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，所述至少一种第一情感呈现模态包括文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种；以及呈现模块，用于在所述至少一种第一情感呈现模态符合情感呈现条件时，根据所述至少一种第一情感呈现模态进行情感呈现；根据用户需求变化、后台控制动态变化和/或应用场景需求变化确定所述至少一种第一情感呈现模态不符合情感呈现条件，并对所述第一情感呈现指令中的所述至少一种第一情感呈现模态进行调整，得到所述第二情感呈现指令中的所述至少一种第二情感呈现模态，并根据所述至少一种第二情感呈现模态进行情感呈现。可选地，所述呈现模块根据所述至少一种情感类型查找情感呈现数据库以确定所述至少一种情感类型中的每种情感类型对应的至少一个情感词汇，并呈现所述至少一个情感词汇。可选地，所述至少一种情感类型中的每种情感类型对应多个情感词汇，所述第一情感呈现指令还包括：所述至少一种情感类型中的每种情感类型对应的情感强度和/或所述至少一种情感类型中的每种情感类型对应的情感极性，其中，所述呈现模块根据所述情感强度和/或所述情感极性从所述多个情感词汇中选择所述至少一个情感词汇。可选地，所述至少一个情感词汇根据不同的情感强度分为不同的级别。可选地，所述至少一个情感词汇中的每个情感词汇包含一种或多种情感类型，所述至少一个情感词汇中的同一情感词汇在不同的应用场景下具有不同的情感类型和情感强度。可选地，所述情感词汇为多元情感词汇，所述多元情感词汇包括多个词汇的组合，其中所述多元情感词汇中的每个词汇单独不具有的情感类型属性。可选地，所述呈现模块根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述第一情感呈现指令未指定的情感类型的情感呈现，其中所述未指定的情感类型对应的情感强度低于所述至少一种情感类型对应的情感强度或者所述未指定的情感类型的情感极性与所述至少一种情感类型的情感极性一致。可选地，所述呈现模块确定所述至少一个情感词汇组成的情感呈现文本中至少一种情感类型的情感强度的大小，并基于所述情感强度的大小判断所述至少一种情感类型的情感强度是否符合所述第一情感呈现指令，其中所述情感呈现文本中的第i种情感类型的情感强度可以通过下式计算得到：round[n/n*1/[1+exp(-n+1)]*max{a1,a2,…,an}]，其中，round(x)表示对x邻近取整，n表示所述第i种情感类型中的情感词汇的数量，n表示所述情感呈现文本中的情感词汇的数量，m表示所述n个情感词汇的情感类型的数量，exp(x)表示以自然常数e为底的指数函数，a1,a2,…,an表示n个情感词汇分别对应情感类型m的情感强度，max{a1,a2,…,an}表示情感强度的最大值，其中n、n和m为正整数。可选地，所述情感极性包括以下一种或多种：褒义、贬义和中性。本发明实施例还提供了一种电子设备，其包括上述的情感信息呈现装置。根据本发明实施例提供的技术方案，通过获取第一情感呈现指令，该第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种，以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，实现了多模态情感呈现方式，因此提高了用户体验。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。图1是根据本发明一示例性实施例示出的一种情感信息呈现装置的框图。图2是根据本发明另一示例性实施例示出的一种情感信息呈现装置的框图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。根据本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。情感呈现是情感计算用户界面的最终表现形式，是基于情感分析识别和情感意图理解(解析)的结果。情感呈现可以针对用户当前的状态并基于情感呈现指令决策过程提供智能的情感反馈，并通过情感输出设备提供给用户。图1是根据本发明一示例性实施例示出的一种情感信息呈现装置300的框图。如图1所示，该情感信息呈现装置300包括：获取模块310，用于获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种；以及呈现模块320，用于在所述至少一种第一情感呈现模态符合情感呈现条件时，根据所述至少一种第一情感呈现模态进行情感呈现；根据用户需求变化、后台控制动态变化和/或应用场景需求变化确定所述至少一种第一情感呈现模态不符合情感呈现条件，并对所述第一情感呈现指令中的所述至少一种第一情感呈现模态进行调整，得到所述第二情感呈现指令中的所述至少一种第二情感呈现模态，并根据所述至少一种第二情感呈现模态进行情感呈现。根据本发明实施例提供的技术方案，通过获取第一情感呈现指令，该第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态，以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，实现了多模态情感呈现方式，因此提高了用户体验。在本发明实施例中，可以通过对情感信息进行情感分析识别来获取第一情感呈现指令，也可以通过人为设定的方式直接确定第一情感呈现指令，本发明对此不作限制。例如，当想要呈现某种特定的情感时，机器人并不需要识别用户的情感，而是直接通过人为设定的情感呈现指令来呈现。这里，情感信息的输入方式可以包括但不限于文本、语音、图像、手势等中的一种或多种。例如，用户可以仅以文本的方式输入情感信息，也可以以文本和语音结合的方式输入情感信息，甚至还可以通过采集设备提取用户的面部表情、语音语调和肢体动作等情感信息。第一情感呈现指令是情感计算用户界面中情感意图理解和情感呈现指令决策的输出，该第一情感呈现指令应当具有明确的可执行含义且容易理解和接受。第一情感呈现指令的内容可以包括至少一种第一情感呈现模态和至少一种情感类型。具体地，第一情感呈现模态可以包括文本情感呈现模态，也可以包括声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种，本发明对此不作限制。需要说明的是，最终的情感呈现可以仅为一种情感呈现模态，例如文本情感呈现模态；也可以为几种情感呈现模态的结合，例如文本情感呈现模态和声音情感呈现模态的结合，或者文本情感呈现模态、声音情感呈现模态和图像情感呈现模态的结合。情感类型(也称为情感成分)可以通过分类情感模型和维度情感模型来表示。分类情感模型的情感状态是离散的，因此也称为离散情感模型；多维情感空间中的一个区域和/或至少一个点的集合可以定义为分类情感模型中的一个情感类型。维度情感模型是构建一个多维情感空间，该空间的每个维度对应一个心理学定义的情感因素，在维度情感模型下，情感状态由情感空间中的坐标值表示。另外，维度情感模型可以是连续的，也可以是离散的。具体地，离散情感模型是情感类型的主要形式和推荐形式，其可以根据领域和应用场景对情感信息所呈现的情感进行分类，并且不同的领域或应用场景的情感类型可以相同，也可以不同。例如，在通用领域，一般采取的基本情感分类体系作为一种维度情感模型，即多维情感空间包括6个维度：高兴(joy)、悲伤(sadness)、愤怒(anger)、惊讶(surprise)、恐惧(fear)和厌恶(disgust)；在客服领域，常用的情感类型可以包括但不限于高兴、悲伤、安慰、劝阻等；而在陪伴看护领域，常用的情感类型可以包括但不限于高兴、悲伤、好奇、安慰、鼓励、劝阻等。维度情感模型是情感类型的补充，目前仅用于连续动态变化和后续情感计算的情况，例如需要实时微调参数、或者对上下文情感状态的计算影响很大的情况。维度情感模型的优势在于方便计算和微调，但是后续需要通过与所呈现的应用参数进行匹配来加以利用。另外，每个领域都有主要关注的情感类型(情感识别用户信息得到在该领域关注的情感类型)和主要呈现的情感类型(情感呈现或交互指令中的情感类型)，这两者可以是不同的两组情绪分类(分类情感模型)或者不同的情感维度范围(维度情感模型)。在某个应用场景下，通过一定的情感指令决策过程来完成确定该领域所主要关注的情感类型对应的主要呈现的情感类型。当第一情感呈现指令包括多种情感呈现模态时，优先采用文本情感呈现模态来呈现至少一种情感类型，然后再采用声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的一种或多种情感呈现模态来补充呈现至少一种情感类型。这里，补充呈现的情感类型可以是文本情感呈现模态所未呈现的至少一种情感类型，或者文本情感呈现模态呈现的情感强度和/或情感极性不符合第一情感呈现指令所要求的至少一种情感类型。需要说明的是，第一情感呈现指令可以指定一种或多种情感类型，并且可以按照每种情感类型的强度进行排序，以确定各情感类型在情感呈现过程中的主次。具体地，如果情感类型的情感强度小于预设的情感强度阈值，则可以认为该情感类型在情感呈现过程中的情感强度不可以大于其它在第一情感呈现指令中情感强度大于或等于情感强度阈值的情感类型。在本发明实施例中，情感呈现模态的选择取决于以下因素：情感输出设备及其应用状态(例如，是否具备显示文本或图像的显示器、是否连接有扬声器等)、交互场景类型(例如，日常聊天、业务咨询等)、对话类型(例如，常见问题的解答主要以文本回复为主，导航则以图像为主、语音为辅)等。进一步地，情感呈现的输出方式取决于情感呈现模态。举例来说，如果第一情感呈现模态为文本情感呈现模态，则最终的情感呈现的输出方式为文本的方式；如果第一情感呈现模态为文本情感呈现模态为主，声音情感呈现模态为辅，则最终的情感呈现的输出方式为文本和语音结合的方式。也就是说，情感呈现的输出可以仅包括一种情感呈现模态，也可以包括几种情感呈现模态的结合，本发明对此不作限制。根据本发明实施例提供的技术方案，通过获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态，以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，实现了以文本为主的多模态情感呈现方式，因此，提高了用户体验。在本发明的另一个实施例中，根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，包括：根据至少一种情感类型查找情感呈现数据库以确定至少一种情感类型中的每种情感类型对应的至少一个情感词汇；以及呈现至少一个情感词汇。具体地，情感呈现数据库可以是预置人工标记的，也可以是通过大数据学习得到的，或者也可以是通过半学习半人工的半监督人机协作得到的，甚至还可以是通过大量情感对话数据训练整个交互系统得到的。需要说明的是，情感呈现数据库允许在线学习和更新。情感词汇及其情感类型、情感强度和情感极性的参数可以存储在情感呈现数据库中，也可以通过外部接口得到。另外，情感呈现数据库包括多个应用场景的情感词汇的集合以及相应的参数，因此，可以根据实际应用情况对情感词汇进行切换和调整。情感词汇可以按照应用场景下所关注的用户的情感状态进行分类。也就是说，同一个情感词汇的情感类型、情感强度和情感极性与应用场景有关。例如，在没有特殊应用需求的通用领域中，可以按照上述6种基本情感类型对中文的情感词汇进行分类，并因此得到如表1所示的情感类型以及相应的例词和短语。表1编号情感类型例词1高兴开心、好、兴奋、幸福、棒棒哒……2悲伤难过、痛苦、郁闷、伤心欲绝……3愤怒气愤、恼火、生气、愤怒……4惊讶奇怪、惊讶、一鸣惊人、瞠目结舌……5恐惧慌张、慌乱、不知所措、心惊胆战……6厌恶讨厌、可恶、痛恨、反感、责备、歉然……需要说明的是，表1中的例词为通用领域的应用场景下按照情感词汇的主要情感类型划分的推荐例词。上述6种情感类型不是固定的，在实际应用中，可以根据应用场景来调整情感词汇的情感类型，例如，增加特别关注的情感类型，或者删除无特别应用的情感类型。另外，同一个情感词汇在不同上下文语境中可能有不同的释义来表达不同的情感，即情感类型和情感极性等可能会发生变化，因此，需要根据应用场景和上下文语境对同一个情感词汇进行情感消歧以确定其情感类型。具体地，可以通过自动、人工、或两者结合的方式对中文的情感词汇进行情感标注。对于具有多种情感类型的词汇，可以基于词性、情感频率、贝叶斯模型等进行情感消歧。此外，还可以通过构建上下文相关特征集合来判断情感词汇在上下文中的情感类型。在本发明的另一个实施例中，至少一种情感类型中的每种情感类型对应多个情感词汇，第一情感呈现指令还包括：至少一种情感类型中的每种情感类型对应的情感强度和/或至少一种情感类型中的每种情感类型对应的情感极性，其中，根据至少一种情感类型查找情感呈现数据库以确定至少一种情感类型中的每种情感类型对应的至少一个情感词汇，包括：根据情感强度和/或情感极性从多个情感词汇中选择至少一个情感词汇。具体地，每种情感类型可以对应多个情感词汇，第一情感呈现指令的内容还可以包括每种情感类型对应的情感强度和/或每种情感类型对应的情感极性，以及根据情感强度和/或情感极性从多个情感词汇中选择至少一个情感词汇。这里，情感强度来源于人对事物所产生的选择倾向性，是心理学上对情感进行描述的一个因素，本申请中用来描述某种情感的程度等级。情感强度可以根据应用场景设置为不同的情感强度级别，例如，2级(即，有情感强度和无情感强度)、3级(即，低情感强度、中等情感强度和高情感强度)或更高级，本发明对此不作限制。在特定的应用场景下，同一个情感词汇的情感类型和情感强度是一一对应的。在实际应用中，首先要划分第一情感呈现指令的情感强度，因为该情感强度决定了情感呈现最终呈现的情感强度级别；接着，根据第一情感呈现指令的情感强度级别确定情感词汇的强度分级。需要说明的是，本发明的情感强度由情感呈现指令决策过程决定。此外，还需要说明的是，情感强度分析需要与第一情感呈现指令的情感强度级别相匹配，二者的对应关系可以通过一定的运算规则得到。情感极性可以包括褒义、贬义和中性中的一种或多种。第一情感呈现指令指定的每种情感类型都对应一种或多种情感极性。具体地，以表1中的情感类型“厌恶”为例，在“厌恶”这一情感类型所对应的例词中，“责备”的情感极性为贬义，而“歉然”的情感极性为中性。需要说明的是，本发明的情感极性由情感呈现指令决策过程决定，该情感呈现指令决策过程可以是根据用户的情感状态、交互意图、应用场景等信息中的一个或多个生成输出呈现指令的决策过程；除此之外，情感呈现指令决策过程也可以是根据应用场景及用户需求对情感极性进行调整，并在未捕捉到用户的情感状态和意图信息情况下主动决策情感呈现指令的过程，例如，无论用户的状态和意图如何，迎宾机器人都会固定呈现“喜悦”情感。在本发明的另一个实施例中，至少一个情感词汇根据不同的情感强度分为不同的级别。具体地，情感词汇的分级比第一情感呈现指令指定的情感强度的分级更细一些，这样的呈现规则要求没有那么严苛，结果也更容易收敛。也就是说，情感词汇的级别比情感强度的级别更多，但仍必须可以通过一定的运算规则对应到第一情感呈现指令指定的情感强度，而不能超过该第一情感呈现指令指定的情感强度的分级的上限和下限。举例来说，假设第一情感呈现指令给出的情感强度的分级为呈现情感强度0级(低)、呈现情感强度1级(中)和呈现情感强度2级(高)，情感词汇的分级为词汇情感强度0级、词汇情感强度1级、词汇情感强度2级、词汇情感强度3级、词汇情感强度4级和词汇情感强度5级，那么运算规则需要将当前文本中的情感词汇的情感强度(即，词汇情感强度0至5级)匹配到第一情感呈现指令的情感强度(即，呈现情感强度0至2级)中，而不得超过该第一情感呈现指令的情感强度的范围。如果出现呈现情感强度-1级或呈现情感强度3级的情况，则表示超出了第一情感呈现指令的情感强度的范围，进而说明匹配规则或情感强度的分级不合理。需要说明的是，通常推荐先划分情感呈现指令的情感强度，因为该情感强度决定了情感呈现最终的情感强度的级别；在情感呈现指令的情感强度的级别确定之后，再确定情感词汇的强度分级。在本发明的另一个实施例中，至少一个情感词汇中的每个情感词汇包含一种或多种情感类型，至少一个情感词汇中的同一情感词汇在不同的应用场景下具有不同的情感类型和情感强度。具体地，每个情感词汇拥有一种或多种情感类型，并且同一情感词汇在不同的应用场景下可以具有不同的情感类型和情感强度。以情感词汇“好”为例，在情感类型为“高兴”的情况下，其情感强度为褒义；在情感类型为“愤怒”的情况下，其情感强度为贬义。此外，同一个情感词汇在不同的上下文语境中可能有不同的释义以表达不同的情感，即情感类型和情感极性等可能会发生变化，因此，需要根据应用场景和上下文语境对同一个情感词汇进行情感消歧以确定其情感类型。具体地，可以通过自动、人工、或两者结合的方式对中文的情感词汇进行情感标注。对于具有多种情感类型的词汇，可以基于词性、情感频率、贝叶斯模型等进行情感消歧；同时还可以通过构建上下文相关特征集合来判断情感词汇在上下文中的情感类型。在本发明的另一个实施例中，情感词汇为多元情感词汇，该多元情感词汇包括多个词汇的组合，其中多元情感词汇中的每个词汇单独不具有的情感类型属性。具体地，词汇本身可能不具有情感类型，但是几个词汇组合在一起可能具有某种情感类型，并且可以用来传达情感信息，这种几个词汇的组合称为多元情感词汇。多元情感词汇可以从预置的情感语义数据库中得到，也可以通过预设的逻辑规则或外部接口得到，本发明对此不作限制。在本发明的另一个实施例中，所述呈现模块根据至少一种第一情感呈现模态中的每种情感呈现模态进行第一情感呈现指令未指定的情感类型的情感呈现，其中未指定的情感类型对应的情感强度低于至少一种情感类型对应的情感强度或者未指定的情感类型的情感极性与至少一种情感类型的情感极性一致。具体地，除第一情感呈现指令中指定的情感类型之外，文本中的其他情感类型按照既定的情感强度对应关系或公式计算得到的情感强度均低于第一情感呈现指令中所有指定的情感类型的情感强度。也就是说，未指定的情感类型对应的情感强度不影响第一情感呈现指令中各种情感类型的情感呈现。在本发明的另一个实施例中，所述呈现模块确定所述至少一个情感词汇组成的情感呈现文本中至少一种情感类型的情感强度的大小；以及基于所述情感强度的大小判断所述至少一种情感类型的情感强度是否符合所述第一情感呈现指令，其中所述情感呈现文本中的第i种情感类型的情感强度可以通过下式计算得到：round[n/n*1/[1+exp(-n+1)]*max{a1,a2,…,an}]，其中，round(x)表示对x邻近取整，n表示所述第i种情感类型中的情感词汇的数量，n表示所述情感呈现文本中的情感词汇的数量，m表示所述n个情感词汇的情感类型的数量，exp(x)表示以自然常数e为底的指数函数，a1,a2,…,an表示n个情感词汇分别对应情感类型m的情感强度，max{a1,a2,…,an}表示情感强度的最大值，其中n、n和m为正整数。具体地，令上式中n＝5，m＝1，n＝5，max{a1,a2,a3,a4,a5}＝5，则情感类型的情感强度＝5。这里，n＝5表示文本中共有5个情感词汇，m＝1表示这5个情感词汇仅有一种情感类型，因此，仅需要计算一次就能得到文本的情感类型的情感强度。可选地，令上式中n＝5，m＝3，对于第一种情感a，如果n＝3，max{a1,a2,a3}＝4，则情感a的情感类型的情感强度＝2；对于第一种情感b，如果n＝1，max{b1}＝4，则情感b的情感类型的情感强度＝1；对于第一种情感c，如果n＝1，max{c1}＝2，则情感c的情感类型的情感强度＝0。这里，n＝5表示文本中共有5个情感词汇，m＝3表示这5个情感词汇共有三种情感类型，因此，需要计算三次才能得到文本的情感类型的情感强度。与此同时，该文本中的第i种情感类型的情感极性可以通过下式计算得到：b＝sum(x1*(a1/max{a}),x2*(a2/max{a}),…,xn*(an/max{a}))/n，其中，sum(x)表示对x求和，max{a}表示对m情感类型的所有情感词汇的最大情感强度，a1,a2,…,an表示m情感类型下的n个情感词汇的情感强度，x1,x2,…,xn表示m情感类型下的n个情感词汇的情感极性。需要说明的是，上述公式需要对每个情感类型m分别计算，得到该情感类型下的情感极性。进一步地，如果b>0.5，则表示情感极性为褒义；如果b<-0.5，则表示情感极性为贬义；以及如果0.5≥b≥-0.5，则表示情感极性为中性。需要说明的是，情感极性的量化表示可以为：褒义为+1，贬义为-1，中性为0，或者可以根据需要进行调整。此外，还需要说明的是，情感类型的情感极性不允许出现急剧变化，例如，褒义变成贬义或者贬义变成褒义。在本发明的另一个实施例中，根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，包括：在至少一种第一情感呈现模态符合情感呈现条件时，根据至少一种第一情感呈现模态进行情感呈现。具体地，第一情感呈现模态符合情感呈现条件是指情感输出设备和用户输出设备都支持第一情感呈现模态所呈现的方式，例如，文本、语音、图片等。这里，以银行客服为例，假设用户想要询问某银行的地址，情感策略模块首先基于用户的情感信息生成第一情感呈现指令，该第一情感呈现指令为第一情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“图像”和“语音”；接着，对情感输出设备和用户输出设备进行检测，如果检测到情感输出设备和用户输出设备均支持文本、图像和语音这三种呈现方式，则以文本为主、图像和语音为辅的方式将某银行的地址呈现给用户。在本发明的另一个实施例中，所述呈现模块在确定至少一种第一情感呈现模态不符合情感呈现条件时，根据第一情感呈现指令生成第二情感呈现指令，第二情感呈现指令包括至少一种第二情感呈现模态，至少一种第二情感呈现模态是对至少一种第一情感呈现模态进行调整得到的；以及基于至少一种第二情感呈现模态进行情感呈现。具体地，至少一种第一情感呈现模态不符合情感呈现条件是指情感输出设备和用户输出设备中的至少一个不支持第一情感呈现模态的呈现方式，或者需要根据动态变化(例如，输出设备故障、用户需求变化、后台控制动态变化和/或应用场景需求变化等)临时改变第一情感呈现模态的呈现方式。这时，需要对至少一种第一情感呈现模态进行调整，得到至少一种第二情感呈现模态，并基于至少一种第二情感呈现模态进行情感呈现。这里，对至少一种第一情感呈现模态进行调整的过程可以称为情感呈现模态的二次调整，该二次调整能够根据动态变化临时调整情感呈现模态的输出策略和优先级等，以便排除故障错误、优化并优先选择情感呈现模态。至少一种第二情感呈现模态可以包括文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。在本发明的另一个实施例中，在确定至少一种第一情感呈现模态不符合情感呈现条件时，根据第一情感呈现指令生成第二情感呈现指令，包括：在检测到用户输出设备故障影响第一情感呈现模态的呈现或者用户输出设备不支持第一情感呈现模态的呈现时，确定至少一种第一情感呈现模态不符合情感呈现条件；以及对第一情感呈现指令中的至少一种第一情感呈现模态进行调整，得到第二情感呈现指令中的至少一种第二情感呈现模态。具体地，至少一种第一情感呈现模态不符合情感呈现条件可以包括但不限于用户输出设备故障影响第一情感呈现模态的呈现、用户输出设备不支持第一情感呈现模态的呈现等。因此，在确定至少一种第一情感呈现模态不符合情感呈现条件时，需要调整第一情感呈现指令中的至少一种第一情感呈现模态，得到第二情感呈现指令中的至少一种第二情感呈现模态。这里，仍以银行客服为例，假设用户想要询问某银行的地址，情感策略模块首先基于用户的情感信息生成第一情感呈现指令，该第一情感呈现指令为第一情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“图像”和“语音”，情感类型为“愉悦”，情感强度为“中等”；接着，对情感输出设备和用户输出设备进行检测，如果检测到用户输出设备不支持图片(即地图)显示，则认为第一情感呈现模态不符合情感呈现条件，这时，需要对第一情感呈现模态进行调整，得到第二情感呈现模态，该第二情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“语音”，情感类型为“愉悦”，情感强度为“中等”；最终，以文本为主、语音为辅的方式将某银行的地址呈现给用户，并提示用户当前地图无法显示或者当前地图显示不成功，可以通过其他设备查看等。可选地，作为另一个实施例，在确定至少一种第一情感呈现模态不符合情感呈现条件时，根据第一情感呈现指令生成第二情感呈现指令，包括：根据用户需求变化、后台控制动态变化和/或应用场景需求变化确定至少一种第一情感呈现模态不符合情感呈现条件；以及对第一情感呈现指令中的至少一种第一情感呈现模态进行调整，得到第二情感呈现指令中的至少一种第二情感呈现模态。具体地，至少一种第一情感呈现模态不符合情感呈现条件的情况还可以包括但不限于用户需求变化、后台控制动态变化和/或应用场景需求变化等。因此，在确定至少一种第一情感呈现模态不符合情感呈现条件时，需要调整第一情感呈现指令中的至少一种第一情感呈现模态，得到第二情感呈现指令中的至少一种第二情感呈现模态。这里，仍以银行客服为例，假设用户想要询问某银行的地址，情感策略模块首先基于用户的情感信息生成第一情感呈现指令，该第一情感呈现指令为第一情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“语音”，情感类型为“愉悦”，情感强度为“中等”；接着，当接收到用户请求想要以文本和地图结合的方式显示某银行的地址时，确定第一情感呈现模态不符合情感呈现条件，并相应地调整第一情感呈现模态，得到第二情感呈现模态，该第二情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“图像”，情感类型为“愉悦”，情感强度为“中等”；最终，以文本为主、图像为辅的方式将某银行的地址呈现给用户。对于不符合情感呈现指令的情感呈现，需要反馈对话系统重新调整输出，并再次进行判断，直至输出的文本符合情感呈现指令。这里，对话系统进行回馈调整可以包括但不限于以下两种方式：一种是在不调整句式的情况下直接对当前句子中的个别情感词汇进行调整替换，以达到情感呈现指令的情感呈现标准，这种方式适用于情感类型和情感强度差异不大的情况；另一种是需要对话系统重新生成句子，这种方式适用于情感类型和情感强度差异较大的情况。需要说明的是，本发明的第一情感呈现模态以文本情感呈现模态为主，但是可以根据用户需求、应用场景等选择或增加声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态等来进行情感呈现。具体地，声音情感呈现模态可以包括基于文本内容的语音播报，也可以包括基于声音的音乐、声响等，本发明对此不作限制。此时，情感呈现数据库中不仅存储有应用场景下的不同情感类型所对应的情感词汇(该情感词汇用于分析语音对应的文本的情感类型)，还需要包括不同情感类型所对应的音频参数(例如基音频率、共振峰、能量特征、谐波噪声比、发音帧数特征、梅尔倒谱系数等)，或者由训练提取的特定情感类型所对应的音频特征及其参数。进一步地，语音播报的情感类型来源于两部分，即播报文本的情感类型a和音频信号的情感类型b，a和b的结合得到语音播报的情感类型。举例来说，a的情感类型和情感强度与b的情感类型和情感强度的平均值(或者带有权重的求和等运算)为语音播报的情感类型和情感强度。声音(包括无文本信息的音乐、声响等)，一方面可以通过多种音频参数进行分类，另一方面可以通过人工标签部分音频数据，并通过有监督学习提取特征以对声音的情感类型和情感强度进行判断。图像情感呈现模态可以包括但不限于人脸、图画表情、图标、图案、动画、视频等。此时，情感呈现数据库中需要包括不同情感类型所对应的图像参数等。图像情感呈现模态可以通过自动检测并结合人工的方式获取图像数据的情感类型和情感强度，也可以通过有监督学习提取特征以对图像的情感类型和情感强度进行判断。机械运动情感呈现模态可以包括但不限于机器人各个部位的活动和运动、各种硬件输出设备的机械运动等。此时，情感呈现数据库中需要包括不同情感类型所对应的活动和运动参数。这些参数可以预先存储在数据库中，也可以通过在线学习获得扩展和更新，本发明对此不作限制。机械运动情感呈现模态可以在接收到情感呈现指令后，根据其情感类型和情感强度选择合适的活动和运动计划并实施。需要说明的是，机械运动情感呈现模态的输出需要考虑安全性问题。上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。图2是根据本发明另一示例性实施例示出的一种情感信息呈现装置400的框图。如图2所示，该情感信息呈现装置400包括：获取模块410，用于获取用户的情感信息。在本发明实施例中，可以通过文本、语音、图像、手势等方式获取用户的情感信息。识别模块420，用于对情感信息进行情感识别，得到情感类型。在本发明实施例中，根据预设的分词规则对情感信息进行分词处理，得到多个情感词汇。这里，分词规则可以包括正向最大匹配法、逆向最大匹配法、逐词遍历法和词频统计法中的任一种。分词处理可以采用双向最大匹配法、维特比(viterbi)算法、隐马尔可夫模型(hiddenmarkovmodel，hmm)算法和条件随机场(conditionalrandomfield，crf)算法中的一种或多种。接着，将多个情感词汇与情感词汇语义库中存储的多个预设的情感词汇进行相似度计算，并将相似度最高的情感词汇作为匹配的情感词汇。具体地，如果文本中有情感词汇语义库中的情感词汇，则直接提取相应的情感类型和情感强度。如果文本中没有情感词汇语义库中的情感词汇，则将分词处理的结果逐个与情感词汇语义库中的内容进行相似度计算，或者加入注意力(attention)机制，从分词处理的结果中选取几个重点词汇与情感词汇语义库中的内容进行相似度计算，如果相似度超过一定阈值，则使用情感词汇语义库中相似度最高的词汇的情感类型和情感强度作为该词汇的情感强度和情感类型。如果既没有在已有的情感词汇语义库中找到情感词汇，也没有相似度超出阈值的情况，则认为该文本中没有情感词汇，因此，输出的情感类型为空或中性，情感强度归零。需要说明的是，这里的输出需要与情感呈现指令决策过程相匹配，也就是说，情感呈现指令决策过程中包括允许情感类型为空或中性的情况。这里，相似度计算可以采用基于向量空间模型(vectorspacemodel，vsm)的计算方法、基于隐形语义索引模型(latentsemanticindexing，lsi)的计算方法、基于属性论的语义相似度计算方法和基于汉明距离的语义相似度计算方法中的一种或多种方法的结合。进一步地，基于匹配的情感词汇，得到情感类型。这里，除了得到情感类型之外，还可以得到情感强度和情感极性等。解析模块430，用于基于情感类型对情感信息进行意图解析，得到意图。在本发明实施例中，基于对意图的解析及预设的情感呈现指令决策过程，得到情感类型和情感强度，或者还可以得到情感极性等。意图解析可以通过文字得到，也可以通过捕捉用户的动作得到，本发明对此不作限制。具体地，可以通过对情感信息的文本信息进行分词处理、断句处理或词汇组合得到意图，也可以通过情感和用户信息中的语义内容得到意图，或者还可以通过捕捉用户的表情、动作等情感信息得到意图，本发明对此不作限制。指令生成模块440，用于基于意图及预设的情感呈现指令决策过程生成第一情感呈现指令，该第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态。在本发明实施例中，情感呈现指令决策过程是根据情感识别得到的情感状态(情感类型)、意图信息、上下文等内容生成情感呈现指令的过程。判断模块450，用于判断至少一种第一情感呈现模态是否符合情感呈现条件，如果至少一种第一情感呈现模态符合情感呈现条件，根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现；如果至少一种第一情感呈现模态不符合情感呈现条件，根据第一情感呈现指令生成第二情感呈现指令，该第二情感呈现指令包括至少一种第二情感呈现模态，至少一种第二情感呈现模态是对至少一种第一情感呈现模态进行调整得到的。呈现模块460，用于基于至少一种第二情感呈现模态进行情感呈现。根据本发明实施例提供的技术方案，能够对第一情感呈现模态是否符合情感呈现条件进行判断，并基于判断结果调整最终的情感呈现模态，因此，改善了实时性，并进一步提高了用户体验。本实施例还提供了一种电子设备，该电子设备包括上述任一种情感信息呈现装置。该电子设备可以为手机、机器人、笔记本、平板电脑等。关于电子设备中的情感信息呈现装置在此不再赘述，请参考前面的描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序校验码的介质。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。当前第1页12