通讯会话交互方法、装置、计算机设备与流程

文档序号:17247124发布日期:2019-03-30 08:52阅读:253来源:国知局
通讯会话交互方法、装置、计算机设备与流程

本申请涉及即时通讯及人工智能技术领域,特别是涉及一种通讯会话交互方法、装置、计算机设备。



背景技术:

即时通讯(instantmessaging,简称im)是一个终端服务,允许至少两个用户使用网路即时的传递文字信息、文档、语音与视频交流。即时通讯的广泛应用,例如微信、qq,极大地提升了人们的沟通效率和便捷性。

传统基于即时通讯的通讯会话交互方法中,用户需要通过会话交互对象的文字信息、文档、语音及视频等数据,分析会话交互对象的情绪。但是,对于理解用户的深层情绪,特别是一些表面“风平浪静”的言行下隐藏的情绪情感,目前还没有准确率较佳的解决方案。因此,传统基于即时通讯的通讯会话交互方法,存在交互效率低的问题。

发明数据

基于此,有必要针对上述技术问题,提供一种能够提高交互效率的通讯会话交互方法、装置、计算机设备。

一种通讯会话交互方法,所述方法包括:

获取目标会话数据;

根据所述目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对所述情感分类结果进行情感强烈程度计算,得到程度值结果;

根据所述情感分类结果及所述程度值结果,确定情绪预测结果;

将所述情绪预测结果展示在第二会话用户对应的目标终端。

一种通讯会话交互装置,所述装置包括:

会话数据获取模块,用于获取目标会话数据;

情感分类评分模块,用于根据所述目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对所述情感分类结果进行情感强烈程度计算,得到程度值结果;

情绪结果预测模块,用于根据所述情感分类结果及所述程度值结果,确定情绪预测结果;

情绪结果展示模块,用于将所述情绪预测结果展示在第二会话用户对应的目标终端。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取目标会话数据;

根据所述目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对所述情感分类结果进行情感强烈程度计算,得到程度值结果;

根据所述情感分类结果及所述程度值结果,确定情绪预测结果;

将所述情绪预测结果展示在第二会话用户对应的目标终端。

一种通讯会话交互方法,所述方法包括:

接收目标消息及情绪预测结果,所述情绪预测结果包括针对目标会话数据的情感分类结果及程度值结果,所述程度值结果为对所述情感分类结果进行情感强烈程度计算得到的结果;

展示所述目标会话数据以及所述情绪预测结果。

一种通讯会话交互装置,所述装置包括:

情绪结果接收模块,用于接收目标消息及情绪预测结果,所述情绪预测结果包括针对目标会话数据的情感分类结果及程度值结果,所述程度值结果为对所述情感分类结果进行情感强烈程度计算得到的结果;以及

会话数据展示模块,用于展示所述目标会话数据以及所述情绪预测结果。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

接收目标消息及情绪预测结果,所述情绪预测结果包括针对目标会话数据的情感分类结果及程度值结果,所述程度值结果为对所述情感分类结果进行情感强烈程度计算得到的结果;

展示所述目标会话数据以及所述情绪预测结果。

上述通讯会话交互方法、装置、计算机设备,可以使得在第一会话用户与第二会话用户进行会话期间,第二会话用户可以更好地理解第一会话用户的真实情绪和意愿,采取相应的沟通策略,便于人际沟通亲密性的深入及升级。从而,可以提高交互效率,提高用户粘度。

附图说明

图1为一个实施例中通讯会话交互方法的应用环境图;

图2为一个实施例中通讯会话交互方法的流程示意图;

图3为一具体实施例中通讯会话交互方法的一应用示例图;

图4为与图3对应的一应用示例图;

图5为一具体实施例中通讯会话交互方法的另一应用示例图;

图6为一具体实施例中通讯会话交互方法的又一应用示例图;

图7为一具体实施例中通讯会话交互方法的工作原理示意图;

图8为一运行于第二会话终端的实施例中通讯会话交互方法的流程示意图;

图9为一具体实施例中通讯会话交互方法中展示情绪预测结果的示例图;

图10为一具体实施例中通讯会话交互方法中展示情绪预测结果的另一示例图;

图11为一实施例的通讯会话交互装置的结构框图;

图12为另一实施例的通讯会话交互装置的结构框图;

图13为一个实施例中计算机设备的结构框图;

图14为另一实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的通讯会话交互方法,可用于即使通讯工具中,为通讯会话的双方或多方提供帮助。该通讯会话交互方可应用于如图1所示的应用环境中。其中,第一会话终端102与第二会话终端106分别通过网络连接至服务器104。在第一会话终端102与第二会话终端106进行通讯会话交互时,需要通过服务器104进行会话消息的转发。本申请实施例的通讯会话交互方法可以运行在第一会话终端102或第二会话终端106,也可应用于服务器104上。

以本申请实施例的通讯会话交互方法应用于服务器104为例,第一会话终端102经服务器104发送目标会话数据至第二会话终端106时,服务器104接收第一会话终端102发送的目标会话数据;根据目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对情感分类结果进行情感强烈程度计算,得到程度值结果;根据情感分类结果及程度值结果,确定情绪预测结果;将情绪预测结果展示在第二会话用户对应的目标终端,即第二会话终端106;第二会话用户为目标会话数据的当前接收方。服务器104可以将该结果展示指令发送至第二会话终端106,以使第二会话终端106展示情绪预测结果。

第一会话终端102及第二会话终端106可以但不限于是个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施方式中,如图2所示,提供了一种通讯会话交互方法,该方法可以运行于图1中的服务器104。该通讯会话交互方法,包括以下步骤:

s202,获取目标会话数据。

目标会话数据可以包括第一会话用户标识和第二会话用户标识。在目标会话数据中,可以通过第一会话用户标识来标识第一会话用户,用第二会话用户标识来标识第二会话用户。其中,第一会话用户为对其进行情绪预测的对象,第二会话用户为不同于第一会话用户的用户、且作为情绪预测结果的接收方。如,目标会话数据的会话发起方可以为第二会话用户,目标会话数据的会话反馈方为第一会话用户。又如,目标会话数据的当前接收方可以为第二会话用户,目标会话数据的当前发送方可以为第一会话用户。可以理解地,一组会话中,可以包括不少于一条消息。该目标会话数据可以是同一组会话中与第一会话用户及第二会话用户对应的会话数据。第一会话用户及第二会话用户对应的会话数据可以包括,以第一会话用户为发送方、并且以第二会话用户为接收方的会话数据。第一会话用户及第二会话用户对应的会话数据还可以包括,以第二会话用户为发送方,以第一会话用户为接收方的会话数据。

第一会话用户和第二会话用户的数量不作限制,例如,第一会话用户和第二会话用户可以是两个对话的用户,也可以是位于同一个群组的多个会话用户,第一会话用户对应的终端作为会话反馈端,第二会话用户对应的终端作为会话发起端。例如,对于以下会话:

“用户a:照片拍得不错吧?

用户b:还不错吧…

用户c:一般般吧”。

其中,用户a为会话的发起方,是目标会话数据的第二会话用户,是“照片拍得不错吧”这条消息的发送方,是“还不错吧...”和“一般般吧”这两条消息的接收方。用户b为会话的反馈方,是目标会话数据的第一会话用户,是“照片拍得不错吧”和“一般般吧”这两条消息的接收方,是“还不错吧...”这两条消息的发送方。用户c为会话的反馈方,是目标会话数据的第一会话用户,是“照片拍得不错吧”和“还不错吧...”这两条消息的接收方,是“一般般吧”这条消息的发送方。

第一会话终端为第一会话用户对应的终端。第一会话用户对应的终端可以为第一会话用户登录的终端。第一会话用户登录的终端数量至少为1。第二会话终端为第二会话用户对应的终端,也即目标终端。第二会话用户对应的终端可以为第二会话用户登录的终端。第二会话用户登录的终端数量至少为1。服务器可以是为第一会话终端及第二会话终端提供服务的设备。

s204,根据目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对情感分类结果进行情感强烈程度计算,得到程度值结果。

目标会话数据可以为视频数据、音频数据、文本数据、图片数据及表情数据等。其中,视频数据可以为在视频通话过程中实时采集的视频通话数据,也可以为以文件形式发送的视频文件数据。音频数据可以为在视频通话或语音通话过程中实时采集的语音通话数据,也可以为通过语音消息的形式发送的语音消息数据,还可以通过语音文件形式发送的语音文件数据。文本数据可以为通过文本消息的形式发送的文本消息数据。图片数据可以为以图片消息的形式发送的图片消息数据。表情数据可以为以表情消息的形式发送的表情消息数据。

可以通过对目标会话数据进行特征提取,得到待分类特征;再根据待分类特征进行情感分类,从而确定目标会话数据的情感分类结果。根据待分类特征进行情感分类时,可以通过情感分类算法,也可以通过情感分类器。如,可以为情感分类结果包括7个类别的七类情感分类器,也可可以为情感分类结果包括5个类别的五类情感分类器。为了提高分类的准确性,从而进一步提高交互效率,情感分类器可以为基于神经网络的情感分类器。该基于神经网络的情感分类器可以是根据训练样本进行训练得到的,该训练样本包括待训练分类特征及标签。待训练分类特征与待分类特征的数据结构相同,该标签为针对该待训练分类特征的目标分类结果。目标分类结果是训练过程中期望得到的分类结果。

针对第一会话用户的情感分类结果,可以是针对第一会话用户的会话消息进行情感分类结果,即第一会话用户对应的会话用户的情感分类结果。情感分类结果可以包括生气、害怕、悲伤、惊讶、开心,还可以包括轻蔑、愤怒等情感。进一步地,情感分类结果还可以包括无情感,如可以称为平静。

可以根据目标会话数据,采用情感强烈程度计算算法,进行情感强烈程度计算,得到程度值结果。还可以根据目标会话数据,通过神经网络表达程度模型,进行情感强烈程度计算。该神经网络表达程度模型可以是根据训练样本进行训练得到的,该训练样本包括训练数据及目标结果,训练数据与情感分类结果的数据结构相同,目标结果为训练过程中期望得到的程度值结果。

程度值结果可以通过0-100的数值表现,也可以通过0到100%的百分比表现,还可以通过0到1的实数表现。程度值结果还可以通过等级的形式表现,如一级、二级、三级等;又如,轻度、中等、重度等。

s206,根据情感分类结果及程度值结果,确定情绪预测结果。

当目标会话数据的数据类型为一种数据类型时,可以根据该数据类型的目标会话数据针对第一会话用户的情感分类结果及程度值结果,得到情绪预测结果。

当目标会话数据的数据类型为至少两种数据类型时,可以根据各数据类型的目标会话数据对应的权值,对各类程度值结果进行加权处理,得到综合预测结果,即情绪预测结果。可以基于权重模型,根据情感分类结果及程度值结果,确定情绪预测结果。即可以基于权重模型,对各类程度值结果进行加权处理,得到情绪预测结果。该权重模型可以通过对训练样本进行训练得到,该训练样本包括训练数据及目标结果,训练数据与各类程度值结果的数据结构相同,目标结果为训练过程中期望得到的情绪预测结果。该权重模型可以为基于神经网络的模型,如深度神经网络模型、卷积神经网络模型等。

情绪预测结果可以包括情感类别及情绪强烈程度值。当目标会话数据的数量为一条时,可以根据该情感分类结果确定情绪,并根据程度值结果确定情绪强烈程度。当目标会话数据的数量为大于一条时,需要对各情感分类结果及程度值结果进行综合分析,确定情绪预测结果。如,可以通过权重模型对各情感分类结果及程度值结果进行综合分析,确定情绪预测结果。

s208,将情绪预测结果展示在第二会话用户对应的目标终端。

第二会话用户对应的目标终端可以为第二会话用户登录的终端,也即第二会话终端。第二会话用户为目标会话数据的发起方。

目标终端展示情绪预测结果的方式,可以通过图、表或文字形式进行展示。为了使得用户能够直观地了解到情绪预测结果,进一步提高交互效率,采用图表形式展示情绪预测结果。如,展示情绪预测结果的形式可以为通过柱状图的形式展示,也可以为通过比例图的形式展示。情绪预测结果可以包括情绪及情绪程度,其中情绪可以为肯定、否定、无奈、理解、生气等。情绪程度可以通过0到100%的百分比表示,也可以通过0-100的数值表现,还可以通过0到1的实数表现。程度值结果还可以通过等级的形式表现,如一级、二级、三级等;又如,轻度、中等、重度等。

服务器根据情感分类结果及程度值结果,确定情绪预测结果之后,可以将该情绪预测结果发送至目标终端,使得目标终端展示情绪预测结果。服务器根据情感分类结果及程度值结果,确定情绪预测结果之后,还可以根据情绪预测结果,确定结果展示指令,并根据第二会话用户标识,发送该结果展示指令,该结果展示指令用于指示目标终端展示情绪预测结果,如此,使得目标终端接收该结果展示指令,并根据该结果展示指令,展示情绪预测结果。

基于本实施例的通讯会话交互方法,获取目标会话数据;根据目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对情感分类结果进行情感强烈程度计算,得到程度值结果;根据情感分类结果及程度值结果,确定情绪预测结果;将情绪预测结果展示在第二会话用户对应的目标终端;第二会话用户为目标会话数据的发起方。因此,在第一会话用户与第二会话用户进行会话期间,目标终端对应的第二会话用户可以更好地理解第一会话用户的真实情绪和意愿,采取相应的沟通策略,便于人际沟通亲密性的深入及升级。从而,可以提高交互效率,提高用户粘度。

在其中一实施例中,结果展示指令还可用于指示第一会话用户对应的第一会话终端展示情绪预测结果。也即,还可以将该情绪预测结果展示在第一会话用户对应的第一会话终端。如此,使得第一会话用户知晓交互对象接收到的针对自己的情绪预测结果,从而进一步提高交互效率。

在其中一实施例中,还可以根据情绪预测结果,将推荐信息展示在目标终端。服务器可以通过发送结果展示指令的方式,指示目标终端展示推荐信息。该推荐信息可以为推荐的社交圈信息,如针对总是惹怒沟通对象的用户,可以推荐沟通技巧相关的社交圈。如此,可以在一定程度上满足用户的社交需求,从而可以提高用户粘度。

在其中一实施例中,还包括:根据情绪预测结果,确定行为预测结果,并将行为预测结果展示在目标终端。

服务器根据情绪预测结果,确定针对第一会话用户的行为预测结果。可以通过服务器将该行为预测结果发送至目标终端,使得目标终端展示该行为预测结果。还可以通过服务器根据行为预测结果及情绪预测结果,确定结果展示指令,并将该结果展示指令发送至目标终端,该结果展示指令还用于指示第二会话用户对应的目标终端展示行为预测结果,使得目标终端展示预测结果的方式,将行为预测结果展示在目标终端。

行为预测结果为对用户的行为进行预测的结果。行为预测结果为在情绪预测结果对应的情绪下,对第一会话用户可能做出的行为的预测结果。如当某一种情感类别的程度值结果大于一个预设值时,第一会话用户可能做出的行为;又如,当几种情感类别同时存在时,第一会话用户可能做出的行为。在本实施例中,根据针对第一会话用户的情绪预测结果,可以对第一会话用户的行为进行预测,得到针对第一会话用户的行为预测结果。其中,对第一会话用户的行为进行预测时,可以采用行为预测算法对第一会话用户的行为进行预测,也可以采用行为预测模型对第一会话用户的行为进行预测。为了提高行为预测的准确性,从而提高交互效率,其中,行为预测模型可以为基于神经网络的模型,该行为预测模型可以为对训练样本进行训练后得到的神经网络模型。

目标终端可以在会话交互界面,展示行为预测结果。该行为预测结果展示的区域可以是在目标会话数据中当前消息的展示区域的附近。如当前消息显示区域与下一消息显示区域之间;又如,当前消息左侧、右侧、下方或上方预设距离之内的范围。其中,下一消息为目标会话数据中当前消息之后的一条消息。如此,使得第二会话用户可以直观地确定该行为预测结果,是针对哪个用户哪条消息的行为预测,从而进一步提高交互效率,提高用户粘度。

在其中一实施例中,情绪预测结果携带时间信息。根据情绪预测结果,确定针对第一会话用户的行为预测结果,可以是根据预设时间段内的情绪预测结果,确定针对第一会话用户的行为预测结果。预设时间段可以为自一次新的会话交互开始,到获取到目标会话数据。预设时间段还可以为自预设时间开始,到获取到目标会话数据,其中预设时间可以为第二会话用户设置的时间点。第二会话用户可以基于会话交互页面内的会话交互消息,对预设时间进行设置。如,可以长按一条会话交互消息,在弹出的菜单中选择设置为行为预测起始点的方式对预设时间进行设置。第二会话用户还可以基于配置信息对预设时间进行设置,如通过配置页面中的情绪识别模式的开启,确定预设时间。预设时间段还可以由执行终端根据会话数据内容确定,如自会话数据中包括询问的关键词时开始,到获取到反馈方反馈的消息。进一步地,采用行为预测模型对第一会话用户的行为进行预测时,该行为预测模型可以为基于时序特征的神经网络模型。

在其中一实施例中,还可以将行为预测结果展示在第一会话终端。如此,使得第一会话用户知晓交互对象接收到的针对自己的行为预测结果,从而进一步提高交互效率,提高用户粘度。

在其中一个实施例中,根据情绪预测结果,确定行为预测结果,包括:根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型;根据所述程度值结果大于预设值的情感类别,确定针对第一会话用户的一个或多个行为预测结果,所述行为预测结果展示所述第一会话用户可能做出的行为。

根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型,如,开心、生气、伤心、懊恼等情感类型。根据这些情感类型中程度值结果大于预设值的情感类型,确定行为预测结果。假设预设值为50%,开心对应的程度值结果为70%、生气对应的程度值结果为10%、伤心对应的程度值结果为10%、懊恼对应的程度值结果为10%,其中,开心的程度结果值大于预设值50%,此时,根据该情感类别为开心,确定与情感类别对应的行为预测结果。该行为预测结果可以为送礼物、送飞吻、拥抱、蹦跳、跳跃等动作。

可以理解,在其他实施例中,还可以仅根据第一会话用户的情感分类结果,即情感类型,例如开心、生气、伤心、懊恼等情感类型,确定与情感类别对应的行为预测结果。更具体如,当第一会话用户的情感类型是开心时,确定第一会话用户的行为可能是送礼物、送飞吻、拥抱、蹦跳、跳跃、扔鸡蛋、吃后悔药等动作,此时,还需要根据第一会话用户与第二会话用户的用户标签,识别或调用用户之间的关系信息,来确认最终展示在用户终端的行为预测结果。

行为预测结果,可以是以文本方式展示,也可以是以图片、音频或字符方式展示。

在其中一实施例中,根据情绪预测结果,确定建议信息,并将行为预测结果展示在目标终端。

服务器根据情绪预测结果,确定针对第一会话用户或第二会话用户的行为建议信息。可以通过服务器将该建议信息发送至目标终端,使得目标终端展示该建议信息。还可以通过服务器根据建议信息及情绪预测结果,确定结果展示指令,并将该结果展示指令发送至目标终端,该结果展示指令还用于指示第二会话用户对应的目标终端展示建议信息,使得目标终端展示建议信息的方式,将建议信息展示在目标终端。

建议信息可以为当情绪预测结果超过阈值时,提示情绪超过阈值的提示信息。该提示信息可以为某种情绪超过阈值;还可以为某种情绪超过阈值,建议如何做,如取消计划、行程,或执行计划、行程等。建议信息的确定可以是通过预先设置的策略进行确定,如,当交互内容包括计划时,若情绪预测结果中否定情绪超过阈值,则建议取消计划。建议信息还可以采用训练好的神经网络模型进行确定,该神经网络模型的输入可以为情绪预测结果及目标会话数据,输出结果为建议信息。

建议信息还可以是根据情绪预测结果中的情感分类结果,在互联网中搜索对应情感的安慰方式或应对方式而确定。

如此,可在情绪预测结果的基础上,为用户在会话沟通过程中,提供建议性指导,使得第二会话用户可以直观地了解到针对第一会话用户的沟通建议,便于人际沟通亲密性的深入及升级。从而,可以提高交互效率,提高用户粘度。

在其中一实施例中,根据情绪预测结果,确定建议信息,包括:根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型;根据所述情绪预测结果中的程度值结果大于预设值的情感类别,确定针对第一会话用户或第二会话用户的一个或多个建议信息。

在本实施例中,根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型,根据这些情感类型中程度值结果大于预设值的情感类型,确定针对第一会话用户或第二会话用户的一个或多个建议信息。如,当针对第一会话用户的情绪预测结果中,生气的程度值结果大于预设值50%时,确定第二会话用户应该先进行情绪安抚,此时提供给第二会话用户的建议信息是与情绪安抚相关的信息,例如道歉或抚摸等。进一步,还可以确定第一会话用户应该保持冷静,此时,提供给第一会话用户的建议信息可以是劝慰用户别生气的相关信息,例如,耐心等待对方解释、散散心、听听音乐等。

可以理解,在其他实施例中,还可以仅根据第一会话用户的情感分类结果,即情感类型,例如开心、生气、伤心、懊恼等情感类型,确定与情感类别对应的建议信息。更具体如,当第一会话用户的情感类型是生气时,确定第二会话用户应该先进行情绪安抚,此时提供给第二会话用户的建议信息是与情绪安抚相关的信息,例如道歉或抚摸等。又如,当第一会话用户的情感类型是生气时,确定第一会话用户应该保持冷静,此时,提供给第一会话用户的建议信息可以是劝慰用户别生气的相关信息,例如,耐心等待对方解释、散散心、听听音乐等。

建议信息可以为当第一会话用户的某种情感类别大于预设值时,对第二会话用户进行建议的信息。该建议信息还可以为,提示某一情感类别的情绪超过阈值的提示信息。该提示信息可以为某种情感类别的情绪超过阈值;还可以为某种情感类别的情绪超过阈值,建议如何做,如取消计划、行程,或执行计划、行程等。该建议信息的确定可以是通过预先设置的策略进行确定,如,当交互内容包括计划时,若情绪预测结果中否定情绪超过阈值,则建议取消计划。

在其中一实施例中,还包括,根据情绪预测结果,确定情绪还原结果,并将行为预测结果展示在目标终端。

服务器根据情绪预测结果,确定对第一会话用户的情绪还原结果。可以通过服务器将该情绪还原结果发送至目标终端,使得目标终端展示该情绪还原结果。还可以通过服务器根据情绪还原结果及情绪预测结果,确定结果展示指令,并将该结果展示指令发送至目标终端,该结果展示指令还用于指示第二会话用户对应的目标终端展示情绪还原结果,使得目标终端展示情绪还原结果的方式,将情绪还原结果展示在目标终端。

情绪还原结果为对用户的情绪进行还原的结果。服务器可以根据针对第一会话用户的情绪预测结果,对第一会话用户的情绪进行还原。目标终端可以通过表情图像的方式表达情绪还原结果。如此,在第一会话用户与第二会话用户进行会话期间,根据情绪预测结果,使得第二会话用户对应的目标终端,可以通过表情图像的形式展示情绪还原结果,还原用户沟通过程中的实时表情。如,可以通过将用户头像替换为表情图像的方式展示情绪还原结果。从而,可以提高交互效率,提高用户粘度。

在其中一实施例中,根据情绪预测结果,确定情绪还原结果,包括:根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型;根据情绪预测结果中的程度值结果大于预设值的情感类别,确定与情感类别对应的情绪还原图片;情绪还原图片包括表情图片。

在本实施例中,根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型,根据这些情感类型中程度值结果大于预设值的情感类型,确定与情感类别对应的情绪还原图片。如,当针对第一会话用户的情绪预测结果中,生气的程度值结果大于预设值50%时,确定第一会话用户对应的情绪还原图片为生气的表情图片。

可以理解,在其他实施例中,还可以仅根据情感分类结果,即情感类型,例如开心、生气、伤心、懊恼等情感类型,确定与情感类别对应的情绪还原图片。

在本实施例中,情绪还原结果包括情绪预测结果中的程度值结果大于预设值的情感类别对应过的表情图片。如此,使得第二会话用户对应的目标终端,可以通过表情图片的形式展示情绪还原结果,还原用户沟通过程中的实时表情。如,可以通过将用户头像替换为表情图像的方式展示情绪还原结果。从而,可以提高交互效率,提高用户粘度。

在其中一实施例中,获取目标会话数据;根据目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果;对情感分类结果进行情感强烈程度计算,得到程度值结果;根据情感分类结果及程度值结果,确定情绪预测结果;根据情绪预测结果,确定行为预测结果、建议信息及情绪还原结果中的至少两种,将情绪预测结果,以及行为预测结果、建议信息及情绪还原结果中的至少两种,展示在第二会话用户对应的目标终端。

如此,使得第二会话用户可以直观地了解到针对第一会话用户的行为预测结果、沟通建议、情绪还原结果中的至少两项,便于人际沟通亲密性的深入及升级。从而,可以提高交互效率,提高用户粘度。

一个应用示例应用于夫妻之间的交互示例,可以如图3至4所示,通过将用户头像替换为表情图像的方式展示情绪还原结果。图3和图4分别为第一会话用户和第二会话用户对应的终端。其中,第一会话用户为图4中的“老婆”,图4中的终端为第二会话终端,是“老公”的手机,第二会话用户为图3中的“老公”,图3中的终端为第一会话终端,是“老婆”的手机。在老公说了“老婆我今天下班跟同事打篮球ok吗?”之后,对老婆回复的“我随便呀,你开心就好”进行情感分类、情感强烈程度计算,并确定情绪预测结果,该情绪预测结果为愤怒情绪占80%,理解情绪占20%。根据情绪预测结果,确定的针对第一会话用户的建议信息为“愤怒情绪超过阈值”;根据情绪预测结果,确定的针对第一会话用户的行为预测结果为“老婆开心了”。根据情绪预测结果,确定的对第一会话用户的情绪还原结果为在消息旁边显示的表情图像。

一个应用于好朋友之间的交互示例可以如图5所示,其中,第一会话用户为“郑大钱”,第二会话用户为“龙哥”,图5所示的交互界面为第二会话用户对应的界面。当第二会话用户说“照片拍的不错吧,等下我发个朋友圈”,第一会话用户表示“恩,还不错吧...”时,展示的情绪预测结果为无奈情绪占80%,生气情绪占20%;展示的建议信息为“无奈情绪超过阈值”。

一个应用于同事之间的交互示例可以如图6所示,其中,dodo为第一会话用户,图6所示的交互界面为第二会话用户对应的界面。当第一会话用户对第二会话用户发送的双周总结报告表示“差不多吧”时,展示的情绪预测结果为否定情绪占60%,肯定情绪占40%;展示的建议信息为“否定情绪超过阈值”。

在其中一实施例中,获取目标会话数据,包括:获取通讯会话交互模式;根据通讯会话交互模式,获取目标会话数据,该目标会话数据包括视频数据、音频数据及文本数据中的至少一种数据类型。

通讯会话交互模式可以与目标会话数据中包括的数据类型对应。如此,可以根据会话交互模式,获取对应数据类型的目标会话数据。如,通讯会话交互模式可以包括表情捕获模式、视频对话模式及普通聊天模式。其中表情捕获模式对应的目标会话数据包括视频数据及文本数据。视频对话模式对应的目标会话数据包括视频数据及语音数据。普通聊天模式对应的目标会话数据包括音频数据及文本数据。

获取通讯会话交互模式的方式,可以通过查找用户配置信息的方式获取,还可以通过会话交互中的交互数据的数据类型确定。

视频数据可以为在视频通话过程中实时采集的视频通话数据,也可以为以文件形式发送的视频文件数据。音频数据可以为在视频通话或语音通话过程中实时采集的语音通话数据,也可以为通过语音消息的形式发送的语音消息数据,还可以通过语音文件形式发送的语音文件数据。文本数据可以为通过文本消息的形式发送的文本消息数据。

进一步地,目标会话数据包括视频数据、音频数据及文本数据中的至少两种数据类型。由于在目标会话数据包括至少两种数据类型,可以在确定情绪预测结果时,综合至少两种数据类型对应的情感分类结果及程度值结果。因此,可以使得情绪预测结果更为准确,从而进一步提高交互效率,提高用户粘度。

在其中一实施例中,获取目标会话数据,包括:获取通讯会话交互模式;根据通讯会话交互模式,实时提取会话关键信息;根据会话关键信息获取目标会话数据,该目标会话数据包括视频数据、音频数据及文本数据中的至少一种数据类型。该关键信息可以为关键词,也可以为视频会话中的关键帧图片等。如此,获取关键的会话数据即可,而无需获取全部的会话数据。因此,可以节约系统资源,提高系统处理效率,从而提高通讯会话交互的效率。

在其中一实施例中,根据目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对情感分类结果进行情感强烈程度计算,得到程度值结果,包括:根据不少于两种数据类型的目标会话数据进行情感分类,确定针对第一会话用户的第一情感分类结果;对第一情感分类结果进行情感强烈程度计算,得到第一程度值结果;对目标会话数据中的每一种数据类型的数据分别进行情感分类,确定各第二情感分类结果,并分别对第二情感分类结果进行行情感强烈程度计算,对应得到各第二程度值结果。

可以通过一个输入包括不少于两种数据类型的目标会话数据的神经网络,确定针对第一会话用户的第一情感分类结果。可以通过一个输入为第一情感分类结果、输出为第一程度值结果的神经网络模型,确定第一程度值结果。可以分别通过输入仅包括目标会话数据中一种数据类型的数据的神经网络模型,确定第二情感分类结果,并得到对应的第二程度值结果。

根据情感分类结果及程度值结果,确定情绪预测结果,包括:根据第一分类结果、对程度值结果、第二分类结果及第二程度值结果,确定情绪预测结果。可以通过对整体预测结果的第一分类结果及第一程度值结果,以及对单独预测结果的各第二分类结果及第二程度值结果,进行加权的方式确定情绪预测结果。其中加权的方式可以采用预设加权策略,预设加权策略可以基于权重模型确定。该权重模型可以通过对训练样本进行训练得到,该训练样本包括训练数据及目标结果,训练数据可以包括第一分类结果、第一程度值结果、第二分类结果及第二程度值结果,目标结果为训练过程中期望得到的情绪预测结果。

基于本实施例的通讯会话交互方法,由于情绪预测结果基于对整体目标会话数据的第一情感分类结果、第一程度值结果,以及对目标会话数据中的单一数据类型的第二情感分类结果及第二程度值结果确定,如此,综合考虑整体及个别的因素,能够进一步提高预测的预测结果更为准确,从而进一步提高交互效率,提高用户粘度。

在其中一实施例中,根据目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,包括:根据目标会话数据包括的数据类型,对目标会话数据进行预处理,得到预处理结果;根据目标会话数据包括的数据类型,对预处理结果进行情感分类,确定针对第一会话用户的情感分类结果。该预处理可以为对目标会话数据进行特征提取及相关处理,该预处理结果可以为特征提取的结果,如此可以方便对预处理结果进行情感分类。

在其中一实施例中,根据目标会话数据包括的数据类型,对目标会话数据进行预处理,得到预处理结果,包括以下三种情况中的至少一种:

当目标会话数据包括视频数据时:从视频数据中提取时间信息及时间信息对应的面部图像;提取面部图像中的面部表情特征;根据时间信息及面部表情特征,生成表情时序特征。可以理解地,表情时序特征包括时间信息及面部表情特征。如此,可以提高情感分类结果的准确性,从而提高交互效率,提高用户粘度。可以通过先对单个时间信息对应的视频帧中的人脸进行定位,再提取该时间信息对应的面部图像。如此,从视频数据中提取时间信息及时间信息对应的面部图像。

当目标会话数据包括音频数据时:从音频数据中提取第一会话用户对应的语音数据;从语音数据中提取声纹信息特征。如此,可以提高情感分类结果的准确性,从而提高交互效率,提高用户粘度。第一会话用户对应的语音数据为,音频数据中第一会话用户发出的语音信号的语音数据。由于音频数据中往往不仅包含第一会话用户发出的语音信号的语音数据,还可能会包括噪音、其它人员的语音数据,在本实施例中,提取第一会话用户对应的语音数据,如此,可以提高情感分类结果的准确性,从而提高交互效率,提高用户粘度。声纹(voiceprint),是指携带言语信息的声波频谱。该声波频谱可用电声学仪器显示。声纹信息特征可以包括韵律特征、音质特征、谱特征等中的至少一种。在其中一实施例中,从语音数据中提取声纹信息特征之后,还可以包括:根据声纹信息特征确定气息变化信息,当气息变化信息异常时,判断潜在身体病变得到判断结果,并根据该判断结果确定病变显示指令,该病变显示指令用于指示第一会话终端显示该判断结果。气息变化信息异常可以是气息变化超过预设阈值的情况。如此,使得第一会话用户能够知晓潜在身体病变情况,对潜在病变具有一定的监控作用。从而,可以进一步提高用户粘度。

当目标会话数据包括文本数据时:从文本数据中提取关键词特征。如此,可以提高情感分类结果的准确性,从而提高交互效率,提高用户粘度。进一步地,从文本数据中提取关键词特征,可以包括:对文本数据进行语义分析,确定文本数据的主题词;提取与该主题词相关联的关键词特征。如此,进一步提高情感分类结果的准确性,从而进一步提高交互效率,提高用户粘度。

进一步地,在根据目标会话数据包括的数据类型,对预处理结果进行情感分类,确定情感分类结果时,可以基于神经网络模型及目标会话数据包括的数据类型,对应根据表情时序特征、声纹信息特征及关键词特征中的至少两种,确定针对第一会话用户的视频数据的情感分类结果。该神经网络模型可以通过训练样本训练得到,该训练样本包括训练数据及目标结果。该训练数据包括表情时序特征、声纹信息特征及关键词特征,该目标结果为该训练数据在训练过程中期望的情感分类结果。为进一步提高交互效率及用户粘度,该神经网络模型可以为深度神经网络模型。

在其中一实施例中,根据情感分类结果及程度值结果,确定情绪预测结果,包括:对情感分类结果中各类情感对应的程度值结果进行加权,确定情绪预测结果。如此,可以提高情感分类结果的准确性,从而提高交互效率,提高用户粘度。

可以采用预设的权重情感分类结果中各类情感对应的程度值结果进行加权,也可以采用权重模型情感分类结果中各类情感对应的程度值结果进行加权。其中权重模型可以为神经网络模型,该神经网络模型通过训练样本训练得到。该训练样本包括训练数据及目标结果,该训练数据的数据结构与情感分类结果中各类情感对应的程度值结果相同,该目标结果为训练过程中期望的情绪预测结果。如此,可以进一步提高情感分类结果的准确性,从而进一步提高交互效率,提高用户粘度。

在其中一实施例中,将情绪预测结果展示在第二会话用户对应的目标终端,包括:获取第一会话用户或/及第二会话用户对应的情绪识别模式状态信息;当情绪识别模式状态信息为开启状态时,将情绪预测结果展示在第二会话用户对应的目标终端。

可以通过在第一会话终端或/及第二会话终端(即目标终端)的交互界面或/及配置界面提供开关控件(如图3至6中的识别模式开关控件)的方式,对应接收第一会话用户或/及第二会话用户输入的模式状态设置指令,该模式状态设置指令中携带情绪识别模式状态信息。本实施例的方法,获取第一会话用户或/及第二会话用户对应的情绪识别模式状态信息,当情绪识别模式状态为开启状态时,将情绪预测结果展示在第二会话用户对应的目标终端。当情绪识别模式状态为开启状态时,通讯会话交互模式可以具体为表情捕获模式、视频对话模式或普通聊天模式。如此,用户可以根据实际需求开启情绪识别模式,进行情绪预测,从而进一步提高用户粘度。

在其中一实施例中,对目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,包括:基于神经网络模型对目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果。如此,提高情感分类结果的准确性,从而提高交互效率,提高用户粘度。进一步地,该神经网络模型为深度神经网络模型时,相对其它神经网络模型,其准确性更高。

在其中一实施例中,对情感分类结果进行情感强烈程度计算,得到程度值结果,包括:基于神经网络模型对情感分类结果进行情感强烈程度计算,得到程度值结果。如此,提高情感分类结果的准确性,从而提高交互效率,提高用户粘度。进一步地,该神经网络模型为深度神经网络模型时,相对其它神经网络模型,其准确性更高。

在其中一实施例中,确定情绪预测结果之后,还可以包括:获取针对情绪预测结果的反馈信息。反馈信息可以包括结果准确性信息或/及结果满意度信息。如此,可以使执行终端根据该反馈信息对情感分类、情感强烈程度计算、情绪预测结果中的至少一项进行进一步优化,如此提高情绪预测结果的准确性,从而进一步提高交互效率。反馈信息可以由第一会话用户终端接收,如此,通过第一会话用户自己对自己的情绪进行反馈,反馈信息的准确性更高,从而可以进一步提高交互效率。可以理解地,反馈信息也可以由第二用户终端接收。

更进一步地,反馈信息还可以包括反馈用户标识。反馈用户标识为对情绪预测结果进行反馈的用户对应的用户标识。该反馈用户标识可以为第一会话用户标识,也可以为第二会话用户标识。如此,使得交互双方都能对情绪预测结果进行反馈,可以经一部提高情绪预测结果的准确性,从而进一步提高交互效率,提高用户粘度。

可以理解地,反馈信息还可以包括目标反馈标识,该目标反馈标识为情绪预测结果的预测对象的用户标识,在本实施例中,目标反馈标识的值等于第一会话用户标识。如此,可以有针对性地针对预测对象的情绪预测结果进行反馈,进而可以使执行终端有针对性地根据该反馈信息对情感分类、情感强烈程度计算、情绪预测结果中的至少一项进行进一步优化。如此提高情绪预测结果的准确性,从而进一步提高交互效率,提高用户粘度。

在其中一实施例中,获取针对情绪预测结果的反馈信息,之后还包括:根据反馈信息,确定是否更新神经网络模型。当反馈信息满足预设条件时,确定需要更新进行情感分类、情感强烈程度计算、情绪预测、行为预测、建议信息或/及情绪还原的神经网络模型;否则,不需要更新神经网络模型。预设条件可以为反馈信息为对结果不满意,或对结果不满意的次数达到预设值,等等。如此,可以进一步提高情绪预测结果的准确性,从而进一步提高交互效率,提高用户粘度。

在其中一具体实施例中,该通讯会话交互方法,包括:

获取通讯会话交互模式;

根据通讯会话交互模式,实时提取会话关键信息;

根据所述会话关键信息获取目标会话数据;目标会话数据包括视频数据、音频数据及文本数据中的至少两种数据类型;

当目标会话数据包括视频数据时:从视频数据中提取时间信息及时间信息对应的面部图像;提取面部图像中的面部表情特征;根据时间信息及面部表情特征,生成表情时序特征;

当目标会话数据包括音频数据时:从音频数据中提取第一会话用户对应的语音数据;从语音数据中提取声纹信息特征;

当目标会话数据包括文本数据时:对文本数据进行语义分析,确定文本数据的主题词;提取与该主题词相关联的关键词特征;

根据目标会话数据包括的数据类型,对应根据表情时序特征、声纹信息特征及关键词特征中的至少两种,确定针对第一会话用户的第一情感分类结果;

对第一情感分类结果进行情感强烈程度计算,得到第一程度值结果;

对目标会话数据中的每一种数据类型的数据分别进行情感分类,确定针对第一会话用户的各第二情感分类结果,并分别对第二情感分类结果进行情感强烈程度计算,对应得到各第二程度值结果;

根据第一分类结果、对程度值结果、第二分类结果及第二程度值结果,确定情绪预测结果;

根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型;

根据所述程度值结果大于预设值的情感类别,确定针对第一会话用户的一个或多个行为预测结果,所述行为预测结果展示所述第一会话用户可能做出的行为;

根据所述情绪预测结果中的程度值结果大于预设值的情感类别,确定针对第一会话用户或第二会话用户的一个或多个建议信息;根据所述情绪预测结果中的程度值结果大于预设值的情感类别,确定与所述情感类别对应的情绪还原图片;所述情绪还原图片包括表情图片;

将情绪预测结果、行为预测结果、建议信息及情绪还原结果,展示在第二会话用户对应的目标终端。

如图7所示,在该具体实施例中,情绪识别模式包括表情捕获模式、视频对话模式及普通聊天模式。其中表情捕获模式对应的目标会话数据包括视频数据及文本数据。即当通讯会话交互模式为表情捕获模式时,需要进行标识识别及文本情感识别。视频对话模式对应的目标会话数据包括视频数据及语音数据。即当通讯会话交互模式为视频对话模式时,需要进行表情识别及语音情绪识别。普通聊天模式对应的目标会话数据包括音频数据及文本数据。即当通讯会话交互模式为普通聊天模式时,需要进行运语音情绪识别及文本情感识别。

当目标会话数据包括视频数据进行表情识别时,可以通过调起摄像头录像的方式采集视频信息,而获取到目标会话数据。

当目标会话数据包括音频数据进行音频情绪识别时,可以通过调起麦克风采集音频信息,而获取到目标会话数据。

当目标会话数据包括文本数据进行文本情感识别时,可以通过捕获录入的文本数据,或通过获取接收的文本数据形式的消息的方式,而获取到目标会话数据。

将对目标会话数据进行预处理后得到的表情时序特征、声纹信息特征及关键词特征中的至少两种输入到整体预测神经网络模型,确定针对第一会话用户的第一情感分类结果;

基于用于情绪强烈程度评分的神经网络模型,对第一情感分类结果进行情感强烈程度计算,得到第一程度值结果;

将对目标会话数据进行预处理后得到的表情时序特征、声纹信息特征及关键词特征中的至少两种,按照数据类型,分别输入到单类预测神经网络模型,确定对第一会话用户的第二情感分类结果,及对应的第二程度值结果;

基于权重模型,根据第一分类结果、对程度值结果、第二分类结果及第二程度值结果,确定情绪预测结果;

基于神经网络模型,根据情绪预测结果,确定针对第一会话用户的行为预测结果、建议信息及情绪还原结果。在该具体实施例中,可以将通过神经网络模型得到的行为预测结果、建议信息及情绪还原结果的数值表示形式,映射为对应的表情图像或转化为自然语言的形式进行展示。

对应地,如图8所示,本申请还提供一种通讯会话交互方法,该方法可运行于图1中的第二会话终端,即目标终端。该方法包括:

s802,接收目标消息及情绪预测结果。情绪预测结果包括针对目标会话数据的情感分类结果及程度值结果,程度值结果为对情感分类结果进行情感强烈程度计算得到的结果。目标消息可以为目标会话数据中接收方包括第二会话用户的消息。情感分类结果可以是对目标会话数据中来自第一会话用户的会话数据进行情感分类而确定的。目标会话数据及情绪预测结果可以一起接收,也可以分别接收。目标会话数据可以包括第一会话用户标识和第二会话用户标识。在目标会话数据中,可以通过第一会话用户标识来标识第一会话用户,用第二会话用户标识来标识第二会话用户。其中,第一会话用户为对其进行情绪预测的对象,第二会话用户为不同于第一会话用户的用户、且作为情绪预测结果的接收方。如,目标会话数据的会话发起方可以为第二会话用户,目标会话数据的会话反馈方为第一会话用户。又如,目标会话数据的当前接收方可以为第二会话用户,目标会话数据的当前发送方可以为第一会话用户。可以理解地,一组会话中,可以包括不少于一条消息。该目标会话数据可以是同一组会话中与第一会话用户及第二会话用户对应的会话数据。第一会话用户及第二会话用户对应的会话数据可以包括,以第一会话用户为发送方、并且以第二会话用户为接收方的会话数据。第一会话用户及第二会话用户对应的会话数据还可以包括,以第二会话用户为发送方,以第一会话用户为接收方的会话数据。

s804,展示目标会话数据以及情绪预测结果。

在第二会话终端接收到目标会话数据之后,需要展示该会话数据。在第二会话终端接收到情绪预测结果之后,展示该情绪预测结果。

可以在目标消息对应的展示区域,展示情绪预测结果。目标消息对应的展示区域可以为目标消息显示区域的附近。如目标消息显示区域与下一消息显示区域之间;又如,目标消息左侧、右侧、下方或上方预设距离之内的范围。其中,下一消息为目标会话数据中当前消息之后的一条消息。如此,使得第二会话用户可以直观地确定该情绪预测结果,是针对哪个用户的哪条消息的情绪预测,从而进一步提高交互效率,提高用户粘度。

基于本实施例的通讯会话交互方法,接收目标消息及情绪预测结果,所述情绪预测结果包括针对目标会话数据的情感分类结果及程度值结果,所述程度值结果为对所述情感分类结果进行情感强烈程度计算得到的结果;展示目标会话数据以及情绪预测结果。如此,可以使得在第一会话用户与第二会话用户进行会话期间,第二会话用户可以更好地理解第一会话用户的真实情绪和意愿,采取相应的沟通策略,便于人际沟通亲密性的深入及升级。从而,可以提高交互效率,提高用户粘度。

在其中一实施例中,进一步包括:

接收行为预测结果、建议信息、情绪还原结果中的至少一项,其中,行为预测结果、建议信息、情绪还原结果,分别为根据情绪预测结果,确定的针对第一会话用户的行为预测、建议、情绪还原的结果;以及

展示第一会话用户的行为预测结果、建议信息、情绪还原结果中的至少一项。

如此可在情绪预测结果的基础上,为用户在会话沟通过程中,展示行为预测结果、建议信息、情绪还原结果中的至少一项,如此使得第二会话用户可以更进一步地理解第一会话用户的真实情绪和意愿,采取相应的沟通策略,便于人际沟通亲密性的深入及升级。从而,可以进一步地提高交互效率,提高用户粘度。

在其中一实施例中,为方便第二用户理解,提高交互效率,提高用户粘度。展示情绪预测结果的方式,包括根据所述情绪预测结果,以图表的形式展示各情感类别对应的所述程度值结果。如,可以是以下任意一种:

(1)、根据情绪预测结果,以柱状图的形式展示各情感类别对应的程度值结果。

(2)、根据情绪预测结果,以比例图的形式展示各情感类别对应的程度值结果。

由于通过图表的显示方式可以使得用户更清楚明了的了解到交互对象的情绪预测结果,从而,可以进一步提高交互效率,提高用户粘度。

在其中一具体实施例中,如图9所示,当目标会话数据包括视频数据时,可以采用柱状图的形式展示情绪预测结果。柱状图中的类别及类别数量与情感分类结果中的情感类别及类别数量对应。

在其中一具体实施例中,如图10所示,当目标会话数据包括音频数据时,可以采用比例图的形式展示情绪预测结果。通过在比例图中的情绪及情绪强烈程度,体现情绪预测结果。

本申请还可以应用于市民通过即时通讯工具报警时,分析报警者情绪情况,判断报警事件的严重程度。

应该理解的是,虽然图2、8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图11所示,提供了一种通讯会话交互装置,与上述通讯会话交互方法对应。该装置可以运行于图1中的服务器104。该装置,包括:

会话数据获取模块1102,用于获取目标会话数据;

情感分类评分模块1104,用于根据所述目标会话数据进行情感分类,确定针对第一会话用户的情感分类结果,并对所述情感分类结果进行情感强烈程度计算,得到程度值结果;

情绪结果预测模块1106,用于根据所述情感分类结果及所述程度值结果,确定情绪预测结果;

情绪结果展示模块1108,用于将所述情绪预测结果展示在第二会话用户对应的目标终端。

可以使得第二会话用户可以更好地理解第一会话用户的真实情绪和意愿,采取相应的沟通策略,便于人际沟通亲密性的深入及升级。从而,可以提高交互效率,提高用户粘度。

在其中一实施例中,还包括:行为结果展示模块,用于根据所述情绪预测结果,确定行为预测结果,并将所述行为预测结果展示在所述目标终端;或/及,建议信息展示模块,用于根据所述情绪预测结果,确定建议信息,并将所述行为预测结果展示在所述目标终端;或/及,情绪还原展示模块,用于根据所述情绪预测结果,确定情绪还原结果,并将所述行为预测结果展示在所述目标终端。

在其中一实施例中,还包括:情感类型确定模块,用于根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型;行为结果展示模块,用于根据所述程度值结果大于预设值的情感类别,确定针对第一会话用户的一个或多个行为预测结果,所述行为预测结果展示所述第一会话用户可能做出的行为。

在其中一实施例中,还包括:情感类型确定模块,用于根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型;建议信息展示模块,用于根据所述情绪预测结果中的程度值结果大于预设值的情感类别,确定针对第一会话用户或第二会话用户的一个或多个建议信息。

在其中一实施例中,还包括:情感类型确定模块,用于根据所述情绪预测结果中的情感分类结果确定一个或多个情感类型;情绪还原展示模块,用于根据所述情绪预测结果中的程度值结果大于预设值的情感类别,确定与所述情感类别对应的情绪还原图片;所述情绪还原图片包括表情图片。

在其中一实施例中,会话数据获取模块1102,用于获取通讯会话交互模式;根据所述通讯会话交互模式,实时提取会话关键信息;根据所述会话关键信息获取目标会话数据,所述目标会话数据包括视频数据、音频数据及文本数据中的至少一种数据类型。

在其中一实施例中,所述目标会话数据包括视频数据、音频数据及文本数据中的至少两种数据类型;情感分类评分模块1104,用于根据不少于两种数据类型的所述目标会话数据进行情感分类,确定针对第一会话用户的第一情感分类结果;对所述第一情感分类结果进行情感强烈程度计算,得到第一程度值结果;对所述目标会话数据中的每一种数据类型的数据分别进行情感分类,确定针对第一会话用户的各第二情感分类结果,并分别对各所述第二情感分类结果进行情感强烈程度计算,对应得到各第二程度值结果;

情绪结果预测模块1106,用于根据所述第一分类结果、所述第一程度值结果、所述第二分类结果及所述第二程度值结果,确定情绪预测结果。

在其中一实施例中,还包括预处理模块,用于根据所述目标会话数据包括的数据类型,对所述目标会话数据进行预处理,得到预处理结果;情感分类评分模块1104,用于根据所述目标会话数据包括的数据类型,对预处理结果进行情感分类,确定针对第一会话用户的情感分类结果。

在其中一实施例中,预处理模块,用于当所述目标会话数据包括视频数据时:从所述视频数据中提取时间信息及所述时间信息对应的面部图像;提取所述面部图像中的面部表情特征;根据所述时间信息及所述面部表情特征,生成表情时序特征;或/及,当所述目标会话数据包括音频数据时:从所述音频数据中提取所述第一会话用户对应的语音数据;从所述语音数据中提取声纹信息特征;或/及,当所述目标会话数据包括文本数据时:从所述文本数据中提取关键词特征。

在一个实施例中,如图12所示,提供了一种通讯会话交互装置,与上述通讯会话交互方法对应。该装置可以运行于图1中的第二会话终端106。该装置,包括:

情绪结果接收模块1202,用于接收目标消息及情绪预测结果,所述情绪预测结果包括针对目标会话数据的情感分类结果及程度值结果,所述程度值结果为对所述情感分类结果进行情感强烈程度计算得到的结果;

会话数据展示模块1204,用于展示所述目标会话数据以及所述情绪预测结果。

如此,可以使得第二会话用户可以更好地理解第一会话用户的真实情绪和意愿,采取相应的沟通策略,便于人际沟通亲密性的深入及升级。从而,可以提高交互效率,提高用户粘度。

在其中一实施例中,进一步包括:

情绪结果接收模块1202,还用于接收行为预测结果、建议信息、情绪还原结果中的至少一项,其中,所述行为预测结果、建议信息、情绪还原结果,分别为根据所述情绪预测结果,确定的针对第一会话用户的行为预测、建议、情绪还原的结果;

会话数据展示模块1204,还用于展示所述第一会话用户的行为预测结果、建议信息、情绪还原结果中的至少一项。

在其中一实施例中,会话数据展示模块1204,还用于根据所述情绪预测结果,以图表的形式展示各情感类别对应的所述程度值结果。

在一个实施例中,提供了一种计算机设备,该计算机设备可以为服务器,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种通讯会话交互方法。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种通讯会话交互方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图13、14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在其中一实施例中,提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述通讯会话交互方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1