交互内容信息的处理方法、及相关装置、和终端设备与流程

文档序号:12613508阅读:319来源:国知局
交互内容信息的处理方法、及相关装置、和终端设备与流程

本申请涉及数据处理领域,尤其涉及一种交互内容信息的处理方法、及相关装置、和终端设备。



背景技术:

目前,在人们的交往中往往会借助一些通讯媒介工具进行一对一,一对多,或多对多的交流/聊天,比如移动电话,聊天应用软件,网页平台等。利用这些通讯媒介工具,人们可以实时的或者非实时的进行信息交流,共享并获取信息。目前人们交流/聊天的信息的表现形式具有多样性,比如视频、图片、语音以及文字等。此外,信息的数量也非常庞杂。

现有技术还存在以下技术缺陷:

多用户交互场景例如包括群聊(N对N个聊天对象)的交流/聊天场景。在这种多用户交互场景中,往往在一个通讯界面中会显示多个群聊的群组,每个群聊中会不断地收到该群聊内的联系人所发表的消息(即交互内容信息),其中很多消息与本用户是无关的,因此用户不能在这种复杂繁多的聊天记录中迅速找到对自己有用的信息。由于现有技术的上述技术缺陷,导致现有技术的交互通讯的效率较低。



技术实现要素:

有鉴于此,本发明的主要目的是提供交互内容信息的处理方法,以提高多用户交互场景中的交互通讯效率。

本发明的再一目的是提供交互内容信息的处理装置,用以提高多用户交互场景中的交互通讯效率。

本发明的再一目的是提供终端设备,以配合所述交互内容信息的处理装置, 提高多用户交互场景中的交互通讯效率。

本发明的技术方案是这样实现的:

一种交互内容信息的处理方法,该方法包括:

获取多用户交互时产生的交互内容信息;

从所述交互内容信息中提取摘要信息并输出。

在一种优选实施例中,从所述交互内容信息中提取摘要信息并输出,具体包括:从所述交互内容信息中提取关键信息对应的摘要信息并输出。

在一种优选实施例中,所述关键信息包括下述至少一种信息:主题信息、联系人信息、群组信息、与联系人的关系、信息的紧急程度、信息与用户的相关度。

在一种优选实施例中,通过下述方式获取所述与联系人的关系:根据联系人的相关资料和/或与联系人的历史交互记录,分析与联系人的关系;

所述联系人的相关资料包括下述至少一种内容:通讯录中的联系人资料、日历和/或备忘录中与联系人相关的日程、社交通信应用中的联系人资料;

所述与联系人的历史交互记录包括下述至少一种内容:与联系人的通话历史记录、与联系人的短信历史记录、与联系人的邮件历史记录、与联系人在其他社交应用中的历史交互记录。

在一种优选实施例中,输出摘要信息,具体包括:输出所述关键信息对应的关键信息标记,当检测到针对输出的关键信息标记的操作后,输出该关键信息对应的摘要信息。

在一种优选实施例中,在所述关键信息为主题信息的情况下,通过下述方式输出关键信息标记:按照主题热度、主题与用户兴趣的关联度、用户在主题中的重要程度、预定义主题中的至少一种信息,对所述关键信息标记进行排序显示;

在所述关键信息为联系人信息的情况下,通过下述方式输出关键信息标记:按照与联系人的联系频率、与联系人的关系、预定义联系人中的至少一种信息, 对所述关键信息标记进行排序显示。

在一种优选实施例中,通过下述方式获取主题与用户兴趣的关联度:根据用户的历史操作行为分析得到用户兴趣,根据用户兴趣确定主题与用户兴趣之间的关联度;所述历史操作行为包括下述至少一种行为:内容浏览行为、内容点击行为、内容发送行为、内容编辑行为;

通过下述方式获取与联系人的联系频率:获取与联系人的历史交互记录,根据所述历史交互记录确定与联系人的联系频率。

在一种优选实施例中,所述关键信息包括预定义的关键信息和/或对所述交互内容信息进行关键信息辨别得到的关键信息。

在一种优选实施例中,所述关键信息包括设定事件信息;从所述交互内容信息中提取关键信息对应的摘要信息并输出,具体包括:当从所述交互内容信息中检测到设定事件时,从所述交互内容信息中提取该设定事件对应的摘要信息并输出。

在一种优选实施例中,所述设定事件包括下述至少一种事件:设定内容在交互内容中被提及、对设定内容的回应、设定联系人发送了交互内容、设定话题的内容被更新。

在一种优选实施例中,通过下述方式输出摘要信息:输出所述设定事件的提示信息,在检测到对所述提示信息的操作后,输出该设定事件对应的摘要信息。

在一种优选实施例中,所述输出摘要信息,具体包括:通过以下至少一种方式对提取的摘要信息进行处理,输出处理后的摘要信息:

获取所述交互内容信息的摘要内容对应的各联系人的信息,生成对应各联系人的个性化摘要信息;

生成所述交互内容信息的摘要内容对应的关联摘要信息;

根据所述交互内容信息的摘要内容中的文字摘要信息以及多媒体信息,生成多媒体摘要信息;

检测到所述交互内容信息的摘要内容中存在需要屏蔽的特定内容和/或特定 联系人时,在摘要内容中对所述特定内容和/或所述特定联系人的相关信息进行屏蔽处理;

根据终端设备的当前环境信息和/或当前设备状态信息,生成对应当前环境和/或当前设备状态的摘要信息。

在一种优选实施例中,联系人的信息包括下述至少一种信息:联系人的说话习惯、联系人与用户的关系、联系人的属性信息;

联系人的说话习惯包括下述至少一种信息:联系人对应的交互内容的高频词汇、联系人的惯用语、联系人的惯用句式、联系人的惯用表达方式;

联系人的属性信息包括下述至少一种信息:联系人的职业、联系人的年龄、联系人的性别、联系人的图片。

在一种优选实施例中,通过下述方式获取联系人的说话习惯:根据与联系人的历史交互记录分析得到联系人的说话习惯;通过下述方式获取联系人的属性信息:根据联系人的相关资料和/或与联系人的历史交互记录,分析得到联系人的属性信息。

在一种优选实施例中,生成所述交互内容信息的摘要内容对应的关联摘要信息,具体包括:

当所述交互内容信息的摘要内容为需要多个联系人提供回应的事件时,对各联系人对事件的回应进行合并,生成关联摘要信息;

当所述交互内容信息的摘要内容为需要用户提供回应的事件时,若检测到该事件与用户的日程安排或当前位置发生冲突,则生成含有冲突提示的关联摘要信息;

当所述交互内容信息的摘要内容为热点事件时,搜索该热点事件相关的信息,生成含有搜索到的相关信息的关联摘要信息。

在一种优选实施例中,所述多媒体摘要信息包含下述至少一种信息:背景音乐、视频、图片、语音、文字摘要信息。

在一种优选实施例中,所述生成对应当前环境和/或当前设备状态的摘要信息,具体包括:

根据当前环境信息和/或当前设备状态信息,判定用户当前的状态类型;

根据用户当前的状态类型对应的语义特征,生成具有该语义特征的摘要信息。

在一种优选实施例中,所述方法还包括:检测到对输出的摘要信息相关区域的操作后,跳转到显示该摘要信息对应的交互内容信息的显示界面。

在一种优选实施例中,若所述摘要信息对应于至少两个联系人群组,则在所述显示界面按照联系人群组显示该摘要信息对应的交互内容信息。

在一种优选实施例中,还包括:在显示界面中显示摘要信息对应的各联系人群组的群组标记;

在检测到对所述群组标记的操作后,跳转到显示该联系人群组对应的交互内容的显示界面。

在一种优选实施例中,输出从所述交互内容信息中提取的摘要信息,具体包括以下至少一种语音输出方式:

利用指定的语音特征,语音播报输出摘要信息;

利用联系人的语音特征,语音播报该联系人对应的摘要信息;

根据终端设备当前环境信息和/或当前设备状态信息确定对应的语音特征以及播报方式,利用该语音特征以及播报方式语音播报输出摘要信息。

在一种优选实施例中,通过下述至少一种方式获取联系人的语音特征:

采集联系人的语音片段,根据采集的语音片段获取联系人的语音特征;或

根据联系人的属性信息和/或与联系人的历史交互记录,预测联系人的语音特征。

在一种优选实施例中,根据采集的语音片段获取联系人的语音特征,具体包括:根据采集到的联系人的语音片段进行语音合成模型的训练,获取到该联系人的个性化的语音特征。

在一种优选实施例中,还包括:获取针对所述交互内容信息的待回复内容,根据所述待回复内容生成个性化回复信息并输出。

在一种优选实施例中,根据所述待回复内容生成个性化回复信息并输出, 具体包括:根据下述至少一种信息对所述待回复内容进行处理,生成个性化回复信息并输出:与接收信息的联系人的关系、用户的属性信息、接收信息的联系人的属性信息。

在一种优选实施例中,输出从所述交互内容信息中提取的摘要信息,具体包括:按照下述至少一项信息对提取的摘要信息进行排序,并按照排序结果输出摘要信息:交互内容的交互时间、用户兴趣、与联系人的关系、摘要信息中联系人的参与度、摘要信息中用户的参与度。

一种交互内容信息的处理装置,该处理装置包括:

获取模块、用于获取多用户交互时产生的交互内容信息;

输出摘要模块、用于从所述交互内容信息中提取摘要信息并输出。

一种终端设备,包括所述的交互内容信息的处理装置。

一种交互内容信息的处理方法,包括:

响应于交互内容信息的处理装置发送的数据获取请求,获取相应数据;

将获取到的数据发送给所述交互内容信息的处理装置。

在一种优选实施例中,所述数据包括下述至少一种:用户和联系人的相关资料、与联系人的历史交互记录、用户的历史操作行为、当前环境信息、当前设备状态信息。

在一种优选实施例中,所述用户和联系人的相关资料包括下述至少一种内容:通讯录中的相关资料、日历和/或备忘录中的相关日程、社交通信应用中的相关资料;

所述与联系人的历史交互记录包括下述至少一种内容:与联系人的通话历史记录、与联系人的短信历史记录、与联系人的邮件历史记录、与联系人在其他社交应用中的历史交互记录;

所述历史操作行为包括下述至少一种行为:内容浏览行为、内容点击行为、 内容发送行为、内容编辑行为。

在一种优选实施例中,通过下述方式获取当前环境信息:通过位置检测模块、摄像头、麦克风、声音传感器、光线传感器、湿度传感器中的至少一种,获取当前所处环境的环境信息;

通过下述方式获取当前设备状态信息:通过速度传感器获取设备的当前运动状态信息。

一种终端设备,包括:

数据获取模块,用于响应于交互内容信息的处理装置发送的数据获取请求,获取相应数据;

数据发送模块,用于将获取到的数据发送给所述交互内容信息的处理装置。

一种交互内容信息的处理方法,包括:

获取多用户交互时产生的交互内容信息;

通过下述至少一种方式语音播报获取到的交互内容信息:

利用指定的语音特征,语音播报输出交互内容信息;

利用联系人的语音特征,语音播报该联系人对应的交互内容信息;

根据终端设备当前环境信息和/或当前设备状态信息确定对应的语音特征以及播报方式,利用该语音特征以及播报方式语音播报输出交互内容信息。

在一种优选实施例中,通过下述至少一种方式获取联系人的语音特征:

采集联系人的语音片段,根据采集的语音片段获取联系人的语音特征;或

根据联系人的历史交互记录和/或联系人的属性信息,预测联系人的语音特征。

一种交互内容信息的处理装置,包括:

获取模块,用于获取多用户交互时产生的交互内容信息;

语音播报模块,用于通过下述至少一种方式语音播报获取到的交互内容信 息:

利用指定的语音特征,语音播报输出交互内容信息;

利用联系人的语音特征,语音播报该联系人对应的交互内容信息;

根据终端设备当前环境信息和/或当前设备状态信息确定对应的语音特征以及播报方式,利用该语音特征以及播报方式语音播报输出交互内容信息。

一种交互内容信息的处理方法,包括:

确定针对交互内容信息的待回复内容;

根据下述至少一种信息对所述待回复内容进行处理,生成个性化回复信息并输出:用户与信息接收方之间的关系、用户的属性信息、信息接收方的属性信息。

一种交互内容信息的处理装置,包括:

回复内容确定模块,用于确定针对交互内容信息的待回复内容;

回复模块,用于根据下述至少一种信息对所述待回复内容进行处理,生成个性化回复信息并输出:用户与信息接收方之间的关系、用户的属性信息、信息接收方的属性信息。

一种交互内容信息的处理方法,该方法包括:

获取多用户交互时产生的交互内容信息;

当从所述交互内容信息中检测到设定事件时,从所述交互内容信息中提取该设定事件对应的交互内容并输出。

在一种优选实施例中,所述设定事件包括下述至少一种事件:设定内容在交互内容中被提及、对设定内容的回应、设定联系人发送了交互内容、设定话题的内容被更新。

一种交互内容信息的处理装置,包括:

获取模块,用于获取多用户交互时产生的交互内容信息;

事件内容输出模块,用于当从所述交互内容信息中检测到设定事件时,从所述交互内容信息中提取该设定事件对应的交互内容并输出。

与现有技术相比,本发明针对现有技术方案中存在的问题,提出了针对通讯系统中多用户交互时产生的交互内容信息的处理方法,其中首先对多用户交互时产生的交互内容信息进行获取,再从交互内容信息中提取摘要信息并输出。通过这种处理方式,用户可以在多用户交互场景这种复杂繁多的聊天记录中迅速找到对自己有用的信息,提高多用户交互场景中的交互通讯效率。

附图说明

图1为本发明中,交互内容信息的处理方法的一种流程图;

图2为本发明中,交互内容信息的处理装置的一种组成示意图;

图3为本发明中,显示群聊助手图标并对交互内容信息进行归类显示的一种界面示意图;

图4为本发明中,在检测到用户对主题标记信息的操作指令后输出相关摘要信息的界面示意图;

图5为本发明中,对交互内容信息的事件进行检测响应的一种处理流程图;

图6为本发明中,在终端设备处于繁忙状态时响应发生事件的界面跳转示意图;

图7为本发明中,用户点击进入事件相关的摘要信息界面的一种示意图;

图8为本发明中,一种群聊原始内容和群聊助手生成的摘要信息的对比示意图;

图9为本发明中,摘要内容涉及热点事件时输出关联摘要的一种界面示意图;

图10为本发明中,一种摘要信息中包括询问事项时生成关联摘要信息的 界面示意图;

图11为本发明中,所述摘要信息中具有多媒体信息的情况下,群聊原始内容和摘要信息的对比示意图;

图12为本发明中,用户点击多媒体标记后进行多媒体信息播放的示意图;

图13为本发明中,一种生成并输出跳转摘要的界面示意图;

图14为本发明中,又一种生成并输出跳转摘要的界面示意图;

图15为本发明中,对图14所示界面142进行操作后的跳转示意图;

图16为本发明中,对图15所示界面143进行操作后的跳转示意图;

图17为本发明中,一种屏蔽特定摘要的界面示意图;

图18为本发明中,一种屏蔽用户所发信息的界面示意图;

图19为本发明中,一种对联系人的信息进行替换的设置界面;

图20为本发明中,第二种语音输出方式的一种示意图;

图21为本发明中,一种根据环境信息和/或设备状态信息确定语音播报特征的示意图;

图22为本发明中,又一种根据环境信息和/或设备状态信息确定语音播报特征的示意图;

图23为本发明中,一种生成摘要信息并自动回复的界面示意图;

图24为本发明中,一种由群聊助手向多个群组发送相应回复信息的界面示意图;

图25为本发明中,终端设备的处理方法的一种流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

本发明涉及一种交互内容信息的处理方法。本发明所述交互内容信息为通讯系统中多用户交互时产生的交互内容信息,例如可以包括:多人聊天、和/或多人会议等场景中的交互内容。所述交互可以应用于终端设备。

本发明所述的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。本发明所述的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是个人数据处理设备(PDA)、移动互联网设备(MID,Mobile Internet Device)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。所述终端可以是硬件装置,也可以是软件程序,也可以是软硬件结合的装置。

下面结合附图详细说明本发明的技术方案。

图1为本发明中,交互内容信息的处理方法的一种流程图。参见图1,该方法主要包括以下步骤:

步骤101、获取多用户交互时产生的交互内容信息;

步骤102、从所述交互内容信息中提取摘要信息并输出。

在一种优选实施例中,步骤102中所述从所述交互内容信息中提取摘要信息并输出,具体包括:从所述交互内容信息中提取关键信息对应的摘要信息并输出。所述关键信息为预定义的关键信息和/或对所述交互内容信息进行关键信息辨别得到的关键信息。

在又一种优选实施例中,步骤102输出摘要信息的具体方式可以包括:先输出所述关键信息对应的关键信息标记,当检测到针对输出的关键信息标记的操作后,输出该关键信息对应的摘要信息。

在输出从所述交互内容信息中提取的摘要信息时,若有多条摘要信息,则本发明具体可以是:按照交互内容的交互时间、用户兴趣、与联系人的关系、摘要信息中联系人的参与度、摘要信息中用户的参与度中的至少一项信息,对提取的摘要信息进行排序,按照排序结果输出摘要信息。

与本发明所述的交互内容信息的处理方法对应,图2为本发明中,交互内容信息的处理装置的一种组成示意图。该处理装置用于执行所述交互内容信息的处理方法,参见图2,该处理装置主要包括以下模块:

获取模块201、用于获取多用户交互时产生的交互内容信息;

输出摘要模块202、从所述交互内容信息中提取摘要信息并输出。

本发明提出一种终端设备,包括上述交互内容信息的处理装置。

本发明中多用户交互时的交互内容信息可以是从聊天软件的记录中提取,也可以是从具有文字的其他软件中提取出来,可以通知终端设备提取,也可以由所述交互内容信息的处理装置提取。

此外,本发明提出,交互内容信息的处理装置可以实时监测多用户交互场景的交互内容信息,此外,交互内容信息的处理装置也可以非实时获取多用户交互场景的交互内容信息,例如,交互内容信息的处理装置可以在用户触发显示摘要信息时,才获取接收到且未处理的交互内容信息,或者交互内容信息的处理装置每隔设定时间间隔获取接收到且未处理的交互内容信息。

本发明通过下述实施例详细介绍本发明方案。

本发明所述关键信息例如可以包括后述信息中的至少一种:主题信息、联系人信息、群组信息、与联系人的关系、信息的紧急程度、信息与用户的相关度等;当然所述关键信息并不限定于前述的关键信息,还可以包括其它的关键信息。

其中,对于所述与联系人的关系,具体可以通过下述方式获取:根据联系人的相关资料和/或与联系人的历史交互记录,分析与联系人的关系。

所述联系人的相关资料包括下述至少一种内容:通讯录中的联系人资料、日历和/或备忘录中与联系人相关的日程、社交通信应用中的联系人资料;联系人的相关资料中可能表明了与联系人的关系,比如,联系人在通信录中的分组为“同事”,那么用户与联系人的关系可以为“同事”;

所述与联系人的历史交互记录包括下述至少一种内容:与联系人的通话历史记录、与联系人的短信历史记录、与联系人的邮件历史记录、与联系人在其他社交应用中的历史交互记录。通过历史交互记录可以分析得到与联系人的交互频率和/或交互内容的亲密程度,根据交互频率和/或交互内容的亲密程度,可以确定出用户与联系人的关系。其中,历史记录包含交互内容、交互时间以及 交互频率。

本发明提出,可以由上述交互内容信息的处理装置向终端设备发送数据获取请求,请求获取联系人的相关资料和/或与联系人的历史交互记录,终端设备根据接收到的数据获取请求,从存储的数据中获取储联系人的相关资料和/或与联系人的历史交互记录,并将获取的数据发送给上述交互内容信息的处理装置,该处理装置根据接收到的数据分析得到用户与联系人的关系,或者该处理装置将接收到的数据发送给云端服务器,由云端服务器分析用户与联系人的关系,并反馈给该处理装置。

对于信息的紧急程度,可以通过对交互内容信息进行语义分析得到,例如,接收到的交互内容为需要用户尽快做出决定的内容,则可以认为信息的紧急度较高,反之,接收到的交互内容为不需要用户尽快做出决定的内容,则可以认为信息的紧急度不高。

对于信息与用户的相关度,也可以通过对交互内容信息进行语义分析得到,例如,接收到的交互内容中包含用户的姓名,则可以认为信息与用户的相关度较高。

此外,本发明还提出,用户可以预先定义提取摘要的关键信息,例如,用户预先定义提取运动主题和音乐主题的摘要,后续终端设备接收到交互内容信息时,可以根据用户预定义的关键信息从交互内容信息中提取对应的摘要信息;

此外,还可以由终端设备接收到交互内容信息后,对获取到的交互内容信息进行关键信息辨别,再从交互内容信息中分别提取各关键信息对应的摘要信息。具体的,可以对获取到的交互内容信息进行关键信息辨别,根据辨别出的关键信息对相应的交互内容信息进行归类处理,输出对应的关键信息标记,检测到用户针对关键信息标记的操作指令后,输出该关键信息标记对应的摘要信息。其中,终端设备可以在检测到用户的输出关键信息标记的操作指令后,输出对应的关键信息标记。

例如,当终端设备进入到摘要显示界面时,终端设备在该显示界面显示运动主题和音乐主题的关键信息标记,当检测到用户点击运动主题的关键信息标 记时,进入到该主题的摘要显示界面,并在该主题的摘要显示界面中显示运动主题对应的摘要信息。

下面分别描述各关键信息的相应实施例。

1、输出归类摘要

在一种具体实施例中,所述关键信息包括主题信息。

主题信息可以为用户预定义的主题;此外,所述步骤102中,也可以具体包括:对所述获取到的交互内容信息进行主题信息辨别,根据辨别出的主题信息对相应的交互内容信息进行归类处理,在检测到用户的输出关键信息标记的操作指令后,输出对应的主题信息标记。

下面以多用户交互场景为多人聊天场景为例进行说明,在本文中,将本发明所述的交互内容信息的处理装置命名为群聊助手,在附图的示例中简称为“助手”,下面以用户安装并初始设置开启所述群聊助手为例进行说明。

在本文中的实施例中,所述的终端设备以具有触摸屏的终端设备为例进行说明;在触摸屏上显示所述群聊助手的入口或相关信息。显示群聊助手的入口方式可以是但不限于下述至少之一:显示为群聊助手图标、部分的显示信息的方式(例如以通知栏通知消息的方式显示)等来显示群聊助手图标。

图3为本发明中,显示群聊助手图标并对交互内容信息进行归类显示的一种界面示意图。参见图3左半部分的界面301中,所述群聊助手图标311提供进入群聊助手的入口,附图中群聊助手图标311以悬浮图标的方式显示于终端的界面,不限于聊天软件的界面,例如,终端运行了聊天软件,则该聊天软件的群聊助手图标就会悬浮在终端的界面。所述群聊助手图标也可以是固定位置显示的图标,例如,集成在聊天软件的菜单栏中、或者在侧屏手机的侧屏显示。

所述聊天软件的界面可以是下述界面中的至少之一:终端的主屏/锁屏界面、聊天软件的主页、设置界面、某个群的群聊界面等。所述显示群聊助手图标的显示时间可以是根据用户初始设置或系统默认在聊天软件的界面始终显示,或 者也可以根据用户初始设置或系统默认初始隐藏,仅在相关链接被触发时显示(例如用户打开菜单栏时、用户激活侧屏手机的侧屏时)、或遵循其他用户自定义的显示场景进行显示。

其中,以通知栏通知消息的方式显示群聊助手相关信息或入口的方式中,所述通知栏可以是上拉通知栏、下拉通知栏、或者侧屏手机的侧屏通知栏等,所述相关信息可以是群聊助手对于多人聊天的交互信息进行处理后的信息,所述相关信息可以是根据时间顺序排列的。

在接下来的步骤中,如图3所示,当用户点击所述群聊助手图标311,则相当于用户发出了输出关键信息标记的操作指令,本发明在检测到用户的输出关键信息标记的操作指令后,就会响应用户的操作,输出对应的关键信息标记,如图3中右半部分界面图302中所示。例如此处以关键信息为主题信息为例进行说明,此处输出的是分类后的主题信息标记,如运动主题、工作主题、食物主题等等。

此处的用户发出的操作指令可以是但不限于:单击、双击、长按、滑动、S-pen悬停等至少之一。下面以操作方式为单击方式为例进行说明。终端设备在检测到该单击操作之后,如果确定该单击操作的位置是群聊助手图标311所在的位置,且单击操作的方式为预定的方式,则输出图3中界面302所示的相关主题信息标记。

所述输出相关主题信息标记中主要包括主题标记,同时还可以包括主题相关的群信息、联系人信息,主题热度等信息。例如图3所示的界面302中以输出的主题信息标记中包括主题标记(如“运动”、“工作”、“食物”)以及主题相关的联系人信息为例来说明。其输出方式可以是以语音、文字、图片等方式中的至少之一。

所述主题信息标记的定义可以采取自动主题提取获得的主题标记,或者用户预先自定义的主题。主题信息标记可以提取自一个群或多个群当前未读信息和/或一定时间内与未读消息具有关联性的历史消息记录,这里的关联性的历史消息指该历史消息是已读消息所涉及主题的延续或背景。举例来说,用户在多 用户交互的通讯群里已经浏览过了关于聚餐的地点和时间信息,但未读信息中只涉及了该事件的取消信息,那么在进行主题提取时,只用未读信息是不够的,也会考虑和未读信息有关联性的历史消息记录。

所述主题信息标记可以按照下面参数的至少一种参数排序显示在所述显示界面302中:

1)主题热度;

2)主题与用户兴趣的关联度;

3)用户在主题中的重要程度;

4)预定义主题等。

所述主题热度可以用该主题所涵盖信息的数量等方式来确定;

用户在主题中的重要程度,可以从用户对主题的参与度、以及联系人提及用户的频次、或者主题和用户个人属性信息之间的关联度来确定。

主题与用户兴趣的关联度可以通过下述方式获取:根据用户的历史操作行为分析得到用户兴趣,根据用户兴趣确定主题与用户兴趣之间的关联度,例如,根据用户的历史操作行为确定用户习惯性先点击哪些主题进行查看,从而确定出用户感兴趣的主题,然后再确定主题标记对应的主题与用户感兴趣的主题之间的关联度。

本发明提出,上述用户的历史操作行为也可以认为属于用户的个人信息,用户的个人信息包括以下至少一种信息:

用户和联系人的相关资料、与联系人的历史交互记录、用户的历史操作行为、当前环境信息、当前设备状态信息。

其中,用户和联系人的相关资料包含以下至少一种信息:通讯录中的相关资料、日历和/或备忘录中的相关日程、社交通信应用中的相关资料;

与联系人的历史交互记录包括下述至少一种内容:与联系人的通话历史记录、与联系人的短信历史记录、与联系人的邮件历史记录、与联系人在其他社交应用中的历史交互记录;

历史操作行为包括下述至少一种行为:内容浏览行为、内容点击行为、内 容发送行为、内容编辑行为;

当前环境信息包含下述至少一种信息:位置信息、环境图像信息、环境音频信息、环境光线信息、湿度信息。终端设备通过位置检测模块、摄像头、麦克风、声音传感器、光线传感器、湿度传感器中的至少一种获取当前所处环境的环境信息;

当前设备状态信息包含设备的运动状态信息,终端设备通过速度传感器等来获取设备的当前运动状态等信息。

本发明提出,可以由群聊助手向终端设备发送数据获取请求,请求获取用户的个人信息,终端设备在预定的权限条件下(例如默认开启群聊助手访问日历、备忘录等权限的情况下)进行用户个人信息的获取,并将获取的个人信息发送给上述群聊助手,群聊助手根据用户的个人信息分析得到用户兴趣等,或者群聊助手将接收到的用户的个人信息发送给云端服务器,由云端服务器进行分析,并将分析结果反馈给群聊助手。

下面具体说明对所述获取到的交互内容信息进行关键信息辨别,根据辨别出的关键信息对相应的交互内容信息进行归类处理。对于关键信息为主题信息来讲,此处处理也称之为自动主题的提取,具体包括:将当前聊天软件中群组里的相关聊天记录(即交互内容信息),进行语义分析以提取主题,这里的主题主要是通过关键词抽取的方式辨别得到,首先在服务器端采用监督学习的方法离线训练已标注关键词(主题)的语料,从而得到关键词抽取模型,然后将该模型置入终端设备,来对不同时间段,不同群的聊天记录进行关键词抽取,即进行关键信息辨别,不同的关键词即对应不同的主题,而不同关键词对应的聊天记录即为该主题对应的原始聊天记录。所述归类处理,就是将识别出的交互内容信息标记上不同的关键信息标记,例如此处为主题信息标记,例如“运动”、“工作”、“饮食”等。

上述图3中的界面302中,输出的是相关的主题信息标记,在另外的实施例中,也可以是输出其他关键信息标记。例如在一种替代方式实施例中,在检测到用户对于图3中界面301中的群聊助手图标311的操作指令后,响应于用 户的操作,在图3的界面302中输出相关联系人信息对应的关键信息标记,上述相关联系人信息为提取自一个群或多个群当前未读信息和/或一定时间内与未读消息具有关联性的历史消息记录,将上述历史消息记录基于不同的联系人进行归类,同时可以包括相关的群信息、主题信息等;

具体的,可以通过下述参数中的至少一项进行排序,将所述联系人信息对应的关键信息标记排序显示在显示终端:

1)与联系人的联系频率;该与联系人的联系频率包含该群聊应用中的联系频率,也可以包括短信、通话、邮件等其他应用中的联系频率,因此可以从终端设备侧获取与联系人的历史交互记录,如通话记录、短信/邮件历史记录、以及其他应用的历史记录等,根据所述历史交互记录确定与联系人的联系频率;

2)与联系人的关系;通过与联系人的关系可以得出联系人的重要程度;

3)预定义联系人等。

其中联系人的重要程度可以通过以下任一个参数或任意个参数组合来确定:

可以通过用户对联系人的显式标签得到联系人的重要程度,比如“老爸”、“老板”等等为较为重要的联系人;也可以通过对历史聊天信息进行语义分析得到,比如最近某些联系人和用户一起在处理一些事件,那么可以通过语义分析得到事件的参与人,并给予这些联系人较高的优先级方便用户更快的了解到事件相关的信息。

图3对应的实施例主要为提取关键信息对应的摘要信息,以便用户可以在复杂繁多的聊天记录中迅速找到对自己有用的信息,其中,可以按照主题或联系人进行分类提取,即在所述界面302中输出主题信息或相关联系人的信息,此外,也可以按照其他方式进行分类提取,输出相关的关键信息标记,例如,按照群组的信息、联系人与本用户之间的关系信息、信息的紧急程度信息、信息与本用户的相关度信息等方式进行分类提取,还可以按照上述任意几种方式的组合来进行分类提取。

在接下来的步骤中,请参见图3中的界面302。本发明当检测到针对输出的 关键信息标记的操作后,输出该关键信息对应的摘要信息。。

参见图3中的界面302,用户可以对界面302中的所述各个主题信息标记发出操作指令,本发明可以响应于用户的操作指令,提取主题相关的摘要内容,生成摘要信息,并在终端输出相关的摘要信息。当然,所述提取摘要内容和生成摘要信息可以在响应用户的操作指令之后进行,也可以在响应用户的操作指令之前预先进行。

用户对于所述主题信息标记的操作指令可以是且不限于单击、双击、长按、滑动、S-pen悬停等至少之一。下面以操作方式为滑动方式为例进行说明。终端设备在检测到在界面302的某主题标记信息上的滑动操作之后,提取该主题标记信息相关的摘要信息。

所述摘要内容提取自相应主题中的一个群或多个群当前未读信息和/或一定时间内与未读消息具有关联性的历史消息记录。摘要内容的提取可以基于联系人分别对其消息进行概括总结,或者基于信息中的事件进行概括总结,或者其他操作方式。

摘要内容提取后,可以选择不同的摘要信息生成方式,如简单的摘要信息生成,即直接以所提取的摘要内容作为摘要信息;或者也可以对提取的摘要信息进行处理,输出处理后的摘要信息,例如,获取交互内容信息的摘要内容对应的各联系人的信息,生成对应各联系人的个性化摘要信息,该个性化的摘要信息可以称为相关的摘要信息。

联系人的信息包括下述至少一种信息:联系人的说话习惯、联系人与用户的关系、联系人的属性信息;

所述联系人的说话习惯可以是以下至少之一:联系人说话的高频词汇,联系人的惯用语(如说话的口头禅),联系人的惯用句式、联系人的惯用表达方式等,联系人的说话习惯参数可以通过联系人与用户的历史交互记录中分析得到。

联系人的属性信息可以是以下信息中的至少一项:联系人的职业,联系人的年龄,联系人的性别,联系人的头像图片信息等。联系人的属性信息可以通 过以下方式获取到:根据联系人的相关资料和/或与联系人的历史交互记录,分析得到联系人的属性信息。

联系人的相关资料可以通过终端设备的通讯录获取到,通过社交软件上联系人公开的资料中获取到,通过终端设备的备忘录软件、日历软件等软件上记载的联系的资料中获取到。历史交互记录可以通过终端设备的邮件短信以及其他聊天软件的聊天记录获取到。

所述终端设备在检测到本发明所述群聊助手发出的联系人的相关资料和/或与联系人的历史交互记录获取请求后,在对应的权限下(例如默认开启群聊助手访问通讯录等权限的情况下)进行数据检测,将检测到的联系人的相关资料和/或与联系人的历史交互记录发送至群聊助手。

本发明提出,可以在基于主题提取摘要时,生成基于联系人的个性化摘要,此外,按照其他方式提取摘要时(如基于联系人提取摘要、基于事件提取摘要等),也可以通过上述方式生成基于联系人的个性化摘要。也就是说,如果提取的摘要中包含联系人的摘要内容,则可以对联系人的摘要内容进行个性化处理,得到个性化摘要。

所述输出的相关的摘要信息的具体输出方式可以是语音、文字、图片等方式至少之一。所述输出的摘要信息可以以下面三种参数(不局限于此)的任一项或任意项的组合进行排序,按照排列结果显示在终端设备的显示界面上:交互内容的交互时间、用户兴趣、与联系人的关系、摘要信息中联系人的参与度、摘要信息中用户的参与度等。

其中,用户兴趣包含用户获取信息的习惯,比如用户喜欢先了解结果还是背景等,按照用户的这一习惯可以调整摘要的顺序。联系人和/或用户的参与度指的是可以把提到用户或特定人的摘要放在前面或显眼的位置上,帮助用户获取关键信息。

下面以基于联系人分别提取摘要信息为例进行说明。

图4为本发明在检测到用户对主题标记信息的操作指令后输出相关摘要信息的界面示意图。参见图4,当用户向界面302中的主题标记信息,如此处为“运动”主题标记信息,发出操作指令如滑动操作后,则界面跳转到界面402,其中输出显示相关的摘要信息,所述相关的摘要信息包括且不局限于摘要以及联系人信息。此处显示基于联系人分别提取的与“运动”主题相关的摘要以及联系人信息。图4中的界面402采取了个性化的摘要生成方式,例如,在对用户“小张”的摘要中,加入了用户“小张“的口头禅“你懂的”。

下面对用户查看某一主题之后的图形界面(UI)显示进行具体说明。

当终端设备检测到用户对某一主题标记信息进行操作时,该主题标记信息的显示方式可以是以下之一:1)变灰,2)消失。同时进行页面跳转,进入摘要显示界面,如界面402。在摘要显示界面中,可以将当前主题和其他主题标记信息以小图标形式显示在侧边栏或上下拉通知栏中,当终端设备检测到用户对其他主题标记信息进行操作时,就立刻跳转到其他主题对应的摘要信息显示界面中。在摘要信息显示界面中,可以通过左划,或点击虚拟/实体按键等方式,返回主题列表页面。同时在摘要显示界面中也可以添加虚拟按键或下拉菜单等方式,基于用户的操作直接返回聊天软件的页面。

在本发明的任一种实施例中,当终端设备检测到用户对某一主题标记信息进行操作时,则会输出相关的摘要信息,具体包括:交互内容的交互时间、用户兴趣、与联系人的关系、摘要信息中联系人的参与度、摘要信息中用户的参与度中的任一项或任意项的组合进行排序,按照排序结果输出相关的摘要信息。

下面对摘要信息的提取进行具体说明:

确定交互内容信息与某主题,例如“运动”,相关的方式可以是以下至少一种:1)检索信息中是否有“运动”主题相关的词汇,2)用主题模型来对信息进行分类。

对交互内容信息进行摘要提取时,提取的信息可以是且不限于时间、地点、事件、爱好等至少之一。

上述检测用户对于相关主题的操作,也可以是检测用户对于其他相关信息的操作,例如在一种替代方式实施例中,可以检测用户对于相关联系人的操作, 响应于用户的操作,提取联系人相关的摘要信息,生成摘要,并在终端显示摘要相关信息。

2、基于事件生成摘要(智能提醒功能)

在又一种实施例中,所述关键信息包括设定事件信息的实施例,所述步骤102中所述从所述交互内容信息中提取关键信息对应的摘要信息并输出,具体包括:当从所述交互内容信息中检测到设定事件时,从所述交互内容信息中提取该设定事件对应的摘要信息并输出。

在优选实施例中,所述设定事件包括下述至少一种事件:设定内容在交互内容中被提及、对设定内容的回应、设定联系人发送了交互内容、设定话题的内容被更新等。

在一种优选实施例中,所述从交互内容信息中提取该设定事件对应的摘要信息并输出,具体可以是通过下述方式输出摘要信息:输出所述设定事件的提示信息,在检测到对所述提示信息的操作后,输出该设定事件对应的摘要信息。

这种实施例的适用场景是:在一些情况下,例如交流/聊天中涉及的信息需要用户进行及时反馈时,用户会期望获取来自系统的主动提醒,如本实施例所述可以输出发生事件信息的提示信息,以提示用户。从而可以实现当群聊中出现突发事件或用户关心的事件时,及时提示用户相关信息,帮助用户迅速做出回应的功能。

图5所示为本发明对交互内容信息的事件进行检测响应的一种处理流程图。参见图5,该实施例中可以检测收集聊天群中的所有消息,对收集到的消息进行预处理得到文本信息,根据文本信息中是否包括设定事件类型信息来判断是否有设定事件发生。当检测到设定事件发生时,弹出通知即输出发生事件信息的提示信息,具体例如可以按照上述实施例1所描述的方式在终端设备侧显示群聊助手图标(该群聊助手图标就是一种发生事件信息的提示信息),同时通过震动,通知栏图标等方式主动提示用户有事件发生。

在接下来的步骤中,在检测到对所述发生事件信息的提示信息的操作指令 后,例如用户点击了所述发生事件信息的提示,则终端设备可以直接输出该设定事件对应的摘要信息,该设定事件可以是且不限于以下事件至少之一:设定内容在交互内容中被提及(如用户在群聊中被提及)、对设定内容的回应(如有人回复用户的问题)、设定联系人(如星标朋友等关键联系人)发送了交互内容、设定话题(如用户在群里参与的话题)的内容被更新,以及其他用户自定义的事件。这些设定事件的显示可以按照发生的先后顺序进行显示,也可以按照优先级进行显示,具体显示方式可以是以下之一:1)可以采用弹出式图标菜单在当前页面显示,2)可以跳转到二级页面并采用列表或图标方式显示。

此外,本发明实施例提出,在检测到对发生事件信息的提示信息的操作指令后,例如用户点击了所述发生事件信息的提示,则终端设备也可以先输出对应的事件标记信息,其中发生了几项设定事件,就可以输出几项事件标记信息。具体可以按照预设的要求对发生的设定事件进行排序,按照排序结果显示设定事件对应的事件标记信息。

例如按照实施例1所描述的方式检测到群聊助手图标上的选择操作之后,显示当前群聊助手检测到的部分或所有设定事件的事件标记信息,在接下来的步骤中,当用户对具体的事件标记信息进行点击时,终端设备按照上述所描述的方式对该事件提取摘要信息,并输出相关的摘要信息。

在接下来的步骤中,当用户浏览完事件摘要信息后,所述通知信息消失或隐藏。

在本实施例的进一步的优选实施方式中,所述输出发生事件的提示信息,具体包括:通知终端设备检测终端设备当前的状态,并接收所检测到的终端设备当前的状态;如果终端设备处于空闲状态则按照指定的输出方式输出发生事件的提示信息;如果终端设备处于指定的繁忙状态则在输出发生事件的提示信息的同时,进一步输出对当前终端设备状态的操作选项,在接收到用户对所述操作选项的选择指令后,按照该操作选项对应的操作逻辑进行处理。下面分别进行说明:

情况一:如果终端设备处于空闲状态,例如处于待机状态时,如果本发明检测到群聊中有用户相关或用户关心的事件出现时,设备将通过以下至少之一的方式提示用户:点亮屏幕、通知栏消息通知、震动、正面图标显示、侧屏图标显示、锁屏图标显示等。当设备检测到用户选中群聊助手图标,则进一步显示事件标记信息。

情况二:如果终端设备处于指定的繁忙状态。图6为本发明在终端设备处于繁忙状态时响应发生事件的界面跳转示意图。参见图6,当终端设备正在进行通话,或进行视频播放时,在这种情况下,如果本发明的方案检测到群聊中有事件出现,比如群聊中有人提到用户并要其回答问题,那么本发明就会显示多个群聊助手图标作为候选的操作选项,如图6中左半部分的界面600所示,这些图标可以分别对应以下候选操作:挂断当前通话并接入群聊助手601,保留当前通话并接入群聊助手602,或将群聊助手检测到的事件摘要所包含的语音信息发送至用户的语音邮箱603等。当设备检测到用户选中某一群聊助手图标时,比如选中了挂断当前通话并接入群聊助手601,如果本发明只检测到一个事件发生,那么直接进入群聊助手界面;如果本发明检测到多个事件发生,那么可以通过以下方式之一显示事件标记信息:显示优先级靠前的前N个事件对应的事件标记信息,按时间先后顺序依次显示前N个事件对应的事件标记信息。如图6的右半部分为按照优先级显示的N个事件对应的事件标记信息,分别是事件标记信息611~615。

另外,在所述关键信息为设定事件信息时,在本发明所述的任一项实施例中,还可以具体包括以下处理方式的任一项或任意项的组合:

(1)如果所述设定事件信息为设定内容在交互内容中被提及事件,如用户被提及事件,则对该用户被提及事件发生之前的指定范围内的交互内容信息进行汇总,进行语义分析,生成与该用户被提及事件相关的摘要信息。

所述用户被提及既指用户被显式的提及(在聊天软件中,被其他联系人@,用户会接收到聊天软件的通知),也指用户被隐式提及(即只是被其他联系人提到了名字或昵称,用户并不会收到聊天软件的通知),当本发明检测到用户被提 及事件后,会对该事件发生之前的指定范围内的交互内容信息进行汇总,并进行语义分析,得到当前群组讨论的话题,以及不同群组成员的态度,还有用户被提及的原因,然后生成一个事件相关的摘要,来供用户参考,从而使用户在最短时间内了解自己被提及的原因,以及自己该对什么做出回应。

(2)如果所述设定事件信息为对设定内容的回应事件,例如对用户的回应事件,则提取该回应事件的交互内容信息的摘要信息,并将该回应事件的交互内容信息摘要信息实时输出。

具体的,对用户的回应,是指用户在群里提问,或在群里发了一则消息或链接或图片,群聊助手会将群里成员的反馈进行汇总摘要并实时的反馈给用户,这里的摘要信息的提取方法同上述实施例1。因为群成员反馈是实时的,所以设备可以通过弹幕或滚动等方式不断刷新显示最新的反馈给用户。

(3)如果所述设定事件信息为设定联系人发送了交互内容的事件,例如关键联系人发言事件,则将该关键联系人的在指定范围内发出的交互内容信息进行汇总,生成该关键人的发言摘要信息。

具体的,所述关键联系人可以是星标好友,也可以是用户指定群里的特定联系人,每当该关键联系人发言时,设备便会通知用户,当设备检测到用户选择查看该事件时,便会将该关键联系人的在指定范围内的发出的交互内容信息进行汇总,生成该关键人的发言摘要信息,所述发言摘要信息例如包括该关键人发言的主题,以及他的态度等信息。

(4)如果所述设定事件信息为设定话题的内容被更新事件,例如话题最新进展事件,则提取该话题最新进展事件的交互内容信息的摘要,生成对应的摘要信息。

具体的,如果用户参与了某一话题的讨论,或对某个约定的日程进行了表态,那么群聊助手会对该日程进行跟踪,当发现群聊中的日程发生变更时,及时提示用户并帮助用户了解日程变更的原因或话题变化的趋势结果,帮助用户重新作出决定。

当用户对事件标记信息进行选择后,便会进入该事件相关的摘要信息界面 中,在该摘要信息界面中会输出该事件相关的摘要信息,用户也可以在该页面对交互内容信息直接进行回复处理,如图7为用户点击进入事件相关的摘要信息界面的一种示意图。

实施例2的功能能够在群聊中出现突发事件或用户关心的事件时,及时提示用户相关信息,帮助用户迅速做出回应,可以称为智能提醒功能。

上述智能提醒功能不仅可以输出设定事件的摘要信息来提醒用户,也可以直接输出设定事件的交互内容,对此,本发明还公开了一种交互内容信息的处理方法,该方法包括:获取多用户交互时产生的交互内容信息;当从所述交互内容信息中检测到设定事件时,从所述交互内容信息中提取该设定事件对应的交互内容并输出。

所述设定事件包括下述至少一种事件:设定内容在交互内容中被提及、对设定内容的回应、设定联系人发送了交互内容、设定话题的内容被更新。

至于具体的提取该设定事件对应的交互内容并输出的输出方式,与上述提取关键信息对应的摘要信息并输出的输出方式一致,此处不再赘述。

对应的,本发明还公开了一种交互内容信息的处理装置,该处理装置具体包括:

获取模块,用于获取多用户交互时产生的交互内容信息;

事件内容输出模块,用于当从所述交互内容信息中检测到设定事件时,从所述交互内容信息中提取该设定事件对应的交互内容并输出。

下面进一步详细说明所述提取相关的摘要信息的多种实施方法。在步骤102中,输出摘要信息具体包括:对提取的摘要信息进行处理,输出处理后的摘要信息,其中,所述对提取的摘要信息进行处理的方式具体包括以下方式(31)~(36)中的任一项或任意项组合:

(31)个性化摘要:获取交互内容信息的摘要内容对应的各联系人的信息, 根据所述摘要内容以及获取的联系人的信息,生成对应各联系人的个性化摘要信息。所述联系人的信息是联系人的个性化参数,包括下述至少一种信息:联系人的说话习惯、联系人与用户的关系、和/或联系人的属性信息。

所述联系人的说话习惯可以是以下至少之一:联系人对应的交互内容的高频词汇、联系人的惯用语、联系人的惯用句式、联系人的惯用表达方式等,联系人的说话习惯参数可以通过根据与联系人的历史交互记录分析得到。联系人的属性信息可以是以下信息中的至少一项:联系人的职业,联系人的年龄,联系人的性别,联系人的头像图片信息等。

联系人的属性信息可以通过以下方式的至少之一获取到:从终端设备记录的联系人的相关资料(如通讯录、备忘录软件、日历软件、社交应用中联系人公开的资料中)中获取;从与联系人的历史交互内容(如邮件短信以及其他聊天软件的聊天记录)中获取。

所述终端设备在检测到本发明所述群聊助手发出的联系人的相关资料和/或与联系人的历史交互内容获取请求后,在对应的权限下(例如默认开启群聊助手访问通讯录等权限的情况下)进行信息检测,将检测到的联系人的相关资料和/或与联系人的历史交互内容发送至群聊助手,由群聊助手分析联系人的属性信息,或者群聊助手将接收到的信息发送给云端服务器,由云端服务器分析并反馈联系人的属性信息。

本发明在获取到的联系人的个性化参数后,可以利用现有的自动聊天合成器对所述原始的摘要内容进行加工,生成个性化的摘要信息。例如图4中的界面402采取了个性化的摘要生成方式,例如,在对用户“小张”的摘要信息中,加入了用户“小张“的口头禅“你懂的”。

(32)关联摘要:生成所述交互内容信息的摘要内容对应的关联信息,得到关联摘要信息,具体包括:根据提取到的摘要内容,生成摘要信息,判断所述摘要内容所属的语义内容类型,根据所述语义内容类型生成关联摘要信息,之后输出摘要信息和/或所述关联摘要信息。下面分三种典型的语义内容类型进 行分别说明。

情况(32-1),当所述交互内容信息的摘要内容为需要多个联系人提供回应的事件时,对各联系人对事件的回应进行合并,生成关联摘要信息。图8为一种群聊原始内容和群聊助手生成的摘要信息的对比示意图。参见图8左半部分的界面801为群聊的原始内容,其中,对“今天去购物吧,有人去吗?”的回答,部分联系人持肯定的态度,表示希望或者可以去逛街,部分联系人表示不能或者没空去逛街,还有剩下的联系人则表示不确定能不能去。此时本发明将依据联系人对事件的回应和/或联系人的重要程度等因素,将部分联系人对事件的回应合并,生成关联摘要。例如参见图8右半部分的界面802为本发明生成输出的摘要信息,其中对星标联系人的回应信息直接提取摘要生成该星标联系人单独对应的摘要信息821和822。同时对于非星标联系人,将做了相同回应的联系人归为一类,合并他们的意见,生成关联摘要信息823。星标朋友可以由下面一种或多种方法设定:系统自动根据常用联系人、标注的联系人与用户的关系设定,用户手动设置等。

所述关联摘要信息输出方式可以是以语音、文字、图片等方式至少之一。输出的关联摘要信息包括且不局限于关联摘要,以及联系人信息。当关联摘要涉及到多个联系人的情况下,联系人信息可以且不局限于以人名文字列表,联系人头像集合等方式表示。关联摘要可以且不局限于如下排列方式显示在显示界面中:交互内容的交互时间、用户兴趣、与联系人的关系、摘要信息中联系人的参与度、摘要信息中用户的参与度,等。

进一步的实施例中,对于星标联系人,可以附上星标联系人标识,也可以高亮显示。以使用户能够根据上述标识以及高亮显示快速找到星标联系人的摘要信息。

情况(32-2),当所述交互内容信息的摘要内容为热点事件时,搜索该热点事件相关的信息,生成含有搜索到的相关信息的关联摘要信息。如图9为涉及热点事件时显示关联摘要的一种界面示意图。参见图9,本发明会自动进行网络连接并搜索热点事件相关的消息或新闻,并以文字,图片,或语音,链接或非 链接的方式显示在终端上。显示位置可以是摘要信息下方,固定的图标区域等。用户通过单击,双击,长按,滑动等之一的方式触摸该相关信息的显示区域,终端设备通过展开消息或链接到相关网页等方式显示热点事件的详细情况。当消息通过展开或链接的方式显示事件的详情时,可以通过单击,双击,长按,滑动等之一的方式再次触摸详情显示区域或其他设定的区域进行消息的收缩,从而跳转到之前的摘要显示界面。

情况(32-3),当所述交互内容信息的摘要内容为需要用户提供回应的事件时,若检测到该事件与用户的日程安排或当前位置发生冲突,则生成含有搜索到的相关信息的关联摘要信息。例如当摘要内容所属的语义内容类型包括询问事项(如日程安排等需要用户决定的事项)的情况下,则本发明进一步检测该摘要信息中的询问事项的关联参数(如日程安排中的时间和地点等信息),并检测本用户的对应关联参数的取值(如本用户日程安排中的时间和地点等信息),判断所述摘要信息中询问事项的关联参数与本用户对应关联参数是否冲突,生成含有是否冲突提示的关联摘要信息;并可以进一步在收到用户对所述冲突提示信息的反馈指令后,根据该反馈指令自动在摘要信息所属多用户交互场景中发出对应的回复信息。

具体的,例如当检测到提取的摘要信息中包含需要用户做出决定的事件时,获取事件的时间和/或地点,检测是否与用户的日程安排或当前的位置等发生冲突,或者多个摘要信息之间的时间、地点或决定等存在冲突,系统通过文字,语音或图片等至少之一的方式提醒用户是否发生了冲突,并通过文字,语音或图片等至少之一的方式推荐给摘要涉及事件的处理方式,等待用户的反馈。摘要事件可以是当前主题和/或不同主题中的事件。用户的日程安排信息可以通过获取用户日历设置的信息或其他可以确定用户日程安排的信息中获取。当前位置信息可以为全球卫星定位系统(GPS)定位出的位置,也可以是其他技术方式(如对网络接入点进行识别的方式)获取的位置信息(比如,办公室,公共场所,家等);

举例一,例如,摘要事件=“大家今天晚上8:00在西直门聚餐吧”,而用户的日程安排中有“今天晚上7:30至9:30与总部进行专利研讨会”,由于摘要事件的时间与日历事件的时间产生了重叠,因此系统判断产生了时间冲突。或者,系统检测到用户目前在德国,短时间内(当前时间到今晚上8:00)不可能从德国到西直门,此时则产生了地点的冲突。当系统检测到冲突时,则会提示用户是否拒绝接受事件。上述举例以检测到时间冲突为例进行说明,下面以检测到地点冲突为例进行说明,如图10为一种摘要信息中包括询问事项时生成关联摘要信息的界面示意图,其中的询问事项为“我要在长城上办一个派对,你可以来吗?”,当本发明检测到本终端设备的地点在西藏,则群聊助手会生成一个关联摘要信息“您现在正在西藏,需要我回绝他吗?”

举例二,用户的联系人群A中有摘要事件“在这周六去颐和园游玩”,联系人群B中有摘要事件“本周六日去XX敬老院做义工”。当群聊助手检测到这两个群的事情在时间上发生冲突的时候,助手自动生成关联摘要信息进行冲突提醒,提醒的方式可以是以消息等形式发送的文字、语音等内容。当用户对此做了某种决定,助手会在事件相关的群中进行关联回复。比如,用户决定去XX敬老院做义工,助手自动在群B中回复表示肯定的意思,例如“我去”,并且在群A中回复表示否定的意思,例如“对不起,我不能去!”。或者用户在本周末有其他的安排,通过群聊助手可以统一回复群AB表示否定的意思。

(33)多媒体摘要:当交互内容信息的摘要内容中包含多媒体信息时,根据摘要内容中的文字摘要信息以及多媒体信息,生成多媒体摘要信息并输出;具体包括:提取摘要信息中的文字摘要信息,并输出多媒体标记以及文字摘要信息,当摘要信息中有多媒体信息时,多媒体标记为激活状态,否则多媒体标记为非激活状态;在处于激活状态下的多媒体标记被触发后,终端设备输出根据多媒体信息以及文字摘要信息生成的多媒体摘要信息。

所述多媒体摘要信息包含下述至少一种信息:背景音乐、视频、图片、语音、文字摘要信息。

终端设备生成多媒体摘要信息时,可以先从摘要信息中提取不同联系人或者不同主题对应的内容(文字摘要信息和多媒体信息),然后针对每个联系人或每个主题,分别将文字摘要信息置于对应的图片/视频上,或在图片/视频周围显示,例如,文字摘要信息在图片的某个设定位置浮动显示。在显示图片和文字时,还可以同时播放背景音乐。

本发明提出,文字摘要信息可以通过文字的方式显示在图片/视频上,也可以通过语音的方式进行语音播报。语音播报的声音可以采取对应联系人的声音、名人声音等各种音色(与后续实施例中的语音播报方式类似,这里不再一一赘述)。

图11为摘要信息中具有多媒体信息的情况下,群聊原始内容和(文字摘要信息+多媒体标记)的对比示意图。参见图11左半部分的界面,111为群聊的原始内容,其中包括了两张图片。本发明在输出文字摘要信息时,还需要输出多媒体标记,如图11右半部分界面112中的多媒体标记113。该多媒体标记113提供将多媒体信息以及文字摘要信息等进行多媒体展示的入口,即多媒体摘要信息的入口。所述多媒体标记113可以以悬浮、固定位置、用户设定位置等之一的方式显示于所述摘要信息界面112。所述多媒体标记113具有激活和不激活两种状态。当摘要信息中包含多媒体信息(图片、声音、视频信息等),所述多媒体标记113处于激活状态;当主题相关信息中不包含多媒体信息,所述多媒体标记113处于非激活状态。在激活状态下,所述多媒体标记113显示在终端上,并能响应用户的操作。在非激活状态下,所述多媒体标记113可以以变灰等方式显示并不能响应用户的操作,或不在终端显示。

在接下来的步骤中,进一步检测用户对所述多媒体标记113的操作,响应于用户的操作,生成多媒体摘要信息并播放。

此处的用户操作可以是且不限于单击、双击、长按、滑动、S-pen悬停等至少之一。下面以操作方式为单击方式为例进行说明。如图12为用户单击多媒体标记后进行多媒体摘要信息播放的示意图。参见图12,终端设备在摘要信息界面112检测到单击操作之后,如果确定该单击操作的位置是多媒体标记113所 在的位置,且单击操作的方式为预定的方式,则根据文字摘要信息以及多媒体信息生成多媒体摘要信息并播放,如图12右半部分的界面122所示。

多媒体摘要信息的播放方式可以包含且不限于自动播放、点击播放等。背景音乐的来源可以是下述中的至少一种:联系人发送的音乐、群聊助手预设的主题相关的音乐、根据摘要信息和图片内容自动从网络上抓取的音乐等。背景音乐的选择可以采取用户指定,随机方式等。多媒体摘要信息中,图片的播放时长可以取决于对应的文字摘要信息的文字长度、系统采集的用户语速等影响因素。多媒体摘要信息中的图片和文字可以具有飞入/飞出、淡入/淡出、缩放等各种效果和动作。

(34)跳转摘要:该方式可以适用于本发明所述所有输出摘要信息的实施例。该方式具体包括:输出摘要信息后,若检测到对输出的摘要信息相关区域的操作,则跳转到显示该摘要信息对应的原交互内容信息的显示界面。

其中,若摘要信息来源于一个联系人群组(如聊天群组),本发明提出,可以在上述显示界面显示该摘要信息对应的原交互内容信息,还可以在上述显示界面显示该摘要信息对应的联系人群组的完整交互内容信息,并且优先显示该摘要信息对应的原交互内容信息。

若摘要信息来源于至少二个联系人群组(如聊天群组),则在该显示界面按照联系人群组显示交互内容信息。

还可以进一步包括:若检测到对输出的摘要信息相关区域的操作,则跳转到显示该摘要信息对应的原交互内容信息的显示界面,在该显示界面中,显示摘要信息对应的各联系人群组的群组标记;在检测到对所述群组标记的操作后,跳转到显示该联系人群组对应的交互内容的显示界面。例如,可以在显示的交互内容信息的相关位置(如信息下方)输出对应的联系人群组的群组标记。

具体的,摘要信息相关区域可以是摘要信息的相关信息的显示区域,或者以悬浮、固定显示等方式显示的图标区域。例如,按照联系人分别显示摘要信息,在摘要界面上显示联系人头像/昵称以及联系人摘要信息,此时,上述摘要 信息相关区域可以为联系人头像/昵称的显示区域,下面以这种情况为例进行说明。

场景(341),如图13为一种生成并输出跳转摘要的界面示意图。参见图13,当该联系人的摘要信息来自于同一个联系人群组时,通过单击、双击、长按等之一的方式触摸联系人头像,由显示摘要的界面跳转到该联系人在联系人群组中的交互内容信息显示界面,并在该界面显示该联系人及该摘要信息对应的交互内容信息,此外,还可以在该界面显示该联系人群组的相关信息(比如,群组名称等),以及该联系人的详细信息(如该联系人在该联系人群组中的昵称等)。

本发明提出,若在上述显示界面中显示该摘要信息对应的原交互内容信息,还可以在检测到显示全部信息的操作指令时,跳转到显示该摘要信息对应的联系人群组的完整交互内容信息的显示界面,并且优先显示该摘要信息对应的原交互内容信息。

具体的,上述显示全部信息的操作指令可以为用户点击特定区域或语音命令等方式,特定区域可以是联系人群组的相关信息的显示区域,或者以悬浮、固定显示等方式显示的图标区域。例如图13中,特定区域为显示展开或收起功能的图标的区域。通过点击该图标区域,终端设备由显示该摘要信息对应的原交互内容信息的显示界面,跳转到显示该摘要信息对应的联系人群组的完整交互内容信息的显示界面。

场景(342),如图14为又一种生成并输出跳转摘要的界面示意图。参见图14,当该联系人的摘要信息来自于不同的联系人群组时,通过单击、双击、长按等之一的方式触摸联系人头像,由显示摘要的界面141跳转到该联系人在该摘要信息对应的联系人群组中交互内容信息显示界面142,并在该界面显示该联系人及该摘要信息在各联系人群组中对应的交互内容信息。此外,还可以在该界面显示对应的联系人群组标记(即来源群组标记)。来源群组标记可以以文字,图片等方式标示并显示在交互内容信息相关的某个区域,比如联系人消息的下方位置以带下划线的文字标示群来源,如附图14所示。

图15为对图14所示界面142进行操作后的跳转示意图。参见图15,通过点击、长按等方式触摸界面142中联系人群组标记,由界面142跳转到界面143,在界面143中显示该联系人群组对应的交互内容信息。

本发明提出,可以直接在界面143中显示该联系人群组对应的完整交互内容信息,还可以在界面143显示该摘要信息及该联系人群组对应的交互内容信息,并在检测到显示全部信息的操作指令时,跳转到显示该联系人群组的完整交互内容信息的显示界面,并且优先显示该摘要信息对应的原交互内容信息。

具体的,上述显示全部信息的操作指令可以为用户点击特定区域或语音命令等方式,特定区域可以是联系人群组的相关信息的显示区域,或者以悬浮、固定显示等方式显示的图标区域。例如图16中,特定区域为显示展开或收起功能的图标161的区域。通过点击该图标161,终端设备由显示该摘要信息及该联系人群组对应的交互内容信息的界面143,跳转到显示该联系人群组的完整交互内容信息的显示界面144,界面144中也显示其他联系人对应的交互内容信息。

(35)屏蔽特定摘要:具体包括:检测到交互内容信息的摘要内容中存在需要屏蔽的特定内容时,在摘要内容中对所述特定内容进行屏蔽处理;和/或,检测到交互内容信息的摘要内容中存在需要屏蔽的特定联系人的交互内容时,对该特定联系人的信息进行屏蔽处理。

具体的,如果摘要信息中含有特定的不适内容,则屏蔽特定内容,输出未被屏蔽的摘要信息;如果该摘要信息对应的联系人为特定的不适联系人,则屏蔽该联系人的信息(如昵称、头像等),输出摘要信息,其中摘要信息中包含替换后的联系人的信息。

本实施例的主要作用是当检测到信息中存在可能引发用户不适的内容时,主动隔离信息并引导用户忽略信息。当用户想要发送可能引发接收方不适的信息时,也主动隔离消息并引导用户取消发送。

具体的,所述令用户或接收方“不适的内容”可以是下述至少一种内容:淫秽的词句,用户或接收方设置的敏感词,过激的言论,来自不信任网站的链接, 垃圾信息及广告推广等。

场景(351)当摘要信息中存在可能引发用户不适的内容时,主动隔离消息并引导用户忽略信息,例如:图17为一种屏蔽特定摘要的界面示意图,参见图17,例如用户的朋友给用户发来一条过激的信息,群聊助手通过语义分析,判断该信息可能会引发用户不适,就主动隔离并提示用户稍候查看,当检测到用户确认稍后查看的指令后,不显示该信息,可以将该信息暂存在屏蔽箱中。

场景(352)当用户想要发送可能引发接收方不适的信息时,也主动隔离消息并引导用户取消发送。例如:图18为一种屏蔽用户所发信息的界面示意图。参见图18,例如检测到用户待发送给朋友的信息为语言过激的信息,群聊助手通过语义分析,判断该信息可能会引发接收方不适,就主动隔离并提示用户是否取消发送,当检测到用户确认取消发送的指令后,不将该信息发送给信息接收方,可以将该信息暂存在屏蔽箱中。

场景(353)此外,本发明还提出下述屏蔽特定摘要的方式。

步骤一、响应于用户的操作,终端设备显示群聊助手的设置界面。

步骤二、响应于用户的操作,对特定联系人的信息进行屏蔽设置,例如,将特定联系人加入屏蔽名单,将该特定联系人的昵称匿名处理,将头像替换为其他头像,来实现对该联系人的屏蔽。

如图19为一种对联系人的信息进行屏蔽或替换的设置界面,参见图19,在该设置界面中,可以将特定联系人加入屏蔽名单,将该联系人的昵称隐藏,即匿名,该联系人的头像用青蛙头像来替换。在后续显示该联系人的摘要信息时,该联系人的信息仍然会出现在摘要信息中,但消息来源将被隐藏,同时该联系人的声音也会被处理,如果利用语音播报对摘要信息进行播报,则不使用该联系人的声音播报对应的摘要信息,用户将不会听出该联系人的声音。这样用户既了解群里全部的摘要信息,又免于受到特定联系人的干扰。

(36)环境摘要:根据终端设备的当前环境信息和/或当前设备状态信息,生成对应当前环境和/或当前设备状态的摘要信息。在生成摘要信息时,本发明 可以通过不同的环境和/或设备状态生成不同内容的摘要信息。

例如具体的,交互内容信息的处理装置可以向终端设备发出获取当前环境信息和/或当前设备状态信息的数据获取请求,终端设备将检测的当前环境信息和/或当前设备状态信息反馈给该处理装置,该处理装置根据当前环境信息和/或当前设备状态信息判定用户当前的状态类型,确定该状态类型对应的语义特征,根据确定的语义特征,生成具有该语义特征的摘要信息。

当前环境信息包含下述至少一种信息:位置信息、环境图像信息、环境音频信息、环境光线信息、湿度信息。终端设备通过位置检测模块、摄像头、麦克风、声音传感器、光线传感器、湿度传感器中的至少一种,获取当前所处环境的环境信息;

其中,位置信息可以为GPS定位出的位置,也可以是其他技术方式(如对网络接入点的识别方式)获取的位置信息(比如,办公室,公共场所,家等);

通过声音传感器获取的外部噪音信息,可以用来判断用户当前的状态类型,比如在开会,还是在工位上工作,还是在接受培训,还是在户外,等;

通过光线传感器以及湿度传感器等来获取环境光线信息以及湿度信息,判断用户所处环境是否舒适,从而预测用户的内心状况;

通过终端设备的摄像头、麦克风等获取环境图像和音频信息。

当前设备状态信息包含设备的运动状态信息,通过下述方式获取当前设备状态信息:通过速度传感器获取设备的当前运动状态信息(例如,运动,安静,活动范围,活动的剧烈程度等)。

本发明提出,若用户当前的状态为放松的状态,如在家中沙发上休息时,则该状态类型对应的语义特征为委婉详实、且亲密的语义特征,若用户当前的状态为紧张的状态,如在公司紧张的工作时,该状态类型对应的语义特征为言简意赅的语义特征。

举例来说,当用户在家中沙发上休息时,心情放松而愉悦,终端设备生成的摘要内容就会比较委婉详实,会尽量将事件或主题的全貌展现给用户,并且会加上一些亲密性的称谓等等;当用户在全身心投入工作,时间紧张时,生成 的摘要内容就会言简意赅,帮用户在短时间内抓住信息的关键点,方便用户尽快处理。

本发明还提出个性化播报的功能。下面进行详细介绍。

在又一种优选实施方式中,对于本发明所述输出相关的摘要信息,具体可以是以文字显示的方式输出,也可以采用语音播放的方式输出。用户可以对输出方式进行选择。

如果用户选择输出摘要信息的形式为语音,则可以响应于用户的语音播报操作,对生成的摘要进行语音播报。

语音播报的内容可以预先进行设置,例如可以是指定单个联系人的摘要信息,或与指定主题相关的所有摘要信息。通过在显示界面的某个位置或区域进行单击、双击、触摸、滑动操作,来触发语音播报。比如,通过点击联系人的摘要信息对该段摘要进行语音播报。再比如,在摘要界面上以浮动的,固定的等之一的方式显示语音播报图片、图标、或文字等之一的控件,通过触摸该控件达到对该主题的所有摘要进行语音播报的目的。

其中,语音播报可以按照现有的播报语音的方式进行播报,也可以按照下述本发明提出的个性化语音播报方式进行播报,所述播报方式包含语速和/或说话方式。

具体的,本发明所述的采用个性化的语音播放方式输出所述摘要信息,包括以下语音输出方式的任一种:

第一种语音输出方式,利用指定的语音特征,语音播报输出摘要信息。在这种播报方式中,所要播报的信息可以采用不同的声音进行播报,可以选择终端设备默认的合成声音,联系人的声音,名人的声音,特殊效果的声音(比如软糯的儿童声音,沙哑磁性的声音等)等之一的方式进行播报。播报声音的选择可以采用默认的方式或手动的方式。默认的声音可以通过设置群聊助手的默认选项进行预先设定,有关语音播报声音默认选项可以包含系统内置声音,名人声音,联系人声音,特殊声音,自动等。手动选择播报声音适用于一次播报 的声音选择。通过在显示终端的某个位置或区域进行双击、长按等操作,并以弹出框,列表等方式呈现可以选择的声音播报方式。当系统检测到点击、触摸等之一的声音选择操作后,以选择的声音对该条摘要信息或该次播报进行语音播报。手动选择播报声音的操作区域可以与语音播报操作区域相同或者不同,然后以不同的方式进行操作。比如,通过单击联系人的摘要信息对该段摘要进行语音播报,通过长按联系人的摘要信息对该段摘要进行播报声音的选择。

第二种语音输出方式,利用联系人的语音特征,语音播报该联系人对应的摘要信息。这里具体可以有两种利用联系人语音特征播报摘要信息的方式:

(1),采集联系人的语音片段,根据采集的语音片段获取联系人的语音特征。具体的,可以向终端设备发出采集联系人的语音片段的请求,接收所采集到的联系人的语音片段,根据联系人的语音片段进行语音合成模型的训练,获取到该联系人的个性化的语音特征,在输出相关的摘要信息的情况下,确定该摘要信息的发起方联系人,利用该发起方联系人的语音特征,语音播报输出所述相关的摘要信息。

更为具体的,如图20为本发明中,第二种语音输出方式的一种示意图,参见图20,在该方式中,包括:

终端设备采集联系人的声音片段,获取声音片段的方式可以是以下方式中的至少之一:通过用户和联系人的电话记录中获得;通过聊天工具的聊天记录中获得;通过互联网上的公开资料获得。

在收集到声音片段之后,将声音片段上传至服务器侧,服务器侧将通过语音识别方式获得声音片段对应的文本,并使用训练语音和训练文本进行特定人语音合成模型的训练,最终获取到该联系人特定的个性化的语音特征,并由该个性化的语音特征生成该联系人的语音合成器,将该语音合成器保存在服务器端或回传至手机侧,在输出相关的摘要信息的情况下,确定该摘要信息的发起方联系人,并具体利用该发起方联系人对应的语音合成器对摘要信息的内容进行播报。

(2),当联系人声音片段无法收集到时,根据联系人的历史交互内容和/或 联系人的属性信息,预测联系人的语音特征。

例如,群聊助手可以向终端设备发出采集联系人的历史交互记录和/或联系人相关资料的获取请求,接收所采集到的联系人的历史交互内容和/或联系人相关资料,根据联系人相关资料确定联系人的属性信息,根据联系人的历史交互内容和/或属性信息预测联系人的语音特征,在输出相关的摘要信息的情况下,确定该摘要信息的发起方联系人,利用所预测的该发起方联系人的语音特征,语音播报输出所述相关的摘要信息。

联系人的历史交互内容是指该联系人与本用户利用终端设备及其通讯软件所交互的历史交互内容,所述联系人的属性信息例如可以包括联系人的职业、联系人的年龄、联系人的性别、联系人的头像图片信息等。聊天助手可以将这些信息发送到云端,或在终端设备本地,基于上述收集到的联系人历史交互内容和/或属性信息预测联系人的语音特征,所述语音特征更为具体的是包括发音参数,预测的发音参数包括:联系人说话的基频,联系人说话的语调,联系人说话的语速,联系人的口音(比如山东口音,东北口音)等。然后在云端,或终端设备本地生成联系人的语音,并对摘要信息进行播报。

第三种语音输出方式,根据终端设备当前环境信息和/或当前设备状态信息确定对应的语音特征以及播报方式,利用该语音特征以及播报方式语音播报输出摘要信息。

具体的,交互内容信息的处理装置可以向终端设备发出获取当前环境信息和/或当前设备状态信息的数据获取请求,终端设备将检测的当前环境信息和/或当前设备状态信息反馈给该处理装置,该处理装置根据当前环境信息和/或当前设备状态信息判定用户当前的状态类型,确定该当前状态类型对应的语音特征,在输出相关的摘要信息的情况下,利用所述当前状态类型对应的语音特征,语音播报输出所述相关的摘要信息。

所述当前的环境信息例如可以包括当前位置信息(比如,办公室,公共场所,家)、周围的环境状态(比如,安静的场所、嘈杂的地方等),设备的运动 状态可以包含运动,安静,活动范围,活动的剧烈程度等。根据当前环境信息和/或当前设备状态信息反映出的用户的当前状态类型,可以智能的选择对应的语音特征来播报相关的摘要信息。具体的,所述语音特征可以包括播放声音和播放方式。所述播放声音可以是名人的、联系人的等具有不同音色和特质的声音。所述播报方式包括不同的语速(快、正常、慢),说话方式(正式、非正式)等方式。

举例1:参见图21为一种根据当前环境信息和/或当前设备状态信息确定语音播报特征的示意图,如图21所示,例如周三下午3:00点的时候用户正坐在办公室里面进行紧张的工作,群聊助手通知终端设备采集相应的环境信息和/或设备状态信息,例如时间为周三下午3:00(处于工作时间段),利用话筒采集到的声音参数为安静的分贝,利用光线传感器采集到的光线参数为柔和的室内光,利用速度传感器采集到的用户的运动参数为静坐状态,通过这些参数,群聊助手可以判定用户当前的状态为处于紧张的办公室工作状态,那么可以采用对应的语音特性(如采用播报员的声音和新闻播报的方式)对摘要信息进行快速的播报。

举例2:参见图22为又一种根据当前环境信息和/或当前设备状态信息确定语音播报特征的示意图,如图22所示,周六上午10:20的时候用户在家里面悠闲的看电视,群聊助手通知终端设备采集相应的环境信息和/或设备状态信息,例如时间为周六上午10:20(处于休闲时间段),利用话筒采集到的声音参数为介于安静和嘈杂之间的分贝,利用光线传感器采集到的光线参数为柔和的室内光,利用速度传感器采集到的用户的运动参数为静坐状态,通过这些环境参数,群聊助手可以判定用户当前的状态为处于悠闲的休息状态,那么可以采用对应的语音特性,可以采用甜美的邻家女孩的声音以随意轻松的口气对摘要信息进行播报。

当然,本发明上述的个性化语音播报方式,除了用于播报本发明所述的摘要信息,还可以直接播放所获取到的多用户交互时产生的交互内容信息。具体 的,包括:

获取多用户交互时产生的交互内容信息;

通过下述至少一种方式语音播报获取到的交互内容信息:

利用指定的语音特征,语音播报输出交互内容信息;

利用联系人的语音特征,语音播报该联系人对应的交互内容信息;

根据终端设备当前环境信息和/或当前设备状态信息确定对应的语音特征以及播报方式,利用该语音特征以及播报方式语音播报输出交互内容信息。

通过下述至少一种方式获取联系人的语音特征:

采集联系人的语音片段,根据采集的语音片段获取联系人的语音特征;或

根据联系人的历史交互记录和/或联系人的属性信息,预测联系人的语音特征。

置于所述利用个性化语音播报所述交互内容信息的其它具体实施例,与上述利用个性化语音播报所述摘要信息的各实施例一致,此处不再赘述。

对应的,本发明还公开了一种交互内容信息的处理装置,具体包括:

获取模块,用于获取多用户交互时产生的交互内容信息;

语音播报模块,用于通过下述至少一种方式语音播报获取到的交互内容信息:

利用指定的语音特征,语音播报输出交互内容信息;

利用联系人的语音特征,语音播报该联系人对应的交互内容信息;

根据终端设备当前环境信息和/或当前设备状态信息确定对应的语音特征以及播报方式,利用该语音特征以及播报方式语音播报输出交互内容信息。

本发明还提出智能回复的功能。下面进行详细介绍。

终端设备可以获取针对交互内容信息的待回复内容,根据待回复内容生成个性化回复信息并输出。

具体的,所述根据待回复内容生成个性化回复信息并输出,具体包括:根据下述至少一种信息对待回复内容进行处理,生成个性化回复信息并输出:与接收信息的联系人的关系、用户的属性信息、接收信息的联系人的属性信息。

下面分别介绍所述每一种自动回复方式:

第一种自动回复方式:接收用户针对摘要信息所发出的待回复信息,提取该待回复信息对应联系人与本用户的关系特征,根据该关系特征确定对应的语义特征,根据确定出的语义特征对待回复信息进行再加工处理,将再加工处理后的信息发送到对应的多用户交互场景中。

例如,图23为一种自动回复的界面示意图。参见图23,终端设备检测到设定事件(用户被提及),由群聊助手生成了事件的摘要信息,同时群聊助手对提取的摘要信息中的时间或地点等进行冲突检测,如用户的日程安排或当前的位置等存在冲突,或者多个摘要信息之间的时间或地点或决定等存在冲突的时候,显式的提醒用户冲突的时间,并发出摘要信息231提示用户做出选择,当用户选择晚上和李女士一起时,设备自动生成两条信息分别发送给了用户的妻子和李女士。

此处,针对不同的交互对象,群聊助手会根据交互对象与用户之间的关系以及交互对象的属性信息来生成个性化的回复:群聊助手根据交互对象与用户之间的关系生成个性化的回复,例如在图23中,对李女士的回复是比较平淡的口吻,而对妻子的回复则是热情洋溢,充满感情的,这些回复也是采用用户自己的语言习惯,不会让交互对象觉察到群聊助手的存在;群聊助手还可以根据交互对象的属性信息来生成个性化的回复,例如,语音输出时,对老年人的回复音量较高、语速较慢以便于听清楚,对儿童的回复则采用较简单易懂的词汇以便于理解。

第二种自动回复方式:接收用户发出的代发信息的请求,确定该用户已参加的多用户交互场景(如用户所参加的多个聊天群组),提取所述多用户交互场景对应的特征参数(可以认为是接收信息的联系人的属性信息),根据所述多用户交互场景的特征参数确定对应的语义特征,对代发信息进行再加工处理,将 再加工处理后的信息发送到对应的多用户交互场景中。

例如:当用户在群聊助手界面以语音或文字的方式,要求群聊助手向多个群组发出同样内容的消息时,群聊助手会提取每个群组的特征参数,例如所述特征参数可以是群组的标签以及过往聊天历史,根据这些特征参数确定每个群组对应的语义特征,根据所述语义特征对所述代发信息进行再加工处理,使得发往每个群组的消息更适合该群里的联系人阅读。图24为一种由群聊助手向多个群组发送相应回复信息的界面示意图。如图24所示,用户要求群聊助手通知所有的联系人下周用户将休假一周,群聊助手检测到用户有两个群,其标签分别为工作和朋友,那么群聊助手就对两个群分别生成具有两种语义特征的回复信息,使每一条回复信息更加符合用户在该群里说话的风格。

上述智能回复的功能不仅可以针对摘要信息进行智能回复,也可以直接针对交互内容信息进行智能回复,对此,本发明还公开了一种交互内容信息的处理方法,包括:

确定针对交互内容信息的待回复内容;

根据下述至少一种信息对所述待回复内容进行处理,生成个性化回复信息并输出:用户与信息接收方之间的关系、用户的属性信息、信息接收方的属性信息。

对应的,本发明进一步公开了一种交互内容信息的处理装置,包括:

回复内容确定模块,用于确定针对交互内容信息的待回复内容;

回复模块,用于根据下述至少一种信息对所述待回复内容进行处理,生成个性化回复信息并输出:用户与信息接收方之间的关系、用户的属性信息、信息接收方的属性信息。

本发明所述的交互内容信息的处理装置,即所述群聊助手,可以作为一种应用软件安装在用于通信的终端设备中,执行本发明所述的方法。同时,本发明所述的终端设备也需要与所述群聊助手进行配合,从而完成相关信息的检测、 获取、收集、输出展示等功能。

具体的,本发明还公开了一种终端设备的交互内容信息的处理方法。如图25为本发明中,终端设备的处理方法的一种流程示意图。参见图25,该方法包括以下步骤:

261、响应于交互内容信息的处理装置(群聊助手)的数据获取请求,获取相应数据;

262、将获取到的数据发送给所述交互内容信息的处理装置。

请求获取的数据包括下述至少一种:用户和联系人的相关资料、与联系人的历史交互记录、用户的历史操作行为、当前环境信息、当前设备状态信息。

在具体的优选实施例中,该方法进一步包括以下处理方式中的任一项或任意项的组合:

响应交互内容信息的处理装置的用户的相关资料获取请求,检测获取用户的相关资料,将获取到的用户的相关资料返回给所述交互内容信息的处理装置;用户的相关资料包括下述至少一种内容:通讯录中的用户相关资料、日历和/或备忘录中的用户相关日程、社交通信应用中的用户相关资料;

响应交互内容信息的处理装置的联系人的相关资料获取请求,检测获取联系人的相关资料,将获取到的联系人的相关资料返回给所述交互内容信息的处理装置;联系人的相关资料包括下述至少一种内容:通讯录中的联系人相关资料、日历和/或备忘录中的联系人相关日程、社交通信应用中的联系人相关资料;

响应交互内容信息的处理装置的与联系人的历史交互记录获取请求,检测获取与联系人的历史交互记录,将获取到的与联系人的历史交互记录返回给所述交互内容信息的处理装置;与联系人的历史交互记录包括下述至少一种内容:与联系人的通话历史记录、与联系人的短信历史记录、与联系人的邮件历史记录、与联系人在其他社交应用中的历史交互记录;历史交互记录中包含交互时间、交互频率、交互内容等,交互内容中可能包含联系人的语音片段;

响应交互内容信息的处理装置的用户的历史操作行为获取请求,采集用户 的历史操作行为,将采集到的用户的历史操作行为返回给所述交互内容信息的处理装置;历史操作行为包括下述至少一种行为:内容浏览行为、内容点击行为、内容发送行为、内容编辑行为;

响应交互内容信息的处理装置的当前环境信息的获取请求,监测对应的环境参数,将监测结果返回给所述交互内容信息的处理装置;例如终端设备通过位置检测模块、摄像头、麦克风、声音传感器、光线传感器、和/或湿度传感器中的至少一种获取用户所处的环境信息;

响应交互内容信息的处理装置的设备状态获取请求,检测终端设备的当前状态,将检测结果返回给所述交互内容信息的处理装置;例如终端设备通过速度传感器等来获取用户的运动状态等信息。

与上述终端设备的处理方法对应,本发明还公开了一种终端设备,用于执行上述终端设备的处理方法,该终端设备具体包括:

数据获取模块,用于响应于交互内容信息的处理装置发送的数据获取请求,获取相应数据;

数据发送模块,用于将获取到的数据发送给所述交互内容信息的处理装置。

本发明还公开了一种终端设备,该终端设备包括上述任一项实施例所述的交互内容信息的处理装置。

通过本发明所述的方案,可以在多用户交互场景例如多主题的、N对N交流/聊天场景中,进行提取输出摘要信息,并进行个性化语音/文字/视频的智能播报。还可以对交流/聊天信息进行主题划分,并对主题下的信息进行摘要提取。对每个主题下的摘要信息,采用联系人、名人、用户预设等声音,充分考虑用户与联系人的亲密度,用户人当前状态等信息进行智能化的播报。对于交流/聊天中涉及到的冲突信息以及关联信息进行检测和提醒和智能回复。此发明旨在综合多方信息,对交流/聊天信息进行筛选和整理,以多种方式进行信息的反馈, 并智能的提供意见帮助用户抉择与反馈。

本发明所述的方案,进一步带来了以下良好的技术效果:

(1)给用户带来了全新的群聊信息获取方式,使得用户可以在复杂繁多的聊天记录中迅速找到对自己有用的信息。

(2)通过多角色个性化播报的方式向用户播报信息和事件摘要,解放了用户的双眼和双手。

(3)实时监控并分析群聊中的信息流,并检测信息流中出现的用户关心和相关的事件,使得用户可以在事件发生的第一时间,了解事件的概貌,并帮助用户做出及时有效的反馈。

(4)帮助用户更好的屏蔽信息和联系人以及更有效率的处理并发任务。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点,或者也可以分布到多个终端或网络节点上。

另外,本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然,数据处理程序构成了本发明。此外,通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式,例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本发明还公开了一种存储介质,其中存储有数据处理程序,该数据处理程序用于执行本发明上述方法的任何一种实施例。

另外,本发明所述的方法步骤除了可以用数据处理程序来实现,还可以由硬件来实现,例如,可以由逻辑门、开关、专用集成电路(ASIC)、可编 程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1