一种内容解释方法及装置与流程

文档序号:11458659阅读:239来源:国知局
一种内容解释方法及装置与流程
本申请涉及通信领域,尤其涉及一种内容解释方法及装置。
背景技术
:随着人工智能技术的快速发展,如表情识别技术的成熟,使得机器能够动态实时的捕捉用户的情绪和状态。并将此应用于人机交互的场景中,根据识别出的用户的情绪和状态调整机器的展示内容,从而实现更有效的人机互动。当前,在向用户呈现内容时(包括机器播放或者人演讲),与用户进行人机交互的机器,通过识别用户的表情得到用户对呈现内容的疑惑点,再对识别出的疑惑点进行简单的复述,用于再次理解。但是,很多时候用户不是没有听清楚表述,因此,简单复述并不能帮助用户有效的理解的内容,导致人机交互有效性不高。技术实现要素:本申请实施例提供一种内容解释方法及装置,实现帮助用户有效理解呈现内容,以提高人机交互的有效性。为达到上述目的,本申请采用如下技术方案:第一方面,提供一种内容解释方法,该方法应用于内容解释装置,内容解释装置与信息传递装置关联;信息传递装置用于向用户传递多媒体信息,所述内容解释装置用于在所述信息传递装置向用户传递多媒体信息的过程中,解释所述用户疑惑的多媒体信息。本申请提供的内容解释方法具体包括:内容解释装置识别用户的情绪;当在向用户传递信息的过程中,内容解释装置识别到用户对传递的多媒体信息表示疑惑的负面情绪时,内容解释装置获取目标内容在目标智慧类型下的目标表述方式;其中,目标内容为信息传递装置向用户传递的多媒体信息中,用户所疑惑的内容;目标智慧类型为智慧类型库中预设的至少两种心理学智慧类型中的一种。最后,内容解释装置采用目标表述方式向用户呈现目标内容。通过本申请提供的内容解释方法,先通过情绪识别技术识别用户的情绪,当识别到用户的负面情绪时,确定用户对目标内容疑惑,然后借助心理学中用于体现不同人群对不同内容呈现方式的理解能力的智慧类型,将目标内容转换为便于用户理解的目标智慧类型下的目标表述方式,再采用得到的目标表述方式向用户呈现其有疑惑的目标内容。由于智慧类型反映了不同人群在对不同内容呈现方式的理解能力,因此,将内容按照智慧类型进行转换,只要转换后的目标表述方式是用户所属的智慧类型下的转换方式,用户对该目标内容的理解能力会大大提升,解除其疑惑,使得人机交互的有效性明显提高。其中,内容解释装置用于对其关联的信息传递装置向用户传递的多媒体信息做出解释,以提高用户对于接收的信息的理解程度。在情绪识别技术中,定义了众多的情绪,包括正向情绪及负面情绪。正向情绪是指积极向上的情绪,用于表示对接收的信息的理解,可以包括但不限于高兴、开心、兴奋等。负面情绪是指不积极的情绪,用于表示对接收的信息的疑惑,可以包括但不限于焦虑、紧张、愤怒、沮丧、悲伤、痛苦等。需要说明的是,上述传递的多媒体信息在不同的场景下的定义不同。在信息传递装置向用户传递多媒体信息的过程中,定义传递的多媒体信息是信息传递装置向用户传递的多媒体信息。在内容解释装置向用户解释多媒体信息的过程中,定义传递的多媒体信息是内容解释装置向用户解释的多媒体信息。与之对应的是,向用户传递多媒体信息的过程可以包括信息传递装置向用户传递多媒体信息的过程,或者,内容解释装置向用户解释多媒体信息的过程,根据不同场景定义向用户传递多媒体信息的过程,本申请实施例对此不进行具体限定。结合第一方面,在一种可能的实现方式中,目标智慧类型可以为预存储的用户的静态智慧类型。目标智慧类型为用户静态智慧类型时,目标智慧类型即为该用户的真实理解能力反应,当目标内容转换为目标智慧类型下的目标表述方式时,使得用户对目标内容的理解程度最高,更好的提高了人机交互的效率。其中,预存储的用户的静态智慧类型,可以是用户初始使用时,通过调查问卷或者测试的方式获取并录入存储的该用户的智慧类型。用户的静态智慧类型下的目标表述方式,是用户理解能力最高的表述方式。结合第一方面,在一种可能的实现方式中,目标智慧类型可以为预设智慧类型序列中,未被内容解释装置用于向用户转换目标内容的智慧类型。其中,预设智慧类型序列包括至少一个智慧类型。对于用户疑惑的目标内容,未被内容解释装置用于向该用户转换目标内容的智慧类型可能更符合该用户的理解能力,当目标内容转换为目标智慧类型下的目标表述方式时,提高了用户对目标内容的理解程度,更好的提高了人机交互的效率。结合第一方面或上述任一种可能的实现方式,在一种可能的实现方式中,在内容解释装置识别用户的情绪之后,本申请提供的内容解释方法还可以包括:若内容解释装置识别到用户对传递的多媒体信息表示理解的正向情绪,内容解释装置将用户的智慧类型库中,内容解释装置识别到用户的正向情绪时多媒体信息的表述方式所属智慧类型的计数器加1。其中,智慧类型库中记录了用户在不同智慧类型的计数器的值。通过为用户配置智慧类型库,跟踪识别用户对不同表述方式的情绪反馈,并记录在智慧类型库中的计数器中,以便于动态的更新用户的智慧类型。结合第一方面或上述任一种可能的实现方式,在一种可能的实现方式中,在内容解释装置将用户的智慧类型库中,内容解释装置识别到用户的正向情绪时多媒体信息的表述方式所属智慧类型的计数器加1之后,本申请提供的内容解释方法还可以包括:在预设时刻,或者,在智慧类型库中存在计数器值大于或等于预设阈值时,将用户的静态智慧类型更新为智慧类型库中计数器值最高的智慧类型。根据智慧类型库的实时记录,更新用户的静态智慧类型,使得当用户的智慧类型发生变化时,内容解释装置的解释结果更符合用户最新的理解能力。结合第一方面或上述任一种可能的实现方式,在一种可能的实现方式中,在内容解释装置获取目标内容在目标智慧类型下的目标表述方式之前,本申请提供的内容解释方法还可以包括:内容解释装置按照预设周期,分段分别记录内容解释装置关联的信息传递装置向用户传递的多媒体信息,得到信息片段。本申请提供一种内容解释装置关联的信息传递装置向用户传递的多媒体信息中,用户所疑惑的内容,具体包括:包括目标信息片段在内的n个信息片段;其中,识别到负面情绪的时刻包含于目标信息片段的记录周期内;在记录目标信息片段的过程中,识别到了负面情绪。n大于或等于1。由于识别情绪的耗时过程,定义包括目标信息片段在内的n个信息片段,包括了用户真实疑惑的多媒体信息内容,使得内容解释器将要解释的信息片段更加符合用户的需求。可选的,包括目标信息片段在内的n个信息片段可以是时间轴上,包括目标信息片段及目标信息之前的n-1个信息片段的n个信息片段。可选的,包括目标信息片段在内的n个信息片段可以是时间轴上,包括目标信息片段及目标信息之后,信息传递装置向用户传递的所有信息片段。结合第一方面或上述任一种可能的实现方式,在一种可能的实现方式中,在内容解释装置获取目标内容在目标智慧类型下的目标表述方式之前,本申请提供的内容解释方法还可以包括:当识别到用户的负面情绪时,获取信息传递装置向用户传递的多媒体信息中,内容解释装置识别到用户的负面情绪的时刻之前预设时长内的信息片段,作为目标内容。在该实现方式中,内容解释装置无需实时记录向信息传递装置用户传递的多媒体信息,只需在识别到负面情绪时才获取负面情绪对应的目标内容即可,提高了处理效果,也节省了存储空间。具体的,获取信息传递装置向用户传递的多媒体信息中,内容解释装置识别到负面情绪的时刻之前预设时长内的信息片段,可以通过内容解释装置向信息传递装置发送请求信息,由为信息传递装置向内容解释装置反馈内容解释装置识别到负面情绪的时刻之前预设时长内的信息片段。结合第一方面或上述任一种可能的实现方式,在一种可能的实现方式中,在内容解释装置获取目标内容在目标智慧类型下的目标表述方式之前,本申请提供的内容解释方法还可以包括:将目标内容转换为文字形式的内容。由于文字形式的内容便于表述方式转换,因此提高了内容解释的效率。结合第一方面或上述任一种可能的实现方式,在一种可能的实现方式中,内容解释装置获取目标内容在目标智慧类型下的目标表述方式,具体可以实现为:内容解释装置获取目标内容,获取目标智慧类型,再采用序列到序列学习,转换目标内容,得到目标内容在目标智慧类型下的目标表述方式。序列到序列学习是源端序列到目标端序列的学习过程,典型应用可以包括:机器翻译、语音识别、对话、图像说明自动生成等。结合第一方面或上述任一种可能的实现方式,在一种可能的实现方式中,本申请提供的内容解释方法还可以包括:在当内容解释装置识别到用户的负面情绪时,内容解释装置控制信息传递装置停止向用户传送信息,待用户情绪恢复正向时,内容解释装置再控制信息传递装置恢复向用户传递信息。其中,该控制过程可以通过发送指令的方式实现。第二方面,本申请实施例提供了一种内容解释装置,该内容解释装置可以实现上述方法示例中内容解释装置的功能,所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。结合第二方面,在一种可能的实现方式中,该内容解释装置的结构中包括处理器和收发器,该处理器被配置为支持该内容解释装置执行上述方法中相应的功能。该收发器用于支持该内容解释装置与其他网元之间的通信。该内容解释装置还可以包括存储器,该存储器用于与处理器耦合,其保存该内容解释装置必要的程序指令和数据。第三方面,本申请实施例提供了一种计算机存储介质,用于储存为上述方法示例的功能所用的计算机软件指令,其包含用于执行上述方面所设计的程序。上述第二方面或第三方面提供的方案,用于实现上述第一方面提供的内容解释方法,因此可以与第一方面达到相同的有益效果,此处不再进行赘述。附图说明图1为现有技术提供的一种信息传播系统架构的示意图;图2为本申请实施例提供的一种人机交互系统架构的示意图;图3为本申请实施例提供的一种内容解释装置的结构示意图;图4为本申请实施例提供的一种内容解释方法的流程示意图;图5为本申请实施例提供的另一种内容解释方法的流程示意图;图6为本申请实施例提供的一种神经网络序列学习子系统框架的示意图;图7为本申请实施例提供的一种更新用户静态智慧模型的流程示意图;图8为本申请实施例提供的另一种内容解释装置的结构示意图;图9为本申请实施例提供的再一种内容解释装置的结构示意图;图10为本申请实施例提供的又一种内容解释装置的结构示意图。具体实施方式当前,人机交互领域已经引入了人工智能识别技术,借助表情识别技术识别人机交互时用户的情绪,以提高人机交互的效果。当前,人机交互时,若识别到用户疑惑的情绪,通常是将向用户传递的信息简单复述用于用户再次理解,但是,简单复述并不能帮助用户有效的理解的内容,使得人工智能技术在人机交互中未发挥出明显的优势。基于此,本申请的基本原理是:借助心理学中的智慧类型及表情识别技术,在人机交互时,当识别到用户的负面情绪时,将用户疑惑的内容转换为用户理解能力更强的智慧类型下的表述方式,再采用转换后的表述方式向用户呈现其疑惑的内容。由于不同人群对不同表述方式下的内容理解能力不同,依据智慧类型进行内容解释,解释后的内容提高了用户的理解程序,进而提高了人机交互的效率。本申请实施例提供的内容解释方法,应用于如图1所示的信息传播系统架构中。如图1所示,该信息传播系统架构中包括:用户101,源内容播放装置103,接入网络104,互联网105,包括源内容云服务器111和源内容数据库112的源内容云服务单元110。其中,源内容播放装置103可以是音视频播放器,或第三方演讲者等,源内容播放装置103用于向用户101传递多媒体信息。源内容播放装置103也即后续实施例中描述的信息传递装置。当源内容播放装置103为机器设备时,源内容播放装置103可以自带或外接存储装置以存储源内容,也可以通过互联网105从源内容云服务110获取源内容。源内容播放装置103可以通过接入网络104接入互联网105。源内容云服务单元110用于提供源内容。需要说明的是,多媒体信息可以包括语音、视频等可播放的信息,本申请实施例对于多媒体信息的内容及类型均不进行具体限定。进一步的,在图1所示的信息传播系统架构中,增加机器解释装置,通过人机交互,向用户101解释源内容播放装置103向用户101传递的多媒体信息。在图1所示的信息传播系统架构中,增加机器解释装置后的人机交互系统架构如图2所示。图2所示的人机交互系统架构中,相比于图1的信息传播系统架构,增加了内容解释装置102,及包括智能解释云服务器114和智能解释数据库115的内容解释云服务单元113。其中,内容解释装置102,可以是机器人或者其他进行人机交互的设备。内容解释装置102与源内容播放装置103(即信息传播装置)相互关联,内容解释装置102用于执行本申请提供的内容解释方法,为用户101解释源内容播放装置103向用户传递的多媒体信息。内容解释装置102可以通过接入网络104接入互联网105。内容解释装置102可以在为用户101提供解释时,通过指令控制源内容播放装置103的播放动作暂停,待解释完成后再控制103继续播放源内容。可选的,源内容播放装置103和内容解释装置102可以为同一个物理实体,即一个具有可播放内容的屏幕的计算装置,这种情况下,内容解释装置102可以在自身物理实体内部获取向用户传递的多媒体信息。当然,源内容播放装置103和内容解释装置102也可以为完全独立的两个物理实体,这种情况下,内容解释装置102可以通过摄像头、麦克风等音像传感器来获取源内容播放装置103播放的源内容,得到向用户101传递的多媒体信息。进一步的,当源内容播放装置103和内容解释装置102为完全独立的两个物理实体时,源内容播放装置103和内容解释装置102可以为通过网络104连接的两个物理实体,或者,也可以是通过有线链接的两个物理实体。本申请实施例对于源内容播放装置103和内容解释装置102作为两个独立的物理实体时的连接方式不进行具体限定。图3示出的是与本申请各实施例相关的一种内容解释装置30的结构示意图。内容解释装置30可以为图2所示的人机交互系统架构中的内容解释装置102。如图3所示,内容解释装置30可以包括:处理器301、存储器302、通信总线303,以及输出单元304。其中,存储器302,用于存储程序代码,并将该程序代码传输给该处理器301,以便处理器301执行程序代码实现内容解释装置30的各种功能。存储器302可以是易失性存储器(volatilememory),例如随机存取存储器(random-accessmemory,ram);或者非易失性存储器(non-volatilememory),例如只读存储器(read-onlymemory,rom),快闪存储器(flashmemory),硬盘(harddiskdrive,hdd)或固态硬盘(solid-statedrive,ssd);或者上述种类的存储器的组合。处理器301是内容解释装置30的控制中心,可以是一个中央处理器(centralprocessingunit,cpu),也可以是特定集成电路(applicationspecificintegratedcircuit,asic),或者是被配置成实施本申请实施例的一个或多个集成电路,例如:一个或多个微处理器(digitalsingnalprocessor,dsp),或,一个或者多个现场可编程门阵列(fieldprogrammablegatearray,fpga)。处理器301可以通过运行或执行存储在存储器302内的程序代码,以及调用存储在存储器302内的数据,实现内容解释装置30的各种功能。通信总线303可以是工业标准体系结构(industrystandardarchitecture,isa)总线、外部设备互连(peripheralcomponentinterconnect,pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture,eisa)总线等。该总线303可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。输出单元304可以是机器中的扬声器或者显示屏等用于向用户呈现内容的物理硬件。其中,处理器301具体用于:识别用户的情绪;当识别到用户对信息传递装置传递的多媒体信息表示疑惑的负面情绪时,获取目标内容在目标智慧类型下的目标表述方式;其中,目标内容为内容解释装置30关联的信息传递装置向用户传递的多媒体信息中,用户所疑惑的内容;采用目标表述方式通过输出单元304向用户呈现目标内容。下面结合附图,对本发明的实施例进行具体阐述。一方面,本申请实施例提供一种内容解释方法,应用于如图2所示的人机交互系统架构中的内容解释装置102。如图4所示,该方法可以包括:s401、内容解释装置识别用户的情绪。其中,在s401中,内容解释装置捕获并识别用户对接收的多媒体信息的表情反馈。其中,用户接收的多媒体信息,即信息传递装置向用户传递的多媒体信息。具体的,内容解释装置在进行s401时,先捕获用户的表情,再识别用户的表情得出用户的情绪,下面一一描述。可选的,内容解释装置可以通过摄像头,持续跟踪捕获用户的表情视频。当然,用户捕获用户表情视频的硬件单元可以称之为其他名称,本申请实施例对此不进行具体限定。具体的,内容解释装置持续分析捕获的用户表情视频,识别出用户当前的表情,得到与表情对应的情绪。表情与情绪的对应可以预先设定,本申请实施例对此不进行具体限定。示例性的,表情识别常用的实现方法包括但不限于如下四种实现方法:实现方法1、形变特征提取法,该方法是将人脸面部的一些特殊形变信息,如纹理变化或几何形变提取出来识别表情。实现方法2、统计特征提取法,该方法用统计法对人脸表情图像的特点来进行描述识别表情。实现方法3、运动特征提取法,该方法将某些特征区或特征点的运动信息,如特征区的光流变化或特征点的运动距离提取出来识别表情。实现方法4、模型特征提取法,该方法以人脸为基础上,构建二维或三维模型,通过调节模型参数的变化来匹配人脸图像当中的人脸部分确定表情。需要说明的是,上述仅示例了四种实现表情识别的方法,并不是对表情识别的具体实现方法的限定。进一步的,当内容解释装置在s401中识别到用户对传递的多媒体信息表示理解的正向情绪时,继续执行s401识别用户的情绪,当内容解释装置在s401中识别到对信息传递装置传递的多媒体信息表示疑惑用户的负面情绪时,则执行s402。需要说明的是,上述传递的多媒体信息在不同的场景下的定义不同。在信息传递装置向用户传递多媒体信息的过程中,定义传递的多媒体信息是信息传递装置向用户传递的多媒体信息。在内容解释装置向用户解释多媒体信息的过程中,定义传递的多媒体信息是内容解释装置向用户解释的多媒体信息。与之对应的是,向用户传递多媒体信息的过程可以包括信息传递装置向用户传递多媒体信息的过程,或者,内容解释装置向用户解释多媒体信息的过程,根据不同场景定义向用户传递多媒体信息的过程,本申请实施例对此不进行具体限定。其中,对于正向情绪、负面情绪的定义,可以根据实际需求配置,凡是认为用户对接收的多媒体信息有疑惑需要内容解释装置进行内容解释的情绪,均定义为负面情绪。示例性的,正向情绪是指积极向上的情绪,可以包括但不限于高兴、开心、兴奋等。负面情绪是指不积极的情绪,可以包括但不限于焦虑、紧张、愤怒、沮丧、悲伤、痛苦等。本申请实施例对于正向情绪、负面情绪的具体内容不进行限定。s402、当在向用户传递信息的过程中,内容解释装置识别到用户对传递的多媒体信息表示疑惑的负面情绪时,内容解释装置获取目标内容在目标智慧类型下的目标表述方式。具体的,执行s402的具体过程,如图5所示,在s402之前,本申请实施例提供的内容解释方法还可以包括s402a获取目标智慧类型和s402b获取目标内容,下面一一描述。s402a和s402b没有执行顺序的先后限定,可以同时进行,也可以一次进行,本申请实施例对此不进行具体限定,图5中只是对于s402a和s402b的执行顺序的示意。s402a、内容解释装置获取目标智慧类型。其中,智慧类型是心理学领域提出的用以区分不同人群对不同内容呈现方式的理解能力倾向。当前,智慧类型提出了八种智慧类型以区分不同人群对不同内容呈现方式的理解能力倾向,包括:语言智慧类型(阅读能力强,喜欢看文字描述的内容,玩文字游戏,善长写诗或写故事)、逻辑数理智慧类型(理智的,善于运算,对数字敏感)、音乐智慧类型(对旋律和声音敏感,喜欢音乐,当有音乐在背景中时学习效率更高)、空间智慧类型(对周围环境敏感,喜欢读图表,善长绘画)、运动智慧类型(善长运用自己的身体,喜欢运动、制作、触摸)、人际关系智慧类型(善长理解和与他人沟通)、自省智慧类型(喜欢独立思考,自己设立目标)和自然观察者智慧类型(对星球上自然的生物感兴趣)。本申请的方案即是对智慧类型分类理论加以应用,当用户接收的多媒体信息以该用户的智慧类型方式呈现的时候,能促使该用户最快速有效的理解所接收的多媒体信息。可选的,目标智慧类型的内容及确定方案可以包括下述两种情况:情况1、目标智慧类型可以为预存储的该用户的静态智慧类型。用户的静态智慧类型可以通过静态方式获取,在用户初始使用内容解释装置时,内容解释装置可以通过调查问卷或者测试的方式获取用户的静态智慧类型并将该静态智慧类型预存储至内容解释装置。在s402中则直接读取预存储的该用户的静态智慧类型即可。情况2、目标智慧类型可以为预设智慧类型序列中,未被内容解释装置用于向该用户转换目标内容的智慧类型。预设智慧类型序列包括至少一个智慧类型。预设智慧类型序列通过预配置静态获取。其中,未被内容解释装置用于向该用户转换目标内容的智慧类型,是指内容解释装置向用户解释该目标内容的过程中,还未使用过的智慧类型。若内容解释装置首次解释该目标内容,预设智慧类型序列中的所有智慧类型,均为未被内容解释装置用于向该用户转换目标内容的智慧类型;若内容解释装置已采用智慧类型1向用户解释过该目标内容,但用户依然疑惑,此时,目标智慧类型则为预设智慧类型序列中,除智慧类型1之外的智慧类型。可选的,当预设智慧类型序列中存在两个以上未被内容解释装置用于向该用户转换目标内容的智慧类型,对于目标智慧类型的确定,可以是从两个以上未被内容解释装置用于向该用户转换目标内容的智慧类型中任选一个智慧类型,或者,也可以是从两个以上未被内容解释装置用于向该用户转换目标内容的智慧类型中,按照优先级从高到低选择优先级高的智慧类型。其中,预设智慧类型序列中智慧类型的优先级可以根据实际需求确定,本申请实施例对此不进行具体限定。示例性的,预设智慧类型序列中智慧类型的优先级,可以根据统计数据,按照常规人群的智慧类型分布预设优先级。或者,预设智慧类型序列中智慧类型的优先级,可以根据当前用户之前的内容解释过程中所表现出的智慧类型偏向配置针对该用户的预设智慧类型序列中智慧类型的优先级。可选的,预设智慧类型序列中可以包括心理学领域提出的所有智慧类型中的部分或者全部。进一步可选的,由于用户的智慧类型会由于时间或者其他原因发生变化,用户的静态智慧类型也可以在向用户传递多媒体信息的过程中更新。若采用用户的静态智慧类型在向用户传递多媒体信息的过程中进行更新的方案,用户静态智慧类型的初始值可以为空值,或者,用户静态智慧类型的初始值静态方式获取的静态智慧类型。可选的,若用户静态智慧类型的初始值为空值时,在确定目标智慧类型时,则采用上述情况2中描述的预设智慧类型序列的方式确定目标智慧类型;待用户静态智慧类型更新后,再采用更新后的用户的静态智慧类型作为目标智慧类型。可选的,若用户静态智慧类型的初始值为静态方式获取的静态智慧类型时,在确定目标智慧类型时,则采用上述情况1中描述的预设智慧类型序列的方式确定目标智慧类型;目标智慧类型随着用户静态智慧类型的更新而变化。进一步的,对于用户的静态智慧类型也可以在向用户传递多媒体信息的过程中更新的过程,具体包括:为每个用户维护一个智慧类型库,智慧类型库中记录了用户在不同智慧类型的计数。一个用户的智慧类型库中包含该用户在每种智慧类型对应的计数器,初始化各个计数器都为0,表示最初情况下用户对智慧类型没有特别偏向。在内容解释装置向用户解释内容的过程或者信息传递装置向用户传递多媒体信息的过程中,根据用户对不同智慧类型表述方式解释内容的情绪反馈,判断用户的情绪反馈是否为正向,由此确定该用户对当前表达方式所对应的智慧类型是否接受,正向情绪表示接受,否则表示不接受。用户每对一个智慧类型的表述方式表示接受,则智慧类型库中该智慧类型的计数器加1,否则不做处理。随着时间的累积,用户的智慧类型库中计数器的值则反映了用户对智慧类型的偏向,最偏重的智慧类型则为该用户最新的智慧类型。s402b、内容解释装置获取目标内容。其中,目标内容为内容解释装置关联的信息传递装置向用户传递的多媒体信息中,s401中识别到的用户表现的负面情绪所疑惑的内容。对于目标内容的具体定义,可以根据实际需求配置,本申请实施例对此并不进行具体限定,凡是定义向用户传递的多媒体信息中,用户的负面情绪所疑惑的内容,即为本申请所称目标内容。下面分别描述两种获取目标内容的方式,但并不是对目标内容之定义的具体限定。获取方式1、内容解释装置记录向用户传递的多媒体信息,根据s401中识别到负面情绪的时刻得到目标内容。在获取方式1中,如图5所示,在s402b之前,本申请实施例提供的内容解释方法还可以包括s401a。s401a、内容解释装置按照预设周期,分段分别记录内容解释装置关联的信息传递装置向用户传递的多媒体信息,得到信息片段。其中,预设周期的长短,可以根据实际需求配置,本申请实施例对此不进行具体限定。在获取方式1中,基于s401a记录的信息片段,s402b中确定目标内容的方式为:确定目标内容为内容解释装置关联的信息传递装置向用户传递的多媒体信息中,包括目标信息片段在内的n个信息片段。其中,识别到负面情绪的时刻包含于目标信息片段的记录周期内;n大于或等于1。可选的,包括目标信息片段在内的n个信息片段可以是时间轴上,包括目标信息片段及目标信息之前的n-1个信息片段的n个信息片段。示例性的,内容解释装置在启动之后,持续的周期性的记录其关联的信息传递装置向用户传递的多媒体信息,得到信息片段(每一个预设时间周期,如每5秒钟,记录一次),当s401中识别出用户的负面情绪时(假设在传递信息的第13秒时识别到负面情绪),则同步标记第13秒时所记录的信息片段为用户疑惑的内容,该内容则作为目标内容。在该示例中,n等于1。其中,同步标记是指将识别出负面情绪的时间点所在的记录周期标识出来,以上面的13秒为例,该对应的记录周期即为第10-15秒钟的记录周期)。示例性的,内容解释装置在启动之后,持续的周期性的记录其关联的信息传递装置向用户传递的多媒体信息,得到信息片段(每一个预设时间周期,如每5秒钟,记录一次),定义目标内容为内容解释装置关联的信息传递装置向用户传递的多媒体信息中,包括目标信息片段在内的n个信息片段,n等于2,当s401中识别出用户的负面情绪时(假设在传递信息的第13秒时识别到负面情绪),则第13秒所属的记录周期及前一个记录周期所记录的两个信息片段则作为目标内容。可选的,包括目标信息片段在内的n个信息片段可以是时间轴上,信息传递装置向用户传递的多媒体信息中,包括目标信息片段以及目标信息片段之后的所有信息片段。示例性的,内容解释装置在启动之后,持续的周期性的记录其关联的信息传递装置向用户传递的多媒体信息,得到信息片段(每一个预设时间周期,如每5秒钟,记录一次),当s401中识别出用户的负面情绪时(假设在传递信息的第13秒时识别到负面情绪),则同步标记第13秒时所记录的信息片段之后的所有内容作为目标内容。获取方式2、内容解释装置在s401中识别到负面情绪时,获取识别到负面情绪的时刻之前预设时长内的信息片段,作为目标内容。在获取方式2中,s402b具体实现为:当内容解释装置识别到用户的负面情绪时,获取向用户传递的多媒体信息中,识别到负面情绪的时刻之前预设时长内的信息片段,作为目标内容。其中,内容解释装置可以通过与其关联的信息传递装置的交互,请求信息传递装置发送识别到负面情绪的时刻之前预设时长内的信息片段。示例性的,在获取方式2中,内容解释装置向其关联的信息传递装置发送请求消息,该请求消息中包括识别到负面情绪的时刻,信息传递装置向内容解释装置反馈识别到负面情绪的时刻之前预设时长内的信息片段。需要说明的是,对于预设时长的长短,可以根据实际需求配置,本申请实施例对此不进行具体限定。对于预设时长的确定,可以取决于人体的情绪反应时长。需要说明的是,当内容解释装置在向用户解释目标内容时,内容解释装置识别到用户对传递的多媒体信息表示疑惑的负面情绪,此时的目标内容不变,只是更换目标智慧类型即可。可选的,内容解释装置在s402中,获取目标内容在目标智慧类型下的目标表述方式,具体可以实现为:内容解释装置采用序列到序列学习,转换目标内容,得到目标内容在目标智慧类型下的目标表述方式。其中,序列到序列学习技术属于机器学习领域,是一种将源端序列映射到目标端序列的学习过程。序列到序列学习技术的典型应用包括:机器翻译、语音识别、对话、图像说明自动生成等。由于文本、图像、音频、视频等任何抽象的知识都可以通过适当的方式,转换成一定的序列,并建模成向量形式,从而作为序列到序列学习系统的输入,最终映射成相应形式的序列输出,因此,从理论上,此种序列到序列学习技术可以用于本申请实施例中实时动态的对目标内容转换表述方式的方案实现。由于目标内容的源表述方式不定,且用户可能对应任意的智慧类型,即转换的目标表述方式也不定,为此,可以通过多个序列学习模型,用于实现对不同类型的源转换方式转换为不同类型的目标表述方式。根据目标内容的源表述方式和用户智慧类型对应的目标表述方式,内容解释装置在s402中选择合适的序列学习模型,实现表述方式的转换。选择对应的序列学习模型将内容对象从源表述方式转换成目标表述方式。可选的,序列到序列学习技术可以有多种实现方式。作为一个具体实施例,本申请采用基于人工神经网络的序列到序列学习方法。随着深度学习的研究取得较大进展,基于人工神经网络的序列到序列学习(后面简称神经网络序列学习)在各个任务中都取得了突破性的进展,目前所有神经网络序列学习共用通用的框架,如图6所示的神经网络序列学习子系统框架。该框架使用一个编码器(encoder)将源端序列总结成一个向量,而使用另一个解码器(decoder)在该向量的基础上逐字生成目标串。以两个文字序列的转换为例,系统框架流程具体包括如下编码阶段和解码阶段:编码(encode)阶段:编码器将输入词序列(x1,x2,x3,……,xj),通过一定的计算处理(例如神经网络转换),转化为一个语义向量序列(h1,h2,h3,……,hj),其中每个输入词序列中的元素xj对应目标内容中的一个词。语义向量hj是指用一个多维的向量来表示一个词,比如用(0.3,0.2,-0.5,0.1,0.9)来表示词语“我”。任何抽象的知识都可以建模成这种紧凑的向量形式。解码(decode)阶段:解码器每次生成一个目标端词(如图中的y1,y2,…,yi,其中,目标序列包含的目标端词的个数和源端词的个数不一定相同),最终串行输出整个目标序列。每个目标端词的生成包括如下步骤:先使用注意力机制(attentionmodel)对每个源端词进行加权处理,即根据系统在大量训练语料中学习到的源端词与即将生成目标端词的对应关系给每个源端词赋予一个权重,权重越高,表示对应源端词在生成该目标端词时的贡献越多。具体的,通过加权的源端语义向量(即源端的语义向量hi乘以对应的权重wi)作为源端上下文向量,即图6中的(c1,c2,…,ci),该上下文向量与目标端词一一对应;然后该上下文向量首先用来更新中间状态(即图中的(s1,s2,…)),该中间状态总结了过去的翻译序列转换信息。再根据源端上下文向量(ci),中间状态(si)和前一输出词(yi-1)一起预测当前输出词(yi)。总结来说,编码器尝试理解源端内容对象并将其总结成一个上下文向量,解码器在该上下文向量基础上逐字生成目标序列串,实现理解并生成的过程。所有这些过程全部是由神经网络参数控制,这些参数是在神经网络构建的初始阶段,利用大量的训练语料自动训练学习得到的。训练语料一般是由(源端句子,目标端句子)这种句子对组成,规模一般在十万句对级别以上,一般训练语料越大,模型的效果越好。为了方便理解,本申请实施例以实现两种不同风格文字的表述方式之间的转换(如数字型表述方式和文字型表述方式之间的转换)为例,来描述如何通过神经网络序列到序列学习方法以针对目标内容实现不同表述方式的动态实时转换。可知的是,其余的在不同智慧类型对应的表示方式之间的转换,如音视频和文字间的转换等,也可以通过将音视频等抽象知识转换为源端向量表示(如图像可以用像素块序列向量的形式表示,音频可以用音频帧序列向量的形式表示),之后输入到图6的神经网络序列学习子系统中进行表述方式的转换实现。为实现两种不同风格文字表述方式之间的转换(具体的,数字型表述方式和文字型表述方式之间的转换),序列学习模型首先需要收集大量的训练语料以实现对模型的训练,从而获取神经网络参数.例如,有几十万句对的训练语料,两端的句子都经过分词(一般指中文分词,即将一个汉字序列切分成一个一个单独的词,用于实现系统自动识别处理语句含义的功能),语料训练的格式如下表1和表2。表1源端肉眼可见的星星有6974颗目标端星星像地上的沙子一样多表2源端草原上的羊有18432只目标端草原上的羊像地上的沙子一样多序列学习系统首先基于训练语料自动学习词语的对应关系,从而生成和固化一系列的控制参数。比如经过训练阶段,系统学习到“6974”和“18432”等都是表示很大的数字,并且它们和“像地上的沙子一样多”是对应的。注意,越多类似的词对共现,系统越能更好地学习到这些词的对应关系。当训练完成后,参数就固定了,并用于后面的在线序列转换。当系统训练好,神经网络中的所有参数都已生成固化之后,则系统可用于实现在线序列内容的转换了。当序列学习模型接收到“农场里的猪有7634头”源内容对象时,首先使用分词工具将其分成词的序列“农场里的猪有7634头”(与训练语料一致)。系统读入分词后的句子,经过上述的编码-解码过程,输出转换后的序列,如“农场里的猪像地上的沙子一样多”。具体地,系统在编码阶段通过学习到的系统参数自动识别出“7634”是一个比较大的数字,并和“像地上的沙子一样多”对应上,同时识别出其他部分应该被直接复制到输出端。其中,系统参数是用来控制表述方式的转化风格,而该参数是从训练语料中自动学习到的,即系统学习到的转化风格一般是和训练语料中的表述转换风格一致。为了实现更丰富的目标表述方式的转换,序列学习模型需要使用大量丰富的训练语言以学习到多样的转换风格。需要说明的是,上述示例只是通过举例的形式对序列到序列学习的过程进行描述,并不是对序列到序列学习的过程的具体限定。可选的,在另一种可能的实现中,内容解释装置在s402中,获取目标内容在目标智慧类型下的目标表述方式,具体可以实现为:获取预先存储的目标内容在目标智慧类型下的目标表述方式。其中,内存解释装置中预先存储了信息传递装置向用户传递的多媒体信息在每种智慧类型下的表述方式。在s402中即可直接查询获取。s403、内容解释装置采用目标表述方式向用户呈现目标内容。具体的,根据目标表述方式的形式不同,内容解释装置在s403中使用目标表述方式对应的方式向用户呈现目标内容。具体的呈现方式,可以是将特定风格的目标表述文字以音频的形式播放给用户,将以图片或音视频等媒体对应的方式以显示图片或播放音视频的方式呈现给用户。需要说明的是,本申请实施例对于s403中的呈现方式不进行具体限定。进一步的,本申请实施例的方案还可以在向用户传递多媒体信息的过程中执行至少一次s401至s403的过程,以提高用户对接收的多媒体信息的理解。通过本申请提供的内容解释方法,先通过情绪识别技术识别用户的情绪,当识别到用户的负面情绪时,确定用户对目标内容疑惑,然后借助心理学中用于体现不同人群对不同内容呈现方式的理解能力的智慧类型,将目标内容转换为便于用户理解的目标智慧类型下的目标表述方式,再采用得到的目标表述方式向用户呈现其有疑惑的目标内容。由于智慧类型反映了不同人群在对不同内容呈现方式的理解能力,因此,将内容按照智慧类型进行转换,只要转换后的目标表述方式是用户所属的智慧类型下的转换方式,用户对该目标内容的理解能力会大大提升,解除其疑惑,使得人机交互的有效性明显提高。进一步可选的,对应于s402a中用户的静态智慧类型也可以在向用户传递多媒体信息的过程中更新,如图5所示,在s401之后,本申请实施例提供的内容解释方法还可以包括s404和s405,以实现在向用户传递信息的过程中更新用户的静态智慧类型。s404、若内容解释装置识所述用户对传递的多媒体信息表示理解的正向情绪,内容解释装置将用户的智慧类型库中,内容解释装置识别到用户的正向情绪时多媒体信息的表述方式所属智慧类型的计数器加1。s405、在预设时刻,或者,在智慧类型库中存在计数器值大于或等于预设阈值时,将用户的静态智慧类型更新为智慧类型库中计数器值最高的智慧类型。进一步的,如图7所示,s404和s405实现在向用户传递多媒体信息的过程中更新用户的静态智慧类型的过程具体可以包括s701至s704.s701、在向用户传递多媒体信息的过程中,内容解释装置识别用户的情绪。其中,s701与s401的实现相同,此处不再进行赘述。s702、内容解释装置判断是否识别到用户的正向情绪。在s702中,若判断s701中识别到用户的正向情绪,则执行s703;否则,继续执行s701。s703、若在向用户传递多媒体信息的过程中,内容解释装置识别到用户的正向情绪,内容解释装置将用户的智慧类型库中,内容解释装置识别到用户的正向情绪时多媒体信息的表述方式所属智慧类型的计数器加1。s704、在预设时刻,或者,在智慧类型库中存在计数器值大于或等于预设阈值时,将用户的静态智慧类型更新为智慧类型库中计数器值最高的智慧类型。其中,预设时刻或者预设阈值均可以根据实际需求配置,本申请实施例对此不进行具体限定。进一步可选的,如图5所示,在s402之前,本申请提供的内容解释方法还可以包括s402c。s402c、内容解释装置将目标内容转换为文字形式的内容。具体的,在s402c中,将目标内容转换为文字形式的内容,可以采用语音识别等技术方案,本申请实施例对此不进行具体限定。进一步可选的,如图5所示,在s401之后,本申请提供的内容解释方法还可以包括s406。s406、当识别到用户的负面情绪时,内容解释装置控制其关联的信息传递装置暂停信息传递。具体的,在s406中,内容解释装置可以通过向其关联的信息传递装置发送暂停指示消息,使得信息传递装置暂停信息传递,以便于内容解释装置对目标内容向用户进行解释。进一步可选的,对应于s406,如图5所示,在s403之后,本申请提供的内容解释方法还可以包括s407。s407、若在采用目标表述方式向用户呈现目标内容时,内容解释装置识别到用户的正向情绪,在采用目标表述方式向用户呈现目标内容后,内容解释装置控制其关联的信息传递装置恢复向用户传递多媒体信息。具体的,在s407中,内容解释装置可以通过向其关联的信息传递装置发送恢复指示消息,使得信息传递装置恢复向用户传递多媒体信息。上述主要从内容解释装置的工作过程的角度对本申请实施例提供的方案进行了介绍。可以理解的是,内容解释装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。本申请实施例可以根据上述方法示例对内容解释装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在采用对应各个功能划分各个功能模块的情况下,图8示出了上述实施例中所涉及的内容解释装置的一种可能的结构示意图,内容解释装置80包括:识别单元801,获取单元802,呈现单元803。识别单元801用于支持内容解释装置80执行图4或图5中的过程s401;获取单元802用于支持内容解释装置80执行图4或图5中的过程s402;呈现单元803用于支持内容解释装置80执行图4或图5中的过程s403。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。进一步的,如图9所示,示出了上述实施例中所涉及的内容解释装置80的另一种可能的结构示意图,内容解释装置80还可以包括:统计单元804、更新单元805、记录单元806、转换单元807。其中,统计单元804用于支持内容解释装置80执行图5中的过程s404;更新单元805用于支持内容解释装置80执行图5中的过程s405;记录单元806用于支持内容解释装置80执行图5中的过程s401a;转换单元807用于支持内容解释装置80执行图5中的过程s402c。在采用集成的单元的情况下,图10示出了上述实施例中所涉及的内容解释装置的再一种可能的结构示意图。内容解释装置100可以包括:处理模块1001、输出模块1002。处理模块1001用于对内容解释装置100的动作进行控制管理,例如,处理模块1001用于支持内容解释装置100执行图4或图5中的过程s401、s402,和/或用于本文所描述的技术的其它过程,处理模块1001还用于支持内容解释装置100通过输出模块1002执行图4或图5中的过程s403。输出模块1002用于支持内容解释装置100与外界的交互。内容解释装置100还可以包括存储模块1003,用于存储内容解释装置100的程序代码和数据。其中,处理模块1001可以为图3所示的内容解释装置30的实体结构中的处理器301,可以是处理器或控制器,例如可以是cpu,通用处理器,dsp,asic,fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等等。输出模块1002可以是图3所示的内容解释装置30的实体结构中的输出单元304。存储模块1003可以是图3所示的内容解释装置30的实体结构中的存储器302。当处理模块1001为处理器,存储模块1003为存储器,输出模块1002为输出单元时,本申请实施例图10所涉及的内容解释装置100可以为图3所示的内容解释装置30。如前述,本申请实施例提供的内容解释装置可以用于实施上述本申请各实施例实现的方法,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请各实施例。结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于ram、闪存、rom、可擦除可编程只读存储器(英文全称:erasableprogrammablerom,eprom)、电可擦可编程只读存储器(英文全称:electricallyeprom,eeprom)、寄存器、硬盘、移动硬盘、只读光盘(cd-rom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外,该asic可以位于核心网接口设备中。当然,处理器和存储介质也可以作为分立组件存在于核心网接口设备中。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文全称:read-onlymemory,rom)、随机存取存储器(英文全称:randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1