一种面向智能机器人的富媒体播放数据处理方法和装置与流程

本发明涉及机器人技术领域，具体的说，涉及一种面向智能机器人的富媒体播放数据处理方法和装置。

背景技术：

随着信息技术、计算机技术以及人工智能技术的不断发展，智能机器人已经走入到医疗、保健、家庭、娱乐以及服务行业等与人们生活息息相关的领域。人们对于智能机器人的要求也越来越高，需要智能机器人具备更多的功能从而为人类生活提供更多的帮助。

目前，智能机器人的富媒体播放功能尚存在很多不足，交互能力较差，不能很好的了解用户的喜好，导致智能机器人的富媒体播放用户体验较低。

技术实现要素：

本发明的目的在于提供一种面向智能机器人的富媒体播放数据处理方法和装置，提高智能机器人的富媒体播放用户体验。

本发明提供一种面向智能机器人的富媒体播放数据处理方法，该方法包括：

富媒体播放过程中，接收用户的多模态输入数据；

分析所述多模态输入数据，确定用户的意图；

根据用户的意图确定对当前播放的富媒体数据的评价；

根据所述评价生成富媒体播放数据并输出。

在所述根据所述评价生成富媒体播放数据并输出的步骤中包括：

当所述评价为好评时，收藏所述当前播放的富媒体数据，当所述评价为差评时，停止播放所述当前播放的富媒体数据。

本发明提供的面向智能机器人的富媒体播放数据处理方法，还包括：

统计用户的评价数据并进行分析，确定用户喜好的富媒体数据类型，生成富媒体推荐数据并输出。

本发明提供的面向智能机器人的富媒体播放数据处理方法，还包括：

统计用户的评价数据并进行分析，生成富媒体数据分配模型，为用户配置富媒体数据资源。

在所述分析所述多模态输入数据，确定用户的意图的步骤中包括：

通过硬声音采集方案及声音处理算法，对用户输入的语音信息进行语义解析，确定用户意图。

本发明还一种面向智能机器人的富媒体播放数据处理装置，该装置包括：

接收单元，其用于富媒体播放过程中，接收用户的多模态输入数据；

分析单元，其用于分析所述多模态输入数据，确定用户的意图；

评价单元，其用于根据用户的意图确定对当前播放的富媒体数据的评价；

输出单元，其用于根据所述评价生成富媒体播放数据并输出。

所述输出单元包括：

好评输出模块，其用于当所述评价为好评时，收藏所述当前播放的富媒体数据；

差评输出模块，其用于当所述评价为差评时，停止播放所述当前播放的富媒体数据。

本发明提供的面向智能机器人的富媒体播放数据处理装置，还包括：

推荐单元，其用于统计用户的评价数据并进行分析，确定用户喜好的富媒体数据类型，生成富媒体推荐数据并输出。

本发明提供的面向智能机器人的富媒体播放数据处理装置，还包括：

资源配置单元，其用于统计用户的评价数据并进行分析，生成富媒体数据分配模型，为用户配置富媒体数据资源。

所述分析单元包括：

语义解析模块，其用于通过硬声音采集方案及声音处理算法，对用户输入的语音信息进行语义解析，确定用户意图。

本发明实施例提供的面向智能机器人的富媒体播放数据处理方法和装置，在用户与机器人的多模态交互过程中，通过语音打断等多模态数据获取手段获取来自用户的与富媒体播放相关多模态输入数据，将用户的一言一行、一举一动作为评价和推荐的基础。然后基于获取的多模态数据了解用户的意图并进一步判断用户主观对于富媒体播放的好恶，进而确定用户对于富媒体播放的评价，其评价方式拟人化，使所确定的评价更加接近用户的真实心理。然后基于用户的评价收藏或者隔离相应的富媒体数据，实现基于用户个体的评价记录，判断用户的喜好，从而给用户推荐最适合其口味的主题内容，推荐结果更加贴合用户需求，并且可以根据用户群体的喜好来对富媒体主题资源进行评价，为用户群体配置个性化的富媒体数据资源，实现从多方面提高智能机器人的富媒体播放的用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要的附图做简单的介绍：

图1是本发明实施例提供的面向智能机器人的富媒体播放数据处理方法的流程示意图；

图2是本发明实施例提供的面向智能机器人的富媒体播放数据处理方法的资源推荐和配置资源步骤示意图；

图3是本发明实施例提供的面向智能机器人的富媒体播放数据处理装置的示意图；

图4是本发明实施例提供的输出单元的示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

随着信息技术的升级发展，富媒体已经成为在互联网上传播信息的主要方式，富媒体是指具有动画、声音、视频和/或交互性的信息传播方法，其包含下列常见的形式之一或者几种的组合：流媒体、声音、Flash、以及Java、Javascript、DHTML等程序设计语言。传统的手机富媒体交互往往通过在显示界面设置“顶”或者“踩”的按钮，用户可以通过点击按钮来表达对某一个新闻、某一个评论等富媒体内容的喜好。而基于本发明提供的面向智能机器人的富媒体播放数据处理方法可以在智能机器人上实现类似的功能，对于智能机器人的富媒体播放进行用户评价和用户推荐，以提高智能机器人的富媒体播放的用户体验。

本发明提供的面向智能机器人的富媒体播放数据处理方法，如图1所示，该方法包括：步骤101至步骤104。其中，在步骤101中，富媒体播放过程中，接收用户的多模态输入数据。所获取的多模态输入信息包括外界环境语音、视觉以及感应输入信息，其中可以包括：用户的输入指示信息，如语音指示、动作指示、文字指示等；用户的状态信息，如用户的动作、表情等状态；以及用于区分用户身份的特征信息；还可以包括描述交互环境的环境信息等。

也就是说，本发明提供的面向智能机器人的富媒体播放数据处理方法是基于智能机器人获取的来自用户和交互环境的多模态数据对富媒体播放进行用户评价和用户推荐的，相对于需要用户进行相应评价操作的传统评价系统，充分了利用智能机器人的硬件资源，实现多模态评价，将用户的一言一行、一举一动作为评价和推荐的基础，评价方式拟人化，使通过本发明后续步骤得出的评价和推荐结果更加贴合用户需求。

在步骤102中，分析所述多模态输入数据，确定用户的意图。在本步骤中，对于在步骤101中获取的用户的多模态输入数据进行用户意图分析，生成用于描述用户意图的用户意图信息，即通过用户的多模态输入数据了解用户在富媒体播放的过程中想要做什么。在得知用户意图后即可在后续步骤中进一步得出用户对于正在播放的富媒体的评价。

进一步的，在本发明的一种实施方式中，机器人通过硬声音采集方案及声音处理算法，对用户输入的语音信息进行语义解析，确定用户意图。机器人通过硬声音采集方案及声音处理算法可以实现富媒体播放过程中的语音打断，即机器人在播放音乐、儿歌等声音或者视频富媒体资源的同时，能够同时获取用户的语音信息，从而进行语义分析，得到用户的意图，然后及时的响应用户的意图。

在本步骤中所确定的用户的意图可以是与直接表示用户喜好的意图，也可以是间接表示用户喜好的意图。其中，直接表示用户喜好的意图顾名思义就是指通过对于多模态输入数据的意图分析可直接得出的用户对于正在播放的富媒体的评价。

例如，机器人正在播放儿歌的时候，用户说“我不喜欢这首歌”，机器人获取该语音信息并分析后即可得到用户的意图为评价该首儿歌为不喜欢，即差评。

又如，机器人正在播放儿歌的时候，用户做出用手捂住耳朵或者摇头的动作，或者皱眉产生不愉快的表情，即用户通过肢体动作或者表情直接表达出对于儿歌的好恶，机器人通过动作识别以及表情识别分析出用户的意图为评价该首儿歌为不喜欢。

而间接表示用户喜好的意图是指通过意图分析不能直接得出用户对于正在播放的富媒体的评价，需要进一步在下述步骤中对用户的意图进行分析后方可确定用户对于富媒体播放的评价。例如，机器人正在播放儿歌的时候，用户喊了一句“别放了”，机器人获取该语音信息并分析后即可得到用户的意图为停止该首儿歌的播放，虽然用户的意图不是对于儿歌的直接评价，但是可以基于用户的该意图进一步进行分析确定用户对于儿歌的评价。

在步骤103中，根据用户的意图确定对当前播放的富媒体数据的评价。在本步骤中，机器人基于步骤102中获得的用户在富媒体播放过程中产生的意图进行进一步的分析确定基于具有该意图的用户对于富媒体播放的评价。

其中，对于直接表示用户喜好的意图，即可直接确定用户对于富媒体播放的评价。例如，机器人正在播放儿歌的时候，用户说“我不喜欢这首歌”，用户的意图为评价该首儿歌为不喜欢，则根据该意图可直接确定用户对当前播放的儿歌的评价为差评，同样，若用户说“我喜欢这首歌”，则可直接确定用户对当前播放的儿歌的评价为好评。

而对于间接表示用户喜好的意图则需要基于用户意图进行分析确定用户的评价，具体来说就是通过用户的意图判断用户主观上对于富媒体的评价，若分析得出用户的某意图是基于主观上对正在播放的富媒体的喜爱等感受产生的，则可基于该意图确认用户对正在播放的富媒体的评价为好评，相反若分析得出用户的某意图是基于主观上对正在播放的富媒体的厌烦等感受产生的，则可基于该意图确认用户对正在播放的富媒体的评价为差评。

在一种实施方式中，可以以用户意图为停止当前富媒体数据的播放作为评价该富媒体数据为差评的标准。例如，机器人正在播放儿歌的时候，若用户说“别放了”或者“换下一首歌”，即用户意图的为停止当前儿歌的播放，由于该意图是基于不愿意听儿歌的主观想法产生的，则可确定用户对于该儿歌的评价为差评。

同样的，在一种实施方式中，可以以用户意图的为重复当前富媒体数据的播放作为评价该富媒体数据为好评的标准。例如，机器人正在播放儿歌的时候，若用户说“再放一遍这首歌”或者“我还想再听一遍”，即用户意图的为重复当前儿歌的播放，由于该意图是基于喜欢听该首儿歌的主观想法产生的，则可确定用户对于该儿歌的评价为好评。

或者，在一种实施方式中，也可以以用户意图为消极对待当前富媒体数据的播放作为评价该富媒体数据为差评的标准。例如，机器人正在播放电影的时候，机器人识别到用户虽然坐在屏幕前，但是通过面部识别出用户并没有在观看屏幕，即表明用户的注意力不在观看电影上，用户在主观上没有被电影所吸引，则可确定用户对于该电影的评价为差评。

在一种实施方式中，可以以用户意图的为询问当前富媒体数据的播放的相关信息作为评价该富媒体数据为好评的标准。例如，机器人正在播放儿歌的时候，若用户说“这首歌叫什么名字？”即用户意图的为询问当前儿歌的名称信息，由于该意图是基于想要更多了解听儿歌的信息的主观想法产生的，表明用户对于正在播放的儿歌有兴趣，则可确定用户对于该儿歌的评价为好评。

当然，在一些具体的应用环境中，通过用户的意图判断用户主观上对于富媒体的评价往往需要结合多方面的信息来进行。在一些情况下，以用户意图为停止当前富媒体数据的播放作为评价该富媒体数据的标准时，还可以结合富媒体数据播放的进程进行判断。在一个富媒体数据的播放快要结束时，用户想要停止富媒体数据的播放的意图并不能代表用户不喜欢该富媒体数据的播放。例如，当播放儿歌的快要结束时，用户说“换一下首歌”，用户已经听完歌曲的大部分内容，其主观上并不是不喜欢这首歌而是希望尽快听到下一首歌。相反，在一个富媒体数据的播放快刚刚开始时，用户想要停止富媒体数据的播放的意图则能代表用户不喜欢该富媒体数据的播放。例如，当播放儿歌刚刚开始，用户说“换一下首歌”，说明用户只听到儿歌的一部分内容就已经不想再听了，则可确定用户对于该儿歌的评价为差评。

同样，以用户意图为停止当前富媒体数据的播放作为评价该富媒体数据的标准时，还可以结合当前的交互情景进行判断，比如当前交互的时间和地点等相关信息。以结合当前交互时间作为判断标准的时候，可以考虑到用户的作息时间。例如，机器人正在播放儿歌的节奏风格比较欢快，但是当前的时间为晚上用户快要休息的时间段，用户的意图虽然为停止当前富媒体数据的播放，但是用户主观上可能并不是不喜欢该富媒体数据的内容，而是当前的情景不适合该节奏风格比较欢快的儿歌的播放，因此不能确定用户的评价。相反，在当前的交互情景适合该节奏风格比较欢快的儿歌的播放是情况下，若用户的意图为停止当前富媒体数据的播放，则可以根据该意图确定用户的评价为差评。

其中，为了更准确的获知用户的主观感受，在对于当前的交互情景的判断时，应结合对获取的多方面的信息进行结合。如上例，当机器人获知当前的交互地点为家中的卧室，且当前的时间为晚上，用户的动作和位置为躺在床上，则机器人即可判断当前的交互场景为用户就要睡觉了，则结合该获知的交互场景信息机器人可知当前的情景不适合该节奏风格比较欢快的儿歌的播放。但是，同样当前的时间为晚上，但是机器人获知当前的交互地点为家中的客厅，用户的动作可能是正在跳舞，则当前的情景就适合节奏风格比较欢快的儿歌的播放，机器人即可结合该情景完成上述评价的确定过程。

在步骤104中，根据所述评价生成富媒体播放数据并输出。即根据用户的评价对正在播放的富媒体播放数据进行干预，或者生成新的富媒体数据播放，从而及时的响应用户的意图。在一种实施方式中，当评价为好评时，收藏当前播放的富媒体数据，以备后续再听、再看。当评价为差评时，停止播放当前播放的富媒体数据，同时可进一步记录该评价为差评富媒体数据，并且根据业务需要可以进行相应的永远隔离处理。

在本发明的一种实施方式中，如图2所示，在步骤104之后，还包括：资源推荐步骤105、统计用户的评价数据并进行分析，确定用户喜好的富媒体数据类型，生成富媒体推荐数据并输出。机器人对所记录的当前的用户评价数据进行统计分析，从而得出当前用户最喜欢的富媒体数据类型，即获得好评最多的数据类型，然后基于生成该数据类型的富媒体推荐数据并输出，实现基于个体用户的所有评价，判断这个用户的喜好，从而给用户推荐最适合其口味的主题内容。例如，在对于歌曲的各种类型中，机器人记录的用户对于儿歌的好评最多，则机器人可生成通过语音输出向用户推荐该类型歌曲的富媒体推荐数据并输出，即机器人说：“小主人，这首儿歌很好听，你愿意听听看吗？”。

在本发明的一种实施方式中，在步骤104之后，还包括：配置资源步骤106、统计用户的评价数据并进行分析，生成富媒体数据分配模型，为用户配置富媒体数据资源。也就是将收集的用户群体或个人的大量的评价数据进行统计分析，获得很好的数据参考，得出已提供的大量的富媒体资源中最受欢迎、最不受欢迎的主题资源分布情况，及根据用户群体的喜好来对该主题资源进行评价，然后根据得出分布情况，为用户群体或个人配置个性化的富媒体数据资源。

本发明实施例还提供一种面向智能机器人的富媒体播放数据处理装置，如图3所示，该包括：接收单元1、分析单元2、评价单元3以及输出单元4。其中，接收单元1用于富媒体播放过程中，接收用户的多模态输入数据。

分析单元2用于分析多模态输入数据，确定用户的意图。

评价单元3用于根据用户的意图确定对当前播放的富媒体数据的评价。

输出单元4用于根据评价生成富媒体播放数据并输出。

进一步的在本发明实施例中，分析单元2包括：语义解析模块，语义解析模块用于通过硬声音采集方案及声音处理算法，对用户输入的语音信息进行语义解析，确定用户意图。

进一步的在本发明实施例中，如图4所示，输出单元4中包括：好评输出模块41和差评输出模块42。其中，好评输出模块41用于当评价为好评时，收藏当前播放的富媒体数据。差评输出模块42用于当评价为差评时，停止播放当前播放的富媒体数据。

在一种实施方式中，本发明提供的面向智能机器人的富媒体播放数据处理装置还包括推荐单元，推荐单元用于统计用户的评价数据并进行分析，确定用户喜好的富媒体数据类型，生成富媒体推荐数据并输出。

在一种实施方式中，本发明提供的面向智能机器人的富媒体播放数据处理装置还包括资源配置单元，资源配置单元用于统计用户的评价数据并进行分析，生成富媒体数据分配模型，为用户配置富媒体数据资源。

本发明实施例提供的面向智能机器人的富媒体播放数据处理方法和装置，在用户与机器人的多模态交互过程中，通过语音打断等多模态数据获取手段获取来自用户的与富媒体播放相关多模态输入数据，将用户的一言一行、一举一动作为评价和推荐的基础。然后基于获取的多模态数据了解用户的意图并进一步判断用户主观对于富媒体播放的好恶，进而确定用户对于富媒体播放的评价，其评价方式拟人化，使所确定的评价更加接近用户的真实心理。然后基于用户的评价收藏或者隔离相应的富媒体数据，实现基于用户个体的评价记录，判断用户的喜好，从而给用户推荐最适合其口味的主题内容，推荐结果更加贴合用户需求，并且可以根据用户群体的喜好来对富媒体主题资源进行评价，为用户群体配置个性化的富媒体数据资源，实现从多方面提高智能机器人的富媒体播放的用户体验。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。