多媒体数据的推荐方法和处理方法、装置、设备及可读介质与流程

文档序号:25236513发布日期:2021-06-01 13:23阅读:58来源:国知局
多媒体数据的推荐方法和处理方法、装置、设备及可读介质与流程

本申请实施例涉及多媒体处理领域,尤其涉及一种多媒体数据的推荐方法和处理方法、装置、电子设备及计算机可读介质。



背景技术:

随着计算机技术的发展,越来越多的多媒体平台和多媒体应用提供了基于用户的浏览历史和行为记录等信息进行各种个性化推荐的功能。以音频类客户端应用为例,音频类客户端应用的个性化推荐方法根据用户的兴趣和行为特点,帮助用户在海量音频中快速发现自己喜欢或可能喜欢的音频,提高用户黏性,促进音频播放和付费。

在现有技术中,多媒体数据的推荐方法包括基于人口统计学的推荐方法、基于协同过滤的推荐方法,以及基于内容的推荐方法。其中,基于人口统计学的推荐方法是根据推荐系统的用户基本信息发现用户的相关程度,然后将相似用户喜爱的多媒体数据推荐给当前用户。基于内容的推荐方法是在推荐引擎出现之初,应用最为广泛的推荐机制,其核心思想是根据推荐多媒体数据或内容的元数据,发现多媒体数据或者内容的相关性,然后基于用户以往的喜好记录,推荐给用户相似的多媒体数据。基于协同过滤的推荐方法是现今应用最为广泛的推荐机制,典型的方法是基于用户的协同过滤推荐,基本原理是:根据所有用户对多媒体数据或者信息的偏好,发现与当前用户口味和偏好相似的“邻居”用户群,在一般的应用中是采用计算“k-邻居”的算法;然后,基于这k个邻居的历史偏好信息,为当前用户进行推荐。

然而,当用户具有试图满足用户即时情绪的多媒体消费需求时,由于没有主动捕捉用户的情绪,通过现有的多媒体数据的推荐方法很难快速高效地为用户推荐与用户即时情绪匹配的多媒体数据,而且人的情绪波动周期比较短,对具有试图满足用户即时情绪的多媒体消费需求的用户的多媒体数据的推荐应该做到快速识别、快速触达、快速消费。由此可见,如何快速高效地为用户推荐与用户即时情绪匹配的多媒体数据成为当前亟待解决的技术问题。



技术实现要素:

本申请的目的在于提出一种多媒体数据的推荐方法和处理方法、装置、电子设备及计算机可读介质,用于解决现有技术中存在的如何快速高效地为用户推荐与用户即时情绪匹配的多媒体数据的技术问题。

根据本申请实施例的第一方面,提供了一种多媒体数据的推荐方法。所述方法包括:对用户脸部图像进行情绪识别,获得用户的情绪信息;确定与所述用户的情绪信息对应的至少一种多媒体属性信息;基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。

根据本申请实施例的第二方面,提供了一种多媒体数据的推荐装置。所述装置包括:识别模块,用于对用户脸部图像进行情绪识别,获得用户的情绪信息;第一确定模块,用于确定与所述用户的情绪信息对应的至少一种多媒体属性信息;第二确定模块,用于基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。

根据本申请实施例的第三方面,提供了一种多媒体数据的处理方法。所述方法包括:调用图像采集装置采集用户图像;获取根据所述用户图像确定的目标多媒体数据,所述目标多媒体数据根据用户情绪信息对应的多媒体属性信息确定,所述用户情绪信息通过对用户图像进行情绪识别获得;在多媒体数据客户端增加所述目标多媒体数据的显示元素。

根据本申请实施例的第四方面,提供了一种多媒体数据的推荐方法。所述方法包括:对用于发布用户数据的发布数据源中的用户数据进行情绪识别,获得用户情绪信息;确定与所述用户情绪信息对应的至少一种多媒体属性信息;基于所述多媒体属性信息,确定与所述用户情绪信息匹配的待推荐多媒体数据。

根据本申请实施例的第五方面,提供了一种电子设备,包括:一个或多个处理器;计算机可读介质,配置为存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述实施例的第一方面或者第四方面所述的多媒体数据的推荐方法,或者实现如上述实施例的第三方面所述的多媒体数据的处理方法。

根据本申请实施例的第六方面,提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例的第一方面或者第四方面所述的多媒体数据的推荐方法,或者实现如上述实施例的第三方面所述的多媒体数据的处理方法。

根据本申请实施例提供的多媒体推荐方案,对用户脸部图像进行情绪识别,获得用户的情绪信息,并确定与用户的情绪信息对应的至少一种多媒体属性信息,再基于多媒体属性信息,确定与情绪信息匹配的待推荐多媒体数据,与现有技术相比,确定基于用户脸部图像识别得到的用户情绪信息对应的至少一种多媒体属性信息,并基于多媒体属性信息,确定与情绪信息匹配的待推荐多媒体数据,能够快速高效地为用户端推荐与用户即时情绪匹配的多媒体数据,减少在查找多媒体数据的路径上耗费的时间,使得用户快速高效地获取与用户即时情绪匹配的多媒体数据,实现对资源的精准匹配和资源的有效访问,进而有效提升用户针对推荐的多媒体数据的使用体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:

图1a为本申请实施例一中多媒体数据的推荐方法的步骤流程图;

图1b为根据本申请实施例一提供的用户情绪信息与音频属性信息的映射过程的示意图;

图1c为根据本申请实施例一提供的向用户推荐与用户即时情绪匹配的音频的效果的示意图;

图1d为根据本申请实施例一提供的音频推荐过程的示意图;

图2a为本申请实施例二中多媒体数据的推荐方法的步骤流程图;

图2b为根据本申请实施例二提供的向用户推荐立体播放的音频的过程的示意图;

图2c为根据本申请实施例二提供的音频推荐过程的示意图;

图3a为本申请实施例三中多媒体数据的推荐方法的步骤流程图;

图3b为根据本申请实施例三提供的多媒体数据的推荐过程的示意图;

图4a为本申请实施例四中多媒体数据的处理方法的步骤流程图;

图4b为根据本申请实施例四提供的多媒体数据的处理过程的示意图;

图5为本申请实施例五中多媒体数据的推荐装置的结构示意图;

图6为本申请实施例六中多媒体数据的推荐装置的结构示意图;

图7为本申请实施例七中多媒体数据的推荐装置的结构示意图;

图8为本申请实施例八中多媒体数据的处理装置的结构示意图;

图9为本申请实施例九中多媒体数据的推荐装置的结构示意图;

图10为本申请实施例十中电子设备的结构示意图;

图11为本申请实施例十一中电子设备的硬件结构。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅配置为解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参照图1a,示出了本申请实施例一中的多媒体数据的推荐方法的步骤流程图。

本实施例提供的多媒体数据的推荐方法包括以下步骤:

在步骤s101中,对用户脸部图像进行情绪识别,获得用户的情绪信息。

在本申请实施例中,可通过多媒体数据客户端调用安装所述多媒体数据客户端的终端设备的摄像头来采集用户脸部图像,也可以从其它途径获得,例如,还可通过多媒体数据客户端调用图像采集装置采集用户脸部图像,还可通过服务器调用图像采集装置采集用户脸部图像来获取用户脸部图像等。其中,所述多媒体数据客户端可为音乐类客户端、评书类客户端、听书类客户端、短视频客户端、直播客户端、电子阅读客户端等。所述用户的情绪信息可为用户的情绪标签信息,所述情绪标签信息可理解为用于表征用户情绪的信息,例如,开心、调皮、高兴、平静、难过、哭泣、忧伤等。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,在对用户脸部图像进行情绪识别时,可通过情绪识别模型,对用户脸部图像进行情绪识别,获得用户的情绪信息。例如,当向情绪识别模型输入具有咧嘴特征的用户脸部图像时,所述情绪识别模型可识别输出用户的情绪标签信息为“开心”。当向情绪识别模型输入具有噘嘴特征的用户脸部图像时,所述情绪识别模型可识别输出用户的情绪标签信息为“忧伤”。籍此,通过情绪识别模型,对用户脸部图像进行情绪识别,能够准确地识别出用户情绪。其中,所述情绪识别模型可以是任意适当的可实现特征提取或目标对象检测的神经网络模型,包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定,如卷积层的层数、卷积核的大小、通道数等等。籍此,当所述情绪识别模型为用于识别情绪的神经网络模型时,能够快速高效地对用户脸部图像进行情绪识别。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,在对用户脸部图像进行情绪识别时,确定所述用户脸部图像与人脸图像库中的多个人脸图像的相似度;确定所述人脸图像库中与所述用户脸部图像的相似度最大的人脸图像的人脸表情信息;基于表情标签与情绪标签的映射关系,确定与所述人脸表情信息对应的情绪信息,并将与所述人脸表情信息对应的情绪信息确定为所述用户的情绪信息。籍此,通过将所述用户脸部图像分别与人脸图像库中的人脸图像进行比对,能够准确地确定所述用户脸部图像的人脸表情信息。此外,通过表情标签与情绪标签的映射关系,还能够准确地获得用户的情绪信息。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述人脸图像库中的人脸图像均标注有人脸表情信息。在识别所述用户脸部图像的人脸表情信息时,通过人脸识别模型,识别所述用户脸部图像分别与人脸图像库中的人脸图像的相似度,并确定所述人脸图像库中与所述用户脸部图像的相似度最大的人脸图像的人脸表情信息为所述用户脸部图像的人脸表情信息。其中,所述人脸表情信息可为人脸表情标签信息,所述人脸表情标签信息可理解为用于表征人脸表情的信息,例如,噘嘴、流泪、咧嘴、皱眉、抬头纹等。在获得用户脸部图像的人脸表情信息之后,可基于表情标签与情绪标签的映射表,确定所述用户的情绪信息。其中,所述表情标签与情绪标签的映射表可为预先配置的映射表,例如,表情标签“噘嘴”可映射出情绪标签“生气”,表情标签“流泪”可映射出情绪标签“忧伤”,表情标签“咧嘴”可映射出情绪标签“高兴”等。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在步骤s102中,确定与所述用户的情绪信息对应的至少一种多媒体属性信息。

在本申请实施例中,所述多媒体属性信息可为多媒体属性标签信息,所述多媒体属性标签信息可理解为用于表征多媒体属性的信息。所述多媒体属性标签信息可包括音频属性标签信息、视频属性标签信息、文本属性标签信息、图像属性标签信息等。当所述多媒体属性标签信息包括音频属性标签信息时,所述音频属性标签信息可为音频节拍的信息、音频表演者的信息、音频曲风流派的信息。其中,所述音频节拍的信息可为音频节拍的标签信息,所述音频节拍的标签信息可理解为用于表征音频节拍的信息,例如,慢速节拍、中速节拍、中慢速节拍、中快速节拍等。所述音频表演者的信息可为音频表演者的标签信息,所述音频表演者的标签信息可理解为用于表征音频表演者的信息,例如,周杰伦、王力宏等。所述音频曲风流派的信息可为音频曲风流派的标签信息,所述音频曲风流派的标签信息可理解为用于表征音频的曲风流派的信息,例如,流行、民谣、轻音乐、爵士、摇滚、布鲁斯等。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,在确定与所述用户的情绪信息对应的至少一种多媒体属性信息时,基于情绪标签与多媒体属性标签的映射关系,确定与所述用户的情绪信息对应的至少一种多媒体属性信息。籍此,通过情绪标签与多媒体属性标签的映射关系,能够准确地确定与所述用户的情绪信息对应的至少一种多媒体属性信息。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述情绪标签与多媒体属性标签的映射关系可为预先配置的映射表。当所述多媒体属性标签信息包括音频属性标签信息时,所述情绪标签与多媒体属性标签的映射关系可为预先配置的情绪标签与音频属性标签的映射表。如图1b所示,在基于人脸图像库以及表情标签与情绪标签的映射表获得用户脸部图像对应的用户情绪信息之后,可基于所述情绪标签与音频属性标签的映射表,确定与所述用户情绪信息对应的音频属性信息。例如,用户情绪标签“开心”可映射出音频属性标签“流行”和“中速节拍”,用户情绪标签“调皮”可映射出音频属性标签“民谣”和“中快速节拍”,用户情绪标签“高兴”可映射出音频属性标签“摇滚”和“快速节拍”,用户情绪标签“平静”可映射出音频属性标签“轻音乐”和“中慢速节拍”,用户情绪标签“难过”可映射出音频属性标签“布鲁斯”和“慢速节拍”,用户情绪标签“哭泣”可映射出音频属性标签“爵士”和“中速节拍”等。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在步骤s103中,基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。

在本申请实施例中,所述多媒体属性信息可为多媒体属性标签信息,所述多媒体属性标签信息可理解为用于表征多媒体属性的信息。当所述多媒体属性标签信息包括视频属性标签信息时,所述待推荐多媒体数据包括待推荐视频。当所述多媒体属性标签信息包括文本属性标签信息时,所述待推荐多媒体数据包括待推荐文本。当所述多媒体属性标签信息包括图像属性标签信息时,所述待推荐多媒体数据包括待推荐图像。当所述多媒体属性标签信息包括音频属性标签信息时,所述待推荐多媒体数据包括待推荐音频。举例来说,当所述音频属性标签信息为“爵士”和“中速节拍”时,可确定曲风流派为“爵士”且节拍为“中速节拍”的音乐或歌曲均为待推荐音频。当所述音频属性标签信息为“布鲁斯”和“慢速节拍”时,可确定曲风流派为“布鲁斯”且节拍为“慢速节拍”的音乐或歌曲均为待推荐音频。当所述音频属性标签信息为“轻音乐”和“中慢速节拍”时,可确定曲风流派为“轻音乐”且节拍为“中慢速节拍”的音乐或歌曲均为待推荐音频。当所述音频属性标签信息为“摇滚”和“快速节拍”时,可确定曲风流派为“摇滚”且节拍为“快速节拍”的音乐或歌曲均为待推荐音频。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,当所述待推荐多媒体数据包括待推荐音频时,所述方法还包括:基于所述待推荐音频在历史时间段内的试听次数,对所述待推荐音频执行筛选操作,以获得筛选后的所述待推荐音频。籍此,可通过待推荐音频在历史时间段内的试听次数,向用户推荐热门的音频,从而有效提高用户体验。可以理解的是,本申请实施例还可通过待推荐音频在历史时间段内的收藏次数、分享次数,或者关注次数,对所述待推荐音频执行筛选操作,以获得筛选后的所述待推荐音频,本申请实施例对此不做任何限定。

在一个具体的例子中,如图1c所示,音乐类客户端调用安装所述音乐类客户端的终端设备的摄像头采集到一个男孩的脸部图像,并对该男孩的脸部图像进行情绪识别,可获得该男孩的情绪标签信息为“伤心”。基于该男孩的情绪标签信息“伤心”,音乐类客户端可向该男孩推荐曲风流派为“布鲁斯”且节拍为“慢速节拍”的音乐或歌曲,例如,歌曲“孩子别哭”,从而快速高效地实现了向男孩推荐与即时情绪匹配的歌曲。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,如图1d所示,以服务器为执行主体执行本申请实施例提供的音频推荐方法。具体的音频推荐过程如下:安装音频类客户端的终端设备的摄像头采集用户脸部图像,并通过网络将用户脸部图像发送至服务器,服务器对用户脸部图像进行情绪识别,以获得用户的情绪信息。在获得用户的情绪信息之后,基于情绪信息与音频属性信息的映射关系,获得用户的情绪信息对应的音频属性信息。然后,基于用户的情绪信息对应的音频属性信息,从音频库中确定与用户的情绪信息匹配的待推荐音频。在确定与用户的情绪信息匹配的待推荐音频之后,服务器通过网络将待推荐音频返回至安装音频类客户端的终端设备,使得终端设备中音频类客户端播放待推荐音频,从而快速高效地实现了向用户推荐与即时情绪匹配的音频。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

通过本申请实施例提供的多媒体数据的推荐方法,对用户脸部图像进行情绪识别,获得用户的情绪信息,并确定与用户的情绪信息对应的至少一种多媒体属性信息,再基于多媒体属性信息,确定与情绪信息匹配的待推荐多媒体数据,与现有技术相比,确定基于用户脸部图像识别得到的用户情绪信息对应的至少一种多媒体属性信息,并基于多媒体属性信息,确定与情绪信息匹配的待推荐多媒体数据,能够快速高效地为用户端推荐与用户即时情绪匹配的多媒体数据,减少在查找多媒体数据的路径上耗费的时间,使得用户快速高效地获取与用户即时情绪匹配的多媒体数据,实现对资源的精准匹配和资源的有效访问,进而有效提升用户针对推荐的多媒体数据的使用体验。

本实施例的多媒体数据的推荐方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:摄像头、终端、移动终端、pc机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(pda)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。

参照图2a,示出了本申请实施例二中的多媒体数据的推荐方法的步骤流程图。

本实施例提供的多媒体数据的推荐方法包括以下步骤:

在步骤s201中,对用户脸部图像进行情绪识别,获得用户的情绪信息。

由于该步骤s201的具体实施方式与上述步骤s101的具体实施方式类似,在此不再赘述。

在步骤s202中,确定与所述用户的情绪信息对应的至少一种多媒体属性信息。

由于该步骤s202的具体实施方式与上述步骤s102的具体实施方式类似,在此不再赘述。

在步骤s203中,基于所述多媒体属性信息,确定用于立体播放待推荐多媒体数据的第一全息动效素材的信息。

在本申请实施例中,所述多媒体属性信息可包括音频属性信息、视频属性信息、文本属性信息、图像属性信息等。所述第一全息动效素材可理解为用于对待推荐多媒体数据进行全息投影播放(立体播放)的动效素材。所述第一全息动效素材的信息可为所述第一全息动效素材的标签信息,所述第一全息动效素材的标签信息可理解为用于表征第一全息动效素材的信息,例如,表演者动效素材的信息、虚拟形象动效素材的信息、几何动效素材的信息。其中,所述表演者动效素材的信息可为所述表演者动效素材的标签信息,所述表演者动效素材的标签信息可理解为用于表征表演者动效素材的信息,例如,表演者的形象素材、表演者的动作素材、表演者的口型素材、表演者的着装素材等。所述虚拟形象动效素材的信息可为所述虚拟形象动效素材的标签信息,所述虚拟形象动效素材的标签信息可理解为用于表征虚拟形象动效素材的信息,例如,机车青年、卡通男女、山水风景等。所述几何动效素材的信息可为所述几何动效素材的标签信息,所述几何动效素材的标签信息可理解为用于表征几何动效素材的信息,例如,立体圆柱动效、立体三角形动效、立体菱形动效等。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,当所述多媒体属性信息包括音频属性信息时,所述音频属性信息包括以下中的至少一者:音频表演者的信息、音频曲风流派的信息、音频节拍的信息。在基于所述多媒体属性信息,确定用于立体播放所述待推荐多媒体数据的第一全息动效素材的信息时,基于所述音频表演者的信息,确定所述第一全息动效素材中的表演者动效素材的信息;和/或基于所述音频曲风流派的信息,确定所述第一全息动效素材中的虚拟形象动效素材的信息;和/或基于所述音频节拍的信息,确定所述第一全息动效素材中的几何动效素材的信息。籍此,通过音频表演者的信息、音频曲风流派的信息,或者音频节拍的信息,能够准确地确定相应的全息动效素材。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,通过音频表演者的标签信息,可以关联相应的表演者的动效素材中的表演者的形象素材、表演者的动作素材、表演者的口型素材、表演者的着装素材等。例如,音频表演者标签“周杰伦”可以关联周杰伦的形象素材、动作素材、口型素材,或者着装素材等。通过音频曲风流派的标签信息,可以关联相应的虚拟形象动效素材的标签信息,例如,频曲风流派标签“摇滚”可以关联虚拟形象动效素材标签“机车青年”,频曲风流派标签“流行”可以关联虚拟形象动效素材标签“卡通男女”,频曲风流派标签“中国风”可以关联虚拟形象动效素材标签“山水风景”。通过音频节拍的标签信息,可以关联相应的几何动效素材的标签信息,例如,音频节拍标签“慢速”可以关联几何动效素材标签“立体圆柱动效”,音频节拍标签“中速”可以关联几何动效素材标签“立体三角形动效”,音频节拍标签“快速”可以关联几何动效素材标签“立体菱形动效”。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在步骤s204中,基于所述多媒体属性信息和所述第一全息动效素材的信息,确定所述待推荐多媒体数据中的目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材。

在本申请实施例中,所述第二全息动效素材可理解为用于对目标推荐多媒体数据进行全息投影播放(立体播放)的动效素材。当所述多媒体属性信息包括音频属性信息时,所述目标推荐多媒体数据包括目标推荐音频,并且所述第二全息动效素材为用于对目标推荐音频进行全息投影播放(立体播放)的动效素材。在上述实施例一中,如果所述音频属性标签信息为“爵士”和“中速节拍”时,则可确定曲风流派为“爵士”且节拍为“中速节拍”的音乐或歌曲均为待推荐音频。这样,满足条件的待推荐音频的数量非常之多,为了进一步提升用户体验,本实施例二可基于所述音频属性标签信息,进一步确定与用户的情绪标签信息匹配的目标推荐音频。类似地,如果所述第一全息动效素材的标签信息为“山水风景”时,则可确定属于全息动效素材标签“山水风景”的虚拟形象动效素材均为用于立体播放所述待推荐音频的动效素材。这样,满足条件的动效素材的数量非常之多,为了进一步提升用户体验,本实施例二可基于所述第一全息动效素材的标签信息,进一步确定用于立体播放所述目标推荐音频的第二全息动效素材。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,在确定所述待推荐多媒体数据中的目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材时,通过用于推荐所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材的推荐模型,基于所述多媒体属性信息和所述第一全息动效素材的信息,推荐所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材。籍此,通过所述推荐模型,能够准确地向用户端推荐目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述推荐模型可以是任意适当的可实现特征提取或目标对象检测的神经网络模型,包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定,如卷积层的层数、卷积核的大小、通道数等等。通过推荐模型的方式,一方面可以实现较为准确的推荐,另一方面,推荐模型可以不断自我学习和改进,以使推荐结果更贴近用户,也更精准。在一种可行方式中,该推荐模型初始时可以通过大数据进行训练或者预先设置相应的模型参数,后续将针对其所对应的用户的数据不断进行学习,以使模型最终的输出更为符合其所对应的用户的喜好。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述方法还包括:基于所述用户的权限信息,对所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材进行过滤,以获得过滤后的所述目标推荐多媒体数据,及用于立体播放过滤后的所述目标推荐多媒体数据的第三全息动效素材。籍此,通过用户的权限信息,能够向用户端推荐与用户权限信息匹配的目标推荐多媒体数据和用于立体播放所述与用户权限信息匹配的目标推荐多媒体数据的第三全息动效素材。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,在通过推荐模型从多媒体库中确定目标推荐多媒体数据,及从素材库中确定用于立体播放所述目标推荐多媒体数据的第二全息动效素材之后,还可以根据所述用户的权限信息,对目标推荐多媒体数据和用于立体播放所述目标推荐多媒体数据的第二全息动效素材进行过滤,获取与所述权限信息匹配的目标推荐多媒体数据和用于立体播放与所述权限信息匹配的目标推荐多媒体数据的第三全息动效素材。例如,若用户为音频类客户端的非会员或非付费会员,仅能播放免费音频,若从音频库中确定的目标推荐音频中包含付费音频,则可以根据所述用户的权限信息,将付费音频过滤掉。由此,音频类客户端可实现流畅且完整的音频播放,而不会播放某一音频的片段等情况,进一步提升了用户使用音频类客户端的体验。又例如,若用户为音频类客户端的非会员或非付费会员,仅能使用免费的全息动效素材,若从素材库中确定的用于立体播放所述目标推荐音频的第二全息动效素材中包含付费的全息动效素材,则可以根据所述用户的权限信息,将付费的全息动效素材过滤掉。由此,避免使用空白背景播放目标推荐音频造成用户使用音频类客户端的体验差的问题。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述方法还包括:基于过滤后的所述目标推荐多媒体数据和用于立体播放过滤后的所述目标推荐多媒体数据的第三全息动效素材的版权信息,对过滤后的所述目标推荐多媒体数据,及用于立体播放过滤后的所述目标推荐多媒体数据的第三全息动效素材进行再次过滤,以获得再次过滤后的所述目标推荐多媒体数据,及用于立体播放再次过滤后的所述目标推荐多媒体数据的第四全息动效素材。籍此,通过过滤后的所述目标推荐多媒体数据和用于立体播放过滤后的所述目标推荐多媒体数据的第三全息动效素材的版权信息,对过滤后的所述目标推荐多媒体数据,及用于立体播放过滤后的所述目标推荐多媒体数据的第三全息动效素材进行再次过滤,能够有效避免多媒体数据客户端播放过滤后的目标推荐多媒体数据及使用用于立体播放过滤后的目标推荐多媒体数据的第三全息动效素材所造成的侵权问题。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述方法还包括:响应于所述用户针对所述目标推荐多媒体数据的过滤操作,从所述目标推荐多媒体数据中过滤掉用户选择过滤的多媒体数据。籍此,可通过所述用户针对所述目标推荐多媒体数据的过滤操作,能够从所述目标推荐多媒体数据中过滤掉用户不喜欢的多媒体数据。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述用户可对音乐类客户端中的表演者的过滤控件进行点击操作,所述音乐类客户端接收所述用户针对音乐类客户端中的表演者的过滤控件的点击操作,并基于该点击操作,从所述目标推荐音频中过滤掉用户选择过滤的表演者所表演的音频。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述通过用于推荐所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材的推荐模型,基于所述多媒体属性信息和所述第一全息动效素材的信息,推荐所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材之后,所述方法还包括:基于所述目标推荐多媒体数据和所述第二全息动效素材进行全息投影播放。籍此,能够基于所述第二全息动效素材,对所述目标推荐多媒体数据进行全息投影播放,从而有效提升用户的使用体验。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,在基于所述目标推荐多媒体数据和所述第二全息动效素材进行全息投影播放时,对所述目标推荐多媒体数据进行解析,以获得解析后的所述目标推荐多媒体数据;基于解析后的所述目标推荐多媒体数据和所述第二全息动效素材分别对应的多媒体属性信息,确定与解析后的所述目标推荐多媒体数据匹配的第五全息动效素材;基于解析后的所述目标推荐多媒体数据的播放时间轨信息,将所述第五全息动效素材与解析后的所述目标推荐多媒体数据同步,并对同步后的所述第五全息动效素材进行动效图像渲染操作,以获得渲染后的所述第五全息动效素材;基于渲染后的所述第五全息动效素材,对解析后的所述目标推荐多媒体数据进行全息投影播放。籍此,通过目标推荐多媒体数据的解析、解析后的目标推荐多媒体数据与用于立体播放目标推荐多媒体数据的全息动效素材的匹配与同步,以及针对匹配与同步后的全息动效素材的动效图像渲染操作,能够全息投影播放解析后的目标推荐多媒体数据,从而有效提升用户的使用体验。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,当所述目标推荐多媒体数据包括目标推荐音频时,所述对所述目标推荐多媒体数据进行解析,包括:可对所述目标推荐音频进行转码和解码,以获得解析后的所述目标推荐音频;所述确定与解析后的所述目标推荐多媒体数据匹配的第五全息动效素材,包括:将对应的音频属性信息与解析后的所述目标推荐音频对应的音频属性信息相同的第二全息动效素材,确定为与解析后的所述目标推荐音频匹配的第五全息动效素材。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,本申请实施例提供的多媒体数据的推荐过程如下:通过多媒体数据客户端调用安装多媒体数据客户端的终端设备的摄像头,采集用户脸部图像。然后,将用户脸部图像分别与人脸图像库中的人脸图像进行比对,以获得用户脸部图像与人脸图像库中的人脸图像的相似度,并确定人脸图像库中与用户脸部图像的相似度最大的人脸图像的人脸表情信息为用户脸部图像的人脸表情信息,再基于表情标签与情绪标签的映射表,确定所述用户脸部图像的人脸表情信息对应的情绪信息。再然后,基于情绪标签与多媒体属性标签的映射表,确定所述用户脸部图像的情绪信息对应的多媒体属性信息。接着,基于所述用户脸部图像对应的多媒体属性信息,关联映射出用于立体播放待推荐多媒体数据的第一全息动效素材的信息。再接着,通过用于推荐目标推荐多媒体数据,及用于立体播放目标推荐多媒体数据的第二全息动效素材的推荐模型,基于多媒体属性信息和第一全息动效素材的信息,从多媒体库的多媒体中向用户端推荐目标推荐多媒体数据,及从素材库的素材中向用户端推荐用于立体播放目标推荐多媒体数据的第二全息动效素材。再接着,基于用户的权限信息,对目标推荐多媒体数据,及用于立体播放目标推荐多媒体数据的第二全息动效素材进行过滤,以获得过滤后的目标推荐多媒体数据,及用于立体播放过滤后的目标推荐多媒体数据的第三全息动效素材。再接着,基于过滤后的目标推荐多媒体数据和用于立体播放过滤后的目标推荐多媒体数据的第三全息动效素材的版权信息,对过滤后的目标推荐多媒体数据,及用于立体播放过滤后的目标推荐多媒体数据的第三全息动效素材进行再次过滤,以获得再次过滤后的目标推荐多媒体数据,及用于立体播放再次过滤后的目标推荐多媒体数据的第四全息动效素材。最后,对再次过滤后的目标推荐多媒体数据进行解析,以获得解析后的目标推荐多媒体数据,并基于解析后的目标推荐多媒体数据和第四全息动效素材分别对应的多媒体属性信息,确定与解析后的目标推荐多媒体数据匹配的第五全息动效素材,再基于解析后的目标推荐多媒体数据的播放时间轨信息,将第五全息动效素材与解析后的目标推荐多媒体数据同步,再对同步后的第五全息动效素材进行动效图像渲染操作,以获得渲染后的第五全息动效素材;再基于渲染后的第五全息动效素材,对解析后的目标推荐多媒体数据进行全息投影播放。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述对解析后的所述目标推荐多媒体数据进行全息投影播放之后,所述方法还包括:获取所述用户针对全息投影播放后的所述目标推荐多媒体数据的反馈数据;基于所述反馈数据,对用于推荐所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材的推荐模型中的模型参数进行调整。籍此,基于用户针对全息投影播放后的目标推荐多媒体数据的反馈数据,对推荐模型中的模型参数进行调整,能够实现推荐模型的精准推荐,进而可进一步提升用户的使用体验。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述用户针对全息投影播放析后的所述目标推荐多媒体数据的反馈数据可包括用户针对全息投影播放后的所述目标推荐多媒体数据的打分数据、用户针对全息投影播放后的所述目标推荐多媒体数据的表情信息,或者用户针对全息投影播放后的所述目标推荐多媒体数据的评论操作数据等。推荐模型可以始终处于不断学习状态,即,可以根据每次用户针对全息投影播放后的所述目标推荐多媒体数据的反馈数据进行模型参数的调整,以使模型的输出更为贴合当前用户的需求。通过这种方式,既可实现通过推荐模型的精准推荐,又可进一步提升用户的使用体验。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,如图2b所示,展示了立体播放的音乐的推荐系统的推荐过程的示意图。图2b中,所述客户端设置于终端设备如手机或ipad等中,一般可以为音乐类app或者具有音乐播放功能的应用app。服务端、曲库、素材库和推荐系统根据其量级可以设置于一个或多个服务器中,或者可以同样设置于客户端所在的终端设备中。具体的推荐过程如下:通过音乐类客户端调用安装音乐类客户端的终端设备的摄像头,采集用户脸部图像。然后,将用户脸部图像分别与人脸图像库中的人脸图像进行比对分析,以获得用户脸部图像与人脸图像库中的人脸图像的相似度的置信度打分数据,并确定人脸图像库中与用户脸部图像的相似度的置信度打分最大的人脸图像的人脸表情信息为用户脸部图像的人脸表情信息,再基于表情标签与情绪标签的映射表,确定所述用户脸部图像的人脸表情信息对应的情绪信息。再然后,基于情绪标签与音乐标签的映射表,确定所述用户脸部图像的情绪信息对应的音乐信息。接着,基于所述用户脸部图像对应的音乐信息,关联映射出全息动效素材的信息。具体地,基于音乐表演者的信息,确定全息动效素材中的表演者动效素材的信息;基于音乐曲风流派的信息,确定全息动效素材中的虚拟形象动效素材的信息;基于音乐节拍的信息,确定全息动效素材中的几何动效素材的信息。再接着,通过推荐模型,基于音乐信息和全息动效素材的信息,从全曲库的音乐中向用户端推荐目标推荐音乐,及从素材库的素材中向用户端推荐用于立体播放目标推荐音乐的全息动效素材。再接着,基于用户的权限信息、目标推荐音乐和用于立体播放目标推荐音乐的全息动效素材的版权信息,以及用户针对目标推荐音乐的音乐表演者的过滤操作,对目标推荐音乐,及用于立体播放目标推荐音乐的全息动效素材进行过滤,以获得模型输出的过滤后的目标推荐音乐,及用于立体播放过滤后的目标推荐音乐的全息动效素材。最后,对所述目标推荐音乐进行解析,以获得解析后的所述目标推荐音乐,并基于解析后的所述目标推荐音乐和所述全息动效素材分别对应的音乐信息,确定与解析后的所述目标推荐音乐匹配的所述全息动效素材,再基于解析后的所述目标推荐音乐的播放时间轨信息,将所述全息动效素材与解析后的所述目标推荐音乐同步,再对同步后的全息动效素材进行动效图像渲染操作,以获得渲染后的所述全息动效素材;再基于渲染后的所述全息动效素材,对解析后的所述目标推荐音乐进行全息投影播放。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,如图2c所示,以服务器为执行主体执行本申请实施例提供的音乐推荐方法。具体的音频推荐过程如下:安装音频类客户端的终端设备的摄像头采集用户脸部图像,并通过网络将用户脸部图像发送至服务器,服务器对用户脸部图像进行情绪识别,获得用户的情绪信息。在获得用户的情绪信息之后,基于情绪信息与音频属性信息的映射关系,获得用户的情绪信息对应的音频属性信息,并基于全息动效素材的信息与音频属性信息的映射关系,获得音频属性信息对应的全息动效素材的信息。然后,基于用户的情绪信息对应的音频属性信息,从音频库中确定与用户的情绪信息匹配的目标推荐音频,并基于音频属性信息对应的全息动效素材的信息,从素材库中确定用于立体播放所述目标推荐音频的全息动效素材。在确定与用户的情绪信息匹配的目标推荐音频,以及用于立体播放所述目标推荐音频的全息动效素材之后,服务器通过网络将目标推荐音频和用于立体播放所述目标推荐音频的全息动效素材返回至安装音频类客户端的终端设备,使得终端设备中的音频类客户端基于用于立体播放所述目标推荐音频的全息动效素材,立体播放所述目标推荐音频,能够快速高效地将与用户即时情绪匹配的音频以立体播放的方式推荐给终端设备,使得用户快速高效地获取与用户即时情绪匹配的立体播放的音频,从而有效提升用户体验。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

通过本申请实施例提供的多媒体数据的推荐方法,对用户脸部图像进行情绪识别,获得用户的情绪信息,并确定与用户的情绪信息对应的至少一种多媒体属性信息,再基于所述多媒体属性信息,确定用于立体播放待推荐多媒体数据的第一全息动效素材的信息,再基于所述多媒体属性信息和所述第一全息动效素材的信息,确定所述待推荐多媒体数据中的目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材,与现有技术相比,确定基于用户脸部图像识别得到的用户情绪信息对应的至少一种多媒体属性信息,并基于多媒体属性信息,确定用于立体播放待推荐多媒体数据的第一全息动效素材的信息,再基于多媒体属性信息和第一全息动效素材的信息,确定待推荐多媒体数据中的目标推荐多媒体数据,及用于立体播放目标推荐多媒体数据的第二全息动效素材,能够快速高效地将与用户即时情绪匹配的多媒体数据以立体播放的方式推荐给用户端,减少在查找多媒体数据的路径上耗费的时间,使得用户快速高效地获取与用户即时情绪匹配的立体播放的多媒体数据,实现对资源的精准匹配和资源的有效访问,进而有效提升用户针对推荐的多媒体数据的使用体验。

本实施例的多媒体数据的推荐方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:摄像头、终端、移动终端、pc机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(pda)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。

参照图3a,示出了本申请实施例三中的多媒体数据的推荐方法的步骤流程图。

本实施例提供的多媒体数据的推荐方法包括以下步骤:

在步骤s301中,对用于发布用户数据的发布数据源中的用户数据进行情绪识别,获得用户情绪信息。

在本申请实施例中,所述用户数据可包括:用户文本数据、用户图像数据、用户音频数据、用户视频数据、用户链接数据,以及所述用户文本数据、用户图像数据、用户音频数据、用户视频数据,及用户链接数据中的至少一者的组合等。所述发布数据源可包括各类即时通信客户端或论坛客户端中的用户朋友圈或用户动态空间。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,在对用于发布用户数据的发布数据源中的用户数据进行情绪识别时,对所述发布数据源中预设时间段内的用户数据进行情绪识别,获得所述用户情绪信息。其中,所述预设时间段可由本领域技术人员根据实际需要进行设定,本申请实施例对此不做任何限定。籍此,通过对发布数据源中预设时间段内的用户数据进行情绪识别,能够准确地获得用户情绪数据。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述预设时间段可为当前时间段。通过对发布数据源中当前时间段内的用户数据进行情绪识别,能够即时准确地获得用户情绪数据。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,在对用于发布用户数据的发布数据源中的用户数据进行情绪识别时,响应于用户针对所述发布数据源中的用户数据的情绪识别触发操作,对所述发布数据源中用户数据进行情绪识别,获得所述用户情绪信息。籍此,能够在用户针对发布数据源中的用户数据进行情绪识别触发操作的情况下,对发布数据源中用户数据进行情绪识别,也就是说,在用户授权对发布数据源中用户数据进行情绪识别的情况下,对发布数据源中用户数据进行情绪识别,从而有效地提升了用户针对推荐的多媒体数据的使用体验。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述情绪识别触发操作包括拖拽操作、长按操作,或者点击操作。具体地,接收用户针对发布数据源的情绪识别授权控件的点击操作,所述点击操作用于指示对所述发布数据源中的用户数据进行情绪识别;基于所述点击操作,对所述发布数据源中的用户数据进行情绪识别,获得所述用户情绪信息。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,在对用于发布用户数据的发布数据源中的用户数据进行情绪识别时,通过情绪识别模型,对发布数据源中的用户数据进行情绪识别,获得用户的情绪信息。例如,当向情绪识别模型输入具有呲牙特征的图像时,所述情绪识别模型可识别输出用户的情绪信息为“开心”。当向情绪识别模型输入具有噘嘴特征的图像时,所述情绪识别模型可识别输出用户的情绪信息为“忧伤”。籍此,通过情绪识别模型,对发布数据源中的用户数据进行情绪识别,能够准确地识别出用户情绪。其中,所述情绪识别模型可以是任意适当的可实现特征提取或目标对象检测的神经网络模型,包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定,如卷积层的层数、卷积核的大小、通道数等等。籍此,当所述情绪识别模型为用于识别情绪的神经网络模型时,能够快速高效地对发布数据源中的用户数据进行情绪识别。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在步骤s302中,确定与所述用户情绪信息对应的至少一种多媒体属性信息。

由于该步骤s302的具体实施方式与上述步骤s102的具体实施方式类似,在此不再赘述。

在步骤s303中,基于所述多媒体属性信息,确定与所述用户情绪信息匹配的待推荐多媒体数据。

由于该步骤s303的具体实施方式与上述步骤s103的具体实施方式类似,在此不再赘述。

在一个具体的例子中,如图3b所示,以服务器为执行主体执行本申请实施例提供的多媒体数据的推荐方法。具体的推荐过程如下:终端设备中的多媒体数据客户端从微信客户端的朋友圈中获取用户数据,并通过网络将用户数据发送至服务器,服务器对用户数据进行情绪识别,以获得用户的情绪信息。在获得用户的情绪信息之后,基于情绪信息与多媒体属性信息的映射关系,获得用户的情绪信息对应的多媒体属性信息。然后,基于用户的情绪信息对应的多媒体属性信息,从多媒体库中确定与用户的情绪信息匹配的待推荐多媒体数据。在确定与用户的情绪信息匹配的待推荐多媒体数据之后,服务器通过网络将待推荐多媒体数据返回至多媒体数据客户端,使得终端设备中的多媒体数据客户端播放待推荐多媒体数据,从而快速高效地实现了向用户推荐与即时情绪匹配的多媒体数据。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

通过本申请实施例提供的多媒体数据的推荐方法,对发布数据源中的用户数据进行情绪识别,获得用户的情绪信息,并确定与用户的情绪信息对应的至少一种多媒体属性信息,再基于多媒体属性信息,确定与情绪信息匹配的待推荐多媒体数据,与现有技术相比,确定基于用户数据识别得到的用户情绪信息对应的至少一种多媒体属性信息,并基于多媒体属性信息,确定与情绪信息匹配的待推荐多媒体数据,能够快速高效地为用户端推荐与用户即时情绪匹配的多媒体数据,减少在查找多媒体数据的路径上耗费的时间,使得用户快速高效地获取与用户即时情绪匹配的多媒体数据,实现对资源的精准匹配和资源的有效访问,进而有效提升用户针对推荐的多媒体数据的使用体验。

本实施例的多媒体数据的推荐方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:摄像头、终端、移动终端、pc机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(pda)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。

参照图4a,示出了本申请实施例四中的多媒体数据的处理方法的步骤流程图。

本实施例提供的多媒体数据的处理方法包括以下步骤:

在步骤s401中,调用图像采集装置采集用户图像。

在本申请实施例中,所述图像采集装置可为任意类型的摄像头或者任意形态的摄像头。所述用户图像可包括用户脸部图像或者用户肢体图像等。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,在调用图像采集装置采集用户图像时,通过多媒体数据客户端,调用安装所述多媒体数据客户端的终端设备的摄像头采集用户图像。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在步骤s402中,获取根据所述用户图像确定的目标多媒体数据,所述目标多媒体数据根据用户情绪信息对应的多媒体属性信息确定,所述用户情绪信息通过对用户图像进行情绪识别获得。

在本申请实施例中,所述目标多媒体数据可包括目标音频、目标视频、目标文本、目标图像等。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述用户图像包括用户面部图像,所述获取根据所述用户图像确定的目标多媒体数据之前,所述方法还包括:根据所述用户面部图像,确定与所述用户情绪信息对应的用户情绪内容信息;确定与所述用户情绪内容信息对应的目标多媒体属性信息,所述获取根据所述用户图像确定的目标多媒体数据,包括:获取根据所述目标多媒体属性信息确定的所述目标多媒体数据。籍此,通过用户情绪内容信息,确定目标多媒体数据,能够进一步有效提升用户针对目标多媒体数据的使用体验。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述用户情绪信息可为用户情绪的标识信息。所述用户情绪内容信息可理解为用于表征用户情绪内容的信息,例如,忧伤、低落、高兴、开心等。在根据所述用户面部图像,确定与所述用户情绪信息对应的用户情绪内容信息时,根据所述用户面部图像,确定用户情绪信息;确定与所述用户情绪信息对应的用户情绪内容信息。在根据所述用户面部图像,确定用户情绪信息时,通过情绪识别模型,基于所述用户面部图像,识别用户情绪信息。在确定与所述用户情绪信息对应的用户情绪内容信息时,基于预先配置的情绪信息与用户情绪内容信息的映射表,确定与所述用户情绪信息对应的用户情绪内容信息。在确定与所述用户情绪内容信息对应的目标多媒体属性信息时,基于预先配置的情绪内容信息与多媒体属性信息的映射表,确定与所述用户情绪内容信息对应的目标多媒体属性信息。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,当用户情绪内容信息为低落或忧伤时,推荐开心的歌曲或者纯音乐。当用户情绪内容信息为高兴时,推荐亢奋的歌曲或者纯音乐。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述获取根据所述用户图像确定的目标多媒体数据之前,所述方法还包括:对所述用户图像包括的用户肢体图像进行识别,获得用户肢体特征信息;确定与所述用户肢体特征信息对应的用户情绪信息;基于所述用户肢体特征信息对应的用户情绪信息,对情绪识别结果进行修正,其中,所述情绪识别结果是对所述用户图像包括的用户面部图像进行情绪识别所获得的结果。籍此,通过用户肢体特征信息对应的用户情绪信息,对情绪识别结果进行修正,能够有效提升情绪识别结果的准确性。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,在对所述用户图像包括的用户肢体图像进行识别时,通过肢体特征识别模型,对所述用户图像包括的用户肢体图像进行识别,获得用户肢体特征信息。籍此,通过肢体特征识别模型,对用户肢体图像进行识别,能够准确地识别出用户肢体特征信息。其中,所述肢体特征识别模型可以是任意适当的可实现特征提取或目标对象检测的神经网络模型,包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定,如卷积层的层数、卷积核的大小、通道数等等。籍此,当所述肢体特征识别模型为用于识别肢体特征的神经网络模型时,能够快速高效地对用户肢体图像进行识别。在确定与所述用户肢体特征信息对应的用户情绪信息时,基于预先配置的用户肢体特征信息与用户情绪信息的映射表,确定与所述用户肢体特征信息对应的用户情绪信息。在基于所述用户肢体特征信息对应的用户情绪信息,对情绪识别结果进行修正时,如果所述用户肢体特征信息对应的用户情绪信息与所述情绪识别结果不相同,则将所述用户肢体特征信息对应的用户情绪信息确定为最终的情绪识别结果;如果所述用户肢体特征信息对应的用户情绪信息与所述情绪识别结果相同,则不对所述情绪识别结果进行修正。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一些可选实施例中,所述获取根据所述用户图像确定的目标多媒体数据之前,所述方法还包括:对语音采集装置采集的用户语音进行语义识别,获得所述用户语音的语义识别信息;确定与所述语义识别信息对应的用户情绪信息;基于所述语义识别信息对应的用户情绪信息,对情绪识别结果进行修正,其中,所述情绪识别结果是对所述用户图像包括的用户面部图像进行情绪识别所获得的结果。籍此,通过语义识别信息对应的用户情绪信息,对情绪识别结果进行修正,能够有效提升情绪识别结果的准确性。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,所述语音采集装置可为麦克风。在对语音采集装置采集的用户语音进行语义识别时,通过语义识别模型,对语音采集装置采集的用户语音进行语义识别,获得所述用户语音的语义识别信息。籍此,通过语义识别模型,对语音采集装置采集的用户语音进行语义识别,能够准确地识别出用户语音的语义识别信息。其中,所述语义识别模型可以是任意适当的可实现特征提取或目标对象检测的神经网络模型,包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定,如卷积层的层数、卷积核的大小、通道数等等。籍此,当所述语义识别模型为用于识别语义的神经网络模型时,能够快速高效地对用户语音进行识别。在确定与所述语义识别信息对应的用户情绪信息时,基于预先配置的语义识别信息与用户情绪信息的映射表,确定与所述语义识别信息对应的用户情绪信息。在基于所述语义识别信息对应的用户情绪信息,对情绪识别结果进行修正时,如果所述语义识别信息对应的用户情绪信息与所述情绪识别结果不相同,则将所述语义识别信息对应的用户情绪信息确定为最终的情绪识别结果;如果所述语义识别信息对应的用户情绪信息与所述情绪识别结果相同,则不对所述情绪识别结果进行修正。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在步骤s403中,在多媒体数据客户端增加所述目标多媒体数据的显示元素。

在本申请实施例中,在显示当前元素的基础上,多媒体数据客户端增加目标多媒体数据的显示元素。其中,所述显示元素可为用于全息投影播放的全息动效素材。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

在一个具体的例子中,如图4b所示,以服务器为执行主体执行本申请实施例提供的多媒体数据的处理方法。具体的处理过程如下:终端设备中的多媒体数据客户端调用安装多媒体数据客户端的终端设备的摄像头采集用户图像,并通过网络将用户图像发送至服务器,服务器对用户图像进行情绪识别,获得用户的情绪信息。在获得用户的情绪信息之后,基于情绪信息与多媒体属性信息的映射关系,获得用户的情绪信息对应的多媒体属性信息。然后,基于用户的情绪信息对应的多媒体属性信息,从多媒体库中确定与用户的情绪信息匹配的目标多媒体数据。在确定与用户的情绪信息匹配的目标多媒体数据之后,服务器通过网络将目标多媒体数据返回至多媒体数据客户端,使得终端设备中的多媒体数据客户端播放目标多媒体数据,从而快速高效地实现了向用户推荐与即时情绪匹配的目标多媒体数据。可以理解的是,以上描述仅为示例性的,本申请实施例对此不做任何限定。

通过本申请实施例提供的多媒体数据的处理方法,调用图像采集装置采集用户图像;并获取根据用户图像确定的目标多媒体数据,所述目标多媒体数据根据用户情绪信息对应的多媒体属性信息确定,所述用户情绪信息通过对用户图像进行情绪识别获得,再在多媒体数据客户端增加所述目标多媒体数据的显示元素,与现有技术相比,获取根据用户图像确定的目标多媒体数据,所述目标多媒体数据根据用户情绪信息对应的多媒体属性信息确定,所述用户情绪信息通过对用户图像进行情绪识别获得,并在多媒体数据客户端增加目标多媒体数据的显示元素,能够快速高效地为用户端推荐与用户即时情绪匹配的目标多媒体数据,减少在查找多媒体数据的路径上耗费的时间,使得用户快速高效地获取与用户即时情绪匹配的目标多媒体数据,实现对资源的精准匹配和资源的有效访问,进而有效提升用户针对推荐的目标多媒体数据的使用体验。

本实施例的多媒体数据的处理方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:摄像头、终端、移动终端、pc机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(pda)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。

参照图5,示出了本申请实施例五中多媒体数据的推荐装置的结构示意图。

本实施例提供的多媒体数据的推荐装置包括:识别模块501,用于对用户脸部图像进行情绪识别,获得用户的情绪信息;第一确定模块502,用于确定与所述用户的情绪信息对应的至少一种多媒体属性信息;第二确定模块503,用于基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。

本实施例的多媒体数据的推荐装置用于实现前述多个方法实施例中相应的多媒体数据的推荐方法,并具有相应的方法实施例的有益效果,在此不再赘述。

参照图6,示出了本申请实施例六中多媒体数据的推荐装置的结构示意图。

本实施例提供的多媒体数据的推荐装置包括:识别模块601,用于对用户脸部图像进行情绪识别,获得用户的情绪信息;第一确定模块602,用于确定与所述用户的情绪信息对应的至少一种多媒体属性信息;第二确定模块603,用于基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。

可选地,所述识别模块601,具体用于:确定所述用户脸部图像与人脸图像库中的多个人脸图像的相似度;确定所述人脸图像库中与所述用户脸部图像的相似度最大的人脸图像的人脸表情信息;基于表情标签与情绪标签的映射关系,确定与所述人脸表情信息对应的情绪信息,并将与所述人脸表情信息对应的情绪信息确定为所述用户的情绪信息。

可选地,所述第一确定模块602,具体用于:基于情绪标签与多媒体属性标签的映射关系,确定与所述用户的情绪信息对应的至少一种多媒体属性信息。

可选地,当所述待推荐多媒体数据包括待推荐音频时,所述装置还包括:筛选模块604,用于基于所述待推荐音频在历史时间段内的试听次数,对所述待推荐音频执行筛选操作,以获得筛选后的所述待推荐音频。

本实施例的多媒体数据的推荐装置用于实现前述多个方法实施例中相应的多媒体数据的推荐方法,并具有相应的方法实施例的有益效果,在此不再赘述。

参照图7,示出了本申请实施例七中多媒体数据的推荐装置的结构示意图。

本实施例提供的多媒体数据的推荐装置包括:识别模块701,用于对用户脸部图像进行情绪识别,获得用户的情绪信息;第一确定模块702,用于确定与所述用户的情绪信息对应的至少一种多媒体属性信息;第二确定模块704,用于基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。

可选地,所述第二确定模块704之前,所述装置还包括:第三确定模块703,用于基于所述多媒体属性信息,确定用于立体播放所述待推荐多媒体数据的第一全息动效素材的信息;所述第二确定模块704,包括:确定子模块7041,用于基于所述多媒体属性信息和所述第一全息动效素材的信息,确定所述待推荐多媒体数据中的目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材。

可选地,当所述多媒体属性信息包括音频属性信息时,所述音频属性信息包括以下中的至少一者:音频表演者的信息、音频曲风流派的信息、音频节拍的信息,所述第三确定模块703,具体用于:基于所述音频表演者的信息,确定所述第一全息动效素材中的表演者动效素材的信息;和/或基于所述音频曲风流派的信息,确定所述第一全息动效素材中的虚拟形象动效素材的信息;和/或基于所述音频节拍的信息,确定所述第一全息动效素材中的几何动效素材的信息。

可选地,所述确定子模块7041,具体用于:通过推荐模型,基于所述多媒体属性信息和所述第一全息动效素材的信息,推荐所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材。

可选地,所述装置还包括:第一过滤模块705,用于基于所述用户的权限信息,对所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材进行过滤,以获得过滤后的所述目标推荐多媒体数据,及用于立体播放过滤后的所述目标推荐多媒体数据的第三全息动效素材。

可选地,所述装置还包括:第二过滤模块706,用于基于过滤后的所述目标推荐多媒体数据和所述第三全息动效素材的版权信息,对过滤后的所述目标推荐多媒体数据和所述第三全息动效素材进行再次过滤,以获得再次过滤后的所述目标推荐多媒体数据,及用于立体播放再次过滤后的所述目标推荐多媒体数据的第四全息动效素材。

可选地,所述装置还包括:第三过滤模块707,用于响应于所述用户针对所述目标推荐多媒体数据的过滤操作,从所述目标推荐多媒体数据中过滤掉用户选择过滤的多媒体数据。

可选地,所述确定子模块7041之后,所述装置还包括:播放模块708,用于基于所述目标推荐多媒体数据和所述第二全息动效素材进行全息投影播放。

可选地,所述播放模块708,具体用于:对所述目标推荐多媒体数据进行解析,以获得解析后的所述目标推荐多媒体数据;基于解析后的所述目标推荐多媒体数据和所述第二全息动效素材分别对应的多媒体属性信息,确定与解析后的所述目标推荐多媒体数据匹配的第五全息动效素材;基于解析后的所述目标推荐多媒体数据的播放时间轨信息,将所述第五全息动效素材与解析后的所述目标推荐多媒体数据同步,并对同步后的所述第五全息动效素材进行动效图像渲染操作,以获得渲染后的所述第五全息动效素材;基于渲染后的所述第五全息动效素材,对解析后的所述目标推荐多媒体数据进行全息投影播放。

可选地,所述播放模块708之后,所述装置还包括:获取模块709,用于获取所述用户针对全息投影播放析后的所述目标推荐多媒体数据的反馈数据;调整模块710,用于基于所述反馈数据,对用于推荐所述目标推荐多媒体数据,及用于立体播放所述目标推荐多媒体数据的第二全息动效素材的推荐模型中的模型参数进行调整。

本实施例的多媒体数据的推荐装置用于实现前述多个方法实施例中相应的多媒体数据的推荐方法,并具有相应的方法实施例的有益效果,在此不再赘述。

参照图8,示出了本申请实施例八中多媒体数据的处理装置的结构示意图。

本实施例提供的多媒体数据的处理装置包括:调用模块801,用于调用图像采集装置采集用户图像;获取模块804,用于获取根据所述用户图像确定的目标多媒体数据,所述目标多媒体数据根据用户情绪信息对应的多媒体属性信息确定,所述用户情绪信息通过对用户图像进行情绪识别获得;增加模块805,用于在多媒体数据客户端增加所述目标多媒体数据的显示元素。

可选地,所述用户图像包括用户面部图像,所述获取模块804之前,所述装置还包括:第一确定模块802,用于根据所述用户面部图像,确定与所述用户情绪信息对应的用户情绪内容信息;第二确定模块803,用于确定与所述用户情绪内容信息对应的目标多媒体属性信息,所述获取模块804,具体用于:获取根据所述目标多媒体属性信息确定的所述目标多媒体数据。

可选地,所述获取模块804之前,所述装置还包括:第一识别模块806,用于对所述用户图像包括的用户肢体图像进行识别,获得用户肢体特征信息;第三确定模块807,用于确定与所述用户肢体特征信息对应的用户情绪信息;第一修正模块808,用于基于所述用户肢体特征信息对应的用户情绪信息,对情绪识别结果进行修正,其中,所述情绪识别结果是对所述用户图像包括的用户面部图像进行情绪识别所获得的结果。

可选地,所述获取模块804之前之前,所述装置还包括:第二识别模块809,用于对语音采集装置采集的用户语音进行语义识别,获得所述用户语音的语义识别信息;第四确定模块810,用于确定与所述语义识别信息对应的用户情绪信息;第二修正模块811,用于基于所述语义识别信息对应的用户情绪信息,对情绪识别结果进行修正,其中,所述情绪识别结果是对所述用户图像包括的用户面部图像进行情绪识别所获得的结果。

本实施例的多媒体数据的处理装置用于实现前述多个方法实施例中相应的多媒体数据的处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。

参照图9,示出了本申请实施例九中多媒体数据的推荐装置的结构示意图。

本实施例提供的多媒体数据的推荐装置包括:识别模块901,用于对用于发布用户数据的发布数据源中的用户数据进行情绪识别,获得用户情绪信息;第一确定模块902,用于确定与所述用户情绪信息对应的至少一种多媒体属性信息;第二确定模块903,用于基于所述多媒体属性信息,确定与所述用户情绪信息匹配的待推荐多媒体数据。

可选地,所述识别模块901,具体用于:对所述发布数据源中预设时间段内的用户数据进行情绪识别,获得所述用户情绪信息。

可选地,所述识别模块901,具体用于:响应于用户针对所述发布数据源中的用户数据的情绪识别触发操作,对所述发布数据源中用户数据进行情绪识别,获得所述用户情绪信息。

本实施例的多媒体数据的推荐装置用于实现前述多个方法实施例中相应的多媒体数据的推荐方法,并具有相应的方法实施例的有益效果,在此不再赘述。

图10为本申请实施例十中电子设备的结构示意图;该电子设备可以包括:

一个或多个处理器1001;

计算机可读介质1002,可以配置为存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述实施例一、实施例二或实施例三所述的多媒体数据的推荐方法,或者实现如上述实施例四所述的多媒体数据的处理方法。

图11为本申请实施例十一中电子设备的硬件结构;如图11所示,该电子设备的硬件结构可以包括:处理器1101,通信接口1102,计算机可读介质1103和通信总线1104;

其中处理器1101、通信接口1102、计算机可读介质1103通过通信总线1104完成相互间的通信;

可选地,通信接口1102可以为通信模块的接口,如gsm模块的接口;

其中,处理器1101具体可以配置为:对用户脸部图像进行情绪识别,获得用户的情绪信息;确定与所述用户的情绪信息对应的至少一种多媒体属性信息;基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。此外,处理器1101还可以配置为:调用图像采集装置采集用户图像;获取根据所述用户图像确定的目标多媒体数据,所述目标多媒体数据根据用户情绪信息对应的多媒体属性信息确定,所述用户情绪信息通过对用户图像进行情绪识别获得;在多媒体数据客户端增加所述目标多媒体数据的显示元素。此外,处理器1101还可以配置为:对用于发布用户数据的发布数据源中的用户数据进行情绪识别,获得用户情绪信息;确定与所述用户情绪信息对应的至少一种多媒体属性信息;基于所述多媒体属性信息,确定与所述用户情绪信息匹配的待推荐多媒体数据。

处理器1101可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

计算机可读介质1103可以是,但不限于,随机存取存储介质(randomaccessmemory,ram),只读存储介质(readonlymemory,rom),可编程只读存储介质(programmableread-onlymemory,prom),可擦除只读存储介质(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储介质(electricerasableprogrammableread-onlymemory,eeprom)等。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含配置为执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(ram)、只读存储介质(rom)、可擦式可编程只读存储介质(eprom或闪存)、光纤、便携式紧凑磁盘只读存储介质(cd-rom)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写配置为执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络:包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个配置为实现规定的逻辑功能的可执行指令。上述具体实施例中有特定先后关系,但这些先后关系只是示例性的,在具体实现的时候,这些步骤可能会更少、更多或执行顺序有调整。即在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括识别模块、第一确定模块和第二确定模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,识别模块还可以被描述为“对用户脸部图像进行情绪识别,获得用户的情绪信息的模块”。

作为另一方面,本申请还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例一、实施例二或者实施例三所描述的多媒体数据的推荐方法,或者实现如上述实施例四所描述的多媒体数据的处理方法。

作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:对用户脸部图像进行情绪识别,获得用户的情绪信息;确定与所述用户的情绪信息对应的至少一种多媒体属性信息;基于所述多媒体属性信息,确定与所述情绪信息匹配的待推荐多媒体数据。此外,还使得该装置:调用图像采集装置采集用户图像;获取根据所述用户图像确定的目标多媒体数据,所述目标多媒体数据根据用户情绪信息对应的多媒体属性信息确定,所述用户情绪信息通过对用户图像进行情绪识别获得;在多媒体数据客户端增加所述目标多媒体数据的显示元素。此外,还使得该装置:对用于发布用户数据的发布数据源中的用户数据进行情绪识别,获得用户情绪信息;确定与所述用户情绪信息对应的至少一种多媒体属性信息;基于所述多媒体属性信息,确定与所述用户情绪信息匹配的待推荐多媒体数据。

在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关,但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如,第一用户设备和第二用户设备表示不同的用户设备,虽然两者均是用户设备。例如,在不背离本公开的范围的前提下,第一元件可称作第二元件,类似地,第二元件可称作第一元件。

当一个元件(例如,第一元件)称为与另一元件(例如,第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如,第二元件)或“连接至”另一元件(例如,第二元件)时,应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如,第三元件)间接连接至该另一个元件。相反,可理解,当元件(例如,第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时,则没有元件(例如,第三元件)插入在这两者之间。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1