一种播放内容推荐方法及其装置与流程

本发明涉及推荐系统技术领域，特别是涉及一种播放内容推荐方法及其装置。

背景技术：

随着移动互联网的发展，除了传统的专业机构产生的影视作品外，个人通过手机、无人机等个人拍摄设备产生了大量的视频或者音频等流媒体内容。这样的，在整个互联网中，音视频内容等播放内容越来越丰富，数量呈现爆发式增长的趋势。

随着播放内容数量的激增，一方面，由于用户日常使用的移动终端受设备体积所限制，其能够展示的播放内容的相关信息非常有限。因此，用户在使用过程中，对于播放内容的准确性要求非常高。另一方面，由于非移动终端的设备的用户交互方式有限(通常是按键式遥控器)，因此，其又存在着较大的操作局限性，在这样的设备中进行准确的内容搜索的操作成本较高(即用户的操作次数较多)。

在这样的情况下，基于播放内容的数量不断增加以及用户对于播放内容的准确性要求，使得有效率的，能够准确的向用户推荐感兴趣的内容的内容推荐系统的重要性越来越高，对于推荐系统的需求也越来越强烈。

现有的音视频等平台中的个性化推荐系统是基于编辑或者内容上传者对播放内容进行分类、打标签、加属性。然后，由系统根据用户对内容消费(观看或收听)记录，根据这些人为的分类为用户推荐同类或者相似内容。

在实现本申请过程中，发明人发现相关技术存在以下问题：首先，现有的推荐系统中，播放内容的特征是通过初期的编辑或者上传者对内容进行分类加以标签或者属性，由于分类的颗粒较大，从源头上对内容做了高度的集中，极大的制约推荐系统准确性及延伸性。而且，这样手动分类的人力成本较高，人工编辑或上传者的填写都有较大的成本。

另外，由于播放内容的内容生命周期较短，手动进行分类的时效性无法保证。并且，由于每个编辑人员的认知水平、知识能力均不相同，因此，对于播放内容的特征描述无法在同一个维度水平进行，使得推荐结果无法具有很好的重复性，也容易存在个人主观偏差。

在用户观看了作品的某部分内容后离开这样的情况下，由于手工描述特征的方式的分块动态变化能力差，只能依赖整个内容的属性对用户行为进行归类，因此，其无法准确识别真正的用户偏好。

技术实现要素：

本发明提供一种播放内容推荐方法及其装置，旨在解决现有推荐系统采用手动对播放内容进行特征描述和分类方式，导致推荐系统的推荐效率低的问题。

本发明实施例一方面提供了一种播放内容推荐方法。该方法包括：提取播放内容的文字信息以及音频特征；结合所述文字信息以及音频特征，生成与所述播放内容对应的内容标识；以及根据所述内容标识，推荐至少一个与用户偏好相关的播放内容。

可选地，所述播放内容包括：第一预定时间段内的音频或者视频内容。

可选地，所述内容标识为文字信息及其对应时刻的音频特征的二维向量。

可选地，所述根据所述内容标识，推荐至少一个与用户偏好相关的播放内容，具体包括：

生成包括若干内容标识的播放内容索引库；

获取与用户观看行为对应的一个或者多个内容标识；

根据所述与用户观看行为对应的内容标识，以预定的模型表示用户偏好；

在所述播放内容索引库内搜索符合所述用户偏好的内容标识；

推荐与所述符合用户偏好的内容标识相对应的播放内容。

可选地，所述根据所述与用户观看行为对应的内容标识，以预定的模型表示用户偏好，具体包括：

确定用户在第二预定时间段内观看的播放内容；

获取所述播放内容对应的内容标识；

根据所述用户观看的播放内容的播放时间占所述预定时间段的比例，通过混合高斯模型构建所述用户偏好；每个在预定时间段内观看的播放内容与所述混合高斯模型中的一个高斯模型对应。

本发明实施例另一方面提供了播放内容推荐装置。该推荐装置包括：特征提取模块，用于提取播放内容的文字信息以及音频特征；内容标识生成模块，用于结合所述文字信息以及音频特征，生成与所述播放内容对应的内容标识；以及推荐模块，用于根据所述内容标识，推荐至少一个与用户偏好相关的播放内容。

可选地，所述播放内容包括：第一预定时间段内的音频或者视频内容。

可选地，所述内容标识为文字信息及其对应时刻的音频特征的二维向量

可选地，所述推荐模块包括：索引库生成单元，用于生成包括若干内容标识的播放内容索引库；内容标识获取单元，用于获取与用户观看行为对应的一个或者多个内容标识；用户偏好拟合单元，用于根据所述与用户观看行为对应的内容标识，以预定的模型表示用户偏好；搜索单元，用于在所述播放内容索引库内搜索符合所述用户偏好的内容标识；以及推荐单元，用于推荐与所述符合用户偏好的内容标识相对应的播放内容。

可选地，所述用户偏好拟合单元具体用于：确定用户在第二预定时间段内观看的播放内容；获取所述播放内容对应的内容标识；根据所述用户观看的播放内容的播放时间占所述预定时间段的比例，通过混合高斯模型构建所述用户偏好；每个在预定时间段内观看的播放内容与所述混合高斯模型中的一个高斯模型对应。

本发明实施例的播放内容推荐方法及其装置，一方面由于采用成熟的音频和文字识别技术。因此，其输出的推荐内容的可靠性更好。另一方面则通过自动的获取播放内容的文字和音频特征的方法，对播放内容进行特征描述及分类，并据此完成内容推荐的任务。基于该自动分类和特征描述的方式，能够有效的提高推荐系统的推荐效率，时效性等均能够得到很好的保证。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的播放内容推荐方法的应用环境示意图；

图2是本发明实施例提供的播放内容推荐装置的装置示意图；

图3是本发明实施例提供的推荐模块的装置示意图；

图4是本发明实施例提供的播放内容推荐方法的方法流程图；

图5是本发明另一实施例提供的步骤403的方法流程图；

图6是本发明另一实施例提供的播放内容推荐方法的步骤503的方法流程图；

图7是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本发明实施例提供的播放内容推荐方法能够在任何合适的电子计算平台上执行，也可以在一个或者多个电子设备中完成，如通过服务器执行特征提取操作，并在用户终端设备中向用户输出推荐内容。该电子计算平台或者电子设备可以是任何合适的，具有逻辑运算能力的硬件及其软件执行程序。

惯常的，推荐系统可以根据各种与用户相关的信息，例如用户使用历史、观看历史记录等，在可使用的内容中，选择合适的内容，以弹窗、推荐列表或者其它提示方式向用户推荐一个或者多个内容。

在此，使用“用户偏好”这样的术语表示由用户相关信息表示的，某一特定时间段内特定用户的使用习惯。对于计算机而言，其通常是由多维信息度量(包括年龄、性别、观看频率、观看内容类型)或者进行其它运算后的一个或者多个概率模型，用以表示用户在特定条件下，选中某一内容的概率。

在本发明实施例中，该播放内容可以是任何合适，能够在终端设备或者其它电子设备中向用户展示的数据或者信息，例如音频/视频的流媒体信息。

图1为本发明实施例提供的用以执行所述播放内容推荐方法的应用环境。如图1所示，该应用环境包括：用户10、服务器20、网络30以及终端设备40。

用户10使用终端设备40上传或者获取播放内容50。所述用户10在终端设备40上的历史操作记录或者其它历史信息由终端设备40采集。这样的用户消息可以上传至服务器20中，或者存储在终端设备40本地。

所述终端设备40具体可以是任何合适的，能够与网络30建立通信连接的智能或者非智能终端设备，例如，智能手机、手提电脑、个人电脑、智能电视、平板电脑、可穿戴设备或者其它能够输出播放内容信息信息的电子设备。

在一些实施例中，该终端设备40也可以不与网络30建立通信连接，通过内置在终端设备40中的内容推荐装置，向用户10推荐存储在终端设备40本地的一个或者多个播放内容。

所述网络30可以是任何合适的无线或者有线网络，包括但不限于互联网、局域网或者电信网络。通过所述网络30，终端设备40与服务器20、终端设备之间以及服务器之间均可以建立通信连接，上传数据或者下发指令。

服务器20具体可以是网络30中任何合适的，具有运算能力和/或存储有特定数据资源的站点，例如网络中的视频网站或者论坛、资源交流平台等。在一些实施例中，所述服务器20维护包含若干播放内容的数据库，并在该数据库内执行内容推荐方法，向终端设备40推荐一个或者多个播放内容。

虽然在图1中仅显示了2个服务器20和2个终端设备40，在一些实施例中，本发明实施例提供的应用环境还可以包括更多或者更少的服务器以及终端设备，并且根据实际需求的情况，还可以增加或者减省一些额外的功能模块或者设备，例如一些输入/输出的用户交互设备，体感摄像头等。

在实际使用过程中，用户10使用终端设备40播放或者上传播放内容。终端设备40采集用户10的操作动作，包括特定时段播放的播放内容、播放内容的类型等用户相关信息。

服务器20或者终端设备40根据这样的用户相关信息，确定用户偏好。基于服务器20或者终端设备40执行的内容推荐装置根据输入的用户偏好，向终端设备40输出一个或者多个推荐内容，推荐给用户使用。

图2为本发明实施例提供的一种播放内容推荐装置。如图2所示，所述播放内容推荐装置包括：特征提取模块100、内容标识生成模块200以及推荐模块300。

其中，所述特征提取模块100用于提取播放内容的文字信息以及音频特征。所述内容标识生成模块200用于结合所述文字信息以及音频特征，生成与所述播放内容对应的内容标识。推荐模块300用于根据所述内容标识，推荐至少一个与用户偏好相关的播放内容。

该音频特征是指可以用于区分不同播放内容，某个播放内容具有的特定的音频信息，类似于音频指纹信息，可以作为播放内容的标识，显示播放内容具有的特性或者用以进行播放内容的分类，该音频特征包括但不限于嘉宾、主持人、表演者、其他参与者等具体信息，说话情况、参与者说活的比例、由词袋表示的情感冲突情况等。

该内容标识是用以标记特定的播放内容的标签或者索引。惯常的可以通过这样的标签或者索引对播放内容进行分类，形成不同的集合，并由此搜索用户偏好与各种分类的集合的交集而获得最终的推荐结果。

在推荐系统中，内容标识的生成是其中重要的部分，其决定了播放内容的分类的准确性和可识别性。对于播放内容生成合适的内容标识是一个有效率的推荐系统的基础。

在本发明实施例提供的播放内容推荐装置中，特征提取模块100应用的是文字和音频的提取。由于这些类型的数据提取是稳定而且成熟的技术，因此，这些数据的提取准确率远高于其它的，对于计算机实现较为困难的，例如图像识别等技术。

所述内容标识生成模块200则应用这些提取的文字和音频信息，区分不同的播放内容并对其进行分类。这样的操作是自动进行的，还能够根据输入的内容动态的进行，具有非常优秀的效率以及能够很好的保持分类结果的时效性。

由于内容标识生成模块200是基于相同的算法框架进行内容标识，不受主观评价的影响，因此，能够提供更为稳定和重复性好的内容标识结果，有利于保证推荐内容的可靠性。

在一些实施例中，该播放内容可以是完整的音视频播放资源。在另一些实施例中，该播放内容还可以是任意时段的播放资源，亦即播放内容可以为第一预定时间段内的音频或者视频内容，例如用户观看的电视剧中的某个场景、歌曲中的某个乐段或者章节。

对于不同的播放内容，与具有不同的分段策略。亦即所述第一时间可以是根据具体的播放内容所确定，例如对于一段视频而言，可以分为多个视频中的场景，或者对于一部电视剧而言，可以分为多集。

上述实施例中，以任意时段进行分类或者标记的方式可以更细致的体现用户的真实需求。并且，在用户日常的使用过程中，更多的情况为仅观看视频/音频的其中一部分。

例如，用户可能观看多个不同的电视剧中有关某个演员(如成龙)的场景。这样的时间分段分段分类的方式能够更好、更准确的识别出用户的真实兴趣为成龙主演的电视剧，并为用户推荐相关的内容。

图3为本发明实施例提供的所述推荐模块300的模块示意图。如图3所示，该推荐模块300具体包括：索引库生成单元310、内容标识获取单元320、用户偏好拟合单元330、搜索单元340以及推荐单元350。

其中，所述索引库生成单元310，用于生成包括若干内容标识的播放内容索引库。内容标识获取单元320，用于获取与用户观看行为对应的一个或者多个内容标识。用户偏好拟合单元330，用于根据所述与用户观看行为对应的内容标识，以预定的模型表示用户偏好。搜索单元340，用于在所述播放内容索引库内搜索符合所述用户偏好的内容标识。推荐单元350，用于推荐与所述符合用户偏好的内容标识相对应的播放内容。

该用户观看行为是指用户在特定时刻观看的播放内容。该用户观看行为是这样的播放内容的集合。亦即不同的时刻，用户观看的播放内容。

用户偏好拟合单元330根据上述的用户观看行为的数据，形成对应的，可以表示用户偏好的概率模型。在确定用户偏好的表示以及采用对应表示的索引库后，可以便捷的进行匹配和搜索，从而生成一个或者多个推荐的播放内容。

在一些实施例中，推荐单元350可以由服务器20执行，并将最终结果通过网络30输出至终端设备40中。在另一些实施例中，其也可以是由终端设备40执行，并向用户呈现，在要求延时较短的场合中，直接由终端设备40执行可能是一个更合适的方案。

在本实施例中，用户偏好的表示和用于搜索的索引库使用了基于相同思路的表示，能够更有效率的完成后续推荐单元的匹配和推荐操作。而且，这样的表示的用户偏好也具有以上装置实施例中描述的，时效性好，自动操作且准确率高的技术效果。

可选地，对于流媒体的播放内容，如视频/音频等，沿时间轴方向可以具有因音频以及文字信息。因此，可以用包括音频特征和对应时刻的文字信息这样的二维向量作为播放内容的内容标识。

随着时间轴，选择对应时刻的音频特征和文字信息，可以显示两者之间的联系。这样的联系有利于进一步的对播放内容进行区分，更好的定义播放内容(因增加了更多的限制)，有效率的利用采集获得的，与播放内容相关的信息。

在一些实施例中，所述用户偏好拟合单元可以应用混合高斯模型来表示用户偏好。其具体应用的过程如下：确定用户在第二预定时间段内观看的播放内容；获取所述播放内容对应的内容标识，以及根据所述用户观看的播放内容的播放时间占所述预定时间段的比例，通过混合高斯模型构建所述用户偏好；每个在预定时间段内观看的播放内容与所述混合高斯模型中的一个高斯模型对应。

本发明还提供了一种播放内容推荐方法。图4为本发明实施例提供的播放内容推荐方法的方法流程图。如图4所示，该方法包括如下步骤：

401：提取播放内容的文字信息以及音频特征。

具体可以通过现有常用的语音以及音频识别技术获取播放内容中的文字信息和音频信息。音频信息中的相互联系或者其它相关关系，例如不同人的声音、交流、说话比例等的一个或者多个组合可以作为音频特征。该音频特征可以实现区别不同的播放内容的功能即可。

402：结合所述文字信息以及音频特征，生成与所述播放内容对应的内容标识。

基于文字信息和音频特征，结合或者不结合其相互关系、联系或者限制等方式形成该内容标识。内容标识可以是一个标签，对播放内容进行标记。当然，一个播放内容可以具有多于一个的内容标识，例如某个电视剧可以同时具有言情、科幻、恐怖这样的多个内容标识。

403：根据所述内容标识，推荐至少一个与用户偏好相关的播放内容。结合预先确定的用户偏好，可以在标记有内容标识的播放内容中搜索用户可能感兴趣的播放内容，并向其推荐。

当然，该用户偏好可以采用任何合适的表示方式，例如基于概率的模型或者非概率上的判断模型。

在本实施例中，使用的内容推荐方法是基于文字信息以及音频特征对播放内容进行标记或者分类。整个分类和标记过程可以有计算机自动执行而完成，标记或者分类的效率高，而且一致性好，不会因主观因素影响分类的结果。

由于文字信息和音频特征可以被准确的获取(相应的特征获取手段成熟可靠)。因此，对于播放内容的标记的可靠性和准确率都能够得到很好的保证。

可选地，所述播放内容除了完整的视频、音频等播放资源外，还可以是任意的第一预定时间段内的音频或者视频内容。亦即该播放内容可以是任何合适的数据块，例如视频内的某个场景、镜头或者歌曲中的某个段落。

通过这样的方式，可以实现动态分块这样的技术效果。细分的播放内容标记能够识别用户的真正需求，细分用户的具体偏好等。基于这样的分为多个数据块的播放内容，可以最终的推荐结果与用户偏好的契合程度更好。

图5为本发明另一实施例提供的内容推荐方法的方法流程图。在本实施例中，除图4所示的步骤401和402外，具体还可以包括如图5所示的步骤，用以具体的实现向用户推荐至少一个播放内容的目标。

如图5所示，该方法包括：

501：生成包括若干内容标识的播放内容索引库。

在对播放内容完成标识后，可以将其中部分或者全部的内容标识，作为一个索引库进行维护，例如挑选某段时间内上传的播放内容的内容标识加入到索引库中。该索引库可以是仅存储内容标识和播放内容的对应关系的数据库，具体可以使用任何合适类型的映射表，例如哈希表等。

502：获取与用户观看行为对应的一个或者多个内容标识。

503：根据所述与用户观看行为对应的内容标识，以预定的模型表示用户偏好。

步骤502和503基于与播放内容相同的标识(即内容标识)用以表示与用户偏好。惯常的，这样的用户观看行为可以视为采样数据，用以构建表示用户偏好的模型则可以基于提供的采样数据来确定模型的各项参数。

504：在所述播放内容索引库内搜索符合所述用户偏好的内容标识。

505：推荐与所述符合用户偏好的内容标识相对应的播放内容。

与上述方法实施例相类似的，推荐的播放内容也可以是特定的视频段落或者歌曲片段而非完成的视频资源或者音乐资源。

在一些实施例中，可以向用户推荐多个不同播放内容。该播放内容可以根据与模型的契合程度或者其它依据，以具有特定排序的列表的方式向用户展示。该播放内容还可以是在搜索关键词时自动弹出的提示窗口或者在某些时刻自动推送的通知，资源播放网站连接等。

本实施例中，使用的是基于内容标识的模型以预测用户偏好。这样的方式能够很好的便于在基于相同的表示方式构成的节目索引库中进行搜索，寻找与用户偏好相符的内容标识(或者播放内容)。

图6为本发明又一实施例提供的步骤503的具体方法流程。如图6所示，该方法包括：

601：确定用户在第二预定时间段内观看的播放内容。

如上所述，对于计算机而言，用户偏好实质上是一个概率预测问题，亦即用户在特定时间选择某个播放内容的概率，具有较大概率的播放内容即表示用户在这一时间的用户偏好。

因此，首先确定用户在一个特定时间段内的观看过的播放内容。该第二预定时间段可以是任何合适的周期，根据实际情况或者数据变化的变化频率等所确定，例如，一周、一天或者更短/更长的时间段。

602：获取所述播放内容对应的内容标识。

在上述特定的时间段内，用户可能观看多种不同的播放内容。这些播放内容之间可能存在一些相同或者类似的分类。通常的，基于用户的个性化选择，某些属于特定类别的播放内容会被多次选中进行播放，例如某个用户特别喜欢古典音乐，会选择多次收听古典音乐。

603：根据所述用户观看的播放内容的播放时间占所述预定时间段的比例，通过混合高斯模型构建所述用户偏好。

基于以上的假设，可以利用混合高斯模型来表示用户偏好。混合高斯模型是一个用以将混合数据进行聚类的方式，其能够给出每个内容属于某个类型的概率。

在本实施例中，每个在预定时间段内观看的播放内容与所述混合高斯模型中的一个高斯模型对应。在通过最大似然或者其它的方式进行参数估计，确定混合高斯模型的表达式后，可以根据该模型确定某个样本属于混合高斯模型中某个类别的概率。通过对用户观看行为(包含多个观看的播放内容)的聚类，可以用以表示用户观看行为中所隐含的用户偏好。

与其它的聚类算法，如k-means聚类相比，由于高斯混合模型给出的是每个类的概率而非一个确定的分类，更适合于与其它算法结合，在一些比较难以判断的情况下，可以输出中性结果而非很有可能决断错误的判断结果。另外，这样的模型与现实的分类情况应当是更为吻合的。

需要说明的是，由于内容推荐方法与内容推荐装置基于相同的发明构思，因此，方法实施例中的相应内容同样适用于装置实施例，此处不再详述。

在一个典型的视频播放应用中，可以通过确定其需要共享的内容，包括视频资源、评论/弹幕等文字数据。然后通过提供共享的API接口(服务)，提供按照统一的规范格式输出的共享内容。这样的共享内容数据可以是通过共享API接口，编写为可自动获取的形式。

一个视频共享播放平台通过不同种类的授权(例如组成特定的联盟或或者基于协议)，获得其它不同的视频播放应用程序的API接口，调用这样的一些共享内容，并基于采集的文字数据或者音频特征，为视频共享播放平台的使用者提供推荐内容。

该视频共享播放平台可以是一个网站或者移动应用或者其它合适的形式供用户使用。

图7是本发明实施例提供的一种电子设备的硬件结构示意图。如图7所示，该设备包括：一个或多个处理器710以及存储器720，图7中以一个处理器710为例。该电子设备还可以包括：输入装置730和输出装置740。

处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器720作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的内容推荐方法对应的程序指令/模块(例如，附图2所示的特征提取模块100、内容标识生成模块200以及推荐模块300)。

处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例内容推荐方法。

存储器720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据内容推荐装置的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器720可选包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至内容推荐装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置730可接收输入的数字或字符信息，以及产生与内容推荐装置的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器720中，当被所述一个或者多个处理器710执行时，执行上述任意方法实施例中的内容推荐方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。