一种基于大数据的视频筛选方法和装置与流程

本发明涉及一种基于大数据的视频筛选方法和装置。

背景技术：

随着大数据的应用逐渐成熟，在通过视频app播放视频时，后台服务器会根据用户的相关数据对后台服务器中存储的大量视频进行筛选，从中筛选出用户可能感兴趣的视频，并向用户推荐。然而，目前的视频筛选方法通常是根据用户在注册时填写的关注视频领域或者根据用户已播放的历史记录进行筛选，准确度较低，可能会筛选出一些无关的视频，或者将密切相关的视频漏掉。

技术实现要素：

为了解决现有的视频筛选方法的准确度较低的问题，本发明提供一种基于大数据的视频筛选方法和装置。

一种基于大数据的视频筛选方法，包括：

根据用户信息，获取与所述用户信息相关的初始视频集，所述初始视频集包括至少两个初始视频；

对于所述初始视频集中的任意一个初始视频，根据预设的筛选模型，获取所述初始视频的第一特征向量；

根据预设的损失预测模型，获取所述第一特征向量的第一损失预测结果；

根据各初始视频对应的第一损失预测结果，从所述初始视频集中筛选出第一中间视频；

根据所述用户信息，获取所述用户的用户特征数据；

结合所述第一中间视频和所述用户特征数据，从所述第一中间视频中筛选出第二中间视频。

进一步地，所述用户信息包括所述用户的历史视频播放记录；

所述根据用户信息，获取与所述用户信息相关的初始视频集，具体为：

根据所述历史视频播放记录，获取与所述历史视频播放记录中记录的各个视频相同领域和相关领域的视频，获取到的视频构成所述初始视频集。

进一步地，所述筛选模型包括至少两个卷积层，每一个卷积层均能够输出一个第一特征向量；

所述根据预设的筛选模型，获取所述初始视频的第一特征向量，具体为：

根据所述筛选模型中的卷积层，获得所述初始视频的第一特征向量；

所述损失预测模型包括至少两个损失预测子模型和分类器，各损失预测子模型与各卷积层一一对应，每一个损失预测子模型的输入为对应的卷积层所输出的第一特征向量；

所述根据预设的损失预测模型，获取所述第一特征向量的第一损失预测结果，具体为：

对于任意一个第一特征向量，将该第一特征向量输入至该第一特征向量对应的损失预测子模型中，获得该损失预测子模型针对该第一特征向量所输出的第一向量；

对得到的各个第一向量进行整合处理，得到第二向量；

根据所述第二向量和所述分类器，获得所述第一损失预测结果。

进一步地，各初始视频对应的第一损失预测结果包括各初始视频对应的预测损失值；

所述根据各初始视频对应的第一损失预测结果，从所述初始视频集中筛选出第一中间视频，具体为：

比较各初始视频对应的预测损失值与预设损失门限值，根据比较结果获取大于或者等于所述预设损失门限值的预测损失值对应的初始视频，得到所述第一中间视频。

进一步地，所述根据所述用户信息，获取所述用户的用户特征数据，具体为：

根据所述用户信息，获取所述用户的可能感兴趣视频领域，所述可能感兴趣视频领域包括所述用户已关注的视频领域，以及与所述用户已关注的视频领域相关联的关联视频领域；

所述结合所述第一中间视频和所述用户特征数据，从所述第一中间视频中筛选出第二中间视频，具体为：

根据所述可能感兴趣视频领域，获取所述第一中间视频中处于所述可能感兴趣视频领域的视频，得到所述第二中间视频。

进一步地，所述关联视频领域的获取过程，具体为：

根据预设的视频领域知识图谱，获取所述用户已关注的视频领域与所述视频领域知识图谱中的其他各视频领域的关联度；

比较各关联度与预设关联度门限值，根据比较结果获取大于或者等于所述预设关联度门限值的目标关联度，并获取与所述目标关联度相对应的视频领域，得到所述关联视频领域。

一种基于大数据的视频筛选装置，包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于大数据的视频筛选方法。

本发明的有益效果为：先根据用户信息，获取与用户信息相关的初始视频集，然后根据预设的筛选模型和损失预测模型，进行特征向量的获取以及损失预测结果的获取，根据初始视频集中的各初始视频对应的第一损失预测结果，从初始视频集中筛选出第一中间视频，然后，根据用户信息获取用户的用户特征数据，最后结合第一中间视频和用户特征数据，从第一中间视频中筛选出第二中间视频。因此，本发明提供的基于大数据的视频筛选方法先获取初始视频集，然后结合预设的筛选模型和损失预测模型，从初始视频集中筛选出第一中间视频，接着根据用户特征数据从第一中间视频筛选出第二中间视频，对初始视频集按照不同的筛选规则先后进行两层筛选，相较于现有的视频筛选方法，准确度得到很大的提升，而且不会漏掉一些密切相关的视频。

附图说明

图1是一种基于大数据的视频筛选方法的流程图。

具体实施方式

本实施例提供一种基于大数据的视频筛选方法，该视频筛选方法可以用于计算机或者智能终端设备。

如图1所示，该视频筛选方法包括如下步骤：

步骤s1：根据用户信息，获取与所述用户信息相关的初始视频集，所述初始视频集包括至少两个初始视频：

根据用户信息，获取与用户信息相关的初始视频集，初始视频集包括至少两个初始视频。应当理解，初始视频集中通常包括大量待筛选的初始视频。初始视频集可以从对应的后台服务器中获取。

用户信息由实际需要进行具体设置，本实施例中，用户信息包括用户的历史视频播放记录，还可以包括用户的个人信息，比如用户在注册时填写的关注视频领域。应当理解，在用户登陆对应账号之后，每播放一个视频，后台就会记录该视频的播放记录，构成历史视频播放记录。而且，历史视频播放记录对应的时间段长度由实际需要进行设置，比如：半年或者一年。

那么，根据历史视频播放记录，获取与历史视频播放记录中记录的各个视频相同领域和相关领域的视频，获取到的视频构成初始视频集。具体地：根据历史视频播放记录，获取历史视频播放记录中记录的各个视频的领域，然后获取与各个视频领域相关的领域，相关的领域可以根据后台服务器中预先设置的领域关系数据库获取得到，领域关系数据库包括目前已知的所有视频领域中各个领域之间的关系。那么，只要与历史视频播放记录中记录的各个视频领域有关的领域均为相关的领域。

然后，从后台服务器中获取到与历史视频播放记录中记录的各个视频相同领域和相关领域的视频，获取到的视频构成初始视频集。

作为其他的实施方式，初始视频集可以直接包括后台服务器中存储的所有视频。

步骤s2：对于所述初始视频集中的任意一个初始视频，根据预设的筛选模型，获取所述初始视频的第一特征向量：

预设有一个筛选模型，该筛选模型用于根据初始视频得到对应的第一特征向量，因此，筛选模型为用于提取视频特征向量的网络模型，可以根据实际需要进行构建，也可以直接使用现有的具有特征向量提取功能的网络模型。筛选模型的具体类型由实际需要进行设置，比如卷积神经网络模型。

筛选模型可以只包括一个卷积层，也可以根据实际需要设置至少两个卷积层，本实施例中，为了提升特征向量以及后续数据处理的准确性，筛选模型包括至少两个卷积层，每一个卷积层均能够输出一个第一特征向量。本实施例中，根据各个卷积层获得的各个第一特征向量可以认为是特征提取深度逐渐加深的特征向量。

由于初始视频集中的任意一个初始视频的数据处理过程相同，以下以初始视频集中的任意一个初始视频为例进行说明。根据筛选模型中的各个卷积层，分别获得该初始视频的第一特征向量。

步骤s3：根据预设的损失预测模型，获取所述第一特征向量的第一损失预测结果：

预设有一个损失预测模型，用于根据筛选模型得到的第一特征向量，得到第一损失预测结果，因此，损失预测模型为用于根据特征向量获取损失预测结果的网络模型，可以根据实际需要进行构建，也可以为直接使用现有的具有损失预测功能的网络模型。损失预测模型的具体类型由实际需要进行设置，比如深度学习神经网络、卷积神经网络等等，可以包括池化层、全连接层和非线性层，各个层的个数和具体结构不作限定。

由于筛选模型包括至少两个卷积层，每一个卷积层均能够输出一个第一特征向量，相应地，损失预测模型包括至少两个损失预测子模型和分类器，各损失预测子模型与各卷积层一一对应，每一个损失预测子模型的输入为对应的卷积层所输出的第一特征向量。

由于筛选模型得到与卷积层相同个数的第一特征向量，则对于任意一个第一特征向量，将该第一特征向量输入至该第一特征向量对应的损失预测子模型中，获得该损失预测子模型针对该第一特征向量所输出的第一向量。

然后，对得到的各个第一向量进行整合处理，得到第二向量，比如：对各个第一向量进行拼接，得到第二向量，或者，对各个第一向量中相同位置的元素进行平均计算，得到第二向量。

最后，根据得到的第二向量和分类器，获得该初始视频的第一损失预测结果。

通过上述过程，得到其他各个初始视频的第一损失预测结果。

本实施例中，结合不同深度的特征的第一特征向量，得到第一损失预测结果，可以避免单一特征向量带来的片面性问题，进而提升损失预测的准确性。

步骤s4：根据各初始视频对应的第一损失预测结果，从所述初始视频集中筛选出第一中间视频：

根据各初始视频对应的第一损失预测结果，从初始视频集中筛选出第一中间视频。本实施例中，各初始视频对应的第一损失预测结果包括各初始视频对应的预测损失值，也可以理解为：各初始视频对应的第一损失预测结果就是各初始视频对应的预测损失值。

预设有一个损失门限值，该预设损失门限值由实际需要进行具体设置。比较各初始视频对应的预测损失值与预设损失门限值，根据比较结果获取大于或者等于预设损失门限值的预测损失值对应的初始视频，获取到的初始视频为第一中间视频。

步骤s5：根据所述用户信息，获取所述用户的用户特征数据：

根据用户信息，获取用户的用户特征数据。用户特征数据为只与用户相关的特征数据，为用户特有的数据信息，作为一个具体实施方式，用户特征数据为用户的可能感兴趣视频领域，可能感兴趣视频领域包括两部分，分别是：用户已关注的视频领域，以及与用户已关注的视频领域相关联的关联视频领域。其中，用户已关注的视频领域为用户在进行注册时所填写的关注的视频领域。与用户已关注的视频领域相关联的关联视频领域为与用户已关注的视频领域具有一定关联性的视频领域。作为一个具体实施方式，以下给出关联视频领域的一种具体获取过程：后台服务器中预设有一个视频领域知识图谱，该视频领域知识图谱包括目前已知的各个视频领域之间的关联度，关联度越高，表示两个视频领域的关系越密切。那么，根据预设的视频领域知识图谱，获取用户已关注的视频领域与视频领域知识图谱中的其他各视频领域的关联度；然后比较各关联度与预设关联度门限值，预设关联度门限值由实际需要进行设置，根据比较结果获取大于或者等于预设关联度门限值的目标关联度，即获取与用户已关注的视频领域关联度较大的关联度，最后获取与目标关联度相对应的视频领域，得到关联视频领域。

步骤s6：结合所述第一中间视频和所述用户特征数据，从所述第一中间视频中筛选出第二中间视频：

得到第一中间视频和用户特征数据之后，从第一中间视频中筛选出第二中间视频。由于第一中间视频中的各个视频的领域分为两部分：一部分是处于可能感兴趣视频领域，另一部分是不处于可能感兴趣视频领域，那么，获取第一中间视频中处于可能感兴趣视频领域的视频，这些视频为第二中间视频，即为最终所需的视频。然后可以向用户推送这些视频。

本实施例还提供一种基于大数据的视频筛选装置，包括存储器和处理器，以及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现上文中的基于大数据的视频筛选方法。由于该基于大数据的视频筛选方法在上文已给出了详细说明，不再赘述。