一种直播监控方法、装置、电子设备及存储介质与流程

本公开涉及互联网技术领域，具体而言，涉及一种直播监控方法、装置、电子设备及存储介质。

背景技术：

随着互联网技术的不断发展，直播技术营运而生，直播平台提供多个直播间，用户进入直播间后，能够观看到当前直播间中主播发送的直播视频流。

在直播间中，用户可能会在直播间发表一些不当言论，或者做出一些不当行为，为了对此进行管理，直播管理平台需要对每个直播间的用户的言论和行为进行监控，以达到对各个直播间的管理。

相关技术在对直播间进行监控时，可以采用随机抽取待检测直播间的音频或者直播图片来对直播间进行监控，基于该方式对待检测直播间进行监控时，得到的直播监控结果的准确度较低。

技术实现要素：

本公开实施例至少提供一种直播监控方案，以提高直播监控结果的准确度。

第一方面，本公开实施例提供了一种直播监控方法，包括：

获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量；基于所述待检测直播间在所述连续多个时间段中的每个时间段对应的直播特征向量，确定所述待检测直播间对应的融合直播特征向量；基于所述融合直播特征向量，确定所述待检测直播间对应的安全性检测结果；基于所述安全性检测结果，进行直播控制。

在一种可能的实施方式中，所述获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量，包括：

获取所述待检测直播间在所述连续多个时间段中的每个时间段内的直播内容，所述直播内容包括直播图片和/或直播音频，并提取所述直播内容在预设的多种直播内容安全性特征维度下对应的直播内容特征；将所述待检测直播间在每个时间段对应的直播内容特征，以及所述待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到所述待检测直播间在该时间段下的直播特征向量。

在一种可能的实施方式中，所述基于所述待检测直播间在所述连续多个时间段中的每个时间段对应的直播特征向量，确定所述待检测直播间对应的融合直播特征向量，包括：

针对所述连续多个时间段中的每个时间段，确定与该时间段对应的连续多个目标时间段，所述连续多个目标时间段中包括该时间段；将与该时间段对应的连续多个目标时间段分别对应的直播特征向量进行融合，得到该时间段对应的第一融合直播特征向量；基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量。

在一种可能的实施方式中，所述基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量，包括：

从所述连续多个时间段中的非首个时间段开始，将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到所述待检测直播间在所述当前时间段对应的第二融合直播特征向量；基于所述当前时间段对应的第二融合直播特征向量，确定所述当前时间段对应的记忆直播特征向量，将所述当前时间段对应的记忆直播特征向量和所述当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到所述待检测直播间在所述下一个时间段对应的第二融合直播特征向量；判断所述下一个时间段是否为所述连续多个时间段中的最后一个时间段，若是，将所述下一个时间段对应的第二融合直播特征向量作为所述待检测直播间对应的融合直播特征向量，若否，将所述下一个时间段作为所述当前时间段，执行确定所述待检测直播间在所述当前时间段对应的第二融合直播特征向量的步骤。

在一种可能的实施方式中，基于所述安全性检测结果，进行直播控制，包括：

若所述安全性检测结果指示所述待检测直播间的直播内容不符合预设安全检测条件，将所述待检测直播间对应的标识和所述待检测直播间对应的直播内容输出。

在一种可能的实施方式中，所述安全性检测结果由预先训练的神经网络确定；

所述神经网络利用了包含多个样本直播间中的每个样本直播间在连续多个时间段下、在预设的多种安全性特征维度下的直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果。

在一种可能的实施方式中，所述神经网络按照以下方式训练得到：

获取每个样本直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量；基于每个样本直播间在所述连续多个时间段中的每个时间段对应的直播特征向量，确定该样本直播间对应的融合直播特征向量；基于该样本直播间对应的融合直播特征向量，预测该样本直播间对应的安全性检测结果；基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对所述神经网络中的网络参数值进行调整。

第二方面，本公开实施例提供了一种直播监控装置，包括：

获取模块，用于获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量；第一确定模块，用于基于所述待检测直播间在所述连续多个时间段中的每个时间段对应的直播特征向量，确定所述待检测直播间对应的融合直播特征向量；第二确定模块，用于基于所述融合直播特征向量，确定所述待检测直播间对应的安全性检测结果；控制模块，用于基于所述安全性检测结果，进行直播控制。

在一种可能的实施方式中，所述获取模块在用于获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量时，包括：

获取所述待检测直播间在所述连续多个时间段中的每个时间段内的直播内容，所述直播内容包括直播图片和/或直播音频，并提取所述直播内容在预设的多种直播内容安全性特征维度下对应的直播内容特征；将所述待检测直播间在每个时间段对应的直播内容特征，以及所述待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到所述待检测直播间在该时间段下的直播特征向量。

在一种可能的实施方式中，所述第一确定模块在用于基于所述待检测直播间在所述连续多个时间段中的每个时间段对应的直播特征向量，确定所述待检测直播间对应的融合直播特征向量时，包括：

针对所述连续多个时间段中的每个时间段，确定与该时间段对应的连续多个目标时间段，所述连续多个目标时间段中包括该时间段；将与该时间段对应的连续多个目标时间段分别对应的直播特征向量进行融合，得到该时间段对应的第一融合直播特征向量；基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量。

在一种可能的实施方式中，所述第一确定模块在用于基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量时，包括：

从所述连续多个时间段中的非首个时间段开始，将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到所述待检测直播间在所述当前时间段对应的第二融合直播特征向量；基于所述当前时间段对应的第二融合直播特征向量，确定所述当前时间段对应的记忆直播特征向量，将所述当前时间段对应的记忆直播特征向量和所述当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到所述待检测直播间在所述下一个时间段对应的第二融合直播特征向量；判断所述下一个时间段是否为所述连续多个时间段中的最后一个时间段，若是，将所述下一个时间段对应的第二融合直播特征向量作为所述待检测直播间对应的融合直播特征向量，若否，将所述下一个时间段作为所述当前时间段，执行确定所述待检测直播间在所述当前时间段对应的第二融合直播特征向量的步骤。

在一种可能的实施方式中，所述控制模块在用于基于所述安全性检测结果，进行直播控制时，包括：

若所述安全性检测结果指示所述待检测直播间的直播内容不符合预设安全检测条件，将所述待检测直播间对应的标识和所述待检测直播间对应的直播内容输出。

在一种可能的实施方式中，所述直播监控装置还包括网络训练模块，所述网络训练模块用于训练确定所述安全性检测结果的神经网络；

所述神经网络利用了包含多个样本直播间中的每个样本直播间在连续多个时间段下、在预设的多种安全性特征维度下的直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果。

在一种可能的实施方式中，所述网络训练模块用于按照以下方式训练所述神经网络：

获取每个样本直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量；基于每个样本直播间在所述连续多个时间段中的每个时间段对应的直播特征向量，确定该样本直播间对应的融合直播特征向量；基于该样本直播间对应的融合直播特征向量，预测该样本直播间对应的安全性检测结果；基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对所述神经网络中的网络参数值进行调整。

第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述直播监控方法的步骤。

第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的直播监控方法的步骤。

本公开实施例提供了一种直播监控方案，通过获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量，比如得到连续10个时间段中每个时间段下，待检测直播间在多种安全性特征维度下的直播特征向量，这样通过待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，来确定待检测直播间对应的融合直播特征向量，即可以通过持续时间对得到待检测直播间中的直播用户进行监控，能够更加准确的得到该待检测直播间对应的安全性检测结果，然后通过该安全性检测结果对直播进行控制，从而有效改善直播环境。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种直播监控方法的流程图；

图2示出了本公开实施例所提供的一种确定待检测直播间对应的融合直播特征向量的方法流程图；

图3示出了本公开实施例所提供的一种神经网络中的时间维度卷积层的结构示意图；

图4示出了本公开实施例所提供的另一种确定待检测直播间对应的融合直播特征向量的方法流程图；

图5示出了本公开实施例所提供的一种安全性检测结果的具体过程图；

图6示出了本公开实施例所提供的一种神经网络的训练方法流程图；

图7示出了本公开实施例所提供的一种直播监控装置的结构示意图；

图8示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在直播场景中，比如直播间中，用户可能会在直播间发表一些不当言论，或者做出一些不当行为，为了对此进行管理，直播管理平台需要对每个直播间的用户的言论和行为进行监控，以达到对各个直播间的管理。

相关技术中的直播监控方式通常较为简单和机械的方式，比如随抽取待检测直播间的音频或者直播图片来对直播间进行监控，基于该方式对待检测直播间进行监控时，监控的准确度较低。

针对此，本公开实施例提供了一种直播监控方案，通过获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量，比如得到连续十个时间段中每个时间段下，待检测直播间在多种安全性特征维度下的直播特征向量，这样通过待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，来确定待检测直播间对应的融合直播特征向量，即可以通过持续时间对得到待检测直播间中的直播用户进行监控，能够更加准确的得到该待检测直播间对应的安全性检测结果，然后通过该安全性检测结果对直播进行控制，从而有效改善直播环境。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种直播监控方法进行详细介绍，本公开实施例所提供的直播监控方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：服务器或其它处理设备，该直播监控方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的直播监控方法的流程图，该直播监控方法具体包括以下s101～s104。

s101，获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量。

这里待检测直播间可以为正在进行直播的虚拟房间，比如可以为通过设定客户端进行直播的虚拟房间，该直播间可以对应有直播间标识，该标识可以为进行直播的用户的用户名、手机号码或者其它账号。

这里时间段可以为从设定时刻开始的设定时长，比如设定时刻为直播间直播开始后的1min，每个时间段包含的设定时长为20s，若直播间直播开始时间为9:00，则这里的第一个时间段可以为9:01:00～9:01:20，第二个时间段可以为9:01:20～9:01:40。

这里安全性特征维度可以包括多种用于评价直播效果的维度，特别可以包括用于评价直播是否存在风险的特征维度，比如可以包含用于评价直播间主播是否存在不当行为、不当言论、直播间在历史阶段是否被举报、被举报的次数以及主播的属性特征等维度，基于该多种安全性特征维度，可以得到待检测直播间对应的直播特征向量，具体获取方式将在后文进行详细介绍，在此不进行赘述。

s102，基于待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定待检测直播间对应的融合直播特征向量。

这里待检测直播间在每个时间段均对应一个直播特征向量，可以用于评价该待检测直播间在该时间段的安全性情况，比如在该时间段是否存在风险，通过多个时间段持续对该待检测直播间进行监控，通过时间信息的积累，可以更准确地监控直播间是否存在风险，比如待检测直播间的主播在单个时间段存在一些轻微的违规行为，若仅从该单个时间段考虑，并不会认为该待检测直播间存在风险，但是若该主播的违规行为随着时间的持续不断加重，则该待检测直播间的风险可能就会变高，因此通过连续多个时间段对应的直播特征向量，综合考虑待检测直播间对应的融合直播特征向量，可以较准确的确定该待检测直播间是否存在风险。

s103，基于融合直播特征向量，确定待检测直播间对应的安全性检测结果。

这里的安全性检测结果即可以包括该待检测直播间是否存在风险，具体可以通过风险得分表示，也可以通过风险等级表示，比如可以通过融合直播特征向量，来确定待检测直播间对应的风险得分，具体可以将风险得分划分为0～1分，可以预先设置风险得分阈值，比如将0.7分设置为风险得分阈值，即待检测直播间对应的风险得分达到0.7分时，则可以确定该待检测直播间存在风险的可能性较高；或者，这里的安全性检测结果也可以通过风险等级表示，比如可以通过融合直播特征向量，先来确定待检测直播间对应的风险得分，然后基于风险得分确定与该风险得分对应的风险等级，比如0～0.4分属于低风险等级，0.4～0.7分属于中风险等级，0.7～1分属于高风险等级，则若得到待检测直播间对应的风险等级为高风险等级时，则可以确定该待检测直播间存在风险的可能性较高。

s104，基于安全性检测结果，进行直播控制。

这里基于安全性检测结果，进行直播控制，可以包括：

若安全性检测结果指示待检测直播间的直播内容不符合预设安全检测条件，将待检测直播间对应的标识和待检测直播间对应的直播内容输出。

具体地，这里的安全性检测条件与安全性检测结果对应，比如安全性检测结果若通过风险得分表示，则这里的预设安全性条件即为风险得分低于风险得分阈值，若安全性检测结果通过风险等级表示，则这里的预设安全性条件可以为风险等级低于高风险等级。

这里待检测直播间的标识可以为待检测直播间id，待检测直播间对应的直播内容可以包含待检测直播间在连续多个时间段对应的直播图片和/或直播音频，这里将待检测直播间的标识和待检测直播间对应的直播内容输出，可以输出至工作人员对应的客户端，便于工作人员基于该待检测直播间在连续多个时间段对应的直播图片和/或直播音频对该待检测直播间进一步进行安全性检测。

以上s101～s104，本公开实施例提供了一种直播监控方案，通过获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量，比如得到连续10个时间段中每个时间段下，待检测直播间在多种安全性特征维度下的直播特征向量，这样通过待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，来确定待检测直播间对应的融合直播特征向量，即可以通过持续时间对得到待检测直播间中的直播用户进行监控，能够更加准确的得到该待检测直播间对应的安全性检测结果，然后通过该安全性检测结果对直播进行控制，从而有效改善直播环境。

另外，这里在自动确定出待检测直播间对应的安全性检测结果后，再通过人工核查风险性较高的待检测直播间，这样，无需人工对所有待检测直播间均进行监控，减少了人工成本，提高了直播监控效率。

下面将结合具体实施例针对上述s101～s104进行具体阐述：

针对上述s101，在获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量时，可以包括：

(1)获取待检测直播间在连续多个时间段中的每个时间段内的直播内容，直播内容包括直播图片和/或直播音频，并提取直播内容在预设的多种直播内容安全性特征维度下对应的直播内容特征；

(2)将待检测直播间在每个时间段对应的直播内容特征，以及待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到待检测直播间在该时间段下的直播特征向量。

这里在获取待检测直播间在连续多个时间段中的每个时间段内的直播图片时，可以按照每隔设定时间间隔提取一帧直播图片的方式，得到每个时间段对应的直播图片，比如针对0～20s的时间段，按照每隔2s提取一帧直播图片的方式，可以得到0～20s的时间段对应的10帧直播图片。

这里在获取待检测直播间在连续多个时间段中的每个时间段内的直播音频时，可以按照在每个时间段提取设定时长的音频的方式，得到每个时间段对应的直播音频，比如针对0～20s的时间段，提取10秒的直播音频，得到0～20s的时间段对应的直播音频。

这里在得到每个时间段对应的直播内容后，可以按照预先训练的多种直播内容安全性检测网络，得到每个时间段对应的直播内容在预设的多种直播内容安全性特征维度下对应的直播内容特征。

比如预先训练的多种直播内容安全性检测网络包括针对行为风险特征的检测网络、针对弹幕风险特征的检测网络、针对主播言论风险特征的检测网络等，将直播内容分别输出不同直播内容安全性检测网络，可以得到该直播内容对应的每种直播内容特征，特别地，针对同一时间段对应多帧直播图片的情况，在确定该时间段对应的某一直播内容安全性特征维度对应的直播内容特征时，可以分别将每帧直播图片输入与该直播内容安全性特征维度对应的直播内容安全性检测网络，从而得到每帧直播图片在该直播内容安全性特征维度下对应的分值，然后在每帧直播图片对应的分值中，选择最高分值作为该时间段在该直播内容安全性特征维度的直播内容特征。

除了得到的直播内容特征外，这里还可以得到待检测直播间在每个时间段对应的历史行为特征和用户属性特征，其中，历史行为特征可以包括该直播间在历史时间段内因为行为违规或者言语违规被举报的次数，该用户属性特征可以包括待检测直播间主播的性别、年龄等特征，用户属性特征也可以影响安全性检测结果，比如基于大数据统计结果显示，年轻女性发生直播间打架的风险较低，则在包含的用户属性特征为年轻女性时，该待检测直播间存在打架的风险较低。

进一步地，在得到待检测直播间在每个时间段对应的直播内容特征，以及该待检测直播间在该时间段对应的历史行为特征和用户属性特征后，将这里的直播内容特征、历史行为特征和用户属性特征进行拼接，即可以得到待检测直播间在该时间段下的直播特征向量，比如针对待检测直播间在每个时间段得到对应的直播内容特征为100个，在该时间段对应的历史行为特征为15个，在该时间段对应的用户属性特征为17个，则待检测直播间在每个时间段对应的直播特征向量有132个特征值构成。

本公开实施例中，通过提取直播内容在预设的多种直播内容安全性特征维度下对应的直播内容特征，进一步将待检测直播间在每个时间段对应的直播内容特征与待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接，可以得到多角度表示待检测直播间是否安全的直播特征向量，从多个角度来对待检测直播间进行监控，便于后期对待检测直播间是否存在安全性问题进行有效监控。

针对上述s102，在基于待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定待检测直播间对应的融合直播特征向量时，如图2所示，具体包括以下s201～s203：

s201，针对连续多个时间段中的每个时间段，确定与该时间段对应的连续多个目标时间段，连续多个目标时间段中包括该时间段；

s202，将与该时间段对应的连续多个目标时间段分别对应的直播特征向量进行融合，得到该时间段对应的第一融合直播特征向量；

s203，基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量。

这里可以理解为先对直播特征向量进行首次融合，在融合时，可以根据预先训练的神经网络中的时间维度卷积层进行融合，这里预先训练的神经网络可以为预先训练的用于确定本公开实施例的安全性检测结果的神经网络，该神经网络将在后文进行具体介绍，这里针对每个时间段，可以根据预先训练的时间维度卷积层，确定该时间段对应的多个目标时间段，比如这里根据时间维度卷积层确定的每个时间段对应的多个目标时间段包括该时间段、该时间段的前设定个数的时间段和该时间段的后设定个数的时间段。

示例性的，连续多个时间段可以包括连续十个时间段，若通过时间卷积层确定这十个时间段中每个时间段对应的目标时间段包含三个时间段，比如第二个时间段对应的目标时间段为第一个时间段、第二个时间段和第三个时间段，则这里第二个时间段对应的第一融合直播特征向量是通过第一个时间段对应的直播特征向量、第二个时间段对应的直播特征向量和第三个时间段对应的直播特征向量进行融合后得到的。

特别地，针对连续多个时间段中的第一个时间段，该第一个时间段的前设定个数的时间段对应的直播特征向量可以是预设的直播特征向量。

具体地，时间维度卷积层可以包含多层，针对每个时间段对应的第一融合直播特征向量，可以在经过多个时间维度卷积层的融合后最终得到，如图3所示，以预先训练的神经网络中包含两个时间维度卷积层为例、连续多个时间段包含十个时间段为例，介绍如何对每个时间段对应的连续多个目标时间段分别对应的直播特征向量进行融合：

将连续十个时间段对应的直播特征向量输入神经网络，若第一层时间维度卷积层中每个神经元的感受野为3，以第一层时间维度卷积层中每个神经元为例，其可以将与其关联的三个时间段对应的直播特征向量进行融合，在融合时，可以先确定直播特征向量中待进行融合的目标特征值，比如若待进行融合的目标特征值为第1个、第2个和第5个特征值，则这里在融合时，会根据预先确定的每个目标特征值对应的融合权重对这些目标特征值进行融合，并将融合后的特征值作为新的特征值，即得到在经过第一层时间维度卷积层的融合后，每个时间段在当前对应的融合直播特征向量，然后继续按照相同的方式，经过第二层时间维度卷积层的融合，得到每个时间段最终对应的第一融合直播特征向量，这里第二时间维度卷积层对应的感受野包括5个，如图3所示，其会对连续5个时间段在当前对应的融合直播特征向量进行融合，在融合后得到每个时间段最终对应的第一融合直播特征向量。

本公开实施例中，针对每个时间段，将与该时间段关联的多个时间段分别对应的直播特征向量进行融合，得到每个时间段对应的第一融合直播特征向量，在融合过程中，可以结合多个时间段对直播特征向量中的不同维度的特征值进行融合后更新，从而得到更适合对待检测直播间进行安全监控的第一融合直播特征向量。

在得到每个时间段对应的第一融合直播特征向量后，可以基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量，如图4所示，具体包括以下s401～s403：

s401，从连续多个时间段中的非首个时间段开始，将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到待检测直播间在当前时间段对应的第二融合直播特征向量；

s402，基于当前时间段对应的第二融合直播特征向量，确定当前时间段对应的记忆直播特征向量，将当前时间段对应的记忆直播特征向量和当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到待检测直播间在下一个时间段对应的第二融合直播特征向量；

s403，判断下一个时间段是否为连续多个时间段中的最后一个时间段，若是，将下一个时间段对应的第二融合直播特征向量作为待检测直播间对应的融合直播特征向量，若否，将下一个时间段作为当前时间段，执行确定待检测直播间在当前时间段对应的第二融合直播特征向量的步骤。

上述s401～s403的过程为确定待检测直播间对应的融合直播特征向量的过程，在该过程中，引入长短期记忆网络(long-shorttermmemory，lstm)，通过预先训练的神经网络中的长短期记忆网络来确定每个待检测直播间对应的融合直播特征向量，针对一个待检测直播间，确定该待检测直播间对应的融合直播特征向量的过程如下：

从连续多个时间段的非首个时间段开始，依次确定当前时间段对应的第二融合直播特征向量，针对当前时间段对应的长短期记忆网络，将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的长短期记忆网络输出记忆直播特征向量进行融合，得到当前时间段对应的第二融合直播特征向量，这里在对当前时间段对应的第一融合直播特征向量和上一个时间段的记忆直播特征向量进行融合时，可以按照预先确定的融合权重对待进行融合的目标特征值进行融合，得到当前时间段对应的第二融合直播特征向量。

接下来可以判断当前时间段是否为连续多个时间段中的最后一个时间段，若这里当前时间段为连续时间段中的最后一个时间段时，直接将该当前时间段对应的第二融合直播特征向量作为该待检测直播间对应的直播特征向量。

在确定当前时间段不是连续时间段中的最后一个时间段时，可以对当前时间段对应的第二融合直播特征向量中的特征值按照预设的重要度分配权重后得到的当前时间段对应的记忆直播特征向量，当前时间段对应的记忆直播特征向量可以输出至下一个时间段对应的长短期记忆网络，用于和下一个时间段对应的第一融合直播特征向量共同确定下一个时间段对应的第二融合直播特征向量，然后执行s403，即判断下一个时间段是否为连续多个时间段中的最后一个时间段的过程。

特别地，针对连续多个时间段中的首个时间段对应的第二融合直播特征向量可以通过该首个时间段对应的第一融合直播特征向量和预设的记忆直播特征向量融合得到。

特别地，这里在将当前时间段对应的第一融合直播特征向量输入该当前时间段对应的长短期记忆网络之前，可以先将第一融合直播特征向量输全连接层，经过全连接层的映射处理后，再输入该当前时间段对应的长短期记忆网络，同样，当前时间段的上一个时间段对应的记忆直播特征向量输入该当前时间段对应的长短期记忆网络时，也可以先将上一个时间段对应的记忆直播特征向量输入全连接层进行处理后，再输入该当前时间段对应的长短期记忆网络。

以上是针对包含一层长短期记忆网络的情况，当包含两层长短期记忆网络时，每个时间段对应的第二融合直播特征向量会继续输入该时间段对应的下一层的长短期记忆网络，为了便于区分，这里可以将每个时间段对应的第一层长短期记忆网络称为该时间段对应的第一长短期记忆网络，将每个时间段对应的第二层长短期记忆网络称为该时间段对应的第二长短期记忆网络，针对每个时间段对应的第二长短期记忆网络，这里是将该时间段对应的第二融合直播特征向量和该时间段的上一个时间段对应的第二长短期记忆网络输出的记忆直播特征向量进行融合，得到待检测直播间在该时间段对应的第三融合直播特征向量，然后判断该时间段是否为连续多个时间段中的最后一个时间段，若是的话，将该时间段对应的第三融合直播特征向量作为待检测直播间的融合直播特征向量，若不是最后一个时间段，则基于该时间段对应的第三融合直播特征向量，确定该时间段对应的第二长短期记忆网络的记忆直播特征向量，然后将该时间段对应的记忆直播特征向量和该时间段的下一个时间段对应的第二融合直播特征向量进行融合，得到下一个时间段对应的第三融合直播特征向量，该过程与包含一层长短期记忆网络时确定待检测直播间对应的融合直播特征向量的方式相似，在此不进行赘述。

本公开实施例中，通过将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，最终得到连续多个时间段中最后一个时间段对应的第二融合直播特征向量，通过该方式可以对待检测直播间进行持续监控，从而能够更加准确的得到该待检测直播间对应的安全性检测结果。

在得到待检测直播间对应的融合直播特征向量后，即可以基于该融合直播特征向量，确定该待检测直播间对应的安全性检测结果，比如可以按照以下方式来确定安全性检测结果：

将该待检测直播间的融合直播特征向量输入预先训练的神经网络中的重组层进行重组，然后将重组后的结果输入全连接层进行映射，然后将映射结果通过sigmoid激活函数进行处理，得到能够表征该待检测直播间的安全性检测结果的分值，该分值通过0～1之间的数值进行表示。

下面结合图5以一种具体实施例对整个过程进行阐述：

该实施例中针对512个待检测直播间同时进行监控，首选获取到512个待检测直播间在10个时间段对应的132个维度的直播特征向量，然后将这512个待检测直播间在10个时间段对应的132个维度的直播特征向量输入神经网络，经过两层时间维度卷积层后，得到这512个待检测直播间在10个时间段对应的256个维度的第一融合直播特征向量，然后按照时间段进行信息拆分，即得到512个待检测直播间在每个时间段对应的第一融合直播特征向量，然后经过两层长短期记忆网络后，得到512个待检测直播间各自对应的融合直播特征向量，然后依次经过重组层、全连接层和sigmoid函数处理后，得到512个待检测直播间对应的表征安全性检测结果的分值。

以上本公开实施例得到的安全性检测结果可以由预先训练的神经网络确定；

该神经网络利用了包含多个样本直播间中的每个样本直播间在连续多个时间段下、在预设的多种安全性特征维度下的直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果。

如图6所示，为神经网络的训练过程，具体地，该神经网络按照以下方式训练得到，包括s601～s604：

s601，获取每个样本直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量。

这里确定每个样本直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量，与上文确定待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量的方式相似，在此不再赘述。

s602，基于每个样本直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定该样本直播间对应的融合直播特征向量。

这里确定每个样本直播间对应的融合直播特征向量与上文介绍的确定待检测直播间对应的融合直播特征向量的方式相似，在此不再赘述。

s603，基于该样本直播间对应的融合直播特征向量，预测该样本直播间对应的安全性检测结果。

这里预测样本直播间对应的安全性检测结果与上文介绍的确定待检测直播间对应的安全性检测结果的方式相似，在此不再赘述。

s604，基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对神经网络中的网络参数值进行调整。

这里每个样本件对应的实际安全性检测结果可以是预先基于人工检测统计的，这样，通过预测得到的每个样本直播间对应的安全性检测结果，以及该样本直播间被标注的实际安全性检测结果，即可以得到预测结果和实际结果的损失函数，并根据该损失函数对应的损失函数值对神经网络中的网络参数值进行调整，直至损失函数值小于设定阈值或者训练达到设定次数后，即可以得到用于预测待检测直播间对应的安全性检测结果的神经网络。

进一步地，如何具体获取每个样本直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量，与上文介绍的如何具体获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量的方式相似，在此不再赘述。

进一步地，如何基于每个样本直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定该样本直播间对应的融合直播特征向量，与上文介绍的如何基于待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定待检测直播间对应的融合直播特征向量的方式相似，即均涉及到时间维度卷积层、长短期记忆网络以及全连接层，特别地，全连接层的每一层均可以包含多个神经元，在对全连接层进行训练时，可以结合dropout层进行训练，比如在全连接层传输数据时，让全连接层的某个神经元的激活值以一定的概率p停止工作，这样可以有效减少全连接层的过拟合现象，使得全连接处的泛化性更强。

本公开实施例中，通过获取样本直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量，比如得到连续10个时间段中每个时间段下，样本直播间在多种安全性特征维度下的直播特征向量，这样通过样本直播间在连续多个时间段中的每个时间段对应的直播特征向量，来确定样本直播间对应的融合直播特征向量，进一步通过该融合直播特征向量来预测样本直播间对应的安全性检测结果，然后通过预测的安全性检测结果和样本直播间的实际安全性检测结果对神经网络进行调整，从而得到准确度较高的对待检测直播间进行安全性检测的神经网络。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与直播监控方法对应的直播监控装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述直播监控方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图7所示，为本公开实施例提供的一种直播监控装置700的示意图，该直播监控装置700包括：获取模块701、第一确定模块702、第二确定模块703和控制模块704。

其中，获取模块701，用于获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量；

第一确定模块702，用于基于待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定待检测直播间对应的融合直播特征向量；

第二确定模块703，用于基于融合直播特征向量，确定待检测直播间对应的安全性检测结果；

控制模块704，用于基于安全性检测结果，进行直播控制。

在一种可能的实施方式中，获取模块701在用于获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量时，包括：

获取待检测直播间在连续多个时间段中的每个时间段内的直播内容，直播内容包括直播图片和/或直播音频，并提取直播内容在预设的多种直播内容安全性特征维度下对应的直播内容特征；

将待检测直播间在每个时间段对应的直播内容特征，以及待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到待检测直播间在该时间段下的直播特征向量。

在一种可能的实施方式中，第一确定模块702在用于基于待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定待检测直播间对应的融合直播特征向量时，包括：

针对连续多个时间段中的每个时间段，确定与该时间段对应的连续多个目标时间段，连续多个目标时间段中包括该时间段；

将与该时间段对应的连续多个目标时间段分别对应的直播特征向量进行融合，得到该时间段对应的第一融合直播特征向量；

基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量。

在一种可能的实施方式中，第一确定模块702在用于基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量时，包括：

从连续多个时间段中的非首个时间段开始，将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到待检测直播间在当前时间段对应的第二融合直播特征向量；

基于当前时间段对应的第二融合直播特征向量，确定当前时间段对应的记忆直播特征向量，将当前时间段对应的记忆直播特征向量和当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到待检测直播间在下一个时间段对应的第二融合直播特征向量；

判断下一个时间段是否为连续多个时间段中的最后一个时间段，若是，将下一个时间段对应的第二融合直播特征向量作为待检测直播间对应的融合直播特征向量，若否，将下一个时间段作为当前时间段，执行确定待检测直播间在当前时间段对应的第二融合直播特征向量的步骤。

在一种可能的实施方式中，控制模块704在用于基于安全性检测结果，进行直播控制时，包括：

若安全性检测结果指示待检测直播间的直播内容不符合预设安全检测条件，将待检测直播间对应的标识和待检测直播间对应的直播内容输出。

在一种可能的实施方式中，直播监控装置还包括网络训练模块705，网络训练模块705用于训练确定安全性检测结果的神经网络；

神经网络利用了包含多个样本直播间中的每个样本直播间在连续多个时间段下、在预设的多种安全性特征维度下的直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果。

在一种可能的实施方式中，网络训练模块705用于按照以下方式训练神经网络：

获取每个样本直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量；

基于每个样本直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定该样本直播间对应的融合直播特征向量；

基于该样本直播间对应的融合直播特征向量，预测该样本直播间对应的安全性检测结果；

基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对神经网络中的网络参数值进行调整。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图1中的直播监控方法，本公开实施例还提供了一种电子设备800，如图8所示，为本公开实施例提供的电子设备800结构示意图，包括：

处理器81、存储器82、和总线83；存储器82用于存储执行指令，包括内存821和外部存储器822；这里的内存821也称内存储器，用于暂时存放处理器81中的运算数据，以及与硬盘等外部存储器822交换的数据，处理器81通过内存821与外部存储器822进行数据交换，当电子设备800运行时，处理器81与存储器82之间通过总线83通信，使得处理器81在执行以下指令：获取待检测直播间在连续多个时间段中的每个时间段下，在预设的多种安全性特征维度下的直播特征向量；基于待检测直播间在连续多个时间段中的每个时间段对应的直播特征向量，确定待检测直播间对应的融合直播特征向量；基于融合直播特征向量，确定待检测直播间对应的安全性检测结果；基于安全性检测结果，进行直播控制。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的直播监控方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的直播监控方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的直播监控方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(softwaredevelopmentkit，sdk)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。