安全检测方法、装置、电子设备及存储介质与流程

本公开涉及互联网技术领域，具体而言，涉及一种安全检测方法、装置、电子设备及存储介质。

背景技术：

随着互联网技术的不断发展，直播技术营运而生，直播平台提供多个直播间，用户进入直播间后，能够观看到当前直播间中主播发送的直播视频流。

在直播间中，用户可能会在直播间发表一些不当言论，或者做出一些不当行为，为了对此进行管理，直播管理平台需要对每个直播间的用户的言论和行为进行监控，以达到对各个直播间的管理。

相关技术在对直播间进行安全检测时，可以采用随机抽取待检测直播间的音频或者直播图片来对直播间的直播环境进行安全检测，基于该方式对待检测直播间进行安全检测时，得到的安全检测结果的准确度较低。

技术实现要素：

本公开实施例至少提供一种安全检测方法，以提高针对直播间的安全性检测结果的准确度。

第一方面，本公开实施例提供了一种安全检测方法，包括：

获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；基于所述每种安全性特征维度的权重，对所述待检测直播间在每个时间段下的所述初始直播特征向量进行调整，得到所述待检测直播间在该时间段对应的调整后的直播特征向量；基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果。

在一种可能的实施方式中，确定所述待检测直播间对应的安全性检测结果后，所述安全检测方法还包括：

若所述安全性检测结果指示所述待检测直播间的直播内容不符合预设安全检测条件，将所述待检测直播间对应的标识和所述待检测直播间对应的直播内容输出。

在一种可能的实施方式中，所述获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量，包括：

获取所述待检测直播间在连续多个时间段中的每个时间段内的直播内容，所述直播内容包括场景图片和/或音频内容，并基于所述多种安全性特征维度分别对应的特征提取网络提取所述直播内容对应的直播内容特征；将所述待检测直播间在每个时间段对应的直播内容特征，以及所述待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到所述待检测直播间在该时间段下的初始直播特征向量。

在一种可能的实施方式中，在得到所述待检测直播间在每个时间段下的初始直播特征向量后，所述安全检测方法还包括：

识别所述待检测直播间在每个时间段对应的初始直播特征向量中的直播内容特征，检测该直播内容特征中是否存在针对至少一种安全性特征维度的缺失值；在确定存在针对至少一种安全性特征维度的缺失值时，基于所述待检测直播间在该时间段对应的初始直播特征向量中其它安全性特征维度的特征值对所述至少一种安全性特征维度的缺失值进行填补。

在一种可能的实施方式中，所述基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重，包括：

基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，确定所述待检测直播间在每种安全性特征维度下的目标特征值；将所述待检测直播间在每种安全性特征维度下的目标特征值输入所述注意力网络中的全连接层和激活函数层，得到所述待检测直播间对应的所述多种安全性特征维度中每种安全性特征维度的权重。

在一种可能的实施方式中，所述基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，得到所述待检测直播间在每种安全性特征维度下的目标特征值，包括：

基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值。

在一种可能的实施方式中，所述基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值，包括：

基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的最大特征值作为该安全性特征维度下的所述目标特征值。

在一种可能的实施方式中，所述基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果，包括：

针对所述待检测直播间在每个时间段对应的调整后的直播特征向量，将该时间段对应的调整后的直播特征向量中包含的不同安全性特征维度下的特征值进行融合，得到所述待检测直播间在该时间段对应的第一融合直播特征向量；基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量；基于所述融合直播特征向量，确定所述待检测直播间对应的安全性检测结果。

在一种可能的实施方式中，所述基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量，包括：

从所述多个时间段中的非首个时间段开始，将当前指向时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到所述待检测直播间在所述当前指向时间段对应的第二融合直播特征向量；基于所述当前时间段对应的第二融合直播特征向量，提取所述当前时间段对应的记忆直播特征向量，将所述当前时间段对应的记忆直播特征向量和所述当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到该待检测直播间在所述下一个时间段对应的第二融合直播特征向量；判断所述下一个时间段是否为所述多个时间段中的最后一个时间段，若是，将所述下一个时间段对应的第二融合直播特征向量作为所述待检测直播间对应的融合直播特征向量，若否，将所述下一个时间段作为所述当前时间段，执行确定该所述检测直播间在所述当前指向时间段对应的第二融合直播特征向量的步骤。

在一种可能的实施方式中，所述安全性检测结果由预先训练的包含注意力网络的神经网络实现；

所述神经网络利用了包含多个样本直播间中每个样本直播间在多个时间段中的每个时间段对应的初始直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果训练得到。

在一种可能的实施方式中，所述神经网络按照以下方式进行训练：

获取基于所述多种安全性特征维度分别对应的特征提取网络确定的每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量；基于每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量，通过所述注意力网络，确定每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重；基于每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重，对该样本直播间在每个时间段下的初始直播特征向量进行调整，得到该样本直播间在该时间段对应的调整后的直播特征向量；基于该样本直播间在每个时间段对应的调整后的直播特征向量，预测该样本直播间对应的安全性检测结果；基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对所述神经网络中的网络参数值进行调整。

第二方面，本公开实施例提供了一种安全检测装置，包括：

获取模块，用于获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；第一确定模块，用于基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；调整模块，用于基于所述每种安全性特征维度的权重，对所述待检测直播间在每个时间段下的所述初始直播特征向量进行调整，得到所述待检测直播间在该时间段对应的调整后的直播特征向量；第二确定模块，用于基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果。

在一种可能的实施方式中，确定所述待检测直播间对应的安全性检测结果后，所述第二确定模块还用于：

若所述安全性检测结果指示所述待检测直播间的直播内容不符合预设安全检测条件，将所述待检测直播间对应的标识和所述待检测直播间对应的直播内容输出。

在一种可能的实施方式中，所述获取模块在用于获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量时，包括：

获取所述待检测直播间在连续多个时间段中的每个时间段内的直播内容，所述直播内容包括场景图片和/或音频内容，并基于所述多种安全性特征维度分别对应的特征提取网络提取所述直播内容对应的直播内容特征；将所述待检测直播间在每个时间段对应的直播内容特征，以及所述待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到所述待检测直播间在该时间段下的初始直播特征向量。

在一种可能的实施方式中，在得到所述待检测直播间在每个时间段下的初始直播特征向量后，所述获取模块还用于：

识别所述待检测直播间在每个时间段对应的初始直播特征向量中的直播内容特征，检测该直播内容特征中是否存在针对至少一种安全性特征维度的缺失值；在确定存在针对至少一种安全性特征维度的缺失值时，基于所述待检测直播间在该时间段对应的初始直播特征向量中其它安全性特征维度的特征值对所述至少一种安全性特征维度的缺失值进行填补。

在一种可能的实施方式中，所述第一确定模块在用于基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重时，包括：

基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，确定所述待检测直播间在每种安全性特征维度下的目标特征值；将所述待检测直播间在每种安全性特征维度下的目标特征值输入所述注意力网络中的全连接层和激活函数层，得到所述待检测直播间对应的所述多种安全性特征维度中每种安全性特征维度的权重。

在一种可能的实施方式中，所述第一确定模块在用于基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，得到所述待检测直播间在每种安全性特征维度下的目标特征值时，包括：

基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值。

在一种可能的实施方式中，所述第一确定模块在用于基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值时，包括：

基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的最大特征值作为该安全性特征维度下的所述目标特征值。

在一种可能的实施方式中，所述第二确定模块在用于基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果时，包括：

针对所述待检测直播间在每个时间段对应的调整后的直播特征向量，将该时间段对应的调整后的直播特征向量中包含的不同安全性特征维度下的特征值进行融合，得到所述待检测直播间在该时间段对应的第一融合直播特征向量；基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量；基于所述融合直播特征向量，确定所述待检测直播间对应的安全性检测结果。

在一种可能的实施方式中，所述第二确定模块在用于基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量时，包括：

从所述多个时间段中的非首个时间段开始，将当前指向时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到所述待检测直播间在所述当前指向时间段对应的第二融合直播特征向量；基于所述当前时间段对应的第二融合直播特征向量，提取所述当前时间段对应的记忆直播特征向量，将所述当前时间段对应的记忆直播特征向量和所述当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到该待检测直播间在所述下一个时间段对应的第二融合直播特征向量；判断所述下一个时间段是否为所述多个时间段中的最后一个时间段，若是，将所述下一个时间段对应的第二融合直播特征向量作为所述待检测直播间对应的融合直播特征向量，若否，将所述下一个时间段作为所述当前时间段，执行确定该所述检测直播间在所述当前指向时间段对应的第二融合直播特征向量的步骤。

在一种可能的实施方式中，所述安全监测装置还包括网络训练模块，所述网络训练模块用于训练确定所述安全性检测结果的神经网络，所述神经网络包含注意力网络；所述神经网络利用了包含多个样本直播间中每个样本直播间在多个时间段中的每个时间段对应的初始直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果训练得到。

在一种可能的实施方式中，所述网络训练模块用于按照以下方式训练所述神经网络：

获取基于所述多种安全性特征维度分别对应的特征提取网络确定的每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量；基于每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量，通过所述注意力网络，确定每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重；基于每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重，对该样本直播间在每个时间段下的初始直播特征向量进行调整，得到该样本直播间在该时间段对应的调整后的直播特征向量；基于该样本直播间在每个时间段对应的调整后的直播特征向量，预测该样本直播间对应的安全性检测结果；基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对所述神经网络中的网络参数值进行调整。

第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的安全监测方法的步骤。

第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的安全监测方法的步骤。

本公开提供了一种安全检测方法，这里通过获取多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量，比如得到十个时间段中每个时间段下，待检测直播间在多种安全性特征维度下的初始直播特征向量，然后通过注意力网络确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重，这样可以确定出待检测直播间在每个时间段下的初始直播特征向量中与各个安全性特征维度对应的特征值的重要度，然后基于此，对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到该待检测直播间在每个时间段对应的调整后的直播特征向量，通过对初始直播特征向量进行调整，比如通过增加重要安全性特征维度下的特征值的比重，弱化非重要性特征维度下的特征值的比重，从而在能够更加准确的得到该待检测直播间对应的安全性检测结果，从而便于在后期通过该安全性检测结果对直播进行控制，有效改善直播环境。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种安全检测方法的流程图；

图2示出了本公开实施例所提供的一种确定待检测直播间对应的安全检测结果的方法流程图；

图3示出了本公开实施例所提供的一种确定待检测直播间对应的融合直播特征向量的方法流程图；

图4示出了本公开实施例所提供的一种安全性检测结果的具体过程图；

图5示出了本公开实施例所提供的一种神经网络的训练方法流程图；

图6示出了本公开实施例所提供的一种安全检测装置的结构示意图；

图7示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在直播场景中，比如直播间中，用户可能会在直播间发表一些不当言论，或者做出一些不当行为，为了对此进行管理，直播管理平台需要对每个直播间的用户的言论和行为进行安全检测，以达到对各个直播间的管理。

相关技术中的安全检测方式通常较为简单和机械的方式，比如随抽取待检测直播间的音频或者直播图片来对直播间进行安全检测，基于该方式对待检测直播间进行安全检测时，得到的安全检测结果的准确度较低。

基于上述研究，本公开提供了一种安全检测方法，这里通过获取多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量，比如得到十个时间段中每个时间段下，待检测直播间在多种安全性特征维度下的初始直播特征向量，然后通过注意力网络确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重，这样可以确定出待检测直播间在每个时间段下的初始直播特征向量中与各个安全性特征维度对应的特征值的重要度，然后基于此，对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到该待检测直播间在每个时间段对应的调整后的直播特征向量，通过对初始直播特征向量进行调整，比如通过增加重要安全性特征维度下的特征值的比重，弱化非重要性特征维度下的特征值的比重，从而在能够更加准确的得到该待检测直播间对应的安全性检测结果，从而便于在后期通过该安全性检测结果对直播进行控制，有效改善直播环境。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种安全检测方法进行详细介绍，本公开实施例所提供的安全检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：服务器或其它处理设备。在一些可能的实现方式中，该安全检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的安全检测方法的流程图，所述方法包括步骤s101～s104，其中：

s101，获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量。

这里待检测直播间可以为正在进行直播的虚拟房间，比如通过设定客户端进行直播的虚拟房间，该直播间可以对应有直播间标识，该标识可以为进行直播的用户的用户名、手机号码或者其它账号。

这里的多个时间段可以为连续时间段，其中第一个时间段可以为从设定时刻开始的设定时长，比如设定时刻为直播间直播开始后的1min，每个时间段包含的设定时长为20s，若直播间直播开始时间为9:00，则这里的第一个时间段可以为9:01:00～9:01:20，第二个时间段可以为9:01:20～9:01:40。

这里安全性特征维度可以包括多种用于评价直播效果的维度，特别可以包括用于评价直播是否存在风险的特征维度，比如可以包含用于评价直播间主播是否存在不当行为、不当言论、直播间在历史阶段是否被举报、被举报的次数以及主播的属性特征等维度，基于该多种安全性特征维度分别对应的特征提取网络，可以得到待检测直播间在多个时间段对应的初始直播特征向量。

这里基于多种安全性特征维度分别对应的特征提取网络可以包括针对行为风险特征提取的特征提取网络、针对弹幕风险特征提取的特征提取网络、针对主播言论风险特征提取的特征提取网络等，具体通过特征提取网络来确定初始直播特征向量的方式将在后文具体介绍，在此不进行赘述。

s102，基于多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重。

初始直播特征向量中可以包含与每种安全性特征维度对应的特征值，这里通过注意力网络确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重，同时也是初始直播特征向量中每种安全性特征维度对应的特征值的权重。

s103，基于每种安全性特征维度的权重，对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到待检测直播间在该时间段对应的调整后的直播特征向量。

这里在基于每种安全性特征维度的权重，对待检测直播间在每个时间段下的初始直播特征向量进行调整时，可以将每种安全性特征维度的权重，与该安全性特征维度在初始直播特征向量中对应的特征值进行相乘，得到该安全性特征维度在调整后的直播特征向量中对应的特征值。

s104，基于待检测直播间在每个时间段对应的调整后的直播特征向量，确定待检测直播间对应的安全性检测结果。

这里的安全性检测结果即可以包括该待检测直播间是否存在风险，具体可以通过风险得分表示，也可以通过风险等级表示，比如可以通过调整后的直播特征向量，来确定待检测直播间对应的风险得分，具体可以对风险得分划分为0～1分，可以预先设置风险得分阈值，比如将0.7分设置为风险得分阈值，即待检测直播间对应的风险得分达到0.7分时，则可以确定该待检测直播间存在风险的可能性较高；或者，这里的安全性检测结果也可以通过风险等级表示，比如可以通过调整后的直播特征向量，先来确定待检测直播间对应的风险得分，然后基于风险得分确定与该风险得分对应的风险等级，比如0～0.4分属于低风险等级，0.4～0.7分属于中风险等级，0.7～1分属于高风险等级，则若得到待检测直播间对应的风险等级为高风险等级时，则可以确定该待检测直播间存在风险的可能性较高。

以上s101～s104提出的安全检测方法，通过获取多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量，比如得到十个时间段中每个时间段下，待检测直播间在多种安全性特征维度下的初始直播特征向量，然后通过注意力网络确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重，这样可以确定出待检测直播间在每个时间段下的初始直播特征向量中与各个安全性特征维度对应的特征值的重要度，然后基于此，对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到该待检测直播间在每个时间段对应的调整后的直播特征向量，通过对初始直播特征向量进行调整，比如通过增加重要安全性特征维度下的特征值的比重，弱化非重要性特征维度下的特征值的比重，从而在能够更加准确的得到该待检测直播间对应的安全性检测结果，从而便于在后期通过该安全性检测结果对直播进行控制，有效改善直播环境。

在一种实施方式中，确定待检测直播间对应的安全性检测结果后，本公开实施例提供的安全检测方法还包括：

若安全性检测结果指示待检测直播间的直播内容不符合预设安全检测条件，将待检测直播间对应的标识和待检测直播间对应的直播内容输出。

具体地，这里的安全性检测条件与安全性检测结果对应，比如安全性检测结果若通过风险得分表示，则这里的预设安全性条件即为风险得分低于风险得分阈值，若安全性检测结果通过风险等级表示，则这里的预设安全性条件可以为风险等级低于高风险等级。

这里待检测直播间的标识可以为待检测直播间id，待检测直播间对应的直播内容可以包含待检测直播间在连续多个时间段对应的直播图片和/或直播音频，这里将待检测直播间的标识和待检测直播间对应的直播内容输出，可以输出至工作人员对应的客户端，便于工作人员基于该待检测直播间在连续多个时间段对应的直播图片和/或直播音频对该待检测直播间进一步进行安全性检测。

针对上述s101，在获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量时，可以包括：

(1)获取待检测直播间在连续多个时间段中的每个时间段内的直播内容，直播内容包括场景图片和/或音频内容，并基于多种安全性特征维度分别对应的特征提取网络提取直播内容对应的直播内容特征；

(2)将待检测直播间在每个时间段对应的直播内容特征，以及待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到待检测直播间在该时间段下的初始直播特征向量。

这里在获取待检测直播间在连续多个时间段中的每个时间段内的直播图片时，可以按照每隔设定时间间隔提取一帧直播图片的方式，得到每个时间段对应的直播图片，比如针对0～20s的时间段，按照每隔2s提取一帧直播图片的方式，可以得到0～20s的时间段对应的10帧直播图片。

这里在获取待检测直播间在连续多个时间段中的每个时间段内的直播音频时，可以按照在每个时间段提取设定时长的音频的方式，得到每个时间段对应的直播音频，比如针对0～20s的时间段，提取10秒的直播音频，得到0～20s的时间段对应的直播音频。

这里在得到每个时间段对应的直播内容后，可以按照预先训练的多种安全性特征维度分别对应的特征提取网络，得到每个时间段对应的直播内容特征。

比如将直播内容分别输出不同特征提取网络，可以得到该直播内容对应的每种安全性维度下的直播内容特征，特别地，针对同一时间段对应多帧直播图片的情况，在确定该时间段对应的某一安全性特征维度对应的直播内容特征时，可以分别将每帧直播图片输入与该安全性特征维度对应的特征提取网络，从而得到每帧直播图片在该安全性特征维度下对应的分值，然后在每帧直播图片对应的分值中，选择最高分值作为该时间段在该安全性特征维度的直播内容特征。

除了得到的直播内容特征外，这里还可以得到待检测直播间在每个时间段对应的历史行为特征和用户属性特征，其中，历史行为特征可以包括该直播间在历史时间段内因为行为违规或者言语违规被举报的次数，该用户属性特征可以包括待检测直播间主播的性别、年龄等特征，用户属性特征也可以影响安全性检测结果，比如基于大数据统计结果显示，年轻女性发生直播间打架的风险较低，则在包含的用户属性特征为年轻女性时，该待检测直播间存在打架的风险较低。

进一步地，在得到待检测直播间在每个时间段对应的直播内容特征，以及该待检测直播间在该时间段对应的历史行为特征和用户属性特征后，将这里的直播内容特征、历史行为特征和用户属性特征进行拼接，即可以得到待检测直播间在该时间段下的初始直播特征向量，比如针对待检测直播间在每个时间段得到对应的直播内容特征为100个，在该时间段对应的历史行为特征为15个，在该时间段对应的用户属性特征为17个，则待检测直播间在每个时间段对应的初始直播特征向量有132个特征值构成。

本公开实施例中，通过提取直播内容在预设的多种直播内容安全性特征维度下对应的直播内容特征，进一步将待检测直播间在每个时间段对应的直播内容特征与待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接，可以得到多角度表示待检测直播间是否安全的直播特征向量，从多个角度来对待检测直播间进行监控，便于后期对待检测直播间是否存在安全性问题进行有效监控。

考虑到若多种安全性特征维度分别对应的特征提取网络中存在至少一个特征提取网络在提取直播内容对应的直播内容特征时，若发生故障则无法得到该特征提取网络对应的直播内容特征，这种请情况下得到的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量中即存在缺失的特征值。

针对此，在得到待检测直播间在每个时间段下的初始直播特征向量后，本公开实施例提供的安全检测方法还包括：

(1)识别待检测直播间在每个时间段对应的初始直播特征向量中的直播内容特征，检测该直播内容特征中是否存在针对至少一种安全性特征维度的缺失值；

(2)在确定存在针对至少一种安全性特征维度的缺失值时，基于待检测直播间在该时间段对应的初始直播特征向量中其它安全性特征维度的特征值对至少一种安全性特征维度的缺失值进行填补。

直播内容在输入多种安全性特征维度分别对应的特征提取网络后，某个特征提取网络存在故障，未得到对应的直播内容特征，则可以按照预设缺失值对缺失的直播内容特征进行填补，比如通过“-1”来表示缺失值，这样针对待检测直播间在每个时间段对应的初始直播特征向量，可以通过在初始直播特征向量中查找是否存在“-1”，若存在，则将“-1”所处位置对应的安全性特征维度下的直播内容特征为缺失值，然后可以根据其它安全性特征维度的特征值对该缺失值进行填补。

比如可以根据预先训练的缺失值补全网络层来进行缺失值填补，针对待检测直播间对应的初始直播特征向量，不同维度的特征值之间存在一定的关联关系，缺失值补全网络层可以基于该关联关系，根据其它安全性特征维度的特征值对缺失值进行填补。

具体地，在本公开实施例中可以通过预先训练的神经网络中的缺失值补全网络层来对缺失值进行填补，下面以表1为例，介绍如何对待检测直播间的初始直播特征向量中的缺失值进行调补，以待检测直播间为直播间1为例进行说明：

表1中第一特征值序列可以为直播间1在某个时间段对应的初始直播特征向量中的各个特征值，可以检测出特征2对应的位置为缺失值，此时将缺失值赋值为第一预设值，比如赋值为“1”，将其它特征赋值为第二预设值，比如赋值为“0”，然后得到赋予特征值序列，将该序列的特征值经过全连接层进行映射，得到映射初始值，比如特征2对应的映射初始值为0.5，其余特征对应的映射初始值为0，然后将得到的映射初始值与对应位置的原始的第一特征值进行合并形成第二特征值，如表1所示，即完成对缺失值的填补，得到直播间1在该时间段对应的初始直播特征向量。

在另一种实施方式中，在确定待检测直播间在任一时间段存在针对至少一种安全性特征维度的缺失值时，针对每种安全性维度的缺失值，还可以基于该种安全性特征维度在多个时间段对应的特征值对该安全性维度的缺失值进行填补，比如待检测直播间在连续多个时间段中的第一个时间段存在第一种安全性特征维度下的缺失值，还可以对该第一种安全性特征维度在多个时间段对应的特征值进行求平均值，基于该平均值对缺失值进行填补。

本公开实施例中，通过对初始直播特征向量进行缺失值填补，可以得到包含完整特征值的初始直播特征向量，这样基于完整的初始直播特征向量可以从多角度对待检测直播间进行安全性监控，从而便于后期准确得到针对待检测直播间的安全性检测结果。

针对上述s102，在基于多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重时，可以包括：

(1)基于待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量，确定待检测直播间在每种安全性特征维度下的目标特征值；

(2)将该待检测直播间在每种安全性特征维度下的目标特征值输入注意力网络中的全连接层和激活函数层，得到待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重。

为了确定待检测直播间在多种安全性特征维度中的每种安全性特征维度的权重，本公开需要将多个时间段中每个时间段对应的初始直播特征向量转换为一个直播特征向量，在转换过程中，可以基于每种安全性特征维度在多个时间段对应的特征值来确定该种安全性特征维度对应的目标特征值，比如，可以将多个时间段对应的特征值中的最大特征值作为目标特征值，也可以将多个时间段对应的特征值的平均值作为该目标特征值。

本公开实施例中，可以选择出每种安全性特征维度下具有代表性的目标特征值，将多个初始直播特征向量进行简化为一组具有相同安全性特征维度数目的目标特征值，进而在确定多种安全性特征维度中每种安全性特征维度的权重时，可以提高效率。

进一步地，在基于待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量，得到待检测直播间在每种安全性特征维度下的目标特征值时，可以包括：

基于注意力网络中的池化层，从待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值。

上述注意力网络除了可以包括全连接层和激活函数层外，还可以包括池化层，这里将待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量，输入注意力网络中的池化层后，池化层能够在每个时间段对应的初始直播特征向量中提取每种安全性特征维度下的目标特征值，比如待检测直播间在每个时间段对应的初始直播特征向量均包含132维度的特征值，经过池化层处理后，则可以得到每个维度下的目标特征值，比如这里可以得到132个维度下的目标特征值。

然后在将得到的每种安全性特征维度下的目标特征值依次输入注意力网络中的全连接层和激活函数sigmoid层，即可以得到多种安全性特征维度中每种安全性特征维度的权重。

在得到待检测直播间对应的每种安全性特征维度的权重后，即可以对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到该待检测直播间在该时间段对应的调整后的直播特征向量。

本公开实施例中，提出通过提前训练的注意力网络中的池化层来提取每种安全性维度下的目标特征值，按照该方式将待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量输入该池化层即可以得到多个目标特征值，该方式可以提高确定目标特征值的效率。

进一步地，在基于注意力网络中的池化层，从待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值时，包括：

基于注意力网络中的池化层，从待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的最大特征值作为该安全性特征维度下的目标特征值。

本公开实施例中，通过注意力网络中的池化层提出将每种安全性特征维度下的最大特征值，该提取过程只提取最大值，不涉及其它种安全性特征维度，提取过程引入的噪声较少，这样得到的目标特征值在确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重时，较为准确。

另外，还可以基于注意力网络中的池化层，从待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的平均特征值作为该安全性特征维度下的目标特征值。

针对上述s104，在基于待检测直播间在每个时间段对应的调整后的直播特征向量，确定待检测直播间对应的安全性检测结果时，如图2所示，可以包括以下s201～s203：

s201，针对待检测直播间在每个时间段对应的调整后的直播特征向量，将该时间段对应的调整后的直播特征向量中包含的不同安全性特征维度下的特征值进行融合，得到待检测直播间在该时间段对应的第一融合直播特征向量；

s202，基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量；

s203，基于融合直播特征向量，确定待检测直播间对应的安全性检测结果。

这里在得到待检测直播间在每个时间段对应的调整后的直播特征向量后，可以将每个时间段对应的调整后的直播特征向量输入预先训练的神经网络中的全连接层进行处理，得到待检测直播间在该时间段对应的第一融合直播特征向量，这里全连接层可以针对每个时间段对应的调整后的直播特征向量进行融合处理，比如将该时间段对应的多个安全性特征维度下的特征值进行融合，得到该时间段对应的第一融合直播特征向量。

这里在经过全连接层的处理后，待检测直播间在每个时间段对应的第一融合直播特征向量相比该时间段对应的调整后的直播特征向量，包含的特征值可能变多，比如待检测直播间在每个时间段对应的调整后的直播特征向量中包含132个特征值，经过全连接层处理后，得到的该时间段对应的第一融合直播特征向量可以包含256个特征值。

本公开实施例中，针对每个时间段，将与该时间段关联的多个时间段分别对应的调整后的直播特征向量进行融合，得到每个时间段对应的第一融合直播特征向量，在融合过程中，可以结合多个时间段对调整后的直播特征向量中不同维度的特征值进行融合后更新，从而得到更适合对待检测直播间进行安全监控的第一融合直播特征向量。

在得到待检测直播间在每个时间段对应的第一融合直播特征向量后，可以进一步基于待检测直播间在每个时间段对应的第一融合直播特征向量进行融合，得到待检测直播间对应的融合直播特征向量。

当每个时间段为连续多个时间段中的每个时间段时，这里通过对每个时间段对应的第一融合直播特征向量进行融合，来持续对待检测直播间进行安全检测，从能更够更加准确的得到待检测直播间对应的安全检测结果。

进一步地，针对s202，在基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量时，如图3所示，可以包括以下s301～s303：

s301，从多个时间段中的非首个时间段开始，将当前指向时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到待检测直播间在当前指向时间段对应的第二融合直播特征向量；

s302，基于当前时间段对应的第二融合直播特征向量，提取当前时间段对应的记忆直播特征向量，将当前时间段对应的记忆直播特征向量和当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到该待检测直播间在下一个时间段对应的第二融合直播特征向量；

s303，判断下一个时间段是否为多个时间段中的最后一个时间段，若是，将下一个时间段对应的第二融合直播特征向量作为待检测直播间对应的融合直播特征向量，若否，将下一个时间段作为当前时间段，执行确定该检测直播间在当前指向时间段对应的第二融合直播特征向量的步骤。

上述s301～s303的过程为确定待检测直播间对应的融合直播特征向量的过程，在该过程中，引入长短期记忆网络(long-shorttermmemory，lstm)通过预先训练的神经网络中的长短期记忆网络来确定每个待检测直播间对应的融合直播特征向量，针对一个待检测直播间，确定该待检测直播间对应的融合直播特征向量的过程如下：

从连续多个时间段的非首个时间段开始，依次确定当前时间段对应的第二融合直播特征向量，针对当前时间段对应的长短期记忆网络，将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的长短期记忆网络输出记忆直播特征向量进行融合，得到当前时间段对应的第二融合直播特征向量，这里在对当前时间段对应的第一融合直播特征向量和上一个时间段的记忆直播特征向量进行融合时，可以按照预先确定的融合权重对待进行融合的目标特征值进行融合，得到当前时间段对应的第二融合直播特征向量。

接下来可以判断当前时间段是否为连续多个时间段中的最后一个时间段，若这里当前时间段为连续时间段中的最后一个时间段时，直接将该当前时间段对应的第二融合直播特征向量作为该待检测直播间对应的直播特征向量。

在确定当前时间段不是连续时间段中的最后一个时间段时，可以对当前时间段对应的第二融合直播特征向量中的特征值按照预设的重要度分配权重后得到的当前时间段对应的记忆直播特征向量，当前时间段对应的记忆直播特征向量可以输出至下一个时间段对应的长短期记忆网络，用于和下一个时间段对应的第一融合直播特征向量共同确定下一个时间段对应的第二融合直播特征向量，然后执行s303，即判断下一个时间段是否为连续多个时间段中的最后一个时间段的过程。

特别地，针对连续多个时间段中的首个时间段对应的第二融合直播特征向量可以通过该首个时间段对应的第一融合直播特征向量和预设的记忆直播特征向量融合得到。

特别地，这里在将当前时间段对应的第一融合直播特征向量输入该当前时间段对应的长短期记忆网络之前，可以先将第一融合直播特征向量输全连接层，经过全连接层的映射处理后，再输入该当前时间段对应的长短期记忆网络，同样，当前时间段的上一个时间段对应的记忆直播特征向量输入该当前时间段对应的长短期记忆网络时，也可以先将上一个时间段对应的记忆直播特征向量输入全连接层进行处理后，再输入该当前时间段对应的长短期记忆网络。

以上是针对预先训练的神经网络中包含一层长短期记忆网络的情况，当包含两层长短期记忆网络时，每个时间段对应的第二融合直播特征向量会继续输入该时间段对应的下一层的长短期记忆网络，为了便于区分，这里可以将每个时间段对应的第一层长短期记忆网络称为该时间段对应的第一长短期记忆网络，将每个时间段对应的第二层长短期记忆网络称为该时间段对应的第二长短期记忆网络，针对每个时间段对应的第二长短期记忆网络，这里是将该时间段对应的第二融合直播特征向量和该时间段的上一个时间段对应的第二长短期记忆网络输出的记忆直播特征向量进行融合，得到待检测直播间在该时间段对应的第三融合直播特征向量，然后判断该时间段是否为连续多个时间段中的最后一个时间段，若是的话，将该时间段对应的第三融合直播特征向量作为待检测直播间的融合直播特征向量，若不是最后一个时间段，则基于该时间段对应的第三融合直播特征向量，确定该时间段对应的第二长短期记忆网络的记忆直播特征向量，然后将该时间段对应的记忆直播特征向量和该时间段的下一个时间段对应的第二融合直播特征向量进行融合，得到下一个时间段对应的第三融合直播特征向量，该过程与包含一层长短期记忆网络时确定待检测直播间对应的融合直播特征向量的方式相似，在此不进行赘述。

本公开实施例中，通过将当前时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，最终得到连续多个时间段中最后一个时间段对应的第二融合直播特征向量，通过该方式可以对待检测直播间进行持续监控，从而能够更加准确的得到该待检测直播间对应的安全性检测结果。

在得到待检测直播间对应的融合直播特征向量后，即可以基于该融合直播特征向量，确定该待检测直播间对应的安全性检测结果，比如可以按照以下方式来确定安全性检测结果：

将该待检测直播间的融合直播特征向量输入预先训练的神经网络中的重组层进行重组，然后将重组后的结果输入预先训练的神经网络中的全连接层进行映射，然后将映射结果通过sigmoid激活函数进行处理，得到能够表征该待检测直播间的安全性检测结果的分值，该分值通过0～1之间的数值进行表示。

下面结合图4以一种具体实施例对整个过程进行阐述：

该实施例中针对512个待检测直播间同时进行监控，首选获取到512个待检测直播间在10个时间段对应的132个维度的初始直播特征向量，然后将这512个待检测直播间在10个时间段对应的132个维度的初始直播特征向量输入神经网络，经过缺失值填补后，将得到这512个待检测直播间在10个时间段对应的132个维度的初始直播特征向量输入神经网络中的注意力网络，得到每个维度对应的权重，然后基于每个维度对应的权重对512个待检测直播间在10个时间段对应的初始直播特征向量进行调整，得到512个待检测直播间在10个时间段对应的调整后的直播特征向量，然后可以将512个待检测直播间在10个时间段对应的调整后的直播特征向量输入全连接层进行处理后，得到512个待检测直播间在10个时间段对应的第一融合直播特征向量，然后经过两层长短期记忆网络后，得到512个待检测直播间各自对应的融合直播特征向量，然后依次经过重组层、全连接层和sigmoid函数处理后，得到512个待检测直播间对应的表征安全性检测结果的分值。

以上本公开实施例得到的安全性检测结果可以由预先训练的包含注意力网络的神经网络确定；

该神经网络利用了包含多个样本直播间中每个样本直播间在多个时间段中的每个时间段对应的初始直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果训练得到。

如图5所示，为神经网络的训练过程，具体地，该神经网络按照以下方式训练得到，包括s501～s505：

s501，获取基于多种安全性特征维度分别对应的特征提取网络确定的每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量。

这里确定每个样本直播间对应的初始直播特征向量，与上文介绍的确定待检测直播间对应的初始直播特征向量的过程相似，在此不再赘述。

s502，基于每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重。

这里确定每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重与上文介绍的确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重的方式相似，在此不再赘述。

s503，基于每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重，对该样本直播间在每个时间段下的初始直播特征向量进行调整，得到该样本直播间在该时间段对应的调整后的直播特征向量。

这里确定样本直播间在每个时间段对应的调整后的直播特征向量的方式，与上文介绍的确定待检测直播间在每个时间段对应的调整后的直播特征向量的方式相似，在此不再赘述。

s504，基于该样本直播间在每个时间段对应的调整后的直播特征向量，预测该样本直播间对应的安全性检测结果。

这里预测样本直播间对应的安全性检测结果的方式，与上文介绍的确定待检测直播间对应的安全性检测结果的方式相似，在此不再赘述。

s505，基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对神经网络中的网络参数值进行调整。

这里每个样本件对应的实际安全性检测结果可以是预先基于人工检测统计的，这样，通过预测得到的每个样本直播间对应的安全性检测结果，以及该样本直播间被标注的实际安全性检测结果，即可以得到预测结果和实际结果的损失函数，并根据该损失函数对应的损失函数值对神经网络中的网络参数值进行调整，直至损失函数值小于设定阈值或者训练达到设定次数后，即可以得到用于预测待检测直播间对应的安全性检测结果的神经网络。

进一步地，在对上文涉及到的全连接层进行训练时，可以结合dropout层进行训练，比如在全连接层传输数据时，让全连接层的某个神经元的激活值以一定的概率p停止工作，这样可以有效减少全连接层的过拟合现象，使得全连接处的泛化性更强。

本公开实施例中，通过对样本直播间在每个时间段下的初始直播特征向量进行调整，得到该样本直播间在每个时间段对应的调整后的直播特征向量，这样通过对初始直播特征向量进行调整，比如通过增加重要安全性特征维度下的特征值的比重，弱化非重要性特征维度下的特征值的比重，从而在能够更加准确的预测得到该样本直播间对应的安全性检测结果，然后通过预测的安全性检测结果和样本直播间的实际安全性检测结果对神经网络进行调整，从而得到准确度较高的对待检测直播间进行安全性检测的神经网络。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与安全检测方法对应的安全检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述安全检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图6所示，为本公开实施例提供的一种安全检测装置600的示意图，该安全检测装置600包括：获取模块601、第一确定模块602、调整模块603和第二确定模块604。

其中，获取模块601，用于获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；

第一确定模块602，用于基于多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；

调整模块603，用于基于每种安全性特征维度的权重，对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到待检测直播间在该时间段对应的调整后的直播特征向量；

第二确定模块604，用于基于待检测直播间在每个时间段对应的调整后的直播特征向量，确定待检测直播间对应的安全性检测结果。

在一种可能的实施方式中，确定待检测直播间对应的安全性检测结果后，第二确定模块604还用于：

若安全性检测结果指示待检测直播间的直播内容不符合预设安全检测条件，将待检测直播间对应的标识和待检测直播间对应的直播内容输出。

在一种可能的实施方式中，获取模块601在用于获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量时，包括：

获取待检测直播间在连续多个时间段中的每个时间段内的直播内容，直播内容包括场景图片和/或音频内容，并基于多种安全性特征维度分别对应的特征提取网络提取直播内容对应的直播内容特征；

将待检测直播间在每个时间段对应的直播内容特征，以及待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到待检测直播间在该时间段下的初始直播特征向量。

在一种可能的实施方式中，在得到待检测直播间在每个时间段下的初始直播特征向量后，获取模块601还用于：

识别待检测直播间在每个时间段对应的初始直播特征向量中的直播内容特征，检测该直播内容特征中是否存在针对至少一种安全性特征维度的缺失值；

在确定存在针对至少一种安全性特征维度的缺失值时，基于待检测直播间在该时间段对应的初始直播特征向量中其它安全性特征维度的特征值对所述至少一种安全性特征维度的缺失值进行填补。

在一种可能的实施方式中，第一确定模块602在用于基于多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重时，包括：

基于待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量，确定待检测直播间在每种安全性特征维度下的目标特征值；

将该待检测直播间在每种安全性特征维度下的目标特征值输入注意力网络中的全连接层和激活函数层，得到待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重。

在一种可能的实施方式中，第一确定模块602在用于基于待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量，得到待检测直播间在每种安全性特征维度下的目标特征值时，包括：

基于注意力网络中的池化层，从待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值。

在一种可能的实施方式中，第一确定模块602在用于基于注意力网络中的池化层，从待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值时，包括：

基于注意力网络中的池化层，从待检测直播间在多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的最大特征值作为该安全性特征维度下的目标特征值。

在一种可能的实施方式中，第二确定模块604在用于基于待检测直播间在每个时间段对应的调整后的直播特征向量，确定待检测直播间对应的安全性检测结果时，包括：

针对待检测直播间在每个时间段对应的调整后的直播特征向量，将该时间段对应的调整后的直播特征向量中包含的不同安全性特征维度下的特征值进行融合，得到待检测直播间在该时间段对应的第一融合直播特征向量；

基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量；

基于融合直播特征向量，确定待检测直播间对应的安全性检测结果。

在一种可能的实施方式中，第二确定模块604在用于基于待检测直播间在每个时间段对应的第一融合直播特征向量，确定待检测直播间对应的融合直播特征向量时，包括：

从多个时间段中的非首个时间段开始，将当前指向时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到待检测直播间在当前指向时间段对应的第二融合直播特征向量；

基于当前时间段对应的第二融合直播特征向量，提取当前时间段对应的记忆直播特征向量，将当前时间段对应的记忆直播特征向量和当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到该待检测直播间在下一个时间段对应的第二融合直播特征向量；

判断下一个时间段是否为多个时间段中的最后一个时间段，若是，将下一个时间段对应的第二融合直播特征向量作为待检测直播间对应的融合直播特征向量，若否，将下一个时间段作为当前时间段，执行确定该检测直播间在当前指向时间段对应的第二融合直播特征向量的步骤。

在一种可能的实施方式中，安全监测装置还包括网络训练模块605，网络训练模块用于训练确定安全性检测结果的神经网络，神经网络包含注意力网络；

神经网络利用了包含多个样本直播间中每个样本直播间在多个时间段中的每个时间段对应的初始直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果训练得到。

在一种可能的实施方式中，网络训练模块605用于按照以下方式训练神经网络：

获取基于多种安全性特征维度分别对应的特征提取网络确定的每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量；

基于每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重；

基于每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重，对该样本直播间在每个时间段下的初始直播特征向量进行调整，得到该样本直播间在该时间段对应的调整后的直播特征向量；

基于该样本直播间在每个时间段对应的调整后的直播特征向量，预测该样本直播间对应的安全性检测结果；

基于预测的每个样本直播间对应的安全性检测结果以及该样本直播间对应的实际安全性检测结果，对神经网络中的网络参数值进行调整。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图1中的安全检测方法，本公开实施例还提供了一种电子设备700，如图7所示，为本公开实施例提供的电子设备700结构示意图，包括：

处理器71、存储器72、和总线73；存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当电子设备700运行时，处理器71与存储器72之间通过总线73通信，使得处理器71在执行以下指令：获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；基于多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；基于每种安全性特征维度的权重，对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到待检测直播间在该时间段对应的调整后的直播特征向量；基于待检测直播间在每个时间段对应的调整后的直播特征向量，确定待检测直播间对应的安全性检测结果。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的安全检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的安全检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的安全检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(softwaredevelopmentkit，sdk)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。