审核数据处理方法、装置、电子设备及存储介质与流程

本申请涉及信息技术领域，更具体地，涉及一种审核数据处理方法、装置、电子设备及存储介质。

背景技术：

随着信息技术的不断发展，多媒体直播以其形式新颖、内容丰富受到人们的广泛关注，例如一场直播就可以带来百万流量，使得信息的传播速度高到难以估量。但是目前不少多媒体直播掺杂着违规内容，例如色情、暴力等内容，这些违规内容扰乱了人们的正常生活。为了减少违规内容的传播，就需要及时发现并遏制违规内容的传播。

多媒体直播的来源广泛、数量庞大等特殊性也给监管带来较大难度。为了对大量的多媒体直播实现有效的监管，各平台需要自觉审核平台内发布的多媒体直播，及时发现违规内容并遏制传播，但是目前尚且没有很好的方法可以控制违规时效，导致审核质量难以提高。

技术实现要素：

鉴于上述问题，本申请提出了一种审核数据处理方法、装置、电子设备及存储介质，可以保证及时审核，提高审核效率和审核质量。

第一方面，本申请实施例提供了一种审核数据处理方法，应用于内容审核系统，所述内容审核系统包括服务器以及审核终端，所述审核终端用于运行多媒体直播审核系统的客户端，所述服务器中存储有审核数据分发队列，所述审核数据分发队列用于向所述审核终端分发所述待审核数据，该方法包括：检测当前审核页面在预设时间段内是否存在触发动作，当前审核页面为客户端当前显示的审核页面，用于加载待审核数据；在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据；将待审核数据重新添加至审核数据分发队列，以使服务器重新分发待审核数据。

第二方面，本申请实施例提供了一种审核数据处理装置，应用于内容审核系统，所述内容审核系统包括服务器以及审核终端，所述审核终端用于运行多媒体直播审核系统的客户端，所述服务器中存储有审核数据分发队列，所述审核数据分发队列用于向所述审核终端分发所述待审核数据，所述装置包括：检测模块，用于检测当前审核页面在预设时间段内是否存在触发动作，当前审核页面为客户端当前显示的审核页面，用于加载待审核数据；获取模块，用于在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据；处理模块，用于将待审核数据重新添加至审核数据分发队列，以使服务器重新分发待审核数据。

第三方面，本申请实施例提供了一种电子设备，其包括：存储器；一个或多个处理器，与存储器耦接；一个或多个程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如上述第一方面所述的方法。

本申请实施例提供的审核数据处理方法、装置、电子设备及存储介质，通过检测当前审核页面在预设时间段内是否存在触发动作，其中当前审核页面用于加载待审核数据，然后在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据，并将待审核数据重新添加至审核数据分发队列。如此，通过检测审核页面超时无操作时，将超时数据退回审核数据分发队列，使得超时数据可以分发给其他审核人员进行审核，从而提高审核效率和审核质量，保证及时审核，不因审核人员超时无操作导致无法及时阻断违规内容的传播，同时还可以监控审核员注意力情况，方便管理人员监督审核人员的审核状态以及管控审核质量。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种内容审核系统的应用环境示意图；

图2示出了一种适用于本申请实施例的审核逻辑的流程示意图；

图3示出了本申请一个实施例提供的审核数据处理方法的流程示意图；

图4示出了本申请另一个实施例提供的审核数据处理方法的流程示意图；

图5示出了本申请另一个实施例提供的将待审核数据添加至审核数据分发队列的示意图；

图6示出了本申请一个实施例提供的审核数据处理装置的模块框图；

图7示出了本申请实施例用于执行根据本申请实施例的审核数据处理方法的电子设备的结构框图；

图8示出了本申请实施例的用于保存或者携带实现根据本申请实施例的审核数据处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处描述的具体实施例仅用于解释本申请，并不用于限定本申请。

目前多媒体直播愈发多元化，且直播门槛逐渐降低，越来越多的用户可以成为主播，通过多媒体直播向外输出并实现自我表达。随着直播内容的不断丰富，直播用户的不断增加，对多媒体直播的审核监管工作带来了越来越大的挑战。为了对大量的多媒体直播实现有效的监管，直播平台引入了机器审核以提高审核效率，但是目前的机器审核只能进行简单的甄别和筛选，而如果要对违规内容实现更加准确的审核和判别，仍需要足够多的、训练有素的审核人员来进行二次审核。

现在的人工审核虽然可以比机器审核能判别更复杂的内容，但是人工审核无法像机器审核一般，长时间工作的同时还可以保持近乎一致的审核准确率，所以人工审核需要监督，也就是对于审核人员的审核效率需要监督和管控，才能更好地在利用人工审核提高审核准确度的同时，保证人工审核的审核效率和审核质量。目前管理人员在监控审核人员的审核质量时，往往到第二天才可以根据前一日的数据得知审核人员前一日的审核质量，而无法在审核人员出现离开岗位、注意力转移等问题的时候及时发现并及时提醒。

基于上述问题，发明人在对现有的审核方法进行了一系列研究后发现，目前现有的审核方法无法及时监督审核人员，无法在审核人员审核效率低下或质量不高的时候，及时做出调整以保证审核人员可以及时阻断违规内容的传播。所以如何可以有效地监控审核质量显得愈发重要。

在研究的过程中，发明人研究了目前直播内容审核的困难点，更是综合考虑实际审核的需求，提出了本申请实施例的审核数据处理方法、装置、电子设备及存储介质。

为了更好理解本申请实施例提供的一种审核数据处理方法、装置、电子设备及存储介质，下面先对适用于本申请实施例的直播网络构架和审核逻辑进行描述。

请参阅图1，图1为本申请实施例提供的一种内容审核系统的应用环境示意图。如图1所示，内容审核系统10包括服务器100以及终端200，客户端安装于终端200中，多个终端200和服务器100位于无线网络或有线网络中，多个终端200和服务器100可以进行数据交互。进一步地，多个终端200之间可以相互通过互联网进行通信连接，也可以将服务器100作为传输中介，并通过互联网来进行相互间的通信连接。

其中，终端200可以包括但不限于笔记本电脑、台式电脑、平板电脑、智能手机、可穿戴电子设备等电子设备。

在一些实施例中，客户端安装于终端200内，例如，可以是安装在终端200的应用程序。用户在客户端通过帐号登录，则该帐号对应的所有信息可以存储在服务器100的存储空间内。其中，服务器100可以是单独的服务器，也可以是服务器集群，可以是本地服务器，也可以是云端服务器，在此不作限定。

在一些实施方式中，客户端可以是多媒体直播审核系统，多媒体直播审核系统可以用于审核图片、直播、小视频等形式的数据是否安全，即可以用于图片审核、直播审核以及小视频审核。进一步地，终端200可以包括审核人员对应的审核终端以及管理人员对应的管理终端，审核终端用于运行审核客户端，管理终端用于运行管理客户端。审核人员在审核客户端登录审核帐号，管理人员在管理客户端登录管理员帐号。不同的审核人员对应不同的审核帐号。审核人员通过审核客户端对待审核数据进行审核，并根据审核得到的审核结果提交处罚结果，处罚结果存储于服务器100。管理人员在管理终端登录管理员帐号，不同的管理人员对应不同的管理员帐号，管理人员通过管理终端可以对审核终端的审核工作进行监控。

进一步地，请参阅图2，图2为适用于本申请实施例的一种审核逻辑的流程示意图。多媒体直播审核系统中可采用如图2所示的审核逻辑，如图2所示，多媒体直播审核系统可以用于审核图片、直播、小视频等形式的数据是否安全，多媒体直播审核系统可以用于图片审核、直播审核以及小视频审核。

多媒体直播审核系统包括机器审核和人工审核，在一些实施例中，数据可以先通过机器审核，在机器审核阶段利用图像识别以及数据分析，对数据进行初步判断，判断数据是否安全。经过判断，将安全的数据存储归档，并将不安全的数据作为待审核数据存储于审核数据分发队列中，用于分发给人工审核，在一些实施方式中，审核数据分发队列存储于服务器100。

在一些实施方式中，服务器100根据审核数据分发队列将待审核数据分别分发至多个审核人员对应的审核帐号下，审核人员可以通过在多媒体直播审核系统中登录审核帐号，获取该审核帐号对应的待审核数据进行审核。

其中，审核数据分发队列中包括至少一个待审核数据，作为一种方式，待审核数据至少包括图片、直播截图和小视频截图中的一种。审核数据分发队列中的待审核数据将进入人工审核，具体的，人工审核由多个审核人员通过审核客户端对待审核数据进行审核。

进一步地，人工审核包括人工一审和人工二审，其中人工一审包括不经过机器审核的海量一审和经过机器审核的高危审核。需要说明的是，针对不同形式的数据进行的审核可以对应不同的审核模式，例如针对图片审核的海量一审对应图片一审模式，针对直播审核的海量一审对应直播一审模式，针对小视频审核的海量一审对应小视频一审模式。

具体的，以直播审核为例，针对直播形式的待审核数据如直播截图进行的人工一审包括直播一审以及高危审核，其中，在直播一审模式下，审核人员审核的是通过实时切图得到的未经过机器审核的海量直播截图，在本申请实施例中，直播一审模式即为人工海量直播审核模式，审核人员在人工海量直播审核模式下从海量直播截图中发现违规或者疑似违规，提交给人工二审；另外通过实时切图得到的海量直播截图也可经过机器审核，经机器审核初步判断为不安全的直播截图将进入高危审核，并由审核人员在高危审核模式下，从机器判断为不安全的直播截图中发现违规或疑似违规，提交给人工二审。

需要说明的是，在人工一审阶段，可以根据审核规则从海量待审核数据中发现违规或者疑似违规，提交给人工二审；在人工二审阶段，可以根据审核规则审核待审核数据，并快速作出判断，选择合理的处理方式。其中，审核规则是审核人员对待审核数据进行违规判断的依据，作为一种方式，审核人员可以根据审核规则，确定待审核数据的违规类型，例如色情、暴力等。

进一步地，将经人工审核判断为违规的违规直播所对应主播帐号进行处罚，处罚可以包括但不限于封号、罚款等，处罚结果存储于服务器100。

需要说明的是，本申请实施例提供的审核逻辑及审核逻辑的流程示意图仅为方便理解，而本申请实施例可以适用多种审核逻辑，故上述审核逻辑及审核逻辑的流程示意图不对本方案构成限定。

下面将通过具体实施例对本申请实施例提供的审核数据处理方法、装置、电子设备及存储介质进行详细说明。

请参阅图3，本申请实施例提供了一种审核数据处理方法，可应用于上述审核终端。下面将针对图3所示的流程进行详细的阐述，上述的审核数据处理方法具体地可以包括以下步骤：

步骤s310：检测当前审核页面在预设时间段内是否存在触发动作。

本实施例中，当前审核页面用于加载待审核数据，其中，待审核数据可以是图片、视频、音频等多媒体数据，视频可以是直播、小视频等。作为一种方式，待审核数据至少包括图片和视频截图的一种。一个审核帐号可以对应多个待审核数据，具体的，一个待审核数据对应一个数据id，例如一张图片对应一个数据id。

当前审核页面加载的待审核数据至少包括在当前审核页面上显示的已加载待审核数据，在一些实施方式中，当前审核页面加载的待审核数据还可以包括在当前审核页面上未显示的预加载待审核数据。

可以理解的是，预加载待审核数据是预先加载，但在当前审核页面中尚未显示，在当前审核页面中显示的待审核数据均处理完成后，该预加载待审核数据将显示于当前审核页面。使得审核人员在审核完当前审核页面上显示的已加载待审核数据后，即可获取其余未显示的预加载待审核数据进行审核，并继续加载新的待审核数据。从而可以有效解决审核人员切换当前审核页面的延迟问题，减少等待时间，进而提高审核体验和审核效率。

其中，当前审核页面可以是在上述图1中的审核终端上在客户端显示的审核页面，在一些实施方式中，客户端可以是多媒体直播审核系统，当前审核页面对应一个审核帐号。触发动作可以包括在当前审核页面上任何点击、滑动等动作，触发动作可以通过鼠标、触控笔、键盘等电子设备或手指来产生，例如利用鼠标在当前审核页面进行点击，利用触控笔在审核终端的屏幕上进行触碰或按压，通过按压键盘上的按键进行触发等，在此不对触发动作的形式作限定。

预设时间段可以是30s、180s、5min、30min等，预设时间段可以是系统预设的，也可以是用户自定义设置的。可以理解的是，预设时间段可以根据实际使用需求进行设置，例如作为一种方式，在对判别难度较低的数据进行审核时，可以设置较短的预设时间段例如60s，使得可以有效督促审核人员保持审核速度；作为另一种方式，在对判别难度较高的数据进行审核时，可以设置较长的预设时间段例如180s，使得可以兼顾审核效果的同时，保持审核速度，有效提高审核效率。检测当前审核页面在预设时间段内是否存在触发动作，也就是检测当前审核页面是否超时无操作，例如预设时间段为180s，可以检测当前审核页面在180s内是否存在触发动作，从而获知当前审核页面是否超过180s无操作，有利于管理人员判断当前审核页面对应的审核帐号所对应的审核人员是否出现离岗、忘记关闭当前审核页面或审核注意力转移的情况例如打瞌睡，进而使得管理人员可以监督审核人员，及时处理。

在一些实施方式中，当前审核页面在上述图1中的审核终端显示，审核终端显示当前审核页面之外，还可以显示其他页面，当点击或滑动等动作是发生于非当前审核页面上，也就是发生在审核终端上当前审核页面之外的其他位置时，此时当前审核页面不存在触发动作。例如，用户在审核终端上同时打开了当前审核页面和视频播放页面，视频播放页面中正在播放电影，当用户在预设时间段如180s内仅在视频播放页面上通过点击调整了视频播放进度，但未在当前审核页面上触发任何动作，此时检测当前审核页面在预设时间段内不存在触发动作。从而通过仅检测当前审核页面的触发动作，可以有效检测审核人员在审核过程中注意力转移等效率不高的情况，方便管理人员对审核人员进行监督，有助于提高审核人员审核的专注度，进而提高审核效率。

步骤s320：在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据。

其中，当前审核页面加载的待审核数据至少包括在当前审核页面上显示的已加载待审核数据，在一些实施方式中，待审核数据包括在当前审核页面上显示的已加载待审核数据以及当前审核页面未显示的预加载待审核数据。

具体的，预加载待审核数据是当前审核页面上未显示的待审核数据，每次从审核数据分发队列请求待审核数据时，可以先存储于后台，并在当前审核页面上显示的已加载待审核数据审核完成后，预加载待审核数据才显示于当前审核页面上以供审核人员审核。使得审核人员在审核完当前审核页面上显示的待审核数据后，即可获取其余未显示的部分待审核数据进行审核。从而有效解决审核人员切换当前审核页面、请求新的待审核数据时的延迟问题，减少等待时间，进而提高审核体验和审核效率。

可以理解的是，在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据，其中获取的待审核数据至少包括在当前审核页面上显示的已加载待审核数据。在一些实施方式中，获取的待审核数据还可以包括在当前审核页面上未显示的预加载待审核数据。从而可以对预加载待审核数据与已加载待审核数据一并处理，例如可以一并退回审核数据分发队列，等待重新审核，从而在利用预加载待审核数据提升数据请求效率的同时，可以有效地管控当前审核页面对应的审核人员当前正在审核的待审核数据，使得当前审核页面加载的待审核数据都可以一并退回审核数据分发队列，进而可以被其他审核人员及时审核，及时阻断违规内容的传播。

在一种实施方式中，获取当前审核页面加载的待审核数据，其中，当前审核页面已加载的待审核数据可以包括当前审核页面上已提交审核结果的数据以及未提交审核结果的数据。例如，当前审核页面加载有图片a1、图片a2以及图片a3，其中图片a1已经审核过并且已提交审核结果为“色情”，图片a2以及图片a3尚未审核且未提交审核结果，此时获取图片a1、图片a2以及图片a3。

具体的，通过获取当前审核页面中当前审核页面上已提交审核结果的数据，使得可以对当前审核页面加载的所有待审核数据进行统一操作，例如将当前审核页面加载的所有待审核数据均退回审核数据分发队列，从而保证当前审核页面的审核质量，避免审核人员在当前审核页面出现超时无操作的原因影响当前审核页面加载的待审核数据的违规判断。例如审核人员因打瞌睡而超时无操作，打瞌睡引起的注意力不集中的问题很可能直接影响审核的准确性，因此在当前审核页面在预设时间段内不存在触发动作时，将当前审核页面加载的所有待审核数据均退回审核数据分发队列等待重新审核，可以有效保证审核质量。

在另一种实施方式中，获取当前审核页面加载的待审核数据，其中，当前审核页面加载的待审核数据不包括当前审核页面上已提交审核结果的数据，也就是当前审核页面上已提交审核结果的数据作为已审核数据，在当前审核页面在预设时间段内不存在触发动作时，不退回审核数据分发队列等待重新审核，仅将未提交审核结果的数据退回审核数据分发队列。例如，当前审核页面加载有图片a1、图片a2以及图片a3，其中图片a1已经审核过并且已提交审核结果为“色情”，图片a2以及图片a3尚未审核且未提交审核结果，此时仅获取图片a2以及图片a3，不获取已经审核过的图片a1。可以减少获取的数据量，避免对同一待审核数据进行反复审核，从而可以提高审核效率。

步骤s330：将待审核数据重新添加至审核数据分发队列。

在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据，并将待审核数据重新添加至审核数据分发队列，使得待审核数据可以被分发给其他审核人员进行审核，避免因为当前审核人员的审核效率低下、注意力不集中等原因导致审核不及时，无法及时阻断违规内容的传播，对社会和用户造成不良影响。

其中，审核数据分发队列包括至少一个待审核数据，待审核数据可以是图片、视频、音频等形式的数据，作为一种方式，待审核数据至少包括图片和视频截图中的一种。具体的，在一些实施方式中，审核数据分发队列可以存储于服务器，用户如审核人员可以向服务器请求待审核数据，也就是从审核数据分发队列请求待审核数据，以从审核数据分发队列中获取多个待审核数据。

在一种实施方式中，可以手动请求待审核数据，从而从审核数据分发队列中获取多个待审核数据，例如，当前审核页面中存在一个触发按键如“请求数据”，用户通过点击该触发按键可以向服务器发起请求，从审核数据分发队列中获取多个待审核数据。再如，可以预先设置快捷键如“空格(space)”，在当前审核页面处于前台运行状态时，通过触压键盘上的“空格(space)”键，触发数据请求，向服务器请求待审核数据。可以理解的是，用户可以手动向审核数据分发队列请求待审核数据，方便审核人员随时发起数据请求，并且手动触发的方式可以是系统预设的，也可以是用户自定义设置的。

在另一种实施方式中，可以自动请求待审核数据，具体的，在当前审核页面审核提交的待审核数据的数量达到预设阈值时，例如，在当前审核页面加载的待审核数据均已提交审核时，可以自动触发数据请求，向服务器请求新的待审核数据，并从审核数据分发队列中获取新的待审核数据。使得审核人员无需手动获取待审核数据，可以减少操作流程，提高审核效率。再如，在当前审核页面上显示的已加载待审核数据均已提交审核时，可以自动触发数据请求，从审核数据分发队列中获取新的待审核数据。

另外，在当前审核页面的待审核数据未审核完成时，也可以请求新的待审核数据，从而可以在后台提前加载好部分待审核数据，并在审核人员审核完当前审核页面加载的待审核数据时，可以迅速将提前加载好的这部分待审核数据显示在新的当前审核页面上供审核人员审核，从而有效解决审核人员切换当前审核页面的延迟问题，减少等待时间，进而提高审核体验和审核效率。

其中，当前审核页面加载有待审核数据，待审核数据至少包括在当前审核页面上显示的已加载待审核数据，在一些实施方式中，待审核数据还可以包括在当前审核页面上未显示的预加载待审核数据。

具体的例如，当前审核页面加载有待审核数据，待审核数据包括在当前审核页面上显示的已加载待审核数据以及在当前审核页面上未显示的预加载待审核数据，其中，当前审核页面显示2张已加载待审核的图片，同时还加载有未显示的2张预加载待审核的图片。并且其中，当前审核页面显示的2张已加载待审核的图片中包含1张未提交审核结果的图片a以及1张已提交审核结果的图片a’。

在一种实施方式中，在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据包括当前审核页面上已提交审核结果的数据和未提交审核结果的数据。此时将在当前审核页面上显示的图片a、图片a’以及未显示的2张预加载待审核的图片一并重新添加至审核数据分发队列。从而保证当前审核页面的审核质量，避免审核人员在当前审核页面出现超时无操作的原因影响当前审核页面加载的待审核数据的违规判断，因此在当前审核页面在预设时间段内不存在触发动作时，将当前审核页面加载的所有待审核数据均退回审核数据分发队列等待重新审核，可以有效保证审核质量。

在另一种实施方式中，在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据不包括当前审核页面上已提交审核结果的数据，只包括未提交审核结果的数据。此时仅将在当前审核页面上显示的尚未审核过的图片a以及未显示的2张预加载待审核的图片重新添加至审核数据分发队列。不将已审核过的图片a’重新添加至审核数据分发队列，可以避免对同一待审核数据进行反复审核，从而提高审核效率。

本申请实施例提供的审核数据处理方法，通过检测当前审核页面在预设时间段内是否存在触发动作，然后在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据，并将待审核数据重新添加至审核数据分发队列。如此，通过检测审核页面超时无操作时，将超时数据退回审核数据分发队列，使得超时数据可以分发给其他审核人员进行审核，从而提高审核效率和审核质量，保证及时审核，不因审核人员超时无操作导致无法及时阻断违规内容的传播，同时还可以监控审核员注意力情况，方便管理人员监督审核人员以及管控审核的流程和质量。

请参阅图4，本申请另一实施例提供了一种审核数据处理方法，可应用于上述审核终端。下面将针对图4所示的流程进行详细的阐述，上述的审核数据处理方法具体地可以包括以下步骤：

步骤s410：检测当前审核页面在预设时间段内是否存在触发动作。

其中，步骤s410的具体描述可以参考上述实施例中步骤s310，故在此不再赘述。

进一步地，在步骤s410之后，可以执行步骤s420，也可以执行步骤s450、步骤s480以及步骤s490的任一步骤或三个步骤的任意两两组合或三个步骤均执行。

步骤s420：在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据。

其中，步骤s420的具体描述可以参考上述实施例中步骤s320，故在此不再赘述。

本实施例中，步骤s420之后可以判断当前审核模式是否为人工海量直播审核模式，在当前审核模式不为人工海量审核模式时，执行步骤s430，在当前审核模式为人工海量审核模式时，执行步骤s440。其中，人工海量直播模式对应上述直播审核中的直播一审，具体描述可参考后述实施例，在此不作赘述。

步骤s430：将待审核数据添加至审核数据分发队列的首位。

在将待审核数据重新添加至审核数据分发队列时，将待审核数据添加至审核数据分发队列的首位。其中待审核数据包括在当前审核页面上显示的已加载待审核数据以及当前审核页面未显示的预加载待审核数据。

具体的，按照待审核数据在取出前在审核数据分发队列中排列的顺序进行添加，具体的，请参阅图5，例如待审核数据包括在当前审核页面上显示的已加载待审核数据如图片f1和图片f2，以及当前审核页面上未显示的预加载待审核数据如图片b1和b2，在当前审核页面在预设时间段内不存在触发动作时，获取待审核数据，并将待审核数据重新添加至审核数据分发队列p，得到新的审核数据分发队列p’，在新的审核数据分发队列p’中从先至后排序为图片f1、图片f2、图片b1、图片b2。也就是在下次请求待审核数据时，可以优先获取图片f1、图片f2、图片b1、图片b2。

在一些实施方式中，当前审核页面上显示的已加载待审核数据可以包括当前审核页面上已提交审核结果的数据以及未提交审核结果的数据。

具体的例如，当前审核页面显示2张已加载待审核的图片，同时还加载有未显示的2张预加载待审核的图片。并且其中，当前审核页面显示的2张已加载待审核的图片中包含1张未提交审核结果的图片a以及1张已提交审核结果的图片a’。

在一种实施方式中，在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据包括当前审核页面上已提交审核结果的数据和未提交审核结果的数据。此时将在当前审核页面上显示的图片a、图片a’以及未显示的2张预加载待审核的图片一并重新添加至审核数据分发队列的首位。从而可以避免审核人员在当前审核页面出现超时无操作的原因影响当前审核页面加载的待审核数据的违规判断，通过将当前审核页面加载的所有待审核数据重新添加至审核数据分发队列的首位，可以在有效保证当前审核页面所有待审核数据的审核质量的同时，使得超时页面的待审核数据可以被及时审核。

在另一种实施方式中，在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据不包括当前审核页面上已提交审核结果的数据，只包括未提交审核结果的数据。此时仅将在当前审核页面上显示的尚未审核过的图片a以及未显示的2张预加载待审核的图片重新添加至审核数据分发队列的首位。不将已审核过的图片a’重新添加至审核数据分发队列，可以避免对同一待审核数据进行反复审核，提高审核效率的同时，使得超时未提交审核结果的数据可以被及时审核，从而及时阻断违规内容的传播，提高审核质量。

在一个具体的应用场景中，审核人员u1可能因审核期间打瞌睡，而在当前审核页面上超时无操作，此时获取待审核数据并添加至审核数据分发队列的首位，使得下次获取待审核数据的审核人员u2可以优先获取审核人员u1超时无操作的当前审核页面加载的待审核数据进行审核，使得待审核数据可以被及时审核进而及时阻断违规内容的传播，而不因审核人员u1的超时无操作影响审核效率进而对社会和用户造成不良影响。并且审核人员u1超时无操作的原因可能影响待审核数据的审核质量，管理人员可以提醒审核人员u1或停止向审核人员u1分发待审核数据，从而避免可能出现的大量返工，确保审核质量。

步骤s440：释放待审核数据。

在当前审核模式为人工海量直播审核模式时，释放待审核数据，使得释放的待审核数据不重新添加至审核数据分发队列，从而不重新分发，可以降低系统存储压力，节约计算资源。

进一步地，由于在直播审核中是对实时从海量直播中获取的直播截图进行审核，并且直播一审中审核人员审核的是当前正在直播的海量直播中最新的直播截图，也就是直播一审是实时对当前直播进行审核，一个直播间在直播结束前会不断有新的直播截图进入直播一审。

可以理解的是，直播一审具有很强的时效性，审核已过时的直播截图会使得审核人员无法及时审核海量直播中最新的直播截图，导致审核人员对于不断进入直播一审的最新的直播截图无法快速从中发现违规，也就无法及时阻断违规内容的传播。故在人工海量直播审核模式下，当审核人员出现审核超时的情况时，可以直接释放待审核数据，而不必重新分发，使得当前审核人员或其他审核人员可以及时获取该直播间最新的直播截图进行审核，实现对直播的实时审核，有利于及时发现违规，从而在保证审核效率、及时阻断违规内容传播的基础上，可以降低系统存储压力，节约计算资源。

具体的例如，直播间x正在进行直播，系统实时获取直播间x的直播截图进入直播一审，审核人员在直播一审对应的人工海量直播审核模式下，当前审核页面显示有直播间x在时刻t1获取的直播截图1。在当前审核页面不存在触发动作时，释放掉直播截图1，当前审核客户端或其他审核客户端可以在时刻t1之后的时刻t2获取当前时刻最新的直播截图如直播截图3进行审核，实现实时审核，有利于及时发现违规，并且使得超时未审核的直播截图1不重新添加至审核数据分发队列进行重新分发，节约计算资源。

进一步地，进入直播一审的待审核数据还会通过机器审核，经机器审核判断为不安全的待审核数据将进入高危审核，从而结合高危审核与直播一审，可以大大降低直播审核过程中的漏检率，使得直播的违规内容可以被及时发现，从而能够及时阻断直播中违规内容的传播，提高用户观看体验。

本实施例中，步骤s410之后，在当前审核页面在预设时间段内不存在触发动作时，可以执行步骤s450，也可以执行步骤s480，还可以执行步骤s490。可以只执行步骤s450、步骤s480以及步骤s490之间的一个步骤，也可以前述三个步骤的任意两两组合，还可以三个步骤均执行，并且本实施例对三个步骤或任意两两组合的步骤之间的执行顺序不作限定。

在当前审核页面在预设时间段内不存在触发动作时，可以执行步骤s450至步骤s470。

步骤s450：在当前审核页面在预设时间段内不存在触发动作时，记录检测结果。

其中，检测结果至少包括检测到当前审核页面最后一次触发动作的时间以及当前审核页面对应的审核员工号。具体的，审核员工号与审核帐号一一对应，审核员工号可以审核帐号，也可以是审核帐号之外的其他符号，可以理解的是，通过审核员工号可以对应具体的审核人员，一个审核人员对应一个审核员工号。

需要说明的是，每次检测到一个触发动作m1后，则重新开始计时，并检测在预设时间段内是否存在下一个触发动作m2，当在预设时间段内存在下一个触发动作m2时，以该下一个触发动作m2的时间为起点，检测预设时间段内是否存在再下一个触发动作m3；而当在预设时间段内不存在下一个触发动作m2时，记录触发动作m1产生的时间以及当前审核页面对应的审核员工号。使得当前审核页面超时无操作的检测结果可以被记录，从而方便管理人员管控审核人员，一方面及时提醒审核人员，另一方面可以调整审核数据的分发，以保证审核效率和审核质量，还可以方便管理人员对审核人员的审核工作进行考核和评价，进而可以提高整个审核团队的审核效率和审核质量。

在一些实施方式中，审核终端记录检测结果后，可以将记录的检测结果发送至服务器，使得管理人员可以向服务器请求检测结果，也可以将记录的检测结果直接发送至管理终端，使得管理人员可以实时获取审核人员的审核情况，及时发现问题并作出提醒或调整，从而保证审核效率和审核质量。

步骤s460：根据检测结果，累计超时次数。

其中，根据检测结果，可以累计检测到当前审核页面最后一次触发动作的时间的次数，根据次数，得到当前审核页面的超时次数，从而可以获知当前审核页面对应的审核员工号对应的审核人员的超时次数，有利于对审核人员的审核状态和审核能力进行评价。例如可以认为超时次数多的审核人员的审核状态较差，或审核能力较低。

步骤s470：根据超时次数，设置与审核员工号对应的积分值。

其中，超时次数可以作为设置积分值的一个积分项，从而根据超时次数的多少，可以对审核人员的审核状态或审核能力进行评价。需要说明的是，一个审核人员对应一个审核员工号，从而根据审核员工号对应的积分值可以得到相应的审核人员的积分值。

作为一种实施方式，每个审核工号对应的积分值均对应有一个相同的初始值如100，随着超时次数的不断增加，可以降低积分值，例如超时次数为1时，降低1个积分值，得到当前积分值为99，超时次数为2时，得到当前积分值为98，以此不断降低审核员工号对应的积分值，使得超时次数越多，可以设置与审核员工号对应的积分值越低，从而通过累计超时次数，可以对审核人员的审核能力进行评价。

可以理解的是，超时可能是由于审核人员打瞌睡或离开岗位造成的，此时累计超时次数多，设置积分值低，可以认为审核人员频繁离开岗位或频繁注意力不集中，即审核状态较差，从而通过超时次数，可以对审核人员的审核状态进行评价，使得管理人员可以对积分值低的审核人员作出相应处罚，从而提高审核团队的审核质量。另外，超时也可能是由于审核人员对业务熟练度不高，对当前审核页面加载的待审核数据的审核速度无法达到要求，导致审核超时，此时可以通过积分值对审核人员的审核能力进行评价，例如积分值越高，审核能力越强，根据积分值可以方便管理人员后期对审核人员针对性的培训，进一步提高审核人员的审核能力。

进一步地，在一些实施方式中，还可以通过检测到当前审核页面最后一次触发动作的时间与检测到下一次触发动作的时间，得到当前审核页面一次超时的超时时长，进而可以将超时时长也作为一个积分项，用于设置与审核员工号对应的积分值。具体的，超时时长越长可以设置审核员工号对应的积分值越低，使得管理人员可以根据积分值的高低获知审核人员的离岗时间，并且方便管理人员根据离岗时间对审核人员作出相应处罚，从而有利于提高整个审核团队的审核质量。

在当前审核页面在预设时间段内不存在触发动作时，可以执行步骤s480。

步骤s480：在当前审核页面在预设时间段内不存在触发动作时，退出当前审核页面。

在当前审核页面在预设时间段内不存在触发动作时，退出当前审核页面，使得当前审核页面加载的待审核数据不显示于审核客户端，此时其他用户无法从审核终端中获知当前审核人员正在审核的待审核数据。具体的，退出当前审核页面，将断开审核终端与服务器的交互访问，可以保证待审核数据的数据安全，防止数据泄露。

在一些实施方式中，在当前审核页面在预设时间段内不存在触发动作时，退出当前审核页面，并获取待审核数据并将待审核数据添加至审核数据分发队列的首位，使得在当前审核页面超时无操作时，可以将当前审核页面加载的待审核数据退回至审核数据分发队列，并退出当前审核页面，一方面可以使得超时未审核的待审核数据可以及时被审核，另一方面退出当前审核页面可以保证当前审核页面对应的审核帐号下的数据安全，防止数据泄露。

在当前审核页面在预设时间段内不存在触发动作时，可以执行步骤s490。

步骤s490：在当前审核页面在预设时间段内不存在触发动作时，生成提示信息。

其中，提示信息用于提示当前审核页面已超时无操作。具体的，在当前审核页面在预设时间段内不存在触发动作时，可以在当前审核页面上弹出一个窗口进行提示，也可以在当前审核页面之外的其他页面上生成提示信息。

在一些实施方式中，在当前审核页面在预设时间段内不存在触发动作时，生成提示信息并退出当前审核页面。具体的例如，预设时间段为180s，在当前审核页面在180s内不存在触发动作时，退出当前审核页面，并生成提示信息“您超过180秒没有操作，已自动退出审核”。从而避免因为审核人员离岗、注意力转移或忘记退出当前审核页面等原因造成待审核数据无法被及时审核，使得超时无操作时，可以将待审核数据及时退回审核数据分发队列，使得其他审核人员可以获取该待审核数据进行审核，从而在保证审核效率的同时，可以及时阻断违规内容的传播。

进一步地，针对不同形式的待审核数据，可以根据不同的场景需求设置不同的预设时间段。其中，待审核数据可以是图片、直播、小视频等形式的待审核数据，对应的审核分别为图片审核、直播审核以及小视频审核。

具体的例如，在图片审核时，可以设置180s的预设时间段，并检测当前审核页面在180s内是否存在翻页、提交、点击等任何操作，若无，则可判断当前审核页面超时无操作，弹窗提醒“审核超时，请重新登陆审核”，并将超时的待审核数据重新添加至审核数据分发队列的首位，记录检测到当前审核页面最后一次触发动作的时间和当前审核页面对应的审核员工号，连同超时的待审核数据的图片标识，发送给服务器存储以便管理人员后续查证，也可以发送给管理终端，使得审核人员可以及时监控审核人员的审核状态，以便作出及时调整和为后期培训提供参考，保证及时阻断违规内容的传播。在一些实施方式中，小视频审核的审核方法与图片审核方法大致相同，在此不再赘述。

再如，在直播审核中的高危审核时，可以设置较短的预设时间段如120s，并检测当前审核页面在120s内是否存在翻页、提交、点击等任何操作，若无，则可判断当前审核页面超时无操作，弹窗提醒“审核超时，请重新登陆审核”，并将超时的待审核数据重新添加至审核数据分发队列的首位，并记录检测结果，连同超时的待审核数据的图片标识，发送给服务器存储以便管理人员后续查证，也可以发送给管理终端，使得审核人员可以及时监控审核人员的审核状态，以便作出及时调整和为后期培训提供参考，保证及时阻断违规内容的传播。通过在高危审核中设置更短的预设时间端，使得高危的直播可以更早地被审核人员处理，使得违规直播可以被更早地阻断传播，减少违规直播在用户观看直播时的显示时间。

进一步地，在一些实施例中，多媒体直播审核系统中还可以自动刷新待审核数据，即根据当前审核页面可显示的待审核数据的数量，自动获取新的待审核数据加载显示在当前审核页面，使得审核人员不必频繁点击获取新的待审核数据，简化审核人员的操作，提高审核流畅性。需要说明的是，通过自动刷新自动获取新的待审核数据显示在当前审核页面时，可以认为当前审核页面存在触发动作，并且在自动刷新过程中不影响审核人员对当前审核页面已加载的待审核数据的审核。从而可以在通过自动刷新使得当前审核页面不可再显示更多待审核数据即刷新满屏后，设置相对前述审核更短的预设时间段如60s，在更短的预设时间段内检测触发动作，保证待审核数据的审核及时性。

具体的，可以通过点击当前审核页面的相应位置开启自动刷新模式，在自动刷新模式下，可以设置较短的预设时间段如60s，即检测在通过刷新使得当前审核页面不可再显示更多待审核数据即刷新满屏后的60s内，当前审核页面是否存在翻页、提交、点击等任何操作，若无，则可判断当前审核页面超时无操作，弹窗提醒，并将超时的待审核数据重新添加至审核数据分发队列的首位，并记录检测结果，连同超时的待审核数据的图片标识，发送给服务器存储以便管理人员后续查证，也可以发送给管理终端，使得审核人员可以及时监控审核人员的审核状态，以便作出及时调整和为后期培训提供参考，保证及时阻断违规内容的传播。从而实现在简化审核操作、提高审核流畅性的同时，方便管理人员监控审核质量。

本实施例提供的审核数据处理方法，通过检测当前审核页面超时无操作，然后获取待审核数据并添加至审核数据分发队列的首位，使得超时无操作的当前审核页面加载的待审核数据可以被优先获取进行审核，从而可以对待审核数据进行及时审核，确保审核效率进而及时阻断违规内容的传播，而不因审核人员的超时无操作影响审核效率进而对社会和用户造成不良影响。通过在人工海量审核模式下释放超时的待审核数据，可以节省计算资源，并且审核人员超时无操作的原因可能影响待审核数据的审核质量，通过生成提示信息并退出当前审核页面，可以提醒审核人员已超时同时保证数据安全，另外通过记录超时检测的结果，可以方便管理人员查询和佐证，使得管理人员可以提醒审核人员或调整审核数据分发策略如停止向审核人员分发待审核数据，从而避免可能出现的大量返工，确保审核质量。

应该理解的是，虽然图3和图4的流程示意图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参阅图6，图6示出了本申请实施例提供的一种审核数据处理装置600的模块框图，所述审核数据处理装置600可应用于上述审核终端。下面将针对图6所示的模块框图进行阐述，所述审核数据处理装置600包括：检测模块610、获取模块620以及处理模块630，其中：

检测模块610，用于检测当前审核页面在预设时间段内是否存在触发动作。

获取模块620，用于在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据。

在一些实施例中，多媒体审核系统的审核模式至少包括人工海量直播审核模式，在获取当前审核页面加载的待审核数据之后，在当前审核模式为人工海量直播审核模式时，释放待审核数据，以使释放的所述待审核数据不重新添加至所述审核数据分发队列。

处理模块630，用于将待审核数据重新添加至审核数据分发队列。

在一些实施例中，在将待审核数据重新添加至审核数据分发队列时，将待审核数据添加至审核数据分发队列的首位。

在一些实施例中，待审核数据包括在当前审核页面上显示的已加载待审核数据和在当前审核页面上未显示的预加载待审核数据。进一步地，已加载待审核数据包括当前审核页面上已提交审核结果的数据以及未提交审核结果的数据。在一些实施方式中，重新添加至审核数据分发队列的待审核数据是未提交审核结果的数据。

进一步地，所述审核数据处理装置600还包括：结果记录模块、超时累计模块、积分设置模块、页面退出模块以及提示生成模块，其中：

结果记录模块，用于在当前审核页面在预设时间段内不存在触发动作时，记录检测结果，检测结果至少包括检测到当前审核页面最后一次触发动作的时间以及当前审核页面对应的审核员工号。

超时累计模块，用于根据检测结果，累计超时次数。

积分设置模块，用于根据超时次数，设置与审核员工号对应的积分值。

页面退出模块，用于在当前审核页面在预设时间段内不存在触发动作时，退出当前审核页面，以使当前审核页面加载的待审核数据不显示于客户端。

提示生成模块，用于在当前审核页面在预设时间段内不存在触发动作时，生成提示信息，其中，提示信息用于提示所述当前审核页面已超时无操作。

本申请实施例提供的审核数据处理装置用于实现前述方法实施例中相应的审核数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参阅前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图7，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备700可以是智能手机、平板电脑、笔记本电脑、台式电脑等能够运行应用程序的电子设备。本申请中的电子设备700可以包括一个或多个如下部件：处理器710、存储器720以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器720中并被配置为由一个或多个处理器710执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器710可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。

存储器720可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备700在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图8，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读取存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读取存储介质800包括非瞬时性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读取存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的审核数据处理方法、装置、电子设备及存储介质，通过检测当前审核页面在预设时间段内是否存在触发动作，其中当前审核页面用于加载待审核数据，然后在当前审核页面在预设时间段内不存在触发动作时，获取当前审核页面加载的待审核数据，并将待审核数据重新添加至审核数据分发队列。如此，通过检测审核页面超时无操作时，将超时数据退回审核数据分发队列，使得超时数据可以分发给其他审核人员进行审核，从而提高审核效率和审核质量，保证及时审核，不因审核人员超时无操作导致无法及时阻断违规内容的传播，同时还可以监控审核员注意力情况，方便管理人员监督审核人员以及管控审核的流程和质量。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。