一种人工审核能力评测方法及装置与流程

本发明涉及计算机，尤其涉及一种人工审核能力评测方法及装置。

背景技术：

1、目前，内容安全的管控模式为依次进行内容管控、策略自动化管控、人审兜底管控。然而，为避开实时策略和算法检测，用户们往往通过创造新词、跨场景拆解风险等方式持续性的恶意对抗。人工审核作为安全防线的最后一个环节，对于变异、隐晦风险判定的重要性不言而喻，也对审核人员的能力提出了更高的要求。然而，行业内通常采用人工质检评价审核人员审核能力的方式，主观性较强，准确性不足。如何客观、精确地评估审核人员对风险知识点的掌握情况、验证标准风控能力，成为亟需解决的问题。

技术实现思路

1、本说明书一个或多个实施例描述了人工审核能力评测方法及装置，能够自动进行风险样本发布，并根据审核人员的审核结果客观、精确地评估审核人员对风险知识点的掌握情况、验证标准风控能力。

2、根据第一方面，提出了一种人工审核能力测评方法，该方法包括：

3、针对获取的每一份风险样本数据，确定该风险样本数据的风险标签；

4、将所述风险样本数据发布给审核人员；

5、获取审核人员对所述风险样本的审核标签；

6、基于所述风险标签和所述审核标签得到对所述审核人员的人工审核能力的评价结果。

7、作为第一方面所述方法的一种可选实施方式，所述基于所述风险标签和所述审核标签得到对所述审核人员的人工审核能力的评价结果，具体包括：执行如下操作中的至少一项：

8、基于所述审核标签与所述风险标签，计算表征审核人员对风险点掌握情况的风险召回率；

9、基于所述审核标签与所述风险标签，计算表征审核人员对每一条风险样本数据的认知是否一致的内容分歧率。

10、进一步的，在本说明书的一些实施方式中，所述计算表征审核人员对风险点掌握情况的风险召回率，具体包括：

11、针对每个审核人员审核的每个风险样本数据的审核标签，判断该审核标签与该风险样本数据对应的风险标签是否一致；

12、基于判断结果为一致的风险样本数据的数量和该审核人员审核的所有风险样本数据的数量，得到所述风险召回率。

13、进一步的，所述计算表征审核人员对每一条风险样本数据的认知是否一致的内容分歧率，具体包括：

14、针对该风险样本数据，判断每个审核人员给出的审核标签与该风险样本数据对应的风险标签是否一致；

15、基于给出正确的审核标签的审核人员人数、给出错误的审核标签的审核人员人数以及审核该风险样本数据的审核人员的总数，得到所述内容分歧率。

16、作为第一方面所述方法的一种可选实施方式，所述将所述风险样本数据发布给审核人员中，具体包括：

17、每次发布风险样本时，随机生成仿真账号，通过所述仿真账号发布所述风险样本；所述仿真账号发布的所述风险样本数据的数据格式与正常数据的数据格式一致。

18、作为第一方面所述方法的一种可选实施方式，所述将所述风险样本数据发布给审核人员，具体包括：

19、针对不同时间段审核人员在线的人数，确定在所述不同时间段内所述风险样本数据的发布数量和发布频率：在线人数更多的时间段，所述风险样本数据的发布数量更多，且所述风险样本数据的发布频率更高。

20、作为第一方面所述方法的一种可选实施方式，所述风险样本数据的来源至少包括以下一项：

21、端内的错题本、端外的友商风险样本、监管情报指令、用户自主上传的样本数据。

22、作为第一方面所述方法的一种可选实施方式，在将所述风险样本数据发布给审核人员之前，还包括：将历史审核结果中无风险的数据作为白样本，用所述白样本稀释所述风险样本数据。

23、根据第二方面，提供了一种人工审核能力评测装置，其中，该装置包括：

24、风险样本构建模块，配置为获取风险样本数据，并确定所述风险样本数据的标签；

25、风险样本发布模块，配置为将所述风险样本数据发布给审核人员；

26、结果统计模块，配置为获取审核人员对所述风险样本的审核标签；并且，基于所述风险标签和所述审核标签得到对所述审核人员的人工审核能力的评价结果。

27、作为第二方面所述装置的一种可选实施方式，所述结果统计模块具体用于执行如下操作中的至少一项，以得到所述评价结果：

28、基于所述审核标签与所述风险标签，计算表征审核人员对风险点掌握情况的风险召回率；

29、基于所述审核标签与所述风险标签，计算表征审核人员对每一条风险样本数据的认知是否一致的内容分歧率。

30、进一步的，所述结果统计模块具体用于针对每个审核人员审核的每个风险样本数据的审核标签，判断该审核标签与该风险样本数据对应的风险标签是否一致；基于判断结果为一致的风险样本数据的数量和该审核人员审核的所有风险样本数据的数量，得到所述风险召回率。

31、进一步的，所述结果统计模块具体用于针对每一条风险样本数据，判断每个审核人员给出的审核标签与该风险样本数据对应的风险标签是否一致；基于给出正确的审核标签的审核人员人数、给出错误的审核标签的审核人员人数以及审核该风险样本数据的审核人员的总数，得到所述内容分歧率。

32、作为第二方面所述装置的一种可选实施方式，所述风险样本发布模块具体用于在每次发布风险样本时，随机生成仿真账号，通过所述仿真账号发布所述风险样本；所述仿真账号发布的所述风险样本数据的数据格式与正常数据的数据格式一致。

33、作为第二方面所述装置的一种可选实施方式，所述风险样本发布模块具体还用于在审核人员在线人数更多的时间段，采用更高的发布频率发布更多的所述风险样本数据。

34、作为第二方面所述装置的一种可选实施方式，所述风险样本发布模块具体还用于将历史审核结果中质检出的审核标签正确的数据作为白样本，用所述白样本稀释所述风险样本数据，将稀释后的风险样本数据进行发布。

35、根据第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

36、根据第四方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，述处理器执行所述计算机程序时实现上述方法。

37、本说明书的一个或多个实施例所提供的人工审核能力评测方法及装置，能够优化风险样本的构建及发布，并基于审核人员的审核结果自动评价审核人员对风险知识点的掌握情况以及验证审核人员的标准风控能力的方案。通过实施该技术方案，可以帮助全方位监督人员审核质量、提供审核人员考培优化方向、助力审理团队规则精细化运营，从而加强审核人员的对抗风险敏锐度、底线风险的扎实认知、人审链路优化。

技术特征：

1.一种人工审核能力评测方法，其中，该方法包括：

2.根据权利要求1所述的方法，所述基于所述风险标签和所述审核标签得到对所述审核人员的人工审核能力的评价结果，具体包括：

3.根据权利要求2所述的方法，其中，所述计算表征审核人员对风险点掌握情况的风险召回率，具体包括：

4.根据权利要求2所述的方法，其中，所述计算表征审核人员对每一条风险样本数据的认知是否一致的内容分歧率，具体包括：

5.根据权利要求1所述的方法，所述将所述风险样本数据发布给审核人员，具体包括：

6.根据权利要求1所述的方法，所述将所述风险样本数据发布给审核人员，具体包括：

7.根据权利要求1所述的方法，其中，所述风险样本数据的来源至少包括以下一项：

8.根据权利要求1所述的方法，其中，在将所述风险样本数据发布给审核人员之前，还包括：

9.一种人工审核能力评测装置，其中，该装置包括：

10.根据权利要求9所述的装置，其中，所述结果统计模块具体用于执行如下操作中的至少一项，以得到所述评价结果：

11.根据权利要求10所述的装置，其中，所述结果统计模块具体用于针对每个审核人员审核的每个风险样本数据的审核标签，判断该审核标签与该风险样本数据对应的风险标签是否一致；基于判断结果为一致的风险样本数据的数量和该审核人员审核的所有风险样本数据的数量，得到所述风险召回率。

12.根据权利要求10所述的装置，其中，所述结果统计模块具体用于针对每一条风险样本数据，判断每个审核人员给出的审核标签与该风险样本数据对应的风险标签是否一致；基于给出正确的审核标签的审核人员人数、给出错误的审核标签的审核人员人数以及审核该风险样本数据的审核人员的总数，得到所述内容分歧率。

13.根据权利要求9所述的装置，其中，所述风险样本发布模块具体用于在每次发布风险样本时，随机生成仿真账号，通过所述仿真账号发布所述风险样本；所述仿真账号发布的所述风险样本数据的数据格式与正常数据的数据格式一致。

14.根据权利要求9所述的装置，其中，所述风险样本发布模块具体还用于在审核人员在线人数更多的时间段，采用更高的发布频率发布更多的所述风险样本数据。

15.根据权利要求9所述的装置，其中，所述风险样本发布模块具体还用于将历史审核结果中无风险的数据作为白样本，用所述白样本稀释所述风险样本数据，将稀释后的风险样本数据进行发布。

16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～8任一项所述的方法。

17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1～8任一项所述的方法。

技术总结
本申请实施例公开了一种人工审核能力评测方法及装置。其中方法包括：针对获取的每一份风险样本数据，确定该风险样本数据的风险标签；将所述风险样本数据发布给审核人员；获取审核人员对所述风险样本的审核标签；基于所述风险标签和所述审核标签得到对所述审核人员的人工审核能力的评价结果。本申请通过构建及发布风险样本，并对审核人员的审核结果进行自动评价，能够客观、精确地评估审核人员对风险知识点的掌握情况、验证标准风控能力。

技术研发人员：林晓涵,林城,徐怡悦
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/16