一种图片漏检处理方法及其相关装置与流程

1.本技术涉及图片审核技术领域，尤其涉及一种图片漏检处理方法及其相关装置。


背景技术：

2.随着网上内容发布管理力度加强及深度学习在计算机视觉领域的飞速发展，基于深度学习的图片内容审核成为了各大内容发布平台的研究热点。但当前的深度学习模型还无法实现100％识别所有的违规图片，存在违规图片漏验风险。一旦违规图片被发布出来，将会对公司及社会产生不良的影响。在发生违规图片漏验时，若采用常规的方法，基本要经过以下几个步骤：采集数据，训练模型，测试模型，上线部署。而违规图片短时间难以收集，并且模型训练时间较长，从而导致在训练模型期间出现漏检事故而无法及时响应。因此，如何避免图像漏检以及时避免违规图片传播为目前亟待解决的问题。


技术实现要素：

3.本技术提供了一种图片漏检处理方法及其相关装置，用于改善现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
4.有鉴于此，本技术第一方面提供了一种图片漏检处理方法，包括：
5.在接收到第一待审核图片时，通过违规审核模型对所述第一待审核图片进行图片内容审核，得到所述第一待审核图片的审核结果；
6.当根据所述第一待审核图片的审核结果确定存在图片漏检时，对所述违规审核模型进行优化训练，并获取漏检图片，所述漏检图片为违规图片；
7.将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
8.在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，通过所述违规审核模型对所述第二待审核图片进行图片内容审核得到审核结果，并将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，通过所述违规审核模型审核得到的审核结果和特征比对得到的审核结果确定所述第二待审核图片的最终审核结果；
9.在接收到第二待审核图片，且所述违规审核模型优化训练完成时，采用优化训练后的违规审核模型对所述第二待审核图片进行图片内容审核，得到所述第二待审核图片的审核结果。
10.可选的，所述将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，包括：
11.获取所述漏检图片的特征向量和场景类别；
12.判断预置特征数据库中是否存在所述漏检图片对应的场景类别，若存在，则将所述漏检图片的特征向量保存至所述预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在所述预置特征数据中增加所述漏检图片对应的场景类别，并将所述漏检图片的特征向量保存至该场景类别下的特征列表中。
13.可选的，所述将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，包括：
14.获取所述第二待审核图片的特征向量和场景类别；
15.计算所述第二待审核图片的特征向量与所述更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
16.当所述特征相似度大于预设相似度阈值时，得到所述第二待审核图片为违规图片的审核结果；
17.当所述特征相似度小于或等于预设相似度阈值时，得到所述第二待审核图片为正常图片的审核结果。
18.可选的，在所述违规审核模型优化训练完后，所述方法还包括：
19.对所述更新后特征数据库进行图片特征出库操作。
20.本技术第二方面提供了一种图片漏检处理系统，包括：
21.第一审核模块，用于在接收到第一待审核图片时，通过违规审核模型对所述第一待审核图片进行图片内容审核，得到所述第一待审核图片的审核结果；
22.训练和获取模块，用于当根据所述第一待审核图片的审核结果确定存在图片漏检时，对所述违规审核模型进行优化训练，并获取漏检图片，所述漏检图片为违规图片；
23.保存模块，用于将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
24.比对模块，用于在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，通过所述违规审核模型对所述第二待审核图片进行图片内容审核得到审核结果，并将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，通过所述违规审核模型审核得到的审核结果和特征比对得到的审核结果确定所述第二待审核图片的最终审核结果；
25.第二审核模块，用于在接收到第二待审核图片，且所述违规审核模型优化训练完成时，采用优化训练后的违规审核模型对所述第二待审核图片进行图片内容审核，得到所述第二待审核图片的审核结果。
26.可选的，所述保存模块，具体用于：
27.获取所述漏检图片的特征向量和场景类别；
28.判断预置特征数据库中是否存在所述漏检图片对应的场景类别，若存在，则将所述漏检图片的特征向量保存至所述预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在所述预置特征数据中增加所述漏检图片对应的场景类别，并将所述漏检图片的特征向量保存至该场景类别下的特征列表中。
29.可选的，所述将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，包括：
30.在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，获取所述第二待审核图片的特征向量和场景类别；
31.计算所述第二待审核图片的特征向量与所述更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
32.当所述特征相似度大于预设相似度阈值时，得到所述第二待审核图片为违规图片
的审核结果；
33.当所述特征相似度小于或等于预设相似度阈值时，得到所述第二待审核图片为正常图片的审核结果。
34.可选的，在所述违规审核模型优化训练完后，还包括：特征出库模块，用于：
35.对所述更新后特征数据库进行图片特征出库操作。
36.本技术第三方面提供了一种图片漏检处理设备，所述设备包括处理器以及存储器；
37.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
38.所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的图片漏检处理方法。
39.本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的图片漏检处理方法。
40.从以上技术方案可以看出，本技术具有以下优点：
41.本技术提供了一种图片漏检处理方法，包括：在接收到第一待审核图片时，通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果；当根据第一待审核图片的审核结果确定存在图片漏检时，对违规审核模型进行优化训练，并获取漏检图片，漏检图片为违规图片；将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；在接收到第二待审核图片，且违规审核模型优化训练未完成时，通过违规审核模型对第二待审核图片进行图片内容审核得到审核结果，并将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，通过违规审核模型审核得到的审核结果和特征比对得到的审核结果确定第二待审核图片的最终审核结果；在接收到第二待审核图片，且违规审核模型优化训练完成时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核，得到第二待审核图片的审核结果。
42.本技术中，在通过违规审核模型对第一待审核图片进行审核出现图片漏检时，对该违规审核模型进行优化训练，使得优化训练后的违规审核模型可以识别漏检图片，并且在优化训练期间，将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，对于优化训练期间的第二待审核图片，采用违规审核模块审核第二待审核图片和对比第二待审核图片的特征向量和预置特征数据库中的特征向量，来获取第二待审核图片的最终审核结果，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况，改善了现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
附图说明
43.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
44.图1为本技术实施例提供的一种图片漏检处理方法的一个流程示意图；
45.图2为本技术实施例提供的一种图片漏检处理系统的一个结构示意图。
具体实施方式
46.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
47.为了便于理解，请参阅图1，本技术实施例提供了一种图片漏检处理方法，包括：
48.步骤101、在接收到第一待审核图片时，通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果。
49.当用户在平台发布图片时，会触发图片审核请求，发送第一待审核图片(即用户发布的图片)至审核平台，此时通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果。违规审核模型可以为训练好的神经网络模型，具体的训练过程属于现有技术，在此不再进行赘述。
50.步骤102、当根据第一待审核图片的审核结果确定存在图片漏检时，对违规审核模型进行优化训练，并获取漏检图片，漏检图片为违规图片。
51.通常审核平台通过违规审核模型对图片进行审核后，可以展示已审核图片及审核结果，审核人员会抽样检查审核结果，对于漏检图片(即将违规图片审核为正常图片)会进行反馈。
52.当根据第一待审核图片的审核结果确定存在图片漏检时，获取漏检图片，并对违规审核模型进行优化训练，在优化训练时，需要收集漏检图片构建训练集，通过训练集优化训练该违规模型。
53.步骤103、将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库。
54.提取漏检图片的特征向量，然后将其保存至预置特征数据库中，完成违规图片特征入库，得到更新后特征数据库，该更新后特征数据库用于优化训练期间的漏检图片审核。
55.进一步，本技术实施例考虑到，若每次比对图片特征时，要比对更新后特征数据库中的全部特征，在更新后特征数据库数据量巨大时，会导致特征比对时间较长，使得审核效率低，进而影响用户体验。因此，本技术实施例结合图片的场景类别进行特征比对，节省比对时间。具体的：
56.获取漏检图片的特征向量和场景类别，具体可以通过现有的违规审核模型、场景识别模型等分类模型获取漏检图片的特征向量和场景类别；判断预置特征数据库中是否存在漏检图片对应的场景类别，若存在，则将漏检图片的特征向量保存至预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在预置特征数据中增加漏检图片对应的场景类别，并将漏检图片的特征向量保存至该场景类别下的特征列表中。可以采用json的方式设计预置特征数据库，格式为{cls:[feature]}，其中，cls为场景类别，feature为违规图片的特征向量，该json数据库的键是业务场景模型类别，值的数据类型是列表，该列表存储的是违规图片的特征。
[0057]
本技术实施例中的特征比对结合了场景类别，没有直接进行全特征数据库的特征比对，只比对场景类别下的特征。假设场景类别为n，而且每个场景类别下的违规特征数量一致，那么本技术实施例中的图片检索速度相比常规的全库检索速度提高了(n-1)倍，因为
本技术实施例只需比对其中一个场景类别下的特征列表中的特征。
[0058]
步骤104、在接收到第二待审核图片，且违规审核模型优化训练未完成时，通过违规审核模型对第二待审核图片进行图片内容审核得到审核结果，并将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，通过违规审核模型审核得到的审核结果和特征比对得到的审核结果确定第二待审核图片的最终审核结果。
[0059]
在优化训练违规审核模型时，在这期间的第二待审核图片(用户发布的图片)，在采用优化训练前的违规审核模型进行审核的同时，还通过更新后特征数据库中的特征向量进行比对来获取最终审核结果，其中，第二待审核图片的最终审核结果通过违规审核模型审核得到的审核结果和特征比对得到的审核结果共同确定。具体的，若采用优化训练前的违规审核模型对第二待审核图片进行图片内容审核，得到的审核结果为正常，并且通过更新后特征数据库中的特征向量与第二待审核图片的特征向量进行比对获取的审核结果也为正常，则该第二待审核图片的最终审核结果为正常；若采用优化训练前的违规审核模型对第二待审核图片进行图片内容审核，得到的审核结果为正常，并且通过更新后特征数据库中的特征向量与第二待审核图片的特征向量进行比对获取的审核结果为违规，则该第二待审核图片的最终审核结果为违规；若采用优化训练前的违规审核模型对第二待审核图片进行图片内容审核，得到的审核结果为违规，并且通过更新后特征数据库中的特征向量与第二待审核图片的特征向量进行比对获取的审核结果为正常，则该第二待审核图片的最终审核结果为违规。
[0060]
通过更新后特征数据库中的特征向量进行比对可以识别与漏检图片相同或相似的违规图片(优化训练前的违规审核模型无法正确识别的违规图片)，通过违规审核模型和特征比对的方式并行进行图片内容审核，可以弥补违规审核模型无法正确识别某些违规图片的缺陷，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况。
[0061]
通过更新后特征数据库中的特征向量进行比对来获取第二待审核图片的审核结果的具体过程为：
[0062]
获取第二待审核图片的特征向量和场景类别，具体可以通过场景识别模型、分类模型等获取第二待审核图片的特征向量和场景类别；
[0063]
计算第二待审核图片的特征向量与更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度，特征相似度可以采用计算两个特征向量的欧式距离获取，也可以采用其他方式，在此不做具体限定；
[0064]
当特征相似度大于预设相似度阈值时，得到第二待审核图片为违规图片的审核结果；
[0065]
当特征相似度小于或等于预设相似度阈值时，得到第二待审核图片为正常图片的审核结果。
[0066]
在实际应用中，用户分享的违规图片往往是在同一个场景拍摄的，拍摄出来的图片具有很大的相似性，而通过md5方法只能识别同一张图片，而不能识别相似图片。本技术通过计算特征相似度，可以识别与违规图片类似的图片，审核准确率更高。
[0067]
步骤105、在接收到第二待审核图片，且违规审核模型优化训练完成时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核，得到第二待审核图片的审核结果。
[0068]
违规审核模型优化训练时，会在测试集上测试模型性能，筛选出更优的迭代模型后会对之前入库的违规图片(都进行了持久化保存)和通过特征比对识别为违规的图片进行识别，当这些违规图片能被优化训练后的违规审核模型识别后，则认为该模型收敛，训练完成。此时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核。
[0069]
进一步，在违规审核模型优化训练完后，还可以对更新后特征数据库进行图片特征出库操作。
[0070]
由于实际业务场景中，违规审核模型是不断训练迭代的，当优化训练后的违规审核模型可以识别这些漏检图片后，更新后特征数据库中的特征向量可以出库，否则特征数据库达到一定量级将会影响检索性能。具体出库过程可以是，比对违规图片的特征向量与更新后特征数据库中的该违规图片对应的场景类别下的特征列表中的特征向量与是否为同一特征，若是，则删除该违规图片对应场景类别下的特征列表中的该特征向量，从而实现特征出库。
[0071]
本技术实施例中，在通过违规审核模型对第一待审核图片进行审核出现图片漏检时，对该违规审核模型进行优化训练，使得优化训练后的违规审核模型可以识别漏检图片，并且在优化训练期间，将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，对于优化训练期间的第二待审核图片，采用违规审核模块审核第二待审核图片和对比第二待审核图片的特征向量和预置特征数据库中的特征向量，来获取第二待审核图片的最终审核结果，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况，改善了现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
[0072]
以上为本技术实施例提供的一种图片漏检处理方法，以下为本技术提供的一种图片漏检处理系统。
[0073]
请参考图2，本技术实施例提供的一种图片漏检处理系统，包括：
[0074]
第一审核模块，用于在接收到第一待审核图片时，通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果；
[0075]
训练和获取模块，用于当根据第一待审核图片的审核结果确定存在图片漏检时，对违规审核模型进行优化训练，并获取漏检图片，漏检图片为违规图片；
[0076]
保存模块，用于将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
[0077]
比对模块，用于在接收到第二待审核图片，且违规审核模型优化训练未完成时，通过违规审核模型对第二待审核图片进行图片内容审核得到审核结果，并将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，通过违规审核模型审核得到的审核结果和特征比对得到的审核结果确定第二待审核图片的最终审核结果；
[0078]
第二审核模块，用于在接收到第二待审核图片，且违规审核模型优化训练完成时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核，得到第二待审核图片的审核结果。
[0079]
作为进一步地改进，保存模块，具体用于：
[0080]
获取漏检图片的特征向量和场景类别；
[0081]
判断预置特征数据库中是否存在漏检图片对应的场景类别，若存在，则将漏检图片的特征向量保存至预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到
更新后特征数据库，若不存在，则在预置特征数据中增加漏检图片对应的场景类别，并将漏检图片的特征向量保存至该场景类别下的特征列表中。
[0082]
作为进一步地改进，将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，包括：
[0083]
在接收到第二待审核图片，且违规审核模型优化训练未完成时，获取第二待审核图片的特征向量和场景类别；
[0084]
计算第二待审核图片的特征向量与更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
[0085]
当特征相似度大于预设相似度阈值时，得到第二待审核图片为违规图片的审核结果；
[0086]
当特征相似度小于或等于预设相似度阈值时，得到第二待审核图片为正常图片的审核结果。
[0087]
作为进一步地改进，在违规审核模型优化训练完后，还包括：特征出库模块，用于：
[0088]
对更新后特征数据库进行图片特征出库操作。
[0089]
本技术实施例中，在通过违规审核模型对第一待审核图片进行审核出现图片漏检时，对该违规审核模型进行优化训练，使得优化训练后的违规审核模型可以识别漏检图片，并且在优化训练期间，将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，对于优化训练期间的第二待审核图片，采用违规审核模块审核第二待审核图片和对比第二待审核图片的特征向量和预置特征数据库中的特征向量，来获取第二待审核图片的最终审核结果，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况，改善了现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
[0090]
本技术实施例还提供了一种图片漏检处理设备，设备包括处理器以及存储器；
[0091]
存储器用于存储程序代码，并将程序代码传输给处理器；
[0092]
处理器用于根据程序代码中的指令执行前述方法实施例中的图片漏检处理方法。
[0093]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的图片漏检处理方法。
[0094]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0095]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0096]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指
这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0097]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0098]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0099]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0100]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-only memory，英文缩写：rom)、随机存取存储器(英文全称：randomaccess memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0101]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。