一种版权图片过滤方法和装置与流程

本发明涉及图像识别技术领域，特别涉及一种版权图片过滤方法和装置。

背景技术：

现有的互联网公司的数据大多数都是通过网络爬虫爬取的，网络爬虫爬取的图片有一部分是有版权的图片，有版权的图片是不可以随意使用的，因此，如何准确识别并过滤版权图片是很多公司亟需解决的问题。

目前，多数公司是使用人工过滤或者使用规则匹配的方式来过滤版权图片，然而，人工过滤版权图片的方式成本非常高，而使用规则匹配的方法则无法实现对规则之外的版权图片的过滤。

技术实现要素：

有鉴于此，本发明的目的在于提供一种版权图片过滤方法和装置，能够实现对所有版权图片的过滤，且实现成本较低。

为了达到上述目的，本发明提供了如下技术方案：

一种版权图片过滤方法，该方法包括：

收集版权图片数据信息，所述版权图片数据信息包括版权图片、图片类别和版权商标位置信息；

基于深度学习方法对收集的版权图片数据信息进行训练生成用于识别版权图片的神经网络模型；

当抓取到新的图片时，利用所述神经网络模型确定该图片是否是版权图片，是则过滤掉版权图片。

一种版权图片过滤装置，包括：收集单元、学习单元、过滤单元；

所述收集单元，用于收集版权图片数据信息，所述版权图片数据信息包括版权图片、图片类别和版权商标位置信息；

所述学习单元，用于基于深度学习方法对收集的版权图片数据信息进行训练生成用于识别版权图片的神经网络模型；

所述过滤单元，用于抓取新的图片，利用所述神经网络模型确定该图片是否是版权图片，是则过滤掉版权图片。

由上面的技术方案可知，本发明中，收集大量的版权图片，通过深度学习对收集的版权图片进行训练，从而生成可以识别版权图片的神经网络模型，利用该神经网络模型对新抓取的图片进行版权图片识别和过滤。本发明的方法中，基于深度学习方法训练得到的神经网络模型，适用于所有版权图片的识别，与人工过滤版权图片的方法相比，可以降低成本，与规则匹配的方法相比，可以避免漏检规则之外的版权图片。

附图说明

图1是本发明实施例版权图片过滤方法流程图；

图2是本发明实施例版权图片过滤装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。

过滤版权图片的核心问题是图像识别，需要准确识别出图片上的版权商标(logo)。本发明中，采用深度学习技术来解决版权图片过滤的问题。

深度学习技术最广泛的应用之一就是图片分类技术，但是版权图片识别不能通过简单的图片分类技术解决。因为版权方不同，图片上的版权logo位置，大小、样式均是不确定的，因此，图片分类技术并不能很好的识别版权图片。

为了解决上述问题，本发明的深度学习中，还可以采用物体检测技术来识别图片中的版权logo，以解决图片分类技术无法识别版权logo的问题。

深度学习应用主要是解决分类问题和回归问题。物体检测是在图片分类的基础上增加回归算法，计算物体(例如版权logo)在图片中的位置，并标注出来。

下面结合图1对本发明的实现方法进行详细说明：

参见图1，图1是本发明实施例版权图片过滤方法流程图，如图1所示，该方法主要包括以下步骤：

步骤101、收集版权图片数据信息，所述版权图片数据信息包括版权图片、图片类别和版权商标位置信息。

为了训练生成可以识别版权图片的神经网络模型，需要有大量的版权图片数据信息作为输入，因此首先要收集大量的版权图片数据信息作为训练数据。

训练数据的来源最好的方式是收集真实样本，并通过人工标注解决样本的问题。但是在现实中训练神经网络模型需要大量的样本作为训练数据，其样本数量至少是上万甚至十万级别的，很难通过人工标注方式得到如此多的训练数据。因此，除了人工标注的方法收集训练数据外，还可以采用图片合成技术，将版权logo贴到大量的普通图片上，以此来解决样本问题，而采用图片合成技术得到的样本，其图片类别和版权logo位置信息都是确定的。图片类别表明了图片的分类，例如版权图片类。

由此可知，本发明中，至少可以通过以下两种途径获得版权图片数据信息：

第一种：由人工识别出版权图片，并给出版权图片的图片类别和版权logo位置信息。可以将这些已经由人工识别的版权图片及各版权图片对应的图片类别和版权商标位置信息存储起来作为训练数据。

第二种：采用图片合成技术，利用非版权图片和版权logo生成图片类别和版权logo位置信息确定的版权图片。可以将这些利用非版权图片和版权logo合成的版权图片以及各版权图片对应的图片类别和版权商标位置信息存储起来作为训练数据。

步骤102、基于深度学习方法对收集的版权图片数据信息进行训练生成用于识别版权图片的神经网络模型。

本发明实施例中，可以使用现在最流行的深度学习框架tensorflow来构建神经网络模型。tensorflow是谷歌基于distbelief进行研发的第二代人工智能学习系统，是目前最流行的深度学习框架。

本发明中的神经网络模型包括图片分类模型和物体检测模型。因此，构建神经网络模型的过程实际上包括了图片分类模型和物体检测模型的生成过程。

在实际应用中，在训练图片分类模型时最好是先进行预训练，即使用已经训练好的图片分类模型作为初始参数，在初始参数的基础上训练自己的图片分类模型，这个过程在业内被称之为fine-tune。预训练能够大幅度提高版权图片的分类识别效果。

本发明实施例中，可以预先为图片分类模型配置初始参数，例如用谷歌提供的faster_rcnn_inception_resnet_v2模型作为图片分类模型的初始参数。谷歌提供的faster_rcnn_inception_resnet_v2模型是一个图片分类模型，使用mscoco训练集训练，该模型的图片分类准确度比较高。

另外，可以采用maskrcnn技术来构建神经网络莫高兴中的物体检测模型，该技术是目前图像检测领域性能最好的模型，能得到像素级别的检测结果，该模型能够准确的识别图像中的物体并使用框来框住物体。其原理是先对图片进行多层的卷积操作来提取特征，再对特征进行物体框的检测并能对物体进行分隔。

由此可知，本步骤中，基于深度学习方法对收集的版权图片数据信息进行训练生成用于识别版权图片的神经网络模型的方法具体可以为：

在所述初始参数的基础上对收集的版权图片数据进行训练得到神经网络模型中的图片分类模型；

使用maskrcnn对收集的版权图片数据进行训练，得到所述神经网络模型中的物体检测模型。

需要说明的是，在训练生成神经网络模型时，可以从所有训练数据中随机抽取80％作为训练样本，用来训练出模型，另外20％作为测试样本用来测试模型的效果。由于训练生成神经网络模型的过程中需要大量的计算资源，因此可以使用gpu来对训练样本进行训练。

另外，在实际应用中，深度学习模型最大的缺点就是非常容易过拟合，导致对非训练样本以外的数据泛化能力很弱。为了确定是否出现拟合现象，训练神经网络模型时需要关注的参数就是神经网络模型的损失函数loss的值，loss值越小就说明神经网络模型的收敛效果越好，但是如果训练时间太长loss值会持续减小，但是泛化能力逐渐变弱，此时就出现了过拟合现象。

为了避免过拟合现象，可以通过控制训练的迭代次数，迭代次数不能过多。比较好的方法是训练过程中按照预设规则确定检查点，例如每迭代预设次数(例如5000次)设置一个检查点，对在该检查点生成的神经网络模型进行保存，为了便于区分，将在各检查点保存的神经网络模型称为中间神经网络模型。这里，每迭代一次生成一个新的神经网络模型，而迭代次数与参与训练的版权图片数据信息个数是相同的，因此，在检查点保存的神经网络模型，实际上就是使用了相应迭代次数个版权图片数据信息进行训练生成的神经网络模型。

在训练过程中，每保存一个中间神经网络模型，都要使用交叉验证的方法对其进行评估，评估结果包括该中间神经网络模型的准确率和召回率。如果该神经网络模型的损失函数loss的值小于预设loss值，且该神经网络模型的准确率大于预设准确率阈值，召回率大于预设召回率阈值，则可以确定该中间神经网络模型可以作为最终的用于版权图片识别的神经网络模型使用，此时可以终止训练过程，否则就需要继续训练，并确定下一个检查点，保存在下一个检查点生成的中间神经网络模型，以此类推，直到找到一个中间神经网络模型，该中间神经网络模型的损失函数loss的值小于预设loss值，且该神经网络模型的准确率大于预设准确率阈值，此时可以将该中间神经网络模型作为最终的用于版权图片识别的神经网络模型，并结束训练过程。

需要说明的是，使用交叉验证方法对神经网络模型的评估结果中的准确率和召回率并不是该神经网络模型真正的准确率和召回率，需要使用模型对测试样本进行识别，根据识别结果可以得到的该神经网络模型最终的评估结果。

步骤103、当抓取到新的图片时，利用所述神经网络模型确定该图片是否是版权图片，是则过滤掉版权图片。

训练得到最终的用于版权图片识别的神经网络模型后，对于新抓取的图片，就可以利用该神经网络模型进行版权图片识别，具体地，可以将该图片输入神经网络模型，神经网络模型会对输入的图片标注出图片类别和logo位置并打分，如果图片类别可表明该图片是否为版权图片，还有一个0到1的分值作为图片是版权图片的置信度。

本发明中，可以利用图片作为版权图片的置信度值来判断图片是否是版权图片，可以预先设置一个置信度阈值，当图片座位版权图片的置信度大于该置信度阈值时，可以确定该图片是版权图片，否则，可以确定该图片不是版权图片。通过调整该置信度阈值的大小，可以控制神经网络模型对版权图片的召回率和非版权图片的召回率。在对置信度阈值进行微调时，是使用准确率还是使用召回率要根据实际情况来判断，准确率是使用神经网络模型识别后识别结果的准确率。召回率是指一定数量的样本通过使用神经网络模型识别后能准确识别的比例。由于在过滤版权图片时大部分都是普通图片，版权图片很少，使用准确率衡量模型的效果不合适，因此通常根据召回率进行置信度阈值的微调。

经实验证明，比较迭代次数分别为8万次、10万次、12万次、15万次的检查点，概率置信度从0.50到0.90之间选择。最终确定迭代次数为10万次的检查点，在该检查点保存的神经网络模型，具有0.86的置信度，版权图片的召回率达到100％(1000个测试样本)，非版权图片的召回率达到98.5％，效果最佳。

从上面内容可知，

本步骤中，利用所述神经网络模型确定该图片是否是版权图片的具体方法为：将该图片输入到所述神经网络模型，得到该图片作为版权图片的置信度，如果该置信度值超过预设置信度阈值，则确定该图片是版权图片，否则，确定该图片不是版权图片。

本步骤中，将新抓取的图片输入到所述神经网络模型后，除了可以得到该图片作为版权图片的置信度外，还可以得到该图片的图片类别和版权商标位置信息。当确定新抓取的图片是版权图片之后，还可以进一步保存该图片，用户可以进一步对该图片进行人工识别，如果确认该图片是版权图片，则还可以进一步将该图片、该图片的图片类别和版权商标位置信息作为新收集到的版权图片数据信息进行存储，这样，收集的版权图片数据信息会越来越多，神经网络模型的训练样本随之增加。

以上对本发明实施例版权图片识别方法进行了详细说明，本发明还提供了一种版权图片识别装置，以下结合图2进行详细说明。

参见图2，图2是本发明实施例版权图片过滤装置的结构示意图，如图2所示，该装置包括：收集单元201、学习单元202、过滤单元203；其中，

收集单元201，用于收集版权图片数据信息，所述版权图片数据信息包括版权图片、图片类别和版权商标位置信息；

学习单元202，用于基于深度学习方法对收集的版权图片数据信息进行训练生成用于识别版权图片的神经网络模型；

过滤单元203，用于抓取新的图片，利用所述神经网络模型确定该图片是否是版权图片，是则过滤掉版权图片。

图2所示装置中，还包括配置单元204；

所述神经网络模型中包括图片分类模型和物体检测模型；

所述配置单元204，用于预先为所述图片分类模型设置预训练分类模型作为初始参数；

所述学习单元202，基于深度学习方法对收集的版权图片数据信息进行训练生成用于识别版权图片的神经网络模型，包括：

在所述初始参数的基础上对收集的版权图片数据进行训练得到神经网络模型中的图片分类模型；

使用maskrcnn对收集的版权图片数据进行训练，得到所述神经网络模型中的物体检测模型。

图2所示装置中，

所述收集单元201，收集版权图片数据信息时，用于：获取经由人工标注了图片类别和版权商标位置信息的版权图片，和/或，利用非版权图片和版权商标生成图片类别和版权商标位置信息确定的版权图片，将得到的版权图片及该版权图片对应的图片类别和版权logo位置信息存储起来。

图2所示装置中，

所述学习单元202，基于深度学习方法对收集的版权图片数据信息进行训练的过程中，确定检查点，并保存在该检查点生成的中间神经网络模型，采用交叉验证的方法对该中间神经网络模型进行评估，根据记录该中间神经网络模型的损失函数loss的值以及对该中间神经网络模型的评估结果确定是否需要终止训练过程，如果是，则将该中间神经网络模型确定为最终生成的用于识别版权图片的神经网络模型，并结束训练过程，否则，继续确定下一个检查点，并执行该检查点生成的中间神经网络模型的保存和评估、以及判断是否需要终止训练过程的操作，直至确定出最终的用于识别版权图片的神经网络模型，训练过程结束。

图2所示装置中，

所述学习单元202，确定检查点，并保存在每个检查点生成的中间神经网络模型时，用于：当参与训练的版权图片数据信息个数为预设迭代次数阈值的整数倍时，确定此时为一个检查点，将在该检查点生成的神经网络模型作为一个中间神经网络模型进行保存。

图2所示装置中，

所述过滤单元203，利用所述神经网络模型确定该图片是否是版权图片时，用于：将该图片输入到所述神经网络模型，得到该图片作为版权图片的置信度，如果该置信度值超过预设置信度阈值，则确定该图片是版权图片，否则，确定该图片不是版权图片。

图2所示装置中，

所述过滤单元203，得到该图片作为版权图片的置信度时，进一步得到该图片的图片类别和版权商标位置信息；

所述过滤单元203，确定该图片是版权图片之后，进一步用于：保存该图片，如果接收到用户对该图片的版权图片确认，则将该图片、该图片的图片类别和版权商标位置信息作为新收集到的版权图片数据信息存储。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。