图片处理方法、装置及存储介质与流程
本发明实施例涉及图像处理技术领域，尤其涉及一种图片处理方法、装置及存储介质。
背景技术：
随着互联网的普及，图片因其相对文字具有表达直观、内容丰富等优势，在越来越多的网页及应用中被广泛应用。例如，网购平台为各电商提供了各种商品信息发布机制，商家可以上传多角度、多背景的商品照片，以吸引用户。
很多互联网电商企业为了博取眼球效应，会上传一些不符合规定的图片，因此，如何在大数据环境下对风险图片或异常图片进行处理显得越来越重要，现有技术中，通常通过卷积神经网络(convolutionneuralnetwork,cnn)技术对图片进行检测与分类，其中，cnn技术主要是通过提取图片中的图像特征信息，根据图片的图像特征信息，判断该图片是正常图片还是异常图片。
然而，由于cnn技术只能提取图片中的图像特征信息，对于图片中包含大量文本信息的图片来说，通过cnn技术对图片进行检测时，图片的误检率较高，造成图片检测的准确性较低。
技术实现要素：
本发明实施例提供一种图片处理方法、装置及存储介质，可以提高图片检测和识别的准确性。
根据本发明实施例的第一方面，提供一种图片处理方法，该方法包括：
对待检测图片进行预处理，获得处理后的图片；
从所述处理后的图片中，分别提取图像特征信息和文本特征信息；
根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，其中，所述图片的类型包括正常图片或异常图片。
可选的，所述根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，包括：
对所述图像特征信息和所述文本特征信息进行拼接处理，获得拼接特征信息；
对所述拼接特征信息进行流形数据的降维处理，获得所述拼接特征信息的嵌入特征；
根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型。
可选的，所述根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型，包括：
判断所述嵌入特征是否处于所述超球内；
若所述嵌入特征处于所述超球内，则确定所述待检测图片为异常图片；
若所述嵌入特征不处于所述超球内，则确定所述待检测图片为正常图片。
可选的，所述根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型之前，所述方法还包括：
获取多个样本图片；
分别提取所述多个样本图片中每个样本图片的映射特征；
对各个所述映射特征进行数据描述，得到所述超球。
可选的，所述对各个所述映射特征进行数据描述，得到所述超球，包括：
通过支持向量数据描述svdd算法对各个所述映射特征进行数据描述，得到所述超球。
可选的，从所述处理后的图片中，提取图像特征信息，包括：
通过多级卷积神经网络cnn，从所述处理后的图片中，提取图像特征信息。
可选的，所述通过多级卷积神经网络cnn，从所述处理后的图片中，提取图像特征信息，包括：
将所述处理后的图片输入至第一级cnn网络中，得到与所述处理后的图片对应的第一映射图像以及所述处理后的图片中目标图像的第一区域框坐标；
将所述第一映射图像和所述第一区域框坐标输入至第二级cnn网络中，得到与所述处理后的图片对应的第二映射图像以及所述处理后的图片中目标图像的第二区域框坐标；
将所述第二映射图像和所述第二区域框坐标输入至第三级cnn网络中，得到所述图像特征信息。
可选的，从所述处理后的图片中，提取文本特征信息，包括：
通过多级卷积神经网络cnn和循环神经网络rnn，从所述处理后的图片中，提取所述文本特征信息。
可选的，所述对待检测图片进行预处理，获得处理后的图片，包括：
对所述待检测图片进行图像金字塔处理，获得所述处理后的图片。
可选的，所述对所述待检测图片进行图像金字塔处理，获得所述处理后的图片之前，所述方法还包括：
对所述待检测图片进行图像颜色矫正处理，获得矫正后的图片；
所述对所述待检测图片进行图像金字塔处理，获得所述处理后的图片，包括：
对所述矫正后的图片进行图像金字塔处理，获得所述处理后的图片。
根据本发明实施例的第二方面，提供一种图片处理装置，该装置包括：
预处理模块，用于对待检测图片进行预处理，获得处理后的图片；
第一提取模块，用于从所述处理后的图片中，分别提取图像特征信息和文本特征信息；
确定模块，用于根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，其中，所述图片的类型包括正常图片或异常图片。
可选的，所述确定模块，包括：
拼接子模块，用于对所述图像特征信息和所述文本特征信息进行拼接处理，获得拼接特征信息；
降维处理子模块，用于对所述拼接特征信息进行流形数据的降维处理，获得所述拼接特征信息的嵌入特征；
确定子模块，用于根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型。
可选的，所述确定子模块，具体用于：
判断所述嵌入特征是否处于所述超球内；
若所述嵌入特征处于所述超球内，则确定所述待检测图片为异常图片；
若所述嵌入特征不处于所述超球内，则确定所述待检测图片为正常图片。
可选的，所述装置还包括：
获取模块，用于获取多个样本图片；
第二提取模块，用于分别提取所述多个样本图片中每个样本图片的映射特征；
数据描述模块，用于对各个所述映射特征进行数据描述，得到所述超球。
可选的，所述数据描述模块，具体用于：
通过支持向量数据描述svdd算法对各个所述映射特征进行数据描述，得到所述超球。
可选的，所述第一提取模块，还用于通过多级卷积神经网络cnn，从所述处理后的图片中，提取图像特征信息。
可选的，所述第一提取模块，还用于：
将所述处理后的图片输入至第一级cnn网络中，得到与所述处理后的图片对应的第一映射图像以及所述处理后的图片中目标图像的第一区域框坐标；
将所述第一映射图像和所述第一区域框坐标输入至第二级cnn网络中，得到与所述处理后的图片对应的第二映射图像以及所述处理后的图片中目标图像的第二区域框坐标；
将所述第二映射图像和所述第二区域框坐标输入至第三级cnn网络中，得到所述图像特征信息。
可选的，第一提取模块，还用于通过多级卷积神经网络cnn和循环神经网络rnn，从所述处理后的图片中，提取所述文本特征信息。
可选的，所述预处理模块，还用于对所述待检测图片进行图像金字塔处理，获得所述处理后的图片。
可选的，所述装置还包括：
矫正模块，用于对所述待检测图片进行图像颜色矫正处理，获得矫正后的图片；
所述预处理模块，还用于：对所述矫正后的图片进行图像金字塔处理，获得所述处理后的图片。
根据本发明实施例的第三方面，提供一种服务器，其特征在于，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行本发明实施例的第一方面所述的方法的指令。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行本发明实施例的第一方面的方法。
本发明实施例提供的图片处理方法、装置及存储介质，通过对待检测图片进行预处理，获得处理后的图片；进而从处理后的图片中，分别提取图像特征信息和文本特征信息；并根据图像特征信息和文本特征信息，确定待检测图片的类型，其中，图片的类型包括正常图片或异常图片；由于通过先对待检测的图片进行预处理，使得预处理后的图片更方便进行特征提取与图片类型的确定，另外，由于通过对预处理后的图片分别进行图像特征信息和文本特征信息的提取，可以提升待检测图片的检测和识别效果，而且提高了图片检测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明根据一示例性实施例示出的一种图片处理方法的流程图。
图2是本发明根据另一示例性实施例示出的一种图片处理方法的流程图。
图3为现有技术中根据cnn网络对图片中图像识别算法的示意图。
图4为cnn网络的局部连接和共享权重的结构示意图。
图5是本发明根据又一示例性实施例示出的一种图片处理方法的流程图。
图6是本发明根据一示例性实施例示出的一种图片处理装置的框图。
图7是本发明根据另一示例性实施例示出的一种图片处理装置的框图。
图8是本发明根据又一示例性实施例示出的一种图片处理装置的框图。
图9是本发明根据再一示例性实施例示出的一种图片处理装置的框图。
图10是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的图片处理方法，可以适用于对图片的类型进行检测的场景中，尤其可以应用于电商企业对图片进行筛选的应用场景中。现有技术中，互联网电商企业通常对大数据环境下的各式各样的图片进行筛选时，只是通过图片的相似度来进行检测与识别，即使通过卷积神经网络技术对图片进行识别，可以极大地提升图片检测和识别效率，但是由于卷积神经网络技术仅仅对图片中的特定的图像信息进行识别与检测，当面对图像变种和衍生图像，通过卷积神经网络技术无法有效识别，可能会将正常图片误杀掉。另外，对于图片中包含大量文本信息的图片来说，通过cnn技术对图片进行检测时，图片的误检率较高，造成图片检测的准确性较低。
本发明考虑到上述的技术问题，本发明提供一种图片的处理方法，通过对待检测图片进行预处理，并从预处理后的图片中提取图像特征信息与文本特征信息，然后根据提取的图像特征信息与文本特征信息，确定待检测图片是正常图片还是异常图片。由于通过对预处理后的图片分别进行图像特征信息和文本特征信息的提取，从而根据图像特征信息和文本特征信息共同确定待检测图片的类型，由此可以提升待检测图片检测和识别的效果，而且提高了图片检测的准确度。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明根据一示例性实施例示出的一种图片处理方法的流程图，
图2为本发明根据另一示例性实施例示出的一种图片处理方法的流程图，该方法可以由任意执行图片处理方法的装置来执行，该装置可以通过软件和/或硬件实现。本实施例中，该装置可以集成在服务器中。如图1所示，本发明实施例提供的图片处理方法包括如下步骤：
步骤101，对待检测图片进行预处理，获得处理后的图片。
在本步骤中，通过对待检测图片进行预处理，使得预处理后的图片能简化后续的识别与确定类型的操作。
其中，对待检测图片进行预处理，如图2所示，可选的，可以是通过图像金字塔处理对待检测图片进行预处理，通过将待检测图片根据图像的分辨率以金字塔形状逐级的排列，这样使得待检测图片可以在多尺度下对图片的图像特征和文本特征进行识别和检测。本发明对于图像金字塔的层级和尺度不做任何限制，本领域技术人员可以根据需要进行设定。
在本步骤中，通过对待检测图片进行图像金字塔的预处理，将待检测图片的信息分为图像特征信息和文本特征信息，并将图像特征信息和文本特征信息分别分为不同多尺度，这样可以使得预处理后的图片更有利于后续的检测识别。
可选的，对待检测图片进行图像金字塔处理之前，还可以对待检测图片进行图像颜色矫正处理，获得矫正后的图片；这样，服务器将会对矫正后的图片进行图像金字塔处理，获得处理后的图片。
例如，当待检测图片为海报图片时，由于海报图片中的文本特征信息较多，且为了在海报中突出不同的信息，可能会将不同的字使用不同的颜色来达到醒目的效果，这时海报的文本中可能会有多种颜色，此时，通过对海报图片进行图像颜色矫正处理，可以将海报中的多种颜色压缩为较单一的颜色，抛弃海报中较为复杂的颜色或色调，这样可以使得文本中的颜色较统一。进而将文本颜色矫正处理后的图片进行图像金字塔处理，在对待检测图片进行图像金字塔处理时，由于矫正后的图片颜色比较单一，因此图像金字塔处理时的操作更简便。
通过对待检测图片进行图像颜色矫正处理，剔除冗余的颜色信息，可以使得待检测图片的颜色较单一，进而使得在对矫正处理后的图片进行图像金子塔处理时，由于图片的颜色单一，使得图片处理的过程更简便，进而提高图片检测的速率。
步骤102，从处理后的图片中，分别提取图像特征信息和文本特征信息。
在本步骤中，通过对待检测图片进行预处理后，将从预处理后的图片中分别提取图像特征信息和文本特征信息，其中，图像特征信息可以为待检测图片中的图像的特征信息，例如，图像特征信息可以为人物图像，动物图像或景色图像等，具体的可以根据需要预先设定多种图像特征信息，当进行提取图像特征信息时，可以根据预设定的图像特征信息进行检测和识别，进而进行图像特征信息提取。文本特征信息可以为文字或表格等信息，具体的可以根据需要预先设定多种文本特征信息，当进行提取文本特征信息时，可以根据预设定的文本特征信息进行检测和识别，进而进行文本特征信息提取。
另外，从预处理后的图片中提取图像特征信息时，可以通过多级cnn提取。
下面先介绍一下cnn网络，以及cnn网络如何进行图像识别和特征提取。
cnn网络本质上是一种前向(feed-forward)神经网络。图3为根据cnn网络对图片中图像识别算法的示意图，如图3所示，cnn网络主要由卷积层(convolutionallayers)，降采样层(poolinglayers)以及全连接层(fullyconnectedlayers)三部分结构组成。卷积神经网络的结构特征主要表现在两个方面：首先，cnn网络的神经元之间是局部连接的，而非全连接；其次，cnn网络的部分神经元之间共享权重。卷积神经网络的局部连接属性和权重共享权重属性可有效对图像空间特征进行提取，并且通过降低权重参数数量有效降低网络模型复杂度。
利用卷积神经网络中邻近层的神经元之间的局部连接属性，cnn网络可有效对二维图片中的局部图像特征信息进行提取。图4为cnn网络的局部连接和共享权重的结构示意图，如图4所示，在cnn网络中，部分神经元之间的连接被复制到整个当前层中，换而言之，神经元之间共享连接的权重(weights)和偏差(biases)。利用cnn网络的局部连接和共享权重的特殊结构，使得cnn网络在图片处理中具有较好的泛化能力和性能优势。
通常情况下，卷积神经网络包含一个卷积层和一个降采样层，而深度卷积神经网络(deepconvolutionneuralnetwork,dcnn)由若干个卷积层和降采样层堆叠而成，这样可以实现深层网络结构。以传统cnn网络为例，每一个卷积层cl，对前一层的输入数据或降采样层sl-1所输出的特征数据通过与一个可学习的卷积核通过卷积后加权求和得到，由此可知，卷积层cl的一个特征图(featuremap)可通过下式求得：
其中，
卷积层输出的每一个特征图都是该层所对应的上一层的特征图与不同卷积核卷积加权求和的结果。
降采样层是卷积神经网络的另一个重要组成部分，通过对卷积层得到的特征图进行降采样，以实现特征信息的尺度不变性。每一个降采样层分别对应一个卷积层，降采样层中的神经元通过降采样函数实现对卷积层的降采样。cnn网络中最常用的降采样策略是基于maxpooling的降采样，maxpooling一般可表示为：
其中，u(n,1)为对于卷积层的窗函数，aj表示邻域最大值。
cnn网络包含一个全连接层，一般使用逻辑回归(logisticregression,lr)作为最终特征信息输出的分类器。lr是一种基于概率统计的分类器，利用概率分数计算类别变量和输入变量之间的相关性作为预测值输出。在一般深度cnn网络中，使用softmax回归作为最终输出层的lr分类器实现多分类任务。softmax回归算法输出预测值和为1，因此可将输出结果视为一组条件概率。对于一个输入特征i，其满足输入特征属于类i的概率为：
其中，w和b分别表示lr层的权重和偏置参数，wi和bi分别表示与类i对应的权重和偏置参数，y为lr分类器输出的类别结果，s表示softmax函数。lr层的输出维度为lr分类器需要识别的类别数。将lr层作为深度卷积神经网络的顶层，则输入特征v为深度cnn网络最后一层卷积网络的输出特征向量。
根据上述cnn网络中的全连接层获得的图像特征信息来确定图片的类型。
在本步骤中，在现有技术的基础上将cnn网络分为多级任务来对图片中的图像特征信息进行提取，下面详细介绍多级cnn网络如何实现对经过图像金字塔处理的图片中的图像特征信息提取。
具体的，继续参考图2，多级cnn网络包括三级网络，分别为第一级网络、第二级网络和第三级网络，以实现逐步对图像特征信息的提取。首先，将处理后的图片输入至第一级cnn网络中，得到与处理后的图片对应的第一映射图像以及处理后的图片中目标图像的第一区域框坐标；具体的，第一级cnn网络可以为p网络(proposalnetwork)，p网络为包含5个卷积层和4个池化层的全卷积神经网络(fullyconvolutionneuralnetwork,fcnn)和一个全连接层。卷积核尺寸的选取需要根据包含需要检测的敏感信息的图像特征的尺寸进行设定，这样可以降低由于图片扭曲或拉伸对图像特征提取的影响。第一级cnn网络可以通过对图片中的图像特征信息进行全局粗略提取，输出第一映射图像，第一映射图像为根据第一级cnn网络从图片中图像特征信息提取出的所需的图像，第一级cnn网络根据第一映射图像，在不同长宽比下生成目标图像的第一区域框，第一映射图像在第一区域框中，同时输出目标图像的第一区域框的坐标，该坐标可以为矩形第一区域框的两个对角的坐标(a，b)和(c，d)，将第一映射图像和目标图像的第一区域框的坐标作为下一级cnn网络的输入数据。
进而，将第一映射图像和第一区域框坐标输入至第二级cnn网络中，得到与处理后的图片对应的第二映射图像以及处理后的图片中目标图像的第二区域框坐标。具体的，第二级cnn网络为r网络(refinenetwork),r网络为包含4个卷积层和3个池化层的fcnn网络，将第一映射图像和第一区域框坐标输入至第二级cnn网络中，通过对输入的数据进一步进行图像特征信息的提取，也即对第一映射图像进行更精确的识别，通过r网络的精确识别，获得第二映射图像，同时获取图片中目标图像的第二区域框坐标，该坐标可以为矩形第二区域框的两个对角的坐标为(e，f)和(g，h)，将第二映射图像和目标图像的第二区域框的坐标作为下一级cnn网络的输入数据，其中，r网络输出的矩形第二区域框的面积小于p网络输出的矩形第二区域框的面积，通过r网络对图像特征的提取不仅可以使得图像特征信息较p网络提取的图像特征信息更精确，还可以降低p网络输出的图像特征信息的错误率。
将第二映射图像和第二区域框坐标输入至第三级cnn网络中，得到图像特征信息，具体的，第三级cnn网络可以为o网络(outputnetwork),o网络包含4个卷积层和3个池化层，将第二映射图像和第二区域框坐标输入至第三级cnn网络中，通过对输入数据进一步进行图像特征信息的提取，也即对第二映射图像进行更精确的识别，进而确定出待检测图片是否为含有所需的图像特征信息的图片，并在o网络实现多级任务联合，以对第二区域框中的目标图像进行检测，并回归矩形目标图像的区域框，精确出矩形区域框的对角坐标(x，y)和(m，n)，通过o网络对图像特征信息的提取，不仅可以获取待检测图片的识别结果，以及获得图像特征信息的具体坐标位置，还可以降低r网络输出的图像特征信息的错误率。
通过多级cnn网络对图像特征信息的提取，最后输出对图片检测的6维特征信息，6维特征信息包括识别结果和图像特征的精确位置坐标的信息，识别结果可以表示为(1,0)或(0,1)，分别代表通过图像特征信息对待检测图片的识别结果为正常图片或异常图片。
在本步骤中，在现有技术中的图像特征信息的提取的基础上，将cnn网络分为多级网络，进而对图片中的图像特征信息进行逐级提取，从而使得提取出的图像特征信息更准确，且可以大大的提高图像特征提取的速率。
另外，从处理后的图片中，提取文本特征信息，可以通过多级卷积神经网络cnn和循环神经网络(recurrentneuralnetwork，rnn)从处理后的图片中，提取文本特征信息。具体的，通过多级cnn网络和rnn网络实现对敏感的文本信息进行提取。其中，cnn网络采用densenet网络模型结构，实现文本特征检测，rnn网络通过双层双向rnn网络实现对文字信息的识别。进而输出文本特征检测与识别的结果，该结果为各种敏感词的高维特征信息，敏感词为预先存储的文本信息，例如：“刷单”、“种菜”、“诚信”、“刷”或“好评”等文本可以定义为敏感词。
在本步骤中，包括两个神经网络，分别为多级cnn网络和densenet+rnn网络，多级cnn网络用于提取图像特征信息，densenet+rnn网络用于提取文本特征信息，神经网络的训练利用标签的数据集和反向传播算法(back-propagation,bp)实现。bp算法作为所有神经网络训练的核心基础算法，对于神经网络的训练需要通过定义合适的损失函数(costfunction)定义误差度量，在本技术方案中为了实现网络参数的快速回归，使用adadelta算子和随训练次数逐步减小学习率的训练策略。对于一般深度学习大数据量的情况，一般采用批量梯度下降(mini-batch)策略对cnn网络进行学习。对于输入的一个mini-batch，其损失函数可定义为：
其中，m为批量梯度下降尺寸，xi和zi分别表示批量数据的第i个数据的输出标签和类标签。
在本步骤中，通过多级卷积神经网络cnn，从处理后的图片中，提取图像特征信息，获得待检测图片中图像的识别结果及图像的一个6维图像特征信息，通过多级卷积神经网络cnn和循环神经网络rnn，从处理后的图片中，提取文本特征信息，获得文本的高维特征信息。同时将图片中的图像和文本进行识别与检测，可以极大的改进现有技术中cnn网络算法对图片中的图像的变种和衍生图像无法有效识别的问题，另外，文本特征信息和图像特征信息的同时提取和识别可以有效避免现有技术中cnn网络算法对于衍生图像的检测和识别，这样对图片类型的确定提供更全面的依据，且确定出的图片类型更准确。
步骤103，根据图像特征信息和文本特征信息，确定待检测图片的类型，其中，图片的类型包括正常图片或异常图片。
在本步骤中，通过上述获得的图像特征信息和文本特征信息，进而根据图像特征信息和文本特征信来确定待检测图片的类型，其中，图片的类型包括正常图片或异常图片，正常图片为所需要的图片，异常图片是相对于正常图片进行定义的，当然对于不同的用户，对正常图片的定义并不相同，也即，图片g对于用户a来说为正常用户，但对于用户b来说为异常图片，因此，对于图片的图像特征和文本特征的设置，需要根据用户的需求来设定，本发明不做任何限制。
本发明实施例提供的图片处理方法，通过对待检测图片进行预处理，获得处理后的图片；进而从处理后的图片中，分别提取图像特征信息和文本特征信息；并根据图像特征信息和文本特征信息，确定待检测图片的类型，其中，图片的类型包括正常图片或异常图片；由于通过线对待检测的图片进行预处理，使得预处理后的图片更方便进行特征提取与图片类型的确定，另外，由于通过对预处理后的图片分别进行图像特征信息和文本特征信息的提取，可以提升待检测图片的检测和识别效果，而且提高了图片检测的准确度。
图5是本发明根据又一示例性实施例示出的一种图片处理方法的流程图，在图1的基础上，对如何根据图像特征信息和文本特征信息，确定待检测图片的类型的过程，进行详细说明，如图5所示，本实施例的方法可以包括：
步骤501，对待检测图片进行预处理，获得处理后的图片。
步骤502，从处理后的图片中，分别提取图像特征信息和文本特征信息。
步骤501-步骤502与步骤101-步骤102类似，此处不再赘述。
步骤503，对图像特征信息和文本特征信息进行拼接处理，获得拼接特征信息。
在本步骤中，通过将提取到的图像特征信息和文本特征信息进行拼接，获得拼接特征信息，具体的，可以将图像的6维特征信息与文本的高维特征信息进行拼接，获得拼接的特征信息，如图2中所示。例如拼接的特征信息可以为(1,0,x,y,m,n)+(1，0，0，1…)，其中第二项中的0，1表示对应的敏感词(如：刷单，种菜，诚信，刷，好评…)的检测识别结果。
步骤504，对拼接特征信息进行流形数据的降维处理，获得拼接特征信息的嵌入特征。
在本步骤中，在获得拼接特征信息后，将拼接特征信息进行流形数据的降维处理，获得拼接特征信息的嵌入特征，其中，流形数据的降维处理为通过流行学习算法对拼接特征信息进行数据的降维处理，具体的，流行学习(manifoldembedding,me)算法利用样本点及其同类最近邻样本和异类最近邻样本构建样本局部块，并在局部块上利用聚类思想，实现数据的降维。并且引入迁移学习方法，保持数据结构特征。me算法的最优变换矩阵w*可表示为：
其中，x为训练样本集构成的矩阵，p为主成分分析变换矩阵。第二项为迁移正则项，用以在保持特征提取降维后原始数据的结构的主特征，使从训练样本学习的判别信息可有效迁移至测试数据。
在局部块的数据降维中，me算法期望样本点与其余同类样本在低维空间中尽可能的聚类，而与异类样本在低维空间中尽可能分离，并且利用线性操作完成数据块上的局部判别。根据降维准则得到局部优化表达矩阵。在局部优化的基础上，利用整体排列方法，假设对于每一个局部块，其低维表示都是全局低维坐标的一个局部选择。由此，定义选择矩阵，并利用全局低维坐标与选择矩阵表示低维局部块。通过叠加全部由全局低维坐标与选择矩阵表示的低维局部块，得到全局排列。以迭代方法计算全局优化表达矩阵，并利用标准特征值分解或广义特征值分解方法计算投影变换矩阵。从而实现以样本类别信息的数据降维以实现特征提取。
在本步骤中，利用流形学习算法和迁移学习方法对图像特征信息和文本特征信息进行信息交互和数据降维，挖掘图像特征信息和文本特征信息的相关性，并通过利用图像特征信息和文本特征信息相关性中的有效信息来进行图片的识别。另外，通过对拼接信息进行流形数据的降维处理，可以提高拼接特征信息的嵌入特征更为准确。
步骤505，根据拼接特征信息的嵌入特征和预先确定的超球，确定待检测图片的类型。
可选的，在根据拼接特征信息的嵌入特征和预先确定的超球，确定待检测图片的类型之前，可以通过如下方式确定超球：获取多个样本图片；分别提取多个样本图片中每个样本图片的映射特征；对各个映射特征进行数据描述，得到超球。
具体的，通过先获取多个图片，并对获取的图片分别提取多个样本图片中每个样本图片的映射特征，样本图片为正常图片或异常图片，也即包括所需的图像特征信息与文本特征信息，图片的映射特征可以包括异常图片的图像特征信息与文本特征信息。进而对各个图片的映射特征进行数据描述，具体的，对各个映射特征进行数据描述可以通过支持向量数据描述svdd算法，根据数据描述的结果，进而得到超球。
其中，上述超球是根据支持向量数据描述(supportvectordatadescription,svdd)定义的一个描述数据的闭合决策的边界，具体的，超球由球心a及球半径r＞0定义，该超球应包含样本数据且超球体积尽可能小。因此，定义损失函数：
f(r,a)＝r2+c∑iξi
其中，ξi＞0为松弛变量。进一步，类似于支持向量机，引入拉格朗日算子αi＞0将上述优化问题等价的转化为：
其中(·)表示内积运算。由此可求解拉格朗日算子α，确定超球中心为a＝∑iαixi且超球半径r可由拉格朗日算子满足0＜αi＜c的支持向量及超球心a确定。对于任一数据判断其是否属于当前数据类，则仅需判断当前数据是否包含于当前的超球体，即数据与超球的距离是否小于等于超球半径。
对于包含负样本的支持向量数据描述，脚标i和j表示异常图片数据点，l和m表示正常图片数据点，其损失函数定义为：
f(r,a)＝r2+c1∑iξi+c2∑lξl
其中，ξi＞0和ξl＞0分别为异常图片数据点与正常图片数据点的松弛变量。同样的，引入拉格朗日算子则等价优化问题为：
超球中心可表示为a＝∑iαixi-∑lαlxl,k(,)表示和函数，本发明技术方案中使用径向基和函数(rbf)。核函数方法引入svdd，通过利用核函数代替内积运算将数据映射到可能更高维度的特征空间。通过核函数的引入，支持向量数据描述算法可更灵活有效地进行数据描述。
在本步骤中，通过利用svdd数据描述方法对异常图片特征信息进行描述，可以作为图片数据分类器，相较于传统支持向量机(supportvectormachine，svm)分类器或全连接网络描述的线性分类器，svdd数据描述使用特征空间中的闭合超球实现图片数据描述和分类，可以极大的提升算法的分类准确度和鲁棒性，并且改善了正常图片的误杀问题。
在确定出超球后，对于待检测的图片，将根据映射特征和预先训练确定的超球，确定待检测图片的类型，可以包括：判断映射特征是否处于超球内；若映射特征处于超球内，则确定待检测图片为异常图片；若映射特征不处于超球内，则确定待检测图片为正常图片。
具体的，根据预先确定的超球，判断图片的映射特征是否处于超球内，例如，映射特征为c，若映射特征c不在预先确定的超球内，则确定待检测图片为正常图片，若映射特征c在超球内，则确定待检测图片为异常图片。由于通过预先确定的超球来判断待检测图片的映射特征，可以减少对待检测图片的类型确定上花费的时间，也即提高了图片类型确定的速率。
本实施例提供的图片处理方法，通过对图像特征信息和文本特征信息进行拼接，获取拼接特征信息，进而又对拼接特征信息进行行流形数据的降维处理，获得拼接特征信息的嵌入特征，又根据流形降维和数据描述的映射特征和预先确定的超球，进而确定待检测图片的类型；由于通过对拼接特征信息进行流形数据的降维处理，可以实现以样本类别信息的数据降维以实现特征提取，根据预先确定的超球来判断待检测图片的类型，可以极大的提升算法的分类准确度和鲁棒性，并且改善了正常图片的误杀问题，同时可以减少对待检测图片的类型确定上花费的时间，也即提高了图片类型确定的速率。
图6是本发明根据一示例性实施例示出的一种图片处理装置的流程图。如图6所示，该图片处理装置可以包括：预处理模块11、第一提取模块12和确定模块13。
预处理模块11，用于对待检测图片进行预处理，获得处理后的图片；
第一提取模块12，用于从处理后的图片中，分别提取图像特征信息和文本特征信息；
确定模块13，用于根据图像特征信息和文本特征信息，确定待检测图片的类型，其中，图片的类型包括正常图片或异常图片。
本发明实施例提供的图片处理装置，预处理模块11通过对待检测图片进行预处理，获得处理后的图片；第一提取模块12从处理后的图片中，分别提取图像特征信息和文本特征信息；确定模块13根据图像特征信息和文本特征信息，确定待检测图片的类型，其中，图片的类型包括正常图片或异常图片；由于通过线对待检测的图片进行预处理，使得预处理后的图片更方便进行特征提取与图片类型的确定，另外，由于通过对预处理后的图片分别进行图像特征信息和文本特征信息的提取，可以提升待检测图片的检测和识别效果，而且提高了图片检测的准确度。
图7是本发明根据另一示例性实施例示出的一种图片处理装置的流程图。在图6的基础上该确定模块13包括：拼接子模块131、降维处理子模块132和确定子模块133。
拼接子模块131，用于对图像特征信息和文本特征信息进行拼接处理，获得拼接特征信息。
降维处理子模块132，用于对拼接特征信息进行流形数据的降维处理，获得拼接特征信息的嵌入特征。
确定子模块133，用于根据拼接特征信息的嵌入特征和预先确定的超球，确定待检测图片的类型。
可选的，确定子模块133，具体用于：
判断嵌入特征是否处于超球内；
若嵌入特征处于超球内，则确定待检测图片为异常图片；
若嵌入特征不处于超球内，则确定待检测图片为正常图片。
本实施例提供的图片处理装置，拼接子模块131通过对图像特征信息和文本特征信息进行拼接，获取拼接特征信息，降维处理子模块132通过对拼接特征信息进行行流形数据的降维处理，获得拼接特征信息的嵌入特征，确定子模块133根据拼接特征信息的嵌入特征和预先确定的超球，进而确定待检测图片的类型；由于通过对拼接特征信息进行流形数据的降维处理，可以实现以样本类别信息的数据降维以实现特征提取，根据预先确定的超球来判断待检测图片的类型，可以极大的提升算法的分类准确度和鲁棒性，并且改善了正常图片的误杀问题，同时可以减少对待检测图片的类型确定上花费的时间，也即提高了图片类型确定的速率。
可选的，该图片处理装置还包括：获取模块14、第二提取模块15和数据描述模块16，如图8所示。
获取模块14，用于获取多个样本图片；
第二提取模块15，用于分别提取多个样本图片中每个样本图片的映射特征；
数据描述模块16，用于对各个映射特征进行数据描述，得到超球。
可选的，数据描述模块16还用于：
通过支持向量数据描述svdd算法对各个映射特征进行数据描述，得到超球。
可选的，第一提取模块12用于通过多级卷积神经网络cnn，从处理后的图片中，提取图像特征信息。
可选的，第一提取模块12还用于：
将处理后的图片输入至第一级cnn网络中，得到与处理后的图片对应的第一映射图像以及处理后的图片中目标图像的第一区域框坐标；
将第一映射图像和第一区域框坐标输入至第二级cnn网络中，得到与处理后的图片对应的第二映射图像以及处理后的图片中目标图像的第二区域框坐标；
将第二映射图像和第二区域框坐标输入至第三级cnn网络中，得到图像特征信息。
可选的，第一提取模块12还用于通过多级卷积神经网络cnn和循环神经网络rnn，从处理后的图片中，提取文本特征信息。
可选的，预处理模块11，还用于对待检测图片进行图像金字塔处理，获得处理后的图片。
可选的，该图片处理装置还包括：矫正模块17，如图9所示。
矫正模块17，用于对待检测图片进行图像颜色矫正处理，获得矫正后的图片；
预处理模块11，还用于对矫正后的图片进行图像金字塔处理，获得处理后的图片。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10为本发明实施例提供的一种服务器的结构示意图。图10显示的服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，该服务器可以包括发送器60、处理器61、存储器62和至少一个通信总线63。通信总线63用于实现元件之间的通信连接。存储器62可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，存储器62中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。另外，该服务器还可以包括接收器64，本实施例中的接收器64可以为相应的具有通信功能和接收信息功能的输入接口，本实施例中的发送器60可以为相应的具有通信功能和发送信息功能的输出接口。可选的，该发送器60和接收器64可以集成在一个通信接口中，也可以分别为独立的两个通信接口。
另外，存储器62中存储有计算机程序，并且被配置为由处理器61执行，该计算机程序包括用于执行如上图1和图5所示实施例的方法的指令或者执行如上图1和图5所示实施例的方法的指令。
本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机程序，计算机程序使得服务器执行前述图1和图5所示实施例提供的图片处理方法。其中，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！