一种基于深度学习的图像识别系统、方法及介质与流程

本发明涉及图像识别技术领域，具体涉及一种基于深度学习的图像识别系统、方法及介质。

背景技术：

随着互联网的快速发展，互联网图像内容呈爆炸式增长，图像良莠不齐并掺杂了不良图像，如：少儿不宜的图像、暴力血腥图像、暴恐图像等不良图像，使用人工审核的方式已经不能适应互联网图像传播发展的需要，人力、财力都需要大量的投入，而且效率比较低下，如何能通过图像识别的方法来自动识别不良图像成为研究的热点。

技术实现要素：

针对现有技术中的缺陷，本发明的目的之一在于提供一种基于深度学习的图像识别系统，通过深度学习对图像进行识别，能自动快速识别出不良图像，减少互联网图像不良图像识别的人力和物力的投入。

第一方面，本发明实施例提供的一种基于深度学习的图像识别系统，包括服务器，所述服务器包括图像质量判断模块、图像信息采集模块和图像识别模块，所述图像质量判断模块用于对上传的待检测图像的质量进行检测和调整，将合格的图像传输给图像信息采集模块；所述图像信息采集模块用于对待检测图像进行肤色检测算法和ssd物体检测算法人物属性特征图像，根据人物属性特征进行关键部位分割，得到人物关键部位特征图像，并把得到的人物属性特征图像和人物关键部位特征图像传输给图像识别模块；所述图像识别模块用于对接收的图像信息采集模块传输的图像采用深度学习识别模型进行识别，得到识别结果。

可选地，所述图像信息采集模块包括人物属性特征提取单元和人物关键部位特征提取单元，所述人物关键特征提取单元采用肤色检测算法和ssd物体检测算法从待检测图像中提取人物属性特征图像；所述人物关键部位特征提取单元用于根据人物属性特征进行关键部位的划分得到人物关键部位特征图像。

可选地，所述图像识别模块包括建立模型单元，所述建立模型单元记录标记成不良图像的各部分特征点的坐标作为初始数据，并将多个不良图像的各部分特征点的坐标进行相互对应，再通过深度学习的方法建立不良图像各部分的特征模型，得到图像识别模型。

可选地，所述图像识别模块包括图像分析单元，所述图像分析单元将人物关键部位特征图像利用图像识别模型进行分析识别，得到分析识别结果。

可选地，服务器还包括信息反馈模块，所述信息反馈模块将分析识别结果进行存储，并将结果反馈给终端。

第二方面，本发明实施例提供的一种基于深度学习的图像识别方法，具体包括以下步骤，

对待检测图像的质量进行检测和调整，判断所述待检测图像的质量是否合格；

对合格的待检测图像进行图像信息采集，得到的人物属性特征图像和人物关键部位特征图像；

采用图像识别模型对所述人物属性特征图像和人物关键部位特征图像进行深度学习识别，得到识别结果。

可选地，所述对合格的待检测图像进行图像信息采集的方法具体包括：

通过肤色算法和ssd物体检测算法检测图中人物属性特征图像；

采用fcn算法分割出人物的关键部位的特征图像。

可选地，所述图像识别模型的建立具体方法包括：

记录标记成不良图像的各部分特征点的坐标作为初始数据；

将多个不良图像的各部分特征点的坐标进行相互对应；

通过深度学习的方法建立不良图像各部分的特征模型，得到图像识别模型。

可选地，采用图像识别模型对所述人物属性特征图像和人物关键部位特征图像进行深度学习识别的具体方法包括：

对所述人物属性特征图像和人物关键部位特征图像进行缩放处理；

采用归一化处理方法计算出人物属性特征和人物关键部位特征的平均值mean和方差var，特征的每一点数据为x，经过(x–mean)/var处理之后，让特征数据符合整体的正太分布；

从训练样本数据中随机抽取80％的样本，并结合权重、学习率、批次、正则化模型参数调整，训练得到五个不同的网络模型，在对图片进行识别时，按照就高原则取每个模型前两个分类的置信度(f1,f2)，再通过线性回归算法计算每个模型的权重(w1,w2,w3,w4,w5)，每个模型的权重与置信度相乘，得出置信度最高的分类，同时再经过softmax回归将置信度输出，得到识别结果。

第三方面，本发明实施例还提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被服务器执行时使所述服务器执行上述方法。

本发明的有益效果：

本发明实施例的一种基于深度学习的图像识别系统、方法及介质，通过深度学习对图像进行识别，能自动快速识别出不良图像，减少互联网图像不良图像识别的人力和物力的投入。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的一种基于深度学习的图像识别系统的第一实施例的原理框图；

图2示出了本发明所提供的一种基于深度学习的图像识别方法的第一实施例的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，示出了本发明所提供的一种基于深度学习的图像识别系统的第一实施例的原理框图，包括服务器和终端，终端向服务器发送待检测图像，所述服务器包括图像质量判断模块、图像信息采集模块和图像识别模块，所述图像质量判断模块用于对上传的待检测图像的质量进行检测和调整，将合格的图像传输给图像信息采集模块；所述图像信息采集模块用于对待检测图像进行肤色检测算法和ssd物体检测算法人物属性特征图像，根据人物属性特征进行关键部位分割，得到人物关键部位特征图像，并把得到的人物属性特征图像和人物关键部位特征图像传输给图像识别模块；所述图像识别模块用于对接收的图像信息采集模块传输的图像采用深度学习识别模型进行识别，得到识别结果。

图像质量判断模块，对上传的待检测图像的质量进行检测和调整，先检测待检测图像的后缀名是否为jpg、jpeg、png、bmp等静态图文件名后缀，排除gif动态图，其次判断图像是否是rgb的三通道图片，然后再检测图片是否损坏，当这些条件都满足的时候，判定为合格的图像。

图像信息采集模块，使用肤色检测算法对待检测图像进行肤色检测，提取人物的关键特征区域；再使用目标检测算法ssd提取人物特征，然后结合人物的关键特征区域和人物特征的相互结果，得到完整的人物属性特征，然后对人物属性特征使用语义分割算法fcn对人物特征进行进一步的分离，分割出人物关键部位，将图像划分为不同的区域，得到人物关键部位特征图像。图像信息采集模块将待检测图像进行特征提取和分割，将待检测图像中人物部分保留，并尽可能多地按照特征继续分为人脸、肢体等部分，然后将每一部分的图像传输到图像识别模型中识别，如果图像信息采集模块未能采集到关于人物属性的特征，则将整张图像传送到图像识别模型中识别。

图像识别模块包括建立模型单元和图像分析单元，建立模型单元记录标记成不良图像的各部分特征点的坐标作为初始数据，并将多个不良图像的各部分特征点的坐标进行相互对应，再通过深度学习的方法建立不良图像各部分的特征模型，得到图像识别模型；图像识别模块包括所述图像分析单元将人物关键部位特征图像利用图像识别模型进行分析识别，得到分析识别结果。建立模型单元基于深度学习的纵向resnet和横向googlenet的神经网络的相互结合，采用网络深度与宽度的相互结合方式，以及端到端的识别技术，可以直接将采集到的特征信息，通过模型的计算达到精准的分类。建立模型单元采用prelu代替传统relu算法，当出现小于0的特征值的时候，我们仍然能够更好的学习一些特征，从而更加精准的分类。当特征值小于0的时候，f(y)的导数为零，在反向传播的过程中，导致学习参数的不更新，无法学习到新的特征。为了解决此问题我们使用了prelu来代替relu，让其在特征值小于0的时候仍然可以学习到有用的特征信息。

将人物属性特征图像和人物关键部位特征图像，先进行缩放到规定大小，然后再通过归一化处理，先求出特征的平均值mean和方差var，特征的每一点数据为x，经过(x–mean)/var处理之后，让特征数据符合整体的正太分布，提高模型的识别精准度，以及识别速度。从训练样本数据中随机抽取80％的样本，权重、学习率、批次、正则化等模型参数调整，训练得到五个不同的网络模型，在对图片进行识别时，结合分别取五个模型置信度最高的两个分类置信度值(f1,f2)，再通过线性回归算法得到每个模型的权重(w1,w2,w3,w4,w5)，每个模型的权重与置信度值进行相乘，最后得出比重置信度最高的分类，同时在经过softmax回归，将置信度输出，从而得到最终的结果。深度学习自动识别技术采用的是随机梯度下降(sgd)算法来完成图像识别模型的优化，该方法可以将图像识别模型每一次学习到的结果，反向传递给图像识别模型中的参数，从而达到更新参数，并不断地调整图像识别模型，从而使图像识别模型达到最优的结果。

进一步地，服务器还包括信息反馈模块，所述信息反馈模块将分析识别结果进行存储，并将结果反馈给终端。先通过md5算法，计算待检测图像的md5值，将md5值与识别结果一一对应存储，存储在服务器中。

第二方面，如图2所示，示出了本发明实施例提供的一种基于深度学习的图像识别方法第一实施例的流程图，适用于上述实施例中的基于深度学习的图像识别系统，系统包括服务器和终端，终端向服务器发送待检测图像，服务器对图像进行识别处理，该方法具体包括以下步骤，

s1:获取待检测图像；

s2:对待检测图像的质量进行检测和调整，判断所述待检测图像的质量是否合格。具体地，先检测待检测图像的后缀名是否为jpg、jpeg、png、bmp等静态图文件名后缀，排除gif动态图，其次判断图像是否是rgb的三通道图片，然后再检测图片是否损坏，当这些条件都满足的时候，判定为合格的图像。

s3:判断待检测图像是否被检测识别过。计算原图像的md5值，在云端中查看是否有与之相匹配的md5值，若存在，则将其已经识别的结果通过信息反馈模块进行返回，若未找到，则进入下一步进行图像特征信息采集。

s4：对合格的待检测图像进行图像信息采集，得到的人物属性特征图像和人物关键部位特征图像。

具体地，在待检测图像中可能包含其他的物体、背景等干扰因素，例如植物、桌子、椅子、电视等物体；建筑、天空、墙面之类的背景，这些无用信息如果不剔除掉，会在特征比对时造成干扰。采用肤色算法和ssd物体检测算法检测图中人物属性特征图像，减少其他干扰因素，提高图像识别模型判断的准确性；采用fcn算法分割出人物的关键部位的特征图像，便于图像识别模型更好的识别。

s5:采用图像识别模型对所述人物属性特征图像和人物关键部位特征图像进行深度学习识别，得到识别结果。

具体地，图像识别模型的建立具体方法包括：

记录标记成不良图像的各部分特征点的坐标作为初始数据；

将多个不良图像的各部分特征点的坐标进行相互对应；

通过深度学习的方法建立不良图像各部分的特征模型，得到图像识别模型。

采用图像识别模型对所述人物属性特征图像和人物关键部位特征图像进行深度学习识别的具体方法包括：

对所述人物属性特征图像和人物关键部位特征图像进行缩放处理；

采用归一化处理方法计算出人物属性特征和人物关键部位特征的平均值mean和方差var，特征的每一点数据为x，经过(x–mean)/var处理之后，让特征数据符合整体的正太分布；

从训练样本数据中随机抽取80％的样本，并结合权重、学习率、批次、正则化模型参数调整，训练得到五个不同的网络模型，在对图片进行识别时，按照就高原则取每个模型前两个分类的置信度(f1,f2)，再通过线性回归算法计算每个模型的权重(w1,w2,w3,w4,w5)，每个模型的权重与置信度相乘，得出置信度最高的分类，同时再经过softmax回归将置信度输出，得到识别结果，判断待检测图像是否为不良图像。

采用基于map/reduce模型的多类特征组合强化学习优化方法，充分利用图像各单一特征之间的优势互补特性，综合考虑多类特征对人物的图像进行描述，使其具有更高的图像聚类精度。用这种方法时，多个服务器端可以在各自的环境中独立地学习特征组合，提高了特征组合优化的效率，使海量图像的特征组合优化具有很强的并发性和可扩展性。

对于海量、高维的特征数据库，通过线性扫描特征数据库来实现检索难以满足要求。根据特征向量进行相似性搜索与数据聚类在本质上是一致的特性，采用基于map/reduce的k-均值聚类算法对图像块实现聚类索引。k-means算法的主要计算工作是将每个样本分配给距离其最近的聚簇，并且分配不同样本的操作之间是相互独立的。在每次迭代中，k-means算法在部署的数据节点分别执行相同的map和reduce操作完成图像块聚类过程。

在图像块的聚类基础上，将图像块的特征聚类索引看作视觉关键词，图像将由一系列的视觉关键词构成的特征聚类向量表示。在部署的map/reduce框架中，map/reduce过程采用了向量空间模型及语言模型计算出每个图像对的语义相似度，构建图像的语义相似度社会网络，提取局部语义社会网络。在图像对的相似度计算中，只考虑高维空间中某些相关维上的信息，即只在高维空间的某些有意义的子空间中研究图像间的相似性或差异性。并据此来构建相应的索引结构，降低聚类索引的高维性引发的“维度灾难”的影响。

s6：识别结果进行存储和反馈。在完成图像识别，将识别结果进行存储，并将识别结果反馈给终端。用户通过终端可对识别结果进行评分，服务器获取。

第三方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被服务器执行时使所述服务器执行上述方法。

所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。