基于深度神经网络模型的图片内容审核方法与流程

1.本发明涉及人工智能和图像识别领域，尤其涉及一种基于深度神经网络模型的图片内容审核方法。


背景技术：

2.智能化技术的飞速发展使人工智能逐渐渗透到各个领域中，并影响着人们的方方面面，在人工智能背景下，图像识别技术已经成为一种新兴的技术手段，该技术在短短的几十年里得到了迅猛的发展，并在诸多领域中发挥着越来越重要的作用。在人工智能的带动下，图像识别技术的应用水平正得以不断提高，关于图像识别技术的应用，也正受到越来越多人的关注。
3.图像识别技术是人工智能的一个重要领域。简单来说，图像识别就是计算机如何像人一样读懂图片的内容。而图像识别所研究的问题，是如何用计算机代替人类去自动处理大量的物理信息，解决人类所无法识别或者识别过于耗费资源的问题，从而很大程度上解放人类的劳动力。
4.现有技术中，网络上的图片审核主要依赖于人工，但是随着网络用户量的激增，图片的审核工作量也成几何倍数增加，导致图片审核效率低而且成本极高。


技术实现要素：

5.针对上述问题，本发明提供了一种基于深度神经网络模型的图片内容审核方法，其包括以下步骤：
6.获取论坛交流板块上用户上传的所有交流图片以得到交流图片集，并从数据库中获取若干张标准违规图片以得到标准违规图片集；
7.从数据库获取模型训练样本集，对图片分类神经网络模型进行网络初始化，从模型训练样本集中随机选取一个模型训练样本作为聚类中心；计算聚类中心与模型训练样本集中每个模型训练样本的特征距离，并根据所述特征距离将模型训练样本集中的所有模型训练样本进行分组；
8.将模型训练样本集中的每个模型训练样本输入图片分类神经网络模型以获取模型训练样本集中每个模型训练样本的输出误差，根据模型训练样本集中每个模型训练样本的输出误差获取模型训练样本集的输出误差；
9.在模型训练样本集的输出误差小于误差阈值时，调整聚类中心为图片分类神经网络模型的最终径向基中心，并根据梯度下降法更新图片分类神经网络模型的隐含层与输出层之间的权值；
10.将交流图片集中每张交流图片输入图片分类神经网络模型以输出交流图片集中每张交流图片的交流图片类型，并根据交流图片集中每张交流图片的交流图片类型得到交流图片集中每张交流图片的评价增强系数；
11.获取标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物
配饰特征，并对所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征进行混合拼接处理以得到混合多层次敏感特征；
12.获取交流图片集中每张交流图片的图像整体特征、图像主体特征和图像配饰特征以得到交流图片集中每张交流图片的单一多层次敏感特征；
13.根据混合多层次敏感特征与每张交流图片的单一多层次敏感特征计算每张交流图片的敏感值，并根据每张交流图片的评价增强系数对每张交流图片的敏感值进行更新以得到每张交流图片的异常值，然后将交流图片集中异常值大于异常阈值的交流图片作为违规交流图片。
14.进一步实施例中，所述图片分类神经网络模型包括：输入层、隐含层和输出层；所述人物躯干包括头、手臂、上身、下身和腿；所述人物配饰包括人物用品和人物服装；所述交流图片类型包括风景图片、人物图片、汽车图片和动物图片；
15.进一步实施例中，对模型训练样本集进行数据归一化，并根据模型训练样本集中模型训练样本的特征确定图片分类神经网络模型的输入层和输出层的神经元数目；
16.利用rbf神经网络通用函数训练图片分类神经网络模型以自动确定图片分类神经网络模型的隐含层的神经元数目；
17.计算图片分类神经网络模型的预测输出数据和期望输出数据的平方和误差，并将平方和误差与平方和误差阈值进行比较；所述预测输出数据为模型训练样本输入图片分类神经网络模型后输出的数据；所述期望输出数据为模型训练样本的实际数据；
18.在平方和误差大于平方和误差阈值时，在图片分类神经网络模型的隐含层中增加一个神经元以对神经网络进行更新，并计算更新后的图片分类神经网络模型的预测输出和期望输出的平方和误差，直到平方和误差小于平方和误差阈值。
19.进一步实施例中，获取标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征包括：
20.对所有标准违规图片进行图像预处理和图像归一化，并计算每张标准违规图片的第一梯度值和第二梯度值，
21.根据每张标准违规图片的第一梯度值和第二梯度值计算每张标准违规图片的梯度方向角；所述第一梯度值为标准违规图片在水平方向的梯度值；所述第二梯度值为标准违规图片在垂直方向的梯度值；
22.根据梯度方向角将标准违规图片分割为若干个图像网格，每个图像网格包括m
×
m个像素点；获取图像网格中所有像素点的像素值以统计图像网格中每个像素值出现的频次；
23.根据像素网格中每个像素值出现的频次与图像网格中像素点的数量获取每个像素值出现的频率，并根据图像网格中每个像素值出现的频率得到图像网格的网格特征矩阵。
24.进一步实施例中，获取标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征包括：
25.随机选取三个图像网格作为中心图像网格，并将其他图像网格作为候选图像网格；
26.根据候选图像网格的网格特征矩阵和中心图像网格的网格特征矩阵计算候选图
像网格与每个中心图像网格的特征距离，并将每个候选图像网格分配给特征距离最近的中心图像网格以得到三个图像网格组；
27.根据每个图像网格组中每个候选图像网格与中心图像网格的特征距离得到每个图像网格组的特征总距离；
28.根据三个图像网格组的特征总距离计算均方误差，并将均方误差与误差阈值进行比较，在均方误差大于误差阈值时，更新每个图像网格组的中心图像网格以重新划分图像网格组，直到图像网格组的均方误差小于误差阈值；
29.将每个图像网格组中所有网格特征矩阵进行特征变换以得到每个图像网格组的特征，将三个图像网格组的特征进行映射匹配以得到人物全身特征、人物躯干特征和人物配饰特征。
30.进一步实施例中，对标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征进行混合拼接处理以得到混合多层次敏感特征包括：
31.获取标准违规图片集中各标准违规图片之间的特征相似度和标准违规图片集中标准违规图片的数量，并根据标准违规图片集中各标准违规图片之间的特征相似度和标准违规图片集中标准违规图片的数量计算相似度均值；
32.根据标准违规图片集中各标准违规图片之间的特征相似度、标准违规图片集中标准违规图片的数量和相似度均值计算相似度差方；
33.根据相似度均值和相似度方差计算权重系数，并根据权重系数对所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征进行混合拼接处理以得到混合多层次敏感特征。
34.进一步实施例中，根据混合多层次敏感特征与单一多层次敏感特征计算交流图片的敏感值包括：
35.根据交流图片的单一多层次敏感特征获取交流图片的每个敏感特征的第一敏感特征向量；根据混合多层次敏感特征获取每个敏感特征的若干个第二敏感特征向量；
36.分别计算每个第一敏感特征向量与对应的若干个第二敏感特征向量的特征距离以得到对应敏感特征的若干个候选特征距离；
37.将所述若干个候选特征距离中距离最小的候选特征距离作为对应敏感特征的特征距离，并根据交流图片的所有敏感特征的特征距离计算交流图片的敏感值。
38.进一步实施例中，根据混合多层次敏感特征与单一多层次敏感特征计算交流图片的敏感值还包括：
[0039][0040]hp
为交流图片集中第p个交流图片的敏感值，q为敏感特征索引，m为敏感特征个数，ηq为第q个敏感特征的敏感系数，k
pq
为交流图片集中第p个交流图片的第q个敏感特征的特征距离。
[0041]
本发明具有以下有益效果：
[0042]
本发明提供的基于深度神经网络模型的图片内容审核方法根据模型训练本集训练图片分类神经网络模型，并通过图片分类神经网络模型识别交流图片的交流图片类型，
根据交流图片类型、交流图片和标准违规图像集对交流图片进行自动审核提高了图片审核效率，节约人力物力成本。
附图说明
[0043]
图1为一示例性实施例提供的基于深度神经网络模型的图片内容审核方法的流程图。
具体实施方式
[0044]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
基于深度神经网络模型的图片内容审核方法通过提取所有历史审核出的违规图片包含的敏感特征自动筛选出交流论坛中用户上传的违规图片，极大程度提高了审核效率，节约人力物力成本。此外，本发明在对用户交流图片的审核过程中，为不同交流图片类型设置了不同评价增强系数，顺应生活实际情况主要聚焦于对人物类交流图片的违规审核，极大程度提高了违规图片和异常图片检测的准确率。本发明还通过检测人物类型图片服装道具，精确筛选出违规图片，在一定程度降低了违规图片的漏检率。
[0046]
参见图1，在一个实施例中，基于深度神经网络模型的图片内容审核方法可以包括：
[0047]
s1、获取论坛交流板块上用户上传的所有交流图片以得到交流图片集，并从数据库中获取若干张标准违规图片以得到标准违规图片集；从数据库获取模型训练样本集，对图片分类神经网络模型进行网络初始化，从模型训练样本集中随机选取一个模型训练样本作为聚类中心；计算聚类中心与模型训练样本集中每个模型训练样本的特征距离，并根据所述特征距离将模型训练样本集中的所有模型训练样本进行分组。
[0048]
交流图片类型包括风景图片、人物图片、汽车图片和动物图片。标准违规图片可以为审核人员历史检测出的包含违规内容的违规图片。标准违规图片集包括若干张标准违规图片。
[0049]
s2、将模型训练样本集中的每个模型训练样本输入图片分类神经网络模型以获取模型训练样本集中每个模型训练样本的输出误差，根据模型训练样本集中每个模型训练样本的输出误差获取模型训练样本集的输出误差。
[0050]
s3、在模型训练样本集的输出误差小于误差阈值时，调整聚类中心为图片分类神经网络模型的最终径向基中心，并根据梯度下降法更新图片分类神经网络模型的隐含层与输出层之间的权值。
[0051]
图片分类神经网络模型包括：输入层、隐含层和输出层。
[0052]
在一个实施例中，对模型训练样本集进行数据归一化，并根据模型训练样本集中模型训练样本的特征确定图片分类神经网络模型的输入层和输出层的神经元数目；
[0053]
利用rbf神经网络通用函数训练图片分类神经网络模型以自动确定图片分类神经网络模型的隐含层的神经元数目；
[0054]
计算图片分类神经网络模型的预测输出数据和期望输出数据的平方和误差，并将平方和误差与平方和误差阈值进行比较；所述预测输出数据为模型训练样本输入图片分类神经网络模型后输出的数据；所述期望输出数据为模型训练样本的实际数据；
[0055]
在平方和误差大于平方和误差阈值时，在图片分类神经网络模型的隐含层中增加一个神经元以对神经网络进行更新，并计算更新后的图片分类神经网络模型的预测输出和期望输出的平方和误差，直到平方和误差小于平方和误差阈值。
[0056]
s4、将交流图片集中每张交流图片输入图片分类神经网络模型以输出交流图片集中每张交流图片的交流图片类型，并根据交流图片集中每张交流图片的交流图片类型得到交流图片集中每张交流图片的评价增强系数。
[0057]
在实际生活中，违规图片一般为人物图片，例如人物半身裸露，人物全身裸露和人物重点部位裸露。根据图片分类深度神经网络模型获取每张交流图片的交流图片类型，并根据交流图片类型得到对应的评价增强系数，以增强或削弱相应交流图片的异常值。例如，在交流图片类型为人物图片，将所述交流图片对应的评价增强系数设置为1，以增强包含人物内容的交流图片的异常值，即顺应实际情况，将审核的重点聚焦到包含有人体特征的交流图片中，提高交流图片审核的准确度，减少错误审核的情况。
[0058]
评价增强系数用于指示是否增强相应交流图片的异常值。例如，在根据交流图片类型得到的交流图片对应的评价增强系数为1时，将交流图片的异常值进行增强；在根据交流图片类型得到的交流图片对应的评价增强系数为0时，将交流图片的异常值进行削弱。
[0059]
在交流图片类型为人物图片，将所述交流图片对应的评价增强系数设置为1，以增强包含人物内容的交流图片的异常值，提高违规图片检测的准确度，降低图片误检率。
[0060]
例如，在与自然动物研究有关的论坛交流板块中，在有关动物生存繁衍习性的讨论中用户上传的交流图片包含相关动物的生理结构特征以作学术交流，此时，将此类交流图片对应的评价增强系数设置为0，以削弱此类交流图片的异常值，降低图片误检率，以保证用户正常的学术交流。
[0061]
本发明比传统人工审核图片的效率更高，且根据从历史违规图片中提取出的人体特征及其服装道具特征对用户上传的交流图片进行审核，以识别出某些违规图片，使其比一般自动审核图片的方法准确率更高，从而减少了违规图片的漏检率。
[0062]
s5、获取标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征，并对所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征进行混合拼接处理以得到混合多层次敏感特征；获取交流图片集中每张交流图片的图像整体特征、图像主体特征和图像配饰特征以得到交流图片集中每张交流图片的单一多层次敏感特征。
[0063]
在一个实施例中，获取标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征包括：
[0064]
对所有标准违规图片进行图像预处理和图像归一化，并计算每张标准违规图片的第一梯度值和第二梯度值，
[0065]
根据每张标准违规图片的第一梯度值和第二梯度值计算每张标准违规图片的梯度方向角；所述第一梯度值为标准违规图片在水平方向的梯度值；所述第二梯度值为标准违规图片在垂直方向的梯度值；
[0066]
根据梯度方向角将标准违规图片分割为若干个图像网格，每个图像网格包括m
×
m个像素点；获取图像网格中所有像素点的像素值以统计图像网格中每个像素值出现的频次；
[0067]
根据像素网格中每个像素值出现的频次与图像网格中像素点的数量获取每个像素值出现的频率，并根据图像网格中每个像素值出现的频率得到图像网格的网格特征矩阵。
[0068]
在一个实施例中，获取标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征包括：
[0069]
随机选取三个图像网格作为中心图像网格，并将其他图像网格作为候选图像网格；
[0070]
根据候选图像网格的网格特征矩阵和中心图像网格的网格特征矩阵计算候选图像网格与每个中心图像网格的特征距离，并将每个候选图像网格分配给特征距离最近的中心图像网格以得到三个图像网格组；
[0071]
根据每个图像网格组中每个候选图像网格与中心图像网格的特征距离得到每个图像网格组的特征总距离；
[0072]
根据三个图像网格组的特征总距离计算均方误差，并将均方误差与误差阈值进行比较，在均方误差大于误差阈值时，更新每个图像网格组的中心图像网格以重新划分图像网格组，直到图像网格组的均方误差小于误差阈值；
[0073]
将每个图像网格组中所有网格特征矩阵进行特征变换以得到每个图像网格组的特征，将三个图像网格组的特征进行映射匹配以得到人物全身特征、人物躯干特征和人物配饰特征。
[0074]
在一个实施例中，对标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征进行混合拼接处理以得到混合多层次敏感特征包括：
[0075]
获取标准违规图片集中各标准违规图片之间的特征相似度和标准违规图片集中标准违规图片的数量，并根据标准违规图片集中各标准违规图片之间的特征相似度和标准违规图片集中标准违规图片的数量计算相似度均值；
[0076]
根据标准违规图片集中各标准违规图片之间的特征相似度、标准违规图片集中标准违规图片的数量和相似度均值计算相似度差方；
[0077]
根据相似度均值和相似度方差计算权重系数，并根据权重系数对所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征进行混合拼接处理以得到混合多层次敏感特征。
[0078]
在一个实施例中，混合多层次敏感特征由多张标准违规图片的多层次敏感特征经相应拼接而得到的，其中，混合多层次敏感特征包括所有标准违规图片的多层次敏感特征，保证了混合多层次敏感特征的多样性，相比于利用单独一张标准违规图片的多层次敏感特征来对用户上传的交流图片进行筛选和检测，提高了交流图片检测的准确度以及降低了交流图片的漏检率。
[0079]
多层次敏感特征为图片多角度、多方位的敏感特征，其包括人物全身特征中的敏感特征、人物躯干特征中的敏感特征和人物配饰特征中的敏感特征。人物躯干包括头、手臂、上身、下身和腿；人物配饰包括人物用品和人物服装。
[0080]
获取标准违规图片集中所有标准违规图片的人物全身特征、人物躯干特征和人物配饰特征以进行混合拼接处理得到混合多层次敏感特征，以此作为审核交流图片内容时的匹配特征，从而对人物的配饰具有较高的识别能力，能够识别出某些包含性暗示的交流图片，相较于传统技术手段中仅通过人体衣物的覆盖率来识别是否为违规图片的情况，较大程度的提高了违规图片识别的准确度。
[0081]
例如，通过对服装道具特征的识别，判断该交流图片中人物穿戴的服装是否为异常，该交流图片中人物所使用的物品是否异常，从而不遗漏每一张有违规倾向的交流图片。此外，通过多层次敏感特征计算得出交流图片的敏感值，也达到了上述相同效果，即极大程度提高了对违规图片和异常图像识别的准确性。
[0082]
单一多层次敏感特征为根据相应交流图片的图像整体特征、图像主体特征和图像配饰特征进行处理所得到的该交流图片的多层次敏感特征。
[0083]
s6、根据混合多层次敏感特征与每张交流图片的单一多层次敏感特征计算每张交流图片的敏感值，并根据每张交流图片的评价增强系数对每张交流图片的敏感值进行更新以得到每张交流图片的异常值，然后将交流图片集中异常值大于异常阈值的交流图片作为违规交流图片。
[0084]
在一个实施例中，根据混合多层次敏感特征与单一多层次敏感特征计算交流图片的敏感值包括：
[0085]
根据交流图片的单一多层次敏感特征获取交流图片的每个敏感特征的第一敏感特征向量；根据混合多层次敏感特征获取每个敏感特征的若干个第二敏感特征向量；
[0086]
分别计算每个第一敏感特征向量与对应的若干个第二敏感特征向量的特征距离以得到对应敏感特征的若干个候选特征距离；
[0087]
将所述若干个候选特征距离中距离最小的候选特征距离作为对应敏感特征的特征距离，并根据交流图片的所有敏感特征的特征距离计算交流图片的敏感值。
[0088]
在一个实施例中，根据混合多层次敏感特征与单一多层次敏感特征计算交流图片的敏感值还包括：
[0089][0090]hp
为交流图片集中第p个交流图片的敏感值，q为敏感特征索引，m为敏感特征个数，ηq为第q个敏感特征的敏感系数，k
pq
为交流图片集中第p个交流图片的第q个敏感特征的特征距离。
[0091]
本发明提供的基于深度神经网络模型的图片内容审核方法根据模型训练本集训练图片分类神经网络模型，并通过图片分类神经网络模型识别交流图片的交流图片类型，根据交流图片类型、交流图片和标准违规图像集对交流图片进行自动审核提高了图片审核效率，节约人力物力成本。
[0092]
需要理解的是，尽管第一、第二、第三等术语在本文中可以用来描述各种设备、元件、部件或元素，但是这些设备、元件、部件或元素不应当由这些术语限制。这些术语仅用来将一个设备、元件、部件或元素与另一个设备、元件、部件或元素相区分。
[0093]
尽管已经结合一些实施例描述了本发明，但是其不旨在被限于在本文中所阐述的
特定形式。相反，本发明的范围仅由所附权利要求来限制。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外，在权利要求中，词“包括”不排除其它元件，并且不定冠词“一”或“一个”不排除多个。