一种暴恐刀枪检测模型训练方法、系统及计算机存储介质与流程

1.本发明涉及计算机视觉技术领域，具体而言，涉及一种暴恐刀枪检测模型训练方法、系统及计算机存储介质。


背景技术：

2.目标检测是数字图像中某一类(如人、动物或汽车)的重要计算机视觉任务。
3.在2000年前后，提出的方法大多基于滑动窗口和人工特征提取进行目标检测，其存在计算复杂度高以及复杂场景下鲁棒性差的缺陷。2014年提出r-cnn算法，其利用深度学习技术自动的抽取输入图像中的隐藏特征，对样本进行更高精度的分类和预测。在r-cnn之后，又涌现出fastr-cnn、faster r-cnn、sppnet、yolo系列等众多基于深度学习的图像目标检测算法，目前cnn已经达到了瓶颈，很难再通过新的结构来很大的提升模型的性能。
4.2020年，基于自注意力机制的vision transformer将用于nlp领域的transformer模型成功地应用到了cv领域的图像分类上，并在imagenet数据集上得到88.55％的精度。与卷积网络cnn相比，它在图像分类上实现了极大的精度提升。从此transformer网络正式进入屠榜cv领域时代。
5.现在网络平台上出现很多的暴恐刀枪图片，为了防止暴恐刀枪图片进行社交网络，从而维护互联网平台内容的绿色健康，仅通过swin-transformer模型进行暴恐刀枪图片检测定位的精度是不够高的。
6.针对现有技术中仅通过swin-transformer模型进行暴恐刀枪图片检测定位的精度不够高的问题，目前尚未提出有效的解决方案。


技术实现要素：

7.本发明实施例中提供一种暴恐刀枪检测模型训练方法、系统及计算机存储介质，以解决现有技术中仅通过swin-transformer模型进行暴恐刀枪图片检测定位的精度不够高的问题。
8.为达到上述目的，一方面，本发明提供了一种暴恐刀枪检测模型训练方法，该方法包括：步骤s101，获取目标暴恐刀枪图片集，在所述目标暴恐刀枪图片集中随机抽取预设数量的图片作为第一目标暴恐刀枪图片集；将剩余的图片作为第二目标暴恐刀枪图片集；对所述第一目标暴恐刀枪图片集进行位置标注和类别标注；步骤s102，将标注后的所述第一目标暴恐刀枪图片集划分为训练集、测试集和验证集；步骤s103，在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络；将所述训练集输入到所述更新后的swin-transformer特征提取网络中进行模型训练，并通过所述验证集进行验证，得到初级暴恐刀枪检测模型；根据所述初级暴恐刀枪检测模型对所述测试集进行测试，得到测试集检测的准确率和召回率；步骤s104，当判定所述准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
9.可选的，当判定所述准确率或召回率未达到各自的预设阈值时，进入步骤s105；步
骤s105，根据所述初级暴恐刀枪检测模型对所述第二目标暴恐刀枪图片集进行检测，得到正确图片、错误图片以及所述正确图片的位置信息和类别信息；将所述正确图片输入到所述第一目标暴恐刀枪图片集中并将其划分为更新的训练集、更新的测试集和更新的验证集；根据所述初级暴恐刀枪检测模型对所述更新的训练集进行模型训练并通过所述更新的验证集进行验证，得到更新的暴恐刀枪检测模型；步骤s106，将所述更新的暴恐刀枪检测模型作为所述初级暴恐检测模型，将所述错误图片作为所述第二目标暴恐刀枪图片集，重复所述步骤s105，直至测试集检测的准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
10.可选的，所述在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络包括：通过swin-transformer特征提取网络的骨干网络对样本图片进行特征提取，得到四个特征层；将所述四个特征层进行合并连接得到三个特征图；将所述三个特征图分别送入到卷积层中进行卷积，得到所述更新后的swin-transformer特征提取网络。
11.可选的，所述将所述四个特征层进行合并连接得到三个特征图的计算公式为：
12.f1＝c(p2,p3,p4,p5)＝p2||upx2(p3)||upx4(p4)||upx8(p5)；
13.f2＝c(p3,p4,p5)＝upx2(p3)||upx4(p4)||upx8(p5)；
14.f3＝c(p4,p5)＝upx4(p4)||upx8(p5)；
15.其中，p2为第一特征层；p3为第二特征层；p4为第三特征层；p5为第四特征层；f1为第一特征图；f2为第二特征图；f3为第三特征图；upx2为2倍的上采样；upx4为4倍的上采样；upx8为8倍的上采样。
16.可选的，所述获取目标暴恐刀枪图片集包括：获取原始暴恐刀枪图片集；将所述原始暴恐刀枪图片集进行筛选；将筛选后的暴恐刀枪图片集进行人工审核挑选，得到所述目标暴恐刀枪图片集。
17.可选的，在所述步骤s102之后包括：对划分后的所述训练集进行数据增强；所述数据增强包括：同类增强和混类增强；所述混类增强包括：混合(mixup)数据增强和拼接(mosaic)数据增强。
18.另一方面，本发明提供了一种暴恐刀枪检测模型训练系统，该系统包括：获取单元，用于获取目标暴恐刀枪图片集，在所述目标暴恐刀枪图片集中随机抽取预设数量的图片作为第一目标暴恐刀枪图片集；将剩余的图片作为第二目标暴恐刀枪图片集；对所述第一目标暴恐刀枪图片集进行位置标注和类别标注；划分单元，用于将标注后的所述第一目标暴恐刀枪图片集划分为训练集、测试集和验证集；模型训练单元，用于在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络；将所述训练集输入到所述更新后的swin-transformer特征提取网络中进行模型训练，并通过所述验证集进行验证，得到初级暴恐刀枪检测模型；根据所述初级暴恐刀枪检测模型对所述测试集进行测试，得到测试集检测的准确率和召回率；判断单元，用于当判定所述准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
19.可选的，当判定所述准确率或召回率未达到各自的预设阈值时，进入模型更新单元；模型更新单元，用于根据所述初级暴恐刀枪检测模型对所述第二目标暴恐刀枪图片集
进行检测，得到正确图片、错误图片以及所述正确图片的位置信息和类别信息；将所述正确图片输入到所述第一目标暴恐刀枪图片集中并将其划分为更新的训练集、更新的测试集和更新的验证集；根据所述初级暴恐刀枪检测模型对所述更新的训练集进行模型训练并通过所述更新的验证集进行验证，得到更新的暴恐刀枪检测模型；重复训练单元，用于将所述更新的暴恐刀枪检测模型作为所述初级暴恐检测模型，将所述错误图片作为所述第二目标暴恐刀枪图片集，重复所述模型更新单元，直至测试集检测的准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
20.可选的，还包括：数据增强单元，用于对划分后的所述训练集进行数据增强；所述数据增强包括：同类增强和混类增强；所述混类增强包括：混合(mixup)数据增强和拼接(mosaic)数据增强。
21.另一方面，本发明还提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的暴恐刀枪检测模型训练方法。
22.本发明的有益效果：
23.本发明提供了一种暴恐刀枪检测模型训练方法、系统及计算机存储介质。其中，该方法提供一种改进版的swin-transformer进行暴恐刀枪图片检测，具体的，在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络；通过该方法，能够对网络社交平台上的图片进行暴恐刀枪精准的检测，其检测精度达到90％，并且给出暴恐刀枪图片具体的位置坐标。判断出图片是否是绿色健康的内容，有效解决了人工审核图片存在的效率不足和日益趋升的图片量带来的人力财力消耗的问题。
附图说明
24.图1是本发明实施例提供的一种暴恐刀枪检测模型训练方法的流程图；
25.图2是本发明实施例提供的一种暴恐刀枪检测模型训练系统的结构示意图。
具体实施方式
26.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
27.现在网络平台上出现很多的暴恐刀枪图片，为了防止暴恐刀枪图片进行社交网络，从而维护互联网平台内容的绿色健康，仅通过swin-transformer模型进行暴恐刀枪图片检测定位的精度是不够高的。
28.因而，本发明提供了一种暴恐刀枪检测模型训练方法，图1是本发明实施例提供的一种暴恐刀枪检测模型训练方法的流程图，如图1所示，该方法包括：
29.步骤s101，获取目标暴恐刀枪图片集，在所述目标暴恐刀枪图片集中随机抽取预设数量的图片作为第一目标暴恐刀枪图片集；将剩余的图片作为第二目标暴恐刀枪图片集；对所述第一目标暴恐刀枪图片集进行位置标注和类别标注；
30.在一个可选的实施方式中，所述获取目标暴恐刀枪图片集包括：
31.s1011.获取原始暴恐刀枪图片集；
32.具体的，因暴恐图片集数量较少，需要在网络上从多个渠道(例如：谷歌、百度)爬取原始暴恐刀枪图片集。
33.s1012.将所述原始暴恐刀枪图片集进行筛选；
34.具体的，爬取到的图片集种类较多，此时需剔除gif格式，单通道(8bit)的图片，同时对爬取得到的分辨率过小的图片进行剔除。
35.s1013.将筛选后的暴恐刀枪图片集进行人工审核挑选，得到所述目标暴恐刀枪图片集。
36.通过筛选后的图片数据格式较为干净，再通过人工审核的方法挑选出目标暴恐刀枪图片集(即网络爬取到的原始暴恐刀枪图片集中会掺杂着不属于暴恐刀枪的图片，因此还需要再通过人工审核的方法进一步挑选，保证每一张图片都是暴恐刀枪图片，将所有的暴恐刀枪图片集合得到目标暴恐刀枪图片集)。
37.在得到目标暴恐刀枪图片集后，在所述目标暴恐刀枪图片集中随机抽取预设数量的图片作为第一目标暴恐刀枪图片集；将剩余的图片作为第二目标暴恐刀枪图片集；对所述第一目标暴恐刀枪图片集进行位置标注和类别标注；
38.具体的，本发明中，在得到目标暴恐刀枪图片集后，需要从所述目标暴恐刀枪图片集中抽取预设数量(少批量)的图片作为第一目标暴恐刀枪图片集，之后对第一目标暴恐刀枪图片集采用lableimg标注软件进行人工标注，得到第一目标暴恐刀枪图片集中每张图片的位置信息和类别信息。因人工标注需要花费大量的时间，人力和精力，所以抽取的第一目标暴恐刀枪图片集的数量很少。例如：目标暴恐刀枪图片集为1万张，抽取1000张图片作为第一目标暴恐刀枪图片集，剩余的9000张图片作为第二目标暴恐刀枪图片集。
39.步骤s102，将标注后的所述第一目标暴恐刀枪图片集划分为训练集、测试集和验证集；
40.在一个可选的实施方式中，将标注后的第一目标暴恐刀枪图片集按数量比例(8:1:1)划分为训练集、测试集和验证集；即上述中1000张图片中800张为训练集、100张为测试集、100张为验证集。
41.在一个可选的实施方式中，在所述步骤s102之后包括：
42.对划分后的所述训练集进行数据增强；
43.所述数据增强包括：同类增强和混类增强；所述混类增强包括：混合(mixup)数据增强和拼接(mosaic)数据增强。
44.在一个可选的实施方式中，要获得一个表现良好的暴恐刀枪检测模型，往往需要大量的数据作支撑，训练出来的模型效果越好，模型的泛化能力越强。但是实际中，暴恐刀枪的样本数量不足或者样本质量不够好，然而获取新的暴恐刀枪数据这项工作往往需要花费大量的时间与人工成本。这就要对样本做暴恐刀枪数据增强，来提高样本质量，使用数据增强技术，可以充分利用计算机来生成数据，增加暴恐刀枪数据量，如采用缩放、平移、旋转、色彩变换等方法增强数据，数据增强的好处是能够增加训练样本的数量，同时添加合适的噪声数据，这样通过数据增强后的图片再进行训练能够提高模型的泛化能力，并且通过增加噪声数据也提升了模型的鲁棒性。
45.本发明采用的数据增强包括：同类增强和混类增强；
46.所述同类增强是以一定的随机概率对一张图片(训练集中的图片)进行水平左右翻转，使得图片保留了原来的信息。
47.所述混类增强包括：混合(mixup)数据增强和拼接(mosaic)数据增强。
48.mixup数据增强具体为：对两个样本-标签数据按比例相加后生成新的样本-标签数据，即将两张暴恐刀枪图片按照一定的透明度融合在一起，融合后的数据分布可以用如下公式表示：
[0049][0050][0051]
其中，(xi，yi)，(xj，yj)分别代表两张暴恐刀枪图片的标签(刀或枪)，λ的取值范围为[0，1]，为融合后的图片的标签。
[0052]
进一步的，判断两个图片的大小是否相等，当相等时，将两个图片重合放置，判断两个图片中的标签是否重合，若重合，则无需对这两个图片进行融合操作，只选取两张图片中的一张即可；当两个图片的大小不相等时，将两个图片进行缩放操作以使两个图片大小相等。
[0053]
mosaic数据增强具体为：
[0054]
利用四张暴恐刀枪图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习了。
[0055]
具体过程为：随机选择四张暴恐刀枪图片，新建mosaic画板(所述画板为正方形，所述画板的边长为s_mosaic)，并在mosaic画板上随机生成一个点(x_c，y_c)，围绕随机点(x_c，y_c)放置4张暴恐刀枪图片。
[0056]
画板左上放置图片，假设图片宽高为h，w。放置图片后的图片的位置为(x1a,y1a,x2a,y2a)。当图片宽高超过画板时候，超出部分被舍弃，因此图片放置位置坐标为(0,0,x_c,y_c)；当图片宽高不超过画板的时候，图片放置位置为(x_c-w,y_c-h,x_c,y_c)。则放置后的坐标如下：
[0057]
x1a,y1a,x2a,y2a＝max(x_c-w,0),max(y_c-h,0),x_c,y_c
[0058]
画板右上放置图片，假设图片宽高为h，w。放置图片后的图片的位置为(x1a,y1a,x2a,y2a)。当图片宽高超过画板时候，超出部分被舍弃，图片放置位置坐标为(x_c,0,s_mosaic,y_c)；当图片宽高不超过画板的时候，图片放置位置为(x_c,y_c-h,x_c+w,y_c)。则放置后的坐标如下：
[0059]
x1a,y1a,x2a,y2a＝x_c,max(y_c-h,0),min(x_c+w,s_mosaic),y_c
[0060]
同样的，可以得到画板左下放置图片的坐标以及画板右下放置图片的坐标。
[0061]
通过上述mosaic数据增强方法可以丰富样本数量。
[0062]
进一步的，本发明中，随机对一部分训练集进行同类增强，随机对一部分训练集进行mixup数据增强，随机对一部分训练集进行mosaic数据增强，并不是将所有的训练集只进行同一种数据增强。
[0063]
步骤s103，在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络；将所述训练集输入到所述更新后的
swin-transformer特征提取网络中进行模型训练，并通过所述验证集进行验证，得到初级暴恐刀枪检测模型；根据所述初级暴恐刀枪检测模型对所述测试集进行测试，得到测试集检测的准确率和召回率；
[0064]
在一个可选的实施方式中，所述在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络包括：
[0065]
s1031.通过swin-transformer特征提取网络的骨干网络对样本图片进行特征提取，得到四个特征层；
[0066]
具体为p2、p3、p4、p5四个特征层。
[0067]
s1032.将所述四个特征层进行合并连接(concat)得到三个特征图；
[0068]
其计算公式为：
[0069]
f1＝c(p2,p3,p4,p5)＝p2||upx2(p3)||upx4(p4)||upx8(p5)；
[0070]
f2＝c(p3,p4,p5)＝upx2(p3)||upx4(p4)||upx8(p5)；
[0071]
f3＝c(p4,p5)＝upx4(p4)||upx8(p5)；
[0072]
其中，p2为第一特征层；p3为第二特征层；p4为第三特征层；p5为第四特征层；f1为第一特征图；f2为第二特征图；f3为第三特征图；upx2为2倍的上采样；upx4为4倍的上采样；upx8为8倍的上采样。
[0073]
s1033.将所述三个特征图分别送入到卷积层中进行卷积，得到所述更新后的swin-transformer特征提取网络。
[0074]
具体的，将得到的三个特征图再分别送入到conv(3,3)-bn-relu层中进行卷积，最后得到更新后的swin-transformer特征提取网络。
[0075]
将训练集(800张暴恐刀枪图片)输入到所述更新后的swin-transformer特征提取网络中进行模型训练，当训练集中的所有图片训练完后，为第一轮模型训练，即得到第一轮暴恐刀枪检测模型，此时通过验证集(100张暴恐刀枪图片)对第一轮暴恐刀枪检测模型进行验证，若验证集检测的准确率和召回率未达到各自的预设阈值时，再进行第二轮模型训练，即通过第一轮暴恐刀枪检测模型将训练集中的所有图片再训练一遍，得到第二轮暴恐刀枪检测模型，此时通过验证集(100张暴恐刀枪图片)对第二轮暴恐刀枪检测模型进行验证，若验证集检测的准确率和召回率未达到各自的预设阈值时，再进行第三轮模型训练。重复上述操作，直至进行完n轮后，得到初级暴恐刀枪检测模型；根据所述初级暴恐刀枪检测模型对所述测试集(100张暴恐刀枪图片)进行测试，得到测试集检测的准确率和召回率；
[0076]
步骤s104，当判定所述准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
[0077]
本发明中，当判定所述准确率大于90％时且所述召回率大于80％时，得到最终暴恐刀枪检测模型。
[0078]
在一个可选的实施方式中，当判定所述准确率或召回率未达到各自的预设阈值时，进入步骤s105；
[0079]
步骤s105，根据所述初级暴恐刀枪检测模型对所述第二目标暴恐刀枪图片集进行检测，得到正确图片、错误图片以及所述正确图片的位置信息和类别信息；将所述正确图片输入到所述第一目标暴恐刀枪图片集中并将其划分为更新的训练集、更新的测试集和更新的验证集；根据所述初级暴恐刀枪检测模型对所述更新的训练集进行模型训练并通过所述
更新的验证集进行验证，得到更新的暴恐刀枪检测模型；
[0080]
具体的，根据初级暴恐刀枪检测模型对第二目标暴恐刀枪图片集(9000张图片)进行检测，得到正确图片(2000张)、错误图片(7000张)，并且根据该初级暴恐刀枪检测模型可直接检测到暴恐刀枪图片中标签(刀和/或枪)的位置信息和类别信息。
[0081]
将所述正确图片(2000张图片)输入到所述第一目标暴恐刀枪图片集(1000张图片)中并将其划分为更新的训练集、更新的测试集和更新的验证集；
[0082]
按照数量比例8:1:1划分得到更新的训练集(2400张图片)、更新的测试集(300张图片)、更新的验证集(300张图片)。
[0083]
根据所述初级暴恐刀枪检测模型对所述更新的训练集(2400张图片)进行模型训练并通过所述更新的验证集(300张图片)进行验证，得到更新的暴恐刀枪检测模型。
[0084]
步骤s106，将所述更新的暴恐刀枪检测模型作为所述初级暴恐检测模型，将所述错误图片作为所述第二目标暴恐刀枪图片集，重复所述步骤105，直至测试集检测的准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
[0085]
此时，第二目标暴恐刀枪图片集为(7000张图片)，第一目标暴恐刀枪图片集为3000张图片，根据更新的暴恐刀枪检测模型对第二目标暴恐刀枪图片集(7000张图片)进行检测，得到正确图片(3000张)、错误图片(4000张)，并且根据该初级暴恐刀枪检测模型可直接检测到暴恐刀枪图片中标签(刀和/或枪)的位置信息和类别信息。
[0086]
将所述正确图片(3000张图片)输入到所述第一目标暴恐刀枪图片集(3000张图片)中并将其划分为更新的训练集、更新的测试集和更新的验证集；按照数量比例8∶1∶1划分得到更新的训练集(4800张图片)、更新的测试集(600张图片)、更新的验证集(600张图片)。重复上述步骤，直至测试集检测的准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
[0087]
图2是本发明实施例提供的一种暴恐刀枪检测模型训练系统的结构示意图，如图2所示，该系统包括：
[0088]
获取单元201，用于获取目标暴恐刀枪图片集，在所述目标暴恐刀枪图片集中随机抽取预设数量的图片作为第一目标暴恐刀枪图片集；将剩余的图片作为第二目标暴恐刀枪图片集；对所述第一目标暴恐刀枪图片集进行位置标注和类别标注；
[0089]
在一个可选的实施方式中，所述获取目标暴恐刀枪图片集包括：
[0090]
获取子单元2011，用于获取原始暴恐刀枪图片集；
[0091]
具体的，因暴恐图片集数量较少，需要在网络上从多个渠道(例如：谷歌、百度)爬取原始暴恐刀枪图片集。
[0092]
筛选子单元2012，用于将所述原始暴恐刀枪图片集进行筛选；
[0093]
具体的，爬取到的图片集种类较多，此时需剔除gif格式，单通道(8bit)的图片，同时对爬取得到的分辨率过小的图片进行剔除。
[0094]
挑选子单元2013，用于将筛选后的暴恐刀枪图片集进行人工审核挑选，得到所述目标暴恐刀枪图片集。
[0095]
通过筛选后的图片数据格式较为干净，再通过人工审核的方法挑选出目标暴恐刀枪图片集(即网络爬取到的原始暴恐刀枪图片集中会掺杂着不属于暴恐刀枪的图片，因此还需要再通过人工审核的方法进一步挑选，保证每一张图片都是暴恐刀枪图片，将所有的
暴恐刀枪图片集合得到目标暴恐刀枪图片集)。
[0096]
在得到目标暴恐刀枪图片集后，在所述目标暴恐刀枪图片集中随机抽取预设数量的图片作为第一目标暴恐刀枪图片集；将剩余的图片作为第二目标暴恐刀枪图片集；对所述第一目标暴恐刀枪图片集进行位置标注和类别标注；
[0097]
具体的，本发明中，在得到目标暴恐刀枪图片集后，需要从所述目标暴恐刀枪图片集中抽取预设数量(少批量)的图片作为第一目标暴恐刀枪图片集，之后对第一目标暴恐刀枪图片集采用lableimg标注软件进行人工标注，得到第一目标暴恐刀枪图片集中每张图片的位置信息和类别信息。因人工标注需要花费大量的时间，人力和精力，所以抽取的第一目标暴恐刀枪图片集的数量很少。例如：目标暴恐刀枪图片集为1万张，抽取1000张图片作为第一目标暴恐刀枪图片集，剩余的9000张图片作为第二目标暴恐刀枪图片集。
[0098]
划分单元202，用于将标注后的所述第一目标暴恐刀枪图片集划分为训练集、测试集和验证集；
[0099]
在一个可选的实施方式中，将标注后的第一目标暴恐刀枪图片集按数量比例(8:1:1)划分为训练集、测试集和验证集；即上述中1000张图片中800张为训练集、100张为测试集、100张为验证集。
[0100]
在一个可选的实施方式中，所述暴恐刀枪检测模型训练系统还包括：
[0101]
数据增强单元，用于对划分后的所述训练集进行数据增强；
[0102]
所述数据增强包括：同类增强和混类增强；所述混类增强包括：混合(mixup)数据增强和拼接(mosaic)数据增强。
[0103]
在一个可选的实施方式中，要获得一个表现良好的暴恐刀枪检测模型，往往需要大量的数据作支撑，训练出来的模型效果越好，模型的泛化能力越强。但是实际中，暴恐刀枪的样本数量不足或者样本质量不够好，然而获取新的暴恐刀枪数据这项工作往往需要花费大量的时间与人工成本。这就要对样本做暴恐刀枪数据增强，来提高样本质量，使用数据增强技术，可以充分利用计算机来生成数据，增加暴恐刀枪数据量，如采用缩放、平移、旋转、色彩变换等方法增强数据，数据增强的好处是能够增加训练样本的数量，同时添加合适的噪声数据，这样通过数据增强后的图片再进行训练能够提高模型的泛化能力，并且通过增加噪声数据也提升了模型的鲁棒性。
[0104]
本发明采用的数据增强包括：同类增强和混类增强；
[0105]
所述同类增强是以一定的随机概率对一张图片(训练集中的图片)进行水平左右翻转，使得图片保留了原来的信息。
[0106]
所述混类增强包括：混合(mixup)数据增强和拼接(mosaic)数据增强。
[0107]
mixup数据增强具体为：对两个样本-标签数据按比例相加后生成新的样本-标签数据，即将两张暴恐刀枪图片按照一定的透明度融合在一起，融合后的数据分布可以用如下公式表示：
[0108][0109][0110]
其中，(xi，yi)，(xj，yj)分别代表两张暴恐刀枪图片的标签(刀或枪)，λ的取值范围为[0，1]，为融合后的图片的标签。
[0111]
进一步的，判断两个图片的大小是否相等，当相等时，将两个图片重合放置，判断两个图片中的标签是否重合，若重合，则无需对这两个图片进行融合操作，只选取两张图片中的一张即可；当两个图片的大小不相等时，将两个图片进行缩放操作以使两个图片大小相等。
[0112]
mosaic数据增强具体为：
[0113]
利用四张暴恐刀枪图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习了。
[0114]
具体过程为：随机选择四张暴恐刀枪图片，新建mosaic画板(所述画板为正方形，所述画板的边长为s_mosaic)，并在mosaic画板上随机生成一个点(x_c，y_c)，围绕随机点(x_c，y_c)放置4张暴恐刀枪图片。
[0115]
画板左上放置图片，假设图片宽高为h，w。放置图片后的图片的位置为(x1a,y1a,x2a,y2a)。当图片宽高超过画板时候，超出部分被舍弃，因此图片放置位置坐标为(0,0,x_c,y_c)；当图片宽高不超过画板的时候，图片放置位置为(x_c-w,y_c-h,x_c,y_c)。则放置后的坐标如下：
[0116]
x1a,y1a,x2a,y2a＝max(x_c-w,0),max(y_c-h,0),x_c,y_c
[0117]
画板右上放置图片，假设图片宽高为h，w。放置图片后的图片的位置为(x1a,y1a,x2a,y2a)。当图片宽高超过画板时候，超出部分被舍弃，图片放置位置坐标为(x_c,0,s_mosaic,y_c)；当图片宽高不超过画板的时候，图片放置位置为(x_c,y_c-h,x_c+w,y_c)。则放置后的坐标如下：
[0118]
x1a,y1a,x2a,y2a＝x_c,max(y_c-h,0),min(x_c+w,s_mosaic),y_c
[0119]
同样的，可以得到画板左下放置图片的坐标以及画板右下放置图片的坐标。
[0120]
通过上述mosaic数据增强方法可以丰富样本数量。
[0121]
进一步的，本发明中，随机对一部分训练集进行同类增强，随机对一部分训练集进行mixup数据增强，随机对一部分训练集进行mosaic数据增强，并不是将所有的训练集只进行同一种数据增强。
[0122]
模型训练单元203，用于在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络；将所述训练集输入到所述更新后的swin-transformer特征提取网络中进行模型训练，并通过所述验证集进行验证，得到初级暴恐刀枪检测模型；根据所述初级暴恐刀枪检测模型对所述测试集进行测试，得到测试集检测的准确率和召回率；
[0123]
在一个可选的实施方式中，所述在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络包括：
[0124]
提取子单元2031，用于通过swin-transformer特征提取网络的骨干网络对样本图片进行特征提取，得到四个特征层；
[0125]
具体为p2、p3、p4、p5四个特征层。
[0126]
融合单元2032，用于将所述四个特征层进行合并连接(concat)得到三个特征图；
[0127]
其计算公式为：
[0128]
f1＝c(p2,p3,p4,p5)＝p2||upx2(p3)||upx4(p4)||upx8(p5)；
[0129]
f2＝c(p3,p4,p5)＝upx2(p3)||upx4(p4)||upx8(p5)；
[0130]
f3＝c(p4,p5)＝upx4(p4)||upx8(p5)；
[0131]
其中，p2为第一特征层；p3为第二特征层；p4为第三特征层；p5为第四特征层；f1为第一特征图；f2为第二特征图；f3为第三特征图；upx2为2倍的上采样；upx4为4倍的上采样；upx8为8倍的上采样。
[0132]
卷积单元2033，用于将所述三个特征图分别送入到卷积层中进行卷积，得到所述更新后的swin-transformer特征提取网络。
[0133]
具体的，将得到的三个特征图再分别送入到conv(3,3)-bn-relu层中进行卷积，最后得到更新后的swin-transformer特征提取网络。
[0134]
将训练集(800张暴恐刀枪图片)输入到所述更新后的swin-transformer特征提取网络中进行模型训练，当训练集中的所有图片训练完后，为第一轮模型训练，即得到第一轮暴恐刀枪检测模型，此时通过验证集(100张暴恐刀枪图片)对第一轮暴恐刀枪检测模型进行验证，若验证集检测的准确率和召回率未达到各自的预设阈值时，再进行第二轮模型训练，即通过第一轮暴恐刀枪检测模型将训练集中的所有图片再训练一遍，得到第二轮暴恐刀枪检测模型，此时通过验证集(100张暴恐刀枪图片)对第二轮暴恐刀枪检测模型进行验证，若验证集检测的准确率和召回率未达到各自的预设阈值时，再进行第三轮模型训练。重复上述操作，直至进行完n轮后，得到初级暴恐刀枪检测模型；根据所述初级暴恐刀枪检测模型对所述测试集(100张暴恐刀枪图片)进行测试，得到测试集检测的准确率和召回率；
[0135]
判断单元204，用于当判定所述准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
[0136]
本发明中，当判定所述准确率大于90％时且所述召回率大于80％时，得到最终暴恐刀枪检测模型。
[0137]
当判定所述准确率或召回率未达到各自的预设阈值时，进入模型更新单元205；
[0138]
模型更新单元205，用于根据所述初级暴恐刀枪检测模型对所述第二目标暴恐刀枪图片集进行检测，得到正确图片、错误图片以及所述正确图片的位置信息和类别信息；将所述正确图片输入到所述第一目标暴恐刀枪图片集中并将其划分为更新的训练集、更新的测试集和更新的验证集；根据所述初级暴恐刀枪检测模型对所述更新的训练集进行模型训练并通过所述更新的验证集进行验证，得到更新的暴恐刀枪检测模型；
[0139]
具体的，根据初级暴恐刀枪检测模型对第二目标暴恐刀枪图片集(9000张图片)进行检测，得到正确图片(2000张)、错误图片(7000张)，并且根据该初级暴恐刀枪检测模型可直接检测到暴恐刀枪图片中标签(刀和/或枪)的位置信息和类别信息。
[0140]
将所述正确图片(2000张图片)输入到所述第一目标暴恐刀枪图片集(1000张图片)中并将其划分为更新的训练集、更新的测试集和更新的验证集；
[0141]
按照数量比例8:1:1划分得到更新的训练集(2400张图片)、更新的测试集(300张图片)、更新的验证集(300张图片)。
[0142]
根据所述初级暴恐刀枪检测模型对所述更新的训练集(2400张图片)进行模型训练并通过所述更新的验证集(300张图片)进行验证，得到更新的暴恐刀枪检测模型。
[0143]
重复训练单元206，用于将所述更新的暴恐刀枪检测模型作为所述初级暴恐检测模型，将所述错误图片作为所述第二目标暴恐刀枪图片集，重复所述模型更新单元，直至测
试集检测的准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
[0144]
此时，第二目标暴恐刀枪图片集为(7000张图片)，第一目标暴恐刀枪图片集为3000张图片，根据更新的暴恐刀枪检测模型对第二目标暴恐刀枪图片集(7000张图片)进行检测，得到正确图片(3000张)、错误图片(4000张)，并且根据该初级暴恐刀枪检测模型可直接检测到暴恐刀枪图片中标签(刀和/或枪)的位置信息和类别信息。
[0145]
将所述正确图片(3000张图片)输入到所述第一目标暴恐刀枪图片集(3000张图片)中并将其划分为更新的训练集、更新的测试集和更新的验证集；按照数量比例8:1:1划分得到更新的训练集(4800张图片)、更新的测试集(600张图片)、更新的验证集(600张图片)。重复上述步骤，直至测试集检测的准确率和召回率均大于各自的预设阈值时，得到最终暴恐刀枪检测模型。
[0146]
通过本发明的方法，对网络社交平台上的图片进行暴恐刀枪检测的精度可达到90％，保证了检测的准确率。
[0147]
本发明的有益效果：
[0148]
本发明提供了一种暴恐刀枪检测模型训练方法、系统及计算机存储介质。其中，该方法提供一种改进版的swin-transformer进行暴恐刀枪图片检测，具体的，在层次化视觉(swin-transformer)特征提取网络上增加特征图金字塔网络，得到更新后的swin-transformer特征提取网络；通过该方法，能够对网络社交平台上的图片进行暴恐刀枪精准的检测，其检测精度达到90％，并且给出暴恐刀枪图片具体的位置坐标。判断出图片是否是绿色健康的内容，有效解决了人工审核图片存在的效率不足和日益趋升的图片量带来的人力财力消耗的问题。
[0149]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。