一种基于可变形卷积的危险品检测方法、装置及设备与流程
本申请涉及目标识别技术领域，特别涉及一种基于可变形卷积的危险品检测方法、装置、设备及可读存储介质。
背景技术：
随着交通行业的发展，人口流动越来越频繁，为保证公共安全，有必要在公共安全区域检测武器、爆炸物、毒品等危险品。传统的目标检测算法在学习过程中总是学习固定的危险品的形状，因此导致算法不够鲁棒。比如目标检测算法经过学习后能识别出一把水平放置的小刀了，但是无法识别垂直放置的小刀。
可见，如何降低目标位置变化给目标识别带来的影响，提升目标识别的鲁棒性，是亟待本领域技术人员解决的问题。
技术实现要素：
本申请的目的是提供一种基于可变形卷积的危险品检测方法、装置、设备及可读存储介质，用以解决传统的目标识别算法鲁棒性较差，识别结果受目标位置变化影响较大的问题。具体方案如下：
第一方面，本申请提供了一种基于可变形卷积的危险品检测方法，包括：
获取待检测的危险品图像；
利用可变形卷积网络对所述危险品图像进行特征提取，得到原始
特征图；
将所述原始特征图输入rpn层，确定所述原始特征图中的兴趣区域以及所述兴趣区域是否为危险品的分类结果；
将所述分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图；
利用全连接层，根据所述目标特征图确定所述危险品图像中危险品的类别和检测框。
优选的，所述将所述原始特征图输入rpn层，确定所述原始特征图中的兴趣区域以及所述兴趣区域是否为危险品的分类结果，包括：
根据所述原始特征图生成多个锚框；
利用第一全连接分支对所述多个锚框进行是否为危险品的二分类，得到分类结果；
利用第二全连接分支对所述多个锚框进行修正，得到兴趣区域。
优选的，所述将所述分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图，包括：
将所述分类结果为危险品的兴趣区域映射到所述原始特征图；
对映射后的原始特征图进行划分，得到子区域集合，所述子区域集合中子区域的数量等于所述兴趣区域的维度；
对所述子区域集合中的各个子区域进行最大池化操作，得到预设尺寸的目标特征图。
优选的，所述利用可变形卷积网络对所述危险品图像进行特征提取，得到原始特征图，包括：
确定所述危险品图像中各个像素的位置偏移量；
根据所述位置偏移量和所述危险品图像中各个像素的原始位置值，确定偏移后的位置值；
利用双线性插值将所述偏移后的位置值转换为整数，得到目标位置值；
根据所述目标位置值确定原始特征图。
优选的，所述利用全连接层，根据所述目标特征图确定所述危险品图像中危险品的类别和检测框，包括：
利用第三全连接分支根据所述目标特征图，确定所述危险品图像中危险品的类别；
利用第四全连接分支根据检测框损失函数确定所述危险品的矩形检测框，其中，所述检测框损失函数等于所述roipooling层的损失函数。
第二方面，本申请提供了一种基于可变形卷积的危险品检测装置，包括：
图像获取模块：用于获取待检测的危险品图像；
特征提取模块：用于利用可变形卷积网络对所述危险品图像进行特征提取，得到原始特征图；
兴趣区域确定模块：用于将所述原始特征图输入rpn层，确定所述原始特征图中的兴趣区域以及所述兴趣区域是否为危险品的分类结果；
池化模块：用于将所述分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图；
全连接模块：用于利用全连接层，根据所述目标特征图确定所述危险品图像中危险品的类别和检测框。
优选的，所述兴趣区域确定模块包括：
锚框生成单元：用于根据所述原始特征图生成多个锚框；
分类单元：用于利用第一全连接分支对所述多个锚框进行是否为危险品的二分类，得到分类结果；
修正单元：用于利用第二全连接分支对所述多个锚框进行修正，得到兴趣区域。
优选的，所述特征提取模块包括：
位置偏移量确定单元：用于确定所述危险品图像中各个像素的位置偏移量；
位置偏移单元：用于根据所述位置偏移量和所述危险品图像中各个像素的原始位置值，确定偏移后的位置值；
转换单元：用于利用双线性插值将所述偏移后的位置值转换为整数，得到目标位置值；
原始特征图确定单元：用于根据所述目标位置值确定原始特征图。
第三方面，本申请提供了一种基于可变形卷积的危险品检测设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序以实现如上所述的一种基于可变形卷积的危险品检测方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于可变形卷积的危险品检测方法的步骤。
本申请所提供的一种基于可变形卷积的危险品检测方法、装置、设备及可读存储介质，方案包括：获取待检测的危险品图像；利用可变形卷积网络对危险品图像进行特征提取，得到原始特征图；将原始特征图输入rpn层，确定原始特征图中的兴趣区域以及兴趣区域是否为危险品的分类结果；将分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图；利用全连接层，根据目标特征图确定危险品图像中危险品的类别和检测框。
可见，该方案利用可变形卷积对危险品图像进行特征提取，由于可变形卷积能够通过可学习的仿射变换增加卷积核的旋转不变性，因此该方案能够实现在危险品的形状或位置不确定的情况下的目标识别，显著提升了危险品识别结果的可靠性和精确性。此外，该方案能够同时输出危险品的类别和检测框，提升了目标识别的效率。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种基于可变形卷积的危险品检测方法实施例一的实现流程图；
图2为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二的实现流程图；
图3为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二的过程示意图；
图4为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二中s202的细化流程图；
图5为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二中可变形卷积的示意图；
图6为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二中s203的细化流程图；
图7为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二中rpn层的示意图；
图8为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二中s204的细化流程图；
图9为本申请所提供的一种基于可变形卷积的危险品检测方法实施例二中s205的细化流程图；
图10为本申请所提供的一种基于可变形卷积的危险品检测装置实施例的功能框图；
图11为本申请所提供的一种基于可变形卷积的危险品检测设备实施例的结构示意图。
具体实施方式
本申请的核心是提供一种基于可变形卷积的危险品检测方法、装置、设备及可读存储介质，能够实现在危险品的形状或位置不确定的情况下的目标识别，显著提升了危险品识别结果的可靠性和精确性。此外，该方案能够同时输出危险品的类别和检测框，提升了目标识别的效率。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请提供的一种基于可变形卷积的危险品检测方法实施例一进行介绍，参见图1，实施例一包括：
s101、获取待检测的危险品图像；
具体的，可以从安检设备的成像装置获取上述危险品图像，上述危险品图像具体可以为太赫兹图像。太赫兹光谱和成像技术能够有效的对藏匿在个人衣物下或行李物品中金属物品、隐蔽的武器和炸药进行光谱测量，从而有效的排查出爆炸物、生化违禁物、武器和毒品等危险物品,甚至能确定它们的化学成分,避免安全事故的发生。
s102、利用可变形卷积网络对所述危险品图像进行特征提取，得到原始特征图；
为了提高卷积神经网络对空间、尺度、旋转变换的建模能力，本实施例利用可变形卷积(deformableconvolution)网络对危险品图像进行特征提取，其目的在于对空间采样的位置信息作进一步位移调整，其中的偏移量可以在学习中得到。
s103、将所述原始特征图输入rpn层，确定所述原始特征图中的兴趣区域以及所述兴趣区域是否为危险品的分类结果；
rpn，全称regionproposalnetworks，即区域生成网络。在将原始特征图输入rpn层之后，rpn层首先生成多个锚框(anchorbox),然后，进入两个分支，其中一个分支用于对锚框进行分类，判断其是不是危险品，得到分类结果；另一个分支用于对锚框进行调整，得到较为精确的区域，即上述兴趣区域。其中，分类结果可以为是或否的二分类结果，也可以为一个评价该区域是否为危险品的概率分数，本实施例对此不做限定。值得一提的是，本实施例中得到的兴趣区域可能为危险物品，也可能不为危险物品，当兴趣区域为危险物品的时候，该兴趣区域可能为危险物品的整体，也可能为危险物品的局部。
s104、将所述分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图；
roipooling层即兴趣区域池化层，具体的，本实施例中roipooling层用于将rpn层输出的危险品的兴趣区域映射到原始特征图上，并将映射后的原始特征图转换为预设尺寸的特征图，即上述目标特征图。其中，预设尺寸为预先设定的，具体取值可以根据实际情况自行调整，或者在学习过程中确定，本实施例对此不做限定。
s105、利用全连接层，根据所述目标特征图确定所述危险品图像中危险品的类别和检测框。
可以理解的是，本实施例中最终的全连接层也包括两个分支，其中一个分支用于确定危险品的类别，另一个分支用于确定危险品的检测框，即危险品的精确位置。
本实施例所提供一种基于可变形卷积的危险品检测方法，方案包括：获取待检测的危险品图像；利用可变形卷积网络对危险品图像进行特征提取，得到原始特征图；将原始特征图输入rpn层，确定原始特征图中的兴趣区域以及兴趣区域是否为危险品的分类结果；将分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图；利用全连接层，根据目标特征图确定危险品图像中危险品的类别和检测框。可见，该方案利用可变形卷积对危险品图像进行特征提取，由于可变形卷积能够通过可学习的仿射变换增加卷积核的旋转不变性，因此该方案能够实现在危险品的形状或位置不确定的情况下的目标识别，显著提升了危险品识别结果的可靠性和精确性。此外，该方案能够同时输出危险品的类别和检测框，提升了目标识别的效率。
下面开始详细介绍本申请提供的一种基于可变形卷积的危险品检测方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
图2为实施例二的实现流程图，图3为实施例二的过程示意图，参见图2和图3，实施例二具体包括：
s201、从安检设备的太赫兹图像采集装置获取待检测的危险品图像；
s202、利用可变形卷积网络对所述危险品图像进行特征提取，得到原始特征图；
s203、将所述原始特征图输入rpn层，确定所述原始特征图中的兴趣区域以及所述兴趣区域是否为危险品的分类结果；
s204、将所述分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图；
s205、利用全连接层，根据所述目标特征图确定所述危险品图像中危险品的类别和检测框。
图4为上述s202的细化流程图，图5为可变形卷积的示意图，参见图4和图5，上述s202具体包括以下步骤：
s401、确定所述危险品图像中各个像素的位置偏移量；
假设原始的危险品图像大小为b*h*w*c，经过一个普通卷积，卷积填充为same，那么，输出结果为(b*h*w*2c)，这个结果指的是原图片中每个像素的位置偏移量。
s402、根据所述位置偏移量和所述危险品图像中各个像素的原始位置值，确定偏移后的位置值；
将危险品图像像素的原始位置值(索引值)与位置偏移量相加，得到偏移后的位置值，需要注意的是这里的位置值是浮点型。
s403、利用双线性插值将所述偏移后的位置值转换为整数，得到目标位置值；
假设偏移后的位置值(a，b)，因为a和b都是浮点数，所以将其转化为4个整数，分别是floor(a)、ceil(a)、floor(b)和ceil(b)。将四个整数变成4对坐标后使用双线性插值获得原始图片中(a，b)的目标位置值。具体操作为：
f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)
其中a即公式中的i+u，i在这里是a的整数部分，u是a的小数部分；类似地，b＝j+v,类似地，j在这里是b的整数部分，v是b的小数部分，f(i,j)则是原图像在(i,j)处的目标位置值。
s404、根据所述目标位置值确定原始特征图。
在得到所有坐标的目标位置值后，即得到了一个新图像，即上述原始特征图(featuremap)，后续即可将原始特征图作为输入数据输入到其他层中。
图6为上述s203的细化流程图，图7为rpn层的示意图，参见图6和图7，上述s203具体包括以下步骤：
s601、根据所述原始特征图生成多个锚框；
s602、利用第一全连接分支对所述多个锚框进行是否为危险品的二分类，得到分类结果；
s603、利用第二全连接分支对所述多个锚框进行修正，得到兴趣区域。
为了生成兴趣区域(regionproposals)，本实施例在卷积的原始特征图上滑动一个小的网络，这个小的网络输入卷积特征图的一个n*n窗口，每个滑动窗口都映射到一个低维特征，这个特征被输入到两个全连接分支中，其中一个全连接分支为box-classification层，简称cls，用于分类目标，本实施例将其称为第一全连接分支；另一个全连接分支为box-regression层，简称reg，用于生成矩形框，本实施例将其称为第二全连接分支。
在每个滑动窗口位置，本实施例同时预测多个兴趣区域，其中每个位置的最大可能建议的数量表示为k。所以第二全连接分支有4k个输出来编码k个box的坐标(矩形四个顶点的坐标值)；第一全连接分支输出2k的分数来估计每个兴趣区域是危险品的概率或者不是的概率。
为了训练rpn层，本实施例将一个二进制类标签(是否是危险品)分配给每个锚点，将锚框与真值框的交并比最高的或跟真值框的交并比大于预设阈值的锚框对应的锚点设置为正标签，其中预设阈值可以取值为0.7。一个真值框可以对应多个正标签的锚点，在多任务之后最小化一个损失函数，该损失函数定义为：
在损失函数中，i是每个锚框中锚点的序号，p表示锚点i是目标的概率，p*是标签(只能是二分类标签0或1)，t是预测框的4个参数，t*是标定框的参数，lcls是分类损失函数，lreg是回归损失函数，
lreg的公式如下：
其中
参见图8，上述s204具体包括以下步骤：
s801、将所述分类结果为危险品的兴趣区域映射到所述原始特征图；
s802、对映射后的原始特征图进行划分，得到子区域集合，所述子区域集合中子区域的数量等于所述兴趣区域的维度；
s803、对所述子区域集合中的各个子区域进行最大池化操作，得到预设尺寸的目标特征图。
将rpn层输出的兴趣区域映射到原始特征图的相应位置；将映射后的特征图划分为大小相同的区域，区域的数量与输入的维度是相同的；对每个区域进行maxpooling操作；即可得到最终的预设尺寸的目标特征图。
如图9所示，上述s205具体包括以下步骤：
s901、利用第三全连接分支根据所述目标特征图，确定所述危险品图像中危险品的类别；
s902、利用第四全连接分支根据检测框损失函数确定所述危险品的矩形检测框，其中，所述检测框损失函数等于所述roipooling层的损失函数。
上述第三全连接分支使用softmax对兴趣区域进行具体类别的分类，判断危险品属于哪类。softmax的函数定义为:
其中t表示分类的类别数量，公式中aj表示类别向量的第j个值，分母则表示所有类别向量中的值相加，输出sj是概率向量。
上述第四全连接分支用于对兴趣区域进行回归以获取更高精度的矩形框的位置，具体通过smoothl1losslayer实现，其中smoothl1losslayer的损失函数与前述rpn层的损失函数相同，此处不再赘述。
本实施例所提供一种基于可变形卷积的危险品检测方法，首先通过可变形卷积获得形状不固定的采样，再通过rpn层以及roipolling层来获得兴趣区域和做出最后是否危险品的判断，该方案将二者网络结构结合起来，不仅能提高准确率、速度快、使网络更加容易训练，而且更能适应危险品形状、位置多变等复杂的应用场景。
下面对本申请实施例提供的一种基于可变形卷积的危险品检测装置进行介绍，下文描述的一种基于可变形卷积的危险品检测装置与上文描述的一种基于可变形卷积的危险品检测方法可相互对应参照。
参见图10，该装置包括:
图像获取模块1001：用于获取待检测的危险品图像；
特征提取模块1002：用于利用可变形卷积网络对所述危险品图像进行特征提取，得到原始特征图；
兴趣区域确定模块1003：用于将所述原始特征图输入rpn层，确定所述原始特征图中的兴趣区域以及所述兴趣区域是否为危险品的分类结果；
池化模块1004：用于将所述分类结果为危险品的兴趣区域输入roipooling层，得到预设尺寸的目标特征图；
全连接模块1005：用于利用全连接层，根据所述目标特征图确定所述危险品图像中危险品的类别和检测框。
在一些具体的实施例中，所述兴趣区域确定模块1003包括：
锚框生成单元：用于根据所述原始特征图生成多个锚框；
分类单元：用于利用第一全连接分支对所述多个锚框进行是否为危险品的二分类，得到分类结果；
修正单元：用于利用第二全连接分支对所述多个锚框进行修正，得到兴趣区域。
在一些具体的实施例中，所述特征提取模块1002包括：
位置偏移量确定单元：用于确定所述危险品图像中各个像素的位置偏移量；
位置偏移单元：用于根据所述位置偏移量和所述危险品图像中各个像素的原始位置值，确定偏移后的位置值；
转换单元：用于利用双线性插值将所述偏移后的位置值转换为整数，得到目标位置值；
原始特征图确定单元：用于根据所述目标位置值确定原始特征图。
本实施例的一种基于可变形卷积的危险品检测装置用于实现前述的一种基于可变形卷积的危险品检测方法，因此该装置中的具体实施方式可见前文中的一种基于可变形卷积的危险品检测方法的实施例部分，例如，图像获取模块1001、特征提取模块1002、兴趣区域确定模块1003、池化模块1004、全连接模块1005，分别用于实现上述一种基于可变形卷积的危险品检测方法中步骤s101，s102，s103，s104，s105。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的一种基于可变形卷积的危险品检测装置用于实现前述的一种基于可变形卷积的危险品检测方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种基于可变形卷积的危险品检测设备，如图11所示，包括：
存储器1101：用于存储计算机程序；
处理器1102：用于执行所述计算机程序以实现如上所述的一种基于可变形卷积的危险品检测方法的步骤。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于可变形卷积的危险品检测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
- 还没有人留言评论。精彩留言会获得点赞！