一种X光安检机图片物体检测方法与流程

本发明公开了一种x光安检机图片物体检测方法，涉及安检图像识别
技术领域：
。
背景技术：
：随着城市的不断发展，公共安检在城市安全系统中开始起着越来越重要的作用。其中，利用x光安检机对交通卡口乘客行李进行检查已经成为了公共安检的主要手段之一。当前x光安检机安检机制主要依赖于人工手段，通过配备经过训练的安保人员用肉眼观察乘客行李的x光扫描图片，对被检人的行李进行检查。目前基于人工的x光安检机安检机制存在着以下三点缺陷：人力成本高，每个x光安检机通道都需要配备若干名经过培训的安检人员。安检人员的培训费用加上后期薪水，都是一笔高额的成本开支。准确性无保障，实验表明，人的注意力在四十五分钟后会出现明显涣散，在如此条件下，人眼筛选的图片结果准确性无法得到保障。效率低，受限于人眼观看图片的速度，被检人行李往往以较慢的速率通过x光安检机，安检效率偏低。技术实现要素：本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种x光安检机图片物体检测方法。为了使得现有x光安检机制变得智能、精确、高效，本发明设计出了一种全新的x光安检机图片物体检测算法。fh-smart-xray-net网络基本结构是一种基于deeplearning神经网络的目标检测技术，针对x光安检机图片进行了专项优化，识别准确率高，性能优秀。本发明为解决上述技术问题采用以下技术方案：一种x光安检机图片物体检测方法，所述方法基于fh-smart-xray-net的网络基本结构，所述fh-smart-xray-net的网络基本结构包括四部分组成结构，分别是x光图像基础特征提取网络、多尺度x光物体特征网络、x光图像前景背景特征网络以及类别回归、位置回归和前景概率回归处理模块；所述fh-smart-xray-net网络基本结构首先对送入网络的图像进行尺度归一化处理，随后使用x光图像基础特征提取网络实现x光图像特征提取，所述x光图像基础特征提取网络包括基础特征层和抽象特征层，其中，基础特征层用以提取x光图像中的基础特征，抽象特征层用以提取x光图像深层次的抽象特征，获得图像整体的语意信息，抽象特征层输出的特征图分为大、中、小三个尺度；所述多尺度x光物体特征网络是紧跟在x光图像基础特征提取网络之后的网络，通过优化x光图像基础特征提取网络输出的大、中、小三尺度特征，实现对x光图像内不同物体的检测，包括特征图反卷积处理、定义objectcandidatearea处理以及抽象特征卷积处理；多尺度x光物体特征网络最终输出的特征图经过所述x光图像前景背景特征网络进一步优化处理，每一个特征图都被进一步卷积，产生的新特征图，新的特征图被送入算法后续阶段以判断每一个objectcandidatearea属于前景还是背景；所述类别回归、位置回归和前景概率回归处理模块对提取到的相应特征进行类别回归、位置回归以及前景概率回归，三者总和将成为本次前向传播的损失值；在反向传播时，fh-smart-xray-net网络基本结构将根据损失值调节网络参数，使最终效果达到最优。作为本发明的进一步优选方案，所述x光图像基础特征提取网络中，基础特征层使用三层卷积；抽象特征层使用三级尺度抽象卷积，或者根据实际需求使用单尺度或多尺度抽象卷积。作为本发明的进一步优选方案，所述多尺度x光物体特征网络中，在模型训练阶段，每一个objectcandidatearea对应图像内的每一个真实值计算面积重合率，根据面积重合率的大小，objectcandidatearea将被分为正样本区域和负样本区域，供模型训练过程中的类别和位置回归使用。作为本发明的进一步优选方案，所述类别回归、位置回归和前景概率回归处理模块中，采用了softmax回归实现类别回归，其计算方法为：其中，x(i)表示第i个输入图像的特征，y表示输出的预测图像类别，i表示第i个输入样本，j表示输出的总的图像类别数，k表示输出的图像类别数量，t表示矩阵转置符，θ表示模型的参数。作为本发明的进一步优选方案，所述类别回归、位置回归和前景概率回归处理模块中，位置回归的方法为：指在模型训练过程中，通过平移、缩放的方式不断调整预测区域的位置，最大化二者的重合面积，使得预测位置与真实值尽可能的重合。作为本发明的进一步优选方案，所述类别回归、位置回归和前景概率回归处理模块中，前景概率回归的方法为：在模型的训练过程中，对x光图像前景背景特征网络输出的特征图进行softmax计算，并将此部分损失值计入最后的损失函数中。作为本发明的进一步优选方案，所述类别回归、位置回归和前景概率回归处理模块中，网络对提取到的相应特征进行类别回归、位置回归以及前景概率回归，三者总和将成为本次前向传播的损失值；在反向传播时，fh-smart-xray-net网络基本结构将根据损失值调节网络参数，fh-smart-xray-net网络基本结构的损失函数定义如下：上式中，参数含义如下：三种loss的权重分别占总权重的三分之一；nfg表示的是属于前景的objectcandidatearea的数量；nloc表示的是所有objectcandidatearea位置的数量；ncls|fg表示的是确认是前景的条件下objectcandidatearea对于每个类别的数量。本发明采用以上技术方案与现有技术相比，具有以下技术效果：1)fh-smart-xray-net网络基本结构是基于最新深度学习技术所诞生的产物，而目前市场上没有类似针对x光图像的产品。fh-smart-xray-net网络基本结构相较于人工检验会显得更加智能、准确、高效。2)具有一定的抗复杂背景和噪声干扰的能力，检测能力与人眼相当。3)fh-smart-xray-net网络基本结构的检测速率最快可达100fps，能够达到人眼检测的100倍左右，效率上是质的飞越。附图说明图1是本发明中，fh-smart-xray-net网络基本结构示意图。图2是本发明中，不同尺度特征图的感受野的示意图。图3是本发明中，对特征图进行反卷积操作的示意图。图4是本发明中，面积重合率的定义示意图。图5是predictionregion的位置回归示意图。具体实施方式下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下面结合附图对本发明的技术方案做进一步的详细说明：本发明设计了一种命名为：fh-smart-xray-net的网络基本结构，如图1所示，主要分为四个部分：一、x光图像基础特征提取网络(x-net)；二、多尺度x光物体特征网络；三、x光图像前景背景特征网络；四、类别回归、位置回归以及前景概率回归。1、x光图像基础特征提取网络，x-net：fh-smart-xray-net网络基本结构使用x-net网络实现x光图像特征提取。x-net是一种专门用于提取x光图像特征的神经网络结构，主要包含两个部分：基础特征层和抽象特征层。(1)基础特征层基础特征层是x-net的前半部分，用以提取x光图像中的基础特征(颜色、形状、纹理等)。基础特征层可以使用alexnet、vggnet、googlenet等通用性网络。本专利优选基础特征层使用三层卷积，并考虑到x光图像中的小物体类别(如打火机、耳机等)，加大了每层featuremap的尺寸，以提高小尺寸物体的检测效果。(2)抽象特征层连接在基础特征层之后的是抽象特征层。抽象特征层的作用是提取图像深层次的抽象特征，获得图像整体的语意信息。本专利中，抽象特征层输出的特征图(featuremap)分为大(max)、中(mid)、小(min)三个尺度，特征图(featuremap)越大，其感受野(receptivefield)越小，可检测的目标尺度也越小；反之，特征图(featuremap)越小，其感受野(receptivefield)越大，可检测的目标尺度也越大。大、中、小三个尺度的特征图可以有效完成对不同尺寸目标的分工检测，如图2所示。x-net的抽象特征层的实现不仅可以使用三级尺度抽象卷积，也可以根据实际需求使用单尺度或更多尺度进行尝试。2、多尺度x光物体特征网络多尺度x光物体特征网络是紧跟在x-net后面的网络，它是fh-smart-xray-net网络基本结构内的第二部分。多尺度x光物体特征网络通过优化x-net输出的大、中、小三尺度特征，实现对x光图像内不同物体的检测，包括如下三个部分：特征图反卷积、objectcandidatearea以及抽象特征卷积。多尺度x光物体特征网络的特征图放大倍数是根据大量实验得到的，放大倍数可以根据实际检测目标的尺寸进行调节。如果被检测目标的尺寸较大，可以将多尺度x光物体特征网络从fh-smart-xray-net中去除，优化网络性能。(1)特征图反卷积为确保对小尺寸物体检测的效果，本专利利用反卷积，将x-net输出的特征图(featuremap)放大，以增强整个网络对于小物体的检测效果，如图3所示。(2)objectcandidatearea经过特征图反卷积的三组不同尺度的特征图中，每个特征点定义若干数量的objectcandidatearea。objectcandidatearea的尺寸(scale)和宽高比(aspectratio)都可以设置。根据实际识别目标尺寸的不同，我们可以设置objectcandidatearea对应的大小和宽高比。在模型训练阶段，每一个objectcandidatearea会与对应图像内的每一个真实值(gt)计算面积重合率(iou)。根据面积重合率的大小，objectcandidatearea将被分为正样本区域和负样本区域，供模型训练过程中的类别和位置回归使用，如图4所示。(3)抽象特征卷积三个不同尺度的特征图上的objectcandidatearea确定后，使用多个卷积核(filter)分别在三个尺度的抽象特征图上进行滑动卷积，为后续损失函数层提供不同尺度的分类和位置回归信息。3、x光图像前景背景特征网络为提高最终算法的准确性，多尺度x光物体特征网络最终输出的特征图被进一步优化处理，每一个特征图都被进一步卷积，产生的新特征图(featuremap)将被送入算法后续阶段以判断每一个objectcandidatearea属于前景(即物体)还是背景。4、类别回归、位置回归以及前景概率回归(1)类别回归目前主流的类别回归方式包括线性回归、逻辑回归、softmax回归等。本发明fh-smart-xray-net结构优选采用了softmax回归实现，x光图像内的物体分类也可以使用其他分类器实现，如svm。softmax回归模型的优点是容易实现，且梯度稳定，softmax函数定义如下：(2)位置回归位置回归是指在模型训练过程中，通过平移、缩放的方式不断调整预测区域(predictionregion)的位置(x，y，w，h)，最大化二者的重合面积，使得预测位置与真实值(gt)尽可能的重合，这也是fh-smart-xray-net网络基本结构位置回归的目的。如图5所示，图中蓝色虚线区域代表predictionregion的调整趋势。(3)前景概率回归前景概率回归是指在模型的训练过程中，对x光图像前景背景特征网络输出的特征图(featuremap)进行softmax计算，并将此部分损失值(loss值)计入最后的损失函数中。这样，整个网络对于前景和背景的区分将有着更强的能力。本发明的检测过程及原理如下：1、图像尺寸归一化fh-smart-xray-net网络基本结构首先对送入网络的图像进行尺度归一化，归一化尺度统一为340*340。340*340的输入图像尺寸使得整个网络具有良好的性能。2、特征提取x-net是fh-smart-xray-net网络基本结构专门用来提取输入图像各层次特征的子网络，网络前三层提取图像的基础特征，后面三个抽象特征层是专门用来提取图像深层次抽象特征，获取图像语意信息。x-net各网络层参数如下表所示：网络层参数特征尺度是否参与检测数据(输入层)n/a340*340×卷积层_1k＝5,p＝1,s＝1338*338×池化层_1k＝2,p＝1,s＝2170*170×卷积层_2k＝3,p＝1,s＝1170*170×池化层_2k＝2,p＝0,s＝285*85×卷积层_3k＝3,p＝1,s＝185*85×池化层_3k＝3,p＝0,s＝242*42×大尺度特征卷积层k＝3,p＝1,s＝142*42×中尺度特征卷积层k＝3,p＝0,s＝314*14×小尺度特征卷积层k＝2,p＝0,s＝27*7×x-net网络层参数，其中，k：kernalsize指卷积核尺寸；p：padding指边缘扩充；s：stride指卷积核移动步长。3、多尺度x光物体特征网络x-net提取出的大、中、小三尺度抽象特征经过多尺度x光物体特征网络进行反卷积放大，使其在具有足够抽象信息的同时，也具有足够的尺寸，为后续类别与位置回归提供便利。网络层参数，其中，k：kernalsize指卷积核尺寸；p：padding指边缘扩充；s：stride指卷积核移动步长。4、x光图像前景背景特征网络经过多尺度x光物体特征网络放大的特征图(featuremap)在x光图像前景背景特征网络里被进一步卷积，产出的特征图被用于前景和背景的概率计算。fh-smart-xray-net网络基本结构经过训练可自动拟合出最佳参数，精确计算出每一个objectcandidatearea属于前景、背景的概率。5、类别回归、位置回归以及前景概率回归网络训练阶段，网络对提取到的相应特征进行类别回归、位置回归以及前景概率回归，三者总和(默认情况下权重各占三分之一)将成为本次前向传播的损失值；在反向传播时，fh-smart-xray-net网络基本结构将根据损失值自动调节网络参数，使最终效果达到最优。fh-smart-xray-net网络基本结构的损失函数定义如下：上式中，参数含义如下：三种loss的权重分别占总权重的三分之一；nfg表示的是属于前景的objectcandidatearea的数量；nloc表示的是所有objectcandidatearea位置的数量；ncls|fg表示的是确认是前景的条件下objectcandidatearea对于每个类别的数量。objectcandidatearea根据和真实值(gt)的面积重合率(iou)分为正样本区域和负样本区域。位置损失函数(lloc)中，只计算正样本区域位置回归所产生的损失值，原因在于objectcandidatearea位置回归过程中，计算负区域的损失值没有意义，负区域对于整体训练过程来说，相当于噪音或无效信息。本发明中，fh-smart-xray-net网络基本结构是一种深度学习目标检测技术，并基于大量x光图像样本分析，进行了专项优化。测试表明，fh-smart-xray-net网络基本结构对于x光图像内的不同尺寸物体检测效果良好。本发明采用多尺度x光物体特征网络，能够有效优化特征质量，使特征在具有足够语意信息的同时拥有足够大的尺寸，提升对于小尺寸目标的检测。本发明中，objectcandidatearea的尺寸(scale)和宽高比(aspectratio)参数是基于大量x光样本分析后得出的最优经验参数。本发明中，x光图像前景背景特征网络，对于每一个objectcandidatearea进行了精细化筛选，不仅在功能上提升了fh-smart-xray-net网络基本结构的检测准确率，并且避免了属于背景的objectcandidatearea的后续计算，从而提升了网络的整体性能。上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。当前第1页12