一种基于神经网络的射线图像分类方法与流程

本发明属于射线图像分类技术领域，涉及一种基于神经网络的射线图像分类方法。

背景技术：

随着多媒体技术与计算机网络的广泛应用，数据的保存、传输变得更加便捷。在安检工作中会产生大量的射线图像数据，尤其是基于x射线的安检机在车站、码头、机场、展览会馆等场所广泛应用。其中，x射线透视技术采用基于双能曲线的材料识别方法，能够快速准确地计算被透视物体的密度或者原子序数，并且在此基础上实现材料的定性和定量评价。将得到的有效原子序数根据物质材料分类表对x射线图像进行渲染生成彩色x射线图像，使其具有更加鲜明显著的颜色特征信息和更直观的视觉观感。同时，x射线图像的空间分辨率是固定的，通过x射线安检机可以识别被检物体的几何尺寸，而不会像普通灰度图像随着景深的变化出现尺寸的改变。基于上述x射线在呈像领域的诸多优点，能否有效的管理、利用这些射线图像文件，为用户提供更好的体验服务变得越来越重要。

目前，对射线图像的管理与分类通常是通过基于轮廓、大小、灰阶、所处环境等苛刻特征进行特征匹配，从而实现对射线图像进行分类。然而，由于现有分类方法对于所基于的特征条件的要求较为苛刻，当分类物品被其他物品遮挡、覆盖时，造成分类物品不能完整显示，会对分类结果产生较大的影响，从而导致射线图像的分类效率和分类精确度较低。

技术实现要素：

本发明的技术解决问题是：克服现有技术的不足，提供了一种基于神经网络的射线图像分类方法，本发明通过选择与射线图像类别与特征对应的神经网络，并通过该神经网络对射线图像进行分类，可以解决现有射线图像的分类效率和分类精确度较低的问题。

本发明的技术解决方案是：一种基于神经网络的射线图像分类方法，包括如下步骤：

(1)获取射线图像的训练样本并建立卷积神经网络模型，其中，不同类别的训练样本分别对应一个类别标识；

(2)对步骤(1)中的卷积神经网络模型的参数进行调整；

(3)将步骤(1)中的训练样本进行图形学预处理后，输入到步骤(2)中调整后的卷积神经网络模型，通过卷积神经网络模型的卷积层获取各个训练样本分别在卷积神经网络模型的全连接层对应的特征信息，所述特征信息包括训练样本的轮廓形状特征和细节纹理特征；

(4)提取步骤(1)中各个训练样本分别对应的先验特征信息，所述先验特征信息包括图像的尺寸大小和材料颜色表征特征信息；

(5)将所述步骤(4)中的先验特征信息和步骤(3)中卷积神经网络模型的全连接层对应的特征信息进行全连接，并在所述全连接层保存与所述先验特征信息对应的训练样本的类别标识后，生成射线图像分类模型；

(6)将待分类图像输入到步骤(5)中的所述射线图像分类模型中，得到所述待分类图片的类别信息。

进一步地，对卷积神经网络模型的参数进行调整的方法为：根据公式和εi+1＝εi*(1-μ)对卷积神经网络模型的参数进行调整，其中，v是卷积神经网络模型中每一层的更新值，v1为符合正态分布的随机初始化值，w1为符合正态分布的随机初始化值，i是迭代次数，i为大于或等于1的正整数，w是卷积神经网络模型中每一层的权重，ε是卷积神经网络模型的学习率，ε1为0.001，是对权重求偏导，μ为学习率变化的动量。

进一步地，所述步骤(3)中将训练样本进行图形学预处理的方法为：对所述训练样本进行去均值处理后，进行白化处理，其中，去均值处理的公式为白化处理的公式为x"j＝x′j/std(x′j)，xj为训练样本，x′j为去均值处理后的训练样本，std(x′j)为标准差，x"j为图形学预处理后的训练样本，n为训练样本的总个数。

进一步地，所述步骤(6)之后还包括：

根据步骤(1)中的所述卷积神经网络模型生成初始区域生成网络模型，并根据步骤(5)中的射线图像分类模型的卷积层参数更新所述初始区域生成网络模型的卷积层参数；

将训练样本输入到所述更新后的区域生成网络模型中，并将输出结果输入到所述射线图像分类模型中，得到训练样本图像的预测窗口位置，每一个训练样本图像中包含有多个物品图像以及各个物品图像的真实窗口位置；

根据预测窗口位置和真实窗口位置获取窗口位置回归参数；

当需要检测射线图像时，将射线图像输入到所述区域生成网络模型中，并将输出结果输入到所述射线图像分类模型中，得到射线图像的预测窗口位置；

根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置。

进一步地，所述根据所述卷积神经网络模型生成初始区域生成网络模型的步骤包括：

根据通过所述卷积神经网络模型输出的轮廓形状特征和细节纹理特征生成预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息；

将预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息保存在所述卷积神经网络模型的全连接层，生成初始区域生成网络模型。

进一步地，根据预测窗口位置和真实窗口位置获取窗口位置回归参数的步骤包括：

根据公式计算最终窗口位置回归参数，其中，w*为最终窗口位置回归参数，φ5预测窗口区域的特征向量，λ为计算回归参数的权重值，t*为预测窗口位置和真实窗口位置的差值，t*＝(tx,ty,tw,th)，(tx,ty)为平移量，(tw,th)为尺度缩放，(gx,gy,gw,gh)为真实窗口位置的坐标值，(px,py,pw,ph)为预测窗口位置的坐标值，x，y，w，h分别表示真实或者预测窗口位置的中心点坐标和宽高。

进一步地，根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置的步骤包括：

根据公式计算所述射线图像的最终窗口位置，其中，d*(p)为最终窗口位置。

本发明与现有技术相比的优点在于：

(1)本发明充分利用了海量的训练样本数据作为射线图像数据库，能够有效地得到不同类别射线图像大量重要的特征信息，对于提高图像分类准确率有着显著的影响。

(2)本发明充分利用了射线图像尺寸不变性、不同材料的颜色表征性、重叠物体的穿透性等，为神经网络提供了更丰富更多元的特征输入，使得神经网络在提取复杂特征和数据重建的过程中数据更加完善。

(3)本发明采用卷积神经网络进行射线图像的分类，通过权值共享网络结构降低了网络模型的复杂度，减少了权值的数量。避免了传统识别算法中复杂的特征提取和数据重建过程。

(4)本发明采用卷积神经网络进行射线图像的分类，卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

附图说明

图1为本发明提出的基于神经网络的射线图像分类方法的流程图；

图2为本发明提出的基于神经网络的射线图像分类方法的射线物品检测方法流程图；

图3为本发明提出的窗口修正示意图。

具体实施方式

本发明方法的流程框图如图1所示，在具体说明本发明的实现过程之前，需要说明的是，利用神经网络的径向基函数能够降低x射线图像的噪声干扰。其中较优的，通过卷积神经网络的卷积层对射线图像进行卷积运算，可以使射线图像的特征增强，并且有效地抑制噪声。x射线图像不同材料的颜色特征、空间分辨率固定时得到的尺寸不随景深变化的特性，使得神经网络在提取复杂特征和数据重建的过程中相较于普通灰度图像更为准确有效。当物品安检机型设置不变时，生成的x射线图像具有相同的尺寸，x射线图像上的物品产生形变时会发生色彩的堆叠，这些都可以作为特征输入到神经网络中，提高了使用神经网络进行射线图像分类的准确率。

与普通灰度图像重叠时造成的遮挡现象不同，x射线图像中重叠的物体会形成灰度信息的堆叠，同时保留了所有重叠物品的轮廓。本发明应用神经网络将x射线图像中线性衰减系数基本一致的物体边缘完整的跟踪、连接出来，并且将线性衰减系数不同但重叠在一起的物体有效地分割开来，而不是通过传统的边缘延续假设获取物品几何特征，使用神经网络的方法提升了物品检测的准确率。深度神经网络参数众多，为了更好地刻画出模型在空间上的分布，必须要有足够多的数据。在安检工作中会产生大量的x射线图像数据，能够为构建精确的网络模型提供有力的支撑。

下面结合x射线图像的以上特点和神经网络对于处理x射线图像的优点和合适性，对本发明分类方法的具体步骤进行详细阐述，可以如图1所示，具体包括：

1.通过扫描拍摄得到射线图像的训练样本，对不同类别的训练样本设置对应类别标签，创建射线图像样本库。

其中，训练样本的类别包括但不限于：刀具、警械、水瓶、金属压缩罐、枪支、爆破器材、烟花制品等国家法律法规规定的禁止携带运输的7类物品。

2.安装包含多种卷积神经网络模型的深度学习平台。

其中，深度学习平台包括但不限于卷积神经网络框架caffe、卷积神经网络框架torch、卷积神经网络框架tensorflow、卷积神经网络框架theano等。

具体地，以caffe深度学习平台为例，在图形处理器上安装基于包含多种卷积神经网络模型的caffe深度学习框架的平台。其中，caffe是目前流行的高效深度学习框架之一，通过软件语言c++编写的并且支持cuda架构的运算平台，同时支持命令行、面向对象的解释型计算机程序设计语言python和数学仿真matlab接口，可以在cpu和图形处理器上直接无缝切换。

下面对caffe的安装与配置进行说明：caffe需要预先配置依赖项。首先配置visualstudio2013和matlab2014a；其次配置windows10下的cuda7.5的驱动安装；最后在配置了cuda之后，依次配置数据库openblas，跨平台计算机视觉库opencv，矩阵库boost即可。

3.选择卷积神经网络模型caffenet。

其中，caffenet是卷积神经网络在图像分类上的经典模型，由5个卷积层和3层全连接层组成，2层全连接层用于连接图像特征，1层全连接层用于连接分类特征。caffenet最大的特点就是提升了计算资源的利用率，在网络需要的计算量不变的前提下，可提升网络的宽度、深度以及正确率。所述卷积神经网络模型还可以为卷积神经网络模型zfnet、卷积神经网络模型vggnet、卷积神经网络模型googlenet等，本发明不做限定。

4.对卷积神经网络模型的参数进行调整。

其中，参数的调整包括：学习率的设定、学习策略的选择、动量的调整、最大迭代次数的设定、权重衰减、卷积层、激励层、池化层、全连接层等层级结构的权重和参数调整，输入层输入样本数目的调整和输出层输出类别数目的调整等。

具体地，学习率初始值ε1：0.001，学习策略选择为："step"，最大迭代次数：60000，动量μ：0.9，权重衰减：0.004，训练模式：gpu，输入层输入样本数目：100，输出层输出类别数目：7,学习率的变化方式如下：

εi+1＝εi*(1-μ)(1)

在模型中，学习率的变化动量μ为0.9，权值衰减为0.004，虽然权值衰减很小，但是对于学习很重要，它减小了模型的训练错误率，w的更新规则为：

其中，v是卷积神经网络模型中每一层的更新值，v1为符合正态分布的随机初始化值，w1为符合正态分布的随机初始化值，i是迭代次数，i为大于或等于1的正整数，w是卷积神经网络模型中每一层的权重，ε是卷积神经网络模型的学习率，ε1为0.001，是对权重求偏导，μ为学习率变化的动量。

5.将样本库中的各类训练样本进行去均值、白化预处理，从而能够有效地提高训练样本的速度和精度。

其中去均值的步骤包括：将每个样本xj减去所有样本的均值图像得到去均值后的x′j，公式如下：

白化是对去均值后的样本图像x′j在每个特征轴上的幅度进行归一化的操作，具体为对每一个去均值后的样本除以标准差std(x′j)，公式如下：

x"j＝x′j/std(x′j)(4)

6.将预处理后的训练样本的数据集输入到所述的卷积神经网络模型中进行训练，通过卷积神经网络模型的卷积层和池化层获取各个训练样本分别在卷积神经网络模型的全连接层对应的特征信息，所述特征信息包括训练样本的轮廓形状特征和细节纹理特征。

7.提取预处理后的训练样本的数据集的先验特征信息。

其中，先验特征信息包括：样本图像的尺寸大小600*1000、材料颜色表征等特征。首先对于不同材料的物质按照有效原子序数进行划分如：重金属、有机物、轻金属等，根据x射线的灰度图像及其不同的物质材料分类映射获得射线图像的颜色特征。

8、将步骤6中卷积神经网络模型的全连接层对应的特征信息与步骤7中先验特征信息进行全连接，并在所述全连接层保存与所述先验特征信息对应的训练样本的类别标识后，生成射线图像分类模型。

9.将测试的射线图像作为输入加载到所述训练好的射线图像分类模型中，得到输出概率最大的类别，即为测试的射线图像所属的类别，如果输出的类别与图像标注的类别相同，表明该测试图像分类正确，从而实现射线图像的分类。

进一步地，基于上述射线图像分类方法，本发明提供一种基于神经网络的射线物品检测方法，可以如图2所示，具体步骤包括：

1.通过扫描拍摄得到射线图像的训练样本，对每一个训练样本的图像划分为一个或多个包含有物品图像的窗口区域，每一个窗口区域对应一个类别标识，创建射线图像样本库。

2.搭建包含多种神经网络模型的深度学习平台。

3.生成区域生成网络模型，其具体方法如下：

第一，根据通过所述卷积神经网络模型输出的轮廓形状特征和细节纹理特征生成预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息。具体地，对于给定尺寸大小为600*1000的输入图像，经过卷积操作得到最后一层的卷积特征(大小约为40*60)，最后一层卷积层共有256个特征映射图。然后在这个特征图上使用3*3的卷积核(滑动窗口)与特征图进行卷积，那么这个3*3的区域卷积后可以获得一个256维的特征向量。因为这个3*3的区域上，每一个特征图上得到一个1维向量，256个特性图即可得到256维特征向量。

其中，大小为3*3的滑窗，在中心位置对应预测输入图像3种尺度(128,256,512)，3种长宽比(1:1,1:2,2:1)的预测区域，产生了k＝9个预测区域。即每个3*3区域可以产生9个预测区域。所以对于这个40*60的特征映射图，总共有约20000个(40*60*9)预测区域，也就是预测20000个预测区域。

第二，将预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息保存在所述卷积神经网络模型的全连接层，生成初始区域生成网络模型。

具体地，将生成的预测区域接入到卷积神经网络模型的两个全连接层，分别用于分类和边框回归。用于分类的全连接层包含2个元素，用于判别目标和非目标的估计概率。边框回归全连接层包含4个坐标元素(x,y,w,h)，用于确定目标位置。用于分类的全连接层包括：正样本，与真实区域重叠大于0.7，负样本，与真实区域重叠小于0.3。边框全连接层用于返回区域位置。

4.根据射线图像分类模型的卷积层参数更新所述初始区域生成网络模型的卷积层参数,将训练样本输入到所述更新后的区域生成网络模型中，并将输出结果输入到所述射线图像分类模型中，得到训练样本图像的预测窗口位置，每一个训练样本图像中包含有多个物品图像以及各个物品图像的真实窗口位置。

其中，将训练样本输入到所述更新后的区域生成网络模型中的输出结果包含有所有预测窗口位置，将所有预测窗口位置输入到射线图像分类模型可以对所有预测窗口位置中，在射线图像分类模型中无法进行类别匹配的预测窗口位置进行过滤删除，即将不包含有物品图像的预测窗口位置进行过滤删除，从而得到训练样本图像的预测窗口位置，进而提高了预测窗口位置的获取精度。

5.根据预测窗口位置和真实窗口位置获取最终窗口位置回归参数。

具体如图3所示，对于射线图像中包含的每一个物品图像的窗口一般使用思维向量(x,y,w,h)来表示，分别表示窗口的中心点坐标和宽高，其中，框图p代表预测窗口位置，框图g代表目标的真实窗口区域，代表修正后的窗口。

预测窗口位置(px,py,pw,ph)与真实窗口位置(gx,gy,gw,gh)之间得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)可以通过以下计算得到：

对于给定的原始窗口(px,py,pw,ph),寻找一种映射f，使得输入原始的窗口经过映射得到一个跟真实窗口g更接近的回归窗口

其中：为位置变换，设平移变换(δx,δy)，δx＝pwdx(p)，δy＝phdy(p)。则：

其中：为尺度变换，尺度缩放比为(sw,sh)，sw＝pwdx(p)，sh＝phdh(p)。则：

为了使预测值p跟真实值g之间的差值t*＝(tx,ty,tw,th)差距最小，得到最终窗口位置回归参数为：

其中，w*为最终窗口位置回归参数窗口位置回归参数，φ5预测窗口区域的特征向量，λ为计算回归参数的权重值，t*为预测窗口位置和真实窗口位置的差值。

6.当需要检测射线图像时，将射线图像输入到所述区域生成网络模型中，并将输出结果输入到所述射线图像分类模型中，得到射线图像的预测窗口位置和预测窗口中包含的物品图像类别，然后根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置。

具体地，最终窗口位置的计算公式如下所示：

其中，d*(p)为最终窗口位置。

对于本发明实施例，在进行最终窗口位置回归参数的获取过程时，由于训练样本的物品图像窗口位置是可以获取的，即真实窗口位置是可以获取的，因此可以根据大量样本的真实窗口位置和对应的预测窗口位置获取到最终窗口位置回归参数，进而在实际应用中，当需要检测射线图像时，由于该射线图像的真实窗口位置无法获取，可以通过大量训练样本训练得到的最终窗口位置回归参数获取该射线图像的真实窗口位置，并且可以保证该射线图像的真实窗口位置较为准确。

进一步地，在本发明所述的基于神经网络的射线图像分类方法的基础上，还可以实现射线图像分割，包括：

首先搭建基于包含多种神经网络模型的深度学习平台。然后选择合适的神经网络模型并进行网络模型的调整。再将样本库中的各类训练样本上的每一个像素点进行分类达到分割的目的。其中，由于射线图像的穿透性和灰度堆叠特性，将训练样本图像的像素点分类情况包括：背景类别、单一类别、混合类别。将每个像素点都带有类别标签的所述训练样本输入到所述调整后的卷积神经网络模型中训练得到训练好的射线图像分割模型，最后将测试图片加载到所述射线图像模型中执行分割，对测试图片中特定部分物体进行识别。

具体地，对网络模型的调整包括以下步骤：将所述的基于神经网络的射线图像分类的网络的全连接层转化为卷积层；将所述全连接层转化的卷积层进行反卷积操作实现神经网络的反向传播；将不同池化层的结果进行上采样，结合这些结果优化还原图像当中的特征，最终完成整个图像的还原。

进一步地，在上述射线图像分割方法和本发明提供的的基于神经网络的射线图像分类方法的基础上，本发明还可以实现基于神经网络的射线图像映射可见光图像，包括以下步骤：

首先通过扫描拍摄得到可见光图像的训练样本，对不同类别的训练样本设置对应标签，创建射线图像样本库。然后搭建基于包含多种神经网络模型的深度学习平台。再选择合适的神经网络模型并根据训练样本的类别进行网络模型的调整和参数的调优，将所述训练样本的数据集输入到所述的卷积神经网络模型中训练得到不同类别真实图像的特征模型，利用所述的基于神经网络的射线图像分割方法进行图像分割。最后将分割后的射线图像区域按照相应类别选择真实图像的特征模型，按照预设比例从整体到局部的进行填充，得到射线图像映射的真实图像。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。