一种多视角匹配和跟踪的自动安检方法与流程

本发明涉及安全检查技术、图像处理和计算机视觉技术领域，尤其涉及一种多视角匹配和跟踪的自动安检方法。

背景技术：

x光安检对维护火车站、机场等公共场所的安全至关重要。安检图像中物品的外观会受到重叠、遮挡等外界因素的影响，而且由于单视角安检设备成像原理的差异和安检员观察角度的限制，也会造成安检图像的复杂多样化。这样，安检员在浏览x光图像时，很容易造成疲劳，从而大大增加了安检设备的误检率，降低了检测精度。

目前多视角安检设备已经在世界各国广泛使用，一般地，在设备内部布置多套“射线源-探测器组”装置，包括左侧底照源探测模块、正侧侧照源探测模块和右侧底照源探测模块，且分别构成第一视角、第二视角和第三视角，随着包裹沿着传送带移动，各视角逐一形成同一包裹在不同视角上的图像，这样简化了多视角成像方式，各视角互不干扰，降低了复杂性。虽然多视角安检设备能够在一定程度上减少重叠、遮挡带来的干扰，但是安检员需要同时观察几幅不同视角的图像，更容易造成视觉疲劳。另外，多视角安检设备并不廉价，不利于各个交通出行场所的普及。

综上所述，单视角安检设备只能从一个视角观察图像，受重叠、遮挡等因素的干扰较大，并且依靠安检员的观察，很大程度上会对危险品检测的准确率产生影响。多视角安检设备会产生多个视角的图像，凭借安检员同时观察几幅图像，会造成视觉疲劳，而且多视角设备成本较高，不利于被大规模应用。

技术实现要素：

本发明要解决的技术问题是：为了克服现有技术之不足，本发明提供一种采用软、硬件相结合，通过多视角安检设备获取x光图像序列，实现危险品检测的一种多视角匹配和跟踪的自动安检方法。

本发明解决其技术问题所采用的技术方案是：一种多视角匹配和跟踪的自动安检方法，使用多视角安检设备，包括结构估计和目标检测两个步骤。所述的结构估计包括如下操作步骤：通过多视角安检设备获取不同视角的x光图像序列；对x光图像序列进行提取sift特征，并采用主成分分析方法对sift特征进行降维；构建视觉词汇树，最大化总的相似度，对无序图像进行排序；匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点；使用光束法平差最小化所有重投影误差；

所述的目标检测包括如下操作步骤：对x光图像序列进行单视角检测；使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹；对合并的轨迹进行多视角分析，得到x光图像序列的最终检测结果。

进一步的，对x光图像序列进行提取sift特征，并采用主成分分析方法(pca)对sift特征进行降维，包括如下操作过程：确定图像j(x,y)的关键点(假设为n个)，针对每个关键点提取sift特征，共128维，将其组成特征矩阵x＝(x1,x2,...,xn)，维数为n×128；计算特征向量的均值，计算特征向量的协方差矩阵，求取协方差矩阵的特征值和特征向量，将最大的k个特征值对应的特征向量ek组成变换矩阵a，其维数为128×k，所述的k的取值决定最终特征向量的维数。本方法选择k＝36，即sift特征降为36维的pca-sift特征向量。

更进一步的，所述的匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点，具有如下操作过程：pca-sift特征被匹配之后，使用基于采样优化的随机抽样一致算法估计两个视角i和i+1的基础矩阵fi,i+1以消除误匹配点。

再进一步的，所述的使用光束法平差最小化所有重投影误差，包括光束法平差估计3d点和相机矩阵pi，最小化重投影误差的和

进一步的，所述的对x光图像序列进行单视角检测，包括对x光图像序列进行分割、特征提取和分类。不同的危险品选择适用的单视角检测方法。

所述的使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹，包括如下操作过程：两个视角的匹配区域(r1,r2)满足相似度约束和位置约束，其中相似性约束满足||yr1-yr2||＜ε1，位置约束满足两个条件：和||xr1-xr2||＜ρ(j-i)；三个视角的匹配区域(r1,r2,r3)满足三焦距约束：l个视角的匹配条件使用k-d树评估；最后用矩阵tl表示l个视角的所有合并的轨迹。

本发明的有益效果是，本发明提供的一种多视角匹配和跟踪的自动安检方法，采用软硬件结合的方式，从硬件设备获取x光图像序列，从软件方法实现自动检测，有效减轻人工工作量，使用主成分分析方法对sift特征进行降维，有效降低计算量，并采用基于采样优化的随机抽样一致算法消除误匹配点，提高了匹配的精度。该方法有效提高了检测的精度和速度，很好地保证了实时性，可有效适用于自动安检。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是多视角匹配和跟踪的自动安检方法的流程图。

图2是本发明实施例中多视角匹配和跟踪的自动安检方法的具体流程图。

图3为x光图像序列中不同角度的测试图像。

图4为发明实施例中采用的多视角安检结构图。

图5为含有剃刀刀片的笔袋的x光图像序列。

图中1、铅室隔离系统2、传送带3、x射线发射器4、x射线探测器平面5、abb-flexpicker机械手旋转系统6、包裹。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，本发明提供的一种多视角匹配和跟踪的自动安检方法，具有如下步骤：

步骤101：通过多视角安检设备获取不同视角的x光图像序列；

步骤102：对x光图像序列进行提取sift特征，并采用主成分分析方法对sift特征进行降维；

步骤103：构建视觉词汇树，最大化总的相似度，对无序图像进行排序；

步骤104：匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点；

步骤105：使用光束法平差最小化所有重投影误差；

步骤106：对x光图像序列进行单视角检测；

步骤107：使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹；

步骤108：对合并的轨迹进行多视角分析，得到x光图像序列的最终检测结果。

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明的附图2，对本发明实施例中的技术方案进行完整清晰的描述：

步骤201:剃刀刀片的测试图像如图3所示，每一行的图像是绕y轴旋转0°～90°而得，每一列的图像是绕x轴旋转0°～80°而得，每次均旋转10°，得到90幅测试图像，从中挑选m个视角的多个图像序列。根据测试，取4～6个视角的不同的图像序列分别对剃刀刀片和手枪进行实验。

步骤202：使用主成分分析(pca)方法对128维sift特征进行降维，确定图像j(x,y)的关键点(假设为n个)，针对每个关键点提取sift特征，共128维，将其组成特征矩阵x＝(x1,x2,...,xn)，维数为n×128，将最大的k个特征值对应的特征向量ek组成变换矩阵a，其维数为128×k，k的取值大小决定最终特征向量的维数，根据y＝ax，x为128维的sift特征向量，本方法选择k＝36，因此y为36维的pca-sift特征向量。

步骤203：判断图像是否有序，如果有序，则转至步骤205；如果无序，则转至步骤204；

步骤204：构建视觉词汇树对无序图像进行排序，通过最大化总的相似度∑sim(ii，ii+1)，i＝1，…，m-1将原来的图像序列j1，...，jm重新排序得到新的图像序列i1,...,im。

步骤205：对于两幅连续图像ii和ii+1，关键点被匹配之后，使用基于采样优化的ransac算法估计视角i和i+1之间的基础矩阵fi,i+1以消除外点。如果图像ii中的关键点k与图像ii+1中的关键点k′相匹配，此匹配可以被表示为xi,k→xi+1,k。

步骤206：使用光束法平差估计3d点和相机矩阵pi，以最小化重投影误差的和

步骤207：对图像序列进行单视角检测，使用自适应隐式形状模型对含有剃刀刀片的图像序列依次进行单视角检测，由于手枪种类较多，形状各异，但手枪触发器大致相同，因此对手枪触发器进行训练，使用滑动窗口方法对含有手枪的图像序列依次进行单视角检测。

步骤208：使用匹配和跟踪算法在两个视角、三个视角和l个视角的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹，包括：两个视角的匹配区域(r1,r2)满足相似度约束和位置约束，其中相似性约束满足||yr1-yr2||＜ε1，位置约束满足两个条件：和||xr1-xr2||＜ρ(j-i)；三个视角的匹配区域(r1,r2,r3)满足三焦距约束：l个视角的匹配条件使用k-d树评估；最后用矩阵tl表示l个视角的所有合并的轨迹。

步骤209：对合并的轨迹进行多视角分析，三维重建点可以在视角中被重新投影，在这些视角中，分割可能无法在所有视角中获得完整的轨迹，的重投影点应与非分割区域的质心相对应，然后计算投影区域的大小作为轨迹中已识别区域大小的平均值，在每个视角中，定义一个以计算的质心为中心的小窗口，然后分析每组跟踪区域，得到图像序列的最终检测结果。

对步骤202中使用pca方法对sift特征进行降维的具体步骤做进一步说明：

1)确定图像的n个关键点，对每个关键点提取128维的sift特征，将其组成特征矩阵x＝(x1,x2,...,xn)，维数为n×128；

2)计算特征向量的均值，即：

3)计算特征向量的协方差矩阵，即：

4)求取协方差矩阵的特征值和特征向量，将特征值从大到小排序；

5)将最大的k个特征值对应的特征向量作为主成分方向，构造128×k维的变换矩阵a，k的大小决定变换矩阵a的维数，选择k＝36，即降为36维的pca-sift特征向量。

对步骤205中的基于采样优化的ransac算法的具体步骤做进一步说明：

1)匹配的关键点之间的相关性系数d，以此作为先验知识，计算先验概率。

式中，k，l分别是两个互相关窗口的宽度，一般情况下，k＝l；i(u,v)是以点(u,v)为中心的灰度平均值。先验概率计算式如下：

2)根据先验概率抽取全部样本数据的最小子集，并估计两个不同视角之间的基础矩阵。

3)验基础矩阵对应的内点数量；

4)如果找到内点数较多的次优模型(模型是指不同视角的图像之间的基础矩阵)，则转步骤5)；否则，转步骤2)。

5)抽取最大内点集中的最小子集，并估计基础矩阵。

6)检验基础矩阵对应的内点数量，大于原来的则更新内点。

7)如果内点数不再更新，则转步骤8)；否则，转步骤5)。

8)找到最优模型，得到相应的内点和最终的基础矩阵。

上述自动安检方法，可基于如图4所示的多视角安检设备实现。多视角安检设备包括由铅室隔离系统1、传送带2、x射线发射器3、x射线探测器平面4和abb-flexpicker机械手旋转系统5。当包裹6经过传送带传送到指定位置，机械手握住包裹分别沿着x轴和y轴旋转，经过x射线发射器投影到x射线探测器平面上，采集到90幅不同视角的图像，从中挑选多个图像序列进行实验。

为了更好地描述本发明提供的多视角检测方法，下面结合对剃刀刀片的多视角检测进行描述：

步骤1：对如图5所示的含有剃刀刀片的笔袋的x光图像序列依次进行sift特征提取，并采用pca将sift特征降为36维的pca-sift特征。

步骤2：判断图像是否有序，如果有序，则转至步骤4；如果无序，则转至步骤3；

步骤3：构建视觉词汇树对无序图像进行排序，通过最大化总的相似度∑sim(ii，ii+1)，i＝1，…，5将原来的图像序列j1，...，j6重新排序得到新的图像序列i1，...，i6。

步骤4：对于两幅连续图像ii和ii+1，关键点被匹配之后，使用基于采样优化的ransac算法估计视角i和i+1之间的基础矩阵fi,i+1以消除外点。

步骤5：使用光束法平差估计3d点和相机矩阵pi，以最小化重投影误差的和

步骤6：使用自适应隐式形状模型对含有剃刀刀片的笔袋的图像序列依次进行单视角检测。

步骤7：使用匹配和跟踪算法在两个视角、三个视角和l(l≤6)个视角的匹配后合并所有区域以生成6个图像序列中的感兴趣物品的一致轨迹，l个视角的匹配条件使用k-d树评估，最后用矩阵tl表示l个视角的所有合并的轨迹。

步骤8：对合并的轨迹进行多视角分析，三维重建点可以在视角中被重新投影，在这些视角中，分割可能无法在所有视角中获得完整的轨迹，的重投影点应与非分割区域的质心相对应，然后计算投影区域的大小作为轨迹中已识别区域大小的平均值，在每个视角中，定义一个以计算的质心为中心的小窗口，然后分析每组跟踪区域，得到图像序列的最终检测结果。

对步骤7中的两个视角满足的相似度约束和位置约束条件以及三个视角满足的三焦距约束条件做进一步说明：

相似性约束满足：

||yr1-yr2||＜ε1

位置约束满足两个条件：

和

||xr1-xr2||＜ρ(j-i)

三焦距约束满足：

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。