一种基于神经网络的ISAR三维点云目标识别方法

一种基于神经网络的isar三维点云目标识别方法
技术领域
1.本发明涉及逆合成孔径雷达目标识别技术领域，尤其涉及一种基于神经网络的isar三维点云目标识别方法。


背景技术：

2.相比于光学成像技术，雷达成像具有全天时全天候的优势。随着宽带雷达技术的不断发展和应用，雷达成像技术在国防和民用领域取得了重大应用和发展。雷达成像包括合成孔径雷达(sar)和逆合成孔径雷达(isar)。sar是指雷达运动而目标相对地面静止；isar是指雷达不动而目标运动，两者成像的基本原理相同。由于isar可以对运动状态未知的非合作目标进行成像，因此，基于isar成像得到的二维图像进行目标识别是一种极为有效的目标识别手段，例如对飞行过程中的飞机型号进行识别。
3.传统雷达目标识别的过程主要包括基于模型识别的方法和基于模板识别的两类方法。其中，基于模型识别方法的主要步骤包括：提前训练分类器、目标信号预处理、提取目标特征信号、特征映射变换、利用分类器进行目标分类、输出分类识别结果；基于模型识别的方法需要构建目标的物理模型，如：目标的形状、结构、表面纹理特征等等。这种算法的普适性和鲁棒性很大程度上依赖于目标物理模型的构建质量。基于模板识别方法的主要步骤包括：人工提取特征并且利用提取到的特征进行分类。一般来说常用的特征包括：基于不变矩的特征、基于目标仿射投影矩的特征、运动特征、目标位置、雷达散射截面积(rcs)特征、信号的时域波形熵、频域波形熵、平均时频谱波形熵以及利用主成分分析、流形学习方法提取出的特征等等。提取到目标特征之后，再将提取到的特征送入分类器进行分类，经典的分类算法有：支持向量机、最近邻分类、贝叶斯分类器等。
4.以上分析显示，传统雷达目标识别方法存在算法泛化能力差、模型复杂、需要大量的数据集来构建数据库或模型库等诸多问题。基于深度学习的目标识别方法近年来得到越来越多学者的关注。


技术实现要素：

5.鉴于上述的分析，本发明实施例旨在提供一种基于神经网络的isar三维点云目标识别方法，用以解决现有目标识别中算法泛化能力差、模型复杂的问题。
6.一方面，本发明实施例提供了一种基于神经网络的isar三维点云目标识别方法，具体包括：
7.构建三维点云数据集，所述三维点云数据集包括isar三维点云和对应的目标型号；
8.构建三维点云识别神经网络，并基于所述三维点云数据集进行训练，得到目标型号识别神经网络；
9.获取未知型号目标的isar三维点云，利用所述目标型号识别神经网络识别得到目标型号；
10.其中，构建三维点云数据集，包括：获取分布式阵列天线系统接收的不同型号目标的雷达回波数据生成并保存n通道isar图像；对所述n通道isar图像进行图像配准、幅相校正；基于幅相校正后的isar图像，经过俯仰向超分辨成像得到与目标型号对应的isar三维点云。
11.可选地，所述对n通道isar图像进行图像配准、幅相校正，包括：
12.在n通道的isar图像中分别找到n个图像匹配的像素单元，并提取该像素单元的幅度与相位值，得到幅相校正量：
[0013][0014]
其中，c
ref
为参考通道isar图像匹配像素单元的幅相值，ci为第i个通道isar图像匹配像素单元的幅相值，c
am,ph
是计算得到的幅相校正值，参考通道的c
am,ph
为1；
[0015]
根据计算得到的c
am,ph
，与n个通道的isar图像相乘得到幅相校正后的isar图像。
[0016]
可选地，所述基于幅相校正后的isar图像，经过俯仰向超分辨成像得到isar三维点云，包括：
[0017]
根据幅相校正后的isar图像，第n个雷达发射天线与接收天线构成的天线相位中心的雷达图像sn(x',r')表示为：
[0018][0019]
其中，λ为波长，x'与r'表示距离多普勒(rd)单元坐标，f(x,r)为二位点散布函数，rn(r,s)表示第n个天线相位中到目标中心的距离；
[0020]
根据第n个雷达发射天线与接收天线构成的天线相位中心的雷达图像进行离散化得到：
[0021]
s＝aγ+β
[0022]
其中，s＝[s1,s2,...,sn]
t
表示n幅离散后的isar二维图像，sn表示第n幅isar二维图像，γ＝[γ1,γ2,...,γ
l
]
t
表示重建的isar三维点云，γ
l
表示第l个点的散射强度，l为isar三维点云中点的数量，b
⊥
ni
为目标的第i个散射点在垂直雷达视线方向与原点的距离，sj为第j个阵列雷达天线距离阵列中心的距离，β为高斯白噪声。
[0023]
可选地，所述三维点云识别神经网络包括：输入层、最大池化层、多层感知机；
[0024]
所述输入层，用于输入n个点数据，其中每个点数据均用三维坐标表示；
[0025]
所述最大池化层，用于求解n个点数据在每个维度上的最大特征点；
[0026]
所述多层感知机，用于得到多个维度的特征向量以及用于得到k维度的类别向量；所述k维度的类别向量表示输入神经网络的三维点云分别属于k个类别的概率。
[0027]
可选地，根据n个点数据的三维坐标[batch,n,3]，将三维坐标的第二维度和第三维度进行调换，得到调换后的维度坐标：[batch,3,n]；
[0028]
再根据多层感知机进行变换，得到维度为[batch,1024,n]的特征向量；
[0029]
根据[batch,1024,n]的特征向量，通过多层感知机，得到各自k维度的类别向量。
[0030]
可选地，所述获取未知型号目标的isar三维点云，利用所述目标型号识别神经网络识别得到目标型号，包括：
[0031]
根据得到的n个通道的isar三维点云输入到训练好的三维点云识别网络进行特征提取，得到提取后的特征向量；
[0032]
根据提取后的特征向量，基于多层感知机进行识别，得到k个目标类型的概率，即得到目标型号。
[0033]
可选地，所述根据得到的n个通道的isar三维点云输入到训练好的三维点云识别网络进行特征提取，得到提取后的特征向量包括：
[0034]
isar三维点云表示为一个n
×
3的张量，其中n代表点云数量，3对应xyz坐标；
[0035]
再将输入的isar三维点云与点云识别网络中的转换矩阵相乘，并基于多次多层感知机与最大池化层对点云数据进行特征提取，得到最终的全局特征。
[0036]
可选地，所述离散化得到的天线相位中心的雷达图像包括：
[0037]
对迭代余量进行残差分解，残差表示为：
[0038][0039]
其中，εk第k个原子的残差，s为测量向量，ak为系数矩阵的第k行，为omp算法求解的结果向量的第k个元素；
[0040]
基于残差迭代后的分量，得到误差最佳的范围，从而确定误差的最小值。
[0041]
可选地，所述获取分布式阵列天线系统接收的不同型号飞机的雷达回波数据生成并保存n通道isar图像包括：
[0042]
获取分布式阵列天线系统接收的全部散射点的雷达回波数据，通过接收的全部散射点的雷达回波数据生成并保存n个通道的isar二维图像；
[0043]
根据得到的n个通道的isar二维图像，基于坐标变换以及多普勒算法，得到二维isar图像。
[0044]
可选地，所述获取分布式阵列天线系统接收的全部散射点的雷达回波数据，通过接收的全部散射点的雷达回波数据生成并保存n个通道的isar二维图像，包括：
[0045]
在t时刻，目标上的第p个散射点到雷达的距离r(t)表示为：
[0046][0047]
其中，rm为雷达到目标中心的距离，(x
′
p
,y
′
p
)为目标上第p个散射点在xo'y坐标系中的坐标；
[0048]
根据坐标变换，得到目标上l个散射点总的回波信号为：
[0049][0050]
其中，rect()表示矩形窗函数，表示雷达脉冲内时间，j为虚数单位，λ表示波长，t表示时间。
[0051]
在基于回波信号得到二维isar图像。
[0052]
另一方面，与现有技术相比，本发明至少可实现如下有益效果之一：
[0053]
1、本发明从扩充isar成像维度入手，通过mimo(多输入多输出)实孔径和合成孔径技术的结合，得到了isar三维点云结果，首次直接对isar三维点云数据进行神经网络训练，识别结果具有较高的准确性和鲁棒性。
[0054]
2、本发明对原始数据进行合成孔径处理，生成单通道距离-方位二维图像，对俯仰维进行mimo实孔径超分辨处理，生成距离-方位-俯仰三维点云。
[0055]
3、对于isar三维点云，本发明比传统针对isar二维图像识别的方法效果更佳，经过本发明处理后会有更鲁棒的识别性能。
[0056]
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0057]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0058]
图1为本发明实施例中一种基于神经网络的isar三维点云目标识别方法流程图；
[0059]
图2为本发明实施例提出的isar三维点云成像原理图；
[0060]
图3是本发明实施例提出的基于神经网络的isar三维点云的目标识别方法的详细流程示意图；
[0061]
图4是本发明实施例提出的选取的某通道实测数据通过isar二维成像后的图像；
[0062]
图5是本发明实施例提出的配准后16通道某实测数据二维图像；
[0063]
图6是本发明实施例提出的通过isar三维成像后的点云；
[0064]
图7是本发明实施例提出的用于点云识别网络训练的原理图。
具体实施方式
[0065]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0066]
本发明的一个具体实施例，公开了一种基于神经网络的isar三维点云目标识别方法，如图1所示，包括：
[0067]
步骤s1：构建三维点云数据集，所述三维点云数据集包括isar三维点云和对应的目标型号；示例性的，目标指飞机，目标型号指飞机型号。
[0068]
步骤s2：构建三维点云识别神经网络，并基于所述三维点云数据集进行训练，得到目标型号识别神经网络；
[0069]
步骤s3：获取未知型号目标的isar三维点云，利用所述目标型号识别神经网络识别得到目标型号。
[0070]
构建三维点云数据集具体包括：
[0071]
步骤s11：获取分布式阵列天线系统接收的不同型号飞机的雷达回波数据生成并保存n(n大于等于2)通道isar图像；
[0072]
具体地，获取分布式阵列天线系统接收的全部散射点的雷达回波数据，通过接收的全部散射点的雷达回波数据生成并保存n个通道的isar二维图像；如图2所示，在图2中t表示分布式阵列雷达系统中的雷达发射天线、r表示雷达接收天线，xoy坐标系为雷达所在固定坐标系，雷达位于原点。xo'y坐标系为目标所在的参考系，目标中心位于o'处，x轴为雷达到目标中心的连线，随着目标的运动而改变。根据电磁波辐射的远场假设，在t时刻，目标上的第p个散射点到雷达的距离r(t)可以表示为：
[0073][0074]
其中，rm为雷达到目标中心的距离，(x
′
p
,y
′
p
)为目标上第p个散射点在xo'y坐标系中的坐标。
[0075]
比较转动前后目标坐标系的变化，可以得到如下坐标变换关系：
[0076][0077]
其中，(x
p
,y
p
)为目标上第p个散射点在xoy坐标系中的坐标，(x
′
p
,y
′
p
)为目标上第p个散射点在xo'y坐标系中的坐标，θ为目标绕自身中心的转动角度。
[0078]
基于坐标变换关系，得到：
[0079][0080]
其中，(x
p
,y
p
)为目标上第p个散射点在xoy坐标系中的坐标。
[0081]
因此，目标上l个散射点总的回波信号为
[0082][0083]
其中，rect()表示矩形窗函数，表示雷达脉冲内时间，j为虚数单位，λ表示波长，t表示时间。
[0084]
在得到公式(4)所示的回波信号后，可以发现其中存在平动分量rm、二次项交叉项它们会使得isar图像产生畸变，故需要在接收到回波信号后，通过构造匹配的信号对回波信号进行相位补偿；在完成相位补偿后，再分别对变量t与执行傅里叶变换(距离多普勒算法)，从而得到二维isar图像。
[0085]
步骤s12：基于n个通道的isar二维图像，将n个通道isar图像进行图像配准、幅相校正；
[0086]
具体地，由于n个通道isar图像之间存在的相位误差会使俯仰向三维重建结果误差较大，从而影响后续目标识别准确率。因此，需要对获取到的n个通道的isar二维图像进
行图像配准与幅相校正，为了进行图像配准与幅相校正，需要在n个通道的isar图像中分别找到对应的n个匹配的像素单元，并提取该像素单元的幅度与相位值。
[0087]
示例性地，对于n个通道isar图像中的第i个通道的isar图像，匹配像素单元的幅度与相位值为ci，再指定n个通道中的某个通道作为参考，参考通道像素单元的幅度与相位值为c
ref
，幅相校正量可构造如下：
[0088][0089]
其中，c
ref
为参考通道isar图像匹配像素单元的幅相值，ci为第i个通道isar图像匹配像素单元的幅相值，c
am,ph
是计算得到的幅相校正值，参考通道的c
am,ph
为1。将c
am,ph
与n个通道的isar图像相乘，就可以完成幅相校正。
[0090]
s13：基于幅相校正后的isar图像，经过俯仰向超分辨成像得到isar三维点云；
[0091]
具体地，在完成图像配准与幅相校正后，第n个雷达发射天线与接收天线构成的天线相位中心的雷达图像sn(x',r')可以表示为
[0092][0093]
其中，λ为波长，x'与r'表示距离多普勒(rd)单元坐标，f(x,r)为二位点散布函数，rn(r,s)表示第n个天线相位中到目标中心的距离。
[0094]
散布函数表示为
[0095][0096]
其中，sinc()表示sinc函数，δx和δr表示为分辨率。一般可假设散布函数为二维dirac函数。
[0097]
为了使后续的信号处理步骤更加高效，需要对公式(6)进行简化。
[0098]
结合式(7)的假设，式(6)可简化为：
[0099][0100]
其中，γ(x,r,s)表示目标点的后向散射系数，s表示阵列雷达天线距离阵列中心的距离，a表示雷达阵列天线的长度的一半。
[0101]
在远场近似下，距离表达式rn(r,s)可以近似为
[0102][0103]
其中，b
//n
表示目标在平行雷达视线方向与原点的距离，b
⊥n表示目标在垂直雷达视线方向与原点的距离。
[0104]
为了借助矩阵分析的方法更加高效地处理大规模数据，需要对公式(8)进行离散化。将(9)式带入(8)式，并进行离散化后可得：
[0105]
s＝aγ+β (10)
[0106]
其中，s＝[s1,s2,...,sn]
t
表示n幅离散后的isar二维图像，sn表示第n幅isar二维
图像，γ＝[γ1,γ2,...,γ
l
]
t
表示重建的isar三维点云，γ
l
表示第l个点的散射强度，l为isar三维点云中点的数量，b
⊥
ni
为目标的第i个散射点在垂直雷达视线方向与原点的距离，sj为第j个阵列雷达天线距离阵列中心的距离，β为高斯白噪声。
[0107]
此时，第三维重建问题转化为求解方程(10)式。
[0108]
利用超分辨算法进行俯仰向三维重建，常用的超分辨重构方法有贪婪跟踪算法、凸松弛算法和组合算法。贪婪跟踪算法因其结构简单、计算量小而被广泛应用。本发明实施例主要是采用正交匹配追踪算法中的正交匹配追中算法进行俯仰向三维重建处理。其原因在于正交匹配追踪算法(omp)是通过贪婪方式，在每次迭代中选择一个局部最优解，逐步逼近原始信号，该算法计算效率高，更加适合用于数据量较大的isar图像俯仰向三维重建处理。利用正交匹配追踪算法主要是利用关联原理选择最匹配迭代边缘的原子；其次，对所选的原子进行施密特正交化；第三，将信号投影到这些正交原子组成的空间上，得到信号在所选原子上的分量和迭代余量。在算法迭代过程中国会产生误差，为了分析算法迭代的误差，需要对迭代余量进行残差分解，得到信号在选定原子上的分量和迭代残差，残差表示为：
[0109][0110]
其中，εk第k个原子的残差，s为测量向量，ak为系数矩阵的第k行(第k个原子)，为omp算法求解的结果向量的第k个元素。
[0111]
基于残差迭代后的分量，得到误差最佳的范围，从而确定误差的最小值。
[0112]
对不同类型空中目标(具体而言是不同型号的飞机)多次采集回波信号，并对回波信号进行上述isar三维成像可得到对应的isar三维点云，从而可以构建已知飞机型号的isar三维点云数据集，该数据集可用于后续isar三维点云识别网络的训练过程。
[0113]
具体的，步骤s2包括：构建三维点云识别神经网络，并基于所述三维点云数据集进行训练，得到目标型号识别神经网络。如图7所示。
[0114]
具体地，作为一个具体的实施例，三维点云识别神经网络具体包括：输入层、最大池化层、多层感知机。
[0115]
在输入层，输入batch张点云图，每个点云图包括n个点数据，每个点数据用三维坐标表示。因此用坐标系表示输入的维度为[batch,n,3]，接着根据输入的维度，将第二和第三个维度进行调换，得到调换后的维度为[batch,3,n]。此时再通过多层感知机进行变换，得到维度为[batch,1024,n]的特征向量。
[0116]
通过最大池化层求解这n个点在每个维度上最大的特征点。根据[batch,1024,n]的特征向量可知：此时每个点云图对应一个1024维度的特征向量。再经过多层感知机，得到各自的k维度的类别向量。所述k维度的类别向量表示了输入神经网络的三维点云分别属于k个类别的概率，通过选取其中最大的概率即可得到目标类别，从而完成isar三维点云识别网络模型的搭建。
[0117]
基于目标型号识别神经网络，需对目标型号识别神经网络中的参数进行确定，即需得到多层感知机内部的参数，而多层感知机内部的参数是通过训练isar三维点云数据集实现的。
[0118]
具体操作为：首先给目标型号识别神经网络中的各个待确定参数赋予随机值；再
将数据集中的isar三维点云作为目标型号识别神经网络的输入，将isar三维点云对应的飞机类别作为目标型号识别神经网络的期望输出，此时目标型号识别神经网络也会将给定的输入计算得到一个实际输出；然后，对比期望输出结果与实际输出结果，利用期望输出结果与实际输出结果的差值对目标型号识别神经网络中的参数进行调整；不断重复上述过程，直到网络的实际输出与期望输出的差小于给定阈值即完成训练过程，即得到目标型号识别神经网络训练模型。
[0119]
步骤s3具体包括：获取未知型号目标的isar三维点云，利用所述目标型号识别神经网络识别得到目标型号。
[0120]
具体地，在通过搭建的isar三维点云数据集完成对目标型号识别神经网络的训练过程后，即可利用训练好的目标型号识别神经网络对未知飞机型号的isar三维点云进行类别预测。目标识别的具体过程为：首先，将isar三维点云输入到训练好的目标型号识别神经网络，isar三维点云可表示为一个n
×
3的张量(tensor)，其中n代表点云数量，3对应xyz坐标；再将输入的isar三维点云与点云识别网络中的转换矩阵相乘，以保证输入三维点云对特定空间转换的不变性，并通过多次多层感知机与最大池化操作对点云数据进行特征提取来得到最终的全局特征，具体而言，这一过程可提取出用于类型识别的由1024个特征值构成的特征向量；最后将全局特征通过多层感知机来识别最后的分类结果，即将上一步提取到的1024个特征值构成的特征向量转换为isar三维点云分别属于k个飞机型号的概率，最终完成飞机型号识别任务。
[0121]
以下通过实施例对本发明提出的基于神经网络的isar三维点云的目标识别方法进行详细描述。
[0122]
实施例1，如图2所示，本发明实施例提出一种基于神经网络的isar三维点云的目标识别方法，其包括步骤如下：
[0123]
1、输入为一帧的全部点云数据的集合，表示为一个n
×
3的张量(tensor)，其中n代表点云数量，3对应xyz坐标。
[0124]
2、输入数据先通过和一个特征变换模块学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性。
[0125]
3、通过多次多层感知机对各点云数据进行特征提取后，再通过特征变换进行特征对齐。
[0126]
4、在特征的各个维度上执行最大池化操作来得到最终的全局特征。
[0127]
5、将全局特征通过多层感知机来识别最后的飞机型号。
[0128]
示例性地，对于基于isar三维点云的飞机型号识别，首先通过神经网络中的多层感知机、特征变换与最大池化等操作，提取出用于类型识别的由1024个特征值构成的特征向量，再通过多层感知机操作，将这1024个特征值构成的特征向量转换为isar三维点云分别属于k个飞机型号的概率，最终完成飞机型号识别任务。
[0129]
实施例2，通过实施例2对本发明提出的基于神经网络的isar三维点云的目标识别方法进行详细描述。
[0130]
如图2所示，本实施例提出一种基于神经网络的isar三维点云的目标识别方法，其包括步骤如下：
[0131]
步骤1、根据分布式阵列天线系统接收的原始数据生成并保存多通道isar二维图
像；
[0132]
步骤2、将多通道isar二维图像进行图像配准、幅相校正；
[0133]
步骤3、基于幅相校正后的isar图像，经过俯仰向超分辨成像得到isar三维点云；
[0134]
步骤4、目标型号识别神经网络的预训练。
[0135]
步骤s5：基于预训练模型，通过isar三维点云识别飞机型号。
[0136]
该方法的详细流程图如图3所示：
[0137]
首先，进行匹配滤波。在雷达想干处理时间内，回波信号与参考信号共轭相乘，得到单频脉冲信号如公式(4)。将匹配滤波后的回波信号进行运动补偿。包络对齐是运动补偿的第一步，包络对齐是消除由于运动目标相对于雷达的平动造成的相邻回波在距离向上的错位，核心思想是通过时延的调整，把积累时间内的回波信号距离向上调整为相对于转台目标的数据。通过相位自聚焦，补偿回波信号中的高阶项或随机项。方位向傅里叶变换后得到isar二维图像如图4所示。
[0138]
然后，采用最大频谱法对16个通道到isar二维图像进行配准得到公式(5)。最大频谱法是图像配准中的常用方法，对isar二维图像进行二维傅里叶变换，选取频率中条纹图的最大值进行配准。选取参考像中单特显点的区域进行幅相校正，图像配准后的各通道图像如图5所示。
[0139]
根据压缩感知的原理，通过公式(10)将三维重建问题转换稀疏信号恢复问题。采用omp算法进行超分辨重构，利用公式(11)进行残差迭代。迭代过程中，由于进行正交化处理，保证了每次迭代的最优性。对俯仰向超分辨成像的三维点云进行统计滤波，去除离群点。滤波后的结果如图6所示。
[0140]
对较长积分时间的回波信号滑窗三维成像，得到用于目标识别的数据集。将数据集带入如图7所示的神经网络进行训练。该神经网络对直接对三维点云进行识别，利用对称函数处理点云的置换不变性，利用特征变换模块处理点云的旋转不变性，通过提取目标的高维抽象特征，取得更高的识别准确率和更强的鲁棒性。
[0141]
本发明从扩充isar成像维度入手，通过mimo(多输入多输出)实孔径和合成孔径技术的结合，得到了isar三维点云结果，首次直接对isar三维点云数据进行神经网络训练，识别结果具有较高的准确性和鲁棒性，并且能有效识别飞机都型号。
[0142]
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0143]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。