基于ISAR图像的目标三维重构方法与流程

本发明属于图像处理技术领域，特别涉及一种目标三维重构的方法，可用于姿态估计和目标识别。

背景技术：

随着isar成像技术的发展，基于传统的二维成像，目标三维结构的研究越来越受到关注。目标的三维结构包含的轮廓信息更加丰富，从而使得姿态估计、目标识别更容易实现，对空间态势感知和空间安全具有重要的实际意义。三维重构技术是图像处理领域中的一项重要研究内容。

目前，针对isar图像的三维重构方法，主要包括两种：

一种是运动法sfm，基于各种收集到的无序图片进行三维重建，利用尺度不变特征变换sift算法提取图像特征，进行集束调整ba，从而得到目标稀疏的三维点云。这种方法的不足是集束调整ba过程运算量大、不适于大规模重建；

另一种是因子分解法ofm，基于目标的序列二维isar图像进行三维重构，利用角点跟踪算法klt提取图像特征点，进行因子分解，从而得到目标的三维结构。这种方法的不足是需要进行复杂、繁琐的迭代计算求解特征点坐标，效率低、计算量大。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，改进因子分解法ofm，引入统计滤波方法对二维isar图像进行预处理，提出一种基于isar图像的目标三维重构方法，以减少运算量，提高效率。

为实现上述目的，本发明的实现方案包括如下：

(1)对n幅isar图像进行统计滤波despecks法预处理，分别得到预处理后的n幅isar图像，n≥3；

(1a)对每一幅isar图像的每一个像素点p，设定大小为l×l的评估窗口；

(1b)对评估窗口内的所有像素点进行ks检验，得到每个像素点对应的评估值μ；

(1c)设置评估阈值μ0，选择评估值μ大于阈值μ0的像素点，得到窗口内与像素点p具有相同统计分布的像素点p′；

(1d)对这两类像素点p和p′的评估值μ取算术平均得到算术平均值并令这两类像素点p和p′的像素值为将isar图像中其余所有像素点的像素值置0，得到预处理后的isar图像；

(2)应用角点跟踪算法klt对预处理后的n幅isar图像提取特征点并进行跟踪，得到特征点坐标矩阵w；

(3)将特征点坐标矩阵w作为输入，利用因子分解法ofm得到目标三维重构结果。

本发明与现有技术相比所具有的优点：

第一，本发明相比运动法sfm，不需要进行运算量大的集束调整ba过程，运算量小，适于大规模重建；

第二，本发明相比传统的因子分解法ofm，由于对isar图像进行了统计滤波despecks法预处理，因而能获得足够多数量的特征点坐标，且不需要进行复杂、繁琐的迭代计算求解特征点坐标，进一步减少了运算量，提高效率。

附图说明

图1是本发明的实现流程图；

图2是本发明采用的3幅isar图像；

图3是本发明对3幅isar图像进行统计滤波despecks法预处理得到的实验结果图；

图4是本发明采用角点跟踪算法klt对预处理后的3幅isar图像提取特征点并对其进行跟踪的实验结果图；

图5是本发明利用因子分解法ofm得到的目标三维重构实验结果图；

图6是目标现有的三维cad模型图。

图7是对图5进一步分析的实验结果图；

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明的实现步骤如下：

步骤1，对n幅isar图像进行预处理。

图像分析中，图像质量的好坏直接影响识别算法的设计与效果的精度，因此在图像分析前，需要进行预处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。

现有的图像预处理的方法主要有灰度化、几何变换和图像增强，本实例采用图像增强方法中的统计滤波despecks法进行预处理，其具体如下：

(1.1)对每一幅isar图像的每一个像素点p，设定大小为l×l的评估窗口；

(1.2)对评估窗口内的所有像素点进行ks检验，得到每个像素点对应的评估值μ；

(1.3)设置评估阈值μ0，选择评估值μ大于阈值μ0的像素点，得到窗口内与像素点p具有相同统计分布的像素点p′；

(1.4)对这两类像素点p和p′的评估值μ取算术平均，得到算术平均值并令这两类像素点p和p′的像素值为将isar图像中其余所有像素点的像素值置为0，得到预处理后的isar图像。

步骤2，对预处理后的isar图像，提取特征点并进行跟踪。

图像分析中特征点的提取及跟踪方法，主要有：尺度不变特征变换sift、加速稳健特征surf、方向梯度直方图hog、高斯函数的差分dog和角点跟踪算法klt，本实例采用角点跟踪算法klt以获取更多的稳健的特征点，其具体如下：

(2.1)根据第一幅isar图像i(x)和第二幅isar图像j(x)，得到2×2的矩阵z：

z＝∫∫wg(x)·g^t(x)·ω(x)dx

其中，为梯度矩阵，x＝[xy]^t为像素点坐标，w为a×a的窗口，ω(x)为权重函数，t为求矩阵转置运算，为对x求偏导数运算，为对y求偏导数运算；

(2.2)求矩阵z的两个特征值λl，l＝1,2；

(2.3)设置特征值阈值λ0，选择求得的两个特征值λl均大于阈值λ0所对应的像素带点坐标x¹作为特征点；

(2.4)依据选择的特征点x¹，得到残差e：

e＝∫∫w[i(x¹)-j(x¹)]·g(x¹)·ω(x¹)dx

(2.5)根据残差e得到如下方程：

z·d＝e

其中d＝[δxδy]^t表示偏移量，δx为偏移量横坐标，δy为偏移量纵坐标；

(2.6)采用牛顿-拉夫森newton-raphson迭代法求解上述(2.5)的方程，得到偏移量d；

(2.7)利用特征点坐标x¹及偏移量d对前两幅图的特征点跟踪，得到第一幅图和第二幅图的特征点坐标w12，该特征点坐标w12为4×n12的矩阵，其中n12为前两幅图跟踪到的特征点数量；

(2.8)依据选择的特征点坐标x¹，对第二幅和第三幅isar图像重复(2.4)-(2.6)过程，即可实现对第二幅和第三幅图的特征点x²跟踪，得到第二幅图和第三幅图的特征点坐标w23，该特征点坐标w23为4×n23的矩阵，n23为第二幅和第三幅图跟踪到的特征点数量，n23≤n12；

(2.9)依次对第q幅和第q+1幅isar图像重复(2.4)-(2.6)过程，即可实现第q幅和第q+1幅图的特征点x^q的跟踪，得到第q幅和第q+1幅图的特征点坐标wqq+1，该特征点坐标wqq+1为4×nqq+1的矩阵，nqq+1为第q幅和第q+1幅图跟踪到的特征点数量，q＝3,4,...,n-1；

(2.10)在特征点坐标w12、w23及wqq+1中选择n幅图中都被成功跟踪到的特征点x^n-1的坐标，得到最终的特征点坐标w，该w为2n×n的矩阵，n为最终成功跟踪到的特征点数量。

步骤3，依据步骤2的结果，得到目标三维重构结果。

现有针对isar图像的三维重构方法，主要有两种：一种是运动法sfm，基于各种收集到的无序图片进行三维重建；另一种是因子分解法ofm，基于目标的序列二维isar图像进行三维重构。本实例采用因子分解法ofm实现目标三维重构，其实现如下：

(3.1)计算最终的特征点坐标w的第i行n个元素的算术平均值bi，i＝1,2...6；

(3.2)定义为特征点坐标的配准矩阵，其第i行第j列的元素如下：

其中wij为最终的特征点坐标w的第i行第j列的元素，j＝1,2...n；

(3.3)对特征点坐标的配准矩阵进行奇异值分解，即：其中左奇异矩阵o1是一个2n×n的矩阵，奇异值矩阵σ是一个n×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，右奇异矩阵o2是一个n×n的矩阵，o1和o2都是酉矩阵，即满足o1^t·o1＝o2^t·o2＝o2·o2^t＝i，i为n×n的单位阵；

(3.4)定义左奇异矩阵o1的所有行及前3列元素组成第一矩阵o1′，定义奇异值矩阵σ的前3行及前3列元素组成第二矩阵σ′，定义右奇异矩阵o2的前3行及所有列元素组成第三矩阵o2′；

(3.5)定义旋转矩阵及形状矩阵

(3.6)设定变换矩阵q，得到如下方程组：

um·q·q^t·um^t＝1

vk·q·q^t·vk^t＝1

um·q·q^t·vk^t＝0

其中um是旋转矩阵第m行的行向量，vk是旋转矩阵第k行的行向量，m＝1,2,...,n，k＝n+1,n+2,...,2n；

(3.7)求解上述(3.6)方程组，得到变换矩阵q，并求其逆矩阵q^-1；

(3.8)根据(3.5)和(3.7)的结果，得到三维坐标矩阵此三维坐标矩阵s即为特征点x^n-1的三维坐标，也即目标的三维重构结果。

本发明的效果可通过以下仿真实验进一步验证说明。

(一)仿真条件：

本发明仿真采用的统计滤波despecks法，其参数如表1所示：

表1统计滤波despecks法主要参数

本发明仿真采用的角点跟踪算法klt，其参数如表2所示：

表2角点跟踪算法klt主要参数

本发明仿真采用的因子分解法ofm，其参数如表3所示：

表3因子分解法ofm主要参数

仿真使用的3幅原始isar图像如图2所示，其来源于德国高频物理和雷达技术fraunhofer研究所公开的路基tira的序列航天飞机isar图。

(二)仿真内容及结果：

仿真1：依据表1的仿真参数对图2所示的3幅原始isar图像进行统计滤波despecks法预处理，分别得到预处理后的3幅isar图像，如图3所示。

仿真2：依据表2的仿真参数采用角点跟踪算法klt对预处理后的3幅isar图像提取特征点并进行跟踪，可得到特征点坐标矩阵w，将提取并跟踪的特征点表示在isar图上，结果如图4所示，其中特征点用圆点表示。

从图4可见，第一幅图提取得到了150个特征点，第二幅图成功跟踪到了46个特征点，最终第三幅图成功跟踪到22个特征点，且成功跟踪到的特征点数量在逐渐减少。

仿真3：将仿真2得到的特征点坐标矩阵w作为输入，依据表3的仿真参数，利用因子分解法ofm得到目标三维重构结果，如图5所示，其中图5(a)是目标三维重构结果的斜视图，图5(b)是目标三维重构结果的俯视图，图5(c)是目标三维重构结果的侧视图。

将图5与图6比较可见，本发明实例得到的结果基本保持了航天飞机长、宽、高的比例，具备一定的准确性和可靠性。

为了进一步验证本实例目标三维重构结果的准确性和可靠性，具体分析如下：

对图4第三幅isar图中航天飞机尾部结构提取得到的两个特征点用圆圈标注，航天飞机机翼结构提取得到的两个特征点用方形框标注，航天飞机太阳帆板结构提取得到的两个特征点用三角框标注，得到图7(a)。从航天飞机现有cad模型的对称性考虑，用圆圈、方形框和三角框标注的特征点各自的连线应当是相互平行的；

在图5(b)中找到图7(a)中用圆圈、方形框和三角框标注的特征点，将圆圈标注的两个尾部结构的特征点用虚线连接，将方形框标注的两个机翼结构的特征点用实线连接，将三角框标注的两个太阳帆板的特征点用点虚线连接，得到图7(b)。从图7(b)中可看出，连接特征点的虚线、实线和点虚线之间几乎是平行的；

对图7(b)进行三维空间的旋转操作，得到三维重构结果的正视图，如图7(c)所示，从图7(c)中可看出，连接尾部结构的两个特征点的虚线与连接机翼结构的两个特征点的实线几乎完全平行的，这两条连线与连接太阳帆板的两个特征点的点虚线没有完全平行，它们之间成一个很小的角度，仅为7°。

通过以上分析可以看到，本实例目标三维重构结果与目标现有cad模型特点相符，误差极小，在合理范围内，表明本发明方案具有良好有效性。