多视角ISAR图像融合方法与流程

本发明属于图像处理技术领域，特别涉及一种图像融合方法，可用于三维图像重构、目标识别及姿态估计。

背景技术：

数字图像融合是计算机视觉中的一个基本问题，它在三维图像重构、目标识别及姿态估计等方面都有广泛应用。数字图像配准是数字图像融合的一个预处理阶段，数字图像配准技术可以对同一目标在不同的成像角度下获取的不同的图像进行匹配与叠加，生成一个新的有关此目标的解释，而这个解释是从单一拍摄的图像信息中无法获得的。数字图像配准问题的研究对推进多视角图像融合技术的发展有着重要的意义与价值。

目前，针对空间目标的isar图像融合方法，主要包括两种：

一种是以信号处理层面为代表的对系统误差和环境加性噪声分布假设可松弛算法relax，提取散射点进行特征点匹配及融合，这种方法的不足是需要isar成像信号处理层面的知识，处理复杂、运算量大；

另一种是以信息处理层面为代表的尺度不变特征变换算法sift，提取特征点进行匹配及融合，但这种方法由于只需要对图像的信息层面进行处理，没有利用图像的结构信息，造成提取的特征点冗余，算法运算量大。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种多视角isar图像融合方法，以精准提取融合所需的有效特征点，减少运算量，提高融合效率。

本发明的技术思路为：将一系列isar图像进行超像素简单线性迭代聚类slic分割，将rgb色彩空间转化为cielab颜色空间和x、y坐标下的三维特征向量，通过利用三维特征向量构造代价函数，求解代价函数的最小值，获得一系列isar图像之间的刚性旋转矩阵，最终将所有isar图像配准、融合成一幅图像。其实现方案包括如下：

(1)对一系列n幅isar图像进行超像素简单线性迭代聚类slic分割，得到超像素坐标x、y及亮度信息l；依据isar图像的大小设定亮度阈值，保留l大于阈值的超像素坐标x、y及亮度信息l，n≥2；

(2)在一系列n幅isar图像中选取第一幅isar图像作为参考图，利用(1)保留超像素坐标x、y建立第n幅isar图与参考图之间的刚性变换关系，得到变换矩阵bn，n＝2,3,...,n；

(3)利用(1)保留的超像素坐标x、y及亮度信息l和(2)建立的刚性变换关系，设置第n幅isar图与参考图之间的代价函数jn：

α＝2*(l/m)

其中，为保留的第n幅isar图超像素中心的位置和亮度信息，为(2)中经刚性变换得到的第n幅isar图的超像素中心坐标及亮度信息，α为亮度信息l的权重，l为图像的边长，m为超像素简单线性迭代聚类slic分割预设的超像素个数，p＝1,2,...,w1，k＝1,2,...,wn，w1为参考图保留的超像素个数，wn为第n幅isar图保留的超像素个数，*表示相乘；

(4)利用粒子群优化算法pso求解使代价函数jn取最小值的刚性变换矩阵bn，并求该刚性变换矩阵bn的逆矩阵an；

(5)以参考图为标准，采用二维仿射变换cubic插值的方法将第n幅isar图依据逆矩阵an变换到参考图坐标系下，把所有变换后的isar图和参考图以像素取和的方式相叠加，得到最终的融合图。

本发明与现有技术相比所具有的优点：

第一，本发明采用超像素简单线性迭代聚类slic对isar图像进行分割，考虑了图像的结构信息，有助于得到空间目标的关键结构信息，为后续准确得到匹配融合图打下基础；

第二，本发明采用粒子群优化算法pso对代价函数进行优化求解，快速、准确，能精准地实现一系列isar二维图像的配准以及融合。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真得到的isar图像；

图3是本发明中对isar图像进行超像素简单线性迭代聚类分割得到的分割图；

图4是用本发明仿真得到的多视角图像融合图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明的实现步骤如下：

步骤1，对isar图像进行分割。

图像分割的方法分为两类：基于边界分割和基于区域分割，主要方法有：灰度阈值分割法、边界分割法、纹理分割法及区域生长法等，本发明采用纹理分割法中的超像素简单线性迭代聚类slic分割，此方法利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片特征，很大程度上降低了图像后处理的复杂度，其具体实现如下：

(1.1)对一系列n幅isar图像进行超像素简单线性迭代聚类slic分割：

(1.1a)读取每一幅isar图像的像素矩阵；

(1.1b)初始化聚类中心；

(1.1c)在聚类中心3×3邻域内重新选择聚类中心；

(1.1d)在每个聚类中心周围的邻域内为每个像素点分配类标签；

(1.1e)对于每个像素点，计算它和种子点的距离，取最小值对应的种子点作为该像素点的聚类中心；

(1.1f)将上述(1d)和(1e)步骤不断迭代直到每个像素点聚类中心不再发生变化为止，得到超像素坐标x、y及亮度信息l，n≥2；

(1.2)依据isar图像的大小设定亮度阈值，保留l大于阈值的超像素坐标x、y以及亮度信息l。

步骤2，依据步骤1的分割结果建立图与图之间的刚性变换关系，得到变换矩阵。

计算机图形学中的变换包括二维旋转变换和三维旋转变换，本发明建立的刚性变换关系是二维旋转变换中绕任意点旋转的旋转关系，其具体实现如下：

(2.1)在一系列n幅isar图像中选取第一幅isar图像作为参考图，利用(1)保留的超像素坐标x、y及亮度信息l，建立第n幅isar图与参考图之间的刚性变换关系，表示如下：

其中，为步骤1中获得的参考图的超像素中心坐标及亮度信息，θn为第n幅isar图相对于参考图的旋转角度，xn0为平移横坐标，yn0为平移纵坐标，为经刚性变换得到的第n幅isar图的超像素中心坐标及亮度信息，t为对矩阵求转置运算；

(2.2)根据(2.1)的刚性变换关系，得到刚性变换矩阵为bn：

其中，θn为第n幅isar图相对于参考图的旋转角度，xn0为平移横坐标，yn0为平移纵坐标。

步骤3，设置第n幅isar图与参考图之间的代价函数。

代价函数的具体形式视具体问题而定，通常使用代价函数来进行参数估计，且代价函数的具体形式是数据实例估计值与真实值之间差异的函数。本实例的代价函数根据步骤1中保留的超像素中心坐标及亮度信息和步骤2中经刚性变换得到的第n幅isar图的超像素中心坐标及亮度信息进行设置，其具体实现如下：

(3.1)建立点点匹配的损失量具体表达式如下：

α＝2*(l/m)

其中，为步骤1保留的第n幅isar图超像素中心的位置和亮度信息，为步骤2中经刚性变换得到的第n幅isar图的超像素中心坐标及亮度信息，α为亮度信息l的权重，l为图像的边长，m为超像素简单线性迭代聚类slic分割预设的超像素个数，*表示相乘；

(3.2)根据(3.1)的结果设置第n幅isar图与参考图之间的代价函数jn：

其中，p＝1,2,...,w1，k＝1,2,...,wn，w1为参考图保留的超像素个数，wn为第n幅isar图保留的超像素个数。

步骤4，利用代价函数对刚性变换矩阵bn进行优化。

优化刚性变换矩阵也即优化代价函数，方法可以分为两类：对约束问题的优化和对非约束问题的优化，主要方法有：梯度下降算法、牛顿算法、共轭梯度法、相等约束法和不等约束法等，本发明采用对非约束问题优化的粒子群优化算法pso，进行优化，即求解使代价函数jn取最小值的刚性变换矩阵bn，其实现如下：

(4.1)初始化粒子的位置和速度；

(4.2)以代价函数jn为适应度，计算粒子的适应度；

(4.3)获取粒子的个体历史最优位置和群体的历史最优位置；

(4.4)结合个体历史最优位置和群体的历史最优位置，更新粒子的位置和速度；

(4.5)将上述(4.2)-(4.4)步骤不断迭代，选取适应度的最小值，得到代价函数jn取最小值的三维刚性变换矩阵bn′，即得到优化后的三维刚性变换矩阵bn′。

步骤5，根据优化后的三维刚性变换矩阵bn′进行isar图像融合。

(5.1)对优化后的三维刚性变换矩阵bn′求逆，得到三维刚性变换矩阵的逆矩阵an；

(5.2)利用插值的方法将第n幅isar图依据逆矩阵an变换到参考图坐标系下：

现有的差值方法有：多项式插值法、线性插值法、二次插值法、二维仿射变换cubic插值法及牛顿插值法等，本发明采用但不限于使用二维仿射变换cubic插值的方法，将第n幅isar图依据逆矩阵an变换到参考图坐标系下；

(5.3)把所有变换后的isar图和参考图以像素取和的方式相叠加，得到最终的融合图。

本发明的效果可通过以下仿真实验进一步验证说明。

(一)仿真条件：

本发明使用matlab软件仿真isar系统，其参数如表1所示：

表1isar系统主要参数

本发明仿真采用的超像素简单线性迭代聚类slic分割，其参数如表2所示：

表2超像素简单线性迭代聚类slic分割主要参数

本发明仿真采用的粒子群优化算法pso，其参数如表3所示：

表3粒子群优化算法pso主要参数

(二)仿真内容及结果：

仿真1：依据表1的仿真参数对isar系统进行仿真，得到6幅不同视角下的“天宫一号”isar仿真图，如图2所示。从图2可见，仿真得到的6幅不同视角下的isar仿真图具有不同的特征：“天宫一号”在图像中所处的位置不同，姿态角度不同，强散射部位也不相同，满足本发明多视角的要求。

仿真2：依据表2的仿真参数对仿真1得到的6幅isar仿真图分别进行超像素简单线性迭代聚类slic分割，结果如图3所示。从图3可见，对isar仿真图分割后的结果图显示出本发明考虑了图像的结构信息，得到空间目标的关键结构信息，为后续准确得到匹配融合图打下基础；

仿真3：依据表3的仿真参数，使用粒子群优化算法pso优化代价函数jn，使用本发明方法进行多视角图像融合，融合仿真1中得到的6幅不同视角下的“天宫一号”isar仿真图进行融合，得到的最终结果如图4所示。从图4可见，最终的融合图很好的对仿真1中得到的6幅图进行了图像配准，融合了6幅图的强散射部位特征，达到融合效果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。