一种合成孔径雷达图像融合拼接方法及装置的制造方法

一种合成孔径雷达图像融合拼接方法及装置的制造方法
【专利摘要】本发明提供一种合成孔径雷达SAR融合拼接方法及装置，其中，所述方法包括：确定第一SAR图像与第二SAR图像之间的非零重叠区域；确定所述非零重叠区域的第四掩模矩阵Mask4；根据所述第四掩模矩阵对所述第一SAR图像进行灰度校正，得到对应的第三SAR图像；根据所述第四掩模矩阵对所述第二SAR图像进行灰度校正，得到对应的第四SAR图像；根据所述第四掩模矩阵Mask4，对所述第三SAR图像和所述第四SAR图像进行融合拼接，得到第五SAR图像；输出所述第五SAR图像。
【专利说明】
一种合成孔径雷达图像融合拼接方法及装置
技术领域
[0001 ] 本发明涉及合成孔径雷达(Synthetic Aperture Radar，SAR)领域，尤其涉及一种 合成孔径雷达图像融合拼接方法及装置。
【背景技术】
[0002] 合成孔径雷达是一种全天时、全天候高分辨率的微波成像雷达，广泛应用于洪涝 灾害监测、矿产森林资源和农作物普查、地形测绘、军事侦查、海洋污染监测等民用和国防 领域。
[0003] 合成孔径雷达图像在空间对地观测中发挥着重要作用，为了获得大的观测区域， 主要有两个途径:一是通过提高单幅雷达图像的幅宽以及条带长度;二是通过对两幅及以 上的SAR遥感图像进行拼接处理。由于获得不同SAR图像的传感器的特性、信号处理误差以 及定标不准等因素的影响，雷达图像的灰度会出现差异，即使是在相邻两幅SAR图像的重叠 区域，灰度也会出现差异。但是对于融合拼接处理之后的图像而言，同一个区域需要以相同 灰度信息显示。而且现有的技术方案将多幅图像融合拼接处理时，图像拼接处会出现不连 续，从而造成人为的错误边缘，影响图像的后续应用。

【发明内容】

[0004] 为解决现有存在的技术问题，本发明实施例提供一种合成孔径雷达图像融合拼接 方法及装置，能够在两幅SAR图像灰度差异较大的情况下得到平滑的融合拼接图像。
[0005]为达到上述目的，本发明实施例的技术方案是这样实现的：
[0006] 第一方面，本发明实施例提供一种合成孔径雷达SAR融合拼接方法，所述方法包 括：
[0007] 确定第一 SAR图像与第二SAR图像之间的非零重叠区域；
[0008]确定所述非零重叠区域的第四掩模矩阵Mask4;
[0009] 根据所述第四掩模矩阵对所述第一 SAR图像进行灰度校正，得到对应的第三SAR图 像；
[0010] 根据所述第四掩模矩阵对所述第二SAR图像进行灰度校正，得到对应的第四SAR图 像；
[0011]根据所述第四掩模矩阵Mask4,对所述第三SAR图像和所述第四SAR图像进行融合 拼接，得到第五SAR图像；
[0012] 输出所述第五SAR图像。
[0013] 第二方面，本发明实施例提供一种合成孔径雷达SAR融合拼接装置，所述装置包 括：
[0014] 第一确定单元，用于确定第一 SAR图像与第二SAR图像之间的非零重叠区域；
[00?5]第二确定单元，用于确定所述非零重叠区域的第四掩模矩阵Mask4;
[0016]第一校正单元，用于根据所述第四掩模矩阵对所述第一 SAR图像进行灰度校正，得 到对应的第三SAR图像；
[0017] 第二校正单元，用于根据所述第四掩模矩阵对所述第二SAR图像进行灰度校正，得 到对应的第四SAR图像；
[0018] 第一拼接单元，用于根据所述第四掩模矩阵Mask4，对所述第三SAR图像和所述第 四SAR图像进行融合拼接，得到第五SAR图像；
[0019] 第一输出单元，用于输出所述第五SAR图像。
[0020] 本发明实施例提供一种合成孔径雷达图像融合拼接方法及装置，其中：确定第一 SAR图像与第二SAR图像之间的非零重叠区域；确定所述非零重叠区域的第四掩模矩阵 Mask4;根据所述第四掩模矩阵对所述第一SAR图像进行灰度校正，得到对应的第三SAR图 像;根据所述第四掩模矩阵对所述第二SAR图像进行灰度校正，得到对应的第四SAR图像;根 据所述第四掩模矩阵Mask4,对所述第三SAR图像和所述第四SAR图像进行融合拼接，得到第 五SAR图像;输出所述第五SAR图像。如此，能够在两幅SAR图像灰度差异较大的情况下得到 平滑的融合拼接图像。
【附图说明】
[0021] 图1为本发明实施例一合成孔径雷达图像融合拼接方法实现流程示意图；
[0022] 图2为本发明实施例二合成孔径雷达图像融合拼接方法实现流程示意图；
[0023]图3-1为本发明实施例三合成孔径雷达图像融合拼接方法实现流程示意图；
[0024] 图3-2为本发明实施例待融合拼接的第一 SAR图像和第二SAR图像；
[0025] 图3-3为本发明实施例第一 SAR图像和第二SAR图像的重叠区域的掩模矩阵；
[0026]图3-4为本发明实施例经过灰度校正后得到的第三SAR图像和第四SAR图像；
[0027] 图3-5为本发明实施例第一 SAR图像和第二SAR图像的重叠区域的边缘矩阵；
[0028] 图3-6为本发明实施例第一 SAR图像和第二SAR图像的重叠区域的主边界线；
[0029]图3-7为本发明实施例利用本发明方法将第一 SAR图像和第二SAR图像进行融合拼 接得到的图像；
[0030] 图4为本发明实施例四合成孔径雷达图像融合拼接装置的组成结构示意图。
【具体实施方式】
[0031] 下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
[0032] 实施例一
[0033] 为了解决【背景技术】中存在的技术问题，本发明实施例提供一种合成孔径雷达图像 融合拼接方法，应用于合成孔径雷达图像融合拼接装置，图1为本发明实施例一合成孔径雷 达图像融合拼接方法实现流程示意图，如图1所示，所述方法包括：
[0034]步骤S101，确定第一 SAR图像与第二SAR图像之间的非零重叠区域；
[0035]这里，所述第一SAR图像和所述第二SAR图像是SAR系统输出的，在本发明的其他实 施例中，所述第一SAR图像和所述第二SAR图像还可以是SAR系统输出的SAR图像经过配准或 几何校正得到的。在本发明的其他实施例中，所述第一SAR图像和所述第二SAR图像的灰度 均值之比的范围为[0.1，10]。在本发明实施例所提供的技术方案是用于图像拼接，自然地 所述第一 SAR图像和所述第二SAR图像应当具有非零重叠区域，其中所述非零重叠区域表示 所述第一SAR图像与所述第二SAR图像的重叠区域中有灰度值不为0的像素点。本发明实施 例中是以灰度图为例进行说明，本领域的技术人员应当理解的是，本发明实施例提供的技 术方案同样可以适用于非灰度图的场景，例如彩色图的场景。
[0036]步骤S102,确定所述非零重叠区域的第四掩模矩阵Mask4;
[0037] 这里，掩模矩阵是由0和1组成的二进制矩阵，当应用掩模时，1值区域被处理，被屏 蔽的〇值区域不被包括在计算中。通过指定的数据值、数据范围、有限或无限值、感兴趣区和 注释文件来定义图像掩模矩阵，也可以应用上述选项的任意组合作为输入来建立掩模矩 阵。
[0038] 步骤S103,根据所述第四掩模矩阵对所述第一 SAR图像进行灰度校正，得到对应的 第三SAR图像；
[0039] 步骤S104,根据所述第四掩模矩阵对所述第二SAR图像进行灰度校正，得到对应的 第四SAR图像；
[0040] 这里，通过对所述第一 SAR图像和所述第二SAR图像分别进行灰度校正，得到所述 第三SAR图像和所述第四SAR图像，缩小了所述第三SAR图像和所述第四SAR图像的灰度差 异。
[0041 ]步骤S105,根据所述第四掩模矩阵Mask4,对所述第三SAR图像和所述第四SAR图像 进行融合拼接，得到第五SAR图像；
[0042]这里，因为所述第三SAR图像和所述第四SAR图像是经过灰度校正得到的，将所述 第三SAR图像和所述第四SAR图像进行融合拼接得到第五SAR图像，使得所述第五SAR图像整 体灰度差异很小，重叠区域过渡平滑。
[0043] 步骤S106,输出所述第五SAR图像。
[0044] 本发明实施例中，确定第一SAR图像与所述第二SAR图像之间的非零重叠区域;确 定所述非零重叠区域的第四掩模矩阵Mask4;根据所述第四掩模矩阵对所述第一 SAR图像进 行灰度校正，得到对应的第三SAR图像;根据所述第四掩模矩阵对所述第二SAR图像进行灰 度校正，得到对应的第四SAR图像;根据所述第四掩模矩阵Mask4,对所述第三SAR图像和所 述第四SAR图像进行融合拼接，得到第五SAR图像;输出所述第五SAR图像。如此，能够在两幅 SAR图像灰度差异较大的情况下得到平滑的融合拼接图像。
[0045] 实施例二
[0046] 为了解决【背景技术】中存在的技术问题，本发明实施例再提供一种合成孔径雷达图 像融合拼接方法，应用于合成孔径雷达图像融合拼接装置，图2为本发明实施例二合成孔径 雷达图像融合拼接方法实现流程示意图，如图2所示，所述方法包括：
[0047] 步骤S201，输入第一 SAR图像和第二SAR图像；
[0048]步骤S202,计算所述第一 SAR图像的第一矩阵Ml的第一掩模矩阵Maskl和所述第二 SAR图像的第二矩阵M2的第二掩模矩阵Mask2;
[0049] 这里，按照公式(2-1)和(2-2)分别计算所述第一矩阵Ml和所述第二矩阵M2的第一 掩模矩阵Maskl和第二掩模矩阵Mask2。
[0050] Maskl=(Ml>ml) (2-1)；
[0051 ] Mask2 = (Ml>m2) (2-2)；
[0052] 所述Maskl和所述Mask2是为了提取出所述第一 SAR图像和所述第二SAR图像的掩 模矩阵。在图像拼接中要求所述Ml和所述M2具有相同的行数与列数，而SAR系统输出的图像 可能行数列数不同，在进行图像融合拼接时，需要将两幅图像矩阵填充至相同大小。这里以 将需要填充的像素点的灰度值设置为〇为例，本领域的技术人员应当理解的是，本发明实施 例提供的技术方案同样适用于将需要填充的像素点的灰度值设置为其他值的场景，比如设 置为255。
[0053] ml和m2分别是为计算Ml和M2的掩模矩阵设置的灰度门限值，因为填充部分的灰度 值为〇,所以将ml和m2设置为略大于0的值即可提取出所述第一 SAR图像和所述第二SAR图像 的有效图像区域。
[0054]步骤S203,根据所述第一掩模矩阵Maskl和所述第二掩模矩阵Mask2计算所述重叠 区域的第三掩模矩阵Mask3;
[0055] 这里，按照公式(2-3)计算所述重叠区域的第三掩模矩阵。
[0056] Mask3=((Maskl+Mask2)>(ml+m2)) (2-3)；
[0057] 步骤S204，对所述第三掩模矩阵Mask3进行形态学滤波，确定所述重叠区域的第四 掩模矩阵Mask4;
[0058] 这里，按照公式(2-4)计算所述重叠区域的第四掩模矩阵Mask4。
[0059] Mask4 = imopen(Mask3,strel((/ disk7 ,5))) (2-4)；
[0060] imopenO为开运算函数，streio为构造结构元素函数。
[0061] 步骤S205,根据所述第四掩模矩阵Mask4、所述第一矩阵Ml和所述第二矩阵M2按照 公式（2-5)和公式（2-6)，确定所述第一矩阵Ml在所述重叠区域中的像素点灰度值序列 Blockl和所述第二矩阵M2在所述重叠区域中的像素点灰度值序列Block2;
[0062] Blockl =Ml(Mask4) (2-5)；
[0063] Block2=M2(Mask4) (2-6)；
[0064] 步骤S206,按照公式(2-7)和公式(2-8)分别计算所述Blockl的均值Meanl和所述 Block2 的均值 Mean2;
[0065] Meanl =mean(Blockl) (2-7)；
[0066] Mean2=mean(Block2) (2-8)；
[0067] 步骤S207,按照公式(2-9)，对所述第一 SAR图像进行灰度校正，得到第三SAR图像， 其中，M3为所述第三SAR图像的第三矩阵；
[0069] 步骤S208,按照公式(2-10)对所述第二SAR图像进行灰度校正，得到第四SAR图像， 其中，M4为所述第四SAR图像的第四矩阵；
[0071]步骤S209,根据所述第四掩模矩阵Mask4,确定所述第四掩模矩阵的边缘图像矩阵 E；
[0072] 这里，按照公式(11)确定所述第四掩模矩阵的边缘图像矩阵E。
[0073] E = edge(Mask4 / canny7 ) (2-11)；
[0074]所述edge 〇为获取边缘图像矩阵的函数，canny表示用canny算子实现边缘检测。
[0075] 步骤S210,根据所述边缘图像矩阵E和SAR系统中成像得到的图像的形状特征，确 定所述重叠区域的第一主边界线和第二主边界线；
[0076] 这里，按照公式（2-12)和公式（2-13)确定所述重叠区域的所述第一主边界线 Line 1和所述第二主边界线Line2,所述Line 1和所述Line2的表达式如公式(2-14)和公式 (2-15)所示。
[0077] [H，T，R]=hough(E) (2-12)；
[0078] P = houghpeaks(H,2/ threshold7 ,ceil(0.3*max(H(:)))) (2-13)；
[0079] Linel：cosd(T(P(l,2))) · x+sind(T(P(1,2))) · y-R(P(1,1))=0 (2-14)；
[0080] Line2：cosd(T(P(2,2))) · x+sind(T(P(2,2))) · y-R(P(2,1))=0 (2-15)；
[0081 ] hough()为霍夫变换函数，H为矩阵E的霍夫变换矩阵，T和R为所述矩阵H中数据在 参数空间的坐标，houghpesks()为计算矩阵Η峰值的函数，PShoughpesks()函数的输出矩 阵，threshold表示确定所述矩阵Η峰值的一种方法，即，将所述Η矩阵中超过阈值为ceil (0·3*max(H(:)))的灰度值作为峰值，cei 1 ()为向上取整的函数，max()为取最大值的函数。 C〇sd()为余弦函数，sind〇为正弦函数。
[0082]步骤S211，根据所述第四掩模矩阵Mask4按照公式(2-16)，确定所述重叠区域中各 个像素点的坐标序列[py，px];
[0083] [py ,px] =find(Mask4) (2-16)；
[0084] 这里，find()是查询满足要求非零值在矩阵中位置的函数，py是所述重叠区域中 各个像素点的横坐标序列，px是所述重叠区域中各个像素点的纵坐标序列。
[0085] 步骤S212,按照公式(2-17)和公式(2-18)计算所述重叠区域中第i个像素点到所 述第一主边界线的第一垂直距离dl(i)和到所述第二边界线的第二垂直距离d2(i);
[0086] dl(i)=|cosd(T(P(l，2)))*px(i)+sind(T(P(l，2)))*py(i)-R(P(l，l))| (2-17)；
[0087] d2(i)=|cosd(T(P(2,2)))*px(i)+sind(T(P(2,2)))*py(i)-R(P(2,2))I (2-18)；
[0088] 这里，i = 1，2，…，N，N为所述重叠区域中像素点的总个数；
[0089]步骤S213,按照公式(2-19)，将所述第三SAR图像和所述第四SAR图像进行融合拼 接，得到第六SAR图像；
[0090] M6(j，k)=M3(j，k)+M4(j，k) (2-19)；
[0091] 步骤S214,按照公式(2-20)将所述第六SAR图像中的所述非零重叠区域的像素点 的灰度值进行校正，得到第五SAR图像；
[0093]这里，（Py(i)，Px(i))为所述非零重叠区域中第i个像素点的坐标，M3(j，k)为所述 第三SAR图像中像素点（j，k)的灰度值，M4(j，k)为所述第四SAR图像中像素点（j，k)的灰度 值，M6 (j，k)为所述第六SAR图像中像素点（j，k)的灰度值。
[0094] 步骤S215,输出所述第五SAR图像。
[0095] 实施例三
[0096]本发明实施例先提供一种合成孔径雷达图像融合拼接方法，应用于合成孔径雷达 图像融合拼接装置，图3-1为本发明实施例三合成孔径雷达图像融合拼接方法实现流程示 意图，如图3-1所示，所述方法包括：
[0097]步骤S301，重叠区域掩模提取:输入两幅含有重叠区域的SAR图像，分别计算所述 两幅SAR图像的掩模矩阵，取两个掩模的交集作为粗重叠区域掩模矩阵，在此基础上利用开 运算对所述粗重叠区域掩模矩阵进行形态学处理，完成所述重叠区域掩模矩阵的提取； [0098] 这里，步骤S301进一步包括：
[0099] 步骤S3011，输入两幅含有重叠区域的SAR图像，分别记为矩阵datal和data2,所述 data 1和所述data2的行数和列数均为Ny和Nx;
[0100] 步骤S3012,按照式（3-1)和（3-2)计算矩阵datal和data2的掩模矩阵Maskl和 Mask2，即
[0101] Maskl=(datal>0.5) (3-1)；
[0102] Mask2 = (data2>0.5) (3-2)；
[0103] 步骤S3013,按照式(3-3)计算所述两幅SAR图像的粗重叠区域掩模矩阵MaskO,即
[0104] Mask0 = ((Maskl+Mask2)>l) (3-3)；
[0105] 步骤S30 14，对所述掩模矩阵MaskO进行形态学滤波，调用MATLAB (Matr ix Laboratory，矩阵实验室）中的strel函数和imopen函数完成，得到重叠区域掩模矩阵，即
[0106] Mask = imopen(MaskO,strel((7 disk7 ,5))) (3-4)；
[0107]这里，本发明实施例提供的strel函数和imopen函数是为了将MaskO进行形态学滤 波，将图像边界平滑，消除细小的尖刺，本领域的技术人员应当理解的是，使用其他函数达 到相同的效果同样属于本发明实施例的保护范围。
[0108] 步骤S302，SAR图像灰度校正:根据所述重叠区域掩模矩阵分别提取两幅SAR图像 重叠区域的各个像素点的灰度值，并计算各自对应的灰度值均值，再根据所述均值对两幅 SAR图像进行整体修正，；
[0109] 这里，步骤S302进一步包括：
[0110] 步骤S3021，根据重叠区域掩模矩阵Mask，按照式(3-5)和(3-6)得到矩阵datal和 data2的重叠区域中像素点的灰度值序列Blockl和Block2,即
[0111] Blockl =datal (Mask) (3-5)；
[0112] Block2 = data2(Mask) (3-6)；
[0113] 步骤S3022，调用MATLAB中的mean函数，分别计算重叠区域像素点的灰度值序列 Blockl和Block2的灰度均值Meanl和Mean2，即
[0114] Meanl =mean(Blockl) (3-7)；
[0115] Mean2=mean(Block2) (3-8)；
[0116] 步骤S3023,按照式(3-9)和(3-10)完成图像灰度整体修正，得到修正后图像矩阵 Imagel和Image2，即
[0119] 步骤S303,融合拼接处理:对所述重叠区域掩模进行边缘检测，对边缘检测结果进 行Hough(霍夫)变化确定重叠区域的主边界，在重叠区域内部，分别计算各个像素点与两个 主边界的距离，并以此计算加权系数，在此基础上计算各个像素点的融合拼接像素结果。对 于重叠区域之外的拼接图像像素点的灰度值，直接采用两幅SAR图像的修正后灰度值之和。
[0120] 这里，所述步骤S303进一步包括：
[0121] 步骤S3031，根据重叠区域掩模矩阵Mask，调用MATLAB中的edge函数得到掩模矩阵 的边缘图像矩阵E，，即
[0122] E = edge (Mask / canny7 ) (3-11)；
[0123] canny表示用canny算子实现边缘监测。
[0124] 步骤S3032,根据所述重叠区域掩模矩阵的边缘图像矩阵E，调用MATLAB中的hough 和houghpeaks函数得到重叠区域的主边界Linel和Line2，即
[0125] [H，T，R]=hough(E) (3-12)；
[0126] P = houghpeaks(Η,2,7 threshold7 ,ceil(0.3*max(H(:)))) (3-13)；
[0127] Linel :cosd(T(P(l ,2))) · x+sind(T(P(l ,2))) · y-R(P(l ,1))=0 (3-14)；
[0128] Line2：cosd(T(P(2,2))) · x+sind(T(P(2,2))) · y-R(P(2,1))=0 (3-15)；
[0129]这里，hough()为计算二值图像E的标准霍夫变换函数，H为hough()函数输出的霍 夫变换矩阵，T，R为Η对应的坐标，houghpeaksO为计算霍夫变换矩阵Η的峰值函数， thresho Id为表示阈值的参数，ce i 1 ()是向上取整的函数。
[0130] 步骤S3033,根据重叠区域掩模矩阵Mask，调用MATLAB中的find函数得到重叠区域 中各个像素点的坐标序列px，py;
[0131] [py ,px] =find(Mask4) (3-16)；
[0132] 步骤S3034,按照式(3-17)和(3-18)依次计算所述重叠区域中各个像素点到重叠 区域主边界Linel和Line2的距离；
[0133] dl(i)=|cosd(T(P(l，2)))*px(i)+sind(T(P(l，2)))*py(i)-R(P(l，l))| (3-17)；
[0134] d2(i)=|cosd(T(P(2,2)))*px(i)+sind(T(P(2,2)))*py(i)-R(P(2,2))I (3-18)；
[0135] 这里，dl(i)为所述重叠区域中第i个像素点到所述Linel的第一垂直距离和d2(i) 为所述重叠区域中第i个像素点到所述Line2的第二垂直距离，i = l，2,…，N，N为所述重叠 区域中像素点的总个数。
[0136] 步骤S3035,按照式（3-19)将修正后的图像矩阵Imagel和Image2进行融合拼接得 到拼接图像的矩阵Out;
[0137] 0ut( j ,k) = Imagel( j ,k)+Image2( j ,k) (3-19)；
[0138]这里，Imagel (j ,k)为所述Imagel中像素点（j ,k)的灰度值，Image2(j ,k)为所述 Image2中像素点（j , k)的灰度值，Out (j , k)为所述Out中像素点（j , k)的灰度值。
[0139]步骤S3036,按照公式(3-20)将所述拼接图像的重叠区域的像素点的灰度值进行 校正；
[0141] 这里，（py(i)，px(i))为所述非零重叠区域中第i个像素点的坐标。
[0142] 下面以如图3-2所示的两幅SAR图像为例，对其按照本发明提出的方法进行融合拼 接，所述两幅SAR图像的尺寸为1201 *901，此两幅图像的灰度差异较大，强度比约为2:1，具 体的评估方法具体通过以下步骤：
[0143] 步骤S301，重叠区域掩模提取:输入两幅含有重叠区域的SAR图像，分别计算有效 图像的掩模矩阵，取两个掩模的交集作为粗重叠区域掩模矩阵，在此基础上利用开运算对 粗重叠区域掩模矩阵进行形态学处理，完成重叠区域掩模矩阵提取；
[0144] 步骤S3011，输入两幅含有重叠 区域的SAR图像（如图3-2所示），分别记为矩阵 datal和data2，所述datal和所述data2的行数和列数均为Ny = 901和Nx = 1201;
[0145] 步骤S3012,按照式(3-1)和(3-2)计算矩阵datal和data2的有效图像的掩模矩阵 Maskl和Mask2;
[0146] 步骤S3013,按照式(3-3)计算两幅SAR图像的粗重叠区域掩模矩阵；
[0147] 步骤S3014,对掩模矩阵MaskO进行形态学滤波，调用MATLAB中的strel和imopen函 数完成，得到重叠区域掩模矩阵(如图3-3所示）；
[0148] 步骤S302，SAR图像灰度校正:根据重叠区域掩模矩阵分别提取两幅SAR图像重叠 区域的数据矩阵，并计算各自对应的灰度值均值，再根据均值对两幅SAR图像进行整体修 正。
[0149] 步骤S3021，根据重叠区域掩模矩阵Mask，按照式(3-5)和(3-6)计算矩阵datal和 data2的重叠区域有效图像像素序列Blockl和Block2。
[0150] 步骤S3023,调用MATLAB中的mean函数，分别计算重叠区域像素序列Blockl和 Block2 的灰度均值 Meanl = 104.2772 和 Mean2 = 53.1434〇
[0151] 步骤S3024,按照式(3-9)和(3-10)完成图像灰度整体修正，得到修正后图像矩阵 Imagel和Image2(如图3-4所不）；
[0153] Image2 = data2 (3-22)；
[0154] 步骤S303，融合拼接处理：对重叠区域掩模进行边缘检测，对边缘检测结果进行 Hough变化确定重叠区域的主边界，在重叠区域内部，分别计算当前点与两个主边界的距 离，并以此计算加权系数，在此基础上计算当前位置的融合拼接像素结果。对于重叠区域之 外的拼接图像像素值，直接采用两幅SAR图像的修正后灰度值之和。
[0155] 步骤S3031，根据重叠区域掩模矩阵Mask，调用MATLAB中的edge函数得到掩模矩阵 的边缘图像矩阵E(如图3-5所示）；
[0156] 步骤S3032,根据重叠区域掩模矩阵的边缘图像矩阵E，调用MATLAB中的hough和 houghpeaks函数得到重叠区域的主边界Linel和Line2(如图3-6所示）；
[0157] Linel ：cosd(5) · x+sind(5) · y-2968 = 0 (3-23)；
[0158] Line2:cosd(4) · x_sind(4) · y_1979 = 0 (3-24)；
[0159] 步骤S3033,根据重叠区域掩模矩阵Mask，调用MATLAB中的find函数得到重叠区域 中各点的坐标序列ρχ，py;
[0160] 步骤S3034,按照式（3-17)和（3-18)依次计算坐标序列ρχ和py中每个像素点到重 叠区域主边界Linel和Line2的距离dl (i)和d2( i);
[0161] dl(i)= Icosd(5)*px(i)+sind(5)*py(i)_2968I (3-25)；
[0162] d2(i)=|cosd(4)*px(i)-sind(4)*py(i)_1979| (3-26)；
[0163] 步骤S3035,按照式(3-19)和式(3-20)计算拼接图像矩阵Out(如图3-7所示）。从融 合拼接结果可以看出，拼接图像过度平滑，看不出明显的拼接缝隙。
[0164] 本发明在准确提取两幅SAR图像的重叠区域的基础上，统计重叠区域的灰度统计， 从而完成不同图像的灰度信息校准，再利用边缘检测和Hough变换完成重叠区域主边界的 提取，并根据重叠区域位置完成融合系数的计算，实现一种能适应图像灰度差异大的两幅 SAR图像的融合拼接处理方法。
[0165] 实施例四
[0166] 基于前述的实施例，本发明实施例提供一种合成孔径雷达融合拼接装置，图4为本 发明实施例四合成孔径雷达融合拼接装置的组成结构示意图，如图4所示，所述合成孔径雷 达融合拼接装置400包括:第一确定单元401、第二确定单元402、第一校正单元403、第二校 正单元404.第一拼接单元405和第一输出单元406，其中：
[0167] 所述第一确定单元401，用于确定第一SAR图像与第二SAR图像之间的非零重叠区 域；
[0168] 这里，所述第一确定单元401进一步包括输入单元和第三确定单元：所述输入单 元，用于输入第一 SAR图像和第二SAR图像;所述第三确定单元，用于根据所述第一 SAR图像 和所述第二SAR图像确定所述非零重叠区域。
[0169]所述第二确定单元402,用于确定所述非零重叠区域的第四掩模矩阵Mask4;
[0170]这里，所述第二确定单元402进一步包括第一计算单元、第二计算单元和第三计算 单元:所述第一计算单元，用于计算所述第一 SAR图像的第一矩阵Ml的第一掩模矩阵Maskl 和所述第二SAR图像的第二矩阵M2的第二掩模矩阵Mask2;所述第二计算单元，用于根据所 述第一掩模矩阵Maskl和所述第二掩模矩阵Mask2计算所述重叠区域的第三掩模矩阵 Mask3;所述第八确定单元，用于对所述第三掩模矩阵Mask3进行形态学滤波，确定所述重叠 区域的第四掩模矩阵Mask4。
[0171]所述第一校正单元403,用于根据所述第四掩模矩阵对所述第一 SAR图像进行灰度 校正，得到对应的第三SAR图像；
[0172]这里，所述第一校正单元403进一步包括第四确定单元、第四计算单元和第三校正单 元:所述第四确定单元，用于根据所述第四掩模矩阵Mask4、所述第一矩阵Ml和所述第二矩阵 M2按照公式Blockl =Ml(Mask4)，Block2 = M2(Mask4)，确定所述第一矩阵Ml在所述重叠区 域中的像素点灰度值序列Blockl和所述第二矩阵M2在所述重叠区域中的像素点灰度值序 列Block2;所述第四计算单元，用于分别计算所述Blockl的均值Meanl和所述Block2的均值 Mean2;所述第三校正单元，用于按照公式
对所述第一 SAR图像进行灰度校正，得到第三SAR图像，其中，M3为所述第三SAR图像的第三 矩阵。
[0173]所述第二校正单元404,用于根据所述第四掩模矩阵对所述第二SAR图像进行灰度 校正，得到对应的第四SAR图像；
[0174] 这里，所述第二校正单元404,进一步包括第四校正单元:所述第四校正单元，用于
对所述第二SAR图像进行灰度校正， 得到第四SAR图像，其中，M4为所述第四SAR图像的第四矩阵。
[0175] 所述第一拼接单元405,用于根据所述第四掩模矩阵Mask4,对所述第三SAR图像和 所述第四SAR图像进行融合拼接，得到第五SAR图像；
[0176] 这里，所述第一拼接单元405进一步包括第五确定单元、第六确定单元、第七确定 单元、第二拼接单元和第五校正单元:所述第五确定单元，用于根据所述第四掩模矩阵Mask4， 确定所述第四掩模矩阵的边缘图像矩阵E，具体用于按照公式E = edge(Mask4/ canny')确定 所述第四掩模矩阵的边缘图像矩阵E，其中，所述edge()为获取边缘图像矩阵的函数，canny表 示用canny算子实现边缘检测;所述第六确定单元，用于根据所述边缘图像矩阵E和SAR系统中 成像得到的图像的形状特征，确定所述重叠区域的第一主边界线和第二主边界线，具体用于 按照公式[H，T，R]=hough(E)和P=houghpeaks(H，2/ threshold'，ceil(0.3*max(H(:))))确 定所述重叠区域的所述第一主边界线!^1161:(3〇8(1(1'(?(1，2)))*1+8；[11(1(1'(?(1，2)))*7-1?(? (1,1))=0和所述第二主边界线Line2:cosd(T(P(2,2))) · x+sind(T(P(2,2))) · y-R(P(2， 1))=0,其中，hough()为霍夫变换函数，Η为矩阵E的霍夫变换矩阵，T和R为所述矩阵Η中数 据在参数空间的坐标，houghpesks ()为计算矩阵Η峰值的函数，PShoughpesks ()函数的输出 矩阵，threshold表示计算所述矩阵Η峰值的一种方法，得到超过阈值为ceil(0.3*max(H(:))) 的峰值，ceil()为向上取整的函数，max()为取最大值的函数，cosd()为余弦函数，sind()为正 弦函数;所述第七确定单元，用于根据所述第四掩模矩阵Mask4按照公式[py，px] = find (Mask4)，确定所述重叠区域中各个像素点的坐标序列[py，px]，其中，py是所述重叠区域中 各个像素点的横坐标序列，px是所述重叠区域中各个像素点的纵坐标序列;所述第五计算 单元，用于计算所述重叠区域中第i个像素点到所述第一主边界线的第一垂直距离dl(i)和 到所述第二边界线的第二垂直距离d2(i)，其中i = l，2,…，N，N为所述重叠区域中像素点的 总个数;所述第二拼接单元，用于按照16(」，1〇=13(」，1〇+14(」，1〇，将所述第三541?图像和 所述第四SAR图像进行融合拼接，得到第六SAR图像；所述第五校正单元，用于按照公式
将所述第六 SAR图像中的所述非零重叠区域的像素点的灰度值进行校正，得到第五SAR图像，（py(i)，px (i))为所述非零重叠区域中第i个像素点的坐标，M3(j，k)为所述第三SAR图像中像素点（j， k)的灰度值，M4 (j，k)为所述第四SAR图像中像素点（j，k)的灰度值，M6 (j，k)为所述第六SAR 图像中像素点（j，k)的灰度值。
[0177] 所述第一输出单元406,用于输出所述第五SAR图像。
[0178] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形 式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储 介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0179] 本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序 指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0180] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0181] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。
[0182] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
【主权项】
1. 一种合成孔径雷达SAR融合拼接方法，其特征在于，所述方法包括： 确定第一 SAR图像与第二SAR图像之间的非零重叠区域； 确定所述非零重叠区域的第四掩模矩阵Mask4; 根据所述第四掩模矩阵对所述第一 SAR图像进行灰度校正，得到对应的第^SAR图像； 根据所述第四掩模矩阵对所述第二SAR图像进行灰度校正，得到对应的第四SAR图像； 根据所述第四掩模矩阵Mask4,对所述第SSAR图像和所述第四SAR图像进行融合拼接， 得到第五SAR图像； 输出所述第五SAR图像。2. 根据权利要求1中所述的方法，其特征在于，所述第一 SAR图像和所述第二SAR图像是 经过配准或几何校正的SAR图像，并且所述第一 SAR图像和所述第二SAR图像的灰度均值之 比的范围为[〇.1，1〇]。3. 根据权利要求1中所述的方法，其特征在于，所述确定第一 SAR图像和第二SAR图像之 间的非零重叠区域包括： 输入第一 SAR图像和第二SAR图像； 根据所述第一 SAR图像和所述第二SAR图像确定所述非零重叠区域。4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述确定所述重叠区域的第 四掩模矩阵Mask4包括： 计算所述第一 SAR图像的第一矩阵Ml的第一掩模矩阵Maskl和所述第二SAR图像的第二 矩阵M2的第二掩模矩阵Mask2; 根据所述第一掩模矩阵Maskl和所述第二掩模矩阵Mask2计算所述重叠区域的第Ξ掩 模矩阵Mask3; 对所述第Ξ掩模矩阵Mask3进行形态学滤波，确定所述重叠区域的第四掩模矩阵 Mask4〇5. 根据权利要求4中所述的方法，其特征在于，所述根据所述第四掩模矩阵Mask4对所 述第一 SAR图像进行灰度校正，得到第^SAR图像包括： 根据所述第四掩模矩阵Mask4、所述第一矩阵Ml和所述第二矩阵M2按照公式Blockl = Ml(Mask4)，Block2 = M2(Mask4)，确定所述第一矩阵Ml在所述重叠区域中的像素点灰度值 序列Blockl和所述第二矩阵M2在所述重叠区域中的像素点灰度值序列Block2; 分别计算所述Blockl的均值Meanl和所述Blocks的均值Mean2; 按照公?!，对所述第一 SAR图像进行灰 度校正，得到第二SAR图像，其中，M3为所述第二SAR图像的第二矩阵。6. 根据权利要求5中所述的方法，其特征在于，所述根据所述第四掩模矩阵Mask4对所 述第二SAR图像进行灰度校正，得到第四SAR图像包括： 按照对所述第二SAR图像进行灰度校 正，得到第四SAR图像，其中，M4为所述第四SAR图像的第四矩阵。7. 根据权利要求1或2中所述的方法，其特征在于，所述根据所述第四掩模矩阵Mask4， 对所述第^SAR图像和所述第四SAR图像进行融合拼接，得到第五SAR图像包括： 根据所述第四掩模矩阵Mask4,确定所述第四掩模矩阵的边缘图像矩阵E; 根据所述边缘图像矩阵E和SAR系统中成像得到的图像的形状特征，确定所述重叠区域 的第一主边界线和第二主边界线； 根据所述第四掩模矩阵Mask4按照公式[口7，口义]=^11(1(1曰344)，得到所述重叠区域中 各个像素点的坐标序列[py，px]，其中，find()是查询满足要求非零值在矩阵中位置的函 数，py是所述重叠区域中各个像素点的横坐标序列，阳是所述重叠区域中各个像素点的纵 坐标序列； 计算所述重叠区域中第i个像素点到所述第一主边界线的第一垂直距离dl(i)和到所 述第二边界线的第二垂直距离d2(i)，其中i = l，2,…，N，N为所述重叠区域中像素点的总个 数； 按照16〇，1〇=13〇，1〇+14〇，1〇，将所述第^541?图像和所述第四541?图像进行融合拼 接，得到第六SAR图像； 按照公?!将所述第六SAR图像中的所述非零重叠区域的像素点的灰度值进行校正，得到第五SAR图 像，其中，（py(i)，px(i))为所述非零重叠区域中第i个像素点的坐标，M3(j，k)为所述第Ξ SAR图像中像素点（j，k)的灰度值，M4(j，k)为所述第四SAR图像中像素点（j，k)的灰度值，M6 (j，k)为所述第六SAR图像中像素点（j，k)的灰度值。8. 根据权利要求7中所述的方法，其特征在于，所述根据所述第四掩模矩阵Mask4，确定 所述第四掩模矩阵的边缘图像矩阵E包括:按照公式E = edge(Mask4/cann/)确定所述第 四掩模矩阵的边缘图像矩阵E，其中，所述edgeO为获取边缘图像矩阵的函数，canny表示用 canny算子实现边缘检测。9. 根据权利要求8中所述的方法，其特征在于，所述根据所述边缘图像矩阵E和SAR系统 中成像得到的图像的形状特征，确定所述重叠区域的第一主边界线和第二主边界线包括： 按照公式阳，T,R] = hough(E)和P = houghpeaks化，2,' threshold' ,ceil (0.3*max(H (:))))确定所述重叠区域的所述第一主边界线Linel:cosd(T(P(l，2))) -x+sind(T(P(l， 2))) · y-R(P(l，l)) = 0和所述第二主边界线Line2:cosd(T(P(2,2))) · x+sind(T(P(2， 2))) · y-R(P(2，l)) = 0,其中，hou曲Ο为霍夫变换函数，Η为矩阵E的霍夫变换矩阵，Τ和R为 所述矩阵Η中数据在参数空间的坐标，houghpesks()为计算矩阵Η峰值的函数，P为 houghpesks()函数的输出矩阵，threshold表示计算所述矩阵Η峰值的一种方法，cei 1 ()为 向上取整的函数，maxO为取最大值的函数，cosd()为余弦函数，sind()为正弦函数。10. -种合成孔径雷达SAR融合拼接装置，其特征在于，所述装置包括： 第一确定单元，用于确定第一 SAR图像与第二SAR图像之间的非零重叠区域； 第二确定单元，用于确定所述非零重叠区域的第四掩模矩阵Mask4; 第一校正单元，用于根据所述第四掩模矩阵对所述第一 SAR图像进行灰度校正，得到对 应的第^SAR图像； 第二校正单元，用于根据所述第四掩模矩阵对所述第二SAR图像进行灰度校正，得到对 应的第四SAR图像； 第一拼接单元，用于根据所述第四掩模矩阵Mask4，对所述第SSAR图像和所述第四SAR 图像进行融合拼接，得到第五SAR图像； 第一输出单元，用于输出所述第五SAR图像。
【文档编号】G06T3/40GK106097249SQ201610454569
【公开日】2016年11月9日
【申请日】2016年6月21日
【发明人】郭彩虹, 王宇
【申请人】中国科学院电子学研究所