一种遥感图像目标识别方法
【专利摘要】本发明公开了一种遥感图像目标识别方法，包括：在训练图像集每幅训练图像的每个像素处分别提取外观特征；利用训练图像的外观特征和类型标注构造目标?背景有序语义对，并学习得到目标?背景语义模型；利用训练图像的外观特征和类型标注构造目标类型有序语义对，并学习得到目标类型语义模型；在测试图像中的每个像素处分别提取外观特征；利用测试图像的外观特征构造目标?背景有序语义对，并利用所述目标?背景语义模型提取所述测试图像中的目标区域；对测试图像目标区域的外观特征构造目标类型有序语义对，利用所述目标类型语义模型判定目标类型。本发明提高了目标与背景及不同类型目标间的可分性，可广泛应用于灾害监测、目标侦察等诸多领域中。
【专利说明】
一种遥感图像目标识别方法
技术领域
[0001] 本发明涉及遥感图像处理、特征匹配、目标检测和识别等技术领域，特别是一种遥 感图像目标识别方法。
【背景技术】
[0002] 遥感图像目标识别是利用计算机从输入图像中将目标检测出来并判断目标类型 的技术。遥感图像目标识别在灾害检测、目标搜寻、目标定位等方面有着广泛的应用。然而， 由于遥感图像的复杂性及目标的语义不确定性，从遥感图像中利用计算机自动检测、识别 目标依然面临着许多挑战。
[0003] 遥感图像目标识别的关键技术包括特征描述和特征匹配。由于传感器种类、拍摄 条件差异以及目标特征的外观易变性（同一目标或同一类型目标在不同传感器图像或不同 成像条件下外观差异很大），目标与背景之间、不同类型目标之间的区分性很低，很容易造 成目标的漏检和误检。也就是说，特征描述和特征匹配是遥感图像目标识别的关键瓶颈。
[0004] 近年来，一些新的特征描述方法如尺度不变特征（SIFT，Scale Invar iant Feature Transform)被提出，并在图像匹配、图像检索中表现出优良的性能。然而，这些特 征描述方法忽略了目标与背景之间、不同类型目标之间的语义差异，割裂了特征描述和特 征匹配的内在联系，极大地影响了目标检测、目标识别的性能。
【发明内容】
[0005] 本发明的目的是针对遥感图像目标识别的难点、现状以及语义特征的重要性，提 供一种有效的遥感图像目标识别方法。
[0006] 为了实现上述目的，本发明提出一种遥感图像目标识别方法，该方法包括以下步 骤：
[0007] 步骤S1，在训练图像集每幅训练图像的每个像素处分别提取外观特征；
[0008] 步骤S2,利用训练图像的外观特征和类型标注构造目标-背景有序语义对，并学习 得到目标-背景语义模型；
[0009] 步骤S3,利用训练图像的外观特征和类型标注构造目标类型有序语义对，并学习 得到目标类型语义模型；
[0010]步骤S4,在测试图像中的每个像素处分别提取外观特征；
[0011] 步骤S5，利用测试图像的外观特征构造目标-背景有序语义对，并利用所述目标-背景语义模型提取所述测试图像中的目标区域；
[0012] 步骤S6,对测试图像目标区域的外观特征构造目标类型有序语义对，利用所述目 标类型语义模型判定目标类型。
[0013] 本发明所述方法对于提高目标检测率和目标识别率具有重要的意义，其主要优点 如下：
[0014] 本发明在外观特征基础上学习目标的语义特征，利用语义特征对目标进行检测和 识别，提高了目标与背景、不同类型目标之间的可分性；
[0015] 语义特征学习过程中综合考虑了类内差异性、类间相似性等干扰因素，利用在语 义特征学习过程中得到的语义投影矩阵可以自适应地调整目标与背景、不同类型目标之间 的差异；
[0016] 将目标识别分解为目标位置检测和目标类型识别两个相对独立的过程，每个过程 都利用语义特征和语义投影矩阵减少多源图像差异及目标表征的歧异性，从而从整体上提 高了目标识别的精度。
[0017] 得益于上述优点，本发明极大地提高了遥感图像目标检测和识别的精度，可广泛 应用于图像配准、目标识别、目标跟踪等系统中。
【附图说明】
[0018] 图1是根据本发明一实施例的遥感图像目标识别方法的流程图；
[0019] 图2是根据本发明一实施例的DAISY特征提取示意图。
【具体实施方式】
[0020] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0021] 图1是根据本发明一实施例的遥感图像目标识别方法的流程图，如图1所示，所述 方法包括以下步骤：
[0022]步骤S1，在训练图像集每幅训练图像的每个像素处分别提取外观特征；
[0023]本发明中，利用DAISY特征表征每个像素及其邻域的外观特征。
[0024] 所述步骤S1进一步包括以下步骤：
[0025] 步骤S11，对于训练图像进行预处理；
[0026] 若训练图像为灰度图像，可跳过该步骤直接在训练图像上提取外观特征即可，也 就是说该步骤对于灰度图像不作任何处理;若训练图像为多光谱图像，则在该步骤中首先 计算多光谱图像的平均波段图像，然后再在所述平均波段图像上提取外观特征，其中，所述 平均波段图像中的每个像素值为该像素处不同波段光谱响应的均值。
[0027] 步骤S12,在所述训练图像或所述训练图像对应的平均波段图像的每个像素处提 取外观特征，即DAISY特征(DAISY的英文原意为雏菊花，因本发明中特征提取的中央-周围 对称结构与雏菊花的花瓣结构很相似，故称之为DAISY特征）。图2为根据本发明一实施例的 DAISY特征提取示意图，如图2所示，DAISY特征以灰度图像或平均波段图像的每个像素为中 心、以采样尺度为半径(比如16)的图像块上构造多个(比如3个)不同半径的同心圆形结构， 并在每个同心圆上按一定角度(比如45°)等角度间隔提取多个(比如8个)取样点，以每个取 样点为圆心构造圆形结构，称之为取样圆。圆心位于同一个同心圆的取样圆半径相同，圆心 位于不同同心圆的取样圆半径由里向外半径依次增大。对落在每一个取样圆内的图像像素 点构造梯度方向直方图，然后将不同取样圆的梯度方向直方图连接起来组成DAISY特征。
[0028] 具体地，所述步骤S12进一步包括以下步骤：
[0029]步骤S121，计算以每个像素为中心、以采样尺度为半径的图像块中每个取样圆对 应的局部梯度方向直方图；
[0030] 所述步骤S121进一步包括以下步骤：
[0031]步骤S1211，计算以每个像素为中心、以采样尺度为半径的图像块中每个取样圆的 每个图像像素点(u，v)的q个(在本发明一实施例中，q = 8)方向梯度；
[0032] 步骤S1212,利用高斯核卷积得到所述取样圆中每个图像像素点对应的方向梯度 向量：
[0033] V)，…，
[0034] 其中，f(&v)表示第i个方向梯度，上标E表示该像素点所在取样圆的高斯尺度 值。这样，相同半径的取样圆上的像素点具有相同的高斯尺度值，不同半径的取样圆上的像 素点高斯尺度值不同。本发明中，高斯尺度值指高斯核卷积的标准差。
[0035] 步骤S1213,对每个像素点对应的上述向量按照将梯度方向从0度到360度均匀量 化到q个等角度范围区间进行统计的方式得到该取样圆对应的局部梯度方向直方图。
[0036] 步骤S122,基于所述步骤S121得到的每个取样圆对应的局部梯度方向直方图，得 到每个像素对应的DAISY特征，所述DAISY特征用于描述采样点(u，v)局部支撑区域中每个 图像像素点的一系列相关向量的加权，表示如下：
[0037] D(u,v)^ * …， hyt(fiV(n,v,R3))
[0038] 其中，lm(u，v，Rn)表示以采样点(u，v)为中心的中央-周围对称计算结构中第n个同 心圆环上的第m个取样圆，/〇,机r,尺))表示以采样点(u，v)为中心的中央-周围对称计算 结构中第n个同心圆环上的第m个取样圆的局部梯度方向直方图，在本发明一实施例中，m = 1，2，."，8，n = l，2,3〇
[0039]步骤S2,利用训练图像的外观特征和类型标注构造目标-背景有序语义对，并学习 得到目标-背景语义模型，其中，所述目标-背景语义模型包括目标-背景语义投影矩阵和目 标-背景语义参数两部分，所述目标-背景语义投影矩阵的作用是调整背景与目标外观特征 之间的距离、提高背景与目标的可分性，所述目标-背景语义参数的作用是为了后续的目标 区域检测；
[0040] 所述步骤S2进一步包括以下步骤：
[0041] 步骤S21，构造目标-背景有序语义对:该步骤将背景作为一类，所有的目标作为一 类，然后根据每个像素上的DAISY特征及其对应的类标构造目标-背景有序语义对。设训练 样本集合为D= {(xi，yi) |i = l，2,…，n}，xi表示第i个训练样本对应的DAISY特征向量，yi为 对应的类标，yi = 〇代表背景，yi = l代表目标。对每个训练样本(Xl，yi)，按照如下方式构造 有序语义对:在训练样本集合D中利用K-D tree算法搜索类标与yi-致的最近邻xi,2、与yi不 一致的最近邻Xi, 3;然后构造有序语义对t = (Xi，Xi, 2，Xi, 3).，将所有的训练样本对应的有序 语义对放到一起，形成有序语义对集合{tl，t2,…，tn}，其中tl= (X1,1，X1,2，X1,3)，1 = 1， 2，…，n. n为有序语义对个数。
[0042]步骤S22,以最大化背景与目标之间对应的特征向量的距离为目标，学习目标-背 景语义模型，所述目标-背景语义模型将背景作为一类，将不同类型的目标作为一类，所述 目标-背景语义模型通过学习语义投影矩阵M来调整样本之间的距离、提高背景与目标的可 分性，即使得背景之间或目标之间对应的特征向量的距离更小，背景与目标之间对应的特 征向量的距离更大。
[0043]本发明中，目标-背景语义模型表示为如下的数学模型：
[0045] 其中，| |M| |f表示矩阵M的Frobenius范数，是待求的松弛变量，C为正则化因子，n 为有序语义对个数。本发明一实施例中，C = 10。
[0046]为求解上述模型，将其转化为Lagrange对偶问题：
[0048]其中，<^为待求的目标-背景语义参数，1^=^,14,2 4,3)和1：」=^,1，1」,2，1」,3)， Kt (ti，tj) - tr(TiTj)，Ti - (Xi, l_Xi, 3 ) ( Xi, l_Xi, 3 ) _ ( Xi, l_Xi, 2)(Xi,l_Xi,2)，Tj - ( X j, 1-X j, 3 ) (Xj,l-Xj,3)T-(Xj,l-Xj,2)(Xj,l-Xj,2)T，tr( ?)表示矩阵的迹算子。
[0049] 这是一个普通的二次规划问题，可以利用随机梯度法、内点法等方法求解。得到a =[ai，…，an]后，就可以计算得到目标-背景语义投影矩阵：
[0050] M a,[(xu - X,,)(xIA -x,,)' ~()￡-；1 - x,:)(>-,, -xi :)' J .1
[0051] 步骤S3,利用训练图像的外观特征和类型标注对构造目标类型有序语义对，并学 习目标类型语义模型；
[0052] 设训练图像中目标区域的训练样本为(X1，yj)，X1(l彡l<m)表示第i个训练样本对 应的DAISY特征向量，m为训练图像中目标区域的像素个数， yi (1彡j彡C)为对应的目标类 型，C为目标类型个数。所述步骤S3进一步包括以下步骤：
[0053] 步骤S31，基于训练样本中外观特征相似性和目标类型相似性构造目标类型有序 语义对；
[0054] 为了提高不同类型目标的可分性，在构造目标类型语义模型前先构造目标类型有 序语义对。下面以第i类类型的目标为例介绍目标类型有序语义对的构造方法。对于训练样 本集合中属于第i类目标的每一个训练样本(xi，i)，（1 = 1，…，nu)，分别从第i类目标训练样 本和非第i类目标训练样本集合中利用k_D tree算法搜索最近邻X1,2和幻,3组成第i类目标 的有序语义对〖=(1 1^1,2^1,3)，111 1为第1类类型目标的训练样本个数。
[0055] 步骤S32,以最大化不同类型目标之间对应的特征向量的距离为目标，学习目标类 型语义模型，所述目标类型语义模型包括目标类型语义投影矩阵和目标类型语义参数，所 述目标类型语义投影矩阵用于增大同种类型目标之间的相似性、增加不同类型目标之间的 差异，换句话说，所述目标类型语义模型的目的是学习目标类型语义投影矩阵P，P的作用是 调整样本之间的距离、提高不同类型的目标之间的可分性，即使得同种类型的目标之间对 应的特征向量的距离更小，不同类型目标之间对应的特征向量的距离更大。
[0056]本发明中，基于第i类有序语义对的目标类型语义模型表示为如下的数学模型：
[0058] 其中，| |Pi| |F表示矩阵Pi的Frobenius范数，是待求的松弛变量，C为正则化因 子，nu为第i类有序语义对个数。本发明一实施例中，C= 10。
[OO59]为求解上述模型，将其转化为Lagrange对偶问题：
[0061 ] 其中，0为待求的目标类型语义参数々=^,1，11<,2，11<,3)和1：」=^,1^,2^,3)，1(丁 (tk，t j ) - tr(TkTj )，Tk - (Xk, l_Xk, 3) (Xk, l_Xk, 3) _(Xk, l_Xk, 2 ) (Xk, l_Xk, 2)，Tj - (Xj, 1-Xj, 3) (Xj, 1- Xj,3)T_(Xj,l_Xj,2) (Xj,l_Xj,2)T。
[0062] 这是一个普通的二次规划问题，可以利用随机梯度法、内点法等方法求解。得到 [凡…，/U后，就可以计算得到目标类型语义投影矩阵：
[0063] ^ - XI})! -(xu ' x/.::X;v;.] -'xi：y J"
[0064] 对每一目标类型i都按照所述步骤S31和S32构造目标类型语义投影矩阵P1<3这样， 总共可以得到C个目标类型语义投影矩阵沾| 1彡i<C}，C为目标类型个数。
[0065] 步骤S4,在测试图像中的每个像素处分别提取外观特征；
[0066] 本发明中，利用DAISY特征表征每个像素及其邻域的外观特征。
[0067] 所述步骤S4进一步包括预处理步骤和DAISY特征提取步骤，预处理步骤与步骤S11 类似，DAI SY特征提取步骤与步骤S12类似。在此不再赘述。
[0068]步骤S5，利用测试图像的外观特征构造目标-背景有序语义对，并利用所述目标-背景语义模型提取所述测试图像中的目标区域；
[0069] 所述步骤S5进一步包括以下步骤：
[0070]步骤S51，对于测试图像中的每一个像素，基于测试图像像素的外观特征相似性构 造目标-背景有序语义对:对测试图像中的每一个像素对应的DAISY特征向量处，分别从背 景和目标的DAISY特征集合中利用k-D tree算法搜索最近邻xk,2和xk,3组成测试有序语义对 t - ( Xk，Xk, 2，Xk, 3 );
[0071 ]步骤S52，利用所述目标-背景语义模型确定每个所述目标-背景有序语义对的类 标:对于给定的有序语义对t，其类标由 g (t) = sgn ( ( Xk-Xk, 2 )TM( Xk-Xk, 2 ) -( Xk-Xk, 3 )TM( Xk-Xk,3))确定，g(t)=-l表示有序语义对t对应的像素处为背景，g(t) = l表示有序语义对t对 应的像素处为目标；
[0072]步骤S53,得到目标区域:对测试图像的每一个像素都按照步骤S51和步骤S52进行 操作，将类标为目标的像素进行合并，得到目标区域。
[0073]步骤S6，对测试图像目标区域的外观特征构造目标类型有序语义对，利用所述目 标类型语义模型判定目标类型。
[0074] 所述步骤S6进一步包括以下步骤：
[0075] 步骤S61，对于测试图像目标区域中的每一个像素，基于外观特征相似性构造测试 有序语义对:对测试图像目标区域中的每一个像素对应的DAISY特征向量处，分别从第i类 目标训练样本集合和非i类目标训练样本集合的目标类型特征集合中利用k_D tree算法搜 索最近邻Xi,2和Xi,3并组成测试有序语义对ti= (Xk，Xi,2，Xi,3)，Ki彡C。
[0076] 步骤S62，利用所述目标类型语义模型确定每个所述测试有序语义对的类标:有序 语义对ti的类标由只(〇 ::吧mi叫心??乂 J -心）-U'u - argmin[(^., - - xiSf Pf(xiA - , Xi, 2 , Xi, 3 ) = (xi, 1~ 11,2)1?办1,11,2)-^,11,3)1?办1,1-?1,3)当：[从1到(3遍历后取得最小值时对应的；[。
[0077]步骤S63，根据所述测试有序语义对的类标识别目标类型，即有序语义对。的类标 即判定为目标类型。
[0078]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡 在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保 护范围之内。
【主权项】
1. 一种遥感图像目标识别方法，其特征在于，该方法包括以下步骤： 步骤Sl，在训练图像集每幅训练图像的每个像素处分别提取外观特征； 步骤S2,利用训练图像的外观特征和类型标注构造目标-背景有序语义对，并学习得到 目标-背景语义模型； 步骤S3,利用训练图像的外观特征和类型标注构造目标类型有序语义对，并学习得到 目标类型语义模型； 步骤S4，在测试图像中的每个像素处分别提取外观特征； 步骤S5,利用测试图像的外观特征构造目标-背景有序语义对，并利用所述目标-背景 语义模型提取所述测试图像中的目标区域； 步骤S6,对测试图像目标区域的外观特征构造目标类型有序语义对，利用所述目标类 型语义模型判定目标类型。2. 根据权利要求1所述的方法，其特征在于，所述步骤Sl进一步包括以下步骤： 步骤Sll，对于多光谱训练图像进行预处理，得到多光谱训练图像对应的平均波段图 像； 步骤S12,在灰度训练图像或所述平均波段图像的每个像素处提取外观特征。3. 根据权利要求1所述的方法，其特征在于，所述外观特征为DAISY特征。4. 根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括以下步骤： 步骤S21，基于训练图像每个像素的外观特征及其对应的类标构造目标-背景有序语义 对； 步骤S22,以最大化背景与目标之间对应的特征向量的距离为目标，学习得到目标-背 景语义模型。5. 根据权利要求4所述的方法，其特征在于，所述目标-背景语义模型将背景作为一类， 将不同类型的目标作为一类。6. 根据权利要求4所述的方法，其特征在于，所述目标-背景语义模型包括目标-背景语 义投影矩阵和目标-背景语义参数，所述目标-背景语义投影矩阵用于增大背景与背景之间 以及目标与目标之间的相似性、增加背景与目标之间的差异;所述目标-背景语义参数用于 目标区域检测。7. 根据权利要求1所述的方法，其特征在于，所述步骤S3进一步包括以下步骤： 步骤S31，基于训练样本中外观特征相似性和目标类型相似性构造目标类型有序语义 对； 步骤S32,以最大化不同类型目标之间对应的特征向量的距离为目标，学习得到目标类 型语义模型。8. 根据权利要求7所述的方法，其特征在于，所述目标类型语义模型包括目标类型语义 投影矩阵和目标类型语义参数，所述目标类型语义投影矩阵用于增大同种类型目标之间的 相似性、增加不同类型目标之间的差异。9. 根据权利要求1所述的方法，其特征在于，所述步骤S5进一步包括以下步骤： 步骤S51，对于测试图像中的每一个像素，基于测试图像像素的外观特征相似性构造目 标-背景有序语义对； 步骤S52，利用所述目标-背景语义模型确定每个所述目标-背景有序语义对的类标； 步骤S53,将测试图像中所有类标为目标的像素合并，得到目标区域。10.根据权利要求1所述的方法，其特征在于，所述步骤S6进一步包括以下步骤： 步骤S61，对于测试图像目标区域中的每一个像素，基于外观特征相似性构造测试有序 语义对； 步骤S62，利用所述目标类型语义模型确定每个所述测试有序语义对的类标； 步骤S63，根据所述测试有序语义对的类标识别目标类型。
【文档编号】G06K9/00GK105893945SQ201610188097
【公开日】2016年8月24日
【申请日】2016年3月29日
【发明人】霍春雷, 潘春洪, 周志鑫
【申请人】中国科学院自动化研究所