一种高光谱图像本质分解和图像分割方法
【专利摘要】本发明提出一种高光谱图像本质分解和图像分割方法，具体步骤为：S1:将人造光源下的自然物体的高光谱图像分解为四种独立本质成分：光源信息、几何信息、材料特性、高光信息，并对其进行数学关系表述；S2:获取自然场景中多种不同材质物体的高光谱图像，对图像进行如步骤S1的本质分解，并建立基于标定数据的高光谱图像本质分解数据库；S3:提取步骤S1中获得的独立本质成分中的材料特性，采用无监督学习方法进行高光谱图像分割。本发明能够有效降低非平行光源和复杂几何纹理等影响，获得更好的图像分割效果；并为其他可视化研究如物体追踪、场景光源重建等提供数据获取方法和标定数据库(Ground Truth)支持。
【专利说明】
-种高光谱图像本质分解和图像分割方法
技术领域
[0001] 本发明设及图像处理领域，特别设及一种基于标定数据的高光谱图像本质分解和 图像分割方法。
【背景技术】
[0002] 高光谱成像技术一直广泛用于遥感成像，利用成像光谱仪W纳米级光谱分辨率， 通过几十个光谱波段同时对地表物体进行成像，获取其连续光谱信息，从而实现地表物体 空间信息和光谱信息的同步获取。但是不同于平行太阳光下的遥感成像，自然场景下近景 物体包含几何纹理、交叉反射、复杂人造光源等复杂本质成分，因此如何有效获取自然近景 物体的高光谱信息是一个很重要的科学问题。从运一问题出发，对于自然场景下的高光谱 图像处理研究得到了广泛的关注并产生了很多实用的技术方法，应用于材料、环境、视觉等 诸多领域。
[0003] 随着高光谱成像技术的快速发展及其广泛应用，越来越多针对现实生活视觉应用 的光谱成像逐渐大众化，其相对于传统基于红、绿、蓝Ξ通道成像技术具有更丰富的多光谱 通道，能够获取更多的图像本质信息，从而进一步应用于图像分割、识别和追踪等。近年来， 高光谱图像分割技术也由于机器学习的兴起而日益受到关注，但是近景图像中的复杂光源 影响和物体表面纹理特征使得基于无监督学习的高光谱图像分割受到较大干扰。传统研究 方法依旧沿用遥感成像的一致光源假设，忽略近场光源影响，并且将几何纹理、复杂阴影、 材料反射和高光统归于材料特性，运些外界干扰信息极大破坏了高光谱图像分割的精确 度，其结果甚至差于依赖色彩敏感度的RGB图像分割。
【发明内容】
[0004] 为了得到高光谱图像的本质信息，将环境干扰降到最低，本发明提出了一种高光 谱图像本质分解和图像分割方法。
[0005] 为达到上述目的，本发明采用的技术方案为：
[0006] -种高光谱图像本质分解和图像分割方法，包括步骤如下：
[0007] S1:分别将两种人造光源下的自然物体的高光谱图像分解为四种独立本质成分： 光源信息、几何信息、材料特性、高光信息，所述四种独立本质成分满足W下数学关系：
[000引 Ι(χ，λ) = ?Χλ)*3(χ)*Κ(χ，λ)+Η(χ，λ)
[0009] 其中Ι(χ，λ)为自然物体的高光谱原始数据，L(A)为人造光源的光谱强度曲线，即 为光源信息;s(x)为物体的灰度阴影图像，即为几何信息;Κ(χ，λ)为物体去除表面几何纹理 后的光谱反射特性，即为材料特性;Η(χ，λ)为自然物体在光照环境下发生的镜面反射的光 谱曲线，即为物体表面高光信息；
[0010] S2:获取自然场景中多种不同材质物体的高光谱图像，然后对每一幅图像进行如 同步骤S1的本质分解，并作为标定数据，建立基于标定数据的高光谱图像本质分解数据库；
[0011] S3:提取步骤S1中获得的独立本质成分中的材料特性，采用无监督学习方法进行 高光谱图像分割。
[0012] 步骤S1中，采用交叉偏振法和喷漆覆盖方法进行分解，具体步骤如下：
[0013] 1)将白色的油漆喷覆在白色的平坦表面上，由高光谱相机分别获取两种人造光源 和平坦表面上油漆的光谱曲线，光源光谱即为表示光源信息的独立本质成分;2)使用交叉 偏振法，即将偏振滤波片分别放置于光谱相机和光源处并使其相互垂直，从而分离出在两 种人造光源下，所拍摄物体分别对应的朗伯散射和高光反射两种独立成分;3)采用喷漆覆 盖方法，即将步骤1)中所述油漆均匀喷覆在拍摄物体的表面，去除物体本身的纹理变化影 响W及步骤1)中的光源成分，从而从步骤2)的朗伯散射中进一步分解出材料特性和几何纹 理两种独立本质成分;4)通过上述步骤1)至3)，最终可W分解出自然物体高光谱图像的光 源信息、几何信息、材料特性和高光信息四种独立本质成分。
[0014] 本发明通过采用基于标定数据的方法对高光谱图像进行本质分解W及图像分割， 可W去除光照、几何、镜面反射等干扰信息，获取高光谱图像的多维本质特征，对表征材料 特性的独立成分进行图像分割，从而有效降低近景高光谱图像中非平行光源和复杂几何纹 理等影响，获得远高于传统高光谱图像分割方法的图像分割效果;并且为其他可视化研究 如物体追踪、场景光源重建等提供数据获取方法和标定数据数据库支持。除此之外，利用本 方法将高光谱图像分解出的各独立成分也都有巨大的应用前景，如场景光源重建，Ξ维建 模等。
【附图说明】
[0015] 图1为本发明一种高光谱图像本质分解和图像分割方法的流程图。
[0016] 图2为本发明实施例中所使用光源和喷漆的光谱曲线信息；图（a)(b)中的上图分 别为LED光源和舰鹤灯光源，下图分别为对应的光谱曲线图，图（C)中的上图为喷漆在两种 光源下分别进行拍摄，下图为去除光源干扰得到的光谱特性曲线。
[0017] 图3为本发明实施例的高光谱图像本质分解结果的灰度可视化表示；（a)为原图 01'1邑；[]1日1，（13)朗伯散射山；1^化3日，（(3)几何纹理311日(1；[叫，（(1)材料特性'日；1^1日(31：日]1。日和（6)高 光信息 specularity。
[0018] 图4为本发明所建立的高光谱图像本质分解数据库的灰度可视化表示；图中的7行 分别对应的物体为(a)魔方、（b)多啦A梦、（C)石膏雕塑、（d)猫头鹰、（e)桃子、（f)兔子、（g) 大白；图中5列从左到右分别为原图、朗伯散射、几何纹理、材料特性、高光信息。
[0019] 图5为本发明实施例的高光谱图像分割与传统光谱图像分割结果比较示意图；（a) 为本发明分割方法(b)为传统光谱图像分割方法；（a)和(b)图中，上幅图为L邸光源，下幅图 为舰鹤灯光源。
【具体实施方式】
[0020] 图1为本发明一种高光谱图像本质分解和图像分割方法的流程图。包括W下步骤：
[0021] 步骤S101，提出一种高光谱图像本质分解方法思路:将自然物体的高光谱图像分 解为四种独立本质分解成分，并对其进行数学关系表述。
[0022] 具体地，该方法旨在对高光谱图像中的光谱成分进行分析，分解出各个独立成分： 光源信息（Illumination)、几何信息（Shading)、材料特性（Ref lectance)、高光信息 (Specularity)。从而去除其相互干扰。首先，通过高分辨率光谱相机捕获的自然物体的高 光谱图像可W分解为朗伯散射(Lambertian diffuse)和高光反射（specularity；)H(x，λ)两 个独立成分，高光部分表示物体表面发生镜面反射的光线束;其次，朗伯散射成分可W进一 步分解为Ξ种本质成分:光源信息（Illumination)La)、表示物体几何纹理信息的灰度阴 影图像(Shading) s(x)和反应物体材质信息的反射特性(Reflectance )R(x, λ)。本高光谱本 质分解方法中各独立成分的数学关系表述为：
[0023] (1)
[0024] 步骤S102,根据S101的思路，采用交叉偏振法和喷漆覆盖方式获取两种人造光源 下高光谱图像的各本质分解成分。高光谱图像的获取包括所拍摄物体的高光谱图像、光源 的高光谱图像和白色喷漆的高光谱图像。
[0025] 具体而言，将传统遥感光谱成像中的平行太阳光假设扩展至任意光照条件，通过 物理标记过程获取所拍摄物体的各个独立本质成分，该过程使用了交叉偏振法和喷漆覆盖 方式。
[00%] 在本发明的一个实施例中，选取两种典型人造光源:5500k色溫的白光L抓和3500k 色溫的暖色调舰鹤灯ITL。直接将两种光源暴露于光谱相机下，获取其光谱信息レ图2(a) (b)分别为LED和舰鹤灯两种光源各自的光谱曲线。选取一种白色喷漆，将其均匀喷附于白 纸上，用光谱相机直接对其进行拍摄，获取其光谱信息1。11。由于该白纸表面的平坦特性，其 几何成分shading可W认为是均一的，且不含有高光成分。对于白纸上的每个像素，其材料 特性光谱可W表示为： 柳打]
(2)
[0028] 图2(c)即为喷漆在两种光源下分别进行拍摄后去除光源干扰得到的光谱特性曲 线。如图2(c)所示，喷漆的光谱特性曲线不受光照环境的影响，两种人造光源下喷漆的光谱 特性完全一致。
[0029] 通过使用高分辨率光谱相机，分别对上述两种人造光源下的自然物体进行光谱数 据拍摄，获取其在450-700nm波段的高光谱图像lorig。
[0030] 通过使用交叉偏振法，将偏振滤波片分别放置于光谱相机和光源处并使其相互垂 直，再次进行光谱图像拍摄，获取的图像即为物体的朗伯散射Idiff。从而原图像被分解为朗 伯散射Idiff和高光Ispec:
[0031] Ispec=Iorig-Idiff (3)
[0032] 将拍摄物体表面进行均匀喷漆，去除物体本身的纹理变化影响，并继续使用交叉 偏振法去除高光成分影响，再进行重新拍摄。喷漆后的图像即为物体的几何信息，标注为 Ishad。根据上述数学关系表述，则Ishad和Idiff之间存在如下关系：
[003；3] Ishad = L*s〇bj*R〇ii (4)
[0034] Idiff = L*s〇bj*R〇bj (5)
[0035] 其中Robj和Roil分别表示原物体和喷漆后物体的材料特性，油漆的材料特性Roil不 可忽略，因为其光谱不是严格的平行白光光谱；SdW表示物体的几何信息。结合式(4)和式 (5)，可W得到物体的材料特性项RdW和几何纹理项SDbj:
[0038] 在场景搭建过程中，为了降低不同物体间的交叉反射影响，场景周围用黑布完全 覆盖，整个拍摄过程都在暗室中进行。图3为本发明实施例的高光谱图像本质分解结果的灰 度可视化表示。如图3所示，将标记物体的各本质分解成分进行灰度图像可视化表示，可W 很明显的看出图（d)材料特性中完全去除了物体的几何纹理信息。
[0039] 步骤S103,对自然场景中多种不同材质的物体进行拍摄，建立首个基于标定数据 的高光谱图像本质分解数据库。
[0040] 具体地，对现实场景中常见的材料进行拍摄，包括塑料(多啦A梦、魔方和大白）、陶 瓷(猫头鹰和兔子）、纤维素(桃子及硫酸巧化合物(石膏雕塑），分别对W上物体进行本 质图像分解过程，从而建立首个基于标定数据的高光谱图像本质分解数据库，供后续图像 处理或场景光源重建等使用。
[0041] 图4为根据本发明所建立的首个高光谱图像本质分解数据库的灰度可视化表示。 对每一个物体，都在两种光照环境下进行:5500Κ的Lm)和3500K的舰鹤灯。通过将光源放置 在拍摄场景的不同位置，可W为标定数据(Ground化uth)的捕捉创造不同的光照条件，从 而获得物体不同角度的各本质分解成分。
[0042] 步骤S 104,根据上述高光谱图像本质分解方法，提取独立成分材料特性 (Ref lectance)R〇bj，为了去除人工标记影响，采用无监督学习中的Kmeans聚类方法进行图 像分割，并与原光谱图像分割结果进行比较，确认其优势。
[0043] 具体地，对表征物体材料特性的独立成分Reflectance进行Kmeans聚类分割，再直 接对原光谱图像进行Kmeans聚类，将两个分割结果进行比较和分析。
[0044] 在本发明的一个实施例中，通过在两种人造光源Lm)和舰鹤灯下分别对实物桃子 的独立成分材质特性进行Kmeans聚类分割，并进行灰度可视化显示;再对桃子两份未经处 理的原光谱数据进行Kmeans聚类和灰度可视化显示，分别获取两种不同光源下的原光谱图 像和本质分解后反映材料特性光谱数据的分割结果并进行比较。图5为根据本发明一个实 施例的高光谱图像分割与传统光谱图像分割结果比较示意图。如图5(a)所示，光谱独立成 分Reflec化nee在Lm)和舰鹤灯两种光源下都分割极好;如图5(b)所示，原光谱数据在Lm)光 源下分割较好，但是在舰鹤灯下分割较差，物体表面存在明显的阴影，该物体因此被错分为 两种不同材质。
[0045] 根据本发明实施例的方法，通过采用标定数据的高光谱图像本质分解和图像分割 方法，从而得到高光谱图像的各独立本质成分，进一步获得远高于传统光谱分割的图像分 割效果。
【主权项】
1. 一种高光谱图像本质分解和图像分割方法，其特征在于，包括步骤如下： S1:分别将两种人造光源下的自然物体的高光谱图像分解为四种独立本质成分:光源 信息、几何信息、材料特性、高光信息，所述四种独立本质成分满足以下数学关系： I(x，A)=L(A)*s(x)*R(x，A)+H(x，A) 其中Ι(χ，λ)为自然物体的高光谱原始数据，L(A)为人造光源的光谱强度曲线，即为光 源信息；s(x)为物体的灰度阴影图像，即为几何信息;R(x，A)为物体去除表面几何纹理后的 光谱反射特性，即为材料特性;Η(χ，λ)为自然物体在光照环境下发生的镜面反射的光谱曲 线，即为物体表面高光信息； S2:获取自然场景中多种不同材质物体的高光谱图像，然后对每一幅图像进行如同步 骤S1的本质分解，并作为标定数据，建立基于标定数据的高光谱图像本质分解数据库； S3:提取步骤S1中获得的独立本质成分中的材料特性，采用无监督学习方法进行高光 谱图像分割。2. 如权利要求1所述的一种高光谱图像本质分解和图像分割方法，其特征在于，步骤S1 中，采用交叉偏振法和喷漆覆盖方法进行分解，具体步骤如下： 1) 将白色的油漆喷覆在白色的平坦表面上，由高光谱相机分别获取两种人造光源和平 坦表面上油漆的光谱曲线，光源光谱即为表示光源信息的独立本质成分； 2) 使用交叉偏振法，即将偏振滤波片分别放置于光谱相机和光源处并使其相互垂直， 从而分离出在两种人造光源下，所拍摄物体分别对应的朗伯散射和高光反射两种独立成 分； 3) 采用喷漆覆盖方法，即将步骤1)中所述油漆均匀喷覆在拍摄物体的表面，去除物体 本身的纹理变化影响以及步骤1)中的光源成分，从而从步骤2)的朗伯散射中进一步分解出 材料特性和几何纹理两种独立本质成分； 4) 通过上述步骤1)至3)，最终可以分解出自然物体高光谱图像的光源信息、几何信息、 材料特性和高光信息四种独立本质成分。3. 如权利要求1或2所述的一种高光谱图像本质分解和图像分割方法，其特征在于，所 述无监督学习方法采用Kmeans聚类方法。
【文档编号】G06T7/40GK106067171SQ201610355413
【公开日】2016年11月2日
【申请日】2016年5月26日 公开号201610355413.0, CN 106067171 A, CN 106067171A, CN 201610355413, CN-A-106067171, CN106067171 A, CN106067171A, CN201610355413, CN201610355413.0
【发明人】曹汛, 赵杨, 朱维新, 纪小丽
【申请人】南京大学