一种高光谱材质鉴别方法
【专利摘要】本发明提出一种高光谱材质鉴别方法，首先搭建标准光源光谱数据库并建立光谱材质标准数据库，标准光源光谱采用差值法与控制变量法获取；然后对需要鉴定的材质拍摄光谱数据信息通过预处理与本征材质信息提取，获得其光谱特性，再与光谱材质标准数据库中数据进行匹配，实现材质的高精度鉴别。该方法能够抵抗不同光照条件、材质形状变化等复杂因素对材质光谱信息的干扰，突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈，鉴别准确率较高。
【专利说明】
一种高光谱材质鉴别方法
技术领域
[0001] 本发明涉及计算摄像学领域，具体涉及一种利用高维度光谱信息进行近光物体材 质鉴别方法。
【背景技术】
[0002] 近年来，计算摄像学已经成为计算机视觉，数字信号处理，图形学，深度交叉等研 究领域的热点，物质鉴别亦是近几年的研究工作的重点。多年以来基于RGB彩色数据进行物 质鉴别的方法与体系日趋完善，其多是基于色度、亮度、轮廓等特性，但是实际上，仅仅利用 RGB三个通道的信息，则失去光谱维度上的大量细节以及重要的深度信息，而丰富的光谱信 息与深度信息往往能够揭示物体和场景光线的很多特质，也能在很多计算机视觉领域的工 作获得长足的进展。
[0003] 遥感领域早就将高光谱技术引入监测识别应用中，已经取得良好发展。在遥感遥 测中，由于太阳光与地球距离很长，光照近乎平行直射，场景光线的变化因素可忽略不计， 但是在实际各近光自然场景中，各类点光源、线光源、面光源等与物体距离较近，且物体本 身形状变化多样，场景光线变化复杂，近光场景反射光谱信息受光源光谱影响很大，在鉴别 时光源光谱干扰很大，故而将高光谱技术应用于近光自然场景物质鉴别依然有较大的研究 壁皇。高光谱信息采集系统有红外、紫外、光谱仪等多类设施，但其大多是单功能、且价格昂 贵，器材体积较大不便于外携。现有所熟知的光谱分析仪、扫描式光谱成像仪和单次拍摄成 像光谱仪等都是通过牺牲空间或者时间分辨率的方式对于光谱分辨率进行补偿，以采集多 光谱信息。但采集后数据获取与处理多冗繁复杂，拍摄结果难可视化。
[0004] 2015年，PMVIS高分辨率光谱采集研究系统被提出，其在牺牲空间分辨率获得附加 光谱分辨率的同时，使用双路采集的技术，对场景进行双路采集，从得到的多路数据中重构 出高时空分辨率的高光谱视频，实现了一种高光谱采集技术。
[0005] 近光自然场景物质鉴别现面临两大研究难点。一方面，虽然利用RGB或者RGBD信息 已经可以较好鉴别出部分轮廓性、颜色特性明显的材质，但对于典型的"同色异谱"难题、同 一材质不同颜色问题，RGB的处理方法完全无法妥善解决。另一方面，高光谱的拍摄数据包 含更多细节，更多反映物质本身化学物理材质特性，但是数据抗干扰力差，光强、光源、角度 等因素都会直观影响光谱数据，因而直接利用光谱数据进行分类鉴别往往出现边缘性差、 分类离散化甚至错误判别等问题。如何减少光照、光源、形状差异等因素，从高维光谱数据 中获取真正材质光谱特征？如何依此方法搭建出日常物体的光谱数据库，在数据库基础上 实现多类材质鉴别，获得高泛化性的鉴别分类结果?这些都是值得深入探索的研究课题。
【发明内容】
[0006] 本发明的目的在于突破RGBD等传统处理方法的问题瓶颈，突破肉眼限制，实现一 种利用高维度光谱信息对近光自然场景下的物质进行鉴别的方法，对工业检测、环境监控、 食品安全等有重要意义。
[0007] 为达到上述目的，本发明采用的技术方案为：
[0008] -种高光谱材质鉴别方法，包括如下步骤：
[0009] (1)搭建标准光源光谱数据库，标准光源光谱采用差值法与控制变量法获取:利用 标准色卡白板拍摄光谱数据i Iluminationwhlte3，利用标准色卡黑板拍摄光谱数据 i lluminat ionbiadc;基于物理光学吸收与反射原理，标准光源光谱数据i Iluminationstd为：
[0010] i I luminat ionstd = i I luminat ionwhite-i I luminat ionbiack;
[0011] (2)建立光谱材质标准数据库，以多光源和多角度拍摄多种材质物质的光谱数据 Originalstd:
[0012] a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像，利 用高光谱成像装置同步捕获经过下采样的物质光谱数据，同时利用交叉偏振法去除场景内 的冗杂高光;然后对捕获的彩色图像数据以及物质光谱数据进行重建，恢复出高空间和高 光谱分辨率的原始数据Originalstd;
[0013] b)建立数据模型：
[0014] Originalstd = Reflectancestd · Shading · Illuminationstd+Highlight+Noise [0015]其中，Originalstd为矢量，表示原始光谱数据；Reflectancestd为矢量，表示材质数 据;Shading为标量，表示光照强度；11 Iuminationstd为矢量，表示光源数据;Highl ight为矢 量，表示高光数据;Noise为矢量，表示噪声；
[0016] c)从原始数据Originalstd中，利用均化去燥法除去噪声Noise分量，利用交叉偏振 法去除高光数据Highl ight分量，并去除标准光源数据I lluminationstd;鉴于物体的形状因 素会对光谱数据强度造成影响，引入Shading为代表光照强度的标量，即反映光谱强度的乘 量因子，将Reflectancestd · Shading进行二范数归一化之后去除向量强度差异，得到同一 量度的光谱数据，即标准反映物质本征材质的材质数据Reflectance st/ :
[0017] Reflectancestd7 =Norm(Ref Iectancestd · Shading)
[0018] d)对高维度的材质数据Ref Iectancest/进行低维投影映射，以最大方差化为条 件，正交化材质数据Reflectancest/，再依据贡献率分布前十维度信息表征材质信息；
[0019] (3)利用步骤a)的方法，获得需要鉴别的物质材质的光谱数据Original，并利用步 骤c)的方法对数据进行分量剥离，经过步骤d)的处理获取只反映需要鉴别的物质材质信息 的材质数据Ref Iectance;对材质数据Ref Iectance进行去冗余，以提高计算速度；
[0020] (4)将步骤(3)得到的材质数据Reflectance与步骤(2)中建立的光谱材质数据库 Reflectancestd进行特征匹配，利用光谱材质数据库中典型特征构成光谱特征分类模型，实 现对材质的鉴别；
[0021] (5)由步骤(4)所确定的鉴别结果，为提高可视性与边缘轮廓可读性，利用RGB空间 信息对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G，对G无 监督过分割为η个空间块。以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整 体的光谱特性，输出修正鉴别结果。
[0022]所述高光谱成像装置的拍摄波长范围为410nm~700nm〇 [0023] 所述步骤(4)中，进行特征匹配具体包括如下过程：
[0024] 1)以人机交互界面显示方式，利用人工强先验信息选取拍摄的每类材质的特征样 本点，每类材质为一组特征点，多类材质形成多组特征点，经过判别、筛选和参数调节训练 出最优分类模型；
[0025] 2)将权利要求1中步骤(3)得到的材质数据Reflectance放入最优分类模型中进行 测试鉴别，得到对应材质类别的鉴别结果。
[0026] 所述步骤(2)中，采用的光源为阳光、卤素灯、荧光灯、碘钨灯、白炽灯与LED灯。 [0027]所述步骤(5)中，先利用RGB空间信息进行无监督学习过分割，过分割之后以每一 个分割块为单位，结合块内光谱类别分布进行块的光谱类别鉴别，统一块内光谱类别，改善 纯光谱数据分割时的边缘性差等问题，输出修正鉴别结果。
[0028] 本发明可以实现对近光自然场景的物质材质进行有效识别，具有以下优点：
[0029] (1)利用系列预处理方法分离物质模型的各参量，减少近光条件下光源光照强度、 角度、复杂形状遮挡等因素造成的干扰。
[0030] (2)本方法特征提取较为准确，采用人工选取特征点，比以往所有方法中采用随机 采样作为训练数据的方法引入的噪声更小，分类模型更准确，泛化性更强。
[0031] (3)对RGB领域所无法解决的同色异谱等问题可以得到极好的解决。
[0032]本发明能突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈，鉴 别准确率较高，在工业检测等领域有重大意义。
【附图说明】
[0033]图1为本发明实施例的光谱数据采集系统PMVIS系统；
[0034] 图2为本发明实施例所建立光谱材质数据库部分材质展示图；
[0035] 图3为本发明实施例的同色异谱典型问题图；
[0036] 图4为本发明实施例的不同材质迷彩服材质鉴别结果，（a)为RGB信息鉴别结果， (b)为高光谱信息鉴别结果。
[0037]图5为本发明方法的流程图。
【具体实施方式】
[0038] 本发明首先搭建标准光源光谱数据库并建立光谱材质标准数据库，标准光源光谱 采用差值法与控制变量法获取;然后对需要鉴定的材质拍摄光谱数据信息通过预处理与本 征材质信息提取，获得其光谱特性，再与光谱材质标准数据库中数据进行匹配，实现材质的 高精度鉴别
[0039] 本实施例的方法利用PMVIS高光谱成像装置，同时捕获物质高光谱信息和彩色空 间信息。如图1所示，PMVIS高光谱成像装置可以分为10个模块，其中由第一透镜2、掩膜3、第 二透镜4构成稀疏采样成像阵列1。该装置包括两路光路，一路由稀疏采样成像阵列1、分光 装置5、灰度成像装置6、光谱光路采集装置7获取低分辨率的光谱图像。一路包括彩色成像 装置8和彩色光路采集转置9,用以获取高分辨率的彩色图像。由信息联合处理装置10对两 路信息进行处理，重建出包括高空间分辨率、高光谱分辨率场景光谱信息。其中，灰度成像 装置6采用灰度相机用于捕获物质高光谱信息，彩色成像装置8采用彩色CCD相机用于捕获 物质彩色空间信息。分光装置5利用阿米西棱镜分光，可一次性采集可见光波段物质多波段 光谱图像和视频，比现有多光谱物质材质识别装置更简单、低成本、精度更高。该装置同时 捕获物体的彩色空间信息与稀疏采样的高光谱信息，利用采样点高光谱数据与RGB高空间 分辨率数据重构出高空间、光谱分辨率数据用于材质鉴别。
[0040] 本发明首先利用预处理方法去除高光谱数据的多重冗余信息，提取本征材质信 息，其次搭建标准光谱数据库，建立以特征点为训练集的分类模型，利用分类模型进行材质 识别，若找到一个数据库中存储的材质信息与该物质光谱特征匹配，对其进行类别鉴定。由 于光谱信息的冗余性较强，为提高光谱鉴别结果边缘可视性，在光谱数据进行材质鉴别后， 再利用空间彩色信息用于边缘以及轮廓的优化。
[0041] 如图5所示，本实施例的高光谱材质鉴别方法，通过多类途径进行综合判定。一路 分别建立标准光源数据库、标准材质光谱数据库；另一路对已经拍摄的初始数据进行多项 预处理后与数据库进行特征匹配，再以空间RGB信息辅助优化边缘性，输出可视化鉴别结 果。具体高光谱材质鉴别方法的流程为：
[0042] 步骤(1)搭建标准光源光谱数据库，标准光源光谱采用差值法与控制变量法获取： 利用标准色卡白板拍摄光谱数据illumination wh…，利用标准色卡黑板拍摄光谱数据 i lluminationbiack;对以上光源光谱多次拍摄后算术平均，基于物理光学吸收与反射原理， 标准光源光谱数据i Iluminationstd为：
[0043] i I luminat ionstd = i I luminat ionwhite-i I luminat ionbiack;
[0044] 步骤(2)建立光谱材质标准数据库，在标准双光源对称放置的位置下，以多光源和 多角度不同环境下，在PMVIS相机焦距对焦距离点处，拍摄对象的稀疏采样光谱，并通过系 统重建得到拍摄对象的原始光谱数据Original std:
[0045] a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像，利 用高光谱成像装置同步捕获经过下采样的物质光谱数据，同时利用交叉偏振法去除场景内 的冗杂高光;然后对捕获的彩色图像数据以及物质光谱数据进行重建，恢复出高空间和高 光谱分辨率的原始数据Originalstd;
[0046] b)建立数据模型：
[0047] Originalstd = Reflectancestd · Shading · Illuminationstd+Highlight+Noise
[0048] 其中，OriginaLtd为矢量，表示原始光谱数据;Ref lectancestd为矢量，表示材质数 据;Shading为标量，表示光照强度；11 Iuminationstd为矢量，表示光源数据;Highl ight为矢 量，表示高光数据;Noise为矢量，表示噪声；
[0049] c)从原始数据Originalstd中，利用均化去燥法除去噪声Noise分量，利用交叉偏振 法去除高光数据把811118111:分量，并去除标准光源数据111111]1；[1^1:;[011!^。鉴于物体的形状因 素会对光谱数据强度造成影响，从图4的处理数据来看，最大最小值分布在0~200之间，数 据分布量度不一致。故引入Shading为代表光照强度的标量，即反映光谱强度的乘量因子， 将RefIectancestd · Shading进行二范数归一化之后去除向量强度差异，得到同一量度的光 谱数据，即标准反映物质本征材质的材质数据Ref Iectancest/ = (Ri, R2,......,R59):
[0050] Reflectancestd7 =Norm(Ref Iectancestd · Shading)
[0051 ] 即对每一点数据D = Reflectancestd · Shading的59维数据按照如下公式计算： [0052]
[0053] CU出丁仞谀艽TgnsKel lectancestd tfJ间班反?土，多维度信息间相关性强，冗余 度大。将高维数据进行去相关处理:Reflectancest/ (Ri,R2，R3, ...，R59)-Reflectancestd〃 (Rl '，R2 '，R3 '，· · ·，R59 '）。
[0054] Ri ' =aiiRi+a2iR2+· · · ·+a59iR59
[0055] R2 ' =ai2Ri+a22R2+· · · ·+a592R59
[0056] ..............
[0057] R59, =a59lRl+a592R2+· · · .+a5959R59
[0058] Ri，，R2,，· · · ·，R59,两两独立，cov(Ri，，Rj，）=0
[0059] 以最大方差化为条件即var (Ri '）2 var (R2 '）2......2 var (R59 '）正交化 Reflectancest/数据。数据变换后依据其特征值对角矩阵计算贡献.
：贡献率排 行分布前十维度信息表征材质信息。依此方法建立如图2所示的多类光谱材质数据库，包括 真假类材料(如真假花、香蕉、苹果、橙子）、多类塑料制品（聚乙烯(PE)、聚丙烯(PP)、聚氯乙 烯(PVC)、聚苯乙烯(PS)及丙烯腈一丁二烯一苯乙烯共聚合物(ABS))、陶瓷、木质(人造板、 红松、柳木）、植物(梧桐树、芦荟、仙人掌、香樟、毛白杨等）、金属(金、铁、合金、铜、铝合金制 品）、纸品（书纸、铜版纸、灰卡纸、白卡纸）、布料(尼龙、全棉、呢绒、亚麻、丝绸、人造皮、化 纤、太空棉、冰丝等制品）、石膏。
[0060] 步骤(3)利用步骤a)的方法，获得需要鉴别的物质材质的光谱数据Original，并利 用步骤c)的方法对数据进行分量剥离，获取只反映需要鉴别的物质材质信息的材质数据 Reflectance;对材质数据Reflectance进行去冗余，以提高计算速度；
[0061] (4)将步骤(3)得到的材质数据Ref Iectance与步骤(2)中建立的光谱材质数据库 Reflectancestd进行特征匹配，利用光谱材质数据库中典型特征构成光谱特征分类模型，实 现对材质的鉴别；
[0062] a)不同于以往机器学习训练随机采样特定百分比的方法，本方法以人机交互界面 显示方式利用人工强先验选取每类材质的特征样本点，每类材质一组特征点，多类材质多 组特征点，经过判别、筛选、参数调节训练出最优分类为三项式模型:t = l，d = 3。
[0063] b)将新材质信息Ref Iectance放入分类模型中进行测试鉴别，不同鉴别结果予以 不同颜色标注，可视化对应材质类别的鉴别结果。
[0064] (5)由步骤(4)所确定的鉴别结果，为提高可视性与边缘轮廓可读性，利用RGB空间 信息对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G，对G无 监督过分割为P个空间块。例Custerl中，分类为1类的像素点为numl，分类为2的像素点为 num2，分类为3的像素点为num3，（numl，num2，num3，......nump)对以上序列排序，取最大值所 对应类别为此Cluster的最终鉴别类别。以空间块为约束结合步骤(4)鉴别结果逐个判断每 一个空间块整体的光谱特性.输出优化鉴别结果。如图3所示，经典"同色异谱"现象，一个复 杂场景中有相同绿色的塑料、衣服等物质。如图4(a)图为利用RGB信息进行分割处理的结 果，（b)为利用本发明进行分割处理的结果。对比结果发现本方法可以实现材质的高精度鉴 另IJ，能够抵抗不同光照条件、材质形状变化等复杂因素对材质光谱信息的干扰，突破传统 RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈，鉴别准确率较高。
[0065] 上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术 人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明 权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。
【主权项】
1. 一种高光谱材质鉴别方法，其特征在于，包括如下步骤： (1) 搭建标准光源光谱数据库，标准光源光谱采用差值法与控制变量法获取:利用标准 色卡白板拍摄光谱数据illumination whlte3，利用标准色卡黑板拍摄光谱数据 illuminationbiadc;基于物理光学吸收与反射原理，标准光源光谱数据illuminationstd为： i 1 luminat ionstd = i 1 luminat ioriwhite-i 1 luminat ionbiack; (2) 建立光谱材质标准数据库，以多光源和多角度拍摄多种材质物质的光谱数据 Originalstd： a) 首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像，利用高 光谱成像装置同步捕获经过下采样的物质光谱数据，同时利用交叉偏振法去除场景内的冗 杂高光;然后对捕获的彩色图像数据以及物质光谱数据进行重建，恢复出高空间和高光谱 分辨率的原始数据Or i g i na 1 std; b) 建立数据模型： Originalstd = Reflectancestd · Shading · Illuminationstd+Highlight+Noise 其中，Originalstd为矢量，表示原始光谱数据;Reflectancestd为矢量，表示材质数据； Shading为标量，表示光照强度；Illuminationstd为矢量，表示光源数据;Highlight为矢量， 表不高光数据;Noise为矢量，表不噪声； c) 从原始数据Originals中，利用均化去燥法除去噪声Noise分量，利用交叉偏振法去 除高光数据Highlight分量，并去除标准光源数据Illuminationstd;鉴于物体的形状因素会 对光谱数据强度造成影响，引入Shading为代表光照强度的标量，即反映光谱强度的乘量因 子，将Reflectance std · Shading进行二范数归一化之后去除向量强度差异，得到同一量度 的光谱数据，即标准反映物质本征材质的材质数据Reflectancest/ : Reflectancestd7 =Norm(Reflectancestd · Shading) d) 对高维度的材质数据Reflectancest/进行低维投影映射，以最大方差化为条件，正 交化材质数据Reflectancest/，再依据贡献率分布前十维度信息表征材质信息； (3) 利用步骤a)的方法，获得需要鉴别的物质材质的光谱数据Original，并利用步骤c) 的方法对数据进行分量剥离，经过步骤d)的处理获取只反映需要鉴别的物质材质信息的材 质数据Reflectance;对材质数据Reflectance进行去冗余，以提高计算速度； (4) 将步骤（3)得到的材质数据Reflectance与步骤（2)中建立的光谱材质数据库 Reflectances进行特征匹配，利用光谱材质数据库中典型特征构成光谱特征分类模型，实 现对材质的鉴别； (5) 由步骤(4)所确定的鉴别结果，为提高可视性与边缘轮廓可读性，利用RGB空间信息 对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G，对G无监督 过分割为η个空间块。以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整体的 光谱特性，输出修正鉴别结果。2. 根据权利要求1所述的一种高光谱材质鉴别方法，其特征在于，所述高光谱成像装置 的拍摄波长范围为410nm~700nm〇3. 根据权利要求1或2所述的一种高光谱材质鉴别方法，其特征在于，所述步骤(4)中， 进行特征匹配具体包括如下过程： 1)以人机交互界面显示方式，利用人工强先验信息选取拍摄的每类材质的特征样本 点，每类材质为一组特征点，多类材质形成多组特征点，经过判别、筛选和参数调节训练出 最优分类模型； 2)将权利要求1中步骤(3)得到的材质数据Reflectance放入最优分类模型中进行测试 鉴别，得到对应材质类别的鉴别结果。4. 根据权利要求1或2所述的一种高光谱材质鉴别方法，其特征在于，所述步骤(2)中， 采用的光源为阳光、卤素灯、荧光灯、碘钨灯、白炽灯与LED灯。5. 根据权利要求1或2所述的一种高光谱材质鉴别方法，其特征在于，所述步骤(5)中， 先利用RGB空间信息进行无监督学习过分割，过分割之后以每一个分割块为单位，结合块内 光谱类别分布进行块的光谱类别鉴别，统一块内光谱类别，改善纯光谱数据分割时的边缘 性差等问题，输出修正鉴别结果。
【文档编号】G01N21/25GK105842173SQ201610395755
【公开日】2016年8月10日
【申请日】2016年6月6日
【发明人】曹汛, 朱维新, 赵杨
【申请人】南京大学