一种高光谱信息冗余波段的检测方法

1.本发明涉及一种光谱信息冗余的检测方法，属于光谱检测技术领域。


背景技术：

2.现有光谱信息冗余的检测大多基于统计分析手段，从目标分析物的预测误差入手，对光谱波段重新选择，以求得到使得误差更小的波段组合，去除的波段即被认为是冗余波段。这种做法有如下两个弊端：1)冗余波段的判定依赖于目标分析物的预测结果，而目标分析物浓度的测定依赖于实验室结果或其他测量工具，目标分析物浓度测定值的改变或误差评价指标的改变都将影响原始光谱冗余波段的判定，并且目标分析物浓度种类的改变也将改变冗余波段的判定；(2)所有样本的原始光谱的冗余波段一致，因为冗余波段的判定不是针对单条光谱，而是利用所有样本光谱与其目标分析物预测建模的结果来是筛选波段。


技术实现要素：

3.针对现有光谱信息冗余检测方法需要借助目标分析物浓度信息效率和准确性不稳定的问题，本发明提供一种高光谱信息冗余波段的检测方法。
4.本发明的一种高光谱信息冗余波段的检测方法，所述方法包括：
5.s1、对原始光谱反射率序列进行预处理，得到平稳的光谱反射率序列{x(i)}；
6.s2、利用长度为wt的平滑窗口在s1得到光谱反射率序列移动，每次移动一个数据点，得到每个窗口内的hurst指数；
7.s3、计算临界值h
c
，当hurst指数大于临界值h
c
，对应平滑窗口内的光谱反射率序列具有自相关性，否则不存在；
8.s4、根据s2得到每个窗口内的hurst指数和s3的临界值h
c
，及相邻两个平滑窗口是否存在自相关性来确定冗余波段，获取冗余波段集合；
9.s5、改变平滑窗口长度wt的值，重复s2至s4，得到在不同平滑窗口长度wt下的冗余波段集合，对所有冗余波段集合求交集，交集为原始光谱反射率序列的冗余波段。
10.作为优选，所述s1中，对原始光谱反射率序列进行一阶差分，得到的一阶差分光谱反射率序列做为平稳的光谱反射率序列{x(i)}。
11.作为优选，所述s2包括：
12.s21、用一个长度为wt的平滑窗口对光谱反射率序列{x(i)}做平滑；
13.s22、计算窗口内的累积离差序列y(k)；
14.s23、分别对y(k)正序和逆序等分成n
s
＝[n/s]个不重叠的等时间长度为s的区间，共获得2n
s
个等长度的区间，原始光谱反射率序列的长度为n；
[0015]
s24、对每个区间，得到时间序列的局部趋势滤去趋势后的序列记为y
s
(k)，并计算y
s
(k)的方差；
[0016]
s25、根据每个区间获得的方差，得到窗口内的波动函数f(s)；
[0017]
s26、利用波动函数f(s)与时间长度s的幂律关系，得到自相关标度指数λ；当自相
关指数λ>1时，hurst指数h＝λ
‑
1，当自相关指数λ<1时，hurst指数h＝λ；
[0018]
s27、将平滑窗口在光谱反射率序列{x(i)}上移动，利用s21至s26得到每个平滑窗口内的hurst指数，记为h＝{h1,h2,
…
,h
n
‑
wt+1
}。
[0019]
作为优选，所述<x>表示平滑窗口内所有光谱反射率数据的平均值。
[0020]
作为优选，用最小二乘拟合数据得到时间序列的局部趋势
[0021]
作为优选，y
s
(k)的方差为f2(s,v)：
[0022][0023]
窗口内的波动函数表示方差。
[0024]
作为优选，自相关标度指数λ通过lnf(s)对lns进行线性拟合得到。
[0025]
作为优选，所述s3包括：
[0026]
生成设定数量个独立的长度wt的零均值单位方差的高斯白噪声序列，计算其hurst指数h，h位于1
‑
h
c
和h
c
之间的概率密度函数积分等于0.95，得到序列长度为wt的不相关序列hurst指数额临界值h
c
。
[0027]
作为优选，所述s4中，
[0028]
h
i
表示第i个窗口的hurst指数，h
i+1
表示第i+1个窗口的hurst指数；
[0029]
若h
i
>h
c
且h
i+1
<h
c
，则说明第i个窗口内的光谱反射率数据存在自相关性，而第i+1个窗口的光谱反射率数据不存在自相关性，表明第i个窗口内的第一个光谱反射率数据点能被后面的反射率线性表示，即可判定第i个窗口内的第一个反射率数据点对应的波段为冗余波段；
[0030]
若h
i
<h
c
且h
i+1
>h
c
，则说明第i个窗口内的光谱反射率数据不存在自相关性，而第i+1个窗口的光谱反射率数据存在自相关性，表明第i+1个窗口内的最后一个光谱反射率数据点能被前面的反射率线性表示，即可判定第i+1个窗口内的最后一个光谱反射率数据点对应的波段为冗余波段
[0031]
将冗余波段做成集合ry
wt
。
[0032]
本发明的有益效果：与现有判定和提取光谱信号冗余波段的方法相比，本发明不需要借助目标分析物浓度信息，仅对原始光谱本身进行分析，充分考虑了每个波段反射率对整个光谱的影响。并且，通过信息熵的比较，剔除冗余波段后的光谱信号的信息量保留了原始光谱信号的绝大多数信息量，实现准确而高效地提取光谱特征。
附图说明
[0033]
图1为本发明的原理示意图；
[0034]
图2(a)为油菜种子原始光谱；
[0035]
图2(b)为图2(a)的一阶差分光谱；
[0036]
图3(a)为一阶差分光谱在平滑窗口大小为50时的波动函数与尺度的双对数图，图
中散点拟合直线的斜率即为自相关标度指数λ，纵坐标f为波动函数值；
[0037]
图3(b)为一阶差分光谱在平滑窗口大小为60时的波动函数与尺度的双对数图，图中散点拟合直线的斜率即为自相关标度指数λ，纵坐标f为波动函数值；
[0038]
图4(a)为长度为50的高斯白噪声的hurst指数的概率密度图，纵坐标表示概率密度；
[0039]
图4(b)为长度为60的高斯白噪声的hurst指数的概率密度图，纵坐标表示概率密度；
[0040]
图5(a)为长度为50的平滑窗口内油菜种子光谱的hurst指数及临界值，其中，水平线表示临界值；
[0041]
图5(b)为长度为60的平滑窗口内油菜种子光谱的hurst指数及临界值，其中，水平线表示临界值；
[0042]
图6为48个光谱样本的冗余波段比率和信息熵比率。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0045]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0046]
光谱信息冗余波段，是在整条光谱中那些反射率能被其他波段反射率线性表示的波段。本实施方式从相邻波段反射率的相关性的角度来检测冗余波段，本实施方式根据这种思想，提出一种高光谱信息冗余波段的检测方法，如图1所示，包括：
[0047]
步骤一、对长度为n的原始光谱反射率序列进行预处理，得到平稳的光谱反射率序列；
[0048]
步骤二、利用长度为wt的平滑窗口在步骤一得到光谱反射率序列移动，每次移动一个数据点，即从光谱的第一个数据点为窗口的起点向后选择一个具有wt的窗口长度的连续数据点构成第一个窗口，接着以第二数据点为起点向后选择wt的窗口长度的连续数据点构成第二个窗口，以此类推，指导最后一个数据点作为最后一个窗口，共得到n
‑
wt+1个窗口，得到每个窗口内的hurst指数；hurst指数能表征序列的长程相关性(自相关性)；
[0049]
步骤三、计算临界值h
c
，当hurst指数大于临界值h
c
，对应平滑窗口内的光谱反射率序列具有自相关性，否则不存在；步骤三是通过相邻窗口光谱的h值与阈值h
c
的大小关系判定光谱冗余波段；
[0050]
步骤四、根据步骤二得到每个窗口内的hurst指数和步骤三的临界值h
c
，及相邻两个平滑窗口是否存在自相关性来确定冗余波段，获取冗余波段集合；
[0051]
步骤五、改变平滑窗口长度wt的值，重复步骤二至步骤四，得到在不同平滑窗口长度wt下的冗余波段集合，对所有冗余波段集合求交集，交集为原始光谱反射率序列的冗余波段。
[0052]
本实施方式的步骤一中，设原始光谱反射率序列为r{i}，i为取样波长，i＝1,2,
…
,n。
[0053]
优选实施例中，步骤一进行数据预处理：
[0054]
由于一般原始光谱反射率不平稳，采用一阶差分x(i)＝r(i+1)
‑
r(i)，得到一阶差分光谱反射率。
[0055]
优选实施例中，步骤二计算局部hurst指数：
[0056]
步骤二一、对于光谱反射率预处理后光谱序列{x(i)}，利用一个长度为wt的窗口做平滑。
[0057]
步骤二二、计算每个窗口内的累积离差序列。如，第1个窗口的累计离差为其中<x>表示这一窗口内所有反射率数据的平均值。
[0058]
步骤二三、将y(k)等分成n
s
＝[n/s]个不重叠的等时间长度为s的区间(这里去s＝6:wt/4，步长为1)。由于序列长度并不总是时间长度s的整数倍，使得有少部分数据未被利用。因此对y(k)的逆序进行同样的操作，这样共有2n
s
个等长度的区间。
[0059]
步骤二四、对每个区间，用最小二乘拟合数据得到时间序列的局部趋势滤去趋势后的序列记为y
s
(k)。如，第1个窗口内的这里利用一次多项式拟合局部趋势之后计算每个区间滤去趋势后的方差为：
[0060][0061]
步骤二五、方差平均后得到每个窗口内的波动函数
[0062]
步骤二六、利用f(s)与s的幂律关系，可以得到x(i)是自相关标度指数λ：f
q
(s)
∝
s
λ
。指数λ可以通过lnf(s)对lns进行线性拟合得到。hurst指数与自相关标度指数的关系为：当自相关指数λ>1时，h＝λ
‑
1，当自相关指数λ<1时，h＝λ。一般地，当h＝0.5时，可认为该序列为白噪声序列，即数据之间是不相关的，当h>0.5时，可认为序列为长程相关序列，具有持久性，而当h<0.5,可认为序列具有反持久性。
[0063]
步骤二七、将平滑窗口在差分光谱序列上移动，利用步骤二一至步骤二六可得到每个窗口内的hurst指数，记为h＝{h1,h2,
…
,h
n
‑
wt+1
}。
[0064]
优选实施例中，步骤三计算阈值h
c
：
[0065]
在计算局部hurst指数的过程中由于受到窗口长度的影响，一个完全不相关的序列(例如白噪声序列)的hurst指数也不会正好为0.5。下面利用白噪声序列计算自相关与不相关的临界点h
c
。
[0066]
建立原假设：该序列不存在自相关性
[0067]
生成10000个独立的长度wt的零均值单位方差的高斯白噪声序列(理论h＝0.5)，，计算其hurst指数h，根据中心极限定理，h服从均值为0.5的正态分布。为了得到95％置信度下的h临界值，将h位于1
‑
h
c
和h
c
之间的概率密度函数积分令其等于0.95。这样便得到了序列长度为wt的不相关序列hurst指数额临界值h
c
。当某一序列的hurst指数h>h
c
时，拒绝原假设，可认为该序列具有自相关性。
[0068]
优选实施例中，步骤四判定冗余波段：
[0069]
根据步骤二和步骤三计算得到每个窗口内的局部hurst指数h＝{h1,h2,
…
,h
n
‑
wt+1
}和临界值h
c
。h
i
表示第i个窗口的局部hurst指数，h
i+1
表示第i+1个窗口的局部hurst指数，若h
i
>h
c
且h
i+1
<h
c
，则说明第i个窗口内的光谱反射率数据存在自相关性，而第i+1个窗口的光谱反射率数据不存在自相关性，表明第i个窗口内的第一个光谱反射率能被后面的反射率线性表示，即可判定第i个窗口内的第一个反射率对应的波段为冗余波段；若h
i
<h
c
且h
i+1
>h
c
，则说明第i个窗口内的光谱反射率数据不存在自相关性，而第i+1个窗口的光谱反射率数据存在自相关性，表明第i+1个窗口内的最后一个光谱反射率能被前面的反射率线性表示，即可判定第i+1个窗口内的最后一个反射率对应的波段为冗余波段。将冗余波段做成集合ry
wt
。
[0070]
本实施方式的步骤五：改变平滑窗口长度wt的值，重复步骤二至步骤四，计算得到在不同平滑窗口长度wt下的冗余波段集合。将上述所有冗余波段集合求交集，即为原始光谱信号的冗余波段。
[0071]
本发明以48个油菜种子(湘油708和湘油710)的光谱样本测试，原始光谱波段375
‑
1041nm，为消除机器噪声干扰，选取400
‑
954nm(共455个波段)波段作为研究对象。利用本实施方式的方法检测48个样本光谱的冗余波段。选取滑动窗口长度分别为40,42,44,46,48和50，得到的冗余波段个数如表所示。为了检测去除冗余信息后对原始光谱信息的影响，利用信息熵作为刻画光谱信息量的度量，下图展示了窗口长度为42和46时的冗余比率(冗余波段个数/455)和信息熵比率(去除冗余后的波段信息熵/原始光谱信息熵)。从上述图表中以看出，48个光谱样本的冗余波段个数各有差异，随着窗口长度的增大而减小，但48个光谱的信息熵比率百分比始终稳定在100％附近，说明去除的冗余波段对光谱的信息量没有影响。
[0072]
表1给定的窗口大小冗余点的个数统计量，括号内的数字为样本编号
[0073] wt＝40wt＝42wt＝44wt＝46wt＝48wt＝50最大个数140(#23)52(#25)49(#5)45(#3)40(#27)37(#27)最小个数100(#36)26(#16)7(#23)8(#22)7(#23)10(#40,#47)平均个数123.4939.5127.2424.4522.0020.02标准差8.346.318.748.566.766.94
[0074]
去除冗余波段后的光谱信息与原始光谱相比，信息熵几乎不变，如图6所示。
[0075]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。