用于从图像移除云的图像处理设备、方法和存储介质与流程

本发明涉及一种用于检测和校正由星载平台上的传感器捕获的图像中的云覆盖区域的图像处理设备、图像处理方法和存储图像处理程序的存储介质。

背景技术：

卫星图像是用于监测地表观测的重要信息来源。然而，云量存在于图像中时，会对图像的应用造成严重限制。

npl1公开了一种用于移除卫星图像中的薄云量的信号传输-谱混合分析(st-sma)方法。这一方法通过利用谱分离(unmixing)技术来估算云量，并且由辐射传送模型校正受影响的像素。在谱分离技术中，像素被假设为端元的混合，并且像素中的每个端元的分数丰度(fractionalabundance)被估算。端元是地面上的纯粹的类。对于输入图像中的每个像素，st-sma将云假设为端元以估算云的分数丰度，并且从相应的像素移除云的占比，以校正云的效果。st-sma方法的详细描述被提供如下。

图19描绘了在云存在时捕获地面反射率的物理模型。参照图19，使用辐射值的云失真的物理模型由方程式式(1)给出：

s(i，j)＝air(i，j)ct(i，j)+i[1-ct(i，j)]，...(1)

其中“s(i,j)”是卫星传感器处针对具有坐标“i”和“j”的像素的接收的辐射信号，“a”是大气透射率，其通常被假设为1，“i”是太阳辐照度，“r(i,j)”是来自地面的反射并且“ct(i,j)”是针对像素(i,j)而被观察到的的云透射率。这一公式假设云吸收率为0。

云可以反射、透射和吸收入射辐射。根据反射率“cr”、吸收率“ca”、透射率“ct”系数来表达入射辐射与云的相互作用可以被示出如下：

cr+ca+ct＝1....(2)

对于多个厚云(“t”)，辐射将会被完全反射和吸收，但不会被透射。“tr”、“ta”、“tt”分别为厚云的反射率、吸收率和透射率时，入射辐射与厚云的相互作用可以被示出如下：

tt＝0，∴tr+ta＝1，...(3)

假设薄云的吸收率和反射率是厚云的吸收率和反射率的换算值(scaledvalue)。进一步假设比例因子与薄云相对于厚云的相对厚度成正比。因此，对于薄云，吸收率和反射率将是按厚云的厚度因子(“g”)被缩放的厚云的吸收率和反射率。g根据云相对于厚云的相对厚度从0到1变化。“g”针对厚云为1。这些云是针对其的透射率为0的不透明云。

代替针对方程式(2)中的薄云的吸收系数和反射率值并且使用方程式(3)中，云透射率可以被估算为：

cr＝gtr，ca＝gta

∴gtr+gta+ct＝1

ct＝1-g(tr+ta)

ct＝1-g.…(4)

参照图19和方程式(1)和方程式(4)，使用反射率值的云失真的物理模型可以根据云的光学性质而被表达为：

x＝(1-g)r+gsc+e....(5)

如果l是存在于输入多谱图像中的波段的数目，“x”是由传感器观测到的维数l×1像素的谱反射向量，“sc”是维度l×1的云的谱特征(频谱)向量，并且“e”是维度l×1的噪音或模型误差向量，“e”可以被视为无法被建模的像素的一部分。

在方程式(5)中，r可以如以下所示被表达为“m”端元的混合：

从而使得，

“sm”是维度l×1的第m个端元的谱特征向量，“am”是第m个端元的分数丰度。将云视为第(m+1)个端元，方程式(6)和方程式(7)可以被修改为：

其中，am+1＝g/(1-g)，sm+1＝sc，bm＝(1-g)am，...(8)

从而使得，

方程式(8)与具有不同约束的线性谱混合模型(lsmm)相似。方程式(8)和方程式(9)中的模型可以被解译为，云是第(m+1)个端元并且g是云的分数丰度。

这一方程式由完全约束的线性混合分析算法求解以给出云的分数丰度(并且因此给出g)，具有方程式(9)中的约束的方程式(8)只要“l>m+1”就可以被求解。因此，该技术最适用于多谱或高谱图像。

通过方程式(5)，假设模型误差e为0或可忽略不计，像素的真实反射率可以如下所示被取回：

方程式(10)中的校正无法对于g＝1的像素而被进行，这意味着该像素由厚云覆盖并且应当被遮挡或者由另一图像源替代。

图20是示出了由本申请的发明者描述的st-sma方法的示例性装置的框图。其包括输入单元01、接收单元02、云谱提取单元03、端元提取单元04、分离单元05、薄云校正单元06和输出单元07。

输入单元01接收多谱图像作为输入。接收单元02接收来自操作员的输入图像中的除云以外的端云的数目。云谱提取单元03从图像选择云谱作为图像中的最亮像素的谱。端元提取单元04接收输入图像中的除云以外的端元的数目作为输入，并且通过采用非监督端元提取算法(顶点成分分析(vca))从输入图像提取端元的相等数目的谱。分离单元05使用方程式(8)通过施加由方程式(9)给出的约束以给出云的分数丰度来分离输入图像中的每个像素。薄云校正单元06通过使用云的分数丰度来执行薄云校正，即，使用方程式(10)取回由薄云影响的像素的真实反射率。输出单元07向显示器发送针对薄云量而被校正的图像。

引用列表

非专利文献

[nptl1]xu,m.、pickering,m.、plaza,a.j.和jia,x.，“thincloudremovalbasedonsignaltransmissionprinciplesandspectralmixtureanalysis”，ieeetransactionsongeoscienceandremotesensing，(第54卷，发布3，2016年3月3日，1659-1669页)。

技术实现要素：

技术问题

npl1中的方法只有在云的谱被准确地确定时才能给出对来自薄云下的地面的真实反射率的较好地估计。将最亮的像素的谱选择为云谱的方法，可能会对其他明亮的物体(诸如沙子、屋顶)感到困惑。

此外，有些图像可能具有不同类型或层的云。不同的云具有不同的组成，因此它们表现出不同的吸收、反射特征以及不同量的吸收和反射。如果存在不同层的云，则高海拔的云可能在低海拔的云上形成阴影。因此，在较低海拔的云示出比实际云层的反射性质更低量级的反射性质。具有更高含水量或具有阴影的云看起来更暗。如果st-sma方法被应用于包含较暗云和较亮云的场景，则它会错误地将较暗的云校正为地面上的水。因此，有必要把暗云和亮云分开考虑。

此外，现有技术中的方法对于将像素标记为厚云具有严格的约束(g＝1)。这是不实际的，因为变异性存在于云谱中。被厚云污染的所有像素并不具有完全相同的谱，因为云分布广泛并且可以有不同的组成。因此，即使云谱被准确地选择，现有技术中的方法也不能完全地检测厚云量。

因此，在npl1中给出的方法中被装备的算法对于具有不同类型或层的云或比云更亮的物体的复杂场景不能很好地执行。该限制可以归因于该方法中的云谱提取技术。此外，它不能完全地检测厚云量。

本发明针对上述情况而被做出，本发明的目的是提供一种技术，该技术能够准确地检测由云影响的区域，并且即使多种类型或层的云存在于图像中也能校正云的效果。

对问题的解决方案

为了解决上述问题，本发明的第一示例性方面是一种用于云量的检测和校正的图像处理设备。该设备包括：

云谱选择装置，所述云谱选择装置用于针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱；

端元提取装置，所述端元提取装置用于从所述输入图像的除所述一个或多个云以外的一个或多个端元提取那些端元的谱；以及

分离装置，所述分离装置用于针对所述像素中的每个像素在所述输入图像中得出一个或多个端元的相应的所述谱和所述一个或多个云中的一个云的选择的谱的分数丰度。

本发明的第二示例性方面是一种图像处理方法。该方法包括：

针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱；

从所述输入图像的除所述一个或多个云以外的一个或多个端元提取那些端元的谱；以及

针对所述像素中的每个像素在所述输入图像中得出一个或多个端元的相应的所述谱和所述一个或多个云中的一个云的选择的谱的分数丰度。

本发明的第三示例性方面是一种用于存储图像处理程序的存储介质。该程序包括：

针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱；

从所述输入图像的除所述一个或多个云以外的一个或多个端元提取那些端元的谱；以及

针对所述像素中的每个像素在所述输入图像中得出一个或多个端元的相应的所述谱和所述一个或多个云中的一个云的选择的谱的分数丰度。

发明的有利效果

根据本发明，提供了一种图像处理设备、图像处理方法和存储图像处理程序的存储介质，其即使多种类型或层的云存在于图像中也能准确地检测由云影响的区域并且校正云的效果。

附图说明

图1是根据本发明的第一示例实施例的框图。

图2是示出被存储在云谱存储器中的云谱的表。

图3是示出被存储在云谱存储器中的云谱的图形表示的图表。

图4是根据本发明的第一示例实施例的过程的流程图。

图5是示出输入图像的子集中像素位置的布局的表。

图6是示出被示出在图5中的子集中的像素的谱值的表。

图7是示出针对被示出在图5中的子集中的像素的选择的云谱的索引数目。

图8是根据本发明的第二示例实施例的框图。

图9是根据本发明的第二示例实施例的过程的流程图。

图10是图9中的步骤s201中的检测可能云区域的过程的流程图。

图11是根据本发明的第三示例实施例的框图。

图12是根据本发明的第三示例实施例的过程的流程图。

图13是图12中的步骤s302中的提取云谱的过程的流程图。

图14是根据本发明的第四示例实施例的框图。

图15是根据本发明的第四示例实施例的过程的流程图。

图16是图15中的步骤s402中的确定输入图像中的多种类型的云的过程的流程图。

图17是根据本发明的第五示例实施例的框图。

图18是示出信息处理装置的配置的框图。

图19是在云存在时的针对辐射的物理模型的描绘。

图20是npl1(st-sma)中描述的方法的框图。

本领域技术人员将领会到图中的元素为了简单和清晰而被图示，并且不一定是按比例被绘制。例如，与其他元素相比，说明云存在时的针对辐射的物理模型的图中的元素中的某些元素的尺寸可能被放大以帮助改进对现有和备选示例实施例的理解。

具体实施方式

由星载平台上的传感器捕捉到的卫星图像提供了关于地球表面的大量信息。许多星载平台具有能够捕获多谱或高谱图像的传感器，我们可以从多谱或高谱图像提取出比rgb图像更详细的、关于地面上的物体的性质的信息。多谱图像是一种图像，其包括在电磁谱中的多个特定波长被捕获的场景的响应。通常，具有多于三个(rgb)波段的图像被称为多谱图像。

然而，这些图像在拍摄时受到天气条件的影响。地球表面大约三分之二的地方全年都被云覆盖。因此，难以针对所有的图像获得没有云的场景。图像中的云量(图像中可见的云的表面积)针对卫星图像在如土地利用、土地覆盖分类等高级图像处理操作中的应用施加了严重的限制。如果具有云量的图像被用于高水平分析，则不可靠的结果被获得。

对被云污染的区域的检测和对污染的程度的估算是重要的预处理任务。如果云太厚并且由此阻挡(封闭)了整个辐射，则该区域就必须被检测到并且从信息的其他源被恢复。然而，如果云层足够薄，就有可能从给定的图像获取一定程度的地面信息。厚云是指完全遮挡传感器视野的大气云，而薄云则部分地遮挡。可以存在许多类型的云和不同层的云。

npl1中的方法提供了一种基于谱分离技术和辐射传送模型来校正由薄云量影响的像素的方法。然而，对由薄云覆盖的像素的校正的精确度取决于提取的云谱的精度。像素是指物理点，并且是图像的单元元素。物体的谱是指由该物体的一组反射率值组成的反射率谱，每个反射率值对应一个波段。“谱分离”是指基于像素和端元的谱得出像素的组成端元及它们在像素中的分数丰度的过程。npl1将最亮的像素的谱视为云谱，但这并不是最好的方式。在许多场景中，最亮的像素可以是地面上其他明亮的物体，诸如沙地和屋顶等。

此外，不同类型的云具有不同的高度和组成，并且这些不同类型的云表现出不同的谱特征。如果一个位置的云层由不同高度的分层的多个云组成，则较高海拔的云可能在较低海拔的云上形成阴影。具有较高含水量或被阴影覆盖的云在外观上较暗，并且显示出最亮的谱的变化。

当只有最亮的像素的谱被认为是云谱时，随后为薄云校正的分离技术很可能会将由这样的较暗的云覆盖的像素错误地取回作为地面上的水。这是因为npl1中的方法假设只存在一片云，该云为最亮的云。因此，选择的云谱对于许多像素并不准确，因此npl1中的技术无法给出期望的结果。

此外，将像素标记为厚云时的严格约束(g＝1)是不现实的。这是由于云谱的可变性。被厚云污染的所有像素并不完全地具有相同的谱，因为云分布广泛并且可以有不同的组成。虽然云谱被准确地选择，但由于严格的条件，npl1中的方法不能完全地检测到厚云量。

可以解决上述问题的本发明的每个示例实施例将参照附图在以下被描述。随后的详细性质上仅为示例性，并不旨在限制本发明或本发明的应用和使用。此外，并不旨在由被呈现在本发明的先前背景或随后详细描述中的任何理论绑定。

<第一实施例>

在天空中存在许多不同类型和层的云。分离地考虑不同类型的云可以提高云检测和校正方法的性能。在第一示例实施例中，描述了一种图像处理设备，该图像处理设备考虑不同类型的云以最终获得准确观测结果。

<<图像处理设备>>

图1是示出根据本发明的第一示例实施例的图像处理设备100的配置的框图。图像处理设备100包括输入单元10，云谱存储器11，接收单元12，云谱选择单元13，端元提取单元14，分离单元15，阈值化单元16，厚云掩蔽单元17，薄云校正单元18和输出单元19。

输入单元10经由无线通信接收来自星载平台的传感器(在图1中未示出)的多谱图像，并且向云谱选择单元13、端元提取单元14、接收单元12和分离单元15发送输入图像。

云谱存储器11以数据库或表格式存储通常在卫星图像中被观测到的各种云谱。如图2中所示，云谱可以存储具有云号(数目)行和波段号列的表。云号表示一种云，云种类中的每个云种类对应于一个数字。云的每个种类具有不同的谱。波段号表示一种波段，例如可见波段、近红外波段、短波红外波段等，波段中的每个波段对应于一个数字。例如，波段1是沿海气溶胶波段并且波长范围在0.43-0.45(μm)之间，波段2是蓝波段并且波长范围在0.45-0.51(μm)之间。

如图3中所示，云谱存储器可以被描绘成反射率为纵轴、波长(μm)为横轴的图表。在该图表中，线中的每条线对应于一种云(云号)。波段中的每个波段对应于它的波长范围。云谱存储器11中的谱可用于云谱选择单元13。

接收单元12确定图像中的除云以外的端元的数目。如果l是存在于输入多谱图像中的波段的数目，则由于方程式(9)中的约束，端元的数目被自动地限制为l减2。备选地，操作者可以输入通过目测的图像中的端元的数目。接收单元12向端元提取单元14发送端元的确定数目。

云谱选择单元13从输入单元10获取输入多谱图像并且从云谱存储器11获取所有云谱，以针对输入图像中的每个像素选择云谱。对于输入图像中的每个像素，云谱选择单元13确定很可能污染了相应像素的云谱。

输入图像包括被存储在云谱存储器11中的n各云谱中的nc个云谱，其中nc和n为正整数，并且1≦nc≦n(下同)。

对于一个像素，云谱选择单元13在多个维度的特征空间中选择对像素的谱的谱上最接近的云谱，多个维度中的每个维度对应于图像中的特定波段。云谱选择单元13通过两个谱之间的谱角度(“w”)来测量谱的接近度(closeness)，如方程式(11)中那样。

其中x·sc表示向量x和sc的点积，|x|、|sc|分别为向量x和sc的梯度。角度(w)的量级与特征空间中的谱之间的相似度的程度成反比。因此，在可用于云谱存储器11中的n个云谱之间，给出与像素的最小w的谱被选择为很可能已经污染了像素的云的谱。

备选地，对于一个像素，云谱选择单元13可以选择输入图像中在空间上最接近像素的位置的云的谱。云谱选择单元13向分离单元发送针对相应的像素的选择的云谱。

端元提取单元14从输入单元10获取多谱图像并且从接收单元12获取端元的数目，并且提取与除云以外的端元相等数目的谱。端元是指图像中的纯土地覆盖类。土地覆盖类(端元)的选择取决于应用，诸如变化检测中的植被、水，除此之外，森林监测中的雪松、柏树。

如果我们针对图像中的端元标识代表性像素，则代表性像素的均值谱可以被取得作为端元谱。然而，一般来说这样的代表性像素不是容易可得的。备选地，端元提取单元14可以通过公知的非监督端元提取算法(诸如像素纯度指数，n-findr以及顶点成分分析(vca))来执行提取。备选地，端元提取单元14可以通过先使用非监督聚类然后选择端元谱作为相应的集群并且只考虑与云谱不相似的那些谱来执行提取。

端元提取单元14向分离单元15发送端元的提取的谱。

分离单元15获取三个输入，来自输入单元10的输入多谱图像，来自端元提取单元14为端元的谱以及来自云谱选择单元13的、针对图像中的每个像素的选择的云谱。分离单元15确定所有端元和像素中的云的分数丰度(端元在像素中的相对比例)。对于像素的输入谱，分离单元15通过迭代最小二乘法(完全约束线性混合分析)来确定端元的谱与云的线性混合的系数。线性混合模型的系数为端元和云的分数丰度。分离单元15进行分离从而使得如果端元和云的谱按被获得的相应的分数丰度被缩放并且被线性相加，则输入像素的谱被获得。分离问题可以由方程式(8)定义，其具有由方程式(9)给出的约束。基于上述描述，分离单元15获得云(g)的分数丰度，并且向阈值化单元16发送它。

阈值化单元16接收来自分离单元15的输入图像中每个像素中的云的丰度。然后，阈值化单元16基于阈值与云的获得的分数丰度(g)之间的比较的结果将由厚云覆盖的像素与由薄云影响的像素分离。操作者可以预先设置阈值。当针对像素的云的丰度大于或等于阈值时，则阈值化单元16向厚云掩蔽单元17发送该像素。当针对像素的云的丰度不大于阈值时，阈值化单元16向薄云校正单元18发送该像素连同针对相应的像素的云比例(g)。

厚云掩蔽单元17从阈值化单元16接收由厚云覆盖的像素。厚云掩蔽单元17将输入像素标记为厚云，将像素掩蔽并且向输出单元19发送。

薄云校正单元18从阈值化单元16接收未被厚云覆盖的像素连同相应的像素中的云比例。薄云校正单元18通过使用方程式(10)来取回真实像素反射率，并且利用计算结果来校正输入像素。对于清晰像素，g为0，因此清晰像素仍将受方程式(10)影响。薄云校正单元18向输出单元发送经校正的像素连同清晰像素。

输出单元19接收来自厚云掩蔽单元17的由厚云覆盖的像素、由薄云影响的经校正的像素以及来自薄云校正单元18的清晰像素。输出单元19将输入中的所有输入组合，并且发送组合的图像作为显示器(在图1中未示出)上的输出。

<<图像处理设备的操作>>

图4示出了假设所需的谱被存储在云谱存储器11时示出图像处理设备100的操作的流程图。步骤s101以及s103至s107的操作针对所有像素中的每个像素被执行。

首先，在步骤s100中，输入单元10接收多谱图像。接收单元12接收端元的数目。

在步骤s101中，云谱选择单元13从输入单元10获取输入多谱图像，并且针对输入图像中的每个像素在被存储在云谱存储器11中的谱中选择对相应的像素的谱最接近的云谱。

以下将给出示例。图2示出了被存储在云谱存储器11中的谱的表。图5示出了输入多谱图像的子集中的像素的布局的表。图像中格中的每个格(诸如p11、p12)示例性地指示像素中的每个像素。图6示出了对应于波段中的每个波段的每个像素的实际谱值(从顶部，波段1至波段7)。云谱选择单元13通过使用方程式(11)计算像素和云谱存储器11中的每个云谱之间的谱角度，以基于计算结果来选择最接近的云谱。

例如，云谱选择单元13如下计算图5中的p11与图2中的云1之间的谱角度：

w＝cos^-1(0.984005)＝10.26143881°

类似地，云谱选择单元13计算针对所有云的谱角度，诸如：

云2：w＝9.0275470178°

云3：w＝9.027547178°，…

云n：w＝1.747962509°

由于计算结果示出p11具有与云n的最小角度，因此云谱选择单元13确定p11被云n的污染并且云n被选择用于对p11的分离。

在云谱选择单元13选择了对应于所有像素的云谱后，输出如图7中所示。表中的数字针对图5中的每个像素指示选择的云号的索引。

在步骤s102中，端元提取单元14从输入图像提取除云以外的端元的谱。提取的谱的数目等于由接收单元12指定的数目。

在步骤s103中，分离单元15分离输入图像像素中的每个像素以给出相应的像素中的云的分数丰度(g)。

在步骤s104中，阈值化单元16将云的丰度(g)与针对图像中的每个像素的阈值比较。

在步骤s105中，厚云掩蔽单元17掩蔽像素，对于该像素，云的丰度(g)大于或等于作为厚云的阈值。

在步骤s106中，如果针对像素的云的丰度小于阈值，则薄云校正单元18根据方程式(10)执行针对像素的校正。例如，针对图5中的像素p11，污染云为n，如图7中所示。假设针对阈值化单元16的阈值为0.9。如果对于像素p11，分离单元15输出云的分数丰度为0.6，由于云的丰度小于阈值，阈值化单元16向薄云校正单元18发送这一像素。薄云校正单元18使用图2中的云n的谱值、g和图6中的像素p11的谱值执行校正以得到真实的地面反射率r，如下所示：

最后，在步骤s107中，输出单元19在显示器上输出输入图像中被厚云覆盖的遮蔽的像素与受薄云影响的经校正的像素的组合图像。这是图像处理设备100的操作的结束。

<<第一实施例的效果>>

根据本发明的第一示例实施例的图像处理设备100，即使多种类型或层的云存在于图像中也能准确地检测出由云影响的区域并且校正云的效果。原因是云谱选择单元13参考云谱存储器11选择云谱以用于多个云谱之间的分离。在第一示例实施例中，阈值化单元16可以克服用于检测厚云的严格约束的限制(诸如g应当等于1)。阈值化单元16对厚云检测的严格条件提供了放宽。因此，对于具有厚云的像素，即使云的丰度小于1且接近1，像素也将被标记为厚云。因此，图像处理设备100能够在输入图像中以高准确度检测厚云并且更准确地校正由薄云影响的像素。

<第二示例实施例>

在第一示例实施例中，图像处理设备100能够通过从云谱存储器11选择云谱检测由云影响的区域并且校正云的效果，即使多种类型或层的云存在于图像中。这里，端元提取单元14从整个图像提取除云以外的端元的谱。这可能需要更长的时间并且消耗大量的资源。此外，端元提取单元14有可能多次错误地选择云谱。为了避免这种情况，图像处理设备优选地检测输入图像中看起来明显有云的部分，即，和可能被云覆盖的部分，以便在提取端元的谱之前在图像中得到清晰的区域。然后，除云以外的端元的谱只能从清晰的区域被提取。在第二实施例中，能够检测输入图像中的可能云区域的图像处理设备将被描述。

<<图像处理设备>>

图8为示出根据本发明的第二示例实施例的图像处理设备200的配置的框图。图像处理设备200包括输入单元10，云谱存储器11，接收单元12，云谱选择单元13，可能云区域检测单元21，端元提取单元14a，分离单元15，阈值化单元16，厚云掩蔽单元17，薄云校正单元18和输出单元19。

可能云区域检测单元21从输入单元10获取输入多谱图像，并且在端元提取单元14a确定针对除云以外的端元的谱之前检测很可能被云覆盖的区域。可能云区域是对输入图像中的厚云量的第一估计。

第二示例实施例中的可能云区域检测单元21的具体操作在以下被描述。

为了确定可能云区域，除了谱性质外，云的空间性质(基于图像中的像素的位置和邻域的性质)可以被使用。像素的邻域(像素)并不限于邻近像素，还包括相邻像素的某些区域。相邻像素的区域取决于窗口的大小，窗口是根据预定规则的图像的子集中的一个子集。

在图像中，云是几乎具有相同强度级别的大平坦区域(强度级别或灰度级别是像素与白色相比的相对强度，对应于针对波段中的像素而被记录的数字(像素值))。为了确定可能云区域，可能云区域检测单元21通过使用基于云的空间和谱性质的空间-谱滤波器来估计图像中的云量。该滤波器采用标准偏差和纹理均值来量化空间和谱性质，并且对输入图像中的像素中的每个像素是否是可能云区域进行分类。

可能云区域检测单元21可以基于诸如每单位长度边缘数、空间方差、纹理的测量来识别强度级别平坦度。可能云区域检测单元21可以基于通过滤波函数(诸如prewitt、sobel、高斯拉普拉斯以及canny边缘检测器)的应用而被计算出的强度级别梯度值来设计滤波器以检测不具有强度级别的突然改变的区域，此外，标准偏差可以被用作梯度的测量。检测可能云区域的最优选的方法是像素强度标准偏差。对于一个像素，标准偏差考虑它的邻域中连同自身的强度值而被计算。每像素的标准偏差是对该像素的强度与它的邻域中的平均强度值有多大的变化的定量测量。标准偏差在恒定强度的区域低，并且对于图像中的如边缘的特征为高。标准偏差如何被用来对可能云像素滤波随后将被描述。

此外，在图像中，由云覆盖的区域中的所有像素具有几乎相似的强度级别。因此，云覆盖的区域表现出强度级别和均匀纹理的特定模式。因此，可能云区域检测单元21可以采用纹理的滤波器来检测可能云区域。云在可见波段、近红外波段、短波红外波段中具有非常高的反射率。云检测单元21可以通过采用这一性质来区分云。

可能云区域检测单元21基于特定土地覆盖的谱反射率性质、通过采用图像形状的滤波器和/或用于特定土地使用的滤波器来改进对输入图像中云量的估计。可能云区域检测单元21可以通过采用上述谱和空间性质来区分云。此外，可能云区域检测单元21可以采用形状的滤波器来对非云区滤波。与云不同，人造物体有轮廓分明的规则形状。可能云区域检测单元21可以确定输入图像中的物体的形状，并且将从可能云区域移除具有规则形状的物体。

除了滤除规则形状外，可能云区域检测单元21还可以在图像中确定诸如植被、雪、水、建成区的特定土地覆盖类。可能云区检测单元21可以采用谱指标以用于确定。谱指标的并非被限制到的一些示例是标准化差异植被指数，标准化差异雪指数，标准化建成区指数，标准化差异水指数，标准化差异泥指数，标准化燃烧比率等。

可能云区域检测单元21采用上述滤波器的组合以在输入图像中输出可能云区域。很可能受云影响的获得的可能云区域内的像素从输入图像被删除，并且剩余的像素被发送给端元提取单元14a。

端元提取单元14a与端元提取单元14基本相同地操作，除了其接收来自接收单元12的端元数目和相对清晰的非云像素作为输入。

其他单元与第一示例实施例相同。

<<图像处理设备的操作>>

图9示出了流程图，该流程图示出了为图像处理设备200的操作。

步骤s200的输入与图4中的步骤s100的输入相同。

在步骤s201中，可能云区域检测单元21检测输入图像中可能云区域。操作稍后将被详细描述。

在步骤s202中，获得的可能云区域从输入图像被移除以得到输入图像中的(多个)相对清晰的区域。

步骤s203至s209分别与图4中的步骤s101至s107的操作相同。

在步骤s204中，应当注意到，与图4中的步骤s102中的整幅图像不同，输入是从步骤s202被获得的输入图像中的(多个)相对清晰的区域。

这是图像处理设备200的操作的结束。

接下来，上述步骤s201的操作将被详细描述。图10示出了步骤s201中的操作的流程图。

首先，在步骤s2010中，可能云区域检测单元21接收输入多谱图像作为输入。在步骤s2011中，可能云区域检测单元21通过针对输入图像中的所有像素计算对应于像素的每个波段的每个平方谱值的和来计算灰度强度图像。灰度强度图像(imag)可以从输入多谱图像(i)被得到为，

对于i＝1，...，r.j＝1，...，c。(k为变量)…(12)

其中l、r、c分别为输入图像中的(多个)波段、(多个)行和(多个)列的数目。备选地，由于云选择性地影响，所以为了计算灰度强度图像，波段可以考虑到云针对不同波长的影响而被不同地的加权或者一些波段可以被排除。

在步骤s2012中，可能云区域检测单元21通过避免包括云边缘的像素(区域)来计算像素的标准偏差以检测被厚云覆盖的区域。像素的标准偏差是对像素的强度从平均强度值变化多少的量化测量。从灰度强度图像，可能云区域检测单元21使用方程式(13)和方程式(14)计算针对局部窗口内的每个像素的标准偏差，

式中，std(i,j)为针对在窗口内被计算的像素(i,j)的标准偏差。该窗口由在像素(i，j)的邻域内的np像素[i1，…，il]组成。mij是使用方程式(13)而被计算的窗口内的平均强度。

步骤s2013中，可能云区域检测单元21计算纹理测量以检测可能云区域。可能云区域检测单元21可以设计基于纹理来量化云的强度级别平坦度的滤波器。图像的纹理可以由灰度级别共生矩阵(glcm)量化。从glcm可以得出诸如熵、对比度、方差和均值的不同的量。最优选的测量是glcm均值。从灰度强度图像，可能云区域检测单元21针对图像中的所有像素计算局部窗口内的像素glcm均值的值。步骤s2013的详细描述如下。

在glcm中，可能云区域检测单元21生成共生矩阵，它的元素为以一定位移δ＝(r，θ)的图像中的强度级别i和j的发生频率pδ(i,j)，(i＝0，1，…，q-1，j＝0，1，…q1)。q是量化的强度级别。r是i和j之间的距离，θ是线ij相对于水平轴之间的朝向。特征值从矩阵被计算，并且图像的特征信息(诸如纹理)由这些值表征。

为了确定glcm，对输入强度级别的量化被建议以避免具有许多零的稀疏glcm。量化级别(q)可以从2到输入图像中的强度级别变化。最优选的是8级量化。i和j对应于图像中的q级量化强度级别。从glcm，glcm均值(gmean)使用方程式s2012被计算，

其中p(i,j)为针对强度水平的glcm值。其指示一对灰度级别i和灰度级别j在图像中的特定距离处以特定朝向出现的频率。例如，glcm中的(7,2)处元素示出了在图像中7和2强度级别同时发生了多少次。

对于朝向，可以取水平(0°)、垂直(90°)、对角线1(45°)或对角线2(135°)。最优选的朝向是灰度级别之间具有单位距离的水平(0°)。gmean针对局部窗口内的图像中每个像素而被计算。

在步骤s2014中，可能云区域检测单元21设置针对glcm均值和标准偏差的阈值以用于检测可能被云覆盖的区域。针对标准偏差的阈值(标准偏差的平均值，缩写“avgstd”)可以被用作整幅图像的标准偏差，或者可以被计算为：

avgstd＝max(所有像素的std)-kc×range(所有像素的std),…(16)

其中kc是范围[0，1]中的常数。

对于所有像素，针对glcm均值的阈值可以被选择为glcm均值的值的平均值(缩写"avgmean")，或者备选地为，

avgmean＝max(glcm均值)-km×range(glcm均值),…(17)

其中km在范围[0，1]中为常数。

针对km和kc的缺省值可以被保持为0.5。备选地，这些可以由操作者设置以用于微调。

接下来，来自步骤s2015值s2016的操作针对输入图像中的所有像素中的每个像素(像素)被。

在步骤s2015中，可能云区域检测单元21基于在步骤s2014中被设置的阈值，对来自图像中的其他目标的可能有云像素滤波。步骤s2014和s2015形成针对可能云区域检测滤波器。针对这一滤波器的操作如下所述。

为了对对可能有云像素滤波，标准偏差可以被使用。标准偏差的滤波基于如下假设：由云覆盖的像素由于具有接近地类似的强度级别的分布广泛的云区域而将具有低的标准偏差。如果像素的标准偏差小于阈值(标准偏差<阈值“avgstd”)，则该像素可以属于恒定强度级别的大区域。因此，其可以是存在于云区域处的云像素。标准偏差的滤波器也有助于消除一些较亮的物体，诸如海滩上的沙子和小屋顶。

以特定距离在特定朝向中两个强度级别的经常出现给出了glcm中的高元素值。其指示强度级别的特定模式。glcm的均值的值利用相应的强度级别对glcm值加权。云在可见波段、近红外波段、短波红外波段中显示高反射率，因此在灰度强度图像中云显得非常明亮。此外，云覆盖往往是图像中大连续区域。因此，以特定距离在特定朝向中的的云的灰度级别的出现的频率将高。

由于这些性质，云在glcm均值的图像中显示出更明亮的外观。云区域可以通过对glcm均值图像阈值化以便得到具有高glcm均值的区域而被标识。如果像素的glcm均值大于阈值(glcm均值>阈值“avgmean”)，则该像素可能属于恒定灰度区域的大区域。

因此，通过使用在步骤s2014中被设置的阈值，在步骤s2015中，可能云区域检测单元21将具有小于阈值的标准偏差的像素以及大于阈值的glcm均值的像素标记为可能云像素。

在步骤s2016中，当像素被确定为被厚云覆盖时，如果其具有小于阈值的标准偏差或大于阈值的glcm均值，则可能云区域检测单元21向可能云区域添加该像素。如果像素具有大于或等于阈值的标准偏差或者小于或等于阈值的glcm均值，则像素不被确定为被厚云覆盖。然后，该像素将不被包括在可能云区域中，并且操作被返回到s2015，直到所有像素完成步骤s2015和s2016的步骤。

在步骤s2017中，可能云区域检测单元21从被标记为可能云像素的像素区域去除小的孤立的区域。其可以考虑到像素的8个连通性而被处理。可能云区检测单元21输出可能云区域。

图9中的可能云区域检测单元21和步骤s201的具体操作说明到此结束。

<<第二示例实施例>>的效果

第二示例实施例具有第一示例实施例的效果，并且比第一示例实施例具有更有利的效果。如果包括多云区域的完整图像是对端元提取单元14的输入(正如在第一示例实施例中)，一些附加云谱可以被提取，并且然后分离单元15在计算由云谱选择单元13选择的云的分数丰度时会对那些云谱困惑。此外，使用整幅图像(，诸如在npl1中)，可能话费更长的时间并且使用大量的资源来从包含云覆盖的整幅图像提取除云以外的端元的谱。在第二示例实施例中，端元提取单元14只接受非多云区域作为输入，并且然后没有附加云谱将被提取，因为云的纯像素将被存在于非多云区域中。后续的分离过程因此可以更准确地估计云的分数丰度。因此，检测厚云量并且校正由薄云影响的像素可以被更准确地执行。

<第三个示例实施例>

在第一和第二示例实施例中，图像处理设备100和200在输入图像中能够检测到厚云并且校正由薄云影响的像素。然而，从云谱存储器11选择的云谱可能与存在于图像中的谱并不完全地匹配。这是由于云谱的广泛多样性和大气条件的变化。存在于输入图像中的实际云谱可能并不存在于云谱存储器11中。在第三示例实施例中，能够从输入图像本身提取云谱的图像处理设备被描述。

<<图像处理服务器>>

图11是示出根据本发明的第三示例实施例的图像处理设备300的配置的框图。图像处理设备300包括输入单元10，接收单元12，可能云区域检测单元21，云谱提取单元31，云谱选择单元13，端元提取单元14，分离单元15，阈值化单元16，厚云掩蔽单元17，薄云校正单元18和输出单元19。

接收单元12的操作几乎与在第一示例实施例中被说明的操作相同，除了附加输入。接收单元12接收来自操作员的图像中不同云谱的数目。接收单元12向云谱提取单元31发送不同云谱的数目。

云谱提取单元31在云谱选择单元13针对每个像素选择云谱之前提取存在于图像中的云谱。

云谱提取单元31从输入单元10获取多谱图像，并且从接收单元12获取存在于图像中的云的不同谱的数目。云谱提取单元31发现的云像素集群与彼此不同的云的数目相等。每个集群对应一种类型的云。云谱提取单元31从相应的集群得出云谱。云谱提取单元31可以基于glcm均值以及属于同一类型的云的像素表现近似相同的glcm均值的性质来确定云像素集群。

备选地，云谱提取单元31只能找到由云覆盖的像素(区域)，并在执行非监督的分离以得到由云覆盖的区域内的不同类型的云的集群。非监督的分离可以利用诸如k均值聚类、均值漂移聚类、isodata算法和dbscan(具有噪声的应用的基于密度的空间聚类)的公知算法而被完成。

其他单元与第一和第二示例实施例中的单元相同。

<<图像处理设备的操作>>

图12是示出图像处理设备300的操作的流程图。

在步骤s300中，多谱图像被输入。

步骤s301的操作与图9中的步骤s201(步骤s2010至s2018)的操作相同。

步骤s302的操作与图9中步骤s202的操作相同。

在步骤s303中，云谱提取单元31提取存在于输入图像中的云的谱。操作随后将被详细描述。

步骤s304至s310的操作分别与图4中的步骤s101至s107的操作相同。

接下来，上述步骤s303的操作将被详细描述。图13示出步骤s303中的操作的流程图。

在步骤s3030中，云谱提取单元31接收来自输入单元10的输入多谱图像和来自接收单元12的存在于图像中的不同的云的数目(nc)。为了在图像中找到不同的云谱，首先云的像素的集群等于云的指定数目nc被确定，从而使得不同集群对应于不同类型或层的云。云谱可以从相应的集群被提取。

步骤s3031和s3032的操作分别与图10中的步骤s2011和s2013的操作相同。

在步骤s3033中，云谱提取单元31将图像中的每个像素的glcm均值缩放为范围从0到255(8位)的整数。缩放到8位整数只是示例，并且即使不缩放或缩放到其他范围，glcm均值图像也可以被处理。

在步骤s3034中，云谱提取单元31通过得出输入图像的glcm均值的直方图来提取存在于输入图像中的云谱；检测直方图中的峰值；基于glcm均值的直方图中的峰值来形成存在于输入图像中的一个或多个云的集群；并且得出存在于输入图像中的一个或多个云的谱作为一组代表性谱，该一组代表性谱中的每个代表性谱从集群中的每个集群被获得。更具体地，云谱提取单元31从缩放的glcm均值图像得出直方图。一个glcm均值加权一个灰度级别的纹理测量。因此，即使所有的多云区域将具有相似的纹理，如果它们具有不同的灰度级别，它们也将显示出不同量级级别的glcm均值。由于云具有大面积，大数目的像素将显示相似的glcm均值。这一属性可以使用直方图而被量化。

在步骤s3035中，云谱提取单元31针对每个灰度级别在直方图中计算峰值。具有相似灰度级别的大数目的像素在直方图中显示出峰值。因此，glcm均值图像的直方图中的峰值定义图像中的集群。由于不同的glcm均值量级，图像中的不同类型或层的云在glcm均值图像的直方图中将显示出不同的峰值。直方图中的局部极大值(峰值)可以基于由方程式(18)给出的峰值测度而被确定。

其中“va”是峰之前的最接近的谷的高度，“vb”是峰之后的最接近的谷的高度，p为峰的高度，q为峰的伸展(spread)，其被取为峰的相邻谷之间的距离。在给定问题的上下文中，glcm均值图像的直方图是稀疏的，对于许多灰度级别都是零。因此，对于计算峰度，相邻的非零谷被考虑。在步骤s3035中，云谱提取单元31针对所有灰度级别计算峰值。

在步骤s3036中，云谱提取单元31基于阈值来确定直方图中的局部最大值(峰值)。峰值大于预定阈值的灰度级别在直方图中被认为是局部最大值(峰值)。

在步骤s3037中，云谱提取单元31确定云的种子，这些种子是在glcm均值图像中的对应于云的灰度级别。正如在第二示例实施例中被描述的，云比图像中的其他对象显示出更高量级的glcm均值。因此，glcm均值的直方图中的较高强度水平范围中的峰值对应于属于云的像素。在步骤s3037中，从直方图中的最高glcm均值水平开始，首先对应于峰值的ncglcm均值水平被取得作为中心glcm均值水平，其对应不同类型或层的云。在本示例实施例中，这些glcm均值水平被称为云的种子。

在步骤s3038中，具有等于种子glcm均值水平的glcm均值量级的所有像素被标记为核心云像素。核心像素形成对应于种子的多云像素的集群。不同云集群通过标识对应于所有种子glcm均值水平的核心像素而被定义。

在步骤s3039中，云谱提取单元31从不同云的集群得出云谱。从团集群得出云谱的可行方法中的一些可行方法是：

i.集群的平均谱；

ii.集群中的最亮像素的谱；或

iii.集群中的最明亮的几个像素的平均。

在步骤s3040中，云谱提取单元31输出存在于输入图像中的云的谱，并且向云谱选择单元13发送它们。

图12中的云谱提取单元31和步骤s303的具体操作的说明到此结束。

<<第三示例实施例的效果>>

根据本发明的第三示例实施例具有第一和第二示例实施例的效果，并且比第一示例实施例具有更有利的效果。第三示例实施例的图像处理设备300从图像本身提取不同云谱，而不是使用来自云谱的数据库或存储器的谱。通过从输入图像提取云谱给出对云谱的更好的估计，因为每个图像都由环境条件影响，不同地捕捉几何形状和太阳高度角。因此，数据库中的谱可能与输入图像中的实际云谱并不完全地匹配。这一限制通过从输入图像本身提取云谱而被消除。因此，云谱提取单元31给出了更准确的云谱，由此提高了由云覆盖的像素的检测和校正准确度。

<第四示例实施例>

在第一至第三示例实施例中，图像处理设备100、200和300即使所述输入图像包含多种类型或层的云也可在述输入图像中检测厚云并且校正由薄云影响的像素。在第三示例实施例中，图像处理设备300从输入图像本身提取存在于输入图像中的云的谱。然而，其不能自动地确定图像中云的类型或层的数目。在第四示例实施例中，描述了一种图像处理设备，其在输入图像中得出云的类型或层的数目。

<<图像处理设备>>

图14是示出根据本发明的第四个实施例的图像处理设备400的配置的框图。图像处理设备400包括输入单元10，接收单元12，可能云区域检测单元21，云谱提取单元31a，云类型计数单元41，云谱选择单元13，端元提取单元14a，分离单元15，阈值化单元16，厚云掩蔽单元17，薄云校正单元18和输出单元19。

云类型计数单元41对存在于输入图像中的云谱的数目计数。云类型计数单元41从输入图像本身自动地确定输入图像中的重要云类型或层的数目。

云类型计数单元41从可能云区域检测单元21获取可能云区域和一个glcm均值图像。可能云区域的像素的glcm均值图像的直方图中中的局部极大值(峰值)的数目可以给出对输入图像中云的类型的数目的估计。

云谱提取单元31a与云谱提取单元31几乎相同地操作，除了云谱提取单元31a基于存在于输入图像中的云谱的计数的数目来从输入图像提取存在于输入图像中的一个或多个云的谱中的至少一个谱。

其他单元与第一至第三示例实施例中的那些单元相同。

<<图像处理设备的操作>>

图15示出了示出图像处理设备400的操作的流程图。

步骤s400的操作与图12中的步骤s300的操作相同。

步骤s401的操作与图9中的步骤s201(s2010至s2018)的操作相同。

在步骤s402中，云类型计数单元41确定输入图像中的云的重要类型或层的数目。操作稍后将被详细描述。

在步骤s403中，操作类似于图12中的步骤s302(s3030至s3040)，除了云谱提取单元31a从云类型计数单元41获取云类型的数目。

步骤s404的操作与图9中的步骤s202的操作相同。

步骤s405至s411的操作分别与图4中的步骤s101至s107的操作相同。

这是图像处理设备400的操作的结束。

接下来，上文提及的由云类型计数单元41操作的步骤s402将被详细介绍。图16示出了图15中s402步骤的详细流程图。

在步骤s4020中，云类型计数单元41接收输入图像的glcm均值和可能云区域作为来自可能云区域检测单元21的输入。

在步骤s4021中，操作与图13中的步骤s3033相同。

在步骤s4022中，云类型计算单元41仅使用可能云区域中的像素来得出缩放后的glcm均值图像的直方图。因为按照第二至第四示例实施例中的说明，可能云区域仅具有由云影响的像素，并且因此这一直方图中的峰值对应于不同类型或层的云。因此，针对可能云区域中的像素的缩放的glcm均值的直方图中的峰值的数目给出了存在于输入图像中出现的云的类型或层的数目。

步骤s4023的操作与图13中步骤s3035的操作相同。

在步骤s4024中，云类型计数单元41对针对其峰值大于阈值的灰度级别的数目计数。

在步骤s4025中，计数被接受为输入图像中的云的类型或层的数目。

在步骤s4026中，云类型计数单元41向云谱提取单元31发送这一计数。

图15中的云类型计数单元41和步骤s402的具体操作说明在此结束。

<<第四示例实施例的效果>>

在第四示例实施例中，与第三示例实施例中的手动输入不同，图像中的云的不同类型或层的数目被自动地确定的。在手动输入的情况中，如果两种云类型之间的差异很小，则有可能对图像中的云类型的手动计数不准确。通过第四示例实施例中对云的类型的数目的自动确定，这一限制被克服，由此提供了提高由云影响的像素的检测和校正的精度。

<第五个示例实施例>

根据本发明的第五示例实施例的图像处理设备500包括根据第一至第四示例实施例的图像处理设备的最小配置。

图17为示出根据本发明的第五示例实施例的图像处理设备500的配置的框图。图像处理设备500包括云谱选择单元501、端元提取单元502和分离单元503。

云谱选择单元501针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱。

端元提取单元502从输入图像提取除一个或多个云以外的一个或多个端元的谱。

分离单元503针对输入图像中的像素中的每个像素得出一个或多个端元的相应的谱和一个或多个云中的一个云的选择的谱的分数丰度。

第五示例实施例的图像处理设备500能够提供一种技术，该技术即使多种类型或层的云存在于图像中也能够准确地检测由云影响的区域并且校正云的效果的技术。原因是云谱选择单元501针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱，端元提取单元502从输入图像提取一个或多个端元的谱，并且分离单元503针对像素中的每个像素得出一个或多个端元的相应的谱以及一个或多个云中的一个云的选择的谱的分数风度。

<信息处理装置的配置>

图18通过示例图示了信息处理装置900(计算机)的配置，信息处理装置900可以实现与本发明的示例实施例相关的图像处理设备。换句话说，图18图示了能够实现图1、8、11和14中的设备的计算机(信息处理装置)的配置，从而表示一种硬件环境，上述示例实施例中的各个功能可以在该硬件环境处被实现。

图18中所示的信息处理装置900包括以下作为部件：

-cpu901(中央处理单元)；

-rom902(只读存储器)；

-ram903(随机存取存储器)；

-硬盘904(存储设备)；

-去往外部设备的通信接口905；

-读取器/写入器908，其能够读取和写入被存储在诸如cd-rom(压缩盘只读存储器)；以及

-输入/输出接口909。

信息处理装置900是一种通用计算机，这些部件经由总线906(通信线路)被连接。

利用上述示例实施例作为示例而被说明的本发明通过提供信息处理装置900并且然后通过将计算机程序读取到这样的硬件中的cpu901中、解译它并且执行它而被实现，信息处理装置900在图18中被图示，其具有计算机程序，该计算机程序能够实现在框图(图1、图8、图11和图14)或流程图(图4、图9、图10、图12、图13、图15和图16)中被图示的功能，这些框图和流程图在这些示例实施例的说明中被引用。被提供给该装置的计算机程序可以被存储在易失性可读可写存储存储器(ram903)中或非易失性存储设备(诸如硬盘904)中。

此外，在上述情况中，通用过程现在可以被使用以向这样的硬件提供计算机程序。这些过程包括例如经由各种存储介质907(诸如cd-rom)中的任何存储介质将计算机程序安装到装置中，或经由通信线路(诸如因特网)从外部源下载它。在这些情况中，本发明可以被视为由形成这样的计算机程序的代码组成或由存储该代码的存储介质907组成。

上述示例实施例的全部或部分可以被描述为(但不限于)以下补充说明。

(补充说明1)一种用于云量的检测和校正的图像处理设备，包括：

云谱选择装置，所述云谱选择装置用于针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱；

端元提取装置，所述端元提取装置用于从所述输入图像的除所述一个或多个云以外的一个或多个端元提取那些端元的谱；以及

分离装置，所述分离装置用于针对所述像素中的每个像素在所述输入图像中得出一个或多个端元的相应的所述谱和所述一个或多个云中的一个云的选择的谱的分数丰度。

(补充说明2)根据补充说明1所述的图像处理设备，还包括：

阈值化装置，所述阈值化装置用于将所述一个或多个云中的一个云的所述选择的谱的所述分数丰度与特定阈值比较，并且将所述像素中的每个像素分类为厚云或薄云。

(补充说明3)根据补充说明1或2所述的图像处理设备，还包括：

可能云区域检测装置，所述可能云区域检测装置用于检测所述输入图像中的可能云量，

其中所述端元提取装置从未被检测为所述可能云区域的区域提取所述一个或多个端元。

(补充说明4)根据补充说明1至3中任一项的图像处理设备，还包括：

云谱存储器，所述云谱存储器用于存储可能在所述输入图像中被观察到的一个或多个云的多个谱，

其中所述云谱选择装置从所述云谱存储器中的所述谱选择所述一个或多个云的至少一个谱。

(补充说明5)根据补充说明1至3中任一项所述的图像处理设备，还包括：

云谱提取装置，所述云谱提取装置用于从所述输入图像提取存在于所述输入图像中的所述一个或多个云的所述谱中的至少一个谱，

其中所述云谱选择装置从云谱选择至少一个谱，所述云谱是提取的所述一个或多个云的所述谱中的一个谱。

(补充说明6)根据补充说明3所述的图像处理设备，

其中所述可能云区域检测装置通过利用标准偏差和纹理均值的空间谱滤波器将所述输入图像中的所述像素中的每个像素分类为所述可能云区域的一部分或不为所述可能云区域的所述一部分来估计所述输入图像中的所述云量。

(补充说明7)根据补充说明4所述的图像处理设备，还包括：

云类型计数装置，所述云类型计数装置用于对存在于所述输入图像中的所述云谱的数目计数，

其中所述云谱提取装置基于存在于所述输入图像中的所述云谱的所述数目来从所述输入图像提取存在于所述输入图像中的所述一个或多个云的所述谱中的至少一个所述谱，所述云谱的所述数目由所述云类型计数装置计数。

(补充说明8)根据补充说明5所述的图像处理设备，其中所述云谱提取装置通过以下提取存在于所述输入图像中的所述云谱：

仅针对所述可能云区域得出所述输入图像的glcm均值图像的直方图，

检测所述直方图中的峰值，

基于所述可能云区域的glcm均值的所述直方图中的所述峰值来形成存在于所述输入图像中的所述一个或多个云的集群，以及

得出存在于所述输入图像中的所述一个或多个云的所述谱作为一组代表性谱，所述一组代表性谱中的每个代表性谱从所述集群中的每个集群被获得。

(补充说明9)根据补充说明2所述的图像处理设备，还包括：

厚云掩蔽装置，所述厚云掩蔽装置用于掩蔽由所述厚云覆盖的像素，

薄云校正装置，所述薄云校正装置用于基于针对由所述薄云覆盖的像素中的每个像素的所述分数丰度来校正所述薄云。

(补充说明10)根据补充说明3或补充说明6所述的图像处理设备，

其中所述可能云区域检测装置通过基于谱指标来采用形状的滤波器和针对特定土地使用的滤波器来改进对所述输入图像中的所述云量的估计。

(补充说明11)根据补充说明3、6和10中任一项所述的图像处理设备，

其中所述可能云区域检测装置通过对所述输入图像中的波段中的每个波段加权或通过排除一个或多个波段来得出用于估计所述可能云量的灰度强度图像。

(补充说明12)一种用于检测和校正云量的图像处理方法，包括：

针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱；

从所述输入图像的除所述一个或多个云以外的一个或多个端元提取那些端元的谱；以及

针对所述像素中的每个像素在所述输入图像中得出一个或多个端元的相应的所述谱和所述一个或多个云中的一个云的选择的谱的分数丰度。

(补充说明13)根据补充说明12所述的方法，还包括：

将所述一个或多个云中的一个云的所述选择的谱的所述分数丰度与特定阈值比较，并且将所述像素中的每个像素分类为厚云或薄云。

(补充说明14)根据补充说明12或13所述的方法，还包括：

检测所述输入图像中的可能云量，

其中提取一个或多个端元的谱包括从未被检测为所述可能云区域的区域提取所述一个或多个端元。

(补充说明15)根据补充说明12至14中任一项所述的方法，

其中针对像素中的每个像素选择至少一个谱包括从存储可能在所述输入图像中被观察到的一个或多个云的多个谱的所述云谱存储器中的所述谱选择所述一个或多个云的至少一个谱。

(补充说明16)根据补充说明12至14中任一项所述的方法，还包括：

从所述输入图像提取存在于所述输入图像中的所述一个或多个云的所述谱中的至少一个谱，

其中针对像素中的每个像素选择至少一个谱包括从云谱选择至少一个谱，所述云谱是提取的所述一个或多个云的所述谱中的一个谱。

(补充说明17)根据补充说明14所述的方法，

其中检测所述可能云量包括通过利用标准偏差和纹理均值的空间谱滤波器将所述输入图像中的所述像素中的每个像素分类为所述可能云区域的一部分或不为所述可能云区域的所述一部分来估计所述输入图像中的所述云量。

(补充说明18)根据补充说明15所述的方法，还包括：

对存在于所述输入图像中的所述云谱的数目计数，

其中提取所述一个或多个云的所述谱中的至少一个谱包括基于存在于所述输入图像中的所述云谱的所述数目来从所述输入图像提取存在于所述输入图像中的所述一个或多个云的所述谱中的至少一个谱，所述云谱的所述数目在对所述云谱的数目计数中被计数。

(补充说明19)根据补充说明16所述的方法，其中提取所述一个或多个云的所述谱中的至少一个谱包括通过以下提取存在于所述输入图像中的所述云谱：

仅针对所述可能云区域得出所述输入图像的glcm均值图像的直方图，

检测所述直方图中的峰值，

基于所述可能云区域的glcm均值的所述直方图中的所述峰值来形成存在于所述输入图像中的所述一个或多个云的集群，以及

得出存在于所述输入图像中的所述一个或多个云的所述谱作为一组代表性谱，所述一组代表性谱中的每个代表性谱从所述集群中的每个集群被获得。

(补充说明20)根据补充说明13所述的方法，还包括：

掩蔽由所述厚云覆盖的像素，

基于针对由所述薄云覆盖的像素中的每个像素的所述分数丰度来校正所述薄云。

(补充说明21)根据补充说明14或补充说明17所述的方法，

其中检测所述可能云量包括通过基于谱指标来采用形状的滤波器和针对特定土地使用的滤波器来改进对所述输入图像中的所述云量的估计。

(补充说明22)根据补充说明14、17和21中任一项所述的方法，

其中检测所述可能云量包括通过对所述输入图像中的波段中的每个波段加权或通过排除一个或多个波段来得出用于估计所述可能云量的灰度强度图像。

(补充说明23)一种存储图像处理程序的存储介质，所述图像处理程序用以使得计算机用于云量的检测和校正，所述程序包括：

针对像素中的每个像素从存在于输入图像中的一个或多个云的谱选择至少一个谱；

从所述输入图像的除所述一个或多个云以外的一个或多个端元提取那些端元的谱；以及

针对所述像素中的每个像素在所述输入图像中得出一个或多个端元的相应的所述谱和所述一个或多个云中的一个云的选择的谱的分数丰度。

(补充说明24)根据补充说明23所述的存储介质，所述程序还包括：

将所述一个或多个云中的一个云的所述选择的谱的所述分数丰度与特定阈值比较，并且将所述像素中的每个像素分类为厚云或薄云。

(补充说明25)根据补充说明23或24所述的存储介质，所述程序还包括：

检测所述输入图像中的可能云量，

其中提取一个或多个端元的谱包括从未被检测为所述可能云区域的区域提取所述一个或多个端元。

(补充说明26)根据补充说明23至25中任一项所述的存储介质，

其中针对像素中的每个像素选择至少一个谱包括从存储可能在所述输入图像中被观察到的一个或多个云的多个谱的所述云谱存储器中的所述谱选择所述一个或多个云的至少一个谱。

(补充说明27)根据补充说明23至25中任一项所述的存储介质，所述程序还包括：

从所述输入图像提取存在于所述输入图像中的所述一个或多个云的所述谱中的至少一个谱，

其中针对像素中的每个像素选择至少一个谱包括从云谱选择至少一个谱，所述云谱是提取的所述一个或多个云的所述谱中的一个谱。

(补充说明28)根据补充说明25所述的存储介质，

其中检测所述可能云量包括通过利用标准偏差和纹理均值的空间谱滤波器将所述输入图像中的所述像素中的每个像素分类为所述可能云区域的一部分或不为所述可能云区域的所述一部分来估计所述输入图像中的所述云量。

(补充说明29)根据补充说明26所述的存储介质，所述程序还包括：

对存在于所述输入图像中的所述云谱的数目计数，

其中提取所述一个或多个云的所述谱中的至少一个谱包括基于存在于所述输入图像中的所述云谱的所述数目来从所述输入图像提取存在于所述输入图像中的所述一个或多个云的所述谱中的至少一个谱，所述云谱的所述数目在对所述云谱的数目计数中被计数。

(补充说明30)根据补充说明27所述的存储介质，

其中提取所述一个或多个云的所述谱中的至少一个谱包括通过以下提取存在于所述输入图像中的所述云谱：

仅针对所述可能云区域得出所述输入图像的glcm均值图像的直方图，

检测所述直方图中的峰值，

基于所述可能云区域的glcm均值的所述直方图中的所述峰值来形成存在于所述输入图像中的所述一个或多个云的集群，以及

得出存在于所述输入图像中的所述一个或多个云的所述谱作为一组代表性谱，所述一组代表性谱中的每个代表性谱从所述集群中的每个集群被获得。

(补充说明31)根据补充说明24所述的存储介质，所述程序还包括：

掩蔽由所述厚云覆盖的像素，

基于针对由所述薄云覆盖的像素中的每个像素的所述分数丰度来校正所述薄云。

(补充说明32)根据权补充说明25或补充说明28所述的存储介质，

其中检测所述可能云量包括通过基于谱指标来采用形状的滤波器和针对特定土地使用的滤波器来改进对所述输入图像中的所述云量的估计。

(补充说明33)根据补充说明25、28和32任一的存储介质，

其中检测所述可能云量包括通过对所述输入图像中的波段中的每个波段加权或通过排除一个或多个波段来得出用于估计所述可能云量的灰度强度图像。

示例实施例的上述描述被提供以使本领域技术人员能够制造和使用本发明。此外，对这些示例实施例的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般原则和具体示例可以被应用于其他示例实施例，而无需使用创造能力。因此，本发明并非旨在于被限制于本发明中描述的示例实施例，而是将按照由权利要求和等同物的限制所定义的最广泛的范围。此外，需要指出的是，即使权利要求在审查期间被修改，发明人的意图是保留要求保护的发明的所有等同物。

工业实用性

本发明可以被应用为一种预处理工具，该预处理工具用于补偿在高级卫星图像处理操作之前、卫星图像的捕获中的环境影响。

标号列表

01：输入单元

02：接收单位

03：云谱提取单元

04：端元提取单元

05：分离单元

06：薄云校正单元

07：输出单元

10：输入单元

11：云谱存储器

12：接收单元

13：云谱选择单元

14、14a：端元提取单元

15：分离单元

16：阈值化单元

17：厚云掩蔽单元

18：薄云校正单元

19：输出单元

21：可能云区域检测单元

31、31a：云谱提取单元

41：云类型计数装置

100：图像处理设备

200：图像处理设备

300：图像处理设备

400：图像处理设备

900：信息处理装置

901：cpu

902：rom

903：ram

904：硬盘

905：通信接口

906：总线

907：存储介质

908：读读取器/写入器

909：输入/输出接口