用于生成没有云以及没有云的阴影的图像的方法

专利名称：用于生成没有云以及没有云的阴影的图像的方法
技术领域：
本发明涉及一种方法，用于生成没有云以及没有云的阴影的图像，更特别地，但不是局限地，涉及一种方法用于从使用光学传感器的遥感生成这样的图像。
背景技术：
众所周知，光学遥感图像经常会遇到有云覆盖的问题，或部分，或全部，尤其是在潮湿的、热带地区。还存在一个云的阴影的问题。在过去，已经有过很多尝试，要消除出现在一个地区的图像中的云的问题，这些图像是使用光学遥感拍摄的。
传统的生成一个没有云的镶嵌图的方法是通过消除所述云。在这个过程中，包括有最少的云覆盖的一个图像被作为所述基础图像。图像中所述有云的部分被遮罩，然后就被不同的时候拍摄的其他的图像中的无云的部分填充。这就是一种手工的“剪切，并粘贴”方法。
还有许多尝试来自动化所述过程。最常用的方法是使用一个简单的亮度阈值过程，把所述亮的有云的区域和暗的云的阴影和没有云的区域中区分开来。这个方法不能处理较淡的云和云的阴影，并且，经常混淆亮的陆地表面为云。而且，几乎没有什么办法来消除云的阴影。
当前技术自动化该过程的一个方法被美国专利6,233,369公开。它描述了一个系统，包括一个遮罩，用于在一个或更多相邻的象素上执行形态图像处理，其中通过处理图像数据，一个遮罩被包含在一个二进制图像中，图像数据使用两位编码，而不是通常的一位。该专利针对于所述图像的边缘，每个象素可能不具有完整的相邻象素。这样，第二位就作为遮罩启动位，指示所述处理发动机传递所述原始的数据到所述输出图像，而不考虑对该象素的处理结果。这就允许被遮罩的象素数据可以参加到它所有的相邻的象素的结果的计算中。
在美国专利5,612,901中，公开了一种设备和方法，用于在一个水体的图像中进行云的遮罩。它通过所述图像的局部分割提取云的边缘信息，并且根据云比周围的海洋更亮，颜色更冷，在没有云的象素和被云污染的象素之间进行区分。这样，所述被云污染的象素就被除掉了。
美国专利5,923,383公开了一种改善的图像方法，使用直方图均衡化，使得一个图像的亮度不被显著地改变，并且所述噪声不被放大。这通过以一个预定的灰度表示所述输入图像来得到，即通过计算所述输入图像的灰度的分布，同时约束在一个预定的值之内的每一个灰度出现的个数，然后就在所述输入的图像上，根据前面得到的灰度的计算出的分布，执行直方图均衡化。
基于相似的基础，EP 0366099公开了一种改善图像的方法，通过使用两个矩阵来修改所述图像直方图。
EP 0504876A2公开了一种改善图像的方法和设备，通过进一步以一种独立的方式来处理所述图像中的不亮的信息。
日本专利10-063836涉及一个方法，使用一个形态的操作来突出所述图像。
在题为“改善的没有云的污点图像的多场景镶嵌图”的论文(第19界亚洲遥感会议学报，1999)中，其作者是本发明的发明人和Lim，Hok，公开了一种算法，用于从一个给定地区的在一个特定时间间隔内的，多重的，多光谱的图像中，自动生成没有云的场景。通过使用一组多光谱的图像中的所述没有云的区域，生成一个镶嵌图，就可以制作一个合理进行没有云地合成的图像。该论文所公开的算法，没有提到从多重的、全色的图像中生成一个没有云的镶嵌图存在的问题。
所述系统的输入是在一个特定的时间间隔得到的，所述相同地区的多光谱的图像，被预处理到级别2A或2B。所述图像在输入到系统之前，还被共同注册。所述传感器捕获三个光谱波段的数据绿波段，红波段以及近红外线波段。所述辐射度的平衡过程只为得到的场景之间的，传感器增益，太阳的入射角和太阳流量的差异进行修正，对大气效应不进行修正。
在辐射度平衡之后，来自于相同位置的两个不同场景的象素的亮度会由于大气效应略有不同，尤其在低反照率的生长植被的区域。所述预处理过程试图在存在主要由于大气效应引起的差异的场景之间进行平衡。在辐射度平衡之后，从所述一组图像中选出一个图像作为参考图像。为每一个波段，调整在同一组中的所有其他的图像的象素值。
所述象素分级过程利用所述象素强度，和合适地选择出的波段比率，来根据预先确定的分级标准，来按“朦胧”和“阴影”的顺序分级所述象素。
一个阴影强度阈值和一个云的强度阈值从强度直方图中被确定。所述象素分级过程利用这些阴影强度阈值和云的强度阈值来按“朦胧”和“阴影”的顺序分级所述象素。图像中所述非云和非阴影象素中的每一个被分类入基于波段比率的四个宽类别中植被，建筑物，水和其他。
具有较低等级值的象素更优先，更有可能被选中。具有在所述阴影阈值和云的阈值之间的强度的象素是最优先的，被认为是“上等象素”。当没有上等象素时，所述“阴影象素”优先于所述“云象素”。如果在某给定位置，所有象素都为“阴影象素”，最亮的“阴影象素”被选择出来。在所有象素被分类为“云象素”的位置，最暗的云象素被选择出来。
所述等级1和等级2索引映射被用来从同一组图像中合并所述多场景。如果在一个给定位置的象素被分类为“植被象素”，在该位置的来自于等级1图像和等级2图像的象素被一起平均，来避免在最终的镶嵌图象中突然的空间的中断。否则，来自于等级1图像的所述象素被使用。
在一个给定位置的相邻处的尽可能多的象素来自于同一个场景。通过视觉检查，被认为具有最低云覆盖的图像被选出，作为基础图像。云和阴影阈值就被应用于这个基础图像来描绘所述云的阴影和云覆盖的区域。在生成镶嵌图的下一步中，只有所述的被描绘的云和阴影区域将被生成于上一步骤中的所述的合并的图像的象素所取代。
所述最终的镶嵌图由所述合并的图像和所述基础图像组成。使用控制点，这些图像被地理参照到一个基础映射。所述镶嵌图的生成转换在所述合成图像和基础图像中的象素的坐标到映射坐标，并将所述象素放到最终的图像映射上。
基于强度阈值的云遮罩的方法不能处理较淡的云和云的阴影。它们经常将亮的陆地表面混淆为云，暗的陆地表面混淆成阴影。在具有两个或多个光谱波段的多光谱图像中，所述光谱，或者颜色的信息可以被用于将不同陆地覆盖类型和云区分开来。然而，在全色的或灰度的图像中，就缺少所述颜色信息，甚至于更难以区分亮的陆地表面和云，以及暗的陆地表面和云的阴影。
因此，本发明的主要目的是解决它们的问题。
本发明的另一个目的是，提供一个方法，用于从有云的全色或灰度的图像中，生成没有云以及没有云的阴影的图像。
本发明的一个最终目的是，从有云的多光谱图像中，提供无云的，无云的阴影的图像。

发明内容
本发明使用象素分级，以及通过将一组象素分类成云，阴影，或非云-非阴影，生成云和阴影的遮罩。在每一图像中的每一个象素，可以根据预先确定的分级标准被分级，最高级别的象素被优选地用于组成所述镶嵌图。
使用所述亮象素群的尺寸和形状信息，有可能将亮的陆地表面和建筑物与云区分开来。也有可能，根据太阳照明方向、传感器观察方向和典型的云的高度，来预测云的阴影的大致位置。
本发明还提供强度梯度的使用，来进行自动寻找在云的边缘附近的云的阴影的位置。
本发明还提供应用一个形态过滤器，到使用强度阈值过程探测到的所述云的遮罩，为了包括在浓的云的边缘的淡的云。
除了所述分级标准，本发明还提供使用一个条件多数(conditional majority)过滤器，为了在镶嵌图的生成中包括尽可能大的一片相邻的上等象素。在某些条件下等级1和等级2象素的合并，可能产生更令人满意的视觉效果。
如果可以得到在一个给定地区的不同时间的多重图像，假设所述陆地覆盖在所述时间间隔内不发生变化，通过生成在所述一组图像中的没有云的区域的一个镶嵌图，可以生成一个合理的没有云的复合图像。这特别地关系到组成全色的和/或多光谱的卫星图像的“无云的”多场景镶嵌图。
最高等级的象素，可以被认为是上等象素，最低等级的象素被认为是劣质象素。所述上等象素优选地，被进一步分类成植被象素和建筑物象素。所述建筑物象素可能包括陆地上的空旷地。所述分类可能依赖于所述象素强度是否低于或高于一个植被象素的阈值。更暗的上等象素可以比更亮的上等象素更优选。
本发明还提供由上述方法生成的一个没有云的和没有云的阴影的图像。
最后，本发明提供一个计算机可用的介质，具有计算机程序代码，配置成可使处理器执行一个或多个功能，使得上述的方法能够在至少一个计算机上执行。
附图
的简要说明为了使本发明能够被充分理解，以及更好地付诸于实践，以下会跟据本发明的一个非限制性的优选实施例，进行详细地描述，并结合本发明的优选方法的一个示意性的流程图。
优选实施例的详细说明系统的输入1是同一地区的，在一特定的时间间隔内得到的被共同注册的多个全色的和/或多光谱的图像。
所述图像受两个不同的处理流的支配。在第一个流中，沿着附图的上部，在2处，一个强度阈值方法被开始使用来为每一个图像，生成一个云的遮罩，以及一个云的阴影的遮罩。当开阔的陆地表面或建筑物的亮象素，被错当成云象素时，就产生了混淆。通过使用在所述阈值步骤探测到的所述亮象素群的尺寸和形状信息，就可以解决所述混淆。需要被遮罩的云，比单个建筑物大的多。人造物体，如建筑物和陆地上的空旷地，一般具有简单的几何形状。
在3处，所述明亮的片(patch)的尺寸被计算，这些物体的，如建筑物，所述边和简单的形状被探测。所述强度阈值方法不足以生成云的阴影的遮罩。通过使用几何建模，以及强度梯度来自动寻找在云边缘附近的云的阴影，本发明的所述优选的方法为在自动遮罩方法中被不恰当识别的所述片进行补偿。而且，太阳照明方向，传感器观察方向，和典型的云的高度信息，可以被用来预测云的阴影的可能的位置。一旦所述云的位置被决定了，这就具有特殊的相关性了。
由于在云的边缘可能有一个强度梯度，一个固定的阈值方法在步骤4被使用，来标注出在云的边缘的任何淡的云，作为非云的象素。一个形态过滤器，被用来扩大所述云的遮罩片。所述灰度就在8处被平衡，来补偿主要由于大气效应而产生的差异。
在为每个组成的图像构造了所述云的遮罩和云的阴影的遮罩之后，在第二流中，在5处，所述灰度被平衡；再一次补偿主要由于大气效应而产生的差异。
所述象素分级过程在9处，利用所述阴影，云的阈值，以及下面描述的分级标准，来按“朦胧”和“阴影”的顺序分级所述象素。所述象素分级过程利用所述象素强度来根据所述预定的分级标准将所述象素按“朦胧”和“阴影”的顺序分级。
在这个过程中，一个阴影强度阈值TS，一个植被强度阈值TV，以及一个云强度阈值TC，从所述强度直方图中被决定出来。所述象素分级过程利用这些阴影，植被和云的阈值，来按“朦胧”和“阴影”的顺序分级所述象素。在所述图像中的每一个非云和非阴影的象素被分类到根据所述强度的两个宽类别中的其中一个植被和建筑物。
对于所述一组得到的图像N中每一个图像n，根据下述的规则，基于所述的象素强度Yn(i，j)，在位置(i，j)的每一个象素被分配一个等级rn(i，j)
(i)对于TS≤(Ym，Yn)≤TV，如果Ym＜Yn(分类＝“植被”)，则rm＜rn；(ii)对于TV≤(Ym，Yn)≤TC，如果Ym＜Yn(分类＝“建筑物”)，则rm＜rn；(iii)如果Ym＜TS并且Yn＞TC，则rm＜rn；(iv)对于Ym，Yn＜TS，如果Ym＞Yn，则rm＜rn；(v)对于Ym，Yn＞TC，如果Ym＜Yn，则rm＜rn；在这个分类表中，具有较低等级值rn的象素更加优先，更可能被选中。强度位于所述阴影和云的阈值之间的象素是最优先的，被认为是“上等象素”。所述“上等象素”，根据所述的象素强度低于或高于所述植被阈值，被进一步分类成“植被象素”或“建筑物象素”(还包括陆地上的空旷地)。所述较暗的“上等象素”比所述较亮的“上等象素”更优先，因为所述较亮的“上等象素”可能被淡的云所污染。如果没有上等象素，所述“阴影象素”优先于所述“云象素”。当在一个给定位置的所有象素都是“阴影象素”时，所述最亮的阴影象素被选择出。在所有象素被分类成“云象素”的位置，所述的最暗的云象素被选择出来。
在分级所述象素之后，在10处，生成了代表处于象素位置(i，j)的具有等级r的图像的索引n的所述等级-r索引映射nr(i，j)。优选地，只有等级-1和等级-2索引映射被生成，并用于生成无云的镶嵌图。
为了得到改善的视觉效果，希望一个给定位置的临域中有尽可能多的象素来自于同一个图像。这样可以使用一个条件多数(conditional majority)过滤器过程来实现。
在6处，合并子图像时，所述条件多数过滤的等级索引用来合并所述输入的多场景，该多场景已经被所述灰度平衡进行处理。使用具有云，云的阴影的遮罩的图像，以及从所述子图像合并过程生成的所述合并的图像，所述最终的没有云的镶嵌图在7处被组成。由所述镶嵌图处理产生的图像和所述映射共同注册。所述镶嵌图产生过程，在11处将来自于所述镶嵌图处理的图像放入所述映射中。
当合并子图像时，所述等级一1和等级-2索引映射被用来合并来自于同一组图像的所述多场景。如果在一个给定位置的所述象素被分类为“植被象素”，为了避免在所述最终的镶嵌图中的空间的中断，在那个位置的，来自于所述等级-1和等级-2图像的所述象素，被一起平均。否则，来自于等级-1的所述象素被使用。
本发明还提供一个计算机可读取介质，如一个光盘只读存储器(CDROM)，磁盘，磁带或其他的，其上具有计算机程序，所述计算机程序被配置成，能够引起在一个计算机中的处理器执行一个或多个功能，使得计算机实现以上所述的方法。
本发明还提供一个计算机可用介质，具有计算机程序代码，被配置成，能够引起一个处理器去执行一个或多个功能，使得以上所述的方法在至少一个计算机中实现。
在前文中描述的是本发明的一个优选实施例，同时，可以被本领域一般技术人员理解的是，本发明的方法可以有很多变化和修改，而不脱离本发明。
权利要求
1.一种方法，用于从一个地区的多个图像中，生成没有云和没有云的阴影的图像，该方法包括步骤(a)按朦胧和阴影的顺序，将象素分级；(b)通过将一组象素分类成云，阴影，或非云—非阴影，生成云和阴影屏蔽；并且(c)从所述多个图像中，生成一个镶嵌图，来形成所述没有云和没有云的阴影的图像。
2.根据权利要求1所述的方法，其中在每一个图像中的每一个象素根据预先设定的分级标准被分级，并且，级别最高的象素用于组成所述镶嵌图。
3.根据权利要求1或2所述的方法，其中亮象素群的尺寸和形状信息被用来将任何亮的陆地表面和建筑物与云区分开来。
4.根据权利要求1至3中任何一个所述的方法，其中太阳照明方向、传感器观察方向和典型的云的高度信息被用来预测云的阴影的可能的位置。
5.根据权利要求1至4中任何一个所述的方法，其中强度梯度被用来寻找在云的边缘附近的云的阴影的位置。
6.根据权利要求5所述的方法，进一步包括一个步骤，应用一个形态过滤器到由所述强度梯度探测到的所述云的屏蔽，来定位和包括在浓的云边缘的淡的云。
7.根据权利要求1至6中任何一个所述的方法，包括步骤，除了所述分级标准，使用一个条件多数(conditional majority)过滤器，以在镶嵌图的生成中包括尽可能大的一片相邻的上等象素。
8.根据权利要求1至7中任何一个所述的方法，其中所述多个图像是全色的卫星图像。
9.根据权利要求1至7中任何一个所述的方法，其中所述多个图像是多光谱图像。
10.根据权利要求1至9中任何一个所述的方法，其中最高等级的象素，被认为是上等象素，最低等级的象素被认为是劣质象素。
11.根据权利要求10所述的方法，其中所述上等象素被进一步分成植被象素和建筑物象素。
12.根据权利要求11所述的方法，其中所述建筑物象素包括陆地上空旷地。
13.根据权利要求11或12所述的方法，其中所述分类依赖于所述象素强度是否低于或高于一个植被象素的阈值。
14.根据权利要求10至13中任何一个所述的方法，其中更暗的上等象素比更亮的上等象素更优选。
15.一个没有云以及没有云的阴影的图像，由权利要求1至14中任何一个所述的方法生成。
16.一个计算机可用的介质，具有计算机程序代码，配置成可使处理器执行一个或多个步骤，使得一个计算机执行权利要求1至14中任何一个所述的方法。
全文摘要
一种方法，用于从一个地区的多个图像中，生成没有云和没有云的阴影的图像，该方法包括步骤按朦胧和阴影的顺序，将象素分级；通过将一组象素分类成云，阴影，或非云一非阴影，生成云和阴影的屏蔽；并且从所述多个图像中生成一个镶嵌图，来形成所述没有云和没有云的阴影的图像。
文档编号G06T5/00GK1623171SQ02828552
公开日2005年6月1日 申请日期2002年1月22日 优先权日2002年1月22日
发明者李敏, 刘苏钦, 郭梁共 申请人:新加坡国立大学