地物信息判读用图像生成方法和程序的制作方法

专利名称：地物信息判读用图像生成方法和程序的制作方法
技术领域：
本发明涉及用于通过使用雷达图像数据来生成地物信息解译用图像的地物信息
判读(解译)用图像生成方法以及用于执行该方法的计算机程序，其中，由雷达装置来获取 该雷达图像数据，该雷达装置安装在例如人造卫星等的飞行体上并用于对拍摄对象区域的 地表进行广泛拍摄以获得与该地表的状况有关的信息。
背景技术：
传统上，已知作为用于测量辐射至地表的电磁波(微波脉冲)的反射波的有源传 感器的合成孔径雷达(Synthetic ApertureRadar， SAR)。利用微波的特性，合成孔径雷达 昼夜都可以对地表广泛拍摄，而无论天气状况如何。此外， 一些最新的卫星搭载型合成孔径 雷达可以拍摄分辨率为lm的图像。然而，由于例如噪声、复杂的散射机制等的影响，难以根 据从例如人造卫星或飞行器等的平台拍摄到的雷达图像(在下文，称为"SAR图像")解译 地物。 另一方面，由于光学图像是利用可见光波长获得的，可以从光学图像获得与人肉 眼所观看到的信息相同的信息，因此光学图像具有可以容易地解译地物的优点。然而，利用 光学图像的问题是，仅在好天气时才能够获得光学图像。 目前，正在尝试通过使用将SAR图像和光学图像彼此结合的数据融合技术来精 确地掌握地物信息(例如，参考「合成開口 ^ 一夕'C J: 3 'J乇 一 卜七 > -〉 > 夕'O商用化(二 関t 3調查硏究(要旨)」，-〉^于A技術開発調查硏究n-R-6，財団法人機械-〉7于A 振興協会(委託先財団法人資源探查用観測)》^ ^硏究開発機構)，平成18年3月， p. 11-12 ("利用合成孔径雷达进行遥感的商用化研究报告(概述)"，系统技术发展研究 17-R-6， 2006年3月，第11-12页，力学社会系统基金会，合作研究者日本资源观测系统组 织))。 SAR图像是基于电磁波的反射强度的图像(即，基于散射强度的图像)，并且受拍 摄对象的介电常数影响。此外，由于因例如透视收縮、临时滞留和雷达阴影等所引起的图像 畸变，以及拍摄时间不同，至今难以将SAR图像与由光学卫星所拍摄到的光学图像进行合 成以创建合成图像(即，全色锐化图像(pan-sharpened image))，因此以往对SAR图像与光 学图像的合成图像的实际使用尚没有进展。 SAR图像与光学图像的合成图像尚没有进展的具体原因如下。如上所述，由于受拍 摄对象的材质的特性(例如介电常数等)和拍摄对象的形状影响，因此SAR图像通常具有 以下特点由于建筑物的高反射强度，因此建筑物区域将具有高亮度值(即，建筑物区域将 是亮的)，以及由于阴影的低反射强度，因此遮挡区域(阴影)将具有低亮度值(即，遮挡区 域将是暗的)。这样，在城市区域，与建筑物相对应的像素的亮度值经常是饱和的，因此直方 图将在具有高亮度值的区域(即，高亮度区域)中具有峰值。另一方面，在例如森林区域等 中趋于出现阴影，因此直方图将在具有低亮度值的区域(即，低亮度区域)中具有峰值。此 时，如果在使亮度值(即，直方图特性)保持原样的情况下使用SAR图像和光学图像来生成全色锐化图像(即，合成图像)，则将是白像素或黑像素占主导，因此难以看见合成图像中 的光学图像。换言之，将难以根据该合成图像来解译在合成之前的光学图像中所包含的信 息。 考虑到前述问题，本发明的目的是，使用例如SAR图像等的雷达图像和光学图像 来生成使得能够容易地解译地物的合成图像。

发明内容
为了解决前述问题，在本发明中，当将从配置在飞行体中的雷达装置获取的雷达 图像数据与该雷达装置的拍摄区域的光学图像数据进行合成以生成地物信息解译用图像 时，将该雷达图像数据近似化为黑白全色图像特征。将近似化为黑白全色图像特征的雷达 图像数据与光学图像数据进行位置对准，然后再进行合成。 利用这种结构，对雷达图像数据进行用于将散射强度的反射特性近似化为人眼熟
悉的黑白全色图像的反射特性的转换处理，然后将进行了该转换处理的雷达图像数据叠加
在光学图像上，由此可以获得更接近于由光学卫星所拍摄到的图像的合成图像。 根据本发明，容易观看例如SAR图像等的雷达图像与光学图像的合成图像，因此
容易解译地物。


图1是简要示出根据本发明实施例的系统的结构的视图。 图2示出SAR图像的直方图的示例和光学图像的直方图的示例，其中(a)示出SAR 图像的直方图，并且(b)示出光学图像的直方图。 图3用于解释直方图平滑化的示例，其中(a)示出转换前的直方图特性，并且(b) 示出转换后的直方图特性。 图4是示出根据本发明实施例的计算机的内部结构的示例的框图。 图5是示出根据本发明实施例的用于生成地物信息解译用图像的处理的示例的
流程图。 图6是用于解释全色锐化的概念的视图。
具体实施例方式
以下将参考附图来说明根据本发明的实施例。 由于以下所述的实施例是本发明的优选具体示例，因此在技术上引入了各种优选 限定。然而，除非以下另外特别说明，本发明的范围不局限于该实施例。例如，以下说明中 例示出的所采用的材质的种类和量、处理时间、处理顺序和诸如参数等的数值条件等仅是 优选示例，并且以下说明所使用的附图中的大小、形状和布局都是示意性的。
图1简要示出本发明前述实施例的系统的结构。在本系统中，将作为雷达装置示 例的合成孔径雷达(SAR)安装在人造卫星上，并且合成孔径雷达基于来自数据分析中心2 的指令对地表进行拍摄。在下文，将安装在人造卫星上的合成孔径雷达称为"卫星SAR"。
如图1所示，卫星SAR 1在沿预定轨道行驶时，定期或者根据来自数据分析中心2 的指令需要对地表3进行拍摄，并将拍摄数据(雷达图像数据)发送至数据分析中心2。
4
数据分析中心2创建拍摄计划，并将表示基于该拍摄计划的拍摄指令的无线电信 号发送至卫星SAR 1。此外，数据分析中心2通过天线接收由卫星SAR l拍摄到的雷达图像 的数据。通过利用地物信息解译用图像生成装置io对雷达图像数据进行合成孔径处理，生 成再现图像。此外，进行用于将雷达图像数据与光学图像数据进行合成的合成处理。此时， 地物信息解译用图像生成装置10根据雷达图像数据的内容对该雷达图像数据进行直方图 转换，以将该雷达图像数据近似化为黑白全色图像特征，然后将该雷达图像数据与光学图 像数据进行合成。后面将说明用于将雷达图像数据近似化为黑白全色图像特征的处理。
以下将说明SAR图像与光学图像之间的差异。 图2示出图像的亮度值的直方图的示例，其中，图2中的(a)示出在图像是SAR图 像时的例子，以及图2中的(b)示出在图像是光学图像时的例子。在图2中，横轴表示亮度 值(8位，范围为0 255)，以及纵轴表示各个亮度值的像素的数量。 如图2中的(a)所示，SAR图像的直方图特性通常受拍摄对象的材质和形状影响， 阴影变得发黑(称为低亮度区域)，并且金属和建筑物的边缘由于强反射变得发白(称为高 亮度区域)。作为对比，如图2中的(b)所示，在光学图像的直方图特性中，像素的数量相 对于亮度值的图线表现为泊松分布的形状。换言之，光学图像即使在阴影(称为低亮度区 域)中也具有不同的亮度。此外，在光学图像中，由于亮度不依赖于拍摄对象的材质，因此 即使在金属和建筑物的边缘上也未出现强反射。 由于如上所述的SAR图像和光学图像之间不同的直方图特性，因此SAR图像通常 是具有许多黑像素和白像素的图像；而不受拍摄对象的材质和形状影响的光学图像在整个 图像中具有不同的亮度，并且是几乎完全反映实际的拍摄对象的外观且容易解译拍摄对象 的自然图像。 如果将黑像素和白像素占主导的前述SAR图像与光学图像进行合成以生成全色 锐化图像(即，合成图像)，则在合成图像中将是黑像素和白像素占主导，因此将难以看见 合成图像中的光学图像。 传统上，进行滤波处理以创建更自然的拍摄图像，然而，这种处理将平滑化和消除 已经难以解译地物的SAR图像的原始图像信息。因而，这种滤波处理对方便解译和观看地 物的目的并不使用。作为对比，在本发明中，为了将SAR图像与光学图像进行合成，对该SAR 图像进行滤波处理(即，直方图转换处理)，从而生成使得能够容易解译和观看地物的全色 锐化图像。 直方图转换是以下处理获得图像中各个亮度等级的出现频率(即，像素的数量) (其中，将各个亮度等级的出现频率称为"直方图"或"亮度直方图")，并对所获得的各个亮 度等级的出现频率进行对比度转换。直方图转换还被称为"图像增强处理"。直方图转换通 常表示用于将待转换直方图与具有预定分布的直方图相匹配(称为"目标直方图")的处 理。典型的直方图转换包括直方图平滑化和直方图正态化。 直方图平滑化(均衡化)是使目标直方图的分布均衡的直方图转换。换言之，直 方图平滑化是用于对直方图进行转换以使得直方图的累积频率(通过自亮度值o开始累积 像素的数量所获得的值)的图线的斜率变为恒定的处理。通过进行这种转换，可以改善具 有差的对比度和/或偏置亮度的图像的总体平衡。作为直方图转换的例子，以下将参考图 3来说明直方图平滑化。
5
图3示出对图像进行直方图平滑化的示例，其中，(a)示出转换前的直方图特性， 以及(b)示出转换后的直方图特性。如从图3中的(a)所示的累积频率的图线4可知，几 乎所有像素都包括在亮度值上至100的范围中。然而，通过进行直方图平滑化，从亮度值 0到亮度值255的像素的数量的累积频率图线5的斜率变为恒定。因而，可以通过进行直 方图平滑化，将作为在进行直方图平滑化之前低亮度区域中像素的数量大(参见图3中的 (a))的暗图像的图像转换成整个图像中具有平衡亮度(即，亮度值)的图像(参见图3中 的(b))。 此外，直方图正态化是用于使目标直方图的分布变为正态分布(高斯分布)的直 方图转化，并且是使用转换前图像的亮度值的均值和标准差将目标直方图的分布指派为标 准分布的处理。通过对图像的直方图分布进行正态化，当人观看该图像时，他(她)在视觉 上感觉到与图2中的(b)所示的光学图像的直方图特性(泊松分布)相同的直方图特性， 因此图像看上去是相对容易解译地物的自然图像。 典型的直方图转换还包括例如线性转换和非线性转换等。线性转换是转换前像素 的亮度值和转换后像素的亮度值之间的关系是直线(线性)关系的处理。非线性转换是转 换前像素的亮度值与转换后像素的亮度值之间的关系式包括二次式和/或根号(即，关系 式是非线性的)的处理。典型的非线性转换包括用于校正由TV接收器再现的视频图像信 号的伽玛校正。前述直方图正态化是非线性转换的例子。 地物信息解译用图像生成装置10根据SAR图像的内容对该SAR图像进行前述直 方图转换，使得将SAR图像的直方图特性近似化为黑白全色图像特征(S卩，光学图像的直方 图特性)，然后将该SAR图像与相应的光学图像进行合成。使用该合成图像作为地物信息解 译用图像。 可以利用硬件或利用软件来执行由地物信息解译用图像生成装置10所进行的一 系列处理。在利用软件来执行该一系列处理的情况下，从程序记录介质将构成该软件的程 序安装至，例如，能够通过在其上安装各种程序来执行各种功能的通用计算机或者内置了 专用硬件的计算机。 图4是示出利用程序进行前述一系列处理的地物信息解译用图像生成装置10的 示例结构的框图。地物信息解译用图像生成装置io可以是，例如，用于执行一系列处理的 高性能专用计算机或者具有预定性能的个人计算机等。 地物信息解译用图像生成装置10的CPU(中央处理单元)11根据R0M(只读存储 器)12或记录部18中记录的程序，进行前述一系列处理和各种其它处理。将由CPU 11执 行的程序和数据等适当地存储在RAM(随机存取存储器)13中。CPU 11、 ROM 12和RAM 13 通过总线14彼此相连接。 输入/输出接口 15通过总线14连接至CPU 11。输入部16和输出部17连接至输 入/输出接口 15，其中，输入部16包括键盘、鼠标和/或麦克风等，以及输出部17包括显 示器和/或扬声器等。CPU 11根据从输入部16输入的指令来执行各种处理。此外，CPUll 将处理结果输出至输出部17。 与输入/输出接口 15连接的记录部18包括例如硬盘等，并且用于记录由CPU 11 执行的程序以及各种数据。 通信部19被配置为通过例如因特网和局域网等的网络与(多个)外部装置进行
6通信。还可以通过通信部19来获得程序，并将该程序记录在记录部18中。
当将可移除介质31安装在与输入/输出接口 15连接的驱动器20时，驱动器20 驱动可移除介质31以获得可移除介质31中所记录的程序和数据等，其中，可移除介质31 可以是例如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)、DVD(数字多功能 盘)和磁光盘)或者半导体存储器等。根据需要将所获得的程序和数据传送并记录到记录 部18中。 如图4所示，用于存储以计算机可执行方式安装至计算机中的程序的程序记录介 质包括例如可移除介质31、临时或永久存储程序的ROM 12或构成记录部18的硬盘等，其 中，可移除介质31是例如磁盘、光盘和半导体存储器等的封装介质。根据需要，通过(作为 例如路由器和调制解调器等的接口的)通信部19，经由例如局域网、因特网和数据卫星广 播等的有线或无线通信介质，将程序存储在程序记录介质中。 以下将参考图5的流程图来说明由地物信息解译用图像生成装置10的CPU 11来 生成地物信息解译用图像的例子。 首先，地物信息解译用图像生成装置10获取由卫星SAR 1拍摄到的拍摄对象区域 的拍摄数据(SAR图像)。可以通过从卫星SAR l接收包含拍摄数据的无线电信号，或者通 过从存储有拍摄数据的可移除介质31获得该拍摄数据，来实现该处理(步骤S1)。此外， 获取拍摄对象区域的光学图像并将其记录在记录部18或可移除介质31中。顺便提及，在 SAR图像的拍摄范围和光学图像的拍摄范围彼此不一致的情况下(例如在光学图像是以縮 小了的分辨率在宽的范围中拍摄的情况下等)，应当合成共同范围中的SAR图像和光学图 像。 接着，对相同GCP (Ground Control Point,地上控制点)处的拍摄数据(即SAR图 像)和光学图像的几何信息进行校正，并且进行位置对准(步骤S2)。 接着，基于通过使用多个(例如，两个)SAR图像进行雷达摄影测量处理 (radargrammetry processing)或干銜则量处理(interferometry processing)获得的或 者从国土地理院等获得的例如DEM (Digital Elevation Model,数字高程模型)等的地表和 建造物的高度信息，创建SAR图像的正射投影图像和光学图像的正射投影图像(步骤S 3)。 将这种处理称为正射校正(或正射校准)，并将所创建的图像称为正射图像(orthoimage)。 顺便提及，通过使用SAR图像创建DEM，可以精确地校正SAR图像的畸变。
对(要创建正射图像所依据的)原始SAR图像进行滤波处理，从而变为光学黑白 全色近似图像(步骤S4)。换言之，将SAR图像的直方图特性近似化为黑白全色图像的直方 图特性。对于直方图转换，优选根据拍摄对象来从各种直方图转换方法中选择最佳方法。可 以通过以下两个方式任意之一来完成对直方图转换方法的选择。在第一个方式中，计算机 根据SAR图像自动解译拍摄对象，并基于解译结果进行选择；而在第二个方式中，由于之前 已知拍摄对象，因此操作者将SAR图像和拍摄对象彼此联系并将它们登记在记录部18中， 然后由计算机基于所登记的SAR图像和拍摄对象进行选择。 例如，如果基于光学图像(或视觉确认)、SAR图像的直方图特性以及根据卫星SAR 的拍摄条件获得的拍摄范围可以解译出拍摄对象是城市地区，则可以仅对高亮度区域进行 转换；而如果可以解译出拍摄对象是所谓的森林区域，则可以仅对低亮度区域进行转换。此 外，如果拍摄对象区域是混合有城市区域和森林区域的区域，则可以基于光学图像和/或直方图特性将该拍摄对象区域分割成多个子区域，并且可以对各个子区域进行最佳的直方 图转换处理。 因而，可以根据拍摄对象进行最佳直方图转换，由此可以更接近地将直方图转换 后的SAR图像近似化为黑白全色图像，使得合成图像变为使得能够更容易地解译地物的自 然图像。顺便提及，也可以在创建了正射图像之后，进行步骤S4中用于将SAR图像转变为 光学黑白全色近似图像的滤波处理。 在完成步骤S4的处理之后，将SAR图像和光学图像进行合成(步骤S5)。此外，将 所生成的合成图像记录在记录部18或可移除介质31中。此时，该光学图像还可以是真彩 色图像、伪彩色图像等。 通过进行前述一系列处理，可以获得作为添加有颜色(颜色信息)的SAR图像的 全色近似图像(纹理信息)的合成图像。 图6是用于解释全色锐化的概念的图。可以通过在对已近似化为黑白全色图像特 征(即，已经经过了直方图转换处理)的高分辨率单色雷达数据(即，SAR图像)与低分辨 率彩色数据(即，RGB光学图像)进行位置对准的情况下将二者合成，来获得高分辨率彩色 数据(即，全色锐化图像)。 结果，可以通过参考合成图像中所包含的高分辨率SAR图像成分来解译在低分辨 率光学图像中无法解译的地物(例如，农场中的树木)。此外，可以通过参考合成图像中所 包含的低分辨率光学图像成分来解译无法与高分辨率SAR图像中的地物相关联的区域(例 如，农场中的树木的雷达阴影)。此外，例如，针对城市区域的高分辨率单色雷达数据(即， SAR图像)的情况，黑像素或白像素占主导，在创建全色锐化图像时将损坏低分辨率彩色数 据(即，光学图像)，因此将难以解译地物。然而，可以通过进行直方图转换处理来解决该问 题。 如上所述，根据本实施例，可以通过生成既包含从高分辨率SAR图像获取的(用于 解译形状的)纹理信息又包含从低分辨率光学图像获取的(用于解译状况和环境的)地物 颜色信息这两者的图像，来获得使得能够容易解译地物的图像。 此外，对SAR图像进行用于将散射强度的反射特性近似化为人眼熟悉的黑白全色 图像的反射特性的转换处理，然后将该SAR图像叠加在光学图像上，因此可以获得接近于 由光学卫星拍摄到的图像的高分辨率图像。 此外，作为工作方式，使用高分辨率SAR图像和低分辨率光学图像。由于可以在未 受天气状况等影响的情况下可靠地拍摄SAR图像，因此可以容易地获取到高分辨率纹理图 像，因此，可以解译地物的形状、类型等。另一方面，由于光学图像对天气状况敏感，因此以 低分辨率拍摄光学图像以覆盖宽的范围，以及将对该光学图像彩色化并将其用作用于掌握 拍摄范围的状况的补充信息。 顺便提及，在以上说明中，可以按如上所述的相同时间序列顺次进行存储在程序 记录介质中的程序所描述的处理步骤，也可以不按照该顺序进行这些处理步骤。可选地，可 以并行或独立地进行这些处理步骤。 此外，可以由单个计算机执行程序，或者由多个计算机以分布式的方式执行程序。
此外，可以将该程序传送至远程计算机，从而在远程计算机中执行该程序。 附图标记说明
8卫星SAR，2数据分析中心，3地表(拍摄对象)，4、5所累积的像素的数量，10地物信息解译用图像:11CPU,12腦，13應，14总线，15输入/输出接口，16输入部，17输出部，18记录部，19通信部，20驱动器，31可移除介质。
说明书
7/7页
9
权利要求
一种地物信息解译用图像生成方法，用于将由安装在飞行体上的雷达装置所拍摄到的雷达图像数据与所述雷达装置的拍摄区域的光学图像数据进行合成，以生成地物信息解译用图像，所述地物信息解译用图像生成方法包括以下步骤将所述雷达图像数据近似化为黑白全色图像特征；在所述雷达图像数据与所述光学图像数据之间进行位置对准；以及将已经近似化为黑白全色图像特征的所述雷达图像数据与所述光学图像数据进行合成。
2. 根据权利要求1所述的地物信息解译用图像生成方法，其特征在于，在将所述雷达 图像数据近似化为黑白全色图像特征的步骤中，根据所述雷达图像数据的直方图特性进行 直方图转换处理。
3. 根据权利要求2所述的地物信息解译用图像生成方法，其特征在于，如果在所述雷 达图像数据的直方图特性中高亮度区域占主导，则主要对所述雷达图像数据的高亮度区域 进行所述直方图转换处理。
4. 根据权利要求2所述的地物信息解译用图像生成方法，其特征在于，如果在所述雷 达图像数据的直方图特性中低亮度区域占主导，则主要对所述雷达图像数据的低亮度区域 进行所述直方图转换处理。
5. 根据权利要求2所述的地物信息解译用图像生成方法，其特征在于，如果在所述雷 达图像数据中混合有高亮度区域占主导的第一区域和低亮度区域占主导的第二区域，则将 所述第一区域和所述第二区域彼此分开，并且对所述第一区域和所述第二区域分别进行最 佳的直方图转换处理。
6. 根据权利要求1至5中任一项所述的地物信息解译用图像生成方法，其特征在于，用 于进行合成的所述雷达图像数据和所述光学图像数据这两者均为正射投影图像。
7. 根据权利要求1至6中任一项所述的地物信息解译用图像生成方法，其特征在于，所 述雷达装置是合成孔径雷达。
8. —种计算机执行程序，用于将从安装在飞行体上的雷达装置所获取的雷达图像数据 与所述雷达装置的拍摄区域的光学图像数据进行合成，以生成地物信息解译用图像，所述 计算机执行程序使计算机执行以下步骤将所述雷达图像数据近似化为黑白全色图像特征； 在所述雷达图像数据与所述光学图像数据之间进行位置对准；将已经近似化为黑白全色图像特征的所述雷达图像数据与所述光学图像数据进行合成。
全文摘要
在将从安装在飞行体中的雷达装置获得的雷达图像数据与由该雷达装置所拍摄的地区的光学图像数据进行合成、以生成地物信息判读用图像时，将该雷达图像数据近似化为黑白全色图像特征。将近似化为黑白全色图像特征的雷达图像数据与光学图像数据进行位置对准，然后将二者合成。作为适当的实施例，在将雷达图像数据近似化为黑白全色图像特征的近似化处理中，根据雷达图像数据的直方图特性来执行直方图转换处理。
文档编号G01W1/08GK101779143SQ200880103039
公开日2010年7月14日 申请日期2008年8月14日 优先权日2007年8月17日
发明者笹川正 申请人:株式会社博思科