一种基于高分辨率的遥感反射率产品的生成系统及方法与流程

本发明涉及水体表观光学特性测量技术领域，尤其涉及一种基于高分辨率的遥感反射率产品的生成系统及方法。

背景技术：

水体水色三要素包括叶绿素、无机悬浮物和有机黄色物质，对于海洋的初级生产力预测、海洋生态环境监测、海洋动力学研究、海洋渔业开发和管理服务具有重要作用。而水表遥感反射率光谱分布是反演某一区域水体水色三要素的重要数据。

对某一区域水体水表遥感反射率光谱分布的测量，其值不能直接测出，测量现场采用在水面以上光谱测量方法由高分辨率光谱仪搭载的水面上行辐亮度传感器、天空下行辐亮度传感器及水面下行辐照度传感器记录的数据经计算后得出。由于光谱仪在水域现场工作时所有测量数据只能存储在仪器内部的存储介质中，仪器停止工作时再把所有的测量数据导出到一个ascii方式编码的文本文件中，该文件不仅包含了上述三个传感器的光谱数据，还包含每次测量对应的仪器倾斜姿态和压力数据。由于不同测量时间、不同传感器的数据都保存在一个文件中，为了区别不同测量时间、不同传感器的数据，文件中包含了用于数据说明的字符信息即数据头信息，其中每个测量站点一次测量的数据文本大小为1937行，该文件记录了若干个测量站点数百甚至数千次测量的数据，是一个包含几十万行甚至几百万行的文本文件。如图1为某一时间测量的水面上行辐亮度传感器的测量数据，数据头和数据共计298行，为节省篇幅只列出部分数据。

在现有技术中，用户要得到某次测量的遥感反射率，需要手工在测量数据文件中通过检索该次测量对应的时间字符串找到该次测量时间的三个传感器数据，再把三个传感器数据汇总到一个文件中，然后使用具有计算功能的软件手工输入数学表达式计算得到遥感反射率，并把计算结果保存到存储介质中以备水色三要素反演使用。这种手工处理方式容易出现数据遗漏和错误处理，为了保证数据产品质量，需要通过三人以上处理结果的一致性进行判断，可见现有技术不仅严重耗费了宝贵的科研人力，且数据产品生成时间周期长，无法满足水色业务对遥感反射率数据的快速需求。因此现有技术存在缺陷需要改进。

技术实现要素：

本发明提出一种基于高分辨率的遥感反射率产品的生成系统及方法，解决了现有技术中数据产品出现错误和遗漏以及生成时间周期过长的问题。

本发明采用以下技术方案实现：

一种基于高分辨率的遥感反射率产品的生成系统，包括：

读取模块，用于读取高分辨率光谱仪数据文件内容；

检索模块，用于对读取模块读取到的内容进行检索分析，提取在水域现场进行测量的所有测量时间；

设置模块，用于设置每一次测量时间对应水域现场的气水界面反射率的数值；

处理模块，用于对检索模块提取的所有测量时间进行传感器数据筛选、数据完整性检查、遥感反射率计算的自动遍历处理，得到遥感反射率数据；

存储模块，用于存储处理模块得到的遥感反射率数据；

浏览模块，用于显示存储模块存储的遥感反射率数据。

进一步的，所述检索模块中测量时间的正则表达式为：

[0-9]{4}\-[0-9]{2}\-[0-9]{2}\s[0-9]{2}:[0-9]{2}:[0-9]{2}。

进一步的，所述检索模块包括：

测量时间存储模块，用于存储检索模块中提取出的所有测量时间及其所在的行位置。

进一步的，所述设置模块中设置的方式包括统一设置、个性设置、统一和个性混合设置三种不同的气水界面反射率设置方式；

所述设置模块还包括：

气水界面反射率数据库模块，用于储存设置模块设置的气水界面反射率的数值。

进一步的，所述处理模块包括：

关键词库模块，用于存储传感器数据筛选所用到的关键词。

进一步的，所述关键词库模块中进行传感器数据筛选处理所用到的关键词包括数据开始标志关键词、数据结束标志关键词、标定光谱关键词、传感器关键词；所述传感器关键词包括水面上行辐亮度传感器关键词、天空下行辐亮度传感器关键词、水面下行辐照度传感器关键词。

进一步的，所述处理模块包括：

标定光谱检索模块，用于根据测量时间在读取模块读取的测量数据文件内容中检索标定光谱的关键词；

传感器类型判别模块，用于根据传感器关键词，判断得到的数据属于水面上行辐亮度传感器、天空下行辐亮度传感器、水面下行辐照度传感器中的任一传感器；

数据判别模块，用于确定每行字符是否存在数据开始标志关键词；

数据读取模块，用于读取数据。

进一步的，所述处理模块中得到的遥感反射率数据的数学表达式为：

rrs(λi)＝(lsw-lsky*r)/es

其中，rrs(λi)表示水体在波长为λi处的遥感反射率；lsw表示水面上行辐亮度传感器在λi处的测量数据；lsky表示天空下行辐亮度传感器在λi处的测量数据；es表示水面下行辐照度传感器在λi处的测量数据；r表示从气水界面反射率数据库中取出的与测量时间对应的气水界面反射率数值。

相应的，还提供一种基于高分辨率的遥感反射率产品的生成方法，其特征在于，包括步骤：

s1.读取高分辨率光谱仪数据文件内容；

s2.对读取到的数据文件内容进行检索分析，提取在水域现场进行测量的所有测量时间；

s3.设置每一次测量时间对应水域现场的气水界面反射率的数值；

s4.对所有测量时间进行传感器数据筛选、数据完整性检查、遥感反射率计算的自动遍历处理，得到遥感反射率数据；

s5.存储得到的遥感反射率数据；

s6.显示存储的遥感反射率数据。

进一步的，所述步骤s2还包括：

存储提取出的所有测量时间及其所在的行位置；

所述步骤s3还包括：

存储设置的气水界面反射率数值；

所述步骤s4还包括：

存储传感器数据筛选所用到的关键词。

本发明的有益效果为：

1、本发明的读取模块读取光谱仪测量数据，检索模块从读取的内容中提取测量时间，处理模块根据测量时间自动遍历传感器数据筛选及遥感反射率计算的数据处理技术，避免了手工数据处理导致的数据错误和遗漏，保证了数据产品质量的稳定性和可靠性。

2、本发明的检索模块根据时间正则表达式自动提取测量时间，处理模块对测量时间自动遍历生成遥感反射率产品，把光谱仪用户手工处理数据几十小时才能完成的工作缩短到了几十秒完成，显著缩短了遥感反射率产品的生成时间周期，提高了生成遥感反射率产品的效率和自动化程度。

3、本发明的设置模块提供的三种设置方式不仅满足了不同测量站点的水体特征，同时兼顾了用户对参数快速设置的需求，有效提高了光谱仪用户生成遥感反射率产品的工作效率。

4、本发明的存储模块，把不同测量时间对应的遥感反射率以测量时间为文件名自动归档保存，不需用户手工干预，不仅进一步提高了生成遥感反射率产品的工作效率，而且便于用户根据测量时间迅速找到所需的数据产品。

5、本发明的处理模块，通过数据完整性检查模块对测量时间检索到的数据进行完整性检查，进一步完善了遥感反射率产品的生成系统及方法，便于光谱仪用户快速定位仪器故障并排除。

附图说明

图1是背景技术提供的某一时间测量的水面上行辐亮度传感器的测量数据示意图；

图2是实施例一提供的一种基于高分辨率的遥感反射率产品的生成系统结构图；

图3为实施例一提供的一种基于高分辨率的遥感反射率产品的生成系统流程图；

图4为实施例一提供的5行字符堆栈示意图；

图5为实施例一提供的某一测量时间的遥感反射率产品的部分数据示意图；

图6为实施例一提供的遥感反射率产品的可视化结果示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供一种基于高分辨率的遥感反射率产品的生成系统及方法。

实施例一

本实施例提供一种基于高分辨率的遥感反射率产品的生成系统，如图2-6所示，包括：

读取模块11，用于读取高分辨率光谱仪数据文件内容；

检索模块12，用于对读取模块读取到的内容进行检索分析，提取在水域现场进行测量的所有测量时间；

设置模块13，用于设置每一次测量时间对应水域现场的气水界面反射率的数值；

处理模块14，用于对检索模块提取的所有测量时间进行传感器数据筛选、数据完整性检查、遥感反射率计算的自动遍历处理，得到遥感反射率数据；

存储模块15，用于存储处理模块得到的遥感反射率数据；

浏览模块16，用于显示存储模块存储的遥感反射率数据。

在读取模块11中，读取高分辨率光谱仪数据文件内容。

高分辨率光谱仪数据文件是文本文件，该文件读入计算机内存后，经分析后每个传感器数据包含字符、数据、分隔符三种类型信息；其中，字符用来对数据信息进行说明如数据所属的传感器、测量时间、类型、数据起始标识等；数据是传感器在现场的采集测量结果；分隔符包含空格、回车、换行，用来分割数据和字符信息；上述三种类型信息均采用美国信息交换标准代码ascii方式进行编码。

在本实施例中，把数据文件内容读入，同时根据是否包含一次完整的测量数据判断是否是光谱仪数据文件，若是则把读取内容发送至检索模块；若不是则提示非光谱仪文件数据信息，避免了现有技术中用户通过在文本文件中逐行寻找检查是否是光谱仪数据文件的手工操作，使系统具有自动判断是否是光谱仪数据文件的功能，提高了筛选光谱仪数据文件的自动化程度。

在检索模块12中，用于对读取模块读取的内容进行检索分析，提取在水域现场的所有测量时间；

在本实施例中，检索测量时间的方法，采用正则表达式：

“[0-9]{4}\-[0-9]{2}\-[0-9]{2}\s[0-9]{2}:[0-9]{2}:[0-9]{2}”自动检索识别。

在本实施例中，该检索方法避免了现有技术中光谱仪用户手工在文本文件中查找测量时间可能出现的产品数据遗漏。

其中，检索模块包括：测量时间存储模块，用于存储检索模块中提取出的所有测量时间及其所在的行位置。

在设置模块13中，用于设置每一次测量时间对应水域现场的气水界面反射率的数值；

在本实施例中，设置模块的设置方式包括统一设置、个性设置、统一和个性混合设置三种不同的方式设置测量站点的气水界面反射率。

统一设置方式为所有测量站点的气水界面反射率为相同值。

个性设置方式为每个测量站点的气水界面反射率数值不相同，需分别进行设置，设置方法为用户选择测量时间，再针对该时间输入指定的数值。

统一和个性混合设置方式为大部分相同的气水界面反射率数值采用统一值设置，少数不相同的采用个性设置方式，设置方法如前个性设置所述。

三种设置方式不仅满足了不同测量站点的水体特征，同时兼顾了用户对参数快速设置的需求，有效提高了光谱仪用户生成遥感反射率产品的工作效率。

在本实施例中，设置模块包括气水界面反射率数据库模块，用于存储设置模块设置的气水界面反射率的数值。

在处理模块14中，对检索模块提取的所有测量时间进行传感器数据筛选、数据完整性检查、遥感反射率计算的自动遍历处理，得到遥感反射率数据。

其中，处理模块14包括关键词库模块，用于存储传感器数据筛选所用到的关键词。

筛选传感器数据所用到的关键词包括标定光谱关键词：spectrum、calibrated；传感器关键词：包括水面上行辐亮度传感器关键词sam_854d、天空下行辐亮度传感器关键词sam_8536、水面下行辐照度传感器关键词samip_50d3；数据开始标志关键词[data]、数据结束标志关键词[end]。

在本实施例中处理模块14还包括：标定光谱检索模块、传感器类型判别模块、数据判别模块、数据读取模块、数据完整性检查模块。

标定光谱检索模块，根据测量时间在读取模块读取的测量数据文件内容中检索标定光谱关键词，采用5行字符先进先出堆栈检索方法，如图4所示。具体方法如下：从测量时间存储模块中按照顺序依次取出某一测量时间，该时间作为在处理时间和关键词calibrated、spectrum共同在测量数据文件中检索，初始化建立用于存放文件5行字符信息的堆栈，从测量时间对应的行位置开始读入5行字符信息放入堆栈，先读的置于堆栈底部，如：第一行存放在底部，向上依次分别为第二、三、四、五行，然后判断第一行是否含有spectrum的关键词，第二行是否含有calibrated的关键词，第五行是否含有在处理的测量时间，若上述三行中关键词之一缺失，则堆栈底部即第一行数据丢弃，第二行放入第一行，第三行放入第二行，第四行放入第三行，第五行放入第四行，之后再从测量数据文件中读入新的一行刷新第五行内容，并继续判断第一行、第二行、第五行是否分别包含spectrum、calibrated及在处理时间关键词，如果其中之一不满足，不停地重复上述操作，直到第一行包含spectrum且第二行包含calibrated且第五行包含指定测量时间，开始进入传感器类型判别过程。

在本实施例中，标定光谱检索模块的5行字符先进先出堆栈方式检索方法与现有技术中光谱仪用户手工逐行根据测量时间和关键词spectrum、calibrated逐条比对判断寻找标定光谱数据相比，不仅保证了每一测量时间对应的数据不会被遗漏，同时使数据检索方法更加简洁、高效，提高了数据筛选速度。

传感器类型判别模块，用于根据传感器关键词，判断得到的数据属于水面上行辐亮度传感器、天空下行辐亮度传感器、水面下行辐照度传感器中的任一传感器。

从数据文件中继续读入1行信息，判断该行中是否含有关键词sam_854d、sam_8536、samip_50d3之一，如果没有不停地重复上述操作，直到含有其中一个关键词，则确定即将读出的数据为该关键词对应的传感器数据，并置在处理测量时间的该传感器数据找到标志为1，否则为0，并进入数据判别过程。

在本实施例中，传感器类型判别模块不仅确定即将读出的数据的归属传感器，同时记录了数据是否存在缺失，为数据的完整性检查做好准备。

数据判别模块，确定每行字符是否存在数据开始标志关键词。

从数据文件中继续读入1行信息，判断该行中是否含有[data]关键词，如果没有不停地重复上述操作，直到读入的行中含有[data]关键词，再跳过一行，进入数据读取过程。

数据读取模块，用于读取数据。

从数据文件中继续以字符方式读入1行信息，判断该行中是否有数据结束标志关键词[end]，如果没有则该行为数据信息，把文件指针重新定位到该行行首，以文本数据方式重新读该行，分别读入波长和对应的辐亮度或辐照度数据。继续循环读入下一行，同样判断是否有[end]关键词，若没有同前所述重新定位到该行行首读入波长和辐亮度或辐照度数据。直到循环读入的一行信息中含有[end]关键词，表示在处理测量时间的传感器类型判别模块找到的关键词对应的传感器数据全部读出。

在本实施例中，与现有技术中光谱仪用户手工从数据文件中逐行寻找数据并进行复制、粘帖相比，数据判别和数据读取模块避免了手工操作可能导致的数据遗漏和出错，保证了数据产品质量的稳定性和可靠性。

重复标定光谱检索模块、传感器类型判别模块、数据判别模块、数据读取模块过程2次，继续搜索另外两个传感器测量数据，完成后，进入数据完整性检查模块处理。

数据完整性检查模块，用于检查每次测量对应的水面上行辐亮度传感器、天空下行辐亮度传感器、水面下行辐照度传感器的数据是否完整。

在某一测量时间的水面上行辐亮度传感器、天空下行辐亮度传感器及水面下行辐照度传感器数据，只要缺少一个则数据不完整，即在处理测量时间的三个传感器数据找到标志一个或多余一个为0，该次测量数据不能生成遥感反射率，系统给出缺少的传感器数据类型及原因并归档保存到该次测量的结果文件中。若在处理测量时间的三个传感器数据找到标志均为1，则三个传感器数据均找到，进入遥感反射率计算过程。

在本实施例中，数据完整性检查模块具有自动分析全部测量时间对应的传感器数据是否完整，并为用户提供数据缺失的传感器类型，便于用户快速定位仪器故障并排除。

在处理模块14中，遥感反射率计算的数学表达式为：

rrs(λi)＝(lsw-lsky*r)/es

其中，rrs(λi)表示水体在波长为λi处的遥感反射率；lsw表示水面上行辐亮度传感器在λi处的测量数据；lsky表示天空下行辐亮度传感器在λi处的测量数据；es表示水面下行辐照度传感器在λi处的测量数据；r表示从气水界面反射率数据库中取出的与测量时间对应的气水界面反射率数值。

在本实施例中，处理模块14完成对测量时间词库中的每个测量时间的传感器数据筛选、数据完整性检查、遥感反射率计算的自动遍历处理控制。该处理模块与现有技术相比，代替了用户手工筛选数据、输入遥感反射率数学表达式的操作，实现了每次测量时间数据的连续、不间断处理，自动化程度高，不仅提高了数据产品生成的速度，把手工几十小时才能完成的遥感反射率产品的时间缩短到了几十秒完成，同时避免了现有技术中出现的遗漏某次测量数据和数据产品错误的可能，保证了数据产品质量的稳定性和可靠性。

在存储模块15中，用于存储处理模块得到的遥感反射率数据。

将得到的遥感反射率数据存储至用户指定的文件夹中。

对每次测量时间计算得到的遥感反射率自动以测量时间为文件名归档保存到用户指定的文件夹，数据以ascii方式编码保存，同时记录测量时间对应的气水界面反射率便于用户参考。用任意文本编辑程序均可浏览遥感反射率数据，图5为某一测量时间生成的遥感反射率产品，为节省篇幅只列出部分数据。

在本实施例中，存储模块15具有自动以测量时间为文件名归档保存到用户指定的文件夹功能，与现有技术相比，该模块保证了不需用户干预自动完成对数据产品的归档保存，不仅提高了生成遥感反射率产品的工作效率，而且以测量时间为文件名保留了测量时间信息，便于用户根据测量时间迅速找到所需的数据产品。

在浏览模块16中，用于显示存储模块存储的遥感反射率数据。

对归档保存后的遥感反射率产品，为用户提供通过选择测量时间浏览该测量时间的水体遥感反射率，用户能够以文本方式浏览遥感反射率产品的光谱分布，也能以图形方式浏览遥感反射率产品的光谱分布。图6为图5对应的该次测量得到的遥感反射率产品的可视化结果。

在本实施例中，与现有技术中得到遥感反射率数据为文本字符相比，浏览模块16为用户提供了以图形和字符两种方式浏览所有次测量得到的产品数据。

本实施例取得的效益以处理含有240次测量的高分辨率光谱仪数据文件为例，光谱仪用户手工从文件中筛选水面上行辐亮度传感器、天空下行辐亮度传感器及水面下行辐照度传感器的数据，然后再手工输入数学表达式计算遥感反射率并归档保存，处理一次测量数据需要的时间经过实践统计为5分钟，因此完成240次测量数据的处理，需要手工不间断操作处理时间为20小时，而采用本实施例的系统进行处理，使用intelcore(tm)i7-7700cpu@3.6ghz处理器，8g内存，完成240次测量数据的处理仅用了45秒，生成遥感反射率产品的时间周期显著缩短，满足了水色业务开发的快速需求。现有技术为了保证数据产品质量，需要通过三人及以上处理结果的一致性进行判断，上述数据处理工作至少还需要另外两个人分别进行二十小时相同的手工数据处理工作，三人处理结果一致，工作结束，三人处理结果不一致，需要花费更多的时间找出错误的原因，因此现有技术严重消耗人力资源。本发明避免了手工数据处理导致的数据错误和遗漏，保证了遥感反射率产品质量的稳定性与可靠性，因此不需多人处理结果的一致性检验产品质量，从而节省了大量的科研人力。显然：数据文件中测量时间数据越多，节省的处理时间越多，取得的技术效果越显著。

总之，本发明具有快速设置参数，便于用户快速找到所需产品，快速定位仪器故障，数据产品质量稳定可靠，遥感反射率产品生成时间周期短，满足水色业务产品快速开发需求，节约宝贵的科研人力的技术效果。

实施例二

本实施例提供一种基于高分辨率的遥感反射率产品的生成方法，包括步骤：

s11.读取高分辨率光谱仪数据文件内容；

s12.对读取到的数据文件内容进行检索分析，提取在不同水域现场进行测量的所有测量时间；

s13.设置每一次测量时间对应水域现场的气水界面反射率的数值；

s14.对所有测量时间进行数据筛选、数据完整性检查、遥感反射率计算的自动遍历处理，得到遥感反射率数据；

s15.存储得到的遥感反射率数据；

s16.显示存储的遥感反射率数据。

进一步的，所述步骤s12还包括：

存储提取出的所有测量时间及其所在的行位置；

所述步骤还s13包括：

存储设置的气水界面反射率数值；

所述步骤s14包括：

存储传感器数据筛选处理所用到的关键词；

所述步骤s15还包括：

对每次测量时间对应的遥感反射率自动以测量时间为文件名归档保存的方法。

需要说明的是，本实施例的一种速度快且无差错的基于高分辨率的遥感反射率产品的生成方法与实施例一类似，在此不多做赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。