基于FTP的遥感影像数据自动规范化处理方法、装置及介质与流程

本发明属于遥感数据管理领域，具体而言是一种基于ftp的遥感影像数据自动规范化处理方法、装置及介质。

背景技术：

随着商业航天应用的快速发展，获取的遥感数据越来越多。在海量的遥感数据中，对数据进行编目、归档，实现数据的快速查询调用，具有重要的意义。

面对海量的遥感影像数据，对数据进行编目、归档，实现数据的规范化处理，传统的方法是先下载影像数据，然后以人工的方式对每组数据进行校验，将符合要求的数据进行归档存储。传统的方法需要人工对每组数据进行校验，效率比较低，难以满足海量遥感数据的快速归档要求，一般只用于少量遥感影像数据的处理。

目前自动进行规范化处理的方法大多采用先下载后处理的方式，只有等所有文件都下载完毕，才能进行处理，在海量影像处理场景下，容易堆积大量文件，无法满足处理的时效性要求。

传统的方法需要人工对每组数据进行校验，效率比较低，而且容易出错，无法满足海量遥感数据归档管理的实时性和准确性要求。目前已有的自动处理方法在遇到文件为空以及数据组文件不完整的情况时，容易出现处理错误的情况。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于ftp的遥感影像数据自动规范化处理方法、装置及介质。

本发明的目的是通过以下技术方案来实现的：

为了实现遥感数据的快速、准确编目归档，提出了一种基于ftp的遥感影像自动管理方法、装置及介质。

基于ftp的遥感影像数据自动规范化处理方法，

step1:初始化：创建下载线程和处理线程；

step2:数据下载：在下载线程中，从ftp服务器的文件暂存区中下载遥感影像数据，存放到本地下载文件缓存区中，遥感影像数据进行分组下载；

step3:完整性校验：在处理线程中，从本地缓存目录中读取文件信息，对数据进行完整性校验，要求每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图，不符合要求的数据组都移除到本地的异常文件路径中，从而保证数据组是完整的；

step4:数据内容校验：对遥感影像数据中的xml格式元数据文件内容进行校验，要求元数据内容必须包含产品id、卫星id、传感器id、产品等级、产品格式、产品时间、图像数量、产品文件名称、缩略图文件名、图像分辨率、图像宽、图像高、景中心经纬度(中心纬度、中心经度)以及四角点经纬度(左上角纬度、左上角经度、右上角纬度、右上角经度、左下角纬度、左下角经度、右下角纬度、右下角经度)，不符合要求的数据以及对应数据组都移除到本地的异常文件路径中，从而保证数据内容是有效的；

step5:数据归档存储：将校验合格的数据上传到ftp服务器的数据存储目录下，将校验合格的数据对应元数据内容(xml格式的元数据文件中的内容)以及数据在ftp服务器上的存储路径保存到数据库中。

作为优选方式，遥感数据的下载和处理并行处理。

作为优选方式，遥感影像数据进行分组下载时，每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图。

作为优选方式，采用字典数据结构mapnull<string，int>存储下载过程中文件内容为空(有可能正在下载)的文件名称及该文件检测为空的次数，采用字典数据结构mapnotfull<string，int>存储不完整(有可能正在下载)的数据组名称及该组数据被检测为不完整的次数，对mapnull和mapnotfull进行判断，达到阈值条件(mapnull阈值的选择根据计算机下载从ftp服务器上下载文件的速度以及zip文件大小而定，比如2000，mapnotfull的阈值选择根据计算机下载从ftp服务器上下载文件的速度以及xml和jpg文件大小而定，比如100)的文件则作为异常文件移除到本地异常文件路径中，从而保证单组数据中每类文件都是完整的。

基于ftp的遥感影像数据自动规范化处理装置，所述装置包括：

初始化模块：用于创建下载线程和处理线程；

数据下载模块：在下载线程中，从ftp服务器的文件暂存区中下载遥感影像数据，存放到本地下载文件缓存区中，遥感影像数据进行分组下载；

完整性校验模块：在处理线程中，从本地缓存目录中读取文件信息，对数据进行完整性校验，要求每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图，不符合要求的数据组都移除到本地的异常文件路径中，从而保证数据组是完整的；

数据内容校验模块：对遥感影像数据中的xml格式元数据文件内容进行校验，要求元数据内容必须包含产品id、卫星id、传感器id、产品等级、产品格式、产品时间、图像数量、产品文件名称、缩略图文件名、图像分辨率、图像宽、图像高、景中心经纬度(中心纬度、中心经度)以及四角点经纬度(左上角纬度、左上角经度、右上角纬度、右上角经度、左下角纬度、左下角经度、右下角纬度、右下角经度)，不符合要求的数据以及对应数据组都移除到本地的异常文件路径中，从而保证数据内容是有效的；

数据归档存储模块：将校验合格的数据上传到ftp服务器的数据存储目录下，将校验合格的数据对应元数据内容(xml格式的元数据文件中的内容)以及数据在ftp服务器上的存储路径保存到数据库中。

作为优选方式，初始化模块创建下载线程和处理线程，保证遥感数据的下载和处理并行处理。

作为优选方式，数据下载模块中，遥感影像数据进行分组下载时，每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图。

作为优选方式，完整性校验模块中，采用字典数据结构mapnull<string，int>存储下载过程中文件内容为空(有可能正在下载)的文件名称及该文件检测为空的次数，采用字典数据结构mapnotfull<string，int>存储不完整(有可能正在下载)的数据组名称及该组数据被检测为不完整的次数，对mapnull和mapnotfull进行判断，达到阈值条件(mapnull阈值的选择根据计算机下载从ftp服务器上下载文件的速度以及zip文件大小而定，比如2000，mapnotfull的阈值选择根据计算机下载从ftp服务器上下载文件的速度以及xml和jpg文件大小而定，比如100)的文件则作为异常文件移除到本地异常文件路径中，从而保证单组数据中每类文件都是完整的。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以上所述的方法。

本发明的有益效果是：本发明通过对遥感影像数据的验证，能够解决海量遥感数据规范化处理的问题，准确性和实时性都很高。

附图说明

图1为遥感影像数据自动规范化处理方法具体流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

传统的方法是先下载影像数据，然后以人工的方式对每组数据进行校验，将符合要求的数据进行归档存储。传统的方法需要人工对每组数据进行校验，效率比较低，而且容易出错，无法满足海量遥感数据归档管理的实时性和准确性要求。目前已有的自动处理方法在遇到文件为空以及数据组文件不完整的情况时，容易出现处理错误的情况。针对这一问题，本发明提供了一种基于ftp的遥感影像数据自动规范化处理方法、装置及介质。

实施例一

如图1所示，基于ftp的遥感影像数据自动规范化处理方法：

step1:初始化：创建下载线程和处理线程；

step2:数据下载：在下载线程中，从ftp服务器的文件暂存区中下载遥感影像数据，存放到本地下载文件缓存区中，遥感影像数据进行分组下载；

step3:完整性校验：在处理线程中，从本地缓存目录中读取文件信息，对数据进行完整性校验，要求每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图，不符合要求的数据组都移除到本地的异常文件路径中，从而保证数据组是完整的；

step4:数据内容校验：对遥感影像数据中的xml格式元数据文件内容进行校验，要求元数据内容必须包含产品id、卫星id、传感器id、产品等级、产品格式、产品时间、图像数量、产品文件名称、缩略图文件名、图像分辨率、图像宽、图像高、景中心经纬度(中心纬度、中心经度)以及四角点经纬度(左上角纬度、左上角经度、右上角纬度、右上角经度、左下角纬度、左下角经度、右下角纬度、右下角经度)，不符合要求的数据以及对应数据组都移除到本地的异常文件路径中，从而保证数据内容是有效的；

step5:数据归档存储：将校验合格的数据上传到ftp服务器的数据存储目录下，将校验合格的数据对应元数据内容(xml格式的元数据文件中的内容)以及数据在ftp服务器上的存储路径保存到数据库中。

遥感数据的下载和处理并行处理。

遥感影像数据进行分组下载时，每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图。

采用字典数据结构mapnull<string，int>存储下载过程中文件内容为空的文件名称及该文件检测为空的次数，采用字典数据结构mapnotfull<string，int>存储不完整(有可能正在下载)的数据组名称及该组数据被检测为不完整的次数，对mapnull和mapnotfull进行判断，达到阈值条件(mapnull阈值的选择根据计算机下载从ftp服务器上下载文件的速度以及zip文件大小而定，比如2000，mapnotfull的阈值选择根据计算机下载从ftp服务器上下载文件的速度以及xml和jpg文件大小而定，比如100)的文件则作为异常文件移除到本地异常文件路径中，从而保证单组数据中每类文件都是完整的。

本发明采用基于ftp的遥感影像数据自动规范化处理方法的目的在于将海量的遥感影像数据从ftp服务器重下载到本地缓存，然后对数据的完整性和数据内容进行自动校验，将符合要求的数据进行归档入库，将不合格的数据存储到异常文件缓存区中，留待人工进行处理，从而实现遥感影像的快速、自动规范化处理。以下通过下载的某遥感卫星影像数据，说明自动规范化处理过程。

实验背景为某卫星遥感影像数据，将数据存储到ftp服务器的文件暂存区中，使用基于ftp的遥感影像数据自动规范化处理方法，下载线程从ftp服务器的文件暂存区中下载文件到本地下载文件缓存区中，同时处理线程读取本地下载文件缓存区中的文件内容，对文件完整性和元数据内容进行校验，将校验合格的数据上传到ftp服务器的数据存储目录下，将校验合格的数据对应元数据内容以及数据在ftp服务器上的存储路径保存到数据库中，将不合格的文件移除到本地异常文件目录中。

本发明首先开启下载线程和处理线程，实现遥感数据的下载和处理并行处理；在下载线程中，从ftp服务器的数据暂存目录中下载遥感影像数据，存放到本地缓存目录中，实现遥感数据的本地化缓存；在处理线程中，对数据进行完整性校验，将不完整的数据组移除到本地异常文件路径中，从而保证单组数据中每类文件都是完整的；对核心关键数据进行校验，不符合要求的数据移除到本地的异常文件路径中，从而保证数据内容是有效的；将校验合格的数据上传到ftp服务器的数据存储目录下，实现数据的归档存储；最后，将校验合格的数据对应元数据内容以及数据在ftp服务器上的存储路径保存到数据库中，为数据的快速查询调用提供基础。

实施例二

本实施例与实施例一相似，其不同之处在于，完整性校验的详细过程如下：

step1:初始化字典数据结构mapnull<string,int>用于存储下载过程中文件内容为空的文件名称及该文件检测为空的次数，初始化字典数据结构mapnotfull<string,int>存储不完整(有可能正在下载)的数据组名称及该组数据被检测为不完整的次数；

step2:从本地下载文件缓存区中读取遥感影像数据包zip文件，判断文件是否为空。如果zip文件为空则去执行step301-step303；如果zip文件不为空，则跳去执行step311-step313。

因为数据包普遍比较大，需要下载的时间较长，其它xml和jpg文件普遍较小，无需进行是否为空的判断；

step301:如果zip文件为空，则在mapnull查找该文件是否已经在存在；

step302:如果mapnull中存在step3中为空的zip文件，则将mapnull中该zip文件为空的次数加1，如果不存在，则将该zip文件存入到mapnull中，为空次数设置1；

step303:判断mapnull中该zip文件为空的次数是否超过阈值thd_null，如果超过，则说明该文件确实为空，并不是正在下载的文件，因此，该文件属于异常文件，将该文件及对应的数据组(xml和jpg)都移除到本地的异常文件缓存区中，thd_null的选择根据计算机下载从ftp服务器上下载文件的速度以及zip文件大小而定，比如可以是2000；

step311：如果zip文件不为空，则判断对应的数据组是否完整，即判断zip文件同名的xml和jpg文件是否在本地缓存区中；

step312:如果zip文件对应xml或者jpg文件不存在，则在mapnotfull查找该数据组是否已经在存在；

step313:如果mapnotfull中存在step312中的数据组，则将mapnotfull中该数据组不完整的次数加1，如果不存在，则将该数据组存入到mapnotfull中，不完整次数设置1。

本发明基于ftp服务，采用多线程处理技术，实现遥感数据的下载处理同步进行，在处理过程中，采用自动校正方法，对元数据的核心内容(产品id、卫星id、传感器id、产品等级、产品格式、产品时间、图像数量、产品文件名称、缩略图文件名、图像分辨率、图像宽、图像高、景中心经纬度(中心纬度、中心经度)以及四角点经纬度(左上角纬度、左上角经度、右上角纬度、右上角经度、左下角纬度、左下角经度、右下角纬度、右下角经度))进行校验，同时，针对下载和处理过程的各种异常情况，进行识别、处理，实现遥感数据的快速、准确编目归档，为数据的快速查询调用提供基础。

实施例三

相应于实施例一和/或实施例二，本实施例提供了一种基于ftp的遥感影像数据自动规范化处理装置，所述装置包括：

初始化模块：用于创建下载线程和处理线程；

数据下载模块：在下载线程中，从ftp服务器的文件暂存区中下载遥感影像数据，存放到本地下载文件缓存区中，遥感影像数据进行分组下载；

完整性校验模块：在处理线程中，从本地缓存目录中读取文件信息，对数据进行完整性校验，要求每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图，不符合要求的数据组都移除到本地的异常文件路径中，从而保证数据组是完整的；

数据内容校验模块：对遥感影像数据中的xml格式元数据文件内容进行校验，要求元数据内容必须包含产品id、卫星id、传感器id、产品等级、产品格式、产品时间、图像数量、产品文件名称、缩略图文件名、图像分辨率、图像宽、图像高、景中心经纬度(中心纬度、中心经度)以及四角点经纬度(左上角纬度、左上角经度、右上角纬度、右上角经度、左下角纬度、左下角经度、右下角纬度、右下角经度)，不符合要求的数据以及对应数据组都移除到本地的异常文件路径中，从而保证数据内容是有效的；

数据归档存储模块：将校验合格的数据上传到ftp服务器的数据存储目录下，将校验合格的数据对应元数据内容(xml格式的元数据文件中的内容)以及数据在ftp服务器上的存储路径保存到数据库中。

初始化模块创建下载线程和处理线程，保证遥感数据的下载和处理并行处理。

数据下载模块中，遥感影像数据进行分组下载时，每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图。对外有三类文件：zip、xml和jpg，其中zip内又把xml和jpg放进去，xml和jpg放在外面是给数据使用者做概要浏览的，真正的数据在zip里面，但zip里面也要有xml和jpg。

完整性校验模块中，采用字典数据结构mapnull<string，int>存储下载过程中文件内容为空(有可能正在下载)的文件名称及该文件检测为空的次数，采用字典数据结构mapnotfull<string，int>存储不完整(有可能正在下载)的数据组名称及该组数据被检测为不完整的次数，对mapnull和mapnotfull进行判断，达到阈值条件(mapnull阈值的选择根据计算机下载从ftp服务器上下载文件的速度以及zip文件大小而定，比如2000，mapnotfull的阈值选择根据计算机下载从ftp服务器上下载文件的速度以及xml和jpg文件大小而定，比如100)的文件则作为异常文件移除到本地异常文件路径中，从而保证单组数据中每类文件都是完整的。

传统的基于人工检验的遥感数据归档方法难以满足海量遥感数据归档管理的实时性和准确性要求。已有的自动处理方法在遇到文件为空以及数据组文件不完整的情况时，容易出现处理错误的情况。本发明结合遥感数据实际运用场景，采用多线程技术对数据同时进行下载和处理，采用ftp与本地缓存相结合的方法对数据进行完整性校验，从而快速准地将数据进行归档存储。

由于本实施例所介绍的装置为实施本发明实施例中一种基于ftp的遥感影像数据自动规范化处理方法所采用的装置，故而本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的装置的具体实施方式以及各种变化形式，所以在此对于装置如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明的保护范围。

实施例四

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以上所述的方法。

本领域的所属技术人员清楚，本发明的实施例可以为方法、装置、或计算机程序的产品。因此，本发明可采用完全硬件实施例、完全软件实施例或软硬件结合的实施例形式。而且，本发明可采用在一个或多个其中含有计算机程序代码的存储介质(包括磁盘存储器、cd-rom、光学存储器)上实施的计算机程序产品。

本发明的自动规范化处理方法、装置能够一边下载一边处理，但在处理和下载同时进行的过程中，可能会出现一些异常的文件，例如空文件以及数据组文件不完整的文件。遥感影像一组数据一般包含一个zip压缩包、一个xml元数据文件以及一个jpg浏览图文件。在下载和处理并行的过程中，某时刻判断为空的文件可能并不是真正为空，有可能是该文件正在下载，同理，数据组文件不完整的情况也有可能是该组数据中缺失的文件正在下载。目前的方法无法对文件为空或数据组文件不完整的异常情况进行处理，这样就容易将正在下载的文件当作异常文件删除，或者会将异常文件进行归档入库，导致处理错误。本发明基于此，提供了一种基于ftp的遥感影像数据自动规范化处理方法、装置及介质用以解决以上问题。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。